PHP配合fiddler抓包抓取微信指数小程序数据的实现方法分析
本文实例讲述了PHP配合fiddler抓包抓取微信指数小程序数据的实现方法。分享给大家供大家参考,具体如下:
这两天研究了下微信指数这个东西。要抓取呢,按照一般思路的话,那就是使用fiddler抓取手机包,然后进行分析获取地址然后请求就可以了。
这么想你是没错,如果你果断这么做了,那就是too yang too simple了。大家可以看下,微信抓取有以下几个步骤:
1、开始登陆小程序
2、获取访问需要的令牌
3、那这令牌去获取数据
首先的难点就是小程序的登陆那一步。你得先登陆了微信之后才可以访问小程序,因为小程序是基于微信来运行的。所以,你登录的时候需要用到一个微信内部生成的js_code这个值。光是这一步就是一个深不见底的巨坑。
好吧,亿分之一概率的情况下,你获取了这个值,之后就是获取search_key这个值,还有就是一个UNIX时间戳。
完事你就可以尽情的获取你想要的数据了??????
少年,做人还是要稳重点的。。。微信有一个访问限制的系统。请求到一定的频次,会提示操作频繁的。所以你费好大劲完事之后,还是没有什么太实际的结果。
网上有一个解决方案是这样的,就是用lua语言配合触动精灵写一个操作微信的脚本,类似自动抢红包那样的。完事用这个脚本来自动输入关键词进行查询,完事再使用抓包工具获取这些请求内容。
先不说这种方案的成功率。咱们先来说说效率问题。难不成,你这样做,微信就不会限制你的请求???
还有就是学习一门语言的各种成本。。。
所以,本人使用PHP结合fiddler抓包工具,设计了一个简单,易学的抓取数据的方案。容我一一道来:
首先就是配置fiddler可以把抓取的数据保存到本地。
这是用来获取访问令牌的,核心PHP代码如下:
function get_search_key($path) { $file = fopen($path, "r"); $user=array(); $i=0; while(! feof($file)) { $user[$i]= mb_convert_encoding ( fgets($file), 'UTF-8','Unicode'); $i++; } fclose($file); $user=array_filter($user); foreach ($user as $item_u => $value_u) { if(strstr($value_u,"search_key=")){ $temp[] = $value_u; } } $end_url = end($temp); $reg = "#openid=[a-zA-Z0-9]++_[a-zA-Z0-9]++&search_key=\d++_\d++#isU"; preg_match_all($reg,$end_url,$time); return $time[0][0]; }
输入保存文件的地址,得到返回值,拿着这个返回值,来进行请求,就可以获取你想要的数据了。
不过,这玩意也是有缺陷。首先就是配置手机连接电脑,关于这个,我后期会在评论里补充上。再来就是配置fiddler保存包到本地文件。还有就是需要手机访问小程序之后程序才能运行成功。比较麻烦。