TA的每日心情 | 开心 4 天前 |
---|
签到天数: 82 天 [LV.6]常住居民II
管理员
- 积分
- 39105
|
无论是新方案还是旧方案, 获取公众号文章列表, 获取阅读点赞, 获取评论等接口可以通过抓包来获取
以上接口都是需要授权的, 授权参数主要有一下几个
uin : 用户对于公众号的唯一ID, 本来是一个数字, 传的是base64之后的结果
key : 与公众号和uin绑定, 过期时间大概是半小时
pass_ticket: 另外一个验证码, 与uin进行绑定
req_id: 在文章里HTML里, 每次请求会不一样, 用来构成获取阅读点赞接口的RequestBody, 一次有效
获取阅读点赞接口有频率限制, 测试的结果是一个微信号5分钟可以查看30篇文章的阅读点赞
旧方案
在2015年的时候微信网页版限制还是没那么严格的, 当时采用的主要思路是使用微信网页版, 然后用requests去模拟登陆一下,
然后不停的去访问类似下面的接口爬取信息:
- Seeds 是一个producer, 在此处指通过某种方式获取 uin, key, pass_ticket 信息, 思路类似中间人攻击+解析squid日志
- Consumer C1从Q1队列中取出seeds后爬取某个公众号的文章列表, 解析后将文章Meta信息放入队列Q2
- Consumer C2获取文章原信息后就可以直接做入库&爬取操作了
- 之后可以继续加队列然后去实现爬取文章阅读点赞的相关数据了, 由于有频率限制。一个微信号一天只能最多获取8000篇文章的阅读点赞信息
- 抛弃了Celery和其默认选用的RabbitMQ队列, 这种东西实在太重了。。改用beanstalkd做消息队列
- 目前的效果是单微信号每日更新4w左右的公众号文章, 如果想继续增加数量可以通过加机器来扩展
复制代码
Update
生成key的方式是写按键精灵的脚本去不断地生成文章列表URL然后不停的点击, 用squid做代理来获取带Key的URL(squid需要配置一下ssl-bump透明代理
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|