快捷导航
根据关键词抓取所有微信文章,抓了几十页就显示已停止,显示访问过度频繁要输入验证码,但验证码怎么输显示输入错误。这种情况怎么办?

举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2020-2-9 23:17

Fuller 管理员 发表于 2019-2-24 18:27:26 | 显示全部楼层
爬取微信文章,首先要登录搜狗微信,如果出验证码了,换一下IP,就可以了
举报 使用道具
lai8463877 新手上路 发表于 2019-2-25 09:46:27 | 显示全部楼层
技术问题我不懂 但需要IP可以找我
举报 使用道具
shirley19970210 新手上路 发表于 2019-2-25 16:57:10 | 显示全部楼层
Fuller 发表于 2019-2-24 18:27
爬取微信文章,首先要登录搜狗微信,如果出验证码了,换一下IP,就可以了 ...

已经出现已停止了,换一个ip后能继续采集吗?
举报 使用道具
Fuller 管理员 发表于 2019-2-25 17:06:14 | 显示全部楼层
shirley19970210 发表于 2019-2-25 16:57
已经出现已停止了,换一个ip后能继续采集吗?

是抓取搜狗搜索的结果?正在翻页抓取停止了?
举报 使用道具
shirley19970210 新手上路 发表于 2019-2-25 18:19:02 | 显示全部楼层
Fuller 发表于 2019-2-25 17:06
是抓取搜狗搜索的结果?正在翻页抓取停止了?

就是搜狗微信采集,采集了50多页之后突然跳出验证码(如图),然后过一会儿页面就变成采集结束,状态显示已停止。这种情况是不是要在跳出输入验证码的页面的时候立马切换ip验证才能继续采集啊?
1551087969.png
742e2e6c8247eb18e87c83c528fc72f~1.jpg
举报 使用道具
Fuller 管理员 发表于 2019-2-25 18:56:56 | 显示全部楼层
shirley19970210 发表于 2019-2-25 18:19
就是搜狗微信采集,采集了50多页之后突然跳出验证码(如图),然后过一会儿页面就变成采集结束,状态显示 ...

估计一下,多久会出验证码,然后隔一段时间,换一下IP,不要等到出验证码了再换
举报 使用道具
GGGGGGolong 新手上路 发表于 2020-2-9 23:17:13 | 显示全部楼层
我这边也提供了一套免费抓取的方式,https://github.com/Edaaaaa/wx-spider 可以供大家参考
codes里面有php和py的 demo 简单写一点逻辑就可以使用了

目前市面上大多数免费的方案都是通过中间人代理的方式 ,需要配置类似 fiddler或者charles之类的工具 本地的请求转发到服务端, 这种方式执行起来太过于繁琐,并且自动化的流程比较复杂. 我提供的免费api方式可以 在几分钟时间内从开发到上线.

如果对你有帮助的话 记得在github点一下star 谢谢了~
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 关于食品安全的美国联邦法规文件的网络爬虫
  • 怎样更有效率地搜索互联网和整理知识—使用
  • 阿里巴巴外包询价网站用集搜客网络爬虫能采
  • 在限定论域的时候,为什么“任何一个”表示
  • 数理逻辑是讲什么的?

热门用户

GMT+8, 2020-4-1 12:35