根据关键词抓取所有微信文章,抓了几十页就显示已停止,显示访问过度频繁要输入验证码,但验证码怎么输显示输入错误。这种情况怎么办?

举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2020-2-9 23:17

沙发
Fuller 管理员 发表于 2019-2-24 18:27:26 | 只看该作者
爬取微信文章,首先要登录搜狗微信,如果出验证码了,换一下IP,就可以了
举报 使用道具
板凳
lai8463877 新手上路 发表于 2019-2-25 09:46:27 | 只看该作者
技术问题我不懂 但需要IP可以找我
举报 使用道具
地板
shirley19970210 新手上路 发表于 2019-2-25 16:57:10 | 只看该作者
Fuller 发表于 2019-2-24 18:27
爬取微信文章,首先要登录搜狗微信,如果出验证码了,换一下IP,就可以了 ...

已经出现已停止了,换一个ip后能继续采集吗?
举报 使用道具
5#
Fuller 管理员 发表于 2019-2-25 17:06:14 | 只看该作者
shirley19970210 发表于 2019-2-25 16:57
已经出现已停止了,换一个ip后能继续采集吗?

是抓取搜狗搜索的结果?正在翻页抓取停止了?
举报 使用道具
6#
shirley19970210 新手上路 发表于 2019-2-25 18:19:02 | 只看该作者
Fuller 发表于 2019-2-25 17:06
是抓取搜狗搜索的结果?正在翻页抓取停止了?

就是搜狗微信采集,采集了50多页之后突然跳出验证码(如图),然后过一会儿页面就变成采集结束,状态显示已停止。这种情况是不是要在跳出输入验证码的页面的时候立马切换ip验证才能继续采集啊?

1551087969.png (1.35 KB, 下载次数: 772)

1551087969.png

742e2e6c8247eb18e87c83c528fc72f~1.jpg (18.75 KB, 下载次数: 789)

742e2e6c8247eb18e87c83c528fc72f~1.jpg
举报 使用道具
7#
Fuller 管理员 发表于 2019-2-25 18:56:56 | 只看该作者
shirley19970210 发表于 2019-2-25 18:19
就是搜狗微信采集,采集了50多页之后突然跳出验证码(如图),然后过一会儿页面就变成采集结束,状态显示 ...

估计一下,多久会出验证码,然后隔一段时间,换一下IP,不要等到出验证码了再换
举报 使用道具
8#
GGGGGGolong 新手上路 发表于 2020-2-9 23:17:13 | 只看该作者
我这边也提供了一套免费抓取的方式,https://github.com/Edaaaaa/wx-spider 可以供大家参考
codes里面有php和py的 demo 简单写一点逻辑就可以使用了

目前市面上大多数免费的方案都是通过中间人代理的方式 ,需要配置类似 fiddler或者charles之类的工具 本地的请求转发到服务端, 这种方式执行起来太过于繁琐,并且自动化的流程比较复杂. 我提供的免费api方式可以 在几分钟时间内从开发到上线.

如果对你有帮助的话 记得在github点一下star 谢谢了~
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 12:07