跑大众点评的评论数据:http://www.dianping.com/shop/2484325/review_all
遇到的问题:

抱歉!页面无法访问......

错误信息:

currentDate:2018-09-09 18:29:50

userIp:218.249.50.75, 10.69.81.6

userAgent:Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-9-10 10:00

沙发
Fuller 管理员 发表于 2018-9-9 23:43:09 | 只看该作者
可能是爬的太多,被封锁了。可以清cookies,换IP。我们马上会出个新版本,主要功能有:
1。自动清cookies,
2。连接proxy,自动换IP。

目前还需要手动清cookies


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
houyulin1993 初级会员 发表于 2018-9-10 00:37:59 | 只看该作者
Fuller 发表于 2018-9-9 23:43
可能是爬的太多,被封锁了。可以清cookies,换IP。我们马上会出个新版本,主要功能有:
1。自动清cookies, ...

有尝试这个清除cookies,主要是爬的这个页面是登录后,搜索,点击各种元素才后得的需要抓取的url,需要记住cookies,搞了好久,老出现那个情况,
清除cookies的话,页面就很难是想要抓的页面了

举报 使用道具
地板
Fuller 管理员 发表于 2018-9-10 10:00:22 | 只看该作者
houyulin1993 发表于 2018-9-10 00:37
有尝试这个清除cookies,主要是爬的这个页面是登录后,搜索,点击各种元素才后得的需要抓取的url,需要记 ...

其实有一种比较好的方法:购买一个vpn服务。这种服务会给你安装一个客户端,你可以设置一下,一分钟换ip还是5分钟换ip,也许就能避开通过ip封锁爬虫
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-14 22:23