现在大众点评的商家评论页面必须要登陆才能看到除了最新十条以外的评论了 但在GooSeeker客户端无法登陆 会显示403……还有办法抓取吗
Screen Shot 2018-08-26 at 21.04.31.png
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-8-27 09:28

Fuller 管理员 发表于 2018-8-26 23:02:37 | 显示全部楼层
可以登录呀,你是被封IP了吗?
举报 使用道具
SmokyHuman 新手上路 发表于 2018-8-27 01:54:26 | 显示全部楼层
Fuller 发表于 2018-8-26 23:02
可以登录呀,你是被封IP了吗?

怎么样才能知道自己是不是被封了?会因为是OS系统吗
举报 使用道具
Fuller 管理员 发表于 2018-8-27 09:28:19 | 显示全部楼层
SmokyHuman 发表于 2018-8-27 01:54
怎么样才能知道自己是不是被封了?会因为是OS系统吗

大众点评网很容易封爬虫,有多种方法应对:
1,修改UserAgent
2,清理缓存
3,换IP

修改UA和清理缓存的方法参看
ua20180827092638.png

目前换IP需要重新启动光猫重新拨号。很快会出一个版本通过proxy换IP
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 23:48