如题,见图3

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-12-26 11:02

沙发
数据集二期 中级会员 发表于 2017-12-25 18:05:36 | 只看该作者
大众点评操作频繁有时候会封锁火狐和集搜客的useragent,如图所示,点击进去有个useragent列表,选择ie11或者其他ie的试试

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
Fuller 管理员 发表于 2017-12-25 18:06:26 | 只看该作者
换一下useragent试一下,大众点评网有时候封锁火狐和集搜客的useragent,可以参考这个文档:http://www.gooseeker.com/doc/article-314-1.html
从中选IE11或者其他IE的试试。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
cs3520 初级会员 发表于 2017-12-26 09:06:40 | 只看该作者
Fuller 发表于 2017-12-25 18:06
换一下useragent试一下,大众点评网有时候封锁火狐和集搜客的useragent,可以参考这个文档:http://www.goo ...

换过多个useragent,有的出现403,有的能加载网页但js还是出不来
举报 使用道具
5#
数据集二期 中级会员 发表于 2017-12-26 09:52:34 | 只看该作者
cs3520 发表于 2017-12-26 09:06
换过多个useragent,有的出现403,有的能加载网页但js还是出不来

操作太频繁了就会被封锁,我useragent用的gooseeker默认,现在运行你的规则没有任何问题,都可以加载出来,停一会清理cookies。
举报 使用道具
6#
cs3520 初级会员 发表于 2017-12-26 10:24:13 | 只看该作者
数据集二期 发表于 2017-12-26 09:52
操作太频繁了就会被封锁,我useragent用的gooseeker默认,现在运行你的规则没有任何问题,都可以加载出来 ...

已经清理了cookies,需要等多久才能开始抓?我用gooseeker默认依然是403

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
7#
数据集二期 中级会员 发表于 2017-12-26 11:02:40 | 只看该作者
cs3520 发表于 2017-12-26 10:24
已经清理了cookies,需要等多久才能开始抓?我用gooseeker默认依然是403

这个时间不确定,对于这种网站可以常换ip,我昨天运行时403,今天运行就可以了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-7-22 07:33