亚马逊评论采集对象网站不让翻页完，但是下一条线索又让采集

Fuller · 发表于 2018-12-12 13:38:02

用爬虫群调度方式，设置调度参数，让爬虫运行速度慢一些，同一台电脑不要运行多个爬虫群窗口。放慢速度可以降低被封锁的风险。

yxjun1984 · 发表于 2018-12-12 14:11:08

提示: 作者被禁止或删除内容自动屏蔽

Fuller · 发表于 2018-12-12 14:35:45

yxjun1984 发表于 2018-12-12 14:11
您还是怀疑被封锁了，我用了换IP的软件也会被封？

常用的换IP软件在亚马逊面前基本上只能起反作用

yxjun1984 · 发表于 2018-12-12 14:41:04

提示: 作者被禁止或删除内容自动屏蔽

Fuller · 发表于 2018-12-12 15:58:01

yxjun1984 发表于 2018-12-12 14:41
那您有什么好方法对应这个问题？

其实没有太好的方法，通常我们这样推荐部署方案：
1，使用入户光纤，IP是动态的，对方不太会长时间封锁
2，隔一定时间重启光猫，删除cookie等缓存文件，重新运行爬虫

Fuller · 发表于 2018-12-12 15:59:26

还有就是经常换一下爬虫的UserAgent

yxjun1984 · 发表于 2018-12-12 17:35:24

提示: 作者被禁止或删除内容自动屏蔽

推荐板块

yxjun1984 积分1457 精华0 威望706 金钱2 最后登录 1970-1-1 加为好友发送消息访问家园个人资料主题列表发消息	12^# yxjun1984 禁止发言发表于 2018-12-12 14:11:08 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	举报使用道具回复支持反对

yxjun1984 积分1457 精华0 威望706 金钱2 最后登录 1970-1-1 加为好友发送消息访问家园个人资料主题列表发消息	14^# yxjun1984 禁止发言发表于 2018-12-12 14:41:04 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	举报使用道具回复支持反对

yxjun1984 积分1457 精华0 威望706 金钱2 最后登录 1970-1-1 加为好友发送消息访问家园个人资料主题列表发消息	17^# yxjun1984 禁止发言发表于 2018-12-12 17:35:24 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽

	举报使用道具回复支持反对

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页