网页信息抓太快导致封锁IP的情况，集搜客网络爬虫如何处理

we_lol

如题

quyixuan · 发表于 2016-10-24 14:54:01

采集一个网站太频繁，能够采集的网页越来越少，甚至会被封杀IP，只有控制好采集速度和频率才能持续地获得数据，并且，要定期清理浏览器的cookies。

Fuller · 发表于 2016-10-24 22:53:00

集搜客网络爬虫最大的优势是可以部署在全国各地的计算机上，推荐使用ADSL接入，不要部署在中心机房，这样就有动态分配的IP地址，如果被封锁了，重新拨号获得新IP

共 2 个关于本帖的回复最后回复于 2016-10-24 22:53

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页