集搜客GooSeeker网络爬虫

标题: 抓取网页信息太快导致封锁IP的情况，如何处理？ [打印本页]

作者: 女王大人 时间: 2015-8-27 10:49
标题: 抓取网页信息太快导致封锁IP的情况，如何处理？
每隔一个小时要抓一遍数据，怎么防止ip被封锁

作者: HJLing 时间: 2015-8-27 10:59
可以使用调度程序crontab，来控制抓取网页速度。
详细教程参见周期性网页抓取调度文件。

作者: ym 时间: 2016-5-31 11:32
看这篇文章解决ip封锁的问题http://www.gooseeker.com/doc/thread-676-1-1.html

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)