抓取网页信息太快导致封锁IP的情况，如何处理？

女王大人

每隔一个小时要抓一遍数据，怎么防止ip被封锁

HJLing · 发表于 2015-8-27 10:59:32

可以使用调度程序crontab，来控制抓取网页速度。
详细教程参见周期性网页抓取调度文件。

ym · 发表于 2016-5-31 11:32:24

看这篇文章解决ip封锁的问题http://www.gooseeker.com/doc/thread-676-1-1.html

共 2 个关于本帖的回复最后回复于 2016-5-31 11:32

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页