|
超时时长:抓取网页的时候,加载目标网页命令发出以后将等待一段时间,以确保网页内容全面下载,这就是超时时长参数,以秒为单位。如果超过这个时间还没有将需要的内容加载到打数机中,就会在打数机底部日志窗口显示一条错误提示。
如果抓取时网络较慢,可以适当调大“超时时长”,避免由于超时时长设置太短造成抓取失败的情况。
如果抓取的目标网页相对简单,网络较好,可减小“超时时长”提高抓取效率
Tips:打数机有智能判断能力,并不是得到超时时长结束才开始抓取网页内容,而是利用一系列智能判断标志, 一旦发现条件成熟,即刻启动抓取过程,所以,设置超时时长是不用有太多顾虑,只是在网络异常或者抓取规则 不适应时才等到超时。 |
|
共 1 个关于本帖的回复 最后回复于 2015-10-16 11:38