|
你说的很对,爬虫软件为了防止过长时间的等待,就用一个参数进行控制:超时时长。也就是等待的最长时间,如果在这个时间之内没有完成,就会被强制中断了。
爬虫采集一个网址的时候,会连续经过好几个步骤,其中两个步骤花费时间比较多,如果超时时长设置成1分钟,那么这两个步骤共享这1分钟时间。
1,加载网页:这个步骤是在浏览器中自动输入网址,等待网站下发网页内容,有些网站会很慢,可以提高等待时间。在这个步骤,如果中断了,后面的所有步骤都不会执行了。
2,下载图片/视频/文件:这个步骤会根据爬虫规则的要求,下载指定的图片/视频/文件。如果超时了,下载的内容没有完成下载,那么在结果文件中就不会记录磁盘文件的路径和名称。但是并没有终止下载过程,你会发现视频文件实际已经下载下来了,只是在结果文件中记录为failed状态。另外,下载失败并不会中断爬虫的执行流程,这个线索最后的状态会变成“已完成”,而不是“失败”
所以,要估算好下载文件需要的时间,合理设置超时时长。
如果没有下载这个步骤,爬虫软件缺省设置的1分钟时间是足够的,如果有下载,要考虑一下,适当增加超时时长,在一个网页上下载的文件越多,需要的时间越多
|
|
共 1 个关于本帖的回复 最后回复于 2021-1-24 17:38