快捷导航
如果目标网站暂时性不可用,或者网络拥塞,DS打数机如果一直等待,必然会影响其他网页的抓取,所以,超时时长是一个保护机制,让DS打数机在适当的时候放弃抓取。可以设置1分钟以上。不要担心会造成抓取变慢。GooSeeker爬虫跟大型百度爬虫一样,都有自适应算法,能够尽早执行抓取。
  • 如果抓取时网络较慢,可以适当调大“超时时长”,避免由于超时时长设置太短造成抓取失败的情况。
  • 如果抓取的目标网页相对简单,网络较好,可减小“超时时长”提高抓取效率
Tips:打数机有智能判断能力,并不是得到超时时长结束才开始抓取网页内容,而是利用一系列智能判断标志, 一旦发现条件成熟,即刻启动抓取过程,所以,设置超时时长是不用有太多顾虑,只是在网络异常或者抓取规则 不适应时才等到超时。            

举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2017-1-13 15:41

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-10-31 23:49