可是如果网速快的时候,这样抓取网页是不是很费事?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-4-25 16:49

沙发
shengchengx 金牌会员 发表于 2017-4-25 16:49:55 | 只看该作者
打数机有智能判断能力,并不是得到超时时长结束才开始抓取网页内容,而是利用一系列智能判断标志, 一旦发现条件成熟,即刻启动抓取过程,所以,设置超时时长是不用有太多顾虑,只是在网络异常或者抓取规则 不适应时才等到超时。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?
  • top2vec话题发现原理和使用方法
  • 将文本聚类和LDA分析模块安装在数据盘上的
  • GooSeeker分词软件的tf-idf算法和特征词选

热门用户

GMT+8, 2026-4-17 05:40