翻页,爬数据的时候,总是翻一半的数据(比如:若总共10页,只翻5页,若总共4页,只翻2页)
然后提示“抓取失败(超时),抓取规则不合适或者超时时间设置太短”

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-4-26 14:57

沙发
Fuller 管理员 发表于 2020-4-26 10:17:10 | 只看该作者
比如,你设置了5个抓取内容,都勾上了关键内容,到第6页的时候,网页上的所有内容都不包含某个关键内容,那么就失败了。

很多网页都是这样,比如,58同城上的服务商信息,前面的信息很全面,到后面就缺信息了。

如果是这种情况,有些内容不要勾关键内容。

你的规则名字是什么?发出来管理员可以帮你检查一下
举报 使用道具
板凳
Han72380207 新手上路 发表于 2020-4-26 14:57:35 | 只看该作者
是的,标签设置要改一下。解决了,谢谢!!!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-5 01:38