翻页,爬数据的时候,总是翻一半的数据(比如:若总共10页,只翻5页,若总共4页,只翻2页)
然后提示“抓取失败(超时),抓取规则不合适或者超时时间设置太短”

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-4-26 14:57

沙发
Fuller 管理员 发表于 2020-4-26 10:17:10 | 只看该作者
比如,你设置了5个抓取内容,都勾上了关键内容,到第6页的时候,网页上的所有内容都不包含某个关键内容,那么就失败了。

很多网页都是这样,比如,58同城上的服务商信息,前面的信息很全面,到后面就缺信息了。

如果是这种情况,有些内容不要勾关键内容。

你的规则名字是什么?发出来管理员可以帮你检查一下
举报 使用道具
板凳
Han72380207 新手上路 发表于 2020-4-26 14:57:35 | 只看该作者
是的,标签设置要改一下。解决了,谢谢!!!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-7-18 07:43