翻页,爬数据的时候,总是翻一半的数据(比如:若总共10页,只翻5页,若总共4页,只翻2页)
然后提示“抓取失败(超时),抓取规则不合适或者超时时间设置太短”

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-4-26 14:57

沙发
Fuller 管理员 发表于 2020-4-26 10:17:10 | 只看该作者
比如,你设置了5个抓取内容,都勾上了关键内容,到第6页的时候,网页上的所有内容都不包含某个关键内容,那么就失败了。

很多网页都是这样,比如,58同城上的服务商信息,前面的信息很全面,到后面就缺信息了。

如果是这种情况,有些内容不要勾关键内容。

你的规则名字是什么?发出来管理员可以帮你检查一下
举报 使用道具
板凳
Han72380207 新手上路 发表于 2020-4-26 14:57:35 | 只看该作者
是的,标签设置要改一下。解决了,谢谢!!!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 17:28