规则名:长治环保一级新闻
大概知道原因是失败的那页没有提取的下级线索,导致那一页失败,但是抓取无法跳到下一页继续抓取,然后就直接抓取完成了,因为有的网页就是没有下级线索的链接,就无法继续抓取吗?因为一级只是为二级提供线索,请问大神怎么解决。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
| 回复

共 3 个关于本帖的回复 最后回复于 2017-9-15 13:42

沙发
jayxxy 初级会员 发表于 2017-9-14 23:53:38 | 只看该作者
求大神解答,直接就抓取完成,实际上还没有完成。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
板凳
umsung 高级会员 发表于 2017-9-15 09:35:06 | 只看该作者
本帖最后由 umsung 于 2017-9-15 09:45 编辑

1,无法跳到下一页抓取就直接抓取完成了,加载分析你的第一级规则报错了,因为你的记号翻页线索有问题,无法定位到“下一页”的节点所以才会导致无法跳到下一页就直接抓取完成了。
2,因为有的网页没有下级线索的链接,所以不要给下级线索的链接设置成关键内容,否则一旦爬虫抓取不到下级线索的链接就会导致报错,然后停止采集。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
地板
jayxxy 初级会员 发表于 2017-9-15 13:42:45 | 只看该作者
umsung 发表于 2017-9-15 09:35
1,无法跳到下一页抓取就直接抓取完成了,加载分析你的第一级规则报错了,因为你的记号翻页线索有问题,无 ...

谢谢啊  太感谢

举报
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-16 04:04

快速回复 快速发帖 返回顶部 返回列表