本帖最后由 终将泥泞 于 2018-6-8 13:36 编辑

我做了四级规则,模拟点击——搜索关键词——采集网址——采集摘要,但是翻页采集到第二页就匹配失败了。
规则名:
第一级:step1知网模拟点击1
第二级:step2知网搜索关键词1
第三级:step3知网搜索结果1
写小论文做的采集工作,前两级规则都运行正常,采集网址的时候在第二页规则就出错了,各位大神帮忙看看是咋回事???

Ps:我把规则三加载进MS,翻页到第二页进行后续分析,提示错误如下


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2018-6-8 16:33

沙发
wangyong 版主 发表于 2018-6-8 10:08:20 | 只看该作者
step3知网搜索结果1
这个规则有三个规则编号不同的采集规则,实际上不需要那么多,把规则_3.1和规则_5都删除
整理箱定节点网址链接不要做定位标志映射,选择做样例复制映射再试试
举报 使用道具
板凳
终将泥泞 初级会员 发表于 2018-6-8 13:20:23 | 只看该作者
wangyong 发表于 2018-6-8 10:08
step3知网搜索结果1
这个规则有三个规则编号不同的采集规则,实际上不需要那么多,把规则_3.1和规则_5都删 ...

试过了,我把规则三删除了重新编辑,使用样例复制,出现了同样的问题,一到第二页就抓不了
举报 使用道具
地板
wangyong 版主 发表于 2018-6-8 14:36:18 | 只看该作者
终将泥泞 发表于 2018-6-8 13:20
试过了,我把规则三删除了重新编辑,使用样例复制,出现了同样的问题,一到第二页就抓不了
...


第三级翻页线索的目标主题名写错了,应该是写当前的规则名:step3知网搜索结果1

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
终将泥泞 初级会员 发表于 2018-6-8 15:52:32 | 只看该作者
wangyong 发表于 2018-6-8 14:36
第三级翻页线索的目标主题名写错了,应该是写当前的规则名:step3知网搜索结果1
...

感谢,该问题已成功解决,自己倒腾了两天,被自己蠢哭
但是在知网抓取的时候,一到第16页就出来个验证码,可能是采集数据的速度和频率太高,被检测出来了,正在寻找解决方案

举报 使用道具
6#
Fuller 管理员 发表于 2018-6-8 16:33:18 | 只看该作者
终将泥泞 发表于 2018-6-8 15:52
感谢,该问题已成功解决,自己倒腾了两天,被自己蠢哭。
但是在知网抓取的时候,一到第16页就 ...

放慢采集速度的方法在这里有个总结:https://www.gooseeker.com/doc/thread-4563-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-14 11:46