第一级采集任务:知网阅读搜索_动作,实现高级检索页面自动输入关键词,采集网址:https://mall.cnki.net/magazine/search/advsearch,
第二级采集任务:知网阅读搜索_抓取,实现按关键词搜索后跳转到结果页面数据抓取,采集网址是:https://mall.cnki.net/mallsearch/Home/Article,
现在的问题是,由于第二级采集任务的网址没有带有关键词信息,所以当启动采集的时候,抓取不到任何按第一级采集任务设置的关键词检索的数据,请问怎么操作能实现第二级采集任务可以抓第一级任务检索的数据?
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2021-9-26 08:47

沙发
马涌河畔 金牌会员 发表于 2021-9-23 17:46:30 | 只看该作者
举报 使用道具
板凳
z417566919 中级会员 发表于 2021-9-23 17:52:40 | 只看该作者
马涌河畔 发表于 2021-9-23 17:46
这种情况需要定义动作,来自动输入查询关键词,参考教程:【新提醒】自动输入关键词采集搜索结果信息—以人 ...

已经实现了定义动作,自动设置关键词了,现在的问题是:第二级采集任务获取不到第一级采集任务的结果,这个问题如何解决?
举报 使用道具
地板
Fuller 管理员 发表于 2021-9-23 18:14:53 | 只看该作者
z417566919 发表于 2021-9-23 17:52
已经实现了定义动作,自动设置关键词了,现在的问题是:第二级采集任务获取不到第一级采集任务的结果,这 ...

我搜索你的第一级规则,没有搜到,任务名是什么?
举报 使用道具
5#
z417566919 中级会员 发表于 2021-9-23 20:02:31 | 只看该作者
Fuller 发表于 2021-9-23 18:14
我搜索你的第一级规则,没有搜到,任务名是什么?

我的任务名叫“高级检索”
举报 使用道具
6#
gz51837844 管理员 发表于 2021-9-23 22:06:44 | 只看该作者
z417566919 发表于 2021-9-23 20:02
我的任务名叫“高级检索”

你这套规则,一共3级:
1. 高级检索
2. 高级检索结果
3. 用于抓详情的规则


我测试了一下, 运行第1级,可以顺利的输入关键词,第2级抓取和翻页也都是正常的
你的问题是什么?
举报 使用道具
7#
z417566919 中级会员 发表于 2021-9-24 08:20:27 | 只看该作者
gz51837844 发表于 2021-9-23 22:06
你这套规则,一共3级:
1. 高级检索
2. 高级检索结果

我运行第2级的时候,采集网址是:https://mall.cnki.net/mallsearch/Home/Article,这个页面没有第1级检索后的结果,所以啥也抓不到,就是这个问题
举报 使用道具
8#
gz51837844 管理员 发表于 2021-9-24 14:30:40 | 只看该作者
第一级--连续动作--第二级
这种情况,你不需要运行第二级, 只需要运行第一级, 第一级自动输入关键词查询后,自动调用第二级规则进行抓取, 这是一个连贯的过程。
举报 使用道具
9#
z417566919 中级会员 发表于 2021-9-26 08:47:01 | 只看该作者
gz51837844 发表于 2021-9-24 14:30
第一级--连续动作--第二级
这种情况,你不需要运行第二级, 只需要运行第一级, 第一级自动输入关键词查询 ...

好的,明白了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 03:21