爬虫规则:百度_1_关键字搜索
目的:1 从关键字集中连续导入、搜索;2 从搜索结果链接到详细页面,爬取详细数据
大神,重做了爬虫,连续动作可以做了,但有以下问题:
1 点击之后并没有执行页面的搜索功能(或者是等待时间太短,直接执行了下一个连续动作?)
2 设定搜索结果列表中的链接为下级线索进行层级搜索,但并没有执行
3 对百度_1设定了文件导入的200条关键字,但执行时仍然只执行了设定规则时的默认3条关键字,管理界面又显示已执行了5个关键字的爬取
4 是我的连续动作与层级结构设置有问题吗?

举报
| 回复

共 9 个关于本帖的回复 最后回复于 2017-6-20 11:43

沙发
shengchengx 金牌会员 发表于 2017-6-20 11:15:21 | 只看该作者
添加关键词的时候动作名称要对的上

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
板凳
我离女神只有一字之遥 初级会员 发表于 2017-6-20 11:19:14 | 只看该作者
已经添加,但在执行时只执行了规则设定时默认的3个关键字,并且这里显示执行完成了5条。
举报
地板
shengchengx 金牌会员 发表于 2017-6-20 11:27:22 | 只看该作者
我离女神只有一字之遥 发表于 2017-6-20 11:19
已经添加,但在执行时只执行了规则设定时默认的3个关键字,并且这里显示执行完成了5条。 ...

规则管理里可以看规则关系图

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
5#
shengchengx 金牌会员 发表于 2017-6-20 11:27:49 | 只看该作者
我离女神只有一字之遥 发表于 2017-6-20 11:19
已经添加,但在执行时只执行了规则设定时默认的3个关键字,并且这里显示执行完成了5条。 ...

连续动作里的输入动作名称要对应
举报
6#
shengchengx 金牌会员 发表于 2017-6-20 11:35:40 | 只看该作者
输入动作输入一条线索执行五个关键词搜索
举报
7#
我离女神只有一字之遥 初级会员 发表于 2017-6-20 11:36:55 | 只看该作者
shengchengx 发表于 2017-6-20 11:27
连续动作里的输入动作名称要对应

改了输入动作,还是只执行了5条。但层级采集没执行,帮忙看看哪里有问题
还有就是怎么批量删除已加的关键字啊,目前只知道重新更新规则= =
搜索动作也没有执行

举报
8#
shengchengx 金牌会员 发表于 2017-6-20 11:39:23 | 只看该作者
我离女神只有一字之遥 发表于 2017-6-20 11:36
改了输入动作,还是只执行了5条。但层级采集没执行,帮忙看看哪里有问题
还有就是怎么批量删除已加的关键 ...

层级抓取是两个规则
你用爬虫群可以并发执行但是是两个任务
举报
9#
我离女神只有一字之遥 初级会员 发表于 2017-6-20 11:42:21 | 只看该作者
shengchengx 发表于 2017-6-20 11:39
层级抓取是两个规则
你用爬虫群可以并发执行但是是两个任务

在执行层级抓取的第一层下级线索生成时匹配出错了
举报
10#
shengchengx 金牌会员 发表于 2017-6-20 11:43:17 | 只看该作者
举报
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 0%

热门用户

GMT+8, 2025-5-29 22:13