本人想采集的财政部社会PPP项目详细信息(http://www.cpppc.org:8082/efmisw ... PPList.do?projName=),由于PPP项目级别不同,展示的信息也不同,因此无法用同一规则制定飞掠窗口抓取的内容,只能分类抓取。

本人抓取思路是,先点击示范级别:如国家示范项目(连续动作),然后再点击各项目,用连续动作飞掠窗口,抓取飞掠窗口里的内容,最后再做翻页动作。
但在实际运行工作中,程序是直接先做翻页动作,没有弹出飞掠窗口。
请大侠帮忙看看到底是什么原因?

本人制作的一级规则为:PPP国家示范项目1;二级规则为PP国家示范项目2。




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-5-25 12:04

沙发
Fuller 管理员 发表于 2017-5-25 11:26:46 | 只看该作者
当规则中既有爬虫路线,又有连续动作的话,会先执行连续动作,再执行爬虫路线

你是想在“国家示范项目”类型中翻页吗?如果是这样,你应该把第一个规则分成两级
1,第一级只负责点击“国家示范项目”
2,第二级在爬虫路线那里定义翻页,在连续动作那里只定义点击启动飞掠的那个动作

所以,做成三级规则比较合适
举报 使用道具
板凳
ym 版主 发表于 2017-5-25 11:58:23 | 只看该作者
你的第一级规则要拆成两级规则,改成下面这样:
主题A——整理箱随意抓点信息并设置关键内容,然后在连续动作那里设置点击动作(这里不要勾飞掠),用来点击“国家示范项目”,目标主题名填“主题B”

主题B——整理箱随意抓点信息并设置关键内容,然后在爬虫路线里设置翻页,目标主题名填“主题B”,在连续动作那里设置点击动作(勾上飞掠),用来逐个点击“信息公开”,目标主题名填“PPP国家示范项目2”


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
jaguarzls 初级会员 发表于 2017-5-25 12:04:35 | 只看该作者
收到,多谢,我一会儿试试。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-5 14:05