本人想采集的财政部社会PPP项目详细信息(http://www.cpppc.org:8082/efmisw ... PPList.do?projName=),由于PPP项目级别不同,展示的信息也不同,因此无法用同一规则制定飞掠窗口抓取的内容,只能分类抓取。

本人抓取思路是,先点击示范级别:如国家示范项目(连续动作),然后再点击各项目,用连续动作飞掠窗口,抓取飞掠窗口里的内容,最后再做翻页动作。
但在实际运行工作中,程序是直接先做翻页动作,没有弹出飞掠窗口。
请大侠帮忙看看到底是什么原因?

本人制作的一级规则为:PPP国家示范项目1;二级规则为PP国家示范项目2。




PPP国家示范项目一级规则1.jpg
PPP国家示范项目一级规则2.jpg
PPP国家示范项目一级规则3.jpg
PPP国家示范项目一级规则4.jpg
PPP国家示范项目一级规则5.jpg
PPP国家示范项目二级规则飞掠窗口1.jpg
PPP国家示范项目二级规则飞掠窗口2.jpg
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-5-25 12:04

Fuller 管理员 发表于 2017-5-25 11:26:46 | 显示全部楼层
当规则中既有爬虫路线,又有连续动作的话,会先执行连续动作,再执行爬虫路线

你是想在“国家示范项目”类型中翻页吗?如果是这样,你应该把第一个规则分成两级
1,第一级只负责点击“国家示范项目”
2,第二级在爬虫路线那里定义翻页,在连续动作那里只定义点击启动飞掠的那个动作

所以,做成三级规则比较合适
举报 使用道具
ym 版主 发表于 2017-5-25 11:58:23 | 显示全部楼层
你的第一级规则要拆成两级规则,改成下面这样:
主题A——整理箱随意抓点信息并设置关键内容,然后在连续动作那里设置点击动作(这里不要勾飞掠),用来点击“国家示范项目”,目标主题名填“主题B”
飞掠1.png
主题B——整理箱随意抓点信息并设置关键内容,然后在爬虫路线里设置翻页,目标主题名填“主题B”,在连续动作那里设置点击动作(勾上飞掠),用来逐个点击“信息公开”,目标主题名填“PPP国家示范项目2”
飞掠2.png
飞掠3.png
举报 使用道具
jaguarzls 初级会员 发表于 2017-5-25 12:04:35 | 显示全部楼层
收到,多谢,我一会儿试试。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-17 05:03