第一级规则,有设置自定义翻页路线,第一级规则,设置了连续点击动作,触发并跳出窗口,采集数据,第二级规则有设置关闭窗口,
但是,第二级规则可以顺着第一级规则翻页路线采集每一页数据,第一级规则却只采集第一页数据



举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-12-18 08:54

沙发
goodhanbin 中级会员 发表于 2019-12-16 11:37:30 | 只看该作者
能否有人,帮忙分析下问题,谢谢哈
举报 使用道具
板凳
Fuller 管理员 发表于 2019-12-16 16:42:54 | 只看该作者
goodhanbin 发表于 2019-12-16 11:37
能否有人,帮忙分析下问题,谢谢哈

可能是爬虫有bug,建议做两套规则,第一套负责翻页抓取,不做点击动作,第二套负责点击进入第二层进行抓取
举报 使用道具
地板
goodhanbin 中级会员 发表于 2019-12-18 08:39:38 | 只看该作者
Fuller 发表于 2019-12-16 16:42
可能是爬虫有bug,建议做两套规则,第一套负责翻页抓取,不做点击动作,第二套负责点击进入第二层进行抓 ...

第二级规则,采集第一行数据时,可以执行翻页,有两个问题1.设置重复点击次数为20次时,采集第一行数据的,第6-7页时,一直重复采集不停下,
2.设置重复点击次数为7次时,采集第一行数据,第6-7页时,重复一次后,就自动执行:采集第二行数据,但是只采集第二行数据的第1页,其他页,直接跳过

举报 使用道具
5#
goodhanbin 中级会员 发表于 2019-12-18 08:54:04 | 只看该作者
第一,点开浏览次数,二级规则翻页动作,连续动作翻页设置吗?如果,使用连续动作,高级设置中重复设置为几次,停留在第一行数据,第6-7页重复点击

第二,第二级规则,只有第一行:点击浏览次数,采集到第1-7页数据,其他行的第二级规则,只采第一页数据,其他页数据直接跳过了,

第三,第一级规则,数据采集不完整 ,只采集到4行数据,还差6行数据,
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 02:52