14 23717

打数机问题

goodhanbin 于 2019-12-13 15:11 发表 [复制链接]
两级规则,同时采集,第一级规则中,打数机数据中,只有第一页数据,其他页数据无;第二级规则,打数机数据,有多页的数据,这是哪儿出问题了
举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2019-12-16 16:41

Fuller 管理员 发表于 2019-12-13 15:51:00 | 显示全部楼层
第一级规则也要定义翻页规则,是否定义了?
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-13 15:56:02 | 显示全部楼层
第一级规定,有定义自动翻页
举报 使用道具
Fuller 管理员 发表于 2019-12-13 16:26:03 | 显示全部楼层
goodhanbin 发表于 2019-12-13 15:56
第一级规定,有定义自动翻页

有没有出现提示说抓取超时?如果有提示,说明第一级规则不适合。

也可能是第一级规则的翻页点击需要设置成模拟点击。老版本的爬虫软件只能在爬虫群模式下设置翻页的模拟点击,新版本可以在规则中设置。

方案1:在会员中心为爬虫群设置翻页模拟点击的方法:
会员中心模拟点击20191213162316.png

方案2:给规则设置模拟点击(V9.0.4版本以后)
规则模拟点击20191213162406.png

设置成模拟点击的话,是按照屏幕位置进行点击的。如果“下一页”显示不出来,比如,要左右滚动才能显示,或者上面覆盖了其他窗口,就点击不成功
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-13 16:47:41 | 显示全部楼层
Fuller 发表于 2019-12-13 16:26
有没有出现提示说抓取超时?如果有提示,说明第一级规则不适合。

也可能是第一级规则的翻页点击需要设置 ...

有按上述要求设置,详情请见附件,还是不行!爬虫可以自动翻页,但是打数机数据,第一页规则只打第一页的
第一级规则,打数机,只打第一页数据,
第二级规则,打数机,可以打多页数据,
54连续翻页-模拟点击.png
54连续翻页-翻页设置.png
举报 使用道具
Fuller 管理员 发表于 2019-12-13 18:25:14 | 显示全部楼层
goodhanbin 发表于 2019-12-13 16:47
有按上述要求设置,详情请见附件,还是不行!爬虫可以自动翻页,但是打数机数据,第一页规则只打第一页的 ...

你的意思是说,第一级翻页是能实现的,但是翻页以后,没有点击每一条数据?
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-14 09:16:47 | 显示全部楼层
Fuller 发表于 2019-12-13 18:25
你的意思是说,第一级翻页是能实现的,但是翻页以后,没有点击每一条数据?
...

第一级规则,可以翻页,问题点:第二级规则,打数机打出了每一页数据,第一级规则,打数机,却只打出第一页数据,其他页却打不出来
举报 使用道具
Fuller 管理员 发表于 2019-12-14 09:31:10 | 显示全部楼层
因为是连续动作,必须第二级都执行完了,才能返回到第一级的循环中。第二级完成以后,如果还有一个弹出浮窗,要用一个点击动作关闭了,不然,盖在第一级上面,就翻页不了了
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-14 11:51:09 | 显示全部楼层
Fuller 发表于 2019-12-14 09:31
因为是连续动作,必须第二级都执行完了,才能返回到第一级的循环中。第二级完成以后,如果还有一个弹出浮窗 ...

1.第二级规则,有关闭动作,详细见附件截图2.第二级规则,打数机,每一页数据,都 有采集到,反而第一级规则打数机,只采集到第一页数据,反常






第二级关闭窗口

第二级关闭窗口
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-14 11:58:31 | 显示全部楼层
Fuller 发表于 2019-12-14 09:31
因为是连续动作,必须第二级都执行完了,才能返回到第一级的循环中。第二级完成以后,如果还有一个弹出浮窗 ...

第二级规则,可以采集到每一页+每一行数据,
第一级规则,反而只采集到,第一页的数据,按逻辑第二级规则是由第一级规则,连续动作,点开窗口才执行的,如果窗口不关闭为何又采集到第二级数据了?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 05:02