http://www.meituan.com/meishi/5879052/
想要翻页抓取这个评论,但这个网页加载规则需要单击排序才能出现评论,不会设置这个连续动作,以及运用相对线索进行翻页操作失败,求大神们帮忙看看,急用,谢谢
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2019-7-10 09:34

沙发
1842554864 初级会员 发表于 2019-7-9 17:46:24 | 只看该作者
南京冠生园评论抓取第*级,共三级规则,第二级和第三级规则关联不上,抓完第二级之后的模拟单击动作没对第三级生效,导致第三级规则无法正常抓取,请问有大神能帮忙看看吗?
举报 使用道具
板凳
wangyong 版主 发表于 2019-7-9 17:58:06 | 只看该作者
1842554864 发表于 2019-7-9 17:46
南京冠生园评论抓取第*级,共三级规则,第二级和第三级规则关联不上,抓完第二级之后的模拟单击动作没对第 ...

这个网址打开后默认就是选择按质量排序?加上点击动作是为了应对初始加载有不显示评论内容的情况?
我测试了这个两个规则是正常的,可以执行点击,你采集的时候有没有打开滚屏,DS窗口是不是最大化
举报 使用道具
地板
1842554864 初级会员 发表于 2019-7-9 18:14:56 | 只看该作者
wangyong 发表于 2019-7-9 17:58
这个网址打开后默认就是选择按质量排序?加上点击动作是为了应对初始加载有不显示评论内容的情况?
我测 ...

对,加上点击动作是为了应对初始加载有不显示评论内容的情况。我现在的问题不是点击无法实现,而是第三级规则还是不能在第二级点击完成的基础上抓取到出现的评论内容,并且第三级的线索数量不能跟第二级的线索对应上
举报 使用道具
5#
wangyong 版主 发表于 2019-7-9 18:26:06 | 只看该作者
1842554864 发表于 2019-7-9 18:14
对,加上点击动作是为了应对初始加载有不显示评论内容的情况。我现在的问题不是点击无法实现,而是第三级 ...

第三级线索数不会变化,第二级的线索数就是第三级的线索数
举报 使用道具
6#
1842554864 初级会员 发表于 2019-7-9 18:28:39 | 只看该作者
wangyong 发表于 2019-7-9 18:26
第三级线索数不会变化,第二级的线索数就是第三级的线索数

但是我运行时第二级32条线索,第三级只有一条是需要用爬虫群运行吗?
举报 使用道具
7#
wangyong 版主 发表于 2019-7-9 18:29:56 | 只看该作者
1842554864 发表于 2019-7-9 18:28
但是我运行时第二级32条线索,第三级只有一条是需要用爬虫群运行吗?

用爬虫群调度后第二级规待抓取的线索数是有32条?
举报 使用道具
8#
1842554864 初级会员 发表于 2019-7-9 18:51:15 | 只看该作者
wangyong 发表于 2019-7-9 18:29
用爬虫群调度后第二级规待抓取的线索数是有32条?

对,第二级待抓取线索数32条,然后第三级就变回了1条
举报 使用道具
9#
wangyong 版主 发表于 2019-7-10 09:34:19 | 只看该作者
1842554864 发表于 2019-7-9 18:51
对,第二级待抓取线索数32条,然后第三级就变回了1条

这是正常的,第二级线索执行会自动调用第三级规则抓取
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-23 14:43