我要抓取的是淘宝评论内容,一共1300多条评论。设置翻页之后开始采集,发现到第12页,不能进行翻页了。(此时下一页那个按钮就报错了)
页面下边提示:将评论内容进行了折叠。需要点击折叠才能显示。但是折叠的内容,是通过连续滚屏才能显示,就需要鼠标一直往下拉。

对于这种情况,大神有没有什么方法解决?
求大神给出指导 :页面链接 https://item.taobao.com/item.htm ... 183&abbucket=20
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2017-1-20 15:32

沙发
xandy 论坛元老 发表于 2017-1-20 14:28:52 | 只看该作者
页面里头又有滚屏的,要通过连续动作的滚轮功能,这个功能旗舰版用户可以使用。
举报 使用道具
板凳
xandy 论坛元老 发表于 2017-1-20 14:52:38 | 只看该作者
本帖最后由 xandy 于 2017-1-20 14:57 编辑

要把全部评论都抓下来的话,针对这种页面,划分成A和B两个方案同时去抓。
用你提到的这个网页页面举例说明,样本网址都是:
  1. https://item.taobao.com/item.htm?spm=a230r.7195193.1997079397.9.nQgtpI&id=527389957183&abbucket=20
复制代码
A:抓取1~12页的评论
规则A-1:模拟点击“累计评论”,目标主题:规则A-2
规则A-2:针对评论内容做采集规则并设置翻页
B:抓取12页里头滚轮里头的评论
规则B-1:模拟点击“累计评论”,目标主题:规则B-2
规则B-2:假如总页面有n次,那么设置连续动作点击“下一页”n-1次,目标主题:规则B-3(比如这个页面总共12页,连续点击下一页11次就可以)
规则B-3:模拟点击“查看被折叠的评论”,目标主题:规则B-4
规则B-4:针对滚轮里面的评论做抓取规则,设置连续动作滚轮抓取,目标主题自身
举报 使用道具
地板
759924607 高级会员 发表于 2017-1-20 15:13:23 | 只看该作者
xandy 发表于 2017-1-20 14:52
要把全部评论都抓下来的话,针对这种页面,划分成A和B两个方案同时去抓。
用你提到的这个网页页面举例说明 ...

这个就是页面内的又有滚屏的,那这种就是必须使用旗舰版了吧?
旗舰版是需要付费的吗?
举报 使用道具
5#
xandy 论坛元老 发表于 2017-1-20 15:19:07 | 只看该作者
本帖最后由 xandy 于 2017-1-20 15:20 编辑
759924607 发表于 2017-1-20 15:13
这个就是页面内的又有滚屏的,那这种就是必须使用旗舰版了吧?
旗舰版是需要付费的吗?
...

这个页面第12页的被折叠的评论页面,评论是每滚一次,加载一次,所以要一直滚动,评论才会一直加载上来。现在滚轮功能(页面内置页面的滚动)只对旗舰版用户开放,是收费的。
如果是普通的滚屏功能,所有用户都可以使用。
举报 使用道具
6#
759924607 高级会员 发表于 2017-1-20 15:32:01 | 只看该作者
xandy 发表于 2017-1-20 15:19
这个页面第12页的被折叠的评论页面,评论是每滚一次,加载一次,所以要一直滚动,评论才会一直加载上来。 ...

明白了  感谢您的耐心解答
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-18 13:02