天猫商品评论中,
有的评论有图片,有的评论有追评,有的有评论有图片有追评,我希望都采集下来


举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-12-9 10:26

沙发
wangyong 版主 发表于 2016-12-9 10:24:27 | 只看该作者
本帖最后由 wangyong 于 2016-12-9 10:27 编辑

要将所有的信息统一细分抓取来需要建立多个抓取内容
1,普通评论内容,2,普通评论图片,3,初次评论内容,4,初次评论图片,5,追评内容,6,追评图片
分析网页结构发现不同类型的评论对应的div@class不同
普通对应的@class='tm-rate-content',初次的@class='tm-rate-premiere',追评的@class='tm-rate-append'

这种情况下所有的抓取内容都需要做自定义xpath,将对应的xpath填写到对应的抓取内容中。
评论内容和图片内容的xpath相同,只是在高级设置里不同
评论勾选的是文本内容

图片勾选的是网页片段并勾选下载图片


Y52P1A2UP@8@O[QLTBP}3UP.png (25.55 KB, 下载次数: 444)

Y52P1A2UP@8@O[QLTBP}3UP.png
举报 使用道具
板凳
wangyong 版主 发表于 2016-12-9 10:26:20 | 只看该作者
自定义xpath教程参看《自定义xpath》
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-29 19:24