天猫商品评论中,
有的评论有图片,有的评论有追评,有的有评论有图片有追评,我希望都采集下来


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-12-9 10:26

沙发
shenzhenuser1 版主 发表于 2016-12-9 10:24:27 | 只看该作者
本帖最后由 wangyong 于 2016-12-9 10:27 编辑

要将所有的信息统一细分抓取来需要建立多个抓取内容
1,普通评论内容,2,普通评论图片,3,初次评论内容,4,初次评论图片,5,追评内容,6,追评图片
分析网页结构发现不同类型的评论对应的div@class不同
普通对应的@class='tm-rate-content',初次的@class='tm-rate-premiere',追评的@class='tm-rate-append'

这种情况下所有的抓取内容都需要做自定义xpath,将对应的xpath填写到对应的抓取内容中。
评论内容和图片内容的xpath相同,只是在高级设置里不同
评论勾选的是文本内容

图片勾选的是网页片段并勾选下载图片


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
shenzhenuser1 版主 发表于 2016-12-9 10:26:20 | 只看该作者
自定义xpath教程参看《自定义xpath》
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?
  • top2vec话题发现原理和使用方法
  • 将文本聚类和LDA分析模块安装在数据盘上的
  • GooSeeker分词软件的tf-idf算法和特征词选

热门用户

GMT+8, 2026-4-17 19:43