集搜客GooSeeker网络爬虫

标题: 评论格式不统一怎样做抓取规则 [打印本页]

作者: 更新 时间: 2016-12-9 10:07
标题: 评论格式不统一怎样做抓取规则
[attach]3473[/attach]
天猫商品评论中，
有的评论有图片，有的评论有追评，有的有评论有图片有追评，我希望都采集下来

作者: wangyong 时间: 2016-12-9 10:24
本帖最后由 wangyong 于 2016-12-9 10:27 编辑

要将所有的信息统一细分抓取来需要建立多个抓取内容
1，普通评论内容，2，普通评论图片，3，初次评论内容，4，初次评论图片，5，追评内容，6，追评图片
分析网页结构发现不同类型的评论对应的div@class不同
普通对应的@class='tm-rate-content'，初次的@class='tm-rate-premiere'，追评的@class='tm-rate-append'
[attach]3474[/attach]
这种情况下所有的抓取内容都需要做自定义xpath，将对应的xpath填写到对应的抓取内容中。
评论内容和图片内容的xpath相同，只是在高级设置里不同
评论勾选的是文本内容
[attach]3476[/attach]
图片勾选的是网页片段并勾选下载图片
[attach]3476[/attach]

作者: wangyong 时间: 2016-12-9 10:26
自定义xpath教程参看《自定义xpath》

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)