2 5974

三层采集问题

chenxsh 于 2019-5-12 11:14 发表 [复制链接]
我是三层采集的,列表(主题名:EBAY_CO_UK_list),页面(主题名:EBAY_CO_UK_item),销售记录(主题名:EBAY_CO_UK_history)

我的销售记录的网址是通过页面里面的某个链接进行下线线索进行采集的,但这个链接所对应的抓取内容(商品销量)每个页面不太一样,所以我对这个主题名做了两个规则,但进行自动采集的时候很多页面采集失败了,能帮我看看什么原因不?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-5-12 15:29

Fuller 管理员 发表于 2019-5-12 15:16:42 | 显示全部楼层
我加载了EBAY_CO_UK_history,但是看到只有一个抓取内容,抓整个html,这样就不会有失败了的。但是这样就不是精确地按字段抓取了。

如果按字段抓取,容易失败,应该做上定位标志映射,参看:https://www.gooseeker.com/doc/article-344-1.html
举报 使用道具
Fuller 管理员 发表于 2019-5-12 15:29:39 | 显示全部楼层
规则120190512152320.png

规则220190512152241.png

对比上面两图,如果我做规则的话,我会用红色箭头指向的那个class值作为定位标志映射,映射给“商品销量”。

但是通过对比两图,发现两个的class值不一样,那么我会点击“测试按钮”,看到生成的数据规则,把抓取“商品销量”的xpath表达式拷出来,编辑一下,只取两个都有的class值的内容,用contains()函数让两边通用,用自定义xpath的方法让规则通用。

另外,要点击“定位”按钮,查看缺省选择的偏好id是否合适,下图可见,偏好id的时候,生成xpath很长,有很多position函数,网页结构稍微不同就失效了。

定位20190512152914.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 04:42