一级网页https://s.1688.com/company/--61. ... .5095975.154.rhFiv2
二级网页https://shop1443632236293.1688.com/?spm=0.0.0.0.eLK2GS
我需要进入二级网页后,1、点击“公司档案”:基本信息   
2、点击“联系方式”:联系人、电话、地址、主页
我现在的难点 就在于,不是所有的二级网页都有“公司档案”“联系方式”
而且每个二级网页“公司档案”“联系方式”位置不一样,
我的xpath该如何写啊,求大神指导啊

1.png (160.73 KB, 下载次数: 423)

1.png

2.png (22.09 KB, 下载次数: 419)

2.png

3.png (416.46 KB, 下载次数: 429)

3.png

4.png (256.72 KB, 下载次数: 433)

4.png
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2017-4-14 16:26

沙发
Fuller 管理员 发表于 2017-4-14 07:37:37 | 只看该作者
比如这个供应商:https://kanamee.1688.com
url中的kanamee我们可以看成这个供应商的id,那么其他网址都可以使用这个id构造出来,比如,
供应产品页: https://kanamee.1688.com/page/offerlist.htm
公司档案页:https://kanamee.1688.com/page/creditdetail.htm
联系方式页:https://kanamee.1688.com/page/contactinfo.htm

看到没有?只是最后的网页不一样,所以,你只需先把供应商的id爬下来,然后在excel中把需要的网址构造出来,成批导入给会员中心的那个抓取规则,那个抓取规则就有了线索。不要用层级采集
举报 使用道具
板凳
xiuxiu520yuanyu 中级会员 发表于 2017-4-14 16:26:53 | 只看该作者
Fuller 发表于 2017-4-14 07:37
比如这个供应商:https://kanamee.1688.com
url中的kanamee我们可以看成这个供应商的id,那么其他网址都可 ...

谢谢,会了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-24 11:13