目标信息无法精确定位如何解决

本人需要采集https://shop1406911995275.1688.com/?spm=0.0.0.0.URhL1N页面   导航内 联系方式的链接作为下级线索
目前思路：
规则一、列表抓取线索一获得公司首页链接 作为下级线索一
规则二、在线索页面 获得联系方式模块的链接作为下级线索
规则三、在页面抓取需要信息。


目前问题：
规则二：阿里的导航设置有一定的自定义，部分商家的 联系方式模块并不在导航内的第5个位置。   有些在第四个、有些在最后、有些没有联系方式
这个问题在规则三也会出现，可以如何解决？

构造网址就行了，比如这个联系方式网址：

1. https://shop1406911995275.1688.com/page/contactinfo.htm

复制代码

所有店铺的格式都是一样的

1. https://xxxx.1688.com/page/contactinfo.htm

复制代码

只要把前面的xxxx换成具体店铺的就行了。
其他菜单对应的 网址也是这样的规律

问题已解决。新问题：每采集一条都要输入验证码、抓取延迟10、滚屏8、速度-3。 （部分页面太短、根本不用滚屏）

15857228289 发表于 2017-2-4 15:03
问题已解决。新问题：每采集一条都要输入验证码、抓取延迟10、滚屏8、速度-3。 （部分页面太短、根本不用滚 ...

用爬虫群模式，在会员中心设置调度参数，放慢采集速度

谢谢！辛苦，新年快乐，给你10086个敬业福