集搜客GooSeeker网络爬虫

标题: 无法抓取数据，请大神指点 [打印本页]

作者: Thinking2019 时间: 2019-11-29 16:40
标题: 无法抓取数据，请大神指点
一级任务名：铃木汽车
二级任务名：铃木经销商

问题描述：
因为选择省份时，需要查询的信息就已经全部显示出来了。所以后面的城市和产品不需要选择，即可以抓取数据。
但是现在抓取不到数据，请大神指点看看问题出在哪里，谢谢！

作者: Fuller 时间: 2019-11-29 17:42
解决方案：1，第一级的第一个动作的定位xpath不对，那样会定位到3个选择框，就出错了，应该这样

//*[@class='btn dropdown-toggle btn-default' and ../preceding-sibling::select/@id='province_sel']

复制代码

2，第一级应该有两个动作，一个是点开下来菜单，一个是点中某个菜单项，第二个动作的xpath是

//div[preceding-sibling::select/@id='province_sel']/div/ul[@class='dropdown-menu inner']/li/a[@class='opt undefined']

复制代码

作者: Thinking2019 时间: 2019-11-29 18:16

Fuller 发表于 2019-11-29 17:42
解决方案：1，第一级的第一个动作的定位xpath不对，那样会定位到3个选择框，就出错了，应该这样
2，第一级 ...

谢谢fuller，我先试下

作者: Thinking2019 时间: 2019-11-29 18:50

Fuller 发表于 2019-11-29 17:42
解决方案：1，第一级的第一个动作的定位xpath不对，那样会定位到3个选择框，就出错了，应该这样
2，第一级 ...

两个动作都是选择，还是第一个是单击，第二个是选择？

两种都试了，好像还是不行。
提示找不到select节点：步骤1（编号从1开始）

作者: Thinking2019 时间: 2019-11-29 18:50
@fuller

作者: Fuller 时间: 2019-11-29 18:51

Thinking2019 发表于 2019-11-29 18:50
两个动作都是选择，还是第一个是单击，第二个是选择？

两种都试了，好像还是不行。

两个动作都是点击

作者: Thinking2019 时间: 2019-12-2 11:16

Fuller 发表于 2019-11-29 18:51
两个动作都是点击

还是不行，麻烦帮我看看我的设置哪里有问题，谢谢！

作者: Thinking2019 时间: 2019-12-2 11:42
@fuller

作者: Thinking2019 时间: 2019-12-3 11:01
谁能帮帮忙

作者: Fuller 时间: 2019-12-3 11:19

Thinking2019 发表于 2019-12-3 11:01
谁能帮帮忙

第二级规则没有做好，所以采集到空数据

作者: Fuller 时间: 2019-12-3 11:20
需要加载第二级规则，把内容映射重新做一遍

作者: Fuller 时间: 2019-12-3 11:22
把定位偏好改成“偏好class”会更合适
[attach]11542[/attach]

作者: Thinking2019 时间: 2019-12-3 12:18
现在只能采集到上海的，因为我的位置在上海。上海采集完之后，自动跳转到首页，不再采集

作者: wangyong 时间: 2019-12-3 15:29

Thinking2019 发表于 2019-12-3 12:18
现在只能采集到上海的，因为我的位置在上海。上海采集完之后，自动跳转到首页，不再采集 ...

现在规则里的动作步骤只写了省份的，没有选城市的动作步骤

作者: Thinking2019 时间: 2019-12-6 11:28

wangyong 发表于 2019-12-3 15:29
现在规则里的动作步骤只写了省份的，没有选城市的动作步骤

因为只需要选择省份，就可以查出这个省份的所有信息，不需要逐一去选择城市。
所以就省掉了城市选择

作者: Fuller 时间: 2019-12-6 15:07

Thinking2019 发表于 2019-12-6 11:28
因为只需要选择省份，就可以查出这个省份的所有信息，不需要逐一去选择城市。
所以就省掉了城市选择
...

其实可以不用连续动作，只用第二级规则，网址可以构造出来，比如：

http://www.suzuki-china.com/service/dealer/?prov=34

复制代码

prov后面的数字就是省份，从1-34

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)