本帖最后由 tengxinyu 于 2017-8-10 16:53 编辑

层级抓取的问题
第一层级网址:http://data.miit.gov.cn/resultSearch?categoryTreeId=1128
它共有100多页,3000多条信息

然后每点击一条,就会进入详细信息,也就是我要提取的第二层级


第一个第二层级网址为:http://data.miit.gov.cn/viewCar?carId=51986
然后我是这样操作的,列表如下:
1.页面开始

2.命名:第298批产品公示,显示该名称可以使用,整理箱命名第一级,并选择了企业名称,品牌名称,产品名称,产品型号四种,其中企业名称为关键内容

3.开始设置样例复制,点整理箱:第一级,勾选启用,样例复制第一个,样例复制第二个

4.设置翻页,选择爬虫线索-新建-记号线索-连贯抓取

5.选择翻页处,出现DIV-线索映射-定位-线索1

6.选择下一页的那个小标标,在SPAN下的text进行线索映射-记号映射

7.完成结果如下

8.开始设置层级抓取,回到创建规则面板,找到第一栏名称对应节点TD-A下的@herf,进行内容映射-新建抓取内容-命名网址

9.对网址进行处理,勾选下级线索,选择爬虫路线,选择线索2,命名主题名:企业申报车型公示详情2

10.检测,存规则

11.规则菜单-新建-清空工作台内容-确定,选择第二级层级样本网址:http://data.miit.gov.cn/viewCar?carId=51986,输入,刷新进入,设置主题名:企业申报车型公示详情2

12.整理箱命名第二级,选择产品商标,产品型号,公司名称,注册地址作为抓取内容,宣泄公司名称作为关键内容

13.测试

14.存规则,爬数据
然后就出现只采集了,第一级的第一条,和第一条下的第二级内容,第一级第二条以及翻页的部分都没有啦????怎么办怎么办???



怎么办?谢谢解答!祝身体健康,平安喜乐!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 20 个关于本帖的回复 最后回复于 2017-8-11 16:05

沙发
wangyong 版主 发表于 2017-8-10 17:16:50 | 只看该作者
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成后,打数机中单搜运行第一级规则第298批产品公示
观察是否正常翻页

3,第一级规则正常运行后,在打数机中输入第二级规则名:企业申报车型公示详情2
右击规则名统计线索


统计到的待抓取线索数据就是第一级规则抓到的第二级规则链接
然后单搜运行第二规则

要抓取多少个第二级网页就在单搜后的线索框内输入多少数字

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
tengxinyu 新手上路 发表于 2017-8-11 08:34:35 | 只看该作者
wangyong 发表于 2017-8-10 17:16
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成 ...

谢谢,我尝试一下,麻烦您了
举报 使用道具
地板
tengxinyu 新手上路 发表于 2017-8-11 08:35:09 | 只看该作者
wangyong 发表于 2017-8-10 17:16
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成 ...

谢谢,我尝试一下,麻烦您了
举报 使用道具
5#
tengxinyu 新手上路 发表于 2017-8-11 09:08:56 | 只看该作者
tengxinyu 发表于 2017-8-11 08:34
谢谢,我尝试一下,麻烦您了

您好,我尝试了一下,您修改的企业申报车型公示详情2可以弄了,但是我自己操作的企业申报车型公示详情3还是不对,我已经选择绝对定位了呀,我想请问是否可以进行一下远程连接,可以帮我演示一下吗?
举报 使用道具
6#
wangyong 版主 发表于 2017-8-11 09:21:12 | 只看该作者
企业申报车型公示详情3有什么问题
举报 使用道具
7#
tengxinyu 新手上路 发表于 2017-8-11 09:25:13 | 只看该作者
wangyong 发表于 2017-8-10 17:16
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成 ...

您好,我尝试了一下,您修改的企业申报车型公示详情2可以弄了,但是我自己操作的企业申报车型公示详情3还是不对,我已经选择绝对定位了呀,我想请问是否可以进行一下远程连接,可以帮我演示一下吗?
举报 使用道具
8#
tengxinyu 新手上路 发表于 2017-8-11 09:26:25 | 只看该作者
wangyong 发表于 2017-8-11 09:21
企业申报车型公示详情3有什么问题

就是按照您说的我重新操作了一遍,我做的还是不正确,我可以加您一个qq,远程协助下吗,就演示一下,我看看哪里不正确,可以吗?
举报 使用道具
9#
tengxinyu 新手上路 发表于 2017-8-11 09:34:46 | 只看该作者
wangyong 发表于 2017-8-11 09:21
企业申报车型公示详情3有什么问题

您看这个又有什么问题吗?我统计线索时线索数就不对,单搜的时候也不对
举报 使用道具
10#
wangyong 版主 发表于 2017-8-11 09:38:50 | 只看该作者
截图把问题说明一下哪里不对
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-6-24 21:30