快捷导航
5 141

爬不了第一页数据

Easec888 于 2020-11-18 10:20 发表 [复制链接]
一级任务:证券从业人员基本信息公示第11级;二级任务券从业人员基本信息公示第12级。为什么第一个公司的信息爬不了,后面的可以。使用爬虫群的时候


举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2020-11-18 16:19

小蜜蜂测试162 中级会员 发表于 2020-11-18 11:03:05 | 显示全部楼层
这个网站不能用连续动作的点击,得用层级抓取 QQ截图20201118105903.png
这个onclick就是每个公司详情页网址的变量id:https://exam.sac.net.cn/pages/re ... .html?aoiId=1999082先做列表规则把onlick抓取下来,然后放到Excel里构成出网址来,添加到二级规则

举报 使用道具
Easec888 中级会员 发表于 2020-11-18 13:36:01 | 显示全部楼层
小蜜蜂测试162 发表于 2020-11-18 11:03
这个网站不能用连续动作的点击,得用层级抓取
这个onclick就是每个公司详情页网址的变量id:https://exam.s ...

如果这样做的话,有什么办法吗,因为我后面的全部能爬,就第一页不能爬
举报 使用道具
wangyong 版主 发表于 2020-11-18 16:15:58 | 显示全部楼层
Easec888 发表于 2020-11-18 13:36
如果这样做的话,有什么办法吗,因为我后面的全部能爬,就第一页不能爬
...

这个网站一共也就一页吧?

举报 使用道具
Easec888 中级会员 发表于 2020-11-18 16:19:55 | 显示全部楼层
wangyong 发表于 2020-11-18 16:15
这个网站一共也就一页吧?

不是,这个是从一级界面点进二级界面采集数据,然后返回一级页面,这样循环
举报 使用道具
wangyong 版主 发表于 2020-11-18 16:19:58 | 显示全部楼层
Easec888 发表于 2020-11-18 13:36
如果这样做的话,有什么办法吗,因为我后面的全部能爬,就第一页不能爬
...

你是指第一个公司失败是吧?

其他都成功了的话,就单独把失败的这个公司网址添加到二级规则里单独采集就行了

https://exam.sac.net.cn/pages/re ... .html?aoiId=1999082


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 采集图片网址并下载图片(二)——下载途牛
  • 采集图片网址并下载图片(一)—— 单图下
  • 定位映射采集列表数据——以B站视频列表为
  • 网络爬虫抓包功能
  • 内容映射

热门用户

GMT+8, 2021-1-21 10:17