快捷导航
我做好了一级采取和二级采取,然后一级爬完了,但是二级只能采集一个网页?一级题目是:未成年人犯罪胡万琦1,二级题目是:未成年人犯罪胡万琦1_下级。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-4-30 07:44

Fuller 管理员 发表于 2019-4-30 07:44:02 | 显示全部楼层
这是个动态性很强的网站,你没有给整理箱设置关键内容,所以,爬虫根本没法判断真实的内容是否显示出来了,所以,你抓到的一定都是空结果文件。设置关键内容就好了
关键内容20190430073947.png

还有一个严重问题,每个A节点的href是一个javascript代码,说明在点击的时候动态构造网址,看样子data-href似乎就是目标网址,所以抓取下一级应该用data-href做内容映射(这个网址是否可用,我没有试过,你可以试试)

链接20190430074117.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 网络爬虫生成的XML格式结果文件
  • 打包下载excel格式的采集结果数据
  • 爬网址做层级采集——以京东商品爬虫为例
  • 网络爬虫软件翻页采集列表数据
  • 定义爬虫规则采集网页数据

热门用户

GMT+8, 2020-11-30 22:19