快捷导航
怎样点到其他的上面 爬取对应的数据 所有目录都是一个网址 没有单独的网址
2-17.png
举报 使用道具
| 回复

共 17 个关于本帖的回复 最后回复于 2020-2-18 18:41

Fuller 管理员 发表于 2020-2-17 19:24:20 | 显示全部楼层
这个网页的网址是什么?
举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 19:26:53 | 显示全部楼层
Fuller 发表于 2020-2-17 19:24
这个网页的网址是什么?

https://www.wmzy.com/api/rank/schList?rankingType=xingchou
举报 使用道具
Fuller 管理员 发表于 2020-2-17 19:36:08 | 显示全部楼层
sunnyz 发表于 2020-2-17 19:26
https://www.wmzy.com/api/rank/schList?rankingType=xingchou

首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45
ua20200217193325.png

其次,要做两级规则

第一级:负责点击那几个选项,使用连续点击动作,参看教程:https://www.gooseeker.com/doc/article-288-1.html
第二级:负责抓取内容,并且点击查看更多,点击查看更多的方式是使用连续翻页的方法,参看教程:https://www.gooseeker.com/doc/article-334-1.html

举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 19:47:18 | 显示全部楼层
Fuller 发表于 2020-2-17 19:36
首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45

看晕了
举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 19:56:35 | 显示全部楼层

两级规则怎么做
举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 20:06:52 | 显示全部楼层
Fuller 发表于 2020-2-17 19:36
首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45

二级规则怎么做?
举报 使用道具
Fuller 管理员 发表于 2020-2-17 22:44:43 | 显示全部楼层
sunnyz 发表于 2020-2-17 20:06
二级规则怎么做?

教程页面上的左栏目录展开,里面有初级教程,应该按照顺序看一下前面几篇:https://www.gooseeker.com/tuto/tutorial.html
QQ20200217-224225.png
举报 使用道具
sunnyz 初级会员 发表于 2020-2-18 16:29:58 | 显示全部楼层
Fuller 发表于 2020-2-17 22:44
教程页面上的左栏目录展开,里面有初级教程,应该按照顺序看一下前面几篇:https://www.gooseeker.com/tu ...

第一级规则点击虽然点击过来了 但是第二级规则还是抓的第一个目录上的内容
举报 使用道具
Fuller 管理员 发表于 2020-2-18 16:47:49 | 显示全部楼层
sunnyz 发表于 2020-2-18 16:29
第一级规则点击虽然点击过来了 但是第二级规则还是抓的第一个目录上的内容
...

你的规则名字是什么?主要是第一级的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以京东商品爬虫为例
  • 网络爬虫软件翻页采集列表数据
  • 定义爬虫规则采集网页数据
  • 网络爬虫采集列表数据
  • 集搜客网络爬虫的核心名词

热门用户

GMT+8, 2020-11-28 09:54