快捷导航
怎样点到其他的上面 爬取对应的数据 所有目录都是一个网址 没有单独的网址
2-17.png
举报 使用道具
| 回复

共 17 个关于本帖的回复 最后回复于 2020-2-18 18:41

Fuller 管理员 发表于 2020-2-17 19:24:20 | 显示全部楼层
这个网页的网址是什么?
举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 19:26:53 | 显示全部楼层
Fuller 发表于 2020-2-17 19:24
这个网页的网址是什么?

https://www.wmzy.com/api/rank/schList?rankingType=xingchou
举报 使用道具
Fuller 管理员 发表于 2020-2-17 19:36:08 | 显示全部楼层
sunnyz 发表于 2020-2-17 19:26
https://www.wmzy.com/api/rank/schList?rankingType=xingchou

首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45
ua20200217193325.png

其次,要做两级规则

第一级:负责点击那几个选项,使用连续点击动作,参看教程:https://www.gooseeker.com/doc/article-288-1.html
第二级:负责抓取内容,并且点击查看更多,点击查看更多的方式是使用连续翻页的方法,参看教程:https://www.gooseeker.com/doc/article-334-1.html

举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 19:47:18 | 显示全部楼层
Fuller 发表于 2020-2-17 19:36
首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45

看晕了
举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 19:56:35 | 显示全部楼层

两级规则怎么做
举报 使用道具
sunnyz 初级会员 发表于 2020-2-17 20:06:52 | 显示全部楼层
Fuller 发表于 2020-2-17 19:36
首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45

二级规则怎么做?
举报 使用道具
Fuller 管理员 发表于 2020-2-17 22:44:43 | 显示全部楼层
sunnyz 发表于 2020-2-17 20:06
二级规则怎么做?

教程页面上的左栏目录展开,里面有初级教程,应该按照顺序看一下前面几篇:https://www.gooseeker.com/tuto/tutorial.html
QQ20200217-224225.png
举报 使用道具
sunnyz 初级会员 发表于 2020-2-18 16:29:58 | 显示全部楼层
Fuller 发表于 2020-2-17 22:44
教程页面上的左栏目录展开,里面有初级教程,应该按照顺序看一下前面几篇:https://www.gooseeker.com/tu ...

第一级规则点击虽然点击过来了 但是第二级规则还是抓的第一个目录上的内容
举报 使用道具
Fuller 管理员 发表于 2020-2-18 16:47:49 | 显示全部楼层
sunnyz 发表于 2020-2-18 16:29
第一级规则点击虽然点击过来了 但是第二级规则还是抓的第一个目录上的内容
...

你的规则名字是什么?主要是第一级的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用集搜客分词平台做社会网络图分析?
  • 关于食品安全的美国联邦法规文件的网络爬虫
  • 怎样更有效率地搜索互联网和整理知识—使用
  • 阿里巴巴外包询价网站用集搜客网络爬虫能采
  • 在限定论域的时候,为什么“任何一个”表示

热门用户

GMT+8, 2020-5-30 16:35