快捷导航
本帖最后由 ym 于 2016-2-1 15:09 编辑

常见问题 > 制作规则—常见问题导航 > 翻页> 怎么破除网站翻页的页码限制


请问谁知道,怎么破除页码限制吗

QQ图片20160114222359.png
QQ图片20160114222407.png



举报 使用道具
| 回复

共 23 个关于本帖的回复 最后回复于 2018-5-7 18:07

ym 版主 发表于 2016-1-14 22:22:19 | 显示全部楼层
每页有独立网址的话,就把规则里的翻页线索删掉,然后构造每页网址,导入到规则里,一页页地抓
举报 使用道具
努力成为A 初级会员 发表于 2016-1-14 22:24:18 | 显示全部楼层
举报 使用道具
ym 版主 发表于 2016-1-14 22:25:43 | 显示全部楼层
本帖最后由 ym 于 2016-5-24 14:41 编辑

网址最后面的数字就是页码的数字,把网址贴到excel里,鼠标选中单元格右下角出现+符号再往下拖动,页码的数字会递增,这样就构造了每页的网址,这里的第一页最后面没有页码数,那就从第二页开始构造网址。注意:要检查一下网址是否有效。
举报 使用道具
努力成为A 初级会员 发表于 2016-1-14 22:26:09 | 显示全部楼层
本帖最后由 ym 于 2016-2-1 14:40 编辑

嗯,然后怎么一次性把网址导入到规则里,爬取
举报 使用道具
ym 版主 发表于 2016-1-14 22:28:21 | 显示全部楼层
具体看初级教程添加线索的文章
方法1:去会员中心导入线索 http://www.gooseeker.com/doc/article-172-1.html
方法2:去DS打数机里导入线索 http://www.gooseeker.com/doc/article-129-1.html
举报 使用道具
Fuller 管理员 发表于 2016-1-14 22:29:02 | 显示全部楼层
努力成为A 发表于 2016-1-14 22:26
嗯,然后怎么一次性导入规则,爬取

在会员中心-〉爬虫管理-〉规则管理 那里找到这个规则,有添加线索功能,导入excel
举报 使用道具
努力成为A 初级会员 发表于 2016-1-14 22:29:40 | 显示全部楼层
我刚看了下,它这个最多只能翻到50页,我人为改到52页,点击也还是显示50页的内容,这样的话,爬取会有用吗?
举报 使用道具
ym 版主 发表于 2016-1-14 22:30:57 | 显示全部楼层
那就是网站限制浏览的页码,这样即使构造了每页网址也是抓不了的
举报 使用道具
ym 版主 发表于 2016-1-14 22:33:34 | 显示全部楼层
本帖最后由 ym 于 2016-10-20 10:58 编辑

其实有一个方法可以爬取,它下面有分品类的,就可以做层级规则,把每个品类的链接抓下来,在下级规则里采集品类下的列表数据,这样即使限制50页,也能采集到每个品类下的更多数据
QQ截图20161020105807.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 调度设置参数说明
  • 集搜客网络爬虫软件实现屏幕截屏
  • 怎样使用搜狐新闻搜索列表快捷工具抓取关键
  • 用于清洗文本内容的Excel函数公式
  • 用网络爬虫采集小红书的笔记

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2019-5-24 21:37