快捷导航
努力成为A 初级会员 发表于 2016-1-14 22:35:37 | 显示全部楼层
谢谢,能抓到了
举报 使用道具
crybzc5664 新手上路 发表于 2016-6-2 09:22:02 | 显示全部楼层

请问您后面是怎么弄的,可以加个qq么
举报 使用道具
Fuller 管理员 发表于 2016-6-2 09:51:43 | 显示全部楼层
crybzc5664 发表于 2016-6-2 09:22
请问您后面是怎么弄的,可以加个qq么

页码限制是网站做的,你是无法破解的,除非网站有漏洞,所以,你要考虑的怎样让总页数不要超过50页,其实就是选择更细小的分类。

以前你计划采集一个大类,比如,大类A,他总共有500个分页,现在你就采集大类A下面的小类A1,A2,A3,........,如果有50个子类,那么每个子类的分页数就很少了
举报 使用道具
minchengcheng 初级会员 发表于 2016-9-29 11:53:40 | 显示全部楼层

能问下,你怎么做到的嘛?
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-9-29 11:58:49 | 显示全部楼层
对于翻页数有限制的网站,比如大众点评网最大只能翻50页,应对的方法是采集大类下的小类,或者通过其它条件来进一步细分,最后每个小类的总页数控制在50页内
举报 使用道具
quyixuan 金牌会员 发表于 2016-9-29 11:59:37 | 显示全部楼层
minchengcheng 发表于 2016-9-29 11:53
能问下,你怎么做到的嘛?

举个例子,比如你抓淘宝男鞋这个大类,淘宝限制了只能翻页到100页,但是你做规则的时候将男鞋分成很多小类来抓,比如分不同品牌,这样你每个品牌都能显示100页的数据,有几个品牌你抓到的数据就相当于翻了几倍了
举报 使用道具
minchengcheng 初级会员 发表于 2016-9-29 17:06:02 | 显示全部楼层
quyixuan 发表于 2016-9-29 11:59
举个例子,比如你抓淘宝男鞋这个大类,淘宝限制了只能翻页到100页,但是你做规则的时候将男鞋分成很多小 ...

嗯呢,谢谢你
举报 使用道具
李虹颖 新手上路 发表于 2018-5-7 15:31:00 | 显示全部楼层

但是我的无法再细分类别啦
举报 使用道具
数据集 高级会员 发表于 2018-5-7 15:39:50 | 显示全部楼层
李虹颖 发表于 2018-5-7 15:31
但是我的无法再细分类别啦

限制翻页的网址,只能通过条件来一步步细分,最后每个小类的总页数控制在翻页限制数以内,超过翻页限制的就无法采集到
举报 使用道具
李虹颖 新手上路 发表于 2018-5-7 15:49:19 | 显示全部楼层
数据集 发表于 2018-5-7 15:39
限制翻页的网址,只能通过条件来一步步细分,最后每个小类的总页数控制在翻页限制数以内,超过翻页限制的 ...

那我的分类就只要有两个,不管怎么细化,都会超过50页的限制,这个怎么弄啊?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 关于鸿蒙操作系统的知乎讨论热点分析
  • 采集知乎上关于华为鸿蒙的问题和回答
  • 分词和分类检索平台使用手册
  • 用爬虫采集机场出租车进场出场数据的公告
  • 摘取泉港区政府工作报告中的数字遇到的问题

热门用户

GMT+8, 2019-9-23 23:51