“无讼_第一级”规则抓取列表页中断的问题

请问一下技术支持，无讼案例的列表页采取“加载更多”的方式显示更多内容，使用集搜客提供的规则抓取时，最多加载二百多次就会中断，但不显示“失败”，显示的是“成功”。加载二百多次连该列表页的二十分之一都不到，而且根本无法从中断的地方接着抓取，每次从头来，结果都一样。请问究竟是哪里出了问题？

规则地址：http://www.gooseeker.com/res/detail_113952.html

用于测试规则的线索网址：http://www.itslaw.com/search?searchMode=judgements&sortType=1&conditions=region%2B1%2B1%2B%E5%8C%97%E4%BA%AC%E5%B8%82

你的软件版本是多少？
可能是因为没有滚到最下方再来点击“加载更多” 导致后面不会点击
之前的版本有这个bug 你可以下载最新版爬虫 再试试
把滚屏次数调大一点

回复版主，收到你的建议后，我下载了最新版本的软件（我买的是旗舰版），调大了滚屏次数，经过多次测试，但我仍然发现最多只能加载200页左右。后来手工点击“加载更多”统计了一下，最多加载200次，第201次的时候，网页不在加载。这种限制能否破解，如何破解？

gwqagent 发表于 2016-11-11 14:50
回复版主，收到你的建议后，我下载了最新版本的软件（我买的是旗舰版），调大了滚屏次数，经过多次测试，但 ...

网站的限制不能破解 最多翻200页就是4000条数据
那你可以再对这些数据再进行细分 页面左侧有关键词年份这些分类方式 都有独立网址的 你分类之后只要不超过4000就可以了 把分类后的网址拿去采集

以北京市朝阳区人民法院为例，即使再怎么细分，细分完之后的筛选结果仍然多于4000条。
所以这种方法顶多算一个权宜之计，实用性不高。一是需要人工进行细分筛选，耗费大量人力，自动化派不上用场；二是即使再怎么样细分，最后还是会有大量的内容被遗漏，如果无法穷尽无讼案例网站的内容，在本地建立数据库的意义就不大了——还不如使用无讼网站在线检索呢。

那没办法这是网站的限制 如果网站的限制那么轻易就被外人破解那也太水了