请教：页面内部的翻页始终抓取最后一页内容

http://www.tianyancha.com/company/4291266
在这个企业详情的页面中，股东信息、对外投资信息等等都有内部分页，如下图


我的规则是这样的



这个时候第一页和第二页都能够正常抓取，但是就是不会停止，一直在抓取第二页的内容，这个问题不知道该怎么解决？
我的规则名是tyc_search_result_detail_gdxx

重复采集第二页是因为>依然存在网页上，相对线索的点击依然会定位到它，所以就会重复点击和采集。

解决方法：
这个记号>到了最后一页，class就会改变，就能判断到停止点击的情况，所以你改为记号线索就能正常翻页了

ym 发表于 2017-3-16 16:25
重复采集第二页是因为>依然存在网页上，相对线索的点击依然会定位到它，所以就会重复点击和采集。

解决方 ...

我对比了一下，截图如下

我把规则改成下图所示

但这样抓取的时候，只会一直不停的去抓第一页，因为标记打在了li标签上，不在a上

ym 发表于 2017-3-16 16:25
重复采集第二页是因为>依然存在网页上，相对线索的点击依然会定位到它，所以就会重复点击和采集。

解决方 ...

改成这样

也是一直不停的抓取第一页的内容

你这个网页本来翻页就有点问题，我手工点击翻页，还是显示在第一页里，要多点击几次才会加载出第二页的信息

解决方法：
删掉爬虫路线的翻页设置，改为设置连续动作的点击，写xpath要定位到唯一的翻页按钮节点，另外，高级设置里不勾模拟点击，就可以正常翻页采集

1. //*[@id='nav-main-holderCount']/following-sibling::*[1]//*[@class='pagination-sm pagination ng-isolate-scope ng-valid']//*[@class='pagination-next ng-scope']/a

复制代码

ym 发表于 2017-3-16 18:00
解决方法：
删掉爬虫路线的翻页设置，改为设置连续动作的点击，写xpath要定位到唯一的翻页按钮节点，另外， ...

非常感谢，但这种方式不管在高级设置中的“重复次数”填几都只能抓2页，像下面这个页面
http://www.tianyancha.com/company/29659645
就不能抓全，不知道还有哪儿需要设置才能抓全数据？