连续动作设置翻页点击xpath不规则

这种页面超过10页后，postion不是连续的，不规则了，有办法可以解决吗？

我的规则名称：安居客_租房_层级



谢谢。

点击错位跟position是否连续没有关系，你这里的问题是因为翻页之后，上一页的dom结构也变成a节点了，爬虫就会点到它。
你采集的安居客网页直接用记号线索或相对线索来设置翻页就好了，连续动作设置翻页的话，主要是xpath要调整一下，自动生成的不太合适。

ym 发表于 2016-12-29 14:28
点击错位跟position是否连续没有关系，你这里的问题是因为翻页之后，上一页的dom结构也变成a节点了，爬虫就 ...

谢谢，记号翻页的话，会出现漏页的情况。 比如一共50页，爬下来远没有50页，不知道有没有好的解决办法？

ym 发表于 2016-12-29 14:28
点击错位跟position是否连续没有关系，你这里的问题是因为翻页之后，上一页的dom结构也变成a节点了，爬虫就 ...

用记号线索翻页会出现漏页的情况；
用相对线索翻页会出现翻页死循环的情况。
管理员有空帮我看看，多谢。

那你还是用相对线索吧，然后DS打数机的高级菜单勾上重复内容，这样重复采集3次后就会自动停止，最后在excel里把数据去重就好了

ym 发表于 2016-12-29 15:51
那你还是用相对线索吧，然后DS打数机的高级菜单勾上重复内容，这样重复采集3次后就会自动停止，最后在excel ...

比如前面10页，一直在重复抓取，这样3次重复停止了，第10页后面的还没有抓取呢

好吧，安居客每一页都有独立网址的，你把每页的网址整理出来，直接添加到规则里，同时删掉翻页设置，就可以单页采集，不用担心重复的问题，构造页码网址的操作参考http://www.gooseeker.com/doc/thread-1299-1-1.html

ym 发表于 2016-12-29 16:05
好吧，安居客每一页都有独立网址的，你把每页的网址整理出来，直接添加到规则里，同时删掉翻页设置，就可以 ...

这是一种方法，只是麻烦了点，不大自动化。
谢谢。