翻页到第二页就失败了

规则名：上海环保-无二级
按照教程做了规则，在百度新闻网页搜索上海环保，采集所产生的所有新闻，按照教程可以顺利采集很多其他关键字如“北京环保”，“天津环保”等，但是“上海环保”这个怎么都失败，因为我一开始都是直接把网址作为线索放在一个做好的规则采集的，发现上海环保总是失败，所以我就重新做了一个“上海环保-无二级”的规则，但是还是失败，请帮忙指点，谢谢。

还有一个问题，一个规则，我放了很多条线索，当然每一条线索是因为结构都相似的网页，比如“天津环保”“南京环保”都是在百度新闻网页上搜新闻条目，但是线索都添加进去之后只能一个个采集，使用爬虫或者集搜就会不翻页，只采集第一页就跳下一个线索了，所以我只能一个个线索单搜。

求大神解答，求解答，采集数据好想狗带

管理员加载你的规则，提示“记号翻页”有问题，建议你重新映射


1. 以图中的@id='page'的P节点做线索定位映射
2. 用“下一页”做记号映射
3. 点击“定位选项”， 选择“偏好ID"

shenzhenwan10 发表于 2017-9-9 21:30
管理员加载你的规则，提示“记号翻页”有问题，建议你重新映射

我原本也是用下一页做记号映射。p做定位线索的，刚刚我把定位改成偏好的id 可是到第二页还是失败了

jayxxy 发表于 2017-9-10 00:26
我原本也是用下一页做记号映射。p做定位线索的，刚刚我把定位改成偏好的id 可是到第二页还是失败了

...

要观察一下问题出在哪：
1，可以观察到，你已经成功翻页到第二页了，所以，爬虫路线上的翻页规则没有问题
2，可以看到DS打数机的面板上显示“匹配失败”，说明到了第二页数据规则有问题



上图是你的规则加载以后，点击测试按钮看到的数据规则，里面有多个position()函数，翻页到第二页，position的位置就可能不一样了。所以，要避免出现position函数。



如上图，用定位标志抓取多实例，而不用样例复制 ，其实最合适的是用那个@class='result title'，可惜每隔几个结果会出现一个@class='result title titlelast'，就会漏掉含有titlelast的，所以，采用了@class='c-title-author'

Fuller 发表于 2017-9-10 09:37
要观察一下问题出在哪：
1，可以观察到，你已经成功翻页到第二页了，所以，爬虫路线上的翻页规则没有问题 ...

谢谢啊   解决了