DS打数机运行翻页规则，出现抓取错误

规则名：点评_商户列表

问题说明：
可以正常翻页，正常抓取，但是一个线索下面，
中间会出现某个页面是无效网址页面，导致该条线索抓取中断；
不过正常浏览是不会出现这种情况。

至于是不是这个原因，导致抓取错误，还烦请帮忙查看下，谢谢。

提供几个错误的线索ID：347372556

meicairen 发表于 2017-3-23 23:20
提供几个错误的线索ID：347372556

加载抓失败的线索，分析一下原因，再调整规则，操作参考《怎样解决规则采集失败/遗漏的问题》

您好，我已经修改好几版规则了，每修改好一版规则都会用DS打数机运行一遍，我发现个问题，没翻页到20页左右的时候，就会翻页到一个无效网页，从而导致DS打数机停止运行。

注：规则我测试了几遍，不是规则的问题，怀疑是网站的反爬机制，烦请帮忙查看下，是否有办法解决，谢谢感激不尽。

meicairen 发表于 2017-3-28 02:19
您好，我已经修改好几版规则了，每修改好一版规则都会用DS打数机运行一遍，我发现个问题，没翻页到20页左右 ...

我还没有加载你给的错误线索id，你在MS谋数台上，菜单 工具-》加载规则-》按线索号，只有MS谋数台有这个菜单，GS浏览器没有。

如果加载以后还是错误的页面，那么说明这不是反爬的，如果显示正确的页面，也许是反爬，也许是爬的太快造成的。

如果还是错误的页面，很好处理，针对这个页面定义一个规则，主题名跟正确那个页面的一样，但是规则编号不一样，等遇到错误页面的时候，就会套用这个规则。就不用等待超时了。

如果加载以后发现是正确页面，那么你用爬虫群模式放慢速度，在教程首页搜索“放慢速度”就能看到很多文章

是爬取速度的问题，调试成功了，谢谢。