翻页出问题了

帮我解决一个问题吧！
规则名称：沈阳货运物流公司
问题：翻页的时候蹦出很多网页！

去掉连续翻页，然后使用调度规则用爬虫群来进行抓取；或者单搜的时候，需要抓取多少页就输入多少。

这个网页翻页会在新标签页中打开下一页，所以在翻页的时候会总是弹出新的页面，不适合用普通的翻页模式采集。
可以通过构造网址的方式采集，这个网站每一页都有独立网址，可以批量构造出全部页码的网址，然后直接添加到规则里，同时要删掉规则里的翻页设置，就可以单页采集，不用担心采漏某一页或者是重复翻页。

参考《构造网址》

bowieD 发表于 2018-5-9 15:35
这个网页翻页会在新标签页中打开下一页，所以在翻页的时候会总是弹出新的页面，不适合用普通的翻页模式采集 ...

我以前的规则用这种方法就没出现这种问题，也是在这个网站上爬的，现在不行了是不是它自身网站改了什么呢?

shengchengx 发表于 2018-5-9 15:32
去掉连续翻页，然后使用调度规则用爬虫群来进行抓取；或者单搜的时候，需要抓取多少页就输入多少。
...

好，我试下

bowieD 发表于 2018-5-9 15:35
这个网页翻页会在新标签页中打开下一页，所以在翻页的时候会总是弹出新的页面，不适合用普通的翻页模式采集 ...

我弄出来了，多谢您的链接