集搜客GooSeeker网络爬虫

标题: 怎么规定抓取翻页数 [打印本页]

作者: wangyong    时间: 2015-12-25 16:31
标题: 怎么规定抓取翻页数
本帖最后由 ym 于 2016-2-1 18:08 编辑

常见问题 > 制作规则—常见问题导航 > 翻页采集 > 怎么控制翻页数量

怎么规定抓取翻页数
作者: wangyong    时间: 2015-12-25 16:33
本帖最后由 ym 于 2016-5-24 11:39 编辑

使用爬虫群进行采集,参看教程:如何运行爬虫群
爬虫群介绍看爬虫群模式,高效便捷的采集方式

用了爬虫群,就可以在规则的调度里用“同一线索内翻页次数”来控制翻页数量,我们填的是n,实际翻页数是n+1
注意:调度参数只对爬虫群窗口生效,对手工运行的DS窗口不生效,所以只能通过爬虫群采集来控制翻页数量。
[attach]584[/attach]
各个调度参数的意义看这里http://www.gooseeker.com/doc/article-112-1.html








欢迎光临 集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/) Powered by Discuz! X3.2