集搜客GooSeeker网络爬虫
标题:
怎么规定抓取翻页数
[打印本页]
作者:
wangyong
时间:
2015-12-25 16:31
标题:
怎么规定抓取翻页数
本帖最后由 ym 于 2016-2-1 18:08 编辑
常见问题
>
制作规则—常见问题导航
>
翻页采集
> 怎么控制翻页数量
怎么规定抓取翻页数
作者:
wangyong
时间:
2015-12-25 16:33
本帖最后由 ym 于 2016-5-24 11:39 编辑
使用爬虫群进行采集,参看教程:
如何运行爬虫群
爬虫群介绍看
爬虫群模式,高效便捷的采集方式
用了爬虫群,就可以在规则的调度里用“同一线索内翻页次数”来控制翻页数量,我们填的是n,实际翻页数是n+1
注意:
调度参数只对爬虫群窗口生效,对手工运行的DS窗口不生效,所以只能通过爬虫群采集来控制翻页数量。
[attach]584[/attach]
各个调度参数的意义看这里
http://www.gooseeker.com/doc/article-112-1.html
欢迎光临 集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)
Powered by Discuz! X3.2