翻页抓取怎样限制翻页次数

数据分析小白edu

翻页抓取，如果要限制翻页页数，哪里可以设置啊

Fuller · 发表于 2020-9-10 11:24:35

要在爬虫群模式下设置调度参数才能限制，而在单搜或者集搜这种手工启动的爬取，眼看着页数够了，强制关闭爬虫窗口就行

数据分析小白edu · 发表于 2020-9-10 11:33:48

在任务管理中，对应任务的调度设置可以限制翻页

Fuller · 发表于 2020-9-10 11:58:07

数据分析小白edu 发表于 2020-9-10 11:33
在任务管理中，对应任务的调度设置可以限制翻页

对，这就是给爬虫群模式设置调度参数，这样设置以后，会把这个爬取任务自动分配给空闲的爬虫群电脑。配置爬虫群的教程：https://www.gooseeker.com/doc/article-200-1.html

共 3 个关于本帖的回复最后回复于 2020-9-10 11:58

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页