数据采集了一半想通过爬虫群的方式继续采集

马涌河畔

请问，数据采集了一半想通过爬虫群的方式继续采集，爬虫群会继续采集剩下的线索还是会全部重新采集啊

内容分析应用 · 发表于 2020-12-22 10:08:34

会采集剩下的线索，已经采集过的就不自动重采了
假如需要重新激活线索再次采集，可以到集搜客会员中心进行激活

马涌河畔 · 发表于 2020-12-22 10:09:02

爬虫群可以配置多个爬虫，是不是爬虫数越多采集的越快呀

内容分析应用 · 发表于 2020-12-22 10:09:57

马涌河畔发表于 2020-12-22 10:09
爬虫群可以配置多个爬虫，是不是爬虫数越多采集的越快呀

是的，但是一般4核8g电脑配置窗口不能超过8个，要不然会卡
旗舰版用户可以再增加电脑

马涌河畔 · 发表于 2020-12-22 10:10:39

运行爬虫群采集另外的任务，不会影响当前任务的采集进程吧

内容分析应用 · 发表于 2020-12-22 10:11:49

不影响，爬虫群是单独的线程，你当前的任务不会被打断

共 5 个关于本帖的回复最后回复于 2020-12-22 10:11

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页