集搜客GooSeeker网络爬虫

标题: 能不能在不同电脑上运行同一个主题 [打印本页]

作者: 欧里庇德斯 时间: 2016-11-11 17:32
标题: 能不能在不同电脑上运行同一个主题
请问同一个用户能在不同的电脑上运行同一个主题么？如果可以的话它是否会自动锁住已执行的线索？

作者: xandy 时间: 2016-11-11 17:34
可以，爬虫会自动分配给各个电脑上的爬虫

作者: 欧里庇德斯 时间: 2016-11-11 17:34

xandy 发表于 2016-11-11 17:34
可以，爬虫会自动分配给各个电脑上的爬虫

那我添加100条线索在100台服务器上运行DS打数机的话不考虑爬虫群的情况下这一百条的时间缩短成了一条的时间我这么理解对么？

作者: xandy 时间: 2016-11-11 17:35

欧里庇德斯发表于 2016-11-11 17:34
那我添加100条线索在100台服务器上运行DS打数机的话不考虑爬虫群的情况下这一百条的时间缩短成了一 ...

爬虫群里最大允许爬虫数是20
爬虫群要先拿到任务，再按任务里的主题去拿线索
有可能部分爬虫动作快，总是它们拿到任务，其它的空闲

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)