爬虫并行爬取能加快速度吗

gooseeker_info

怎样并行抓取？按“集搜”按钮吗？还是运行爬虫群？

Fuller · 发表于 2016-10-7 17:41:27

集搜和爬虫群是两种并行抓取的方案，爬虫群可以跨多台计算机，抓取同一个主题的爬虫数量可以设置，更加灵活。

集搜的介绍：http://www.gooseeker.com/doc/thread-648-1-1.html

爬虫群的介绍：http://www.gooseeker.com/doc/article-197-1.html

共 1 个关于本帖的回复最后回复于 2016-10-7 17:41

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页