怎么提高抓取速度

TonyJiang

抓大量数据的时候，有些什么办法能提高抓取速度的

quyixuan · 发表于 2016-11-14 10:45:36

可以用多台电脑登录同一个账号爬取，每个电脑多开几个爬虫群窗口。这里有个具体的例子：怎样同时登录5台电脑爬取微博，可以参考一下。

shenzhenwan10 · 发表于 2016-11-14 16:00:57

利用集搜客的爬虫群模式，多台电脑可以协同爬取

gooseeker_info · 发表于 2016-11-14 20:13:32

运行爬虫群，可以跨电脑、跨地域，大批量分布式爬数据。如果批量很大，可以联系GooSeeker官方，购买专用的企业版

Fuller · 发表于 2017-9-16 09:31:10

这里有一篇专门的教程《怎样优化DS打数机的抓取速度》

共 4 个关于本帖的回复最后回复于 2017-9-16 09:31

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页