DS打数机太慢了，一分钟才采集10页

gooseeker_info

我认为DS打数机太慢了，我要采集的数据量很大，怎么把速度提高？

Fuller · 发表于 2016-12-20 21:23:41

首先，一定要确保抓取规则的适应性很好，DS打数机窗口下部不要出现日志信息，不要看到超时或者说需要优化，这种都会大大拖慢速度。参看这个讨论《感觉这个的爬取速度有点慢》

其次，可以用爬虫群，同时运行多个线程或者进程，或者使用多台计算机。这里有个集锦《设置采集速度》

共 1 个关于本帖的回复最后回复于 2016-12-20 21:23

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页