集搜客GooSeeker网络爬虫

标题: 感觉这个的爬取的速度有点慢 [打印本页]

作者: Fuller 时间: 2015-10-12 00:12
标题: 感觉这个的爬取的速度有点慢
问：感觉这个的爬取的速度有点慢

答：网络速度不慢吗？检查DS打数机底部的日志窗口，有什么日志？

问：没有什么日志的，偶尔会打出read timeout。300个网页会打那么一个日志

答：timeout要么是网络不稳定，要么是抓取规则不适应。如果确定说这些网页可以放弃，那么就把超时时间设置短一些，比如，1分钟，老版本是10分钟，会拖慢速度。另一个相关帖子：http://www.gooseeker.com/doc/thread-595-1-1.html

作者: Fuller 时间: 2016-5-29 10:25
1，运行爬虫群模式，可以同时运行很多线程并行抓取，尽量控制在10个线程以内
2，如果自己的电脑足够强大，有很多内存，一个DS打数机进程虽然带10个线程，但是32位程序不会使用超过4G内容，那么就运行多个DS进程，每个进程需要设置不同的profile
3，如果有足够多的电脑，那么这些电脑可以同时运行，大家不会重叠也不会遗漏

作者: Fuller 时间: 2016-10-4 21:51
超时的话，基本上可以断定规则做的不合适，应该用MS谋数台加载这条线索看看哪里不合适，加载失败线索的方法参看：http://www.gooseeker.com/doc/thread-398-1-1.html

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)