集搜客GooSeeker网络爬虫

标题: 运行的过程中中断 [打印本页]

作者: github2020 时间: 2019-3-28 14:28
标题: 运行的过程中中断

作者: Fuller 时间: 2019-3-28 14:42
采集哪个网站出现的问题？运行了多少个DS打数机窗口？运行了多久？

作者: github2020 时间: 2019-3-28 14:48
amazon，爬虫群，10个窗口，大概运行了不错过5个小时，

运行是我账号下面的 “三月亚马逊内容” 这个错误已经出现 3次了

作者: Fuller 时间: 2019-3-28 15:06

github2020 发表于 2019-3-28 14:48
amazon，爬虫群，10个窗口，大概运行了不错过5个小时，

运行是我账号下面的 “三月亚马逊内容” 这个错 ...

这种就是内存泄露造成的，或者网页占用内存太多，来不及释放。可以少开几个窗口，比如，开5个，看看是否会改善

作者: github2020 时间: 2019-3-28 15:21
内存应该是够的。

作者: Fuller 时间: 2019-3-28 15:27

github2020 发表于 2019-3-28 15:21
内存应该是够的。

这个程序版本是32位的，最多也用不到4G

作者: Fuller 时间: 2019-3-28 15:48
如果电脑内存很大，可以在操作系统层面创建很多账号，每个windows账号下运行一个爬虫软件，每个爬虫实例开6个窗口。这个配置很合适。比如，我们经常在服务器上开20个linux账号，每个运行6个线程，就是120个线程。

这相当于多台电脑，要旗舰版以上才行

作者: github2020 时间: 2019-4-4 15:03
这个现在开 5 个窗口，都出现同样的错误，太不稳定了啊

作者: Fuller 时间: 2019-4-4 16:42

github2020 发表于 2019-4-4 15:03
这个现在开 5 个窗口，都出现同样的错误，太不稳定了啊

你爬的主题名是什么？我看看是什么原因。个别网站对内存的消耗很大，会出现内存不够的问题。如果遇到这种情况，减少并行的窗口

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)