运行的过程中中断

github2020

Fuller · 发表于 2019-3-28 14:42:33

采集哪个网站出现的问题？运行了多少个DS打数机窗口？运行了多久？

github2020 · 发表于 2019-3-28 14:48:04

amazon，爬虫群，10个窗口，大概运行了不错过5个小时，

运行是我账号下面的 “三月亚马逊内容” 这个错误已经出现 3次了

Fuller · 发表于 2019-3-28 15:06:50

github2020 发表于 2019-3-28 14:48
amazon，爬虫群，10个窗口，大概运行了不错过5个小时，

运行是我账号下面的 “三月亚马逊内容” 这个错 ...

这种就是内存泄露造成的，或者网页占用内存太多，来不及释放。可以少开几个窗口，比如，开5个，看看是否会改善

github2020 · 发表于 2019-3-28 15:21:21

内存应该是够的。

Fuller · 发表于 2019-3-28 15:27:25

github2020 发表于 2019-3-28 15:21
内存应该是够的。

这个程序版本是32位的，最多也用不到4G

Fuller · 发表于 2019-3-28 15:48:21

如果电脑内存很大，可以在操作系统层面创建很多账号，每个windows账号下运行一个爬虫软件，每个爬虫实例开6个窗口。这个配置很合适。比如，我们经常在服务器上开20个linux账号，每个运行6个线程，就是120个线程。

这相当于多台电脑，要旗舰版以上才行

github2020 · 发表于 2019-4-4 15:03:32

这个现在开 5 个窗口，都出现同样的错误，太不稳定了啊

Fuller · 发表于 2019-4-4 16:42:27

github2020 发表于 2019-4-4 15:03
这个现在开 5 个窗口，都出现同样的错误，太不稳定了啊

你爬的主题名是什么？我看看是什么原因。个别网站对内存的消耗很大，会出现内存不够的问题。如果遇到这种情况，减少并行的窗口

共 8 个关于本帖的回复最后回复于 2019-4-4 16:42

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页