内存占用越来也大怎么办

lpasd123

数据爬取正常，一开始占用内存400M，用完多条线索后就1G多了，速度慢了很多，接近卡死，如何解决？

xandy · 发表于 2017-3-1 11:42:07

是开了很多爬虫窗口吗？

Fuller · 发表于 2017-3-1 12:07:34

采集哪个网站？主题名是什么？

有些网站的网页会有内存泄露，就会内存占用不放。另外，也可能是程序bug导致，我们要具体测试定位。

在一些大型项目中，为了持续可靠运行，还会部署一个监控程序，会定期对爬虫进行重启

lpasd123 · 发表于 2017-3-1 13:58:58

xandy 发表于 2017-3-1 11:42
是开了很多爬虫窗口吗？

一个窗口。

lpasd123 · 发表于 2017-3-1 13:59:44

Fuller 发表于 2017-3-1 12:07
采集哪个网站？主题名是什么？

有些网站的网页会有内存泄露，就会内存占用不放。另外，也可能是程序bug导 ...

天眼查
主题名：天眼查二级

lpasd123 · 发表于 2017-3-3 09:19:52

继续顶贴求解答。

shenzhenwan10 · 发表于 2017-3-3 10:01:32

和访问的网页, 爬虫电脑的配置有关
遇到这种情况, 可以重启GS浏览器或火狐

shenzhenwan10 · 发表于 2017-3-3 10:02:19

天眼查的采集多了会出滑块验证码

共 7 个关于本帖的回复最后回复于 2017-3-3 10:02

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页