爬数据卡住了，看看什么情况

bjdfhsxxjs

数据采集过程中，出现假死状态：

描述：
开始每个爬虫很流畅，之后逐渐出现假死状态，时间间隔越累越短，假死状态越来越长，最后程序崩溃

规则名：ICG_Archive_dt
列表页：https://www.crisisgroup.org/latest-updates
系统环境：win10

shenzhenuser1 · 发表于 2018-6-20 11:46:43

窗口开的太多了，硬件跟不上就崩溃了，先少开几个窗口

bjdfhsxxjs · 发表于 2018-6-20 13:08:01

wangyong 发表于 2018-6-20 11:46
窗口开的太多了，硬件跟不上就崩溃了，先少开几个窗口

嗯，就开6个窗口也不行？
这得要什么样的硬件才行？我现在的机器，i5 8500，集显(核显)，16G DDR4 2400，难道吃显卡？
cpu使用率也就30%不到，内存35%

cengceng · 发表于 2018-6-20 13:56:52

可能，你加载的网页比较复杂

共 3 个关于本帖的回复最后回复于 2018-6-20 13:56

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页