为什么采集数据一会儿运行内存就很高,然后就无响应了
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2020-5-13 23:03

沙发
Fuller 管理员 发表于 2020-5-13 19:24:35 | 只看该作者
跟采集的网页有关。是不是瀑布流网页?如果是瀑布流的网页,网页会越来越大,最后就崩溃了。

旗舰版有清除老数据功能,就是点击动作和滚屏动作的高级设置那里,设置一个xpath,这个xpath应该能定位到所有滚屏出来的条目,比如,微博评论,应该定位到所有评论条目,那么就会自动删除以前采集的条目。但是,有可能有些网页不允许
举报 使用道具
板凳
Fuller 管理员 发表于 2020-5-13 19:25:56 | 只看该作者
还有要给可能,是你的电脑需要清除缓存了。这个帖子介绍了两种方法,最彻底也是最快的是在AppData下找到GooSeeker文件夹,把整个文件夹删除: https://www.gooseeker.com/doc/thread-4503-1-1.html

删除以后所有的登录状态和cookie都没有了
举报 使用道具
地板
呀你不是一只猫 高级会员 发表于 2020-5-13 19:50:05 | 只看该作者
Fuller 发表于 2020-5-13 19:24
跟采集的网页有关。是不是瀑布流网页?如果是瀑布流的网页,网页会越来越大,最后就崩溃了。

旗舰版有清除 ...

就是采集微博博主详细网页资料一会儿就出现这种情况,电脑8G运行内存,磁盘还剩50G,网络良好,没开其他软件
举报 使用道具
5#
呀你不是一只猫 高级会员 发表于 2020-5-13 19:54:32 | 只看该作者
Fuller 发表于 2020-5-13 19:25
还有要给可能,是你的电脑需要清除缓存了。这个帖子介绍了两种方法,最彻底也是最快的是在AppData下找到Goo ...

之前就是用这种方法删除了的
举报 使用道具
6#
呀你不是一只猫 高级会员 发表于 2020-5-13 19:54:49 | 只看该作者
呀你不是一只猫 发表于 2020-5-13 19:54
之前就是用这种方法删除了的

没用
举报 使用道具
7#
呀你不是一只猫 高级会员 发表于 2020-5-13 19:55:01 | 只看该作者
呀你不是一只猫 发表于 2020-5-13 19:54
之前就是用这种方法删除了的

没用
举报 使用道具
8#
呀你不是一只猫 高级会员 发表于 2020-5-13 20:04:38 | 只看该作者
Fuller 发表于 2020-5-13 19:24
跟采集的网页有关。是不是瀑布流网页?如果是瀑布流的网页,网页会越来越大,最后就崩溃了。

旗舰版有清除 ...

怎么设置xpath呢
举报 使用道具
9#
Fuller 管理员 发表于 2020-5-13 23:03:12 | 只看该作者

把安全卫士关掉,有些杀毒软件的在线查杀功能有问题,流量大的时候处理不过来
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 06:50