参考这个教程http://www.gooseeker.com/doc/article-373-1.html,抓取趣头条的内容http://home.qutoutiao.net/, 一开始还能往下滚,过了几十次之后就不会往下滚了,得人工用鼠标滚下去,才能接着自动滚,然后过会儿又停下来了。什么原因啊?

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-3-27 17:25

沙发
umsung 高级会员 发表于 2018-3-27 17:25:03 | 只看该作者
滚屏动作的总滚屏数设置为-1,就会一直滚屏直到滚完,每次滚屏数设置最好大于5

像头条这种无限滚屏的网页,越往下滚,内容越来越多,内存的占用越来越大,所以会越来越卡,那么执行到一定次数以后,就会内存耗用完
旗舰版有清楚老数据功能,当滚到下一屏的时候,前面已经抓取过的内容会被清空,就不会停止中断了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样让GooSeeker分词工具使用宋体画词云图
  • 使用BERTopic时遇到的c-TF-IDF是什么?
  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?

热门用户

GMT+8, 2026-5-7 04:26