我在爬取博主主页,爬取十几分钟就会断掉,是怎么回事?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2023-9-14 16:26

maomao 论坛元老 发表于 2023-9-14 16:24:17 | 显示全部楼层
博主主页建议在cn端采集,可以采集全,而且比较稳定。
微博网页端的博主主页是瀑布流,一直向下滚屏,比较容易断。


举报 使用道具
maomao 论坛元老 发表于 2023-9-14 16:25:19 | 显示全部楼层
而且,数据采集比较多了,要及时清缓存,否则会越来越慢

连续采集的情形下,建议一天清一次缓存。

举报 使用道具
Thursday12 新手上路 发表于 2023-9-14 16:26:22 | 显示全部楼层
好的,我试试。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 遇到“无法识别的应用”告警怎么办?
  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件

热门用户

GMT+8, 2024-6-15 15:51