请问为什么选择了爬取全部内容,始终无法全部采集

采集了好几次都会在某一个地方中断,我大约想采集3个月左右的数据,但是采集从今天开始采到3.9号就中断了
请问一下原因是什么啊,如何解决?


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2023-3-16 20:59

Fuller 管理员 发表于 2023-3-16 20:59:25 | 显示全部楼层
超话的网页很长,采集的时候对网络和计算机的要求比较高,所以采集的时候,最好不要让计算机忙别的事情。
如果断了,先把已经采集的数据打包下载。在数据表中,有一列数据是realpath字段,把最后一个realpath拷贝出来,粘贴到超话快捷工具,就可以从断掉的地方继续采集。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结

热门用户

GMT+8, 2024-12-10 10:59