用连续动作下载文件时,报“发现重复内容,连贯抓取将被中断 ”。实际上是没有重复的,怎么解决?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2022-2-20 23:47

沙发
数据集 高级会员 发表于 2017-10-25 18:01:47 | 只看该作者
用连续动作循环点击下载文件时,可能用同一个主题名抓取点击前和点击后的内容,而文件在同一页面上,当下载第一个文件之后,爬虫会关闭下载窗口去点击下载第二个文件,这时就可能出现报“发现重复内容,连贯抓取将被中断 ”而中断后面的文件下载。
解决方法:
通过DS打数机的高级-终止标志,不勾选重复内容中断就可以了。
举报 使用道具
板凳
LinDon 中级会员 发表于 2022-2-20 22:19:46 | 只看该作者
数据集 发表于 2017-10-25 18:01
用连续动作循环点击下载文件时,可能用同一个主题名抓取点击前和点击后的内容,而文件在同一页面上,当下载 ...

新版怎么弄?好像必须填动作后执行,填相同名字就采集重复,乱填采集之后就提示爬虫规则有问题
举报 使用道具
地板
Fuller 管理员 发表于 2022-2-20 23:47:58 | 只看该作者
LinDon 发表于 2022-2-20 22:19
新版怎么弄?好像必须填动作后执行,填相同名字就采集重复,乱填采集之后就提示爬虫规则有问题
...

可以填相同名字,正常情况下不会重复。也可以填另一个名字,但是,那个规则一定要定义。

你定义的规则名是什么?发出来帮你诊断一下
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • LDA主题分析模型到底是什么?
  • top2vec话题发现原理和使用方法
  • 将文本聚类和LDA分析模块安装在数据盘上的
  • GooSeeker分词软件的tf-idf算法和特征词选
  • 边表格式和矩阵格式的共词矩阵表有什么区别

热门用户

GMT+8, 2026-4-9 01:25