GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

论坛 › 搜客社区 › 使用交流
1 13669

新增评论

2445406817 于 2016-8-31 13:07 发表 [复制链接] [只看楼主] [打印] [上一主题] [下一主题]
收藏 跳转到指定楼层
我制定好规则后，每天定期收集数据，可是像有些属性，例如：评论之类的呀，第一天与第二天抓取的肯定有重复的评论，我只想要第二天新增的评论应该怎么办？
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-8-31 15:12
沙发
Fuller 管理员 发表于 2016-8-31 15:12:53 | 只看该作者
存入数据库时，根据唯一性条件进行过滤，抓取的时候无法保证完全不重复
举报 使用道具
回复 支持 反对
返回列表
B Color Image Link Quote Code Smilies
高级模式
您需要登录后才可以回帖 登录 | 立即注册

推荐板块

精彩推荐

  • 怎样让GooSeeker分词工具使用宋体画词云图
  • 使用BERTopic时遇到的c-TF-IDF是什么？
  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么？

热门话题

热门用户

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2026-6-7 12:48