集搜客GooSeeker网络爬虫

标题: 数据重复，excel表存在空白项 [打印本页]

作者: hyanrong111 时间: 2023-12-27 17:36
标题: 数据重复，excel表存在空白项
设置了清除重复值，但还是产生大量重复结果。下载的excel中还有很多都是空白的。
黑猫投诉_315网上投诉_投诉维权_新浪旗下消费者服务平台 (sina.com.cn)
任务名：heimaots

作者: Fuller 时间: 2023-12-27 17:51
有空白数据的原因如下图：下面那个红框中的class属性只有“热”贴才有，爬虫生成规则的时候会自动选择这个属性作为定位标志。如果要避开这个标志，可以手工做定位映射，选择上面那个红框的节点做定位映射。定位映射教程：https://www.gooseeker.com/doc/article-527-1.html

[attach]16033[/attach]

作者: Fuller 时间: 2023-12-27 17:59
手工做了定位映射以后，就没有空白的了。设置了清除老数据以后，可以防止网页越来越长，导致内存不够存了。设置上清除老数据，可以采集到更多数据。但是，重复是不可能完全清除的，如果完全清除了网页上就没法加载新内容了
1. 第一条数据一直会重复
2. 每一屏最后一条数据会重复一次。
如果想完全清除重复，要在excel中筛选一下

[attach]16034[/attach]

作者: hyanrong111 时间: 2023-12-27 18:01

Fuller 发表于 2023-12-27 17:51
有空白数据的原因如下图：下面那个红框中的class属性只有“热”贴才有，爬虫生成规则的时候会自动选择这个 ...

好的谢谢，那“清除老数据”那个又是什么原因呢

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)