瀑布流网页滚轮抓取无法清除第一条老数据

瀑布流网页滚轮抓取无法清除第一条老数据
任务名是: 小红书评论获取

我们正在测试这个任务，稍等一下

我测试了下你这个规则，我判断清除老数据是起作用的，主要是从下面3点判断：
1. 每次滚屏后新生成的文件，文件大小并没有一直增加，说明旧的数据清除有效

2. 我打开第1个文件和第2个文件比对了下，下图的第2个评论，在第一个文件里有，在第二个文件里没有，说明清除旧数据起作用了

3. 每次清除的时候并不是清除掉所有的内容，保留了第一条和最后一条，因为这样可以防止清除操作干扰原网页上的程序。详细说明见：爬wish等瀑布流网站时使用清除老数据功能

gz51837844 发表于 2023-6-1 11:52
我测试了下你这个规则，我判断清除老数据是起作用的，主要是从下面3点判断：
1. 每次滚屏后新生成的文件， ...

这个是需要我们自行处理吗 还是咱们这个工具有办法帮我过滤掉这个重复的数据

这个是需要我把数据导出以后自行处理吗 还是咱们工具可以直接过滤掉重复数据

打开清除老数据功能以后，会在采集完自动删除列表中的数据，只留第一和最后一条，但是，有些网页不允许这样做，一旦看到数据被清除了，就不加载内容了。遇到这种情况，就不要打开清除老数据。等导出数据以后，在excel中或者在你的数据库中自己用公式进行清除