集搜客GooSeeker网络爬虫

标题: 数据重复怎么解决？ [打印本页]

---

作者: w228258549    时间: 2017-8-15 14:48
标题: 数据重复怎么解决？
？

---

作者: ywg932435    时间: 2017-8-15 14:54
首先，第三条肯定不算重复，因为网址都不一样，其次，第二条，是在某个动作后产生的结果，是不是定义了连续动作？每动作一个循环会生成一个结果

[attach]7339[/attach]

---

作者: ywg932435    时间: 2017-8-15 14:58
对数据进行去重处理可以参考https://jingyan.baidu.com/article/9989c746788b60f648ecfec0.html

---

作者: Fuller    时间: 2017-8-15 17:50

ywg932435 发表于 2017-8-15 14:58
对数据进行去重处理可以参考https://jingyan.baidu.com/article/9989c746788b60f648ecfec0.html
...

如果只想要动作执行后的结果，那么定义动作的时候，目标主题名用另一个名字，这样就能把采集结果跟其他的分开

---

欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)

Powered by Discuz! X3.2