新手，求问黑猫投诉该怎么爬

大家好，我有个问题想问问，我在爬https://tousu.sina.com.cn/index/search/?keywords=%E5%AE%89%E5%85%A8&t=1，先定义了第一级，爬取一千多一点就中断了，还有很多重复的，请问这个怎么解决。

你定义的采集任务名字是什么？发出来我可以从后台看一下。

这个网页是瀑布流的，往下滚动就会加载更多内容。这样网页会越来越大。旗舰版用户可以打开清除老数据功能，这样网页就不会越来越大。重复就会少很多。

这个网页使用的清除老数据的xpath是：//*[@class='blackcat-con']

这个网址有几万条数据，对于瀑布流网页来说，太容易中断了，一般无法全部采集下来。另外，采集这样的网页的时候，爬虫窗口上面不要覆盖别的窗口，不能把窗口切换走。一切换走，很可能就不加载数据了