头条抓取

设置了重复停止，为什么抓取的还是有多个文件

在DS打数机上用菜单设置的吗？这个设置的是对集搜和单搜有用的

如果运行的是爬虫群模式，应该在会员中心的调度参数那里设置

重复内容中断：   是   否  这个设置了  选的是  
DS上也设置了  但还是不停止 一直抓取

Fuller 发表于 2017-2-25 09:48
在DS打数机上用菜单设置的吗？这个设置的是对集搜和单搜有用的

如果运行的是爬虫群模式，应该在会员中心的 ...

重复内容中断：   是   否  这个设置了  选的是   DS上也设置了  但还是不停止 一直抓取

Fuller 发表于 2017-2-25 09:48
在DS打数机上用菜单设置的吗？这个设置的是对集搜和单搜有用的

如果运行的是爬虫群模式，应该在会员中心的 ...

重复内容中断：   是   否  这个设置了  选的是  
DS上也设置了  但还是不停止 一直抓取

congcong2014 发表于 2017-2-25 19:19
重复内容中断：   是   否  这个设置了  选的是  
DS上也设置了  但还是不停止 一直抓取 ...

主题名贴出来

会生活阅读

congcong2014 发表于 2017-2-26 10:56
会生活阅读

这是个瀑布流网页，你定义了连续动作的连续滚屏类型，这是正确的。在运行DS打数机的时候要注意，不能打开DS的滚屏功能，要把滚屏次数设置成0，只用规则中的连续滚屏就够了。

如果这个用户发布的内容很多，假设无限，那么就永远滚不到底，就停不下来。

这个网页好奇特，我已经运行很久了，看到的内容还是一天前刚刚发布的，如果检查结果文件发现里面有重复内容，那么就是今日头条网站故意设置成没有尽头的样子，只要滚屏的时候总是出现新内容，DS打数机就无法判断成重复内容

无限滚屏会导致程序崩溃，因为内存在不断占用，所以，要在连续动作中限制滚屏次数

之前DS打数机那里的滚屏次数就设置成了0   还是一直爬取不停止，是不是我现在应该设置滚屏次数才行啊