滚屏采集，每次只采集到十几条内容就停止了

我采集今日头条的内容，每次都是采集到十几条内容就停止了，请问怎么解决，假设我要采集500条新闻内容以上？

最多采集到61条就停了

Duoyinfo 发表于 2017-5-10 18:08
最多采集到61条就停了

自己做的规则？还是用数据DIY中的爬虫规则？

自己做的

Duoyinfo 发表于 2017-5-10 19:05
自己做的

主题名发出来，我帮你诊断一下。如果是自己做的，要在DS打数机上设置滚屏参数，滚屏次数设置成 > 0的数字。不过，如果今日头条是一个瀑布流网页，就不能设置滚屏次数。我要看看你的样本页面才知道。

这里有现成的今日头条采集爬虫，会连续滚屏30次。

主题名：ITEST11

原来是DS 打数机的滚屏参数问题。
和你们指导的刚刚相反，不是设置为0，也不是大于0的个位数。
如果想要把滚动内容一网打尽，滚屏次数要设置为-1 ， 或者一个千万级别的数。
滚屏速度也要大，最好在2以上。