在使用了滚轮的连续动作之后一直重复在一条线索上

规则名：nytimes推文评论
一条线索采集完跳不到下一线索啊

打数机采集--高级--终点标志--勾上重复内容

yangwenge 发表于 2018-3-23 17:01
打数机采集--高级--终点标志--勾上重复内容

但这样不知道为什么 每个线索滚到一半就不滚了

终点标志的 自定义标志怎么弄呢

piggy_ljj 发表于 2018-3-23 18:11
终点标志的 自定义标志怎么弄呢

将每次滚动像素数调大一些，确保能每次滚轮后都能出现新的数据。

yangwenge 发表于 2018-3-23 18:22
将每次滚动像素数调大一些，确保能每次滚轮后都能出现新的数据。

10000~1000000都试过了...还是不行

每次只滚2次就不滚了

1，每次滚动像素数要大一点，比如，800，也不要太大，大了没有用，网页没有那么长
2，额外延时一定要设置，如果网络很慢，但是没有设置额外延时，那么爬虫做完滚轮动作立即去采集，那时候还没有加载新内容，肯定会当成重复内容
如果这样还不行，那么
3，设置清除老数据，比如，是一个帖子列表，可能每个帖子是一个UL中的一条LI，那么清除老数据的的xpath要能定位到所有帖子，也就是定位到每个li，这样爬虫就会每采集一次，就把老的清楚，减少重复。参看这个教程：http://www.gooseeker.com/doc/article-406-1.html

最关键是第二点

啊啊谢谢！还有那个清楚老数据 我的高级设置里没有这个诶...

Fuller 发表于 2018-3-23 18:55
1，每次滚动像素数要大一点，比如，800，也不要太大，大了没有用，网页没有那么长
2，额外延时一定要设置 ...

谢谢！！！可是那个清除老数据..我的高级设置里没有这个啊..