4 12002

瀑布流加载不出

酱紫 于 2016-10-24 15:01 发表 [复制链接]
采集一个瀑布流的网站,规则运行起来,但是网页下面的内容加载不出来采集不到怎么办?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-10-25 09:20

quyixuan 金牌会员 发表于 2016-10-24 15:02:38 | 显示全部楼层
在会员中心设置滚屏
举报 使用道具
Fuller 管理员 发表于 2016-10-24 21:59:50 | 显示全部楼层
楼上说的不准确。

如果是典型的瀑布流,那么网页很长很长,就要用连续动作的滚屏动作,滚一屏或者几屏就抓一次。这个滚屏参数是设置在规则中的,而不是在会员中心设置调度参数。

网页有点长的那种,比如,京东商品网页,虽然有点长,滚10屏8屏就到底了,这种不是瀑布流,这种可以两种方法:
1)在会员中心设置调度参数,滚屏次数设置成>0的数字,这是用于爬虫群窗口的设置
2)在DS打数机上用菜单设置,“配置”-〉“滚屏参数”,滚屏次数设置成>0的数字,这是用于“集搜”和“单搜”这类手工启动的爬虫
举报 使用道具
beanbing 中级会员 发表于 2016-10-25 09:07:39 | 显示全部楼层
那如果我是典型的瀑布流,我在连续动作中设置了,但是也在DS中设置了,要如何取消掉呢,还是直接不管呢
举报 使用道具
Fuller 管理员 发表于 2016-10-25 09:20:35 | 显示全部楼层
beanbing 发表于 2016-10-25 09:07
那如果我是典型的瀑布流,我在连续动作中设置了,但是也在DS中设置了,要如何取消掉呢,还是直接不管呢 ...

在连续动作执行过程中,DS上和会员中心设置的滚屏参数都无效,不用管
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 21:49