快捷导航
1 9882

怎么规定抓取翻页数

wangyong 于 2015-12-25 16:31 发表 [复制链接]
本帖最后由 ym 于 2016-2-1 18:08 编辑

常见问题 > 制作规则—常见问题导航 > 翻页采集 > 怎么控制翻页数量

怎么规定抓取翻页数
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2015-12-25 16:33

wangyong 版主 发表于 2015-12-25 16:33:24 | 显示全部楼层
本帖最后由 ym 于 2016-5-24 11:39 编辑

使用爬虫群进行采集,参看教程:如何运行爬虫群
爬虫群介绍看爬虫群模式,高效便捷的采集方式

用了爬虫群,就可以在规则的调度里用“同一线索内翻页次数”来控制翻页数量,我们填的是n,实际翻页数是n+1
注意:调度参数只对爬虫群窗口生效,对手工运行的DS窗口不生效,所以只能通过爬虫群采集来控制翻页数量。
QQ图片20151225163246.png
各个调度参数的意义看这里http://www.gooseeker.com/doc/article-112-1.html



举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何采集微博博主主页并生成共现矩阵用于Ge
  • Gephi社会网络分析-网络图Force Atlas布局
  • 对共词关系求协方差矩阵后再用Girvan-Newma
  • 社区发现算法Girvan-Newman(GN)是否能应用
  • 使用GooSeeker分词和Gephi进行中文文本分析

热门用户

GMT+8, 2023-9-30 04:45