DS打数机的窗口类型

2015-12-20 18:24| 发布者: Fuller| 查看: 8988| 评论: 2

摘要: DS打数机机有多种窗口类型,他们的功能和使用场景是不一样的,请注意区别使用。1)管理窗口:直接通过Firefox菜单启动,拥有所有窗口控件和功能,是所有抓取活动的操作面板2)试抓窗口:从MS谋数台上启动,用于验证 ...
       为了让抓取工作高效执行,DS打数机机有多种窗口类型,他们的功能和使用场景是不一样的,请注意区别使用。
       1)管理窗口:直接通过Firefox菜单启动,拥有所有窗口控件和功能,是所有抓取活动的操作面板
       2)试抓窗口:从MS谋数台上启动,用于验证抓取规则是否正确
       3)集搜窗口:从DS打数机的抓取规则列表上启动,用于手工启动的并行抓取
       4)爬虫群窗口:自动调度的大批量并行抓取

       下面将逐一介绍各类窗口。

       1,管理窗口

       
       如上图,管理窗口直接通过Firefox菜单启动,拥有所有窗口控件和功能,是所有抓取活动的操作面板,直观上可见的显著特征是:
       1)窗口类型标明:管理窗口
       2)与试抓窗口的重要区别是:管理窗口拥有爬虫群菜单。


       2,试抓窗口

       
       如上图,试抓窗口从MS谋数台上启动,用于验证抓取规则是否正确,由于很多界面功能都被禁止了,请仅用于实验抓取规则的正确性。直观上可见的显著特征是:
       1)窗口类型标明:手动调度——试抓
       2)与管理窗口的重要区别是:试抓窗口没有爬虫群菜单。


       3,集搜窗口

       
       如上图,集搜窗口从DS打数机的抓取规则列表上启动,用于手工启动的并行抓取。直观上可见的显著特征是:
       1)窗口类型标明:手动调度——集搜
       2)与管理窗口的重要区别是:没有菜单,没有抓取规则列表。


       4,爬虫群窗口

      
       如上图,爬虫群窗口是自动调度的大批量并行抓取,crontab.xml文件规定运行多少个爬虫窗口,也规定什么类型的调度:1)服务器下发任务的调度;2)DS打数机自主的调度。直观上可见的显著特征是:
       1)窗口类型标明:自动调度
       2)与管理窗口的重要区别是:没有菜单,没有抓取规则列表。

鲜花

握手

雷人

路过

鸡蛋

相关阅读

发表评论

最新评论

评论 ym 2016-9-1 14:09
有正事的小青年: 一个规则从三种不同的DS打数机抓取到的东西应该都是一样的吧~
是一样的,但是功能上稍有不同
评论 有正事的小青年 2016-9-1 13:43
一个规则从三种不同的DS打数机抓取到的东西应该都是一样的吧~

查看全部评论(2)

GMT+8, 2024-10-11 13:24