集搜客GooSeeker网络爬虫

标题: 爬虫群上线——增量、周期自动采集，再见crontab [打印本页]

作者: Anna J 时间: 2015-12-22 11:53
标题: 爬虫群上线——增量、周期自动采集，再见crontab
本帖最后由 Anna J 于 2015-12-25 11:32 编辑

之前，规则的运行有两种方法：

一是手工在DS打数机搜索出规则后再运行；另一种是写crontab爬虫程序来自动抓数据。

量少的时候，第一种还可以接受；量多的时候写crontab更高效，但是每次增加规则都要修改一遍crontab程序，不小心弄错了代码就会失败。

现在，爬虫群功能让您，不用去DS打数机运行，也不用写crontab程序。

只需要打开爬虫群，每做好一个采集规则，去会员中心做一步操作把规则丢到调度池里，爬虫群就会自动帮你抓数据，也不用管它，等着收数据就行了。

P.S. 区别于云采集——爬虫群模式，是在一台电脑里同时打开多个爬虫（即DS打数机窗口），通过设置较大的爬虫数量和合理的抓取速度，不仅有效防止IP封锁，还能抓到更多数据，是非常稳定且高效的本地采集模式。

更多关于“爬虫群”请见http://www.gooseeker.com/doc/article-200-1.html

作者: Fuller 时间: 2015-12-22 12:30
crontab.xml也不是完全说“bye-bye”，原先的配置方法和现在的爬虫群配置方法可以混合使用。比如如下场景：
1，爬数据需要自动登录，又不想把账号和密码配置到会员中心，那么就在本地crontab.xml中增加相关的描述：http://www.gooseeker.com/doc/article-92-1.html
2，当前是爬虫V5.5.2和会员中心V4.1，爬虫管理中心没有实现精确安排线索激活时间的功能，那么就要在客户端crontab.xml中增加一个renewClue线程，专门做激活

作者: Fuller 时间: 2015-12-22 22:33

Fuller 发表于 2015-12-22 12:30
crontab.xml也不是完全说“bye-bye”，原先的配置方法和现在的爬虫群配置方法可以混合使用。比如如下场景： ...

好比高产出的工业制造和精雕细琢的手工艺制作能够并存

作者: Fuller 时间: 2017-1-8 16:00
V8.1.1正式废弃了crontab.xml，因为要设置的选项太多了，使用难度很大，只给旗舰版用户保留了crontab.xml，可用于高频度增量采集

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)