微博采集类：收集某位博主的帖子，只增加新发出来的。

目标是通过频繁爬某位博主微博主页，收集他新发出来的微博，以防止他删除看不到。目前实现了爬一次的功能，周期性还不知道怎么做，另外，如果频繁的爬比如1分钟一次，那岂不是一天内要生成n多垃圾文件，这个问题能不能解决。

1，周期性爬有两种方式：
a，在会员中心，找到这个规则，为他设置调度参数，那么它就被放到爬虫罗盘中了，就能周期性调度，而且知道他的运行状态。DS端设置成爬虫群模式就能自动获得调度任务。
b，在DS端，用crontab.xml调度爬虫
前一种方法目前只开放了按天调度，如果需要分钟级，需要开通收费的vip服务

2，重复内容过滤的方法需要在数据库中做，先都导入数据库，然后根据条件把重复的过滤掉。目前免费的会员中心不提供重复过滤，需要开通vip服务

如果需要开通vip服务，请留言