新浪微博关键词抓取

我想要抓取新浪微博上所有关于某一关键词的帖子，但一般抓取的数据都不完整，要怎么办啊？怎么才能抓取全部的数据呢？

使用集搜客微博工具箱中的微博关键词搜索结果采集工具可以设置细分时间段


在细分时间段的基础上同时可以再进一步细分省份和城市，使每个搜索条件不超过五十页，这样可以采集到更全的数据



在采集结果中的搜索条件中会保留细分的时间段和地区信息

创建抓取任务的时候，可以设定时间范围，把时间范围设置小一些，比如，一个小时，越细越容易保证完整，因为最可能出问题的是翻页过程，很可能翻页到一半，微博网站速度跟不上，就翻页中断了。如果时间范围小，翻页数量少，容易翻页成功