【集微库】微博采集工具箱使用常见问题

Zendralyn 发表于 2020-1-2 16:18
那请问会出现反爬现象吗？因为我爬取的数量很多

为了能稳定运行，通常这样安排：
1，用一个微博账号在爬虫浏览器上登录微博。这个账号一天爬取的网页数量不要超过1万个
如果使用微博采集工具箱，我们专门做了调速，速度比较慢，一台电脑不会超过1万个/天

2，如果需要短时间内爬更多微博，那么注册多个微博账号，用多台电脑，一台登录一个微博账号。购买旗舰版可以同时运行5台电脑，还可以单独购买电脑配合，购买专业版，可以运行2台电脑，不能单独增加配额。

怎样才能获取博文的定位数据呢（也就是经纬度

爬取微博话题内容，话题有效，但是在爬取最开始会出现需要登录微博账号，我是在搜狐浏览器微博登录的状态下，点击启动采集，但是总是无法爬取，请问怎么解决？

Zendralyn 发表于 2020-1-9 08:00
爬取微博话题内容，话题有效，但是在爬取最开始会出现需要登录微博账号，我是在搜狐浏览器微博登录的状态下 ...

要在集搜客浏览器登录微博

我现在用了集搜客浏览器登录微博，还是一样的状况无法爬取。

Fuller 发表于 2020-1-9 08:50
要在集搜客浏览器登录微博

不管怎样都是未执行采集任务

Zendralyn 发表于 2020-1-9 15:08
不管怎样都是未执行采集任务

集搜客网络爬虫软件刚开始运行的时候，要去输入账号和密码。 集搜客网站也会要求输入账号和密码。这两个账号是同一个吗？如果两个账号不同，那么就拿不到采集任务

Zendralyn 发表于 2020-1-9 15:08
不管怎样都是未执行采集任务

我看到你的账号很久以前就注册了，以前使用正常吗？可以加入qq群 830157068 ，在那里有技术支持帮你解决一下

为什么同时爬取多个网页有许多网页评论信息根本加载不出来？

2108523618005 发表于 2020-1-12 16:33
为什么同时爬取多个网页有许多网页评论信息根本加载不出来？

同时运行了几个爬虫窗口？微博对网络速度和电脑性能要求挺高的，如果微博中又有大量图片和视频，就更慢了。一个微博往往有很多评论，只爬一个微博都要很长时间，一个一个地添加微博网址吧。