261#
xandy 论坛元老 发表于 2016-11-16 16:38:11 | 只看该作者
qi192510 发表于 2016-11-16 16:32
能不能加入粉丝标签的信息采集?

标签信息是可以抓取的,你要配合“粉丝与关注者资料采集工具”+“微博详细资料采集工具”一起使用
通过粉丝和关注者资料采集工具你可以采集到粉丝的独立网址,然后将独立网址以采集任务的形式添加到微博详细资料采集工具中,就能够采集到粉丝的标签信息
下面是“微博详细资料采集工具”采集的部分截图

标签位于最后一列
举报 使用道具
262#
qi192510 新手上路 发表于 2016-11-17 10:34:57 | 只看该作者
哇哦,非常感谢
举报 使用道具
263#
peggyshi0326 新手上路 发表于 2016-11-20 19:10:12 | 只看该作者
我想问一下为什么我只能爬100条内容呢?而且假如我想在限定时间内的内容进行采集,怎么设置呢
举报 使用道具
264#
Fuller 管理员 发表于 2016-11-20 19:55:07 | 只看该作者
peggyshi0326 发表于 2016-11-20 19:10
我想问一下为什么我只能爬100条内容呢?而且假如我想在限定时间内的内容进行采集,怎么设置呢 ...

哪个微博工具?博主主页还是微博关键词搜索?抓取微博一定要注意1)微博要预先登录好
2)DS打数机的窗口要放大到最大,让网页内容显示出来的尽量多
3)网络速度要比较快,如果网络速度慢,即使手工翻看微博,都会加载不上来
举报 使用道具
265#
halosir 初级会员 发表于 2016-11-26 10:57:44 | 只看该作者
你好,请问微博关键词搜索结果采集工具怎么采集展开全文后的信息?
举报 使用道具
266#
Fuller 管理员 发表于 2016-11-26 11:03:42 | 只看该作者
halosir 发表于 2016-11-26 10:57
你好,请问微博关键词搜索结果采集工具怎么采集展开全文后的信息?

目前的采集规则没有在微博列表中做点击“展开全文”的操作。如果遇到这种情况,可以进入到微博详情页去抓全文。关于这个问题,我向研发团队征求一下建议
举报 使用道具
267#
halosir 初级会员 发表于 2016-11-26 11:26:32 | 只看该作者
Fuller 发表于 2016-11-26 11:03
目前的采集规则没有在微博列表中做点击“展开全文”的操作。如果遇到这种情况,可以进入到微博详情页去抓 ...

嗯,谢谢。

举报 使用道具
268#
renewel 新手上路 发表于 2016-11-26 15:29:49 | 只看该作者
耐心等待中啊啊!!!!!
举报 使用道具
269#
shenzhenwan10 金牌会员 发表于 2016-11-26 15:49:04 | 只看该作者
renewel 发表于 2016-11-26 15:29
耐心等待中啊啊!!!!!

等待什么?
举报 使用道具
270#
renewel 新手上路 发表于 2016-11-26 18:12:16 | 只看该作者

等待抓取数据出来啊!对了,正好问你一个问题:这个转发微博是怎么定义的,为什么有的博主的微博有转发微博的,有的却没有

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-11-3 06:31