请问如何爬取新浪微博一段时间的用户签到数据,包括签到时间、经纬度、用户所在地、性别、签到内容等信息,有大神指教一下吗??
举报 使用道具
| 回复

共 19 个关于本帖的回复 最后回复于 2021-3-24 16:49

来自 2#
wangyong 版主 发表于 2021-3-24 16:49:25 | 只看该作者
使用集搜客快捷采集中的微博签到采集_此地热议可以采集到具体地点的签到数据

数据管家左侧工具栏进入快捷采集,选择微博签到采集_此地热议输入签到地点链接
例如要采集青岛的签到数据则输入:https://weibo.com/p/1001018008637020000000000
在微博高级搜索中输入要搜索的地点名称,选择包含短网址条件,可以找到对应签到地的网址


输入要采集的地点网址后,数据管家会同时启动采集任务
待数据采集已完成后,在快捷采集管理页面,即可打包下载Excel格式的数据

如果需要设置定时采集,比如每五分钟采集一次更新数据,可以购买VIP版来设置



要继续采集发博人资料数据可以将博主主页链接添加到:微博博主资料抓取_快捷采集来采集
举报 使用道具
板凳
MebiuW 初级会员 发表于 2018-5-1 18:23:58 | 只看该作者
这些数据是公开显示的吗?只能抓取网页上公开显示的数据
举报 使用道具
地板
Fuller 管理员 发表于 2018-5-1 18:24:02 | 只看该作者
好像这种数据很难采集,你有没有一个样本页面?含有这种信息的网址发出来一个,我们研究一下
举报 使用道具
5#
8654xss 初级会员 发表于 2018-5-4 11:29:53 | 只看该作者
Fuller 发表于 2018-5-1 18:24
好像这种数据很难采集,你有没有一个样本页面?含有这种信息的网址发出来一个,我们研究一下 ...

想用这个网站   https://weibo.com/p/1001018008637020000000000   好像采集不到
举报 使用道具
6#
8654xss 初级会员 发表于 2018-5-4 11:35:01 | 只看该作者
MebiuW 发表于 2018-5-1 18:23
这些数据是公开显示的吗?只能抓取网页上公开显示的数据

哦 这个网页需要登录微博才能进去,算是公开吗?是不是很难获取呀
举报 使用道具
7#
yangwenge 金牌会员 发表于 2018-5-4 11:37:15 | 只看该作者
8654xss 发表于 2018-5-4 11:29
想用这个网站   https://weibo.com/p/1001018008637020000000000   好像采集不到

微博工具箱暂时没有采集这类网页的工具,可以自己根据教程制作采集规则,也可以联系技术交流群470506980中的集搜客官方定制服务定制采集规则。

举报 使用道具
8#
苏坡辉 新手上路 发表于 2019-2-26 15:58:55 | 只看该作者
楼主解决了吗???我也想要和你一样的数据,得不到经纬度
举报 使用道具
9#
Fuller 管理员 发表于 2019-2-26 17:06:52 | 只看该作者
苏坡辉 发表于 2019-2-26 15:58
楼主解决了吗???我也想要和你一样的数据,得不到经纬度

你发一个样本网址我试试,如果网页上有经纬度信息就能采集
举报 使用道具
10#
anwuyue1996 中级会员 发表于 2020-2-17 15:16:36 | 只看该作者
您好,想请教一下您如何爬取微博的签到数据
举报 使用道具
11#
Fuller 管理员 发表于 2020-2-17 15:23:44 | 只看该作者
anwuyue1996 发表于 2020-2-17 15:16
您好,想请教一下您如何爬取微博的签到数据

在我看来,微博签到网页就像一个景点评论网页一样,采集方法是一样的简单。不知道您想采集什么数据?比如,在这样的地点上,您想采集什么信息?https://weibo.com/p/1001018008637020000000000
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 01:29