快捷导航

大数据的问题02:颠簸的街道——“n=All”只是一个幻觉?

2015-11-25 10:38| 发布者: Fuller| 查看: 3106| 评论: 0|原作者: 张玉宏|来自: 北京勺海市场研究公众号

摘要: 第一个故事:《醉汉路灯下找钥匙——大数据的研究方法可笑吗?》反思了大数据研究方法问题,接下来我们看看所谓的大数据和全数据,价值在哪里?颠簸的街道——对不起,“n=All”只是一个幻觉 波士顿市政府推荐自己 ...
       第一个故事:《醉汉路灯下找钥匙——大数据的研究方法可笑吗?》 反思了大数据研究方法问题,接下来我们看看所谓的大数据和全数据,价值在哪里?


颠簸的街道——对不起,“n=All”只是一个幻觉

       波士顿市政府推荐自己的市民,使用一款智能手机应用——“颠簸的街道(Street Bump,网站访问链接:http://www.streetbump.org/)”。这个应用程序,可利用智能手机中内置的加速度传感器,来检查出街道上的坑洼之处——在路面平稳的地方,传感器加速度值小,而在坑坑洼洼的地方,传感器加速度值就大。热心的波士顿市民们,只要下载并使用这个应用程序后,开着车、带着手机,他们就是一名义务的、兼职的市政工人,这样就可以轻易做到“全民皆市政”。市政厅全职的工作人员就无需亲自巡查道路,而是打开电脑,就能一目了然的看到哪些道路损坏严重,哪里需要维修,如图所示。



       波士顿市政府也因此骄傲地宣布,“大数据,为这座城市提供了实时的信息,它帮助我们解决问题,并提供了长期的投资计划”。著名期刊《连线》(Wired)也毫不吝啬它的溢美之词:这是众包Crowdsourcing)改善政府功能的典范之作。


       众包是《连线》杂志记者Jeff Howe于2006年发明的一个专业术语,用来描述一种新的商业模式。它以自由自愿的形式外包给非特定的大众网络的做法。众包利用众多志愿员工的创意和能力——这些志愿员工具备完成任务的技能,愿意利用业余时间工作,满足于对其服务收取小额报酬,或者暂时并无报酬,仅仅满足于未来获得更多报酬的前景。


       然而,从一开始,“颠簸的街道”的产品设计就是有偏的(bias),因为使用这款App的对象,“不经意间”要满足3个条件:
      (1)年龄结构趋近年轻,因为中老年人爱玩智能手机的相对较少;
      (2)使用App的人,还得有一部车。虽然有辆车在美国不算事,但毕竟不是每个人都有;
      (3)有钱,还得有闲。前面两个条件这还不够,使用者还得有“闲心”, 想着开车时打开“颠簸的街道”这个App。
       想象一下,很多年轻人的智能手机安装的应用程序数量可能两位数以上,除了较为常用的社交软件如Facebook或Twitter(中国用户用得较多的是微博、微信等)记得开机运行外,还有什么公益软件“重要地”一开车就记得打开?


       “颠簸的街道”的理念在于,它可以提供 “n=All(所有)”个坑洼地点信息, 但这里的“n=All(所有)”也仅仅是满足上述3个条件的用户记录数据,而非“所有坑洼点”的数据,上述3个条件,每个条件其实都过滤了一批样本,“n=All”注定是不成立的。在一些贫民窟,可能因为使用手机的、开车的、有闲心的App用户偏少,即使有些路面有较多坑洼点,也未必能检测出来。


      《大数据时代》的作者舍恩伯格教授常用“n=All”,来定义大数据集合。如果真能这样,那么就无需采样了,也不再有采样偏差的问题,因为采样已经包含了所有数据。


      畅销书《你的数字感:走出大数据分析与解读的误区》(Numbersense: How to Use Big Data to Your Advantage)的作者、美国纽约大学统计学教授Kaiser Fung,就毫不客气地提醒人们,不要简单地假定自己掌握了所有有关的数据: “N=All(所有)”常常仅仅是对数据的一种假设,而不是现实。


       微软-纽约首席研究员Kate Crawford也指出,现实数据是含有系统偏差的,通常需要人们仔细考量,才有可能找到并纠正这些系统偏差。大数据,看起来包罗万象,但“n=All”往往不过是一个颇有诱惑力的假象而已。

       “n=All”,梦想很丰满,但现实很骨感!


       但即使具备全数据,就能轻易找到隐藏于数据背后的有价值信息吗?请接着看下面的故事


鲜花

握手

雷人

路过

鸡蛋

最新评论

GMT+8, 2021-4-21 23:00