拥抱新时代—读舍恩伯格《大数据时代》

图片发自App

这世界发展太快，记得87年我上大学时个人计算机还是很稀罕的物品，学计算机语言Fortran还是用的穿孔卡片，95年买的第一台奔腾计算机几乎花费一年工资。进入21世纪，随着互联网的发展，世界很快从个人电脑发展为信息化时代。仅仅又过了10年，随着网络普及、移动互联网飞速扩张、云计算和各类网络应用的发展，人们发现网上各种数据是如此之多，而如果能分析挖掘，可以从中发现巨大价值，因而出现了大数据技术。本书的副标题生活、工作与思维的大变革，正说明了我们对大数据时代来临的思考，我觉得大数据是技术，是方法，也是思维方式，更可能影响我们世界观。

本书第一作者维克托•迈尔—舍恩伯格，被誉为大数据时代的预言家，现任牛津大学网络学院互联网研究所治理与监管专业教授，对互联网有着深入的研究，是欧盟互联网官方政策背后真正的制定者和参与真。本书2013年由浙江人民出版社翻译出版，知名IT评论人谢文评价“此书的一大贡献就是在大数据方兴未艾、众说纷纭的时刻，进一步阐述和厘清了大数据的基本概念和特点，这对许多以为大数据就是“数据大”的人来说很有帮助”。作为在IT周边打工人士，我早就知道有这么一部名著，只是一只没有机会阅读，不过现在看过以后，觉得也不是太晚，还有很大帮助。

这本书没有过多拘泥与技术细节，也没有难以理解的专业术语，但把大数据的来龙去脉、价值、影响和发展前景讲得都很清楚，所以有评论说这是迄今为止（2013年）最好的一本专著。作者用两个例子作为引言，说明了大数据开启了一次重大的时代转型。这两个例子我们都耳熟能详了，一个是利用谷歌的搜索引擎预测流感，一个是根据海量航班机票历史信息做出的机票价格预测系统。这两个典型的例子说明世界正发生着我们以前所不知道的变化，大数据正在改变我们的生活以及理解世界的方式。

首先，大数据带来的是思维变革。现在讲大数据，通常大家都认为有四大：数据量大、数据种类更杂、处理速度要求更快、价值更大。大数据带来的思维变革有三点，一是更多带来不是随机样本，而是全体数据。随着网络和各类传感器的进步，我们得到的数据与以前相比不可同日而语，以前分析问题时总要考虑抽样，用最少的数据获得最多的信息。现在数据已经不成为问题，只要需要，可以从很多渠道收集到，要分析购物习惯，只要把淘宝京东的客户购物记录拿过来就可以了。二是更杂，不是精确性，而是混杂性。过去实验或调查数据很少，我们执着于精确性，得到的数据都是结构化数据。大数据时代，95%的是非结构化数据，如果不接受混杂就无法被利用，必须接受适度的错误。这也发展出很多模糊算法、混沌计算，如谷歌的翻译、Facebook的标签等，也产生了新的数据处理架构如hadoop，大数据告诉我们，每个问题只有一个答案是站不住脚的，如果我们承认这一点，就离真相又进了一步。三是更好，不是因果关系，而是相关关系。多少年来，人们一直在寻找事情后面的原因，坚定的认为有因必有果。但现在不需要了，技术人员已经让数据自己说话了。也许事后人们会找出各种理由，但真正是这个理由吗?亚马逊的图书推荐系统非常有效率，它不知道你为什么喜欢某类书，但它知道你想买什么书，甚至是你将要买的下一本书，经过多次改进后，推荐系统打败了书评团队，现在很多商业网站都在使用类似的系统。在大数据时代，更快也意味着更好，相关关系可以帮助我们更快捕捉现在和预测未来。

其次，大数据带来了商业变革。既然数据蕴含着巨大的价值，来源就是一个重点。网络信息技术关注的焦点一直在技术的不断升级，突然发现原来数据才是核心。有个比喻，网络信息系统是躯干，信息数据就是流淌的血液，没有数据就没有生命。其实看看我们周围，数据无处不在，每个人每件物品每时每刻都在产生数据，看病购物行走，工厂交通医院，时间万物都可数据化。数据就像一个神奇的钻石矿，当他的首要价值被发掘后仍能不断给予。亚马逊开始是为会计核算收集数据，后来利用客户购买的书籍和浏览过的网页提供个性化建议，再后来就做起了广告。谷歌也是如此。大数据价值链三大构成，基于数据本身、技能和思维，最值钱的部分就是它自身。三者皆有就是其中的王者，如谷歌、亚马逊、淘宝、百度。

最后大数据还带来了管理变革。这一方面是好事，破案抓坏人变得更容易了，对于管理者或政府来说，绝大多数事情都在掌握之中，信息量和处理速度极大提高，可以做到分钟级甚至秒级反应，交通调度比以前更灵活，虽然不能减少拥堵，但能提供信息。但另一方面，对个人隐私的保护更加困难，也更加重要，位置、财务、习惯等，还可能关系到个人安全，这是责任与自由并举的信息管理。

凡是过去，皆为序曲。作者也认为，大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。我觉得大数据技术、方法、思维改变了很多方面，虽然大数据不能解决所有问题，但如果你还没有了解大数据，就可能无法理解这个时代。大数据时代是真正的信息社会，我们也已踏入这个时代，只有拥抱融入，才能跟上时代的发展。