|
中国IDC圈3月7日报道：近两年来，“大数据”被遍及应用到各行各业，而近阶段又有着明明的过热迹象。从央视的春运迁徙图到姚晨看到微博数据的惊呼;从两会期间的两会大数据，到《星星》都叫兽的坎坷领毛衣，“大数据”被人们推到了一个前所未有的高度，同时也从一个高精尖的科研偏向酿成了一个世人皆知的营销词汇。 我既没有资格代表学术界，更没有资格来鉴定谁是谁非。我只能就本身的事情经验，来谈一下我眼中的大数据。 什么是大数据? 百度百科对大数据的界说是这样的：大数据(big data)或称巨量资料，指的是所涉及的资料量局限庞大到无法透过今朝主流软件东西，在公道时间内到达撷取、打点、处理惩罚、并整理成为辅佐企业策划决定更努力目标的资讯。 Gartner给出了这样的界说：“大数据”是需要新处理惩罚模式才气具有更强的决定力、洞察发明力和流程优化本领的海量、高增长率和多样化的信息资产。 小我私家认为Gartner的界说更为贴切。“新处理惩罚模式”是一个很要害的词汇，这也是我所领略的“大数据”区别于传统统计阐明等最要害的特征之一。这个所谓的“新处理惩罚模式”有两层寄义： 由于海量的数据，需要更高效的存储和处理惩罚技能，Hadoop成为了大数据时代的符号; 假如你认为大数据就便是Hadoop，那就大错特错了。Hadoop只是大数据时代的一个须要条件，大数据尚有一个明明的符号是数据挖掘和人工智能的细密团结。这也是我领略的“大数据”与此刻许多所谓“大数据”项目最明明的区别之一。我会在后头的案例中给各人展开。 除了上面的“新处理惩罚模式”上的区别，小我私家认为尚有一个最主要的区别是：数据统计阐明是基于已有数据的纵向归类，而 大数据是基于对已有海量数据的处理惩罚，对还未发生的数据作出预测和推荐。数据统计是已经产生的工作，而大数据往往被用于还没有产生的工作预测可能推荐中 。 预测和推荐是如何实现的 今朝主要的 推荐算法大抵可以分为两类。一个是基于行为，一个是基于内容 。虽然，针对差异的规模，差异的预测和推荐的工具，又会有十余种算法。这就不是本文展开的内容了。 基于行为的阐明，顾名思义，即对用户在互联网、移动互联网留下的“陈迹”，即欣赏、点击、保藏、购置、二次购置的阐明，得出将来会选择购置的预测和推荐功效。基于行为的阐明，属于群体伶俐，综合操作群体用户的行为偏好。用户之间会彼此影响，越发切合现实世界中的用户行为。
图1、电商基于行为的推荐漏斗算法 基于内容的阐明， 包罗对文字、图片、音频、视频等信息的阐明，得出预测和推荐的结论。内容的“基因”和用户的偏好相匹配，最有代表的是潘多拉的音乐推荐项目，其将曲库中所有歌曲都由400多位专家打上标签，然后成立小我私家与音乐的接洽，从而完成音乐的推荐。内容的阐明只针对小我私家，与用户之间干系无关。 大数据到底能做什么 此刻谈这个问题大概会让各人笑话，好像所有人都知道大数据醒目这个，醒目谁人，最后连我们本身都以为好笑。大数据已经都不是被“妖魔化”了，是“娱乐化”。大数据好像是个离我们忽远又忽近的事物了，变得不真实起来。 好吧，我照旧团结从业经验来说说大数据“办理过什么问题”吧：简朴地来说， 大数据可以帮我们办理决定和选择的问题 。 天气预报就是一个最陈腐并且众所周知的预测。你可以按照预报来抉择来日诰日穿什么衣服，是否要带雨伞，等等; 近两年来，大数据被应用到影视制片行业，基于对观众偏好的阐明，去预测、设计观众喜欢的剧情，找观众喜爱的演员出演相关的脚色，甚至可以去预测票房。这些所有的预测都是基于数据的基本上，颠末必然的模子处理惩罚，获得靠近真实的结论。从某种水平上给决定者决定的依据，好比《纸牌屋》和《星星》。 大数据尚有一个重要的浸染，就是办理人们的“选择”问题。别笑，无论你的年数、性别、教诲配景，人们今朝都面对着前所未有的选择问题。讲的学术一些，这是由于“长尾效应”导致的问题;讲得通俗一些，就是由于日益增多的可选择的工具和我们自身的处理惩罚本领之间的抵牾。 科技的进步让人变得更懒，也就是我们自身的处理惩罚本领低落，无论是主观的照旧客观的。而可被选择的工具却在日益增多。从纷繁巨大的商品(电商)，到海量曲库中的乐曲;从婚恋网站的男女伴侣，到交通打点的信号灯。 |
