|
中国IDC圈2月22日报道：什么是大数据？就是指那些高出传统数据库系统处理惩罚本领的数据，数据量凡是在10TB（1TB=1024GB，为1万亿字节）以上。大数据的根基特征是：体量庞大（volume），范例多样(variety)，处理惩罚速度快(velocity)。有时所说的“大数据”，也指一种技能，它包罗海量数据阐明技能、大数据处理惩罚技能、漫衍式计较（云计较）技能、数据可视化技能。 20多年来，各个规模的信息化使数据量以指数率加快增长。有专家测算，2000年全球新发生的数据量为1000PB（1PB=1024TB）到2000PB，到2010年仅仅全球企业一年新存储的数据量就高出了7000PB。今朝全球性的科技公司都要和PB级局限的数据打交道，而Facebook天天要存储约莫100TB的用户数据，美国宇航局 (NASA)天天要处理惩罚约24TB的数据。今朝大数据已渗透到每一个行业，逐渐成为重要的出产因素；而人们对付海量数据的运用，将迎来新一波出产率增长海潮。大数据在当局决定、贸易和科技等规模的遍及应用，将在民众处事、民生医疗、维护社会安宁、动态安详禁锢等方面，将发生庞大的社会代价和财富空间。 航天是人类摸索太空和操作太空的伟大事业。它在研制、运行和宣布成就的全进程中，城市发生大数据和要求应用大数据。数据既是航天理论的基本，又是航天实践的基石。航天要对标准远比地球要大无数倍的辽阔空间中举办摸索，其总量更多，要求更高。假如没有实时而准确的大数据支持，哪怕是一个小数点的错误，也会影响全局的成败。因此，航天大数据不只具有一般大数据的特点，并且要求高靠得住和高代价的要求。因此，航天是最早提出成长大数据技能的规模，也是取得大数据成就最多的规模。 为了说明大数据在航天方面的应用，我们将以美国宇航局（NASA）为例。在美国当局的“大数据研究与开拓倡议”中，列出了其它的12个国度机构的大数据的动作打算。个中NASA的打算引人注目，它包罗先进的信息系统技能(AIST)、地球科学数据和信息系统(ESDIS)、全球地球视察系统(GEOSS)、太空动作协议、行星数据系统(PDS)、太空望远镜科学研究所(MAST)、地球系统电网联邦民众档案等。 我们常常看到的天文奇观的预测陈诉，其实许多都来自于NASA背后的海量数据的收集、打点和阐明。NASA 约翰逊航天中心(JSC)从1959年至今，已收集400多万静态图像，总达950万英尺的16毫米胶卷，85000卷录像磁带，以及总时长81616小时的视频模仿及数字档案。NASA开拓了一项应用，将其定名为IO(在线影像)，IO 可以或许将影像文件名与所有相关元数据毗连。然而，JSC 依然面对一浩劫题：如何将资源向公家开放，以及如何对这些资源举办代码转换，使其空间占用更小，可操作率更高。为此，NASA和美国IT界相助，开拓和应用一个高度可扩展的漫衍式批量处理惩罚系统Hadoop，对大型数据集举办扫描，来处理惩罚从太空中（如太空望远镜）中传回海量数据，其数据量可到达每秒钟 700TB! NASA的大数据技能已经取得了大量成就。图示这幅2005年6月至2007年12月海洋外貌洋流的示意图，集成了美国、日本和德国的具有各类数值模子的多种卫星的数据。漩涡和窄洋流在海洋中传送热量和碳。海洋环流和睦候评估项目提供了所有深度的洋流，但这里仅仅利用了表层洋流。这些示意图用来丈量海洋在全球碳轮回中的浸染，并监测地球系统的差异部门内部及之间的热量、水和化学互换。 NASA用于摸索火星是否存在适宜生命存在的、以核燃料钚为动力的“好奇”号火星车，于2011年11月从肯尼迪航天中心升空，并于2012年8月6日降落火星。在一年多中，“好奇”号传回了大量数据和图象，按照“她”发回的资料，科学家制成了13亿像素的360度火星高清全景图，由此发明白火星远古存在河道以及其时情况适合原始微生物保留的证据。“好奇”号每小时要向地球发回5万张高判别率的图像。NASA喷气推进尝试室（JPL）的科学家，回收了云计较（Amazon Web service）来处理惩罚这些数据，在阐明这些数据后，才气给“好奇”号布置第二天的任务。 总之，NASA的大数据的成长经验了两个阶段，初期称之为“大科学”阶段，这个阶段的特点，是发生数据的情况是可控的，目标是举办科学尝试和研究；第二阶段称之为“大事业”阶段，发生数据的情况是自然的，目标是举办实际应用。今朝，NASA的大数据正在从“大科学”向“大事业”的过渡之中。 |
