首页 资讯 财经 汽车 关注 科技 房产 图片 全国 视频

数据

旗下栏目: 业内 数据 数码 手机

大数据主流东西,你知道几个?

来源:新闻门户     作者:华夏门户     浏览:次     发布时间:2020-09-03
摘要:业内有这样一种说法,SQL固然在大数据阐明规模久经检验,可是无奈长江后浪推前浪,和炙手可热的Hadoop对比,SQL已……

业内有这样一种说法,SQL固然在大数据阐明规模久经检验,可是无奈长江后浪推前浪,和炙手可热的Hadoop对比,SQL已颠末期了。这个说法有点言过其实,此刻许多的项目都是将Hadoop作为数据存储,然后操作SQL举办前端查询。这说明Hadoop需要一种高级查询语言的支持。 Hadoop MapReduce固然可以或许举办数据阐明,可是太巨大了。于是,开拓人员开拓出了雷同SQL的Pig和Hive。

 大数据主流东西,你知道几个?

大数据时代,我们有许多的查询东西可以选择。固然SQL占据着绝对优势,可是跟着大数据的一连升温,也给了Apache Pig和Hive很大的发挥空间。工欲善其事必先利其器,假如选择了符合的平台和语言,会让数据的提取,处理惩罚和阐明到达事半功倍的结果。将来,数据会越来越大,数据阐明必需要更易操纵。处理惩罚速度快和操纵简朴肯定成为大数据阐明的主流趋势。     Apache Pig,Apache Hive和SQL是当今主流的大数据东西。它们各有优势,下面我们就先来简朴先容Apache Pig、Apache Hive和SQL。    

SQL     

布局化查询语言(SQL)是措施员的最佳朋侪,主要用于处理惩罚和提取数据。大数据改变了数据处理惩罚和可视化的方法。可是SQL严格的干系数据库模式和声明特性依然是数据阐明的标杆。尽量SQL市场辽阔,可是大数据也对SQL的成果和机能提出了挑战。     

Pig       

Apache Pig适合有SQL配景的措施员进修,其有以下两个特点:   

1.放宽了对数据存储的要求   

2.可以操纵大型数据集   

Apache Pig是雅虎在2006年开拓,除了上述特点,它尚有很好的可扩展性和机能优化。 Apache Pig答允开拓人员跟踪多个查询要领,从而低落了数据的反复检索。它支持复合数据范例(Map、Tuple、Bag),支持常见的数据操纵,譬喻筛选、排序和Join。Apache Pig的这些特性获得了世界各地用户的承认,就连雅虎和推特也回收了Apache Pig。        

Hive   

尽量Apache Pig机能优异,可是它要求措施员要把握SQL之外的常识。Hive和SQL很是相似,固然Hive查询语言(HQL)有必然的范围性,但它仍然长短常好用的。Hive为MapReduce提供了很好的开源实现。它在漫衍式处理惩罚数据方面表示很好,不像SQL需要严格遵守模式。    

数据的提取、处理惩罚和阐明没有一个万全之策,需要综合多种因素来选择,譬喻数据存储要领,编程语言布局以及预期的功效。下面我们就来比拟一下Pig、Hive和SQL,看看它们各自都适合什么样的场景。     

Pig VS SQL   

SQL在DBMS系统的运行速度要比MapReduce(Pig运行在PigLatin平台)快。然而,RDBMS的数据加载很具挑战,配置坚苦。 PigLatin在声明式执行打算、ETL流程和管道修改方面更有优势。   

在很洪流平上,SQL是声明式语言,而PigLatin是进程语言。SQL主要是指定完成的工具,即要完成“什么”,而Pig主要是拟定完成的方法,即“如何”执行一个任务。在执行之前,Pig剧本要转化成MapReduce任务。不外,Pig剧本比相应的MapReduce任务要短,明显缩短了开拓时间。   

Hive VS SQL   

SQL是一个被遍及用于事务性和阐明查询的通用数据库语言。而Hive是以数据阐明为方针而设计的,这也抉择了Hive会缺少更新和删除成果,可是读取和处理惩罚海量数据的本领会很强。Hive和SQL长短常相似的,最主要的区别就是Hive缺少更新和删除成果。   

尽量Hive和SQL有所区别,可是假如你有SQL配景,就可以平稳过渡到Hive。别的,必然要留意两者在布局和语法上的差别。   

相信各人通过上面临Pig、Hive和SQL的先容,对它们都有了必然的相识,下面我们就来先容一下它们的详细合用场景。     

Apache Pig的合用场景   

Apache Pig合用于非布局化的数据集,可以充实操作SQL。Pig无需构建MapReduce任务,假如你有SQL进修的配景,那么入门会很是快。     

Apache Hive的应用场景       

许多企业都需要对汗青数据举办阐明,Hive就是一款阐明汗青数据的利器。可是Hive只有在布局化数据的环境下才气大显神威。Hive的软肋是及时阐明,假如想要举办及时阐明,可以回收HBase。     

SQL的应用场景   

责任编辑:华夏门户

热点新闻资讯

首页 | 资讯 | 关注 | 科技 | 财经 | 汽车 | 房产 | 图片 | 视频 | 全国

Copyright © www.msgkpx.com 北京新闻网 版权所有 粤icp备10021497号-9

站务联系QQ :

电脑版 | 移动版