首页 资讯 财经 汽车 关注 科技 房产 图片 全国 视频

数据

旗下栏目: 业内 数据 数码 手机

DIY Hadoop大数据环境的5大陷阱

来源:新闻门户     作者:华夏门户     浏览:次     发布时间:2020-06-30
摘要:固然Hadoop可以运行在便宜的商品计较机硬件,且用户很容易添加节点,可是它有一些细节是很昂贵的,尤其是你在生……

固然Hadoop可以运行在便宜的商品计较机硬件,且用户很容易添加节点,可是它有一些细节是很昂贵的,尤其是你在出产情况中运行Hadoop。

甲骨文公司大数据产物司理Jean-Pierre Dijck称:“IT部分认为‘我已经有处事器,我还可以买到自制的处事器,我也有人员,所以我们不消花几多钱就可以构建本身的Hadoop集群’,这虽然是一件功德,可是IT部分在陈设时会发明这里会有许多他们没有预推测的特别开销。”

Dijcks罗列了IT率领在DIY Hadoop集群时的5个常见错误:

1.他们试图以便宜的方法构建Hadoop

许多IT部分不清楚Hadoop集群应该完成什么使命(除了阐明某些范例的数据),所以他们会购置尽大概自制的处事器。

“Hadoop被认为是可自愈的,所以当处事器的一个节点呈现妨碍,构不成大问题,”Dijcks称,“但假如你购置便宜的处事器,许多节点呈现妨碍那么你就要花更多时间来修复硬件,假如一大堆节点都不运行了,这就会造成大问题。”

假如你的Hadoop集群只是尝试,那么以上这些大概不是问题。然而,许多尝试性项目凡是最后城市进入出产情况。IT部分认为,“我们已经投入了大量的时间,我们已经做了许多事情,此刻我们需要将其投入出产,”Dijcks说道,“在尝试期间,假如情况呈现问题,只要从头启动即可,但在出产情况,集群需要可以或许抵制硬件妨碍、工钱交互妨碍以及任何大概产生的工作。”

Forrester公司在其2016年第二季度陈诉“大数据Hadoop优化系统”中指出,我们需要大量时间和精神用于安装、设置、调试、进级和监控通用Hadoop平台的基本设施,而预设置Hadoop优化系统可提供更快的时间代价、低落本钱、最小化打点事情以及模块化扩展成果。

2.太多“厨师”

大大都IT部分将本成分为软件、硬件和网络组,而Hadoop集群超过了这些分组,所以DIY Hadoop集群最终会成为许多有说服力的“厨师”的产品。

Dijcks称:“在这种环境中,你有一个食谱来参考,但认真差异规模的人并不会完全遵循食谱,因为他们喜欢与食谱要求略有差异的做法。“所以最终,Hadoop集群不会凭据预期那样运行。

在举办妨碍解除后,系统应该可以或许启动以及让IT运营人员在出产情况中运行,但Dijcks称:“这是另一个进修曲线开始的处所,他们大概不熟悉Hadoop集群,你会看到许多工钱错误、停机时间等一系列问题。”

3.他们没有意识到Hadoop DIY项目是特洛伊木马

在Hadoop集群转移到出产情况后,企业凡是会发明他们需要布置专门的事恋人员来保持其运行。Dijcks称:“虽然,这个事恋人员的大部门时间耗费在维护上,而不是创新。”另外,这名事恋人员还需要相识Hadoop系统。

他告诫道:“你不能期望人们在很短时间内酿成Hadoop专家。”纵然你雇佣履历富厚的事恋人员,但IT情况差别性很大--DIY Hadoop集群组件也是如此。因此,在你特定情况中的所有设置、毗连和彼此干系都需要花时间来相识。

4. 他们低估了更新的巨大性和频率

新版Hadoop(譬喻来自Cloudera和Hortonworks)每三个月宣布一次,这些凡是包括新特性、新成果、更新、裂痕修复等。

“除了保持Hadoop集群运行所需的所有人类操纵外,每三个月城市有新的进级版本,”Dijcks称,“你完成进级的那一刻,你必需开始筹划下一次进级。这相当巨大,所以有些人开始跳过更新。”纵然你跳过屡次更新,最终你照旧会需要更新,譬喻从5.4进级到5.7。

固然Cloudera和Hortonworks会实验测试尽大概多的场景,“他们不能测试你特定操纵系统版本可能对特定事情操纵的影响,”Dijcks称,“你的情况大概有思科路由器可能Red Hat操纵系统可能IBM硬件,同时,假如这个集群正用于大数据出产项目,而你需要更新时,就有大概会制造出明明的停机时间。”

5. 他们没有筹备好应对安详挑战

在Hadoop早期,安详没有被视为一个大问题,因为集群仍位于防火墙后头。而此刻,安详已经成为最大的问题。

今朝Kerberos身份验证已经内置到Hadoop来办理这些问题,但有些IT企业不知道如那里理惩罚此协议,“整合Kerberos到企业的Active Directory很是巨大,”他暗示,“你需要在Active Directory和一系列组件之间举办很是多集成事情。且这方面的文档很是少,最要命的是这涉及到安详打点员和IT其他团队,这些人员险些是利用完全差异的语言。”

责任编辑:华夏门户

热点新闻资讯

首页 | 资讯 | 关注 | 科技 | 财经 | 汽车 | 房产 | 图片 | 视频 | 全国

Copyright © www.msgkpx.com 北京新闻网 版权所有 粤icp备10021497号-9

站务联系QQ :

电脑版 | 移动版