首页 资讯 财经 汽车 关注 科技 房产 图片 全国 视频

数据

旗下栏目: 业内 数据 数码 手机

Hadoop遭遇瓶颈的七大危险信号

来源:新闻门户     作者:华夏门户     浏览:次     发布时间:2020-09-21
摘要:大大都企业大数据应用案例尚处于尝试和试点阶段,对付少数首次在出产情况陈设Hadoop系统的用户来说,最常碰着的……

大大都企业大数据应用案例尚处于尝试和试点阶段,对付少数首次在出产情况陈设Hadoop系统的用户来说,最常碰着的就是扩展问题,此类问题往往导致企业因噎废食,终止大数据应用项目。

陈设和扩展Hadoop系统是一件高度巨大的工作,假如用户能提前对Hadoop扩展大概会碰着的各类问题和危险信号有所相识,就能制止许多“救火”局势。

 Hadoop遭遇瓶颈的七大危险信号

以下是Hadoop大数据系统呈现扩展问题的七大危险信号:

危险信号一: 永远进入不了出产阶段

大数据应用从观念验证到出产情况是一个庞大的奔腾,Hadoop系统的可扩展性将面对庞大的挑战。出产情况的数据局限发生的一些问题尝试情况很难遇到。别的数据自己也存在差别,观念验证阶段利用的测试数据集往往是不真实的,可能范例单一。

在进入出产情况前,大数据团队需要对Hadoop系统举办模仿真实数据局限的压力测试,此类测试可以或许检讨大数据应用的可扩展性和容错机能,还能帮你做出越发精确的机能(资源需求)筹划模子。

危险信号二: 阐明计较任务不绝超时

当Hadoop集群中运行的大数据应用很少可能只有一个时,一切都行云流水,按部就班,可是跟着Hadoop集群的增长,数据阐明任务的运行时间变得难以预测起来。一开始,只是有零散的超时现象,问题容易被忽视,但跟着时间增长,超时问题会越来越严重,最后导致危机。

在危机发作前,你必需提前采纳动作,按照任务峰值调解计较机能筹划模子。

危险信号三: 你开始汇报人们不要保存所有数据

危机呈现的另一个征兆是数据保存时间窗口不绝缩水。一开始你想保存13个月的数据举办年度阐明。可是由于空间限制,你开始淘汰保存数据的月份数。到最后,你的Hadoop系统因为没有足够多的数据而不再是“大数据”系统。

数据保存窗口的缩水是因为存储的扩展性碰着问题,这与前面的计较机能问题雷同。当你的容量预测模子呈现问题时,需要尽快调解。

危险信号四: 数据科学家被“饿死”

任务负荷过重的Hadoop集群会抹杀创新,因为数据科学家们将没有足够的计较资源来开展大型任务,也没有足够的空间来存储中间功效。

机能和容量筹划凡是会忽略可能低估数据科学家的需求,在加之前面提到的对出产情况任务的预计不敷,会严重限制数据科学家的开辟性和创新性事情。

危险信号五:数据科学家们开始查察Stack Overflow

在Hadoop系统陈设的早期,你的运营团队与科学家细密协作。运营团队随时为数据科学家提供支持。(编者按:雷同串联的协作模式)可是当Hadoop 系统乐成上线后,系统的运维和扩展任务就会让运营团队疲于奔命,这时候数据科学家碰着Hadoop问题就只好本身办理,譬喻常常去技能问答网站Stack Overflow查察问题帖子。

危险信号六:数据中心越来越热

数据中心处事器的电力都不是按处事器的功率峰值设置的,可是一个Hadoop集群运行任务的时候常常会持续“拷机”数小时,会烧坏功率不匹配的供电线路,同样的问题也存在于制冷系统中。陈设Hadoop系统时请确保数据中心支持其长时间全速运行。

危险信号七:用度超支

基于IaaS的Hadoop陈设,譬喻AWS,在支出上是失控的。一个月的用度很有大概是上个月的三倍,远远超出你的预算。

机能筹划对付基于IaaS的Hadoop陈设来说也长短常重要的,可是好的机能筹划只是开始,假如你需要扩展IaaS上的Hadoop系统,那么你需要进修Netflix在本钱监控和优化系统上投入大量资金。

责任编辑:华夏门户

热点新闻资讯

首页 | 资讯 | 关注 | 科技 | 财经 | 汽车 | 房产 | 图片 | 视频 | 全国

Copyright © www.msgkpx.com 北京新闻网 版权所有 粤icp备10021497号-9

站务联系QQ :

电脑版 | 移动版