首页 资讯 财经 汽车 关注 科技 房产 图片 全国 视频

数据

旗下栏目: 业内 数据 数码 手机

外媒:清理数据成数据科学家最大挑战

来源:新闻门户     作者:华夏门户     浏览:次     发布时间:2020-10-17
摘要:科学家面临的最淹灭时间的事情是什么?有什么样的东西能打扫这些障碍?……

数据阐明师耗费一半以上的时间清理和转换数据,而不是从中提取贸易智能,这并不稀奇。数据储存的局限不绝增大,数据范例也在激增。新一代的东西簇拥而至,并理睬把巨大的东西送到不依赖数据的科学家的手上。

技能规模最热门的地位之一是数据科学家,或者只有最新呈现的首席高管地位:首席数据科学家能逾越他们。显而易见,人们对这种趋势一直存在质疑,来自美国科技网站InfoWorld的 Yves de Montcheuil曾引用过一则笑话,数据学家就是住在加利福尼亚州的贸易阐明师。

每个公司都需要把公司的数据转换为贸易智能,这并不是什么有趣的事,这就是数据科学家包袱主导责任的时候。但跟着数据数量和种类的激增,数据科学家发明,他们大部门的时间都耗费在清理和转换数据,而不是阐明数据,并把它们汇报给企业司理。

最近,IT项目众包公司CrowdFlower的数据科学家举办了一项观测(需要注册可查察)。观测发明,三分之二的阐明人员认为清理和组织数据是它们最费时的事情,52%称他们最大的障碍是数据质量差。受访者说出了在它们事情中利用的48种差异的技能,最受接待的是Excel(55.6%),其次是开源语言研究(43.1%),和Tableau数据可视化软件(26.1%)。

 外媒:清理数据成数据科学家最大挑战

▲来历:CrowdFlower公司

数据科学家认为它们最大的挑战是清理数据耗费时间,数据质量差,缺少阐明时间,以及无效的数据建模。

是什么抑制了数据阐明的成长?被观测的数据科学家罗列出,包罗缺少有效满意他们事情需要的东西(54.3%),组织没有清楚地说明方针和宗旨(52.3%),以及培训投资不敷(47.7%)。

 外媒:清理数据成数据科学家最大挑战

▲来历:CrowdFlower公司

缺乏东西,方针不明晰,不注重培训被陈诉为影响数据科学家效率的主要障碍。

理睬将满意大数据阐明师需要的新东西

在技能规模有一个根基的课题:早期只有少数精英需要领略和利用常识、东西,跟着时间的推移,产物日益改造,价值低落,企业适应,技能逐渐成为了主流。新的数据阐明东西簇拥而至,理睬把技能的效益带给非科研人员。

2014年8月17日,Steve Lohr在纽约时报上登载了几种产物的简介。譬喻,ClearStory Data公司的软件团结多个来历的数据,并转换成图表、舆图和其他图形。在数据筹备问题上Paxata公司采纳了差异方法,他们的软件通过各类可视化东西对数据举办检索、清理,和混适用于阐明。

这家不以营利为目标的常识开放尝试室,号称是一个为“国民骇客、数据打点者,以及对技能和资讯团结的大概性发生乐趣的普通国民”提供的社区。这个组织正在招募“数据打点员”志愿者,来维护焦点数据集,譬喻海内出产总值和ISO代码。空军总司令部的Rufus Pollock于2015年1月3日对该项目举办了描写。

 外媒:清理数据成数据科学家最大挑战

▲来历:常识开放尝试室

常识开放尝试室正在寻找志愿者措施员,筹谋焦点数据集并作为零阻力数据打算的一部门。

没有比利用Morpheus更简朴和直接的方法来打点异构MySQL、MongoDB、Redis和ElasticSearch数据库。仪表板上的一次单击,Morpheus能使你在殽杂云上无缝提供、监控和阐明SQL、NoSQL和内存数据库。你缔造每个的数据库实例都包罗一个内置的容错和妨碍的完整副本集。

责任编辑:华夏门户
首页 | 资讯 | 关注 | 科技 | 财经 | 汽车 | 房产 | 图片 | 视频 | 全国

Copyright © www.msgkpx.com 北京新闻网 版权所有 粤icp备10021497号-9

站务联系QQ :

电脑版 | 移动版