|
在11月6日召开的Techo开拓者大会上，腾讯云副总裁、腾讯数据平台部总司理蒋杰博士正式对外披露腾讯大数据平台10年技能演进过程。颠末10年的积聚，腾讯大数据平台的算力资源池今朝已有高出20万台的局限，天天及时数据计较劲高出30万亿条，腾讯已经成为中国及时数据计较劲最大的公司。而且，跟着资源打点平台焦点TKE和漫衍式数据库TBase正式对外开源，腾讯正在成为大数据规模开源最全面的公司。 腾讯云副总裁、腾讯数据平台部总司理蒋杰 作为全球最大的互联网公司之一，腾讯的数据量在短短5、6年时间增长了几千倍，今朝天天发生的数据量高出几十万亿条数据在发生。为了应对这种爆炸式增长，腾讯走出了一条技能引进+改革+自研的阶梯。颠末长达十年的不绝进级和完善，腾讯大数据平台已经经验了四代演进。针对最新的大数据和人工智能技能成长趋势，腾讯正在下一代计较平台中，摸索批流融合、ABC融合以及数据湖和联邦进修等前沿技能。 十年四次进级 成立“大数据+AI”双引擎技能架构 腾讯内部今朝有高出100万台处事器，腾讯云连系所有业务部分，操功课务空闲资源打造一套算力共享平台，该算力弹性资源池有20万的局限，大数据平台天天有1500万的阐明任务、30万亿次的及时计较劲，而且天天数据接入条数达35万亿条数据。另外，腾讯云的漫衍式呆板进修平台，能支撑1万亿维度的数据练习。 能支撑如此大局限数据的接入和运算，是腾讯在大数据技能规模高出10年的积聚，其焦点的大数据平台已经完成了三次迭代。从以Hadoop为焦点的离线计较时代到以Spark、Storm、Flink为焦点的及时计较时代，再到如今的呆板进修和深度进修时代，腾讯从无到有研发了漫衍式的呆板进修引擎Angel，以及一站式AI开拓平台智能钛TI，用来办理数据练习和算法的问题。今朝，腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦进修为偏向的下一代大数据平台的研究,该平台将具备殽杂陈设、跨域数据共享和边沿计较等本领。 据相识，为支撑海量业务成长，腾讯已经成立了“大数据+AI”的双引擎技能架构，个中，最底层为漫衍式存储层，存储布局化及非布局化数据，第二层是资源调治层，做CPU、GPU和FPGA的打点，第三层是计较层、阐明层、数据收罗层，而顶层则是业务应用层。通过四层完整的技能架构，自下而上为腾讯的整个应用生态保驾护航，保障亿万用户能安详顺畅地享受到腾讯的优质处事。 从局部优化到自主研发 在实践中不绝创新 从开始的技能引进、局部优化到如今的自主创新，腾讯的大数据技能在实践中不绝完善、不绝创新。十年前，腾讯打点几百个节点都很坚苦，调治机能差，局限上不去。为了有效办理计较本领和大局限集群问题，腾讯自研调治器，相对原生调治器机能晋升150倍，大大晋升了集群可扩展性。2016年，腾讯冲破Sort Benchmark四项世界记载，符号着算力已经到达世界领先程度。 由于腾讯20万台弹性资源池的呆板漫衍在多个数据中心，差异地域甚至是差异国度，为了低落数据利用壁垒，去年自研了漂移计较引擎SuperSQL，作为统一的数据阐明进口，通过智能CBO优化器，将计较下推到漫衍在各地的异构数据源，数据阐明机能提高许多倍，而且数据量越大优势越明明。 数据应用越来越深入，腾讯对数据挖掘的需求也越来越多。跟着模子的增大，最初用来做数据练习的MR、Spark已经不能满意上亿的模子维度的需求。2015年头，腾讯开始自研高机能的漫衍式呆板进修平台Angel，回收PS架构，能支持10亿维度。今朝Angel成长到3.0版本，能支持万亿维度，也可以兼容Spark、PyTorch、TensorFlow等生态，进一步低落了利用门槛。另外，Angel本年还新增了对深度进修、图计较等的支持。 腾讯正成为大数据规模开源最全面厂商 技能迭代不绝加快，企业建树大数据平台和呆板进修平台，不只本钱奋发，并且缺乏相应的专业人才，面对各种问题。 云时代，这些问题获得有效办理。今朝，腾讯已经把网络、存储、数据库等IaaS本领，大数据、呆板进修等PaaS的本领，以及上层的图像、语音、NLP、BI等SaaS本领，通过腾讯云对外开放。在大数据和AI两个规模，腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业，不需要专业的大数据和AI团队，也能便捷用上领先的大数据和AI的本领。 |
