从共建到引领阿里云开源大数据产品矩阵再晋级

  11月5日，在云栖大会一体化大数据智能峰会上，阿里巴巴开源委员会大数据范畴副主席、阿里云开源大数据负责人王峰回忆了阿里巴巴开源大数据技能十三载开展前史，从运用回馈到共建引领，兼容并蓄，继续立异。

  早在2009年，阿里巴巴就开端大规划运用Hadoop等开源大数据技能，在阅历双11等内部中心事务锻炼之后，于2015年发动开源大数据技能实时化，并完结全面上云，以开源大数据渠道E-MapReduce和实时核算Flink版来对外供给公共云服务。阿里巴巴也热心参与开源社区以及协作伙伴的开源共建，奉献了开源数据Shuffle服务Celeborn到Apache孵化器，推进Flink成为实时核算范畴的事实标准，终究形成了敞开、多元、现代、智能的开源大数据技能生态。

  本次峰会，王峰为咱们共享了开源大数据的几个技能热门趋势，分别是云原生、实时化、数据湖和智能化。阿里巴巴开源大数据技能已进入了全面云原生的年代，依托全面云原生架构，为用户更好的供给极致弹性弹性，按需运用的服务。一起在实时核算技能范畴继续立异，提出Flink SQL + Table Store的运用方法，完结端到端的数仓链路实时活动，供给全增量数据链路共同性体会。构建一致架构的云原生数据湖，架构从存算一体到存算别离，交融多元化核算形式，完结智能安全的数据湖办理。在此根底之上，继续优化“智能运维大脑”，推出如Flink作业主动调优，EMR Doctor智能运维确诊系统等，全面加深开源大数据渠道的增值才能，协助用户更高效地运用。

  开源大数据产品矩阵再次晋级，开源大数据渠道E-MapReduce将技能引领优势，转化为云上产品服务才能，重磅发布E-MapReduce 2.0，面向未来构建下一代开源大数据根底设施，弹性优化才能提高3倍，弹性规划达千台，3分钟即可创立100节点的数据湖集群。依托于EMR、OSS、DataWorks产品组合的数据湖，满分通过了信通院云原生数据湖评测，全面兼容HDFS，湖权限和生命周期办理才能晋级。实时核算Flink增强了杂乱事情处理功用，可应用于实时风控、实时营销场景，分钟级作业确诊，协助用户资源功率提高30%。阿里云联合 Elastic 公司重磅发布云原生 Serverless Elasticsearch，为用户所带来SaaS化产品体会，一起，运用本钱下降53%。与Cloudera公司战略协作的数据混合云 Cloudera CDP公共云正式商用，为CDP用户所带来一致的云上云下运用体会。

  一起阿里巴巴开源大数据一向本着敞开、立异、奉献的初心活泼推进开源大数据技能的演进，截止到本年奉献10余个尖端开源项目，培育50余位尖端开源项目Committer、PMC，代码奉献量超越150万，开源文化氛围稠密。构建了环绕数据集成Flink CDC、数据剖析Flink SQL、机器学习Flink ML、规矩引擎Flink CEP、动态表存储Flink Table Store的Apache Flink生态项目群，推进Flink健壮地生长为Apache的头部项目之一。一起生善于阿里巴巴的 Celeborn 项目-大数据核算引擎通用Shuffle服务成功进入Apache孵化器，为开源大数据技能更添一份力气。

  峰会上，由敞开原子开源基金会、X-lab敞开实验室和阿里巴巴开源委员会联合出品的《2022年开源大数据热力陈述》重磅发布。

  敞开原子开源基金会副秘书长刘京娟女士对陈述进行了深度解读。陈述根据揭露数据研讨最活泼的102个开源大数据项目，探寻出开源大数据技能开展背面的“摩尔定律”，每隔40个月，开源项目热力值就会翻一倍，技能完结一轮更新迭代。在曩昔8年里，发生了5次较大规划的技能热力跃迁，多元化、一体化、云原生成为当时开源大数据开展的新趋势的最明显特征。其间，阿里巴巴推进的Apache Flink在流处理范畴热力值排名榜首，DataX、Flink CDC、Apache Celeborn入围热力榜单。