阿里云开源大数据平台 EMR 全面升级 性能最高可提升 6 倍

来源:bob体肓官网入口 发布时间:2024-01-26 23:56:35 阅读: 1

  据悉,阿里云 EMR2.0 为用户更好的提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过 EMR Doctor 健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低 20%-30%。

  据悉,阿里云 EMR2.0 为用户更好的提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过 EMR Doctor 健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低 20%-30%。新平台致力于为客户快速构建超高的性价比、安全可靠、兼容生态的开源大数据平台。

  云原生趋势下,开源大数据处于重构之中,以 Hadoop 为核心的开源大数据体系,开始转变为多元化技术并行发展。阿里云 EMR 产品负责人何源介绍,阿里云 EMR 于 2009 年开始服务阿里巴巴集团内部客户,2016 年将过往的技术能力产品化开放,为客户提供商业化服务。作为开源大数据领域的引领产品,EMR 2.0 通过云原生能力重构平台层、数据层、计算层,满足数千客户流处理、数据可视化、交互式分析、数据湖等多场景需求,重新定义了新一代开源大数据平台。为客户构建新一代开源大数据基础设施。

  客户基于 EMR2.0 平台可实现更加低成本、高效率、智能化的大数据集群管控和应用开发。利用抢占式实例,生产实证最多可降低百分之八十以上的成本。开启故障实例自动补偿,在全场景集群下,稳定性能大大的提升 1 个 9。全新发布的 EMR Doctor,通过健康检查服务的集群日报功能,查看集群是不是真的存在资源浪费;通过任务评分倒排 Top N,找到资源浪费最多的作业来优化;通过持续优化,帮助客户最大化利用资源,避免浪费。同时,还能够在一定程度上帮助客户提前发现一些风险并做处理。EMR Studio,提供 Notebook 和 Workflow 服务。全托管 Notebook,兼容 用户 Jupyter 使用习惯,可以无缝对接 EMR 各计算、存储引擎,进行交互式的大数据开发和调试,已经开发和调试完的作业能加入 Workflow 工作流里进行调度和上线。此外 EMR Studio 的 Workflow 服务也还支持 Flink 等的作业。

  2022 年 6 月,阿里云 EMR 联合 OSS、 DLF、DataWorks 等构建的云原生数据湖产品方案通过信通院评测认证,是国内首批且唯一满分的产品方案,该方案为用户更好的提供「全托管湖存储、全面湖加速、统一湖管理、多模态湖计算和智能湖治理」等全面数据湖能力。(国内首批!阿里云云原生数据湖产品通过信通院评测认证)

  国内知名广告营销服务商汇量科技已使用 EMR 产品 4 年。在业务迅速增加的大好形势下,汇量科技面临慢慢的变多的困扰:如数据来源复杂、数据量大、数据维度多、实时运营业务秒级数据新鲜度需求等业务需求;本次升级后,汇量科技在素材平台、热力引擎等业务的大数据平台搭建上,数据同步和及查询效率有数倍提升,系统稳定性明显提升,未再出现之前 cpu、mem、io 负载高等情况。

  随着阿里云 EMR2.0 的发布,阿里云 EMR 将技术引领优势,转化为云上产品服务能力。重新定义的新一代 EMR 产品,将为各行业广大新老客户构建开源大数据平台提供最扎实的基座保障。

  ① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。

  ② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时一定要标注明确来源【硅谷网】或对应来源,违者本网站将依法追究责任。

  ③ 标注明确来源为各大报纸、杂志、网站及别的媒体的文章,文章原作者享有著作权,本网站转载别的媒体稿件是为传播更多的信息,并不意味着赞同其观点和对其真实性负责,本网站不承担此类稿件侵犯权利的行为的连带责任。

  ④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请相关的单位或个人速与本网站取得联系(联系方式:),我们将第一时间核实处理。