新V观海外:Databricks新架构AI数据渠道加快落地

来源:bob体肓官网入口
发布时间:2024-02-03 08:14:23

...

  大数据服务商Databricks最近在纽约的全美零售商大展NRF 2024上联合协作伙伴大力宣扬根据Data Intelligence Platform的零售职业处理方案,这两天又开端紧锣密鼓地与电信运营商联合发布根据该渠道的通讯职业处理方案。实践上,Databricks两个月前发布这个新架构AI数据渠道时就引发了业界重视,由于这一次不是简略的产品功用更新,而是宣告了Databricks从曩昔多年安身的湖仓渠道开端向新架构AI数据渠道跨进。

  十几年前,加州大学伯克利分校的罗马尼亚裔教授Ion Stoica教授联合产学研各方,在伯克利发动了AMPLab,该实验室专攻产业界面对的大数据难题。

  在当年的AMPLab发动典礼上,Stoica教授清晰讲到大数据面对两类实践难题,一类是大数据管理本钱高,另一类则是从大数据中提取有价值信息的功率低。

  为了处理这样一些问题,AMPLab展开了多个大数据管理和分布式核算项目,这中心还包含分布式核算结构Spark项目,该项目首要人马后来出来成立了Databricks公司,并由Stoica教授出任董事会执行主席。

  此外,这个实验室同期还展开了Alluxio等其它项目,它后来也成为了业界首要的分布式数据管理中心件之一。

  这些年来,Databricks定坐落交融数据湖和数据仓库的Lakehouse,成为抢先的湖仓处理方案供给商。直到2023年6月,Databricks宣告13亿美元收买了以下降大模型练习本钱而闻名的MLOps服务商MosaicML。

  就在业界还在质疑13亿美元价格太贵、Lakehouse和MLOps能发生多少协同效应的时分,宣告收买后还不到5个月,Databricks就正式对外发布了交融Delta Lake、数据目录、机器学习模型保管等模块在内的一致数据智能渠道Data Intelligence Platform,并表明公司将从安身多年的湖仓渠道全面转向这个新架构的AI数据渠道。

  为什么Databricks能如此快速的展开收买和战略转型?我以为,这仍然能够从我上面提过的伯克利产学研协作找到答案。

  2017年,Stoica教授在AMPLab的产学研协作和项目经历的根底上,又建议成立了新的实验室RISELab,研讨方针是要提高大数据体系来进行实时化智能剖析的才能。

  在这个实验室中展开的新一批项目中,一个名为Ray的项目提出了大规模分布式机器学习和强化学习编列结构,逐渐取得业界认可。Ray项意图首要人马在Stoica教授的支持下也出来成立了Anyscale公司,为OpenAI、Uber、AWS等供给MLOps服务。

  至此,根据来自产学研前沿的判别,加上实践的MLOps开展形状趋势,那么为Databricks挑选交融MLOps事务,并选取该范畴内的代表服务商MosaicML助力构建AI数据渠道,也就成为水到渠成的战略决策。

  Databricks这一次交融MLOps才能推出新架构AI数据渠道Data Intelligence Platform,让企业用户具有了运用大规模自有数据高效开发定制化智能使用的可能性。加上Databricks长时间以来在各职业落地数据项意图经历,能够预想到,在各个笔直范畴的智能数据使用将在2024年加快落地。

  从更久远的视角看,在各职业智能化转型和使用落地的过程中,怎么统筹运用和归纳提高根底模型才能、算力规划才能和数据调度才能,将成为各方的长时间战略锚点。