Apache Pulsar:实时数据处理中音讯、核算和存储的一致

来源:bob体肓官网入口
发布时间:2023-12-29 09:36:31

...

  原标题:Apache Pulsar:实时数据处理中音讯、核算和存储的一致

  本文来自于 QCon 北京2018全球开发者大会,作者翟佳,其结业于中科院核算所,现在上任于一家下一代实时处理草创公司Streamlio,是Streamlio的中心开创成员之一。在此之前任职于EMC,是北京EMC实时处理龙凤之姿的技能负责人。首要是做实时核算和分布式存储体系的相关开发,是开源项目Apache BookKeeper PMC Member和Committer,也在Apache Pulsar, Distributedlog等项目中继续奉献代码。

  实时数据处理在各个职业和范畴中白搭渐渐的变要害。但是在实时数据栈中,Messaging,Computing和Storage三个部分的别离,给计划的完成带来了高复杂性,低可维护性,低效率等问题。

  本次讲演将介绍Apache Pulsar,并展现Apache Pulsar怎样从这三个方面,供给一个端到端的实时数据解决计划。

  Messaging:Pulsar对pub/sub和queue两种形式供给一致的支撑,一起确保了一致性,高性能和易扩展性。

  Apache Pulsar 在2016年开源,是Streamlio,阿里巴巴,和滴滴出行等公司一起起草的全球音讯范畴规范 OpenMessaging 的重要成员。期望可以经过这次寻找,可以为我们带来对Apache Pulsar及其ECO有更好的了解,和对pub/sub音讯体系,实时处理体系的更多的知道。本文将首要介绍以下内容: