雅虎开源发布订阅消息平台Pulsar

来源:bob体肓官网入口
发布时间:2024-01-31 05:24:54

...

  ,Pulsar 是一个低延迟的发布/订阅消息系统,它能够直接进行水平扩展,跨多个主机和数据中心。雅虎从2015年第二季度开始,就一直在邮件、财经、Gemini Ads、Sherpa(雅虎的分布式key-value服务——译注)以及体育相关的功能中使用Pulsar。通过将其开源,他们盼望Pulsar能够与 其他开源项目进行集成,从而促使它得到普遍的应用。雅虎已经将Pulsar部署到了十个以上的数据中心中,在超过140万主题(topic)的情况下,达 到了每天1000亿条消息,而平均的发布延迟时间在5毫秒以内。Pulsar能确保消息的正常投递,并会为消息提供两个持久化副本、针对消息读者的自动 化游标管理以及跨数据中心的复制。

  我们可以搭建 Pulsar来提供消息即服务(messaging-as-a-service)功能,使其运行在一个集群或多个集群上,还可以通过API对其进行管 理:添加/移除用户、添加计算和存储容量、核算和监控等等。客户端(包括生产者和消费者)都会作为租户(tenant),它们可以通过一个Java库来访 问这些功能。这个库会负责服务发现、消息投递以及其他相关的任务。

  Pulsar采用了主题的 理念,将其作为消息生产者和消费的人之间的媒介。生产者会采用同步或异步的方式将消息发送到主题上。消息能够直接进行批量处理或压缩(LZ4和ZLIB)。客户 端通过订阅的方式来消费消息,处理过程能够直接进行排除(exclusive)、共享(round-robin)或故障恢复。

  为了保证消息的投递,Pulsar会通过Apache BookKeeperledger(指的是独立的log——译注)将消息持久化到稳定的存储中。读取和写入会指向不同的物理磁盘,从而尽可能降低发布带来的延迟。雅虎确认如果 采用SSD作为bookie(指的是Bookkeeper的主机——译注) journal设备的话,Pulsar“在保证两个副本和完全有序的情况下,能确保第99个百分位(99 percentile)达到5毫秒”。

  雅虎将来计划支持非持久化的消息,由此减少消息broker之间主题迁移的时间,目标是从现在的10秒降低到1秒以下,将消息发布的第99.9个百分位达到5毫秒以下(目前是第99个百分位),并且还要支持除了Java以外的其他客户端语言。

  google才几岁?[url=谈红色变,红是造假的代名词吧,红你妹啊。: 看着牙疼!看着牙疼!搞笑呢?能说脏话吗?不能,那没什么好说的了!苏苏呵呵哦?有人爱我吗?System76还有自己的OS。现在可以递送到很多地区了。英语太差了,回去补课吧。腾讯,多年在中国占据软件第一的位置,可惜,除了QQ、微信外,什么都没做出来。联合查询呢?

  hash join有了么?垃圾文章!挺好中国,还得是华为!赞!中国人就是不干正事,搞什么少数民族语言,把libreoffice加上系列码,都是找骂的事,就是不干正事。腾讯也搞芯片,太搞笑了吧?腾讯存在多少年了?过去这么多年腾讯干什么去了?

  小米都造出自己的松果仁了,腾讯干什么了?最后三个图的区别是这样的吗?不对的地方请指出

  class B{void m(){t();s();}hello测试是不是真的好个,就是一骗子喜大普奔!这个core的广告我非常赞同!PgSQL迟早会是第一。Windows只是个OS,LINUX是整个完整的开发、应用、办公环境。有什么好比的呢?

  把买Windows的钱捐给Linux基金更好吧。一群无聊的人上述表达式有一处错误。老实说,除了最后一个,其他我都会,请重新再启动计算机!你好,请问analysis中的属性标签是如何定义的?比如:“role”。另外,这里的timepark怎么加入的?我和我的小伙伴都惊呆了!database呢?node.js??哈哈其实主要是没有好的office和email-client。土豪,我们做朋友吧!病的不轻啊。这样的游戏从哪里下载的太给力了!太给力了!太给力了!太给力了!按照步骤搭建不出来求救史无前例的震撼!太给力了!太给力了!发个评论测试一下这个滚动框是不是真的太给力了!太给力了!