|
Kafka
作者：佚名 转贴自：https://baike.baidu.com/item/zookeeper/4836397?fr=aladdin 点击数：43
| Kafka （科技术语） Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。 软件名称 Apache Kafka 开发商Apache软件基金会 软件平台跨平台 软件版本 0.10.2.1 更新时间 2015-10-03 软件语言Scala 软件大小 15M 软件授权Apache License 2.0 目录 1 Kafka相关术语介绍 Kafka[1] 是一种高吞吐量[2] 的分布式发布订阅消息系统，有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量[2] ：即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息。 支持通过Kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。[3] Kafka社区于2015年10月03日通过邮件列表发布了最新版本0.8.2.2[4-5] Kafka相关术语介绍 Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker[5] Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处） Partition Partition是物理上的概念，每个Topic包含一个或多个Partition. Producer 负责发布消息到Kafka broker Consumer 消息消费者，向Kafka broker读取消息的客户端。 Consumer Group 每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。 参考资料 1. Apache Kafka官网 ．Apache Kafka官网[引用日期2015-11-20] 2. Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines) ．LinkedIn．2014-04-27[引用日期2015-11-20] 3. 分布式发布订阅消息系统 Kafka ．开源中国社区．2011-05-07[引用日期2015-06-29] 4. [ANNOUCE] Apache Kafka 0.8.2.2 Released ．Search Hadoop．2015-10-03[引用日期2015-11-20] 5. Kafka剖析（一）：Kafka背景及架构介绍 ．InfoQ 中文．2015-03-10[引用日期2015-12-29] |