Kafka

此條目介紹的是Apache軟體基金會的開源流處理平台。關於其他用法，請見「卡夫卡 (消歧義)」。

Kafka是由Apache軟件基金會開發的一個開源流處理平台，由Scala和Java編寫。該項目的目標是為處理實時數據提供一個統一、高吞吐、低延遲的平台。其持久化層本質上是一個「按照分布式事務日誌架構的大規模發布/訂閱消息隊列」，^[3]這使它作為企業級基礎設施來處理流式數據非常有價值。此外，Kafka可以通過Kafka Connect連接到外部系統（用於數據輸入/輸出），並提供了Kafka Streams——一個Java流式處理庫。

Kafka^[1]

開發者	Apache軟件基金會，領英
首次發布	2011年1月，​14年前​（2011-01）[2]
當前版本	3.0.0（2021年9月21日，​3年前​（2021-09-21））
源代碼庫	github.com/apache/kafka
編程語言	Scala、Java
操作系統	跨平台
類型	流式處理, 消息中間件（英語：message broker）
許可協議	Apache許可證 2.0
網站	kafka.apache.org

該設計受事務日誌（英語：Transaction log）的影響較大。^[4]

Kafka的歷史

Kafka最初是由領英開發，並隨後於2011年初開源，並於2012年10月23日由Apache Incubator孵化出站。2014年11月，幾個曾在領英為Kafka工作的工程師，創建了名為Confluent的新公司，^[5]，並着眼於Kafka。根據2014年Quora的帖子，Jay Kreps似乎已經將它以作家弗朗茨·卡夫卡命名。Kreps選擇將該系統以一個作家命名是因為，它是「一個用於優化寫作的系統」，而且他很喜歡卡夫卡的作品。^[6]

Kafka的架構

Kafka概覽

Kafka存儲的消息來自任意多被稱為「生產者」（Producer）的進程。數據從而可以被分配到不同的「分區」（Partition）、不同的「Topic」下。在一個分區內，這些消息被索引並連同時間戳存儲在一起。其它被稱為「消費者」（Consumer）的進程可以從分區查詢消息。Kafka運行在一個由一台或多台服務器組成的集群上，並且分區可以跨集群結點分布。

Kafka高效地處理實時流式數據，可以實現與Storm、HBase和Spark的集成。作為群集部署到多台服務器上，Kafka處理它所有的發布和訂閱消息系統使用了四個API，即生產者API、消費者API、Stream API和Connector API。它能夠傳遞大規模流式消息，自帶容錯功能，已經取代了一些傳統消息系統，如JMS、AMQP等。

Kafka架構的主要術語包括Topic、Record和Broker。Topic由Record組成，Record持有不同的信息，而Broker則負責複製消息。Kafka有四個主要API：

• 生產者API：支持應用程序發布Record流。
• 消費者API：支持應用程序訂閱Topic和處理Record流。
• Stream API：將輸入流轉換為輸出流，並產生結果。
• Connector API：執行可重用的生產者和消費者API，可將Topic鏈接到現有應用程序。

相關術語

• Topic 用來對消息進行分類，每個進入到Kafka的信息都會被放到一個Topic下
• Broker 用來實現數據存儲的主機服務器
• Partition 每個Topic中的消息會被分為若干個Partition，以提高消息的處理效率
• Producer 消息的生產者
• Consumer 消息的消費者
• Consumer Group 消息的消費群組

設計目標

Kafka的性能

由於其廣泛集成到企業級基礎設施中，監測Kafka在規模運行中的性能成為一個日益重要的問題。監測端到端性能，要求跟蹤所有指標，包括Broker、消費者和生產者。除此之外還要監測ZooKeeper，Kafka用它來協調各個消費者。^[7][8]目前有一些監測平台可以追蹤Kafka的性能，有開源的，如領英的Burrow；也有付費的，如Datadog。除了這些平台之外，收集Kafka的數據也可以使用工具來進行，這些工具一般需要Java，包括JConsole。^[9]

Consumer Group

Kafka文件格式

00000000000000000000.index 00000000000000000000.log 00000000000000000000.timeindex 00000000000000782248.snapshot leader-epoch-checkpoint

使用Kafka的企業

下面的列表是曾經或正在使用Kafka的知名企業：

• 小米
• CloudFlare^[10]
• EBay^[11]
• Kakao^[12]
• Netflix^[13]
• PayPal^[14]
• Spotify^[15]
• Yelp^[16]
• 紐約時報^[17]
• 思科系統^[18]
• 沃爾瑪^[19]
• 優步^[20]

參見

• Apache ActiveMQ
• Apache Flink
• Qpid（英語：Apache Qpid）
• Samza（英語：Apache Samza）
• Apache Spark
• 數據發布服務（英語：Data Distribution Service）
• 企業集成模式（英語：Enterprise Integration Patterns）
• 企業消息系統（英語：Enterprise Messaging System）
• 事件流式處理（英語：Event stream processing）
• 事件驅動SOA（英語：Event-driven SOA）
• 面向消息的中間件（英語：Message-oriented middleware）
• 面向服務的架構
• StormMQ（英語：StormMQ）