Kafka

此條目介紹的是Apache軟體基金會的開源流處理平台。關於其他用法，請見「卡夫卡 (消歧義)」。

Kafka是由Apache軟體基金會開發的一個開源流處理平台，由Scala和Java編寫。該專案的目標是為處理即時資料提供一個統一、高吞吐、低延遲的平台。其持久化層本質上是一個「按照分散式事務紀錄檔架構的大規模釋出/訂閱訊息佇列」，^[3]這使它作為企業級基礎設施來處理串流資料非常有價值。此外，Kafka可以通過Kafka Connect連接到外部系統（用於資料輸入/輸出），並提供了Kafka Streams——一個Java串流處理庫。

Kafka^[1]

開發者	Apache軟體基金會，領英
首次釋出	2011年1月，​14年前​（2011-01）[2]
目前版本	3.0.0（2021年9月21日，​3年前​（2021-09-21））
原始碼庫	github.com/apache/kafka
程式語言	Scala、Java
作業系統	跨平台
類型	串流處理, 訊息中介軟體（英語：message broker）
授權條款	Apache授權條款 2.0
網站	kafka.apache.org

該設計受事務紀錄檔（英語：Transaction log）的影響較大。^[4]

Kafka的歷史

Kafka最初是由領英開發，並隨後於2011年初開源，並於2012年10月23日由Apache Incubator孵化出站。2014年11月，幾個曾在領英為Kafka工作的工程師，建立了名為Confluent的新公司，^[5]，並著眼於Kafka。根據2014年Quora的貼文，Jay Kreps似乎已經將它以作家弗朗茨·卡夫卡命名。Kreps選擇將該系統以一個作家命名是因為，它是「一個用於最佳化寫作的系統」，而且他很喜歡卡夫卡的作品。^[6]

Kafka的架構

Kafka概覽

Kafka儲存的訊息來自任意多被稱為「生產者」（Producer）的行程。資料從而可以被分配到不同的「分割區」（Partition）、不同的「Topic」下。在一個分割區內，這些訊息被索引並連同時間戳儲存在一起。其它被稱為「消費者」（Consumer）的行程可以從分割區查詢訊息。Kafka執行在一個由一台或多台伺服器組成的叢集上，並且分割區可以跨叢集結點分布。

Kafka高效地處理即時串流資料，可以實現與Storm、HBase和Spark的整合。作為群集部署到多台伺服器上，Kafka處理它所有的釋出和訂閱訊息系統使用了四個API，即生產者API、消費者API、Stream API和Connector API。它能夠傳遞大規模串流訊息，內建容錯功能，已經取代了一些傳統訊息系統，如JMS、AMQP等。

Kafka架構的主要術語包括Topic、Record和Broker。Topic由Record組成，Record持有不同的資訊，而Broker則負責複製訊息。Kafka有四個主要API：

• 生產者API：支援應用程式釋出Record流。
• 消費者API：支援應用程式訂閱Topic和處理Record流。
• Stream API：將輸入流轉換為輸出流，並產生結果。
• Connector API：執行可重用的生產者和消費者API，可將Topic連結到現有應用程式。

相關術語

• Topic 用來對訊息進行分類，每個進入到Kafka的資訊都會被放到一個Topic下
• Broker 用來實現資料儲存的主機伺服器
• Partition 每個Topic中的訊息會被分為若干個Partition，以提高訊息的處理效率
• Producer 訊息的生產者
• Consumer 訊息的消費者
• Consumer Group 訊息的消費群組

設計目標

Kafka的效能

由於其廣泛整合到企業級基礎設施中，監測Kafka在規模執行中的效能成為一個日益重要的問題。監測端到端效能，要求跟蹤所有指標，包括Broker、消費者和生產者。除此之外還要監測ZooKeeper，Kafka用它來協調各個消費者。^[7][8]目前有一些監測平台可以追蹤Kafka的效能，有開源的，如領英的Burrow；也有付費的，如Datadog。除了這些平台之外，收集Kafka的資料也可以使用工具來進行，這些工具一般需要Java，包括JConsole。^[9]

Consumer Group

Kafka檔案格式

00000000000000000000.index 00000000000000000000.log 00000000000000000000.timeindex 00000000000000782248.snapshot leader-epoch-checkpoint

使用Kafka的企業

下面的列表是曾經或正在使用Kafka的知名企業：

• 小米
• CloudFlare^[10]
• EBay^[11]
• Kakao^[12]
• Netflix^[13]
• PayPal^[14]
• Spotify^[15]
• Yelp^[16]
• 紐約時報^[17]
• 思科系統^[18]
• 沃爾瑪^[19]
• 優步^[20]

參見

• Apache ActiveMQ
• Apache Flink
• Qpid（英語：Apache Qpid）
• Samza（英語：Apache Samza）
• Apache Spark
• 資料釋出服務（英語：Data Distribution Service）
• 企業整合模式（英語：Enterprise Integration Patterns）
• 企業訊息系統（英語：Enterprise Messaging System）
• 事件串流處理（英語：Event stream processing）
• 事件驅動SOA（英語：Event-driven SOA）
• 訊息導向中介層（英語：Message-oriented middleware）
• 面向服務的架構
• StormMQ（英語：StormMQ）