Apache Kafka

Apache Kafka ialah sebuah pelantar perisian pemprosesan strim sumber terbuka yang dibangunkan oleh Linkedin dan kemudiannya didermakan kepada Yayasan Perisian Apache. Ia dibangunkan menggunakan bahasa pengaturcaraan Scala dan Java.

Apache Kafka[1]
Pembuat asal	Neha Narkhede
Pembangun	Yayasan Perisian Apache
Pelancaran pertama	Januari 2011; 14 tahun yang lalu (2011-01)[2]
Versi terkini/stabil	2.1.0 (20 November 2018; 6 tahun yang lalu (2018-11-20))
Ditulis dalam	Scala, Java
Sistem pengendalian	Rentas-pelantar
Jenis	Message-oriented middleware, perisian bebas
Genre	Pemprosesan strim, Broker pesanan
Lesen	Lesen Apache 2.0
Pautan berkaitan
Tapak web	kafka.apache.org
Repositori	github.com/apache/kafka
Pautan lain
sunting · sunting di Wikidata Lihat pendokumenan templat ini

Sejarah

Pembangunan Apache Kafka dimulakan oleh LinkedIn yang kemudiannya menyumberterbukakannya pada awal tahun 2011. Ia telah keluar dari Apache Incubator pada 23 Oktober 2012. Pada tahun 2014, Jun Rao, Key Kreps, dan Neha Narkhede, yang telah mengusahakan Kafka di LinkedIn, telah membuka sebuah syarikat baharu bernama Confluent yang bertujuan untuk menumpukan perhatian kepada Kafka.^[3] Menurut sebuah utusan Quora pada tahun 2014, Kreps menamakan perisian ini sempena nama penulis Franz Kafka kerana ia adalah "sebuah sistem yang dioptimumkan untuk penulisan", di samping kerana menggemari karya-karya Franz.^[4]

Seni bina

Gambaran keseluruhan Kafka

Kafka menyimpan pesanan-pesanan kekunci-nilai (key-value) yang datang daripada seberapa banyak proses yang dipanggil penerbit. Data boleh diasing-asingkan kepada "partisyen" berbeza dalam "topik" berlainan. Dalam sesebuah partisyen, pesanan disusun rapi mengikut ofsetnya (kedudukan pesanan dalam partisyen), lalu diindekskan dan disimpan berserta cap waktu (timestamp). Proses-proses lain yang dipanggil "konsumer" boleh membaca pesanan daripada partisyen. Kafka menawarkan Streams API untuk pemprosesan strim yang membolehkan aplikasi-aplikasi Java ditulis untuk menerima data daripada Kafka serta menulis hasil balik kepada Kafka. Apache Kafka juga mampu bekerja sama dengan sistem pemprosesan strim luar seperti Apache Apex, Apache Flink, Apache Spark, dan Apache Storm.

Kafka dijalankan pada gagasan satu atau lebih pelayan (digelar broker), dan partisyen-partisyen bagi kesemua topik diagih-agihkan antara nod-nod gagasan. Tambahan lagi, partisyen-partisyen direplikakan kepada lebih daripada satu broker. Seni bina ini membolehkan Kafka mengirim strim pesanan dengan jumlah yang besar dalam cara yang tahan rosak, hatta membolehkannya mengganti beberapa sistem pesanan terdahulu seperti Java Message Service (JMS), Advanced Message Queuing Protocol (AMQP), dan sebagainya. Sejak keluaran 0.11.0.0, Kafka menawarkan tulisan bertransaksi, yang menyediakan pemprosesan strim betul-betul sekali menggunakan Streams API.

Kafka menyokong dua jenis topik: biasa dan terpadat. Topik biasa boleh dikonfigurasikan dengan suatu masa pegangan atau suatu had ruang. Jika ada rekod yang usianya melebihi masa pegangan atau melebihi had ruang partisyen yang telah ditetapkan, Kafka dibenarkan untuk menghapuskan data lama demi melapangkan ruang simpanan. Secara lalai, sesuatu topik dikonfigurasi dengan masa pegangan selama 7 hari, tetapi data juga boleh disimpan tanpa had masa. Bagi topik-topik terpadat, rekod tidak luput berasaskan masa atau ruang. Sebaliknya, Kafka menganggap pesanan-pesanan terkemudian sebagai kemaskini bagi pesanan terdahulu yang mempunyai kekunci yang sama dan menjamin bahawa pesanan terkini sesuatu kekunci tidak akan dihapuskan. Pengguna boleh menghapuskan pesanan secara menyeluruh dengan menulis pesanan penamat (tombstone message) dengan nilai null untuk kekunci tertentu.

Terdapat empat API utama dalam Kafka:

• Producer API – membolehkan sesuatu aplikasi menerbitkan strim rekod.
• Consumer API – membolehkan sesuatu aplikasi melanggan sesuatu topik dan memproses strim rekod.
• Connector API – melaksanakan API-API boleh guna semula penerbit dan konsumer yang boleh mengaitkan topik-topik dengan aplikasi-aplikasi sedia ada.
• Streams API – menukar strim input kepada strim output dan mengeluarkan hasil.

API producer dan consumer dibina di atas protokol pesanan Kafka dan menyediakan pelaksaanan rujukan dalam Java untuk klien-klien Kafka. Protokol pesanan Kafka ialah sebuah protokol perduaan yang boleh digunakan pembangun jika ingin membuat pelaksanaan konsumer atau penerbit dalam mana-mana bahasa pengaturcaraan. Ini membuatkan Kafka bebas daripada terikat dengan ekosistem JVM. Klien-klien bukan Java ada tersenarai di Wiki Apache Kafka.

Perusahaan yang menggunakan Kafka

Berikut ialah senarai perusahaan terkemuka yang pernah atau sedang menggunakan Kafka:

• Apple Inc.^[5]
• Betfair^[6]
• Cisco Systems^[7]
• Citibank^[8]
• Cloudflare^[9]
• Conviva^[10]
• Daumkakao^[11]
• eBay^[12]
• Hyperledger Fabric^[13]
• HubSpot^[14]
• Netflix^[15]
• The New York Times^[16]
• PayPal^[17]
• Pinterest^[18]
• Salesforce^[19]
• Shopify^[20]
• Spotify^[21]
• Ticketmaster^[22]
• Uber^[23]
• Walmart^[24]
• Yelp^[25]
• Flipkart^[26]