Kafka[科技術語]

Kafka是由Apache軟體基金會開發的一個開源流處理平台，由Scala和Java編寫。Kafka是一種高吞吐量的分散式發布訂閱訊息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜尋和其他用戶的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的訊息處理，也是為了通過集群來提供實時的訊息。

基本信息

• 外文名：Kafka
• 開發商：Apache軟體基金會
• 發行日期：2018-06-30
• 語言版本：Scala , Java
• 軟體授權：Apache License 2.0
• 軟體大小：15M

• 軟體版本：2.0.0
• 軟體平台：跨平台

特性

Kafka   是一種高吞吐量   的分散式發布訂閱訊息系統，有如下特性：

• 通過O(1)的磁碟數據結構提供訊息的持久化，這種結構對於即使數以TB的訊息存儲也能夠保持長時間的穩定性能。

• 高吞吐量 ：即使是非常普通的硬體Kafka也可以支持每秒數百萬 的訊息。

• 支持通過Kafka伺服器和消費機集群來分區訊息。

• 支持Hadoop並行數據載入。

Kafka通過官網發布了最新版本2.0.0  

相關術語介紹

• Broker

• Kafka集群包含一個或多個伺服器，這種伺服器被稱為broker

• Topic

• 每條發布到Kafka集群的訊息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的訊息分開存儲，邏輯上一個Topic的訊息雖然保存於一個或多個broker上但用戶只需指定訊息的Topic即可生產或消費數據而不必關心數據存於何處）

• Partition

• Partition是物理上的概念，每個Topic包含一個或多個Partition.

• Producer

• 負責發布訊息到Kafka broker

• Consumer

• 訊息消費者，向Kafka broker讀取訊息的客戶端。

• Consumer Group

• 每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）。