Kafka 與 Redis OSS 之間有何差異？

Apache Kafka 是事件串流平台，可讓多個應用程式彼此獨立地串流資料。這些應用程式 (稱為生產者和取用者) 會在特定資料分割區 (稱為主題) 中發佈和訂閱資訊。

與此同時，Redis OSS 設計為支援應用程式之間低延遲資料傳輸的記憶體資料庫。Redis 將所有訊息儲存在 RAM 而非硬碟上，以減少資料讀取和寫入時間。類似於 Kafka，多個取用者可以訂閱 Redis OSS 串流以擷取訊息。

儘管可以將兩者用於發布/訂閱簡訊，但 Kafka 和 Redis OSS 的運作方式有所不同。

Kafka 工作流程

Apache Kafka 透過運算叢集連線生產者和取用者。每個叢集由駐留在不同伺服器上的多個 Kafka 代理程式組成。

Kafka 出於這些目的建立主題和分割區：

• 主題用於將屬於感興趣主旨的類似資料分組，例如電子郵件、付款、使用者和購買
• 分割區用於跨不同代理程式進行資料複製和容錯

生產者將訊息發佈給代理程式。代理程式收到訊息之後，它將資料分類到具體的主題，並將資料儲存在一個分割區中。取用者連線到相關主題並從其分割區中擷取資料。

Redis OSS 工作流程

Redis OSS 的執行方式是使用用戶端-伺服器架構作為 NoSQL 資料庫系統。生產者和取用者之間鬆散耦合，在傳送訊息時不必彼此了解。

Redis OSS 出於以下目的使用索引鍵和主要-次要節點：

• 索引鍵用於將類似訊息分組。例如，「電子郵件」是指向僅包含電子郵件訊息的資料存放區的索引鍵。 
• 主要-次要節點用於執行訊息複寫。

當生產者將訊息傳送至特定節點時，Redis OSS 透過檢查訊息的索引鍵將訊息交付給所有連線的訂閱用戶。取用者必須始終啟動並維持面向 Redis OSS 伺服器的作用中連線才能接收訊息。這稱為連線交付語義。

閱讀有關發佈/訂閱簡訊的內容 »

總體而言，Apache Kafka 在發布//訂閱簡訊方面的效能優於 Redis OSS，因為 Kafka 是專門為資料串流而設計的。Redis OSS 提供幾種不同的使用案例，在這些使用案例中無法使用 Kafka。 

平行處理

平行性是多個取用者同時接收相同訊息的能力。

Redis OSS 不支援平行性。

另一方面，Kafka 允許同時將相同的訊息分發給多個取用者。 通常情況下，Kafka 取用者群組中的取用者輪流從分割區擷取新訊息。如果多個取用者群組中只有一個取用者，則其會擷取所有訊息。利用此設定和分割區複寫，可以在每個分割區複本中為每個取用者群組指派一個取用者。這就可讓所有取用者擷取類似的訊息序列。 

輸送量

輸送量衡量每個系統每秒可處理的訊息數量。

Kafka 通常具有比 Redis OSS 發布/訂閱更高的輸送量。Kafka 處理更大規模的資料磁碟區，因為它不必等待每個訂閱者接收訊息即可移到另一個訂閱者。相反，Kafka 將當前訊息儲存在記憶體快取和儲存空間中，以最佳化讀取速度。 

但是，如果取用者擷取訊息的速度不夠快，Kafka 的效能可能會降低，因為快取上的未讀訊息最終會被移除。在這種情況下，取用者必須從磁碟讀取訊息，讀取速度較慢。

與此同時，Redis OSS 必須等待每位取用者的確認，在連線更多節點時會顯著降低其輸送量。因應措施是使用稱為管道傳輸的程序傳送多個請求，這樣可以降低其簡訊延遲。 

延遲

Kafka 和 Redis OSS 都適用於低延遲資料處理。Redis OSS 提供較低的簡訊時間 (以毫秒為單位)，而 Kafka 平均需要數十毫秒。

考慮到 Redis OSS 主要在 RAM 上讀取和寫入資料，它在速度方面自然優於 Kafka。然而，Redis OSS 可能無法在處理較大的訊息時維持超低延遲的資料操作。與此同時，Kafka 需要更多時間在不同的實體硬碟上複寫分割區以實現資料持久性，這會增加訊息交付時間的開銷。

可以最佳化 Redis OSS 和 Kafka 的延遲，但您必須謹慎行事。例如，可以壓縮 Kafka 訊息以減少延遲，但生產者和取用者需要更多時間來解壓縮這些訊息。

Redis OSS 的延遲可能由多種因素造成，包括作業環境、網路操作、緩慢的命令或分叉。為了減少分叉延遲，Redis OSS 建議在以硬體虛擬機器 (HVM) 為基礎的現代 EC2 執行個體上執行發布/訂閱交付系統。

容錯能力

Kafka 將所有資料寫入領先代理程式的儲存磁碟上，並將其複寫到不同的伺服器。當伺服器發生故障時，多個訂閱者會從備份分割區擷取資料。 

與 Kafka 不同，Redis OSS 預設不備份資料，使用者必須手動啟用該功能。Redis OSS 使用記憶體內資料存放區，當電源關閉時會遺失所有資料。為了避免這種情況，開發人員開啟 Redis OSS 資料庫 (RDB) 持久性以定期擷取 RAM 資料的快照並將其儲存在磁碟上。 

	Apache Kafka	Redis OSS
訊息大小	透過壓縮和分層儲存支援最大 1 GB 的訊息大小。	支持較小的訊息大小。
訊息交付	訂閱者從佇列中提取訊息。	Redis OSS 伺服器會將訊息推送到連線的訂閱用戶。
訊息保留	擷取後保留訊息。	不保留訊息。
錯誤處理	簡訊層級中強大的錯誤處理。無效字母佇列、事件重試和重新導向。	您必須在應用程式層級處理 Redis OSS 例外情況，其中包含逾時、用戶端限制和記憶體緩衝區容量。
平行處理	Kafka 支援平行性。多個取用者可以同時擷取相同的訊息。	不支援平行性。
輸送量	採用非同步讀取/寫入，因此具有更高的輸送量。	Redis OSS 伺服器需要等待回覆才能將訊息傳送給另一個訂閱用戶，因此輸送量較低。
延遲	低延遲。預設進行資料複寫，因此執行速度稍微慢於 Redis OSS。	分發較小的訊息時提供超低延遲。
容錯能力	自動將分割區備份到不同的代理程式。	預設不備份。使用者可以手動啟用 Redis OSS 持續性。存在小型資料丟失的風險。