Apache Kafka là gì?

Apache Kafka là một hệ thống publish-subscribe (pub-sub) message cho phép các message (còn gọi là record) được gửi giữa các quy trình, ứng dụng và máy chủ. Nói một cách đơn giản - Kafka lưu trữ các streams of records.

Nó là nền tảng streaming phân tán, có thể mở rộng và là sản phẩm mã nguồn mở. Dự án Kafka ban đầu được phát triển bởi Linkedin sau đó trở thành dự án Apache mã nguồn mở vào năm 2011. Kafka được viết bằng ngôn ngữ Scala và Java. Nó được viết ra nhằm mục đích cung cấp một nền tảng mà có độ trễ thấp và thông lượng cao cho việc xử lý các nguồn cấp dữ liệu theo thời gian thực. Nó có thể tích hợp rất tốt với Apache Storm và Spark.

Một message có thể bao gồm bất kỳ loại thông tin nào. Ví dụ, nó có thể có thông tin về một sự kiện đã xảy ra trên một trang web hoặc có thể là một văn bản đơn giản kích hoạt một sự kiện để một ứng dụng khác có thể kết nối với hệ thống và xử lý hoặc xử lý lại nó.

Không giống như hầu hết các hệ thống messaging như rabbitMQ hay activeMQ, thì các message sau khi được gửi sẽ vẫn được lưu trữ.