Kafka 101 Không Chỉ Là Producer Gửi, Consumer Nhận, Mà Là Học Cách Dòng Dữ Liệu Chạy Trong Hệ Thống Thật

Một series kỹ thuật tốt không chỉ trả lời câu hỏi "dùng cái gì".

Nó phải giúp người đọc trả lời câu hỏi khó hơn:

Tại sao vấn đề này xuất hiện?

Nó đụng vào lớp nào của hệ thống?

Nếu xử lý đúng thì hệ thống khỏe hơn ở đâu?

Và nếu xử lý sai thì hóa đơn sẽ quay lại ở metric, vận hành hay khả năng tiến hóa như thế nào?

Rất nhiều người dùng Kafka ở mức vừa đủ để gửi message và đọc lại message.

Ở giai đoạn đầu, điều đó có thể ổn.

Nhưng khi throughput tăng, consumer group rebalance liên tục, lag kéo dài hoặc duplicate processing bắt đầu xuất hiện, chúng ta mới thấy Kafka không còn là một hàng đợi đơn giản.

Vì sao series này ra đời?

Series này được viết để giúp developer hiểu Kafka từ lớp bản chất: log, partition, ordering, throughput, consumer coordination và hóa đơn vận hành đi kèm.

Thay vì học từng mảnh rời, mục tiêu của series là giúp người đọc có một hành trình rõ hơn:

• hiểu bản chất trước
• nhìn đúng workload và failure mode
• đọc được trade-off thay vì chỉ đọc khái niệm
• biến kiến thức thành decision quality, không chỉ thành vocabulary

Series này không đi theo hướng nào?

• Đây không phải series cài Kafka rồi bắn thử vài event.
• Cũng không dạy Kafka như một chiếc hộp thần kỳ giải quyết mọi bài toán async.
• TechCraft muốn người đọc hiểu khi nào Kafka thực sự đáng dùng, và khi nào chi phí vận hành của nó lớn hơn lợi ích.

Đó cũng là tinh thần chung của TechCraft khi làm nội dung public trên Viblo:

Free không có nghĩa là hời hợt.

Một bài public vẫn phải đủ chiều sâu để người đọc thật sự hiểu chủ đề, đọc lại được, tra cứu được và dùng làm nền cho những quyết định kỹ thuật tốt hơn.

Chúng ta sẽ đi qua những gì?

Trong series này, hành trình sẽ xoay quanh những nhóm câu hỏi như:

• vì sao Kafka khác queue truyền thống ở mô hình log và replay
• producer, consumer, partition, offset, retention và consumer group hoạt động ra sao
• lag, rebalance, ordering, duplicate, at-least-once và idempotent processing
• thiết kế event flow, backpressure, throughput tuning và read model phía sau
• những trade-off thực tế khi mang Kafka vào production

Điều quan trọng không nằm ở việc thuộc lòng từng khái niệm.

Điều quan trọng là sau mỗi phần, người đọc bắt đầu nhìn ra:

• kỹ thuật nào đang cứu đường nào của hệ thống
• kỹ thuật nào đang tạo thêm complexity ngầm
• quyết định nào đáng trả giá, và quyết định nào chỉ là chạy theo cảm giác "xịn"

Series này dành cho ai?

Series sẽ hợp với bạn nếu bạn là:

• developer đang dùng hoặc chuẩn bị dùng Kafka trong hệ thống backend
• người muốn hiểu rõ hơn về event flow thay vì chỉ dùng library client
• engineer cần mental model chắc hơn cho messaging ở quy mô lớn

Nếu bạn còn rất mới và mới chỉ dừng ở mức làm theo tutorial, series này có thể hơi dày ở vài đoạn.

Nhưng nếu bạn đã bắt đầu va chạm với hệ thống thật, mình tin đây là loại nội dung có thể giúp bạn nối các mảnh kỹ thuật lại thành tư duy.

TechCraft muốn làm gì với series này?

TechCraft không muốn biến việc học kỹ thuật thành trò sưu tầm buzzword.

Mục tiêu là đưa người đọc đi lên theo đúng tinh thần giáo dục mà tụi mình đang theo đuổi:

• không bắt đầu bằng thứ khó nhất
• không đơn giản hóa đến mức đánh mất bản chất
• không cố làm nội dung nghe "đao to búa lớn" nhưng thiếu giá trị dùng lại

Thay vào đó, mỗi series nên là một hành trình:

• có điểm bắt đầu rõ
• có độ khó tăng dần
• có logic nối giữa các phần
• và đủ thực tế để sau khi đọc, người học thấy mình reason tốt hơn trước khi đụng vào production

Nếu một bài viết khiến bạn chỉ thấy "hay", giá trị của nó khá ngắn.

Nếu một bài viết khiến bạn đặt câu hỏi tốt hơn, nhìn hệ thống rõ hơn và bớt quyết định theo cảm tính, giá trị của nó sẽ đi cùng bạn lâu hơn rất nhiều.

Đó là kiểu series TechCraft muốn xây.

---

🧭 Học tiếp cùng TechCraft

Nếu bạn thích kiểu nội dung đi từ bản chất hệ thống, trade-off và production thinking thay vì chỉ dừng ở mẹo framework, bạn có thể theo dõi thêm:

🚀 Dev Insider
https://www.patreon.com/techcraft_official/posts/vi-sao-dev-ra-161163881?collection=2220113

📘 Facebook
https://www.facebook.com/techcraft.official

🎥 YouTube
https://www.youtube.com/@techcraft.official

🎵 TikTok
https://www.tiktok.com/@techcraft.official

Hiểu hệ thống. Không chỉ framework.