Xin chào anh em. Với nhiều anh em IT và đặc biệt là những anh em làm BackEnd/Data thì không còn quá xa lạ gì với Kafka.

Mình cùng nhau ngồi xuống làm ly trà thưởng thức và hiểu sâu hơn về Kafka, Nếu không có trà thì làm tạm cốc nước lọc cho thanh mát nhé, hehee.
Còn nếu anh em nào chưa biết thì sau loạt bài viết này mình hy vọng các bạn sẽ hiểu và có thể sửa dụng được Kafka.
Để hiểu rõ Kafka là gì thì mình cùng nhau đi tìm hiểu bắt đầu từ nguyên nhân tại sao Kafka được ra đời và nó ra đời từ đâu ai đã “đẻ” ra nó .

Link Youtube Playlist của mình tại đây nhé ae, cảm ơn ae.

Bắt đầu từ LinkedIn vào những năm 2009, 2010 khi mà lượng người dùng trở nên quá nhiều

• Hơn 400 triệu người dùng
• Hàng tỷ thậm trí là nghìn tỷ message mỗi ngày
• Dữ liệu được lưu trữ với nhiều các loại cơ sở dữ liệu quan hệ và không quan hệ khác nhau như Oracle, MySQL, Espresso, Voldemort ….

Cùng nhìn vào kiến trúc Data của Linked những năm trước 2010

Khi hệ thống cần phải mở rộng để đáp ứng như cầu ở trên thì hệ thống ngày càng trở nên cồng kềnh, phức tạp và các công nghệ không còn đáp ứng được đầy đủ .
**Từ đó cần có giải pháp để lưu trữ và truyền tải message và yêu cầu đặt ra là phải có khả năng chịu tải cực lớn, có khả năng mở rộng, nhanh và đảm bảo độ tin cậy và chính xác **

Từ yêu cầu đã đặt ra một nhóm các nhà phát triển đại diện là Jay Kreps, Neha Narkhede và Jun Rao đã phát triển một lên một “system optimized for writing”. Nghe cái tên có vẻ không được tối ưu cho lắm nhỉ?. Thì người đại diện là Jay Kreps ông này lại là “fen” của một nhà văn có tên là Kafka (về ông này văn vở ra sao hình dáng thế nào anh em search Google nhé!) và hệ thống này từ đó đến nay vẫn còn mang danh của nhà văn đó. (Đúng kiểu mình thích thì mình đặt).

Yêu cầu đã rõ thì mình bắt tay vào làm thôi , từ năm 2009 Kafka bắt đầu được phát triển 1 năm sau đó nó được triển khai trên LinkedIn Nhìn lại vào kiến trúc Data của Linked sau năm 2010

Và đến năm 2011 thì nó trở thành mã nguồn mở và tiếp tục được phát triển bởi Apache Software Foundatin dựa trên 2 ngôn ngữ Scala và Java. Tính tới thời điểm hiện tại 2022 thì phiên bản mới nhất được công bố là Kafka 3.3 Tới đây thì anh em cũng đã biết được cội nguồn của Kafka rồi và tiếp theo nó được thiết kế như thế nào và sau khi ra đời tới nay thì Kafka nó làm được những gì.

Mời anh em đón đọc series này nhé.