0

[Microservices Series] Bài 24: Canary Release & Feature Toggles – Nghệ thuật thả "chuột bạch" trên Production

Chào anh em, mình đây! Ở cuối bài 23, mình có đặt ra một tình huống "thót tim": Sếp yêu cầu thay đổi toàn bộ thuật toán tính giá vé của tuyến Metro. Code mới đã viết xong, test trên môi trường Staging chạy ngon ơ.

Nhưng anh em DevOps thừa hiểu, môi trường Staging và Production là hai thế giới hoàn toàn khác nhau. Lỡ deploy code mới lên cho 100% khách hàng, thuật toán lỗi khiến giá vé bị tính thành... 0 đồng, công ty thất thu hàng tỷ đồng thì anh em Dev chỉ có nước nộp đơn từ chức.

Trong Monolith, mỗi lần Release (Phát hành) là một lần cả team nín thở cắn móng tay. Nhưng với Microservices, chúng ta có những kỹ thuật để release êm ái, rủi ro bằng 0. Nổi bật nhất là bộ đôi: Feature Toggles (Cờ tính năng) và Canary Release (Phát hành kiểu chim hoàng yến).

1. Feature Toggles – Công tắc bí mật trong Code

Trước đây, khi code xong một tính năng mới nhưng chưa đến ngày ra mắt, anh em thường phải "ngâm" code ở một nhánh (branch) riêng trên Git. Rất dễ bị conflict khi gộp code (merge) sau này.

Feature Toggles (hay Feature Flags) thay đổi hoàn toàn tư duy đó. Tư tưởng của nó là: Cứ deploy code lên Production thoải mái đi, nhưng giấu nó đi!

Về bản chất, nó chỉ là một lệnh if/else:

PHP

if (FeatureToggle::isEnabled('new_dynamic_pricing', $userId)) {
    return $this->calculateNewPricing(); // Logic mới
}
return $this->calculateOldPricing(); // Logic cũ

  • Sức mạnh của Cấu hình tập trung (Consul): Nhớ bài 13 chứ? Cái cờ new_dynamic_pricing = false này được lưu trên Consul/Vault. Khi deploy, code mới đã nằm trên server, nhưng vì cờ đang tắt nên 100% người dùng vẫn chạy luồng code cũ.

  • Thử nghiệm trên Production: Đến giờ G, thay vì phải chạy CI/CD deploy lại lỉnh kỉnh, bạn chỉ cần mở UI của Consul, cấu hình: Bật tính năng này lên, nhưng CHỈ áp dụng cho tài khoản của nhân viên công ty (dựa theo danh sách User_ID).

  • Nhân viên nội bộ dùng app thật, DB thật, nạp tiền thật thấy mọi thứ hoàn hảo. Lúc này bạn mới vào Consul gạt công tắc: new_dynamic_pricing = true cho toàn bộ khách hàng. Nếu có lỗi? Gạt công tắc OFF trong 1 giây là xong.

2. Canary Release – "Con chim hoàng yến" trong hầm mỏ

Thời xưa, thợ mỏ thường mang theo một con chim hoàng yến xuống hầm. Nếu có khí độc, con chim sẽ gục trước, thợ mỏ biết đường mà chạy. Canary Release hoạt động y hệt vậy.

Feature Toggles dùng để bật/tắt tính năng bằng code (ở tầng Application). Còn Canary Release dùng để điều hướng lưu lượng mạng (Traffic Routing) ở tầng Hạ tầng (Infrastructure).

Thay vì thay thế toàn bộ 20 containers của Service Tính Tiền v1 thành v2, chúng ta làm như sau:

  1. Giữ nguyên 20 containers v1 (đang gánh 100% traffic).

  2. Boot thêm 2 containers v2 mới toanh lên.

  3. Ra lệnh cho API Gateway (Kong, Nginx Ingress) hoặc Service Mesh (Istio): "Hãy trích đúng 5% lượng request của khách hàng đẩy vào v2, 95% còn lại vẫn đi vào v1".

  4. Lúc này, 5% khách hàng ngẫu nhiên sẽ trở thành "chuột bạch".

  5. Quan sát (Monitoring): Bạn mở Grafana (Bài 14) lên. Nếu thấy biểu đồ Lỗi (HTTP 500) của v2 nhô lên, hoặc Response Time quá chậm, lập tức ra lệnh cho Gateway bẻ 100% traffic về lại v1. Mất đi 2 containers v2, hệ thống không hề hấn gì, chỉ có 5% khách hàng bị văng lỗi 1 lần rồi thao tác lại là thành công.

  6. Nếu 5% chạy êm ru trong 1 tiếng, bạn nâng dần lên 20%, 50%, rồi 100%. Lúc này mới chính thức "khai tử" v1.

3. Thực chiến "thả chuột bạch" tại tuyến Metro

Cuối năm ngoái, bên mình ra mắt tính năng Giảm giá cước cho học sinh sinh viên giờ thấp điểm. Đây là một logic đổi rất sâu vào tận Gate Service (viết bằng Go) và Billing Service (Laravel).

Để đảm bảo an toàn, mình kết hợp cả 2 chiêu:

  • Bước 1 (Feature Toggles ở UI): Mình cấu hình trên BFF (Bài 19) để cái huy hiệu "Giảm giá 50%" trên Mobile App chỉ hiện ra với các User_ID thuộc team Tester nội bộ.

  • Bước 2 (Canary ở Backend): Mình deploy Gate Service v2. Trên Kong Gateway, mình không chia ngẫu nhiên 5%, mà mình cài rule: Chỉ route các request phát sinh từ Nhà ga Suối Tiên (Gần làng Đại học) vào v2. Các nhà ga khác ở trung tâm vẫn dùng v1.

  • Suốt 3 ngày, sinh viên quẹt thẻ ở ga Suối Tiên được tính giá mới. Team theo dõi sát sao biểu đồ Kafka và Database. Mọi thứ mượt mà, dòng tiền đối soát đúng từng đồng. Ngày thứ 4, mình mở rule trên Gateway bẻ 100% traffic toàn tuyến Metro vào v2 và ăn mừng.

Lời khuyên "xương máu"

  • Món nợ kỹ thuật (Technical Debt) của Feature Toggles: Cái cờ if/else rất tiện, nhưng nó làm code rác đi. Khi tính năng đã release 100% thành công, anh em bắt buộc phải tạo một ticket để vào xóa cái đoạn if/else và dòng code cũ đi. Đừng để 1 năm sau mở class ra thấy 50 cái if lồng nhau không ai dám đụng vào.

  • Database Compatibility (Tương thích Database): Khi chạy Canary, v1 và v2 chạy song song và cùng chọc chung vào 1 Database. Bắt buộc code v2 KHÔNG ĐƯỢC PHÉP sửa tên hay xóa các cột mà v1 đang dùng. Phải luôn thêm cột mới và code v2 phải xử lý được trường hợp dữ liệu cũ (Backward compatible).

Tạm kết

Nhờ Canary Release và Feature Toggles, quá trình Deploy của anh em giờ đây giống như lái một chiếc xe có phanh ABS an toàn tuyệt đối, tha hồ release giữa trưa thứ 2 mà không sợ sếp gõ đầu.

Nhưng khoan đã, mọi thứ nghe có vẻ màu hồng. Thực tế, khi kiến trúc lên tới 20 services, do 5 team khác nhau code, một ngày đẹp trời Team A (quản lý Service User) tự ý đổi cấu trúc API trả về, không thèm báo cho Team B (Service Báo cáo). Hậu quả là code release lên, Canary chạy êm, nhưng đến cuối tháng xuất báo cáo thì nổ tung vì format JSON không khớp!

Làm sao để đảm bảo các Services luôn "tôn trọng giao kèo" với nhau dù các team code hoàn toàn độc lập? Ở bài tiếp theo (Bài 25), chúng ta sẽ nói về một khái niệm test đỉnh cao trong Microservices: Contract Testing (Pact) – Hợp đồng thép giữa các Microservices.

Anh em đã bao giờ deploy thẳng lên Prod rồi ngồi... cầu nguyện chưa? Có kỷ niệm nào đáng nhớ khi làm chết tính năng thanh toán vì lỡ gộp nhầm code không? Cùng kể khổ nhé!


All Rights Reserved

Viblo
Let's register a Viblo Account to get more interesting posts.