[Microservices Series] Bài 24: Canary Release & Feature Toggles – Nghệ thuật thả "chuột bạch" trên Production
Chào anh em, mình đây! Ở cuối bài 23, mình có đặt ra một tình huống "thót tim": Sếp yêu cầu thay đổi toàn bộ thuật toán tính giá vé của tuyến Metro. Code mới đã viết xong, test trên môi trường Staging chạy ngon ơ.
Nhưng anh em DevOps thừa hiểu, môi trường Staging và Production là hai thế giới hoàn toàn khác nhau. Lỡ deploy code mới lên cho 100% khách hàng, thuật toán lỗi khiến giá vé bị tính thành... 0 đồng, công ty thất thu hàng tỷ đồng thì anh em Dev chỉ có nước nộp đơn từ chức.
Trong Monolith, mỗi lần Release (Phát hành) là một lần cả team nín thở cắn móng tay. Nhưng với Microservices, chúng ta có những kỹ thuật để release êm ái, rủi ro bằng 0. Nổi bật nhất là bộ đôi: Feature Toggles (Cờ tính năng) và Canary Release (Phát hành kiểu chim hoàng yến).
1. Feature Toggles – Công tắc bí mật trong Code
Trước đây, khi code xong một tính năng mới nhưng chưa đến ngày ra mắt, anh em thường phải "ngâm" code ở một nhánh (branch) riêng trên Git. Rất dễ bị conflict khi gộp code (merge) sau này.
Feature Toggles (hay Feature Flags) thay đổi hoàn toàn tư duy đó. Tư tưởng của nó là: Cứ deploy code lên Production thoải mái đi, nhưng giấu nó đi!
Về bản chất, nó chỉ là một lệnh if/else:
PHP
if (FeatureToggle::isEnabled('new_dynamic_pricing', $userId)) {
return $this->calculateNewPricing(); // Logic mới
}
return $this->calculateOldPricing(); // Logic cũ
-
Sức mạnh của Cấu hình tập trung (Consul): Nhớ bài 13 chứ? Cái cờ
new_dynamic_pricing = falsenày được lưu trên Consul/Vault. Khi deploy, code mới đã nằm trên server, nhưng vì cờ đang tắt nên 100% người dùng vẫn chạy luồng code cũ. -
Thử nghiệm trên Production: Đến giờ G, thay vì phải chạy CI/CD deploy lại lỉnh kỉnh, bạn chỉ cần mở UI của Consul, cấu hình: Bật tính năng này lên, nhưng CHỈ áp dụng cho tài khoản của nhân viên công ty (dựa theo danh sách User_ID).
-
Nhân viên nội bộ dùng app thật, DB thật, nạp tiền thật thấy mọi thứ hoàn hảo. Lúc này bạn mới vào Consul gạt công tắc:
new_dynamic_pricing = truecho toàn bộ khách hàng. Nếu có lỗi? Gạt công tắc OFF trong 1 giây là xong.
2. Canary Release – "Con chim hoàng yến" trong hầm mỏ
Thời xưa, thợ mỏ thường mang theo một con chim hoàng yến xuống hầm. Nếu có khí độc, con chim sẽ gục trước, thợ mỏ biết đường mà chạy. Canary Release hoạt động y hệt vậy.
Feature Toggles dùng để bật/tắt tính năng bằng code (ở tầng Application). Còn Canary Release dùng để điều hướng lưu lượng mạng (Traffic Routing) ở tầng Hạ tầng (Infrastructure).
Thay vì thay thế toàn bộ 20 containers của Service Tính Tiền v1 thành v2, chúng ta làm như sau:
-
Giữ nguyên 20 containers
v1(đang gánh 100% traffic). -
Boot thêm 2 containers
v2mới toanh lên. -
Ra lệnh cho API Gateway (Kong, Nginx Ingress) hoặc Service Mesh (Istio): "Hãy trích đúng 5% lượng request của khách hàng đẩy vào
v2, 95% còn lại vẫn đi vàov1". -
Lúc này, 5% khách hàng ngẫu nhiên sẽ trở thành "chuột bạch".
-
Quan sát (Monitoring): Bạn mở Grafana (Bài 14) lên. Nếu thấy biểu đồ Lỗi (HTTP 500) của
v2nhô lên, hoặc Response Time quá chậm, lập tức ra lệnh cho Gateway bẻ 100% traffic về lạiv1. Mất đi 2 containersv2, hệ thống không hề hấn gì, chỉ có 5% khách hàng bị văng lỗi 1 lần rồi thao tác lại là thành công. -
Nếu 5% chạy êm ru trong 1 tiếng, bạn nâng dần lên 20%, 50%, rồi 100%. Lúc này mới chính thức "khai tử"
v1.
3. Thực chiến "thả chuột bạch" tại tuyến Metro
Cuối năm ngoái, bên mình ra mắt tính năng Giảm giá cước cho học sinh sinh viên giờ thấp điểm. Đây là một logic đổi rất sâu vào tận Gate Service (viết bằng Go) và Billing Service (Laravel).
Để đảm bảo an toàn, mình kết hợp cả 2 chiêu:
-
Bước 1 (Feature Toggles ở UI): Mình cấu hình trên BFF (Bài 19) để cái huy hiệu "Giảm giá 50%" trên Mobile App chỉ hiện ra với các
User_IDthuộc team Tester nội bộ. -
Bước 2 (Canary ở Backend): Mình deploy
Gate Service v2. Trên Kong Gateway, mình không chia ngẫu nhiên 5%, mà mình cài rule: Chỉ route các request phát sinh từ Nhà ga Suối Tiên (Gần làng Đại học) vàov2. Các nhà ga khác ở trung tâm vẫn dùngv1. -
Suốt 3 ngày, sinh viên quẹt thẻ ở ga Suối Tiên được tính giá mới. Team theo dõi sát sao biểu đồ Kafka và Database. Mọi thứ mượt mà, dòng tiền đối soát đúng từng đồng. Ngày thứ 4, mình mở rule trên Gateway bẻ 100% traffic toàn tuyến Metro vào
v2và ăn mừng.
Lời khuyên "xương máu"
-
Món nợ kỹ thuật (Technical Debt) của Feature Toggles: Cái cờ
if/elserất tiện, nhưng nó làm code rác đi. Khi tính năng đã release 100% thành công, anh em bắt buộc phải tạo một ticket để vào xóa cái đoạnif/elsevà dòng code cũ đi. Đừng để 1 năm sau mở class ra thấy 50 cáiiflồng nhau không ai dám đụng vào. -
Database Compatibility (Tương thích Database): Khi chạy Canary,
v1vàv2chạy song song và cùng chọc chung vào 1 Database. Bắt buộc codev2KHÔNG ĐƯỢC PHÉP sửa tên hay xóa các cột màv1đang dùng. Phải luôn thêm cột mới và codev2phải xử lý được trường hợp dữ liệu cũ (Backward compatible).
Tạm kết
Nhờ Canary Release và Feature Toggles, quá trình Deploy của anh em giờ đây giống như lái một chiếc xe có phanh ABS an toàn tuyệt đối, tha hồ release giữa trưa thứ 2 mà không sợ sếp gõ đầu.
Nhưng khoan đã, mọi thứ nghe có vẻ màu hồng. Thực tế, khi kiến trúc lên tới 20 services, do 5 team khác nhau code, một ngày đẹp trời Team A (quản lý Service User) tự ý đổi cấu trúc API trả về, không thèm báo cho Team B (Service Báo cáo). Hậu quả là code release lên, Canary chạy êm, nhưng đến cuối tháng xuất báo cáo thì nổ tung vì format JSON không khớp!
Làm sao để đảm bảo các Services luôn "tôn trọng giao kèo" với nhau dù các team code hoàn toàn độc lập? Ở bài tiếp theo (Bài 25), chúng ta sẽ nói về một khái niệm test đỉnh cao trong Microservices: Contract Testing (Pact) – Hợp đồng thép giữa các Microservices.
Anh em đã bao giờ deploy thẳng lên Prod rồi ngồi... cầu nguyện chưa? Có kỷ niệm nào đáng nhớ khi làm chết tính năng thanh toán vì lỡ gộp nhầm code không? Cùng kể khổ nhé!
All Rights Reserved