Bẫy chi phí AWS #19: Dimension userId trên CloudWatch custom metric tốn $3.000/tháng
$3.000 mỗi tháng chỉ vì đặt sai một tham số khi gửi custom metric lên CloudWatch. Điều đáng sợ hơn: hóa đơn này tự tăng theo số người dùng, mà không ai trong team chủ động thêm gì cả.
Giá trong bài là giá tham khảo region us-east-1.
Bối cảnh
Team muốn theo dõi độ trễ API của từng người dùng, nên gửi metric ApiLatency kèm dimension userId. Ý tưởng nghe rất hợp lý: có ai kêu chậm thì mở dashboard lọc theo user là thấy. Hệ thống có 10.000 người dùng.
Vì sao tốn tiền
- CloudWatch không coi dimension là "thuộc tính phụ" của một metric. Mỗi tổ hợp tên metric + giá trị dimension là một metric riêng biệt.
ApiLatencyvớiuserId=U1vàApiLatencyvớiuserId=U2là hai metric khác nhau, tính tiền riêng. - Mỗi custom metric tốn khoảng $0,30/tháng. 10.000 user tạo ra 10.000 metric.
- Số user tăng thì số metric tăng theo, gần như tuyến tính. Đây là cái mà giới observability gọi là high cardinality: dùng một giá trị có quá nhiều biến thể làm dimension. Hóa đơn tăng đều theo tăng trưởng của sản phẩm, nên thường không ai để ý cho tới khi nó đã thành con số lớn.
Hóa đơn
- 10.000 metric × $0,30/metric-tháng
- = $3.000/tháng
Cách sửa
- Dimension chỉ dùng những giá trị ít biến thể: endpoint, môi trường, region, loại lỗi.
- Thông tin theo từng user (
userId,requestId) thì ghi vào log có cấu trúc dạng JSON, khi cần thì query bằng CloudWatch Logs Insights. - Muốn vừa có metric vừa có log chi tiết từ cùng một dòng code: dùng Embedded Metric Format.
Ý tưởng code (Python):
# Không nên
put_metric("ApiLatency", dims={"userId": uid})
# Nên
put_metric("ApiLatency", dims={"endpoint": "/orders"})
logger.info({"userId": uid, "latency_ms": ms})
Sau khi sửa: dimension theo 20 endpoint chỉ còn 20 metric × $0,30 = $6/tháng. Từ $3.000 xuống $6, giảm hơn 99%, mà vẫn phân tích được theo user khi thật sự cần.
Lưu ý
Nguyên tắc này không riêng gì CloudWatch. Datadog hay Prometheus cũng vậy: high cardinality là nguyên nhân phổ biến nhất khiến chi phí monitoring tăng vọt, và với Prometheus nó còn làm chậm cả hệ thống. Ngược lại, đừng cực đoan cắt hết dimension: những chiều có số giá trị nhỏ và ổn định (vài chục endpoint, vài môi trường) là hoàn toàn đáng tiền.
Checklist cho account của bạn
- Cost Explorer, lọc service CloudWatch theo usage type
MetricMonitorUsage: con số có lớn bất thường không? - Rà code
put_metric/PutMetricData: có dimension nào làuserId,requestId,sessionId, IP không? - Namespace nào có số metric tăng theo thời gian?
Lời kết
Đây là bài 19/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ chuyển động nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252
Team bạn đã từng bị "nổ" cardinality ở CloudWatch, Datadog hay Prometheus chưa? Hãy kể trong phần bình luận nhé.
Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.
Bài tiếp theo: Athena SELECT * trên file CSV, $15.000/tháng cho một dashboard
All rights reserved