0

Bẫy chi phí AWS #18: Log DEBUG và retention Never expire trên CloudWatch tốn $430/tháng

Không ai đọc đống log đó, nhưng mỗi tháng công ty vẫn trả $430 để lưu nó, và con số này còn tăng dần theo thời gian. Theo mình đây là bẫy âm thầm nhất của CloudWatch, vì nó không bao giờ gây sự cố, chỉ lặng lẽ cộng tiền.

Giá trong bài là giá tham khảo region us-east-1.

Bối cảnh

Một API nhận khoảng 50 triệu request mỗi tháng. Production vẫn để log level DEBUG từ hồi dev, ghi luôn cả request body và response body. Log group không đặt retention, và hệ thống đã chạy như vậy 12 tháng.

Vì sao tốn tiền

  1. Mọi thứ Lambda hay ECS ghi ra stdout đều được đẩy vào CloudWatch Logs. Phí ingest là $0,50 cho mỗi GB đưa vào, đắt hơn rất nhiều so với lưu trên S3.
  2. Log DEBUG kèm nguyên body làm mỗi request sinh ra khoảng 10 KB log. 10 KB × 50 triệu request = 500 GB mỗi tháng.
  3. Log group mặc định là "Never expire". Nghĩa là 500 GB của tháng này nằm lại mãi, tháng sau cộng thêm 500 GB nữa, tiền lưu trữ ($0,03/GB-tháng) cứ thế tăng như bậc thang. Chưa kể log nguyên body rất dễ chứa dữ liệu cá nhân và token: vừa tốn tiền, vừa là rủi ro bảo mật.

Hóa đơn

Khoản Cách tính Thành tiền
Ingest 500 GB × $0,50 $250
Lưu trữ tích lũy 12 tháng 6.000 GB × $0,03 $180
Tổng ≈ $430/tháng, và tháng sau sẽ cao hơn

Cách sửa

  • Log level theo môi trường: DEBUG chỉ ở dev, production dùng INFO hoặc WARN, cấu hình qua biến môi trường LOG_LEVEL.
  • Không log nguyên body. Chỉ log những trường thật sự cần để điều tra: requestId, userId, status, latency.
  • Đặt retention cho mọi log group, ví dụ 30 ngày. Cần giữ lâu để audit thì export sang S3.
  • Log lớn nhưng ít khi query: cân nhắc log class Infrequent Access.

Ví dụ Terraform, tạo log group trước với retention:

resource "aws_cloudwatch_log_group" "api" {
  name              = "/aws/lambda/api"
  retention_in_days = 30
}
# Biến môi trường Lambda: LOG_LEVEL = "INFO"

Sau khi sửa: khoảng 1 KB/request, tức 50 GB × $0,50 = $25 ingest, lưu 30 ngày thêm 50 GB × $0,03 = $1,5. Tổng ≈ $26,5/tháng, giảm hơn 90%.

Lưu ý

Nếu chưa khai báo log group, Lambda sẽ tự tạo khi chạy lần đầu, và log group tự tạo đó giữ log vĩnh viễn. Vì vậy hãy tạo log group bằng IaC trước khi deploy function, đừng để Lambda tự tạo.

Checklist cho account của bạn

  • CloudWatch > Log groups, xem cột Retention: có bao nhiêu dòng "Never expire"?
  • Sắp xếp theo Stored bytes: top 5 log group lớn nhất là của service nào?
  • Production đang chạy LOG_LEVEL gì? Có đang log body không?

Lời kết

Đây là bài 18/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ chuyển động nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252

Log group lớn nhất trong account của bạn đang là bao nhiêu GB? Hãy chia sẻ trong phần bình luận để mọi người cùng so nhé.

Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.

Bài tiếp theo: Dimension userId trên CloudWatch custom metric tốn $3.000/tháng


All Rights Reserved

Viblo
Let's register a Viblo Account to get more interesting posts.