0

Bẫy chi phí AWS #15: S3 versioning thiếu lifecycle rule, 1 GB dữ liệu phình thành 8,6 TB

Dữ liệu thật chỉ có 1 GB. Nhưng bucket S3 chứa tới 8,6 TB, tốn khoảng $199/tháng, và con số đó vẫn đang tăng mỗi ngày.

Thủ phạm là versioning, một tính năng tốt, bật vì lý do đúng, nhưng thiếu đúng một mảnh ghép.

Giá trong bài là giá tham khảo region us-east-1.

Bối cảnh

Một file báo cáo 1 GB bị ghi đè mỗi giờ. Bucket có bật versioning (thường do yêu cầu an toàn dữ liệu), nhưng không có lifecycle rule nào. Hệ thống đã chạy được 12 tháng.

Vì sao tốn tiền

  1. Versioning giúp khôi phục file khi bị ghi đè hoặc xóa nhầm. Cách nó làm: mỗi lần ghi đè, bản cũ vẫn được giữ lại dưới dạng noncurrent version. Xóa file cũng chỉ thêm một delete marker, dữ liệu thật vẫn nằm đó và vẫn tính tiền.
  2. Trên console, bạn chỉ thấy một file 1 GB. Nhưng S3 tính tiền theo tổng dung lượng của mọi version. File 1 GB ghi đè mỗi giờ tạo ra 720 bản cũ mỗi tháng.
  3. Chưa hết: multipart upload bị lỗi giữa chừng để lại các phần đã upload. Chúng không hiện trong danh sách file, nhưng vẫn bị tính tiền lưu trữ, cho tới khi bạn chủ động hủy.

Giá S3 Standard khoảng $0,023/GB-tháng.

Hóa đơn

  • 720 bản/tháng × 12 tháng = 8.640 GB
  • 8.640 GB × $0,023 ≈ $199/tháng, và mỗi tháng tăng thêm khoảng 720 GB nữa.

Cách sửa

Giữ versioning, nhưng thêm lifecycle rule để bản cũ có hạn sử dụng.

  • Bản cũ (noncurrent version) hết hạn sau 7 ngày. Nếu cần, giới hạn thêm số bản giữ lại bằng NewerNoncurrentVersions.
  • Thêm rule hủy multipart upload dở dang sau 7 ngày, và áp dụng rule này cho mọi bucket, kể cả bucket không bật versioning.
  • Trong Terraform, một block rule là đủ:
rule {
  id     = "cleanup-old-versions"
  status = "Enabled"
  noncurrent_version_expiration {
    noncurrent_days = 7
  }
  abort_incomplete_multipart_upload {
    days_after_initiation = 7
  }
}
  • Dùng S3 Storage Lens để tìm những bucket đang phình to bất thường so với dữ liệu hiện hành.

Sau khi sửa:

  • Bucket chỉ giữ khoảng 168 bản (7 ngày × 24 giờ) = 168 GB
  • 168 GB × $0,023 ≈ $3,9/tháng, giảm khoảng 98%, và không còn tăng theo thời gian.

Lưu ý

Thời gian giữ bản cũ chính là khoảng thời gian bạn còn khôi phục được. Đặt 7 ngày nghĩa là file bị ghi hỏng từ 8 ngày trước sẽ không cứu được. Với dữ liệu quan trọng, hãy thống nhất con số này với yêu cầu backup và compliance của dự án, đừng tự chọn vì muốn tiết kiệm. Một hướng khác là chuyển bản cũ sang lớp lưu trữ rẻ hơn thay vì xóa hẳn.

Checklist tự kiểm tra

  • Liệt kê các bucket bật versioning, kiểm tra từng cái đã có rule noncurrent version expiration chưa.
  • Mọi bucket đã có rule abort incomplete multipart upload chưa?
  • So sánh dung lượng bucket trong Storage Lens với dung lượng bạn nghĩ là nó đang chứa.

Lời kết

Đây là bài 15/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ động nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252

Bucket nào trong account của bạn đang lớn hơn bạn nghĩ? Hãy chia sẻ trong phần bình luận.

Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.

Bài tiếp theo: Khôi phục Glacier Expedited, lưu chỉ $37/tháng nhưng lấy ra mất $307


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí