Bẫy chi phí AWS #14: Hàng trăm triệu file nhỏ trên S3: $500 tiền PUT, $23 tiền lưu
Tiền lưu trữ S3 chỉ $23, nhưng tổng hóa đơn S3 là $523. Năm trăm đô kia không đến từ dung lượng, mà từ hàng trăm triệu file nhỏ xíu.
Đây là bẫy mình hay gặp ở các hệ thống IoT, log và event pipeline: dữ liệu không lớn, nhưng số lượng file thì khổng lồ.
Giá trong bài là giá tham khảo region us-east-1.
Bối cảnh
Thiết bị IoT ghi mỗi bản đo thành một file JSON khoảng 10 KB, PUT thẳng lên S3. Tổng cộng 100 triệu file mỗi tháng, tức khoảng 1 TB dữ liệu.
Vì sao tốn tiền
- S3 tính tiền hai phần riêng biệt: dung lượng lưu trữ, khoảng $0,023/GB-tháng với S3 Standard, rất rẻ. Và số request: mỗi 1.000 lần PUT (cũng như COPY, POST, LIST) tốn $0,005.
- Tiền request không phụ thuộc kích thước file. File 10 KB hay 100 MB đều tốn đúng một lần PUT. File càng nhỏ, tiền request chiếm tỷ trọng càng lớn trong hóa đơn.
- 100 triệu file nhỏ chỉ chiếm 1 TB, nhưng 100 triệu lần PUT thì đắt hơn tiền lưu trữ hơn 20 lần. Về sau đọc lại bằng Athena cũng chậm và tốn thêm, vì engine phải mở từng file một.
Hóa đơn
| Khoản | Cách tính | Thành tiền |
|---|---|---|
| Storage | 1.000 GB × $0,023 | $23 |
| PUT | 100 triệu × $0,005/1.000 | $500 |
| Tổng | ≈ $523/tháng |
Cách sửa
Đừng ghi mỗi bản ghi thành một file. Gom lại theo lô trước khi chạm vào S3.
- Thiết bị gửi dữ liệu vào Amazon Data Firehose (hoặc Kinesis, SQS làm buffer).
- Firehose gom theo thời gian hoặc dung lượng, ví dụ 60 giây hoặc 64 MB, cái nào đến trước, rồi ghi thành một file lớn.
- Trong Terraform, block
extended_s3_configurationchỉ cần:
extended_s3_configuration {
bucket_arn = aws_s3_bucket.iot.arn
buffering_interval = 60 # giây
buffering_size = 64 # MB
prefix = "dt=!{timestamp:yyyy-MM-dd}/"
error_output_prefix = "errors/"
}
- Bật chuyển đổi sang Parquet và chia partition theo ngày, Athena sẽ quét ít dữ liệu hơn hẳn.
- Với dữ liệu cũ đã lỡ thành hàng triệu file nhỏ: chạy một job gộp file (compaction) định kỳ.
Sau khi sửa:
- Chỉ còn khoảng 200.000 file/tháng, tiền PUT khoảng $1
- Phí Firehose khoảng $30, storage vẫn $23
- Tổng khoảng $54/tháng, giảm khoảng 90%.
Lưu ý
Gom lô đồng nghĩa dữ liệu xuất hiện trên S3 chậm hơn, từ vài chục giây đến vài phút. Nếu có use case cần dữ liệu tức thì, như cảnh báo realtime, hãy xử lý ở tầng stream (Kinesis, Lambda) chứ đừng chờ S3. S3 nên là nơi lưu để phân tích, không phải nơi xử lý từng sự kiện.
Checklist tự kiểm tra
- Trong Cost Explorer, tách chi phí S3 theo usage type: phần
Requests-Tier1có lớn hơnTimedStoragekhông? - Dùng S3 Storage Lens xem bucket nào có kích thước object trung bình rất nhỏ.
- Rà các pipeline đang PUT trực tiếp từng event lên S3.
Lời kết
Đây là bài 14/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ động nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252
Bạn đã từng mở hóa đơn S3 và thấy tiền request vượt xa tiền lưu trữ chưa? Hãy kể trong phần bình luận.
Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.
Bài tiếp theo: S3 versioning không có lifecycle rule, 1 GB dữ liệu phình thành 8,6 TB
All rights reserved