Bẫy chi phí AWS #09: Vòng lặp Lambda ghi lại vào S3 đốt $390 chỉ trong một đêm
Một đêm, $390, và không ai trong team thức để thấy nó xảy ra.
Đây là một trong những bẫy kinh điển nhất của serverless, và mình nghĩ ai làm với S3 event cũng nên biết trước một lần, thay vì học bằng hóa đơn.
Giá trong bài là giá tham khảo region us-east-1.
Bối cảnh
Một Lambda resize ảnh, cấu hình 512 MB memory, mỗi lần chạy khoảng 1 giây. Nó được trigger bởi sự kiện ObjectCreated của bucket: có ảnh mới là resize. Nghe rất bình thường. Vấn đề là ảnh sau khi resize lại được ghi vào chính bucket đó.
Vì sao tốn tiền
- Người dùng upload ảnh vào bucket, S3 phát sự kiện
ObjectCreated, Lambda chạy. - Lambda ghi ảnh đã resize vào cùng bucket. Lần ghi này lại tạo ra một
ObjectCreatedmới, Lambda lại chạy, lại ghi, lại trigger. Vòng lặp không có điểm dừng. - Lambda tự scale theo số sự kiện, nên số bản chạy song song tăng dần. Bạn trả tiền ở ba chỗ cùng lúc: số lần gọi Lambda ($0,20/1 triệu lần), thời gian chạy tính theo GB-giây, và mỗi lần PUT vào S3 ($0,005/1.000 request). Chưa kể bucket đầy file rác kiểu
anh_resized_resized_resized.jpg.
Hóa đơn của một đêm
Vòng lặp chạy 8 tiếng, khoảng 1.000 lần/giây, tức 28,8 triệu lần gọi.
| Khoản | Cách tính | Thành tiền |
|---|---|---|
| Số lần gọi | 28,8 triệu × $0,20/triệu | $5,8 |
| Compute | 28,8 triệu lần × 1 giây × 0,5 GB = 14,4 triệu GB-giây | ≈ $240 |
| S3 PUT | 28,8 triệu × $0,005/1.000 | $144 |
| Tổng | ≈ $390, chỉ trong một đêm |
Cách sửa
Nguyên tắc là tách nơi nhận và nơi ghi.
- Ảnh gốc vào bucket uploads, ảnh đã xử lý ghi sang một bucket khác. Không có sự kiện nào quay ngược lại được.
- Nếu buộc phải dùng một bucket: chỉ trigger với prefix
uploads/, và Lambda ghi kết quả vàoresized/. Trongserverless.ymlchỉ là thêm một rule dưới event s3:
events:
- s3:
bucket: my-images
event: s3:ObjectCreated:*
rules:
- prefix: uploads/ # chỉ trigger ở uploads/
# Lambda ghi kết quả vào resized/
- Đặt reserved concurrency (ví dụ 50) để dù có lỗi thì Lambda cũng không thể scale vô hạn.
- Bật AWS Budgets và Cost Anomaly Detection để được cảnh báo trong vài giờ chứ không phải cuối tháng.
Sau khi sửa: mỗi ảnh chỉ được xử lý đúng một lần, chi phí phát sinh thêm là $0, tức tránh được gần như toàn bộ (99,9%) khoản đốt tiền kia.
Lưu ý
AWS có cơ chế phát hiện vòng lặp đệ quy cho một số tổ hợp service, nhưng đừng phụ thuộc vào nó. Nó không phủ hết mọi trường hợp, và khi nó kích hoạt thì tiền có thể đã chạy một lúc rồi. Thiết kế đúng từ đầu vẫn là cách an toàn nhất.
Checklist tự kiểm tra account của bạn
- Có Lambda nào vừa đọc vừa ghi cùng một bucket không? Nếu có, trigger đã lọc prefix chưa?
- Các Lambda gắn với S3 event đã có reserved concurrency chưa?
- Account đã bật Budgets và Cost Anomaly Detection chưa?
Lời kết
Đây là bài 09/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ động minh họa vòng lặp nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252
Team bạn đã từng dính vòng lặp kiểu này chưa, hay một biến thể khác như SNS gọi SQS gọi lại SNS? Hãy chia sẻ trong phần bình luận để mọi người cùng tránh.
Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.
Bài tiếp theo: API Gateway REST hay HTTP API, cùng 100 triệu request mà $350 so với $100
All rights reserved