0

Bẫy chi phí AWS #09: Vòng lặp Lambda ghi lại vào S3 đốt $390 chỉ trong một đêm

Một đêm, $390, và không ai trong team thức để thấy nó xảy ra.

Đây là một trong những bẫy kinh điển nhất của serverless, và mình nghĩ ai làm với S3 event cũng nên biết trước một lần, thay vì học bằng hóa đơn.

Giá trong bài là giá tham khảo region us-east-1.

Bối cảnh

Một Lambda resize ảnh, cấu hình 512 MB memory, mỗi lần chạy khoảng 1 giây. Nó được trigger bởi sự kiện ObjectCreated của bucket: có ảnh mới là resize. Nghe rất bình thường. Vấn đề là ảnh sau khi resize lại được ghi vào chính bucket đó.

Vì sao tốn tiền

  1. Người dùng upload ảnh vào bucket, S3 phát sự kiện ObjectCreated, Lambda chạy.
  2. Lambda ghi ảnh đã resize vào cùng bucket. Lần ghi này lại tạo ra một ObjectCreated mới, Lambda lại chạy, lại ghi, lại trigger. Vòng lặp không có điểm dừng.
  3. Lambda tự scale theo số sự kiện, nên số bản chạy song song tăng dần. Bạn trả tiền ở ba chỗ cùng lúc: số lần gọi Lambda ($0,20/1 triệu lần), thời gian chạy tính theo GB-giây, và mỗi lần PUT vào S3 ($0,005/1.000 request). Chưa kể bucket đầy file rác kiểu anh_resized_resized_resized.jpg.

Hóa đơn của một đêm

Vòng lặp chạy 8 tiếng, khoảng 1.000 lần/giây, tức 28,8 triệu lần gọi.

Khoản Cách tính Thành tiền
Số lần gọi 28,8 triệu × $0,20/triệu $5,8
Compute 28,8 triệu lần × 1 giây × 0,5 GB = 14,4 triệu GB-giây ≈ $240
S3 PUT 28,8 triệu × $0,005/1.000 $144
Tổng ≈ $390, chỉ trong một đêm

Cách sửa

Nguyên tắc là tách nơi nhận và nơi ghi.

  • Ảnh gốc vào bucket uploads, ảnh đã xử lý ghi sang một bucket khác. Không có sự kiện nào quay ngược lại được.
  • Nếu buộc phải dùng một bucket: chỉ trigger với prefix uploads/, và Lambda ghi kết quả vào resized/. Trong serverless.yml chỉ là thêm một rule dưới event s3:
events:
  - s3:
      bucket: my-images
      event: s3:ObjectCreated:*
      rules:
        - prefix: uploads/   # chỉ trigger ở uploads/
# Lambda ghi kết quả vào resized/
  • Đặt reserved concurrency (ví dụ 50) để dù có lỗi thì Lambda cũng không thể scale vô hạn.
  • Bật AWS Budgets và Cost Anomaly Detection để được cảnh báo trong vài giờ chứ không phải cuối tháng.

Sau khi sửa: mỗi ảnh chỉ được xử lý đúng một lần, chi phí phát sinh thêm là $0, tức tránh được gần như toàn bộ (99,9%) khoản đốt tiền kia.

Lưu ý

AWS có cơ chế phát hiện vòng lặp đệ quy cho một số tổ hợp service, nhưng đừng phụ thuộc vào nó. Nó không phủ hết mọi trường hợp, và khi nó kích hoạt thì tiền có thể đã chạy một lúc rồi. Thiết kế đúng từ đầu vẫn là cách an toàn nhất.

Checklist tự kiểm tra account của bạn

  • Có Lambda nào vừa đọc vừa ghi cùng một bucket không? Nếu có, trigger đã lọc prefix chưa?
  • Các Lambda gắn với S3 event đã có reserved concurrency chưa?
  • Account đã bật Budgets và Cost Anomaly Detection chưa?

Lời kết

Đây là bài 09/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ động minh họa vòng lặp nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252

Team bạn đã từng dính vòng lặp kiểu này chưa, hay một biến thể khác như SNS gọi SQS gọi lại SNS? Hãy chia sẻ trong phần bình luận để mọi người cùng tránh.

Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.

Bài tiếp theo: API Gateway REST hay HTTP API, cùng 100 triệu request mà $350 so với $100


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí