0

Bẫy chi phí AWS #12: SQS short polling, trả $41/tháng cho những câu trả lời rỗng

Hàng đợi SQS trống trơn suốt đêm, không có lấy một message. Vậy mà hóa đơn vẫn ghi hơn 100 triệu request, khoảng $41/tháng, cho toàn những câu trả lời rỗng.

Con số không lớn, nhưng mình chọn bẫy này vì nó cực kỳ phổ biến, cách sửa chỉ mất một dòng, và nó nhân lên rất nhanh khi số queue và số worker tăng.

Giá trong bài là giá tham khảo region us-east-1.

Bối cảnh

20 worker chạy liên tục, mỗi worker gửi khoảng 2 request/giây để hỏi queue có message mới không. Phần lớn thời gian, nhất là ban đêm, queue không có gì.

Vì sao tốn tiền

  1. Mặc định, ReceiveMessage dùng short polling: nếu queue trống, SQS trả về kết quả rỗng ngay lập tức, không chờ.
  2. Code worker thường là một vòng while True: nhận rỗng thì hỏi lại ngay. Kết quả là mỗi worker tạo ra nhiều request mỗi giây, suốt 24 giờ.
  3. SQS tính tiền mọi request, kể cả request không nhận được message nào. Giá khoảng $0,40/1 triệu request với standard queue, có 1 triệu request miễn phí mỗi tháng.

Hóa đơn

  • 20 worker × 2 request/giây × 86.400 giây × 30 ngày ≈ 103,7 triệu request
  • (103,7 triệu − 1 triệu miễn phí) × $0,40/triệu ≈ $41/tháng

Cách sửa

Bật long polling. Request sẽ chờ tối đa 20 giây; có message là trả về ngay, hết 20 giây mà vẫn trống mới trả rỗng.

  • Đặt ở mức queue: ReceiveMessageWaitTimeSeconds = 20, để mọi consumer đều được hưởng mà không cần sửa code.
  • Hoặc trong code (Python boto3):
resp = sqs.receive_message(
    QueueUrl=queue_url,
    WaitTimeSeconds=20,        # long polling
    MaxNumberOfMessages=10,    # nhận theo lô
)
  • MaxNumberOfMessages = 10 để nhận theo lô, mỗi request lấy được tối đa 10 message.
  • Phía gửi cũng vậy: dùng SendMessageBatch thay vì gửi từng message.

Sau khi sửa:

  • Mỗi worker chỉ còn khoảng 3 request/phút khi queue trống
  • Cả tháng khoảng 2,6 triệu request
  • (2,6 − 1) triệu × $0,40 ≈ $0,64/tháng, giảm khoảng 98%.

Lưu ý

Long polling không làm chậm việc xử lý. Nhiều người ngại vì tưởng phải đợi đủ 20 giây, nhưng thực tế có message là request trả về ngay. Ngoài ra, nếu consumer là Lambda (event source mapping) thì AWS đã tự dùng long polling, bạn không cần làm gì thêm. Bẫy này chủ yếu nằm ở worker tự viết chạy trên EC2, ECS hay Kubernetes.

Checklist tự kiểm tra

  • Xem metric NumberOfEmptyReceives của từng queue trên CloudWatch. Số này cao là dấu hiệu short polling.
  • Kiểm tra ReceiveMessageWaitTimeSeconds của các queue, giá trị 0 là đang dùng mặc định.
  • Tìm trong code các chỗ gọi receive_message không có WaitTimeSeconds.

Lời kết

Đây là bài 12/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ động so sánh short polling và long polling nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252

Account của bạn có queue nào NumberOfEmptyReceives cao bất thường không? Hãy kể trong phần bình luận.

Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.

Bài tiếp theo: Gọi Secrets Manager trong handler Lambda, một dòng code tốn $150/tháng


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí