Bẫy chi phí AWS #12: SQS short polling, trả $41/tháng cho những câu trả lời rỗng
Hàng đợi SQS trống trơn suốt đêm, không có lấy một message. Vậy mà hóa đơn vẫn ghi hơn 100 triệu request, khoảng $41/tháng, cho toàn những câu trả lời rỗng.
Con số không lớn, nhưng mình chọn bẫy này vì nó cực kỳ phổ biến, cách sửa chỉ mất một dòng, và nó nhân lên rất nhanh khi số queue và số worker tăng.
Giá trong bài là giá tham khảo region us-east-1.
Bối cảnh
20 worker chạy liên tục, mỗi worker gửi khoảng 2 request/giây để hỏi queue có message mới không. Phần lớn thời gian, nhất là ban đêm, queue không có gì.
Vì sao tốn tiền
- Mặc định,
ReceiveMessagedùng short polling: nếu queue trống, SQS trả về kết quả rỗng ngay lập tức, không chờ. - Code worker thường là một vòng
while True: nhận rỗng thì hỏi lại ngay. Kết quả là mỗi worker tạo ra nhiều request mỗi giây, suốt 24 giờ. - SQS tính tiền mọi request, kể cả request không nhận được message nào. Giá khoảng $0,40/1 triệu request với standard queue, có 1 triệu request miễn phí mỗi tháng.
Hóa đơn
- 20 worker × 2 request/giây × 86.400 giây × 30 ngày ≈ 103,7 triệu request
- (103,7 triệu − 1 triệu miễn phí) × $0,40/triệu ≈ $41/tháng
Cách sửa
Bật long polling. Request sẽ chờ tối đa 20 giây; có message là trả về ngay, hết 20 giây mà vẫn trống mới trả rỗng.
- Đặt ở mức queue:
ReceiveMessageWaitTimeSeconds = 20, để mọi consumer đều được hưởng mà không cần sửa code. - Hoặc trong code (Python boto3):
resp = sqs.receive_message(
QueueUrl=queue_url,
WaitTimeSeconds=20, # long polling
MaxNumberOfMessages=10, # nhận theo lô
)
MaxNumberOfMessages = 10để nhận theo lô, mỗi request lấy được tối đa 10 message.- Phía gửi cũng vậy: dùng
SendMessageBatchthay vì gửi từng message.
Sau khi sửa:
- Mỗi worker chỉ còn khoảng 3 request/phút khi queue trống
- Cả tháng khoảng 2,6 triệu request
- (2,6 − 1) triệu × $0,40 ≈ $0,64/tháng, giảm khoảng 98%.
Lưu ý
Long polling không làm chậm việc xử lý. Nhiều người ngại vì tưởng phải đợi đủ 20 giây, nhưng thực tế có message là request trả về ngay. Ngoài ra, nếu consumer là Lambda (event source mapping) thì AWS đã tự dùng long polling, bạn không cần làm gì thêm. Bẫy này chủ yếu nằm ở worker tự viết chạy trên EC2, ECS hay Kubernetes.
Checklist tự kiểm tra
- Xem metric
NumberOfEmptyReceivescủa từng queue trên CloudWatch. Số này cao là dấu hiệu short polling. - Kiểm tra
ReceiveMessageWaitTimeSecondscủa các queue, giá trị 0 là đang dùng mặc định. - Tìm trong code các chỗ gọi
receive_messagekhông cóWaitTimeSeconds.
Lời kết
Đây là bài 12/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ động so sánh short polling và long polling nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252
Account của bạn có queue nào NumberOfEmptyReceives cao bất thường không? Hãy kể trong phần bình luận.
Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.
Bài tiếp theo: Gọi Secrets Manager trong handler Lambda, một dòng code tốn $150/tháng
All rights reserved