Bẫy chi phí AWS #20: Athena SELECT * trên file CSV, $15.000/tháng cho một dashboard
$15.000 mỗi tháng cho một cái dashboard. Đây là bẫy đắt nhất trong cả series 25 bài, và nó bắt đầu từ một câu SELECT * mà ai cũng từng viết.
Giá trong bài là giá tham khảo region us-east-1.
Bối cảnh
Công ty lưu khoảng 1 TB log dạng CSV trên S3, query bằng Athena. Một dashboard nội bộ được cấu hình tự refresh, mỗi lần chạy SELECT * trên bảng đó, tổng cộng 100 lần mỗi ngày. Trong khi dữ liệu thực tế chỉ thay đổi mỗi ngày một lần.
Vì sao tốn tiền
- Athena không tính theo thời gian chạy hay số query, mà theo lượng dữ liệu đọc từ S3: $5 cho mỗi TB quét. Cơ chế y hệt DynamoDB Scan ở bài #01: bạn trả tiền cho những gì engine phải đọc, không phải cho những gì bạn nhận về.
- CSV lưu theo dòng và không nén. Dù dashboard chỉ cần 3 cột, Athena vẫn phải đọc toàn bộ từng dòng, tức toàn bộ file. Không có partition, nên điều kiện
WHEREtheo ngày cũng không giúp bỏ qua được file nào. Mỗi query quét đủ 1 TB. - Dashboard refresh 100 lần/ngày nhân toàn bộ chi phí trên lên 100 lần, dù 99 lần trong số đó trả về đúng kết quả cũ.
Hóa đơn
- 1 TB × 100 lần/ngày × 30 ngày = 3.000 TB quét
- 3.000 TB × $5/TB
- = $15.000/tháng
Cách sửa
- Chuyển dữ liệu sang Parquet: lưu theo cột, có nén, Athena chỉ đọc đúng các cột được SELECT.
- Chia partition theo ngày (
dt=YYYY-MM-DD) và luôn cóWHERE dt = ...để Athena bỏ qua các ngày không liên quan. - Viết SELECT với đúng các cột cần, bỏ thói quen
SELECT *. - Tạo workgroup có giới hạn dữ liệu quét mỗi query, để một query lỗi không thể đốt tiền vô hạn.
- Giảm tần suất refresh của dashboard cho khớp với tần suất dữ liệu thay đổi.
Chuyển đổi chỉ cần một câu CTAS:
CREATE TABLE logs_parquet
WITH (format = 'PARQUET',
partitioned_by = ARRAY['dt']) AS
SELECT request_time, path, status, dt
FROM logs_csv;
Sau khi sửa: mỗi query chỉ quét khoảng 1 GB (1 ngày, 3 cột). 3.000 query × 1 GB = 3 TB × $5 = $15/tháng. Từ $15.000 xuống $15, giảm khoảng 1.000 lần.
Lưu ý
Nếu dashboard thật sự cần cập nhật thường xuyên, đừng cho nó query thẳng vào bảng log gốc. Hãy tổng hợp trước kết quả (ví dụ số lỗi theo giờ) vào một bảng nhỏ, rồi cho dashboard đọc bảng đó. Thêm nữa, CTAS cũng tốn một lần quét toàn bộ dữ liệu CSV, nên hãy chạy nó một lần có kế hoạch chứ đừng chạy thử đi thử lại.
Checklist cho account của bạn
- Athena > Query history, sắp xếp theo Data scanned: query nào quét nhiều nhất, ai gọi?
- Bảng nào vẫn đang là CSV/JSON không nén, không partition?
- Workgroup đã đặt giới hạn bytes scanned per query chưa?
Lời kết
Đây là bài 20/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ chuyển động nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252
Query Athena đắt nhất mà bạn từng thấy là bao nhiêu TB? Hãy kể trong phần bình luận nhé.
Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.
Bài tiếp theo: Aurora Standard, khi tiền I/O vượt cả tiền instance
All rights reserved