0

[Microservices Series] Bài 23: Rate Limiting & Throttling – Nghệ thuật "điều tiết giao thông" chặn bão Request

Chào anh em, mình đây! Ở bài 22, chúng ta đã đưa Keycloak vào làm bảo vệ danh tính, giải quyết êm đẹp chuyện đăng nhập cho cả một hệ sinh thái. Nhưng có một rủi ro vật lý mà không một cơ chế xác thực nào cản được: Sự bùng nổ lưu lượng (Traffic Spike).

Hãy tưởng tượng: Dịp lễ 2/9, người dân đổ dồn đi chơi. Bình thường tuyến Metro nhận 100 lượt quẹt thẻ mỗi giây, hôm nay con số vọt lên 5.000 lượt/giây. Hoặc tệ hơn, hệ thống của bạn lọt vào tầm ngắm của một nhóm Hacker. Chúng dùng Botnet bắn liên phanh 100.000 request/giây vào API Đăng nhập (/api/login) để dò mật khẩu (Brute-force attack).

Lúc này, dù bạn có thiết lập Auto-scaling cho cụm Microservices nhân bản lên 100 containers, thì hệ thống mạng nội bộ và Database bên dưới vẫn sẽ nổ tung vì quá tải Connection. Thay vì gồng mình chịu trận, chúng ta phải chủ động "từ chối phục vụ" những luồng traffic rác hoặc vượt ngưỡng. Đó là lúc cần đến Rate Limiting (Giới hạn tỷ lệ) và Throttling (Điều tiết).

1. Rate Limiting và Throttling khác nhau thế nào?

Nhiều anh em hay gọi chung chung, nhưng thực tế đây là 2 kỹ thuật có cách hành xử khác nhau:

  • Rate Limiting (Chặn đứng): Bạn đặt ra một ngưỡng cứng. Ví dụ: "Tối đa 5 request / 1 giây / 1 IP". Khách hàng gửi đến request thứ 6 trong giây đó, hệ thống lập tức chém đứt kết nối và vả vào mặt khách hàng một lỗi HTTP 429 (Too Many Requests). Xong! Rất dứt khoát.

  • Throttling (Bóp băng thông/Xếp hàng): Mềm mỏng hơn. Khi vượt ngưỡng, thay vì báo lỗi 429, hệ thống sẽ đưa các request thừa vào một hàng đợi (Queue) hoặc làm chậm tốc độ phản hồi lại để "nắn" dòng traffic cho đều. Rất hữu ích cho các tác vụ Background hoặc tải file nặng.

2. Token Bucket – Thuật toán "chia bài" kinh điển

Để đếm số lượng request, nếu anh em tự code bằng vòng lặp hay biến đếm thông thường thì chắc chắn sẽ chạy sai bét khi có hàng chục ngàn request song song. Thế giới thường dùng một thuật toán cực kỳ thanh lịch mang tên: Token Bucket (Cái xô chứa Token). AWS hay Nginx đều xài thuật toán này.

  • Hãy tưởng tượng bạn cấp cho mỗi User một cái xô nước. Sức chứa tối đa của xô là 10 gáo nước (Tương đương 10 Token / Burst capacity).

  • Mỗi lần User gọi 1 API, bạn múc đi 1 gáo nước.

  • Dưới đáy xô, bạn cắm một cái vòi nước rỉ đều đặn: Cứ 1 giây lại nhỏ thêm 2 gáo nước vào xô (Refill rate).

  • Nếu User gọi API liên tục (như xả súng) làm cạn sạch xô nước, các request tiếp theo sẽ bị từ chối (ăn HTTP 429) cho đến khi vòi nước kịp nhỏ thêm gáo mới vào.

Thuật toán này cực hay ở chỗ: Nó cho phép User thỉnh thoảng gọi "nhồi" một phát nhiều request (Burst), nhưng tính trung bình đường dài thì tốc độ vẫn bị giới hạn chặt chẽ.

3. Thực chiến chặn bão tại hệ thống AFC

Trong hệ thống Microservices của Metro, quy tắc sống còn là: Không bao giờ mang logic Rate Limit vào viết trong code của Core Services (Laravel/Go). Nếu để request chui được tận vào Core rồi bạn mới check limit và báo lỗi thì server của bạn đã tốn CPU, tốn RAM và tốn Network I/O mất rồi.

Chốt chặn phải đặt ở ngoài cùng: API Gateway.

Mình cấu hình Rate Limit trên Kong Gateway (kết hợp với Redis để lưu trạng thái đếm) với các cấp độ phòng ngự như sau:

  1. Dựa theo IP (Chống DDoS): Luật chung cho toàn bộ Gateway: Bất kỳ IP public nào gọi quá 100 req/s, khóa IP đó 15 phút ngay tại tường lửa.

  2. Dựa theo Endpoint nhạy cảm (Chống Brute-force): Với API /api/v1/auth/login, mình giới hạn cực gắt: Tối đa 5 req / phút / IP. Ai gõ sai mật khẩu liên tục quá 5 lần là ăn block, bảo vệ an toàn tuyệt đối cho Keycloak ở phía sau.

  3. Dựa theo User_ID (Bảo vệ tài nguyên): Sau khi khách hàng đã login và có JWT Token. API Gateway sẽ bóc User_ID ra và đếm theo ID của khách thay vì IP. Với API /api/tickets/history (vốn phải chọc vào Elasticsearch khá nặng), mình limit mỗi User chỉ được gọi tối đa 2 req/s. Khách nào dùng tool spam bấm F5 liên tục sẽ bị API Gateway chặn đứng trả về lỗi 429, trong khi các Service backend bên trong vẫn hoàn toàn tĩnh lặng.

Lời khuyên "xương máu" khi chặn traffic

  • Đừng lạm dụng đếm theo IP: Ở Việt Nam, các quán Cafe, tòa nhà văn phòng, hoặc nhà mạng 4G thường dùng kỹ thuật NAT (Network Address Translation). Tức là 100 người đang ngồi uống Highland Coffee nhưng khi đi ra Internet lại xài chung duy nhất 1 địa chỉ IP Public. Nếu bạn limit quá gắt theo IP (ví dụ 10 req/s), một khách hàng spam có thể làm liên lụy, khiến 99 khách hàng còn lại trong quán cafe đó cũng ăn lỗi 429 oan uổng. Hãy kết hợp giới hạn theo User_ID hoặc Device_ID (Fingerprint).

  • Luôn trả về "Hẹn giờ" (Retry-After): Khi bạn ném lỗi 429 cho Mobile App, đừng chỉ vứt mỗi cái Status Code. Hãy trả về thêm HTTP Header:

    • X-RateLimit-Limit: 60

    • X-RateLimit-Remaining: 0

    • Retry-After: 30 (Báo cho App biết: "Mày bị khóa rồi, 30 giây nữa hãy gọi lại tao"). Mobile Dev sẽ bắt cái Header này để làm UI đếm ngược trên màn hình, giúp User biết chuyện gì đang xảy ra thay vì chửi thề vì App quay mòng mòng.

Tạm kết

Rate Limiting là chiếc "thắng xe" (phanh) quan trọng, giúp kiến trúc Microservices của bạn không bị lao xuống vực khi đi qua những đoạn đường đông đúc hay gặp bão táp.

Hệ thống giờ đã cứng cáp, chịu tải tốt, bảo mật cao. Tuần sau, team Dev báo cáo đã code xong một tính năng tính giá vé hoàn toàn mới (thuật toán mới, database mới). Khổ nỗi, nếu deploy cái vèo thay đổi toàn bộ thuật toán này cho 100% khách hàng, lỡ có lỗi nghiêm trọng thì hậu quả khôn lường, cả công ty lên báo ngay.

Làm sao để đưa code mới lên Production, nhưng chỉ cho phép đúng 5% số người dùng (hoặc chỉ nhân viên nội bộ) được dùng thử, nếu ổn mới mở rộng từ từ ra 100%?

Ở bài tiếp theo (Bài 24), chúng ta sẽ bước vào nghệ thuật deploy đỉnh cao: Canary Release & Feature Toggles – "Chuột bạch" tính năng mới ngay trên môi trường Production.

Anh em đã từng viết API mà bị khách hàng cắm tool auto-click spam đến sập server chưa? Lúc đó anh em dùng Nginx để chặn hay code tay trong Middleware? Cùng chia sẻ dưới comment nhé!


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí