0

High Availability cho AI application: làm sao để chatbot AI không "đứng hình" khi đông người dùng

Bạn làm xong một chatbot AI, demo cho cả lớp chạy mượt, ai cũng khen. Đến ngày đưa lên cho người dùng thật, 9 giờ sáng thứ Hai có 200 người vào cùng lúc, và chatbot bắt đầu trả lời... bằng vòng xoay loading vô tận. Tui gọi đây là hội chứng "chạy được trên máy tui". High Availability (HA) cho AI application là cách thiết kế để ứng dụng AI vẫn trả lời được khi một máy chết, một model tải chậm hay một API bên ngoài bị nghẽn. Bài này giải thích bằng ngôn ngữ dễ hiểu: AI application khác web thường ở chỗ nào, các điểm dễ sập nhất, và những kỹ thuật nên áp dụng trước.

Bài này giúp bạn

  • Hiểu vì sao HA cho ứng dụng AI khó hơn HA cho website thông thường.
  • Nhận ra 5 "điểm chết" (single point of failure) phổ biến trong một ứng dụng AI.
  • Biết các kỹ thuật cơ bản: nhiều bản sao, health check đúng cách, hàng đợi, fallback và giới hạn tốc độ.
  • Có checklist để tự kiểm tra hệ thống của mình.

Nếu bạn chưa rõ HA là gì, đọc trước bài High Availability là gì? Cách xây dựng hệ thống có độ sẵn sàng cao của tui rồi quay lại nhé.

AI application khác website thường ở đâu?

Với website bán hàng, một request thường xử lý trong vài trăm mili giây, server nào cũng giống server nào, chết một con thì load balancer chuyển sang con khác là xong. Ứng dụng AI "khó chiều" hơn ở mấy điểm:

Đặc điểm Website thông thường Ứng dụng AI (chatbot, sinh ảnh, tóm tắt văn bản)
Thời gian xử lý một request Ngắn, tính bằng mili giây Có thể vài giây đến vài chục giây
Thời gian khởi động một bản sao mới Vài giây Lâu hơn nhiều vì phải tải model vào bộ nhớ (RAM hoặc VRAM)
Tài nguyên CPU, RAM phổ thông Thường cần GPU, đắt và có hạn
Phụ thuộc bên ngoài Database, cache Thêm API của nhà cung cấp model, vector database
Kết quả Giống nhau mỗi lần Có thể khác nhau, khó so sánh để kiểm tra

Tóm lại: request lâu hơn, khởi động chậm hơn, tài nguyên đắt hơn, và phụ thuộc nhiều bên hơn. Mỗi điểm này đều có thể biến thành một điểm chết.

5 điểm chết hay gặp trong ứng dụng AI

Tui vẽ một kiến trúc chatbot đơn giản để dễ hình dung:

Người dùng
    │
    ▼
[ Web/App ] ──▶ [ API backend ] ──▶ [ Model server (GPU) ]
                      │                      │
                      ├──▶ [ Vector DB ]     └── hoặc ──▶ [ API model bên ngoài ]
                      └──▶ [ Database lịch sử chat ]

1. Chỉ có một model server. Đây là lỗi kinh điển. Máy GPU đắt nên nhiều team chỉ thuê một máy. Máy đó khởi động lại để cập nhật driver là cả hệ thống im lặng.

2. Phụ thuộc hoàn toàn vào một API model bên ngoài. Gọi API của nhà cung cấp model rất tiện, nhưng nếu API đó chậm, lỗi hoặc giới hạn tốc độ (rate limit) tài khoản của bạn, chatbot cũng "đứng hình" theo.

3. Health check báo "khỏe" khi model chưa tải xong. Process đã chạy nên load balancer tưởng là sẵn sàng và đẩy request vào. Kết quả là request bị lỗi trong suốt thời gian model đang được nạp vào bộ nhớ.

4. Xử lý request dài theo kiểu đồng bộ. Người dùng gửi một yêu cầu tóm tắt tài liệu 50 trang, backend giữ kết nối chờ đến khi xong. Vài chục người làm vậy cùng lúc là hết kết nối, người khác không vào được nữa.

5. Vector DB hoặc database chỉ có một bản. Nhiều bạn lo HA cho phần model mà quên rằng chatbot RAG không có vector DB thì cũng không trả lời đúng được.

Kỹ thuật 1: Chạy nhiều bản sao và đặt load balancer phía trước

Nguyên tắc đầu tiên của HA: không có gì chỉ chạy một bản. Với tầng API backend thì dễ, vì nó không giữ trạng thái. Với model server, tối thiểu nên có 2 bản sao trên 2 máy khác nhau, đặt sau một load balancer.

Đánh đổi ở đây là tiền: 2 máy GPU là gấp đôi chi phí. Nếu chưa đủ ngân sách, một cách dung hòa là chạy 1 model server tự host, còn bản dự phòng là API model bên ngoài (xem Kỹ thuật 4).

Kỹ thuật 2: Health check phải hỏi đúng câu hỏi

Health check là cách load balancer hỏi từng server "bạn còn sống không?". Với ứng dụng AI, nên tách làm hai câu hỏi:

  • Liveness (còn sống không): process có đang chạy không. Sai thì khởi động lại.
  • Readiness (sẵn sàng nhận khách chưa): model đã tải xong và trả lời được một câu thử chưa. Chưa thì đừng đẩy request vào.

Ví dụ một endpoint readiness đơn giản bằng Python (FastAPI):

from fastapi import FastAPI, Response

app = FastAPI()
model = None  # gán khi tải model xong

@app.get("/ready")
def ready(response: Response):
    if model is None:
        response.status_code = 503   # chưa sẵn sàng
        return {"ready": False}
    return {"ready": True}

Load balancer chỉ gửi request vào server trả về 200 ở /ready. Nhờ vậy, server đang khởi động hoặc đang tải lại model sẽ tự đứng ngoài cho đến khi xong.

Kỹ thuật 3: Request dài thì cho vào hàng đợi

Thay vì giữ người dùng chờ trên một kết nối HTTP, hãy làm theo kiểu "nhận phiếu, chờ gọi tên":

1. Người dùng gửi yêu cầu  ──▶  API trả ngay mã công việc (job_id)
2. API đẩy công việc vào hàng đợi (Redis, RabbitMQ...)
3. Worker có GPU lấy việc ra xử lý
4. Người dùng hỏi lại theo job_id, hoặc nhận kết quả qua WebSocket

Lợi ích: khi đông người, hàng đợi dài ra chứ hệ thống không sập. Worker chết giữa chừng thì công việc vẫn còn trong hàng đợi để worker khác làm tiếp. Đổi lại, bạn phải viết thêm phần trạng thái công việc và xử lý trường hợp một việc bị làm hai lần.

Với chatbot cần trả lời từng chữ (streaming), cách này không áp dụng nguyên xi được, nhưng ý tưởng giới hạn số request đồng thời cho mỗi model server vẫn đúng.

Kỹ thuật 4: Luôn có phương án dự phòng (fallback)

Fallback nghĩa là "nếu A hỏng thì dùng B, B hỏng thì ít nhất trả lời lịch sự". Một chuỗi fallback hay gặp:

  1. Model chính (tự host hoặc API chính).
  2. Model dự phòng: model nhỏ hơn, hoặc API của nhà cung cấp khác.
  3. Câu trả lời mặc định: "Hệ thống đang bận, bạn thử lại sau ít phút nhé" kèm nút thử lại.

Nhớ đặt timeout cho mỗi lần gọi model. Không có timeout thì một API bị treo sẽ kéo theo cả backend treo theo. Đây là lỗi tui gặp nhiều nhất khi review code của các bạn mới.

Kỹ thuật 5: Giới hạn tốc độ để bảo vệ hệ thống

GPU có hạn, nên đừng để một người dùng (hoặc một con bot) chiếm hết. Giới hạn số request mỗi người dùng trong một khoảng thời gian, và giới hạn độ dài đầu vào. Thà từ chối lịch sự vài request còn hơn để tất cả cùng chậm.

Lỗi thường gặp

Triệu chứng Nguyên nhân Cách xử lý
Sau mỗi lần deploy, vài phút đầu toàn lỗi 502/503 Health check chỉ kiểm tra process, model chưa tải xong đã nhận request Tách endpoint readiness, chỉ trả 200 khi model sẵn sàng
Chatbot treo khi API model bên ngoài chậm Không đặt timeout khi gọi API Đặt timeout và chuyển sang fallback khi quá hạn
Giờ cao điểm hệ thống sập hẳn Xử lý request dài theo kiểu đồng bộ, hết kết nối Dùng hàng đợi và worker; giới hạn số request đồng thời
Có 2 model server nhưng vẫn sập cùng lúc Hai bản sao nằm trên cùng một máy vật lý hoặc cùng cập nhật một lúc Đặt bản sao trên máy khác nhau, cập nhật lần lượt từng máy (rolling update)
Chatbot RAG trả lời sai hoặc "không biết" hàng loạt Vector DB lỗi nhưng ứng dụng vẫn gọi model và trả kết quả Kiểm tra vector DB trong readiness; báo lỗi rõ thay vì trả lời bừa
Chi phí GPU tăng vọt Bị spam request hoặc prompt quá dài Rate limit theo người dùng, giới hạn độ dài đầu vào

Checklist HA cho ứng dụng AI

  • [ ] Mỗi tầng (API, model server, database, vector DB) có ít nhất 2 bản hoặc có phương án dự phòng.
  • [ ] Load balancer dùng health check dạng readiness, không chỉ kiểm tra process.
  • [ ] Mọi lời gọi model đều có timeout.
  • [ ] Có ít nhất một mức fallback và một thông báo lỗi thân thiện.
  • [ ] Request dài đi qua hàng đợi, hoặc có giới hạn số request đồng thời.
  • [ ] Có rate limit theo người dùng.
  • [ ] Đã thử tắt một model server để xem hệ thống phản ứng thế nào.

Thử áp dụng với Bizfly Cloud

Phần "đặt load balancer trước nhiều bản sao" có thể làm với Bizfly Cloud Load Balancer. Theo trang sản phẩm, dịch vụ hỗ trợ cả layer 4 và layer 7, và cho phép tự đặt quy tắc để xác định một backend thế nào là đạt yêu cầu. Quy tắc đó chính là chỗ bạn trỏ vào endpoint /ready ở Kỹ thuật 2. Phần GPU, hàng đợi và fallback vẫn cần bạn tự thiết kế theo các bước trên.

Tóm tắt

  • Ứng dụng AI khó HA hơn website vì request lâu, khởi động chậm, tài nguyên đắt và phụ thuộc nhiều bên.
  • Đừng để bất kỳ tầng nào chỉ chạy một bản, kể cả vector DB.
  • Health check phải biết model đã sẵn sàng hay chưa.
  • Request dài cho vào hàng đợi; mọi lời gọi model phải có timeout và fallback.
  • Rate limit để vài người dùng không làm chậm tất cả.

Chatbot của bạn từng "đứng hình" vì lý do gì? Kể cho tui nghe ở phần bình luận nha, tui sẽ gom lại làm bài tiếp theo.


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí