Giải thích Aixy gateway

1. Tổng quan: Aixy là gì?

Aixy đóng vai trò là một AI Gateway (hoặc Control Layer) – một proxy trung gian nằm giữa:

• Client / Applications (Ứng dụng nội bộ, AI App, AI Agents)
• LLM Providers / Tool APIs (OpenAI, Anthropic, Gemini, Azure, MCP tools,...)

Thay vì từng app/service gọi trực tiếp API của OpenAI hay Anthropic, tất cả request đều phải chạy qua Aixy.

2. Kiến trúc & Chức năng chính (The Core Capabilities)

Nhìn vào sơ đồ trên màn hình, kiến trúc này giải quyết 4 bài toán lớn trong doanh nghiệp:

Access & Authentication (Quản lý truy cập & Định danh)

• Vấn đề: Nếu đưa API Key của OpenAI cho từng developer hoặc từng team, nguy cơ lộ key hoặc khó thu hồi rất cao.
• Giải pháp: Aixy tập trung quản lý API Key của các Provider (Centralized Credentials). Developer hoặc App chỉ dùng Project Key hoặc Enterprise SSO cấp qua Aixy.

Policies & Cost Control (Chính sách & Quản lý chi phí)

• Vấn đề: Một agent viết lỗi hoặc loop vô tận có thể "ngốn" hàng nghìn USD chỉ trong vài giờ.
• Giải pháp: Thiết lập Hard Budgets theo Org, Team, Project, hoặc Key. Khi vượt ngưỡng chi phí, Aixy sẽ chặn (reject) request ngay lập tức trước khi nó được forward tới Provider.

Routing & Fallback (Định tuyến thông minh)

• Vấn đề: Provider A (như OpenAI) bị nghẽn/down hoặc muốn điều hướng request theo tối ưu chi phí/latency.
• Giải pháp: Aixy điều hướng request (Model Routing) linh hoạt đến đúng Provider/Model phù hợp mà ứng dụng bên trên không cần thay đổi code.

Visibility & Observability (Giám sát & Đọc chỉ số)

• Vấn đề: Không biết team nào đang xài bao nhiêu token, request nào bị lỗi hay chậm.
• Giải pháp: Theo dõi toàn bộ Request Volume, Latency (ví dụ p90 < 30ms), Token usage, Cost và Errors theo dạng thời gian thực (Real-time).

3. Khái niệm kĩ thuật nâng cao cần chú ý

1. MCP (Model Context Protocol) Endpoint:

• Xu hướng mới giúp AI Agents kết nối với các công cụ (Agent Tools) bên ngoài. Aixy cũng đóng vai trò quản lý quyền truy cập vào các công cụ này.

2. OpenAI-Compatible Endpoints:

• Aixy cung cấp giao diện chuẩn OpenAI. Nhờ đó, khi viết code backend, em chỉ cần đổi baseURL trỏ về Aixy Gateway là hệ thống hoạt động mà không cần sửa cấu hình SDK.

3. Data Boundary & GDPR/EU AI Act:

• Thiết lập hạ tầng tuân thủ bảo mật data (ví dụ đặt ở Frankfurt - Đức) và mặc định tắt Content Capture (không ghi log prompt/response) để bảo vệ dữ liệu nhạy cảm của khách hàng.