Quản lý Token Budget cho AI Agent: Framework 4 tầng khi chi phí tăng 3-10x

Quản lý Token Budget cho AI Agent: Framework 4 tầng khi chi phí tăng 3-10x

Khi chuyển từ chatbot sang AI Agent đa bước, token tăng theo cấp số nhân. Multi-agent tiêu tốn ~500K tokens, chat đơn giản chỉ ~1K tokens (VamsiTalksTech, 06/2026).

Tại sao Agent "đốt" token nhanh?

Công thức: session_cost ≈ cost_per_token × tokens_per_call × calls_per_turn × turns_per_session

Mỗi vòng lặp think-act-observe đều sinh token. Agent gọi 3 tool, gặp lỗi, retry, tổng hợp — gấp 10 lần so với trả lời trực tiếp.

表格 Tương tác Token Chi phí (GPT-5.4) Chat đơn ~1K ~$0,015 RAG query ~10K ~$0,15 Tool-calling ~50K ~$0,75 Single Agent ~150K ~$2,25 Multi-Agent ~500K ~$7,50

Bảng giá API (tháng 6/2026, nguồn: Morph LLM, BetOnAI)

表格 Model Input/1M Output/1M Tầng DeepSeek V4 Flash $0,14 $0,28 Budget Claude Haiku 4.5 $1,00 $5,00 Mid Gemini 3.5 Flash $1,50 $9,00 Mid GPT-5.4 $2,50 $15,00 Premium Claude Sonnet 4.6 $3,00 $15,00 Premium GPT-5.5 $5,00 $30,00 Frontier Claude Opus 4.8 $5,00 $25,00 Frontier

Output gấp 3-6 lần input — điểm then chốt khi thiết kế prompt.

Framework 4 tầng kiểm soát chi phí

Tầng 1 — Model routing: Phân loại request, route 95% sang model nhỏ. Phân loại → DeepSeek V4 Flash ($0,14/$0,28). Trích xuất → Haiku 4.5 ($1/$5). Suy luận phức tạp → Sonnet 4.6 ($3/$15). Tổng hợp → GPT-5.5 ($5/$30). Giảm 70-90% tổng chi phí (VamsiTalksTech).

Tầng 2 — Prompt caching: System prompt, tool descriptions lặp lại mỗi lượt. Caching giảm 30-60% input tokens (OpenAI ~50%, Anthropic ~90%). Đặt nội dung ổn định lên đầu prompt.

Tầng 3 — Circuit breaker: Ba ngưỡng: cảnh báo tại 80% budget, hạ cấp model tại 90%, ngắt mạch tại 100%. Agent tự chuyển sang model rẻ hơn khi gần hết ngân sách thay vì dừng đột ngột.

Tầng 4 — Context compression: Agent chạy dài → context tăng dần. Nén các lượt trước xuống 8K-16K tokens thay vì giữ nguyên 100K+. Đặt max_tokens rõ ràng, dùng structured output (JSON schema) để giảm token thừa.

Ví dụ thực tế

Workflow 1.000 req/ngày, 5 bước/req:

Không tối ưu (toàn Sonnet 4.6): ~$2.700/ngày Phân tầng + caching: ~$975/ngày (giảm 64%)

Kết luận

Token budget management là phân bổ đúng chỗ, không phải cắt giảm. Bốn trụ cột: model routing, prompt caching, circuit breaker, context compression.

Tham khảo:

Morph LLM - LLM API Providers 2026 BetOnAI - AI API Pricing War June 2026 VamsiTalksTech - The Agentic AI Tax PragmaticStack - Your Agent Has a Spending Problem

Miệng trừ trách nhiệm: Bài viết chia sẻ kỹ thuật, không phải tư vấn thương mại. Giá API thay đổi theo thời gian — kiểm tra trang pricing chính thức trước khi quyết định.

Bạn xây Agent thế nào? Gặp vấn đề chi phí token ra sao? Comment cùng thảo luận nhé!