Tự đo chi phí thật của một mô hình AI trước khi chuyển sang: ví dụ với Kimi K3.1 Pro

Ảnh minh hoạ được tạo bằng image2, không phải ảnh chụp sản phẩm.

Khi một mô hình mới ra mắt với mức giá thấp hơn, phản xạ thường là chuyển sang ngay. Giá trên bảng của Kimi K3.1 Pro đọc rất dễ chịu: 2 đô-la cho một triệu token đầu vào, 10 đô-la cho một triệu token đầu ra, so với 3 và 15 của kimi-k3. Rẻ hơn một phần ba ở cả hai chiều.

Nhưng bảng giá chỉ trả lời một câu hỏi: một token giá bao nhiêu. Nó không trả lời câu hỏi mà người làm kỹ thuật thật sự cần: một tác vụ của tôi tốn bao nhiêu tiền.

Bài này hướng dẫn cách tự đo, bằng chính tài khoản của bạn, trong khoảng một giờ. Toàn bộ chi phí cho lần đo dưới đây là khoảng 1,14 đô-la cho 14 lượt gọi.

Ba khái niệm cần nắm trước khi đo

Nếu bỏ qua ba khái niệm này, mọi phép tính sau đều sai.

Token là đơn vị mà mô hình đọc và viết. Với tiếng Việt, một token thường tương ứng khoảng 2 đến 4 ký tự, nhưng con số chính xác do bộ tách từ quyết định, nên đừng ước lượng bằng số từ.

Token suy luận (reasoning token) là phần mô hình "nghĩ" trước khi viết câu trả lời. Phần này được tính vào token đầu ra và bị tính tiền theo giá đầu ra. Đây chính là biến số khiến mô hình rẻ hơn trên bảng lại đắt hơn trên hoá đơn.

Bộ nhớ đệm (cache) là cơ chế ghi nhớ phần nội dung đã gửi trước đó. Nếu bạn hỏi lại trên cùng một tài liệu, phần đã ghi nhớ chỉ bị tính khoảng một phần mười giá gốc.

Chuẩn bị

Bạn cần bốn thứ:

1. Một tài khoản API dùng được cả hai mô hình.
2. Đúng một tài liệu dài, khoảng 10.000 đến 60.000 ký tự. Dùng cùng một tài liệu cho tất cả các lượt đo.
3. Từ năm đến bảy tác vụ khác nhau về bản chất, không chỉ khác câu hỏi.
4. Một chỗ ghi lại số liệu, ví dụ một tệp CSV.

Điểm quan trọng nhất là tính đại diện. Nếu bạn chỉ đo một tác vụ, kết quả sẽ phản ánh tác vụ đó, không phản ánh công việc của bạn.

Năm bước đo

Bước 1: chọn tác vụ theo hình dạng token, không theo tên.

Đừng chọn "viết email" hay "tóm tắt báo cáo". Hãy chọn theo tỉ lệ đầu vào và đầu ra, vì đó mới là thứ quyết định hoá đơn. Bốn hình dạng cần có:

• Đọc nhiều, viết ít: tìm thông tin trong tài liệu dài.
• Đọc ít, viết nhiều: sửa một đoạn mã nhỏ hoặc viết lại một đoạn văn.
• Đọc ít, viết ít, nhưng suy luận nhiều: tính toán, gọi công cụ.
• Đọc nhiều, viết vừa: tóm tắt tài liệu dài.

Bước 2: cố định lời nhắc.

Dùng đúng một lời nhắc cho cả hai mô hình. Không tinh chỉnh riêng cho từng bên. Mục tiêu là so sánh công bằng khi chuyển đổi, không phải tìm ra lời nhắc tốt nhất.

Bước 3: gọi và ghi lại usage.

Đây là phần dễ sai nhất. Bạn cần ba con số: token đầu vào, token đầu ra, và token suy luận. Nhiều thư viện chỉ trả về nội dung, bạn phải đọc trường usage trong phản hồi.

import requests

def goi(model, prompt, max_tokens=16000):
    r = requests.post(
        "https://api.example.com/v1/chat/completions",
        headers={"Authorization": "Bearer " + API_KEY},
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "max_tokens": max_tokens,
        },
        timeout=600,
    )
    r.raise_for_status()
    data = r.json()
    u = data["usage"]
    return {
        "vao": u["prompt_tokens"],
        "ra": u["completion_tokens"],
        "suy_luan": u.get("completion_tokens_details", {}).get("reasoning_tokens", 0),
        "noi_dung": data["choices"][0]["message"]["content"],
        "ly_do_dung": data["choices"][0].get("finish_reason"),
    }

Lưu ý: completion_tokens thường đã bao gồm token suy luận. Đừng cộng thêm lần nữa.

Bước 4: quy đổi ra tiền.

Nhân với giá niêm yết. Với kimi-k3 là 3 và 15, với Kimi K3.1 Pro là 2 và 10, tính trên một triệu token.

Bước 5: so sánh theo từng tác vụ, không theo tổng.

Tổng số che mất chi tiết quan trọng nhất: tác vụ nào thắng, tác vụ nào thua.

Vì sao phải đo theo hình dạng tác vụ

Có một sai lầm phổ biến: đo một tác vụ duy nhất rồi kết luận cho cả hệ thống. Nếu tác vụ đó là tìm thông tin trong tài liệu dài, bạn sẽ kết luận mô hình mới rẻ hơn và chuyển toàn bộ. Nếu tác vụ đó là sửa mã, bạn sẽ kết luận ngược lại và bỏ qua một khoản tiết kiệm thật.

Lý do rất cụ thể. Chi phí phụ thuộc vào tỉ lệ giữa token đầu vào và token suy luận. Một tác vụ đọc 60.000 token và viết 200 token gần như chỉ trả cho phần đọc. Một tác vụ đọc 200 token và suy luận 1.500 token gần như chỉ trả cho phần viết. Hai tác vụ này không thể đại diện cho nhau, và cũng không thể lấy trung bình của chúng.

Vì vậy bước chọn tác vụ quan trọng hơn bước tính toán. Nếu chỉ được chọn ba tác vụ, hãy chọn: một tác vụ đọc nhiều, một tác vụ viết nhiều có suy luận, và một tác vụ đọc nhiều viết vừa.

Cách đọc bảng kết quả

Đừng nhìn cột tổng. Hãy nhìn hai cột chi phí và tự hỏi: chênh lệch này có đủ lớn để thay đổi quyết định không.

Với tác vụ gọi công cụ, chênh lệch là 0,0025 đô-la. Nhân với 10.000 lượt gọi một tháng thành 25 đô-la. Với tác vụ tóm tắt tài liệu, chênh lệch là 0,03 đô-la mỗi lần. Nhân với 200 tài liệu mỗi ngày, 22 ngày một tháng, thành 132 đô-la. Cùng một tỉ lệ phần trăm, nhưng quy mô khác nhau hoàn toàn.

Đây là lý do phải đo theo tác vụ: phần trăm không nói được gì cho đến khi nhân với số lần chạy.

Khi nào bộ nhớ đệm thay đổi kết luận

Công thức ở trên dùng giá đầu vào lần đầu. Nếu bạn hỏi lại trên cùng một tài liệu, phần đã ghi nhớ chỉ còn khoảng một phần mười giá.

Khi đó điều kiện đổi thành:

10 × ra của K3.1 Pro − 15 × ra của kimi-k3 < 0,1 × vào

Vế phải nhỏ đi mười lần, nên mô hình mới thắng dễ hơn nhiều. Trong lần đo này, tỉ lệ trúng bộ nhớ đệm ở tác vụ tài liệu dài là 98,7 phần trăm.

Bài học thực hành: gửi tài liệu một lần, hỏi nhiều lần, thay vì gửi lại toàn bộ ở mỗi câu hỏi.

Kết quả thực đo

Bảy tác vụ, hai mô hình, cùng một ngày:

Tác vụ	Đầu vào	Ra kimi-k3	Ra K3.1 Pro	Chi phí kimi-k3	Chi phí K3.1 Pro
Tìm trong tài liệu 55k	61.567	279	240	$0,189	$0,126
Sửa mã	181	328	1.545	$0,0055	$0,0160
Gọi công cụ và tính	540	197	101	$0,0046	$0,0021
Tóm tắt tài liệu 55k	61.576	4.102	6.098	$0,246	$0,184
Tìm trong tài liệu 12k	11.786	1.048	2.000	$0,0511	$0,0436
Tóm tắt tài liệu 12k	11.773	2.530	8.000	$0,0733	$0,1035
Viết thư trả lời 12k	11.789	882	2.258	$0,0486	$0,0462

Năm tác vụ rẻ hơn, hai tác vụ đắt hơn. Hai tác vụ đắt hơn đều là việc làm hằng ngày: sửa mã và tóm tắt tài liệu cỡ trung.

Nhìn vào tác vụ sửa mã để hiểu nguyên nhân. Kimi K3.1 Pro tạo ra 1.545 token đầu ra, trong đó 1.468 là token suy luận. kimi-k3 chỉ tạo 328. Suy luận bị tính theo giá đầu ra, nên mức chênh 5 đô-la trên một triệu token không bù được 1.500 token.

Mỗi dòng được chuẩn hoá theo giá trị lớn nhất. Số liệu đo ngày 26-10-2026.

Công thức quyết định

Hai bảng giá rút lại thành hai biểu thức, với đầu vào và đầu ra tính theo triệu token:

• kimi-k3: 3 × vào + 15 × ra
• Kimi K3.1 Pro: 2 × vào + 10 × ra

Mô hình mới rẻ hơn khi biểu thức thứ hai nhỏ hơn biểu thức thứ nhất. Trừ hai vế:

10 × ra của K3.1 Pro − 15 × ra của kimi-k3 < vào

Hai vế đều là số token nên so sánh trực tiếp được. Nếu vế trái nhỏ hơn đầu vào, hãy chuyển. Nếu lớn hơn, giữ nguyên. Nếu vế trái âm, chuyển bất kể đầu vào.

Công thức này dự đoán đúng dấu kết quả ở cả bảy tác vụ, kể cả hai trường hợp sát biên.

Bốn lỗi thường gặp

Một, gửi kèm temperature. Với mô hình này, thêm tham số temperature — dù là 0 hay 0,6 — sẽ nhận lỗi 400. Thông báo không chỉ ra trường nào sai. Bỏ tham số là chạy lại được.

Hai, đặt max_tokens quá thấp. Với giới hạn 8.000 token, tác vụ tóm tắt dùng hết 7.997 token cho suy luận, trả về chuỗi rỗng, lý do kết thúc là length, sau 229 giây và vẫn bị tính 0,1035 đô-la. Nâng lên 16.000 thì xong trong 150,8 giây với 0,184 đô-la.

Ba, bỏ qua cặp tín hiệu cảnh báo. Nội dung rỗng cộng với lý do kết thúc là length là dấu hiệu chắc chắn rằng ngân sách đã bị suy luận ăn hết. Đây không phải mã lỗi, nên giám sát chỉ nhìn status code sẽ bỏ sót.

Bốn, tính thời gian theo trung bình. Cùng một nhóm tác vụ, thời gian chạy từ 8,5 đến 216,3 giây. Lập kế hoạch theo con số trung bình là cách chắc chắn nhất để tắc ở bước thứ mười.

Tổng kết

Giá trên bảng là thông tin dành cho bộ phận mua hàng. Quyết định kỹ thuật cần ba con số: đầu vào, đầu ra, và phần suy luận trong đầu ra. Ba con số đó lấy được từ một lượt gọi thật, và phép trừ chỉ mất ba mươi giây.

Hai mô hình dùng chung một endpoint; giá và tình trạng hiện tại nằm trong danh mục mô hình.

Giá theo công bố ngày 26 tháng 10 năm 2026; số token và chi phí lấy từ lần đo cùng ngày.