Skill caveman cho Claude Code tiết kiệm bao nhiêu token? Số liệu từ 180 lần chạy

Muốn Claude Code trả lời ngắn hơn, hãy bật skill caveman cho cả một phiên làm việc dài. Với câu hỏi lẻ, mỗi câu một phiên mới, chạy thuần sẽ rẻ hơn.

Lý do rất đơn giản: AgentCraft đã đo. Nhóm hỏi 20 câu hỏi lập trình, mỗi câu 3 lần, mỗi lần là một phiên claude -p mới trên Haiku, với ba cấu hình: chạy thuần, caveman và ponytail. Tổng cộng 180 lần chạy, mọi câu trả lời đều được chấm tự động. Bài gốc kèm bảng đầy đủ, script và dữ liệu: Caveman skill tested.

Kết quả chính

• Ngắn hơn, vẫn đúng. Caveman giảm 38% tổng token đầu ra. Câu trả lời trung vị từ 128 từ xuống 55 từ. Cả 60 câu trả lời của caveman đều đúng, bằng với khi chạy thuần.
• Khoảng một phần ba. Câu hỏi trung vị tiết kiệm 34%. Mức dao động từ giảm 76% (chia list thành từng khúc) đến tăng 16% (hoàn tác commit cuối cùng).
• Câu hỏi lẻ đắt hơn 11%. Mỗi phiên mới phải nạp chỉ dẫn của skill, khoảng 1.800 token đầu vào. Với câu trả lời ngắn, phần này lớn hơn phần output tiết kiệm được.
• Ponytail viết dài hơn 50%. Cuối mỗi câu trả lời nó liệt kê những gì đã bỏ qua và cần kiểm tra. Đổi lại, số dòng code trung vị giảm từ 5,5 xuống 3.

Vì sao cắt output mà hóa đơn lại tăng?

Mỗi phiên Claude Code mở đầu với khoảng 18.000 token system prompt và định nghĩa công cụ, phiên mới phải ghi phần lớn số đó vào prompt cache. Tính ngược từ 180 lần chạy, ghi cache chiếm 75% chi phí một lần chạy thuần, output chỉ 18%. Caveman thêm khoảng 1.700 token vào lần ghi đó và bớt khoảng 240 token output mỗi câu. Trong một phiên dài, chỉ dẫn được ghi một lần rồi đọc lại từ cache với giá bằng một phần hai mươi, nên cán cân đảo chiều.

Dùng thế nào cho lợi

1. Bật caveman khi làm việc cả buổi trong một phiên. Phần chỉ dẫn trả một lần, phần trả lời ngắn cộng dồn cả buổi.
2. Tiết kiệm nhiều nhất ở code: 55%. Caveman lược bỏ khối ví dụ >>> mà 8 trên 18 câu trả lời thuần tự thêm vào.
3. Bước nguy hiểm vẫn đọc hết. Quy tắc của caveman tự quay về câu đầy đủ khi có cảnh báo bảo mật hoặc thao tác xóa vĩnh viễn; câu hỏi về rm -rf vẫn giữ nguyên cảnh báo.
4. Tự đo trên việc của mình. Trung vị ở đây là 34%, README minh họa 68%, một bài review trên Reddit nói 65%. Con số phụ thuộc vào việc model dài dòng đến đâu khi chạy thuần.

Giới hạn: chỉ đo trên Haiku; câu hỏi đơn trong phiên mới là trường hợp bất lợi nhất cho chi phí chỉ dẫn; chấm tự động kiểm tra ý chính và test, các sắc thái tinh tế nằm ngoài phạm vi.

Bạn hay hỏi Claude Code để đọc giải thích, hay để lấy code dán thẳng vào dự án? Caveman giúp việc đầu một chút và việc sau rất nhiều.

Cả caveman và ponytail đều có trong danh mục skill của AgentCraft, kèm lệnh cài đặt.

Adrian Vale viết bài này. Tác giả tham gia vận hành AgentCraft.