Token và hệ thống Agent: Tối ưu chi phí cho tác vụ tự động hóa phức tạp

Token và hệ thống Agent: Tối ưu chi phí cho tác vụ tự động hóa phức tạp Giới thiệu Khi các hệ thống Agent AI ngày càng được sử dụng rộng rãi để tự động hóa các tác vụ phức tạp — từ nghiên cứu thị trường, phân tích dữ liệu, đến quản lý dự án và hỗ trợ khách hàng đa bước — một thách thức kỹ thuật quan trọng đã dần nổi lên: các hệ thống Agent tiêu thụ token với tốc độ và quy mô hoàn toàn khác biệt so với các ứng dụng LLM đơn lẻ. Một Agent thực hiện một tác vụ nghiên cứu đơn giản có thể dễ dàng tiêu tốn 50.000 đến 200.000 token trong vòng vài phút, vượt xa chi phí của một cuộc trò chuyện thông thường. Bài viết này sẽ phân tích sâu về đặc điểm tiêu thụ token trong hệ thống Agent, các điểm lãng phí phổ biến, 以及 các chiến lược tối ưu hiệu quả đã được kiểm nghiệm trong production. Đặc điểm tiêu thụ Token của Agent Để hiểu tại sao Agent lại tốn nhiều token như vậy, trước hết cần xem xét cách một hệ thống Agent điển hình hoạt động. Không giống như một ứng dụng chat đơn giản nơi người dùng gửi một câu hỏi và nhận một câu trả lời, một Agent hoạt động theo một vòng lặp nhiều bước. Agent nhận nhiệm vụ, suy nghĩ về cách tiếp cận, chọn một công cụ để sử dụng, thực thi công cụ đó, quan sát kết quả, sau đó lặp lại quá trình cho đến khi hoàn thành nhiệm vụ. Mỗi bước trong vòng lặp này đều bao gồm một lần gọi LLM, và mỗi lần gọi đều phải gửi lại toàn bộ lịch sử của phiên làm việc — bao gồm tất cả các suy nghĩ trước đó, tất cả các hành động đã thực hiện, và tất cả các kết quả quan sát được. Điều này tạo ra một hiện tượng gọi là tích lũy token theo cấp số nhân. Ở bước đầu tiên, Agent có thể chỉ cần 500 token context. Nhưng sau 10 bước, mỗi lần gọi LLM mới phải gửi lại 5.000 đến 10.000 token lịch sử cộng thêm thông tin mới. Sau 20 bước, con số này có thể vượt quá 30.000 token mỗi lần gọi. Và vì mỗi bước đều gọi LLM, tổng số token tiêu thụ trong một phiên Agent có thể nhanh chóng lên đến hàng trăm nghìn. Một đặc điểm khác làm tăng chi phí là kết quả công cụ thường rất lớn. Khi Agent sử dụng một công cụ tìm kiếm web, kết quả trả về có thể chứa hàng nghìn token văn bản thô từ các trang web. Khi Agent đọc một file, toàn bộ nội dung file được đưa vào context. Những kết quả này không chỉ lớn mà còn thường chứa nhiều thông tin không liên quan, làm tăng nhiễu và lãng phí token. Các điểm lãng phí phổ biến Dựa trên kinh nghiệm phân tích nhiều hệ thống Agent trong production, có ba điểm lãng phí token phổ biến nhất mà hầu hết các đội ngũ đều gặp phải. Điểm đầu tiên là gửi lại toàn bộ lịch sử mà không lọc. Nhiều triển khai Agent đơn giản sử dụng một danh sách tin nhắn phẳng, nơi mọi suy nghĩ, hành động và quan sát từ đầu đến cuối đều được gửi lại trong mỗi lần gọi LLM. Thực tế là, nhiều thông tin trong lịch sử không còn liên quan đến bước hiện tại. Một kết quả tìm kiếm từ 10 bước trước có thể đã được tổng hợp và không cần giữ lại nguyên bản. Nhưng nếu không có cơ chế lọc, tất cả những thông tin thừa này vẫn được tính phí trong mỗi lần gọi. Điểm thứ hai là kết quả công cụ không được tóm tắt. Như đã đề cập, kết quả từ các công cụ như tìm kiếm web, đọc file, hoặc truy vấn cơ sở dữ liệu thường rất lớn và chứa nhiều thông tin không liên quan. Nhiều hệ thống Agent đưa toàn bộ kết quả thô vào context, ngay cả khi Agent chỉ cần một vài thông tin cụ thể từ kết quả đó. Một kết quả tìm kiếm 5.000 token có thể chỉ chứa 200 token thông tin thực sự hữu ích cho nhiệm vụ, nhưng 4.800 token còn lại vẫn được tính phí và làm nhiễu cho LLM. Điểm thứ ba là Agent lặp lại các bước không cần thiết. Do hạn chế về khả năng lập kế hoạch dài hạn, nhiều Agent bị mắc kẹt trong các vòng lặp không hiệu quả — sử dụng cùng một công cụ với các tham số tương tự, đọc lại các file đã đọc, hoặc thực hiện các hành động không tiến triển nhiệm vụ. Mỗi lần lặp lại này đều tiêu tốn token mà không mang lại giá trị. Một nghiên cứu của các nhà nghiên cứu tại Đại học Stanford cho thấy trung bình 20-30% các bước trong các phiên Agent là không cần thiết hoặc lặp lại, tương đương với một phần đáng kể tổng chi phí token. Chiến lược tối ưu Token cho Agent Đối mặt với những thách thức này, các đội ngũ phát triển Agent đã phát triển nhiều chiến lược tối ưu hiệu quả. Chiến lược đầu tiên là tóm tắt lịch sử thông minh. Thay vì giữ toàn bộ lịch sử dạng thô, hệ thống định kỳ sử dụng một LLM nhỏ, rẻ để tóm tắt các phần cũ của lịch sử Agent, chỉ giữ lại những thông tin cốt lõi cần thiết cho các bước tiếp theo. Ví dụ, sau mỗi 5 bước, 3 bước đầu tiên được tóm tắt thành một đoạn ngắn 200 token, trong khi 2 bước gần nhất được giữ nguyên chi tiết. Kỹ thuật này có thể giảm kích thước lịch sử xuống 50-70% mà ít ảnh hưởng đến hiệu suất của Agent, vì các thông tin quan trọng vẫn được giữ lại trong bản tóm tắt. Chiến lược thứ hai là lọc và tóm tắt kết quả công cụ. Trước khi đưa kết quả công cụ vào context của Agent, hệ thống sử dụng một mô hình nhỏ để phân tích kết quả và chỉ trích xuất những thông tin thực sự liên quan đến nhiệm vụ hiện tại. Đối với kết quả tìm kiếm web, điều này có nghĩa là chỉ giữ lại các đoạn văn bản liên quan đến câu hỏi của Agent, loại bỏ điều hướng, quảng cáo, và nội dung không liên quan. Đối với file lớn, điều này có nghĩa là chỉ trích xuất các phần liên quan thay vì đưa toàn bộ file. Kỹ thuật này không chỉ giảm token mà còn cải thiện chất lượng quyết định của Agent bằng cách giảm nhiễu trong context. Chiến lược thứ ba là hạn chế số bước và phát hiện vòng lặp. Cấu hình Agent với một giới hạn số bước tối đa hợp lý, và triển khai cơ chế phát hiện khi Agent đang lặp lại các hành động tương tự. Nếu phát hiện Agent đã sử dụng cùng một công cụ với tham số tương tự hơn 2 lần mà không tiến triển, hệ thống có thể can thiệp — yêu cầu Agent thay đổi chiến lược, cung cấp gợi ý, hoặc thậm chí kết thúc phiên với một câu trả lời dựa trên thông tin đã thu thập được. Điều này ngăn chặn Agent tiêu tốn token vô hạn trong các vòng lặp không hiệu quả. Chiến lược thứ tư là sử dụng mô hình phân tầng. Không phải mọi bước trong quy trình Agent đều cần mô hình mạnh nhất và đắt nhất. Các bước đơn giản như tóm tắt kết quả, lọc thông tin, hoặc các quyết định rõ ràng có thể được xử lý bởi các mô hình nhỏ, nhanh và rẻ hơn. Chỉ dành các mô hình lớn, đắt hơn cho các bước phức tạp đòi hỏi suy luận sâu hoặc ra quyết định quan trọng. Các nền tảng điện toán phân tán như Novita thường hỗ trợ chạy nhiều mô hình với các kích thước khác nhau, cho phép các đội ngũ triển khai kiến trúc phân tầng này một cách hiệu quả và tiết kiệm chi phí. Đánh đổi và thực hành tốt nhất Như mọi kỹ thuật tối ưu, việc giảm token trong hệ thống Agent đi kèm với những đánh đổi về hiệu suất mà các đội ngũ cần cân nhắc cẩn thận. Tóm tắt lịch sử quá mạnh có thể làm Agent mất các chi tiết quan trọng cần thiết cho các bước sau, dẫn đến quyết định sai hoặc lặp lại các hành động vì "quên" những gì đã làm. Do đó, việc tóm tắt cần được thực hiện một cách cẩn thận, giữ lại các sự kiện cốt lõi và kết quả quan trọng, chỉ loại bỏ các chi tiết thừa. Lọc kết quả công cụ quá agresive có thể làm Agent bỏ lỡ thông tin quan trọng bị ẩn trong phần bị loại bỏ. Một cách tiếp cận an toàn hơn là giữ lại kết quả đầy đủ trong bộ nhớ ngắn hạn cho lần sử dụng đầu tiên, sau đó tóm tắt cho các lần tham chiếu sau. Điều này đảm bảo Agent có đầy đủ thông tin khi cần, nhưng không phải trả phí lặp lại cho toàn bộ kết quả trong mọi bước tiếp theo. Một thực hành tốt nhất mà mọi hệ thống Agent nên áp dụng là theo dõi chi tiết sử dụng token theo từng bước. Ghi lại số lượng token tiêu thụ trong mỗi lần gọi LLM, phân bổ giữa input và output, 以及 tổng tích lũy theo phiên. Dữ liệu này sẽ giúp bạn xác định chính xác các bước nào tốn nhiều token nhất, nơi cần tối ưu, 以及 tác động của các thay đổi tối ưu đến hiệu suất tổng thể. Một thực hành khác là thiết lập ngân sách token cho mỗi nhiệm vụ. Xác định trước một giới hạn token tối đa cho mỗi phiên Agent, và khi đạt đến giới hạn đó, Agent phải tổng hợp kết quả dựa trên thông tin đã thu thập được và kết thúc. Điều này ngăn chặn các phiên Agent chạy vô tận và tiêu tốn token không kiểm soát, đặc biệt quan trọng đối với các dịch vụ面向 người dùng cuối nơi chi phí mỗi phiên cần được dự đoán được. Kết luận Hệ thống Agent đại diện cho một bước tiến quan trọng trong khả năng tự động hóa của AI, nhưng chúng cũng mang lại những thách thức về chi phí token hoàn toàn mới so với các ứng dụng LLM đơn lẻ. Sự tích lũy token theo cấp số nhân trong các vòng lặp nhiều bước, kết quả công cụ lớn, và nguy cơ lặp lại không hiệu quả có thể làm chi phí mỗi phiên Agent vượt xa dự báo ban đầu. Bằng cách hiểu rõ đặc điểm tiêu thụ token của Agent, áp dụng các chiến lược như tóm tắt lịch sử thông minh, lọc kết quả công cụ, hạn chế số bước, và sử dụng kiến trúc mô hình phân tầng, các đội ngũ có thể giảm 50-70% chi phí token mà vẫn duy trì hiệu suất của Agent ở mức cao. Khi các hệ thống Agent ngày càng trở nên phổ biến và được giao những nhiệm vụ phức tạp hơn, khả năng quản lý và tối ưu token hiệu quả sẽ không chỉ là một kỹ năng kỹ thuật — đó sẽ là yếu tố quyết định sự bền vững về kinh tế của các sản phẩm AI tự động hóa.