Token trong mô hình đa phương tiện: Cách hình ảnh và video được tính toán

Token trong mô hình đa phương tiện: Cách hình ảnh và video được tính toán Giới thiệu Khi GPT-4V, Gemini và Claude 3 mở ra kỷ nguyên mô hình đa phương tiện (multimodal), khả năng "nhìn" hình ảnh và video của LLM đã trở thành một phần không thể thiếu của nhiều ứng dụng hiện đại — từ nhận dạng văn bản trong ảnh, phân tích biểu đồ, đến mô tả nội dung video. Nhưng đi kèm với khả năng mới này là một mô hình tính toán token hoàn toàn khác biệt so với văn bản thuần túy. Hình ảnh và video không được chia thành các "từ" như văn bản — chúng được xử lý thông qua các cơ chế phức tạp hơn, và cách tính phí token cho chúng thường gây bối rối cho nhiều nhà phát triển. Bài viết này sẽ làm sáng tỏ cách các mô hình đa phương tiện tính toán token cho hình ảnh và video, các yếu tố ảnh hưởng đến chi phí, 以及 các chiến lược tối ưu. Cách hình ảnh được chuyển thành Token Không giống như văn bản, nơi một từ hoặc một phần từ tương ứng với một token, hình ảnh được xử lý thông qua một quy trình phức tạp hơn nhiều. Bước đầu tiên là patch embedding. Hầu hết các mô hình thị giác hiện đại (bao gồm cả Vision Transformer - ViT được sử dụng trong GPT-4V và các mô hình tương tự) chia hình ảnh thành các mảnh vuông nhỏ gọi là patch. Ví dụ, một hình ảnh 1024x1024 pixel có thể được chia thành các patch 16x16 pixel, tạo ra tổng cộng 64x64 = 4096 patch. Mỗi patch sau đó được biến đổi thành một vector embedding thông qua một mạng nơ-ron thị giác (vision encoder). Bước thứ hai là token projection. Các vector embedding từ vision encoder được chiếu (project) vào không gian embedding của mô hình ngôn ngữ, biến chúng thành các "visual token" mà mô hình ngôn ngữ có thể hiểu được. Từ góc độ của LLM, mỗi visual token này được xử lý tương tự như một token văn bản thông thường — chúng đi qua các lớp attention, tương tác với token văn bản, và tham gia vào quá trình tạo ra câu trả lời. Điểm quan trọng là số lượng visual token phụ thuộc vào độ phân giải của hình ảnh, không phải vào nội dung của nó. Một hình ảnh 1024x1024 đơn giản (chỉ có vài dòng chữ) và một hình ảnh 1024x1024 phức tạp (bức ảnh chi tiết với hàng ngàn đối tượng) đều tiêu thụ cùng một số lượng visual token. Đây là sự khác biệt cơ bản so với văn bản, nơi số lượng token phụ thuộc vào độ dài nội dung. Cách tính phí Token hình ảnh thực tế Các nhà cung cấp API khác nhau có cách tính phí token hình ảnh khác nhau, nhưng hầu hết đều dựa trên nguyên tắc tương tự: tính phí dựa trên số lượng patch, thường có một mức tối thiểu và chiết khấu cho hình ảnh lớn. Ví dụ, cách tính của OpenAI cho GPT-4V: Hình ảnh được chia thành các tile 512x512 pixel Mỗi tile tương đương với 170 token Có một chi phí cơ bản 85 token cho mỗi hình ảnh Tổng token = 85 + (số tile × 170) Với công thức này: Hình ảnh 512x512: 85 + 1×170 = 255 token Hình ảnh 1024x1024: 85 + 4×170 = 765 token Hình ảnh 2048x2048: 85 + 16×170 = 2805 token Như bạn thấy, chi phí token hình ảnh tăng theo bình phương độ phân giải — tăng gấp đôi độ phân giải làm tăng gấp 4 lần số token. Đây là một quy luật quan trọng cần nhớ khi tối ưu chi phí. Đối với video, cách tính phức tạp hơn nữa. Hầu hết các mô hình xử lý video bằng cách trích xuất các khung hình (frame) tại một tần số nhất định (ví dụ 1 frame/giây), sau đó xử lý từng khung hình giống như một hình ảnh riêng biệt. Một video 1 phút ở 1 frame/giây tạo ra 60 hình ảnh, mỗi hình ảnh có thể tiêu thụ 500-1000 token — tổng cộng 30.000-60.000 token chỉ cho phần hình ảnh, chưa kể văn bản. Đây là lý do tại sao phân tích video vẫn rất đắt đỏ. Các yếu tố ảnh hưởng đến chi phí Hiểu được các yếu tố ảnh hưởng đến chi phí token đa phương tiện là bước đầu tiên để tối ưu. Yếu tố đầu tiên và rõ ràng nhất là độ phân giải. Như đã đề cập, chi phí tăng theo bình phương độ phân giải. Giảm độ phân giải hình ảnh từ 2048x2048 xuống 1024x1024 giảm số token xuống còn 1/4. Tất nhiên, giảm quá nhiều có thể làm mất thông tin chi tiết cần thiết — ví dụ, nếu bạn cần đọc văn bản nhỏ trong ảnh, độ phân giải thấp có thể làm văn bản không đọc được. Yếu tố thứ hai là tỷ lệ cắt (cropping). Nhiều API hỗ trợ "low detail" mode, nơi hình ảnh được thu nhỏ xuống độ phân giải cố định thấp (thường là 512x512) bất kể kích thước gốc. Điều này rất rẻ (thường chỉ 85 token) nhưng chỉ phù hợp cho các tác vụ đơn giản như phân loại chủ đề ảnh. Đối với các tác vụ cần chi tiết, bạn cần "high detail" mode, nơi hình ảnh được chia thành nhiều tile như đã mô tả. Yếu tố thứ ba là số lượng hình ảnh mỗi yêu cầu. Gửi nhiều hình ảnh trong một yêu cầu không chỉ tăng chi phí token mà còn làm tăng độ phức tạp của attention, có thể làm giảm chất lượng đầu ra. Nhiều đội ngũ phát hiện ra rằng việc gửi hình ảnh một cách tuần tự (mỗi hình ảnh trong một yêu cầu riêng) cho chất lượng tốt hơn và đôi khi còn rẻ hơn do không cần gửi lại các hình ảnh trước đó trong lịch sử hội thoại. Yếu tố thứ tư là lịch sử hội thoại. Giống như văn bản, các hình ảnh đã gửi trong lịch sử hội thoại vẫn được tính phí trong mỗi yêu cầu tiếp theo vì chúng là một phần của context window. Nếu bạn gửi 5 hình ảnh trong tin nhắn đầu tiên (tổng 3000 token), và sau đó có 10 vòng hội thoại tiếp theo, những 3000 token hình ảnh đó được tính phí lại trong mỗi vòng — tổng cộng 30.000 token chỉ để "nhớ" các hình ảnh ban đầu. Chiến lược tối ưu Token đa phương tiện Dựa trên những phân tích trên, có một số chiến lược hiệu quả để giảm chi phí token đa phương tiện mà không làm giảm chất lượng ứng dụng. Chiến lược đầu tiên là điều chỉnh độ phân giải theo nhiệm vụ. Không phải mọi tác vụ đều cần hình ảnh độ phân giải cao. Nếu bạn chỉ cần phân loại ảnh chụp món ăn là "pizza" hay "burger", hình ảnh 256x256 là hoàn toàn đủ. Nếu bạn cần đọc số trên hóa đơn, bạn có thể cần 1024x1024 hoặc cao hơn cho khu vực chứa số. Một kỹ thuật nâng cao là sử dụng mô hình nhỏ để phát hiện khu vực quan trọng trong ảnh (ví dụ khu vực chứa văn bản), sau đó chỉ cắt và gửi khu vực đó ở độ phân giải cao trong khi gửi phần còn lại ở độ phân giải thấp. Chiến lược thứ hai là tóm tắt hình ảnh sau khi xử lý. Sau khi mô hình đã phân tích một hình ảnh và trích xuất thông tin cần thiết, thay vì giữ nguyên hình ảnh trong lịch sử hội thoại, hãy thay thế nó bằng một bản tóm tắt văn bản về nội dung hình ảnh. Ví dụ, thay vì giữ 1000 token của hình ảnh hóa đơn, hãy thay thế bằng 100 token tóm tắt: "Hóa đơn ngày 15/07/2026, tổng cộng 1.250.000 VNĐ, bao gồm 3 mặt hàng". Điều này giảm đáng kể chi phí context cho các vòng hội thoại tiếp theo. Chiến lược thứ ba là xử lý video thông minh. Thay vì gửi mọi khung hình của video, hãy sử dụng các kỹ thuật phát hiện khung hình quan trọng (keyframe detection) để chỉ gửi những khung hình có thay đổi nội dung đáng kể. Đối với nhiều loại video (như bài giảng, thuyết trình), 90% các khung hình gần như giống nhau và không cần xử lý riêng. Chỉ gửi 5-10 khung hình quan trọng thay vì 60 khung hình có thể giảm chi phí xuống 80-90%. Chiến lược thứ tư là lựa chọn mô hình phù hợp. Không phải mọi tác vụ đa phương tiện đều cần GPT-4V. Đối với các tác vụ đơn giản như OCR cơ bản, phân loại ảnh, hoặc mô tả chung, các mô hình nhỏ hơn, rẻ hơn như Qwen-VL, Llama 3 Vision hoặc các mô hình mở khác có thể cho kết quả đủ tốt với chi phí thấp hơn nhiều. Các nền tảng điện toán phân tán như Novita thường hỗ trợ chạy các mô hình đa phương tiện mở với chi phí cạnh tranh, rất phù hợp cho các tác vụ không cần chất lượng cao nhất. Kết luận Token trong mô hình đa phương tiện tuân theo những quy luật khác biệt so với token văn bản, và hiểu được những khác biệt này là chìa khóa để xây dựng các ứng dụng hiệu quả về chi phí. Bằng cách điều chỉnh độ phân giải theo nhiệm vụ, tóm tắt hình ảnh sau xử lý, chọn lọc khung hình video thông minh và lựa chọn mô hình phù hợp, các đội ngũ có thể giảm 60-80% chi phí token đa phương tiện mà vẫn duy trì chất lượng ứng dụng. Khi các mô hình đa phương tiện ngày càng phổ biến và khả năng xử lý video, âm thanh và các phương tiện khác tiếp tục được cải thiện, việc quản lý thông minh chi phí token đa phương tiện sẽ ngày càng trở thành một kỹ năng thiết yếu cho mọi nhà phát triển ứng dụng AI.