0

Context window của AI: vì sao phiên càng dài AI càng ngớ ngẩn

Buổi sáng bạn mở một cuộc trò chuyện với AI, chốt với nó vài quyết định: dùng thư viện A chứ không dùng B, đặt tên theo kiểu này, không đụng vào thư mục kia. Làm việc trơn tru tới trưa. Chiều, AI bắt đầu dùng lại thư viện B, đặt tên kiểu khác, và hỏi lại một câu bạn đã trả lời từ sáng.

Nó không cố tình. Nó thật sự đã "quên". Bài này giải thích vì sao chuyện đó xảy ra bằng ngôn ngữ đời thường, và đưa ra bốn thói quen để phiên làm việc dài vẫn trơn tru. Mình viết theo kiểu hỏi đáp, vì đây đúng là những câu mình từng thắc mắc.

Context window là gì?

Hình dung AI có một cái bàn làm việc với diện tích cố định. Mọi thứ nó cần để trả lời bạn phải nằm trên cái bàn đó: câu hỏi của bạn, toàn bộ lịch sử trò chuyện, các file đã mở, kết quả các lệnh đã chạy. Cái bàn đó gọi là context window.

AI không có trí nhớ nào khác ngoài cái bàn này. Thứ gì không nằm trên bàn thì với nó là không tồn tại. Và cái bàn có giới hạn: khi đầy, phải dọn bớt thứ gì đó đi, hoặc tóm tắt lại cho gọn.

Vậy sao bàn chưa đầy mà AI vẫn quên?

Vì bàn càng bừa, thứ quan trọng càng dễ bị lấp. Một quyết định bạn chốt từ sáng giờ nằm dưới cả trăm lượt trao đổi, vài chục file code, mấy trang log. AI vẫn "thấy" nó, nhưng nó chỉ là một dòng giữa rừng thông tin, và AI có xu hướng chú ý nhiều hơn tới những gì vừa mới diễn ra.

Thêm nữa, nhiều công cụ tự động tóm tắt bớt phần đầu cuộc trò chuyện khi bàn sắp đầy. Bản tóm tắt thì giữ ý chính, nhưng chi tiết nhỏ như "không đụng vào thư mục kia" rất dễ rơi mất.

Dấu hiệu nào cho thấy phiên đã quá dài?

Dấu hiệu Ví dụ
Hỏi lại thứ đã trả lời "Bạn muốn dùng thư viện nào?" dù đã chốt
Làm ngược quyết định cũ Quay lại cách làm đã bị bỏ
Câu trả lời chậm dần và lan man Nhắc lại nhiều thứ không liên quan
Sửa xong chỗ này hỏng chỗ khác đã sửa Quên mất lý do của lần sửa trước

Gặp hai dấu hiệu trở lên, mình thường không cố "nhắc" AI nữa mà chuyển sang cách ở phần dưới.

Thói quen 1: đưa đúng thứ cần, đừng đưa cả kho

Muốn AI sửa một hàm, đưa nó file chứa hàm đó và file gọi hàm đó. Đừng đưa cả repo "cho nó hiểu tổng thể". Càng nhiều thứ không liên quan trên bàn, thứ liên quan càng bị lấp.

Với agent tự đọc file, mình chỉ thẳng đường dẫn: "xem src/orders/filter.ts và src/orders/list-page.tsx", thay vì để nó tự lục cả project.

Thói quen 2: ghi quyết định ra file, đừng để nó chỉ nằm trong chat

Đây là thói quen đáng giá nhất mình học được. Mỗi quyết định quan trọng, mình bảo AI ghi vào một file trong project: file kế hoạch, file ghi chú, file ghi quyết định.

Ví dụ: khi chuyển module thanh toán sang cổng thanh toán mới, mình có một file docs/payment-migration.md. Trong đó ghi các quyết định đã chốt (cổng cũ chạy song song hai tuần, mọi số tiền dùng decimal), danh sách endpoint đã chuyển và chưa chuyển, và cả những thứ đã thử mà không ổn (xử lý webhook đồng bộ thì bị timeout, phải đưa vào hàng đợi). Mỗi lần bắt đầu làm tiếp, dù là phiên mới hay phiên cũ đã dài, AI đọc lại file đó và biết ngay mình đang ở đâu.

Chat là trí nhớ ngắn hạn, có thể bị tóm tắt, có thể mất. File là trí nhớ dài hạn, nằm yên trong project.

Thói quen 3: biết lúc nào nên mở phiên mới

Mở phiên mới không phải là thua. Nó giống dọn sạch bàn làm việc để bắt đầu một việc khác. Mình mở phiên mới khi:

  • Chuyển sang một việc không liên quan tới việc đang làm.
  • Gặp các dấu hiệu ở bảng trên.
  • Vừa xong một mốc lớn (tính năng đã merge, bài đã đăng).

Thói quen 4: mang theo một bản bàn giao

Khi mở phiên mới để làm tiếp việc cũ, đừng bắt đầu từ con số không. Trước khi đóng phiên cũ, nhờ AI viết một bản bàn giao ngắn, rồi dán nó vào đầu phiên mới.

Viết bản bàn giao để một phiên AI mới làm tiếp việc này, gồm:
- Mục tiêu tổng thể
- Đã xong những gì (kèm file/commit liên quan)
- Các quyết định đã chốt và lý do
- Đã thử mà không được (để khỏi thử lại)
- Việc tiếp theo cần làm
- Những gì chưa chắc, cần hỏi lại
Không đưa mật khẩu, token hay dữ liệu nhạy cảm vào bản bàn giao.

Dòng "đã thử mà không được" là dòng hay bị bỏ qua nhất, và cũng là dòng tiết kiệm thời gian nhất cho phiên sau.


Thử ngay: với việc bạn đang làm cùng AI, bảo nó ghi các quyết định đã chốt vào một file ghi chú trong project. Lần tới AI bắt đầu "quên", chỉ cần nói "đọc lại file ghi chú" thay vì giải thích lại từ đầu.

Bài sau trong series nói về chuyện nghiêm túc hơn: bảo mật khi làm việc với AI, từ chuyện dán nhầm secret vào chat tới kiểu tấn công nhắm thẳng vào AI agent. Bạn xử lý phiên làm việc dài với AI thế nào? Comment cho mình học hỏi với.

P.S. Bản bàn giao ở thói quen 4, mình đóng gói thành skill session-handoff-contract trong PrimeKit, bộ skill mình tự làm. Skill viết một bản bàn giao bằng Markdown mà một phiên AI mới đọc vào là làm tiếp được, có ghi quyết định, trạng thái kiểm tra, việc đang vướng, và tự lược bỏ thông tin nhạy cảm. Cài bằng npx @lovehlmmm/primekit init, rồi gõ /pk:session-handoff-contract trước khi đóng phiên. Bản bàn giao tốt tới đâu thì bạn vẫn nên đọc lại một lượt trước khi dán sang phiên mới.


Series khác của mình


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí