Một bước phê duyệt tốn 6 phút: đọc lại đồng hồ của Codex trong T3 Code

Cùng một mô hình, cùng một đề bài, cùng một commit. Codex chạy trực tiếp mất 6 phút 07 giây. Chạy trong T3 Code mất 10 phút 26 giây. Trước khi kết luận lớp điều phối làm chậm, tôi muốn biết trong 10 phút đó, bao nhiêu là thời gian của mô hình. Mọi lệnh gọi mô hình đi qua https://api.crazyrouter.com/v1, endpoint tương thích OpenAI.
Đáp án: 6 phút 06 giây là thời gian chờ con người bấm xác nhận cho một bước dọn dẹp.
Hai câu hỏi khác nhau
Người ta hay nói Codex "chậm đi và kém đi" khi đặt sau một lớp điều phối. Thực ra đó là hai câu hỏi. Chậm là câu hỏi về lịch trình, đo được bằng dấu thời gian. Kém là câu hỏi về chất lượng, phải đọc sản phẩm.
Tôi trả lời câu hỏi thứ nhất trước.
Thiết lập
Ba lần chạy trên commit 3974f307, mỗi lần một git worktree riêng, cùng xây một công cụ HTML offline một tệp để quản lý chủ đề bài viết.
- Codex gốc bằng
codex exec, mô hình gpt-6-sol. - Codex trong T3 Code, cùng mô hình.
- Claude Sonnet 5.5 trong T3 Code, chỉ làm mốc tham chiếu.
Chỉ hai lần đầu cùng mô hình, nên đây là phép so sánh sạch duy nhất. Sandbox cũng khác: bản gốc dùng workspace-write, bản T3 dùng danger-full-access, rộng hơn. Bản T3 không bị dừng vì sandbox chặt. Nó dừng vì T3 hỏi trước mọi thao tác ra ngoài workspace.
Theo dõi đồng hồ
Codex trong T3 hoàn thành tính năng và tự kiểm tra lúc 03:01:24. Sau đó nó muốn xóa một hồ sơ Chrome tạm do chính nó tạo. Đường dẫn đó nằm ngoài workspace, nên T3 dừng lại và hỏi.
Tôi tính thời gian chờ đến lúc mô hình chạy tiếp: 6 phút 06 giây. Trong đó 44 giây là sau khi tôi đã quyết định.
Bỏ phần chờ đi, phần thực thi của T3 là 4 phút 20 giây, nhanh hơn bản gốc 1 phút 47 giây.
Vì sao bản gốc đã chậm ngay từ đầu
Bản gốc gọi công cụ 20 lần, T3 gọi 7 lần. Phần lớn lần thừa là kiểm tra môi trường: git status, tìm thư mục làm việc, tìm AGENTS.md, kiểm tra playwright, puppeteer và jsdom, phiên bản node, hỗ trợ WebSocket.
Lớp điều phối đã chuẩn bị môi trường và vạch ranh giới từ trước, nên T3 không cần những bước đó.
Bản gốc cũng thử xóa cùng hồ sơ tạm và bị từ chối bằng blocked by policy. Lần từ chối đó trả về ngay. Agent chuyển sang fs.rmSync và qua trong khoảng ba giây. Một phản hồi mất mili giây khác hẳn một phản hồi phải chờ người.
Trình duyệt tốn của bản gốc khoảng 2 phút 24 giây. Edge tạo hồ sơ nhưng không mở cổng gỡ lỗi, computer-use không chạm được cửa sổ, và cuối cùng agent kiểm DOM bằng mô phỏng trong Node với vm.
Chất lượng
Tôi chấm ba bản theo tám yêu cầu chung. Chỉ tính là lỗi nặng khi sửa tệp trái phép hoặc tạo tệp không tồn tại. Không bản nào mắc lỗi đó.
Bản gốc đặt điểm ngắt 680 px nhưng không xem trên trình duyệt, và báo cáo của nó nói như vậy. Bản T3 với Codex được đo ở 360 px, không cuộn ngang. Bản Claude chạy 28 kiểm tra trong Edge.
Hai lỗi, hai trong ba bản mắc
Một luồng Claude khác đọc lại đầu ra của Codex mà không biết tác giả. Nó tìm được hai lỗi tái hiện được.
Dữ liệu ghi từ tab khác bị ghi đè, vì trang không nghe sự kiện storage và giữ trạng thái trong bộ nhớ. Focus bàn phím rơi về <body> sau mỗi thao tác, vì danh sách được vẽ lại toàn bộ.
Bản Claude mắc lỗi focus nhưng tránh được lỗi ghi đè, vì tự viết đồng bộ giữa các tab. Bản gốc mắc lỗi ghi đè, vì không có listener storage nào.
Tôi cho rằng đây là đặc tính của bài toán: một danh sách có thêm, xóa và vẽ lại toàn bộ sẽ làm hỏng cách cài đặt đơn giản nhất, bất kể mô hình nào viết.
Nên làm gì
Khi quy trình điều phối chạy chậm, hãy xem hàng đợi phê duyệt trước khi trách mô hình. Phê duyệt sẵn các bước dọn dẹp an toàn sẽ gỡ phần lớn thời gian chờ. Ghi các đường dẫn được phép vào prompt giúp giảm số lần dừng. Và một lượt soát cuối sau khi làm song song đã bắt được cả hai lỗi trong 41 giây.
Điều lần này chưa chứng minh
Mỗi bản chỉ chạy một lần. Chênh lệch 1 phút 47 giây có thể do mạng hoặc hàng đợi của nhà cung cấp. Muốn kết luận có ý nghĩa thống kê, cần ít nhất ba lần cho mỗi bản. Tôi chưa thử AGENTS.md ngắn hơn, nên chi phí của độ dài prompt vẫn chưa được đo.
All rights reserved