0

Debug với AI: bắt nó chứng minh nguyên nhân trước khi sửa

Màn hình thanh toán thỉnh thoảng hiện tổng tiền sai. Mình dán lỗi cho AI, 30 giây sau nó đưa bản sửa: làm tròn số tiền trước khi hiển thị. Chạy thử, đúng. Test xanh. Merge. Một tuần sau, kế toán báo tổng tiền trong báo cáo cuối ngày lệch vài nghìn đồng so với tiền thực thu.

Bản sửa đó không sai về kỹ thuật. Nó chỉ sửa chỗ lỗi hiện ra, không sửa chỗ lỗi sinh ra. Tiền bị tính lệch từ lúc cộng các món, màn hình chỉ là nơi đầu tiên lộ ra. Làm tròn ở màn hình thì màn hình hết sai, còn báo cáo vẫn sai.

Đây là cái bẫy lớn nhất khi debug cùng AI: nó rất nhanh, rất giỏi làm cho lỗi biến mất. Nhưng "lỗi biến mất" và "lỗi được sửa" là hai chuyện khác nhau. Bài này so hai cách debug cùng AI, và đưa ra một mẫu prompt bắt AI làm theo đúng thứ tự.

Hai cách debug, đặt cạnh nhau

Cách làm vội Cách làm đúng
Dán lỗi, xin cách sửa Dán lỗi, xin AI tái hiện lỗi trước
AI đoán nguyên nhân phổ biến nhất AI đưa vài giả thuyết, kiểm từng cái
Sửa chỗ lỗi hiện ra Sửa chỗ lỗi sinh ra
Chạy thử thấy hết lỗi là xong Viết test đỏ trước, sửa cho xanh
Mất 30 giây Mất 15 phút
Lỗi có thể quay lại dưới dạng khác Lỗi không quay lại, và có test canh

Cột phải tốn thời gian hơn ở lần đầu. Nhưng nếu tính cả tuần sau phải debug lại báo cáo lệch tiền, thì cột trái mới là cột đắt.

Bước 1: tái hiện được lỗi đã

Trước khi cho AI sửa bất cứ thứ gì, bắt nó trả lời: làm thế nào để lỗi này xảy ra lại? Với lỗi tổng tiền, câu trả lời có thể là: giỏ hàng có 3 món giá lẻ, áp mã giảm 15%, thì tổng hiện sai 1 đồng.

Không tái hiện được thì mọi bản sửa đều là đoán. Bạn sẽ không bao giờ biết nó có thật sự sửa được không, hay lỗi chỉ tình cờ không xuất hiện lúc bạn thử.

Bước 2: nhiều giả thuyết, kiểm từng cái

AI có thói quen chốt ngay nguyên nhân đầu tiên nó nghĩ ra. Bắt nó liệt kê vài khả năng, và với mỗi khả năng, nói cách kiểm để loại trừ:

Giả thuyết 1: làm tròn sai khi hiển thị → kiểm: in giá trị trước khi format
Giả thuyết 2: làm tròn mỗi chỗ một kiểu → kiểm: tính tay 3 món, so với từng bước trong code
Giả thuyết 3: mã giảm áp hai lần → kiểm: log số lần gọi hàm áp mã

Kiểm giả thuyết 2 thì thấy ngay. Giảm 15% trên giá lẻ sinh ra phần lẻ đồng (ví dụ 42.500 × 0,85 = 36.125). Chỗ tính từng món làm tròn lên, chỗ tính tổng làm tròn xuống, chỗ xuất báo cáo lại không làm tròn, và tất cả đều cộng bằng kiểu số thực (double), loại số máy tính không biểu diễn chính xác được mọi giá trị thập phân. Mỗi đơn lệch một hai đồng, cả ngày cộng lại thành vài nghìn. Đây mới là chỗ lỗi sinh ra.

Bước 3: test đỏ trước, sửa cho xanh

Viết một test mô tả đúng tình huống lỗi: 3 món, mã giảm 15%, tổng phải bằng đúng con số kế toán tính tay. Chạy test, nó phải đỏ (thất bại). Test đỏ chứng minh nó bắt được lỗi.

Rồi mới sửa: đổi kiểu số tiền sang kiểu thập phân chính xác (decimal trong C#), và quy định làm tròn đúng một lần, ở đúng một chỗ, theo đúng một quy tắc mà kế toán đồng ý. Chạy lại, test xanh. Test này ở lại trong project, lần sau ai lỡ quay lại dùng số thực cho tiền, nó sẽ báo ngay.

Thứ tự đỏ trước xanh sau quan trọng hơn bạn nghĩ. Test viết sau khi đã sửa thường là test "ăn theo" bản sửa: nó xanh, nhưng chưa chắc nó từng bắt được lỗi.

Luật mình đặt cho AI khi debug

  • Không được sửa test cho xanh. Test đỏ thì sửa code, trừ khi chứng minh được chính test sai.
  • Không được thêm try/catch rỗng hay kiểm null khắp nơi chỉ để lỗi im đi.
  • Phải nói rõ đây là sửa nguyên nhân hay sửa triệu chứng. Đôi khi sửa triệu chứng là chấp nhận được (cần chữa cháy gấp), nhưng phải biết là mình đang chữa cháy.
  • Báo "đã sửa" thì phải kèm bằng chứng: chạy lại bước tái hiện, kết quả test.

Mẫu prompt debug

Lỗi: [mô tả triệu chứng, lỗi đầy đủ, log]
Mong đợi: [đúng ra phải thế nào]
Môi trường: [phiên bản, dữ liệu, xảy ra lúc nào]

Chưa sửa code vội. Hãy:
1. Đề xuất cách tái hiện lỗi
2. Liệt kê 2-3 giả thuyết về nguyên nhân, mỗi cái kèm cách kiểm
3. Sau khi xác định nguyên nhân: viết test tái hiện lỗi (phải đỏ), rồi mới sửa
Không sửa test để cho qua. Nói rõ bản sửa là sửa nguyên nhân hay sửa triệu chứng.

Thử ngay: lỗi tiếp theo bạn nhờ AI sửa, dùng mẫu trên và để ý bước 2. Rất nhiều lần, giả thuyết AI đưa ra đầu tiên không phải giả thuyết đúng, và bạn chỉ biết được điều đó vì đã bắt nó kiểm.

Bài sau trong series: đọc hiểu một codebase lạ cùng AI, từ lúc chưa biết mở file nào trước tới khi sửa được bug đầu tiên. Bạn từng gặp bản sửa nào của AI "chạy được mà sai" chưa? Comment kể nghe với.

P.S. Bước 3 (test đỏ trước, xanh sau) mình giao cho skill test trong PrimeKit, bộ skill mình tự làm. Skill chạy và cải thiện test cho đúng phạm vi thay đổi, dùng đúng công cụ test có sẵn của project thay vì tự cài thêm, và không coi "chạy được" là đủ khi chưa có kết quả test. Cài bằng npx @lovehlmmm/primekit init, rồi gõ /pk:test sau khi đã có test tái hiện lỗi. Việc chọn tình huống nào đáng viết test thì vẫn nên do bạn quyết.


Series khác của mình


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí