0

AI bịa API, bịa số liệu: cách mình kiểm chứng trước khi tin

Có một điều về AI mà mình ước được ai đó nói thẳng từ đầu: AI không biết là nó không biết. Khi thiếu thông tin, nó không nói "mình không chắc". Nó trả lời bằng đúng giọng tự tin như khi nó đúng, với đầy đủ tên hàm, số liệu, đường link.

Người ta gọi hiện tượng này là hallucination, tạm dịch là AI "ảo giác": nó sinh ra thứ nghe rất hợp lý nhưng không có thật. Bài này kể ba lần mình suýt tin AI trong lúc code, và năm cách mình dùng để bắt nó. Đọc xong bạn sẽ có một checklist ngắn để chạy qua trước khi tin bất cứ câu trả lời nào.

Ba lần suýt tin

Lần 1: hàm có thật, nhưng sai phiên bản. Project đang dùng EF Core 6. Mình hỏi cách cập nhật hàng loạt bản ghi mà không phải load từng entity lên. AI đưa ngay ExecuteUpdateAsync, code gọn và đẹp. Build báo đỏ: hàm này chỉ có từ EF Core 7. AI trả lời theo phiên bản mới nhất nó biết, không theo phiên bản project của mình, vì mình không nói.

Lần 2: một chuỗi trông như thật. Mình nhờ AI viết biểu thức cron cho job chạy lúc 2 giờ sáng mỗi ngày, dùng thư viện Quartz.NET. Nó đưa 0 2 * * *, trông rất chuẩn. Đó là cú pháp 5 trường của crontab trên Linux, còn Quartz dùng cú pháp có cả trường giây, ví dụ 0 0 2 * * ?. Nhìn bằng mắt thì cả hai đều "trông như cron". Chỉ khi viết test parse chuỗi đó và in ra 3 lần chạy kế tiếp, mình mới thấy ngay cái nào đúng.

Lần 3: con số mặc định. Mình đang cấu hình retry khi gọi API đối tác và hỏi AI timeout mặc định của HttpClient là bao nhiêu. Nó trả lời chắc nịch: 30 giây. Mình suýt tính số lần retry dựa trên con số đó. Mở tài liệu ra: mặc định là 100 giây. Một con số sai trong cấu hình là thứ sẽ chỉ lộ ra khi hệ thống đối tác chậm, tức là đúng lúc bạn không muốn bất ngờ.

Ba chuyện nhỏ, nhưng đều chung một kiểu: thứ AI đưa ra trông đúng, và chính vì trông đúng nên dễ lọt.

Những kiểu bịa hay gặp nhất

Kiểu bịa Ví dụ Cách bắt nhanh nhất
Hàm, tham số không tồn tại Gọi options.EnableMagicRetry() mà thư viện không có Build hoặc chạy thử; IDE báo đỏ ngay
Tính năng sai phiên bản Dùng cú pháp chỉ có ở bản mới, trong khi project đang ở bản cũ Nói rõ phiên bản trong prompt; mở tài liệu đúng phiên bản
Tên package bịa Gợi ý cài một package nghe rất hợp lý nhưng không tồn tại Tra trên npm/NuGet/PyPI trước khi cài (xem cảnh báo bên dưới)
Số liệu, benchmark "Nhanh hơn 37%", "giảm 80% chi phí" Hỏi nguồn; không có nguồn thì coi như không có
Mô tả thứ chưa đọc Tóm tắt tài liệu, skill, file mà nó chưa thật sự mở ra Bắt nó trích nguyên văn đoạn liên quan
Chuỗi, mã, giá trị "trông như thật" Hash, base64, UUID, đáp án tính toán Cho máy tính lại

Một cảnh báo riêng cho tên package: kẻ xấu đã biết AI hay bịa ra những cái tên giống nhau, nên họ đăng ký sẵn package đúng cái tên đó và nhét mã độc vào. Bạn cài theo gợi ý của AI là cài luôn mã độc. Trò này có hẳn tên gọi là slopsquatting. Gặp package lạ, hãy xem số lượt tải, ngày tạo, ai là người đăng trước khi gõ lệnh cài.

Năm cách mình bắt AI bịa

1. Thứ máy kiểm được thì để máy kiểm. Code thì chạy, build, chạy test. Phép tính, chuỗi mã hoá thì tính lại bằng lệnh. Đây là cách rẻ nhất và chắc nhất, vì máy không bị thuyết phục bởi giọng văn tự tin.

2. Thứ cần tài liệu thì mở tài liệu, đúng phiên bản. Đừng hỏi AI "thư viện X có hỗ trợ Y không" rồi tin luôn. Hỏi xong thì mở trang tài liệu chính thức kiểm lại, nhất là với thư viện ra bản mới liên tục.

3. Bắt nó tách "đã kiểm" và "đang đoán". Thêm vào prompt một câu, ví dụ:

Trong câu trả lời, đánh dấu rõ:
- [Đã kiểm] những gì bạn thấy trực tiếp trong code/tài liệu mình đưa
- [Suy luận] những gì bạn đoán dựa trên kiến thức chung

Chỉ một câu này thôi đã làm câu trả lời trung thực hơn hẳn. Phần [Suy luận] chính là danh sách những thứ bạn cần tự kiểm.

4. Bắt nó trích nguyên văn. Khi AI nói "theo tài liệu thì...", hãy hỏi: "trích nguyên văn đoạn đó". Nếu nó đã thật sự đọc, nó trích được. Nếu nó đoán, câu trả lời thường sẽ lộ ra.

5. Không để AI điền số thay mình. Con số đo, ngày tháng, tên khách hàng, kết quả thực nghiệm: không có thật thì để trống [CẦN ĐIỀN] hoặc viết lại câu cho khỏi cần số. Một chỗ trống bạn điền trong 30 giây. Một con số bịa có thể theo tài liệu, báo cáo của bạn đi khắp nơi.

Checklist trước khi tin một câu trả lời

[ ] Câu trả lời có tên hàm, package, tham số cụ thể? → đã build/chạy thử chưa?
[ ] Có nhắc tới tính năng của một phiên bản? → đúng phiên bản mình dùng chưa?
[ ] Có con số, phần trăm, benchmark? → nguồn ở đâu?
[ ] Có tóm tắt tài liệu, file? → AI đã thật sự đọc, hay đoán từ tên?
[ ] Có giá trị "trông như thật" (hash, mã, kết quả tính)? → máy tính lại chưa?
[ ] Nếu sai thì hậu quả là gì? → hậu quả càng lớn, kiểm càng kỹ

Dòng cuối là dòng quan trọng nhất. Không phải câu trả lời nào cũng cần kiểm kỹ như nhau. AI gợi ý tên biến sai thì chẳng sao. AI gợi ý lệnh xoá dữ liệu, cấu hình bảo mật, hay con số đưa vào báo cáo cho sếp thì phải kiểm từng chữ.


Thử ngay: lần tới hỏi AI một câu kỹ thuật, dán thêm đoạn "đánh dấu [Đã kiểm] và [Suy luận]" ở trên vào cuối prompt. Đếm xem có bao nhiêu phần nằm trong [Suy luận], có khi bạn sẽ giật mình.

Bài trước trong series nói về cách đưa đủ ngữ cảnh cho AI; bài này là chiều ngược lại, kiểm thứ AI đưa về. Bài sau sẽ nói về việc giao hẳn một việc lớn cho AI agent tự làm. Bạn đã từng bị AI "lừa" vụ nào đáng nhớ chưa? Comment kể mọi người nghe với.

P.S. Để AI tự giảm bịa ngay từ đầu, mình hay bật skill fable-reasoning-engine trong PrimeKit, bộ skill mình tự làm. Skill buộc AI đưa kết luận dựa trên bằng chứng, xét nhiều giả thuyết thay vì chốt ngay cái đầu tiên, và tự phản biện câu trả lời trước khi đưa ra. Cài bằng npx @lovehlmmm/primekit init, rồi gõ /pk:fable-reasoning-engine cho những câu hỏi cần đúng hơn cần nhanh. Nó làm AI cẩn thận hơn, chứ không thay được bước bạn tự kiểm những thứ quan trọng.


Series khác của mình


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí