0

All Code Is Slop: áp dụng cách tác giả pstack giữ chất lượng code khi dùng AI agent vào dự án thật

Lauren Tan (poteto), kỹ sư làm Grok Bot ở SpaceXSI, tác giả bộ skill pstack, vừa có bài nói All Code Is Slop (Except Mine) ở AI Engineer. Con số làm nhiều người chú ý: team chị đưa 11.000 pull request lên production trong một tháng, tỷ lệ phải revert chỉ khoảng 0,5%.

Xem xong mình thấy bài nói rất hay nhưng khá trừu tượng: "biến lời sửa thành kiểm tra tất định", "codebase là khu vườn"... Nghe thì gật gù, nhưng mai mở editor ra thì gõ gì?

Bài này đi lần lượt theo đúng 9 đoạn của video. Mỗi đoạn có ba phần: chị nói gì, áp vào code thật trông thế nào (có cấu hình, code copy được), và skill pstack nào làm việc đó cho bạn. pstack là bộ skill chị dùng hằng ngày (theo README của nó), và chị nhắc tên nó ngay trong bài nói. Mình đã viết riêng một bài giới thiệu pstack, nên ở đây chỉ nói phần liên quan.

1. Biến "slop" thành vàng (0:00)

Chị nói gì. Tháng trước chị đưa khoảng 3.000 PR lên production. Trước đây chỉ vài người hiếm hoi mới làm ra khối lượng code như vậy. Giờ ai có agent cũng làm được. Theo chị, việc của kỹ sư bây giờ là giữ, thậm chí nâng chất lượng code trong khi khối lượng tăng vọt. Chị không gọi đó là "nhà máy phần mềm" mà gọi là chuyện tin được agent: không phải tin mù quáng, mà là đầu tư vào môi trường để agent mặc định làm đúng. Chị mất 6 tháng để tới được mức đó.

Áp vào code thật. "Tin được" cần một định nghĩa đo được, không thì chỉ là cảm giác. Định nghĩa mình dùng:

Tin được agent ở một loại việc nghĩa là:
PR của nó qua hết kiểm tra tự động (build, lint, type, test, kiểm chứng)
và bạn chỉ cần xem bằng chứng, không phải đọc từng dòng diff.

Cả bài nói xoay quanh việc thêm dần các "kiểm tra tự động" ở dòng thứ hai.

2. Kim tự tháp niềm tin (2:03)

Chị nói gì. Đầu tư vào môi trường cho agent theo thứ tự, càng dưới càng nền tảng:

        ┌──────────────────────────────────────────────┐
        │ 1. Chính code: thiết kế API, kiến trúc,      │  tất định
        │    refactor                                  │
        ├──────────────────────────────────────────────┤
        │ 2. Lint rule, type system, compiler, test    │  tất định
        ├──────────────────────────────────────────────┤
        │ 3. Kiểm chứng: chạy thật, formal             │  tìm bug, kiểm agent
        │                                              │  hiểu đúng ý chưa
        ├──────────────────────────────────────────────┤
        │ 4. Chữ: rule, skill, AGENTS.md               │  cần phán đoán,
        │                                              │  kém tin cậy nhất
        └──────────────────────────────────────────────┘

Agent làm ra thứ gì phụ thuộc vào đầu vào của nó, và codebase là đầu vào lớn nhất. Nên mỗi lần phải sửa lưng agent, đừng thêm một dòng vào file rule. Hãy biến lần sửa đó thành một kiểm tra tất định trong code, vì code thì lần nào chạy cũng cho cùng kết quả.

Áp vào code thật. Mỗi khi agent làm sai, hỏi lần lượt bốn câu và dừng ở câu đầu tiên trả lời "có":

Câu hỏi Nếu có thì
Đổi API hoặc kiểu dữ liệu để không thể viết sai được không? Đổi code (tầng 1)
Có công cụ nào tự phát hiện được lỗi này không? Lint rule, architecture test (tầng 2)
Phải chạy thật mới biết đúng sai? Test, script kiểm chứng (tầng 3)
Chỉ phán đoán được bằng kinh nghiệm? Lúc đó mới ghi vào CLAUDE.md, AGENTS.md (tầng 4)

Thử với file CLAUDE.md của bạn. Mình đoán phần lớn các dòng trong đó đều dừng được ở câu hỏi 1 hoặc 2.

Skill pstack làm việc này: /correct. Nó đọc commit, revert, comment review và file rule của repo để tìm những lỗi agent lặp lại (một lỗi tính là "loại lỗi" khi xảy ra từ hai lần). Rồi nó sửa từng loại ở tầng cao nhất có thể, đúng thứ tự kim tự tháp: kiến trúc, rồi type, rồi lint kèm thông báo lỗi chỉ đúng cách sửa, rồi test, cuối cùng mới tới chữ. Mỗi kiểm tra mới phải được chứng minh là bắt được một lỗi thật trong quá khứ. Nó còn giữ trong file rule một bảng ghép mỗi quy tắc với thứ thực thi nó:

Quy tắc Thứ thực thi
Không dùng useEffect trong component ESLint no-restricted-imports
Domain không phụ thuộc Infrastructure Architecture test trong dotnet test
Đặt tên endpoint theo danh từ số nhiều (chưa có, cần người review)

Dòng nào cột phải còn trống là dòng đang dựa vào việc agent nhớ, tức là dòng sẽ còn sai tiếp. Nguyên tắc principle-encode-lessons-in-structure của pstack nói gọn hơn nữa: thấy mình viết cùng một lời dặn lần thứ hai thì hãy biến nó thành lint, script hay kiểm tra lúc chạy.

3. Kiến trúc thực thi được (5:00)

Chị nói gì. Code giờ đổ về như một dòng chảy liên tục: năm 2024 chị review 3 PR mỗi ngày, giờ con số đó gần 300. Codebase giống một khu vườn: workaround, anti-pattern, code cũ sẽ bị agent sau chép theo, vì trông nó như "chuẩn của project". Team chị xây framework riêng tên Dune, đáng chú ý không phải vì kỹ thuật mà vì nó chứa rất nhiều ràng buộc và lint rule. Hai ví dụ:

  • Cấm thứ cần nhiều kinh nghiệm mới dùng đúng. useEffect của React có chỗ dùng hợp lý nhưng hay bị dùng sai, agent cũng vậy. Họ cấm nó trong code sản phẩm, chỉ cho dùng bên trong API của Dune. Loại lỗi này biến mất hẳn, không còn phải bắt lúc review.
  • Ngữ cảnh qua cấu trúc thư mục. Agent hay import code của luồng chính Electron sang luồng giao diện, làm app giật. Giờ có hai thư mục electron/main và electron/renderer, import chéo bị lint và công cụ phân tích phụ thuộc chặn.

Áp vào code thật (TypeScript/React). Cấm useEffect trong code sản phẩm, nhưng cho phép trong thư mục hook dùng chung. Thông báo lỗi phải chỉ luôn cách đúng, vì agent sẽ đọc nó và tự sửa:

// eslint.config.js
export default [
  {
    files: ['src/**/*.{ts,tsx}'],
    ignores: ['src/lib/hooks/**'],
    rules: {
      'no-restricted-imports': ['error', {
        paths: [{
          name: 'react',
          importNames: ['useEffect'],
          message: 'Không dùng useEffect trong component. Lấy dữ liệu dùng useQuery; ' +
            'cần đồng bộ với hệ thống ngoài thì dùng hook trong src/lib/hooks.',
        }],
      }],
    },
  },
];

Ranh giới thư mục bằng import/no-restricted-paths của eslint-plugin-import:

'import/no-restricted-paths': ['error', {
  zones: [{
    target: './src/renderer',
    from: './src/main',
    message: 'Renderer không được import code của main. Gọi qua IPC trong src/shared/ipc.',
  }],
}],

Áp vào code thật (.NET). Cùng ý tưởng, viết thành test bằng thư viện NetArchTest, chạy chung với dotnet test nên CI chặn luôn:

[Fact]
public void Domain_khong_duoc_phu_thuoc_Infrastructure()
{
    var result = Types.InAssembly(typeof(Order).Assembly)
        .That().ResideInNamespace("Shop.Domain")
        .ShouldNot().HaveDependencyOn("Shop.Infrastructure")
        .GetResult();

    Assert.True(result.IsSuccessful);
}

Từ lúc có mấy dòng này, agent viết sai sẽ thấy lỗi ngay khi chạy lint hoặc test, trước khi bạn kịp mở PR.

Skill pstack liên quan: /architect để chốt cách gọi, kiểu dữ liệu và cấu trúc module trước khi viết code vượt qua ranh giới hàm. Thêm hai nguyên tắc: principle-boundary-discipline (dồn kiểm tra về ranh giới hệ thống, bên trong tin vào kiểu dữ liệu) và principle-model-the-domain (mã hoá nghiệp vụ thành cấu trúc thay vì rải if khắp nơi).

4. Thay comment bằng lint rule (6:56)

Chị nói gì. Đây là đoạn mình thấy đáng giá nhất. Ở Cursor, agent rất hay dùng setTimeout, requestAnimationFrame để vá tạm. Gốc của vấn đề là xung đột kiến trúc giữa kiểu lập trình mệnh lệnh của VS Code và kiểu khai báo của React. Tệ hơn, agent viết comment giải thích vì sao bản vá đó hợp lý, agent sau đọc comment rồi làm theo, và timer lan khắp app, gây giật lag.

Ở Grok Bot, team chị cấm 99% comment: comment dễ lỗi thời, người không đọc, lại là chỗ để agent biện minh cho việc né vấn đề khó. Và comment không thực thi được. Thay vào đó là lint rule có thông báo lỗi bảo agent sửa tận gốc.

Áp vào code thật. Trước đây trong code:

useEffect(() => {
  // Phải đợi một nhịp để danh sách render xong rồi mới cuộn,
  // nếu không scrollHeight chưa đúng. Đừng xoá setTimeout này.
  setTimeout(() => listRef.current?.scrollTo(0, listRef.current.scrollHeight), 0);
}, [messages]);

Comment này nghe hợp lý, nhưng nó đang biện minh cho một bản vá: thứ cần đợi là layout, không phải "một nhịp". Thay comment bằng một rule:

// eslint.config.js, chỉ áp cho component
{
  files: ['src/components/**/*.tsx'],
  rules: {
    'no-restricted-syntax': ['error', {
      selector: "CallExpression[callee.name='setTimeout']",
      message: 'Không dùng setTimeout để chờ render. Cần đo layout thì dùng useLayoutEffect; ' +
        'nếu vẫn thấy cần đợi thì vấn đề nằm ở thứ tự cập nhật state, sửa ở đó.',
    }],
  },
},

Thêm một rule nữa để agent không lẳng lặng tắt lint, bằng plugin @eslint-community/eslint-plugin-eslint-comments:

'@eslint-community/eslint-comments/require-description': 'error',
// Mọi dòng eslint-disable phải kèm lý do sau dấu --, review nhìn vào là thấy.

Agent viết lại kiểu cũ sẽ nhận đúng câu chỉ hướng:

src/components/ChatList.tsx
  18:5  error  Không dùng setTimeout để chờ render. Cần đo layout thì dùng useLayoutEffect; ...  no-restricted-syntax

Skill pstack làm việc này: /no-comments. Nó gọi một subagent chỉ đọc tên Comment Sicko để soi các comment trong diff. Comment nào chỉ là biện minh thì bị xoá và bản vá phía sau được thay bằng cách sửa gốc. Comment kiểu ràng buộc ("đừng xoá", "hỏi X trước khi đổi") thì nó đề xuất cách rẻ nhất để biến ràng buộc đó thành type, kiểm tra lúc chạy, test hoặc lint, chờ bạn đồng ý rồi mới làm và xoá comment.

5. Kiểm chứng lúc chạy và feature map (9:40)

Chị nói gì. Review của team giờ chủ yếu là xem bằng chứng kiểm chứng thay vì đọc diff: video, ảnh chụp, sơ đồ, kết quả formal verification. Cách cơ bản nhất là cho agent tự chạy app và dùng các công cụ debug người vẫn dùng, như Chrome DevTools. Hai thứ giúp việc này chạy trơn:

  • Feature map: giống sitemap của mọi tính năng, nhìn từ phía người dùng. Agent không phải đoán khi bạn nói "cái nút ở sidebar bên trái", hai bên có chung một bộ tên gọi.
  • CLI riêng để agent điều khiển app, dùng đi dùng lại được nên đỡ tốn token và test được.

Áp vào code thật. Một file trong feature map trông thế này (rút gọn theo mẫu của pstack, ví dụ cho một trang bán hàng):

# Giỏ hàng: thanh toán

Người dùng bấm "Thanh toán" trong giỏ hàng để tạo đơn.

## Tới bằng cách nào (góc nhìn người dùng)
- Thêm ít nhất một sản phẩm, mở /cart, bấm nút "Thanh toán".

## Điều khiển
- Điều kiện: app chạy ở http://localhost:5173, dữ liệu mẫu đã nạp, giỏ có 1 sản phẩm.
- Bấm nút có accessible name "Thanh toán". Trang chuyển sang /orders/{id}, hiện tiêu đề "Đặt hàng thành công".

## Bằng chứng cần lưu
- Ảnh chụp trước và sau khi bấm.
- Đọc lại đơn mới từ trang "Đơn của tôi" (không chỉ tin thông báo thành công).

## Bẫy
- Bấm hai lần nhanh có thể tạo hai đơn: kiểm tra số đơn tăng đúng 1.

Từ đó, khi giao việc sửa luồng thanh toán, yêu cầu kèm luôn: "chạy theo feature map Giỏ hàng: thanh toán, gửi ảnh trước và sau". Bạn review bằng cách xem ảnh và kết quả đọc lại, không phải tưởng tượng code chạy ra sao.

Skill pstack làm việc này: /create-verification-skill. Nó đọc repo để biết app khởi động thế nào, điều khiển bằng gì (Playwright, CLI, HTTP...), rồi sinh ra một skill kiểm chứng riêng cho project. Skill đó có lệnh khởi động, lệnh kiểm tra sức khoẻ, cách điều khiển dùng selector thật của repo, chuẩn bằng chứng, cách dọn dẹp, cùng một feature map khởi đầu với 3 đến 5 tính năng chính. Trước khi giao, nó tự chạy thử một tính năng từ đầu tới cuối. App thay đổi thì có /maintain-verification-skill để cập nhật lại map. Nguyên tắc đứng sau là principle-prove-it-works: kiểm trên chính thứ đã làm ra, không tin "build xanh là xong".

6. Formal verification và test giao diện (10:50)

Chị nói gì. Team bắt đầu dùng formal verification, tức là kiểm mọi trường hợp trong một phạm vi thay vì vài ca test viết tay. TLA+ được dùng để kiểm luồng thông báo qua nhiều thiết bị, Lean để chứng minh thư viện virtualization tự viết không bị giật hình. Chị nói rõ đã tìm ra khá nhiều bug, nhưng đây không phải thuốc tiên, chỉ là thêm một lớp. Họ cũng thử property-based test cho giao diện bằng thư viện Bombadil, đã bắt được vài bug UI.

Áp vào code thật. Với phần lớn team, bước dễ nhất trước khi nghĩ tới TLA+ là property-based test: thay vì viết vài ví dụ, bạn nói ra một thuộc tính phải luôn đúng, và thư viện tự sinh hàng trăm bộ dữ liệu để cố phá nó. Ví dụ với phân trang con trỏ: đi hết các trang thì mọi dòng xuất hiện đúng một lần.

import fc from 'fast-check';
import { paginate } from './paginate'; // hàm phân trang con trỏ của bạn

test('đi hết các trang: không trùng, không sót dòng nào', () => {
  fc.assert(fc.property(
    fc.uniqueArray(fc.integer(), { maxLength: 200 }),
    fc.integer({ min: 1, max: 20 }),
    (ids, pageSize) => {
      const rows = ids.map((id) => ({ id }));
      const seen: number[] = [];
      let cursor: number | undefined;
      do {
        const page = paginate(rows, cursor, pageSize);
        seen.push(...page.items.map((r) => r.id));
        cursor = page.nextCursor;
      } while (cursor !== undefined);
      expect([...seen].sort((a, b) => a - b)).toEqual([...ids].sort((a, b) => a - b));
    },
  ));
});

Bên .NET có FsCheck làm việc tương tự. Test kiểu này hay bắt được những trường hợp không ai nghĩ ra để viết: danh sách rỗng, trang cuối vừa khít, khoá trùng ở ranh giới trang.

Skill pstack làm việc này:

  • /create-formal-verification-skill tìm chỗ trong repo mà bug gây hại nhiều nhất nhưng test ít chạm tới nhất (race, retry, state machine, parser), chọn công cụ hợp (mặc định TLA+ cho câu hỏi "các bước có thể xảy ra theo thứ tự xấu không"), và chứng minh kiểm tra đó bắt được lỗi bằng cách cố ý làm hỏng code một lần. Kết quả để lại là một skill riêng của project, agent sau chạy lại bằng một lệnh.
  • /statechart, skill chị nhắc trong bài nói: từ một mô hình TLA+, nó vẽ sơ đồ trạng thái bằng lời của người dùng, kèm đường ngắn nhất dẫn tới mỗi trạng thái phạm quy tắc. Ví dụ minh hoạ với luồng thông báo (mình tự dựng, không lấy từ video):
Quy tắc: đã đọc trên một thiết bị thì mọi thiết bị đều hết hiện "chưa đọc".

Đường ngắn nhất phá quy tắc:
  có tin nhắn mới
  → bạn mở tin trên điện thoại      [laptop đang offline]
  → laptop online lại
  → laptop vẫn hiện "1 tin chưa đọc"   ← phạm quy tắc

Người làm sản phẩm đọc được ngay, không cần biết TLA+.

7. Tiêu token vào kiểm chứng (11:51)

Chị nói gì. Chị dẫn một đồng nghiệp: sáu tháng trước người này chưa tin được agent vì bug tinh vi cứ lọt vào, giờ 70% token mỗi ngày của họ dành cho kiểm chứng. Chị nói phần lớn token của chị cũng vậy. Không kỹ thuật nào ở trên là mới, chỉ là trước đây quá đắt để viết và duy trì, còn agent làm chúng rẻ đi rất nhiều. Theo chị, đây là thời kỳ hoàng kim của test và kiểm chứng.

Áp vào code thật. Đổi cách phân bổ khi giao việc:

Trước Sau
"Sửa bug này" "Tái hiện bug bằng một test đỏ, sửa, chạy lại test và feature map liên quan, gửi bằng chứng"
Agent báo "xong, build xanh" Agent gửi ảnh, log, kết quả test làm bằng chứng
Review đọc từng dòng diff Review xem bằng chứng, chỉ đọc kỹ chỗ bằng chứng không phủ tới

Nghe có vẻ tốn hơn, nhưng token cho kiểm chứng rẻ hơn nhiều so với thời gian bạn tự đọc diff hay tiền xử lý sự cố trên production.

Skill pstack làm việc này:

  • /interrogate: cho nhiều model khác nhau cùng cố phá một diff, chỉ giữ những lỗi chạy ra được bằng chứng.
  • /blast-radius: một thay đổi trông nhỏ có thể làm hỏng những gì, chứng minh điểm an toàn bằng code chạy thật.
  • /benchmark-checklist: soát lại con số đo hiệu năng trước khi tin hay báo cáo nó.

8. 11.000 PR và 0,5% revert (13:32)

Chị nói gì. Kết quả sau khi đầu tư đủ các lớp trên:

  • Team đưa 11.000 PR lên production trong một tháng, ra bản stable khoảng mỗi ngày một lần.
  • Tháng 10 có khoảng 227 người đóng góp ít nhất một PR, nhiều người chỉ ghé qua, không có nhiều ngữ cảnh.
  • Tỷ lệ PR bị revert không tăng mà giảm về tỷ lệ, ổn định quanh 0,5%.
  • Hiệu năng app tốt lên ở nhiều mặt (khởi động, mở chat, chuyển chat), dù vẫn là app Electron.

Đọc thế nào cho đúng. Đây là số do diễn giả tự báo, từ một team rất mạnh có framework riêng và đủ sức làm formal verification. Số PR lớn một phần vì PR được chia rất nhỏ. Điều đáng học không phải con số 11.000, mà là tỷ lệ revert giảm trong khi tốc độ tăng: chất lượng được giữ bằng hệ thống kiểm tra, không phải bằng việc người đọc kỹ hơn.

9. Nền móng trước, nhà máy sau (15:11)

Chị nói gì. Trước khi tự động hoá mọi thứ, hãy sửa codebase mỗi lần sửa lưng agent: thêm lint rule chặn chỗ sai mới, rồi dọn dần chỗ sai cũ, và làm phần kiểm chứng thật chắc. Nếu vòng làm việc bên trong còn sinh ra slop, tự động hoá nó chỉ sinh ra nhiều slop hơn và đốt thêm token. Khi đã có nền móng, team chị cho mỗi bản release tự khởi chạy một nhóm agent dùng thử toàn bộ app như người dùng thật, tìm bug, mở PR sửa và tự merge, vì code của họ đủ tốt để PR mặc định là tốt.

Áp vào code thật. Thứ tự đúng, đừng nhảy cóc:

Tuần 1:  ghi lại mọi lần sửa lưng agent → chọn 3 lỗi lặp nhiều nhất
         → đi qua 4 câu hỏi ở mục 2 → thêm lint/type/test cho từng lỗi
         → xoá dòng tương ứng trong CLAUDE.md
Tuần 2:  dựng feature map cho 3–5 tính năng chính + một lệnh kiểm chứng
Tuần 3+: property-based test cho chỗ dễ sai nhất (phân trang, tính tiền, retry)
Sau đó:  mới tính tới cho agent chạy dài, chạy qua đêm, tự merge

Skill pstack liên quan: các playbook chạy dài của poteto-mode (autonomous run, autopilot, chạy qua đêm) thuộc bước "sau đó". Bật chúng khi chưa có nền móng thì đúng là kịch bản tự động hoá slop mà chị cảnh báo.


Thử ngay: mở file CLAUDE.md (hoặc AGENTS.md) của project, lấy dòng đầu tiên và đi qua bốn câu hỏi ở mục 2. Nếu dừng ở câu 1 hoặc 2, viết lint rule hoặc test cho nó ngay hôm nay rồi xoá dòng đó khỏi file. Làm lại với dòng tiếp theo vào ngày mai. Bạn đã từng biến lời dặn agent nào thành lint rule chưa? Comment chia sẻ, mình gom lại thành một bộ rule mẫu cho mọi người.

Tài liệu để đọc thêm:

P.S. Bước "tìm những lỗi agent lặp lại" ở mục 2 cần một người review kỹ trước đã. Mình hay giao việc đó cho skill code-quality-auditor trong PrimeKit, bộ skill mình tự làm: nó soát thay đổi đang làm, một PR, một commit hoặc cả codebase, tìm bug, chỗ dễ hồi quy và chỗ còn thiếu kiểm chứng, mỗi phát hiện đều kèm bằng chứng. Cài bằng npx @lovehlmmm/primekit init, rồi gõ /pk:code-quality-auditor. Danh sách nó tìm ra chính là đầu vào tốt cho bốn câu hỏi ở mục 2.


Series khác của mình


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí