Cách mình lưu runbook và ghi chú on-call bằng Joplin

Ai làm vận hành hệ thống chắc đều từng trải qua cảm giác này. 3 giờ sáng điện thoại báo sự cố, và cách xử lý đúng vấn đề này nằm ở đâu đó: một thread Slack từ năm ngoái, một file text trên laptop cũ, hoặc trong đầu một đồng nghiệp. Sau quá nhiều đêm như vậy, mình chuyển toàn bộ ghi chú vận hành cá nhân sang Joplin, một ứng dụng ghi chú mã nguồn mở, và nó dần trở thành một trong những công cụ hữu ích nhất mình dùng hằng ngày.

Dưới đây là cách mình dùng và lý do nó hợp với công việc hạ tầng.

Tất cả đều là Markdown

Mọi ghi chú trong Joplin đều là Markdown. Runbook phần lớn là các lệnh, và code block hiển thị rõ ràng với syntax highlighting, nên khi copy lệnh không bị dính dấu nháy lạ hay xuống dòng sai. Nếu muốn đưa ghi chú vào Git, chỉ cần một cú click để export ra Markdown thuần.

Sổ ghi chú phản ánh đúng hạ tầng

Cấu trúc của mình khá đơn giản:

• Runbooks: mỗi service một ghi chú, gồm các bước restart, health check và các lỗi thường gặp
• Incidents: sau mỗi sự cố viết một bản tóm tắt ngắn gồm timeline, nguyên nhân gốc và cách khắc phục
• Snippets: những câu lệnh một dòng mình hay quên (kubectl, journalctl, openssl)

Tag giúp liên kết mọi thứ, ví dụ #postgres sẽ hiện ra runbook, các sự cố và snippet liên quan trong cùng một chỗ.

Đồng bộ do mình kiểm soát

Ghi chú vận hành thường chứa hostname và URL nội bộ, những thứ mình không muốn đặt trên một dịch vụ cloud bất kỳ. Joplin đồng bộ qua WebDAV, Nextcloud, thư mục local hoặc dịch vụ riêng của họ, và có thể bật mã hóa đầu cuối, nên nơi lưu trữ chỉ nhìn thấy dữ liệu đã mã hóa.

Tìm kiếm thực sự hiệu quả

Tìm kiếm toàn văn với các bộ lọc như tag: và notebook: giúp mình tìm ra "vụ DNS hồi tháng 3" chỉ trong vài giây. Lịch sử ghi chú cũng từng cứu mình khi lỡ ghi đè một runbook ngay giữa lúc đang xử lý sự cố.

Nhược điểm

Giao diện khá đơn giản, thiên về chức năng hơn là đẹp, và lần đồng bộ đầu tiên với sổ ghi chú lớn có thể hơi chậm. Việc liên kết giữa các ghi chú cũng cơ bản hơn so với các ứng dụng dạng outliner.

Nếu bạn muốn xem nhanh tính năng, ưu và nhược điểm trước khi cài, có một bài tổng quan khá hay trên Vumoresiza, viết ngắn gọn và không quảng cáo.

Còn bạn thì lưu runbook ở đâu? Wiki, repo Git, ứng dụng ghi chú, hay tìm trong Slack và cầu may?