Django vận hành production #20: Tổng kết series — runbook vận hành, checklist xử lý sự cố, hướng phát triển tiếp
Tập cuối series "Django vận hành production" tổng kết hành trình đưa app quản lý chi tiêu lên production: một runbook vận hành hoàn chỉnh, checklist xử lý sự cố dùng ngay trong ca trực tiếp theo, và lộ trình nâng cấp rõ ràng.
Runbook vận hành gồm những gì?
Runbook là tài liệu sống ghi lại mọi tác vụ vận hành: ai làm gì, theo thứ tự nào, khi deploy, khi có sự cố, khi cần mở rộng. Một runbook tốt có 4 phần: quy trình deploy chuẩn, cách giám sát và cảnh báo, quy trình sao lưu và khôi phục, và checklist sự cố theo mức độ. Giữ runbook trong repo và rà soát lại mỗi quý, hoặc sau mỗi sự cố lớn.
Checklist sự cố theo mức độ
Khi sự cố xảy ra, việc đầu tiên không phải sửa code — mà là xác định mức độ. P1 là site sập hoàn toàn: kiểm tra endpoint /health, xem Gunicorn còn chạy không, kiểm tra kết nối PostgreSQL, và nếu vừa deploy xong thì rollback ngay thay vì debug trên production. P2 là hệ thống chậm: xem slow query log, kiểm tra tỉ lệ hit của Redis, xem hàng đợi Celery có bị tắc không. P3 là lỗi lẻ tẻ: đọc log trong Sentry và xem lỗi có lặp theo mẫu không. Ghi lại mọi sự cố kèm thời gian, triệu chứng, nguyên nhân và cách khắc phục.
Script kiểm tra nhanh khi site có dấu hiệu bất thường:
#!/bin/bash
# scripts/incident-triage.sh — chạy khi site có dấu hiệu bất thường
set -e
curl -fsS https://example.com/health/ || echo "ALERT: health endpoint khong phan hoi"
pg_isready -h db.example.com -p 5432 || echo "ALERT: PostgreSQL khong san sang"
redis-cli -h cache.example.com ping || echo "ALERT: Redis khong phan hoi"
systemctl is-active gunicorn celery || echo "ALERT: service dung"
Hướng nâng cấp tiếp theo
Ba khoản đầu tư đáng giá nhất: Kubernetes (thay deploy thủ công khi có nhiều service, cần pod tự hồi phục, scale theo tải), observability (distributed tracing với OpenTelemetry, log có cấu trúc, một dashboard thống nhất cho Django, Celery và Nginx), và tự động hóa chính runbook (biến checklist thủ công thành script kiểm tra, rồi thành cảnh báo tự động). Chỉ nâng cấp khi có nhu cầu thật sự.
Lệnh kiểm tra nhanh DB và cache trước khi deploy:
# core/management/commands/ops_status.py
from django.core.management.base import BaseCommand
from django.db import connections
from django.core.cache import cache
class Command(BaseCommand):
help = "Kiem tra nhanh DB va cache truoc khi deploy"
def handle(self, *args, **options):
with connections["default"].cursor() as cursor:
cursor.execute("SELECT 1")
cursor.fetchone()
self.stdout.write(self.style.SUCCESS("PostgreSQL: OK"))
cache.set("ops_probe", "ok", timeout=10)
assert cache.get("ops_probe") == "ok"
self.stdout.write(self.style.SUCCESS("Redis cache: OK"))
Áp dụng vào project của bạn
Hãy dành chiều nay viết runbook đầu tiên cho app quản lý chi tiêu: bắt đầu từ quy trình deploy hiện tại, ghi lại mọi lệnh đang chạy tay, rồi thêm checklist P1, P2, P3 theo mẫu trên. Một hệ thống production tốt không phải là hệ thống không bao giờ lỗi — mà là hệ thống mà mỗi lần lỗi đều được xử lý nhanh hơn lần trước.
Bài viết đầy đủ bằng tiếng Anh: Django in Production #20: Series Wrap-Up — Operations Runbook, Incident Checklist, and What's Next
All Rights Reserved