0

Compose lên production: healthcheck, giới hạn tài nguyên, và những cổng không nên mở

Một MCP server mình làm chạy bằng Docker Compose: app Python, Redis giữ token, nginx đứng trước làm HTTPS. File compose cho prod đã có những thứ "chuẩn" nhất: healthcheck, restart, giới hạn CPU và RAM. Rồi mình tăng replicas: 2 để chịu tải, chạy docker compose up, và nhận về:

Error response from daemon: ... Bind for 0.0.0.0:8210 failed: port is already allocated

Sửa xong lỗi đó, nhìn kỹ lại file thì thấy thêm: Redis đang publish cổng 6379 trên mọi địa chỉ của server, và không có mật khẩu.

File compose cho dev và cho prod trông gần giống nhau, nhưng mỗi dòng mang một ý nghĩa khác. Bài này đi qua từng khối của file compose prod, đặt bản dev và bản prod cạnh nhau, nói vì sao khác.

Khối ports: dev mở thoải mái, prod chỉ mở một cửa

Dev Prod
App "8210:8210" để gọi thẳng từ máy Không publish; chỉ reverse proxy gọi vào
Redis, database "6379:6379" để mở bằng công cụ GUI Không publish; chỉ các container cùng network gọi
Reverse proxy Thường không có "80:80", "443:443", cửa duy nhất ra ngoài

Container trong cùng một network của Compose gọi nhau bằng tên service (redis:6379), không cần ports. Dòng ports chỉ để máy host và thế giới bên ngoài gọi vào. Nên trên prod, mỗi dòng ports là một cửa mở, và câu hỏi là: ai cần đi qua cửa này?

Có một cái bẫy làm chuyện này nghiêm trọng hơn: trên Linux, Docker publish cổng bằng cách tự thêm luật iptables, và luật đó đi trước tường lửa như UFW. Bạn đã ufw deny 6379 mà Redis vẫn truy cập được từ ngoài. Nhiều người phát hiện ra điều này qua email cảnh báo từ nhà cung cấp cloud.

Nếu thật sự cần mở cổng để debug trên server, giới hạn vào localhost:

redis:
  ports:
    - "127.0.0.1:6379:6379"   # chỉ gọi được từ chính server, qua SSH tunnel

Khối deploy.replicas: hai bản app không thể cùng giữ một cổng

replicas: 2 tạo hai container từ cùng một service. Cả hai cùng xin cổng 8210 trên host, cái sau thất bại. Đây không phải lỗi của Compose, một cổng trên host chỉ có một chủ.

Cách đúng là bỏ ports khỏi app và để reverse proxy chia tải. DNS nội bộ của Docker trả về địa chỉ của mọi replica khi hỏi tên service, nên nginx gọi app:8210 là tới được cả hai:

# nginx.conf, phần nằm trong khối http { }
resolver 127.0.0.11 valid=10s;   # DNS nội bộ của Docker

server {
    listen 443 ssl;
    # ssl_certificate, ssl_certificate_key... lược bớt cho gọn
    location / {
        # Dùng biến để nginx hỏi lại DNS định kỳ, thay vì nhớ IP từ lúc khởi động
        set $upstream http://app:8210;
        proxy_pass $upstream;
    }
}

Dòng resolver và cái biến $upstream trông thừa, nhưng không có chúng, nginx phân giải tên app đúng một lần lúc khởi động. Sau đó container app được tạo lại (deploy bản mới) với IP mới, nginx vẫn gọi IP cũ và trả 502 cho tới khi bạn restart nginx.

Khối healthcheck và depends_on: chờ đúng thứ cần chờ

app:
  healthcheck:
    test: ["CMD", "curl", "-f", "http://localhost:8210/health"]
    interval: 30s
    timeout: 10s
    retries: 3
    start_period: 10s
  depends_on:
    redis:
      condition: service_healthy

redis:
  healthcheck:
    test: ["CMD", "redis-cli", "ping"]
    interval: 10s
    retries: 5

Phần này file gốc đã làm đúng. Hai điều cần kiểm thêm: image của app có curl không (image Python bản slim không có, healthcheck sẽ báo lỗi "executable file not found" và container mãi "unhealthy"), và start_period có đủ dài cho app khởi động không. Trong start_period, lần kiểm thất bại không bị tính, nên app khởi động chậm không bị đánh dấu unhealthy oan.

Khối resources và restart: đặt trần trước khi bị đặt trần

app:
  restart: unless-stopped
  deploy:
    resources:
      limits:
        cpus: "1"
        memory: 1G

Không có limits, một container rò rỉ bộ nhớ có thể ăn hết RAM của server và kéo theo mọi container khác. Có limits, container đó bị kernel giết khi chạm trần, và restart: unless-stopped dựng lại nó. Vẫn là sự cố, nhưng là sự cố của một service chứ không phải cả server.

unless-stopped khác always ở một điểm: container bạn chủ động docker stop sẽ không tự dậy lại khi server khởi động lại. Thường đó là điều bạn muốn.

Khối logging: ổ đĩa đầy vì log

Mặc định Docker ghi log container ra file JSON trên host và không giới hạn kích thước. App chạy vài tháng, log đầy ổ, rồi mọi thứ trên server cùng chết vì không ghi được file.

x-logging: &default-logging
  driver: json-file
  options:
    max-size: "10m"
    max-file: "5"

services:
  app:
    logging: *default-logging
  redis:
    logging: *default-logging

x-logging cùng & và * là anchor của YAML: khai báo một lần, dùng lại cho mọi service. App ghi log dạng JSON (LOG_FORMAT=json) để công cụ gom log đọc được từng trường thay vì phải tách chuỗi.

Khối profiles: service tuỳ chọn có thể bị quên

File gốc đặt nginx trong profiles: [production]. Service có profile chỉ chạy khi bạn gọi docker compose --profile production up. Gõ thiếu --profile thì không có nginx, và nếu app còn publish cổng thì app đang phơi thẳng ra ngoài không qua HTTPS.

Với file compose chỉ dùng cho prod, mình bỏ profile đi để nginx luôn chạy. Profile hợp hơn cho thứ thật sự tuỳ chọn, như một container công cụ debug.

File prod sau khi sửa

x-logging: &default-logging
  driver: json-file
  options: { max-size: "10m", max-file: "5" }

services:
  app:
    image: registry.example.com/mcp-server:1.4.2
    environment:
      - ENVIRONMENT=production
      - LOG_FORMAT=json
      - REDIS_URL=redis://:${REDIS_PASSWORD}@redis:6379/0
    env_file: .env
    depends_on:
      redis: { condition: service_healthy }
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8210/health"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 15s
    deploy:
      replicas: 2
      resources:
        limits: { cpus: "1", memory: 1G }
    restart: unless-stopped
    logging: *default-logging
    networks: [backend]

  redis:
    image: redis:7.4-alpine
    command: ["redis-server", "--appendonly", "yes", "--requirepass", "${REDIS_PASSWORD}"]
    volumes: [redis-data:/data]
    healthcheck:
      test: ["CMD-SHELL", "redis-cli -a \"$$REDIS_PASSWORD\" ping | grep PONG"]
      interval: 10s
      retries: 5
    environment:
      - REDIS_PASSWORD=${REDIS_PASSWORD}
    restart: unless-stopped
    logging: *default-logging
    networks: [backend]

  nginx:
    image: nginx:1.27-alpine
    ports: ["80:80", "443:443"]
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
      - ./nginx/ssl:/etc/nginx/ssl:ro
    depends_on:
      app: { condition: service_healthy }
    restart: unless-stopped
    logging: *default-logging
    networks: [backend]

networks:
  backend:

volumes:
  redis-data:

Hai thay đổi chưa nói ở trên: app dùng image: có phiên bản thay vì build: . (server không nên tự build, nó chỉ chạy image đã build và kiểm ở pipeline, chuyện của các bài sau), và Redis có mật khẩu dù không mở cổng ra ngoài, vì "không ai vào được network này" là giả định sẽ có ngày sai.

Checklist trước khi chạy compose trên server

[ ] Chỉ reverse proxy có ports; database, cache không publish (hoặc chỉ 127.0.0.1)
[ ] Service có replicas không publish cổng cố định
[ ] Mọi service có healthcheck chạy được trong image của nó
[ ] Có limits CPU/RAM và restart: unless-stopped
[ ] Log có max-size, max-file
[ ] Image có tag phiên bản, không build trên server
[ ] Không service quan trọng nào nằm sau profile dễ quên

Thử ngay: trên server của bạn chạy docker ps --format '{{.Names}}\t{{.Ports}}'. Mọi dòng có 0.0.0.0: mà không phải cổng 80, 443 đều đáng hỏi lại.

Bài sau trong series: Portainer, quản lý những container này qua giao diện web thay vì SSH vào server gõ lệnh. Bạn từng bị ổ đĩa đầy vì log container chưa? Comment kể mình nghe với.

P.S. Redis trong bài này là thứ dễ bị bỏ quên nhất: không mật khẩu, mở cổng, không ai nhìn tới cho tới khi có chuyện. Mình soát nó bằng skill redis-security trong PrimeKit, bộ skill mình tự làm. Skill rà xác thực, TLS, ACL theo lệnh và theo key, cổng mở ra mạng và chuyện xoay vòng mật khẩu, rồi đề xuất thay đổi cấu hình hẹp và cách kiểm thao tác bị chặn. Cài bằng npx @lovehlmmm/primekit init, rồi gõ /pk:redis-security kèm file cấu hình. Quyết định ai được gọi Redis vẫn là của bạn.

Tài liệu để đọc thêm


Series khác của mình


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí