Mở đầu

Bạn vừa học được cách dựng 1 cụm Redis Replication với các node Master - Slave kết hợp với Redis Sentinel chạy failover siêu mượt mà, trong code bạn trỏ đến địa chỉ con Master để đọc ghi dữ liệu, tuy nhiên 1 ngày đẹp trời Node Master lăn ra chết, Sentinel tự động chuyển Master sang 1 node khác khiến code bạn chạy lỗi tóe loe. Bạn bị sếp chửi, bạn buồn, bạn lên mạng tìm kiếm cách để có thể tự động xác định được node Master mới khi quá trình Failover diễn ra. Bài viết này sẽ giúp bạn tìm ra giải pháp cho vấn đề đó.

Sơ qua Redis Replication

Hy vọng trong thời gian tới có thể viết 1 bài chi tiết về Redis Replication, còn đây là sơ lược về Redis Replication cho bạn nào chưa biết. Redis Replication sẽ gồm các node Master và Slave, node Master chịu trách nhiệm đọc-ghi, node Slave chịu trách nhiệm đọc, backup dữ liệu từ Master. Nhưng thế này thì bình thường quá, người ta nghĩ ra thêm Redis-sentinel để khi node Master down thì Sentinel sẽ tự tìm ra node Slave thích hợp (dựa trên mức độ ưu tiên replica-priority). Mô hình Redis + Sentinel thường được cài đặt sẽ như sau:

Tuy nhiên có 1 số ý kiến cho rằng mô hình trên chưa tối ưu, mô hình tối ưu hơn sẽ là:

Khi mà service Sentinel sẽ được tách ra 1 node riêng phòng trường hợp chết cả service Redis và Sentinel.

Bắt đầu với phần chính

Đó là tất cả những gì về Redis Replication bạn cần biết để đi đến phần tiếp theo. Mô hình mình hướng dẫn các bạn trong bài này sẽ như phía bên trên. Ta có cụm 2 node HAProxy + KeepAlived để tìm ra Node Master trong Redis Replication. Ơ vậy tại sao cần 2 node ??? 1 node là đủ để tìm rồi mà? Đúng vậy, 1 node là đủ để tìm được rồi, tuy nhiên Redis có Failover thì HAProxy cũng cần có Failover đó là KeepAlived để tránh trường hợp node HAProxy die thì cũng tèo cả đám. Ở đây VIP không phải là 1 node mà là Virtual IP được tạo ra để Failover. Người dùng hoặc Application sẽ truy cập redis replication qua VIP.

Cài đặt và cấu hình KeepAlived

Ở bài này mình sử dụng CentOS nên cài đặt bằng yum nếu bạn sử dụng Ubuntu thì dùng apt, tất cả đều tương tự.

Cài đặt Keepalived với câu lệnh:

yum -y install keepalived

Cấu hình Keepalived tại node Master:

vrrp_script chk_haproxy {
    script "pkill -0 haproxy"
    interval 2
    weight 2
}
vrrp_instance VI_1 {
    interface eth0
    state MASTER
    virtual_router_id 51
    priority 101
    virtual_ipaddress {
        10.5.9.111
    }
    track_script {
        chk_haproxy
    }
}

Cấu hình KeepAlived tại node Slave:

vrrp_script chk_haproxy {
    script "pkill -0 haproxy"
    interval 2
    weight 2
}
vrrp_instance VI_1 {
    interface eth0
    state BACKUP
    virtual_router_id 51
    priority 100
    virtual_ipaddress {
        10.5.9.111
    }
    track_script {
        chk_haproxy
    }
}

Giải thích:

vrrp_script chk_haproxy là script giúp kiểm tra service haproxy còn sống không, nếu service chết priority sẽ bị giảm xuống và được chuyển sang cho node BACKUP

interface: interface mà ta setup Virtual IP (sử dụng lệnh ifconfig để xem)

state [MASTER/BACKUP]: Trạng thái của node

virtual_router_id: Giá trị này ở các node phải giống nhau

priority: Độ ưu tiên của node (Cao hơn sẽ là Master)

virtual_ipaddress: Phần khai báo VIP

track_script: Khai báo script bên trên

Cấu hình để có thể bind tới địa chỉ VIP

echo 'net.ipv4.ip_nonlocal_bind = 1' >> /etc/sysctl.conf

Cài đặt và cấu hình KeepAlived

Cài đặt Keepalived với câu lệnh:

yum -y install haproxy

Cấu hình tại trên cả 2 node Master và Backup

global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats

defaults
    log                     global
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

listen stats
    bind *:8080
    mode http
    stats enable
    stats uri /stats
    stats realm HAProxy\ Statistics
    stats admin if TRUE

listen redis_clusters
    bind *:6379
    mode tcp
    timeout connect  3h
    timeout server  3h
    timeout client  3h
    option tcp-check
    tcp-check connect                        # Dùng để connect đến back-end server
    tcp-check send AUTH\ vccloud1\r\n        # Thêm dòng này nếu như Redis có password
    tcp-check send PING\r\n                  # Check kết nối
    tcp-check expect string +PONG            # Dự đoán output trả về
    tcp-check send info\ replication\r\n     # Lấy thông tin về replication
    tcp-check expect string role:master      # Nếu trả về role là master thì xác nhận node master
    tcp-check send QUIT\r\n                  # Thoát kết nối
    tcp-check expect string +OK              # Dự đoán output trả về (bỏ cũng được)
    server redis-cluster-1 10.5.9.198:6379 check inter 1s
    server redis-cluster-2 10.5.9.105:6379 check inter 1s
    server redis-cluster-3 10.5.10.126:6379 check inter 1s

Giải thích:

Block global và defaults chứa các config toàn cục giữ nguyên như ban đầu.

Block Listen stats để tạo trang theo dõi trạng thái các node tại port 8080 đường dẫn /stats

Block redis_clusters

• bind *:6379; Cho phép truy cập từ mọi IP
• mode: Protocol sử dụng
• tcp-check: dùng để gửi các lệnh tcp đến back-end server tìm ra master node
• server: Khai báo các back-end Redis Cluster Server

Như vậy là đã cài đặt và cấu hình xong KeepAlived + HAProxy, giờ khởi động các service:

systemctl restart haproxy
systemctl restart keepalived

Truy cập IP_MASTER:8080/stats hoặc IP_SLAVE:8080/stats có thông số như hình là HAProxy thành công (2 node Slave down - 1 node Master Up):

Để test VIP thì bạn có thể sử dụng lệnh, hiện connected là thành công

telnet VIP 6379

Kết

Đây là kết quả sau quá trình gần 1 tuần tìm hiểu của mình nên chắc chắn sẽ còn nhiều thiếu sót hoặc sai. Hy vọng bài viết này sẽ giúp được các bạn một chút trong công việc, nếu có thắc mắc gì thì comment ở dưới nhé. Để ủng hộ mình thì có thể Follow hoặc Vote Up nhé ))). Hẹn gặp bạn ở bài viết tiếp theo.

Chuyên mục quảng cáo

Nếu như bạn đang gặp khúc mắc trong vấn đề chuyên môn hay cần người hỗ trợ về mặt hệ thống, DevOps tools thì mình tự tin có thể hỗ trợ được bạn. Liên hệ với mình để trao đổi thêm nhé https://hoangviet.io.vn/