MySQL CDC trên Kubernetes với Apache SeaTunnel: kiểm tra bước chuyển từ snapshot sang binlog
Khi chuyển từ xuất toàn bộ dữ liệu sang CDC, có một phép thử không nên bỏ qua: sửa dữ liệu trong lúc snapshot đang đọc, rồi đối soát nguồn và đích theo khóa chính. Hai bảng có cùng số dòng vẫn chưa chắc khớp: một đơn hàng bị thiếu và một dòng thừa có thể triệt tiêu nhau khi đếm.
Bài viết dùng Apache SeaTunnel 3.1.0 để đồng bộ bảng đơn hàng MySQL sang bảng báo cáo MySQL. Connector MySQL CDC đọc snapshot rồi tiếp tục đọc binlog; JDBC sink áp dụng các thay đổi vào bảng báo cáo. Trong một cụm kind riêng, chúng tôi nạp 100.000 đơn hàng và đối soát hai lần: sau khi đích đã bắt kịp các thay đổi phát sinh trong lúc chụp snapshot, rồi sau một đợt ghi riêng khi job đã đọc binlog.
Tải bộ mã để chạy lại, gồm manifest, cấu hình, SQL, sơ đồ và kết quả. Bản tiếng Anh và hai kết quả đối soát gốc nằm trong kho GitHub.
1. Xác định trạng thái cần có ở đích
Đích lưu trạng thái hiện tại, không lưu lịch sử từng sự kiện. Cả shop.orders và reporting.orders đều có khóa chính id và lưu status, amount. Khi một đơn thay đổi, bảng báo cáo phải cập nhật dòng hiện có; khi đơn bị xóa, dòng tương ứng phải biến mất khỏi đích.
Tạo sẵn bảng đích. Cấu hình SeaTunnel JDBC sink tự sinh SQL và dùng id làm khóa. Để giảm số thành phần cần dựng, hai cơ sở dữ liệu trong bài dùng chung một MySQL Pod. Nếu chạy trên các instance riêng, cấu hình riêng địa chỉ và thông tin xác thực cho nguồn và đích, rồi kiểm tra quyền của từng tài khoản.

2. Chạy job trong một cụm Kubernetes riêng
MySQL Service cung cấp địa chỉ ổn định trong cụm. ConfigMap chứa cấu hình job và một SeaTunnel Pod chạy job từ image gắn phiên bản cụ thể.
Ở đây dùng Kubernetes Local Mode chính thức của SeaTunnel để kiểm tra image, connector và cấu hình. Một Pod không tạo thành cụm SeaTunnel có tính sẵn sàng cao. Với triển khai production chạy lâu dài, dùng chế độ Master/Worker tách riêng theo tài liệu và cấu hình nơi lưu checkpoint dùng chung, MapStore, cơ chế phát hiện dịch vụ và lập lịch tài nguyên.
Chuẩn bị image
Dùng bản phân phối đầy đủ Apache SeaTunnel 3.1.0. Trước khi build, xác minh chữ ký và mã băm SHA-512 từ trang tải Apache SeaTunnel. Đưa các JAR của connector MySQL CDC, connector JDBC và driver MySQL JDBC vào image để Pod không cần tải chúng khi khởi động. Dockerfile đóng gói từ bản phân phối theo cách làm trong tài liệu Kubernetes:
FROM eclipse-temurin:11-jdk
ADD apache-seatunnel-3.1.0-bin.tar.gz /opt/
RUN mv /opt/apache-seatunnel-3.1.0 /opt/seatunnel
COPY connector-cdc-mysql-3.1.0.jar connector-jdbc-3.1.0.jar /opt/seatunnel/connectors/
COPY mysql-connector-j-8.4.0.jar /opt/seatunnel/lib/
ENV SEATUNNEL_HOME=/opt/seatunnel
WORKDIR /opt/seatunnel
Đặt bản phân phối đã xác minh trong build/, giữ nguyên tên tệp. Tải connector MySQL CDC, connector JDBC và driver MySQL JDBC vào cùng thư mục. Từ thư mục gốc đã giải nén, chạy docker build -t st-a02-k8s:3.1.0 build/. Nếu dùng cụm từ xa, đẩy image lên registry mà các node truy cập được rồi sửa trường image của Pod.
Tạo namespace dành riêng cho bài thử
Dùng Bash tại thư mục vừa giải nén. Tạo cụm kind và kubeconfig riêng; không dùng ngữ cảnh kubectl mặc định hoặc namespace của ứng dụng đang chạy:
ST_LAB_KUBECONFIG="$PWD/kubeconfig.st-a02-310"
kind create cluster --name st-a02-310 --kubeconfig "$ST_LAB_KUBECONFIG"
lab_kubectl() {
kubectl --kubeconfig "$ST_LAB_KUBECONFIG" --context kind-st-a02-310 "$@"
}
lab_kubectl get nodes
Xác nhận danh sách node thuộc cụm vừa tạo. Nếu tên cụm đã tồn tại hoặc node không đúng như dự kiến, dừng lại. Build image như trên, tải mysql:8.0.46, rồi chạy kind load docker-image mysql:8.0.46 st-a02-k8s:3.1.0 --name st-a02-310. Hướng dẫn chuẩn bị image mô tả cách nạp image trực tiếp vào node đã dùng khi cần. Các lệnh lab_kubectl còn lại chạy trong cùng phiên shell.
MySQL dùng Service loại ClusterIP, không mở cổng ra máy chủ hay Internet. Hai Pod dùng ServiceAccount riêng và tắt tự động gắn thông tin xác thực API.
lab_kubectl create namespace st-a02-310
lab_kubectl -n st-a02-310 create serviceaccount article-local
lab_kubectl -n st-a02-310 create secret generic mysql-local \
--from-literal=root-password=Article02_local_only
lab_kubectl apply -f mysql.yaml
lab_kubectl -n st-a02-310 wait --for=condition=Ready pod/mysql --timeout=180s
Mật khẩu cố định chỉ dành cho môi trường cục bộ này. Với production, dùng Kubernetes Secrets hoặc hệ quản lý bí mật của tổ chức. MySQL Pod mẫu dùng lưu trữ tạm; xóa Pod sẽ mất dữ liệu mẫu. Cơ sở dữ liệu thực cần lưu trữ bền vững hoặc dịch vụ được quản lý.
MySQL phải bật binlog ở chế độ ROW và dùng FULL cho row image. Tài khoản CDC cần quyền đọc bảng và quyền replication; tài khoản sink cần đọc và ghi bảng đích. Chạy seed.sql một lần trong môi trường mới để tạo hai bảng đơn hàng và nạp 100.000 dòng vào nguồn:
lab_kubectl -n st-a02-310 exec -i mysql -- sh -c \
'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -uroot' < seed.sql
3. Cấu hình snapshot và đọc binlog trong cùng một job
Ở lần chạy đầu, startup.mode = "initial" đọc các dòng có sẵn rồi tiếp tục thu nhận thay đổi từ binlog. snapshot.split.size điều khiển kích thước từng phần của snapshot; snapshot.fetch.size điều khiển kích thước mỗi lô đọc. Hai tham số này không bảo đảm thông lượng.
env {
parallelism = 1
job.mode = "STREAMING"
checkpoint.interval = 10000
}
source {
MySQL-CDC {
url = "jdbc:mysql://mysql:3306/shop"
username = "cdc"
password = "Article02_cdc_only"
table-names = ["shop.orders"]
server-id = 181103
startup.mode = "initial"
snapshot.split.size = 1000
snapshot.fetch.size = 128
exactly_once = true
debezium {
"database.sessionVariables" = "transaction_isolation='READ-COMMITTED'"
}
}
}
sink {
Jdbc {
url = "jdbc:mysql://mysql:3306/reporting"
driver = "com.mysql.cj.jdbc.Driver"
user = "writer"
password = "Article02_writer_only"
generate_sink_sql = true
primary_keys = ["id"]
database = "reporting"
table = "orders"
schema_save_mode = "ERROR_WHEN_SCHEMA_NOT_EXIST"
data_save_mode = "APPEND_DATA"
}
}
Bảng đích đã có khóa chính trên id. Dialect MySQL dùng INSERT ... ON DUPLICATE KEY UPDATE để ghi trạng thái hiện tại và xóa theo khóa khi nhận sự kiện xóa. Thiết lập primary_keys trong job không tự thêm ràng buộc duy nhất vào bảng có sẵn. Tương tự, data_save_mode = "APPEND_DATA" không biến mọi sự kiện CDC thành INSERT. Thao tác còn phụ thuộc vào loại thay đổi của dòng, khóa và SQL do connector sinh ra.
Tùy chọn exactly_once ở nguồn không bảo đảm giao dịch đầu cuối. Job không cấu hình JDBC XA. Mục tiêu ở đây là kiểm tra việc chuyển từ snapshot sang binlog và trạng thái hiện tại ở đích. Phiên CDC dùng READ-COMMITTED, không cần đổi mức cô lập toàn cục của MySQL.
Không đưa thông tin xác thực production vào cấu hình đem chia sẻ. Kubernetes không thay thế secretKeyRef bên trong nội dung văn bản tùy ý được gắn từ ConfigMap. Hãy dùng cơ chế thông tin xác thực mà SeaTunnel hỗ trợ và kiểm tra cấu hình có hiệu lực trong container.

4. Khởi chạy từ bản phân phối SeaTunnel
lab_kubectl -n st-a02-310 create configmap seatunnel-job-config \
--from-file=job.conf=config/job.conf
lab_kubectl apply -f seatunnel.yaml
lab_kubectl -n st-a02-310 logs -f seatunnel-local
Pod chạy lệnh sau:
/opt/seatunnel/bin/seatunnel.sh --config /data/job.conf -e local
Đây cũng là lệnh khởi chạy job trong ví dụ Local Mode chính thức. ConfigMap cung cấp tệp cấu hình; SeaTunnel và các connector xử lý việc đọc, checkpoint và ghi vào đích.

5. Đối soát hai lần, có ghi dữ liệu trước và sau bước chuyển
Pod ở trạng thái Running chỉ cho biết tiến trình đã khởi động. Bài này đối soát sau khi snapshot cùng các giao dịch đồng thời đã được xử lý, rồi đối soát lại sau đợt ghi riêng khi đang đọc binlog. Không có lượt đối soát riêng cho snapshot không phát sinh thay đổi.
Mở phiên SQL:
lab_kubectl -n st-a02-310 exec -it mysql -- sh -c 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -uroot'
Trong khi snapshot đang chạy, kiểm tra log để xác nhận job còn đọc snapshot, rồi chạy giao dịch bên dưới. Giao dịch tác động đến ba dải khóa chính, có cả chèn và xóa:
START TRANSACTION;
UPDATE shop.orders SET status='paid', amount=30.00
WHERE id BETWEEN 1 AND 100
OR id BETWEEN 50001 AND 50100
OR id BETWEEN 99901 AND 100000;
INSERT INTO shop.orders VALUES(100001,'created',25.00);
DELETE FROM shop.orders WHERE id=1;
COMMIT;
Khi snapshot hoàn tất và luồng CDC đã bắt kịp, chạy lệnh đối soát bên dưới lần đầu. Xác nhận đơn 100001 có trong reporting.orders và đơn 1 không còn. Như vậy, lần xóa tiếp theo kiểm tra trên khóa thực sự đã được đồng bộ chứ không phải khóa chưa từng có ở đích.
Khi job đã đọc binlog ổn định, chạy đợt thay đổi thứ hai:
UPDATE shop.orders SET status='shipped', amount=45.50 WHERE id=2;
INSERT INTO shop.orders VALUES(100002,'created',19.90);
DELETE FROM shop.orders WHERE id=100001;
Sau khi đích bắt kịp ở mỗi giai đoạn, dùng reconcile.sql để so hai bảng:
lab_kubectl -n st-a02-310 exec -i mysql -- sh -c \
'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -uroot' < reconcile.sql
Truy vấn tìm khóa thiếu, khóa thừa và khóa có giá trị cột không khớp. So sánh trạng thái có phân biệt chữ hoa và chữ thường. Với hệ thống vẫn nhận giao dịch, đối soát sau khi đích bắt kịp một mốc đã thống nhất; hai truy vấn trên hai bảng đang tiếp tục thay đổi không chứng minh được tính nhất quán.
Kết quả trên cụm riêng
Hai lượt kiểm tra chạy trên cùng cụm kind riêng với Kubernetes v1.36.1, SeaTunnel 3.1.0, Java 11.0.33 và MySQL 8.0.46. Log xác nhận job đã chuyển sang streaming sau các thao tác ghi trong lúc snapshot. Xem dữ liệu gốc của lượt sau snapshot và lượt sau đợt ghi từ binlog.
| Hạng mục | Sau khi bắt kịp snapshot | Sau khi bắt kịp đợt ghi từ binlog |
|---|---|---|
| Số dòng ở nguồn | 100.000 | 100.000 |
| Số dòng ở đích | 100.000 | 100.000 |
| Số dòng thiếu | 0 | 0 |
| Số dòng thừa | 0 | 0 |
| Số khóa có giá trị không khớp | 0 | 0 |
Ở lượt cuối, đơn 2 có shipped / 45.50, đơn mới 100002 có created / 19.90; đích không còn đơn 1 và 100001.
Kết quả xác nhận job một Pod đã chuyển từ snapshot sang binlog và đích khớp theo khóa chính đối với các thay đổi đã thử. Bài này không kiểm tra phục hồi sau lỗi, giao dịch XA đầu cuối, DDL, tính sẵn sàng cao của cụm hay thông lượng. 100.000 là số dòng, không phải kết quả đo hiệu năng.

6. Trước khi mở rộng khỏi một Pod
Bắt đầu bằng một bảng nghiệp vụ có khóa chính ổn định. Xác nhận nạp ban đầu và các phép thử chèn, cập nhật, xóa trước khi thêm bảng hoặc tài nguyên.
Khi triển khai production, tách Master và Worker, cấu hình lưu trạng thái dùng chung, giữ đủ lịch sử binlog và diễn tập dừng rồi phục hồi job ngay trên mô hình triển khai dự kiến. Phục hồi phụ thuộc vào khóa, log nguồn còn giữ được, trạng thái job đã lưu và cách đích áp dụng ghi. Thay Pod không chứng minh được luồng đồng bộ đã phục hồi đúng.
Tài liệu tham khảo
All rights reserved