MySQL CDC → PostgreSQL với Apache SeaTunnel 3.1.0: hướng dẫn thực hành có thể tái lập
Một job đồng bộ có thể báo RUNNING trong khi dòng dữ liệu bạn cần vẫn chưa xuất hiện ở đích. Khi vận hành pipeline CDC, nên kiểm tra từng việc cụ thể: dữ liệu ban đầu đã sang chưa? Bản cập nhật có sửa đúng dòng đang có không? Dòng bị xóa có biến mất ở đích không? Sau khi khôi phục từ savepoint, job có xử lý được thay đổi mới không?
Bài viết trả lời từng câu hỏi bằng một pipeline MySQL CDC → PostgreSQL nhỏ, dễ kiểm tra. Các câu lệnh ở nguồn và kết quả truy vấn ở đích được ghi lại qua từng bước trong một lần chạy thực tế với bản phát hành chính thức Apache SeaTunnel 3.1.0. Bài thực hành kiểm tra snapshot ban đầu, thao tác thêm, sửa, xóa, một lần thêm cột và quy trình chủ động dừng bằng savepoint rồi khôi phục.
Apache SeaTunnel là công cụ tích hợp dữ liệu mã nguồn mở. Trong bài này, connector MySQL CDC đọc dữ liệu nguồn, engine SeaTunnel chạy pipeline, còn JDBC sink ghi vào PostgreSQL. Không cần bước biến đổi trung gian, cụm Kafka hay ứng dụng truyền dữ liệu viết riêng.
Các lệnh dùng script shell có sẵn của SeaTunnel, trình dòng lệnh MySQL và psql. Bài viết có đầy đủ phần thiết lập; không cần xem video hay tải công cụ phụ trợ bên ngoài.
Môi trường và phạm vi kiểm thử
MySQL 8.0.46 SeaTunnel 3.1.0 PostgreSQL 16.6
integration.customers → MySQL-CDC → Zeta → JDBC → integration.public.customers
one engine node
parallelism = 1
| Thành phần | Phiên bản hoặc cấu hình đã kiểm thử |
|---|---|
| Bản nhị phân SeaTunnel và connector CDC/JDBC | 3.1.0 |
| Môi trường chạy Java | Java 11.0.33 |
| Image MySQL | mysql:8.0.46 |
| Image PostgreSQL | postgres:16.6-alpine |
| Trình điều khiển JDBC MySQL | 8.4.0 |
| Trình điều khiển JDBC PostgreSQL | 42.7.8 |
| Chế độ job | STREAMING, gửi job bất đồng bộ lên cụm |
| Bảng nguồn | Cơ sở dữ liệu MySQL integration, bảng customers |
| Bảng đích | Cơ sở dữ liệu PostgreSQL integration, schema public, bảng customers |
Gói phát hành đã được đối chiếu với mã SHA512 do Apache công bố; JAR khởi động báo version=3.1.0. Lần chạy cuối hoàn thành 16 bước kiểm tra. Kết quả xác nhận hành vi trong các trường hợp nêu dưới đây, không phải số đo thông lượng, kiểm thử tính sẵn sàng cao hay bằng chứng về exactly-once đầu cuối. Cấu hình đặt rõ exactly_once = false.
Tag của image Java có thể được cập nhật. Hãy kiểm tra phiên bản runtime ở lần chạy của bạn; nếu cần môi trường bất biến, hãy cố định image theo digest.
1. Chuẩn bị môi trường thử nghiệm riêng
Điều kiện triển khai chính thức của 3.1.0 là Java 11 hoặc 17 và đã đặt JAVA_HOME. Docker chỉ dùng để cô lập bài thực hành, không phải yêu cầu của SeaTunnel. Quy trình này không cần Python. Tham khảo hướng dẫn triển khai theo phiên bản.
Nếu dùng Docker theo bài viết, bạn cần Bash trên macOS hoặc Linux, Docker engine đang chạy và các lệnh curl, tar, unzip, shasum, sed, openssl. Hãy chừa vài GB dung lượng trống. Java chạy trong container engine nên không cần cài JDK trên máy chủ.
Dùng thư mục mới và các cơ sở dữ liệu dành riêng cho thử nghiệm. Lệnh sẽ tạo và sửa dữ liệu thử, bao gồm xóa một dòng và chạy ALTER TABLE. Không trỏ cấu hình vào cơ sở dữ liệu production. Không có cổng cơ sở dữ liệu nào được công bố ra máy chủ.
mkdir seatunnel-cdc-lab
cd seatunnel-cdc-lab
Bài thực hành dùng tài khoản root/postgres cho tiện. Không dùng mô hình quyền truy cập này trong production.
2. Khai báo đầy đủ cấu hình job
Tạo mẫu dưới đây. Dấu nháy quanh tên heredoc giữ nguyên ${table_name}: đây là biểu thức ánh xạ tên bảng của SeaTunnel, không phải biến để shell mở rộng.
cat > customers.conf.template <<'CONF'
env {
job.mode = "STREAMING"
job.name = "customers-cdc"
parallelism = 1
checkpoint.interval = 10000
checkpoint.timeout = 60000
}
source {
MySQL-CDC {
base-url = "jdbc:mysql://st310-tutorial-mysql:3306/integration"
username = "root"
password = "<MYSQL_PASSWORD>"
table-names = ["integration.customers"]
server-id = "6530-6533"
startup.mode = "initial"
schema-changes.enabled = true
exactly_once = false
}
}
sink {
jdbc {
url = "jdbc:postgresql://st310-tutorial-pg:5432/integration"
driver = "org.postgresql.Driver"
user = "postgres"
password = "<POSTGRES_PASSWORD>"
generate_sink_sql = true
database = "integration"
table = "public.${table_name}"
schema_save_mode = "CREATE_SCHEMA_WHEN_NOT_EXIST"
data_save_mode = "APPEND_DATA"
}
}
CONF
Các tùy chọn cần lưu ý:
startup.mode = "initial"tải dữ liệu đang có, sau đó tiếp tục đọc thay đổi từ binlog.- Chọn đích danh
integration.customers. Khóa chính giúp xác định đúng dòng đích khi kiểm tra cập nhật và xóa. server-id = "6530-6533"là dải ID dành cho trình đọc CDC của bài thực hành. Dải này không được trùng với client replication khác.schema-changes.enabled = truebật phần kiểm tra thay đổi schema. Bài này chỉ xác nhận trường hợp ADD COLUMN.- Các giá trị checkpoint tính bằng mili giây: chu kỳ 10.000 và thời gian chờ tối đa 60.000. Đây là thông số của bài thực hành, không phải SLA độ trễ hay khuyến nghị tinh chỉnh production.
Xem tài liệu MySQL CDC 3.1.0 để biết điều kiện ở nguồn và các tùy chọn.
Ở phía sink, generate_sink_sql = true tạo câu lệnh ghi dựa trên schema nhận được và loại thao tác trên dòng. APPEND_DATA là chế độ lưu, không có nghĩa mọi sự kiện cập nhật CDC đều chèn thêm một dòng. Các truy vấn bên dưới kiểm chứng điều đó. Ánh xạ đã cấu hình cho ra bảng public.customers.
Mẫu giữ trường user của JDBC sink đúng như lúc kiểm thử. Hệ thống có thể cảnh báo trường này đã lỗi thời và khuyên dùng username. Xem tài liệu JDBC sink 3.1.0 trước khi thay đổi cấu hình đang chạy. Với Zeta, các JAR trình điều khiển phải nằm trong lib/ của engine trên mọi node trước khi khởi động tiến trình.
3. Không đưa mật khẩu lên dòng lệnh của client cơ sở dữ liệu
Script dưới đây tải bản phát hành cùng connector đúng phiên bản, xác minh gói, tạo thông tin xác thực ngẫu nhiên và khởi động ba container cô lập. Đây là script hỗ trợ bài thực hành, không phải bộ cài do Apache cung cấp. Điểm vào của engine vẫn là script gốc bin/seatunnel-cluster.sh.
Trình dòng lệnh MySQL lấy mật khẩu từ tệp tùy chọn riêng, nhờ đó mật khẩu không nằm trên dòng lệnh SQL. Cả tệp này và cấu hình job có thể chạy đều chứa bí mật: không in ra, đưa vào commit hay chia sẻ. Đây không phải hệ thống quản lý bí mật. Người có đặc quyền Docker hoặc máy chủ có thể xem biến môi trường container; bước tạo cấu hình cũng mở rộng biến chứa thông tin xác thực. Trong production, hãy cấp bí mật qua cơ chế quản lý chuyên dụng.
Script từ chối dùng lại tên container hoặc mạng thử nghiệm đã tồn tại. Nếu thấy chúng, hãy kiểm tra thay vì tự động xóa. Nếu máy đã chạy bài này, dùng môi trường khác hoặc đổi đồng bộ tên tài nguyên, mạng và hostname trong cấu hình.
cat > setup.sh <<'BASH'
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")"
for command in docker curl tar shasum openssl unzip sed; do command -v "$command" >/dev/null || { echo "Missing prerequisite: $command" >&2; exit 1; }; done
for name in st310-tutorial-engine st310-tutorial-mysql st310-tutorial-pg; do
if docker container inspect "$name" >/dev/null 2>&1; then echo "Refusing to reuse existing container: $name" >&2; exit 1; fi
done
if docker network inspect st310-tutorial-net >/dev/null 2>&1; then echo 'Refusing to reuse existing tutorial network' >&2; exit 1; fi
if [ -e .env ] || [ -e runtime ]; then echo 'Use a fresh directory; .env/runtime already exists' >&2; exit 1; fi
if [ -n "${LAB_SUBNET:-}" ]; then
docker network create --subnet "$LAB_SUBNET" st310-tutorial-net
else
docker network create st310-tutorial-net
fi
umask 077
mkdir runtime
BASE=https://downloads.apache.org/seatunnel/3.1.0
curl -fL --retry 3 "$BASE/apache-seatunnel-3.1.0-bin.tar.gz" -o runtime/apache-seatunnel-3.1.0-bin.tar.gz
curl -fL --retry 3 "$BASE/apache-seatunnel-3.1.0-bin.tar.gz.sha512" -o runtime/apache-seatunnel-3.1.0-bin.tar.gz.sha512
(
cd runtime
shasum -a 512 -c apache-seatunnel-3.1.0-bin.tar.gz.sha512
printf '%s %s\n' \
'ca855b7934c375146cdaec9ff0f86e030350210b1391c4fbebea10d472008046b4ca7d05bc4decd5fd2e5f8e57bcde22de79f26ad21bf2d00efbc018c5b613d8' \
'apache-seatunnel-3.1.0-bin.tar.gz' | shasum -a 512 -c -
)
tar -xzf runtime/apache-seatunnel-3.1.0-bin.tar.gz -C runtime
ST="$PWD/runtime/apache-seatunnel-3.1.0"
MAVEN=https://repo.maven.apache.org/maven2
for artifact in connector-cdc-mysql connector-jdbc; do
curl -fL --retry 3 "$MAVEN/org/apache/seatunnel/$artifact/3.1.0/$artifact-3.1.0.jar" -o "$ST/connectors/$artifact-3.1.0.jar"
done
curl -fL --retry 3 "$MAVEN/com/mysql/mysql-connector-j/8.4.0/mysql-connector-j-8.4.0.jar" -o "$ST/lib/mysql-connector-j-8.4.0.jar"
curl -fL --retry 3 "$MAVEN/org/postgresql/postgresql/42.7.8/postgresql-42.7.8.jar" -o "$ST/lib/postgresql-42.7.8.jar"
export MYSQL_ROOT_PASSWORD="$(openssl rand -hex 24)"
export POSTGRES_PASSWORD="$(openssl rand -hex 24)"
printf 'MYSQL_ROOT_PASSWORD=%s\nPOSTGRES_PASSWORD=%s\n' "$MYSQL_ROOT_PASSWORD" "$POSTGRES_PASSWORD" > .env
# Passwords are random hexadecimal strings, so they contain no sed/HOCON metacharacters.
sed -e "s/<MYSQL_PASSWORD>/$MYSQL_ROOT_PASSWORD/g" \
-e "s/<POSTGRES_PASSWORD>/$POSTGRES_PASSWORD/g" \
customers.conf.template > runtime/customers.conf
chmod 600 runtime/customers.conf
# Private native MySQL client option file. Never print or distribute it.
printf '[client]\nuser=root\npassword=%s\n' "$MYSQL_ROOT_PASSWORD" > runtime/mysql-client.cnf
chmod 600 runtime/mysql-client.cnf
docker run -d --name st310-tutorial-mysql --network st310-tutorial-net \
-v "$PWD/runtime/mysql-client.cnf:/tmp/tutorial-client.cnf:ro" \
-e MYSQL_ROOT_PASSWORD -e MYSQL_DATABASE=integration mysql:8.0.46 \
--server-id=3101 --log-bin=mysql-bin --binlog-format=ROW --binlog-row-image=FULL \
--gtid-mode=ON --enforce-gtid-consistency=ON
docker run -d --name st310-tutorial-pg --network st310-tutorial-net \
-e POSTGRES_PASSWORD -e POSTGRES_DB=integration postgres:16.6-alpine
docker run -d --name st310-tutorial-engine --network st310-tutorial-net \
-v "$ST:/opt/seatunnel" -v "$PWD/runtime/customers.conf:/opt/seatunnel/config/customers.conf:ro" \
-w /opt/seatunnel eclipse-temurin:11-jdk bash bin/seatunnel-cluster.sh
printf '\nContainers started. Continue with section 4 of this walkthrough after the databases are ready.\n'
BASH
bash setup.sh
Giữ bước xác minh checksum. Nếu bản phát hành đã rời mirror tải xuống, dùng đường dẫn tương ứng tại https://archive.apache.org/dist/seatunnel/3.1.0/ và vẫn kiểm tra gói. Dừng nếu tải xuống hoặc xác minh checksum thất bại.
Nếu Docker hết dải địa chỉ mặc định, kiểm tra các mạng hiện có và bảng định tuyến máy chủ. Chọn CIDR riêng chưa dùng, rồi chạy LAB_SUBNET=YOUR_UNUSED_CIDR bash setup.sh trong môi trường mới. Không chạy prune toàn cục để giải phóng dải địa chỉ. Nếu script đã chạy dở, đừng chạy lại mù quáng: kiểm tra tài nguyên đã tạo và tiếp tục từ lệnh phù hợp.
Chờ cơ sở dữ liệu khởi tạo xong trước khi tiếp tục:
docker logs --tail 30 st310-tutorial-mysql
docker exec st310-tutorial-pg pg_isready -U postgres -d integration
docker logs --tail 30 st310-tutorial-engine
MySQL phải báo sẵn sàng, PostgreSQL phải chấp nhận kết nối. Engine đã khởi động không có nghĩa là job đã được gửi.
4. Kiểm tra phiên bản và cấu hình binlog MySQL
docker exec st310-tutorial-engine printenv JAVA_HOME
docker exec st310-tutorial-engine java -version
unzip -p runtime/apache-seatunnel-3.1.0/starter/seatunnel-starter.jar META-INF/maven/org.apache.seatunnel/seatunnel-starter/pom.properties
docker exec st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration -e "SELECT VERSION(); SHOW VARIABLES WHERE Variable_name IN ('log_bin','binlog_format','binlog_row_image','gtid_mode');"
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SHOW server_version;'
Kiểm tra version=3.1.0 trong metadata của JAR. Các giá trị MySQL khi chạy kiểm thử:
| Biến | Giá trị |
|---|---|
log_bin |
ON |
binlog_format |
ROW |
binlog_row_image |
FULL |
gtid_mode |
ON |
Bài này chủ động bật GTID. Không suy ra rằng mọi triển khai MySQL 8 đều bắt buộc bật GTID. Với cơ sở dữ liệu có sẵn, xem hướng dẫn chuẩn bị nguồn theo phiên bản connector và phối hợp với quản trị viên trước khi chỉnh cấu hình toàn cục. Tài khoản CDC cần quyền đọc snapshot và replication phù hợp. Bài thực hành dùng root để không phải đi sâu vào quy trình cấp tài khoản.
--defaults-extra-file là tùy chọn đầu tiên sau mysql. Không có sh -c lồng nhau và không truyền mật khẩu trên dòng lệnh.
5. Tạo bảng nguồn với khóa ổn định
Chạy một lần trong cơ sở dữ liệu integration mới. Nếu báo bảng đã tồn tại, hãy kiểm tra môi trường, đừng tự động xóa bảng.
docker exec -i st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration <<'SQL'
CREATE TABLE customers (
id BIGINT PRIMARY KEY,
name VARCHAR(100) NOT NULL,
city VARCHAR(100)
);
INSERT INTO customers VALUES
(101, 'Alice', 'Seattle'),
(102, 'Bob', 'Toronto');
SELECT * FROM customers ORDER BY id;
SQL
Các dòng dự kiến ở nguồn:
| id | name | city |
|---|---|---|
| 101 | Alice | Seattle |
| 102 | Bob | Toronto |
Các khóa này giúp phân biệt cập nhật đúng dòng với chèn trùng, đồng thời xác minh thao tác xóa. Không tạo bảng đích thủ công; sink sẽ tạo theo cấu hình.
6. Gửi job và kiểm tra snapshot ban đầu
docker exec st310-tutorial-engine bash bin/seatunnel.sh -c config/customers.conf -m cluster --async -n customers-cdc
Sao chép ID dạng số trong phản hồi thực tế Submit job finished. Tên job là nhãn dễ đọc; các lệnh quản lý vòng đời dùng ID.
JOB_ID=REPLACE_WITH_YOUR_NUMERIC_JOB_ID
docker exec st310-tutorial-engine bash bin/seatunnel.sh -j "$JOB_ID" -m cluster
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SELECT * FROM public.customers ORDER BY id;'
Chờ PostgreSQL có đúng hai dòng như MySQL. Nếu chưa thấy bảng đích, có thể job vẫn đang khởi tạo. Kiểm tra job và log engine rồi truy vấn lại. Nếu lỗi kéo dài, hãy chẩn đoán thay vì cứ truy vấn mãi.
Tiêu chí đạt là dữ liệu ở đích, không chỉ là gửi job bất đồng bộ thành công. Giữ job streaming hoạt động trong bốn bước kiểm tra tiếp theo.
7. Kiểm tra riêng từng thao tác INSERT, UPDATE và DELETE
Chạy từng thay đổi đúng một lần và kiểm tra cả hai cơ sở dữ liệu trước khi chuyển bước. Chạy lại INSERT với cùng khóa chính sẽ lỗi ở nguồn; đó không phải kiểm thử phục hồi CDC.
INSERT: thêm một dòng sau snapshot
docker exec st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration -e "INSERT INTO customers VALUES (103, 'Carol', 'Austin'); SELECT * FROM customers ORDER BY id;"
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SELECT * FROM public.customers ORDER BY id;'
Đích lúc này phải có Alice, Bob và Carol. Vì job cũ vẫn chạy, phép thử này xác minh việc xử lý thay đổi sau snapshot ban đầu.
UPDATE: giữ nguyên khóa, đổi giá trị
docker exec st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration -e "UPDATE customers SET city='Vancouver' WHERE id=102; SELECT * FROM customers ORDER BY id;"
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SELECT * FROM public.customers ORDER BY id;'
Phải có đúng một dòng ID 102, nay là Vancouver. Khóa hiện có của Bob phải mang giá trị mới, không tạo thêm dòng khách hàng thứ hai.
DELETE: xóa dòng thử nghiệm
docker exec st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration -e 'DELETE FROM customers WHERE id=101; SELECT * FROM customers ORDER BY id;'
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SELECT * FROM public.customers ORDER BY id;'
Alice phải biến mất ở cả hai phía; Bob và Carol vẫn còn. Trên máy chậm, chờ một chút rồi truy vấn lại đích. Không suy ra độ trễ bằng không từ video đã biên tập.
8. Kiểm tra một thay đổi schema
Thêm cột email, sau đó cập nhật giá trị của Carol:
docker exec -i st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration <<'SQL'
ALTER TABLE customers ADD email VARCHAR(255);
UPDATE customers SET email='carol@example.test' WHERE id=103;
SELECT * FROM customers ORDER BY id;
SQL
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SELECT * FROM public.customers ORDER BY id;'
docker exec st310-tutorial-pg psql -U postgres -d integration -c "SELECT column_name, data_type FROM information_schema.columns WHERE table_schema='public' AND table_name='customers' ORDER BY ordinal_position;"
Kiểm tra cả cấu trúc lẫn dữ liệu ở đích: cột email có mặt, Carol có carol@example.test, Bob có giá trị NULL. Mặc định psql hiển thị NULL dưới dạng ô trống; ô trống không chứng minh rằng đã ghi chuỗi rỗng.
Phép thử này chỉ xác nhận trường hợp ADD COLUMN đã chạy. Đổi tên cột, xóa cột, chuyển kiểu, giá trị mặc định không tương thích hoặc một cặp nguồn/đích khác đều cần được kiểm tra riêng. Một lần chạy DDL thành công không bảo đảm mọi thay đổi schema đều hoạt động.
9. Dừng bằng savepoint và khôi phục theo ID job
Xác nhận dữ liệu ở đích đã bắt kịp nguồn, sau đó yêu cầu savepoint:
docker exec st310-tutorial-engine bash bin/seatunnel.sh -s "$JOB_ID" -m cluster
docker exec st310-tutorial-engine bash bin/seatunnel.sh -j "$JOB_ID" -m cluster
Trong lần kiểm thử, lệnh tạo savepoint hoàn tất và job dừng. Kiểm tra kết quả lệnh và trạng thái thực tế trước khi khôi phục. Giữ nguyên container engine và các tệp checkpoint.
Bài thực hành dùng vị trí lưu checkpoint dạng tệp của bản phát hành trong container engine, /tmp/seatunnel/checkpoint_snapshot. Xóa container sẽ làm mất trạng thái cục bộ đó. Bài này kiểm tra quy trình chủ động dừng rồi tiếp tục job; không chứng minh khả năng phục hồi khi mất máy chủ engine hoặc thiết bị lưu trữ.
Khôi phục với cùng cấu hình:
docker exec st310-tutorial-engine bash bin/seatunnel.sh -c config/customers.conf -r "$JOB_ID" -m cluster --async -n customers-cdc-restored
Ở đây -r nhận ID dạng số của job trước khi dừng, không phải đường dẫn tệp checkpoint. Lần kiểm thử giữ nguyên ID. Đọc phản hồi gửi job và truy vấn ID mà hệ thống trả về, đừng mặc định nó sinh ID mới.
Phản hồi khôi phục mới chỉ là một mốc trung gian. Sau khi job đã khôi phục và chạy, ghi một dòng mới:
docker exec st310-tutorial-engine bash bin/seatunnel.sh -j "$JOB_ID" -m cluster
docker exec st310-tutorial-mysql mysql --defaults-extra-file=/tmp/tutorial-client.cnf --table integration -e "INSERT INTO customers VALUES (104, 'Dana', 'Boston', 'dana@example.test'); SELECT * FROM customers ORDER BY id;"
docker exec st310-tutorial-pg psql -U postgres -d integration -c 'SELECT * FROM public.customers ORDER BY id;'
Kết quả PostgreSQL cuối cùng trong lần chạy thực tế:
| id | name | city | |
|---|---|---|---|
| 102 | Bob | Vancouver | NULL |
| 103 | Carol | Austin | carol@example.test |
| 104 | Dana | Boston | dana@example.test |
Job báo RUNNING, trường errorMessage là null. Trạng thái này cùng với dòng Dana mới xuất hiện ở đích cho thấy pipeline đã xử lý tiếp. Alice vẫn bị xóa, còn lần cập nhật và thay đổi schema trước đó vẫn còn thấy được.
Chẩn đoán theo bước không đạt
| Dấu hiệu | Nên bắt đầu từ đâu |
|---|---|
| Engine không khởi động | Kiểm tra Java/JAVA_HOME, thư mục bản phát hành được mount và docker logs st310-tutorial-engine. Không tìm thấy script khởi động là lỗi thiết lập hoặc hệ thống tệp, không phải lỗi connector. |
| MySQL từ chối kết nối | Chờ khởi tạo xong; kiểm tra container cơ sở dữ liệu và mạng dùng chung. Tiến trình bên ngoài mạng Docker không phân giải được hostname nội bộ đó. |
| MySQL báo không có quyền truy cập | Kiểm tra tệp tùy chọn riêng và điểm mount, sau đó kiểm tra thông tin xác thực nguồn trong cấu hình job. Trong bài này, cả MySQL CLI và cấu hình nguồn đều dùng mật khẩu được tạo từ MYSQL_ROOT_PASSWORD; hãy kiểm tra từng cấu hình riêng. Không công khai mật khẩu để gỡ lỗi. |
| Không tìm thấy class trình điều khiển | Kiểm tra JAR JDBC tương ứng có trong lib/ của Zeta trước lúc khởi động. Sau khi sửa classpath, chỉ khởi động lại engine bị ảnh hưởng. |
| Gửi job thành công nhưng dữ liệu chưa đến | Xem trạng thái job, lỗi từ engine, bảng nguồn đã chọn, cấu hình binlog, quyền ở nguồn và quyền ở đích. |
| Trạng thái đích không đúng sau UPDATE/DELETE | Kiểm tra khóa định danh dòng, schema nguồn và đích, chế độ ghi JDBC và dòng thực tế tại mỗi đầu. |
| ADD COLUMN không xuất hiện ở đích | Kiểm tra thiết lập thay đổi schema ở nguồn, quyền ALTER ở đích và lỗi ứng với đúng lệnh DDL này. Không thử thao tác khác trước khi hiểu lỗi. |
| Khôi phục không tìm thấy trạng thái phù hợp | Xác minh ID job đã dừng và nơi lưu checkpoint vẫn tồn tại, truy cập được. Không xóa container engine khi đang kiểm thử khôi phục bằng trạng thái cục bộ. |
| Tên, mạng hoặc thư mục đã tồn tại | Kiểm tra môi trường từ lần chạy trước. Script chủ ý không ghi đè. Không xóa tài nguyên Docker không liên quan. |
Chu kỳ checkpoint 10 giây không đồng nghĩa với độ trễ đồng bộ 10 giây. Khi đo hiệu năng, hãy đo riêng thời điểm commit nguồn, tiến độ vị trí đọc nguồn, thời gian xử lý pipeline và thời điểm dữ liệu hiện ở đích.
Trước khi áp dụng vào production
Dùng bài thực hành làm checklist nghiệm thu chức năng, rồi mở rộng theo môi trường thực tế:
- Quyền truy cập và bí mật. Thay root/postgres bằng tài khoản chuyên dụng có quyền tối thiểu. Kiểm tra quyền snapshot, đọc binlog, DML ở đích và DDL cần thiết. Thêm TLS và quy trình xoay vòng thông tin xác thực.
- Độ bền trạng thái và thời gian lưu giữ. Chọn nơi lưu checkpoint có thể sống sót qua các sự cố bạn muốn chịu được. Đặt thời gian giữ binlog MySQL phù hợp với cửa sổ gián đoạn và khôi phục dài nhất có thể xảy ra.
- Ngữ nghĩa chuyển giao dữ liệu. Xác định cách xử lý retry, sự kiện trùng, vị trí nguồn và commit ở sink. Cấu hình này không xác lập exactly-once đầu cuối; riêng checkpoint không đủ để chứng minh.
- Phạm vi DDL và kiểu dữ liệu. Kiểm thử DDL và kiểu thực tế, gồm độ chính xác số, timestamp và múi giờ, NULL và biến động khóa. Bài này dùng schema nhỏ có chủ ý.
- Các tình huống sự cố. Thử lỗi tiến trình, mất kết nối, khởi động lại cơ sở dữ liệu, checkpoint thất bại và khôi phục từ trạng thái bền vững. Một node và một lần chủ động khôi phục savepoint không chứng minh tính sẵn sàng cao.
- Năng lực và khả năng quan sát. Đo tải snapshot, độ trễ tăng dần, thông lượng nguồn/đích, thời gian và lỗi checkpoint, mức dùng tài nguyên và tính đúng đắn ở đích dưới tải thực tế. Tăng mức song song dựa trên số đo, không dựa vào giá trị 1 của bài này.
Nếu triển khai không dùng Docker, cài Java 11 hoặc 17, giữ nguyên gói chính thức và cách bố trí connector/driver, rồi thay hostname Docker bằng địa chỉ engine truy cập được. Chạy bash bin/seatunnel-cluster.sh, sau đó dùng cùng các lệnh bin/seatunnel.sh ở terminal thứ hai. Thiết kế tích hợp không phụ thuộc vào container.
Dừng thử nghiệm mà không xóa kết quả
Sau bước kiểm tra cuối, chỉ dừng ba container được tạo cho bài thực hành:
docker stop st310-tutorial-engine st310-tutorial-mysql st310-tutorial-pg
Lệnh này dừng tiến trình nhưng không xóa container. Giữ thư mục làm việc, volume cơ sở dữ liệu và trạng thái checkpoint nếu cần xem lại hoặc tiếp tục. Xóa container, volume hay thư mục là thao tác riêng có tính phá hủy; không cần lệnh dọn dẹp toàn cục.
Kết luận
Giá trị thực tế của bài này nằm ở chu trình có thể lặp lại: thay đổi một thứ ở MySQL, kiểm tra PostgreSQL và nêu rõ kết quả mong đợi. Dùng chu trình đó với snapshot ban đầu, từng loại thao tác, các thay đổi schema quan trọng và một thay đổi mới sau khôi phục.
Với cấu hình SeaTunnel 3.1.0 trong bài, kết quả cuối rất cụ thể: Bob được cập nhật, Alice bị xóa, cột mới của Carol có dữ liệu và Dana xuất hiện sau khi khôi phục savepoint. Đây là đường cơ sở để xây dựng kế hoạch kiểm thử production kỹ hơn.
Tài liệu theo phiên bản
- Triển khai Apache SeaTunnel 3.1.0
- Nguồn MySQL CDC trong Apache SeaTunnel 3.1.0
- JDBC sink trong Apache SeaTunnel 3.1.0
Video thực hành (tiếng Anh): Xem các bước đồng bộ MySQL CDC → PostgreSQL trong 9 phút 43 giây.
All rights reserved