Từ MySQL đến Kafka: xây dựng luồng thay đổi đơn hàng mà hệ thống phía sau có thể sử dụng ngay
Khi trạng thái đơn hàng thay đổi, chỉ mục tìm kiếm, bảng điều hành vận hành và hệ thống giám sát rủi ro đều cần cập nhật kịp thời. Nếu mỗi nhóm tự truy vấn định kỳ cơ sở dữ liệu nghiệp vụ, công sức sẽ bị lặp lại và thời điểm cập nhật giữa các hệ thống cũng khác nhau. Còn nếu chèn logic gửi thông điệp vào mọi API nghiệp vụ, các tác vụ nền và thao tác chỉnh sửa thủ công rất dễ bị bỏ sót.
Đây là bài toán phù hợp với một công cụ đồng bộ dữ liệu.
Apache SeaTunnel là công cụ tích hợp dữ liệu phân tán mã nguồn mở, hiệu năng cao. Công cụ này kết nối cơ sở dữ liệu, hệ thống nhắn tin, kho dữ liệu và hệ thống tìm kiếm để đọc, biến đổi nhẹ và ghi dữ liệu. Với kỹ sư, lý do lựa chọn khá cụ thể: kết nối được nhiều hệ thống, di chuyển dữ liệu hiệu quả và quản lý tác vụ đồng bộ như những công việc chạy dài hạn.
Các connector của SeaTunnel bao gồm MySQL, PostgreSQL, Kafka, Elasticsearch và những dịch vụ đám mây như Snowflake, Amazon S3. Nhóm phát triển không phải viết lại mã tích hợp cho từng luồng mới. Thông qua cấu hình Source, Transform và Sink, chúng ta có thể xác định đường đi của dữ liệu, đồng thời ánh xạ trường, lọc và xử lý nhẹ trên đường truyền.
Hiệu quả và độ ổn định cũng quan trọng như khả năng kết nối. SeaTunnel hỗ trợ thực thi phân tán; với connector có khả năng chia nhỏ nguồn đọc, việc đọc song song giúp xử lý khối lượng lớn hơn. Batch, streaming và CDC đáp ứng các kiểu cập nhật khác nhau, còn checkpoint lưu trạng thái có thể phục hồi của tác vụ. Nhờ đó, công việc chuyển từ bảo trì những script chuyển dữ liệu rời rạc sang xây dựng pipeline vận hành lâu dài, có đầu ra thực sự hữu ích cho hệ thống phía sau.
Bài viết bắt đầu với một tổ hợp quen thuộc: MySQL lưu đơn hàng, Kafka chuyển các thay đổi đến nhiều consumer. Không chỉ chuyển dữ liệu, chúng ta còn chuẩn hóa trường và bổ sung thông tin nguồn, để consumer biết bản ghi đến từ đâu và đã thay đổi như thế nào.
Một pipeline, trách nhiệm rõ ràng ở từng bước
MySQL CDC Source đọc dữ liệu đơn hàng hiện có và những thay đổi tiếp theo từ binlog. Metadata Transform lấy tên cơ sở dữ liệu, tên bảng và loại thay đổi của dòng. SQL Transform chuẩn hóa các trường nghiệp vụ. Cuối cùng, Kafka Sink ghi thông điệp và đưa thông tin nguồn vào header.
MySQL orders
↓ snapshot + binlog
MySQL-CDC Source
↓
Metadata → SQL Transform
↓
Kafka Sink
↓
Kafka topic → search / analytics / monitoring
Đây là mô hình dữ liệu EtLT của SeaTunnel: thực hiện những biến đổi nhẹ cần thiết trong quá trình di chuyển dữ liệu, để hệ thống nhận có thể sử dụng thuận tiện hơn. Trong ví dụ này, chúng ta không thực hiện phân tích phức tạp mà chỉ làm ba việc: đổi tên id thành order_id, ánh xạ mã trạng thái sang tên nghiệp vụ và bổ sung thông tin nguồn.
Kafka giúp tách biệt các consumer. Hệ thống tìm kiếm và phân tích có thể tiến triển độc lập theo offset của mình. Khi thêm consumer mới, nó có thể đọc thông điệp còn trong thời hạn lưu giữ mà không cần viết thêm một chương trình trích xuất riêng từ cơ sở dữ liệu nghiệp vụ.
Sử dụng cách triển khai chính thức
SeaTunnel có tài liệu triển khai chính thức cho Docker và Kubernetes. Tác vụ được chạy bằng seatunnel.sh đi kèm bản phân phối, không cần tự viết một trình khởi chạy Python khác.
Với Docker, quy trình khá trực tiếp: tải image, mount cấu hình tác vụ rồi chạy. Ví dụ này cố định phiên bản 3.0.0 thay vì để latest làm thay đổi môi trường:
docker pull apache/seatunnel:3.0.0
MySQL và Kafka phải truy cập được từ bên trong container SeaTunnel. Cấu hình dưới đây giả định môi trường phát triển đã có hai dịch vụ trong cùng mạng Docker seatunnel-network, với alias lần lượt là mysql và kafka. Nếu dịch vụ hiện tại dùng địa chỉ khác, hãy điều chỉnh endpoint tương ứng.
MySQL cần bật binlog theo dòng và cấp quyền đọc, sao chép cần thiết cho tài khoản CDC. Topic đích trên Kafka phải được tạo trước khi chạy tác vụ. Các tham số cơ sở dữ liệu, quyền và yêu cầu driver được trình bày trong tài liệu MySQL CDC. Image chính thức apache/seatunnel:3.0.0 dùng ở đây đã có connector MySQL CDC, Kafka và MySQL JDBC driver, nên không cần cài thêm để chạy tác vụ này. Nếu nhóm tự xây dựng image tinh gọn, hãy bổ sung các dependency đúng phiên bản theo tài liệu plugin chính thức.
Cung cấp trường nghiệp vụ thay vì mã trạng thái nội bộ
Bảng đơn hàng có năm trường:
| Trường | Ý nghĩa |
|---|---|
id |
Khóa chính của đơn hàng |
order_no |
Mã đơn hàng dùng bên ngoài |
user_id |
Mã người dùng |
status |
Mã trạng thái |
amount |
Giá trị đơn hàng |
Consumer thường muốn nhận order_id và status_name, thay vì phải duy trì ánh xạ 0, 1, 2 trong từng ứng dụng. SQL Transform của SeaTunnel thực hiện phép biến đổi trên từng dòng này một lần ngay trong pipeline.
Metadata Transform cũng chuyển Database, Table và RowKind thành các trường. Kafka Sink dùng kafka_headers_fields để chuyển chúng vào header, giữ JSON payload tập trung vào dữ liệu nghiệp vụ. Điểm cần lưu ý là “chuyển”, không phải sao chép: những trường được cấu hình làm header sẽ bị loại khỏi JSON payload.
Cấu hình dựa trên ví dụ MySQL CDC đến Kafka chính thức, giữ nguyên luồng Source → Metadata → SQL → Kafka và sử dụng thông tin kết nối cục bộ. Đây là cấu hình tác vụ SeaTunnel thông thường, không phải một ứng dụng khác cần bảo trì.
Lưu nội dung sau vào jobs/mysql-orders-to-kafka.conf. Tác vụ đọc lab.orders và ghi vào orders-cdc. Trước khi chạy, thay mọi chỗ có REPLACE_WITH_CDC_PASSWORD bằng cùng một mật khẩu đã chọn cho môi trường phát triển độc lập này. Phụ lục cũng dùng REPLACE_WITH_ROOT_PASSWORD; hãy thay nhất quán bằng một mật khẩu root cục bộ riêng. Đây là các giá trị giữ chỗ, không phải thông tin xác thực. Với cơ sở dữ liệu sẵn có, sử dụng tài khoản được cấp quyền phù hợp.
env {
parallelism = 1
job.mode = "STREAMING"
}
source {
MySQL-CDC {
plugin_output = "mysql_orders_raw"
url = "jdbc:mysql://mysql:3306/lab"
username = "cdc"
password = "REPLACE_WITH_CDC_PASSWORD"
server-id = 61719
table-names = ["lab.orders"]
startup.mode = "initial"
schema-changes.enabled = false
}
}
transform {
Metadata {
plugin_input = "mysql_orders_raw"
plugin_output = "mysql_orders_with_meta"
metadata_fields {
Database = source_database
Table = source_table
RowKind = change_type
}
}
Sql {
plugin_input = "mysql_orders_with_meta"
plugin_output = "kafka_orders"
query = "select id as order_id, order_no, user_id, amount, case when status = 0 then 'CREATED' when status = 1 then 'PAID' when status = 2 then 'SHIPPED' else 'OTHER' end as status_name, source_database, source_table, change_type, CONCAT(source_database, '.', source_table) as source_name, 'mysql_cdc' as sync_source from dual where id is not null"
}
}
sink {
Kafka {
plugin_input = "kafka_orders"
bootstrap.servers = "kafka:9092"
topic = "orders-cdc"
format = json
partition_key_fields = ["order_id"]
kafka_headers_fields = ["source_database", "source_table", "change_type"]
}
}
Chạy lệnh từ thư mục chứa thư mục jobs:
docker run --rm -it \
--name seatunnel-orders \
--network seatunnel-network \
--memory 3g \
-v "$PWD/jobs:/config:ro" \
apache/seatunnel:3.0.0 \
./bin/seatunnel.sh -DJvmOption="-Xms512m -Xmx2g" \
-m local -c /config/mysql-orders-to-kafka.conf
Lệnh này gọi trực tiếp điểm khởi chạy chính thức trong image. Nếu chưa có MySQL và Kafka, hãy tạo các instance độc lập theo Phụ lục thiết lập ở cuối bài trước.
Có ba điểm cần kiểm tra khi review cấu hình:
- Giữ lại khóa nghiệp vụ. Sau khi đổi tên trường, khóa phân vùng Kafka cũng phải tham chiếu đến
order_id. - Giữ lại ý nghĩa của thay đổi. Consumer dùng header
change_typeđể phân biệt bản ghi chèn mới, trước cập nhật, sau cập nhật và xóa. Chỉ các trường nghiệp vụ trong JSON là chưa đủ. - Thống nhất vai trò của từng trường.
source_databasevàsource_tablexác định nguồn; mã đơn hàng, trạng thái và giá trị phục vụ xử lý nghiệp vụ. Mỗi consumer không nên phải tự suy đoán hợp đồng dữ liệu.
Kiểm tra hợp đồng thông điệp, không chỉ trạng thái tác vụ
Triển khai thành công chưa phải bước cuối. Trước hết, xác nhận các dòng snapshot đã đến Kafka. Sau đó cập nhật một đơn hàng, chèn thêm một đơn hàng và kiểm tra cả trường nghiệp vụ lẫn loại thay đổi.
Với cấu hình JSON kết hợp header này, cần kiểm tra riêng key, header và value của Kafka. Chỉ in value sẽ bỏ qua thông tin nguồn và loại thay đổi mà chúng ta chủ động đưa vào header. Cũng không nên diễn giải theo một định dạng tuần tự hóa khác: JSON kết hợp header và debezium_json không phải cùng một hợp đồng dữ liệu.
Consumer duy trì trạng thái hiện tại của đơn hàng cần quy tắc xử lý rõ ràng. Trong ví dụ này, id của đơn hàng không thay đổi khi cập nhật:
- Khi nhận
+Ihoặc+U, thực hiện upsert theoorder_id, thay trạng thái hiện tại bằng đầy đủ các trường nghiệp vụ trong thông điệp. - Khi nhận
-D, xóa trạng thái tương ứng vớiorder_id. - Khi nhận
-U, bỏ qua bản ghi trước cập nhật; bản ghi+Utiếp theo cung cấp trạng thái mới. Quy ước này chỉ áp dụng cho tình huống khóa chính cố định và trạng thái đầy đủ của dòng trong bài. Không thể áp dụng trực tiếp cho thay đổi khóa chính hoặc phép tổng hợp cần rút lại giá trị cũ.
Consumer phải áp dụng thay đổi theo thứ tự offset trong từng partition. Với key không đổi và số partition cố định, lần chạy này ghi nhận các bản ghi của cùng một đơn hàng vào cùng partition. Không có thứ tự toàn cục giữa các partition, và việc cấu hình khóa phân vùng không đồng nghĩa với xử lý exactly-once từ đầu đến cuối. Khi tăng số partition, đổi key hoặc xử lý đồng thời có thể gây đảo thứ tự, cần xem lại quy ước này. Upsert theo khóa chính xử lý được việc ghi lặp cùng một trạng thái, nhưng không ngăn trạng thái cũ ghi đè trạng thái mới khi replay sai thứ tự.
Consumer thực hiện hành động bên ngoài không thể hoàn tác, chẳng hạn thu tiền hoặc gửi thông báo, còn cần thiết kế chống xử lý trùng và giao dịch ở cấp nghiệp vụ. CDC ghi nhận thay đổi trong cơ sở dữ liệu; nó không tự động biến mọi thay đổi của dòng thành một sự kiện nghiệp vụ có ngữ nghĩa đầy đủ.
Trong lần chạy bằng image chính thức, hai đơn hàng ban đầu tạo ra hai thông điệp snapshot. Sau khi cập nhật đơn hàng 1001, chèn đơn hàng 1003 và xóa đơn hàng 1002, tổng cộng có sáu thông điệp: -U và +U cho cập nhật, +I cho chèn mới và -D cho xóa.
Key của đơn hàng 1001 luôn là {"order_id":1001}. Các bản ghi snapshot, trước cập nhật và sau cập nhật đều nằm trong cùng partition. Payload sau cập nhật có status_name = SHIPPED và amount = 39.99, còn thông tin nguồn và loại thay đổi nằm trong header. Sau khi áp dụng việc xóa đơn hàng 1002, trạng thái hiện tại được dựng lại theo khóa chính chỉ còn đơn hàng 1001 và 1003, khớp với bảng nguồn.
Đây là kết quả của cấu hình JSON kết hợp header cụ thể này, không phải của mọi định dạng thông điệp. Kiểm tra riêng key, header và value giúp nhanh chóng xác định vấn đề nằm ở bước thu thập thay đổi, biến đổi trường hay cách consumer diễn giải dữ liệu.
Từ pipeline cục bộ đến tác vụ được vận hành lâu dài
Sau khi pipeline chạy được, những gì đáng giữ lại để tái sử dụng là cấu hình kết nối, hợp đồng trường dữ liệu và cách vận hành, chứ không phải một script chỉ chạy trên máy của tác giả.
Với tác vụ chạy dài hạn, quản lý connector, driver và cấu hình nền theo phiên bản cố định trong image. Cấp thông tin xác thực qua cơ chế quản lý cấu hình và bí mật có kiểm soát, thay vì để chúng nằm trong các lệnh được sao chép giữa nhiều người. Cần lập kế hoạch đồng thời cho thời hạn lưu giữ thông điệp Kafka, binlog MySQL và trạng thái phục hồi SeaTunnel: chúng quyết định consumer có thể đọc lại đến đâu, Source có thể tiếp tục từ đâu và tác vụ có thể khôi phục từ trạng thái nào.
Nếu nhóm đã sử dụng Kubernetes, có thể theo mô hình triển khai chính thức với Master và Worker tách biệt. Chuẩn bị lưu trữ trạng thái dùng chung, service discovery, giới hạn tài nguyên và giám sát, rồi chạy cùng logic xử lý dữ liệu. Container hóa thay đổi cách đóng gói và vận hành pipeline, không đòi hỏi viết lại Source, Transform và Sink thành một chương trình khác.
Bớt mã chuyển dữ liệu, thêm dữ liệu thực sự dùng được
Đồng bộ MySQL đến Kafka không chỉ là đọc một dòng rồi gửi một thông điệp. Pipeline hữu ích còn phải cho consumer biết nguồn, khóa chính, loại thay đổi và ý nghĩa của từng trường.
SeaTunnel kết hợp thu thập thay đổi ở nguồn, biến đổi nhẹ trên đường truyền và ghi dữ liệu đích trong một cấu hình. Pipeline đầu tiên mang lại nhiều hơn một lần chuyển dữ liệu: đó là cách tích hợp mà cả nhóm có thể review, triển khai và tái sử dụng. Với đội ngũ đã sử dụng MySQL và Kafka, đây là điểm khởi đầu thực tế để thử SeaTunnel.
Phụ lục thiết lập: môi trường Docker độc lập
Các lệnh dưới đây dùng điểm khởi chạy chính thức seatunnel.sh. Chúng tạo môi trường phát triển cục bộ độc lập, không kết nối cơ sở dữ liệu sản xuất và không ánh xạ cổng container ra máy chủ. Nếu tên tài nguyên đã tồn tại, chọn tên khác và điều chỉnh các lệnh liên quan, thay vì xóa tài nguyên hiện có.
Tạo một thư mục làm việc với thư mục con jobs, rồi lưu cấu hình ở trên thành jobs/mysql-orders-to-kafka.conf. Chạy lệnh từ thư mục làm việc đó. Thay nhất quán hai giá trị giữ chỗ mật khẩu trước khi chạy; mật khẩu CDC trong SQL phải khớp với cấu hình tác vụ. Với các lệnh viết trực tiếp như dưới đây, dùng giá trị an toàn với shell hoặc đặt dấu nháy và escape ký tự phù hợp.
Trước khi tạo mạng, xác nhận dải 10.243.173.0/24 không trùng mạng cục bộ, VPN hoặc mạng Docker hiện có. Nếu trùng, chọn một dải mạng riêng còn trống. Khi pool địa chỉ mặc định của Docker đã hết, cũng không cần xóa các mạng không liên quan.
1. Tạo mạng và MySQL nguồn
docker network create --subnet 10.243.173.0/24 seatunnel-network
docker run -d --name seatunnel-mysql --network seatunnel-network --network-alias mysql \
--memory 1g -e MYSQL_ROOT_PASSWORD=REPLACE_WITH_ROOT_PASSWORD mysql:8.0.46 \
--server-id=1711 --log-bin=mysql-bin --binlog-format=ROW --binlog-row-image=FULL
Chờ đến khi tài khoản thực sự kết nối được rồi mới khởi tạo bảng:
until docker exec -e MYSQL_PWD=REPLACE_WITH_ROOT_PASSWORD seatunnel-mysql mysql -uroot -e 'SELECT 1' >/dev/null 2>&1; do
sleep 3
done
Nếu MySQL mãi chưa sẵn sàng, kiểm tra docker logs seatunnel-mysql thay vì chạy lại SQL khởi tạo nhiều lần. Tài khoản dưới đây chỉ dùng cho môi trường phát triển độc lập này.
docker exec -i -e MYSQL_PWD=REPLACE_WITH_ROOT_PASSWORD seatunnel-mysql mysql -uroot <<'SQL'
CREATE DATABASE lab;
CREATE USER 'cdc'@'%' IDENTIFIED BY 'REPLACE_WITH_CDC_PASSWORD';
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT, LOCK TABLES ON *.* TO 'cdc'@'%';
CREATE TABLE lab.orders (
id BIGINT NOT NULL PRIMARY KEY,
order_no VARCHAR(64) NOT NULL,
user_id BIGINT NOT NULL,
status INT NOT NULL,
amount DECIMAL(10,2) NOT NULL
);
INSERT INTO lab.orders VALUES (1001,'ORD-1001',501,0,19.99),(1002,'ORD-1002',502,1,29.99);
SQL
2. Khởi chạy Kafka
docker run -d --name seatunnel-kafka --network seatunnel-network --network-alias kafka \
--memory 1500m \
-e KAFKA_NODE_ID=1 \
-e KAFKA_PROCESS_ROLES=broker,controller \
-e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 \
-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
-e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT \
-e KAFKA_CONTROLLER_QUORUM_VOTERS=1@kafka:9093 \
-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
-e KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=1 \
-e KAFKA_TRANSACTION_STATE_LOG_MIN_ISR=1 \
apache/kafka:3.9.1
Sau khi broker sẵn sàng, tạo topic gồm hai partition:
docker exec seatunnel-kafka /opt/kafka/bin/kafka-topics.sh \
--bootstrap-server kafka:9092 --create --topic orders-cdc --partitions 2 --replication-factor 1
Đây là môi trường phát triển với một broker, không phải triển khai sản xuất có tính sẵn sàng cao.
3. Chạy tác vụ qua điểm khởi chạy chính thức
docker pull apache/seatunnel:3.0.0
docker run --rm -it --name seatunnel-orders --network seatunnel-network --memory 3g \
-v "$PWD/jobs:/config:ro" apache/seatunnel:3.0.0 \
./bin/seatunnel.sh -DJvmOption="-Xms512m -Xmx2g" -m local -c /config/mysql-orders-to-kafka.conf
Giữ terminal đó hoạt động. Mở terminal thứ hai để quan sát thông điệp:
docker exec seatunnel-kafka /opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server kafka:9092 --topic orders-cdc --from-beginning \
--property print.key=true --property print.headers=true \
--property print.partition=true --property print.offset=true
4. Kiểm tra thay đổi tăng dần
docker exec -i -e MYSQL_PWD=REPLACE_WITH_ROOT_PASSWORD seatunnel-mysql mysql -uroot <<'SQL'
UPDATE lab.orders SET status=2,amount=39.99 WHERE id=1001;
INSERT INTO lab.orders VALUES(1003,'ORD-1003',503,0,59.99);
DELETE FROM lab.orders WHERE id=1002;
SQL
Kiểm tra header change_type: snapshot và chèn mới dùng +I, trước và sau cập nhật dùng -U và +U, xóa dùng -D. Đơn hàng 1001 sau cập nhật phải có SHIPPED và 39.99. Kết quả từ các partition có thể xuất hiện xen kẽ; hãy kiểm tra thứ tự theo offset của từng partition, không xem thứ tự in trên terminal là thứ tự giao dịch toàn cục.
5. Dừng container
docker stop seatunnel-orders seatunnel-mysql seatunnel-kafka
Dừng các container này không xóa dữ liệu cơ sở dữ liệu. Không cần xóa image, network hay volume để hoàn thành hướng dẫn. Không chạy lệnh prune toàn cục.
Tài liệu chính thức
All rights reserved