Đã đăng vào Thứ Sáu, 2:36 SA 10 phút đọc

Tìm hiểu về Lưới dữ liệu (Data Mesh): Các nguyên lý, ưu nhược điểm và khi nào nên sử dụng

Khi dữ liệu trong doanh nghiệp tăng từ vài GB lên hàng chục hoặc hàng trăm TB, mô hình quản lý dữ liệu tập trung truyền thống thường bắt đầu bộc lộ nhiều hạn chế. Các nhóm phân tích phải chờ đợi đội dữ liệu trung tâm xử lý yêu cầu, tốc độ cung cấp dữ liệu chậm dần và chất lượng dữ liệu trở nên khó kiểm soát.

Để giải quyết vấn đề này, Zhamak Dehghani đã đề xuất Data Mesh vào năm 2019 như một cách tiếp cận mới trong quản lý dữ liệu quy mô lớn. Thay vì tập trung toàn bộ dữ liệu và trách nhiệm vào một đội ngũ duy nhất, Data Mesh phân quyền sở hữu dữ liệu cho các domain nghiệp vụ và coi dữ liệu là một sản phẩm.

1. Data Mesh là gì?

Data Mesh là một cách tiếp cận mang tính xã hội - kỹ thuật (sociotechnical approach) để chia sẻ, truy cập và quản lý dữ liệu phân tích. Thay vì gom tất cả dữ liệu vào một “hố” trung tâm lớn (như Data Lake hay Data Warehouse), Data Mesh phân tán trách nhiệm này cho những người thực sự hiểu về dữ liệu đó nhất. Lưu ý rằng Data Mesh không phải là một công nghệ hay sản phẩm cụ thể, mà là một mô hình tổ chức và kiến trúc dữ liệu (Data Architecture).

Thay vì cố gắng quản lý dữ liệu tập trung, Data Mesh chuyển đổi cách tiếp cận thông qua 6 sự thay đổi cốt lõi:

Về tổ chức: Chuyển từ sở hữu dữ liệu tập trung bởi các chuyên gia sang sở hữu dữ liệu phi tập trung tại các miền nghiệp vụ (business domains).
Về kiến trúc: Chuyển từ các kho dữ liệu (Warehouse/Lake) nguyên khối sang một mạng lưới phân tán (mesh) của các sản phẩm dữ liệu.
Về kỹ thuật: Chuyển từ việc xem dữ liệu là phụ phẩm của các đường ống (pipelines) sang việc coi dữ liệu và mã nguồn duy trì nó là một đơn vị tự trị (data quantum).
Về vận hành: Chuyển từ quản trị từ trên xuống (top-down) sang quản trị liên kết (federated) với các chính sách được nhúng trực tiếp bằng mã máy.
Về giá trị: Chuyển từ xem dữ liệu là tài sản để thu thập sang xem dữ liệu là sản phẩm để phục vụ người dùng.
Về hạ tầng: Chuyển từ các dịch vụ hạ tầng rời rạc sang một nền tảng tích hợp cho cả hệ thống vận hành và dữ liệu.

2. Dữ liệu phân tích (Analytical Data) - “Nhân vật chính”

Data Mesh tập trung vào dữ liệu phân tích – loại dữ liệu dùng để đào tạo AI, lập báo cáo và đưa ra dự báo, thay vì dữ liệu vận hành (operational data) dùng để chạy các giao dịch hàng ngày. Dữ liệu phân tích chính là “nhiên liệu” để các tổ chức chuyển từ việc quyết định dựa trên linh cảm sang quyết định dựa trên dữ liệu và trí tuệ máy học.

3. Bốn trụ cột (Nguyên lý) cốt lõi của Data Mesh

Để giải quyết những bế tắc của cách làm cũ, Data Mesh dựa trên 4 nguyên lý thay đổi hoàn toàn tư duy:

Nguyên lý 1: Quyền sở hữu theo miền (Domain Ownership)

Thay vì một đội dữ liệu trung tâm làm tất cả, trách nhiệm quản lý dữ liệu được đẩy về các bộ phận nghiệp vụ (ví dụ: bộ phận Bán hàng, bộ phận Kho) – nơi dữ liệu thực sự sinh ra. Điều này giúp dữ liệu phản ánh đúng thực tế kinh doanh hơn.

Nguyên lý 2: Dữ liệu dưới dạng một Sản phẩm (Data as a Product)

Dữ liệu không còn là “phế phẩm” của lập trình. Các bộ phận nghiệp vụ phải coi dữ liệu họ chia sẻ là một sản phẩm. Người dùng dữ liệu (nhà khoa học dữ liệu, người phân tích) là khách hàng. Sản phẩm dữ liệu này phải dễ tìm, dễ hiểu, đáng tin cậy và an toàn.

Nguyên lý 3: Nền tảng dữ liệu tự phục vụ (Self-Serve Data Platform)

Để các bộ phận nghiệp vụ có thể tự quản lý dữ liệu mà không cần chuyên gia công nghệ siêu đẳng, công ty cần một nền tảng hạ tầng chung. Nền tảng này giúp họ tạo ra các sản phẩm dữ liệu một cách dễ dàng nhất, loại bỏ các rào cản kỹ thuật phức tạp.

Nguyên lý 4: Quản trị tính toán liên kết (Federated Computational Governance)

Quản trị không còn là các quy trình phê duyệt thủ công chậm chạp. Thay vào đó, các quy định (như bảo mật, tuân thủ pháp luật) được mã hóa thành code và tự động thực thi trên toàn bộ các nút của mạng lưới dữ liệu

4. Ưu điểm

Giảm nút thắt cổ chai của đội dữ liệu trung tâm. Trong Data Mesh mỗi nhóm tự quản lý dữ liệu của mình
Mỗi nhóm hiểu dữ liệu hơn đội trung tâm. Nói cách khác người hiểu dữ liệu nhất chính là người sở hữu dữ liệu.
Khả năng mở rộng tốt. Trong Data Mesh mỗi nhóm quản lý một phần dữ liệu. Khi công ty tăng trưởng mỗi nhóm tự mở rộng.
Chất lượng dữ liệu tốt hơn. Data Mesh xem dữ liệu như sản phẩm. Người tạo dữ liệu chịu trách nhiệm trực tiếp. Ví dụ: Sales Team không thể đổ lỗi cho Data Team nếu dữ liệu doanh thu sai.
Khuyến khích Data Product. Data Mesh tạo ra khái niệm Data Product và các nhóm khác chỉ cần sử dụng mà không cần phải tự ETL, tự join dữ liệu. Điều này làm tăng khả năng tái sử dụng.
Phù hợp với kiến trúc Microservices. Nếu doanh nghiệp đã dùng Microservices, Domain Driven Design (DDD) hay Team tự chủ thì Data Mesh rất phù hợp. Mỗi service sở hữu dữ liệu riêng và Data Mesh mở rộng triết lý này sang phân tích dữ liệu.

5. Nhược điểm

Độ phức tạp tổ chức rất cao. Đây là nhược điểm lớn nhất. Data Mesh không chỉ là công nghệ. Nó còn là về thay đổi tổ chức, thay đổi quy trình, thay đổi trách nhiệm. Nhiều tổ chức không sẵn sàng cho thay đổi này.
Đòi hỏi năng lực dữ liệu ở mọi domain. Ví dụ Sales Team phải hiểu về Data Modeling, Data Quality, Data Governance, Metadata. Thực tế nhiều team nghiệp vụ không có kỹ năng dữ liệu dẫn đến Dataset chất lượng thấp, thiếu tài liệu và khó để tái sử dụng.
Chi phí vận hành tăng. Mỗi nhóm cần Data Engineer, Analytics Engineer, Product Owner khiến chi phí nhân sự có thể tăng đáng kể.
Quản trị khó hơn. Các nhóm dữ liệu có thể có các cách làm khác nhau dẫn đến trùng lặp dữ liệu, KPI không nhất quán, Naming convention khác nhau. Ví dụ nhóm Sales đặt tên cột là “customer_id” trong khi nhóm Marketing lại đặt tên là “cust_id”. Nếu quản trị yếu, Data Mesh dễ trở thành "Data Chaos".
Dễ tạo ra dữ liệu phân mảnh. Ví dụ một khách hàng có thể xuất hiện trong CRM, Billing, Support, Marketing. Nếu mỗi nhóm quản lý riêng sẽ có tới 4 phiên bản khách hàng. Kết quả sẽ khó đồng bộ, khó phân tích toàn doanh nghiệp.
Cần đầu tư mạnh vào nền tảng dữ liệu. Nguyên tắc "Self-serve Data Platform" là điều kiện bắt buộc. Do đó phải có Data Catalog, Metadata Management, Data Lineage, Data Discovery, Data Quality Monitoring, Access Control. Nếu không có một nền tảng mạnh thì Data Mesh sẽ thất bại.

6. Khi nào nên sử dụng Data Mesh

Phù hợp

Doanh nghiệp lớn.
Nhiều domain nghiệp vụ.
Hàng trăm microservices.
Nhiều nhóm phát triển độc lập.
Hàng trăm TB hoặc PB dữ liệu.
Nhu cầu phân tích dữ liệu lớn.

Ví dụ: Thương mại điện tử, Ngân hàng, Viễn thông, Logistics

Không phù hợp

Startup nhỏ:

10–50 người.
1–2 sản phẩm.
1 Data Team.

Thường chỉ cần Data Warehouse hoặc Lakehouse và Data Mesh lúc này sẽ làm tăng độ phức tạp tổ chức hơn là tạo giá trị.

Đọc thêm tại: Giải mã công nghệ