0

[Microservices Series] Bài 21: Elasticsearch – "Kính lúp" truy xuất dữ liệu xuyên thấu kiến trúc phân tán

Chào anh em, mình đây! Ở bài 20, chúng ta đã giải quyết êm đẹp bài toán nâng cấp API mà không làm gãy kết nối của người dùng cũ. Hệ thống 20 cái services giờ đây đang chạy trơn tru, mỗi service ôm một cái Database riêng, tự lo việc của mình. Kiến trúc này quá tuyệt vời cho việc Write (Ghi) dữ liệu.

Nhưng đời không như mơ, một ngày đẹp trời sếp giao cho bạn một task: "Làm cho anh cái khung Search trên Web Admin để nhân viên chăm sóc khách hàng tra cứu. Yêu cầu: Gõ tên khách hàng, hoặc số điện thoại, kết hợp với loại vé, và lọc theo khoảng thời gian giao dịch. Gõ đến đâu kết quả hiện ra đến đó dưới 1 giây!"

Bạn toát mồ hôi hột. Tên và số điện thoại nằm ở User Service (PostgreSQL). Loại vé nằm ở Card Service (MongoDB). Lịch sử giao dịch lại nằm ở Transaction Service (TimescaleDB). Trong Monolith, bạn chỉ cần gõ một câu SQL JOIN 3 bảng lại rồi dùng LIKE '%keyword%' là xong. Nhưng ở Microservices, bạn không thể JOIN xuyên qua 3 cái Database vật lý khác nhau được!

Nếu bạn tính dùng cách: Gọi API lấy danh sách User -> Gọi API lấy danh sách Card -> Lấy 100.000 cái Transaction về RAM rồi dùng code (Laravel/Go) để lặp (loop) và match kết quả... thì server của bạn sẽ sập vì Out of Memory (tràn RAM) ngay tắp lự.

Để giải quyết bài toán tìm kiếm đa chiều, tốc độ cao trong Microservices, chúng ta phải mời đến "trùm cuối" của mảng Search: Elasticsearch.

1. Elasticsearch không phải là Database quan hệ

Elasticsearch (ES) bản chất là một NoSQL Database được tối ưu hóa cực đoan cho việc tìm kiếm văn bản (Full-text search) nhờ cơ cấu Inverted Index (Chỉ mục đảo ngược). Nó không có khái niệm Table, Row hay Relation (quan hệ). Nó chỉ lưu các file JSON phẳng (gọi là Document).

Thay vì bắt hệ thống phải JOIN dữ liệu mỗi khi có người bấm nút Search (rất tốn CPU), triết lý của Microservices + ES là: Chuẩn bị sẵn dữ liệu từ trước.

Chúng ta sẽ tạo ra một Search Service riêng biệt. Service này chứa một cục Elasticsearch. Bên trong nó, chúng ta tạo một Document JSON gom sẵn tất cả thông tin lại:

JSON

{
  "transaction_id": "TXN123456",
  "user_name": "Nguyễn Minh Hiếu",
  "phone": "0901234567",
  "card_type": "Monthly",
  "amount": 150000,
  "transaction_date": "2026-10-04T08:00:00Z"
}

Khi nhân viên gõ tìm kiếm, Search Service chỉ việc chọc thẳng vào ES, đọc đúng cái cục JSON phẳng này ra và trả về trong vài milisecond. Không JOIN, không chờ đợi!

2. Làm sao để đẩy dữ liệu vào Elasticsearch? (Data Sync)

Câu hỏi đau đầu nhất là: Dữ liệu đang nằm rải rác ở 3 Services kia, làm sao để "gom" nó về Elasticsearch mà không làm chậm các luồng xử lý chính? Chúng ta có 2 chiến thuật:

Chiến thuật 1: Event-Driven (Bắn Event qua Hàng đợi)

  • Khi Service User cập nhật số điện thoại mới -> Nó bắn một Event UserUpdated vào Kafka/RabbitMQ.

  • Khi có giao dịch mới ở Transaction Service -> Bắn Event TransactionCreated.

  • Search Service (viết bằng Go cho nhẹ) sẽ cắm rễ ngồi nghe (Subscribe) các Event này. Có biến một cái là nó chộp lấy, nhào nặn data, và gọi API gửi lên cập nhật vào Elasticsearch. Các Core Service vẫn chạy nhanh như gió vì chỉ tốn 1ms ném event vào hàng đợi rồi đi làm việc khác.

Chiến thuật 2: Change Data Capture (CDC - Đọc thẳng từ Log DB)

  • Đây là tuyệt chiêu cho các hệ thống khổng lồ. Thay vì bắt code phải tự bắn Event, chúng ta dùng các tool như Debezium. Nó sẽ cắm thẳng vào cái ống xả log (WAL của PostgreSQL hoặc Binlog của MySQL).

  • Có ai sửa một dòng trong DB, Debezium lập tức bắt được sự thay đổi đó và đẩy sang Kafka, sau đó tự động sync vào Elasticsearch. Backend Dev không cần viết thêm một dòng code nào cho việc bắn event.

3. Thực chiến tra cứu tại hệ thống AFC (Tuyến Metro)

Với hệ thống Metro, dữ liệu Tap-in (vào ga) và Tap-out (ra ga) sinh ra liên tục với khối lượng hàng triệu record mỗi ngày.

Nhân viên CSKH (Customer Service) thường xuyên phải giải quyết các khiếu nại: "Sáng nay tôi quẹt thẻ ở ga Bến Thành, thẻ tên Hiếu, số 090xxx, bị trừ lố tiền".

  • Mình setup một cụm Elasticsearch Cluster.

  • Sử dụng Kafka để làm ống dẫn. Mọi luồng xử lý ở Gate Service, Wallet Service sau khi thành công đều ném một bản sao dữ liệu (Event) vào Kafka.

  • Một Go Worker (Consumer) làm nhiệm vụ đọc Kafka, đắp thêm thông tin User, và ghi thành một Document phẳng ném vào Elasticsearch.

  • Khi nhân viên dùng Web Admin tìm kiếm, API không gọi xuống Core Services (để tránh làm nghẽn luồng xử lý vé của hành khách). API gọi thẳng vào Search Service -> truy vấn Elasticsearch.

  • Kết quả? ES trả về lịch sử giao dịch kết hợp thông tin user chỉ trong 10-15ms ngay cả khi index chứa hàng trăm triệu records. Hỗ trợ tìm đúng, tìm gần đúng (Fuzzy search), tìm không dấu chuẩn tiếng Việt luôn.

Lời khuyên "xương máu" khi dùng Elasticsearch

  • Chấp nhận Eventual Consistency (Nhất quán cuối): ES sinh ra để phục vụ việc Đọc (Read). Quá trình sync dữ liệu từ DB chính sang ES qua Kafka mất khoảng 0.5 - 2 giây. Bạn phải giáo dục user (hoặc Business) chấp nhận việc: Vừa tạo đơn hàng xong, quay ra search có thể chưa thấy ngay lập tức. Đừng cố ép ES phải Realtime 100%, đó không phải là triết lý của Microservices.

  • Luôn dùng Index Alias (Bí danh): Khi cấu trúc dữ liệu thay đổi, ES không cho phép bạn ALTER TABLE dễ dàng như SQL. Bạn bắt buộc phải tạo Index mới và chép dữ liệu cũ sang (Reindex - tốn cả tiếng đồng hồ). Để hệ thống không bị rớt mạng lúc reindex, hãy dùng Alias. Code của bạn luôn trỏ vào một cái tên giả (VD: search_transactions). Khi Reindex xong cái bảng transactions_v2, bạn chỉ việc switch cái Alias trỏ từ bảng v1 sang v2 trong tích tắc (Zero Downtime).

Tạm kết

Với Elasticsearch, chúng ta đã đập tan bức tường ngăn cách dữ liệu giữa các Microservices, mang lại trải nghiệm tìm kiếm siêu tốc như thời Monolith, nhưng sức chịu tải thì gấp hàng trăm lần.

Hệ thống của chúng ta hiện tại đã rất đồ sộ và tinh vi. Nhưng có một rủi ro cực lớn: Người dùng (User) đang đăng nhập vào App thì có Token. Nhưng nếu công ty bạn mở rộng, có thêm 3-4 cái App khác nhau, trang Web nội bộ, rồi hệ thống đối tác... Bắt người dùng đi đâu cũng phải tạo tài khoản và đăng nhập lại là cực kỳ phiền toái. Chưa kể việc mỗi Service lại phải đi check pass, check quyền.

Làm sao để người dùng chỉ cần "Đăng nhập 1 lần, xài cho cả một hệ sinh thái"?

Ở bài tiếp theo (Bài 22), chúng ta sẽ bước vào thế giới của SSO (Single Sign-On) và Identity Provider (Keycloak) – Chiếc chìa khóa vạn năng quản lý hàng triệu User.

Anh em đang code tính năng Search bằng lệnh LIKE, bằng Fulltext của MySQL, hay đã đưa ES vào hệ thống rồi? Có từng dính trái đắng lúc mapping sai kiểu dữ liệu trên ES chưa? Cùng bình luận nhé!


All Rights Reserved

Viblo
Let's register a Viblo Account to get more interesting posts.