Quân Huỳnh @hmquan08011996

32.2K 1.3K 146

Đã đăng vào thg 11 15, 2021 2:39 SA

trong

11 phút đọc

6.4K

Kubernetes Practice - Triển khai nodejs microservice trên Kubernetes - phần 1 - Viết config

ContentCreator

Kinh doanh cùng DevOps VN: tìm hiểu tại đây.

Link bài viết gốc - Triển khai hệ thống Microservices lên trên Kubernetes

Chào mọi người đến với series về kubernetes của mình, trong series này mình sẽ chia sẻ cho các bạn những kinh nghiệm của mình khi triển khai các ứng dụng thực tế trên môi trường kubernetes. Ở phần này mình sẽ nói về cách triển khai nodejs microservice trên môi trường kubernetes, phần một sẽ nói về cách viết file cấu hình từng thành phần cần thiết của microservice, phần hai sẽ nói về cách làm sao để sử dụng gitlab-ci để triển khai ứng dụng một cách tự động.

Về hệ thống, phần backend mình sẽ sử dụng nodejs molecular framework, đây là một framework dùng để xây dựng một ứng dụng với kiến trúc microservice.

Kiến trúc của ứng dụng

API Gateway, sẽ đóng vai trò là ngõ vào cho ứng dụng của ta, nó sẽ tạo một http endpoint và lắng nghe request từ client.

NATS, sẽ đóng vai trò là một transporter, nó sẽ như là một trạm chuyển tiếp để cho các service có thể giao tiếp được với nhau.

Categories service, News service, đây là service thực hiện công việc CRUD resource liên quan.

Redis, dùng để cache kết quả lấy ra từ database và kết quả trả về cho client, giúp giảm số lần thực hiện query vào DB và tăng tốc độ của ứng dụng.

Database thì ta sẽ xài postgres.

Mình đã nói sơ qua về kiến trúc mà ta sẽ triển khai lên trên kubernetes, bây giờ ta sẽ bắt đầu tiến hành viết config cho từng thành phần riêng biệt, bước đầu tiên là ta sẽ build image cho backend của chúng ta.

Build image

Các bạn có thể sử dụng image mình đã build sẵn, tên là 080196/microservice, hoặc nếu các bạn thích tự build image cho chính mình, thì các bạn tải source code từ đây xuống https://github.com/hoalongnatsu/microservices.

Sau khi tải được source code, các bạn nhảy vào thư mục microservices/code, và thực hiện build image với tên image sẽ là <docker-hub-username>/microservice, sau đó các bạn thực hiện câu lệnh docker login và push image lên docker hub của mình.

git clone https://github.com/hoalongnatsu/microservices.git && cd microservices/code
docker build . -t 080196/microservice
docker push 080196/microservice

Sau khi build image và push lên docker hub thành công, ta sẽ tiến hành viết file config cho ứng dụng.

Deploy API Gateway

Đầu tiên ta sẽ viết file config cho api gateway, để tạo api gateway, ta sẽ dùng Deployment, Deployment là gì các bạn có thể xem ở đây, tạo file tên là api-gateway-deployment.yaml với config như sau:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-gateway
  labels:
    component: api-gateway
spec:
  revisionHistoryLimit: 1
  selector:
    matchLabels:
      component: api-gateway
  template:
    metadata:
      labels:
        component: api-gateway
    spec:
      containers:
        - name: api-gateway
          image: 080196/microservice
          ports:
            - name: http
              containerPort: 3000
              protocol: TCP
          livenessProbe:
            httpGet:
              path: /
              port: http
          readinessProbe:
            httpGet:
              path: /
              port: http
          env:
            - name: NODE_ENV
              value: testing
            - name: SERVICEDIR
              value: dist/services
            - name: SERVICES
              value: api
            - name: PORT
              value: "3000"
            - name: CACHER
              value: redis://redis:6379

Trong image 080196/microservice chúng ta đã build ở trên, sẽ có 3 service ở trong image đó là api, categories, news. Ta chọn service ta cần chạy bằng cách truyền giá trị của service ta muốn chạy vào biến môi trường có tên là SERVICES, ở file config trên ta chạy api gateway, nên ta truyền vào giá trị là api.

Các bạn nhìn vào phần code ở file code/services/api.service.ts, ta sẽ thấy ở chỗ setting cho api gateway ở dòng 15

...
settings: {
  port: process.env.PORT || 3001,
...

Với biến môi trường PORT, ta sẽ chọn port mà api gateway lắng nghe, ở trên ta truyền vào giá trị là 3000. Vậy api gateway của ta sẽ chạy và lắng nghe ở port 3000. Biến môi trường CACHER là ta khai báo redis host mà các service của chúng ta sẽ sử dụng. Ta tạo deployment.

$ kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway created

$ kubectl get deploy
NAME          READY   UP-TO-DATE   AVAILABLE   AGE
api-gateway   0/1     1            0           100s

Ta đã tạo được api gateway, nhưng khi bạn get pod, bạn sẽ thấy nó không chạy thành công, mà sẽ bị restart đi restart lại.

$ kubectl get pod
NAME                           READY   STATUS    RESTARTS   AGE
api-gateway-79688cf6f5-g88f2   0/1     Running   2          93s

Ta logs pod để xem lý do tại sao nó không chạy được mà cứ bị restart.

$ kubectl logs api-gateway-79688cf6f5-g88f2
...
[2021-11-07T14:53:37.449Z] ERROR api-gateway-79688cf6f5-g88f2-28/CACHER: Error: getaddrinfo EAI_AGAIN redis
    at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:60:26) {
  errno: 'EAI_AGAIN',
  code: 'EAI_AGAIN',
  syscall: 'getaddrinfo',
  hostname: 'redis'
}

Lỗi được hiển thị ở đây là do ta không thể kết nối được tới redis, vì ta chưa tạo redis nào cả, tiếp theo ta sẽ tạo redis.

Deploy Redis

Ta tạo một file redis-deployment.yaml với config như sau:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis
  labels:
    component: redis
spec:
  strategy:
    type: Recreate
  selector:
    matchLabels:
      component: redis
  template:
    metadata:
      labels:
        component: redis
    spec:
      containers:
        - name: redis
          image: redis
          ports:
            - containerPort: 6379

$ kubectl apply -f redis-deployment.yaml
deployment.apps/redis created

$ kubectl get deploy
NAME          READY   UP-TO-DATE   AVAILABLE   AGE
api-gateway   0/1     1            0           16m
redis         1/1     1            1           14s

Vậy là ta đã tạo được redis pod, tiếp theo, nếu muốn connect được tới redis pod này, ta cần phải tạo Service resource cho nó. Tạo file tên là redis-service.yaml với config như sau:

apiVersion: v1
kind: Service
metadata:
  name: redis
  labels:
    component: redis
spec:
  selector:
    component: redis
  ports:
    - port: 6379

Ta tạo service:

$ kubectl apply -f redis-service.yaml
service/redis created

Ta Restart api gateway deployment lại để nó có thể kết nối được tới redis.

$ kubectl rollout restart deploy api-gateway
deployment.apps/api-gateway restarted

Bây giờ khi ta get pod ra, ta vẫn thấy nó vẫn chưa chạy được thành công, ta logs nó tiếp để xem tại sao.

$ kubectl get pod
NAME                           READY   STATUS             RESTARTS   AGE
api-gateway-79688cf6f5-g88f2   0/1     CrashLoopBackOff   8          13m
api-gateway-7f4d5f54f-lzgkd    0/1     Running            2          82s
redis-58c4799ccc-qhv2z         1/1     Running            0          5m41s

$ kubectl logs api-gateway-7f4d5f54f-lzgkd
...
[2021-11-07T15:05:10.388Z] INFO  api-gateway-7f4d5f54f-lzgkd-28/CACHER: Redis cacher connected.

Sequelize CLI [Node: 12.13.0, CLI: 6.2.0, ORM: 6.6.5]

Loaded configuration file "migrate/config.js".
Using environment "testing".

ERROR: connect ECONNREFUSED 127.0.0.1:5432

Error: Command failed: sequelize-cli db:migrate
ERROR: connect ECONNREFUSED 127.0.0.1:5432
    at ChildProcess.exithandler (child_process.js:295:12)
    at ChildProcess.emit (events.js:210:5)
    at maybeClose (internal/child_process.js:1021:16)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:283:5) {
  killed: false,
  code: 1,
  signal: null,
  cmd: 'sequelize-cli db:migrate'
} 
Sequelize CLI [Node: 12.13.0, CLI: 6.2.0, ORM: 6.6.5]

Loaded configuration file "migrate/config.js".
Using environment "testing".

 ERROR: connect ECONNREFUSED 127.0.0.1:5432
...

Kết quả in ra ta thấy được là ta đã kết nối redis thành công, lỗi tiếp theo mà pod api gateway hiển thị là lỗi khi nó migrate database, nó không thể kết nối database được, vì ta chưa tạo database nào cả, bước tiếp theo là ta sẽ tạo database.

Deploy database

Để deploy database, ta sẽ không dùng Deployment mà sẽ dùng StatefulSet, về lý do thì các bạn có thể xem ở đây. Ta tạo một file tên là postgres-statefulset.yaml với config như sau:

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: postgres
  labels:
    component: postgres
spec:
  selector:
    matchLabels:
      component: postgres
  serviceName: postgres
  template:
    metadata:
      labels:
        component: postgres
    spec:
      containers:
        - name: postgres
          image: postgres:11
          ports:
            - containerPort: 5432
          volumeMounts:
            - mountPath: /var/lib/postgresql/data
              name: postgres-data
          env:
            - name: POSTGRES_DB
              value: postgres
            - name: POSTGRES_USER
              value: postgres
            - name: POSTGRES_PASSWORD
              value: postgres
  volumeClaimTemplates:
    - metadata:
        name: postgres-data
      spec:
        accessModes:
          - ReadWriteOnce
        storageClassName: hostpath
        resources:
          requests:
            storage: 5Gi

Lưu ý phần storageClassName, này tùy thuộc vào kubernetes cluster của bạn thì bạn sẽ chỉ định trường storageClassName tương ứng nhé, để xem StorageClass thì bạn gõ câu lệnh sau kubectl get sc. Ta tạo statefulset:

$ kubectl apply -f postgres-statefulset.yaml
statefulset.apps/postgres created
$ kubectl get pod
NAME                           READY   STATUS             RESTARTS   AGE
api-gateway-79688cf6f5-g88f2   0/1     Running            16         32m
api-gateway-7f4d5f54f-lzgkd    0/1     CrashLoopBackOff   11         20m
postgres-0                     1/1     Running            0          55s
redis-58c4799ccc-qhv2z         1/1     Running            0          25m

Ta get pod thì ta sẽ thấy postgres pod đã được tạo thành công, tiếp theo muốn kết nối được tới DB, ta cần tạo Service cho nó, tạo file tên là postgres-service.yaml với config như sau:

apiVersion: v1
kind: Service
metadata:
  name: postgres
  labels:
    component: postgres
spec:
  selector:
    component: postgres
  ports:
    - port: 5432

Ta tạo service:

$ kubectl apply -f postgres-service.yaml
service/postgres created

Giờ ta sẽ update lại api gateway Deployment để kết nối với DB ta mới tạo, các bạn xem ở trong file code/src/db/connect.ts thì sẽ thấy các biến môi trường mà api gateway dùng để kết nối tới DB.

import { Op, Sequelize } from "sequelize";

export const connect = () => new Sequelize(
		process.env.DB_NAME,
		process.env.DB_USER,
		process.env.DB_PASSWORD,
		{
			host: process.env.DB_HOST,
			port: +process.env.DB_PORT,
			operatorsAliases: {
				$like: Op.like,
				$nlike: Op.notLike,
				$eq: Op.eq,
				$ne: Op.ne,
				$in: Op.in,
				$nin: Op.notIn,
				$gt: Op.gt,
				$gte: Op.gte,
				$lt: Op.lt,
				$lte: Op.lte,
				$bet: Op.between,
				$contains: Op.contains,
			},
			dialect: "postgres",
			logging: (process.env.ENABLE_LOG_QUERY === "true"),
		}
	);

Ta update lại các biến env của file api-gateway-deployment.yaml, và tạo lại deployment.

 ...
  env:
    - name: NODE_ENV
      value: testing
    - name: SERVICEDIR
      value: dist/services
    - name: SERVICES
      value: api
    - name: PORT
      value: "3000"
    - name: CACHER
      value: redis://redis:6379
    - name: DB_HOST
      value: postgres
    - name: DB_PORT
      value: "5432"
    - name: DB_NAME
      value: postgres
    - name: DB_USER
      value: postgres
    - name: DB_PASSWORD
      value: postgres

$ kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway configured

$ kubectl get pod
NAME                         READY   STATUS    RESTARTS   AGE
api-gateway-544c7f84-6hv7z   1/1     Running   0          2m4s
nats-65687968fc-2drwp        1/1     Running   0          4m23s
postgres-0                   1/1     Running   0          31m
redis-58c4799ccc-qhv2z       1/1     Running   0          56m

Bây giờ khi ta get pod, thì ta thấy pod api gateway của ta đã chạy thành công.

Deploy categories news service

Tiếp theo ta sẽ deploy 2 service còn lại của micoservice, tạo file tên là categories-news-deployment.yaml với config như sau:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: categories-service
  labels:
    component: categories-service
spec:
  revisionHistoryLimit: 1
  selector:
    matchLabels:
      component: categories-service
  template:
    metadata:
      labels:
        component: categories-service
    spec:
      containers:
        - name: categories-service
          image: 080196/microservice
          env:
            - name: NODE_ENV
              value: testing
            - name: SERVICEDIR
              value: dist/services
            - name: SERVICES
              value: categories
            - name: CACHER
              value: redis://redis:6379
            - name: DB_HOST
              value: postgres
            - name: DB_PORT
              value: "5432"
            - name: DB_NAME
              value: postgres
            - name: DB_USER
              value: postgres
            - name: DB_PASSWORD
              value: postgres

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: news-service
  labels:
    component: news-service
spec:
  revisionHistoryLimit: 1
  selector:
    matchLabels:
      component: news-service
  template:
    metadata:
      labels:
        component: news-service
    spec:
      containers:
        - name: news-service
          image: 080196/microservice
          env:
            - name: NODE_ENV
              value: testing
            - name: SERVICEDIR
              value: dist/services
            - name: SERVICES
              value: news
            - name: CACHER
              value: redis://redis:6379
            - name: DB_HOST
              value: postgres
            - name: DB_PORT
              value: "5432"
            - name: DB_NAME
              value: postgres
            - name: DB_USER
              value: postgres
            - name: DB_PASSWORD
              value: postgres

$ kubectl apply -f categories-news-deployment.yaml
deployment.apps/categories-service created
deployment.apps/news-service created

Sau khi tạo 2 service này xong, để chúng và api gateway có thể giao tiếp với nhau, ta cần tạo NATS.

Deploy NATS

Tạo một file tên là nats-deployment.yaml với config như sau:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nats
  labels:
    component: nats
spec:
  strategy:
    type: Recreate
  selector:
    matchLabels:
      component: nats
  template:
    metadata:
      labels:
        component: nats
    spec:
      containers:
        - name: nats
          image: nats
          ports:
            - containerPort: 4222

$ kubectl apply -f nats-deployment.yaml
deployment/nats created

Tiếp theo ta tạo service cho NATS, tạo file nats-service.yaml:

apiVersion: v1
kind: Service
metadata:
  name: nats
  labels:
    component: nats
spec:
  selector:
    component: nats
  ports:
    - port: 4222

$ kubectl apply -f nats-service.yaml
service/nats created

Bước cuối cùng, ta update lại env của api gateway và categories với news service, và tạo lại chúng. Thêm giá trị này vào env để cập nhật TRANSPORTER cho các service:

...
env:
...
    - name: TRANSPORTER
      value: nats://nats:4222

Cập nhật lại các deployment.

$ kubectl apply -f kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway configured

$ kubectl apply -f categories-news-deployment.yaml
deployment.apps/categories-service configured
deployment.apps/news-service configured

Ta get pod và xem logs của api gateway, xem các service đã có thể giao tiếp với nhau được chưa:

$ kubectl get pod
NAME                                  READY   STATUS    RESTARTS   AGE
api-gateway-6cb4c6b657-tlkzq          1/1     Running   0          36s
categories-service-689cdb6c6d-gqtlb   1/1     Running   0          20s
nats-65687968fc-2drwp                 1/1     Running   0          20m
news-service-6b85f99987-dcplv         1/1     Running   0          20s
postgres-0                            1/1     Running   0          48m
redis-58c4799ccc-qhv2z                1/1     Running   0          72m

$ kubectl logs api-gateway-6cb4c6b657-tlkzq
...
[2021-11-07T16:14:54.181Z] INFO  api-gateway-6cb4c6b657-tlkzq-28/REGISTRY: Node 'news-service-6b85f99987-vcjzn-28' connected.
...
[2021-11-07T16:14:57.357Z] INFO  api-gateway-6cb4c6b657-tlkzq-28/REGISTRY: Node 'categories-service-689cdb6c6d-gjjjr-29' connected.
...

Bạn sẽ thấy logs là news-service và categories-service đã được kết nối với api-gateway. Vậy là ứng dụng của ta đã chạy thành công, nhưng bạn có để ý thấy những biến env mà ta khai báo thì hơi dài và lập lại ở các file deployment không? Ta có thể dùng ConfigMap để khai báo cấu hình ở chỗ và sử dụng lại cho nhiều nơi, giúp file config của ta gọn hơn.

Khai báo config chung

Tạo một file tên là microservice-cm.yaml với config như sau:

apiVersion: v1
kind: ConfigMap
metadata:
  name: microservice-cm
  labels:
    component: microservice-cm
data:
  NODE_ENV: testing
  SERVICEDIR: dist/services
  TRANSPORTER: nats://nats:4222
  CACHER: redis://redis:6379
  DB_NAME: postgres
  DB_HOST: postgres
  DB_USER: postgres
  DB_PASSWORD: postgres
  DB_PORT: "5432"

$ kubectl apply -f microservice-cm.yaml
configmap/microservice-cm created

Ta update lại config của các file deployment như sau, file api-gateway-deployment.yaml:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-gateway
  labels:
    component: api-gateway
spec:
  revisionHistoryLimit: 1
  selector:
    matchLabels:
      component: api-gateway
  template:
    metadata:
      labels:
        component: api-gateway
    spec:
      containers:
        - name: api-gateway
          image: 080196/microservice
          ports:
            - name: http
              containerPort: 3000
              protocol: TCP
          livenessProbe:
            httpGet:
              path: /
              port: http
          readinessProbe:
            httpGet:
              path: /
              port: http
          env:
            - name: SERVICES
              value: api
            - name: PORT
              value: "3000"
          envFrom:
            - configMapRef:
                name: microservice-cm

$ kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway configured

File categories-news-deployment.yaml:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: categories-service
  labels:
    component: categories-service
spec:
  revisionHistoryLimit: 1
  selector:
    matchLabels:
      component: categories-service
  template:
    metadata:
      labels:
        component: categories-service
    spec:
      containers:
        - name: categories-service
          image: 080196/microservice
          env:
            - name: SERVICES
              value: categories
          envFrom:
            - configMapRef:
                name: microservice-cm

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: news-service
  labels:
    component: news-service
spec:
  revisionHistoryLimit: 1
  selector:
    matchLabels:
      component: news-service
  template:
    metadata:
      labels:
        component: news-service
    spec:
      containers:
        - name: news-service
          image: 080196/microservice
          env:
            - name: SERVICES
              value: news
          envFrom:
            - configMapRef:
                name: microservice-cm

$ kubectl apply -f categories-news-deployment.yaml
deployment.apps/categories-service configured
deployment.apps/news-service configured

Ta get pod lại xem mọi thứ vẫn ok không:

$ kubectl get pod
NAME                                  READY   STATUS    RESTARTS   AGE
api-gateway-86b67895fd-cphmv          1/1     Running   0          79s
categories-service-84c74cd87c-zjtd2   1/1     Running   0          53s
nats-65687968fc-2drwp                 1/1     Running   0          41m
news-service-69f45b8668-kv9dm         1/1     Running   0          52s
postgres-0                            1/1     Running   0          69m
redis-58c4799ccc-qhv2z                1/1     Running   0          93m

OK, tất cả các thành phần của ứng dụng ta vẫn chạy bình thường. Ta sử dụng ConfigMap để giúp file config của ta nhìn gọn hơn, và ta quản lý tất cả env ở một chỗ, dễ dàng thay đổi và cập nhật lại.

English version Set up a Microservices on Kubernetes - Write Configuration File. Please follow me on Medium 😁.

Kết luận

Vậy là ta đã triển khai được mô hình microservice lên môi trường kubernetes, như các bạn thấy thì không khó lắm, chỉ cần ta triển khai những thành phần trong đó từ từ, là ta sẽ triển khai được. Phần tiếp theo mình sẽ nói về cách làm sao để tự động được quá trình khi ta cập nhật lại file config nó sẽ tự update lên trên cluster cho chúng ta, không cần ta phải chạy lại câu lệnh kubectl. Và cách dùng gitlab ci để cập nhật lại ứng dụng khi ta sửa và update code trong ứng dụng của ta. Nếu các bạn có thắc mắc hoặc chưa hiểu rõ chỗ nào, các bạn có thể hỏi ở phần comment.

Mục tìm kiếm đồng đội

Hiện tại thì công ty bên mình, là Hoàng Phúc International, với hơn 30 năm kinh nghiệm trong lĩnh vực thời trang. Và sở hữu trang thương mại điện tử về thời trang lớn nhất Việt Nam. Team công nghệ của HPI đang tìm kiếm đồng đội cho các vị trí như:

Senior Backend Engineer (Java, Go). Link JD: https://tuyendung.hoang-phuc.com/job/senior-backend-engineer-1022
Senior Front-end Engineer (VueJS). https://tuyendung.hoang-phuc.com/job/senior-frontend-engineer-1021
Junior Backend Engineer (Java, Go). https://tuyendung.hoang-phuc.com/job/junior-backend-engineer-1067
Junior Front-end Engineer (VueJS). https://tuyendung.hoang-phuc.com/careers/job/1068
App (Flutter). https://tuyendung.hoang-phuc.com/job/mobile-app-engineer-flutter-1239
Senior Data Engineer. https://tuyendung.hoang-phuc.com/job/seniorjunior-data-engineer-1221
Manual QC. https://tuyendung.hoang-phuc.com/job/seniorjunior-manual-qc-1039

Với mục tiêu trong vòng 5 năm tới về mảng công nghệ là:

Sẽ có trang web nằm trong top 10 trang web nhanh nhất VN với 20 triệu lượt truy cập mỗi tháng.
5 triệu loyal customers và có hơn 10 triệu transactions mỗi năm.

Team đang xây dựng một hệ thống rất lớn với rất nhiều vấn đề cần giải quyết, và sẽ có rất nhiều bài toán thú vị cho các bạn. Nếu các bạn có hứng thú trong việc xây dựng một hệ thống lớn, linh hoạt, dễ dàng mở rộng, và performance cao với kiến trúc microservices thì hãy tham gia với tụi mình.

Nếu các bạn quan tâm hãy gửi CV ở trong trang tuyển dụng của Hoàng Phúc International hoặc qua email của mình nha hmquan08011996@gmail.com. Cảm ơn các bạn đã đọc.

Kubernetes Kubernetes Architecture DevOps