Kubernetes Practice - Triển khai nodejs microservice trên Kubernetes - phần 1 - Viết config
Kinh doanh cùng DevOps VN: tìm hiểu tại đây.
Link bài viết gốc - Triển khai hệ thống Microservices lên trên Kubernetes
Chào mọi người đến với series về kubernetes của mình, trong series này mình sẽ chia sẻ cho các bạn những kinh nghiệm của mình khi triển khai các ứng dụng thực tế trên môi trường kubernetes. Ở phần này mình sẽ nói về cách triển khai nodejs microservice trên môi trường kubernetes, phần một sẽ nói về cách viết file cấu hình từng thành phần cần thiết của microservice, phần hai sẽ nói về cách làm sao để sử dụng gitlab-ci để triển khai ứng dụng một cách tự động.
Về hệ thống, phần backend mình sẽ sử dụng nodejs molecular framework, đây là một framework dùng để xây dựng một ứng dụng với kiến trúc microservice.
Kiến trúc của ứng dụng
API Gateway, sẽ đóng vai trò là ngõ vào cho ứng dụng của ta, nó sẽ tạo một http endpoint và lắng nghe request từ client.
NATS, sẽ đóng vai trò là một transporter, nó sẽ như là một trạm chuyển tiếp để cho các service có thể giao tiếp được với nhau.
Categories service, News service, đây là service thực hiện công việc CRUD resource liên quan.
Redis, dùng để cache kết quả lấy ra từ database và kết quả trả về cho client, giúp giảm số lần thực hiện query vào DB và tăng tốc độ của ứng dụng.
Database thì ta sẽ xài postgres.
Mình đã nói sơ qua về kiến trúc mà ta sẽ triển khai lên trên kubernetes, bây giờ ta sẽ bắt đầu tiến hành viết config cho từng thành phần riêng biệt, bước đầu tiên là ta sẽ build image cho backend của chúng ta.
Build image
Các bạn có thể sử dụng image mình đã build sẵn, tên là 080196/microservice, hoặc nếu các bạn thích tự build image cho chính mình, thì các bạn tải source code từ đây xuống https://github.com/hoalongnatsu/microservices.
Sau khi tải được source code, các bạn nhảy vào thư mục microservices/code, và thực hiện build image với tên image sẽ là <docker-hub-username>/microservice
, sau đó các bạn thực hiện câu lệnh docker login và push image lên docker hub của mình.
git clone https://github.com/hoalongnatsu/microservices.git && cd microservices/code
docker build . -t 080196/microservice
docker push 080196/microservice
Sau khi build image và push lên docker hub thành công, ta sẽ tiến hành viết file config cho ứng dụng.
Deploy API Gateway
Đầu tiên ta sẽ viết file config cho api gateway, để tạo api gateway, ta sẽ dùng Deployment, Deployment là gì các bạn có thể xem ở đây, tạo file tên là api-gateway-deployment.yaml với config như sau:
apiVersion: apps/v1
kind: Deployment
metadata:
name: api-gateway
labels:
component: api-gateway
spec:
revisionHistoryLimit: 1
selector:
matchLabels:
component: api-gateway
template:
metadata:
labels:
component: api-gateway
spec:
containers:
- name: api-gateway
image: 080196/microservice
ports:
- name: http
containerPort: 3000
protocol: TCP
livenessProbe:
httpGet:
path: /
port: http
readinessProbe:
httpGet:
path: /
port: http
env:
- name: NODE_ENV
value: testing
- name: SERVICEDIR
value: dist/services
- name: SERVICES
value: api
- name: PORT
value: "3000"
- name: CACHER
value: redis://redis:6379
Trong image 080196/microservice chúng ta đã build ở trên, sẽ có 3 service ở trong image đó là api, categories, news. Ta chọn service ta cần chạy bằng cách truyền giá trị của service ta muốn chạy vào biến môi trường có tên là SERVICES, ở file config trên ta chạy api gateway, nên ta truyền vào giá trị là api.
Các bạn nhìn vào phần code ở file code/services/api.service.ts, ta sẽ thấy ở chỗ setting cho api gateway ở dòng 15
...
settings: {
port: process.env.PORT || 3001,
...
Với biến môi trường PORT, ta sẽ chọn port mà api gateway lắng nghe, ở trên ta truyền vào giá trị là 3000. Vậy api gateway của ta sẽ chạy và lắng nghe ở port 3000. Biến môi trường CACHER là ta khai báo redis host mà các service của chúng ta sẽ sử dụng. Ta tạo deployment.
$ kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway created
$ kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
api-gateway 0/1 1 0 100s
Ta đã tạo được api gateway, nhưng khi bạn get pod, bạn sẽ thấy nó không chạy thành công, mà sẽ bị restart đi restart lại.
$ kubectl get pod
NAME READY STATUS RESTARTS AGE
api-gateway-79688cf6f5-g88f2 0/1 Running 2 93s
Ta logs pod để xem lý do tại sao nó không chạy được mà cứ bị restart.
$ kubectl logs api-gateway-79688cf6f5-g88f2
...
[2021-11-07T14:53:37.449Z] ERROR api-gateway-79688cf6f5-g88f2-28/CACHER: Error: getaddrinfo EAI_AGAIN redis
at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:60:26) {
errno: 'EAI_AGAIN',
code: 'EAI_AGAIN',
syscall: 'getaddrinfo',
hostname: 'redis'
}
Lỗi được hiển thị ở đây là do ta không thể kết nối được tới redis, vì ta chưa tạo redis nào cả, tiếp theo ta sẽ tạo redis.
Deploy Redis
Ta tạo một file redis-deployment.yaml với config như sau:
apiVersion: apps/v1
kind: Deployment
metadata:
name: redis
labels:
component: redis
spec:
strategy:
type: Recreate
selector:
matchLabels:
component: redis
template:
metadata:
labels:
component: redis
spec:
containers:
- name: redis
image: redis
ports:
- containerPort: 6379
$ kubectl apply -f redis-deployment.yaml
deployment.apps/redis created
$ kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
api-gateway 0/1 1 0 16m
redis 1/1 1 1 14s
Vậy là ta đã tạo được redis pod, tiếp theo, nếu muốn connect được tới redis pod này, ta cần phải tạo Service resource cho nó. Tạo file tên là redis-service.yaml với config như sau:
apiVersion: v1
kind: Service
metadata:
name: redis
labels:
component: redis
spec:
selector:
component: redis
ports:
- port: 6379
Ta tạo service:
$ kubectl apply -f redis-service.yaml
service/redis created
Ta Restart api gateway deployment lại để nó có thể kết nối được tới redis.
$ kubectl rollout restart deploy api-gateway
deployment.apps/api-gateway restarted
Bây giờ khi ta get pod ra, ta vẫn thấy nó vẫn chưa chạy được thành công, ta logs nó tiếp để xem tại sao.
$ kubectl get pod
NAME READY STATUS RESTARTS AGE
api-gateway-79688cf6f5-g88f2 0/1 CrashLoopBackOff 8 13m
api-gateway-7f4d5f54f-lzgkd 0/1 Running 2 82s
redis-58c4799ccc-qhv2z 1/1 Running 0 5m41s
$ kubectl logs api-gateway-7f4d5f54f-lzgkd
...
[2021-11-07T15:05:10.388Z] INFO api-gateway-7f4d5f54f-lzgkd-28/CACHER: Redis cacher connected.
Sequelize CLI [Node: 12.13.0, CLI: 6.2.0, ORM: 6.6.5]
Loaded configuration file "migrate/config.js".
Using environment "testing".
ERROR: connect ECONNREFUSED 127.0.0.1:5432
Error: Command failed: sequelize-cli db:migrate
ERROR: connect ECONNREFUSED 127.0.0.1:5432
at ChildProcess.exithandler (child_process.js:295:12)
at ChildProcess.emit (events.js:210:5)
at maybeClose (internal/child_process.js:1021:16)
at Process.ChildProcess._handle.onexit (internal/child_process.js:283:5) {
killed: false,
code: 1,
signal: null,
cmd: 'sequelize-cli db:migrate'
}
Sequelize CLI [Node: 12.13.0, CLI: 6.2.0, ORM: 6.6.5]
Loaded configuration file "migrate/config.js".
Using environment "testing".
ERROR: connect ECONNREFUSED 127.0.0.1:5432
...
Kết quả in ra ta thấy được là ta đã kết nối redis thành công, lỗi tiếp theo mà pod api gateway hiển thị là lỗi khi nó migrate database, nó không thể kết nối database được, vì ta chưa tạo database nào cả, bước tiếp theo là ta sẽ tạo database.
Deploy database
Để deploy database, ta sẽ không dùng Deployment mà sẽ dùng StatefulSet, về lý do thì các bạn có thể xem ở đây. Ta tạo một file tên là postgres-statefulset.yaml với config như sau:
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: postgres
labels:
component: postgres
spec:
selector:
matchLabels:
component: postgres
serviceName: postgres
template:
metadata:
labels:
component: postgres
spec:
containers:
- name: postgres
image: postgres:11
ports:
- containerPort: 5432
volumeMounts:
- mountPath: /var/lib/postgresql/data
name: postgres-data
env:
- name: POSTGRES_DB
value: postgres
- name: POSTGRES_USER
value: postgres
- name: POSTGRES_PASSWORD
value: postgres
volumeClaimTemplates:
- metadata:
name: postgres-data
spec:
accessModes:
- ReadWriteOnce
storageClassName: hostpath
resources:
requests:
storage: 5Gi
Lưu ý phần storageClassName, này tùy thuộc vào kubernetes cluster của bạn thì bạn sẽ chỉ định trường storageClassName tương ứng nhé, để xem StorageClass thì bạn gõ câu lệnh sau kubectl get sc
. Ta tạo statefulset:
$ kubectl apply -f postgres-statefulset.yaml
statefulset.apps/postgres created
$ kubectl get pod
NAME READY STATUS RESTARTS AGE
api-gateway-79688cf6f5-g88f2 0/1 Running 16 32m
api-gateway-7f4d5f54f-lzgkd 0/1 CrashLoopBackOff 11 20m
postgres-0 1/1 Running 0 55s
redis-58c4799ccc-qhv2z 1/1 Running 0 25m
Ta get pod thì ta sẽ thấy postgres pod đã được tạo thành công, tiếp theo muốn kết nối được tới DB, ta cần tạo Service cho nó, tạo file tên là postgres-service.yaml với config như sau:
apiVersion: v1
kind: Service
metadata:
name: postgres
labels:
component: postgres
spec:
selector:
component: postgres
ports:
- port: 5432
Ta tạo service:
$ kubectl apply -f postgres-service.yaml
service/postgres created
Giờ ta sẽ update lại api gateway Deployment để kết nối với DB ta mới tạo, các bạn xem ở trong file code/src/db/connect.ts thì sẽ thấy các biến môi trường mà api gateway dùng để kết nối tới DB.
import { Op, Sequelize } from "sequelize";
export const connect = () => new Sequelize(
process.env.DB_NAME,
process.env.DB_USER,
process.env.DB_PASSWORD,
{
host: process.env.DB_HOST,
port: +process.env.DB_PORT,
operatorsAliases: {
$like: Op.like,
$nlike: Op.notLike,
$eq: Op.eq,
$ne: Op.ne,
$in: Op.in,
$nin: Op.notIn,
$gt: Op.gt,
$gte: Op.gte,
$lt: Op.lt,
$lte: Op.lte,
$bet: Op.between,
$contains: Op.contains,
},
dialect: "postgres",
logging: (process.env.ENABLE_LOG_QUERY === "true"),
}
);
Ta update lại các biến env của file api-gateway-deployment.yaml, và tạo lại deployment.
...
env:
- name: NODE_ENV
value: testing
- name: SERVICEDIR
value: dist/services
- name: SERVICES
value: api
- name: PORT
value: "3000"
- name: CACHER
value: redis://redis:6379
- name: DB_HOST
value: postgres
- name: DB_PORT
value: "5432"
- name: DB_NAME
value: postgres
- name: DB_USER
value: postgres
- name: DB_PASSWORD
value: postgres
$ kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway configured
$ kubectl get pod
NAME READY STATUS RESTARTS AGE
api-gateway-544c7f84-6hv7z 1/1 Running 0 2m4s
nats-65687968fc-2drwp 1/1 Running 0 4m23s
postgres-0 1/1 Running 0 31m
redis-58c4799ccc-qhv2z 1/1 Running 0 56m
Bây giờ khi ta get pod, thì ta thấy pod api gateway của ta đã chạy thành công.
Deploy categories news service
Tiếp theo ta sẽ deploy 2 service còn lại của micoservice, tạo file tên là categories-news-deployment.yaml với config như sau:
apiVersion: apps/v1
kind: Deployment
metadata:
name: categories-service
labels:
component: categories-service
spec:
revisionHistoryLimit: 1
selector:
matchLabels:
component: categories-service
template:
metadata:
labels:
component: categories-service
spec:
containers:
- name: categories-service
image: 080196/microservice
env:
- name: NODE_ENV
value: testing
- name: SERVICEDIR
value: dist/services
- name: SERVICES
value: categories
- name: CACHER
value: redis://redis:6379
- name: DB_HOST
value: postgres
- name: DB_PORT
value: "5432"
- name: DB_NAME
value: postgres
- name: DB_USER
value: postgres
- name: DB_PASSWORD
value: postgres
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: news-service
labels:
component: news-service
spec:
revisionHistoryLimit: 1
selector:
matchLabels:
component: news-service
template:
metadata:
labels:
component: news-service
spec:
containers:
- name: news-service
image: 080196/microservice
env:
- name: NODE_ENV
value: testing
- name: SERVICEDIR
value: dist/services
- name: SERVICES
value: news
- name: CACHER
value: redis://redis:6379
- name: DB_HOST
value: postgres
- name: DB_PORT
value: "5432"
- name: DB_NAME
value: postgres
- name: DB_USER
value: postgres
- name: DB_PASSWORD
value: postgres
$ kubectl apply -f categories-news-deployment.yaml
deployment.apps/categories-service created
deployment.apps/news-service created
Sau khi tạo 2 service này xong, để chúng và api gateway có thể giao tiếp với nhau, ta cần tạo NATS.
Deploy NATS
Tạo một file tên là nats-deployment.yaml với config như sau:
apiVersion: apps/v1
kind: Deployment
metadata:
name: nats
labels:
component: nats
spec:
strategy:
type: Recreate
selector:
matchLabels:
component: nats
template:
metadata:
labels:
component: nats
spec:
containers:
- name: nats
image: nats
ports:
- containerPort: 4222
$ kubectl apply -f nats-deployment.yaml
deployment/nats created
Tiếp theo ta tạo service cho NATS, tạo file nats-service.yaml:
apiVersion: v1
kind: Service
metadata:
name: nats
labels:
component: nats
spec:
selector:
component: nats
ports:
- port: 4222
$ kubectl apply -f nats-service.yaml
service/nats created
Bước cuối cùng, ta update lại env của api gateway và categories với news service, và tạo lại chúng. Thêm giá trị này vào env để cập nhật TRANSPORTER cho các service:
...
env:
...
- name: TRANSPORTER
value: nats://nats:4222
Cập nhật lại các deployment.
$ kubectl apply -f kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway configured
$ kubectl apply -f categories-news-deployment.yaml
deployment.apps/categories-service configured
deployment.apps/news-service configured
Ta get pod và xem logs của api gateway, xem các service đã có thể giao tiếp với nhau được chưa:
$ kubectl get pod
NAME READY STATUS RESTARTS AGE
api-gateway-6cb4c6b657-tlkzq 1/1 Running 0 36s
categories-service-689cdb6c6d-gqtlb 1/1 Running 0 20s
nats-65687968fc-2drwp 1/1 Running 0 20m
news-service-6b85f99987-dcplv 1/1 Running 0 20s
postgres-0 1/1 Running 0 48m
redis-58c4799ccc-qhv2z 1/1 Running 0 72m
$ kubectl logs api-gateway-6cb4c6b657-tlkzq
...
[2021-11-07T16:14:54.181Z] INFO api-gateway-6cb4c6b657-tlkzq-28/REGISTRY: Node 'news-service-6b85f99987-vcjzn-28' connected.
...
[2021-11-07T16:14:57.357Z] INFO api-gateway-6cb4c6b657-tlkzq-28/REGISTRY: Node 'categories-service-689cdb6c6d-gjjjr-29' connected.
...
Bạn sẽ thấy logs là news-service và categories-service đã được kết nối với api-gateway. Vậy là ứng dụng của ta đã chạy thành công, nhưng bạn có để ý thấy những biến env mà ta khai báo thì hơi dài và lập lại ở các file deployment không? Ta có thể dùng ConfigMap để khai báo cấu hình ở chỗ và sử dụng lại cho nhiều nơi, giúp file config của ta gọn hơn.
Khai báo config chung
Tạo một file tên là microservice-cm.yaml với config như sau:
apiVersion: v1
kind: ConfigMap
metadata:
name: microservice-cm
labels:
component: microservice-cm
data:
NODE_ENV: testing
SERVICEDIR: dist/services
TRANSPORTER: nats://nats:4222
CACHER: redis://redis:6379
DB_NAME: postgres
DB_HOST: postgres
DB_USER: postgres
DB_PASSWORD: postgres
DB_PORT: "5432"
$ kubectl apply -f microservice-cm.yaml
configmap/microservice-cm created
Ta update lại config của các file deployment như sau, file api-gateway-deployment.yaml:
apiVersion: apps/v1
kind: Deployment
metadata:
name: api-gateway
labels:
component: api-gateway
spec:
revisionHistoryLimit: 1
selector:
matchLabels:
component: api-gateway
template:
metadata:
labels:
component: api-gateway
spec:
containers:
- name: api-gateway
image: 080196/microservice
ports:
- name: http
containerPort: 3000
protocol: TCP
livenessProbe:
httpGet:
path: /
port: http
readinessProbe:
httpGet:
path: /
port: http
env:
- name: SERVICES
value: api
- name: PORT
value: "3000"
envFrom:
- configMapRef:
name: microservice-cm
$ kubectl apply -f api-gateway-deployment.yaml
deployment.apps/api-gateway configured
File categories-news-deployment.yaml:
apiVersion: apps/v1
kind: Deployment
metadata:
name: categories-service
labels:
component: categories-service
spec:
revisionHistoryLimit: 1
selector:
matchLabels:
component: categories-service
template:
metadata:
labels:
component: categories-service
spec:
containers:
- name: categories-service
image: 080196/microservice
env:
- name: SERVICES
value: categories
envFrom:
- configMapRef:
name: microservice-cm
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: news-service
labels:
component: news-service
spec:
revisionHistoryLimit: 1
selector:
matchLabels:
component: news-service
template:
metadata:
labels:
component: news-service
spec:
containers:
- name: news-service
image: 080196/microservice
env:
- name: SERVICES
value: news
envFrom:
- configMapRef:
name: microservice-cm
$ kubectl apply -f categories-news-deployment.yaml
deployment.apps/categories-service configured
deployment.apps/news-service configured
Ta get pod lại xem mọi thứ vẫn ok không:
$ kubectl get pod
NAME READY STATUS RESTARTS AGE
api-gateway-86b67895fd-cphmv 1/1 Running 0 79s
categories-service-84c74cd87c-zjtd2 1/1 Running 0 53s
nats-65687968fc-2drwp 1/1 Running 0 41m
news-service-69f45b8668-kv9dm 1/1 Running 0 52s
postgres-0 1/1 Running 0 69m
redis-58c4799ccc-qhv2z 1/1 Running 0 93m
OK, tất cả các thành phần của ứng dụng ta vẫn chạy bình thường. Ta sử dụng ConfigMap để giúp file config của ta nhìn gọn hơn, và ta quản lý tất cả env ở một chỗ, dễ dàng thay đổi và cập nhật lại.
English version Set up a Microservices on Kubernetes - Write Configuration File. Please follow me on Medium 😁.
Kết luận
Vậy là ta đã triển khai được mô hình microservice lên môi trường kubernetes, như các bạn thấy thì không khó lắm, chỉ cần ta triển khai những thành phần trong đó từ từ, là ta sẽ triển khai được. Phần tiếp theo mình sẽ nói về cách làm sao để tự động được quá trình khi ta cập nhật lại file config nó sẽ tự update lên trên cluster cho chúng ta, không cần ta phải chạy lại câu lệnh kubectl. Và cách dùng gitlab ci để cập nhật lại ứng dụng khi ta sửa và update code trong ứng dụng của ta. Nếu các bạn có thắc mắc hoặc chưa hiểu rõ chỗ nào, các bạn có thể hỏi ở phần comment.
Mục tìm kiếm đồng đội
Hiện tại thì công ty bên mình, là Hoàng Phúc International, với hơn 30 năm kinh nghiệm trong lĩnh vực thời trang. Và sở hữu trang thương mại điện tử về thời trang lớn nhất Việt Nam. Team công nghệ của HPI đang tìm kiếm đồng đội cho các vị trí như:
- Senior Backend Engineer (Java, Go). Link JD: https://tuyendung.hoang-phuc.com/job/senior-backend-engineer-1022
- Senior Front-end Engineer (VueJS). https://tuyendung.hoang-phuc.com/job/senior-frontend-engineer-1021
- Junior Backend Engineer (Java, Go). https://tuyendung.hoang-phuc.com/job/junior-backend-engineer-1067
- Junior Front-end Engineer (VueJS). https://tuyendung.hoang-phuc.com/careers/job/1068
- App (Flutter). https://tuyendung.hoang-phuc.com/job/mobile-app-engineer-flutter-1239
- Senior Data Engineer. https://tuyendung.hoang-phuc.com/job/seniorjunior-data-engineer-1221
- Manual QC. https://tuyendung.hoang-phuc.com/job/seniorjunior-manual-qc-1039
Với mục tiêu trong vòng 5 năm tới về mảng công nghệ là:
- Sẽ có trang web nằm trong top 10 trang web nhanh nhất VN với 20 triệu lượt truy cập mỗi tháng.
- 5 triệu loyal customers và có hơn 10 triệu transactions mỗi năm.
Team đang xây dựng một hệ thống rất lớn với rất nhiều vấn đề cần giải quyết, và sẽ có rất nhiều bài toán thú vị cho các bạn. Nếu các bạn có hứng thú trong việc xây dựng một hệ thống lớn, linh hoạt, dễ dàng mở rộng, và performance cao với kiến trúc microservices thì hãy tham gia với tụi mình.
Nếu các bạn quan tâm hãy gửi CV ở trong trang tuyển dụng của Hoàng Phúc International hoặc qua email của mình nha hmquan08011996@gmail.com
. Cảm ơn các bạn đã đọc.
All rights reserved