Quân Huỳnh @hmquan08011996

32.0K 1.3K 146

Bất kỳ ai có liên kết 7 phút đọc

1.4K

Kubernetes Practice - Kubernetes based Event Driven Autoscaler

Bài đăng này đã không được cập nhật trong 2 năm

Giới thiệu

Chào mọi người đến với series practice về kubernetes. Ở bài này chúng ta sẽ tìm hiểu về KEDA, một resource giúp ta trong việc scale các pod container trong Kubernetes một cách rất dễ dàng và cover rất nhiều use case phổ biến.

Khi ta sử dụng kubernetes, để scale một pod container ta thường sử dụng Horizontal Pod Autoscaling. Nhưng Horizontal Pod Autoscaling chỉ hỗ trợ ta scale container theo một vài metric đơn giản, ví dụ như là cpu và memory. Nếu ta muốn scale container theo các metric khác thì ta phải viết custom metrics khá phức tạp, ví dụ như là scale container dựa theo Kafka topic.

Thay vì phải tự viết thì ta có thể sử dụng KEDA để làm công việc này.

KEDA

KEDA (Kubernetes-based Event Driven Autoscaler) là một Custom Resource Definition mà ta có thể thêm vào một kubernetes cluster có sẵn. KEDA sẽ tương tác với Horizontal Pod Autoscaling ở bên dưới để mở rộng thêm function của HPA.

Với KEDA ta có thể scale một ứng dụng dựa vào event-driven, ví dụ như số lượng message bên trong RabbitMQ đạt tới một số lượng nhất định.

High-level architecture

Thì để hiểu rõ hơn về KEDA thì ta sẽ coi sơ qua kiến trúc high-level của nó.

KEDA bao gồm các thành phần cơ bản sau:

Metrics adapter: thành phần hành động tương tự như kubernetes metrics server, mà sẽ expose các rich event data như queue length hoặc stream lag tới Horizontal Pod Autoscaler để xử lý việc scale.
Controller: thành phần thực hiện việc scale container về 0.
Scaler: đóng vai trò là một connector để kết nối tới external event source như kafka, rabbitmq và thu thập metric về.
ScaledObject: định nghĩa quan hệ giữa event source và workload resource (Deployment, StatefulSet).

Event sources.

KEDA hỗ trợ rất nhiều event sources, hỗ trợ với cả các resource của AWS và AZURE.

Các bạn có thể xem tất cả các event sources mà KEDA hỗ trợ ở đây.

Oke, ta nói lý thuyết đủ rồi, tiếp theo ta sẽ install KEDA lên trên kubernetes cluster của ta và làm thử một ví dụ scale theo RabbitMQ.

Install KEDA with Helm

Ta sẽ dùng Helm để cài KEDA, nếu các bạn chưa install Helm thì install Helm như sau.

$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
$ chmod 700 get_helm.sh
$ ./get_helm.sh

Sau đó ta chạy các lệnh sau.

Add Helm repo

helm repo add kedacore https://kedacore.github.io/charts

Update Helm repo

helm repo update

Install keda Helm chart

helm install keda kedacore/keda --namespace keda --create-namespace

NAME: keda
LAST DEPLOYED: Wed Apr 13 17:22:29 2022
NAMESPACE: keda
STATUS: deployed
REVISION: 1
TEST SUITE: None

Kiểm tra CRDs đã chạy chưa.

kubectl get all -n keda

NAME                                                   READY   STATUS    RESTARTS   AGE
pod/keda-operator-778cf49bcf-k8n2m                     1/1     Running   0          77s
pod/keda-operator-metrics-apiserver-5ccf7b74dd-f4c9m   1/1     Running   0          77s

NAME                                      TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/keda-operator-metrics-apiserver   ClusterIP   10.102.19.207   <none>        443/TCP,80/TCP   77s

NAME                                              READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/keda-operator                     1/1     1            1           77s
deployment.apps/keda-operator-metrics-apiserver   1/1     1            1           77s

NAME                                                         DESIRED   CURRENT   READY   AGE
replicaset.apps/keda-operator-778cf49bcf                     1         1         1       77s
replicaset.apps/keda-operator-metrics-apiserver-5ccf7b74dd   1         1         1       77s

Scale with RabbitMQ

Ok, giờ ta sẽ tạo rabbitmq + consumer, sau đó tạo một ScaledObject mà chỉ định thông số để consumer scale theo số lượng message.

Các bạn tải code ở github sau https://github.com/hoalongnatsu/kubernetes-practice.

Tạo RabbitMQ.

kubectl apply -f rabbitmq.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq
  labels:
    component: rabbitmq
data:
  rabbitmq.conf: |
    default_user = k8s-practice
    default_pass = k8s-practice

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: rabbitmq
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      component: rabbitmq
  template:
    metadata:
      labels:
        component: rabbitmq
    spec:
      containers:
        - image: rabbitmq
          name: rabbitmq
          ports:
            - containerPort: 5672
          env:
            - name: RABBITMQ_NODENAME
              value: k8s-practice
          volumeMounts:
            - name: config
              mountPath: /etc/rabbitmq
      volumes:
        - name: config
          configMap:
            name: rabbitmq

---
apiVersion: v1
kind: Service
metadata:
  name: rabbitmq
spec:
  selector:
    component: rabbitmq
  ports:
    - port: 5672

Tạo consumer.

kubectl apply -f share-consume-queue.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: share-consume-queue
data:
  RABBITMQ_HOST: rabbitmq
  RABBITMQ_PORT: "5672"
  RABBITMQ_USER: k8s-practice
  RABBITMQ_PASS: k8s-practice

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: share-consume-queue
  labels:
    component: share-consume-queue
spec:
  selector:
    matchLabels:
      component: share-consume-queue
  template:
    metadata:
      labels:
        component: share-consume-queue
    spec:
      containers:
        - name: share-consume-queue
          image: 080196/k8s-practice-keda-consumer
          envFrom:
            - configMapRef:
                name: share-consume-queue

Kiểm tra consumer mà ta đã tạo.

$ kubectl get deployment

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
rabbitmq              1/1     1            1           10m
share-consume-queue   1/1     1            1           12s

Sau đó ta tạo ScaledObject.

kubectl apply -f scaled-object.yaml

Config của ScaledObject như sau.

apiVersion: v1
kind: Secret
metadata:
  name: rabbitmq-secret
data:
  MQ_HOST: YW1xcDovL2s4cy1wcmFjdGljZTprOHMtcHJhY3RpY2VAcmFiYml0bXEuZGVmYXVsdDo1NjcyL3Zob3N0 # base64 encoded value of format amqp://k8s-practice:k8s-practice@rabbitmq.default:5672/vhost

---
apiVersion: keda.sh/v1alpha1
kind: TriggerAuthentication
metadata:
  name: rabbitmq-trigger-auth
spec:
  secretTargetRef:
    - parameter: host
      name: rabbitmq-secret # secret name
      key: MQ_HOST # secret key

---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: share-consume-queue
spec:
  scaleTargetRef:
    name: share-consume-queue
  triggers:
    - type: rabbitmq
      metadata:
        mode: QueueLength
        queueName: scale_out
        value: "5"
      authenticationRef:
        name: rabbitmq-trigger-auth

Các bạn có thể đọc full cấu hình ở đây https://keda.sh/docs/2.6/scalers/rabbitmq-queue. Mình sẽ giải thích sơ qua các resource cần thiết để ta tạo ScaledObject với RabbitMQ.

Đầu tiên là Secret dùng để lưu connection tới rabbitmq, giá trị MQ_HOST là chuỗi base64 của connection string amqp://k8s-practice:k8s-practice@rabbitmq.default:5672/vhost, ta tạo ra nó bằng câu lệnh encode.

echo -n "amqp://k8s-practice:k8s-practice@rabbitmq.default:5672/vhost" | base64 -w 0

Thứ hai là TriggerAuthentication resource, được Scaler dùng để tạo connection tới rabbitmq, giá trị của secretTargetRef sẽ gồm 3 thuộc tính là parameter, name, key. Với giá trị name là tên của Secret, key là giá trị key trong trường data của Secret.

Cuối cùng là ScaledObject, thành phần chính để config scale cho consumer. Với giá trị của scaleTargetRef là resource ta chọn để scale, còn giá trị triggers dùng để định nghĩa event mà ta dùng để thực hiện scale.

- type: rabbitmq
  metadata:
    mode: QueueLength
    queueName: scale_out
    value: "5"
    vhostName: /
  authenticationRef:
    name: rabbitmq-trigger-auth

Thuộc tính type ta chọn là rabbitmq, metadata.mode ta chỉ định giá trị là QueueLength, metadata.queueName là tên của queue ta theo dõi message của nó, mode.value là số lượng message tương ứng với một replica, số lượng replica sẽ được tính dựa theo số này. Ví dụ số lượng message là 30 thì ta sẽ scale lên 6 replica.

Giá trị của trường authenticationRef ta là tên của TriggerAuthentication. Sau khi ta tạo ScaledObject xong, lúc này nếu bạn kiểm tra lại Deployment thì bạn sẽ thấy share-consume-queue của ta đã scale xuống còn 0 replica.

$ kubectl get deployment

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
rabbitmq              1/1     1            1           19m
share-consume-queue   0/0     0            0           17m

Một điểm mà KEDA khác với thằng HPA bình thường là nó cho phép ta scale một resource xuống còn 0 replica.

Bây giờ ta sẽ tạo Job để nó push message vào queue, sau đó ta sẽ kiểm tra coi consumer của ta có scale như ta đã nói hay không.

kubectl apply -f publisher-job.yaml

apiVersion: batch/v1
kind: Job
metadata:
  name: rabbitmq-publish
spec:
  backoffLimit: 4
  template:
    spec:
      restartPolicy: Never
      containers:
      - name: rabbitmq-client
        image: 080196/k8s-practice-keda-send
        env:
          - name: QUEUE_LENGTH
            value: "50"
        envFrom:
          - configMapRef:
              name: share-consume-queue

Ở trên ta send 50 message vào queue. Sau đó bạn get pod lại, lúc này ta sẽ thấy số lượng pod của ta đã tăng lên.

$ kubectl get deploy

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
rabbitmq              1/1     1            1           47m
share-consume-queue   4/4     4            4           46m

$ kubectl get pod

NAME                                   READY   STATUS      RESTARTS   AGE
rabbitmq-568f45bff9-bbxkx              1/1     Running     0          47m
rabbitmq-publish-2stmd                 0/1     Completed   0          42s
share-consume-queue-68774b665c-7qg4f   1/1     Running     0          17s
share-consume-queue-68774b665c-gvmtn   1/1     Running     0          18s
share-consume-queue-68774b665c-khrxf   1/1     Running     0          17s
share-consume-queue-68774b665c-mc5tv   1/1     Running     0          17s

Kiểm tra resource HPA.

$ kubectl get hpa

NAME                           REFERENCE                        TARGETS      MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-share-consume-queue   Deployment/share-consume-queue   50/5 (avg)   1         100       1          28m

Lúc này thì pod của ta mới scale lên 4 pod, đợi một lúc bạn get lại Deployment thì sẽ thấy nó đã scale lên 10 replica.

$ kubectl get deploy

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
rabbitmq              1/1     1            1           49m
share-consume-queue   10/10   10           10          47m

Đợi một lát khi consumer tiêu thụ hết message trong queue, lúc này pod của ta sẽ scale xuống lại.

$ kubectl get deploy

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
rabbitmq              1/1     1            1           52m
share-consume-queue   0/0     0            0           50m

$ kubectl get hpa

NAME                           REFERENCE                        TARGETS     MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-share-consume-queue   Deployment/share-consume-queue   0/5 (avg)   1         100       10         32m

Oke, ta đã thực hiện thành công 😁.

Kết luận

Vậy ta là ta đã tìm hiểu xong cơ bản về Kubernetes based Event Driven Autoscaler, như bạn thấy nó khá đơn giản mà rất hữu dụng. Nếu có thắc mắc hoặc cần giải thích rõ thêm chỗ nào thì các bạn có thể hỏi dưới phần comment.

Mục tìm kiếm đồng đội

Hiện tại thì bên công ty mình, là Hoàng Phúc International, với hơn 30 năm kinh nghiệm trong lĩnh vực thời trang. Và là trang thương mại điện tử về thời trang lớn nhất Việt Nam. Team công nghệ của HPI đang tìm kiếm đồng đội cho các vị trí như:

Senior Backend Engineer (Java). Link JD: https://tuyendung.hoang-phuc.com/job/senior-backend-engineer-1022
Senior Front-end Engineer (VueJS). https://tuyendung.hoang-phuc.com/job/senior-frontend-engineer-1021
Junior Backend Engineer (Java). https://tuyendung.hoang-phuc.com/job/junior-backend-engineer-1067
Junior Front-end Engineer (VueJS). https://tuyendung.hoang-phuc.com/careers/job/1068
App (Flutter). https://tuyendung.hoang-phuc.com/job/mobile-app-engineer-flutter-1239
Senior Data Engineer. https://tuyendung.hoang-phuc.com/job/seniorjunior-data-engineer-1221

Với mục tiêu trong vòng 5 năm tới về mảng công nghệ là:

Sẽ có trang web nằm trong top 10 trang web nhanh nhất VN với 20 triệu lượt truy cập mỗi tháng.
5 triệu loyal customers và có hơn 10 triệu transactions mỗi năm.

Team đang xây dựng một hệ thống rất lớn với rất nhiều vấn đề cần giải quyết, và sẽ có rất nhiều bài toán thú vị cho các bạn. Nếu các bạn có hứng thú trong việc xây dựng một hệ thống lớn, linh hoạt, dễ dàng mở rộng, và performance cao với kiến trúc microservices thì hãy tham gia với tụi mình.

Nếu các bạn quan tâm hãy gửi CV ở trong trang tuyển dụng của Hoàng Phúc International hoặc qua email của mình nha hmquan08011996@gmail.com. Cảm ơn các bạn đã đọc.

DevOps Kubernetes