KUBERNETES AUTOSCALING WITH CUSTOM METRICS.
Giới thiệu
Nếu như các bạn đã từng tìm hiểu về Kubernetes thì nó có một tính năng rất đặc biệt đó là có thể tự động mở rộng ( Auto Scaling ) khi workload của hệ thống tăng cao. Nhưng Kubernetes chỉ hỗ trợ Scale dựa trên các giá trị như CPU, RAM.
Do đó vấn đề ở đây là nếu tôi có một ứng dụng chạy trên tomcat và tôi muốn tự động mở rộng thêm các Pod khi số lượng Request tăng cao thì sẽ làm thế nào? Và để giải quyết vấn đề đó thì trong bài viết này tôi sẽ sử dụng giải pháp đó là Custom Metrics trên Kubernetes bằng cách kết hợp các công cụ khác như Prometheus, Prometheus-Adapter, Horizontal Pod Autoscaler (HPA). Metrics tôi sử dụng ở đây là tomcat_requestcount_total là metrics sinh ra để tính số lượng request đi vào. Sơ đồ tổng quan sẽ như sau
1.Cài đặt Kubernetes
- Chuẩn bị 2 EC2 trên AWS và để tối ưu chi phí làm lab thì tôi sử dụng Instance type là t2.medium với 2 vCPU và 4 GB Memory
Sau khi tạo ra 2 như sau thì tôi sẽ chọn 1 trong 2 làm master và VM còn lại đóng vai trò là client
192.168.10.11 master
192.168.10.12 client
Tiếp theo, ssh vào từng VM và thực hiện các bước sau đây.
- Thực hiện đổi Hostname cho từng VM
sudo hostnamectl set-hostname K8s_master
exec bash
Thực hiện tương tự trên VM còn lại với tên là "k8s_client"
- Disable Swap & Add kernel Parameters
Dùng câu lệnh này để disable swap, thực hiện trên toàn VM
sudo swapoff -a
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
Thêm các mofules
sudo tee /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter
Đặt các them số sau cho Kubernetes
sudo tee /etc/sysctl.d/kubernetes.conf <<EOT
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOT
Áp dụng các thay đổi
$ sudo sysctl --system
- Cài đặt Containerd Runtime Đầu tiên cài đặt các gói bổ sung
sudo apt install -y curl gnupg2 software-properties-common apt-transport-https ca-certificates
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmour -o /etc/apt/trusted.gpg.d/docker.gpg
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
- Cài đặt Containerd
sudo apt update
sudo apt install -y containerd.io
- Chỉnh sửa cấu hình Containerd khởi động sử dụng systemd
containerd config default | sudo tee /etc/containerd/config.toml >/dev/null 2>&1
sudo sed -i 's/SystemdCgroup \= false/SystemdCgroup \= true/g' /etc/containerd/config.toml
- Khởi động Containerd
sudo systemctl restart containerd
sudo systemctl enable containerd
- Cài đặt Kubelet, Kubeadm, Kubectl thêm các gói cần thiết để sử dụng Kubernetes apt repository
sudo apt-get update
# apt-transport-https may be a dummy package; if so, you can skip that package
sudo apt-get install -y apt-transport-https ca-certificates curl gpg
Tải xuống public singing key cho Kubernetes package repositories.
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.31/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
Nếu thư mục /etc/apt/keyrings không tồn tại, bạn có thể tạo bằng lệnh: sudo mkdir -p -m 755 /etc/apt/keyrings
Cài đặt kubelet, kubeadm và kubectl và ghim phiên bản của chúng:
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
Sẽ mất rất nhiều thời gian để chạy các lệnh trên cho cả 1 VM. Nếu HA được triển khai, sẽ có tới 6 VM trở lên và sẽ mất thời gian gấp 2-3 lần @@. Tôi rất lười, vì vậy tôi đã viếtScriptbên dưới, chỉ cần copy và chạy chúng là hoàn tất. hehe
#!/bin/bash
read -p "Enter name: " name
#-----set hostname
hostnamectl set-hostname $name
#exec bash
echo "Enter your cluster: Ex:
10.1.1.1 master
10.1.1.2 client
more
press enter + enter if done"
while true; do
read -p "> " line
if [ -z "$line" ]; then
break
fi
echo "$line" | sudo tee -a /etc/hosts > /dev/null
done
echo "update /etc/hosts."
#------Disable Swap & Add kernel Parameters
swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
tee -a /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
tee -a /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
#--Install Containerd Runtime
apt install -y curl gnupg2 software-properties-common apt-transport-https ca-certificates
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmour -o /etc/apt/trusted.gpg.d/docker.gpg
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
apt update
apt install -y containerd.io
containerd config default | sudo tee /etc/containerd/config.toml >/dev/null 2>&1
sed -i 's/SystemdCgroup \= false/SystemdCgroup \= true/g' /etc/containerd/config.toml
systemctl restart containerd
status="$(systemctl show -p SubState containerd | cut -d'=' -f2)"
if [[ "${status}" == "running" ]]; then
echo "Service containerd is $status"
else
echo "Service not running - try install containerd again"
fi
#-------Install Kubectl, Kubeadm and Kubelet
apt-get update
apt-get install -y apt-transport-https ca-certificates curl gpg
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.31/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.31/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
systemctl enable --now kubelet
exec bash
echo "-----setup done-----"
KHỞI TẠO KUBERNETES
- Sau khi thực hiện xong các trên để chuẩn bị môi trường cho kubernetes thì tại đây chúng ta sẽ khởi tạo để có thể deploy các ứng dụng trên kubernetes.
- Chạy câu lệnh khởi tạo trên master node.
kubeadm init --control-plane-endpoint=k8s-master --upload-certs --skip-phases=addon/kube-proxy
–skip-phases=addon/kube-proxy triển khai cụm Kubernetes mà không có kube-proxy.
khởi tạo cụm thành công sẽ như sau.
Bắt đầu tương tác với cụm, chạy các lệnh sau trên nút chính.
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Trên client chạy lệnh kubeadm join… xuất hiện khi khởi tạo trên master node thành công
Thiết lập mạng cho Kubernetes
-
Cuối cùng để các thành phần có thể giao tiếp được với nhau trong cụm kubernetes thì thành phần không thể thiếu đó là network.
-
Có rất nhiều loại để thiết lập mạng cho kubernets và trong bài lab này tôi chọn Cilium.
-
Bắt đầu vào cài đặt thôi.
curl -LO https://github.com/cilium/cilium-cli/releases/download/v0.16.2/cilium-linux-amd64.tar.gz
curl -LO https://github.com/cilium/cilium-cli/releases/download/v0.16.2/cilium-linux-amd64.tar.gz.sha256sum
Kiểm tra tính toàn vẹn của tập tin
sha256sum --check cilium-linux-amd64.tar.gz.sha256sum
cilium-linux-amd64.tar.gz: OK
Nếu kết quả hiển thị “FAILED”, điều đó có nghĩa là tính toàn vẹn của tệp không được đảm bảo. Bạn nên cân nhắc sử dụng bản phát hành khác.
Giair nén và cài đặt Cilium
Sử dụng lệnh này trước tiên để kiểm tra các phiên bản cilium có sẵncilium install --list-versions
tar xzvfC cilium-linux-amd64.tar.gz /usr/local/bin/
cilium install --version 1.15.0
Vậy là chúng ta đã có một cụm Kubernetes được cài đặt đầy đủ và sẵn sàng sử dụng.
2. THIẾT LẬP TOMCAT
Bạn phải tạo tài khoản Docker Hub của riêng mình để sử dụng làm nơi lưu trữ image cho Kubernetes.
- trong bài lab này tôi sẽ sử metrics của tomcat để làm điều kiện scale pod trong kubernetes và để có được thông tin đó tôi sẽ sử dụng JMX Exporter
- JMX Exporter là gì , Prometheus JMX Exporter là một java agent, có khả năng truy cập máy chủ MBean để truy cập dữ liệu và chuyển đổi dữ liệu đó thành định dạng số liệu Prometheus. Sau đó, Prometheus sẽ trích xuất số liệu từ đường dẫn lưu trữ số liệu mặc định của JMX Exporter, đó là /metrics.
- Nếu bạn tò mò, tôi đã viết một script thiết lập tomcat, bạn có thể chạy nó trên máy Linux của mình để xem JMX Exporter lấy thông tin gì từ tomcat.
#!/bin/bash
install_jdk() {
wget https://download.java.net/java/ga/jdk11/openjdk-11_linux-x64_bin.tar.gz
tar xzvf openjdk-11_linux-x64_bin.tar.gz
mv jdk-11 /opt/
update-alternatives --install /usr/bin/java java /opt/jdk-11/bin/java 1
update-alternatives --install /usr/bin/javac javac /opt/jdk-11/bin/javac 1
}
install_tomcat() {
mkdir -p /opt/tomcat
wget -c https://archive.apache.org/dist/tomcat/tomcat-9/v9.0.62/bin/apache-tomcat-9.0.62.tar.gz
tar xzvf apache-tomcat-9.0.62.tar.gz -C /opt/tomcat/ --strip-components=1
groupadd tomcat
useradd --no-create-home --shell /bin/false tomcat -g tomcat
chown -R tomcat:tomcat /opt/tomcat/
cat <<EOF > /opt/tomcat/prometheus.yml
---
lowercaseOutputLabelNames: true
lowercaseOutputName: true
rules:
- pattern: 'Catalina<type=GlobalRequestProcessor, name=\"(\w+-\w+)-(\d+)\"><>(\w+):'
name: tomcat_\$3_total
labels:
port: "\$2"
protocol: "\$1"
help: Tomcat global \$3
type: COUNTER
- pattern: 'Catalina<j2eeType=Servlet, WebModule=//([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), name=([-a-zA-Z0-9+/$%~_-|!.]*), J2EEApplication=none, J2EEServer=none><>(requestCount|maxTime|processingTime|errorCount):'
name: tomcat_servlet_\$3_total
labels:
module: "\$1"
servlet: "\$2"
help: Tomcat servlet \$3 total
type: COUNTER
- pattern: 'Catalina<type=ThreadPool, name="(\w+-\w+)-(\d+)"><>(currentThreadCount|currentThreadsBusy|keepAliveCount|pollerThreadCount|connectionCount):'
name: tomcat_threadpool_\$3
labels:
port: "\$2"
protocol: "\$1"
help: Tomcat threadpool \$3
type: GAUGE
- pattern: 'Catalina<type=Manager, host=([-a-zA-Z0-9+&@#/%?=~_|!:.,;]*[-a-zA-Z0-9+&@#/%=~_|]), context=([-a-zA-Z0-9+/$%~_-|!.]*)><>(processingTime|sessionCounter|rejectedSessions|expiredSessions):'
name: tomcat_session_\$3_total
labels:
context: "\$2"
host: "\$1"
help: Tomcat session \$3 total
type: COUNTER
- pattern: 'java.lang<type=OperatingSystem><>(committed_virtual_memory|free_physical_memory|free_swap_space|total_physical_memory|total_swap_space)_size:'
name: os_\$1_bytes
type: GAUGE
attrNameSnakeCase: true
- pattern: 'java.lang<type=OperatingSystem><>((?!process_cpu_time)\w+):'
name: os_\$1
type: GAUGE
attrNameSnakeCase: true
EOF
cat <<EOF > /opt/tomcat/bin/setenv.sh
CATALINA_OPTS="\$CATALINA_OPTS -javaagent:/opt/jmx_prometheus_javaagent-0.19.0.jar=8182:/opt/tomcat/prometheus.yml"
Environment=JAVA_HOME=/opt/jdk-11
export JAVA_HOME=/opt/jdk-11
EOF
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.19.0/jmx_prometheus_javaagent-0.19.0.jar
mv jmx_prometheus_javaagent-0.19.0.jar /opt/
}
install_jdk
install_tomcat
Chạy lệnh này để khởi động máy chủ Tomcat.
/opt/tomcat/bin/startup.sh
Tomcat chạy trên cổng 8080 và dữ liệu được hiển thị trên cổng 8182.
Metrics sẽ trông như thế này
- Tiếp theo sẽ tạo image tomcat để sử dụng deploy trên Kubernetes
- Sử dụng một VM khác để tạo image, yêu cầu VM đó đã cài đặt Docker.
- Thực hiện lệnh bên dưới để tạo thư mục và Dockerfile.
mkdir tomcat
cd tomcat
#Prepare the necessary files. Versions may vary depending on your purpose.
wget https://download.java.net/java/ga/jdk11/openjdk-11_linux-x64_bin.tar.gz
wget -c https://archive.apache.org/dist/tomcat/tomcat-9/v9.0.62/bin/apache-tomcat-9.0.62.tar.gz
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.19.0/jmx_prometheus_javaagent-0.19.0.jar
touch Dockerfile
- Thêm các dòng bên dưới vào Dockerfile
FROM ubuntu:20.04
RUN apt-get update && apt-get install -y tar \
&& rm -rf /var/lib/apt/lists/*
COPY openjdk-11_linux-x64_bin.tar.gz /tmp/
RUN mkdir -p /opt/jdk-11 \
&& tar xzvf /tmp/openjdk-11_linux-x64_bin.tar.gz -C /opt/jdk-11/ --strip-components=1 \
&& update-alternatives --install /usr/bin/java java /opt/jdk-11/bin/java 1 \
&& update-alternatives --install /usr/bin/javac javac /opt/jdk-11/bin/javac 1
COPY apache-tomcat-9.0.62.tar.gz /tmp/
RUN mkdir -p /opt/tomcat \
&& tar xzvf /tmp/apache-tomcat-9.0.62.tar.gz -C /opt/tomcat/ --strip-components=1
RUN groupadd tomcat \
&& useradd --no-create-home --shell /bin/false tomcat -g tomcat \
&& chown -R tomcat:tomcat /opt/tomcat/
COPY prometheus.yml /opt/tomcat/
COPY setenv.sh /opt/tomcat/bin/
COPY jmx_prometheus_javaagent-0.19.0.jar /opt/
EXPOSE 8182 8080
CMD ["/opt/tomcat/bin/catalina.sh", "run"]
- Tạo image bằng lệnh sau
docker build -t my-tomcat-image .
- Trong máy của bạn, hãy đăng nhập vào Docker Hub. Bạn sẽ được yêu cầu nhập tên người dùng và mật khẩu. Mật khẩu sẽ được mã hóa và lưu trữ cục bộ.
docker login
- Gắn tag image
#docker tag <image_id> <dockerhub_username>/<repository_name>:<tag>
docker tag 282612a56d35 nessa13044/tomcat-k8s:v1
- Đẩy image vào DockerHub
docker push nessa13044/tomcat-k8s:v1
- Kiểm tra image đã xuất hiện trên DockerHub.
3.THIẾT LẬP MONITORING TRÊN KUBERNETES
- Thiết lập Prometheus trên Kubernetes
git clone https://github.com/techiescamp/kubernetes-prometheus
- Tạo Namespace & ClusterRole
- Đầu tiên, chúng ta sẽ tạo một namespace trên Kubernetes cho tất cả các thành phần giám sát của mình. Nếu bạn không chỉ định namespace, tất cả các đối tượng triển khai Prometheus Kubernetes sẽ được triển khai trên namespace mặc định.
- Thực hiện lệnh sau để tạo không gian tên mới có tên là monitoring.
kubectl create namespace monitoring
Prometheus sử dụng API Kubernetes để đọc tất cả các metric có sẵn từ Node, Pod, Deployment, v.v. Vì lý do này, chúng ta cần tạo chính sách RBAC có quyền đọc vào các nhóm API bắt buộc và liên kết chính sách với namespace monitoring.
- Tạo RBAC từ tệp clusterRole.yaml mặc định clusterRole.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: prometheus
rules:
- apiGroups: [""]
resources:
- nodes
- nodes/proxy
- services
- endpoints
- pods
verbs: ["get", "list", "watch"]
- apiGroups:
- extensions
resources:
- ingresses
verbs: ["get", "list", "watch"]
- nonResourceURLs: ["/metrics"]
verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: prometheus
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: prometheus
subjects:
- kind: ServiceAccount
name: default
namespace: monitoring
-
Một chút giải thích về Role trên, các cấu hình mặc định là quá đủ cho bài lab này, bạn có thể thấy rằng các quyền get, list và watch được thêm vào các nodes, service endpoints, pod và ingress. Ràng buộc vai trò được ràng buộc với namespace monitoriing. Nếu bạn có bất kỳ trường hợp sử dụng nào để lấy số liệu từ bất kỳ đối tượng nào khác, bạn cần chỉnh sửa lại file trên.
-
Tạo role bằng lệnh sau.
kubectl create -f clusterRole.yaml
-
Tạo config-map cho Prometheus
-
Tất cả các cấu hình cho Prometheus đều là một phần của tệp prometheus.yaml và tất cả các quy tắc cảnh báo cho Alertmanager đều được cấu hình trong prometheus.rules .
-
prometheus.yaml : Đây là cấu hình Prometheus chính chứa tất cả các cấu hình thu thập dữ liệu, thông tin chi tiết về khám phá dịch vụ, vị trí lưu trữ, cấu hình lưu giữ dữ liệu, v.v.
-
prometheus.rules : Tệp này chứa tất cả các quy tắc cảnh báo của Prometheus
-
Bằng cách đưa cấu hình Prometheus vào Kubernetes bằng config-map, bất cứ khi nào bạn cần thêm hoặc xóa cấu hình. Bạn cần cập nhật config-map và khởi động lại các pod Prometheus để áp dụng cấu hình mới.
-
Trong bài lab này tôi không sử dụng rometheus.rules . có thể tôi sẽ thiết lập nó trong phòng thí nghiệm tiếp theo
-
Mở tệp config-map.yaml và thêm yaml bên dưới. Các cấu hình bên dưới sẽ lấy được số liệu tomcat mà tôi muốn có.
- job_name: 'tomcat'
kubernetes_sd_configs:
- role: endpoints
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
action: replace
target_label: kubernetes_namespace
- source_labels: [__meta_kubernetes_pod_name]
action: replace
target_label: kubernetes_pod_name
- source_labels: [__meta_kubernetes_endpoints_name]
regex: 'tomcat-service'
action: keep
- source_labels: [__meta_kubernetes_endpoint_port_name]
regex: 'prometheus'
action: keep
- Thực hiện câu lệnh sau để tạo config-map
kubectl create -f config-map.yaml
**giải thích một chút về cấu hình config-map trên **
- Đầu tiên, chúng ta cần xác định endpoint của service tomcat
kubectl get endpoints -A
-
như bạn thấy tomcat-service là mục tiêu tôi muốn lấy nên tôi sử dụng regex để chỉ lấy tomcat-service.
-
Regex tiếp theo tôi chỉ định để chỉ lấy cổng mà tomcat hiển thị số liệu. Vì tomcat sẽ hiển thị 2 cổng 8080 và 8182 và chỉ có 1 cổng có số liệu, do đó để tránh nhầm lẫn, tôi chỉ lấy cổng chứa số liệu 8182 có tên là prometheus .
-
Deploy prometheus
kubectl create -f prometheus-deployment.yaml
- Kiểm tra kết nối với Prometheus Dashboard, hiển thị Prometheus dưới dạng dịch vụ NodePort.
- Tạo một tệp có tên prometheus-service.yaml và sao chép nội dung sau. Điều này sẽ hiển thị Prometheus trên tất cả IP của VM kubernetes trên cổng 30000.
apiVersion: v1
kind: Service
metadata:
name: prometheus-service
namespace: monitoring
annotations:
prometheus.io/scrape: 'true'
prometheus.io/port: '9090'
spec:
selector:
app: prometheus-server
type: NodePort
ports:
- port: 8080
targetPort: 9090
nodePort: 30000
kubectl apply -f prometheus-service.yaml
- Bây giờ truy cập vào ip:port 30000, chúng ta có thể thấy prometheus đã lấy số liệu của pod tomcat.
4. THIẾT LẬP PROMETHEUS-ADAPTER
- Tải xuống Prometheus Adapter Manifest, Sử dụng lệnh bên dưới để sao chép tệp yaml.
git clone https://github.com/kubernetes-sigs/prometheus-adapter.git
- Di chuyển vào thư mục deploy/manifests và bạn sẽ thấy được tất cả các file cần thiết
- Tôi cần chỉnh sửa một số cấu hình để phù hợp hơn với bài lab này.
- Mở tệp api-service.yaml
apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:
labels:
app.kubernetes.io/component: metrics-adapter
app.kubernetes.io/name: prometheus-adapter
app.kubernetes.io/version: 0.12.0
#name: v1beta1.metrics.k8s.io
name: v1beta1.custom.metrics.k8s.io
spec:
#group: metrics.k8s.io
group: custom.metrics.k8s.io
groupPriorityMinimum: 100
insecureSkipTLSVerify: true
service:
name: prometheus-adapter
namespace: monitoring
version: v1beta1
versionPriority: 100
- Thay đổi API hỗ trợ Kubernetes thành custom.metrics.k8s.io
- Tiếp theo, hãy thay thế tệp configmap.yaml bên dưới để xác định và lấy metric tomcat_requestcount_total từ các pod Tomcat
apiVersion: v1
data:
config.yaml: |
rules:
#- seriesQuery: 'tomcat_requestcount_total'
- seriesQuery: '{__name__=~"^tomcat_.*",instance!=""}'
#resources: {overrides: {job: {resource: "job"}}}
resources:
overrides:
instance: {resource: "node"}
job: {resource: "job"}
kubernetes_namespace: {resource: "namespace"}
kubernetes_pod_name: {resource: "pod"}
name:
matches: "tomcat_requestcount_total"
#matches: "^tomcat_(.*)$"
metricsQuery: "sum(rate(<<.Series>>{<<.LabelMatchers>>}[3m])*180) by (<<.GroupBy>>)"
externalRules:
- seriesQuery: 'tomcat_requestcount_total'
resources:
overrides:
instance: {resource: "node"}
job: {resource: "job"}
kubernetes_namespace: {resource: "namespace"}
kubernetes_pod_name: {resource: "pod"}
name:
matches: "tomcat_requestcount_total"
as: "tomcat_requestcount_total"
metricsQuery: "sum(rate(<<.Series>>{<<.LabelMatchers>>}[3m])*180) by (<<.GroupBy>>)"
kind: ConfigMap
metadata:
labels:
app.kubernetes.io/component: metrics-adapter
app.kubernetes.io/name: prometheus-adapter
app.kubernetes.io/version: 0.12.0
name: adapter-config
namespace: monitoring
- Deploy prometheus-adapter, thực hiện theo lệnh để hoàn tất triển khai bộ điều hợp.
kubectl create -f prometheus-adapter/deploy/manifests/
- Như chúng ta có thể thấy, prometheus-adapter triển khai thành công và chạy trên kubernetes
~# kubectl get pod -A -o wide
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
app tomcat-deployment-7fb69d4749-fnpd4 1/1 Running 0 36m 10.0.1.99 k8s-worker <none> <none>
kube-system cilium-8phqv 1/1 Running 0 76m 172.22.6.150 k8s-worker <none> <none>
kube-system cilium-bgvjv 1/1 Running 0 76m 172.22.11.124 k8s-master <none> <none>
kube-system cilium-operator-79bbbc6f56-sdlwq 1/1 Running 0 76m 172.22.6.150 k8s-worker <none> <none>
kube-system coredns-6f6b679f8f-6ljtz 1/1 Running 0 78m 10.0.0.8 k8s-master <none> <none>
kube-system coredns-6f6b679f8f-btcxx 1/1 Running 0 78m 10.0.0.114 k8s-master <none> <none>
kube-system etcd-k8s-master 1/1 Running 0 79m 172.22.11.124 k8s-master <none> <none>
kube-system kube-apiserver-k8s-master 1/1 Running 0 79m 172.22.11.124 k8s-master <none> <none>
kube-system kube-controller-manager-k8s-master 1/1 Running 30 79m 172.22.11.124 k8s-master <none> <none>
kube-system kube-scheduler-k8s-master 1/1 Running 30 79m 172.22.11.124 k8s-master <none> <none>
monitoring prometheus-adapter-777cb6d9d8-5lpp8 1/1 Running 0 32m 10.0.1.58 k8s-worker <none> <none>
monitoring prometheus-deployment-5b9f6c9dd-z8s9f 1/1 Running 0 36m 10.0.1.30 k8s-worker <none> <none>
- kiểm tra xem đã lấy được metrics từ pod Tomcat hay chưa
~# kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/" | jq .
{
"kind": "APIResourceList",
"apiVersion": "v1",
"groupVersion": "custom.metrics.k8s.io/v1beta1",
"resources": [
{
"name": "namespaces/tomcat_requestcount_total",
"singularName": "",
"namespaced": false,
"kind": "MetricValueList",
"verbs": [
"get"
]
},
{
"name": "pods/tomcat_requestcount_total",
"singularName": "",
"namespaced": true,
"kind": "MetricValueList",
"verbs": [
"get"
]
},
{
"name": "nodes/tomcat_requestcount_total",
"singularName": "",
"namespaced": false,
"kind": "MetricValueList",
"verbs": [
"get"
]
},
{
"name": "jobs.batch/tomcat_requestcount_total",
"singularName": "",
"namespaced": true,
"kind": "MetricValueList",
"verbs": [
"get"
]
}
]
}
- Chúng ta có thể thấy rằng số liệu tomcat_requestcount_total có sẵn trên tất cả các tomcat triển khai. Bây giờ, hãy kiểm tra giá trị hiện tại của số liệu này.
~# kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/app/pods/*/tomcat_requestcount_total" | jq .
{
"kind": "MetricValueList",
"apiVersion": "custom.metrics.k8s.io/v1beta1",
"metadata": {},
"items": [
{
"describedObject": {
"kind": "Pod",
"namespace": "app",
"name": "tomcat-deployment-7fb69d4749-fnpd4",
"apiVersion": "/v1"
},
"metricName": "tomcat_requestcount_total",
"timestamp": "2024-09-16T15:53:02Z",
"value": "0",
"selector": null
}
]
}
- Thành công, trong phần tiếp theo tôi sẽ sử dụng metrics này để làm điều kiện mở rộng
5. Setup Horizontal Pod Autoscaling - HPA
- Các metrics tùy chỉnh phải được gắn nhãn và hiển thị theo cách mà HPA có thể truy vấn.
- Để sử dụng metrics tùy chỉnh, hãy tạo hoặc sửa đổi tài nguyên HPA. Dưới đây là ví dụ về cấu hình YAML cho HPA có thể mở rộng dựa trên số liệu ta vừa có được ở bước trên
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: hpa-tomcat
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: tomcat-deployment
minReplicas: 1
maxReplicas: 3
metrics:
- type: Pods
pods:
metric:
name: "tomcat_requestcount_total"
target:
type: AverageValue
averageValue: 1000000m
- Tạo HPA bằng lệnh sau.
kubectl create -f hpa-tomcat.yaml -n app
Lưu ý: Bạn phải triển khai hpa trong cùng không gian tên với các pod mà bạn muốn mở rộng quy mô.
- Bây giờ, chúng ta hãy kiểm tra trạng thái hiện tại của HPA như sau.
~# kubectl get hpa -A
NAMESPACE NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS
app hpa-tomcat Deployment/tomcat-deployment 0/1000 1 3 1
- Có thể thấy target đang là 0/1000 có nghĩa là khi trung bình có hơn 1000 request đi vào tâts cả các pod Tomcat thì sẽ scale thêm 1 pod mới.
~# kubectl describe hpa -A
Name: hpa-tomcat
Namespace: app
Labels: <none>
Annotations: <none>
CreationTimestamp: Mon, 16 Sep 2024 16:42:58 +0000
Reference: Deployment/tomcat-deployment
Metrics: ( current / target )
"tomcat_requestcount_total" on pods: 14400m / 10
Min replicas: 1
Max replicas: 3
Deployment pods: 1 current / 2 desired
Conditions:
Type Status Reason Message
---- ------ ------ -------
AbleToScale True SucceededRescale the HPA controller was able to update the target scale to 2
ScalingActive True ValidMetricFound the HPA was able to successfully calculate a replica count from pods metric tomcat_requestcount_total
ScalingLimited False DesiredWithinRange the desired count is within the acceptable range
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulRescale 5s (x2 over 4d23h) horizontal-pod-autoscaler New size: 2; reason: pods metric tomcat_requestcount_total above target
6. DEMO
- Đầu tiên ta sẽ giả lập một lượng request http lớn đi vào các 1 pod tomcat tôi đang deploy trên kubernetes và sau khi lượng request vượt ngưỡng thì cùng xem tiến trình autoscale của kubernetes
- Sử dụng lệnh này để tạo một pod có tên là “loadgenerator” và liên tục gửi các yêu cầu HTTP đến một địa chỉ IP (ở đây là dịch vụ 10.98.29.31:8080 của tomcat) để mô phỏng tải tăng lên trên dịch vụ tại địa chỉ đó.
hãy thay đổi ip của service tomcat bằng ip thích hợp
kubectl run -it --rm --restart=Never loadgenerator --image=busybox -- sh -c "while true; do wget -O - -q http://10.98.29.31:8080; done"
- Trên VM mở terminal và chạy câu lệnh sau đây để xem quá trình scale
kubectl get hpa -A -w
- Như bạn có thể thấy, số lượng http request (hơn 30k ở đây) thì số lượng pod sẽ tự động mở rộng thành 3 bản sao theo cấu hình của chúng tôi. vì tôi thiết lập trên HPA max pod là 3 nên chỉ tối đa 3 pod được sinh ra. Bạn có thể tùy chỉnh bao nhiêu pod tùy ý dựa vào workload của bạn.
- Bạn cũng quan sát được quá trình scale lên trên terminal diễn ra như sau:
Vậy là tôi vừa hoàn thành xong phần lab về mở rộng ứng dụng bằng Custom-metrics trên Kubernetes, các bạn có câu hỏi nào thì để ở phần bình luận nhé
All rights reserved
