Sử dụng BizflyCloud Volume làm Persistent Volume cho cụm K8s - BizFlyCloud Volume CSI

MayFest2022 Reconnection

Giải quyết vấn đề gì?

Nếu như bạn đang chạy các ứng dụng, dịch vụ trên nền tảng K8s đặc biệt là các ứng dụng Stateful thì sẽ không còn quá lạ lẫm với việc sử dụng các Persistent Volume Claim (PVC) hay Persistent Volume (PV) để lưu dữ liệu cho các ứng dụng khi restart hoặc bị xóa. Có nhiều cách để chúng ta có thể tạo và sử dụng PV và PVC như sử dụng CInder của OpenStack, NFS hay các plugin của các nhà cung cấp dịch vụ thứ 3. Mỗi cách đều có nhưng ưu nhược điểm khác nhau.

Trong bài viết ngày hôm này mình sẽ giới thiệu bạn sử dụng Disk trên nền tảng của BizflyCloud để tự động tạo Persistent Volume cho PVC khi có yêu cầu. Mình sẽ thực hiện cài BizFly Cloud Volume CSI driver for Kubernetes lên trên cụm K8s đang sử dụng để có thể tạo ra các StorageClass. Sau đó khi đã có StorageClass ta chỉ cần chỉ định StorageClass này có các PVC là K8s sẽ tự động tạo ra các PV với kích thước tương ứng để chứa PVC này. Hầu hết các nhà cung cấp dịch vụ Cloud lớn như AWS, GCP hay Azure đều có plugin để hỗ trợ việc tạo theo cách tương tự nên sau khi hiểu bài viết này bạn hoàn toàn có thể ứng dụng cho các Cloud provider khác.

Điều kiện tiên quyết

Cụm Kubernetes
Tài khoản tại BizflyCloud có đủ quyền tạo ổ đĩa.

Cài đặt

Tạo secret

Các bước để cài đặt khá đơn giản chỉ cần follow đúng theo hướng dẫn trên document. Đầu tiên ta cần tạo 1 secret chứa các thông tin để tạo resoure disk trên cloud.

apiVersion: v1
kind: Secret
metadata:
 name: bizflycloud
 namespace: kube-system
stringData:
 application_credential_id: "your_application_credential_id"
 application_credential_secret: "your_application_credential_secret"
 tenant_id: "your_tenant_id"
 region: "your_region" # HN, HCM

Trong phần này bạn sẽ tạo secret tên bizflycloud ở namespace kube-system, trong đó chứa các thông tin về application id, application secret, tenant_id hay project_id và region là nơi bạn muốn disk được khởi tạo. Hiện tại Bizfly đang có 2 region là Hà Nội và Hồ Chí Minh.

Để lấy thông tin về application credential ta truy cập đường dẫn https://manage.bizflycloud.vn/account/security#application-credential và tạo mới Credential.

Sau đó ta sẽ có ID và secret của Application

Để lấy được tenant_id ta truy cập vào API https://manage.bizflycloud.vn/account/api/users/info và tìm key tenant_id.

Deploy CSI Plugin

Tạo CSI Plugin

kubectl apply -f https://raw.githubusercontent.com/bizflycloud/csi-bizflycloud/master/manifest/plugin/csi-driver.yaml

Thêm RBAC cho controller plugin và node plugin

kubectl apply -f https://raw.githubusercontent.com/bizflycloud/csi-bizflycloud/master/manifest/plugin/csi-bizflycloud-controllerplugin-rbac.yaml
kubectl apply -f https://raw.githubusercontent.com/bizflycloud/csi-bizflycloud/master/manifest/plugin/csi-bizflycloud-nodeplugin-rbac.yaml

Cài đặt CSI Statefulset và Daemonset

kubectl apply -f https://raw.githubusercontent.com/bizflycloud/csi-bizflycloud/master/manifest/plugin/csi-bizflycloud-controllerplugin.yaml
kubectl apply -f https://raw.githubusercontent.com/bizflycloud/csi-bizflycloud/master/manifest/plugin/csi-bizflycloud-nodeplugin.yaml

Như vậy ta đã tạo xong các thành phần cần thiết, tiếp theo ta tạo StorageClass. Ta tạo file storageClasses.yaml với nội dung như sau:

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: premium-hdd
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: volume.csi.bizflycloud.vn
allowVolumeExpansion: true
volumeBindingMode: WaitForFirstConsumer
parameters:
  category: premium
  type: HDD
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: premium-ssd
provisioner: volume.csi.bizflycloud.vn
allowVolumeExpansion: true
volumeBindingMode: WaitForFirstConsumer
parameters:
  category: premium
  type: SSD
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: enterprise-hdd
provisioner: volume.csi.bizflycloud.vn
allowVolumeExpansion: true
volumeBindingMode: WaitForFirstConsumer
parameters:
  category: enterprise
  type: HDD
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: enterprise-ssd
provisioner: volume.csi.bizflycloud.vn
allowVolumeExpansion: true
volumeBindingMode: WaitForFirstConsumer
parameters:
  category: enterprise
  type: SSD

Ở đây ta tạo ra 4 storage class tương ứng với 4 loại ổ đĩa khác nhau với tốc độ khác nhau Premium => Enterprise, Ngoài ra còn có ổ địa Dedicated, ta có thể thêm bằng cách tương tự. Với file yaml trên ta đang để loại ổ điã mặc định là hdd-premium nên với 1 PVC không được set StorageClass thì mặc định sẽ sử dụng hdd-prenium. Ta apply file trên để có các storageclass

kubectl apply -f storageClasses.yaml

Như vậy ta đã cài đặt xong CSI hỗ trợ cho việc khởi tạo các PV tương ứng cho PVC. Sau đây ta sẽ thử nghiệm để xem mọi thứ đã hoạt động như mong đợi chưa.