High Availability & Scalability

Mayfest2023

Overview

High Availability: đảm bảo tính sẵn sàng. Nếu một máy chủ ngừng hoạt động thì máy còn lại sẽ thay thế để hệ thống hoạt động bình thường, 1 ứng dụng ở nhiều AZ
Scalability: tính mở rộng. có thể tăng giảm kích thước khi cần
Có 2 loại mở rộng:
- Vertical scalability: tăng kích thước của instance
- Horizontal Scalability (scale out/in ): tăng số lượng instance
  - Auto scaling group
  - Load balacer
Thành phần
- Redundancy(dự phòng)
- Monitoring(giám sát)
- Failover(chuyển đổi dự phòng)
- Failback(dự phòng)

Cách để xác minh một EC2 có hoạt động bình thường hay không
Load balancer sẽ gửi 1 request định kỳ đến instance nếu phản hồi 200 thì sẽ được đánh dấu là healthy ngược lại thì Instance sẽ được đánh dấu là unhealthy và LB sẽ không gửi traffic đến Instance đó nữa

ELB tạo 1 SG cho phép các request từ ngoài internet vào ELB qua cổng 80 (HTTP), 443(HTTPS) và sẽ chuyển request này đễn EC2 qua cổng 80 (HTTP)
EC2 tạo 1 SG chỉ nhận request từ ELB qua cổng 80 (HTTP)
Như vậy sẽ ko có 1 request nào từ internet có thể truy cập được vào EC2

Có thể là EC2 instances, ECS tasks, Lambda functions, IP addresses
ALB có thể định tuyến tới nhiều target group
Mỗi target group dùng để định tuyến request tới 1 hay nhiều target khác nhau
Target type:
- instance: EC2 instance được xác định bởi instance ID
- ip: 1 địa chỉ IP (phải là private IP)
- lambda: lambda function (chúng ta sẽ học ở phần serverless)
Health check được thực hiện ở level target group

Hoạt động ở tầng ứng dụng. Phù hợp để cân bằng lưu lượng HTTP, HTTPS.
Phù hợp với ứng dụng micro service & container based application (Docker & Amazon ECS)
Hỗ trợ http, https, WebSocket

Hoạt động ở layer 4(transport). Sử dụng cho hiệu suất cực kì cao. Có 1 Ip tĩnh cho mỗi AZ, hỗ trợ Elastic IP
Health Checks hỗ trợ TCP, HTTP & HTTPS Protocols
Hỗ trợ giao thức TCP, TLS, UDP

Hoạt động ở layer 3(Network). Cho phép triển khai, mở rộng, quản lý nhóm mạng bên thứ 3
Hỗ trợ giao thức IP

Chỉ hoạt động với Application Load Balancer & Classic Load Balance, Network Load Balance
Client phải hỗ trợ cookies
Đảm bảo người dùng không bị mất session data
Active sticky có thể gây mất cân bằng tải

Cross zone load balancing dùng để phân phối lưu lượng truy cập đến nhiều máy chủ trong các khu vực khác nhau trong một vùng cụ thể.
Application Load Balancer
- Luôn bật (không thể tắt option này đi)
- Không bị tính phí inter AZ
Network Load Balancer & Gateway Load balancer
- Mặc định sẽ disabled
- Nếu enable lên AWS sẽ tính phí inter AZ của bạn
Classic Load Balancer
- Mặc định sẽ disabled
- Nếu enable, không bị tính phí inter AZ

Secure Sockets Layer : cổng bảo mật
Transport Layer Security : bảo mật tầng vận chuyển
SSL certificate cho phép lượng truy cập giữa máy khách và bộ cân bằng tải được mã hóa trong khi truyền (in-flight encryption)
SSL dùng để mã hóa các kết nối, đề cập đến lớp cổng bảo mật
TLS mới hơn của SSL, đề cập đến bảo mật tầng vận chuyển

Bộ cân bằng tải sử dụng X.509 certificate (TLS)
Bạn có thể quản lý chứng chỉ bằng ACM (AWS Certificate Manager)
Có thể tải lên Certificates của riêng mình
HTTPS listener:
- Phải chỉ định một default certificate
- Có thể thêm một optional list of certs để hỗ trợ domains
- Clients có thể sử dụng SNI(Server Name Indication) để chỉ định tên máy chủ mà họ tiếp cận
- Chỉ định chính sách bảo mật để hỗ trợ các phiên bản SSL/TLS SSL – Server Name Indication (SNI)
SNI giải quyết vấn đề tải nhiều chứng chỉ SSL lên một máy chủ web (để phục vụ nhiều trang web)
Application Load Balancer & Network Load Balancer • Supports multiple listeners with multiple SSL certificates • Uses Server Name Indication (SNI) to make it work

Có thể thay đổi quy mô ASG dựa trên cảnh báo của CloudWatch
- scale-out policies (tăng số lượng instances)
- scale-in policies (giảm số lượng instances)

Target Tracking Scaling
Simple / Step Scaling:
- Khi cảnh báo CloudWatch được kích hoạt (ví dụ CPU > 70%), thêm 2 instance
- Khi cảnh báo CloudWatch được kích hoạt (ví dụ CPU < 30%), xóa 1 instance
Scheduled Actions: dự đoán quy mô dựa trên các mẫu sử dụng đã biết