Cấu hình Amazon Bedrock - Knowledge Base Truy vấn Câu trả lời RAG Dễ dàng nhất

Kiến trúc

Tổng quan

Giả sử bạn đang xây dựng một nền tảng tìm kiếm tài liệu như hình dưới. Những chức năng cần thiết bao gồm lưu trữ nội dung tài liệu dưới dạng nhúng để có thể tìm kiếm dựa trên nội dung, sử dụng LLM để tạo ra câu trả lời dựa trên nội dung truy xuất từ tài liệu (RAG).

Nền tảng Tìm kiếm Tài liệu

Để thực hiện các chức năng này, bạn có thể sử dụng Amazon Bedrock - Knowledge base. Knowledge base sẽ thực hiện nhúng nội dung tài liệu lưu trữ trong các nguồn dữ liệu được kết nối. Lưu trữ các vector đã nhúng trong các kho vector kết nối như Amazon OpenSearch để có thể tìm kiếm. Người dùng có thể sử dụng các chức năng Retrieve API để tìm kiếm tài liệu và RetrieveAndGenerate API để tạo ra câu trả lời dựa trên nội dung truy xuất và LLM được cung cấp.

Hướng dẫn này sẽ chỉ cho bạn cách cấu hình Knowledge base.

💡 Hướng dẫn này sẽ chỉ bạn cách tạo S3 bucket lưu trữ dữ liệu tại khu vực Bắc Virginia (us-east-1) và tạo Knowledge Base trong Amazon Bedrock.

Tạo S3 Bucket làm Nguồn Dữ liệu

⚠️ Data Source (S3) kết nối với Knowledge Base phải cùng khu vực (region). Nếu Bedrock nằm ở us-east-1, thì S3 bucket cũng phải được tạo ở us-east-1.

Tạo S3 Bucket
1. Nhấn vào đây để tạo bucket.
2. Xác nhận region và nhập tên bucket.
Giữ nguyên các cài đặt khác và nhấn Create bucket để tạo bucket.

Tạo Amazon Bedrock Knowledge Base

Trong bảng điều khiển Amazon Bedrock, chọn Knowledge bases, sau đó nhấn Create knowledge base.
Nhập tên Knowledge base, chọn Create and use a new service role trong phần IAM permissions, nhập tên vai trò và ghi lại tên này để chỉnh sửa quyền sau này.
Nhấn Next và nhập Data source name và S3 URI. S3 URI là s3://tên_bucket_đã_tạo.

⚠️ Quá trình đồng bộ (Sync) sẽ thực hiện dựa trên S3 URI đã cấu hình. Công việc đồng bộ bao gồm nhúng tài liệu và lưu trữ vector kết quả trong Vector Store. Nếu muốn đồng bộ chỉ một thư mục cụ thể, bạn có thể nhập thêm đường dẫn (Path).
Chọn mô hình Embeddings model - Titan Embeddings G1 Text và Vector database
Sau khi xem lại các giá trị cài đặt, hãy nhấp vào Create knowledge base để tạo. (Mất khoảng 10 - 20 phút.)

Thiết lập vai trò IAM cho Knowledge base

Truy cập vào Bảng điều khiển IAM Role.
Nhập tên của Knowledge base Role đã được tạo ở bước trước vào ô tìm kiếm.
Nhấp vào Role được tìm thấy và trong tab Permissions, nhấp vào Add permissions - Create inline policy.

Nhấp vào JSON và cấu hình quyền truy cập S3 cho Knowledge base như sau:

⚠️ Cần thay đổi YOUR_BUCKET_NAME và YOUR_ACCOUNT_ID. YOUR_ACCOUNT_ID là 12 chữ số nằm ở góc trên bên phải của bảng điều khiển, không bao gồm dấu ‘-’.

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "s3:GetObject",
            "s3:ListBucket"
        ],
        "Resource": [
            "arn:aws:s3:::YOUR_BUCKET_NAME",
            "arn:aws:s3:::YOUR_BUCKET_NAME/*"
        ],
        "Condition": {
            "StringEquals": {
                "aws:PrincipalAccount": "YOUR_ACCOUNT_ID"
            }
        }
    }]
}

Policy Editor

Đặt tên Policy là access-to-s3-policy và nhấp vào Create policy để tạo.
Kiểm tra Knowledge base trên bảng điều khiển
1. Tải lên tài liệu phù hợp với định dạng hỗ trợ vào S3 bucket đã tạo ở bước 1.
2. Truy cập vào Bảng điều khiển Bedrock - Knowledge base và kiểm tra Knowledge base đã được tạo.
3. Trong mục Data source, chọn Data source đã tạo và nhấp vào nút Sync.
4. Khi quá trình Sync hoàn tất, trong bảng điều khiển **Test knowledge base **bên phải, nhấp vào Select model để chọn mô hình sẽ tạo phản hồi.
5. Ví dụ: Tải lên PDF Tài liệu hội nghĩ Luật Đất Đai 2024, sau đó thực hiện truy vấn về luật đất đai 2024.

Tích hợp Dữ liệu

Tạo các tài liệu mẫu và lưu trữ chúng trong S3 bucket đã tạo.
Cấu hình Knowledge base để đồng bộ dữ liệu từ S3.

Kết luận

Chúc mừng! Bây giờ bạn đã có thể truy vấn Knowledge base. Hãy tham khảo tài liệu này để tùy chỉnh thêm các tham số và tài liệu truy vấn để thực hiện tìm kiếm dữ liệu.

Nếu bạn cần thêm bất kỳ sự trợ giúp nào khác hoặc có câu hỏi, hãy cho tôi biết!