Rust for Machine Learning - Tạo sinh văn bản - Phần 04

Trong ba phần trước chúng ta đã cùng nhau thực hành tải về mô hình, khởi tạo các đối tượng thực hiện nhiệm vụ token-hóa và đối tượng kiến trúc mô hình trên bộ nhớ sử dụng kỹ thuật “memory mapping”.

Trong phần này, chúng ta sẽ cùng nhau tiếp tục triển khai cơ chế logits, đây là một cơ chế rất quan trọng trong quá trình tạo sinh văn bản hay đoán từ kế tiếp. Cũng cần phải lưu ý rằng việc lấy mẫu hay quyết định một token, một từ phù hợp kế tiếp KHÔNG phải do mô hình LLM thực hiện mà sẽ do lập trình viên quyết định. Mô hình chỉ cho ta các lựa chọn có tính thống kê về khả năng của từ kế tiếp, việc chọn token nào, từ nào sẽ là cả một nghệ thuật để sao cho văn bản tạo sinh có tính sáng tạo, không đi theo lối mòn và gần giống như được thực hiện bởi con người nhất.

let mut logits_processor = LogitsProcessor::new(
    123456789, Some(0.7), Some(0.8)
);

Đoạn mã trên khởi tạo đối tượng LogitsProcessor cho việc xử lý chọn từ, mỗi tham số đầu vào sẽ quyết định một hành vi, một phong cách tạo sinh. Chúng ta có cần phải luôn chính xác một câu trả lời không? Chúng ta có muốn sáng tạo trong việc tạo sinh văn bản không? Ý nghĩa và mục đích chính xác của từng tham số này và cách chúng “vận hành” như thế nào?

Hãy cùng RustDev Vietnam tìm hiểu, trả lời các câu hỏi trên qua video “#0055 - Rust for Machine Learning - Tạo sinh văn bản - Phần 04” trên kênh Youtube RustDev Vietnam.

Và đừng quên nhấn đăng ký kênh để không bị bỏ lỡ các video của chúng tôi.