Những đột phá mới nhất trong Machine Learning (19/08 - 25/08/2024)
Lưu ý: Đây là một bài dịch từ bài viết của DAIR.AI đăng hằng tuần trên LinkedIn. Link của DAIR.A Itrên LinkedIn: https://www.linkedin.com/company/dair-ai/
1. Automate Design of Agentic Systems
Tóm tắt:
- Giới thiệu Meta Agent Search, một tác nhân siêu việt tự động lập trình và thử nghiệm các tác nhân mới.
- Dựa trên kho lưu trữ phát hiện trước đó để học bất kỳ hệ thống tác nhân nào, bao gồm lời nhắc, sử dụng công cụ, luồng điều khiển và hơn thế nữa.
- Tập trung vào ba thành phần chính: không gian tìm kiếm, thuật toán tìm kiếm và hàm đánh giá.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
2. LLM Pruning and Distillation in Practice
Tóm tắt:
- Trình bày các phương pháp hiệu quả để nén các mô hình Llama 3.1 và Mistral NeMo.
- Áp dụng cắt tỉa và chưng cất để tạo ra các mô hình có 4B và 8B tham số.
- Tinh chỉnh mô hình giáo viên trên bộ dữ liệu để cải thiện chưng cất.
- Tạo ra một mô hình 8B hiệu suất cao, vượt trội hơn các mô hình tương tự về kích thước.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
3. Vizier Gaussian Process Bandit Algorithm
Tóm tắt:
- Giới thiệu Vizier, một thuật toán dựa trên tối ưu hóa bandit Gaussian process.
- Được Google sử dụng cho hàng triệu lần tối ưu hóa và nghiên cứu.
- Cung cấp triển khai Python mã nguồn mở với kết quả đánh giá hiệu năng.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
4. Language Modeling on Tabular Data
Tóm tắt:
- Khảo sát các kỹ thuật mô hình hóa ngôn ngữ cho dữ liệu bảng.
- Bao gồm các chủ đề như phân loại cấu trúc dữ liệu, bộ dữ liệu, kỹ thuật mô hình, xử lý dữ liệu, kiến trúc phổ biến và thách thức.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
5. Enhancing Robustness in LLMs
Tóm tắt:
- Đề xuất kỹ thuật nhắc nhở hai giai đoạn để loại bỏ thông tin không liên quan.
- Giúp tăng cường độ ổn định của mô hình và hiệu suất suy luận.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
6. A Comprehensive Overview of GraphRAG Methods
Tóm tắt:
- Tập trung vào các kỹ thuật áp dụng cho quy trình làm việc GraphRAG (chỉ mục dựa trên đồ thị, truy vấn dựa trên đồ thị và tạo dựa trên đồ thị).
- Khám phá các tác vụ, ứng dụng, đánh giá và trường hợp sử dụng công nghiệp.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
7. MagicDec
Tóm tắt:
- Cho thấy cách giải mã dự đoán có thể tăng cường năng suất, giảm độ trễ và duy trì độ chính xác trong tạo ngữ cảnh dài.
- Sử dụng giải mã dự đoán hiệu quả hơn cho các chuỗi dài, ngay cả khi sử dụng các kích thước lô lớn.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
8. Controllable Text Generation for LLMs
Tóm tắt:
- Khảo sát các phương pháp để tạo văn bản có thể điều khiển trong LLM.
- Thảo luận về sự an toàn, nhất quán, phong cách và tính hữu ích.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
9. PEDAL
Tóm tắt:
- Sử dụng tự tập hợp lai để cải thiện hiệu suất của LLM.
- Tạo nhiều phản hồi ứng viên và tổng hợp chúng bằng cách sử dụng LLM.
- Đạt được độ chính xác cao hơn và chi phí thấp hơn.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
10. Challenges and Responses in the Practice of LLMs
Tóm tắt:
- Tổng hợp các câu hỏi quan trọng với câu trả lời sâu sắc về LLM.
- Phân loại câu hỏi theo chủ đề như cơ sở hạ tầng, kiến trúc phần mềm, dữ liệu, ứng dụng và khoa học thần kinh.
Link:
- Paper: Link to paper
- Tweet: Link to tweet
All rights reserved
