📄️ Giới Thiệu
Chào mừng các đội! Tài liệu này là hướng dẫn để định hướng phát triển tập trung Post-Training mô hình cho cuộc thi. Hướng dẫn này dựa trên các thực tiễn tốt nhất từ:
📄️ Chiến Lược & Thiết Lập Tiền Huấn Luyện
Trước khi bạn viết một dòng mã huấn luyện nào, đội của bạn phải xác định chiến lược của mình. "Thực tế lộn xộn" của việc huấn luyện mô hình là thành công phụ thuộc rất nhiều vào kế hoạch tốt.
📄️ Huấn Luyện Phân Tán
Để huấn luyện ở quy mô lớn, bạn phải song song hóa mô hình của mình trên nhiều GPU. Mục tiêu là tìm sự cân bằng phù hợp giữa tính toán, giao tiếp và bộ nhớ.
📄️ Hậu Huấn Luyện & Hiệu Chỉnh
Mô hình tiền huấn luyện của bạn là một "mô hình cơ sở" (base model)—nó là một công cụ dự đoán token tiếp theo mạnh mẽ, nhưng nó không phải là một trợ lý hữu ích. Hậu huấn luyện (Post-training) sẽ hiệu chỉnh nó để tuân theo các hướng dẫn.
📄️ Hoàn Thiện & Nộp Mô Hình
Một "mô hình" không chỉ là các trọng số của nó. Bài nộp cuối cùng của bạn phải là một gói hoàn chỉnh.