Introduction to Large Language Models LÊ ANH CƯỜNG NLP-KD Lab, Faculty of Information Technology, Ton Duc Thang University Nội dung Hiểu về ChatGPT và LLMs I. Insights about ChatGPT 2. LLM và machine learning II. Một số kỹ thuật nâng cao trong huấn luyện LLMs RLHF: PPO và DPO 2. Synthetic data 3. Distillation III. Thảo luận về sự phát triển LLMs và Generative AI Các mô hình GPT của ứng dụng ChatGPT Model Parameters Release date GPT-1 117 million 2/2018 GPT-2 1.5 billion 2/2019 GPT-3 175 billion 6/2020 GPT-3.5 175 billion 11/2022 GPT-4 ? 3/2023 GPT-4o ? 5/2024 3 Sự bùng nổ LLMs và ứng dụng • Tất cả các công ty công nghệ lớn đều phát triển LLM như: Google (PaLM, Gemini, Gemma), Meta (Llama-3), Microsoft (Phi-3), Alibaba Cloud (Qwen-2), NVIDIA (Megatron-Turing). Các nhóm phát triển như, Perplexity AI (2022): Perplixity; Anthropic (2021): Claude 3.5 Sonnet; Mistral AI: mixtral- 8x22b (2023), dự án BigScience: Bloom; … 4 Kích thước LLMs 5 Mô hình ngôn ngữ (Language Model) ChatGPT là một mô hình ngôn ngữ lớn LM là mô hình cho phép tính xác suất xảy ra của một câu: P(w1 w2 … wn ) LM cho phép tính xác suất sinh ra một từ với điều kiện biết các từ trước nó: P(wk | w1 … wk-1 ) nhà Ông ấy là một 0.1 người 0.25 … 6 LLM using GPT (Generative Pretrained Transformer) I am … xn+1 xn+2 Transformer block … … … Transformer block “Hãy dịch sang tiếng Anh: Tôi đang …” x1 x2 …. xn xn+1 7 ChatGPT: Multi-Task (Đa nhiệm) Question Prompt ChatGPT (LLM) Answer Generated text Machine Translation Summarization Information Extraction Question Answering Coding ..... 8 Bản chất của Huấn luyện mô hình ngôn ngữ Học biểu diễn từ (word representation) Học sinh từ dựa vào ngữ cảnh (conditional word generation) 9 Mô hình GPT (Generative Pretrained Transformer) 10 Huấn luyện LLM như thế nào? 1) Kiến trúc của mô hình, phép toán trong mô hình 2) Dữ liệu huấn luyện 3) Phương pháp huấn luyện Model Data construction Train