大语言模型

本板块聚焦大语言模型（Large Language Model，LLM）相关技术，涵盖预训练核心架构、微调方法论以及实用工具指南。

1. ChatGPT

• ChatGPT 的技术原理与 RLHF
• 常用 ChatGPT Prompt 模板
• 文本大语言模型的聊天模板入门指南

2. 预训练

• Transformer 注意力机制：MHA、MQA 与 GQA
• 多头潜在注意力（MLA）
• 图解混合专家模型（MoE）
• Transformer 中的位置编码
• 旋转式位置编码（RoPE）

3. 微调

• 大型语言模型微调方法
• 低秩适配（LoRA）微调

4. 工具链

• Hugging Face 模型下载指南
• Hugging Face 模型上传指南