大模型推理部署

本板块系统介绍大语言模型推理部署的核心技术，从基础解码策略到生产级推理框架的性能调优。

1. 基础与前沿

• LLM 推理经典论文与前沿进展
• LLM 推理核心指标
• LLM 推理优化技术概览
• 数值精度与数据类型
• 解码采样参数解析

2. 推理优化

• 连续批处理原理与优化
• vLLM Chunked Prefill 如何改变 KV Cache 管理
• Prefix Caching 技术详解
• 推测解码完全指南
• 推测解码实现剖析
• KV Cache 机制详解
• KV Cache 管理与优化架构
• KV Cache Offloading 技术
• LMCache：推理缓存系统
• Prefill-Decode 解耦架构

3. 内核优化

• 性能第一性原理
• 计算受限与内存受限
• FlashAttention：从 Online Softmax 到高效注意力
• GPU 与 NPU 硬件组成
• GPU 基础原理
• 矩阵乘法背景指南

4. vLLM

• PagedAttention 原理详解
• vLLM 架构设计
• vLLM 自动前缀缓存
• vLLM 性能调优指南

5. SGLang

• SGLang 框架概览
• SGLang 服务器参数配置
• SGLang 性能调优指南
• SGLang PD 解耦架构