一只大笨熊

大模型优化技术 大模型推理优化技术-KV Cache 大模型显存优化技术-PagedAttention 大模型优化技术-FlashAttention 大模型推理优化技术-Flash-Decoding 大模型显存优化技术-ZeRO系列 大模型解码优化-Speculative Decoding及其变体 大模型推理服务请求调度优化技术-Continuous batching 大模型优化算法是提升模型推理效率、降低计算资源消耗的关键技术，以下从KV-Cache原理、常见优化算法及应用场景三方面展开解析： 一、KV-Cache：大模型推理的核心加速技术 1. 基本概念与原理 定义：KV-Cache（Key-Value...

3.1.1 SFT数据 3.1.2 SFT训练 3.1.3 SFT评估

3.2.1 RL基础概念 3.2.2 RLHF流程 3.2.3 PPO算法 3.2.4 LLM对齐中的RLHF+PPO

3.4.1 Prompt Tuning 3.4.2 P-Tuning 3.4.3 Prefix Tuning 3.4.4 P-Tuning V2 3.4.5 Adapter Tuning 3.4.6 LORA

4.5.1 Qwen1 4.5.2 Qwen2

4.6.1 Deepseek-V1 4.6.2 Deepseek-V2 4.6.3 Deepseek-R1

5.1.1 In-ContextLearning上下文学习 5.1.2 Chain-of-Thought 思维链

5.3.1 RAG简介 5.3.2 RAG流程与分类 5.3.3 RAG评估 5.3.4 RAG优化

5.2.1 Tool Use Agent 5.2.2 Code Generation Agent 5.2.3 0bservation-based Agent 5.2.4 RAG Agent