参考网站
https://syhya.github.io/zh/posts/2025-04-06-llama/

关键技术解析

以下是对 LLaMA 系列中广泛采用的关键技术的解析。

  1. RMS Normalization (RMSNorm)
  2. FFN_SwiGLU
  3. Grouped Query Attention (GQA)
  4. Rotary Positional Embeddings (RoPE)
  5. Mixture-of-Experts (MoE)