基础理论

【困难】Transformer 架构的核心组件有哪些？Self-Attention 的计算过程是怎样的？⭐⭐⭐⭐

🎯 目标等级：L3 ｜ ⏱ 建议用时：15 min ｜ 🏷 标签：LLM / Transformer

💎 关键结论

"Transformer 由 Multi-Head Self-Attention + FFN + LayerNorm + Positional Encoding 构成；Self-Attention 本质是 softmax(QKᵀ/√d)V 的加权聚合。"