模型部署与服务化

【中等】主流的 LLM 推理框架有哪些？vLLM、TGI、Ollama、llama.cpp 各自的特点是什么？⭐⭐⭐⭐

🎯 目标等级：L2-L3 ｜ ⏱ 建议用时：10 min ｜ 🏷 标签：AI 工程化 / 推理框架

💎 关键结论

"vLLM 主打高吞吐 PagedAttention，TGI 深度集成 HuggingFace 生态，Ollama 面向本地一键部署，llama.cpp 是纯 CPU/混合推理的轻量标杆——选型需匹配场景：生产服务选 vLLM/TGI，本地开发选 Ollama，边缘设备选 llama.cpp。"