当前位置：首页 > news >正文

PyTorch 生态迎来新成员：SGLang 高效推理引擎解析

news 来源：原创 2025/9/20 11:50:24

SGLang 现已正式融入 PyTorch 生态系统！此次集成确保了 SGLang 符合 PyTorch 的技术标准与最佳实践，为开发者提供了一个可靠且社区支持的框架，助力大规模语言模型（LLM）实现高效且灵活的推理。

如需深入了解 PyTorch 生态系统，欢迎访问 [PyTorch Landscape](https://pytorch.org/ecosystem/) ，获取更多关于项目如何加入 PyTorch 生态系统的详细信息。

SGLang是what？

核心特性：

- 高效的后端运行时：

SGLang 的后端支持多种先进技术，包括 RadixAttention（用于前缀缓存以加速推理）、零开销 CPU 调度器、持续批处理、Token 级注意力（Paged Attention）、预测解码、张量并行、分块预填充以及结构化输出。此外，它还支持 FP8/INT4 量化和 AWQ/GPTQ 等优化技术，进一步提升性能。

- 灵活的前端语言：

SGLang 提供直观且功能强大的 LLM 应用编程接口，支持链式生成调用、高级提示工程、控制流操作、多模态输入处理、并行任务执行以及与外部工具的交互。这种设计使得开发者能够更高效地构建复杂的应用场景。

- 广泛的模型兼容性：

SGLang 支持多种主流生成式模型（如 Llama、Gemma、Mistral、Qwen、DeepSeek 和 LLaVA 等）、嵌入模型（如 e5-mistral、gte、mcdse）以及奖励模型（如 Skywork）。同时，它的架构允许轻松扩展，以便快速集成新模型。

- 活跃的开源社区：

作为一个开源项目，SGLang 拥有充满活力的社区支持，并已获得业界广泛认可和采用。

SGLang 因其卓越的性能而备受关注，在推理吞吐量和延迟方面通常显著优于其他最先进的框架。若想深入了解其底层技术，可以参考以下版本博客：[v0.2 版本博客](https://example.com/v0.2)、[v0.3 版本博客](https://example.com/v0.3)、[v0.4 版本博客](https://example.com/v0.4)。

目前，SGLang 已被多家领先企业和研究机构广泛采用。例如，xAI 使用 SGLang 部署了其旗舰模型 Grok 3，该模型在 Chatbot Arena 排行榜上稳居首位。此外，Microsoft Azure 在 AMD GPU 上利用 SGLang 运行 DeepSeek R1，这一模型被认为是当前最强大的开源大语言模型之一。

未来规划

在2025年，SGLang 团队计划进一步突破系统效率的极限。根据其2025年上半年（2025H1）的路线图，以下是一些关键的发展方向：

- 大规模部署优化：

-部署 DeepSeek 模型

专注于提升面向吞吐量的大规模部署能力，类似于 DeepSeek 推理系统的高效架构。

# Pull the latest imagedocker pull lmsysorg/sglang:latest# Launch a serverdocker run --gpus all --shm-size 32g -p 30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host --network=host --privileged lmsysorg/sglang:latest \    python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code --port 30000

您可以在 DeepSeek 部署文档中找到适用于 MI300X、H100、A100、H20、L40S 等硬件的详细指南。

SGLang 集成了针对 DeepSeek 的专门优化，例如 MLA 吞吐量优化、MLA 优化内核、数据并行注意力、多 Token 预测以及 DeepGemm，使其成为包括 AMD、NVIDIA 及众多云服务提供商在内的数十家公司[8]部署 DeepSeek 模型的首选方案。团队目前正积极推进更多优化，并将按照 2025 年上半年的路线图进行集成。

-部署 Llama 模型

python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct

python3 -m sglang.launch_server --model-path meta-llama/Llama-3.2-11B-Vision-Instruct --chat-template=llama_3_vision

部署 DeepSeek 模型

您可以使用以下命令轻松启动一个 Docker 容器来部署 DeepSeek 模型

- 长上下文处理：

针对长上下文场景进行深度优化，以更好地支持复杂任务和多轮对话。

- 低延迟预测解码：

通过技术创新减少推理延迟，为实时应用场景提供更流畅的体验。

- 强化学习框架集成：

将强化学习训练框架无缝集成到系统中，进一步提升模型性能。

- 内核优化：

持续改进底层内核设计，确保硬件资源的高效利用。

此外，SGLang 还将继续加强社区建设，推动开源生态的繁荣发展，为开发者提供更强大的支持.

结论：

我们非常高兴地宣布，SGLang 正式加入 PyTorch 生态系统。作为一款专注于加速大语言模型（LLM）和视觉语言模型（VLM）服务的高效推理引擎，SGLang 已在工业界得到广泛应用，支持了包括 Grok 和 DeepSeek 在内的前沿模型的大规模在线部署。

我们诚挚邀请您访问 SGLang 的 [GitHub 仓库](https://github.com/sglang)，深入了解其技术细节和最新进展。同时，欢迎加入 [Slack 社区](https://slack.sglang.ai)，与开发者和研究者共同探讨技术创新。如果您有任何合作或咨询需求，请随时通过 contact@sglang.ai 与我们联系。让我们携手努力，让强大的 AI 模型变得更加普及和易于使用.