SGLang团队刚刚发布了mini-SGLang，将原本30万行的代码库压缩到仅5000行。这个版本保留了所有核心优化技术，包括重叠调度、FlashAttention-3、基数缓存等，性能在在线服务场景下与完整版几乎相同。
为什么需要迷你版
许多开发者希望了解现代大语言模型推理的内部工作原理，但直接阅读30万行的生产代码几乎不可能。mini-SGLang就是为了解决这个问题而生，包含了所有核心优化，代码量足够小，可以在一个周末内读完。
核心功能完整保留
- 重叠调度技术
- FlashAttention-3和FlashInfer内核
- 基数缓存和分块预填充
- 张量并行
- JIT CUDA内核
- OpenAI兼容API
在Qwen3-32B模型、4张H200显卡的实际工作负载测试中，mini-SGLang展现了与完整版相近的性能表现。
定位明确：学习与实验
有网友询问mini-SGLang是否支持GGUF格式服务，开发团队明确表示，这个版本主要是为了教学和实验目的，不建议用于生产环境或需要完整后端扩展的场景。对于GGUF等生产级需求，建议使用完整的SGLang。
另一个关注点是低比特量化支持。目前mini-SGLang主要专注于展示核心推理优化，对于8比特以下的量化格式支持尚未明确。
技术细节
mini-SGLang是目前唯一支持在线/离线服务、流式传输和重叠调度的最小化推理项目。有开发者指出，这种设计甚至为将来将核心从Python迁移到其他语言提供了实验基础。
对于需要最新CUDA内核（如sm_120/Blackwell架构）和高性能NVFP4、FP8等格式支持的开发者，mini-SGLang可能还需要等待后续更新。
相关链接：
- GitHub仓库：https://github.com/sgl-project/mini-sglang
- 完整性能测试报告：https://lmsys.org/blog/2025-12-17-minisgl/
关注公众号回复“进群”入群讨论。