微软又上大分！刚刚开源一款 0.5B 轻量级实时 TTS 模型，还能边想边说！ - 文章 - 开发者社区

如果说 2024 年我们解决了大模型「脑子」聪明不聪明的问题，那么 2025 年，我们正在疯狂解决 AI「嘴巴」利不利索的问题。

大家平时用各种 AI 助手语音模式时，你问了一个问题，对面沉默了 2-3 秒（虽然他在思考），然后突然给你念一段完美的稿子。

这种体验虽然准确，但不像真人。

真人是怎么说话的？真人在脑子里组织语言的同时，嘴巴就已经开始动了。我们会有停顿、有语气、甚至会边想边说。

「实时流式对话」才是 AI 语音的终极形态。

就在这两天，微软低调地开源了一款名为 VibeVoice-Realtime-0.5B 的轻量级 TTS 模型。

picture.image

别看它只有 0.5B 参数，它却做到了目前市面上大多数巨型模型做不到的事：文本还在往外蹦，它的声音就已经开口说了。

300 毫秒就能说话，边输入边朗读，长文不卡顿，还能多人自然对话。

主要特点

• 真正的实时发声 ：首包延迟仅约 300ms。
• 交错窗口架构 ：一边说话一边续写音频。
• 多角色自然对话 ：支持最多 4 个角色自然对话。
• 情绪识别表达 ：虽然小体量，但是也支持情绪识别与表达。
• 上下文记忆 ：10 分钟保持语气不乱，最长可到 90 分钟。
• 中英文支持 ：中文支持也有，只是当前版本中文比英文差一点。

快速入手

VibeVoice-Realtime-0.5B 是微软 VibeVoice 语音模型系列下最新成果，都是百分百 Python 代码开源。

具体安装步骤如下：

1、克隆 VibeVoice 仓库


 
 
 
 
   
git clone https://github.com/microsoft/VibeVoice.git  
cd VibeVoice

2、安装项目依赖


 
 
 
 
   
pip install -e

3、下载模型


 
 
 
 
   
from huggingface\_hub import snapshot\_download  
snapshot\_download("microsoft/VibeVoice-Realtime-0.5B", local\_dir="/content/models/VibeVoice-Realtime-0.5B")

4、启动 VibeVoice 实时演示


 
 
 
 
   
import subprocess, re, time, threading  
  
srv = subprocess.Popen(  
    "python /content/VibeVoice/demo/vibevoice\_realtime\_demo.py --model\_path /content/models/VibeVoice-Realtime-0.5B --port 8000",  
    shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True, bufsize=1, universal\_newlines=True,  
)  
cf = subprocess.Popen(  
    "./cloudflared tunnel --url http://localhost:8000 --no-autoupdate",  
    shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True, bufsize=1, universal\_newlines=True,  
)  
  
public\_url = None  
server\_ready = False  
url\_pattern  = re.compile(r"(https://[a-z0-9-]+\.trycloudflare\.com)")  
  
def read\_srv():  
    global server\_ready  
    for ln in srv.stdout:  
        print(ln.strip())  
        if "Uvicorn running on" in ln:  
            server\_ready = True  
  
def read\_cf():  
    global public\_url  
    for ln in cf.stdout:  
        m = url\_pattern.search(ln)  
        if m:  
            public\_url = m.group(1)  
            break  
  
threading.Thread(target=read\_srv, daemon=True).start()  
threading.Thread(target=read\_cf,  daemon=True).start()  
  
  
while True:  
    if server\_ready and public\_url:  
        print(f"✅ Public URL: {public\_url}\n");  
        public\_url = None  
    time.sleep(0.25)