点击上方“蓝色字体”关注我，选择“设为星标”！
回复“电子书”领取超多经典计算机书籍
FaceBook （中文名：脸书） 近期发布了一个新的翻译模型 Seamless Communication，可实现跨语言实时"无缝"交流。
该模型可以保留跨语言的表达方式和复杂性（翻译时保留语音中的停顿和语速，以及声音风格和情绪基调），语音翻译延迟大概只有两秒。
项目介绍
Seamless Communication 是一款开源多语音、语言、翻译、转录大模型。其官方模型名称之为 SeamlessM4T 。
Star：7k
项目地址：https://github.com/facebookresearch/seamless\_communication
SeamlessM4T 模型支持以下任务：
- • 语音到语音翻译 (S2ST)
- • 语音到文本翻译 (S2TT)
- • 文本到语音翻译 (T2ST)
- • 文本到文本翻译 (T2TT)
- • 自动语音识别 (ASR)
无缝表达
SeamlessExpressive 是一种语音到语音翻译模型，可捕捉韵律中某些未充分探索的方面，例如语速和停顿，同时保留语音风格和高内容翻译质量。
无缝流媒体
SeamlessStreaming 是一种流式翻译模型。该模型支持语音作为输入模态和语音/文本作为输出模态。
无缝流媒体 模型支持以下任务：
- • 语音到语音翻译 (S2ST)
- • 语音到文本翻译 (S2TT)
- • 自动语音识别 (ASR)
快速使用
该模型使用的必要条件之一是fairseq2，它具有仅适用于 Linux x84-86 和 Apple-silicon Mac 计算机的预构建软件包。
此外，它还依赖于libsndfile。
源代码中官方内置了一个Demo样例，可以进行本地模型测试：
cd demo
pip install -r requirements.txt
python app.py
总结
SeamlessM4T 在技术层面实现了巨大突破，支持多达100种语音、语言，同时与单一翻译产品相比，翻译效率/质量、降低延迟方面更优秀，使得全球不同地区的人可以实现流程的交流。
在进行鲁棒性测试时，与当前最先进的翻译模型相比，SeamlessM4T在语音转文本任务中针对背景噪声和说话人变化的表现更好，平均分别提高了37%和48%。
写到最后
感谢您的一路陪伴，用代码构建世界，一起探索充满未知且奇妙的魔幻旅程。如果您对Python编程技巧、好玩实用的开源项目、行业新知趣事和各类技术干货等充满兴趣，那么不要错过未来我为大家奉上的精彩内容！点击 关注 ， 让您的探索学习之旅更加丰富多彩，我们一同成长，一同前行！ 🚀💻📚
求一键三连 ： 点赞、转发、在看
↓推荐关注↓
公众号内回复关键字“ 电子书 ”领取PDF格式的电子书籍( Python入门、异步编程、网络爬虫、高性能编程、数据分析与挖掘实战、Spring、Linux、CSS、VUE、自动化测试、程序员面试宝典 等)。
表情包小程序推荐 「嗨玩表情」 搞笑/可爱/萌宠等热门表情包、头像、壁纸应有仅有，资源还在不断更新中，欢迎大家前往体验！
↓小程序推荐 点击即可体验↓
● 四款国内外远程桌面软件横测：ToDesk、向日葵、TeamViewer、AnyDesk
● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star
● 「多线程大杀器」Python并发编程利器：ThreadPoolExecutor，让你一次性轻松开启多个线程，秒杀大量任务！
如果本文对您有帮助，也请帮忙点个 赞👍 + 在看 哈！❤️
在看你就赞赞我！