“ 周末没论文,所以内容就是一些github项目或者热门博客,但是也都是近2天的内容。
https://github.com/WeberJulian/AI-voice-chat
这是一个简单的React应用程序,允许您使用语音与AI助手聊天。它使用Whisper large v3进行转录,openchat 3.5 AWQ作为AI助手,以及XTTS v2进行文本到语音转换。它的主要特点是语音到语音的延迟,它将ChatGPT与语音演示视频的延迟减少了一半以上。可以在单个RTX 3090 GPU上运行。
作者还提供了一个discord邀请地址,地址在下面,如果在尝试这个应用,遇到问题,可能可以进去看看
https://discord.com/invite/vHgDbMzgfv
installation
要求
- 需要一个英伟达的GPU,然后驱动尽量保持最新,西纳村至少16GB
- 机器需要支持docker部署,安装了docker-compose
步骤
docker部署,很容易
git clone https://github.com/WeberJulian/AI-voice-chat.git
cd AI-voice-chat
cd web-app
npm install && npm run build
cd ..
docker-compose up
使用
允许访问麦克风
按住Shift ⇧键或圆圈进行语音输入
指定模型
在docker-compose.yml配置文件中,可以指定自己的模型
services:
...
tts:
...
volumes:
- /path/to/your/model:/app/tts_models
记得把需要的文件放到对应的目录里。
