在 AI 音乐创作领域，近期一款名为 ACE-Step 的开源音乐生成模型正引起广泛关注。
ACE-Step 是由国际知名音乐创作工具 ACE Studio 与 国内知名大模型 StepFun(阶跃星辰) 联合开发的开源音乐生成基础模型。
其参数量为 3.5B，旨在实现高速、高质量、可控的音乐创作。该模型结合了扩散生成技术、深度压缩自编码器（DCAE）和轻量级 Transformer 架构，支持多语言、多风格的音乐生成。
不仅支持 19 种语言、多风格音乐创作，ACE-Step在A100 GPU上仅需20秒即可生成一首4分钟的完整歌曲，这一速度比传统AI音乐模型快了15倍。
堪称开源界对标 Suno 的重磅 AI 音乐生成大模型之一。
核心功能亮点
- • 一键生成完整音乐 ：在 NVIDIA A100 GPU 上，20 秒即可生成一首 4 分钟的完整音乐，速度比传统 LLM 音乐模型快 15 倍。
- • 多语言支持 ：支持 19 种语言，包括中文、英文、日语、韩语、俄语、西班牙语等。
- • 语义精准对齐 ：利用 REPA 技术（歌词与旋律的语义对齐），使歌词与音乐完美匹配。
- • 高级控制机制 ：支持声音克隆、歌词编辑、混音、局部重绘等功能，用户可灵活调整音乐细节。
- • 多样化输出 ：支持从歌词直接生成人声样本，提供歌词到人声、文本到采样、说唱生成等功能。
- • 可视化界面 ：提供 Hugging Face Space 在线体验和 ComfyUI 插件，方便用户快速上手。
快速上手
ACE-Step 支持本地部署和 ComfyUI 集成，需 Python3.10+ 和 GPU 环境。
ACE-Step 提供有已经部署好的线上 Gradio 界面可以进行体验（地址放文末了）。
如果有条件的小伙伴，本地可部署，具体安装部署步骤如下：
① 克隆项目
git clone https://github.com/ace-step/ACE-Step.git
cd ACE-Step
② 使用Conda创建Python虚拟环境
conda create -n ace\_step python=3.10 -y
conda activate ace\_step
③ 安装依赖项
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -e .
然后就可以通过以下命令启动端口服务，从而打开 GUI 界面。
acestep --port 7865
命令行参数（选取几个重要的）：
• --checkpoint_path: 模型检查点路径（默认：自动下载）
• --server_name：Gradio服务器绑定的IP地址或主机名（默认值：'127.0.0.1'）
• --port：运行Gradio服务器的端口（默认：7865）
• --device_id: 要使用的 GPU 设备 ID（默认：0）
...
应用场景举例
- • 音乐创作者 ：快速 Demo 创作、歌词灵感延伸、跨风格编曲
- • 短视频博主 ：生成原创 BGM、配音配乐快速匹配
- • 教育场景 ：音乐教学内容自动生成、歌词与节奏对齐演示
- • AI 产品开发者 ：快速构建 AI 音乐生成 SaaS 服务或插件系统
写在最后
ACE-Step 号称是音乐领域的“Stable Diffusion”，它结合扩散模型（diffusion）、Sana的深度压缩自编码器（DCAE）和轻量级线性Transformer，通过REPA技术（MERT和m-hubert语义对齐）实现快速、高连贯性音乐生成。
仅需20秒即可合成4分钟音乐，比传统LLM模型快15倍，支持19种语言和多种风格，具备声音克隆、歌词编辑等高级控制功能。
适用于从个人创作到专业制作的场景，想快速创作专业级歌曲？ACE-Step值得一试！
GitHub 项目地址：https://github.com/ace-step/ACE-Step
在线Demo：https://huggingface.co/spaces/ACE-Step/ACE-Step
● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star
● 超牛的AI物理引擎项目，刚开源不到一天，就飙升到超9K Star！突破物理仿真极限！
如果本文对您有帮助，也请帮忙点个 赞👍 + 在看 哈！❤️
在看你就赞赞我！