腾讯开源SongGeneration：LeVo架构如何重塑AI音乐创作生态

腾讯开源SongGeneration：LeVo架构如何重塑AI音乐创作生态

【免费下载链接】SongGeneration腾讯开源SongGeneration项目，基于LeVo架构实现高品质AI歌曲生成。它采用混合音轨与双轨并行建模技术，既能融合人声与伴奏达到和谐统一，也可分别处理实现更高音质。模型在百万歌曲数据集上训练，支持中英文生成，效果媲美业界顶尖系统，为音乐创作带来突破性AI解决方案项目地址: https://ai.gitcode.com/tencent_hunyuan/SongGeneration

导语

腾讯AI Lab正式开源基于LeVo架构的SongGeneration音乐生成大模型，以双轨并行建模技术突破传统AI音乐"人声伴奏割裂"痛点，性能媲美国际主流系统，为音乐创作带来突破性解决方案。

行业现状：AI音乐生成的"双轨竞争"格局

2025年全球AI音乐生成市场规模预计突破36亿美元，年复合增长率达30.5%。当前市场呈现明显的"双轨并行"格局：以Suno AI、Udio为代表的闭源工具主打"一键生成"的C端体验，而开源模型则成为B端开发者的技术基石。中国传媒大学音乐与录音艺术学院的评测显示，现有开源模型普遍存在三大痛点：人声与伴奏融合度不足、中文歌词对齐准确率低（平均6.8/10分）、长歌曲结构松散。

随着AI手机的普及，端侧大模型正催生"实时即兴创作"新场景。数据显示，2024年全球23%的短视频配乐来自AI生成，其中基于开源模型二次开发的占比达41%。在此背景下，腾讯选择开源SongGeneration，标志着国内AI音乐技术从实验室走向产业应用的关键转折。

核心亮点：LeVo架构的四大技术突破

1. 双轨并行建模：从"割裂"到"和谐"的音质革命

SongGeneration采用创新的LeLM双轨并行架构，通过混合Token与分离Token的协同建模，彻底解决传统AI音乐中人声与伴奏脱节的问题。混合Token融合人声与伴奏音频确保和谐统一，分离Token则独立编码人声与乐器细节，支持后续精细化调整。

该图展示了腾讯SongGeneration项目的LeLM双轨并行架构流程，多模态输入（歌词、音频提示、文本描述）经BPE Tokenizer和Codec Encoder编码为Token，经LeLM生成双轨Token和混合Token，最终由Codec Decoder生成音频波形。这种设计使模型在保持48kHz高保真音质的同时，将人声伴奏和谐度提升30%。

2. 性能对标国际：中文场景实现超越

在腾讯联合中国传媒大学建立的评测体系中，SongGeneration在开源模型中稳居第一，在商业模型中也位列前茅。客观测评显示，其内容欣赏度(CE)达9.05分，制作质量(PQ)达8.92分，均超越Suno v4.5。特别在中文场景下，古风歌词与笛箫伴奏的和谐度表现尤为突出，戏腔转音无机械感。

这张雷达图展示了Suno v4.5、海绵音乐、Mureka O1和SongGeneration四个音乐生成模型在整体表现、旋律、伴奏、结构、音质、歌词精准度六个维度的主观评测结果对比，凸显SongGeneration的多维度优势。从图中可以看出，在旋律、伴奏、结构、音质、歌词准确度五个维度的主观评测中，SongGeneration与Suno v4.5难分伯仲，其中歌词准确度(LYC)以7.21分超越Suno的7.00分，体现出对中文语言的深度优化。

3. 多模态输入与灵活控制

模型支持文本描述、参考音频、结构化歌词等多种输入方式，用户可通过"male, dark, pop, piano, bpm=110"等指令精确控制生成风格。特别值得注意的是其"零样本音色克隆"功能，仅需3秒音频片段即可复制目标音色，且无需额外训练数据。

4. 轻量化设计：平衡性能与部署成本

尽管性能强大，SongGeneration-base模型参数量仅3B左右，可在10G显存的GPU上运行，大幅降低开发者使用门槛。模型提供多个版本选择，从支持2分30秒的基础版到4分30秒的完整版，满足不同场景需求。最新版本已突破4分钟时长限制，支持生成完整歌曲，标志着开源AI音乐生成从"技术演示"迈向"完整作品创作"的关键一步。

行业影响与趋势：开源生态的"鲶鱼效应"

SongGeneration的开源预计将加速AI音乐创作工具的普及进程。开发者可通过GitCode仓库（仓库地址：https://gitcode.com/tencent_hunyuan/SongGeneration）获取代码与权重，实现本地化部署和垂直场景定制。这一举措可能重塑行业格局，推动形成"闭源工具服务C端用户，开源模型赋能B端创新"的生态平衡。

在应用层面，模型已展现出在短视频配乐、游戏音效、虚拟人演出等场景的潜力。随着端侧AI能力的增强，未来可能催生"实时即兴创作"等新场景——用户通过手机即可随时随地生成个性化音乐，进一步拓展AI音乐的应用边界。

这张性能对比表格展示了不同音乐生成模型（含腾讯SongGeneration系列版本）在PER、Audiobox Aesthetics及SongEval等技术指标上的表现差异。通过对比可以清晰看到，SongGeneration在多个关键指标上均优于其他开源模型，部分指标甚至超过了商业闭源模型，展示了其技术优势和市场竞争力。

版权挑战与合规路径

随着AI音乐生成技术的普及，版权问题日益凸显。SongGeneration训练数据基于百万歌曲数据集(Million Song Dataset)，并采用多维度人类偏好对齐技术，在提升音乐性的同时降低侵权风险。参考ElevenLabs等先行者的经验，未来行业可能需要建立"授权数据训练+版权水印+人工审核"的三重合规机制。

腾讯AI Lab表示，将持续优化模型的版权安全机制，并与音乐产业各方合作探索合理的权益分配模式。对于开发者而言，在使用开源模型时应特别注意训练数据的合规性，遵循"重要人工投入"原则，确保AI生成内容的独创性。

结论：音乐创作的"技术普惠"时代来临

SongGeneration的开源释放，标志着AI音乐生成技术从"小众实验"迈向"大众创作"的关键一步。它既非取代人类创作者的"终结者"，也不是简单的"效率工具"，而是重构创作流程的"协作伙伴"。

对于想要进入AI音乐领域的开发者和创作者，建议从SongGeneration等开源模型入手，结合具体场景进行二次开发。随着模型性能迭代和应用生态丰富，我们或将迎来"人人皆可创作音乐"的普惠时代，但这需要技术开发者、内容创作者、法律专家共同构建健康的行业规范，在创新与版权保护之间找到平衡。

正如腾讯AI Lab在技术白皮书所言："AI不是要替代音乐家，而是让更多人拥有表达音乐创意的能力。"在这场音乐创作的技术革命中，开源将成为连接技术与艺术的重要桥梁，最终让音乐创作回归最本质的价值——情感表达与文化传播。

【免费下载链接】SongGeneration腾讯开源SongGeneration项目，基于LeVo架构实现高品质AI歌曲生成。它采用混合音轨与双轨并行建模技术，既能融合人声与伴奏达到和谐统一，也可分别处理实现更高音质。模型在百万歌曲数据集上训练，支持中英文生成，效果媲美业界顶尖系统，为音乐创作带来突破性AI解决方案项目地址: https://ai.gitcode.com/tencent_hunyuan/SongGeneration