从 0 到 1，揭秘中国首个 AI 音乐 SOTA 模型

【雷峰网 (公众号：雷峰网) 】雨果曾经说过：“开启人类智慧宝库的三把钥匙，即数字、字母、音符。”

音乐早已成为人类表达情感的最佳载体。

但音乐创作是一件门槛很高的事情，因为音乐创作不是某一个人的独角戏，而一个团队高度协作的过程。从作词、作曲到编曲、混音，再到歌曲录制，每个环节都需要专业音乐人付出努力，并伴随着高昂的成本投入。

但试想一下，如果有一天，我们只需手指点一点就能创作歌曲，那将会发生什么？

这种猜想在2023年，随着大模型爆火一步步发酵：

2023年，一场由“AI歌手”引领的翻唱热潮席卷网络，诸如孙燕姿、陈奕迅、林俊杰等众多华语乐坛巨星纷纷拥有了属于自己的AI替身，各个网络平台变成“AI歌手复出演唱会”的现场。这一切的背后，是So-vits Svc AI音乐生成技术的应用。这项技术通过解析少量音频片段，就能精确模拟目标歌手的独特音色，尽管在捕捉歌手的个性化唱腔特点、演唱技法及个人风格等方面尚存差距，但它近乎实现1:1的音色还原，也激发了一场全民音乐创作浪潮。

自今年3月以来，随着Suno V3和Udio发布，这股音乐创作热潮被再次点燃。这次我们不仅可以翻唱某位歌手的歌曲，还可以通过输入几句歌词和音乐风格，就能获得两首时长约两分钟的完整歌曲。这种突破性的技术创新，被业界视为真正意义上拉低了音乐创作门槛，让更多人能够参与到音乐创作中。

短短一年多时间，从So-vits Svc到OpenAI的MuseNet、谷歌的MusicLM、Meta的MusicGen，再到SunoV3和Udio，大模型技术不断重塑音乐创作领域。

可以看到，从克隆音色的“AI歌手”，到生成完整歌曲的Suno，AI音乐生成技术正在不断飞跃。只可惜，这些产品距离生成高品质且类型丰富的歌曲还有段距离。特别在中文歌曲领域，一直没有一款符合中国人音乐审美的AI音乐生成大模型。

直到昨天，昆仑万维发布全球最大规模的开源MOE大模型「天工3.0」，并基于它打造了国内目前唯一公开可用的AI音乐生成大模型「天工SkyMusic」。这款音乐大模型在人声&BGM音质、人声自然度、发音可懂度等性能方面，以6.65分的综合得分超越Suno V3，成为中国首个音乐AIGC SOTA（state of the art，领域最佳水准）模型。

那么天工SkyMusic是如何成为中国首个音乐AIGC SOTA模型？它的实际体验如何呢？下面我们一起来看一下。

1
中国首个音乐AIGC SOTA模型

打开天工 APP，点击音乐板块，输入歌名和歌词，选择你想要参考的歌曲，再点击生成音乐，即可获得由你创作的歌曲。这就是「天工SkyMusic」简化而高效的音乐创作全过程。

这种参考音乐生成能力，也是「天工SkyMusic」的一大亮点。用户既可以上传自己喜欢的歌曲作为模板，也可以从「天工SkyMusic」庞大的数据库中挑选合适的参照曲目，系统将据此生成风格相近、嗓音神似的全新作品。这一特性显著降低了音乐创作的技术门槛，使得即便是缺乏专业音乐素养的普通用户也能参与音乐创作，享受创作音乐的乐趣。

利用「天工SkyMusic」，我们制作了两首风格迥异的《乘鹤》：

再输入一首耳熟能详的英文童谣《小星星》，将它改编成摇滚风格和抒情男声版本，也算是对童年的独特回忆：

在创作中我们发现，「天工SkyMusic」涵盖了说唱、民谣、放克、古风、电子等多种曲风。下一步，团队还计划让用户根据哼出来的旋律生成歌曲。同时相比SunoV3等海外同类产品，「天工SkyMusic」创作的歌曲在中文人声细腻度和可识别度上表现更优秀，还能运用颤音、吟唱、男女对唱、自动和声等技巧。

再来一首《明天不上班》，庆祝一下即将到来的星期五。

这首歌也完美展示了「天工SkyMusic」相较Suno的核心体验优势——方言歌曲生成能力，即让用户能自如地利用四川话、粤语、北京话等多种方言演唱歌曲，极大丰富了用户的音乐创作空间。

如此卓越的AI音乐生成模型，为什么才出现呢？究其原因，是因为处理音乐数据比处理图像和视频数据更复杂。音乐作为一种长时序的技术形式，每秒内包含数万个相互紧密关联的采样点，这种内在的复杂性使它成为最复杂的模态之一。加之音乐中融合了歌词、人声及旋律等多种信息层次，每层之下又包含海量的信息，这意味在处理音乐时，不仅要构建精确的时间序列模型，还要综合考虑声波形态、频率特性、节奏结构等诸多要素。

不过随着AI大模型技术的不断演进，已经找到两种驾驭音乐复杂性质的有效策略，这也构成了AI音乐生成大模型的两大技术路径：符号音乐生成路线、大模型音乐音频生成路线。

符号音乐生成路线，是通过标注大量乐谱数据再训练模型，这条路线在学术界已有广泛研究，但它最终生成的是乐谱，借助其他程序或工具转化成可播放的音乐，而且实际效果并不尽如人意。

大模型音乐音频生成路线则是涵盖乐器、人声、旋律、音量和音符等音乐元素的端到端一体化生成，最终生成的是可听的音频文件。但代价是需要巨大的研发资源投入和对大规模训练数据集的依赖。即便如Google、OpenAI等行业巨头，也尚未取得重大突破。

此外，AI对人声演唱真实感的模拟也是至关重要的研究课题。但过去的AI音乐技术主要聚焦于无人声演唱的背景音乐（BGM）创作，对人声演唱的Song领域一直缺少有效的解决方案。

「天工SkyMusic」在立项之初，昆仑万维就面临着这两项艰难的选择。最终，研发团队一致决定选择大模型音乐音频生成路线并攻坚人声Song领域。这意味着昆仑万维将在几乎没有任何开源可借鉴的情况下，正式挺进AI音乐生成技术的两个无人区，难度可想而知。

经历多次实验探索，研发团队意识到DiT结构与AI音乐生成大模型的深度兼容性，并坚定地朝这个方向投入，最终自主研发出适用于音乐音频领域的类Sora模型架构，填补了行业在技术路线以及人声演唱领域的技术空白。这套架构包含三大核心模块——Encoder、DiT（Diffusion Transformer）和Decoder。其中，Large-scale Transformer 负责谱曲，学习 Music Patches 的上下文依赖关系，同时完成音乐可控性；Diffusion Transformer 负责演唱，通过LDM让Music Patches被还原成高质量音频。

同时为训练「天工SkyMusic」，昆仑万维建立了迄今为止全球最大的音乐数据集，包含了两千余万首歌曲样本，确保了「天工SkyMusic」在音乐风格上精准可控和广泛适用。

如此，「天工SkyMusic」降低了音乐创作的准入门槛，让音乐创作不再存在专业壁垒。真正意义上拉近了音乐创作与普通大众的距离，推动了AIGC产业向前迈进了。同时昆仑万维还主动公开了「天工SkyMusic」的技术原理图，为全球开源社区和开发者提供了可参考的案例，促进全球AIGC技术生态的共建共享。

2
能独立思考的天工3.0大模型

「天工SkyMusic」的成功离不开背后的技术底座「天工 3.0」。昆仑万维董事长兼CEO方汉表示：“文本大模型是所有AIGC坚实的基础。所有的社交、游戏、音乐专属模型都是需要文本大模型去支撑的。”当前，无论是GPT模型、GLM模型还是Baichuan模型，都是采用底层文本大模型与专业细分大模型相结合的方式。

昆仑万维发布的「天工 3.0」拥有高达4000亿参数，性能全面超越3140亿参数的MoE大模型Grok1（xAI），是迄今全球最大规模的开源MoE大模型，也是昆仑万维旗下所有AI技术应用模型的基石。

相较于上一代，「天工 3.0」在模型语义理解、逻辑推理以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升，其技术知识能力提升超过20%，数学 / 推理 / 代码 / 文创能力提升超过 30%。

同时作为多模态大模型，「天工 3.0」集成了AI搜索、AI写作、AI长文本阅读、AI图片生成、AI音乐生成等功能。在权威评测MMBench-CN的评估中，「天工3.0」的AR（属性推理）、RR（关系推理）、FP-C（细粒度感知-交叉实例）、CP（粗略感知）四项性能均位列榜首，整体综合成绩更超越GPT-4V，稳居全球多模态大模型首位。

基于性能与能力的全方位跃升，「天工3.0」还掌握了至关重要的独立思考能力。这使得它能够在多轮搜索与综合工具调用、图表绘制、研究模式、增强模式、改图扩图等多项能力上，为用户提供前所未有的AI应用体验。

「天工3.0」拥有很强的逻辑推理能力：

「天工3.0」还能够更好地理解和处理用户自然语言Query中的复杂语义信息，包括隐喻、多义词等。例如最近爆火的“成都迪士尼”，我们问了天工大模型，它不仅可以精确地解释这一网络热梗。还会通过追问，为我们规划行程或给到近期的游客反馈。

在面对产业研究、产品横评、信息分析、图片生成、图表绘制等复杂需求时，「天工3.0」能同时展示多种能力，控制模型去完成任务。

在执行“查询南非国家2023年的人均GDP，并制作成柱状图”一任务过程中，「天工3.0」率先调用了搜索功能，再调用python工具绘制柱状图，最后加以解读和总结，给出了正确的答案和全面分析：

「天工3.0」先通过语义理解对用户需求进行深度理解，再通过逻辑推理能力将复杂的任务拆解成细分环节，最后通过独立规划以及调用、组合外部工具及信息，将细分环节发到不同模型，从而精准高效的完成这类复杂需求。

内容创作能力一直是「天工」系列大模型的强项，在上一代「天工2.0」大模型的基础上，「天工3.0」更是进行了全面的内容创作能力升级，其不仅能实现AI音乐生成、AI语音、AI对话、AI二次元漫画生成等强大的内容创作能力，更是通过专项Agent训练实现了在对话中结合文本需求实时生成图片、结合文本需求实时内容分析及图表构建等能力。

让「天工3.0」分析小米SU7跟蔚来ET5哪款车更好：

可以看到在如上述这种产品对比的复杂需求中， 「天工3.0」可以根据需求，实时内容分析并构建图表来让结果呈现更明晰。

3
后记

通过「天工3.0」和「天工SkyMusic」的发布，我们可以看到，昆仑万维“All in AGI 与 AIGC”的战略并不是停留于理论的口号，而是真切指引着昆仑万维在技术和商业模式上的每一处布局。依托“天工大模型”这一技术基石，昆仑万维已规划出包含AI大模型、AI搜索、AI音乐、AI社交、AI游戏和AI视频在内的六大AI业务矩阵，并着力整合这六大板块，构筑一个集成式的AI UGC平台。

“昆仑万维认为下一代的AI巨头一定是C端加上免费，因为互联网时代和移动互联网时代的成功企业均采用免费加C端模式，而在AI时代，我们同样坚信这一逻辑。”方汉表示。

由于大模型每次提供服务都需要耗费推理资源，为了实现免费toC模式，方汉总结出产业的三条路径：“第一条，通过持续优化，将推理成本降低至用户创造的广告价值之下；第二条，通过AI手机实现端侧推理，将推理成本分摊至终端硬件中。第三条，建立AI UGC平台，由1%的用户创造内容，99%的用户消费内容。”

这三条路径并不互相矛盾，只是分属于产业的不同阶段。比如，方汉判断，在AI终端硬件大面积普及之前，AI UGC平台落地会更快速形成商业闭环，但大模型的终局一定是终端AI。

不论是「天工SkyMusic」，还是其他核心AI业务，皆遵循这一商业逻辑。即通过AI技术赋能，降低创作门槛，持续扩大内容创作者群体，以此提升个性化内容的生产量与丰富度，从而满足了大众对于优质内容的消费需求，形成正向投资回报率的良性循环。

同时昆仑万维也将运用AI技术打破传统内容创作壁垒，让不同文化和语言群体都能够在这一AI UGC平台上轻松传达自身的故事与情感，促进全球范围内实现文化平权。

在推进AI UGC平台建设的过程中，昆仑万维坚持技术创新与商业模式创新相结合，积极探索适合当下及未来市场的增长路径。昆仑万维正全力践行“All in AGI 与 AIGC”，力争在全球范围内构建一个包容性强、参与度广、创新能力出众的AI内容生态，引领行业迈向一个崭新的时代。

雷峰网原创文章，未经授权禁止转载。详情见 转载须知 。