酷狗持续探索AI音乐领域 行业首创AI合成粤语歌

“我越有点东西”。看到杨超越成为首位明星AI歌手后,有用户在微博上发文夸好听。

用户夸的是“超越AI”唱的一首粤语歌《漫步人生路》,AI学习和还原了杨超越的音频特征,再用她的声音唱出这首粤语歌曲。目前,这种模拟人声的AI技术已经明显脱离了“机械感”,仿佛真人在歌唱。

“超越AI”发布者酷狗音乐称,未来还会有更多风格各异、特色突出的AI歌手陆续上线,这些AI歌手将集中在“超级订阅”频道。这是酷狗在AI落地方面的一次最新尝试,“超越AI”的上线,是希望借助明星的影响力,让”AI歌手”这一功能为更多人群知晓和喜爱,也让一些小众歌曲破圈,让好音乐得到更多关注。同时也希望能为音乐行业带来更多的想象空间,让AI技术真正落地服务于音乐人、满足音乐用户的需求。

AI歌手背后的黑 科技

作为《创造101》最出圈的明星,大部分人对杨超越的第一印象是,她因为学不会唱跳,在节目中嚎啕大哭。

但现在,“超越AI”可以轻松学会一首歌,并用不逊色专业歌手的能力唱出来,甚至包括粤语歌。

这背后是酷狗阿波罗声音实验室多年来的潜心研发。据站内官方资料显示,阿波罗声音实验室,是酷狗音乐旗下负责声音科技、智能音乐技术研发的先锋团队,在声音合成、声音复刻、音乐识别、音乐内容理解等技术领域具有众多首创研究和深厚积累。实验室研发了一系列创新的技术,如个性化声音合成、音频指纹、翻唱识别、音轨分离等,开发了酷狗歌叽歌叽、听歌识曲、多音轨播放等众多产品功能,致力于为用户带来更好的音乐娱乐体验。

酷狗技术负责人介绍,“超越AI”所演唱的歌曲,是通过自主研发的阿波罗声音引擎合成,该技术采用深度神经网络模型,能够高度还原和复刻音频特点,合成逼真、且富有表现力的歌声,而粤语歌声的合成技术,则是行业首个。“我们自研了一套粤语的合成系统,将粤语、国语混合建模,只需要提供国语的录音数据,就能合成粤语歌。”

歌声不同于平常的语音,高低音转换、唱歌风格、多个语种等有着更复杂的模式,所以AI音乐是一个算法和艺术的交叉领域,需要解决机器不擅长学习的个性化和审美倾向,就要灵活采用多种技术手段。酷狗的AI歌手在这个领域进行了尝试,并已经落地。比如“超越AI”的歌曲列表中,有一首周笔畅原唱的《最美的期待》,这首歌需要扎实的演唱技巧来表现感情。通过AI技术,可以用杨超越的声音叠加原唱周笔畅的演唱功底,副歌部分甚至采用了真假音转换,展现出高音甜、中音准、低音稳的特色。

据了解,超越AI涵盖了“歌声声纹提取”、“多语种的歌声合成”、“多情感语音合成的声学模型”等多个先进技术,并申请了11件发明专利。酷狗技术负责人表示,目前他们正在主攻虚拟歌手唱歌、调教研发,积极探索AI技术的多个应用场景,如明星AI歌手、用户自建AI歌手等。

目前,“超越AI”可以演绎超过20首热门单曲,包括《体面》、《白月光与朱砂痣》等不同曲风的国语歌,还有《漫步人生路》《春娇与志明》等粤语歌,曲库列表正在每月上新中。

酷狗持续发力创新

进入2022年, 互联网 大厂纷纷在研发上加大投入,音乐行业也是如此。根据酷狗音乐所在的腾讯音乐集团财报,2021年全年,腾讯音乐集团为了扩大产品与技术创新方面的竞争优势而大幅度增加了研发投入。

近年来,酷狗也在音乐研发与创新上多次尝试。去年10月,酷狗围绕“曲谱荒”的问题上线了“一键求谱”功能,并应用了AI曲谱技术,音乐爱好者可以针对性地搜罗曲谱,也可以自主上传曲谱,上线以来已经有超过百万的用户求谱交流。

去年年底上线的酷狗蝰蛇音效·多音轨功能,是国内首个能同时实现歌曲智能分轨、多轨播放,并对不同音轨增加3D空间听感的功能。作为音频领域的一大创新,酷狗蝰蛇音效·多音轨功能在听觉上赋予音乐空间感、方向感,能让声音在三维空间中精准的环绕于听众的耳朵,还能实现把任意音乐中的人声、多种乐器声等不同音色的音轨剥离或单独控制播放。

另外,酷狗也推出了“歌叽歌叽”产品,集合了“词、曲、编、唱”于一体的“原创”功能,通过AI辅助作曲、作词,音乐小白也能创作出歌。

当下,在线音乐行业已经从快速增长变为存量竞争,但仍持续扩大。艾媒咨询数据显示,2021年中国数字音乐市场规模达到428.9亿元,同比增长20.03%,预计2022年达到482.7亿元。其中,艾媒咨询分析师认为,在技术推动的作用下,中国数字音乐市场规模不断扩大。

此次上线AI歌手,酷狗音乐相关负责人称,将AI语音与音乐产业的诸多结合应用,能为业内带来更多的想象空间,让AI技术真正服务于广大音乐人、音乐用户,让技术真正推动产业发展,酷狗也将在技术领域持续投入。