看见新视界NO.09｜浙江大学计算机学院张克俊教授：大数据智能技术驱动艺术创新，破除音乐创作鸿沟

1月12日，浙江大学计算机学院张克俊教授在由阿里云创新中心主办的“看见创新力量”——阿里云科技创新年会暨阿里巴巴诸神之战年度盛典暨阿里巴巴-浙江大学前沿技术联合研究中心（AZFT）年会上，以“大数据智能驱动的艺术创新”为主题向大家进行了分享。小编对张老师的演讲内容进行了整理，在保持原意的基础上加以适当的删减、调整，现在分享给大家。

关注人工智能技术带来艺术创新的可能

一直以来，浙江大学与阿里巴巴始终关注人工智能领域信息技术与设计、体验带来的新可能。2017年，浙江大学和阿里巴巴在智能赋能艺术创新领域正式展开合作，陆续推出智能设计平台“鹿班”、可基于图文内容自动生成短视频的人工智能Aliwood、数字创意智能设计引擎。其中，Aliwood可支持自动生成短视频，目前已服务上千万中小商家。

随着短视频和直播行业的兴起，人们习惯于通过拍摄、剪辑、配乐等步骤调和制作出小视频，分享给他人。但是，在为视频配乐时，大多数人并不理解音乐内部机理，苦于不知如何恰当地选择配乐。

为此，我们从降低音乐理解和音乐创作的门槛切入，研究如何生成高质量的音乐（片段），同时考虑如何缩小音乐学习与音乐创作鸿沟。

　 骨架——分层式旋律生成算法

2016年Google Brain团队启动的、旨在探索用人工智能生成音乐、图像的研究项目Magenta引起热议，自此，利用大数据、人工智能技术生成音乐（片段）得到了越来越多的关注。

本团队借助于音乐乐理知识，将音乐生成分为“骨架”生成和“装饰”生成两个阶段。其中，“骨架”是音乐的稳定元素。不同的作曲家可以在“骨架”基础上进行调整，比如，莫札特可以根据某个“骨架”创作出世界名曲《D小调第三幻想曲》，巴赫也可以基于同一骨架创作出《A小调第2英国组曲》。通过“骨架”生成这一环节，可以大概率上保证后续生成的曲子基本是符合乐理的。

　 装饰——域对抗旋律风格可控生成算法

“骨架”生成之后，需要对其进行调整，即“装饰”，目的在于让生成的音乐更加丰富、多样。如上文所说，无论是流行音乐、乡村音乐还是爵士音乐，其乐理的基本“骨架”是相似的，所以即便我们生成的“骨架”是一样的，不同的“装饰”会带来更多不一样的可能。本团队基于域对抗训练的智能生成方式进行“装饰”，生成的音乐更具针对性、稳定性，可以部分实现个性化、丰富的、多样化的音乐生成。

　 人机协同交互式作曲研究

在算法、大数据的支持下，团队还考虑如何发挥人的主观能动性，通过将机器和人类在音乐创作过程中的工作内容进行细分、分级，在制作音乐片段时，可以自由调整人的参与度和机器的参与度。如果你想让机器完成所有工作，甚至只需画一条“骨架”线，机器就会根据这条线“画“出你喜欢的音乐。同时，用户也可通过提供的多维音乐参数选择，进一步细粒度完善音乐内容。

未来，希望它既是一项艺术领域的创新技术，也能成为教大众学音乐的教育技术，逐步降低音乐认知和创作门槛——人人都可作曲。

　　 创新在科学、工程、设计和艺术之间的循环转换中产生。

当前的艺术创新实践，不仅需要强劲的市场拉动和科技创新技术驱动，还需要设计理念的引领。团队正在研发的音乐AI“余音”，实现了科学、工程、艺术与设计的创新融合，参与了2022年杭州亚运会全球主题曲征集活动，在抖音赛区获得前30强的优秀成绩。“余音”还在积极导入文化、地域、体育等相关元素，扩充音乐库，优化音乐生成算法，提升音乐生成质量，未来它还可能应用到更多的领域。

正如Neri Oxman所说，创新在科学、工程、设计和艺术之间的循环转换中产生。