Magenta,用机器学习探索艺术创作新方式
我们能否利用机器学习创造出音乐和艺术杰作? Magenta团队将利用开源机器学习引擎TensorFlow去弄清楚这一点。
Magenta由Google Brain团队的几位研究人员共同开发。在形成比较稳定的工具集和模型集后,Google将邀请外部人士向GitHub提交代码。如果你是音乐家或艺术家(或希望成为音乐家或艺术家――这比你想象的要简单),Google希望你利用这些工具创作声音、图像、视频,或者是你希望创作的任何内容。
Magenta有两个目标。
首先, 它旨在推动机器学习在音乐和艺术创作方面的发展。目前,机器学习已经被广泛运用于对内容进行理解,比如语音识别和翻译方面。通过Magenta,Google希望探索其另一面――能够学习如何进行艺术和音乐创作的编写算法,最终自行创作富有吸引力和艺术性的作品。
其次, Magenta希望打造一个由艺术家、程序员以及机器学习研究人员组成的社区,它将围绕TensorFlow构建艺术和音乐创作方面的开源基础设施。Google会提供音视频支持、兼容MIDI等格式的工具以及能够帮助艺术家与机器学习模型实现连接的平台。Google相信,在语音识别、翻译以及图像标注方面发挥良好作用的模型将为艺术和音乐创作播下种子。
接下来, Google的主要目标是设计出能够学习如何进行艺术和音乐创作的算法。目前,神经网络图像生成方面可谓是硕果累累,而在音乐和艺术创作领域,Google认为机器学习的探索尚处于初期阶段,但对于密切关注机器学习的人们来说,他们一定期待见证这一项目的快速增长。
经机器学习算法处理后的图像。
但, 只是从学过的内容中提取图像或序列还远远不够。艺术是动态的!随着时间的推移,他们的故事内容也在不断变化――披头士乐队的每张专辑都独具特色――总是有一些惊喜的元素在里面,我们如何在机器学习模型中捕捉到这些效果?虽然对于这个问题还没有一个完整的回答,但是一些有趣的机器学习模型也正在发展着,比如来自蒙特利尔MILA实验室Xu团队的Show, Attend and Tell模型能够学习对注意力镜头进行控制,用来生成描述性图像语句等。