AI换脸、虚拟主播、远程技术,微美全息AI换脸系统助力文娱产业
前段时间,一则短视频火了。网友用人工智能技术,将电视剧《射雕英雄传》中演员朱茵的脸换成了杨幂。这个杨幂版“黄蓉”毫不违和,古灵精怪,娇俏可人,你甚至都看不出视频有被处理过的痕迹。
这一视频一经发布就登上了微博热搜,“将朱茵的黄蓉换成杨幂的脸”这一微博超话当时的阅读量达到了1.3亿,讨论量达到了3万。网友“TheFakening”也曾将电影《阿甘正传》中小阿甘的脸换成了基努·里维斯。
其实AI换脸早就和影视产生过联系。据澎湃新闻的报道,《速度与激情7》则是在大银幕上最接近AI换脸的尝试。2013年,保罗·沃克因为车祸去世,但当时他的电影《速度与激情7》还未拍摄完成。后来剧组找到了保罗·沃克的两位弟弟卡勒伯·沃克和科迪·沃克,以及与保罗·沃克身材相似的演员,请他们一起补拍了部分镜头,同时利用CG技术和动作捕捉系统,再根据保罗·沃克在前作中的影像资料,最终通过“真人拍摄+CG技术”结合的方式完成了这部电影。
结合诸如此类的案例,AI视频换脸技术在未来有望为影视剧产业带来新的福音。在一些特殊需求的场景下,将替换演员的画面丢失效果降到最低,你补缺失镜头时也更加方便,甚至可以将经典的场景通过技术进行完美还原。
AI作为一项伟大的发明,吸引了不少高 科技 公司集聚于此。微美全息于美东时间2020年4月1日在美国纳斯达克全球市场IPO,股票代码WIMI。微美全息业务的核心是全息AR技术,用于软件工程、内容制作、云和大数据,为客户提供基于AR的全息服务和产品。
微美全息(WIMI.US)成立于2015年,经过4年时间已成长为中国领先的全息云综合技术方案提供商之一,公司提供从全息视觉AI合成与呈现、全息互动软件开发、全息AR广告投放、全息AR SDK支付、5G全息通讯软件开发到全息人脸识别等全息AR技术的一站式服务, 商业 应用场景主要聚集在家用娱乐、光场影院、演艺系统、商业发布系统及广告展示系统等五大专业领域。
微美全息(WIMI.US)以“眼界即视界”为使命,公司建立了全球顶尖、自主研发的深度学习平台和超算中心,并且研发了一系列AI技术,包括:人脸识别、图像识别、文本识别、医疗影像识别、视频分析、无人驾驶和遥感等。全息3D人脸识别软件的开发基于微美的全息成像特征成像检测和识别技术、模板匹配全息成像检测技术,以及基于深度学习和训练的视频处理和识别技术。传统的2D面部识别技术是一种基于面部特征的识别技术,它从面部图像或面部视频流中捕获信息,并自动检测和跟踪目标面部;微美的全息3D面部识别技术是全息成像捕捉和3D肖像的结合的识别技术。
随着科技的发展以及5G的大力部署,全息通讯产业爆发在即,“AR+AI”全息成为全息技术的突破点。以往科幻电影中出现的全息视频通话或将在5G时代实现全面落地。
在5G全息视频通话中,人与人的交流不再局限于屏幕两端,而能真正的实现三维立体实时交互。利用AR全息设备,通话的双方立即置身于同一房间,可以任意变换距离、视角,看见对方的手势和身体语言,甚至能看清对方皮肤的精度细节。
成功实现这一底层技术解决方案的,正是专注光场采集、重建、渲染以及智能计算视觉的微美全息(WIMI.US)。据数据统计,国内全息投影公司已达到千余家,市场容量也上升到了百亿级别。据了解,2020年5月6日,黑龙江省移动携手微美全息子公司,助力当地 媒体 开展和媒体云平台之全息虚拟远程通讯服务展开合作,5G+超时空全息访谈项目落地合作。
随着5G全息通讯网络带宽条件变化,5G全息应用市场将迎来爆发,全息互动娱乐、全息会议、全息发布会等高端应用逐步向全息 社交 、全息通讯、全息导航、全息家庭应用等方向普及。微美全息(WIMI.US)计划基于全息AI人脸识别技术和全息AI人脸换脸技术为核心技术,用多个技术创新的系统支持全息云平台服务和5G通讯全息应用。
微美全息AI换脸系统开发,基于WiMi目前的软件开发与图像处理与图像识别技术。视频人脸替换,基于人工智能的机器学习,把视频中你看到的人脸换成任意人脸。该技术是基于 python 实现的,通过 Scr(替换者)视频提取到 B 的脸,通过dst(被替换者)视频提取A的脸,用 GAN 训练,建立 B 脸变换 A 的模型,转换每一帧 dst 视频,将每一帧的脸都进行替换,合成视频并添加原有音频合成输出新视频。
微美正在搭建云平台,提供视频全息换脸云服务工具:即用户只需要在WiMi的平台上上传需要全息换脸的视频或图片,WiMi用云服务器为其转换,然后用户根据模型价格支付相应的酬金即可。
建立技术服务合作,与硬件厂商和 APP 技术服务合作:针对 B 端市场,为更多短视频 APP,社交 APP 通过视频全息换脸的技术服务,增加 APP 趣味性,提高活跃度和黏着度。
WiMi已经和某些品牌 手机 终端部门在接洽,争取内置WiMi的技术到最新款的5G 手机中,因为 5G 的带宽可以保证试试实时的视频全息换脸的传输,另外某些最新款手机内置人工智能的芯片也可以将全部的算力应用出来。WiMi利用视频全息换脸技术在自我开发的同时与其他 APP 建立技术服务关系,当他们的用户上传视频时,可以选择用WiMi的技术处理视频,替换视频中的任意人脸,增加其 APP 的用户活跃度。
WiMi发现的两大用户群体,内容贡献者和内容消费者,经过对种子用户的访谈,WiMi确定了首批用户分为四类:粉丝用户:这类用户指只是基于趣味性的目的,想看到自己喜欢或讨厌的被全息换脸,或亲自参与一下把自己的脸换到各个明星网红身上的广大群体,包括中小学生,大学生,他们时间充裕,对娱乐的需求更大。其中女性多是基于追星娱乐性的目的,男性会有小部分群体是为了满足自己对女神的幻想。他们中既有内容贡献者又有内容消费者。多媒体网红:对自己长相不够满意,又跃跃欲试想把自己推成网红的多媒体人员,对视频全息换脸极其感兴趣。虽然这部分群体很小,但是可以尝试通过这个小群体来打造自己的“虚拟明星”。行业从业者:影视从业人员,影视制作公司。他们对全息换脸技术的需求很大,规避了以往需要一帧帧视频全息换脸的时间和人力成本。有制作人透露,在投放大 IP 之前,他们愿意低成本的找小演员进行试演,之后将大腕演员的脸换上,形成demo,将大大提高选角的专业性。中小企业:他们渴望小成本宣传自己的产品,或为年会增加趣味,往往对视频全息换脸有很大的需求。在广告投放中,投消费者之所好,对待不同群体用不同的“代言人”,做到降低成本的同时,精准投放到目标人群中。
全息AR行业是技术密集型的。全息AR体验只能通过硬件和软件技术的结合来实现,并且与全息AR相关的技术进步将把全息AR体验带入下一阶段。例如,深度学习AI技术的突破将使全息AR设备能够以更加无缝的方式集成由摄像机捕获并由计算机模拟的内容,从而为用户提供更加身临其境的体验。此外,集成芯片的发展将使图像处理器以更低的成本生产,从而降低全息AR器件的销售价格。5G网络的广泛采用将使本地设备和 互联网 之间的实时数据传输成为可能,从而大大增强了内容的多样性。
5G是未来关键网络基础设施,是新一代数字 经济 的重要支撑,5G建设开启了数字经济发展的新空间。当前5G的热度,已经远远超过了信息通信领域的范畴。已经到来的5G时代,将满足人们对网络连接超大流量、超多设备连接数、超高移动性的需求,这可极大地改变人类的生产生活方式,也会把人们的移动宽带体验推向一个新高度。