抖音特效背后的火山引擎技术,将开放给更多平台
抖音特效都能运用到哪些不同的场景之中?未来的发展趋势又是怎样的?
7月28日,抖音联合火山引擎在北京举办智能特效技术开放日。火山引擎相关特效技术专家分享了抖音特效的应用场景和未来发展趋势。
作为字节跳动的技术服务平台,火山引擎不仅支持了抖音、今日头条等公司内部产品,也在向外部企业开放,为客户提供特效创作工具套件、定制算法、工程化部署和对接联调等产品及服务。
目前,火山引擎资源商城已经提供了上万款抖音同款特效,企业可以根据热度、类型等方式选择使用。
比如在火山引擎提供给某客户的AR看车解决方案中。可以实现前后移动、车门打开等互动效果,还可以很方便地更换整车的颜色,帮用户在线上更全面地了解车型。
在另一个AR试妆案例中,消费者在 手机 APP上就可以直观的看到自己使用了不同色号的效果。
基于同样的思路,火山引擎也可以用特效技术帮助消费者去体验虚拟的试衣、试鞋,甚至耳环、戒指等首饰。
这种特效既可以用在电商场景,也可以用在广告场景。目前有很多广告都是视频形式,视频编辑上天然需要很多特效,用户除了看广告之外,还可以有一定的互动,从而获得更丰富的信息。
此外,火山引擎还与 传媒 行业合作推出了虚拟形象——数字人。数字人就是通过AI技术+ 计算机图形(CG)技术展现出一个虚拟的人物形象,可以代替真人去承担一部分工作,比如虚拟主持人等。目前,相关客户已经可以在 游戏 、 社交 领域定制自己所需要的虚拟形象。
除了现有的一些应用场景之外,火山引擎还在推动特效技术继续往前发展。
首先是端云协同。
随着5G时代的到来,带宽会越来越宽,网络延时变短,流量成本在不断下降,很多特效不需要在客户端本地完成各种计算,而是可以把更多的计算包括计算机视觉(CV)技术的运算以及CG技术的运算放到云端完成。这样做的好处是,相比客户端具备了更多的运算资源,这也就意味着CV算法可以做得更精准、识别率更高、CG效果更酷炫,给用户更好的体验。
一旦实现端云协同,特效也不再是孤岛,能把人与人连接起来,把多个人放在同一个场景,让他们之间形成互动。
具体来说,根据两个人是不是在一个地点,多人互动的方案可以分成同时还是不同时、同地还是不同地,形成了四个象限。如果是同时,你会需要一个数据同步的实时传输;如果不是同时,可能是异步传输方案;如果是同地,整个场景的建立可能需要一个绝对的坐标系;如果是异地,需要相对的坐标系建立场景。
在端云协同之外,另一个需要关注的趋势是更多新型智能终端的兴起,比如说车载设备、智能 家电 ,还有一些智能可穿戴设备,这些都会成为移动端入口。在这些移动端之上进行多 媒体 内容展示的可能性也有很多,火山引擎的CV、CG、互动等特效技术,亦将在这些终端上发挥更大的作用,给更多消费者带去更好的体验。