如何完美呈现20年后的晚会形态?揭秘史上最科技的天猫双11狂欢夜-天下网商-赋能网商,成就网商
“今年我们不仅要解决晚会怎么样更好玩的问题,还要解决史上地域跨度最大的全程实时互动导播挑战,不过我们已经准备好了。”还有一周,vivo2017天猫双11狂欢夜即将正式开幕,晚会技术负责人蔡建平(花名:崔西)面对记者表示:“我们是按二十年后的晚会形态在尝试这些新技术。”
首次同时采用AR +VR,把明星送到你家
每一年的天猫双11狂欢夜都是明星云集,今年当然也不例外,大半个娱乐圈都来了:章子怡、吴亦凡、李宇春、王嘉尔、莫文蔚、郎朗、刘涛、“小猎豹”郑恺、林更新、张杰、迪玛希、关晓彤等明星都出现在了今年天猫双11晚会明星名单中,还有好莱坞巨星、超级体育大咖等尚未公布的神秘国际明星天团。
但是,如果明星们只是一如既往地呆在电视机里,那就太没有新意了。能不能让电视机里的明星走下舞台,甚至是进到每一个观众的家里去,和观众实现零距离互动呢?这是蔡建平和他的团队面临的难题,也是他们率先尝试的一大创新。
“我们首次把真人三维建模和动作捕捉技术运用到了国内的手机平台,把明星的动作甚至表情细节都进行了逼真的还原,再通过特殊加密算法将模型文件压缩在20M左右,同时巧妙地将AR技术与VR全景技术结合,实现了用技术将明星通过AR技术投射到真实场景,达到和观众面对面、多角度、零距离接触的效果。”蔡建平介绍:“到时候,观众只要在手机上点一下按钮,就能把明星请到自己家里拍照、互动”。
AR+VR,听上去很酷炫,但如此复杂的算法是否会导致中低端手机无法适配呢?据悉,为了满足绝大多数的用户体验,在AR算法方面,除了新版iPhone采用ARkit算法之外,剩下的机型全部采用了阿里人工智能实验室自研的slam算法。这种业界领先水平,让几乎所有机型用户都能拥有良好的AR体验。
任意门截图
蔡建平表示:“11月4日上线的晚会任意门,用户可以穿越去大张伟、郑恺等明星那里探班;而晚会当天,很多人心目中的女神将能借助这个技术,‘瞬时穿越’到每个人家中,非常值得期待!”
在虚拟观众席看直播,人工智能陪伴左右
除了把明星送到你家来,今年的天猫双11狂欢夜还要把你接到晚会现场去,还有AI助手全程陪伴。
原来,今年晚会现场专门开辟了虚拟观众席位,打开手淘就可以随时看晚会直播,还能享受到由CG动画+AR虚拟技术实现的专属开幕式收看视角以及真实的入场仪式,仿若置身晚会现场。
虚拟观众席示意图
不仅如此,虚拟观众还可以走出观众席,随时到后台捕捉“野生”爱豆。蔡建平介绍,今年的天猫双11狂欢夜在手淘设置了6个直播窗口,除了主直播窗口和虚拟观众席窗口之外,还有活捉野生爱豆窗口、解密导播间窗口、蹲守野生爱豆窗口以及清空购物车窗口。每个直播窗口,都有“天猫精灵”随时候命,只要点击“天猫精灵”发送文字或语音,就可以随时调用你喜爱的明星画面,还可以让它推荐个性化的商品。“我们的目标是让‘天猫精灵’成为你的贾维斯,随时为你服务。”蔡建平表示。
天猫精灵机器人跨界做主持,跳舞卖萌都是强项
此前有消息爆料称,今年的天猫双11晚会将由华少、张星月,悦悦将综艺明星主持担当团,另外,还将有神秘机器人加盟主持,还要当场“开撩”女明星。
蔡建平向我们揭晓了谜底,原来这位“与众不同”的神秘主持竟然是由阿里人工智能实验室和阿里鱼联合打造的“天猫精灵机器人”!据了解,这台“天猫精灵机器人”身高在1米左右,可以实现语音交互、肢体互动、主动识别、环境监测等功能,它会根据人体姿态、说话语气、来预期用户的行为、口令,并对用户交谈内容作出反馈。除了对话聊天,还可以识别用户的声纹,比如是男生还是女生,是主人还是陌生人等等,这些功能使其具备了主持人的“上岗资格”。
“天猫精灵”机器人
“天猫精灵机器人”还有人形机器人能具有的基本肢体互动能力,比如它的四肢装有不同数量的舵机,可以满足基本的关节驱动等。此外,它还有一双“大眼睛”,依靠猫头上方的摄像头,“天猫精灵机器人”可以捕捉图像、解析图像、感知管线等等,“大眼睛”还可以根据不同对话内容和情绪,呈现出不同的表情,比如心心眼、晕晕表情等等。可以说,跳舞、卖萌都不是问题,跨界主持才艺多多。
首创同步码,实现史上地域跨度最大的互动导播
除了在手淘和优酷直播之外,今年vivo2017天猫双11狂欢夜会还会在北京卫视、浙江卫视、深圳卫视三台联播,互动导播技术也面临了史上地域跨度最大的挑战。
经过半年多的技术开发,蔡建平团队首创了远程同步码技术。届时,阿里将会在三家电视台的演播间直接部署设备,晚会当天,现场的互联网导播中心将实时将互动指令下发到各家演播间,对电视信号进行特殊的同步码植入。用户在观看晚会时,只要摇一摇手机淘宝,就会自动检测电视信号中是否存在同步码,一旦识别到指定互动环节对应的同步码,手机淘宝将会自动打开对应的互动内容。
蔡建平表示:“天猫双11狂欢夜已经是全球最具影响力的商业名片,我们希望它同时也是一场向全世界秀出中国互联网技术肌肉的晚会。未来,天猫双11狂欢夜还会加速推动科技、商业、娱乐三者的融合,不断释放全球影响力。”