从30厘米冰壶到30万平米冬奥村，揭秘冰雪盛会中的商汤“黑科技”

尽管2022年北京冬奥会已经结束,但是很多惊艳世界的创新技术,依然持续传递着“ 科技 冬奥”的精神。“冰壶运动轨迹捕捉和再现”技术就是其中之一。

冰壶比赛是北京冬奥赛程最长的项目,从开幕前两天的2022年2月2日开赛,并持续至2月20日闭幕当天,来自全世界不同国家和地区的三十支参赛队进行了混双、男子团体、女子团体共147场比赛。作为一种策略 游戏 ,冰壶有着“冰上象棋”的美誉。矗立在冰壶比赛现场的一座170㎡的巨幕大屏,则在每一场比赛中,都准确无误地描绘出冰壶的运动轨迹曲线,同时以垂直视角实时呈现大本营的无形变画面,帮助场上运动员分析研判对战形势、适时调整投壶技战术。线上观赛的观众,也能够通过“咪咕视频”APP选择”咪咕&商汤AI技战术分析”直播窗口一览冰壶轨迹和赛事信息,更好地了解和感受冰壶运动的精髓。

“虽然只是捕捉一个小小冰壶的轨迹,但背后却涉及诸多的技术挑战。四年一届的冬奥会机会难得,我们希望尽最大努力,将更高质量的观赛体验带给观众。”负责此次项目的商汤科技算法技术负责人王权、产品负责人王磊与项目经理郑少林等人,历时十个月的时间,克服了多种技术难题和突发性挑战,基于商汤SenseMARS火星混合现实平台,成功实现了这项技术在全世界的首次应用。

历时十个月,在巨大的“冰立方”中捕捉微小的冰壶

2020年10月,科技部完成“科技冬奥”重点专项2020年度指南项目立项批复。凭借在人工智能深度学习、虚实融合、AR智能化观赛等领域的技术能力优势和丰富的实践经验,商汤科技有幸参与并负责了由国家游泳中心牵头的“冰壶赛况的智能感知与虚实融合技术和平台研究”课题项目,为科技冬奥贡献自己的力量。

“冰立方”是冬奥会历史上体量最大的冰壶场馆,在两年前“水冰转换”过程中,其冰壶场地改造工程总面积约5万平方米。冰壶比赛的每条赛道长40多米,在比赛过程中,每条赛道内通常会有16个冰壶,并有2支队伍8名运动员来回走动。在一名队员掷球时,两名本方队员会在冰壶滑行的前方左右两侧快速擦刷冰面。要在如此多人员频繁移动、多个目标密集分布、互相遮挡的情况下,从超大的场馆中准确捕捉到直径约30厘米的小冰壶,给硬件方案和算法的设计都提出了巨大难题。

针对这一挑战,商汤团队进行了重点攻坚,经过考察和反复研究,确定了通过在场馆不同位置安装42个高清摄像头从不同角度捕捉赛道上运动冰壶的硬件方案,同时原创开发了“多视角实时动态捕捉技术”“多相机感知融合技术”“多目标定位追踪技术”,对不同摄像头拍摄的图像进行智能合成,计算出冰壶的运动参数。最终,商汤团队成功实现了超大空间范围内,远距离精准检测识别定位跟踪可能被遮挡的运动冰壶。“从对冰壶运动的实时捕捉,到对冰壶坐标参数的快速计算,再到运行轨迹的合成和渲染,我们通过软硬件的紧密协同,实现了全流程的自动化处理,整个流程只需不到1秒,并且将位置精确度保证在了10厘米以内”,郑少林表示。

赛事期间的任务同样艰巨。每天早中晚的三个时段,四个赛道会分别举办一场冰壶比赛,相当于一天就有12场比赛。为了保证“冰壶运动轨迹捕捉和再现”技术在每场比赛的顺利运行,商汤专门在闭环内外设立了9人的保障团队。闭环外安排了2名固定工作人员,4名轮换工作人员,闭环外人员需要在每场比赛开始的半个小时之前,确保冰壶运动轨迹捕捉系统和可视化分析平台以及近20台服务器的正常启用,从早上8点半左右一直工作到晚上10点半左右。

闭环内的3名工作人员则负责比赛期间可视化平台的赛事创建、赛程、队员和轨迹管理工作,智慧观赛系统和线上AI直播系统的服务启停、监测、功能优化和故障修复等工作。由于冰壶混双、女子团体、男子团体等不同比赛的规则不尽相同,而每局比赛中还经常会出现投壶队员顺序临时变更,裁判判罚投壶无效需要重新投壶等情况,这些因素都会对投壶情况的后台统计分析和前端呈现产生影响。因此需要3名工作人员时刻紧盯比赛进程,对赛况进行分析和判断,实时切换比赛的开始/结束状态,监测智能大屏系统和线上AI直播系统的稳定性,同时根据赛场运动员的赛前介绍和投壶顺序更新运动员、冰壶序号等信息,确保准确无误地记录和统计每场比赛的投壶情况。

从精准的轨迹捕捉,到完善的运维保障,看似一切工作准备就绪,然而还是遇到了一些“小插曲”。就在北京冬奥会冰壶比赛正式开赛的前一天,团队进场做最后的设备检查和测试工作时,突然发现用于固定拍摄大本营画面摄像头的桁架,会受到国外 媒体 摄像机转动的影响而产生晃动,这会造成现场大屏上大本营画面的轻微晃动。虽然幅度很小,次数也不多,但是为了呈现最佳的显示效果,商汤团队在和国家游泳中心基础设施保障团队快速沟通后毅然决定调整方案。在国家游泳中心的大力支持下,加急采购新的桁架,并调度闭环内外各个资源方的工作人员,从夜里零点开始,用了不到五个小时的时间,完成了桁架的运输安装、摄像头的拆卸和二次安装等工作。不仅如此,团队还通过在软件层面增加摄像头拍摄位置和角度可调整的功能,不断调教大本营画面,以确保大本营整体画面位置的准确呈现。最终,在正式比赛开赛前,问题顺利得到解决,确保了大屏画面全程稳定的输出。

整个赛事期间,商汤团队不仅要确保冰壶运动轨迹在现场大屏画面中的准确显示,还要保证在“咪咕视频”APP中的精准呈现。在比赛首日,聚集在大本营周边的人员越来越多,导致部分轨迹在 手机 屏幕上观看会有明显的抖动现象。团队随即第一时间进行了算法迭代,通过对轨迹进行平滑处理等优化工作,最终实现了非常完美的效果。“我们所做的不仅仅只是现场的保障工作,而是在不断发现问题、解决问题,依靠我们丰富的算法经验,进行持续的迭代和优化,目的就是尽可能打造更好的赛事直播和观看体验”,王权表示。

畅想“科技冬奥”愿景,让技术推动人类进步

智慧观赛技术与巨幕大屏相结合,起到了非常好的辅助观赛、科技助力效果,获得了现场观众、媒体、运动员、教练和技术官员的认可。在整个比赛过程中,运动员在比赛中“回头看大屏”的现象已成常态。事实上,早在去年10月,“冰壶运动轨迹捕捉技术”已经在轮椅冰壶世锦赛上提前亮相并应用,当时还得到了世界冰壶联合会主席凯特·凯斯尼斯等多方好评。在即将到来的北京冬残奥会冰壶轮椅比赛期间,这项技术将继续应用。

咪咕解说嘉宾也对这项技术的应用予以了高度评价:看比赛,光看得清还不够,还要看得懂。对于许多人来说,有不少冰雪项目规则复杂,往往会看得一头雾水。直播观赛时如果有专业分析,那可真是“雪中送炭”。以直播和分析解说的形式,直观地呈现比赛过程中冰壶的运动轨迹曲线,让不少资深体育迷直呼过瘾,也获得冰雪“小白”的大力点赞。

对运动员和教练来说,“冰壶运动轨迹捕捉”这项技术可以运用到他们的日常训练中,帮助他们提高训练和比赛的水平。而对于普罗大众来说,这项跨越虚实的技术,可以让观众更全面地了解冰壶运动的精髓。虽然冰壶起源于16世纪的苏格兰,但中国直到2000年才成立了第一支冰壶队,这使得很多大众对冰壶比较陌生,也很少接触这项运动。在商汤团队与国家游泳中心共同规划这项课题时,便一致希望通过创新技术的应用,激发更多人对冰壶运动的兴趣,甚至由此助力冰壶运动在中国的发展和进步。

除了“冰壶运动轨迹捕捉”技术外,商汤团队还在科技部科技冬奥专项支持下,负责了“基于3D的实时精准定位技术、虚拟与现实结合的3D高精度识别的智慧AR导航系统研究”课题,凭借原创的SenseMARS火星混合现实平台的强大能力,商汤创新地通过GPS与视觉融合的数据关联方法和参数分块优化方法在短时间内,将超现实的体验带向了张家口冬奥村。经过几个月的研发攻关,商汤实现了大尺度场景下厘米级的3D空间构建和部署,并解决了动态复杂场景下实现精准定位跟踪等难题。

在项目过程中,团队还克服了很多其他AR导航场景很少遇到的难题,包括冬奥村内建筑群风格比较统一导致存在大面积相似纹理,冰雪覆盖造成场景视觉变化多等挑战。在测试过程中,商汤团队还发现整个冬奥村是一个斜面,存在数米的落差,最终通过重新建模,将导航地图动态的规划在一个水平面上予以解决,让AR导航箭头在不同坡度的地面上都可以准确与地面贴合,实现了实时、精准的6自由度空间定位。最终,商汤团队实现了在张家口冬奥村近30万平方米区域内的任意地点,都能保证精准定位。该应用无需独立APP,仅借助web浏览器即可轻松体验。

无论是“冰壶运动轨迹捕捉”,还是冬奥村AR导航,都成功助力了“科技冬奥”从愿景走进现实,同时也为这些技术在更多领域的规模化应用,起到了推动作用。比如,冰壶捕捉背后的“在大空间内捕捉小物体”的感知技术,还可以用于城市、工业等场景,辅助车辆和设备的智慧管理。科技冬奥的理念不仅仅是展现技术的创新成果,商汤更希望借此机遇,增进大众对创新科技的认知,更好地推动AI技术的创新和应用,最终惠及到城市管理、产业发展和个人生活当中,普惠大众,改变生活。