百度AI开发者大会 发布两大全新AR交互系统

2019年7月3-4日，CREATE 2019百度AI开发者大会与广大开发者再次相逢，共同聚焦如何携AI能力走进风举云飞的产业智能化时代。会上，百度视觉技术部、增强现实技术部总监吴中勤发布一体化人机交互与大场景物理世界交互两大系统级革新；并以持续构建的虚实融合基础设施和不断变革的人机交互创新体验，带来六大行业解决方案。

两大AR交互系统创新发布

2017年，百度AR在AI开发者大会上首次发布技术开放平台DuMix AR，将AR技术赋能广大开发者。两年后，百度AR交出新的成绩单 —— 全面升级DuMix AR 5.0平台，发布两大AR交互系统，实现从认识物到理解人，到探知世界的智能感知能力进阶，将AR技术应用的边界从眼前的空间扩展至物理世界大场景。

由人脸、人体、手势等相关视觉技术，及完备的环境特效能力共同构成的一体化人机交互系统，实现了人与周遭环境的实时跟踪互动，目前正广泛应用于视频拍摄和 游戏 互动场景，为人们带来持续创新的交互体验。

为实现人脸特征点和轮廓点的精准定位，百度AR从自建人脸数据库的海量数据中提取东方人脸型基底，并以此为基础构建了一套稳定高效的用户脸型三维重建算法，使得在进行人脸驱动表情估计时，能够提取到更精确的表情结果；此外，基于百度飞桨PaddlePaddle高性能深度学习框架，人脸关键点检测在大姿态、极端表情、遮挡等复杂场景下都表现出可靠的鲁棒性和准确性。在这之上，拓展出人脸美型、美妆、3D道具及3D动画表情等十余项丰富的⼈脸特效能力，为全民小视频、好看视频等应用和华为、魅族等企业级合作伙伴提供了视频特效拍摄方案。

百度AR还建立了一系列业内领先的超轻量级（计算量小，体积小）手部交互算法能力矩阵，涵盖手势识别、指尖点检测和手势关键点检测，除了常见的控雨等手势控制操作，还能自定义手部特效、空间作画等多种创意玩法。

在移动端，百度率先实现了肢体骨骼点/轮廓点检测跟踪，支持人体实时定位与动作捕捉；同时以18点/59点两种不同输出方式， 跨平台兼容各主流终端设备。包含人像分割、天空分割、头发分割、物体检测等多项算法能力在内的环境特效能力矩阵，致力于打造人像与虚拟环境的自然融合，可以任意选择背景替换、染发、天空特效、动画叠加等AR效果。

随着5G时代的到来，百度AR依托视觉技术优势所构建的虚实场景融合的基础设施，将不断弥合虚拟世界与物理世界的间隙，刷新人们探索世界的方式。

VPAS- 视觉定位与增强服务首发，复现圆明园大水法盛景

未来是什么？是无数个过去和现在叠加在一起。

当我们站在此时此刻，能否借一双未来的眼去回看历史的景象？

在开发者大会上，百度AR首次发布VPAS（视觉定位与增强服务），通过视觉定位与AR技术的突破性结合，将虚拟信息与真实地理位置准确重合，实现大场景物理世界的AR交互。当你跟随百度地图导航走进圆明园西洋楼景区，VPAS将自动“找到”大水法遗址，在这爿残垣断壁上重现100多年前雕栏玉砌、“猎狗逐鹿”的恢弘奇景。

VPAS主要包含离线高精地图构建、在线定位与融合跟踪三大基础模块，相比GPS具备更稳定的实时跟踪能力，支持室外大场景及室内场景厘米级高精度定位。

百度AR在视觉信息要素积累的基础上实现了一套完整的视觉地图构建方案，即实行众源数据采集模式，对用户通过 手机 收集反馈的图像数据进行处理分析，结合百度地图的地理位置信息持续更新完善视觉地图。目前，百度AR已打通常见三维重建数据导入接口，并且兼容相同格式下的第三方数据，具备易集成特性和数据批量化生产能力。

VPAS采用了最具前瞻性的视觉技术方案，以及兼容Google、Apple平台的持续跟踪能力与独有自研跟踪能力共同构成的融合跟踪方案，能够支持当前市场主流机型的全场景体验需求。同时结合百度视觉语义化能力，持续提升在线定位与实时跟踪的稳定性和精准度。

VPAS与百度地图入口的打通，为我们打开一个崭新的“世界”！并将以大水法为起点，迅速拓展至景区、商圈等更多室内外场景，为可视化导航服务带来体验式变革。一个虚拟的数字信息世界正以我们每个人为圆心悄然建立，当5G时代开启和软硬结合的日趋成熟，这些信息将以愈发显著的形态呈现在我们面前，为生产、生活方式变化和发展提供新的驱动力。

百度DuMix AR升级5.0 六大解决方案助力产业智能化升级

在技术能力持续积累的同时，百度AR与开发者和生态伙伴一起不断探索AR在各个行业的实用场景和解决方案。本次AI开发者大会上，百度AR发布全新DuMix AR 5.0平台，针对娱乐互动、智能 营销 、智能设备、景区行业、教育行业及 汽车 行业，发布六大解决方案，覆盖从AR内容生产到消费应用全场景。

一、娱乐互动解决方案

依托全面升级的一体化人机交互系统，百度DuMix AR聚焦精细美化方向，在人脸特效、美化特效、人体及环境特效方面都带来了出色表现，实现了虚拟特效贴纸、动画表情、美化滤镜等与人脸/人体的精准贴合，人像与虚拟环境的自然融合。在兼容性方面，百度DuMix AR人机交互能力进行全机型覆盖，兼容市场上绝大多数高中低端移动设备，能够支持和满足各类视频、直播、实时通话等应用需求。

此外，百度AR还将内容平台服务向视频特效方向延伸，为广大开发者/设计师提供低门槛的AR特效内容制作工具，扩大AR内容规模和开发效率；平台提供内容的管理与存储服务，开发者也可以通过平台将自己的作品上传至全民小视频等接入百度AR能力的应用，形成从内容生产、管理到分发的一站式解决方案，打造AR娱乐互动领域的开放闭环。

二、智能营销解决方案

在智能营销领域，百度将AR的趣味性与交互性融入虚实结合的全新场景，定义创意表达的不同形态，更多元化地向用户传递品牌价值，提升营销转化率。

百度AR拥有专业的内容生产团队和高效的内容制作体系，提供AR内容的个性化定制和一站式模板服务，帮助开发者实现创意内容的快速AR化。此外，百度还拥有高效的分发优势，线上依托生态亿级分发矩阵和大数据资源，精准触达目标人群；线下通过AR“扫一扫”入口延伸至线上场景，形成打通的营销闭环。

三、智能设备解决方案

2018年，百度将肢体互动能力与智能大屏结合，AR打太极项目落地全球首个AI公园-海淀公园，独特的健身互动方式受到了大家的广泛关注，天津南翠屏公园、福州飞凤山公园等先后引入，每天都有络绎不绝的游客前来体验。

通过将人机交互，智能感知和跟踪等领先技术能力及视觉定位与增强服务（VPAS），与智能大屏、AR眼镜、PAD等更多智能设备结合，AR技术将突破手机的约束为人们带来解放双手的AR交互新体验，在公园、景区、商圈、店铺等挖掘丰富的使用场景。

四、景区行业解决方案

基于端云一体化的视觉定位与增强服务（VPAS），融合百度地图场景化能力，百度DuMix AR为景区打造了覆盖行前、行中、行后的全流程交互解决方案。用户可以通过线上AR导览进行实景体验，依托VPAS探索景区知名地标并将关联信息在现实空间叠加呈现，丰富的人机交互能力为线下提供了多样化的娱乐互动形式，而通过设备摄像头采集分析呈现的用户画像，将为景区管理和优化提供可靠依据。

五、教育行业解决方案

百度DuMix AR以领先AR技术为图书/出版物进行数字化改造，将AR内容应用于丰富的教学场景。面向教育行业开发者和从业者，提供从SDK接入到内容生产制作全流程的平台级解决方案，针对不同年龄段定制化AR内容，推动教育领域应用的快速规模化落地。

人才培养方面，百度DuMix AR平台与高校和教育培训机构共同编撰专业AR教育课程，并携手百度云智学院推出AR技术认证资质体系，强化国内AR领域人才队伍建设。百度拥有丰富的生态产品矩阵与线上教育平台，百度DuMix AR将联动国内优质教育出版资源，携手专业教育垂类合作伙伴，建立更完善的AR教育生态。

六、汽车行业解决方案

百度将AR技术应用于汽车行业，可广泛用于线上AR展示、产品说明及工业维修等各类产业相关场景，助力汽车产业上下游企业实现智能化转型。同时，百度DuMix AR还将针对不同需求端场景，定制化提供从SDK到分发的整套嵌入式应用方案。

以上六大解决方案涵盖了当前AR技术应用的核心场景和领域。会上，百度增强现实技术部高级产品运营经理王琳琳宣布，百度DuMix AR平台进入5.0时代，并邀请百度AR资深研发工程师、百度AI交互设计院资深用户研究工程师及百度AR生态合作伙伴，为开发者解读两大交互系统背后的核心算法与技术，比较分享AR内容制作的交互设计逻辑。

百度AR将与开发者和生态合作伙伴一起，共同探索更多行业解决方案和落地场景，携AR能力迈进产业智能化时代。

来源：新浪VR