慧眼识道——南方航空联合亮亮视野基于AR技术实现全业务流程数字化的实践探索

编者荐语:

强化物理世界,以虚控实,形成实时互联的空间网络,这正是元宇宙的本质。南航与亮亮视野一起,围绕航空元宇宙定义了包括软硬件标准、数据范式和交互范式等通用型的基础规范,基于AR的工作新方式也将以颠覆式的姿态引领空间交互时代的到来。

以下文章来源于航空维修与工程 ,作者王锦申、梁伟明、吴斐、周激光

在各行各业如火如荼的数字化转型实践中,南航机务系统可谓是走在了行业前列。本文就如何拓宽数字化系统的外延,科学选择层出不穷的新技术新手段,乃至形成一定的规范和标准,让数字化系统“善假于物”这一典型问题进行了简单的探讨。

5G时代的来临带动着万物互联的不断推进。当前数字化已经成为了人们工作和生活中不可或缺的元素, 互联网 、大数据、人工智能与实体 经济 的深度融合正在成为传统行业持续提升产业竞争力的技术基点。面向“十四五”,民航局提出新时期总体工作思路的四个新局面之一“智慧民航建设要有新突破”。大环境下,数字化转型已经在航空维修各领域逐次展开。其中,南航工程技术提出了以构型管理为核心的数字化平台建设,对飞机、人员和资源进行虚拟世界的“动态数字画像”,切实反映物理世界的真实变化。

飞机维修属于典型的离散型制造业,生产过程中存在很多变化和不确定因素,繁多的生产要素间长期处于一种弱耦合的状态。为了让构型管理渗透到各生产末端,做到“一切业务数字化”,南航联合增强现实领域领先的 科技 公司亮亮视野通过研究和探索,找到了以增强现实(AR)技术作为数字化的“慧眼”, 通过打造基于AR的工作方式,努力实现对全业务流程的数字化覆盖。

1 以构型为基础的数字化平台建设

构型管理是对物理对象的实时状态进行“完整的描述”和数字化传递或输出的系统化管控方法。构型管理的基本要素是能够保证对象构型的完整性、准确性和实时性。因此,需要在线连接人、设备、流程等所有和生产相关的要素,并能秒级感知状态的变化。基于状态感知的精准构型管理是民航工程人员长期不懈追求的理想。近5年来,依靠云原生技术、大前端和实时数据引擎等技术的进步,这一理想得以逐步照进现实。

构型数据的更新来源于各个业务环节的末端。基于民航维修业的特点,这些生产末端的数据采集难度主要体现在以下几个方面:

1) 工作内容不固定,无法采用机器替代或标准化的采集方式;

2) 工作场所不固定,无法采用定点的采集方式;

3) 工作不允许频繁中断,无法让工作者随时填写数据;

4) 涉及的因素多,人机料法环各方面都需要进行完整的记录。

如何对这些数据进行实时的采集,并如实地反映到系统中,是必须要解决的难题。更进一步,基于实时采集的业务全流程数据基础,构建出更精准的数字化模型,进行仿真以及智能化决策,最终反馈到物理现场,赋能现场工作人员,强化物理世界,以虚控实,形成实时互联的空间网络,这正是元宇宙的本质。结合愈发成熟的5G、云计算、数字孪生、AR/ VR 等新技术,元宇宙的应用和体验近年来迎来了爆发式的增长。而为了让更多的人进入元宇宙,基于空间交互的AR技术,成为了关键。

2 人机交互的变革——AR技术的引入

人+AR的模式是维修业发展史上一个革命性的变革,因为它打通了人与机器连接的最后一米。相对于其他常见的信息终端,如执法记录仪、智能手电、平板和 手机 等,AR技术的优势非常明显。执法记录仪和智能手电的不足在于只能满足单一视频影像记录的功能;而手机和平板在录入数据时虽然比较方便,但由于现场工作和环境的复杂性,频繁拿出手机和平板也会严重降低工作效率,增加安全风险;同时多种设备的使用也会带来数据规范和兼容性的问题。

AR作为继PC、手机、智能手机之后的新一代交互方式,随着技术的发展,在充分对比和评估后,南航认为AR眼镜更能满足机务现场工作的实际环境,成为打通人与数字世界最后一米的最佳工具。工作者将无需再手持工卡、对讲机、签字笔、手电等物品,真正做到解放双手和第一视角介入,极大提升工作的便利性。同时,伴随着与物联网(IoT)、知识图谱、5G边缘计算等技术的深度融合,AR技术可以在任意时间,高效赋能一线工作人员。

目前,大部分AR工业场景的应用聚焦于利用AR眼镜的交互功能进行远程工程协作,提升一线的工作效率。截至2021年底,南航已完成对国内外28个主要基地和外站AR远程工程协作的部署落地。在此基础之上,南航自2020年开始致力于打造在软硬件和交互方式等各个层面,适用于航空维修行业不同职能领域,基于AR底座的完整解决方案,并以此作为以构型管理为基础的数字化系统的外延架构,承载平台感官能力的向外延伸。

3 打造航空元宇宙的基石——AR底座

3.1 AR底座的介绍

AR底座构建基于开源生态的AR操作系统,融合增强现实、IOT、数字孪生、AI能力和自动化执行等多种先进生产力解决技术,具备流畅的融合交互能力、自然的云原生能力和强大的环境感知能力,赋予现场工作者和管理者全新的工作和数据视野。底座定义了包括软硬件标准、数据范式和交互范式等通用型的基础规范。后续的AR应用和终端输出都建立在底座的标准和规范之上,进行适应性的改造和定制。

AR 底座的构成示意图

AR 底座的应用架构

3.2 硬件标准

航空业拥有众多不同的工作环境和工作场景,在硬件方面存在很多不同的需求,在深度调研和使用市场现有的设备后,南航提出了自己对AR硬件的需求,亮亮视野的增强现实眼镜最符合期望。

显示规范

在AR增强显示世界中,最核心的是显示及相关的技术,主要指标如下。

a. 透过率。透过率会直接影响佩戴者在阴天、夜晚和室内的安全使用。使用光波导技术,透过率可超过80%,几乎与日常镜片一致;

b. 透视偏差。透视偏差引起的畸变会影响观看者看到的真实世界,会带来安全隐患。目前市面上的光学方案中光波导畸变最小;

c. 无漏光、无镜像。也就是使其他人无法看到佩戴者看到的信息,对工作内容进行保护;

d. 亮度和对比度。这两者决定了是否能够适应更多的环境,无需遮光也能看到更多的信息,同时让显示更能融入现实;

e. 分辨率和显示视场角。它们决定能否通过头动和环视显示出足够的内容。

结构设计规范

结构和设计方面,安全性、舒适性和扩展性都是需要考虑的指标。

a. 可折叠一体化的设计,更便于携带。专业人机工学设计和轻盈的重量可以保障佩戴者的安全性、舒适性和长时间工作的稳定性。

b. 由于智能眼镜的设计集成度非常高,还有显示、摄像头等高功耗元件,因此需要具有良好的散热性能。而且拥有三防设计才能够很好地适应机务工作 的复杂恶劣环境。c. 需要有高扩展性,可以快速连接如测距模组、雷达模组、测温模组、便携探头等多种设备,适应不同的维修检查环境。

d. 需要Hyper-Connect超连接技术,能够让设备独立工作的同时,也能通过蓝牙和有线连接到手机等智能设备上,当使用有线连接时,智能眼镜将在性能、续航、数据传输等方面得到跃升。

电源管理规范

智能眼镜如同手机一样,在所有模组都大踏步前进时,相对停滞的是电池模组。而智能眼镜的体积重量就注定无法通过暴力堆电池而获得长时间续航。只能通过优化芯片、显示等提升续航能力,确保可以足够完成一定的作业量;同时还可以通过感知佩戴者行为的方法,保证信息只在需要时显示,也能够长时间等待语音命令的唤醒,减少待机消耗。

音频和摄像能力规范

a. 声学方面,噪声抑制模式、现场声音还原能力对于很多嘈杂的航空维修现场和需要听到现场声音做诊断是必需具备的;

b. 摄像能力方面需要可实现全景深成像,提升感知和识别精度,同时还要拥有快速的形变响应时间、超低静态功耗和更小的体积控制;

c. 头戴式摄像头会产生大幅度大角度抖动,这对于后台是不可接受的。必须要解决防抖、防眩晕的问题,降低晕动症。同时还需要建立在轻量化、低功耗的前提条件上;d. 测距能力、人体体征参数感知能力、乃至环境感知的能力,让AR眼镜增强感知的同时,拥有更加强大的主动感知智能。

3.3 交互规范

三维世界的信息如何准确地呈现到佩戴者的视野中,通过自适应双目视差融合,左右眼能够输出不同的图像,达到立体视觉的效果,再通过算法对不同人的屈光不正、瞳距不同和显示内容进行小范围调整以达到最佳的显示效果。

视觉即时定位与地图构建(vSLAM)技术是通过图像进行的空间虚拟定位技术,除了让需要叠加的信息更稳定的叠加到空间中外,还能感知到佩戴者所处的空间位置,进行信息的协同。

多模态融合TOUCH技术结合了语音识别、手势识别、身体姿态识别、空间定位、AI算法等多种交互手段,让佩戴者更好地与空间中的增强信息进行交互。

4 基于AR的工作方式

以AR工卡为例, AR工卡不是简单的电子化工卡,而是从编写开始,到执行、记录、反馈等一系列过程的流程再造。南航以波音737NG主力机型为试点,在主要站点上已经开始了AR工卡的编写和实施落地工作。

4.1 AR工卡的编写

目前很多维修企业都开始了工卡的结构化工作,简单来说就是把以前只有人才能读懂的工卡,变成了电脑也可以读懂的工卡。而AR工卡就是在这种结构化工卡的基础之上,将工卡步骤向对象化转变,通过对象化的属性标签为步骤赋能,如重点部件的三维动画工程图的支持、动态的风险提示支持、AI图形识别的支持、手册信息的支持、APS 信息支持、辅助工具的支持,乃至过往执行状况记录等等,只要遵循这些增强型标签的规范,将来都可以直接在AR设备上呈现。

同时还加入了可视化的流程编辑,完善对步骤执行的反馈需求、动作标准和选择判断等。结合对现场执行反馈的研究,对AR工卡的编辑功能进行持续的调整和升级。

4.2 AR工卡的执行

通过对工卡信息的重构,人机交互过程的优化,AR工卡的执行给工作者带来的是一种全新的工作体验。

1) 场景化的执行步骤:工作者面对的不再是单调枯燥的文字任务,而是随工作进程而逐步展开的一幕幕场景,场景化便于工作者聚焦具体任务,充分了解当前任务的同时免除无效信息的干扰;而清晰的工卡流程路线、可视化指引,步骤描述的多维化,也进一步避免了文字可能带来的歧义,同时清晰掌握当前的进度状况;提供手势签署、语音签署和交互式信息自动记录等多种便捷的全新签署方式,在实现签署更多记录内容的同时,工作者承担的签署负担反而大大减少。

2) 代入式的工作指引:在场景中,工作者具有上帝化的视角,增强签署、辅助拍照、自动测量等辅助工具可以挥手即来;手册资料、经验文档、APS指引等借助知识图谱技术可以方便触达;后台专家也可以随时呼叫,提供更多支援。获取知识、辅助决策是工作者在日常工作中频繁遇到的问题,传统的做法是停下工作去翻查手册、咨询工程师,通常还可能需要多次往返工作现场和办公室。借助AR的方式,工作者可以方便获取所需的各种支援,且无需离开现场。

3) 沉浸式的工作体验:AR化工作方式建立的是一种资源找人、知识找人的新体验,工作者可以在场域中便捷获取知识、工具、航材的有效支持。虽然“单兵作战,装备轻量”,但却随时处于“重炮火”的支援之下,营造了以人为中心 的“工作场”,工作者可以最大程度的专心于工作进程,避免频繁中断。

4.3 系统提升

基于AR的工作方式对系统带来的提升也是非常显著的。

1) 安全的提升AR工卡可以提供以下安全防范方式:

a. 风险提示功能:当流程进行到相关节点时,风险点被触发产生预警;

b. 关键部位AI识别:对关键部位进行AI识别,状态异常时禁止进行签署或实施下一步;c. 安全影像留存和多维综合报告:工作过程的自动无感影像留存,综合多维综合报告,可以提供系统复查和改正提升;

d. 5G专网的环境下,可以实现工卡数据不出园区,不存在数据泄露等网络安全风险。

2) 现场管理的提升

现场的执行信息、实施视频等会实时回传后台控制中心。后台可以即时掌握整体的现场状况,包括整体进度和局部甚至个体的实施进度,也可以随时调取相关的历史执行数据,当工作任务发生变更时,还可以实时进行任务派发或后台介入。

3) 实时客观的数据采集

基于AR的方式,数据采集可以延伸到全业务环节的各生产末端,实时感知相关工作对构型的影响并同步进行构型数据变更,确保构型数据的实时有效。

现场数据的客观采集,除了提供安全记录和自我分析之外,也极大丰富了维修记录的数据,数据采集的数量和客观性都是传统手段所无法比拟的,更有利于后续的数据处理、数据分析和知识反哺。

4.4 底层逻辑探索

复杂工卡涉及到手册交联查询、多人互动,不仅需要研究眼镜如何更加适合工卡,同样也会考虑改变工卡的原有模式。如利用眼动仪采集眼动数据指标,分析工作者在这个过程中注意力分配的方法,优化现有编写工卡的方式;同时发现和纠正不同工作者在注意力分配方面存在的问题,对于提升维护质量和效率具有明显的作用;更进一步,相关分析数据还会向手册方面扩展,提出对手册的改进需求。

同时,使用AR智能眼镜、眼动仪,采集航线绕机、定检和其他专项工作的视频过程、眼动、脉搏波、皮肤电流、皮肤温度、心率等多维度数据,不仅为“人员画像”提供了依据,还将为交互界面设计、人员工作压力、现场工作复盘、效率提升、安全监管等提供宝贵的数据支持。

5 5G数字底座

4G网络主要聚焦公众服务,网络上行带宽小、传输时延大,网络架构上也存在一定的安全性问题。而5G网络聚焦行业应用,采用多种技术手段提高上行带宽,降低传输时延,网络架构上也通过切片隔离的手段提高了安全性。

对于AR来说,复杂的场景理解、海量的三维信息、实时的虚实互动,都需要高算力云渲染、低时延编码以及高带宽低时延能力的保障支撑。只有5G定制专网可以完全满足AR发展的这些要求。

在快速移动的场景中,5G让稳定的毫秒级实时数据同步变得可能,也保障了AR终端的流畅;在基于3D图形在现场三维场景中叠加虚拟信息时,5G大宽带的作用体现在提升3D模型等多 媒体 内容的实时加载速度,无需提前下载到本地,需要时直接从云端加载,降低终端设备的运算负担;在真实感体验上,借助于5G的低时延属性,以及云端服务器的强大性能,可以将渲染任务放到服务器端,然后再以视频流的形式传回本地AR设备上,这样可以在移动端获得高质量的3D渲染,让移动芯片的AR设备也能显示出顶级的画质;在需要快速获取结果的边缘计算场景中,可以采用将5G的核心网元UPF下沉到网络边缘,数据本地处理,降低传输时延,在边缘节点就可以快速进行超大数据量的比对,完成场景的初始化、闭环检测等任务,快速将计算结果传递给用户。同时5G还可以大幅提升AR传输数据容量:5G专网能够提供包括:QoS专属定制服务、MIMO技术、多频谱能力等,可为企业生产专网提供更充裕的网络容量。

6 慧眼识道

基于AR的工作方式通过打磨适配工业场景的AR底座,加持高速泛在、安全可信的5G定制网络,突破传统的工作范式,形成以AR设备为节点,联接人与数字世界的数字化“慧眼”。然而,我们必须认识到,在引入新技术、新工具对传统工作方式进行数字化改造的同时,必然会经历适应、调整、迭代和提升等多个阶段,科学的检验标准和迭代方法论能够在这个过程中指明技术发展的方向,加速新技术和新工具在行业应用的迭代速度,并形成新一代的行业规范和标准。南航工程技术和亮亮技术团队在探索和实践中逐步摸索出一条数字化技术应用检验的标准之“道”(TAOIX),具体体现在以下 5个方面。

1) 无感和微介入(Touchless):系统、方法和工具的使用能够把更多的环节交给系统自动完成,减少人工的参与。这不仅是出于提高效率的考虑,也 是从源头减少人为差错和数据错误的有效保证;同时,系统、方法和工具的使 用和佩戴应最大程度地减少对使用者正常自然行为和感知的干扰;

2) 自适应能力(Adaptive):系统、方法和工具需要具备一定的感知和调整的自适应能力,包括系统与人、系统与环境以及系统与系统之间的感知、适应和自动调整能力;

3) 持续优化能力(Optimized):系统、方法和工具的使用能够对流程、 工序等带来持续的优化和改进,基于数据和运筹学的方法进行分析和决策建 议,科学地迭代优化行业流程,形成全新的行业实践;

4) 沉浸式工作(Immersive):系统、方法和工具的使用会增强工作的沉浸式感受,使工作进程不被打断,改变传统的人找知识、人找资源的模式,形成知识找人、资源找人的智能化沉浸式工作范式;

5) 可扩展能力(eXtensible):随着业务需求不断延伸,相关应用的外延具有可扩展性,触达相关业务的全环节、各末端,甚至是相关产业链的上下游。

7 结束语

综上所述,尽管南航工程技术经过研究和探索已经找到了以AR技术为数字化的“慧眼”,且正着力打造基于AR的工作新方式,但同时也非常希望与众多合作伙伴一起,持续进行相关的探索和研究,使AR底座逐步具象化,为行业提供更通用、开放、模块化的服务,实现快速的部署和复用。更多的场景应用是我们持续努力的方向。我们相信,随着应用的不断扩张,AR底座的力量也将持续得到验证和升级,基于AR的工作新方式也将以颠覆式的姿态引领空间交互时代的到来。

作者简介 :

王锦申,中国南方航空工程技术分公司(机务工程部),副总经理。

梁伟明,中国电信广州白云分公司,总经理。

吴斐,北京亮亮视野科技有限公司,董事长及创始人。

周激光,中国南方航空工程技术分公司(机务工程部),高级工程师。