微美全息开发虚拟现实多通道交互系统，构建和谐自然的虚拟现实人机环境

虚拟现实是一种可以创建和体验虚拟世界的计算机系统，由计算机生成，通过视、听、触、嗅觉等作用于用户，为用户产生声临其境的感觉。其中沉浸感（immersion）、交互性（interaction）和构想性（imagination）是虚拟现实系统的三个基本特征。而人机交互是虚拟现实的核心技术之一，人机交互的目标是通过适当的方式，将用户的行为和状态（输入）转变成一种计算机能够懂理解和操作的表示，并把计算机的行为和状态（输出）转化为一种人能够理解和操作的表达，同时通过界面反馈给人。虚拟现实一方面需要感知用户的肌肉运动、姿势、语言和身体跟踪等多个感官通道的输入信息；另一方面可以从人类的视觉、听觉、触觉、嗅觉等多个感官通道模拟逼真的真实世界的感觉，从而建立起一个自然和谐的人机环境。

新一代的交互方式以多通道和多 媒体 为特征，将使人机交互变得更加智能。这里的多通道指利用人的多种感觉通道和动作通道，如语音、姿势、动作、眼动、唇动、表情和意识等。这种交互方式实现了以并行、非精确的方式与计算机进行交互，从而大幅度提高了人机交互的自然性和交互效率。

WIMI微美全息开发了虚拟现实多通道交互系统。多通道交互系统是指在一个系统中组合了2个或以上输入通道（如语音、视频、触觉和手势等）的协作方式，充分利用人类不同的感觉通道，使得交互更为自然有效。在多通道用户交互系统中，用户可以使用自然的交互方式如语音、手势、眼神、表情、唇动等与计算机系统进行协同工作，人和机器都都是信息交流的主动参与者，输入通道之间有串行/并行、互补/独立等多种方式，人机交互向人与人交互的形式靠拢，大幅度提高了交互的自然性和高效性，这将会是未来虚拟现实人机交互的主流形式。

在虚拟现实中使用多通道交互具有明显优势，其不仅可以降低耦合度，减少用户的认知负荷，也可显著提高输入的识别率，并为用户提供灵活的输入方式，提高交互效率。

WIMI微美全息虚拟现实多通道系统使用户同时使用不同的通道进行交互，这些交互通常基于语音、姿势或触觉输入，此外，像面部表情识别或唇读也用于多通道输入。多通道界面能组合单独通道的优势，或根据环境上下文转换通道。由于多通道技术融合了多个通道的输入流，因而在虚拟现实中使用多通道交互技术可以极大地提高系统控制的性能。而多通道融合主要有两种方式，特征融合和语义融合，特征融合是基于原始输入数据在信号级进行融合，这种方式适用于被融合的通道是紧密耦合的；语义融合是把输入数据映射为语义解释的过程，从输入通道获取输入信息流，通过初步的预处理，构建统一的数据表示。

人机交互是系统与用户之间的交互关系，它使用人与计算机之间的对话语言，以某种交互方式完成人与计算机间的信息交换过程。在人机交互中，人类的自然交互行为和物理空间的状态变化是多通道的模式。

对于虚拟现实场景的人机交互，无论是语音识别、情感识别还是人机对话，深度学习都会使所建立的系统更加智能化。WIMI微美全息多通道用户交互系统可增强机器模型识别、分类和分析混淆行为的能力，其引领着虚拟现实人机交互模式正逐步向智能化、人性化、场景化方向发展，构建一个和谐自然的虚拟现实人机环境。