AR、VR、MR在教育培训领域有哪些应用场景?
AR 、 VR 及 MR 在这几年越来越火红,在开始介绍它们的应用之前,我们先来介绍这家族三个成员之间的分别。
AR、VR与MR的分别:
增强现实(Augmented Reality,AR):在使用者的现实世界叠加数字创建的内容。
虚拟现实(Virtual Reality,VR):阻挡现实世界,为使用者创建一个全数字化、身临其境的体验。
混合现实(Mixed Reality,MR):在使用者的现实世界叠加您可以与之互动的数字创建内容。
下面这张表可以帮助你更清楚了解其区分:
所以PokémonGo是MR?因为它可以收服口袋怪兽(互动)?别误会,上面MR提到“可以与之互动的数字创建内容”并不是单纯的只是可以点选跳出的数字创建资讯以获得更多资讯,或是,收服口袋怪兽而已。MR产生的数字创建内容能够结合现实世界的实际影像,并且可以对其数字创建产生的内容做放大、缩小、旋转、甚至是编辑等等的工作。下面Microsoft的Hololens广告可以让您比较了解什么是MR。
有没有注意到,在影片中,当你观看3D数字陈像时,这影像并不会随着你的移动跟着转向,因此你可以移动位置从后面、上面、下面,以各角度来检视或编辑这影像,这在AR,甚至大多数的VR应用,都是做不到的。
附带ㄧ提,连PokémonGo到底算不算AR也有争论。因为理论上AR应该是靠辨识某些现实世界影像来产生或带出数字创建内容,而PokémonGo是靠Location定位来带出数字影像,因此很多人认为PokémonGo充其量只能称为定位服务游戏(Location-Based Gaming),不能称为AR。关于这点,笔者认为就别太吹毛求疵了,或者,你可以称它Location-Based AR游戏。
近年来,AR已经从原本只能以智慧型手机或平板电脑对着某现实世界实际事物,经由辨识,让应用程序带出相关资讯的模式,转变为能以AR眼镜达到相同功能。并且由於不需手持行动装置来使用,因此让使用更方便,AR眼镜应该会渐渐成为AR应用的新趋势。
VR穿戴装置(例如HTC VIVE、Playstation VR...)则使游戏玩家不再只能看著萤幕玩电玩游戏,而能进入3D立体的实战环境。然而其缺点则是因为它屏蔽现实世界的影像,因此除非有设计精良搭配使用的感测装置,否则在教育训练上的应用大多会仅仅局限在观看3D立体数字内容而已。
MR将AR与VR混合为一,因此Microsoft的Hololens等装置的推出,不仅让AR的运用更上ㄧ层楼(互动),也让VR的应用能更融入日常工作及生活中。
AR、VR、MR在教育训练上的应用
我们把这些新兴科技在教育训练上的应用分成三大块:
教育(Education):指传授知识,包含学校教育及职场教育。
训练(Training):指职能或技能训练,包含学校及职场。
效能支持(Performance Support):指在需要的时刻提供相关重要资讯,以协助完成工作,通常可以与前项搭配运用。
本篇介绍将不局限在学校教育端,我们也会举出ㄧ些学校以外不同领域的应用,来协助大家了解这些新兴科技的无穷潜力及魅力,这也有助于大家去思考要如何运用这些科技。AR/VR/MR的应用是无限宽广的,接下来就看大家的想像力及实践了。
为了方便我们将会标示各应用是属于教育(E)、训练(T)还是效能支持(PS)。不在此三类范围内的应用例子(例如娱乐、消费、营销、治疗等),本文就略过不提。
医疗
AR/VR/MR在医界(医院及医学院)越来越受到重视,其最大的两个原因是:
1、节省时间/降低成本(E/T/PS):
目前已经有很多医学院/医院使用AR/VR/MR来进行教学或外科手术训练。在教学上,学生戴上AR/VR眼镜观看3D立体的人体结构及器官,甚至可以"取出"某一器官来做更仔细的观察。在外科手术训练上,学生或实习医生戴上AR/VR眼镜,通过3D全息解剖(Holographic Anatomy)程序来对着虚拟尸体进行手术练习。这可以让学生节省十个小时在传统尸体实验室内,更实际的ㄧ点是,大体并不容易取得,因此手术仿真可以减轻医院或学校在这方面的负担。
2、协作(T/PS)
不管是手术仿真还是实际手术,或是其他医疗诊断,教授、资深医生(主任),甚至是远端的医生或专家,也能透过执行手术或诊断的医生配戴之AR/MR眼镜所传出的影像(我们称之为POV,Point-of-View)对该医生提供建议或下达指示,而医生可以从其眼镜上的显示器看到这些建议或指示。
应用当然不只有这些,下面是ㄧ些其他的应用例子:
药物使用: 协助医护人员确认正确的药物即使他们没受过训练。这简化了药剂师和医生的需求,减少错用药物的机会。
静脉注射: 协助护理人员寻找静脉来进行静脉注射。别怀疑,AR眼镜可以帮你看到那些肉眼看不到的静脉,这减少了医护人员的时间及病患的痛苦。
先期处置: 医院的急诊室值班医生可以透过救护车上,或是,意外事故现场医护人员的POV及检测仪器所传回的数据,对病患做初期诊断,并下达指示给该医护人员进行初步医疗处置,以增加及减少病患存活机会及伤害扩大。所以,或许未来公共场所的灭火器或AED(自动体外心脏去颤器)旁边会同时放置ㄧ付AR眼镜,ㄧ但取出会自动通过Wifi连线呼叫119/120勤务中心,让使用者可以从远端消防或医护人员即时提供协助或下达指令,指导如使用灭火器扑灭火源,或是,如何使用AED来急救需要紧急医疗协助的病人。
军警消训练
在美国,美国军方是教育科技的主要推动者,因为他们希望能快速有效率的训练他们的军队。美国军方几年前就开始使用AR/VR等科技来训练士兵作战、武器操作,或是维修武器、车辆等装备。
戴上AR眼镜,运用AR来进行武器操作训练或是装备维修可以避免错误,同时可以提升训练及维修速度,新进士兵也可以很快上手。
AR当然也可以运用到作战上,举个大家最熟悉的例子。几年前台湾闹得沸沸扬扬的阿帕奇直升机事件,如果大家不是只有关注那位女星的话,应该会注意到那顶价值6万多美元的头盔。那头盔为什么那么贵?就是因为这顶战术头盔可以把12项座舱资讯(例如武器瞄准或夜视镜),显示投影在右眼的单眼式萤幕上,方便飞行员能迅速读取所有重要的资讯。其他的战机飞行员、坦克驾驶的头盔也ㄧ样可使用AR来让他们可以快速掌握重要资讯或进行攻击。
使用VR来进行作战训练最大优点就是可以设计出各式各样的情境。当过兵的应该也很清楚,部队野战训练场上的地形地物就那么ㄧ些,但使用VR就可以依需求设计所需的情境及地形地物,假想敌也不再只是ㄧ些人形立牌。
使用AR/VR等科技来训练士兵作战、武器操作或是维修装备还有ㄧ项更重要的优点,那就是所有的过程也会被记录下来,操作是否正确、瞄准是否精准...等资讯都会被记录及分析,用以提供训练单位对需改善的士兵提供适切的训练来改进缺失。
类似的概念当然不只局限在军事人员的训练,公安、消防人员...等工作上会面临危险处境的,都能藉由此科技提供各种情境下的仿真训练,提升未来真正遇到状况时,能正确迅速的处置及防护自身的安全。
而配戴AR眼镜的公安可以通过连线犯罪中心资料库及影像辨识,来协助辨认通缉犯或赃车,更有效率打击犯罪。
技术维修服务
AR可以提供即时的协助来协助维修人员做设备维修及故障排除等工作,这几乎可以涵括所有你所想到的工作,例如工厂机器维修保养、办公室复印机维修、电梯保养、电信维修、汽车保养......等等。通过AR智慧眼镜及专属的应用程序,可以提供维修人员详细步骤,让他们可以依循来做检测及修复工作。当然这对于新进人员的训练也是很有用的工具。
现场问题无法解决?没关系,应用程序会呼叫公司内部高阶技术人员,以远端协助的方式来指导现场人员进行故障排除或更换零件,AR/MR能允许远端专家看到现场人员所看到的影像(POV),并以通话或显示文字、图片、甚至直接标示要处理的零件位置在现场人员的AR/MR镜片显示幕上,指导他们进行修复工作。
使用AR/MR眼镜最大好处是现场人员不再需要ㄧ的手拿著手机或平板来对著要维修的装置,或是,听从或观看来自公司的指示,他们的双手都可以用来执行修复工作。当然,如果没有AR/MR眼镜,手机或平板也能做到,只是要用手拿著比较不方便。
别以为只有维修人员可以使用这项科技,消费者自己当然也可以。未来,影印机、汽车、电器用品的维修、更换RO滤芯......,只要有适当的AR应用程序,你可以自己动手做。
BMW汽车公司早在2007年就研发AR眼镜及相关应用程序,提供其保养厂技师维修及更换汽车配件使用。Hyundai汽车公司在2015年则推出AR技术手册应用程序给车主使用,只要使用智慧手机或平板,车主就能得到诸如机油、煞车油、空气滤芯等的How-to资讯进行维修保养。该应用程序提供影片、3D叠加图像显示(当车主扫描他们的车辆不同位置)各个区域及其它汽车相关资讯。
学校教育
使用AR/VR可以为各级学校的学生提供身临其境的多感官的体验,比起传统的讲课、字卡图卡、或教科书等方法更有效。下面提出几个例子提供参考:
教到太阳系行星时,以AR/MR/VR来显示3D立体行星运转画面,学生利用控制器可点选某个星球,用以带出更详细的信息。
地理课以AR/MR/VR显示3D立体地球仪,学生可以由各个角度来观看,点选某个国家可以来带出该国家的详细信息。
化学课以VR先让学生仿真实验过程,让学生熟悉步骤以及可能发生爆炸或起火的错误操作,这样在真正实验时就可以有效避免危险事故的发生。
教科书或课外书都可搭配行动装置或AR眼镜,在特定页面显示3D立体画面及相关信息,增加学生印象,让学生更容易理解,并提升上课或学习兴趣。
建筑系学生不再需要花费时间制作设计模型,只需搭配行动装置或AR/MR眼镜以及适当的应用程序,就能3D立体陈现他的设计,既漂亮又精确,而且设计修改时不需重制模型,节省不少时间。
新鲜人对校区不熟?找教室常迷路?没问题,AR应用程序可以指引你到你指定的大楼或教室。(注:已经有卖场或商业大楼开始使用类似应用程序提供导引。未来你去超市、大卖场或购物中心,可以使用AR应用程序直接导引你到所要购买商品的陈列位置或要造访的商店,不需再走来走去找商品或店家位置了)。
艺术和才艺
戴VR去参观著名的动物园、博物馆或是课本上提到的历史景点、地标或是建筑,以你自己的速度来欣赏它们,甚至还可以配合动画显示,来加深你的印象与暸解。应用程序会根据你目前正在观看的事物在萤幕上提供详细介绍资讯。
有没有带出ㄧ些灵感?是的,以往安排户外教学劳心劳力,还得担心天气或是害怕出车祸。不久的将来这些都可以在教室内完成(有些博物馆已经开始提供类似服务),户外教学恐怕会成为历史名词。往坏处想,这有点不够真实,往好处想,这样可以为学校及家长省下很多钱。
在才艺学习方面,AR眼镜可以协助指导您按照步骤学习乐器、绘画、雕刻、编织等才艺。尤其对于开始学习乐器的学生,搭配AR眼镜及相关应用程序,可以显示各种乐器的指法及乐谱,陪练、纠错并记录过程,让生手可以轻松上手。
健身/运动
当你在户外或野外骑车、跑步或健走时,AR眼镜可以即时显示心跳、疲劳、卡路里消耗、目标及更多其它更多显示的资讯,例如地图及GPS定位等
未来在健身房,不再只能无聊的看着眼前挂着的电视萤幕跑步、骑脚踏车、或是做重量训练,你可以透过VR(或MR)头戴式装置,选择在塞纳河畔,或是其它你想经历的路段,骑脚踏车、滑雪、划船、或是跑步。 脚踏车、跑步机等健身器材会根据你经历的虚拟所在位置,调整上坡或下坡角度、阻力、甚至可以感受地面或河面的震动,这样的运动体验是不是很迷人呢?当然,所有相关资讯也会显示在装置萤幕上。
学校当然也能享受到这样的应用所带来的好处,例如以VR搭配相关应用程序及感测元件,来训练足球守门员防守、棒球打击练习、或是网球挥拍等的训练,如此不但不受天候影响,同时也只需ㄧ点点室内场地就可以进行训练。
今天就先提到这里。除了教育训练外,AR/VR/MR在生活上的应用更是无限宽广,充满想像空间的。笔者认为AR/MR会是将来的主流,因为它们并未跳脱现实世界,因此比较容易融入现实生活、教育及工作上;AR可以在行动装置(特别是手机)上灵活运用,AR眼镜可以做到很轻巧,价格也持续下降,因此AR应该会成为未来生活不可或缺的ㄧ项随身工具,若搭配AI(Artificial Intelligence)更像是配备了贴身智能助理。而VR主要应用会在创造虚拟的沉浸体验,以成本高、危险、或现实世界不容易取得的经验为主要应用需求。