Adobe开发响应式AR书写绘图界面RealitySketch，提升远程教学质量

来源：映维网  作者 广东客

加拿大卡尔加里大学、Adobe Research和美国科罗拉多大学博尔德分校的研究人员最近开发了一种可以生成响应性草图、图形和可视化效果的增强现实界面。另外，相关论获得了ACM Symposium on User Interface Software and Technology的最佳论文奖和最佳演示奖。

团队表示：“我们项目最初的出发点非常简单，就是帮助用户通过AR交互式素描来形象化真实世界的现象。这种动机来自于我们对物理课堂教学的观察，教师进行的实验往往是学习物理的一个组成要素。”

向学生解释物理现象有时十分具有挑战性。这是因为完全理解相关现象需要可视化具体的发生情景，不仅只是学习与它们相关的理论。所以，能够帮助物理教师以一种动态的、引人入胜的方式解释概念将非常具有价值，因为它们可以提高学生对课程主题的理解。

RealitySketch是这支团队构建的平台，它允许用户生成动态的和高响应速度的图形，并在现实世界中的黑板、墙壁或其他对象之上实现可视化。这允许学生通过直接观察运动中的物理现象来更好地理解教师尝试解释的物理现象。

研究人员解释说：“在过去，制作这样的可视化效果是一个耗时的过程，需要单独的视频编辑或后期制作步骤。相比之下，如果用户可以实时地将动态可视化效果绘制到真实世界上，从而能够动态地对物理对象的运动进行动画化和可视化，那又会怎样呢？”

RealitySketch基于Apple ARKit，从而能够将动态草图嵌入到真实环境中。在一开始，用户只需用手指或数码笔在触控屏绘制简单的草图，然后，他们绘制的元素就会覆盖到真实世界的摄像头视图之上。

团队指出：“RealitySketch最独特的地方在于它支持实时动画化基于真实世界运动的草图元素。”

尽管目前市场存在无数基于AR的绘制界面，但迄今为止的大多数解决方案都集中在将静态图形嵌入真实世界中。示例包括Pronto、Sybiossketch和PintAR，以及谷歌的Just a Line或DoodleLens。RealitySketch不仅允许用户创建静态草图，同时支持嵌入动态和交互式图形，这样它们就会绑定到用户环境中的真实对象并对其移动做出响应。

“RealitySketch集成了目标追踪和基于AR的可视化。首先，它用计算机视觉来追踪对象。当用户通过iPad轻触一个对象（如一个钟摆球）时，系统就会根据对象的颜色进行追踪。所有的草图元素都绑定到这些被追踪对象，所以当物理对象移动时，例如当用户抓取、移动、推动、抛出对象时，草图元素会根据它们预期的运动来设置动画。”

团队在一项涉及卡尔加里大学学生的研究中评估了他们创建的界面。他们招募的参与者对RealitySketch非常满意，并且似乎对它在增强物理实验方面的潜力特别兴奋。

相关论文 ：RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching

由于疫情影响，国外依然有大量的学生通过网络学习，所以团队创建的界面可能会特别有价值。事实上，RealitySketch可以提高远程教学的吸引力，例如允许教师录制动态物理实验的视频并与学生分享，这样他们就可以更好地理解课堂描述的概念和现象。

研究人员表示：“RealitySketch同时显示了在教学以外的更广泛应用领域的潜力。尽管我们最初关注的是数学和物理概念解释，但我们的用户对其他应用场景非常兴奋，例如运动训练、设计探索和有形的用户界面。”

除了在课堂环境下测试平台，团队另外展示了它在各个应用场景的潜力。例如，他们表明，体育教练可以利用所述工具产生实时的可视化数据分析，例如显示篮球运动员的实时运球轨迹，又或者通过产生特定身体姿势的视觉化来增加瑜伽课堂的吸引力。

团队最后补充道：“我们有兴趣在未来进一步开发这个项目。由于这是Adobe Research、卡尔加里大学和科罗拉多大学博尔德分校合作的结果，我们相信这项工作将激发更多支持沉浸式创造力的研究和产品，并将充分实现AR作为动态计算介质的潜力。”