解读英伟达芯的雷达手势识别，我们对Project Soli有了更多了解

雷锋网 (搜索“雷锋网”公众号关注) 按：本文作者龚黎明，威盛电子高级芯片工程师。

在2016年的谷歌I/O大会上，谷歌低调展示了数款高科技硬件产品。其中有超炫的雷达芯片——Project Soli。它采用微型雷达来捕捉细微的手势动作，实现对硬件的操控。它可以隔空操作 智能手表 ，可以取代触摸屏隔空操控手机，可以取代触控板操作电脑，甚至已经有开发者实现隔空打字的功能！它还可以用在VR中进行交互，取代手持设备得到更好的游戏体验。相比于当前流行的二维触屏系统，它的控制手势是三维立体的，所以显得更加直观，更加生动，再加上利用了“电磁波”这只看不见的手来操控，颇有些魔术效果。

Project Soli构造：

Project Soli由两个芯片组成，一个是微型雷达传感芯片，一个是主控芯片。其中雷达传感芯片内置了天线阵列，其封装只有8mm x 10mm大小。雷达的电磁波发射频率是60GHz，波长为5mm，该芯片可以识别5cm-5m的细微手势，操控距离限制在15m内，并且具有180°的视角。下图展示了两款芯片的大小，最左边是主控芯片，中间是雷达传感芯片。

 

与初代Project Soli相比。新一代的Project Soli主控芯片与英飞凌合作设计，功耗降低了22倍，从1.2W降低到了0.054W。新的雷达传感芯片效率更是提高了256倍，并且可以实现每秒18,000帧的扫描。这让该项技术应用在智能手表上成为可能。下图展示了几种操控的手势：

雷达成像：

谷歌的Project Soli采用了雷达成像原理，采用了60GHz频段的毫米波，波长为5mm。采用毫米波好处在于，相比于微波（0.3G~30GHz）的波段几乎已经被各种无线应用占据，比如WIFI，蓝牙，无线通信，AM、FW无线广播等。毫米波本身免授权、免付费、及未被大量采用，换句话说，不需耗费申请时间及费用，即可使用该频段。Wireless HD及IEEE802.15.3c皆属毫米波无线传输技术，工作频段为60GHz。  

电磁波的波谱图

雷达主要利用无线电波的反射来进行成像。通过计算从天线发射无线电波，到天线收到反射波的延时，可以得出物体的位置。通过比较发射波与反射波的波长变化（多普勒频移），可以计算出物体的速度。 当物体靠近雷达运动，其反射波的波长会变短；当物体远离雷达运动，其反射波的波长则会变长。物体的速度越大，波长的变化也越大。这样，通过对比发射波和反射波，就得到了物体的位置和速度，也就可以精细地捕捉物体的运动。

 

雷达测速原理

采用毫米波雷达做手势识别，难点在于雷达传感器芯片设计，其中又包括MMIC芯片（单片微波集成电路）和天线PCB板设计。

（1）前端MMIC芯片：它包括多种功能电路，如低噪声放大器（LNA）、功率放大器、混频器、甚至收发系统等功能。具有电路损耗小、噪声低、频带宽、动态范围大、功率大、附加效率高、抗电磁辐射能力强等特点。毫米波雷达的关键部件前端单片微波集成电路（MMIC）技术由在国外半导体公司掌控，而高频的MMIC只掌握在英飞凌、飞思卡尔等极少数国外芯片厂商手中。

（2）雷达天线高频PCB板：毫米波雷达天线的主流方案是微带阵列，简单说将高频PCB板集成在普通的PCB基板上实现天线的功能，需要在较小的集成空间中保持天线足够的信号强度。

英伟达手势识别芯片

Google Project Soli的毫米波雷达通过RDM（Range Doppler Map，距离-多普勒映射）算法获得目标信息。谷歌并没有公布Project Soli的设计细节，但笔者发现，英伟达设计的一款基于FMCW（调频连续波）技术的毫米波雷达手势识别芯片系统，同样使用了毫米波雷达技术，也采用英飞凌的MMIC射频解决方案。更巧的是，RDM算法也被应用在其中，应该相当具有参考价值。

该系统设计目标是用于车内手势识别，操作距离为1m之内。中心频率为25GHz的毫米波，频宽4GHz，距离分辨率是3.75cm。具有4D测量的功能，可同时测量物体的三维位置和运动速度，水平视角为±45 ^° ，垂直视角为±30 ^° ，检测速度不高于1.5m/s。该系统的设计原型由微控制器，模拟电路，雷达射频芯片和4路天线构成，其中3路接收天线，1路发射天线。下图是该系统的设计原型，粗糙了点，但是能用：

该系统的MMIC前端系统采用英飞凌的BGT24MTR2芯片，主控制器采用德州仪器的Cortex M4F微处理器。模拟端的采样频率为40KHz，采用8bit模数转换，锯齿波生成器采用500Hz的输入源输送给VCO（压控振荡器）单元，通过串口连接PC主机做信号处理和手势识别算法，系统采用USB供电，整个从机的功耗小于1W。整体架构如下图所示：

 

整个系统的工作原理如下：

1、雷达系统所发射的信号通过锯齿波函数进行调制后由天线进行发射，接收到手部的反射回波。

2、对于锯齿波调制而言，由于因为回波延迟导致的频移和拍频（回波与发射波的频率差）被耦合在一起，通过RDM （Range Doppler Map，距离-多普勒映射）算法进行解耦：将发射波与回波相乘，然后进行低通滤波。

3、 得到的结果进一步离散采样，组织成矩阵的形式，其中矩阵的每一列包含单次扫描的节拍信号。

4、然后再进行二维离散傅里叶变换，最后得到手部的位置延时和多普勒频移等信息，进而得到手部的位置和运动速度。

下图是原理的图示：

 

得到了手部的位置图和速度图，就可以辨别出具体的手势动作及含义。下图展示了 单手和双手手势识别效果图：每个手势最上面的图是雷达探测与手部深度图像的叠加图。雷达探测点的颜色代表手部该位置的变化速度。中间的RDM图是雷达的探测图，其中色块表示雷达探测到的物体，由于人手部是非刚性的，所以看起来像是一堆小物块。最下面的合成图展示了整个手部的动作，颜色跟速度对应。

上面我们简单介绍了毫米波雷达手势识别的基础原理，英伟达的雷达手势芯片在原理上与谷歌的Project Soli有很大的相似性，因此具有很好的参考价值。

二者区别在于谷歌的是60GHz频段的毫米波，而英伟达采用的是25GHz的毫米波；在天线设计和PCB设计上会有一些不同；再者英伟达的这款只是原型设计，其数字信号处理主要依靠PC端的处理能力，这当然不可能集成到嵌入式系统当中。

而谷歌则采用了专用的芯片来做数字信号处理，所以可以做到超低功耗，并提高性能，达到嵌入式可穿戴智能设备的使用需求。

目前Project Soli仍处于开放研发阶段。谷歌声称将在2017年推出版本的硬件。可以预见的是，在明年的开发者大会上，我们将会看到更加成熟的雷达手势控制芯片以及配套的软件系统，如果其成本可以降低下来，或许那个时候，新的交互时代将会来临。

本文为雷锋网独家特约稿件，转载请联系授权，不得删改，谢谢合作！