一像素只需一个光子！新型单光子相机对光的需求降低1000倍

DeepTech深科技 麻省理工科技评论独家合作

　　

　　 编者按： 俗话说，巧妇难为无米之炊，相机难拍“无光”之景（脑补被你拍糊的无数夜景照片）。没有光，人眼都看不到任何东西，更别提用相机拍照片了。

　　 摄影爱好者都知道，相机拍摄照片的质量与感光元件以及进光量大大相关。像素是相机的最小感光单元，光圈和快门分别控制进光孔的大小和曝光时间的长短。

　　 通常，100万像素的商业相机需要采集 十亿以上 的光子才能拍出一副像样的照片，这相当于每个像素采集上千个光子。

　　 然而，很多科学研究都是在弱光环境下进行的，比如远距离遥感成像领域，生物显微成像领域等等。这类研究环境的光通量都非常小，采集时间也大有限制，想要采集上亿的光子简直是痴人说梦，难为“巧妇”相机嘛!

　　 今年6月24日，《Nature Communication》上刊发了来自麻省理工学院（MIT）的杰弗里·夏皮洛（Jeffrey Shapiro）教授研究团队的研究成果――新型 单光子相机 ，解了“巧妇”之难！

　　 该单光子相机具有极高的 光子效率 ，仅仅通过平均 每像素探测一个光子 ，就能在弱光环境下高效、快速、准确的重建三维自然场景。不仅准确，还是三维的哦！

下面我们来看看它是如何还原三维自然场景：

　　

新型单光子相机成像系统装置图。图片来源：Nat Commun, 2016. 7:p. 12046.

　　 实验过程

　　一束脉冲激光（周期50ns）经过散光板扩散后照亮测试场景，白炽灯提供干扰背景光以模拟真实环境。场景内物体（模特和向日葵）反射的信号光和背景光一起经过一系列镜头聚焦至 单光子雪崩二极管 （single-photonavalanche diode, SPAD）阵列并转换成可检测信号用于重构场景。

　　SPAD是一类高灵敏度的半导体光电检测器，广泛应用于 弱光信号检测 领域。这里，SPAD阵列是单光子相机的关键部件，能够精确的检测并记录光子的时间和空间信息，通过对这些信息实施特定的三维重构算法，就能得到场景的三维重构。

夏皮洛说：“新型单光子相机表现不俗，相比其他技术，我们能够在弱光环境下获得更高效更准确的成像。”

　　

　　 图片对比了不同成像技术在每像素单信号光子检测水平下，对自然场景（模特和向日葵）重构的实验结果。(a)、(e)、(i)是用滤波方式逐像素成像技术的重构结果。(b)、(f)、(j)是基尔马尼团队光栅扫描式伪阵列成像技术的重构结果。(c)、(g)、(k)是夏皮洛团队单光子相机成像技术的重构结果。(d)、(h)是在强光环境每像素500信号光子检测水平下的精细重构结果，以此作为真实场景的代表。(l)是后三种成像方法侧面轮廓的对比，以曲线d为真实基准，c比b更真实的反应了自然场景。图片来源：Nat Commun, 2016. 7:p. 12046.

　　夏皮洛团队的单光子相机的成像分辨率，不管是从正面还是从侧面，都完胜其他两种方法，并且具有最小的深度误差。由此证明了，该单光子相机是至今为止，在 弱光环境下拥有最高光子效率、最优图像重构精度的成像技术 。

接下来我们来看看这个单光子成像是怎么实现的吧。

　　

　　 (a)是超快单光子时间测距成像系统装置。(b)是TCSPC模式原理。图片来源：Nat Commun, 2015.6: 6021.

首先介绍一种高大上的技术叫做超快单光子飞行时间测距成像，是赫瑞瓦特大学光子与量子科学研究所（Institute of Photonics and Quantum Sciences, Heriot-Watt University）的杰诺维夫（Genevieve Gariepy）及其合作者提出的。《Nature Communication》杂志于2015年1月27日发表了该研究成果。

　　杰诺维夫团队利用SPAD阵列，使每个像素工作在 时间相关单光子计数（TCSPC）模式 ，从而能够同时获得时间和空间信息，时间分辨率达到了 67皮秒（10 -12 秒） ，甚至观察到了激光在空气中的飞行轨迹。

　　

　　 利用超快单光子飞行测距成像系统，科学家首次捕捉到了激光在空气中飞行的画面。视频来源：Nat Commun, 2015.6:6021.

TCSPC模式使得每个探测像素记录下单个光子从激光脉冲发出到被场景中物体反射回探测像素的时间。根据探测器检测到的不同光子到达时间，同时利用光子统计直方图特性，可以获得场景三维目标不同层面反射的光子计数。通过一定的算法，就可以重现场景的三维目标。

　　 制胜之招

在主动光学成像系统中，传统三维重建工作方式是逐个像素的从光子时间统计直方图获得距离信息和反射率信息，这就要求所检测的信号光子数量必须达到每像素几十个甚至几百个光子才能获得准确地场景估算。如果环境光通量很小，传统三维重建的图像质量就堪忧了。

　　 夏皮洛团队的单光子相机为什么就能获得比别人好的成像质量呢？

其实，来自麻省理工电子研究实验室（MIT's Research Laboratory of Electronics）的艾哈迈德·基尔马尼（Ahmed Kirmani）研究团队也表现不俗。

　　2014年1月《Science》杂志刊发了他们的研究成果：一种通过单个时间相关SPAD探测器进行光栅式扫描的 首光子成像（First-photon imaging, FPI）系统 ，仅仅利用探测器接收到的第一个光子实现高质量的三维图像重建。

基尔马尼说：“每个像素检测的光子数决定了光电转换后积累的电荷数量，进而决定了用于重构的有用信号的强度。只靠每像素检测单个光子来重构图像，简直不可思议。”

　　 视频介绍了首光子三维成像系统、三维重构原理及步骤。视频来源：https://youtu.be/vhLrhsM66SU

　　顾名思义，首光子成像技术就是 对不同扫描位置的像素单元不断的发射激光脉冲，直到检测到首个反射回的单光子才停止并进行下一扫描位置 。在这个过程中， 记录下已发射的脉冲数量 {ni,j} 以及该被检测的单光子从出发到被检测到的时间 {ti,j} ，用于重构三维图像的反射率特征和深度特征 。比如说，自然场景中高反射率（比较亮）的部分，探测到单光子之前记录的已发射的脉冲数量肯定少于低反射率（比较暗）的部分，这样就获得了重构图像的反射率特征。

　　但是这样的图像包含了大量的背景光和其他暗噪声，如果只是简单地用泊松统计滤波方式，很可能会导致图像失真。基尔马尼团队巧妙地利用自然场景特征的空间相关性，即相邻像素之间具有类似的特征， 提出了绝对差值排序（ROAD）滤波算法 。

　　他们通过三个步骤重构高质量三维图像：(1)通过脉冲数据 {ni,j} 估计图像反射率特征；(2)利用ROAD方法滤除无关的背景光和暗噪声；(3)通过原始时间数据 {ti,j} 估计图像深度信息。

首光子成像能够带来极大的好处，适用于弱光环境，减低工作功率，降低每个像素的照明时间，增大操作距离，提高实时成像性能等。

　　但是，由于其特殊的信息记录方式（ {ni,j} 和 {ti,j} ），每个像素的信号采集时间是个 随机变量 ，而目前商用SPAD阵列相机的所有像素必须具有 相同的信号采集时间 ，这就限制了其只能用单个时间相关SPAD探测器通过光栅扫描方式获得图像， 成像速度上有很大的局限性 。

　　 而夏皮洛团队的新型单光子相机成像突破了这个局限性 。 他们利用SPAD阵列高效快速的捕获不同像素接收单光子的时空信息，并提出了新的三维重构算法以获得重构的真实场景。

　　在过滤无关检测信号（背景光或者暗噪声）上， 他们综合考虑了纵横两个维度的像素空间强相关性，提出了全变分（Total-variation, TV）自适应图像去噪的方法 ，对所获得的反射率图像和深度图像进行处理，从而获得了更好的图像质量。

　　 视频显示新型单光子三维图像重构算法的三个步骤。视频来源：Nat Commun, 2016. 7: p. 12046.

新型单光子三维图像重构算法的三个步骤：

　　 1、重构三维自然场景的反射率特性。

物体的反射率具有空间相关性，给定像素处的反射率一般与临近像素相似，而在物体的边界处有骤变。在原始图像数据上增加一个全变差范数（TV）横向平滑约束，通过解一个正则优化问题就能获得最终的反射率特性图像。

　　 2、使用特殊过滤算法，识别并清除探测到的无关数据信息（包括背景光和暗噪声）。

把TCSPC探测的所有单光子飞行时间数据做成统计直方图，其结果只在特定的时间区间上计数为非零值。该算法在图像数据上增加纵向稀疏矩阵约束，通过解一个稀疏反褶积德问题，就能够获得代表性的场景深度信息。

　　 3、 类似于步骤一，对步骤二深度图像上增加一个全变差范数（TV）纵向平滑约束，通过解一个正则优化问题就能获得最终高分辨率的三维重构图像。

　　 大有可为

新型单光子相机光子效率远远高于传统相机，意味着单光子相机在弱光环境下将大有可为。

　　

新型单光子相机潜在应用领域

科学研究如生物成像，遥感探测技术、天文探测等，都将大大得益于单光子相机的发展。通过与麻省理工化学系合作，研究者已将单光子相机与荧光成像相结合，为生物学成像提供了新的手段。三维重构算法能够自动过滤无关干扰信息，这就为一些要求快速成像和容噪能力的应用提供新的思路，比如为自主导航机器人系统里的无人机和无人探测器等提供三维视觉。

　　 参考文献：

　　 [1] https://www.wikiwand.com/en/Avalanche_photodiode

　　 [2]Buller, G. S. and A. M.Wallace (2007). "Ranging and three-dimensional imaging usingtime-correlated single-photon counting and point-by-point acquisition."Ieee Journal of Selected Topics in Quantum Electronics 13(4): 1006-1015.

　　 [3] Dongeek Shin, A. K., Vivek K Goyal,and Jeffrey H. Shapiro (2014). "Photon-Efficient Computational 3D andReflectivity Imaging with Single-Photon Detectors."

　　 [4] Kirmani, A., et al.(2014). "First-photon imaging." Science 343(6166): 58-61. DOI:10.1126/science.1246775

　　 [5] Gariepy, G., et al. (2015)."Single-photon sensitive light-in-fight imaging." Nat Commun6:6021. DOI: 10.1038/ncomms7021

　　 [6] Shin, D., et al. (2016)."Photon-efficient imaging with a single-photon camera." Nat Commun 7:12046. DOI: 10.1038/ncomms12046

深科技招聘自由撰稿人，要求

文笔好，懂科技，稿酬优

联系：deeptech@mittrchina.com

　　 IEEE中国是DeepTech深科技的战略合作伙伴，想要获得最新的科技资讯和会议信息，敬请关注IEEE中国。

MIT Technology Review 中国唯一版权合作方，任何机构及个人未经许可，不得擅自转载及翻译。

分享至朋友圈才是义举

　　 DeepTech深科技

　　 ID：mit-tr

　　 长按关注