从技术到产品，AI-ISP夜视的破局之路

具备夜视能力的摄像机，可以打破昼夜限制，识别夜间无法辨别的目标，提高夜间工作的能力，目前已落地到安防、交通管理、环保监测、夜景拍摄、户外探险等场景。

当前，市场上夜视相机的极限光照度基本在0.01Lux。

照度（Lux)，指单位面积上接收到的可见光的光通量，是衡量环境光的亮度单位。“最低照度”反映的是摄像机可以在多黑的环境下仍能看到物体。

然而，受到硬件发展的制约，视觉成像系统的成像效果已接近天花板。但在一些特定场景下，市场需求达到了0.001Lux及以下的星光级。

在未来较长一段时间内，通过硬件实现最低光照度从0.1Lux到0.001lux的跳升，困难极大。

并且，随着复杂场景和图像处理要求的提高，传统ISP在暗光条件下的降噪、对比度增强和暗光提亮方面的局限性，已经越来越明显。

2018年，英特尔实验室发表论文《Learning to see in the dark》，提供了一条新的路径，其通过深度学习算法打造全新AI-ISP成像体系的思路，成为时下提升光照度的主流。

低照度下的夜视技术探索：硬件方案受阻，AI技术解围

在AI-ISP技术出现前，夜视领域的玩家们更多在硬件上想办法，实现更低的照度。

索尼是感光芯片领域的最强玩家，上世纪90年代便已进入低照度全彩夜视领域，并且是背照式、堆栈式CMOS图像传感器的率先研发者。

索尼主要针对感光芯片进行工艺上的改进，核心思路是不断减少电路所占的面积，同时增加感光芯片的感光面积。硬件上，索尼做出不少努力，比如推出全画幅感光芯片。

但即便是索尼，将低照度感光芯片的光照感知能力 0. 14 Lux 提升到 0. 07 Lux，也花费了五年时间。使用的最高端的全画幅感光芯片，售价高达上万块钱。

材料学及制造工艺难以突破，硬件制约下的视觉成像系统，成像效果已接近天花板。

短期内，通过硬件提升光照度，难度显而易见，在软件上进行探索，则能打开局面。

2018年，英特尔实验室针对这一世界级难题，提出可以通过整个神经网络实现ISP的全部功能。

ISP（图像处理芯片）类似人脑的视觉处理中枢，当我们想要看到这个世界的时候，大脑中几百亿个神经元链接就会开始工作。AI-ISP相当于将人类复杂的视觉神经网络在摄像机中实现，为摄像机提供一个新的大脑。

ISP作为一系列图像处理算法的集合，负责完成从sensor RAW到图像RGB数据的转换，过程包括各种矫正、去噪、转换和增强等环节。

然而，随着复杂场景越来越多，图像处理要求越来越高，传统ISP在暗光条件下的降噪、对比度增强和暗光提亮方面，局限性越来越明显。

由于传统ISP通常采用硬件实现，不断扩充的参数库，带来调试上的困难，整体开发周期逐步拉长。

而以AI技术为辅助，通过深度学习海量场景和数据，输出算法模型，对图像进行精准处理，则可以在某些场景大幅改善传统ISP的成像效果。

得到端侧大算力的支持后，这种全新的ISP成像体系，突破了传统ISP图像处理体系的硬件限制。

作为解决低照度下实时全彩夜视这一难题的一剂良方，AI-ISP的技术成果，已经落地到了安防、矿井、石油、自动驾驶、无人机等场景。

目前，国外的索尼、豪威、安霸，国内的海康、大华、华为等都是该领域的重要玩家。

除了上述大厂，也有一些创业公司参与其中，比如深知未来、京德致远、影石等。

在深知未来创始人&CEO张齐宁看来，“AI夜视技术是目前唯一能够实现全彩夜视的技术路径”。

目前，深知未来基于其AI-ISP全彩夜视技术，已发布一系列产品，包括无人机载荷S2 PRO和S6，手持夜视单筒镜等。

这些产品突破了传统夜视技术的局限，具有全彩实时成像、高分辨率、不惧强光、成本低、场景适应力强等特点。

AI-ISP商业化落地的两大难点：难调试、成本高

最开始，深知未来按照英特尔的思路，用一个端到端的一体化神经网络实现ISP。

然而，团队很快发现，英特尔的思路虽然可行，但终归只是一个实验室中的技术，很难实现商业化。

原因在于，这一技术需要巨大的算力支持，成本颇高。即使以当下的算力平台，要支持这样一个端到端的一体化神经网络，也仍是一件难事。

经过半年探索，深知未来发现了两个横亘在商业化途中的问题。

其一，用一体化神经网络实现ISP时，很难对其进行调试。

由于不同产品应用对图像的要求不一，因此芯片厂商基本都会预留大量参数，以供产品厂商再做调整，调试出具备自身风格的图像。

然而，对于使用ISP芯片的厂商们来说，想要对一整个神经网络进行调整，为此专门另招专业的算法工程师并不切合实际，此外也根本没有数据对图像风格进行调整。

其二，通过整个神经网络实现ISP的全部功能，难度太大且不必要。

“事实上，只需做跟图像质量相关的关键ISP环节，如降噪、HDR、3A等 AI 化，就能立刻提升图像质量，而不必对整个ISP进行神经网络化。”张齐宁对雷峰网 (公众号：雷峰网) 表示。

截止目前，大多数业界针对AI-ISP的研究，都只将少数模块AI化，“大多数芯片厂商只处理其中的一部分任务，仍然留很多参数，让下游产品厂商做调整。”

深知未来于是转换思路，抛弃高成本的整体路线，转而针对关键ISP环节进行AI化，并将自己的夜视神经网络命名为“EODNet”（end of dark）。

2019年，安霸公司提出“AI-ISP”概念，用以描述这种全新的ISP成像体系。

自安霸提出AI-ISP概念后，业界都将自己的相关技术定义为AI-ISP，并提出各不相同的理解。在当时，连AI人脸识别这一更上层的应用，也被纳入AI-ISP领域。

经过几年的探索，业界对于AI-ISP的理解渐渐趋于一致。

张齐宁对雷峰网解释道：“AI-ISP的定义，是完成从感光芯片到成像过程的一整个算法集合体，包含20-30个算法。凡解决的问题与这20-30个成像任务相关，如降噪、锐化、HDR等，那么就可以被认为是在解决AI-ISP的问题。”

业界主要玩家中，索尼的重心主要在低照度的底层技术研究上，前期更多探索如何通过硬件实现最低照度；国内在夜视应用领域长期布局的海康、大华，重心则在使用更好的光学镜头与感光芯片，解决具体场景中的夜视难题。

“对比做AI-ISP的友商，深知未来对整个AI-ISP体系研究涵盖的范围和深度是最大的。有的厂商在20-30个算法中，只关注了2-4个领域，深知未来关注了7-8个成像领域。其中3A、超分等技术，很多AI-ISP厂商还没有开始涉及，而深知未来已经做了很多年研究。”张齐宁介绍道。

行业应用多样，同类赛道该如何竞技？

如今，低照度全彩夜视成像，已在G端、B端和C端市场形成多样分支。

比如，在公安领域，低照度全彩夜视成像的摄像机被用于刑侦场景。

数据显示，80%的重大刑事案件发生在夜间，这给刑侦带来了很大困难，传统AI视觉摄像头很难解决黑夜场景下成像模糊乃至缺失的痛点。

全彩夜视摄像机的优点是，即使在极低照度、肉眼无法看清、无补光的夜间环境下，仍能以较低的成本，提供实时彩色清晰的图像。

此外，自动驾驶领域的夜间行驶，工业检测领域的复杂光线场景，基于AI-ISP的低照度全彩夜视成像，都能极大改善图像质量。

根据客户属性的不同，深知未来提供差异化产品，以满足客户需求。

面对B端市场，深知未来的定位是一家技术公司。

深知未来在B端市场，类似一个单点技术服务商，以为合作伙伴竞标提供更有竞争优势的前端产品为主。

“B端选择深知未来，更多的是对方自己有成熟的解决方案，需要一些让客户更感兴趣的点，避免同质化竞争。”

深知未来在B端的产品形态，主要分为两种：整机产品和机芯。

工业无人机是深知未来最先商业化的领域，主要提供完整的产品形态。截止目前，深知未来一共发布了 4 款全彩夜视相机，可适配搭载于大疆的行业机。

其中，全彩夜视无人机载荷S2 PRO在S2的基础上，着重解决夜间作业的关键痛点，实现更远的视距与更精准的定位。

安防领域，深知未来主要提供夜视机芯，合作伙伴基于深知未来的机芯，已经开发出10款不同的安防产品。

面对C端市场，深知未来的定位是一家产品公司。

C端客户需求相对简单，更注重新奇的体验。

深知未来在C端主要推出完整产品，如今年推出的两款便携式夜视设备，单反式的夜视设备P6，以类似单筒望远镜形态的P8 Pro。

P6和P8 Pro是两款从行业到户外的产品。

行业端，应急救援、公安侦查、边防巡检等场景对便携手持夜视设备有着长期的更新需求。

消费端，欧美地区户外文化成熟，徒步露营、打猎观鸟等场景，对便携手持夜视设备的需求同样必不可少。

当下，夜间全彩成像，需求缺口巨大。北美地区，用户对户外精准夜视的需求几近刚需，但市面上主流的热成像夜视仪和红外补光夜视仪，多为黑白成像或弱彩，存在目标细节特征不明显等缺点。

除了便携式设备向消费端的倾斜，深知未来也计划将工业无人机的整个模组和产品做得更加轻量级，在未来搭载到消费无人机上。

结语

在夜间实时全彩成像这一难题上，AI-ISP技术已被证实取得了突破性的进展，但其商业化之路，经历了不断的调整和适配。

自2010年的计算革命开始，AI视觉成像成为一股浪潮。但是夜间在极低照度下，如何在多个行业应用场景里实现全彩成像，仍然是一个需要不断突破的命题。

当下，入局AI-ISP的玩家众多，不仅有海康、大华等安防巨头，还有OPPO、vivo 等手机大厂，芯片端海思、地平线、瑞芯微、安霸、豪威、国芯微等也都有所涉及。投身于其中的巨头们，虽有技术、品牌、渠道优势，但整个赛道仍处于早期发展阶段。

创业公司们通过不同的技术路线进行差异化布局，仍然可以在众多细分领域中找到属于自己的位置。

雷峰网原创文章，未经授权禁止转载。详情见 转载须知 。