算法定义硬件，站上旷视技术开放日的C位

八年前，布莱恩阿瑟在《技术的本质》一书中写到，技术是为了达成人们的目标而被组织起来的自然，技术就是对自然的编程。

一句话解构了技术，也让我们意识到，技术与自然的关系。

八年后，一家中国AI公司用实践向我们证明技术与自然的连接是如何又创造着它自己。

从2011年起，旷视深耕AI研究，在创始人印奇的眼中，AI是人类对于科技的最高追求，而在每个阶段，AI都会有它在那个阶段更具象化的一个定义，来成为那个时代商业和科技落地的最重要的主旋律。

而AIoT这个词一直是旷视这11年当中最核心的主旋律。在7月15日的旷视技术开放日上，印奇给出了AIoT一个简单的公式，即AIoT=AI+IoT+空间。

AI代表不断演进的算法能力，在每个AI真正能够规模化落地的自然场景里面，需要找到一个非常好的IoT硬件载体。

旷视从而也提出了“算法定义硬件”的概念。

为什么算法定义硬件？

为什么旷视说算法定义硬件？

AI本质上不是独立的产业体系，算法只是智能化工具。因此，AIoT是AI公司价值落地的路径，过去十多年的发展中，AI更多的是在解决一些重复度比较高的场景需求，比如安防场景、图像识别等。

传统的AI硬件产研模式，也是以硬件为核心。对于行业性ISV、集成商而言，只能根据功能参数而非应用场景来选择硬件厂商提供的产品。因此，算法必须在硬件功能与应用场景之间寻找平衡、做出妥协，用旷视研究员的说法“传统的算法研发其实就是戴着镣铐跳舞，你需要充分考虑这些限制，然后找一个最能适配的算法。”并且这使得大量用户需求无法得到充分满足。

尤其是长尾的碎片化场景是不断变化的，按照传统的“海量硬件+定制算法”的研发模式，每个应用场景，都对应于一套硬件和一套算法的产品组合。

这类产品组合缺乏足够的灵活性和可扩展性，算法无法根据应用场景的变化，进行升级迭代。而一旦用户应用场景发生变化，就不得不去部署新的硬件，造成硬件建设和维护成本高昂。

因此，AI硬件必须另辟蹊径。具体来说，新型AI硬件应该是“标准硬件+海量算法”的产品组合，即先建立一套标准化的硬件产品组合，然后硬件可根据应用场景的需求灵活加载不同的算法。换句话说，硬件可以是不变的，但算法可以灵活加载、动态更新。对于用户而言，这意味着更低的硬件建设和运营成本。

举一个简单的例子，假设要建立一个智慧社区，其中有多个点位，包括用户也要做区分，每个点位功能不同，硬件不同，安装和联动也变得复杂。但如果采用“算法定义硬件”，智慧社区只有统一的几类硬件，在落地中按照点位统一部署。比如电瓶车检测点位，客户只需要下载电瓶车检测的算法包，设备就变成了电瓶车检测的专用的设备；比如烟火检测点位，下载相应的算法包就变成了烟雾检测的IPC。

这就诞生了“算法定义硬件”的理念，实际上，算法也是最直接面向解决行业应用场景的，天然更接近用户需求。因此，AI硬件的研发必须以算法为起点，来进行产品的研发。只有以算法为核心，才能最大限度地满足AIoT海量和碎片化应用场景的需求。

算法定义硬件的三个阶段

算法定义硬件有“三级火箭”。

第一级是形成硬件单品最小闭环，比如旷视推出的魔方盒子产品。在传统系统需要智能化改造时，魔方可以快速通过RTSP或者国标等协议对接前端已有相机产品，提供各类智能应用服务，对上层平台提供API接口上报相关警戒事件。

目前魔方针对各类场景应用，接受部分ISV定制功能，且魔方还可以提供容器化部署方案，ISV可将自己的应用部署到魔方上，与旷视算法能力融为一体。

比如在生产安监、加油站、园区等不同场景，加载不同的算法，魔方盒子就成为了一个行业性产品。

实际上，算法定义硬件在行业里已经落地，这两者最显著的结合点就是计算摄影。旷视研究院计算摄影负责人范浩强梳理了拍照技术的发展过程，他提到，智能手机的进一步发展也在拓展拍照能力的边界，自从算法引入智能手机之后，在夜晚拍照对于消费者来说已经不再遥不可及，而成为大家认为理所当然的一个事情。

“可以说，算法引入使得智能手机可以很高质量地在月光下进行夜景拍照。而AI算法的引入让这件事情的边界得到进一步的扩展。进入2022年，我们可以很自豪地跟大家说，在AI驱动之下的智能手机拍照能力已经到达了星光级。”范浩强在旷视技术开放日上说。这其中， AI算法扮演着非常重要的角色。算法本身的复杂性越来越高，相关镜头的防抖、对焦以及光线传感等等每个组件也根据算法需求进行定制，才能实现影像能力的提升。

旷视深度参与到影像能力提升过程中。目前在1080P这个规格上，旷视“AI画质”方案已经用通过多种形态软件得到了应用。

第二级是产品大闭环阶段，重构“云边端”产品体系，形成一整套覆盖“云-边-端”的AIoT软硬一体化产品组合。

为此，旷视推出了数字空间解决方案，构建起覆盖云边端的软硬件产品组合，并且建立了算法下发工具，实现算法的自动化下发与升级，降低硬件成本，提升使用效率。

旷视研究院算法量产负责人周而进表示，在一个应用场景里，尤其是针对丰富、长尾且碎片化的需求，只解决一两个单点的算法流程是不够的，需要有一个强大的算法生产能力和体系，能够规模化、系统性地解决一大类场景下的算法流程。

旷视自研的AIS就是针对数据生产、算法模型和推理框架的标准化从而推出的一个算法生产平台。基于旷视Brain++体系，在旷视自研的深度学习框架MegEngine，在旷视自己的数据管理平台MegData和计算平台MegCompute的基础上面，为算法生产构建的一个从数据到模型训练，到性能分析调优，到推理部署测试全链路的零代码自动化的生产力工具平台。

第三级是生态打通，协议互通。不过这仍然是目前的憧憬，但是为了实践这一目标，旷视也已在积累技术储备，打造基石。

这个基石，也正是近期旷视技术开放日上，CEO印奇提出的“2＋1”核心技术科研体系。“2+1”的AIoT核心技术科研体系，即以“基础算法科研”和“规模算法量产”为两大核心的AI技术体系，和以“计算摄影学”为核心的“算法定义硬件”IoT技术体系（包括AI传感器和AI机器人）。

2即基础算法科研+规模算法量产，1便是算法定义硬件

可以说基础模型科研是AI创新突破的基石。可以看到，历史上每一代基础模型的突破都很大程度上促进了视觉AI的发展。

旷视研究院基础科研负责人张祥雨判断“大”和“统一”是现今视觉AI基础研究的新趋势。

围绕着“大“，旷视将研究细分了三个部分，分别是：大模型、大算法和大应用。在张祥雨看来，真正的“大“是要以创新的算法充分发挥大数据、大算力的威力，拓展AI认知的边界。

围绕“统一”，张祥雨发现近两年算法在底层正在走向统一。这意味着如果能用统一的算法、统一的模型来表示和建模各种数据、各种任务，将可以得到简单、强大、且通用的系统。

基于“大”和“统一”的两大观点，旷视基础模型科研的重点分为四个主要的方向：即通用图像大模型、视频理解大模型、计算摄影大模型和自动驾驶感知大模型。

不过AI和IoT 对旷视来说并不是并列关系， AI是旷视的核心能力，而IoT是核心载体。具体来说，在AI里，从基础的科研创新到把它推向规模化的市场，要用算法量产，用系统化的方式来解决AI算法的全流程的生产问题。而在IoT里面，要不断地去定义更能够匹配核心的AI大脑的传感器以及机器人。

只有这样的一个“2+1”的AIoT核心技术科研体系才能支撑旷视未来不断走向新的AIoT商业成功。印奇给旷视描绘的蓝图，是期望用技术改变世界，一部分是真的做出好的技术，第二部分是要真的让这些好的技术为客户创造价值。

正如布莱恩阿瑟所说，技术在最深的本质上是极度的自然和人文。