地平线张永谦：边缘AI芯片在AIoT市场落地面临5大挑战

AIoT 融合落地方兴未艾，工业制造智能转型迫在眉睫。

为了构建行业对 AIoT 产业的全新认知，解析 AIoT 泛产业的 “云、管、边、端” 及智能制造产业的发展，探讨当下 AIoT 行业落地困境及工业互联网发展思路，2019 年 11 月 22 日，全球 AIoT 产业· 智能制造峰会在深圳隆重举行，本次会议由雷锋网主办，由深圳市软件行业协会、深圳市大数据产业协会、深圳市人工智能学会、深圳市人工智能行业协会作为支持单位。

作为雷锋网精心打造的唯一年度 AIoT 盛会，峰会聚焦 AI、IoT、5G、边缘计算及其场景应用在内的关键技术发展；聚焦智能家居、智能制造、智慧城市为核心的关键产业落地，致力于打造探讨 AIoT 技术发展及产业落地中关键问题的行业技术峰会。为产学研思想碰撞、融合应用提供一个前沿阵地，为政企各界专业人士提供一个交流互动的专业平台。

在上午的「AIoT 技术变革」论坛上，地平线副总裁兼智能物联网芯片方案产品线总经理张永谦带来了《边缘 AI 芯片赋能行业，共建普惠 AI 时代》的分享。他表示，AIoT设备数量的快速增长背后隐藏着巨大的需求和商业机会。这其中，边缘产生的数据和有限的骨干网的处理能力之间的矛盾愈加凸显，要解决这个矛盾一定是云、端、边缘相结合。

地平线副总裁兼智能物联网芯片方案产品线总经理张永谦

在边缘侧，边缘AI芯片光有算力还不够，还要看算力的有效利用率。不仅如此，AI芯片不应该只是一个硬件，而是需要软硬结合。具体到AIoT的场景，张永谦认为AI的落地面临多形态产品、场景效果、快速开发应用、硬件开发、系统整合5个挑战，并且具体介绍了地平线如何一步步拆解解决这些挑战。

以下为雷锋网做了不改变原意编辑整理的演讲实录：

AI确实已经越来越多地和我们的生产、生活相结合，也开始去创造一些真实的价值。我今天要和大家分享的是地平线在边缘侧如何做Al芯片解决方案，以及如何把边缘侧和云端结合在一起，让整个AI落地。

首先谈一下计算，计算从中央往边缘越来越分散，一开始大家用的是大型机，然后到PC，每个家庭一台，到了手机每人一部，到AloT的时代，终端设备的智能化的趋势越来越明显，我们认为在不久的将来智能设备的数量可能比全球总人口数量高一个数量级，甚至两个数量级。这个过程背后隐藏着巨大的需求和商业机会，这个也是我们非常感兴趣的一个地方。

5G其实是为AloT去做准备的，它可以让端侧、边缘侧接入的设备数量大大增加，接入的质量也大大增加。但5G会带来一个更大的矛盾，就是在边缘侧巨大的数据每天都在产生，但建设骨干网和云端，扩容和成本都是非常大的挑战。

也就是说到了5G时代，边缘侧产生的数据和比较有限的骨干网的处理能力之间的矛盾会愈加凸显。要解决这个矛盾，将来AI的落地一定是云、端、边缘相结合，需要达到一个动态的平衡。前端我们必须做智能化的处理，一个大的架构是前端做大量的感知，真正的云端做比较复杂的认知，这其中就形成了一个动态的平衡，让整个网络的性价比达到最优。

边缘计算这几年比较火，因为它还有一些别的优点，比如在隐私保护上面，相比把数据传到云端，数据留在端上可以被更好地保护。当然边缘计算这个词也越来越火，现在跟云计算并列成为整个架构里面一个关键的元素。

讲到边缘计算的时候不能不提边缘AI芯片，这几年国内很多的公司都在提AI芯片，地平线从公司创立之初一直在做这个事情。从我们的角度看，边缘AI芯片跟传统的芯片有一个很大的不一样的地方，就是传统的芯片大家基本都是讲PPA，也就是Power功耗、Performance性能，Area芯片面积（成本）。这些要素主宰了摩尔定律在过去二十年到三十年间的快速发展。

到了AI边缘侧计算的时候，这个评估变得很复杂。首先大家在提AI芯片的时候会提我有几个T的边缘算力，但是光有算力不够，还要看算力的有效利用率。比如你有一个T的算力，但是你在实际场景只有30%的有效利用率，意味着70%的成本包括维持芯片正常工作的功耗都被白白浪费。

这之上要再看AI芯片的处理场景，针对这个场景处理的输出结果的有效性指标是不是最优，也是衡量整个AI芯片，包括上面算法一个最重要的指标。我们把这几点结合在一起，最终才能真正去评估。

基于上面的分析，地平线2015年成立之初做AI芯片的时候，就不单纯是一个芯片公司，我们做了大量的软件工作。我们在设计芯片的时候，除了芯片的架构，还设计了相应的指令级、编译器以及模型结构。这些其实都是我们对于未来几年主流边缘侧、AI场景的一个预判。我们在设计芯片整个架构和模型时，都会和这个预判紧密结合，把整个软硬件结合在一起。我们认为只有这样才能满足边缘侧对性价比、能耗比非常苛刻的要求，才能把边缘侧AI芯片做好。

在我们看来，AI芯片不应该只是一个硬件，而是需要软硬结合。最好的践行者就是苹果，大家用苹果手机即使用得很久，也会觉得非常流畅，因为它把软硬件做得非常好。即便苹果的主频和纯粹的物理计算力可能比高通要低，但事实上苹果手机运行操作系统，工作两三年以后，它的流畅性和工作性能，要高于同等主频下面的芯片厂商提供芯片的手机，这是一个很好的例子解释软硬结合的威力。

这是我们公司自己做的一个评估，在我们公司自主研发的芯片上面输入720p的图象，运行一个人脸识别的场景的算法。如果我们不考虑软件、编译器和架构，单桢消耗是141.9 MB per Frame，单桢计算延迟43.77毫秒，计算资源利用率57%。我们把编译器打开之后做优化，它单桢的带宽消耗是大大降低了，计算的资源利用率可以达到95%，它跟外面存储数据的交换次数和时间大大减少。这个例子体现了软硬结合的威力，这是我们公司成立到现在一直在努力的方向，我们在底层赋能的上面给用户带来的价值就是软硬结合。

我们有信心把摩尔定律延续下去，传统的摩尔定律是工艺为主，台积电已经在筹备3纳米的工厂。但是通过软硬件的结合，我们可以看到还有很大的发展空间。

下面讲一下地平线，地平线是2015年7月份成立，是中国第一家软硬结合的、真正面向AI做芯片的公司，率先提出了软硬结合的BPU架构。

2017年12月份，地平线发布了中国第一款边缘AI芯片——旭日一代和征程一代，旭日一代面向AloT，征程一代面向智能驾驶，我们比较荣幸是台积电全球第一家流片AI芯片的公司。

2018年，我们的征程芯片登陆美国顶级的Robotaxi车队。2018年底，旭日一代落地的首年，我们的芯片和解决方案出货量达到了六位数。

今天这个大会的主题是“智能制造”，所以这里我就是给大家介绍一下我们面向AloT 的AI芯片，地平线在刚刚结束的安博会上发布了旭日二代，这是面向AloT的边缘芯片处理器，等效算力是4T。

除了刚刚讲到的软硬结合的芯片理念之外，我接下来讲一下我们的边缘AI芯片是如何赋能整个行业的。

在我们软硬结合的基础之上，面对行业里面非常有能力的客户，我们会提供一个底层的工具链，这些客户都有很好的算法团队，有非常丰富的行业里的场景和数据，他们可以用我们的芯片和工具链，在这之上训练出来他们自己的模型。

这个训练区别于普通的计算芯片，对于未来的主流场景的算法演进趋势，我们投入力量做了非常大的预判，在我们的芯片里，我们对非常多的算法做了进一步的加速，这样，客户用我们的处理器和工具链结合他们的数据做训练的时候，相当于站在我们的肩膀之上。如果是一个普通的AI处理器，可能需要几位比较资深的算法工程师，花较长的时间进行训练，但是在我们这上面需要几位相对来说比较入门的或者不需要那么资深的工程师，同样可以快速地训练出来模型。这是对于很多新的应用和分散的边缘侧的应用有好处的事情，能够大大降低企业的投入和产品上市的时间。

2015年到现在四年多的时间， AloT在整个边缘侧落地的局面里存在一个问题，真正自己有很强AI能力的公司，包括算法能力、数据能力，占的比例非常少，可能连1%都不到。

大量的企业都有着非常丰富的行业经验，可能他们也有些行业数据，但是对于如何把AI在边缘侧做好，这个事情其实对他们来说挑战非常大。因为这是一个系统级的事情，大家可以看到它面临着非常多的挑战：

第一是各种形态的AI产品，比如像摄像头、智能面板机、各种形态的机器人、智能家电等等。这么多的AI产品形态，如何能够把它进行产品化，是一个非常挑战的过程。

第二是场景下的智能效果，你可以去购买一个AI芯片，再从某个算法公司里面找到你想要的算法，之后你要把这么多的东西自己整合在一起，还要考虑输入的图象质量，真正打造一个在边缘侧可以非常好地去做智能感知、分析，解决场景化需求的产品。其实做出来一个demo级的东西和一个产品级真正可用的东西，中间的需要投入的资源差别非常之大。如何能够把边缘侧的产品效果、AI的效果做得非常好，不光要有算力，还要把效果做好，也很难。

第三是如何快速开发上层的智能应用。因为在边缘侧落地的场景的复杂度，即便有芯片、有算法、有很好的图象输入仍然不够，因为整个前端的场景的策略非常复杂，你今天有一个基础的算法，输出一些结构化的信息，但是这些结构化的信息离你想要的有用信息其实是往往差得非常远，怎样能够快速地基于应用，把跟应用相结合的有效的软件开发出来，这中间还有一个很大的鸿沟。而且你每到一个场景会发现，可能策略都不太一样，这个时候怎么样快速开发上层的智能应用是第三个挑战。

第四是硬件的挑战，因为我们在这个过程之中发现，AI因为他是跟场景打通的，并不是像传统的产业链分工这样，做产品的做产品，做硬件的做硬件，然后再卖给那些真正在行业里面落地的。其实有非常多的行业和应用里的客户，他们离场景最近，知道AI怎么用，他们非常想自己拥有一个智能的产品，而不是再从某个第三方采购，他希望他可以直接拿到一个智能化的非常好的产品，但是硬件开发对他们来说其实是非常头疼的，因为大量的公司原来从来没有做过硬件的开发。

第五是系统级的整合。一个做AI芯片的公司，即便像地平线这样的公司软硬结合做得非常好，还提供工具链，但是会发现真正赋能行业的时候99%的用户用不起来，太复杂了，产业的分工还没有形成，产业链没有变得那么成熟，需要我们多做一步去赋能，去克服这些挑战。

后面我会详细介绍一下，我们赋能的方式，就是针对边缘侧的场景做芯片级的解决方案，进一步地赋能我们客户。

AloT是一个很大的概念，我们做解决方案的时候从上面的挑战一步步拆解，第一是不同形态的AI产品，这里面主要是做三类，第一类是摄像头，大家都知道摄像头芯片覆盖的场景非常广。第二是带屏幕智能产品，可以用来交互的面板机的产品，主要用在一些近距离的交互上。第三种边缘侧的计算盒子的解决方案，比较灵活地对接各种前端的感知的数据，这是目前基于地平线第一代旭日芯片和第二代旭日芯片的边缘侧AI解决方案。

首先说一下大家最关心的智能，我们有一个全栈的智能算法的能力，我列出来最主要针对人的智能化，因为人的智能化市场目前看起来是最先落地的一个市场。一级结构化，对一些原子的智能检测，到二级的结构化，可以做一些识别，包括做属性的分析和语音，然后再到最外层的三级结构化，对被分析目标的时间和空间的运动做进一步的语义级的分析，像Re  ID，基于旭日芯片，地平线有全栈的能力赋能我们的客户。这是对密集人群3D的建模，包括实时的跟踪，包括五个关键点的分析，这样能够为时空里面的追踪、Re  ID包括行为分析打下一个非常好的边缘侧的基础。

所有的密集人群里面的时空分析，其实都是在2瓦左右的边缘侧的一个小的AI芯片上完成的，它的性价比比传统的服务器大大提高，能耗也大大降低。

有了好的算法之后还需要有好的图象输入，这个图象输入也是一个技术活，不是选定了某一个芯片里的某一个ISP就好了，对于不同的场景要做大量的微观的调试，通过算法克服场景里图象输入带来的一些干扰，比如在室外布了一个智能感知的设备，一天中太阳的角度从早晨到中午、到晚上，冬天到夏天，强光、暗光，然后背光、逆光等等，在不停地变化，怎么让这个设备在一天中能够自动地去获取最好的图象效果，就要做非常多的图象的调优。

下面谈一下工程，怎么样在边缘侧和端侧快速开发不同的智能产品。我们在软件架构上做了统一的规划，让我们快速推出这些方案，也让客户在这个软硬架构上面可以快速地基于我们提供的底层做上层的应用开发。我们把这些智能能力都封装好，把整个硬件，包括OTA升级和云对接的SDK这些工作在我们的方案里面打包做好，用户可以很快的在这上面开发他们的应用。

我们除了把与我们芯片周边相关的做了完整的算法设计，去确保图象识别的效果，我们还对智能摄像头的模组也进行了设计，这样客户可以直接用已经调试好的整套硬件的核心部分，再加上外围自己扩展的部分，快速完成硬件的设计。

真正去布到场景里去的时候，即便把刚才那些都做了，效果可能还会受一些非常小的因素带来的很大影响，比如在低照的情况下如何补光，又比如有的时候通过可见光做不好，要补其他的光线，像红外光。

补光灯的位置、功率多少也会直接影响到图象输入，以及最终的效果。整个这些参考设计，我们都会在里面做好，让客户真的可以快速地完成产品化的过程。

除了这些，我们还会帮助我们的客户在一些比较关键的行业去过行业检测。我们推出第一代的AI芯片之后逐步摸索，慢慢给广大的客户去赋能，梳理清楚要做的事情及思路。目前我们已经推出了三个系列的解决方案，最上面是针对智能面板机的解决方案，另外是针对智能IPC的方案，还有像通行、考勤、可视对讲等，这里面主要针对人脸的智能化。摄像头里面人脸的识别现在用得最多，还包括在商业场景用的客流分析，以及在一些相对要求复杂的场景里做人员的结构化分析，以及行为分析。这些也都同样可以沉淀在我们边缘侧的分析单元里。

最后我想总结一下：地平线是专注于边缘AI芯片及解决方案的公司，我们在底层通过软硬结合，以及整套的解决方案去赋能，目前在行业里面像我们能够有这么大的投入、有这么全面能力的公司其实非常少，因为这个路确实比较艰苦，又要做芯片、又要做算法、又要做方案。

我们的服务理念是坚决不做行业应用，我们不会和我们的客户去竞争，也不会因为看到某一个行业在大爆发，就直接冲到最下游去，既做产品又做项目，然后把我们合作伙伴的事都给做了。我们还是恪守我们的本份，做底层的技术赋能。

我们最终的目标是希望能够让AI更加普惠，不是只在少数有实力的组织才能去玩的东西，而是通过我们的软硬结合和解决方案，能够让AI走到行业客户的面前，客户在上面再把整个行业的应用进行更好的开发，然后在边缘侧形成一个非常好的智能感知的输入和筛选。在边缘侧的AI再和云端的AI相结合，最后让这个技术整个在行业里面真正地落地。

关注「雷锋网」公众号，发关键词 「2019 AIoT峰会—地平线」 ，获取本文精彩演讲PPT。

雷锋网年度评选—— 寻找19大行业的最佳AI落地实践

创立于2017年的「AI最佳掘金案例年度榜单」，是业内首个人工智能商业案例评选活动。雷锋网 (公众号：雷锋网) 从商用维度出发，寻找人工智能在各个行业的最佳落地实践。

第三届评选已正式启动，关注微信公众号“雷锋网”，回复关键词“榜单”参与报名。详情可咨询微信号：xqxq_xq

相关文章：

大咖云集，观点碰撞！《全球 AIoT 产业· 智能制造峰会》圆满落幕

。