西部数据孙煜:AI安防与存储的变革丨AI安防峰会
2020年9月5日,由雷锋网& AI掘金志主办的「第三届中国人工智能安防峰会」在杭州正式召开。
本届峰会以「洗牌结束,格局重构」为主题,会上代表未来新十年的15家企业,为现场1000余位听众和线上几十万观众,分享迎接安防新十年的经营理念与技术应用方法论。
峰会之上,西部数据智慧视频产品首席技术官孙煜带来了题为「AI安防与存储的变革」的精彩演讲。
孙煜提到,人工智能在监控行业的应用四个主要要素:芯片、软件、存储和厂商。
芯片不断提升算力,并降低成本,软件提供高效实用的算法,海量数据需要被存储才能被利用,厂商集成以上要素并落地。这个生态中,各方要素一起合作才能使得AI真正落地。
AI应用,使得视频监控的存储架构从以前的端和边,变为现在的端、边、云,连接方式云化,其中,存储器需要更高顺序读写性能、更大的存储容量、更高地随机读写性能、更快地响应时间。
西部数据通过提供视频监控行业从终端到核心的存储产品组合,协助视频监控行业的AI落地。
孙煜演示了西部数据专门为整个视频监控行业打造的从端、边、云的各个产品组合,以及专门随时检测硬盘监控状态的软件WDDA,Western Digital 设备分析 (WDDA) 是 Western Digital 的监控优化存储产品系列支持的全新设备分析功能。WDDA使管理员能前瞻式地管理存储设备并保持性能优化,防止意外故障。
孙煜强调AI进入后传统监控盘力不从心,系统厂商通过合并通道单码流,顺序地写入,大大减少了硬盘的飞行时间和次数,把飞行机会转移到数据库访问,提升存储系统的性能。
西部数据认为提高数据利用率的关键,是告别简单粗放模式,进行精细化的分层存储策略,他们还建立起一套四层存储架构体系:热存储、温存储、冷存储、极冷存储,分而治之,极大地提高数据利用效率。
西部数据智慧视频产品首席技术官孙煜
以下为孙煜现场演讲全文,雷锋网作了不改变原意的整理与编辑:
孙煜:大家好,今天在这个会场之上,我想谈一个比较特别的话题:AI和存储厂商之间究竟是什么样的关系?
西部数据一直以来主要销售存储器件,表面来看与AI之间的关联并不密切,今天通过这个演讲我希望能够解答这个问题。
首先,我来介绍一下西部数据,它是一家全球化公司,已经有30多年的历史,目前在全球拥有不同国籍的员工大概68000多名。
在这么多员工的努力之下,我们全球的有效专利有14000多个。雄厚的技术积累之上,我们搭建了非常广泛的存储产品线。
与其他存储公司显著不同的是,西部数据是世界上唯一一家既有NAND晶圆厂,又有硬盘原厂的厂商,且其中的各类技术、控制器都是自产自用的。
简单介绍完西部数据公司,接下来我想和大家聊聊,由人工智能推动的视频监控架构的变迁以及存储器的应对问题。
我会从技术和产品两个角度分别去阐述一下。
(图示)这是IHS发布的一份第三方报告,数据显示:
纵观视频监控行业发展,从前端摄像头到后端NVR、DVR,人工智能渗透率非常惊人,预计到2023年可以达到70%左右的渗透率。
那么,究竟是何原因导致AI在这个行业可以走得如此顺利?原因并不复杂,AI在视频监控行业落地应用,的确可以解决很多固有难题。
过去,传统安防行业的视频查找、分析基本需要依靠人力肉眼查别。
AI应用之后,前端摄像头拥有了一些算力,可以实现对人、车、物的充分结构化,通过云端大数据融合计算,可以很快得到预期结果。
以上海为例,视频监控拥有AI加持后,2019年入室盗窃的破案率提升了30%以上。
大家应该都知道,AI与传统产业的融合应用,主要考验四大核心要素:芯片、软件、存储和厂商。
先谈芯片,算力要不断提升、成本要不断下降,正如海康李总所说,如果芯片算力提升了,但成本还是居高不下,AI最终还是很难落地。
再谈软件,你必须研发出更为高效、准确的算法,能够实际应用于落地场景之中。
接下来是数据,前面几位演讲同仁一直在提到各类各样的数据,数据最终需要承载空间,而这个空间就是存储,这就需要我们能够生产出非常适合AI应用场景的存储器件,这一块我后面会具体谈。
最后就是厂商,传统安防市场就需要像海康、大华这样的厂商,要将所有的零部件集成起来,去做落地,去走完最后一公里。
所以,AI的应用其实是一个生态,它考验的是产业上下游的综合力量。
说回到存储,为什么存储与AI之间有着非常紧密的联系?
我们来看这张PPT,上面一层讲得是传统视频的工作流程,相对比较简单,摄像头获取视频码流之后,直接将字符写在存储器件之上。
对于这类存储设备,我们设计的存储固件基本偏向于顺序化的读写,相对比较简单。
眼下进入了AI时代,摄像头会自动抓拍大量的图片、视频,形成数据流之后,以超大文件的形式录入到硬盘之中。
久而久之,硬盘中就会存有大量的图片、视频数据。如果想要对其进行查找、分析是非常不方便的,必须对其进行结构化,也就是对每一张图片、每一帧码流就行标注。
正如智能手机一样,里面会存有很多图片、视频,以往找到一张图片是非常不易的,现在手机会自动根据图片里面的内容进行分类,包括时间、地点、人物等,然后通过一个关系型数据库将这些图片进行管理,方便调用。
表面看起来容易的工作其实是非常不易的,对于这个数据库内容的写入和读取,它的行为不是固有顺序的,而是完全随机的,随机的读写对于任何存储器来说都有比较高的要求,特别对于硬盘来说,磁头就要不停地飞来飞去,效率也会比较低。
同时,AI还有一个很重要的特性就是码流会更大,也就意味着工作负载会变大。
另外,AI应用还有一个特点,用户体验将会变得非常关键,用户希望输入一张图片、一段视频就可以很快得到反馈,这对存储厂商的技术要求指数提升。
这些因素都会导致传统硬盘很难适配AI的工作场景。
总结来说,想要做出适用于AI时代的存储器,需要满足两点要求:1、需要适配更高的读写性能;2、需要更大的存储空间。
值得一提的是,即便如此,你并不能因为AI的要求变高了,相应的存储器成本也就提高了,你需要继续保持成本优势,这样才能使得AI能够真正落地。
基于这些思考,最后我再介绍一下,西部数据如何与厂商们一起,共同协助视频监控行业的AI落地。
(图示)这是西部数据专门为整个视频监控行业打造的从端到边到云的各侧高性价比AI存储产品。
这其中有很多存储器件是我们与厂商共同研发的,也就是说,某一些器件可能只适配于某一个厂商。
在端侧,我们有更高性能的嵌入式存储eMMC;在边侧,我们有普通监控盘以及AI监控盘;在云端,我们还有20TB的全球最高容量的叠瓦式硬盘。
需要指出的是,对于视频监控行业,我们还特别研发了WDDA套件,它是专门针对硬盘健康状态实时监测的软件。
AI应用之后,数据价值变得更高,通过这个软件,你可以实时、准确知道硬盘的工作状态、健康状态,以便随时告知给用户。
西部数据作为一个底层存储供应商,我们在这个行业其实做了很多努力。
简单介绍一下,目前普通硬盘在每一个时刻只能有一个磁头在工作,写入方式普遍都是多码流、多通道。比如你有四个摄像头就是四个通道,这四个通道是写在磁盘的四个不同的地方,且按照固有顺序进行的,这在应对传统视频应用场景非常不错。
AI应用之后,外设了一个大容量数据库,数据库本身就是高频的随机访问、随机读写,如果你的码流再高一点、通道再多一点,普通的传统监控盘就会显得力不从心,对于厂商来说,怎么去优化呢?
系统厂商则会通过合并通道单码流,顺序地写入,大大减少了硬盘的飞行时间和次数,把飞行机会转移到数据库访问,提升存储系统的性能。
最后,我再讲一下端、边、云的真实例子。
在端侧,这是我们为一个客户做得智能门禁系统,以往摄像头中很少用到嵌入式存储设备,都是用一个很小的SPF去做。
AI进入之后,它必须实现快速的识别、辨认,就需要更高容量的存储设备,一个比较物美价廉的产品就是eMMC。
它此前在手机上被广泛采纳,且用户体验非常优秀。
这是另外一个例子,AI还有一个特点,就是通过4G或5G直接端到云,在某些架构下是没有边侧的。
这种摄像头因为产生的数据量过大,不能将里面的数据全部传到云端,只能将有价值的数据通过AI萃取出来后再放到云端。
这时候你若选用一个普通的小容量mircoSD卡就不太合适,因为小容量以及普通的商业级的mircoSD卡寿命一般都很短。
针对这一块,我们已经研发出一款3-5年的高寿命microSD卡,它还能监测自身的健康状态,用户可以通过APP等方式查看,便于统一更换。
再讲一下NVR、DVR,当AI刚刚应用的时候,为了得到更高的性能,用户会选用性能比较好的AI盘或者企业盘,但价格也非常贵。
为了更好地让AI落地,系统厂商怎么做呢?将数据进行分层存储。
西部数据认为提高数据利用率的关键,是告别简单粗放模式,进行精细化的分层存储策略。
为此,我们还建立起一套四层存储架构体系:热存储、温存储、冷存储、极冷存储,分而治之,极大地提高数据利用效率。
以上是我的分享,主要是偏产品、偏技术一些,希望能够给大家带来一些新的认知,谢谢大家! 雷锋网雷锋网 (公众号:雷锋网)
。