北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

雷锋网 (公众号:雷锋网) 按:2017 年 7 月 28-30 日,由 中国计算机学会(CCF)主办的高端学术活动——中国计算机学会学科前沿讲习班(CCF Advanced Disciplines Lectures,简称 ADL)第 81 期在北京中国科学院计算技术研究所举办。


本期讲习班由北京大学计算机科学技术系主任,信息科学技术学院教授黄铁军主持,另有六名来自学界、业界的大牛,为现场百名学员讲解了“类脑计算”相关的前沿与应用。雷锋网亦来到现场听讲。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿


北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

北京大学信息科学技术学院教授,计算机科学技术系主任,国家杰出青年科学基金获得者,教育部长江学者特聘教授

黄铁军教授回顾计算机和人工智能的发展,提出目前我们正处于神经形态计算类脑计算机的元年。以AI的诞生、制造强AI、绘制大脑地图、神经形态计算、AI睁开眼睛为框架体系讲解了类脑计算。黄铁军认为相比于Brain Inspired Computing(脑启发的计算),黄铁军认为Brain Like(仿脑)是取得突破的可行路线,是走向“强人工智能”的必要阶段,可能比“人工智能”(人工设计出来的智能)和“认知科学”(理解思维的机理)更早实现。

雷锋网对其演讲全文进行了不改变原意的编辑,分为上下篇,上篇为《北大计算机系黄铁军CCF-ADL讲习班上篇:从计算机发展史讲解制造超人工智能的正途——类脑计算》,此为下文。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

三、绘制大脑地图

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

我们不用靠认知科学去知道意识是什么,神经科学才是实现强人工智能的途径,要把人类大脑画出来,要搞清楚是什么样的结构产生了我们高级的智能。对于这样一个复杂的系统,如果我们从结构从物质上去看的话,当然也很复杂,这个问题难度仍然很大。

大脑本身是一个信息处理的系统,是神经元和神经突触在发挥作用。在这些层次,我们都是在看信息、信号,它的复杂度是有限的,而且是可以预期的时间之内,把它搞清楚的。但是它是一个动力学系统,因为大脑是没有意识的,这个是问题复杂的地方。你不能只知道神经元怎么连接的,一个照葫芦画瓢,仅仅画一个形状像,我们还要产生动力学,不产生动力学,最终是做不出智能意识的,所以这是这个问题真正难的地方。 

因为到今天为止,实际上我们对大脑的解剖,去测量它的手段已经有了,现在是怎么把这个任务变成在十年这样一个尺度内完成的问题。 人脑绝对不像我们一般想那样的复杂。人脑是860亿的神经元,其实200多亿是我们的大脑皮层,200多亿是高级智能的物理载体。这个皮层本身就像上面,这是很多的皱褶的结构,本身不是一个随机的,是一个有规律,有结构的结构。具体来说,它是由1200万个功能柱组成的,每一个功能柱是一万个神经元左右,大家看到的把皮层展开之后,就像一面墙,这面墙上有很多砖组成的,每一个砖我们叫功能柱,砖内部的连接比较复杂,当然也比较有规律,不同的砖的连接是类似的,这面墙有这么1200万,不到200万块砖组成的。为什么这么去看这个结构?是因为将来你可以靠大量的芯片去并列来产生这个结构,但是芯片之间的连接和芯片内的连接也比较复杂。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

在如何把大脑逆向描绘来方向,现在有很多进展,一个是华中科技大学骆清铭教授他们2010年发的一篇论文,获得了2014年国家自然科学二等奖,他们突破了单细胞分辨的全脑显微光学切片成像,右边是一个小鼠的大脑,整个大脑是0.5立方厘米的大小,用树脂固定、冷冻、切片,然后去扫描,去看神经元的连接。这个数据他们扫出来之后,就给了瑞士的人类大脑计划。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

这是上个月,我们北大的分子医学所陈贺平院士他们做的,双光子显微镜是基金委重大仪器项目的成果,这种新的仪器很小,成本比较低,现在它的分辨率可以看清楚树突和树突棘的形态,生产过程还有神经元。类脑计算需要一群,要一定面积之内的这样的神经网络图谱。国家会投15亿建一个平台,现在应该是初步定了北大牵头建这个平台,当然北京市还要配套,几十亿要把这个系统建起来,建起来之后去扫描,去观察这样一个生物的对象。 

系统建立后,根据加工能力我们大概需要五年能做出视网膜,十年把视皮层做出来。第二个,神经元的模型,我们搞人工神经网络的人,得有神经元的模型才能做人工神经网络的计算。但是生物神经元的工程是什么?我们很多搞人工神经网络的人不知道,还有这么精细的模型。所以如果有了结构,有了单元的模型,其实我们就可以构造一个网络了,一个逼近生物的神经网络了。所以从2005年开始,EPFL,瑞士联邦理工学院洛桑的那个学院,他们一个组Markram做了一个模型,用了IBM的蓝色基因,超级计算机上面,建了一个模型,这个模型是1万个神经元,每一个神经元,用方程尽可能的逼近生物的真实。把这样一个模型,在超级计算机算,观察它接受刺激的情况下,这样的网络会出现什么现象,当时他们出现了Y振荡现象,差不多40赫兹左右的振荡,当然有网络,有这个神经脉冲在里面,在里面去循环就会产生振荡,这个振荡跟我们这个生物大脑是一样的,我们都有脑电波,为什么会有脑电波,因为你的神经网络里面,有大量的神经脉冲在传递。传递过程中,有入口有循环,产生我们的脑电波,我们测脑波这种现象就是神经网络外显出来的一种功能,我们活着我们就有脑电波,死了就没有。这样的网络同样会产生脑电波,证明这个仿真已经接近生物的真实了。

他们在2015年的时候,发明了另外一篇论文,更精细了,0.3立方毫米的大鼠脑区,3万多个神经元,800万个连接,这样一个更精细的模型,证明实际上用计算的这种仿真的方法是可以精准重现生物的信息处理功能的,实现了这样一个目标。

欧洲列出来的13个方向,十几个亿欧元,一大帮人做。蓝色部分就是我们信息相关的,神经信息学、大脑仿真、 高性能计算,因为为了做大规模,一定要有更高性能的平台。医疗信息学、神经形态计算、神经机器人,这都是我们说的类脑计算,或者是神经形态计算。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

在2013年的欧洲计划正式启动是3月份,4月份美国大脑计划提出来之后,也是很多部门参加,所以2014年的时候,NIH列了12年的规划,大致来说,前五年研究新的技术,来探测大脑的结构,比如说列的核磁共振,电子、光学探针,功能性纳米粒子、合成生物学,其实都是试图画大脑的图谱。后五年,用这些技术把图谱画出来,像人类基因图谱一样,把人类的大脑图谱画出来,人类大脑的动态图,静态图谱像地图,我们百度地图把城市的路网画出来了,如果把路上跑的车,什么地方的车流量大,什么地方流量小,每辆车的位置,那就是动态图谱。大脑也一样,不仅仅是要搞清楚神经网络的连接,而且要知道不同的神经元之间传递的神经脉冲的数据。美国也有很多企业做的有九个研究领域,2025年,实际上是12年的一个计划,大脑神经元、神经交织细胞类型的普查,创建大脑结构图谱,开发新的技术,不一一念了。实际上就是要画图,要把大脑的地图画出来,花了很多钱。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿


北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

四、神经形态计算

这不是我们学科的,但是没有这个蓝图,你构造不出来强人工智能的体系结构。从1943年人们就开始想,既然生物神经能做这个事,我们为什么不用生物神经出发去做,去这么做。但是那个时期的技术有限。所以在2015年春天的时候,那个时候国家要做十三五,从启动的16个重大科技专项大概来说,这些方向已经有想法了。这个图是2015年春天的时候,我们帮着起草了一些政府的规划,规划的一个示意图,做类脑计算机或者神经形态计算,我们从信息的角度,我们该做一些什么事。这个事今天来看,也还是对的。从下面要做神经形态器件,做人工神经元、神经突触,基于他们做类脑处理器,都是为了听起来容易明白你们到底要干嘛,还叫它类似于CPU这种名字,本来不太准确,但是完全创造一个新词,别人也不知道你干什么,所以称为类脑处理器,做类脑计算机,这种计算机要有视听感知、自主学习和自然会话这些一些高级的功能,现在计算机做不好,甚至于做不到,将来的计算机要能做到。为了做类能处理器要把生物神经系统的结构解析仿真,然后我们基于那个结构来做类脑处理器。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

左边是一条线,自底向上的方法,右边说认知功能,尽管我个人偏左边这样一个思维方式,但是我们不能否定,自上而下基于功能的路线。如果认知科学能够提供一定的认知功能的模型,改进现在的机器学习,做新的处理器,一样会对后面的发展发挥作用。大致上就这么九个方向,在9月1日作为北京市脑计划两大部分之一,对外公布了。后来在11月份的时候,人民日报有一个专版报道了北京这样一件事,北京也北大、清华、科学院、北师大很多单位。所以大家刚才那个图里面每一块,都有一个单位在做。从器件开始在做,当然一开始做项目,不可能说全面说上来做人脑,从一个一个点,往最终的目标在发展。这样一个技术思路,本身不是新的,得到马上会看到,因为研究三十年了。我们当成一个整体大家一起行动,做一些共同的事情。但是从一种政府的季度来说,还算有点提前的。在2个月之后,2015年10月29日,这个文件大家在网上可以下载的,美国能源部一个会议,会后出的一个报告,《神经形态计算:从材料到系统架构》,材料就是刚才说的做器件,系统架构就是非冯诺伊曼新的体系结构会是什么样,几十页的报告,大家可以从网上下载。但是从整体上,跟刚才讲的体系是类似的,我们对这一块,当时有描述,我就不展开了。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿 去年2016年斯坦福大学发布的人工智能2030的报告里面,对11个人工智能的发展方向的预测,其中前面那几个是目前很热门的,大规模机器学习,基于大数据的大规模机器学习,深度学习,强化学习。报告里面表述很清楚,深度学习对深度神经网络,已经对应用地平线带来一轮冲击,这个冲击大家已经感觉到了。 如果这些神经形态计算,硬件系统能出现的话,会带来更大的冲击波,这是他的一个判断。所以下一波,基于神经形态计算的智能,会带来社会的影响会更大。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

其实有很多的学校、很多研究所都在做神经形态计算机,其中比较有代表性的有:德国海德堡大学,美国IBM公司,斯坦福大学和曼彻斯特大学。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

总的来说,大家看到这张图,实际上就是神经形态计算系统,在逐渐逼近大脑的过程,尽管现在都做了一定的简化,规模上什么都有很大的差距,但是去逼近这个生物大脑,人类已经迈出了很重要的一步,后面就是进一步逼近的问题。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

IBM这件事因为媒体报道比较多,实际上大家可能都知道,IBM做了一个神经形态芯片。这是2014年7月份,他们在发表那一篇论文之前,做的媒体报道。当时的媒体,有这么一句话,IBM的长远目标是建立具有一百亿个神经元和一百万亿突触的神经突触系统,能耗只有一千瓦,体积不到两升。大家读这句话,实际上要逼近人脑规模,人脑功耗是20、30瓦,这个系统是一千瓦,体积不到两升,人脑就是这样一个。从物理这种指标上,要逼近人脑,只有功耗比人脑大一些,一千瓦就是家里的小空调,就是一千瓦,其实很低了。现在超级计算机,像天河二号,应该是有16兆瓦,每年的电费要几个亿的成本。但是我们等下看,天河二号与人脑还远着呢。但是实际上,我刚才念这句话是2014年的报道,实际上这句话是推迟7年之后说出来的,因为这个目标早在2007年已经定下来了,只不过对媒体不敢说。因为他们做这个事,也做了很多年,从2004年开始酝酿做,到2014年,十年时间把芯片做出来,还是花了很多人力、物力,包括支持经费做出来。在这个过程中,我想让大家看这个图,其实不是拍脑袋说做一个芯片,就做一个芯片,背后有它背后的逻辑。所以你看图里面,老鼠的,这里面小老鼠、大老鼠、猫、猴子、人脑都能看见,这是什么东西?这是在超级计算机上做仿真,一开始的时候,在做芯片之前,都是IBM的超级计算机速度比较快,所以超算上在算,在仿真这个大脑,当然仿真的程度,就像刚才说的,可能神经元的模型不那么精细,但是沿着这样一条路线在做仿真,所以做了十年,到最后我要做芯片,为什么必须做一个芯片?是这样的,当时2007年,为了申请这个项目的时候,这个项目叫SyNAPSE,大家知道这是突触的意思,但是实际上是缩写,一个神经形态的自适应的、可塑性、可伸缩可扩展的电子系统,这么罗嗦的一句话说到底就是一个电子大脑皮层,在2007年立项的时候,立的目标就是像人脑皮层一样,做这么一个电子实现,电子实现功能一千瓦。上面那个电子的一千瓦,下面人脑20瓦,单位面积内的神经突触、神经元的数是一样的,所以体积就一样,是两升。媒体那边讲2014年讲的话,实际上讲的是2007年申请这个项目的时候,定的一个目标。从2008年开始做,也给了不少钱,最后把这个芯片做出来。


为什么要做这个芯片?其实是因为靠超级计算机模拟,是不可能解决大脑的这种传导规模的仿真。IBM用的模型,大家看到是立体模型,是最简单的一种,当然比我们人工神经网络用的MP模型要复杂一点,就是比较简单的一种脉冲神经网络的模型。即便用这种简单的模型,他们在2009年,超算上的一篇,当时那个系统叫皮层模拟器软件,那个时候按照他们的估算,这个数是公开的,大家看,那时候做的是83分之1,人要1秒,它要83秒,模仿了4.5%的人脑,消耗了144T的内存,0.5pflops的计算量,换算一下,如果用天河二号,要把人脑规模实时的,不超过几十赫兹的信息处理能力算出来的话,需要300台天河二号,神威天湖之光,也需要100台。所以电费就不够,当然我们也没有造出那么多超算,尽管我们是第一,我们只有一台神威,要造100台神威,才能用一个简化的模型,把人脑仿真出来。所以这就是我一开始说的,你用这个做研究的可以往下做,真要做到人脑规模,不是一条可行的路。中国再有钱,也不能为了模仿仿真大脑,造100台神威天河。

所以一定要做硬件,根据神经网络的需要做新的硬件,能逼近人脑这样一个终极目标。 这是TureNorth芯片,这个芯片上的神经网络,确实是脉冲神经网络,但是做了很多的简化,这里面也有一些比较创新的东西。比如一个神经元要跟几千个神经元通讯,怎么通讯?人脑是进化好了,连接都已经有专门的神经纤维在联,很多就是神经纤维,不一定是我们的神经元。物理连接已经进化出来了,一个芯片怎么做?所以一个芯片内,任何一个神经元都有可能跟其他几千个神经元相联,比如就设计了一个高速路由系统,芯片内的高速路由系统,使得最终当然希望刚才说的,每秒钟比如一个神经元发几十个脉冲,它都能实时送过去,类似于这样,从芯片设计的技术上进行解决。这个已经实现了,把大量的芯片做成版,把大量的版拼在一起,做一个装置,是希望它能像人脑一样的同样的信息处理能力,这是一个。然后就是欧洲的几个项目,其中蓝脑计划我刚才说过了,是欧洲大脑计划很重要的一个推动力。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

Spinnaker是刚才说的英国系统,英国这个系统是用AARM做的,这个实际上是去年的,去年这个系统是50万核,50万个ARM核,仿真400M神经元和400B神经突触的一个系统。五个机柜具有这样一个基础能力。旋转的轮胎是什么东西?就是体系结构,在创造的就是说大家想还是刚才那样一个问题,一个神经元要跟几千个其他的神经元通讯,通讯是中间很关键一个问题,要速度,所谓的速度就是在这个地方,你能不能很高效的实现任意一个神经元跟几千个神经元通讯,一旦设计一个,有效的结构,一个体系结构,因为像IBM的芯片是偏内的,高速的结构,Spinnaker每一个单元就是一个ARM的核,一个ARM处理器,处理器有64还是多少个核,这个核之间,每一个核去仿真神经元的话,要通讯,所以怎么解决通讯协议,这是它的一个专利。论文里面也都有报道,所以这样一个环,这些核之间连接成蜂窝状,最终形成这样一个形状,每个红点就是它要发射神经脉冲了,向周边传递下去。当然每一个神经元,你不可能连几千个,但是能完成把这个信号传递过去,是它的独特地方。

所以现在在欧洲这两台机器,已经对外服务了,大家也可以访问,然后我现在有一个神经计算的模型,我想用你的,可以用,但是不会给你开放那么多基本资源,实验一下还是可以做的。还有一个,刚才说神经元现在大家已经觉得没有什么好担心的了,因为神经元的数量,是神经突触数量的千分之一,所以真正大脑的复杂,物理形成构造是怎么把神经突触做出来。在寻找新的物理材料,构造新的器件,最有代表性的一种叫忆阻器,这个器件本身最初的设想,不是为了做神经形态计算的,是我们一个华人的科学家提出来一个想法,物理上有电阻、电容、电感,他是数学家,他说这个不完美,应该有第四种,他其了名字叫忆阻器。第四种是根据电流的变化会改变组织的一种器件,当时只是一个数学上的一个概念。但是在2008年的时候,找到了这种材料,具有这种特性。而这种特性,一方面可以改变组织,可以做存储,很快你发现,它其实跟生物突触的可塑性是类似的,所以后来就把它,很多人研究这种器件来做神经突触。过去这些年,大概十来年突触已经很热了,很多学校和单位在做突触。这种突触,我大概给大家形象的描述一下,将来怎么做是这样的。这篇论文就是1971年提出来,这是2014年参加指导一个博士后写的一篇论文《大脑是由忆阻器组成的》,大脑的这些百万亿突触,是可以用忆阻器来实现。当然这么一图,不是电路,怎么实现电路,实际上就是看这个图。实际上突触的实现,是电流生产的工艺来说,其实并不复杂。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

是这样,我们刚才说过神经元的数量要很少,相对于突触来说是很少,所以神经元会在两边,一排神经元又一排神经元,关键是怎么把神经元用物理的连接连接起来。所以这两排神经元,横竖的两排神经元,先涂上一种材料,用现在光刻的手段,刻成一道道线,最终绿点部分就是一个一个,肯定不是圆的,你刻成什么形态,就是什么形态,那个形状不重要,那个材料就可以,因为那个蓝线相当于连接神经元的树突和周突,那个绿的部分就是那一层材料,可以根据得出树突上的信号传递,发生变化,就像神经突触一样的发生连接起来,强度会发生变化。所以用这样一种物理材料,生产将来的电路,是没有问题的。当然这种材料的稳定性,是不是能,首先从数学上,模型上是可以逼近生物的,但是稳定性、可靠性,还是要有更多的研究。这个方面我刚才说,国外有很多单位在做,国内也有很多单位在做,比如说北大、清华、南大、华中科大,都有很多组织再做,所以有十几年的研究历史,这个就是我们打一个想象的比方,就是新一代计算机的晶体管,晶体管就是刚才说的谁先做出来,谁能做的比较靠谱,真正变成未来产业的粮食,那就是未来的一个很重大的贡献,中国还是不能落后的。

所以就是刚才说的,这样一些系统、器件,甚至于刚才日本的火蝇全脑网络都画出来了,这样一些标志性的事件,我们说去年我们可以在人类的历史上,其实计算机正在进入一个新的纪元。这方面中国当然要做,所以前那么两三年,我经常到处去说,我们一定得做这个东西,当然北京市也给了不少支持,国家确实在布局。现在来看,我们中国已经进入了发展这样一些,快速发展的过程。所以这是7月20日,新一代人工智能国务院发的总体发展规划里面一张总图,在网上可以下载规划规划上没有图,国务院发文件不会带插图,不是教科书。实际上这张图原来在里面,只是发的时候,拿掉了。除了我们说的人工智能我不展开,类脑智能理论、量子智能理论、高级机器学习其实都在里面,在国家未来十几年的发展过程中,这些东西都会作为很重要的内容进行支持。所以我们应该已经进入了,关于前面这一段,也有一些国际上的总结,大家今年的2月份,神经形态计算这一部分,我是写的科普第三篇,大家通过计算机学会的第二期和公众号多有,大家愿意看的,可以再看一下。

我刚才讲的这些东西都是国内外的进展,都不是我这个实验室做的,我们下面讲的,是实验室做的一些东西,跟视觉相关的。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

五、AI睁开眼睛

我们习以为常的视频概念是24帧图像,连续形成一种连续的感觉,计算机视觉也是基于视频的。但是事实上这个事跟生物视觉距离很远。电影能够产生连续影像,是因为生物视觉有一个视觉暂留的现象。生物视觉接受真实世界的刺激,从来都是一个连续过程。类脑视觉像现在每秒钟输入30帧图像,每帧图像就像现在做的,表达每帧图像这个方向去做。这个路子本身就是错的,生物本来没这样做,没有说一幅图像, 两幅、三幅图像,根据图像看差异然后还要分析这个光流,不是这样的。生物系统从来得到的都是在最细的力度上,它的一个实时的连受刺激过程。

我们经常假定大脑信息处理的模型很复杂,实际上这种复杂性,有时候是自己给自己的一种假问题。在1978年的时候,美国科研院士提出来,其实大脑皮层处理信息的机制是一样的,我们处理视觉、处理听觉、处理触觉,所有的在大脑皮层里面作为一种信息处理的算法,用计算机的算法,或者具体模型是一样的。但是对我们来说,视觉、听觉触觉是不一样的,你看见、你听见和你手烫这个感觉是不一样的,但是大脑皮层接受的都是一样,都是信号。

在感觉这样一类,我们的智能上面,还有一些新的数据,要跟大家分享。一个是到底我们人作为一个生物体,我们感知世界,我们的结构,所有的智能归根到底同样是某种结构实现的,同样是某种物质的载体去实现它的。对于感知来说,我们总共有300万根神经,感知神经就是眼睛、耳朵、触觉,刚才所有的这种感知,总共有300多万根。其中每个眼睛背后有100多万根,两只眼睛200多万根,剩下的听觉、味觉、触觉、全身的皮肤,你能感觉到热、冷、烫,各种的感觉总共100多万根。眼睛为什么是心灵之窗?因为入口占了三分之二。所以我们信息的获取,靠眼睛获取了三分之二的信息量。如果我们的盲人,眼睛不接受信号了,视觉就没有用了,没有刺激了,就该怎么办怎么办?听觉或者其他的感觉,就会利用那个皮层。所以盲人的手的敏感程度很高,因为那个视觉的中心部分还是做了触觉的处理、听觉的处理。所以他的耳朵很灵,之所以很灵,是因为更多的皮层用来做听觉了。这也一定程度上解释了刚才那个原理,皮层还是那个皮层,还接受不同的刺激,做不同感知的任务。背后的基理应该是一样的,但是这个基理到底是什么?这个事现在并没有模型,比如像刚才说的,我们的眼睛接受光,光转化成斯摆科,转化成神经脉冲,通过每个眼睛100万根神经纤维,送到V1,V1在后脑勺。到底我们当然就想知道,神经系统是怎么来表达和编码这个信息,这是视觉信息处理的基本问题。

但是光视觉系统消耗的能耗就是大脑的十分之一。所以睁开眼睛是花能量的,不是睁开眼睛说瞎话。睁开眼睛,你一天吃的饭为眼睛和视觉消耗掉了。所以有的时候,大家要闭目养神,别让眼睛老在那睁着,歇一会儿,别在这转化光、电,表达什么了。闭目养神真的能养神,因为你省了十分之一的能量嘛。那到底这个眼睛从接受光刺激一直到最后,比如识别出物体,甚至做出于动作,过程的这些细节,当然这是生物视觉他们在研究,我就不一一去说了。我们想说什么呢?到底这个生物视觉系统,怎么来表示信息的?类脑计算,大脑可以做的东西很多,感知是其中的一部分,但是这一部分很重要,它是入口,入口怎么表达信息,我们都不知道的话,后面的很多工作很难开展。我们北京市的支持下,想在这方面有所进展。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

2010年的那篇论文讲的,一般来说我们传统上认为这个眼睛就像一个简单的滤波器的样子,对图像进行滤波处理。实际上,事实上我们的眼睛做的事情比我们想象的要多的多。大家看这个论文的题目是《眼睛比科学家们相信的还要聪明》,实际上表达的信息的方法,绝对不是一个简单的摄像头。所以大家比如说现在热门的无人驾驶,用一个摄像头把自动驾驶解决了,确实做的很不错。但是我们开车的时候,我们这个生物摄像头,能力实际上是远远强于我们今天的摄像头的。所以怎么把这个生物的摄像头这些智慧能用上,当然想制造背后的原理。他们能给出之前,还是回到刚才说的,现在告诉我们一些基本的原理,但是又不能告诉精细的定量的东西,那怎么办呢?在北京市的指示下,我们做了一些工作,仅仅是视觉系统最前面这一段,眼睛,视网膜到V1。

另外一个实皮层,那个实际上就是V1,大脑的最初级的那个区域,需要定量中心在做的,他们做了一个模型。但是这些都是在计算机上玩的,真正的生物的部分,是我们医学部的薄老师在做,把猴子的视网膜摘下来,看它的神经网络结构。另外一个,是唐市明老师,长年累月,做了很多年,他的精神像上午说的,他不管这个,当然他也是结清,所以他也不着急说要怎么样。很多年观察猴子的皮层,接受光刺激的时候会发生什么。这是一个把猴子的视网膜摘出来之后,他们做的扫描,扫描完之后,这一层就是视网膜中精细视觉那一块的神经网络,当然这个也是书面的原因,大概只能看到一个结构,一个大致的结构,一个环形的结构。那个一根一跟的纤维就是神经纤维,送神经信号的播报。这是标记各种各样的细胞,不同的标记物,把它标记出来,然后把这个网络给显示出来。然后再去做这个模型的进一步数据化,模型化,最后把这个结构搞清楚。

这个是刚才说的,观察皮层,顺便观察这个皮层,这个是一个断层。从在猴子看到一个视觉刺激的时候,从上到下一层一层的看哪些神经元发放的,哪个神经元和神经元之间,谁在传递信号,通过什么样的通道传递信号,就是做这个事。为了看这个东西,怎么看?你要打开它,不打开它怎么看,猴子背后实际上是打开的。但是大家不要担心,打开是做了手术,做了麻醉,用透明罩子帮它罩上。所以把这一块骨头换成一个透明的玻璃,然后这个猴子照样生活照样吃东西,该玩玩,但是做实验的时候你就得坐下,该喝水还是照样喝水。就戴上显微镜看它,让它看东西,看后面那个东西。外面看到的其实就是这样的事情,这是一个陶乐天在做,他从2004年就开始做猴子视皮层的仿真,也做了几十年了,留下了一些现象。时间关系,我就跳过去了。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿

我们这个组等会儿给大家演示的是做中央化的仿真,中央化仿真。就是精细视觉这一块,我们为什么关心这一块?眼睛和刚才的视网膜很复杂,所以真正把视网膜做出来,最终大概需要至少五年的时间。我们现在只是把其中的精细识别,精细识别对识别信息编码,我刚才讲我们这个实验是是编解码国家工作实验室,所以最关心的是我们研究看的时候,看清楚了,让一个场景,是怎么变化的。周边对运动,对特殊一些形态的检测,那些也要做,但是是放在后面来做。怎么来做这个东西呢?就是回过头来,还是回到神经中去。一个神经元长什么样,它的形态,这是刚才说的取下猴子视网膜去扫描,把三维的数据扫描,一个一个识别做出来,所以它长什么形态。第二个做神经元的模型,就是上午说的方程,另外这个方程已经可以刻画各种神经元的生命学行为,但是刻画神经元行为和每一种神经元,具体在发生什么,你的数学工具在那个地方,但是每种神经元有自己的特性,所以要调参数。调来调去,最近才能逼近给它一个电刺激,它能产生一种什么样的脉冲模式。这个参数调好了之后,就算这个神经元划分出来了。为了做的精细,其实一个神经元不是一组方程式,把这个分成很多段,所以每个里面,是一组方程组。所以一个神经元的计算代价是很高的,大概刚才说的一个CPU,至少一个核去算一个神经元。

黄铁军老师和其实验室的博士生随后对他们正在做的视觉系统解析项目做了演示。

本次课程为付费课程,2017年8月会在AI慕课学院独家上线,原价 2500 元(CCF 会员)的线下课程现在限时特价 699 元预售,有兴趣的学员戳:http://www.mooc.ai/course/114,或者扫描下图二维码观看。

北大计算机系黄铁军CCF-ADL讲习班下篇:详解神经形态计算研究现状与AI生物视觉前沿


相关文章:

马斯克说的脑机结合还有多远?真正的脑机科技前沿告诉你真相 | CCF ADL 81类脑计算前沿班回顾

重磅讲座预告:黄铁军、陈云霁等专家齐聚CCF ADL,分享类脑计算与深度学习处理器 | 开课报名中

随意打赏

北大生物
提交建议
微信扫一扫,分享给好友吧。