Andrej Karpathy发文谈神经网络后,引发的对硬件,软件和学件的思考

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

雷锋网按:近日,Tesla AI总监 Andrej Karpathy发表了一篇关于“Software 2.0”的文章 ,该文章引发了对未来神经网络的编程方式的更深入探讨,本文就是其中之一。在Software 2.0的基础上,本文作者Uri Yerushalmi还借用了南京大学周志华教授在2016年提出的“学件”(Learnware)的概念,并更详细地讲述了他眼中的“学件”和软件的区别。他山之石,可以攻玉,本着传递更多信息的想法,雷锋网特此编译该文章,供读者讨论。

本文作者Uri Yerushalmi为AI社区Dopamind的创始人, 2008年于以色列Bar-llan University获得计算机和神经科学博士学位。以下是雷锋网编译的文章全文:


本周,我阅读了Andrej Karpathy的“Software 2.0”,他分析了新软件“Software 2.0”与旧软件“Software 1.0”之间的区别。 我和Karpathy有一个非常类似的结论,我们来看看这种新型软件的兴起如何影响软件行业和市场。

软件vs学件

以下是旧软件和Karpathy的帖子中描述的新的适应性软件之间的一些主要区别,我将其称为“学件”(雷锋网 (公众号:雷锋网) 注:“学件”(Learnware)的概念最早由南京大学教授周志华2016年提出,是一种包含模型和模型描述模型规约的机器学习应用模型,这些模型可以以共享或定价的方式放在某一个地方,当有新的用户想做自己的应用的时候,可以先去市场上看看有没有可以使用的模型,从而可以部分重用别人的结果而不需要重新开始)。 

Andrej Karpathy发文谈神经网络后,引发的对硬件,软件和学件的思考

软件与学件的差异

“学件”将给软件市场带来什么变化?

您可能已经注意到软件市场开始发生变化,尽管这些变化并不明显。

协作处理和服务导向

在软件中,我们习惯通过库和API(应用程序编程接口)进行相互协作。每个接口的任务都需要定义好,用户通常很清楚在调用接口时做了什么、以及如何做。

举个例子,想象两个没有菜单、按顾客指示烹饪的餐馆:

第一家餐厅叫“旧软件类型”:客人需要准确地给予指示他们想要的餐点该如何烹饪。他们必须出示详细的食谱,以确保他们获得正确的食物。

第二家餐厅叫“学件”,客人会提出更多的抽象要求,比如“我很伤心,给我一些能让我开心的东西”,厨师能够当场创造出最佳的餐点。

很显然,第一家餐厅的一些顾客宁愿避免编写食谱的麻烦而改为在家做饭,对不对?但在第二家餐厅,顾客就算想自己编食谱,臣妾也做不到啊啊啊。

这样的底线通常会导致API用户采取“我最了解我所需要的,所以我会自己编程”的方法(这通常是错误的事情,但这又是另一个故事了)。在学件中,“我会自己做”的方法更加不合理,因为通过简单地定义用户需要什么(例如“在图片中找到一只猫”),开发人员仍然没有接近最终的解决方案。

由于这种巨大差异的客观存在,我认为在不久的将来会有越来越多的协作处理工具和平台出现。

主要影响因素见上表中的F、G、H项

“学件”的应用领域

我们可以将大多数使用软件2.0的方法的商业应用归入“学件”的范畴。这些新应用包括基于视觉和语音识别,视觉生成,语音合成,机器人技术,游戏,翻译,决策等。

主要影响因素见上表中的A项

人才市场

显然,“学件”将大大改变就业的市场格局。无论企业如何设计将知识或数据“喂”给“学件”的工作岗位(如程序员,数据科学家,定量分析),“学件”的培训会越来越普遍和越来越简单,使用这一新软件所需的技能将会发生进化。我预计未来对于开发人员角色的需求将与旧软件程序员完全不同。

主要影响因素见上表中的B、C、D项

“喂知识/数据”的技巧

作为一名软件开发人员,您可以使用C ++,Java或Python等语言将知识编程到软件中。目前,编写和训练“学件”使用相同的技术,然而,常规的软件编程语言视为了能够最好地描述,管理和维护各种指令集而设计的,但在“学件”中,编程知识的关键在于准确地描述最佳的数据流图。因此,我不确定使用旧的编程语言是开发“学件”的最佳方法。

主要影响因素见上表中的C、D项

用于构建学习软件的软件库

近几年来,我们已经看到了这些新的软件库:Tensorflow,Pytorch,Keras,Theano,MXNet ...

主要影响因素见上表中的B、C、D项

专用硬件

在具有大型指令集的旧式软件中,引入新硬件需要对编译和代码级别进行调整。相反,在“学件”中,新硬件的使用更加透明。 对“学件”适用的专用硬件的竞赛已经打响,目前NVidia处于领先地位。

主要影响因素见上表中的B、E项

查看黑盒的工具

为了更好地进行开发,我们需要用于查看“学件”的黑盒的工具。如果我们了解每个“学件”如何做出决策,我们可能会更好地训练它。此外,从社会的角度看也更容易获得认可(例如,欧盟成员国预计通过新的立法,规定如果AI的决定出现不公平或随意性,AI的决定可能会被推翻,而在“通用数据保护条例”(GDPR)的早期草案也从法律上规定了所谓的“解释权”)。

主要影响因素见上表中的H项


Dopamine.ai正在对这方面的协作处理解决方案进行努力。如果您有兴趣阅读更多内容或接收我们项目的更新,请 点击此处进行订阅 。

Andrej Karpathy发文谈神经网络后,引发的对硬件,软件和学件的思考

随意打赏

andrej karpathy一文 神经网络什么是神经网络卷积神经网络硬件测试软件神经网络软件
提交建议
微信扫一扫,分享给好友吧。