百度:今年是文心大模型落地关键年
一项新的AI技术迎来突破,包括谷歌、微软、英伟达、百度和阿里等在内的几乎所有AI头部企业都在死磕这项技术。
这便是目前世界AI研究领域最热门的话题之一:“大模型”。
AI 技术发展到今天,GPT-3等参数量巨大的模型被人们开发出来,他们在计算机视觉和自然语言处理等领域取得了前所未有的成就。
与之相伴而来的是,随着技术与产业的结合落地,新的技术难关需要被不断攻克。
众所周知,AI 技术的驱动力主要是依靠数据作为养料,当AI嵌入各行各业,不同场景的巨量数据已呈井喷式爆发,如何减少数据标注量、如何提高开发效率、降低应用成本等问题已成为一众AI企业正在思考的问题。而这也已经成为了各大AI企业抢占技术高地、并进行商业化的关键命题。
大模型是人工智能大基础设施的重要组成
“文心大模型”是百度近几年在花大力气投入研发的技术基础设施。
自2019年开始,百度深耕预训练模型研发,并在该年3月率先发布中国首个正式开放的预训练模型ERNIE1.0。去年12月,百度联合鹏城实验室发布了鹏城-百度·文心大模型。
这是全球首个知识增强千亿大模型,也目前全球最大中文单体模型,参数规模达到2600亿。
“文心大模型在百度AI战略里的位置,是人工智能大基础设施的一部分。大基础设施就是硬件到芯片到AI框架、AI大模型,一层层构筑起来的,文心是底座性质的。”百度集团副总裁吴甜介绍。
如何理解这个AI大模型?
AI大模型,指的其实是预训练大模型,是机器学习的一种方式。
类比人的学习来看,人的学习可以分成通识教育和专业教育两段。预训练大模型相当于解决机器学习的通识教育。
此前,机器学习主要通过标注数据,告诉算法哪个数据是正负样本等进行学习。由于人工智能落地场景很多,每个场景都要采数据、标数据,因此在标注的数量和质量上存在很大的瓶颈。
为解决以上问题,自然语言处理领域迎来了一个新的突破:自监督学习。其指的是不用人为标注数据,机器可以用一个方法把知识和规律学出来。
比如,在模型训练中,如果我们把“中国的首都是北京这句话”中的“北京”盖住,让模型去猜中国的首都是哪里,模型可能会猜一个城市,再把盖的地方翻开,告诉模型是对了还是错了,模型也就得到了反馈。这就是自监督学习的其中一种方法。
通过设计类似的学习方式,让模型可以在海量的数据当中进行自监督学习。这个机制的好处就是,它可以把天然存在的大量数据利用起来,打破了一定要精标数据才能学习的瓶颈。
大模型的出现,实际大幅度降低了行业应用的门槛。
“大模型不仅可以自己直接商业化,更有可能作为大的基础设施带来的更大的价值空间。”吴甜称。
百度的文心大模型是如何运营的?
百度早已不仅是搜索巨头,更是一家人工智能公司,文心大模型已经在搜索、信息流、小度智能屏、百度地图等业务场景中不断地去使用、验证、迭代,最终通过开发出配套的工具和平台服务于不同产业,开发者或者企业就可以用方便、简单的做法,甚至可以不写代码就使用起来。
在落地运用方面,除了应用于百度内部的各类产品外,文心大模型还通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信等行业。当前,百度飞桨系列有两款面向不同人群的平台,一是零门槛平台EasyDL,二是全功能产业平台BML,都已经内嵌了文心以及文心相应的配套算法。
在交付形态上,文心大模型大致上包含三种:第一种是通过API调用方式使用。第二种方式是通过平台、套嵌工具等,使用者可以在EasyDL、BML等平台上直接使用的。第三种是包含在一些面向场景的产品中,比如智能文档分析TextMind,还有智能创作平台。
就AI大模型这个技术而言,不仅能落地解决当前的产业遇到的难题,在未来同样充满想象空间。
吴甜畅想道,今天的模型是以学习人类的经验为主的,学人形成的规律,加强人类建设的一系列体系。未来有可能AI可以学到一些人类还没有学到的一些经验或者知识,这是未来有可能发生的事情。
今年是文心大模型落地关键年
在大模型领域角逐的,不仅有百度,国内外科技巨头如谷歌、微软、英伟达、阿里等,都相继在AI大模型领域展开探索,参数规模从百亿、到千亿,甚至是上万亿。
对于当下的大模型竞赛,吴甜表示,大模型本身还有很多创新空间,现在大家还是在各种不同角度的创新阶段,每一家企业和机构最后会产生的价值和作用,因此各自有所侧重。
百度文心大模型的定位是产业级知识增强大模型。吴甜介绍,文心大模型最大的特点是“知识增强”。
传统大模型只从海量的文本中学习,只能死记硬背文本的规律,并不能从本质上理解世界是怎样运行的,在具体应用时,一些涉及逻辑推理和认知的任务表现较差。为弥补这一缺点,百度引入了知识图谱,通过“知识增强”的方法,将数据与知识融合,提升了文心大模型的通用性。
此外,要理解文心大模型,就需要了解“产业级”的定义。吴甜解释,这个产业级主要指两个方面:
一方面,文心的整个技术是在实际的产业应用过程中打造。首先,它的数据来源是产业当中的数据,学习到大量的知识规律,也是在实际的产业实践当中学习到的;任务设计上,百度希望把大模型打造成通用的底座模型,类比人的通识教育,希望它学的尽可能广泛,打下更好的基础。
另一方面,文心大模型在应用时建设了一系列配套能力,让行业更好用。比如怎样设计数据的标注、建议有多少数据、相应的迁移学习的方法等等。通过这些配套的工具和平台,就会提升真实应用的可行性。
大模型能够引起各大企业的竞相追逐,战略眼光更着眼于远处。从世界以及国家层面来看,产业智能化升级早已是大势所趋。今年1月,国家出台了十四五数字经济发展规划,可以看到国家对于数字经济发展重视程度也越来越高。大模型对于推动数字经济发展有着莫大帮助。
要在产业中应用起来,当前大模型还面临着不小的挑战。吴甜认为,当前部分行业数字化水平还不高,AI真正跟各行各业、各种企业场景结合的时候,复杂度高。场景分散,而且很多场景还比较薄,很多时候获取场景数据非常困难。
另外,参数规模提升确实是有更好的效果,但却不是简单的越大越好,更重要的还是模型能力强。
文心大模型的下一步,是继续创新技术水平,再增强其实用性。吴甜强调,这并不是以迅速获得更大的模型为目标,而是做出一款模型之后,在落地应用中检验效果,并在实用的过程当中调整模型设计。
在文心大模型的规划上,百度今年还会有新技术和模型发布,包含模型能力和平台工具能力的提升。“今年会是文心大模型产业落地关键年。 ”
当前,文心大模型通过飞桨开源开放平台、百度智能云等平台落地,个人、企业开发者数量超6万,并带来显著的提升效果。如在保险领域的文本处理效率提升30倍,医疗领域中的每份病历的检查时间从30分钟缩短到了秒级别。
百度还把百文心大模型能力开放给公众使用,并举办了认知AI创意赛。“人工智能和大模型要面向公众开放,只有门槛低到了所有人都可方便地用起来,才能真正大规模爆发出各种创意。”吴甜表示。