RockAI参与上海市政协重点课题调研，共话大模型技术发展与实践革新

4月18日,上海市政协 经济 和 金融 委员会开展“加快新旧动能转换,推动制造业高质量发展”重点课题调研,围绕人工智能产业邀请相关部门和企业座谈交流。岩山 科技 旗下上海岩芯数智(以下简称“RockAI”)以其在人工智能技术领域的深厚积累和创新能力,受邀参与此次座谈,共话大模型产业发展新趋势。

本次座谈会由市政协经济和金融委员会主任严旭主持,特别邀请市政协副主席肖贵玉、寿子琪参与,徐汇区委书记曹立强陪同调研。座谈会上,市领导就“通用人工智能大模型国内外企业差距”的话题询问企业的发展意见。部分企业认为,国内人工智能大模型已经从去年的“百模大战”进入“淘汰赛”阶段,当前大模型企业发展的痛点主要是算力和人才。作为以认知智能为基础、专注于自然语言理解及人机交互等核心技术的创新型企业,岩芯数智代表行业前沿,积极参与并贡献了专业见解。

RockAI企业代表邹佳思认为,虽然在短期内算力和人才是推动大模型发展的关键要素,但从长远看,底层技术的创新可能才是关键所在。以GPT4大参数大算力的相关数据为例,GPT4由16个1100亿的模型通过MOE架构组成,经过百天在两万张卡上完成训练,耗电量巨大,应验了算力的尽头是电力。而GPT5拥有更大的参数、更大的数据,需要更多的GPU算力,这些要素都是目前国内大模型企业面临的困难。另一方面,目前主流基于Transformer架构的模型有着与生俱来的幻觉问题,在个人场景也许是创造力的表现,但是跟很多企业落地场景是有天然冲突的。

提及“GPT5会给国内大模型企业带来哪些挑战”,邹佳思表示,虽然主流架构的Scaling Law依然生效且没到天花板,但是我们也注意到Transformer架构跟人脑的工作模式是不一致的,人的大脑有800-1000亿神经元,不但可以局部激活而且能工作在20瓦的低功率之下。国内一方面固然需要沿着OpenAI路线进行追赶,但是换个角度,底层架构的创新以及针对企业场景的模型创新或许是新的机遇。

据悉,通过持续加强核心算法自研和技术探索,RockAI已从零开始完全自主研发设计了Yan架构,并于2024年1月发布了国内首个非Attention机制的通用大模型——“Yan 1.0模型”。该创新架构重点关注大模型算力和幻觉问题,可助力大模型在金融、能源、制造、医疗等风险敏感领域实现广泛应用,提供性价比更高、更便捷、更可控的AI服务。目前,RockAI已与上海工创中心、华为昇腾、广电五舟等科技企业达成战略合作,接下来将携手生态伙伴进一步推动创新升级和生态建设。

“我们现在要做的是种一个种子下去,让这个种子具有良好的基因,发育成一个胚胎,最后形成一个巨人。”市政协副主席肖贵玉说,人工智能背后有巨大的想象空间,而大模型正引领新一轮人工智能变革,已经成为全球科技竞争的焦点。他希望各位企业家脚踏实地为“打造基因”献计献策。针对现有教育难以支撑先导产业和未来产业发展的局面,他表示,要在机制层面解决人才问题:在教育端创新改革,连接高校和企业的合作渠道,达到依靠自身的教育体系为企业提供高端人才人力资源支撑的目的。

“上海要打造AI高地,重点在落地应用,赋能各行各业解决各类问题。”座谈会进入尾声,市政协副主席寿子琪总结到,希望能聚焦“基础大模型怎么做”“架构上如何寻找更优解”“是否能打造本地人工智能企业”等展开调研,争取率先在具体领域应用取得突破,对上海推进人工智能产业发展意义重大。

此次座谈会为RockAI提供了与政府部门、专家学者以及行业同仁深度对话的平台,进一步促进了产学研合作,强化了企业在人工智能领域的发展共识。RockAI期待与各方携手,共同推动上海乃至全国人工智能产业迈向更高水平,为我国经济“数实融合”与持续健康发展添砖加瓦。