训练语言模型

公众号/  ScienceAI（ID：Philosophyai） 编辑 | 萝卜皮来自深度语言模型的蛋白质表征，已经在计算蛋白质工程的许多任务中表现出最先进的性能。近年来，进展主要集中在参数计数上，最近模型的容量超过了它们所训练的数据集的大小。牛津大学（University of

公众号/  ScienceAI（ID：Philosophyai） 编辑 | 萝卜皮蛋白质-蛋白质相互作用的微调通过共同进化自然发生，但这个过程很难在实验室中重现。 斯坦福大学医学院的研究人员描述了一个合成蛋白质-蛋白质共同进化的平台，可以从复杂的文库中分离出匹配的相互作用突

来源：品玩 品玩 5 月 29 日讯，据英伟达在 2023 年台北电脑展会上的演讲，该公司宣称其 GPU 可以大幅降低训练大型语言模型（LLM）的成本和耗能。黄仁勋在演讲中，向 CPU 行业发起了挑战，他认为生成式人工智能和加速计算是未来计算的方向。他宣布传统的摩尔定律已经过时，未来的性能提升将主要来自生成式人工智能和

贾西北京时间4月14日消息，电商巨头亚马逊公司周四加入了人工智能(AI)的竞争行列，推出了自己的生成式AI服务Bedrock。亚马逊CEO安迪·贾西(Andy Jass)在接受采访时称，真正优秀的大语言模型需要耗费数十亿美元和多年时间来训练。 借助Bedrock，亚马逊旗下云服务AWS将允许开发者访问其自主语言

近日，在火爆全球的AI聊天机器人ChatGPT上线四个月后，OpenAI又发布了ChatGPT-4。从OpenAI的官网可以了解到，与上一个版本相比，GPT-4 拥有了更广的知识面和更强的解决问题能力，在创意、视觉输入和长内容上都有更好的表现。GPT-4是一个超大的多模态模型，实现了从文本理解到图像理解的飞跃式提升：包

8月30日—9月2日,由工业和信息化部、科学技术部、深圳市人民政府共同主办的2022年首届“兴智杯”全国人工智能创新应用大赛专题活动周正式举行。首届大会主题为“兴智赋能”,旨在推动人工智能核心技术突破和产业生态建设,加速人工智能与实体 经济 深度融合。活动周首日,邀请了联汇 科技

PLM的不可能三角困境。 编译 | 王玥 编辑 | 陈彩娴近年来，大规模预训练语言模型（PLM）显著提高了各种NLP任务的性能。由BERT和GPT-2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等。此

作者丨维克多Transformer的提出距离我们已经有5年的时间，随着模型规模的不断增长，性能提升也逐渐出现边际效益递减的情况。如何训练出最优性能的大模型？ 最近，DeepMind做了一项调查，想弄清AI语言模型的规模和token之间的关系。这个小组训练了超过 400个 模型，规模从

作者丨邹月娴 整理 | 维克多 编辑 | 青暮预训练模型在自然语言处理和计算机视觉领域引起了学术界和工业界的广泛关注。利用大规模无监督数据进行训练的预训练模型有着非常好的泛化性，只需在小规模标注数据上进行微调，就可以在相应任务上有所提高。但相关研究的进展如何？还有哪些问题需要进一步探索？