医疗领域「百模大战」:BATH和医疗IT玩家,谁更适合做垂类大模型?
ChatGPT的发布在全球掀起了大模型产业化的浪潮,短短半年间,许多行业因大模型的出现而脱胎换骨。“大模型在改变人工智能的同时,也在改变着全世界”逐渐成为人们的共识。
在通用大模型领域,拥有着深厚技术储备的腾讯、阿里、百度、华为等国内科技与互联网巨头企业接连发力,打造出混元、通义千问、文心一言、盘古等AI大模型,在大模型产业化的竞争浪潮中占据第一梯队。
大模型之火越烧越烈,从通用大模型一路蔓延至专业性更强的医疗垂类大模型。
然而,受限于医疗行业的专业性与严肃性,基于专业语料、高质量数据的医疗垂直领域大模型研发门槛显然更高。
自今年2月起,腾讯、阿里、百度、华为、讯飞、商汤,以及来自医疗信息化、医疗影像、互联网医疗等领域的多家企业陆续公布了在医疗领域大模型方面的布局,近两个月来,更是有多款医疗大模型先后发布。
在这条赛道之上,深耕医疗领域的专业玩家是否更具优势?
雷峰网《医健AI掘金志》基于公开资料,对布局医疗大模型的企业、研究机构及其相关产品进行了盘点。
(雷峰网 (公众号:雷峰网) 《医健AI掘金志》后续将推出更多医疗大模型相关话题文章,如《医疗信息化厂商的「GPT焦虑症」》等,欢迎添加作者微信qiaoyw186抢先交流。)
华为(药物设计)
2021年4月,华为发布盘古NLP(中文语言)大模型、盘古视觉大模型、盘古科学计算大模型,同年9月,华为推出用于药物研发细分场景的大模型,盘古药物分子大模型。
据介绍,该模型是由华为云联合中国科学院上海药物研究所共同训练而成。依托华为云一站式医疗研发平台 EIHealth,盘古药物分子大模型学习了 17 亿个药物分子的化学结构。
国际欧亚科学院院士、华为云人工智能领域首席科学家田奇曾介绍,盘古大模型解决了传统AI开发的作坊式开发、样本标注代价大、模型维护困难、模型泛化不足、行业人短缺等难题。
在《医健AI掘金志》此前与华为云医疗产品总监,医疗首席科学家乔楠博士的对话中,乔楠博士介绍,华为云基于盘古药物分子大模型打造的AI辅助药物设计平台,能够覆盖药物设计的全流程,为靶点发现、药物筛选、分子优化三个环节提供支撑。
在靶点发现环节,2019年以来,华为云针对基因数据、基因多组学数据、基因调控网络数据陆续发布了三个算法:AutoGenome、AutoOmics、AutoGGN,通过从细胞系、动物模型、病人身体组织中测到的多组学数据进行AI建模,为生物标记物发现和靶点发现等相关问题提供依据。
在药物筛选环节,华为云打造了一个独有的小分子库生成功能,基于盘古药物分子大模型,从模型学习到的类药化学空间中均衡采样,生成新颖且类药性质更优的化合物分子库,帮助加速药物筛选过程。
在分子优化环节,分子搜索功能基于华为云盘古药物分子大模型的小分子化合物表征,以使用者输入的参考化合物结构为起点,从海量的小分子库中搜索到相似结构和排序,可以实现百亿级小分子的秒级搜索。
在实际应用中,华为云联合西安交通大学第一附属医院刘冰教授团队,基于华为云盘古药物分子大模型研发出了近四十年来首个新靶点、新类别的抗生素,将药物设计周期从数年缩短至数月,成本降低70%。
2022年7月25日,云南白药公告其与华为达成全面合作,双方将在人工智能药物研发领域开展交流与合作,探索联合科研创新机制。
今年6月6日,润达医疗与华为云计算技术有限公司在上海正式签署全面战略合作协议,双方将基于华为云平台打造面向医疗领域的AI大模型,实现智慧医疗服务。
百度(药物设计、辅助诊疗等)
2022年5月,百度对外发布了文心生物计算大模型,并将生物领域研究对象的特性融入模型,构建面向化合物分子、蛋白分子、基因组学信息的生物计算领域预训练大模型。
目前正式对外发布的文心生物计算大模型,包括化合物通用表征模型、蛋白结构分析模型以及单序列蛋白表征模型。
在实际应用中,文心生物计算大模型已帮助百克生物等医药公司缩短了化合物分子选型的周期。
今年3月16日,百度正式发布新一代大语言模型,生成式AI产品“文心一言”。在3月21日召开的的2023年百度&GBI生态峰会上,百度文心大模型首个落地医药行业的应用GBIBot正式发布。
这款医药垂类对话机器人,使用了百度灵医智惠在医疗健康行业的技术积累,实现了文心大模型与GBI专业数据库的有机结合。
据峰会当日介绍,百度已具备医疗健康大模型,对应的应用层即为智慧医疗。这一模型来自百度的三大中台技术,即数据中台、知识中台和AI中台。
百度曾基于国家级项目和数百家医院实践,制定医疗健康标准大数据,构建医疗健康大数据治理平台,据峰会介绍,百度拥有超过1亿的数据治理单据、2100万日审核医嘱、13万日推荐检查、180万日服务患者、20万日服务医生数量。
同时,百度还具有知识图谱构建能力,可将优质病历、诊断指南、专家共识、科研成果等知识信息由阅读级转换到计算、决策级。再基于AI中台技术,百度由此形成了千亿级参数的医疗健康大模型。
据此,GBI数据库的接入可以使其数据资源经过前述技术处理,为药企用户提供更加智能的服务。
而对于药企客户而言,文心一言作为一种CPT(生成型预训练变换模型),还将在前述技术的基础上,提供多轮交互式对话。从用户体验的角度上说,这相较于此前的关键词检索、语义查询更加精准便捷。
在今年5月举办的《中国AI药物研发大会》上,百度生命科学解决方案架构师马罗亚介绍了百度生命科学行业布局及解决方案。
其中,百度基于文心大模型,深入生命科学行业,推出螺旋桨系列产品,为药物研发、基因检测等提供算法工具,在蛋白质结构预测、mRNA序列优化、虚拟筛选、ADMET预测等方面具有较强优势,可作为药物研发阶段重要工具,加速药物研发进程。
腾讯(辅助诊疗等)
2023年6月19日,腾讯云在国家科技传播中心召开行业大模型及智能应用技术峰会,首次公布腾讯云行业大模型研发进展,启动行业大模型共建合作。
据腾讯云介绍,此次公布的行业大模型解决方案立足不同企业的需求场景,依托腾讯云 TI 平台打造行业大模型精选商店,为企业客户提供 MaaS(Model-as-a-Service)一站式服务。
依托腾讯云 TI 平台打造行业大模型精选商店,为企业客户提供涵盖模型预训练、模型精调、智能应用开发等一站式行业大模型解决方案。
腾讯云MaaS的技术底座是一系列的行业大模型,包括金融、政府、文旅、传媒、教育等。
基于这些基础模型,腾讯云的客户只要加入自己的场景数据,就可以生成契合自身业务需要的专属模型;同时也可根据自身业务场景需求,定制不同参数、不同规格的模型服务。
在医疗健康领域,腾讯云可以帮助医疗机构构建和部署自己的疾病预测模型,提高诊断准确率和治疗效果;在金融领域,腾讯云可以帮助银行和保险公司构建和部署自己的风险评估模型,提高风险控制能力。
仁济医院作为腾讯此次行业大模型发布中医疗行业智能应用的全国示范医疗机构,运用腾讯行业大模型,以互联网医院适老化服务为着力点,再次升级互联网医院数智人智能客服,为患者提供便捷就医的智慧化体验。
阿里(辅助诊断)
4月11日,在阿里云峰会上,阿里云智能首席技术官周靖人正式宣布推出大语言模型“通义千问”,阿里巴巴所有产品未来将接入“通义千问”大模型,进行全面改造,包括天猫、钉钉、高德地图、淘宝、优酷、盒马等。
该模型基于阿里巴巴自主研发的StructBERT和PLUG等技术构建,拥有270亿个参数,具备多轮对话、文案创作、逻辑推理、多模态理解、多语言支持等功能,可以理解和生成中文、英文、日文等多种语言,并且可以根据不同的任务和领域进行灵活调整。
据在医疗领域,利用“通义千问”模型可实现医疗问答、医疗知识图谱、医疗报告生成等功能,提供专业的医疗咨询和辅助诊断。
商汤(AI导辅诊、辅助诊断等)
4月10日,在商汤技术交流日活动上,商汤科技董事长兼首席执行官徐立宣布推出大模型体系“日日新”大模型,体系包含自然语言生成、照片生成服务、感知模型预标注、模型研发。
商汤“日日新 SenseNova”大模型体系的基础算力底座是商汤 AI 大装置 SenseCore,其背靠商汤人工智能计算中心(AIDC),目前有 27000 块的 GPU 在运行,能够输出 5000p 的总算力,500p 的国产化算力,可以同步支持 20 个千亿参数超大模型训练,为商汤日日新大模型体系提供了充足的算力支持。
基于大装置的能力,商汤目前已构建了计算机视觉、自然语言处理、AI 内容生成、多模态、决策智能等多个领域的大模型,在医疗领域,推出了中文医疗语言大模型“商量·大医”。
“商量·大医”基于海量医学知识和真实医患互动对话数据打造,能够通过多轮对话辅助支持导诊、问诊、健康咨询、辅助决策等多场景,从而持续赋能医疗领域,提升医院诊疗效率,为患者打造更好的服务体验。
据商汤科技展示的案例,“商量·大医”已落地新华医院,能够担任健康咨询助手,为用户解答熬夜会带来身体变化的原因, 并通过引导给用户提供就医挂号建议。
创业慧康(辅助诊断)
据创业慧康官微消息,4月12日,创业慧康与浙江大学计算机创新技术研究院、浙江省智慧医疗创新中心正式达成战略协议,共同推动AI技术在医疗领域的应用及发展。
据介绍,此次合作的重点是推动AI大模型(如GPT、ChatGLM、LLaMA、T5、Segment Anything)在临床医疗、公共卫生、个人健康等场景中的研究与开发,以重构医疗业务场景,结合权威的医学临床知识库、健康管理知识库,为AIGC模型提供高质量的训练数据和确定性的Prompt上下文,使得人工智能模型生成结果安全可信。
6月14日与19日,创业慧康在互动平台的回复中对公司打造的AI大模型聚合产品——BsoftGPT进行了介绍,产品将以API调用结合本地部署的方式聚合利用通用GPT模型,同时通过本地部署embedding向量数据库以及公司自有的领域知识库,通过医疗垂直领域的语言模型训练和微调逐步实现产品力,并向公司内外部的应用场景,比如在医疗服务和个人健康等场景中输出AI智能服务。
在临床医疗服务方面,BSoftGPT可以根据医生提供的病历信息和临床数据,自动化生成临床决策建议和治疗方案,从而辅助医生进行临床决策,提升现有的临床决策支持系统CDSS的智能化水平;
在面向患者服务方面,BSoftGPT可以通过与患者进行自然语言交互,实现贯穿患者诊前诊中诊后全流程的智能导诊、管理。
BSoftGPT平台将成为创业慧康AI能力的中台,是公司关键技术基础设施之一,能够为公司的业务应用和研究开发提供支持和帮助。
卫宁健康(辅助诊断)
5月12日,卫宁健康发文公布了公司在医疗垂直领域的大语言模型上的研究进展。
据介绍,卫宁健康自2017年起在医疗AI领域进行布局,并于2023年1月开展了卫宁健康医疗语言大模型WiNGPT的研发和训练工作。
今年3月,实验室已完成了WiNGPT可行性验证并开始内测,WiNGPT采用通用GPT架构、60亿参数,实现了从预训练到微调的医疗大语言模型全过程自有研发;
5月,WiNGPT训练的数据量已达到9720项药品知识、 7200余项疾病知识、 2800余项检查检验知识、1100余份指南文档,总训练Token数达37亿。共包含7大类基础任务(问答、多轮对话、信息抽取、归一化、文本相似计算、摘要、分类、生成)与20多项子任务。
卫宁健康将大模型WiNGPT以Copilot辅助诊断模式融合到WiNEX产品中,WiNGPT Copilot产品面向专业医疗工作者,通过专业人士的审核和决策更好地服务最终患者,同时会使用知识库、模板和规则来确保数据准确性。
WiNEX Copilot产品预计将于10月Winning World2023大会上正式发布。
东软集团(影像分割、辅助诊疗等)
2月17日,东软集团宣布成为文心一言首批生态合作伙伴,优先内测试用文心一言,集成其技术能力,在产品研发、标准制定等多个领域展开深化合作。
4月28日,据东软集团官微,东软智能医疗科技研究院(以下简称研究院)已正式发布基于医学影像分割大模型的飞标医学影像标注平台4.0版。
为解决模型碎片化的问题,研究院通过深入研究在医学影像领域预训练大模型技术,通过“预训练大模型+下游任务微调”的方式,从大量标记和未标记的数据中捕获知识,扩展模型的泛化能力。
同时,研究院结合东软自身积累的带有标注数据的大量数据集,对预训练大模型进行二次训练,并针对医学影像的三维特点进行优化,推出了医学影像分割大模型MISM。
借助医学影像分割大模型MISM,飞标平台4.0版可实现通过一个点、一个边界框,一键分割出病灶或解剖结构的功能,能够更精准的连续逐层标注。
6月20日,东与软集团官微再次发文,介绍了近日推出的添翼医疗领域大模型。
添翼医疗领域大模型是同时面向医生与患者双方的产品。医生可通过自然语言与添翼医疗领域大模型交互,快速、精准地完成医疗报告与病历、医嘱开立;
同时,添翼医疗领域大模型还能够为患者提供全面的诊后健康饮食、营养与运动建议等服务。
其多模态数据融合能力,也将为医院管理者提供对话式交互与数据洞察,简化数据利用,助力医院精细化管理。
医联(AI导辅诊、辅助诊断)
5月25日,互联网医疗公司医联正式发布了其自主研发的医疗大语言模型——MedGPT。该系统基于Transformer模型架构研发,致⼒于在真实医疗场景中发挥实际诊疗价值,实现从疾病预防、诊断、治疗、康复的全流程智能化诊疗能力。
据介绍,MedGPT能够通过多轮问诊,引导患者收集足够的诊断决策因⼦之后再进⼊到诊断环节,通过收集足够信息并做出符合医学的决策,以“治愈”为目的而进行人机交互。
通过独有的将⾃然语⾔⼤模型AI技术与⼀系列⼯程调优技术以及医学⼀致性校验技术相结合,并在模型微调训练阶段采⽤⼤量真实医⽣参与的RLHF(Reinforcement Learning from Human Feedback) 监督微调,有效提升模型的疾病特征判断与模式识别能⼒,确保医疗准确性。
此外,医联还建立了基于专家评议的AI诊疗准确性与真实世界医⽣对标测试机制,不断将AI与真实诊疗场景对齐,最终实现准确诊断。
基于Transformer架构,MedGPT可以整合多种医学检验检测模态能力,首次实现线上问诊到医学检查的⽆缝衔接。在问诊环节结束之后,MedGPT会给患者开具必要的医学检查项目以进一步明确病情,患者则可以通过医联云检验等多模态能力进行检查。
基于有效问诊以及医学检查数据,MedGPT得以进行准确的疾病诊断,并为患者设计疾病治疗方案。患者可以通过医联互联网医院实现送药到家,MedGPT会在患者收到药品后主动为患者进行用药指导与管理、智能随访复诊、康复指导等智能化疾病诊疗动作。
通过多模态应用的打通,MedGPT实现了预防、诊断、治疗、康复的全流程诊疗。
MedGPT目前的参数规模为100B规模,预训练阶段使⽤了超过20亿的医学文本数据,微调训练阶段使⽤了800万条的高质量结构化临床诊疗数据,并投⼊超过100名医⽣参与⼈⼯反馈监督微调训练。
目前,MedGPT 已经可以覆盖 ICD10 的60%疾病病种,并在近期将研发重心倾斜在多发疾病,以提升数字医院的普惠率。预计在 2023 年底,可以覆盖80%病种的就诊需求。
云知声(辅助诊疗、保险)
5月24日,云知声发布山海大模型。云知声创始人、CEO黄伟在发布会上介绍,将以山海大模型为基础,打造MaaS 模式的AI 2.0解决方案,在通用能力基础上,增强物联、医疗等行业能力。
在医疗场景中,云知声基于过往数据与经验积累,依托山海大模型全面升级医疗业务线各产品智能化水平,发布手术病历撰写助手、门诊病历生成系统、商保智能理赔系统三大医疗产品应用,实现从助手到专家的跃迁。
智慧眼(辅助诊疗、健康管理等)
5月20日,智慧眼发布了多模态医疗大模型“砭石”。“砭石”医疗大模型采用知识图谱与大模型相结合的技术路线,实现对问诊的文本数据、医疗影像数据、用户的面部体征视频数据和用户睡眠音频数据的多模态处理,实现医疗辅助诊断、智能认知、健康管理等多样化的任务。
基于砭石的场景应用能力,智慧眼发布云慢病患者服务管理系统,包含医院患者服务管理系统和药店患者服务管理系统,将加速医疗行业数智化,为患者提供全生命周期健康管理服务。
智慧眼研究院负责人表示,“砭石”医疗大模型将以大模型为基础,深入决策支持、医保控费、医药服务、健康管理、保险支付等诸多场景:
通过砭石大模型辅助诊疗技术,为基层医务人员提供病历质控、辅助诊断、合理用药、医学知识检索等技术支持;
搭建风险控制模型,以更为常态化、高效精准的方式挖掘数据之下的欺诈骗保行为,对购药、门诊、健康理疗等行为进行自动化的分析、监管和预警;
开发云慢病患者服务管理系统,通过赋能B端服务C端,AI将联通诊前、诊中、诊后实现慢病管理的闭环,通过数字疗法促进慢性病积极管理;
以砭石大模型为技术底座,打通了医疗服务的需求方、服务方、支付方和药品提供方,提供智能导诊、问诊购药、复诊续方、医生在线接诊、开方审方、处方流转、医保结算、药物配送和用药跟踪等一站式服务等。
上海市算力网络数字医疗创新实验室(辅助诊断)
5月17日,上海市算力网络数字医疗创新实验室全部自主研发的医疗算网大模型Uni-talk发布。
上海市算力网络数字医疗创新实验室由上海联通、华山医院、上海超算中心和华为联合组建,“Uni-talk”算力网络医疗大模型是实验室成立以来交的“第一份答卷”。
“Uni-talk”是一款自主可控、行业定制的国产化大模型产品,在严格遵守国家数据安全管理要求下,实验室将数据信息进行私有化部署与训练,基于联通算网智能管控与算力统一调度编排能力,在通用模型基础能力之上,融入垂直领域专业知识,大幅提升场景感知和理解能力,逐步实现通用人工智能到医疗人工智能领域的融会贯通。
Uni-talk是首个基于算力网络的医疗算法模型,依托上海联通算网大脑,通过多元算力实时感知、云网协同、智能决策等算网融合关键技术,实现对跨区域异构算力的智能管控与统一编排,助力模型高效训练迭代。
同时,“Uni-talk”在通用大规模多语言语料知识库基础上,基于医疗知识图谱重点融合学习了医学领域专业知识,知识库收集整理接近亿条医疗专业知识资料进行深度训练学习,保障模型的推理质量、准确性与可靠性。华山医院将Uni-talk应用于专业医学文献检索、辅助诊断等多个场景。
上海人工智能实验室(辅助诊疗等)
6月29日,由上海人工智能实验室牵头,并联合国内外顶级科研机构、高校及医院共同发布全球首个医疗多模态基础模型群“OpenMEDLab浦医”。
“OpenMEDLab浦医”融合了全球顶尖的AI研发能力、海量医学数据以及医学专家知识,首批发布的基础模型群中,包含基于医学图像、医学文本、生物信息、蛋白质工程等10余种数据模态训练而成的基础模型。
据介绍,基于计算机视觉、自然语言处理大模型对医疗图像和文本通用特征的学习,上海人工智能实验室首先针对不同医疗数据模态开发了一系列基模型,例如CT、MRI、超声、内镜、病理、医学文本等,以充分学习和利用不同数据模态独有的特征和模式。
基于上述多层级、多场景的基础模型群,“OpenMEDLab浦医”可以将先前医学数据训练中学习到的特征,高效应用于海量医疗下游问题中,从而实现针对不同任务的小数据、弱标注、高效率的训练。同时,模型群兼顾性能与落地的平衡,在医疗场景中的部署应用更具便捷性,从而让基础模型在更多医疗长尾问题中得以落地应用。
“OpenMEDLab浦医”研发团队已与全国多家头部三甲医院及医药企业开展合作,全方位赋能医院诊疗及药物研发工作。
“OpenMEDLab浦医”将于近期逐步开源,覆盖医学图像、医学文本、生物信息、蛋白质工程等10余种医疗数据模态,促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破,推动医疗大模型的产业落地。
香港中文大学(深圳)&深圳市大数据研究院(辅助诊疗)
近日,香港中文大学(深圳)和深圳市大数据研究院的王本友教授团队训练并开源了一个新的医疗大模型 ——HuatuoGPT(华佗GPT),基于医生回复和 ChatGPT 回复,让语言模型成为医生提供丰富且准确的问诊。
研究团队利用指令微调和强化学习在 ChatGPT 和医生的回复中找到结合点,训练并开源了一个新的医疗大模型 ——HuatuoGPT。
HuatuoGPT 致力于通过融合 ChatGPT 生成的 “蒸馏数据” 和真实世界医生回复的数据,以使语言模型具备像医生一样的诊断能力和提供有用信息的能力,同时保持对用户流畅的交互和内容的丰富性。
为了进一步提升模型生成的质量,HuatuoGPT 还应用了基于 AI 反馈的强化学习技术(RLAIF)。
使用 ChatGPT 对模型生成的内容进行评分,考虑内容的用户友好程度,并结合医生的回答作为参考,将医生回复的质量纳入考量。
利用 PPO 算法将模型的生成偏好调整到医生和用户之间的一致性,从而增强模型生成丰富、详尽且正确的诊断。
联影智能(医学影像)
5月30日,联影智能CTO吴迪嘉在《第二届长三角科技产业创新论坛暨AI大模型产业应用高峰论坛》上介绍,联影智能通过AI应用赋能精准医疗,目前能够做到多场景、多疾病(心脏、癌症、大脑)、全病程疗效评估与智能随访、一站式分析的应用,针对卒中提供筛查与诊断一体化影像平台,落地全国首个数智化基层协同救治体系。
吴迪嘉介绍,基于多病种影像数据训练的医疗影像模型,以及医疗文本/知识模型的创新基础模型,联影智能正在构建医用通才大模型 ,进一步赋能中国未来医疗开发者,为医疗场景提供诊疗服务。
(雷峰网《医健AI掘金志》后续将推出更多医疗大模型相关话题文章,如《医疗信息化厂商的「GPT焦虑症」》等,欢迎添加作者微信qiaoyw186抢先交流。)
雷峰网原创文章,未经授权禁止转载。详情见 转载须知 。