网易传媒携手北京协和医院，共研国际首个多模态AI癫痫样放电检测系统

近日,网易垂类模型首度落地医疗临床领域,由网易 传媒 与北京协和医院强强合作、共同研发的 国际首个多模态AI癫痫样放电检测系统vEpiSpy 正式亮相第二十六届全国神经病学学术大会,并在北京协和医院、北京天坛医院、山东大学附属儿童医院等全国多家顶级三甲医院展开了临床试用。

vEpiSpy系统依托北京协和医院癫痫中心丰富数据和专家经验,以及网易传媒在视频和算法领域强大的技术积累,首次做到了将患者的视频和脑电数据相结合,完全模拟了医生在使用脑电图时的标注手法,从而大幅度提高了脑电AI检测的准确率,在临床试用中特异性和敏感性分别能够达到90%、80%,误判率低于40%,媲美人类脑电专家的读图水平。同时,vEpiSpy系统和医院使用的脑电软件无缝结合,医生无需额外操作,直接就能看到由 AI标注过的脑电结果。在vEpiSpy系统的辅助下,医生的读图时间平均缩短了三分之一,效率平均提升约50%,大大节省了医生人力。

首创多模 态 AI 脑电识读系 统  表现领先国际同行

癫痫病是我国最常见的慢性神经系统疾病之一,发病率仅次于脑卒中。目前全国已有超过900万名癫痫病患者,并且还在以每年45万人的速度增长。

在癫痫诊治中,脑电图是最重要的检查依据之一。但是,对癫痫样放电的判读高度依赖专业脑电图技术人才,判读要求高,判读一致性低,且脑电数据量庞大,判读工作十分繁重。往往判读一份长程视频脑电图需要花费经验丰富的脑电图技师数小时。因此,癫痫诊治对于脑电图自动分析的需求越来越高,而人工智能的发展使得脑电图自动分析的设想得以有机会实现。

此前国际论文中提到的几大主流人工智能脑电图识读系统均为脑电单维度模型,错误检出率高,影响了软件的使用体验。基于此,网易传媒技术部和北京协和医院携手,采集了北京协和医院癫痫中心4千余例癫痫病例、共30万份数据样本,以Transformer模型为基础,突破性地将患者视频和脑电数据融合,建立了包含时序特征、时频域特征、高维视频特征、人体动作特征的多模态神经网络模型,有效提高了检测的准确率和特异性。

vEpiSpy系统测试表现优异,在随机选取的北京协和医院21例患者的25段总时长达65小时的连续脑电数据上,vEpiSpy标注异常脑电988处,敏感性、特异性和准确率分别高达80% 、99%和98.5%。在北京天坛医院5例患者的7段连续1h-3h脑电图中,在同样敏感性和准确率前提下,vEpiSpy的检测误判率甚至低于10%。将这部分数据同已上市的Persyst系统检测软件进行横向对比,vEpiSpy的敏感性和准确度均明显高于Persyst系统,同时误判率更低。

易用性是vEpiSpy系统的另一个突出优势。它采用了非侵入式自动检测模型,和医院的脑电系统无缝对接,在后台自动运行,持续读取实时脑电图,高效在界面打标,一般4小时的脑电图vEpiSpy系统十几分钟即可标注完毕。医生无需打开另外的软件来查看和处理,直接在本院脑电软件里就可以看到AI标注出的异常放电,极大降低了医生的操作成本。试点医院医生表示“使用时感觉不到这个软件的存在”。

有了vEpiSpy系统的帮助,医生相当于有了一个AI小助手提前完成了读图工作,医生只需要来检查下工作是否达标即可。通常来说,一名经验丰富的脑电医生处理一份2小时的脑电图需要30分钟左右的时间。在vEpiSpy系统辅助下,医生的读图时间平均能缩短多达15分钟,效率提升50%。

技术实力跨界迁移 与医疗伙伴共享AI红利

和其他同类软件相比,患者视频的加入是vEpiSpy多模态AI系统最大的创新亮点之一。网易传媒技术团队在视频内容的理解和制作上有深刻的理解和领先的经验,在国际顶会上发表了多篇AI及算法相关论文。同时研发的“妙悟”自动化内容理解和分发解决方案,大幅升级了视频为主的内容理解能力,帮助网易新闻客户端用户人均单日使用时长稳定保持行业第一。

哪里有需求,AI就能去到哪里。利用人工智能判读癫痫样放电是目前癫痫病研究的热点方向之一。在北京协和医院神经内科专家提出建立多模态AI癫痫样放电检测模型的设想后,网易传媒技术团队将在网易新闻应用中积累的技术能力进行跨界迁移,最终推动了在医疗临床上的应用落地。

vEpiSpy系统的面世只是网易垂类模型落地医疗临床领域的开始。网易传媒技术团队表示,项目组会不断积累vEpiSpy系统在顶级三甲医院的试点经验,持续完善模型,不断提升看病效率,让有经验的医生有更多的时间帮助更多的病人。未来,vEpiSpy系统还会走向全国,让偏远地区的医院也能借助 科技 的力量开展脑电相关的工作,让每一位癫痫患者都能及时得到诊治。

网易坚持实用主义,快速推进AI大模型在 游戏 、教育、工业、音乐等关键产业场景的落地,此次垂类模型落地医疗领域同样希望解决行业痛点,让更多人享受AI红利。