“真刀真枪”的ISICDM 2018胰腺分割挑战赛排名揭晓,中山大学计算医学成像实验室斩获冠军
2018年10月13-15日,第二届图像计算与数字医学国际研讨会(ISICDM 2018)在中国四川省成都市召开。
大会第二日,研讨会成功举办了首届“ISICDM 2018胰腺CT图像分割挑战赛”,旨在通过挑战赛的形式为图像计算和数字医学产学研界提供技术交流和展示的平台。近日,大赛官方公布了获奖团队名单,来自中山大学计算医学成像实验室的蔡官熊、刘守亮、李悦、江杰和郭剑锋共五位同学在所有队伍中排名第一,荣获“一等奖”。
历时一月,完美收官
本次大赛于9月20号开始报名,内容分为初赛和决赛,初赛又分为两个阶段,初赛第一阶段于10月7日到10月9日进行,共计24小时,初赛第二轮于10月14日上午举行,共计4小时,决赛于10月14日晚举行。
此次挑战赛共有40多个团队报名参加。在初赛的第一和第二阶段,参赛选手们根据大会公开的第一批和第二批测试数据分别提交了分割结果,一共有22个团队提交了初赛第一轮和第二轮的分割结果。
随后,两轮初赛的定量评价(基于 Dice 值)排名前 10 名的团队进入了10月14日晚的现场决赛。
决赛之夜现场
当晚的现场决赛是本次挑战赛的一大特色,具有很强的实战性。挑战赛组织者现场发放临床数据,10个决赛团队轮流上台展示,在台上用自备的电脑当场测试各自的软件,并通过投影展示软件的完整操作过程,一层一层的显示分割结果,以便评委和观众能够仔细观察。
医生评委现场点评,从左到右依次为王霄英教授,佟丹教授和陆菁菁教授
最后,挑战赛的3位算法评委和3位影像科医生评委综合考虑了初赛第一轮和初赛第二轮的定量评估排名和现场决赛6位评委的主观评估排名之后,评出了一等奖1名,二等奖2名,三等奖3名,名单如下:
一等奖:李悦团队 (中山大学)
二等奖:唐晓颖团队 (南方科技大学)
陈宇飞团队 (同济大学)
三等奖:陈荣臻团队 (厦门大学)
余伟团队(重庆图矩科技有限公司,重庆大学)
王一达团队 (华东师范大学)
真刀真枪,兼具专业和实战
本次胰腺分割挑战赛兼具专业性和实战性。
专业性不仅体现在参赛选手的教育背景和专业水准上(决赛队伍均来自浙江大学、上海交通大学、厦门大学、同济大学等中国一流高校),也体现在算法和医生评委上。决赛算法评委包括了电子科技大学的李纯明教授,美国杜兰大学的王玉平教授和平安科技美东研究院的吕乐博士。来自北京大学第一医院的王霄英教授,北京协和医院的陆菁菁教授和吉林大学第一医院的佟丹教授则组成了强大的医生评委阵容。
其中,挑战赛的组织者李纯明教授是一位在图像分割领域很有建树的专家,他提出过多个有国际影响力的图像分割模型与算法,被国内外许多科研和工程技术人员应用或作为进一步研究的基础框架。他以第一作者身份发表了多篇单篇引用率超过1000次的研究论文,其中两篇获得2013年和2015年IEEE信号处理学会最佳论文奖。他指导学生开发的两个基于水平集的分割算法在MICCAI(医学图像分析领域的顶级国际会议)的分割挑战赛上获得心脏磁共振图像左心室分割项目的第一名和磁共振图像大脑感兴趣区域分割项目的第二名。
因此,李纯明教授对标准的图像分割挑战赛的规则十分熟悉,也了解其中的优劣之处,这也促成了此次挑战赛在赛程和规则上的改良,加强了比赛的专业性和实战性。
在实战性上,参赛队伍使用的20例训练数据和16例测试数据均来自陆军军医大学西南医院的真实临床数据,每一例都包含层厚为2mm和5mm的两个增强静脉期三维CT图像;并且大赛不允许反复提交分割结果,避免了传统分割挑战赛中参赛者通过反复提交结果刷分数的弊端;初赛和决赛环节的每场比赛时间越来越短,也越来越逼近真实临床环境;在现场决赛环节,两轮初赛总成绩前十名的团队到场,自备电脑连接会场的大屏幕,评委和观众在台下实时观看参赛代表的软件操作过程,真实可信。
紧张备战的决赛选手
其中,从第一轮初赛10月7日发放数据到9日提交分割结果,共计24小时。而第二轮初赛在会议现场发放数据到提交结果,整个处理过程仅4小时。显然,第二轮初赛比第一轮在更加紧张,在一定程度上排除了分割后的手工后处理的可能性。因此,初赛的定量评价主要参考了第二轮的分割结果。此外,还可以通过对比各团队的两次初赛的结果的变化,把第二轮初赛结果明显不如第一轮初赛的团队淘汰出前三名。
夺冠回顾,展望未来
大赛获奖名单公布以后,雷锋网 (公众号:雷锋网) 第一时间采访了来自中山大学计算医学成像实验室的冠军团队。
据了解,中山大学团队在比赛前期就做了比较详细的分工,队伍里的五位同学各司其职:两位同学主导分割后的处理设计,其他三位同学分别负责主体分割算法的构建,现有算法的复现和对比,以及算法的数学改进。
“明确的分工让我们效率高了很多。”中山大学团队向雷锋网分享到。
决赛现场的中山大学团队
在比赛中,大部分团队使用的都是U-Net网络,而中山大学团队的优势就在于他们负责算法的同学训练U-Net时,对输出做了一个比较有创新性的约束,使得结果更加接近于医生看图时勾画的金标准,进一步提高了算法性能。
“现场很多队伍都令我们印象深刻,比如同济大学陈宇飞老师带领的团队,现场展示过程中,他们的算法思路非常清晰,可视化界面也做得非常好;厦门大学的陈荣臻团队在现场数据展示中,分工合作很合理,效率高,结果处理得也非常好。”中山大学团队也称赞了其他队伍身上值得学习的地方。
最后,谈及本次大赛,中山大学团队列举了很多亮点:(1)评委组成合理。现场既有来自北京大学、吉林大学的资深医生评委从临床角度对结果进行评价,还有专业领域内的算法评委对算法进行评估,又有企业代表从产业界的角度对成果进行指导,评估角度广,包括了算法合理性、运行时间、操作难以程度和自动化程度等。(2)最终名次的评估也比较合理。既有初赛的两次量化结果,又有决赛现场的主观打分,进行适当加权;(3)赛后会务组跟进严谨。因为需使用量化的评价指标Dice,赛后会务组把各个队伍的各自排名和计算量化指标的都进行了公开,可以方便参赛团队验证排名的准确性。
相比于影响力更大更成熟的国际性人工智能赛事,比如医疗影像大赛LUNA、机器学习比赛Kaggle和天池医疗AI大赛,ISICDM虽然是第一次举办胰腺CT图像分割挑战赛,规模较小,但专业性和实战性兼备,也为明年的挑战赛提供了宝贵的经验。
谈到胰腺分割挑战赛的举办初衷,本次ISICDM会议的发起人和程序主席电子科技大学李纯明教授表示:“首先,挑战赛可以给产学研界提供一个技术展示的平台,让算法研究的学术同行和医生和企业人员了解参赛者的技术性能。其次,它可以让算法开发者有机会利用医院提供的临床数据‘真刀真枪’的测试算法的性能,并一比高低。最主要的是,我希望能在挑战赛形式上进行一些革新,目的是消除传统分割算法挑战赛的一些弊端,力图让参赛选手在更公平和更实战的环境下进行比赛,展现各自真实的水平。”
可以看到,本次大赛很好的诠释了李纯明教授的初心,展望明年的ISICDM分割挑战赛,李纯明教授也表达了自己的期望:“希望明年的大会能加大宣传力度,让更多的人参与进来,还要增加决赛数据量,让比赛结果更准确更全面的体现分割算法的性能。”
据雷锋网了解,2019年的ISICDM挑战赛会在今年的基础上做出多项改进,包括:1. 举办多个项目挑战赛,除了分割比赛,还会增加检测和识别比赛;2. 加大数据量,增加不同模态(CT,MRI,超声,等等),不同部位和疾病的临床数据;3. 增设多项全能分割挑战赛,让医生提供不同模态、不同部位和病灶的数据,让参赛者现场对不类型的数据进行分割;4.鼓励算法创新,在挑战赛最终排名上会把缺乏创新的团队淘汰出前三名。
同时,2019年的ISICDM分割挑战赛将继续保持今年挑战赛的优点和特色,邀请更多算法专家和医生参与挑战赛的数据收集和手工标注,制定赛程和规则,以及担任挑战赛评委。目前,已经有北京协和医院等国内顶尖医院的放射科和其它科室的医生表示愿意根据他们的临床需求,挑选收集相应的临床数据用于明年ISICDM挑战赛,并参与挑战赛组织与评委工作,随着更多专家学者的加入,相信明年的ISICDM挑战赛将会更加精彩,并促进相关技术的研发与落地。
。