腾讯医典AI医学图像报告自动生成模型获CVPR录用

近日，全球计算机视觉三大顶会之一的CVPR（IEEE国际计算机视觉与模式识别会议）公布了2021年度的论文录用结果。腾讯医典AI与北京大学共同合作的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，凭借在医学图像报告自动生成领域的研究突破成功入选。CVPR在2020年谷歌学术排行榜人工智能领域中排名第一，本次大会共收到来自全球超7000份论文投稿，最终1663篇论文获得录用，录用率仅为23.7%。

医学图像被广泛应用于诊断参考，基于肺部CT的新冠肺炎诊断也在疫情期间成为防控的关键。在医疗实践中，医生需要针对医学图像按标准撰写和输出医学报告。面对庞大的患者数量，为所有的图像逐一撰写报告占据了医生大量工作时间，不同医生的经验差异也使得部分图像中的异常被忽略，无法体现在报告中。如何借助人工智能快速、准确地自动生成报告，对于提升医生工作效率和服务质量具有重要的实用价值，也成为了近年医学图像研究领域中的一个重要课题。

然而，先进的医学图像报告自动生成系统也很容易受医学图像报告中的数据偏差误导。本次腾讯医典AI入选的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，创新地提出了后验-先验知识探索及蒸馏(PPKED)框架，模仿人类医生的判读方式，结合先验和后验知识来生成报告，以提高最终生成的医学报告质量，针对性弥补了这一不足。

模型中的先验探索(PrKE)模块，可以通过预构建包含心脏肥大、脊柱侧弯、钙化点、肺炎等常见异常特征信息的知识图谱，模拟医生学习过的医学知识，以更好地识别出各种图像中的异常。另一方面，通过在训练集中匹配、提取已知的相似图像和报告，可以与病人的历史报告做比对参考，模型亦在一定程度上模拟了医生根据自身丰富的经验来做决策的过程，实现利用先验知识来指导报告的生成。

在后验探索(PoKE)模块中，模型可实现将当前图像进行标签分类，模拟医生找寻图像异常的过程，大致框定异常的区域，提醒医生针对该区域做进一步识别处理。先验和后验知识在经过多领域知识蒸馏(MKD)模块的综合过滤后，将生成最终的报告。

这一创新模型在IU-Xray和MIMIC两个国际公认的公开数据集上，取得了比以往所有同类模型更好的结果，可以有效地生成更高质量的报告。

医学图像报告自动生成模型的论文登上人工智能领域第一的行业会议，是腾讯医典在人工智能领域的又一次深入探索。腾讯医典AI团队专注于医学知识图谱、医学自然语言理解、多模态深度学习等领域的研究，将持续在医学知识生成和推送、人工智能辅助诊疗等领域向行业输出切实可行的解决方案和领先技术，用 科技 提升医疗服务效率，助力医疗行业的数字化转型。