深睿医疗CTO李一鸣：产品与科研“双路径”下的影像AI方法论

近期，雷锋网《医健AI掘金志》邀请深睿联合创始人兼CTO李一鸣，做客雷锋网公开课，以“医学影像AI科研创新与产品转化”为题，对2020年医学影像的新关键词进行解析。

后续将有更多课程上线，添加微信公众号   医健AI掘金志  听课，或收看本节课程视频回放

李一鸣表示，AI从自然图像领域迁移到医学领域，看似技术相通，实则挑战完全不同，其中共有样本不均衡、多模态、临床导向等八个差异点。

从2017年成立以来，深睿从肺结节入手，一步步扩展到全肺、乳腺、冠脉等多个疾病解决方案，这其中突破了多重“跨界”难题，并且和医生团体一同刷新对AI的认知。

以乳腺产品为例，在技术路径走不通的情况下，深睿医疗借鉴医生多角度观察的思路，基于交叉视图推理网络，根据映射把特征进行传递和增强，最终获得技术的突破。

以下为李一鸣演讲全文内容，雷锋网 (公众号：雷锋网) 做了不改变原意的编辑

我分享的题目是“医学影像科研创新与产品转化”，深睿医疗成立三年多，一直是以“创业者”的心态进行发展，坚持打造自己的核心技术、孵化产品线、完善产品矩阵。

医疗的核心问题在于“优质医疗资源的供给和服务的不对等”。

北上广深医疗资源相对集中，边远地区的医疗资源较差，疫情期间这一现象有明显的体现，人口老龄化问题的加剧，也会让这一问题进一步凸显，最终需要新的技术进行帮扶。“AI+医疗”也许是很好的解决方案、能够为医生、患者、医院提升效率、降低成本、已经被大家看好和期待。

在医疗+AI的方向上，深睿选择了医学影像入手，原因在于：

首先，临床价值层面，80%的临床问题的都需要医学影像辅助；

其次，数据层面，医学影像具有文本、图像、基因等多模态数据，同时在规整性、数据量等方面都非常适合；

最后，技术层面，以深度学习为代表的新一代AI技术让图像处理和识别有了长足进步；

从2017年到现在，医学影像AI一直向好的方向发展，利好政策也在持续释放，企业数量不断增多。这个变化从大的趋势角度来看，是医学影像逐渐信息化的过程，从传统胶片到Pacs，再到AI技术的引入，逐步向智能化转型。

深睿把这个变化分为几个里程碑：2017年影像AI元年的单病种、2018年探索在医疗机构落地、2019年更大规模应用、2020年启动商业化，持续变化，最终形成应用的闭环。

医疗AI的进步源于对效率提升的作用，“AI+医生”相比人工阅片，在时间、准确性、重复性上均有大规模提升，也对医院的效益和成本有优化作用。

深睿Dr. Wise医学影像产品线，目前已经在400多家医疗机构落地，场景包含重疾筛查，基层急诊、特色专科，其中三甲医院占比非常高。

影像AI的八重难关

影像AI产品的临床应用很广，用处很大，对未来也将是很好的支撑，但产品的关键点在哪里？

首先，需求一直都在，最简单的肺结节检测需求已经出现几十年，一直没有被攻克，直到近些年深度学习技术进入医学图像领域之后，才得到解决。

提出问题可能并不困难，但真正的实现，技术是否可行非常关键。虽然是以需求为主，但如果技术不存在或实现不了，产品只能是望梅止渴。

所以，医学影像AI产品的设计、研发、创新等环节尤为关键。

相比AI在自然图像领域的发展，AI在医学影像领域的应用要晚两年。从2015年到现在，所有医疗影像会议上都在提深度学习的论文。

那AI又是怎样从自然图像领域迁移到医学领域？

传统自然图像领域包括分割、图像识别、目标检测、实体分割等角度，对应到医学影像分割为代表的是肺炎识别，图像识别对应脑卒中，目标检测对应X光，实体分割对应冠脉。

这些技术和目标虽然相通，但挑战又完全不同。

问题具体是：

第一，数据稀少，医学影像的数据量相比自然图像角度要更少；

第二，数据标注，医学影像绝大部分数据没有被标注，少量标注数据也存在大量噪音；

第三，多模态，数据来源于多种设备，CT、核磁、X光图像都有自己的特点，有的偏结构、有的偏功能；

第四，样本不均衡，例如癌症数据，常规情况大部分是良性，小部分是恶性，但是医院的数据正好相反；

第五，尺度标准，医学影像中的病灶，发展态势和大小都存在变化，不同类型大小差异非常大；

第六，多任务，医学通常需要诊断多种疾病，同一份影像可能存在多种问题，都需要发掘；

第七，临床导向，以临床需求为目标，对于开发者有很高的门槛；但是临床需求决定了产品应用前景；

第八，医学的专业了解，医生对于解剖结构，诊断方法有很深的认知，这些对研发既是困难也是好处。

借助医生思想解决问题

深睿在和医生沟通中，在医疗知识层面获得了很多启示，解决了之前的研发瓶颈。

例如乳腺产品，过去乳腺肿块一直识别不好，和医生的沟通发现，他们诊断也很难，但他们会借助不同状位的解剖图像分析，例如冠状位、矢状位。

我们借鉴思路之后，在技术上利用交叉视图推理网络，把不同投照位进行映射，利用映射把特征传递和增强，提升了检出效果，这个成果我们也做了文章，并被CVPR收录。

还有乳腺的钙化点识别，因为病灶非常小，只有十几个像素点，识别很困难。我们发现医生遇到这个问题，也需要放大图像观察。

借鉴这个思路之后，我们利用AI把反差做学习和训练，放大差异，生成重构图像，再进行识别，最后效果明显变好，这个成果我们也进行了发表。

还有新冠肺炎产品，虽然相比过去的产品有差异，但新冠肺炎依然只是肺部疾病中的一种。在过去全肺产品基础上，我们按照新冠肺炎数据集进行了强化，并最终发布新冠特别版。

产品研发中，主要借鉴了医生会诊、复诊的逻辑，主要是数据多模态融合，把低年资医生诊断报告和高年资医生诊断结果融合在一起，再做一致性评判，最终成功解决假阳性问题。

现在解决的已经不是特定的问题，最开始的肺结节只诊断一种问题，虽然也有实性、磨玻璃的区分，但是差异不像结节到肺炎这么大。

从肺结节做到全肺产品就不一样了，病灶大小和形态变化巨大，存在多病同像的情况。

我们只能采用多视角、多尺度的技术，提升准确率和敏感性，具体就是基于不用状位和角度识别，例如医生常用的肺窗、纵隔窗，再加入一些三维成像技术。

在肺部X-ray中，借鉴的思想在于“最朴素的诊断”，比如医生在培训和学习阶段，都是先学正常影像，然后学正常解剖结构，最终识别各种各样异常。

而深睿X-ray的问题在于数据标注量不足，虽然有大量的X光影像和报告，但都没有详细标记具体位置。

我们和医生交流发现，肺部解剖结构相对标准，所以就将正常数据和异常数据进行配准，来预测异常数据的差异，再进行优化，利用只有分类的数据就能达到比较好的效果。

骨龄产品则是借鉴了图网络的思想，原来的问题在于幼儿在拍摄骨龄图像时依从性较差，手的位置不规范，图像也存在遮挡和卷曲，影响识别。

从医疗经验学习到骨龄判断是整体性行为，不会存在差异巨大的情况，最终利用了临近的骨头做参考，成功解决遮挡的问题，技术也进行了发表。

深睿的成果持续对外发表主要有三点原因：

第一，做产品必须如此，因为我们解决的有挑战性的问题，也是前人没有解决的。

第二，树立学术领先性，深睿成立开始就设立了深睿研究院，积累了很多成果，得到两项国家科技部重点研发计划。

第三、影像AI产品的发展特点，技术需要不断的创新。

医学影像AI仅仅是工具

影像AI首先是工具性的产品，目的是帮助医生诊断疾病，从产品角度在于扩展用户能力的边界。

2016年，福布斯发起评比20个最重要工具的活动，投票前三的是刀、算盘，罗盘，这些都为人类文明发挥了重大的价值。

工具的意义在医学影像领域也得到了体现。例如冠脉产品，就是专业性极强的工具型产品，用户是影像科、心内科医师，为患者随访和术后复查提供帮助。

从工具的角度，我们没有理由不把产品做到极致。

影像AI的同质化来自于需求的刚需

医学影像AI产品的发展趋势就在于向高频场景切入。产品角度，首先应该属于高频、其次需求要比较强；医学影像角度，高频对应着高检查量，影像的需求越强，临床上也越重要。

这种高频就意味着同质化严重，最早大家都做肺结节，原因在于数据清楚，胸部影像检查也多。

重要性上，肺炎在全世界都是发病率和致死率第一的疾病，只能通过胸部CT进行筛查，获得早期干预和治疗。

基于高频和重要性的特点，深睿在医学影像AI已经推出肺癌、乳腺癌、脑卒中、骨折、X光等多款的产品，这些产品针对的都是高发、重大的疾病。

但骨龄产品不太一样，检查量不大，临床价值也不高，产品需求在于，过去的积分法非常耗时，从评估骨头开始打分、直至最后的公式测算，需要30分钟，而通过AI产品则可以很快检测出来。

医学影像AI的纵向和横向

影像AI产品发展的重心都是从单一环节逐步覆盖到完整临床诊断，这也是临床需求不断被挖掘的过程，整个过程分为横向和纵向。

纵向角度，以肺部产品为例，最早的目标仅仅是病灶的检出，之后再逐步进行定量分析，下一步基于图像特征进行提取，再进行定性的判断，包括良性、恶性，最终给出诊断，形成报告。

诊断结束之后，接下来就是治疗过程，发现病灶之后采取随访、穿刺、或者手术等措施，随着需求一步一步深入挖掘，产品功能也越深入。

横向角度，则是疾病从单一疾病向多模态的演变过程，最终实现多病种识别。

以肺部疾病为例，从肺结节起步，深睿在2018年初逐步发展到肺全科，并在2019年8月发布，其中包含了肺窗、纵隔窗、骨窗等多种形态发现疾病，后续又在CT的基础上，增加X光胸片，将平面和立体结合。

云+AI扩展影像服务的边界

影像AI诊断在公立医院内部使用，一般都是本地部署的方式，存在问题在于不能互通，对产品的升级和对外输出都非常不利。

AI和云结合在一起能够发挥更大的价值。这次新冠肺炎期间就有很多云服务公司和深睿进行合作，一同把AI+云的能力，提供给抗疫一线。

其实深睿自己很早就已经有云平台，在为各种组织服务，以深睿在解放军总医院第一医学中心提供远程会诊为例，其中两位专家通过我们的量化分析产品对一线的患者进行诊断和量化评估。这个案例可以发现，云+AI可以快速把超高的医疗能力直接送到一线或边远地区。

另外一个案例，是深睿去年获得国家卫建委的智慧服务创新奖的应用，在浙江中医药大学附属第三医院的医联体框架下和磬安县进行对接，提出磬安县的患者最多跑一次的口号，在县医院检查后，就能通过云+AI获得高质量的医疗服务。

从辅助影像扩展到临床

本身80%临床诊断都依赖于影像，在AI做好影像之后，也可以反过来，对临床科室进行支撑，完成智能诊疗服务的闭环。

深睿医疗认为，引入人工智能实现智能诊疗服务之后，可以把医疗资源的服务能力做到扩张，甚至复制，将有助于打破医疗资源的瓶颈。甚至提供7×24小时的服务。

此外，因为AI针对专科，可以对医疗进行非常精细的划分，实现支撑。AI在辅助诊断和数据处理应用后、也有助于医疗科研和应用的转化，我们认为这是未来的必然趋势。

现在的认知，仅仅存活于此时间节点

最后评论一下，2019年Gartner人工智能技术成熟度曲线。这个曲线传播非常广，也激起业内很多讨论，虽然整个成熟度可能没有太大的差异。

但是我想强调，阶段认知确实非常重要，应该了解现在技术处于哪个点，在爬坡还是下降，或者慢慢成熟。

深睿医疗一路发现，2017年早期项目在孵化的时候，接受到的反馈就很两极分化。

AlphaGo打败李世石之后，一种观点认为AI太可怕，无所不能。医疗行业不允许AI进入，进入之后可能就取代医生。

另外一个观点认为，围棋太简单、医疗太复杂。AI应用之后，对医疗没有作用。

2018年开始，AI从特定的点或产品切入临床工作之后，医疗行业对AI的认知开始趋同，大家知道AI并不是全职全能，但确实存在价值，在特定的点可以支撑医生的工作。

2019年，认知又发生变化，更多医生都表示希望AI做的更多，需求变得旺盛，行业对于技术的认知已经趋于成熟，认知越来越接近，行业对于AI的判断更冷静，也更贴合实际。

这种结果源于技术人和医疗从业人员的交流逐渐加深，共同明白AI能做什么，不能做什么。

2019年以后，医生开始更频繁地使用AI，工作中也越来越离不开。

所以我想强调，阶段认知虽然很重要，但时间长度更重要。从这几年的发展角度，阶段认知的变化周期越来越短，时间正在逐步加速。

我认为，现阶段的认知仅可以代表这个时间点，随着下一个时间点的到来，将会被很快取代。

。