阿里达摩院「医疗AI」的战略全布局丨万字长文

近期，雷锋网医健AI掘金志邀请阿里巴巴达摩院医疗AI负责人迟颖，做客雷锋网公开课，以“医疗AI技术的探索和疫情期间的实践”为题，详细介绍了阿里达摩院在医疗健康AI上的探索与最新成果。

后续将有更多课程上线，添加微信公众号  医健AI掘金志  在公众号聊天框回复“听课”，进群可收看本节课程视频回放

2017年10月11日，阿里巴巴达摩院正式成立，定位于基础科学和创新技术研究。目前分布在全球8个城市，有1000+研究员。达摩院的人工智能中心是阿里云智能负责云上人工智能基础技术研发及产品落地应用的团队，主要在城市大脑、工业视觉、设计智能、医疗健康等领域提供AI技术支撑。

在讲座中，迟颖系统地介绍了疫情期间，达摩院在 新冠肺炎CT影像诊断、全基因组测序分析、疫情预测、医疗行业机器人翻译系统、基于知识图谱的智能问答 等一系列技术与落地成果。

以CT影像诊断为例，目前，达摩院的相关产品已经为500多家的医院服务，同时还在向海外各国开放。最快两秒、最长20秒就可以处理一个病例，每天最多分析一万三千例样本。

而在全基因组分析方面，达摩院的数据分析能力，可以将此前2～3天的全基因组分析全流程提速5倍，并且每个样本数据分析的时间从6个多小时缩短到几分钟。

迟颖表示，我们很希望尽快把医疗相关知识融入日常研究，用科技去服务我们的客户，和合作伙伴进行更好的合作，改善人们的生活、医疗健康状况。

以下为迟颖演讲全文内容，医健AI掘金志做了不改变原意的编辑

2017年10月11日，达摩院正式成立，定位于基础科学和创新技术研究。目前分布在全球8个城市，有1000+研究员。人工智能中心的医疗健康板块，我们会在影像诊断、基因分析、智能问诊、医疗搜索、公共卫生等方面，为医生、病人以及相关机构提供辅助诊断和决策的AI技术支撑。

医疗健康AI能做什么？

我们首先讲一下，医疗健康AI能做什么？

经过统计，健康的因素主要分为：保健服务10%，基因因素20%，环境因素20%，健康行为50%；健康花费方面，医疗服务占了88%，5%的病人消耗掉了60%的医疗资源，其他的健康监控行为仅占4%。

一般我们什么时候会得到最好的医疗服务？是将要离世时在ICU病房里。

ICU病房里的传感器非常多。飞机和车都有传感器，每一天飞机有2T的数据产生；而车以特斯拉为例，每一个小时传40T的数据到云端；健康人群包括亚健康人群，收集到的数字是零。

实际上人的血管、心肌和骨骼是没有神经感知的。所以当这些部位的疾病出现时，我们怎么去尽早预防和干预？

这里是达摩院医疗健康智能的一个简单介绍。

我们的任务是希望让AI辅助医疗保健，使医疗分析和健康管理变得高效、普惠、低成本。

我们主要分四个部分：视觉引擎、知识引擎、搜索引擎和基因引擎。

刚刚讲到传感器很重要，所以我们也很希望可以通过听觉、视觉、感知和文本，去保证身体的健康体征可以被监测到，比如心脏，血糖血压，睡眠或步态等常见的特征。

智能健康管理实例

对于一些老年人或者亚健康人群，有一些检查是我们现在正在进行中的，如智能健康管理。

我们在2019年刚刚举办了一场心电图的天池大赛。心电图的智能预警，心律失常事件可以得到准确的预测，对重要心律失常事件比如停搏、心动过速、房室颤，ST段变化等进行预警。

心血管AI辅助诊断是基于心脏CT数据分析，针对这些影像做心电门控心脏CT钙化积分运算、冠状动脉CTA影像分析等等。

膝腰疾病的识别主要基于影像（CT、核磁共振等），提供相关的疾病智能分析功能，比如腰椎退行性疾病等监测。

糖尿病慢性病的管理，包括健康指标收集，风险模型评估，干预建议方案，健康再评估，通过康养社区智能硬件设备收集相关信息。

高血压/高血脂，双高是老年人常见的疾病，也是比较危险的疾病。我们进行双高区域分类，希望早期筛查、发现、干预，进行多元数据的融合，包括利用基因数据进行疾病发病率预测。

老年人步态分析，包括刻板步态、曲线步态、减痛步态以及短腿步态等。基于这些步态可以分析是否患病，比如帕金森、阿尔兹海默症、膝髋关节骨性关节炎、小脑功能障碍等等。

医疗小组影响力

首先，我们在一些比赛中取得了还不错的成绩。

2017年7月份的Luna16肺结节筛查比赛拿了冠军；BB Task NLP 关系提取大赛是一项第一、一项第二；MICCAI的LiTS肝脏和肝结节比赛，三项世界第一；Image到文本的转换比赛叫ImageCLEF med captioning，获得第2名；2019的骨科脊柱分割世界大赛第2名；MICCAI PAIP的肝脏病理分割第4名。

我们还举办了很多的天池大赛，最早的有一场肺结节，然后有高血压和高血糖结果预测的比赛。

去年一年就有三场比赛，主要是肺部综合、心电图和病理，每场比赛都吸引了全球2000多支参赛队伍。

在投论文方面

1、基因方向，去年10月份，在心脏发育和疾病方向上发了一篇nature子刊nature communication。

2、19年7月份，心脏冠脉中心线自动提取算法被MICCCAI 2019提前收录。心脏弱监督的分割已经投稿了明年的MICCAI。

3、冠脉分支命名是被CVPR 2020收录。CVPR虽然不是医疗领域的会议，并且每年医疗方面的文章只有20篇左右，能入选很不容易。但它是影像处理的顶会。早在CVPR 2017的时候我们就有一些文章，像贝叶斯监督哈希算法等等。

4、IEEE ISBI上我们一直都有论文，比如肝脏血管分割核心技术已经被ISBI 2020会议收录。去年是3D肺结节检测及分割，以及肺部区域分割的新方法等。

冠脉CTA影像智能诊断

最初，达摩院主要是聚焦在心脏和骨科两个方向上。先介绍一下冠脉CTA影像智能诊断。

功能在这里简单罗列一下，主要是CTA冠脉树智能重建、冠脉分支自动命名、智能狭窄检查及斑块类型分析、智能钙化积分计算功能、左心室心肌厚度评估功能、结构化报告和胶片打印。

右下角是我们对心脏冠脉标注的一个全自动工具，可以帮助医生迅速地把狭窄和斑块标注出来。这里面是整个血管的中心线提取，整个过程都是全自动的，可以节省医生大量的时间。

下面我们看一下冠脉CTA里面的一些亮点，主要是高精准的冠状动脉识别和分析。

我们可以看到视频里不同的颜色，已经把不同的冠脉分支表现出来了。

左图中所示，其他方法能检测到的冠脉主干和分支比较粗的地方，而我们的方法可以精细到主干末梢和很细的分支，如图中红色部分。这是我们的特色之一。

将这部分重建之后，就可以进行分支命名。我们使用的是图网络的方法。

图网络是深度学习里面比较新的方法，从结果分析里可以看到，这个方法的准确率比普通方法有大幅提高。

我们再看一下斑块和狭窄识别。

我们看到一个血管分支，这里面，轻度狭窄大概30%左右、重度狭窄90%左右。普通的算法过于平滑，我们的算法比较细颗粒度。这里可以看和金标准相比，我们的算法更加接近了。

我们自动获取中心线的算法如上图。使用的是心脏打了造影的CT影像，在影像上我们用判别式的3D CNN来辅助冠脉追踪来获取中心线。

传统的方法一般是分割和追踪，但是有一些问题。

首先，分割的方法效率比较低，因为一个很大的心脏区域的volume里面只是去检测几根非常细的血管，这个检索的过程中效率是非常低的。

传统的追踪也有它的问题，就是没有办法去区分静脉，基于先验知识的追踪停止标准也是不鲁棒的。

比如遇到一个很长的斑块，追踪就会过早的停止，比如说图中血管上就有很长的斑块在里面，遇到这种情况时，只是基于先验知识的追踪就很不鲁棒了。

不管是分割还是传统的追踪方法都需要精准的标注，从时间成本上来说是非常昂贵的，尤其是细小的动脉分支。

那么我们的方法有什么改进呢，首先我们是有一些精准标注的的训练数据，这些数据我们可以用来训练追踪器Tracker来寻找中心线。同时追踪器不仅是把方向给出来，而且还会给出血管的半径。我们不仅有这一块，还有判别器Discriminator。

那它的作用是什么呢？

首先它会识别静脉；第二，用来训练学习的停止标准，可以更鲁棒和更灵活；第三，因为我们不仅有精准的标注，还有大量的粗略标注。

这在实际工作中是非常常见的，因为医生都特别的忙。我们可以用一些粗略的方法去得到一些不太精准的标注。这种情况下用Discriminator一起去训练这个模型，就把精准标注和粗略标注的图用来一起训练模型。

Discriminate判别的这一部分，可以明显降低标注成本，同时保证精准的结果。

左上角的这个图实际上就是一个血管的中心点，它周围所有可能的方向都在这个单位圆上表示出来了。

这个图基于血管的方向，每次移动一个半径的距离。我们的Tracker就是追踪方向以及半径的，把结果输出来以后，他就可以往前挪一步，一直到血管末梢停止的地方。

右上角这个图我们刚才都看过了，是拉直的血管。右下角的图是loss曲线，包括方向和半径，用判别部分的迭代，可以同时降低Tracker输出的结果。

这个方向和半径的输出错误率，从这两个图上可以看到随迭代次数有明显的降低。

心脏发育过程中的增强子定位是我们发表在nature子刊上的文章内容。

我们首先从重要的蛋白，以及基因的这些修饰可以看到候选增强子的位置，然后用这些做好标记的增强子的位置去进行训练，训练出模型之后就可以预测增强子的位置。

心脏发育过程中会有各种问题，有可能是遗传的，或是早期变异病变，都可以从训练的模型里面得到总结，然后对新的样本问题进行预测、推断。

基因

基因方面我们还有其他的应用，比如妊娠糖尿病。

一般在第24周的时候会看出孕妇有糖尿病还是没有，但是我们在第8周的时候，就可以根据基因进行预警、干预。在正确干预且患者有很好依从性的条件下，80%到90%的高风险人群就不会得糖尿病。这是基因方面的一个应用。

骨科

骨科方面，一个是脊柱结构的椎体和椎间盘的精准分割。

左边是CT图，中间、右边是核磁。根据分割出来的结果，我们可以细颗粒度区分退行性病变。

右边这张图里展现了椎体和椎间盘的病变，锥体主要是退行性的病变，椎间盘有膨出、疝出、突出、脱出、游离等各种不一样的异常情况。

我们在这方面的研究比较全，还在进行椎管狭窄的研究，我们在计划举办相关比赛。

髋关节手术测量方面，这里是术前规划，所展示的是一个X光片。当这个X光片呈现出来的时候，我们的算法可以进行全自动的特征点位置、关键角度和长度的测量。

一方面可以节省医生大量的时间，因为这个手术之前需要做各种各样的计算；

另外一方面也使得耗材厂商的库存量可以降低。经过自动计算以后，耗材的型号基本上也都出来了，以前是必须拿着各种型号的耗材到手术室，让医生来挑、在术中比对。

因此，这个方法也可以缩短术中的时间。

肺部

从最开始的LUNA 16比赛，我们就开始积累经验。为什么要讲这个呢？是因为这次疫情期间，我们首先做了基于CT影像的肺炎检测。

这是2017年LUNA比赛冠军的事情，之后我们办了第一届天池医疗大赛，就是肺结节筛查。当时是2887支参赛队伍、3900多位选手、20个国家和地区参赛。

我们的目的是推动这个行业的算法提升。我们提供了高质量的CT样本，在这个过程中建立了一些长远的合作关系，发掘了一些医疗影像团队。2019年，我们又办了一场肺综合的比赛，也是2000多支队伍参赛。

我们看一下落地场景，肺结节和肺综合都是在美年大健康落地，现在累计调用量已经有1300万次左右。每次扫描最慢的耗时是15秒，最快一两秒即可，性能accuracy（准确率）是98.55%左右，recall（召回率）是99.52%左右。

肺部综合疾病，为什么我们要做这件事呢？

一般来讲，单病种在早期筛查中的用处是相对有限的。比如我们做了肺结节，但是医生用我们的算法看完肺结节之后，还要看肺部有没有什么其他疾病。如果可以一次性看到多种病变，对医生的意义更大

我们第一批切入的疾病就是肺密度增高影、索条、肺大泡、动脉硬化、淋巴结钙化，以及最开始的肺结节。

关于肺综合我们在ISBI上发表了两篇论文。

项目流程主要是包括输入、预处理、分割、检测、描述。输入包括参数、CT数据；预处理包括肺窗提取、图像转换；分割包括肺区分割、纵隔分割；检测主要是病灶检测；最后描述包括病灶类型、病灶尺寸等等。

这里是一个自动实现肺叶分割的方法。我们首先用肺分割的方法对数据进行预处理，从这个图上我们可以看到把肺部完整的分割出来。

输入的图是256*256*128尺寸，分割出来的结果就是右侧这个样子。然后我们是用坐标卷积层，什么叫坐标卷积层？就是我们在这个地方把坐标x轴、y轴、z轴三个坐标的信息引入作为一个有弹性的限制条件，加在其他卷积层的后面连起来，保证分割出来的肺叶是很准确的。

还有一个方法是Volume R-CNN，这是一个检测CT影像目标和实例分割统一的神经网络框架。它是一个端到端的网络框架，可以同时高效地进行目标检测和实例分割。

我仔细解释一下。首先看RPN这个网络有一个loss function，它和方框检测以及实例分割的mask结果这三块是这个训练的目标。ROIs 和CT影像是输入，曲线的意思是反向迭代的时候不做梯度计算。

RoiAlign是很关键的一步，链接了4个模块，我们从箭头就可以看到链接的这4个模块，并且直接从CT影像的特征地图上萃取ROIs的特征，直接萃取特征就可以加速整个过程。

接下来展现的是我们这次新冠肺炎的CT影像分析。我们是基于以前的方法，但是又做了很多的改进。

我们使用到以前肝分割和肝病灶分割的世界冠军算法，也是我们这次算法的基础。

可以看到，我们的输出结果是有分割的，一个不同的颜色展示的分割mask，肺部区域分割，肺叶的分割。我们会输出新冠肺炎、普通肺炎还有其他病灶的概率。

我们在国内已经在为500多家左右的医院服务，包括火神山医院，同时还在向海外各国开放。

目前已经在接触的国家有近45个，日本、印度、印尼等已经部署好，进入例行临床。欧洲、亚洲、和南美的一些其他国家也已经开始部署、试点。

这里简单说一下我们的计算速度，最快两秒，最长20秒处理一个病例，读片速度基本上是医生的60倍。总调用量超过45万，每天最多分析一万三千例样本。

海外的部署，主要是通过阿里云全球数据中心进行公有云和私有云的部署。

阿里云有12个在海外的点，包括新加坡、澳大利亚、日本东京，还有美国东西部各一个点，印尼雅加达、德国法兰克福、英国伦敦、印度、迪拜以及中国香港。

全基因组测序分析

全基因组测序分析也是我们疫情期间推出的一个主要产品。

现在国家的标准从试行第5版开始就有规定，呼吸道标本或血液样本的病毒基因测序已经可以作为确诊的标准，只需要我们和已知的新冠病毒高度同源就可以。

我们说一下PCR的问题，就是漏检存在假阴性，有的时候还比较高，我听到业界认定的某一些产品假阴性可高达40%。

我们的基因测序是对整个基因链条95%以上的基因进行分析，准确率可以达到99%以上。并且我们进行病毒变异情况的统计分析，可以分析进化来源和时间，这个在变异地图上可以比较清晰地看到。

我们看一下整个流程，三个设备是流程里的主要步骤。

一个是第三方合作伙伴提供的自动化实验建库仪，一个是基因测序仪，还有我们自己的基因分析一体机，或者云端服务。

我们一次检测可以检查20人以上，主要使用场景在浙江省疾控中心，和武汉金银潭医院等。从疫情最开始的2月1号就得到疾控中心的认可，我们已经把这些设备都搬到了疾控中心。

其他场景还有临床检验中心、海关等这些需要管理疫情的机构。还有一些已有实验和测试能力的实验室，这些地方都可以部署。

核心价值主要是：快速精准检测，提高地方疫情处理能力；核心算法优化，全面监控疫情发展和变化；软硬一体模块化，简化操作和配置，及时部署和使用。

关于第二点，我们会根据基因的情况进行蛋白结构的预测，二维预测还有三维结构预测都有助于病毒疫苗的制备，和老药新用等药物研发提供基础。

在主要功能的用户界面展示中可以看到，有测序数据分析、进化分析、蛋白结构分析。

通过序列分析和序列拼接，我们可以分析与病毒序列的同源性；诊断这一块，进化分析是进行进化树的构建，智能分析病毒传播或演化的拟时间图谱；蛋白的分析，与老药新用、疫苗制备这些有很大关系。

性能介绍刚刚基本上都有讲过了，我就highlight一下病源筛查的鉴定时间。现在大部分做全基因组分析的公司基本上都要用2~3天的时间，才可以有结果。

我们的这个方案实验建库只需要三个小时；基因分析跟大家都一样，建议用户用自己原有的测序仪；我们的数据分析把以前将近6个小时的计算缩短到几分钟。实验建库是我们的合作伙伴做了很大的改进，我们一起把2~3天的一个工作量缩短到14个半小时。

这里总结一下，刚刚我们讲的14个半小时、20个病人同时并行处理，每个病人实际上只需要40分钟左右，所以和现在市面上的PCR方法比较，平均时间还是短的。

我们现在也向海外开放服务，已经收到明确需要部署全基因组分析的，有10个以上的国家和地区。

并且，这个方法已经在武汉的金银潭医院部署，通过宏基因的方法检测病毒源，帮助降低患者死亡率。并且已经开始了和国家疾控中心的合作。

疫情预测

疫情分析也是疫情期间很重要的一个产品，我们已经收到了客户-国务院办公厅的感谢信，但是因为预测的内容太多，时间关系，我只是简单介绍一下方法。

展示的这几个图，首先是把我们的模型和现有的一些数据去做对比、拟合，然后对未来进行预测，例如计算国外输入的病例影响。

右边的图是根据某个决策，可能在不同的日期，来进行一些推断，比如死亡率、重症率的一些推断。不同的颜色表示的是这些政策不同的执行时间，这是一个模板。

我们有一个DataV的工具，就是Data Visualization，用来做综合信息大屏，是我们阿里平台上的一个很炫的特色。

左下角的这个图就是用DataV做出来的，它有地图可以显示，比如说各个省份的R值。然后可以显示某个城市全面开放、逐步开放，或者是全面管制的情况，用曲线来描述。

左侧的R值针对不同的行业，包括学校、交通，还包括一些娱乐场所，比如电影院等等。

刚刚说的行业包括各种职业，比如人口密集型的不能在家办公的生产企业，或者是IT公司，大家都可以在家办公，这些都有很大的差别。

右侧可以看到国家之间的交通有管制，各个国家之间的关联，会受到病毒输入的影响不一样，所以这个值有不同。

同时还可以看到各自国家的医疗水平，能够感觉得到疫情在那里会不会爆发。因为这个图做的比较早（2月10日左右），所以这里就给大家进行一个简单的介绍。

我们也对海外国家开放，现在收到很多的询问，有些在进行紧密的跟进，有一些数据已经给过来，我们会用一定的时间再出报告。

这个项目，我们也对海外国家开放了。现在收到很多的询问，有十几个国家有明确的需求，在搜集数据给我们出报告。

我们做的事情主要就是辅助用户决策，进行感染控制，医疗物资调配，出入境和旅游管控等等。并且根据政策上的改变，或者是社会的主要事件对预测进行更新。

基本上疫情预测是2天出报告，会预测两个月的时间，这两个月的时间可以保证我们看到在当前的各种条件、政策下，拐点是什么时候，以及各种各样的特征。

医疗的专业翻译

我们在疫情期间还有一个工具——医疗的专业翻译。这个工具最早是和我们的一个药企合作伙伴，合作推出的。BLEU很高，大于48，当时行业比较好的只有40。医学术语翻译准确率大于94%，人工评价可理解度也超过94%。

我们还有一个特色是完善的文件解析生成能力，适应用户不同文件格式输入，可以有效降低用户在大量翻译需求上的开支。

这次疫情中，我们把它用在哪里了呢？是在马老师的位于Ding Talk（也就是钉钉）上的全球医生交流中心。

我们可以看到，主要是根据视频的音频去进行声音的捕捉以及翻译，然后形成双语字幕。左边就是在我们前几天发布的平台网页上，王建安院长的一个很棒的视频。我们现在已经翻译了四十个这样的视频，还有很多在等待翻译。

知识图谱

在左边我们可以看到阿里员云公众号上上线的智能问答，这是疫情刚刚爆发时推出的一个简单问答，是为了让大家迅速了解病情，从而控制恐惧的情绪。

右上角是我们的产品天猫精灵，通过天猫精灵返回或者获取声音。这个对于老年人和亚健康人群都很有帮助，很多关于健康的问题可以直接问天猫精灵。

我们在手机端也有这种很直观的服务，比如可以询问一些跟老年慢性病相关的问题。

搜索引擎

搜索引擎是可以用在各种各样的产品上的，那我为什么把这个着重介绍一下呢？

我们都知道在淘宝平台有拍立淘，是根据照片寻找类似商品，这个能力已经做到很好了。

医疗行业，也是把拍立淘的技术作为影像检测的基础，同时我们还加入了文本。

在这个地方我们可以看到图像里面有一些病灶，但是多个的情况下可以选一个，或者是选多个都可以.然后在窗口可以输入关键字，或者是输入整篇报告，然后进行搜索。

搜索的目的是希望可以帮到医生，当他在看当前病历时，可以立刻知道数据库里有没有类似病例。右边实展示了各种各样的相似病例，然后进行排序。在这边点击任何一个进去，可以看到前后每一帧的情况，并且可以复制下面的报告，具体看它是如何相似，哪个角度相似；可以把报告拷过来进行修改，大大节省医生的时间和精力。

另一方面，我们对C端用户端有一个参考。它可以搜索一些治病的过程，例如，需要经历哪些流程、怎么收费情况，让病人对自己关心的问题有一个参考。

最后，是对未来的展望，我们可以简单提一下一些未来可做的前沿应用示例。

比如VR远程救助，5G远程手术，无医生病房/机器人医生，5G远程多学科会诊，医院上云、未来药物管理、医疗IOT、无人机和急救车智能管理、以及未来医保。

从业务和服务的角度，我们会努力服务好医院、区域协同、政府监管、基层公卫、亚健康和健康人群/C端用户、国内国际药企、医保和商保、器械厂商和手术耗材厂商。

我们很希望可以尽快把医疗的相关知识更多的、更深入的学习进来，用科技去服务我们的客户，和合作伙伴进行更好的合作，改善人们的生活、医疗健康状况。

我们希望会是医学领域的学霸，然后为客户的理想和自己的梦想去冲！ 雷锋网 (公众号：雷锋网)

。