谷歌提出交互检索新方法，让AI助力病理学新发展

公众号/将门创投

From: Google Health  编译: T.R

先进的机器学习算法逐步在专业的医疗诊断领域发挥出重要的作用，在检测糖尿病引起的眼部疾病和乳腺癌中都发挥了重要作用。虽然高性能的算法逐步得到了临床医生的信任和应用，但算法还需要认识到哪些信息需要呈现给医生，如何与医生进行信息交互，这些都是决定着机器学习技术最终为用于带来的价值。

在病理学领域，对于癌症诊断和其他一些通过显微镜组织样本进行标准化诊断的疾病来说十分适合于利用机器来提高诊断的效率。传统通过光学显微镜进行的诊断正被数字病理学的高分辨率图像逐渐取代，并在计算机上进行检视。这一趋势大大方便了医务人员对于信息的检索查阅，比如病理学家在最终疑难杂症或者特殊病例，或者对刚入行的病理学家进行有效训练， 数字化的病理信息十分必要 。

这些场景下，人们往往会问到底是什么特征决定了自己判断的结果呢？针对一个特定的病理图像，先前的医生可能会和同事讨论或者查阅参考书并希望从中找出相似的视觉特征。

而对于计算机视觉来说，这相当于一个 基于内容的图像检索问题 ，可以利用输入图像检索出特征相似的图像结果(Similar Image Search for Histopathology:  SMILY )。

研究人员将相同的方法拓展到了病理学研究的范畴，提出了病理组织学领域的相似图像搜索方法，利用机器学习工具改变了病理学领域的图像检索方式，并探索了基于图像搜索不同的优化方法，形成了一套能与医生进行有效交互的病理学图像检索和信息综合系统。

SMILY 设计

开发SMILY系统首先需要构建深度学习模型。研究人员利用50亿张自然图像来对模型进行训练，将图像压缩成一种具有高度代表性的数值矢量—嵌入矢量。网络在学习的过程中将逐步学会通过计算并比较图像的嵌入矢量来区分相似和不同类别的图像。

随后研究人员利用这一模型创建了癌症领域病理图像片与对应嵌入矢量的配对数据集。当一个检索图像片通过SMILY工具抽取出来，模型就会计算出对应的嵌入矢量并与数据集中的嵌入进行比较，随后检索出相似的图像返还给用户。

构建SMILY数据集的过程以及检索相似图像片的流程。

用户可以使用这一工具选择感兴趣区域，并通过系统得到视觉相似的匹配结果。研究人员利用乳腺、结肠和前列腺等常见癌变区域的组织切片图像进行检索，验证了系统可以对训练中没有见到过的图像有着很好的检索结果。

医生可以选取感兴趣的区域，系统就会从数据库中检索出多个相似的样本，为医生提供更多的决策信息

优化SMILY系统

但在实际使用中研究人员发现用户很可能会对系统给出很多模糊的问题，但系统并不能理解用户的意图。换句话说，用户需要引导系统来优化搜索结果，并最终拿到期望的检索结果。此外研究人员还发现不断迭代的检索需求实际上与医生进行迭代的诊断方式息息相关。

通过作出假设、收集数据来验证假设、探索可能的假设、重新审视先前的假设，这一过程不断训练来得到最终的诊断结果。对于SMILY系统来说，需要类似的方式支持与用户的交互来实现诊断流程。

研究人员设计了 三种方法来增强SMILY系统 ，为用户提供了交互式的检索优化工具。

• 通过区域优化。病理学家可以从图像中剪切一个感兴趣区域，限制了系统检索的范围；
• 通过样本优化。用户可以从检索结果中再次选择一些样本，系统将基于这些样本的共性进行进一步优化地检索；
• 通过临床概念优化。通过特定的临床概念来优化检索结果。研究人员没有将这些临床概念构建在模型中，而是给用户提供了一种方法来创建新的、个性化的概念来引导模型检索出需要的结果。这种方法使得研究人员可以通过后续检验工具来构建特定的概念检索需要的结果，而无需重新训练模型。

三种不同的检索优化方法

实践中发现增强后的SMILY不仅增加了检索结果的有效性，同时交互过程的引入也大幅度增加了用户对于结果的信任和采用率。事实上这一工具在病理学医生的决策过程中扮演了远远超过搜索工具的重要角色。他们可以利用工具观察在迭代搜索过程中样本的变化，作为对假设置信度的追踪方法。当搜索结果与预期偏离时，就需要工具检验更多的假设，例如剪切出区域中的一部分、或是改变一些与观测结果对应的临床概念来强化一些被忽视的现象。

除了被动地接受机器学习工具给出的结果，医生可以利用工具主动地检测假设并将领域知识应用到假设验证过程中，引导算法更好地工作，这同时也大幅度放大了自动化过程带来的优势。

由于这一交互式工具可以为用户提供个性化的检索过程获取期望的结果，研究人员还探索了SMILY在辅助检索大型病理数据库的数字化病理图像。一方面可以利用这一算法为病理学图像提供文字标签和目录，医学生和初级病理学家可以根据利用视觉搜索的方法来加速和深化教育和学习过程。

另一方面、癌症研究人员可以有效地研究肿瘤的形态学与病情，加速对于相关病例的研究。此外病理学家还可以利用这一工具定位切片图像中所有可能的位置特征，更好地理解目前的病情，以便制定有效的治疗方案。

更重要的是，研究中发现复杂的机器学习算法需要与以人为本的设计和交互相配合才能实现最大的效用，这也许应该成为机器学习工具一项重要的设计准则。

如果想了解更多详细信息，请参看论文和研究人员的主页
https://arxiv.org/abs/1901.11112
https://arxiv.org/abs/1902.02960

  ref:

https://www.google.com/intl/en_us/health/about/
https://ai.google/research/teams/brain/pair
pathology: https://dribbble.com/search?q=pathology

https://dribbble.com/shots/3243022-Cell-party

https://dribbble.com/shots/6432253-Remote-pathology