美国医学信息学会：建议FDA微调AI医疗产品的监管标准

雷锋网按：本文译自Healthcare ITNews，作者Mike Miliard。

近日，美国医学信息学会(AMIA)向FDA提交了一份建议清单，希望改进其拟议的人工智能、机器学习和医疗器械独立软件(SaMD)监管框架。

为了提高临床人工智能和医疗器械独立软件(SaMD)的有效性、效率和安全性，AMIA希望FDA能够针对机器学习工具产品，微调其监管政策——特别是那些能够基于新数据自动更新算法的工具。

AMIA指出，医疗AI行业往往分两类算法型产品：一种是“已锁定的静态算法”，一种是“不断学习自动更新的动态算法”，这两种算法背后的产品，差异巨大。

“我们成员的观察经验是，当前许多 AI 医疗软件，均基于实时或接近实时的数据连续更新，算法不断适应新数据和新问题。”

AMIA表示，这意味着人工智能非常容易“从糟糕或有偏见的数据中训练出模型，该模型可能无法提供优质的决策和令人信服的解释”。因此，这可能导致SaMD的用户不知道该设备是否适用于受众。”

因此，根据AIMIA的说法，当训练数据所属人群与产品受众不同时，FDA就应该要求审查程序。

AMIA还鼓励FDA将网络安全风险放在首位，因为黑客攻击或其他数据操纵均可能对给算法的输出产生不利影响。例如，它建议围绕“针对防止系统适应错误信号的特定类型错误检测”来制定规则。

报告还建议FDA在框架中加入一些语言模型，以防止算法偏差对“特定种族、性别、年龄、社会经济背景、身体和认知能力”的人群造成影响，并阐明SaMD技术的开发人员该如何测试他们的产品，以检测这种偏差并相应地调整算法。

随着机器学习在医疗保健领域不断取得进展，过去FDA批准的AI产品多是使用的是无法持续学习的锁定算法产品，而自我更新的动态算法产品则是一个完全不同的领域，具有自己独特的特点和风险。随着监管方法的不断完善和技术的快速发展，FDA将需要注意这些问题。

在其报告中，AMIA指出需要“根据数据输入来源的不同来查看SaMD的性能。例如，来自临床医生、患者或家庭成员/护理人员手动输入的数据输入对SaMD输出造成了不同的问题，这些数据输入来自完全嵌入式和自动化的设备，而这些设备无法改变设置(例如完全闭环和基于传感数据)。

它指出，“另一个关键问题是，基于人工智能的SaMD应该能够在多大程度上为它所提供或支持的任何决策，提供解释性推理。在人工智能的经典范式中，已经对现有的专业知识进行了编码，有可能将推理链返回到原则或数据。然而，机器学习算法可能在“黑盒”模式下运行，输入修改了隐式电路，没有明确的可跟踪性。因此，重要的是要考虑在何种情况下，一个基于人工智能的SaMD应该对它提供的任何决定作出解释。”

AMIA总裁兼首席执行官Douglas B. Fridsma博士在一份声明中说:“正确管理人工智能和基于机器学习的SaMD，需要FDA和利益相关者之间持续探讨。” 雷锋网雷锋网 (公众号：雷锋网)

。