44%的数字健康企业「临床稳健性」得分为零？美国杂志的这份调查结果「值得玩味」

根据互联网医疗研究杂志JMIR上近日发表的一项研究，从监管备案和临床试验的数量来看，许多风险投资支持的数字健康初创公司在临床上并不理想。

这项研究使用了Rock Health数字健康风险投资数据库、FDA 510(k)数据、De Novo、上市前批准文件，以及在美国临床试验数据库上列出的临床试验的数量和类型等资料，对总部设在美国、2011年以来至少筹集了一轮200万美元以上VC投资的一批数字健康初创公司进行了审查。

研究人员赋予了每家公司一个“临床稳健性”分数，根据监管文件和每家公司完成的临床试验进行打分。

在纳入研究范围的224家初创公司中，有98家（44%）公司的临床稳健性得分为0，45家公司得分为5分及5分以上。

224家公司的平均得分为2.5，其中1.8分为临床试验，0.8分为监管备案；中位得分为1。

主营业务为疾病诊断的公司拿到了2.8分的最高平均分，其次是主营业务为疾病治疗的公司，平均得分2.2，主营业务为疾病预防的公司平均得分最低，仅为1.9分。

客户群体为雇主的初创公司获得的平均临床稳健性得分为3.1，而客户群体为供应商、消费者和付款人的公司平均得分分别为2.7、2.2和2.0.

除平均临床稳健性非常低外，临床领域之间也存在显著差异（例如心血管和肾脏病学得分高，肿瘤学和基础护理得分低）。

这一结果可能反映了不同临床学科的数字健康解决方案技术具有不同成熟度。

此前也曾有文献指出，资金充足的临床领域（如糖尿病）与资金不足的领域（如生殖健康和产妇健康）在技术成熟度方面存在显著差异。

研究人员还研究了224家公司关于临床、经济、合约等的公开声明，平均数量为1.3件，43%的企业没有发布任何声明。

研究还指出，与向消费者、供应商和支付者等其他客户类型销售产品的公司相比，向雇主销售产品的初创公司发布了更多公开声明。

总体而言，该研究没有发现临床稳健性与公开声明的数量、稳健性和总资金，或临床稳健性和创业年限之间存在任何相关性。

当然，研究中还指出了这项分析的一些局限性，比如调查过程只纳入了融资超过200万美元的公司。

他们建议未来的研究可以使用特定条件的有效性指标，在临床领域进行标准化，以提供更清晰的影响图景。

尽管这项分析发现了20%的初创公司获得了5分或更高的分数，这表明其核心产品已经过高度测试。

然而，得分较低的公司数量之多还是证明了许多获得风险投资支持的初创公司仍旧缺乏临床验证。

研究人员表示：“尽管其中一小部分公司的评分可能显示了医学科技水平的进步，但近一半的数字医疗公司（44%的临床稳健性得分为0）仍然缺乏有意义的临床验证。”

“这些公司的风险投资总额与其临床稳健性评分之间缺乏整体相关性，这说明公司在当今市场上的潜在价值存在显著不对称。但是，资金的数量也许反映的是未来的预期价值，而非当前价值。”

事实上，早在2019年韩国科研团队就提出过人工智能算法缺乏适当的临床验证的问题，雷峰网 (公众号：雷峰网) 《医健AI掘金志》此前曾过此类话题： 《韩国科研团队：超90%的医学影像AI论文未在临床环境进行严格验证》 。

2019年，韩国泰安郡卫生中心的Dong Wook Kim和蔚山大学医学院放射学研究中心的Hye Young Jang、Kyung Won Kim、Youngbin Shin以及Seong Ho Park（通讯作者）等几位医学博士，曾发表论文评估AI算法性能研究实验的设计特征，这些AI算法基于医学影像来提供诊断决策。

研究结果显示，在516项符合条件的已发表研究中，只有6％（31项研究）进行了外部验证。

研究团队最终得出结论，几乎所有在研究期间发表的医学影像AI算法性能的评估实验，都是为验证技术概念的可行性而设计，没有对AI算法在实际临床环境下的性能进行严格验证。

如果国内的医疗AI公司，也接受这样一次调查，会是一个什么样的结果呢？

资料来源：

https://www.jmir.org/2022/6/e37677

https://www.mobihealthnews.com/news/study-many-digital-health-startups-lack-clinical-trials-regulatory-filings

雷峰网原创文章，未经授权禁止转载。详情见。