新研究：医用AI评估精神分裂新患者治疗效果近乎盲猜

1月12日消息，一项最新研究发现，用于协助医生治疗精神分裂症患者的计算机算法不能很好适应之前开发过程中未见过的新鲜数据。因此这种医用人工智能在评估未曾接触过的患者的治疗效果时，表现十分糟糕。
这些医用工具利用人工智能来发现大数据集中的特征，并预测个体对特定治疗的反应，这是精准医疗的核心。医疗保健专业人员希望使用这种工具为每位患者量身定制治疗方案。在一篇发表在《科学》杂志上的文章中，研究人员指出，人工智能模型可以高度准确地预测训练样本中所涉及患者的治疗结果。但是，在处理之前未见过的患者数据时，该模型的性能会显著下降，甚至只比随机猜测略高。
为了确保精准医疗的有效性，预测模型需要在不同情况下保持稳定准确性，并将偏差或随机结果出现的可能性降至最低。
“这是一个人们还没有意识到的大问题，”研究报告的合著者、康涅狄格州纽黑文耶鲁大学精神病学家亚当·切克鲁德（Adam Chekroud）表示。“这项研究基本上证明了算法仍需要在多个样本上进行测试。”
算法的准确性
研究人员评估了一种通常用于精神病预测模型的算法。他们使用了五项抗精神病药物临床试验的数据，涉及北美、亚洲、欧洲和非洲1513名被诊断患有精神分裂症的志愿者。这些试验在2004年至2009年间进行，测量志愿者服用三种抗精神病药物中的一种之前以及四周后的症状。
研究团队用数据集训练算法，来预测患者经过四周抗精神病药物治疗后的症状改善程度。首先，研究人员在开发算法的试验中测试了算法的准确性，将预测结果与试验中记录的实际效果进行比较，发现准确率很高。
然后，他们使用了多种方法来评估这一人工智能模型分析新数据的准确性。研究人员用一个临床试验的数据子集训练模型，然后将其应用于同一试验的另一个数据子集。他们还用一次试验或一组试验的所有数据训练算法，然后通过其他临床试验数据测试模型性能。
结果发现，人工智能模型在这些测试中表现不佳，当应用于未经训练的数据集时，模型产生的预测似乎几乎是随机的。研究团队使用不同的预测算法重复进行，但得到的结果都差不多。
更好的测试
这项研究的作者表示，他们的发现凸显出临床预测模型应该如何在大型数据集上进行严格测试，确保它们的可靠性。一项对308个精神病预后临床预测模型的系统评测发现，只有大约20%的模型在开发所用样本之外的数据集上进行了验证。
“我们应该更像研发药物那样思考模型开发，”切克鲁德说。他解释说，许多药物在早期临床试验中表现不错，但在后期阶段就会出现问题。“我们必须严格遵守如何开发以及测试这些算法的原则，不能只做一次就认为这是真的。”（辰辰）