機械学習による臨床予測モデルは試験データ全体に対して一般化できない

開発のもとになった試験内ではよく機能する統合失調症の治療結果の臨床予測モデルが、将来の試験に対して一般化できないことが、新しい研究で明らかになった。「この知見は、機械学習アプローチに関するより厳密な方法論的基準の必要性を強調するだけでなく、精密医療が直面している実際的な課題の再検討の必要性も示している」と、関連するPerspectiveでFrederike Petzschnerが述べている。同じ苦痛に対して同じ治療を受けていても、改善する患者もいれば改善が認められない患者もいる。精密医療アプローチは、個々の患者に個別化した治療を行うことでこの問題に対処しようとしている。大規模で複雑なデータをマイニングして、各個人に適切な治療法を予測する遺伝的、社会経済的、または生物学的マーカーを正確に特定できる機械学習モデルは、精密医療と医療の成果を改善する有望なツールであると考えられる。しかし、これらのモデルは多くの場合、特定の治療に対する反応などの転帰がすでにわかっているデータセットまたは臨床状況での成功に基づいてのみ検証されている。重要ではあるが、これらのモデルが予期せぬデータや独立した患者サンプルに対してどのように機能するかは十分に理解されていない。これに対処するため，Adam Chekroudらは、統合失調症に対する抗精神病薬の複数の独立した臨床試験に対して、機械学習モデルをどの程度一般化できるかを検討した。モデルは開発のもとになったデータセット内では患者の転帰を高い精度で予測したが、独立した試験データに適用した場合は偶然のレベル程度であった。複数の臨床試験のデータを集めてモデルをトレーニングしても、モデルによる予測は新しい独立した臨床試験に対して一般化できなかった。この知見は、単一のデータセットに基づくモデルの近似では、将来の性能について限定された見識しか得られないことを示唆している。著者らは、この可能性が高い理由を3つ挙げている。「この分野では全体として…機械学習アプローチによって医学における治療の割り付けを最終的に改善できると期待している。しかし、われわれは、検証のための独立したサンプルのないあらゆる予測モデルの知見については、演繹的に懐疑的であるべきである」とChekroudらは述べている。