最新の汎用AIモデルが皮膚病変の判定実験で、2016年に公開されたGoogleの画像認識モデルを下回る結果となった。AIの性能向上が続く一方、皮膚がんのように高度な専門性が求められる医療分野では、モデルの新しさや規模よりも、課題に特化した学習の有無が精度を左右する可能性が示された。

Gizmodoが26日（現地時間）に報じたところによると、英国キングス・カレッジ・ロンドンのリンチ研究所で主任研究員を務めるマグナス・リンチ博士は、皮膚病変画像200件を使い、GPT-6 Astra、Claude Fable 5.1、GoogleのInception v3を比較した。

Inception v3は2016年に公開された画像認識モデルで、皮膚画像6万8011枚を用いて20分間の追加学習を施した。

評価に使った画像は、検査や治療が必要な病変100件と、追加の処置を要しない病変100件で構成した。各モデルには、6つの診断名の中から最も可能性が高いものを選ばせた。

結果は、旧モデルのInception v3の正答率が最も高かった。200件中125件を正答し、正答率は62.5％だった。GPT-6 Astraは84件で42％、Claude Fable 5.1は85件で42.5％にとどまり、Inception v3は両モデルを約20ポイント上回った。

致死性が高い皮膚がんとして知られる黒色腫の判定でも差が出た。Inception v3は30件中13件を正しく判定したのに対し、GPT-6 Astraは8件、Claude Fable 5.1は11件だった。

良性病変の分類でも開きが見られた。Inception v3は母斑50件中37件、脂漏性角化症50件中26件を正しく分類した。GPT-6 Astraはそれぞれ16件と13件、Claude Fable 5.1は33件と6件だった。

個別事例では、重大な誤判定につながりかねないケースも確認された。色素がほとんどなく、0.8ミリ未満の浸潤性黒色腫の画像に対し、GPT-6 Astraは95％の確信度で基底細胞がんと回答した。一方、Claude Fable 5.1とInception v3は黒色腫と判定した。

一方で、脚部の脂漏性角化症の事例では、3モデルとも誤答だった。

第1候補が外れた場合でも第2候補まで正答に含めると、Inception v3で正答を含んだケースは173件に増えた。GPT-6 Astraは134件、Claude Fable 5.1は138件だった。

リンチ博士は今回の結果について、古く小規模な特化型ニューラルネットワークが、最先端の汎用モデル2つよりも皮膚病変認識で大幅に優れた性能を示したと評価した。

ただし、3モデルの学習条件が同一ではない点も指摘した。Inception v3には皮膚画像による追加学習を施した一方、汎用モデル2つには同様の追加学習を行っていないという。

同博士は、最先端の皮膚がん診断AIは大量データで学習した画像変換アルゴリズムを活用しているとした上で、専門的な医療タスクでは適切なデータと学習方法が重要だと説明した。

今回の結果だけで、最新の汎用AIが医療分野全般で劣ると結論づけることはできない。比較対象や学習条件が限定的で、評価件数も200件にとどまるためだ。

それでも今回の検証は、汎用AIの性能が向上しても、医療画像のように専門知識と精緻な判別が求められる領域では、課題特化型の学習が競争力を左右し得ることを示した。実臨床での活用に向けては、より大規模な検証と安全性評価が必要になりそうだ。