一项针对皮肤病灶识别的对比测试显示,多款最新通用模型的表现不及 Google 于2016年发布的图像识别模型 Inception v3。结果表明,在皮肤癌等高度专业化的医疗场景中,模型是否经过面向任务的针对性训练,可能比“是否最新”或“参数规模大小”更为关键。
据 Gigazine 当地时间10月26日报道,英国 King’s College London Lynch Institute 首席研究员 Magnus Lynch 博士使用200张皮肤病灶图片,对 GPT-6 Astra、Claude Fable 5.1 和 Inception v3 进行了比较。报道称,Inception v3 是 Google 于2016年发布的图像识别模型,并额外使用68011张皮肤图片进行了20分钟训练。
本次测试所用图片包含两类病灶:其中100例需要进一步检查或治疗,另100例无需进一步处置即可离院。测试中,各模型需在6个诊断选项中给出最可能的答案。
从整体结果看,Inception v3 表现最佳。该模型在200个样本中正确识别125个,准确率为62.5%;GPT-6 Astra 正确识别84个,准确率为42%;Claude Fable 5.1 正确识别85个,准确率为42.5%。相比之下,Inception v3 领先两款通用模型约20个百分点。
在黑色素瘤识别方面,差距同样明显。面对30个黑色素瘤样本,Inception v3 正确诊断13个;GPT-6 Astra 正确诊断8个;Claude Fable 5.1 正确诊断11个。
在良性病灶分类上,三者表现差距进一步拉大。对于50个痣样病灶,Inception v3 正确分类37个,GPT-6 Astra 为16个,Claude Fable 5.1 为33个;对于50个脂溢性角化样本,Inception v3 正确分类26个,GPT-6 Astra 为13个,Claude Fable 5.1 仅为6个。
个别样本也暴露出潜在的高风险误判问题。针对一张色素极少、直径不足0.8毫米的浸润性黑色素瘤图片,GPT-6 Astra 以95%的置信度给出“基底细胞癌”的判断;Claude Fable 5.1 和 Inception v3 则将其判定为黑色素瘤。另有一例腿部脂溢性角化样本,三款模型均未给出正确答案。
即便放宽统计标准,将第二候选答案也纳入计算,Inception v3 的命中样本数仍升至173个,GPT-6 Astra 为134个,Claude Fable 5.1 为138个。
Magnus Lynch 表示,一款发布时间更早、规模更小、但经过针对性训练的神经网络,在皮肤病灶识别任务上的表现明显优于两款前沿通用模型。不过他也强调,三者的训练条件并不一致:Inception v3 接受过额外的皮肤图像训练,而两款通用模型并未进行同类追加训练。
他进一步指出,当前先进的皮肤癌诊断AI通常会结合基于海量数据训练的图像变换算法,而在专业医疗任务中,训练数据与任务场景是否匹配至关重要。
不过,这一结果并不应被简单解读为“最新通用模型整体落后于医疗领域应用需求”。报道指出,此次对比的模型范围和训练条件都较为有限,评估样本也仅有200个。尽管如此,测试仍显示,在医疗影像等依赖专业知识和精细判别的领域,面向具体任务的专门训练仍可能决定模型竞争力。若要进入真实临床应用,相关系统仍需接受更大规模验证以及安全性评估。