Anthropicの脆弱性検出AIモデル「Mythos」を使ってオープンソースのデータ転送ツール「curl」を解析したところ、実際に脆弱性と確認されたのは低リスクの1件にとどまった。報告された5件の大半は既知の問題や通常の不具合で、Mythosを巡る評価はマーケティング先行だったのではないかとの見方も出ている。

SecurityWeekによると、curlの主任開発者ダニエル・ステンバーグ氏は11日（現地時間）、外部チームがMythosでcurlを解析した結果を自身のブログで公表した。

それによると、Mythosはcurlの約17万8000行のコードを解析し、5件のセキュリティ問題を報告した。ただ、精査の結果、3件は公式ドキュメントに既に記載されていた既知の問題で、1件は脆弱性ではなく通常の不具合だった。

このため、curl開発チームが脆弱性として認めたのは1件のみだった。リスク水準は低く、パッチは6月末に適用する予定という。

ステンバーグ氏は、AIベースのコード解析ツールが脆弱性検出で従来型ツールを上回る点は認めつつも、今回の結果を見る限り、MythosはAnthropicが示してきたほど突出した性能を持つモデルではないとの見方を示した。

同氏は、Mythosを巡るこれまでの評価について「主にマーケティングによるものだった」と指摘。「Mythos以前の他のツールと比べて、特別に高い、あるいは先進的な水準で脆弱性を発見できることを示す証拠は見当たらなかった」と述べた。

一方、Zeropath、AISLE、OpenAI Codexなど他のAIツールは、curlの解析で200〜300件の問題を検出しており、このうち確認された脆弱性だけでも「数十件以上」に上るとステンバーグ氏は説明した。

今回の結果を巡っては、セキュリティ業界でも受け止めが分かれている。curlはこれまで他のAIツールも含めて広範な監査が重ねられてきたコードベースで、重大な脆弱性が残りにくい。このため、結果はMythosの限界というより、curlのセキュリティ成熟度の高さを反映したものだとする見方がある。

これに対し、Include Securityのエリック・カベタス氏は、Mythosを試用した複数の組織に取材したところ、curlと似た傾向の結果が報告されていたと明らかにした。