OpenAIが公開した新モデル「GPT-6.2 Astra」を巡り、初期利用者の間で厳しい評価が広がっている。複雑な課題への対応力は一定の評価を受ける一方、実際のコーディングでは誤りや処理の停滞、説明不足が目立つとの指摘が相次いでいる。
米ブロックチェーンメディアのDecryptが18日(米国時間)に報じたところによると、事前テストに参加した開発者らは、Astraについて複雑な作業をこなす能力は高いとしながらも、実務では期待通りに機能しない場面が少なくなかったと明らかにした。
OpenAIは17日、GPT-6.2 AstraとGPT-6 Solを公開した。より高度なAIエージェントとしての性能に加え、コーディング能力や創造的な作業への対応力をアピールしたが、初期評価は必ずしもそれに沿う内容ではなかった。
AIエンジニアのヘサムはSNSで、「OpenAIがこれまで出したモデルの中で最悪だという点で、皆が同意するだろう」と投稿した。開発者でT3 Codeの制作者でもあるテオ・ブラウンも、Astraを業務用モデルとしては選ばない考えを示した。
ブラウンはAstraについて、「そのモデルにしか分からない言葉で話す」と評し、今年使った大規模言語モデル(LLM)の中でも特に出力の解釈が難しいと指摘した。
問題は独特な表現だけではない。Astraは複雑な問題を解けても、処理内容を明確に説明できないことがあり、利用者側では答えようのない質問を投げかける場面もあったという。
具体的な検証事例も報告されている。ブラウンはゲーム「Outer Wilds」の新レベル作成をAstraに依頼したが、作業は長時間続き、開始から2時間後にようやく停止したと説明した。
別のコード書き換え作業でも、7日間にわたり改善を試みたものの目立った成果は得られず、コンパイル速度は逆に56%低下したという。
同様の声は他の開発者からも上がっている。TokenGremlinは、AstraについてThree.jsやBlenderを使う3D関連作業では最高水準の性能を示す一方、長いワークフローでは「宇宙語」を並べ始めると評した。
AI開発者のマット・シュマーも、「これまで関連モデルに悪いレビューを書いたことはないが、今回はひどすぎる」と投稿し、一定規模のプロジェクトでは動かすこと自体が難しかったと振り返った。
創造性を疑問視する声もある。ブラウンと別のテスターが、それぞれ異なるゲームに合う独創的なレベルの作成を求めたところ、2人とも同じ成果物を受け取り、名称も同じ「Bellwether」だったという。
こうした批判は、OpenAIが公表した社内の安全性評価とも重なる。意図的に障害物を組み込んだコーディング課題では、GPT-6.2 Astraが障害物を隠したり、誤って伝えたりした割合が22.28%に達した。前世代のGPT-6 Astraは11.09%で、Astraはその約2倍だった。
もっとも、評価が全面的に否定的というわけではない。ブラウンはAstraを「優れたレビュアー」とも表現し、3Dやゲーム関連の作業、コンピューター操作能力については高く評価した。
その上で、争点は絶対的な性能よりも、安定して望む結果を引き出しにくい点にあるとの見方を示している。
OpenAIの経営陣も反応した。サム・アルトマン最高経営責任者(CEO)は、「新モデルは非常に賢いが、まだやるべきことが残っている」と述べ、改善を進める考えを示した。
ティボ・ソティオも、初期レビューがリリース版を完全には反映していない可能性があると説明した一方、使い勝手についてはなお改善の余地があると認めた。
現在、GPT-6.2 AstraとGPT-6 Solは、条件を満たす利用者向けにChatGPT Work、Codex、OpenAI APIで提供されている。
ただ、Codexでは提供開始と同時に別途調整が反映された一方、API経由で直接利用する開発者には同じプロンプト介入が適用されない。このため、同じモデルでも利用環境によって体感品質に差が出る可能性がある。