スタンフォード大学ロースクールの研究チームは、契約法に関する学生向け質問への回答を比較した実験で、AIが法学教授を上回る評価を得たとする研究結果を明らかにした。明確な正答が一つに定まらず、複雑な推論が求められる法学分野でも、AIが教育支援ツールとして一定の有用性を持つ可能性を示した形だ。

GIGAZINEが4日（現地時間）に報じたところによると、この研究では米ロースクールの教授らによるブラインド評価を実施し、AIが生成した回答は人間の教授による回答より総じて高く評価された。

研究は、スタンフォード大学ロースクールの教授で「法務イノベーション・フロンティアテクノロジーラボ」を率いるジュリアン・ニャルコ氏と、イェール大学、ニューヨーク大学の研究者が共同で実施した。米ロースクールに所属する法学教授16人を募り、契約法の授業で学生から想定される代表的な質問40件を選んだ。

各質問について教授が回答を作成し、同じ質問にAIモデルも回答させた。評価は、回答の作成者を伏せたブラインド方式で実施。参加した教授らは、それぞれの回答が人間とAIのどちらによるものかを知らされないまま、内容を評価した。

研究チームによると、公平性を担保するため、AIの回答は分量や形式を人間の回答に近づけるよう調整したという。

評価結果ではAIが優位に立った。教授らは計2918件の回答を採点し、AIの回答を人間の教授による回答より統計的に有意に高く評価した。1対1の直接比較では、AI回答の勝率は約75%に達した。

学習を妨げる回答の比率でも、AIのほうが低かった。人間の教授による回答では約12%が、学生の理解を妨げたり誤解を招いたりする可能性のある回答に分類されたのに対し、AI回答は3.5%にとどまった。

研究チームは、AIのほうが学生の学習に悪影響を及ぼす回答を相対的に少なく生成したと説明している。

今回の結果について研究チームは、単純な暗記や選択式問題ではなく、法学という分野で得られた点に意義があると位置付けた。ニャルコ氏は「法学は単なる事実の想起ではなく、判断力や繊細な推論、不確実性を扱う力が求められる分野だ」と述べた。

また、実験で用いた質問も、正答が明確な問題だけで構成したものではないとしている。

この研究は、米国の法学教育におけるAI活用の議論にも影響を与える可能性がある。多くのロースクールが教育課程にAIツールをどう組み込むかを検討する一方で、ハルシネーションや過度な依存、批判的思考の低下といった懸念も根強い。

研究チームは、今回の結果がAIによる人間の全面代替を意味するものではないと強調した。その一方で、学生に質の高い個別学習支援を提供する補助ツールとしての有効性は示されたと評価している。

同ラボの研究員アレハンドロ・サリナス氏は「AIベースのチューターは、必要な時にいつでも利用できる高品質な学習支援手段になり得る」と述べ、「専門知識へのアクセス拡大に貢献する可能性がある」と指摘した。

ニャルコ氏は「今回の研究は、AIに対する無条件の楽観論と懐疑論の双方を見直す必要があることを示している」とした上で、「今後の議論は、AIが良い回答を作れるかどうかではなく、学生の学習効果を高めるためにAIをどう責任を持って活用するかに焦点を当てるべきだ」と強調した。