AIを使って学習した学生は、練習段階では成績が向上する一方、AIの支援がない試験では正答率が下がり、問題をスキップする割合も増える――。こうした傾向を示す研究結果が明らかになった。特に、AIに正解を直接尋ねる使い方をした層で、試験成績の落ち込みが最も大きかった。
オンラインメディアのGigazineは8日(現地時間)、研究論文「AI Assistance Reduces Persistence」を取り上げ、AIは学習中の成果を高める可能性がある一方、支援がなくなった際の粘り強さを弱めるおそれがあると報じた。
研究チームはまず、354人を対象に分数計算の問題で実験を実施した。参加者を無作為にAI使用群と非使用群に分け、全15問のうち最初の12問を難易度が徐々に上がる練習問題、最後の3問を試験問題として出題した。
参加者はいつでも問題をスキップできる設定とし、AI使用群については、試験段階に入ると予告なしにAIへのアクセスを停止した。
結果は明確だった。AI使用群は練習段階では高い成績を示したものの、試験では正答率が大きく低下し、問題をスキップする割合も上昇した。一方、AI非使用群では、練習と試験の間で大きな成績差は見られなかった。
研究チームは、AIの利用が学習段階のパフォーマンスを押し上げる一方で、テスト成績を悪化させる可能性があると指摘した。
研究チームはこの結果を検証するため、2回目の実験も行った。参加者は667人。全17問のうち最初の3問を事前問題とし、参加者間のもともとの実力差の影響を抑えた。
あわせて、画面構成の差を排除するため、非使用群にもAI使用群と同じ形式のサイドバーを表示した。
それでも結果は同様だった。AIを利用している間は成績が良かった一方、試験段階に入ると成績は低下した。
AIの使い方の違いも成績に影響した。調査では、AI使用群の61%がAIに正解を直接尋ねており、この層で試験成績の落ち込みが最も大きかった。
一方で、AIにヒントや説明だけを求めた場合は、試験成績の悪化は大きくなかった。AIを解答提示ツールとして使う場合と、学習補助ツールとして使う場合とで、結果に差が出た格好だ。
研究チームは、この傾向が数学に限られるかどうかも調べた。米国の大学進学適性試験SAT形式の読解問題を使った3回目の実験には、201人が参加した。
設問は、第1問を事前問題、2〜6問を練習問題、7〜9問を試験問題として構成した。ここでもAI使用群は、試験段階に入ると成績が急落し、問題をスキップする割合が高まった。
3回の実験を通じて、結論は一貫していた。研究チームは、AIの支援を受けると、AIが使えなくなった場面で問題を諦めやすくなり、成績も悪化しやすいとしたうえで、「AI支援は粘り強さを低下させる」と結論づけた。
今回の結果は、AIを学習支援ツールとしてどう設計・活用するかを考えるうえで示唆を与える。正解をすぐ得る使い方は本番での遂行を損ないかねない一方、ヒントや説明を中心とした利用であれば、副作用は比較的小さい可能性が示されたためだ。
AI学習ツールの設計でも、正答を示すことより、解き方を促したり考え方を説明したりする支援の重要性が高まる可能性がある。