ChatGPTのイメージ。写真=Shutterstock

米ITメディアのTechRadarは3日(現地時間)、ChatGPTでは会話が長時間に及ぶと序盤の文脈を十分に反映しにくくなり、さらに上限に達すると同一チャットで会話を続けられなくなる場合があると報じた。長期のチャットでは、文脈保持の限界とチャット自体の最大長という2つの制約を意識する必要があるとしている。

制限の1つ目は、現在のやり取りをどこまで記憶し、応答に反映できるかを左右する文脈ウィンドウの上限だ。これは時間やメッセージ数ではなく、トークン数を基準に決まる。

短い応答よりも長文、大きな表、コード、詳細な文書の方が多くのトークンを消費する。このため上限に近づくと、ChatGPTは会話の初期に交わした内容を徐々に反映しにくくなる可能性がある。

OpenAIは、ChatGPTに搭載する各モデルの文脈ウィンドウのサイズを全面的には公表していない。ただ、TechRadarは数十万トークン規模である可能性が高いとみている。一方で、ユーザーが実際に直面する問題は単なる「忘却」にとどまらないという。

より重要なのは、チャット自体の最大長に関する制限だ。上限に達すると同じチャットで会話を続けることができず、画面には「この会話は最大長に達した。新しいチャットを開始すれば会話を続けられる」といった案内が表示されるという。

OpenAIはこの基準について公式には明らかにしていないが、TechRadarは、同様の警告を経験した事例や画面キャプチャが多数確認できたと伝えた。

長期のチャットを日常的に使ってきたあるユーザーは、現在の会話が上限にどの程度近づいているのかをChatGPTに直接尋ねた。これに対しChatGPTは、「この会話の正確なトークン数やハード制限は確認できないため、78%といった具体的な数値は示せない」と回答した。

そのうえで、現在のスレッド量をもとに「一般的な長いGPT-5.5の会話としては、無理なく維持できる範囲の60~80%程度に見える」と推定したという。別の回答では、「数値でいえば約70%ほど埋まっているように見える」とも述べた。

もっとも、実際の上限はOpenAIが公表していないため、こうした推定には大きな誤差が含まれる可能性がある。残りの余裕を正確に把握できない以上、会話が長く積み上がっている場合は、上限到達前に新規チャットへの移行を準備しておく方が望ましいとしている。

対処法としては、既存のチャット内でそれまでの要点を要約させ、新しい会話で同じ文脈を再現するための開始用プロンプトを作成させる方法が挙げられる。その結果を新しいチャットに貼り付ければ、会話を引き継ぎやすくなる。

この過程では、過去のやり取りの蓄積によって生まれた微妙な文脈や偏りの一部が失われる可能性がある。それでも新規チャットへ移れば、トークン使用量はリセットされ、チャット最大長の制限も改めて最初から適用される。

数カ月にわたって同一チャットを業務用の作業空間のように使ってきたユーザーにとっては、警告表示が出てから対応するよりも、事前に要約を確保しておくことが実務上ほぼ唯一の備えになり得ると、TechRadarは報じている。

キーワード

#ChatGPT #OpenAI #生成AI #トークン #文脈ウィンドウ #プロンプト
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.