CoT 기법, 논리적 사고 아닌 '패턴 복제'…LLM 한계 드러나

[디지털투데이 AI리포터] 생성형 인공지능(AI)의 논리적 사고를 모방한 '사고 사슬'(CoT) 기법이 실제 사고가 아닌 단순 패턴 복제에 불과하다는 연구 결과가 나왔다.

11일(현지시간) IT매체 아스테크니카에 따르면 미국 애리조나대 연구진은 대규모 언어 모델(LLM)이 훈련되지 않은 논리적 문제를 해결할 수 있는지를 평가하는 실험을 진행했다.

이를 위해 연구진은 '데이터알케미'(DataAlchemy)라는 실험 환경을 구축하고, AI 모델이 단순 텍스트 변환과 조합 작업을 수행하도록 훈련했다. 이후 모델이 훈련된 패턴과 일치하지 않는 새로운 변환을 수행하도록 테스트했다. 

실험 결과, LLM은 훈련되지 않은 새로운 변환 조합을 요구받을 때 심각한 오류를 범하는 것으로 나타났다. 모델은 훈련 데이터의 패턴을 기반으로 새로운 논리 규칙을 일반화하려 했지만, 이는 '올바른 추론 경로지만 잘못된 정답'을 도출하거나, '정답을 맞혔지만 비논리적인 추론 경로'를 따르는 결과를 초래했다. 

추가 실험에서 훈련 데이터보다 약간 짧거나 긴 텍스트를 입력하거나, 훈련되지 않은 형식의 문자를 삽입했을 때도 모델의 정확도가 급격히 떨어지는 현상이 관찰됐다. 이는 LLM이 일반화를 제대로 수행하지 못한다는 것을 의미한다. 감독 하에 미세 조정을 통해 일부 성능을 개선할 수 있지만, 이는 진정한 일반화가 아니라 단순한 패치에 불과하다고 연구진은 지적했다. 

연구진은 이러한 결과가 AI가 텍스트를 이해하는 것이 아니라, 단순히 훈련된 패턴을 반복하는 것에 불과하다고 설명했다. 또한 AI가 익숙하지 않은 입력을 받았을 때 성능이 급격히 저하되며, 훈련 데이터와의 작은 형식 차이에도 취약하다는 점을 확인했다. 

연구진은 사고 사슬 형태의 출력 기법을 인간의 사고와 동일시해서는 안되며, 특히 의료, 금융, 법률 분석 같은 고위험 분야에서 AI 활용을 신중히 검토해야 한다고 경고했다.