[디지털투데이 AI리포터] 99% 이상의 정확도로 AI가 작성한 논문을 감지하는 도구가 개발됐다.

12일(현지시간) 기가진에 따르면, 미국 캔자스 대학교 연구진은 논문 요약을 기반으로 인간이 작성한 다양한 분야의 30개 논문과 챗GPT가 생성한 60개의 논문을 사용해 알고리즘을 테스트했다. 

연구 결과, 논문 감지 도구는 인간과 AI가 쓴 논문을 99% 확률로 거의 다 구분할 수 있었다는 설명이다. 반면 논문의 각 단락에 대해 도구를 사용할 때, 감지 정확도는 약 92%로 약간 감소했다. 

연구팀에 따르면, 논문이 인간이 쓴 것인지 GPT가 쓴 것인지 판단하는 기준은 쓰기 스타일의 차이다. 논문을 작성하는 학자들은 GPT보다 전문 용어와 구문에 더 익숙하며, 다양한 단어를 포함한 긴 단락을 쓸 수 있다. 

또한, 인간이 쓴 논문에는 GPT가 생성한 것보다 더 많은 물음표, 괄호, 세미콜론이 포함돼 있다는 사실도 발견했다. 반면, GPT는 인간과 달리 단락 당 문자 수와 단어 갯수가 일정한 경향을 보인다.

아울러 인간이 쓴 논문에서 ‘하지만’, ‘그러나’, ‘왜냐하면’과 같은 단어가 자주 보이며, ‘다른 사람들’과 ‘연구자들’과 같은 구문은 GPT가 생성한 논문에서 자주 사용된다는 사실도 발견됐다.

관련해 IT매체 더 리지스터(The Register)는  "AI가 생성한 텍스트를 감지하는 많은 소프트웨어 프로그램들이 신뢰성이 높지 않다"면서 "감지 도구는 참고용으로만 받아들여져야 한다"고 지적했다.