나노챗 [사진: 엑스(@karpathy)]
나노챗 [사진: 엑스(@karpathy)]

[디지털투데이 AI리포터] 오픈AI의 창립 멤버이자 인공지능(AI) 개발자인 아드레이 카르파티가 저예산 비용은 물론, 단시간에 AI 챗봇을 구축할 수 있는 오픈소스 플랫폼 '나노챗'(nanochat)을 공개해 화제가 되고 있다.

14일(현지시간) 온라인 매체 기가진은 나노챗이 AI 개발의 문턱을 낮추고, 누구나 쉽게 대화형 AI를 구현할 수 있도록 설계됐다고 전했다.

나노챗은 AI 모델의 뉴럴 네트워크 설계, 언어 이해를 위한 토큰화, 지식 습득을 위한 사전 학습, 대화 능력 향상을 위한 파인튜닝, 웹 인터페이스 제공까지 모든 과정을 단일 코드베이스로 제공한다. 전체 코드는 약 8000줄이며, 파이썬(PyTorch)으로 작성됐고, 일부 고속 처리가 필요한 부분은 러스트(Rust)로 구현됐다.

이 플랫폼의 가장 큰 장점은 저렴한 비용과 간편한 학습 과정이다. 나노챗은 고성능 GPU를 시간 단위로 임대해 AI 모델을 학습시키며, 1시간당 약 24달러(약 3만5000원)만 투자하면 4시간(약 15만원) 만에 기본적인 대화형 AI를 구축할 수 있다. 

학습 프로세스는 사전 학습, 중간 학습, 파인튜닝, 강화 학습(RL) 4단계로 진행된다. 사전 학습은 3시간 동안 24GB의 텍스트 데이터를 활용해 언어 구조와 지식을 습득하는 단계다. 이후 중간 학습을 통해 대화 형식과 특정 질문에 대한 답변 능력을 향상시키고, 7분간의 파인튜닝으로 응답 품질을 높인다. 강화 학습은 선택적이며, 수학 문제 해결 등 정답이 명확한 작업에서 성능을 극대화할 수 있다.

카르파티에 따르면, 나노챗이 학습한 AI 모델의 언어 능력은 GPT-2의 대형 모델(0.21) 모델을 약간 상회하는 수준이다. 학습이 완료되면 사용자는 웹 브라우저를 통해 직접 생성한 AI와 대화할 수 있으며, 코드 가독성이 높아 AI 개발자들이 쉽게 수정·확장할 수 있도록 설계됐다.

실제 나노챗으로 구축된 5억6100만 파라미터의 언어 모델이 허깅 페이스(Hugging Face)에 공개되어 있다.

저작권자 © 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지