[디지털투데이 석대건 기자] NC AI(엔씨AI)가 몬스터 사운드 생성·변환 AI 기술을 공개한다.

엔씨AI는 17일부터 21일까지 네덜란드 로테르담에서 열리는 INTERSPEECH 2025에서 몬스터 사운드 생성·변환 AI 기술을 발표한다고 17일 밝혔다.

INTERSPEECH 2025는 국제 음성커뮤니케이션협회(ISCA)가 주최하는 세계 최대 규모의 음성 및 언어 기술 학회다. 이번 26회 학회는 '공정하고 포용적인 음성 과학과 기술'을 주제로 개최된다.

엔씨AI는 몬스터 사운드 특화 음색 변환 모델 구조와 학습 기법을 다룬 논문과 웹 기반 실시간 변환 시스템 데모 구축 사례 논문 등 총 2편을 발표한다. 

현장에서는 방문자가 마이크를 통해 말하거나 사운드를 업로드하면 즉각 몬스터의 울음이나 포효로 변환되는 체험형 데모를 제공한다.

이 기술은 CD 수준인 44.1kHz로 음성을 분석해 거친 숨소리나 날카로운 포효까지 담아낸다. 원래 음성 내용을 유지하면서 원하는 스타일만 정확하게 덧입히는 방식으로 작동한다.

목소리의 언어적 내용과 감정적 표현을 동시에 인식해 대사뿐만 아니라 웃음, 포효, 숨소리 같은 비언어적 요소까지 자연스럽게 변환한다. 금속성 울림이나 두꺼운 숨소리 같은 질감을 주파수별로 정밀 복원하고 0.005초마다 강약 변화를 반영한다.

기존에 사운드 디자이너들이 각 몬스터와 상황별 변주음을 수작업으로 제작하던 작업을 자동화했다. 인간 음성의 주파수 스펙트럼을 확장해 몬스터 특유의 음색과 질감 변화를 재현한다고 회사 측은 설명했다.

공격성, 위압감, 유쾌함 등 캐릭터 성격을 반영하는 스타일 속성을 세밀하게 조절할 수 있다. 동일 몬스터라도 전투나 감정 상태에 따라 새로운 음향을 자동 생성한다.

엔씨AI 오디오 AI팀은 엔씨소프트 사운드센터와 협업해 다년간 누적한 대규모 게임 오디오 데이터베이스를 정밀하게 분류·태깅했다. 음색, 공기감, 노이즈, 분위기 등 다양한 음향 특성에 따른 세분화를 진행했다.

디휴머나이저 등 전문 음향 변형 툴을 활용해 가상의 몬스터 사운드를 대량 증강했다. 이를 통해 극단적이고 다양한 비인간 음색 환경에서도 안정적으로 모델을 학습시킬 수 있는 토대를 구축했다.

모델 테스트 결과 엔씨AI 기술은 최신 음색 변환 모델인 DDDM-VC, Diff-HierVC, Free-VC 등을 모두 앞질렀다고 회사 측은 강조했다.

조남현 엔씨AI 오디오 AI 팀장은 "NC AI는 국내 멀티모달 AI 분야를 대표하는 연구 전문 조직으로서, 방대한 게임 오디오 데이터와 첨단 AI 모델링 기술, 뛰어난 사운드 디자인 전문성을 융합해 이번 몬스터 사운드 변환 기술을 완성했다"며 "앞으로도 AI를 활용해 창작자의 상상력을 현실로 구현하고, 디지털 컨텐츠 산업 전반에 혁신적인 오디오 경험을 제공하는 데 기여할 것"이라고 말했다.