[디지털투데이 석대건 기자] “페페로네, 음악 좀 틀어줘” 

그러자 AI 페페로네가 부르는 이를 잠시 쳐다보더니 위로하는 이모티콘을 표현하며 “오늘은 피곤하셨군요”라고 반문한다. 페페로네의 데이터베이스에는 ‘SAD(슬픔)’라는 데이터가 입력돼 있다. 정확히 말하면, AI가 자신에게 명령한 사용자의 목소리와 표정을 분석한 값이다.

그리고 페페로네는 사용자의 마음을 안정시키기 위해, 클래식 음악을 재생한다.  

분위기를 파악하고 눈치를 가진 AI로 구글에 맞서는 이가 있다. 백대원 세미콘네트웍스 대표는 사람의 감정을 읽은 AI 기술로 IT생태계의 전환점을 노리고 있다.

"다시 말씀해주세요" 반복하는 AI 스피커

백대원 세미콘네트웍스 대표는 지금의 AI 기술이 무엇보다 친숙하지 않다고 분석한다. 백 대표는 “처음에는 AI스피커에 말도 걸고 명령도 해보지만, 대부분 단순 명령에 그치고 만다”며, “심지어 나중에는 인간과 AI가 서로의 의중을 이해하지 못해 ‘무시’하는 단계에 이른다”고 말한다.

사용자는 AI가 자신의 뜻을 이해하지 못해 답답하고, AI는 사용자의 의도를 분석하지 못해 막막하다는 것. ‘무시’ 단계는 결국 서로 필요하지 않게 돼버린 수준이다.

특히, 한국인의 감정은 특히 어렵다. “음악 좀 틀어줘”라는 문장을 말하더라도, 즐거운 분위기에서 원하는 음악과, 우울하거나 화난 상태에서 원하는 음악은 전혀 다르다. 

물론 사람의 경우, 화자의 목소리와 표정을 통해 대화의 맥락을 파악하고, 적절한 대처를 하지만, 지금의 AI는 그렇지 못한다. “다시 말씀해주세요”를 반복할 뿐이다.

이에 백대원 대표는 페페로네를 통해 맥락적 AI, 즉 화자의 목소리와 표정, 그리고 시선처리까지 분석해내는 AI 기술을 개발했다.

목소리를 듣고 표정을 보고 눈을 보는 AI, 페페로네

AI 페페로네는 ‘목소리’과 ‘표정’의 두 축에다가, 사용자의 눈을 추적해 ‘시선 처리’까지 더해 사용자를 분석한다. ‘목소리’는 높낮이, 빠르기 등을 통해, 그리고 ‘표정’은 윤곽, 찡그림, 주름 등 사용자의 감정을 1, 2, 3순위로 찾아낸다. 

각각 2개의 ANN(artificial neural network, 인공신경망)이 들어있다. 총 4개의 ANN이 목소리와 표정을 화자의 감정을 분석하고, 이를 매칭해 가장 높은 가능성으로 분석된 감정으로 대응하는 셈이다.

백대원 대표는 “여기까지만 해도 90%가 넘는 확률로 화자의 감정을 분석해낸다”며, “말하는 장소의 배경음악이 무엇인지도 분석해 상대방의 상태를 예측해 적절한 답을 준다”고 설명했다.

페페로네는 여기에 화자의 ‘시선’까지 더했다. 게이즈 트랙킹(gaze tracking), 즉 눈의 움직임은 화자가 무엇에 가장 관심이 있는지 보여주는 바로미터다. 이미 시선의 이동에 대한 연구는 UX/UI 설계, 마케팅, 제품 디자인 평가 등에서 활발하게 사용되고 있다. 

백대원 대표는 "치뜬다, 내리깐다, 흘긴다 등 여러 상태의 시선 이동과 그에 맞는 감정을 데이터로 입력해 화자의 상태를 분석한다”며, “이를 목소리와 표정을 분석한 결과에 보완하며 대화의 맥락을 파악하는 수준은 한층 높아진다”고 설명했다.

이미 해당 요소 기술은 글로벌 기업들도 탐내고 있다고 후문. 사용자의 시선 처리와 그에 따른 반응을 파악할 수 있다면, 각종 IT 솔루션의 사용성 향상을 노릴 수 있을 뿐 아니라, 단일한 디자인을 넘어 사용자의 특성에 맞춘 개인화된 디자인으로도 플랫폼을 설계할 수 있다.

왜 구입할 제품을 또 광고할까?

마케팅에서도 마찬가지. 지금처럼 산발식 광고가 아닌, 타겟팅 광고도 가능해진다. 

구글의 광고만 봐도, 이미 구입한 제품의 광고가 다시 나오는 경우가 허다하다. 사용자는 당연히 관심을 두지 않을뿐더러, 표정에도 ‘호기심’이 나타나지 않는다. 이러한 데이터를 AI 페페로네는 파악해내는 것이다.

사실 백대원 대표는 AI 분야에서 경력은 약 20년 전부터 이어진다.

2000년대 초 음성인식 솔루션을 공급한 미국 보이스시그널, 음성 인식 엔진 개발 회사로 시리의 음성 인식 엔진을 공급한 뉘앙스 커뮤니케이션즈, 마이크로소프트가 대화형 AI 개발을 위해 인수한 ‘시맨틱 머신’ 등에서 근무하며 경력을 쌓았다.

백대원 대표는 AI 페페로네를 통해 요소 기술(Components) 전략으로 공략하고자 한다. 

백 대표는 “구글이 미국 사람은 분석해도, 한국인의 감성을 모를 것”이라며, “AI 중에서도 한국인을 가장 잘 아는 AI 페페로네를 완성했다”며, “완성됐다는 말보다는 90% 이상 정확하다는 말로 대신하겠다”고 설명했다.