영화 아이언맨(2008)에서 주인공 토니와 인공지능(AI) 비서 자비스가 말장난을 치던 장면을 볼 때만 하더라도, AI가 이렇게 친숙한 단어가 될 것이라고는 상상도 하지 못했다. 놀랍게도 11년이 지난 지금, AI는 산업 전반에 빠르게 확산되어 우리의 삶을 변화시키고 있다. 단, 현재 적용되고 있는 AI는 영화 속 묘사와 같이 스스로 생각하고 인간과 사랑에 빠지는 수준까지 발전한 것은 아니며, 일정한 패턴에 기반해 문제를 해결하며 인간의 노동을 대체하는 형태로 적용되고 있다.

사이버 보안 분야 역시 이러한 흐름에서 예외는 아니다. 고도화된 보안 위협이 기하급수적으로 증가하면서 한정된 시간, 자원, 인력으로 대응 가능한 수준을 넘어섰기 때문이다. 이에, 보안업계에서는 인간보다 기계가 더 잘할 수 있는 분야는 AI 기술을 이용해 최대한 빠르게 처리함으로써, 급증하는 사이버 위협에 대한 리스크를 낮추고 업무의 효율성을 높이려는 시도가 늘어나고 있다.

사이버 보안 분야에 적용된 AI는 기존의 빅데이터 기반 탐지 방법과 동일하게 ‘공격 패턴’을 기준으로 공격을 탐지한다. 그러나, 데이터에 대한 학습을 통해 스스로 판단 기준을 만드는 자동화 모델링 과정이 존재한다는 점에서 기존의 탐지 방법과는 확연한 차이가 있다고 말할 수 있다. 다시 말해, 보안 전문가가 탐지 패턴과 룰 정책을 일일이 확인하고 생성해야 해야 했던 어려움을 해소하고 시간과 비용을 절감하며 보안성을 강화하는 효과를 기대할 수 있다.

정확한 탐지를 위한 알고리즘

사이버 보안 분야에 AI 기술을 적용하기 위해서는 크게 세 가지의 핵심 요소 도입을 고려할 필요가 있다. 첫 번째 요소는 알려진 공격을 정확하게 탐지하기 위한 지도학습 알고리즘이다. ‘정확도’란 정상적인 패킷은 탐지하지 않고 비정상적인 악의적인 행위를 탐지하는 확률을 의미한다. 위협이 아니지만 위협이라고 탐지하는 ‘오탐(false positive)’의 증가는 위협 대응을 지연시키는 문제로 이어질 수 있다. 따라서, 공격 탐지의 정확성을 높일 수 있는 알고리즘을 만들고 개선하는 과정이 요구된다.

어떻게 지도학습 알고리즘의 정확성을 높일 수 있을까? 우선, 충분한 양의 학습 데이터가 마련되어야 한다. 데이터에 대한 정답이 주어진 데이터셋을 학습시키는 지도 학습의 특성상, 일반성이 떨어지는 결과가 도출되는 과적합(overfitting) 현상이 발생할 수 있다. 문제의 복잡도에 비해 학습한 데이터가 현저히 부족할 시 주로 발생하는 문제이므로 학습 데이터셋의 구성 비율이 한쪽으로 과도하게 편향되지 않도록 충분한 학습 데이터를 준비하는 것이 중요하다.

또한, 알고리즘이 학습할 데이터셋의 악의성 여부를 판단하는 라벨링 작업도 정확하게 이뤄져야 한다. 아무리 뛰어난 AI 알고리즘을 만들었다고 할지라도 알고리즘이 학습하는 데이터셋의 수준이 떨어진다면 AI 시스템이 내놓는 결과의 정확성이 떨어질 수밖에 없기 때문이다. AI 알고리즘이 학습하는 데이터가 결과물의 수준을 좌우할 수 있는 만큼, 양질의 학습 데이터를 지속적으로 만들어내고 학습에 필요한 feature를 추출할 수 있는 숙련된 전문 인력이 반드시 필요하다.

알려지지 않은 신·변종 위협 탐지를 위한 알고리즘

두 번째 요소는 룰 기반 보안 장비로는 탐지해낼 수 없는 알려지지 않은 보안 위협에 대한 단서를 찾기 위한 비지도학습(자율학습) 알고리즘이다. 이상 행위·공격자 특성 등에 대한 비지도 학습 수행을 통해 정상 범위에서 벗어나는 비정상적인 행위(이상치)를 분류한 모델을 만들게 하고, 위협으로 의심되는 행위 데이터가 군집된 악성 행위 분류에서 얼마나 벗어나 있는지를 확인해 해당 데이터의 악성 여부를 판단하는 방식이다.

참/거짓이라는 답을 알려주지 않고 알고리즘을 학습시키는 방식이므로 알고리즘이 묶은 그룹이 정상 혹은 비정상 행위에 속하는지를 스스로 판단 내리기는 어렵다. 이상치 탐지를 수행한 AI 알고리즘에 의해 정상 범위에서 벗어나는 변칙 활동 및 이상 행위가 탐지되면, 전문가가 개입하여 잠재적인 위협 요인에 대해 심층적으로 분석한 뒤 공격 여부에 대한 판단을 내리게 된다. 이 과정을 통해 위협이 존재하지만 룰 기반 장비에서는 없다고 판단했던 ‘미탐(false negative)’ 이 발생했음을 알 수 있게 된다.

신속한 탐지와 대응을 위한 자동화 기술

세 번째 요소는 신속한 탐지와 대응을 지원하는 ‘자동화’ 기술이다. 분석 결과 도출을 위해 요구되는 수많은 요소들(솔루션, 절차, 위협 정보 등)을 하나의 과정으로 묶어 프로세스화하고, 이 중 단순 초동 대응이 요구되는 저위험군 이벤트는 자동 처리하는 방식이다. 기존에는 사람이 일일이 수행해야 했던 수많은 절차들을 AI가 연속적으로 자동 처리하게 함으로써, 보안 인력들은 보다 중요하고 긴급한 업무에 집중할 수 있게 된다.

단, 진정한 의미의 자동화를 구현하기 위해서는 AI 기술 도입에 앞서 보안 업무를 효과적으로 수행하기 위한 체계와 절차를 반드시 표준화할 필요가 있다. 예로 보안관제의 경우, 보안 장비에서 이상 행위를 탐지하고, 탐지된 이상 행위를 분석하며, 판별된 악성 행위에 대한 탐지 패턴을 생성하는 일련의 업무 과정과 방법을 정의하고, 이중 보안 이벤트 분석, 오탐/과탐/미탐에 대한 처리, 보고서 작성, 보고 등의 업무는 AI 기술을 통해 자동화하는 형태로 업무의 효율성을 높일 수 있을 것이다.