[디지털투데이 황치규 기자] 챗GPT로 대표되는 생성AI에 대한 기업들 관심이 커진 가운데, 진화하는 AI가 기업 보안 전략에 어떤 변수로 작용할지도 관전포인트가 됐다. AI가 몰고올 보안 위협들에 대한 무시무시한 시나리오들에 대한 얘기들이 이미 오가는 분위기다.

최근 엔비디아가 개최한 GPU 기술 컨퍼런스(GTC)에서도 보안과 AI는 화두였다. SDX센트럴 보도를 보면 국방부 산하 방위고등연구계획국((DARPA, 다르파), 딜로이트, 엔비디아 전문가들이 AI가 몰고 오는 사이버 보안 전략의 도전 과제들에 대해 각자 위치에서 입장을 공유했다.

관련 업계에 따르면 생성AI로 인해 사이버 위협 트렌드도 변화할 수 밖에 없다. 챗GPT로 생산성 혜택을 누리기는 일반 사용자들이나 사이버 공격자들이나 마찬가지다. 생성AI를 활용해 공격자들은 가짜 웹사이트를 빠르게 만들고 매우 효과적인 피싱 메시지도 쉽게 배포할 수 있다는 설명이다.

다르파 정보 혁신 사무소 캐슬린 피셔 디렉터는 "최근까지는 문법적으로 틀릴 경우 스팸일 수 있다고 충분히 짐작 가능했지만 챗GPT는 문법적으로 정말 잘 쓴다. 다른 많은 이들보다 낫다"고 말했다.

AI가 가진 코드 생성 역량도 사이버 보안 측면에선 잠재적인 위협일 수 있다. 피셔 디렉터는 "생성AI는 일반적으로 랜섬웨어에 사용되는 스크립트를 작성하는데 더 뛰어나하다"면서 "피싱 이메일을 만들고 랜섬웨어를 작성하는데 교육을 많이 받지 않은 이들에게 진입 장벽이 크게 낮아지고 있다"고 말했다.

그는 AI가 생성한 스팸과 멀웨어에 대해 너무 걱정하지는 않으며, 특정 공격이 몰고올 심각성도 크게 높지는 않을 것으로 전망한다. 하지만 사이버 에이전트(cyber agents)로 불리는 보안 위협이 가져올 잠재적인 리스크에 대해서는 보다 우려하는 모습이다. 그는 "사이버 에이전트들은 완전한 거대 언어 모델(LLM)들을 갖고 보다 복잡하고 나쁜 공격을 할 수 있는 자율적인 에이전트들이나 봇(Bot)들"이라고 설명했다.

생성AI 부상으로 적대적인 AI 및 모델링 포이즈닝(Poisoning, 독살)에 대한 우려도 엿보인다.

딜로이트에서 국가 안보 및 국방 부문 매니징 디렉터인 킴 크리더는 AI가 몰고올 보안 위협들에 대한 우려들 중 하나로 AI 모델이 어떤 방식에 의해 포이즈닝되는 것을 제시했다. AI 포이즈닝은 악의적인 데이터를 AI 모델에 투입해 AI가 궁극적으로 잘못된 결정을 내리도록 하는 것을 말한다.

크리더 디렉터는 "AI 모델에 모델을 속이기 시작하는 작은 악의적인 입력이 주입되면 모델은 새로운 방식으로 움직일 수 있다"면서 "모델에 공급되는 데이터가 손상된다면 진정한 도전이 될 수 있다"고 지적했다.

'이상하지만 재미있는 녀석들'을 쓴 저넬 셰인에 따르면 AI 알고리즘 내부 원리를 알 수 있으면 적대 공격을 쉽게 설계할 수 있다. 알고리즘이 공개돼 있지 않아도 알고리즘이 어떤 데이터세트로 훈련했는지 알 수 있다면 얘기는 달라진다.

그는 "어떤 AI를 겨냥해 디자인된 적대 공격은 동일한 이미지 데이터세트로 훈련한 다른 AI에도적용될 수 있을 것이다"면서 "공개된 데이터셋을 오염시켜서 어떤 적대 공격을 미리 설계해 두는 것도 가능할 수 있다"고 말했다.

AI 기술들을 상대적으로 새롭지만 잠재적인 위협을 막고 공격 표면을 제한하는 방법 자체는 AI라고 해서 크게 다를 것은 없다. 기존 보안 위협을 다룰 때 먹혀들었던 방식들은 AI에 대해서도 유효할 수 있다는 설명이다.

딜로이트의 크리더 디렉터는 "항상 침해를 당할 수 있고 이미 침해를 당하고 있다고 생각해야 한다"면서 "공격자 입장에 서서 방어를 강화하고 어디에 위협이 있을지 이해해야 한다"고 말했다.