[디지털투데이 황치규 기자] 2006년 3월. 이커머스 업체인 아마존이 필요한 만큼 쓰고, 쓴만큼 비용을 내는 개념이 녹아든 스토리지인 심플 스토리지 서비스(Simple Storage Service: S3)를 발표한다. 지금은 거대 사업이 됐고 엔터프라이즈 컴퓨팅 시장에서도 아마존을 큰 손으로 만들어 준 아마존웹서비스(AWS)의 시작이었다. 클라우드가 엔터프라이즈 컴퓨팅을 체감할 수 있는 수준으로 흔들기 몇년 전의 일이었다.

S3는 나오자마자 스타트업들을 빠르게 파고들었다. 핀터레스트, 에어비앤비, 스트라이프 같은 스타트업들이 AWS에 몰려들었다. DVD 우편 배송 업체인 넷플릭스도 스트리밍 기반으로 서비스 모델을 바꾸면서 AWS를 사용했다.

유연성과 확장성 초점 맞춘 디자인으로 승부

해외 IT미디어 프로토콜에 따르면 S3는 당시 스타트업들이 스토리지와 관련해 겪고 있던 골칫거리를 해결했다.

프로토콜은 "당시 기술 스타트업들은 겨우 닷컴 시대 과잉에서 벗어나고 있었다. 값비싼 하드웨어를 사는 것은 스타트업에게는 위험한 도박이었다. 너무 적게 사면 사이트가 깨지고 많이 사면 회사가 파산한다. 혼돈의 스타트업 라이프에서 이것은 위험한 도박이었다"면서 S3는 클라우드 기반 오브젝트 스토리지 서비스를 경험할 수 있도록 했다고 전했다. 오브젝트 스토리지는 오브젝트라 불리는 독립된 유닛에 데이터가 저장되고 관리되는 데이터 스토리지 아키텍처다. 스토리지를 분산 시스템 형태로 비용 효율적으로 이용할 수 있게 해준다.

S3는 처음부터 애플리케이션 프로그래밍 인터페이스(API)가 간단했다. 개발자들은 필요한 API를 골라서 서비스를 빠르게 개발할 수 있었다.

S3가 나온지 15년째인 지금, AWS는 아마존에서 핵심적인 사업이 됐다. AWS는 지난해 450억달러 매출을 일으켰다. 아마존 전체 사업에서 확실한 캐시카우로도 자리매김했다. AWS는 아마존 전체 매출에선 12%밖에 안되지만 영업이익 비중은 59%에 달한다.

AWS는 또 아마존이 매년 25억개 이상 패키지를 정확하게 전달할 수 있는 물류  프로세스를 운영하는데도 핵심적인 역할을 하고 있다고 시애틀타임스는 전하고 있다.

AWS가 제공하는 많은 것들처럼 S3도 아마존닷컴을 개발하고 확장하면서 얻은 경험에서 나왔다. S3 출시 이후 15년간 AWS는 다양한 방향으로 빠르게 진화했지만 여전히 AWS 초창기 아마존 CTO였던 앨런 버메우렌이 주도한 팀이 디자인한 원칙을 유지하고 있다고 프로토콜은 전했다.

당시 AWS가 배포한 보도자료에 따르면 단일 아마존 S3 분산 시스템은 아마존 내부 애플리케이션과 다양한 애플리케이션을 만드는 외부 개발자들 모두가 필요로 하는 것들을 지원한다는 메시지가 강조됐다. 어떤 개발자가 어떤 용도로 사용할 수 있을 만큼 유연하면서 아마존닷컴 웹사이트를 돌리는데도 충분할 정도로 빠르고 신뢰할 수 있다는 것이었다. 

당시만 해도 많은 사람들이 용량과 속도 중심으로 스토리지를 바라봤는데, AWS는 상대적으로 확장성과 유연성에 무게를 둔 듯 하다.

S3는 마이크로서비스 기반으로 개발됐다. 소프트웨어를 기능별로 잘게 쪼개 독립적인 서비스들의 묶음으로 구현하는 개발 방식은 마이크로서비스는 당시로선 새로운 접근이었다. 

마이크로서비스는 AWS가 S3에서 발생하는 장애 지점들을 분산시키는 결과로 이어졌다. 분산 클라우드 서비스는 오류는 종종 일어날 수 밖에 없다는 것은 인정하지만 장애가 발생해도 시스템 전체는 멈추지 않도록 하는데 초점이 맞춰져 있다. 마이크로서비스는 또 AWS가 시스템에서 핵심적인 부분들은 건드리지 않고 S3 업그레이드를 해나갈 수 있도록 해줬다.

시행착오가 없었던 것은 아니다. S3를 사용하는 기업들이 늘면서 보안 관련한 것들이 이슈가 됐다. 지난 몇 년 간 AWS에서 일어난 보안 사고들을 보면 이중 많은 것들이 허술한 버킷(leaky buckets) 탓이라는 얘기가 많다. 버킷은 S3 스토리지를 구성하는 핵심 단위를 의미한다.

이들 사고는 다른 클라우드 스토리지 제공 업체들에서도 벌어지지만 AWS 점유율을 고려하면 AWS에게 상대적으로 예민한 문제일 수 있다.

AWS는 공유 책임 모델(shared responsibility) 아래 보안을 운영한다. 공유된 책임 모델 아래 AWS는 누군가가 물리적으로 고객 AWS 서버에 접근하거나 네트워크에 침투하는 것을 방지한다. 그리고 고객들은 합리적인 범위에서 자신들 계정을 보호해야 한다. 서비스 제공자와 사용자가 나름의 역할을 분담하는 구조다. 여기에는 렌터카를 이용하는데, 어느날 잠그지 않은 차량 뒷좌석에 둔 노트북을 도난당한다고 렌터카 회사를 비난할 수 없다는 의미도 깔려 있다.

하지만 시간이 지나면서 AWS 사용자들은 민감한 고객 데이터를 안전하게 보호되지 않고 누구나 그것을 쉽게 찾을 수 있도록 열려 있는 스토리지 버킷에 남기는 경우가 많았다. 예전처럼 IT인프라를 직접 구축해서 쓰던 방식에 익숙해져 있다 보니 벌어진 일이었다.

이 같은 상황은 AWS가  계정과 관련된 모든 스토리지 버킷을 잠글 수 있는 블록 퍼블릭 액세스(Block Public Access) 같은 툴들을 개발하는 결과로 이어졌다. 추가적인 보안 도구들도 계속 공개됐다. AWS 사용자들은 공개 인터넷에서 비인가 접근들에 대한 그들 계정을 스캔할 수 있게 됐고 한 회사에서 다양한 역할에 맞게 다양한 접근 레벨을 사람들에게 할당하는 것도 가능해졌다.

AI와 데이터 분석 지원 역량 전진배치

S3 가격도 많이 저렴해졌다. AWS가 2012년 첫 메이저 개발자 컨퍼런스인 리인벤트를 열었을 때 주요 발표들 중 하나는 S3 스토리지 가격을 24~28% 인하한다는 것이었다. 그 시점까지 AWS가 했던 24번째 가격 인하였다.

이런 가격 인하가 가능한 것은 당시 AWS 스토리지 서비스 부사장이었던 앨리사 헬리가 2012년 리인벤트 기조연설에서 설명한 것처럼  AWS가 기반 S3 서비스를 그때그때 업그레이드할 수 있기 때문이다. S3는 당초, 200억개 오브젝트 스토리지를 보유하도록 디자인됐다. 그러나 이 숫자는 예상 보다 빠르게 늘어났다. 첫해 9조 오브젝트를 돌파했다. 2012년에는 1조 오브젝트로 확장됐고 2020년에는 10조까지 늘었다.

프로토콜에 따르면 지금은 스퀘어 셀러 사업부를 이끄는 부사장인 앨리사 헬리는 "이와 관련해 정말 멋진 것은 고객들은 어떤 것도 할 필요가 없다는 것이다. 직접 마이그레이션을 할 필요가 없다. 그것은 그냥 돌아갔고 일들은 더욱 좋아졌다"고 말했다. 그는 2012년 리인벤트 행사에서 이것이 클라우드와 전통적인 IT의 차이를 보여주는 대표적인 사례라는 점을 강조한 바 있다.

지난해에도 AWS는 지난해말 온라인으로 개최한 리인벤트 행사에서도 S3 업그레이드 소식을 전하면서 스트롱 컨시스턴시(strong consistency)를 선보였다. 지난 몇년간 AWS는 S3를 스트롱 컨시스턴시 중심으로 다시 개발했다.

오리지널 S3는 이벤추얼 컨시스턴시(eventual consistency)를 중심으로 디자인됐다. 사용자들이 새로 저장한 데이터들이 정해진 스토리빗 버킷에 제대로 정착했는지를 바로 확인하기는 힘든 구조였다. 하지만 스트롱 컨시스턴시 디자인을 통해 이 같은 문제를 해결할 수 있을 것이란게 회사측 설명이다.

현재 AWS는 S3와 관련해 S3 데이터 위에서 머신러닝을 쉽게 할 수 있는 것과 데이터 레이크(Data Lake) 성능과 역량을 향상시킬 수 있는 방법을 찾는데 많은 신경을 쏟고 있다. 데이터 레이크는 AWS 사용자들 사이에서 내부와 고객 데이터에 대한 정교한 분석을 가능케 한다. 모더나 코로나19 백신 개발에도 S3 데이터 레이크가 활용됐다.

아마존 셀러용 기능이 클라우드 컴퓨팅 아이디어로 확장 

AWS 클라우드 컴퓨팅의 씨앗은 S3가 출시되기 몇년전으로도 거슬러 올라가야 찾을 수 있다. 시애틀타임스 보도를 보면 2000년대 초반 아마존 내부 소프트웨어 엔지니어들 사이에선 자신들이 너무 많은 시간을 디지털 인프라를 구축하고 유지하는데 쓰고 있다는 불평들이 쏟아졌다. 

이 같은 고민을 줄이기 위한 일환으로 아마존은 신뢰할만 하고 비용 효율적인 데이터센터 구축 및 데이터베이스 관리 같은 서비스 제공 프로세스를 중앙화했고 이를 기반으로 아마존내 개발자들은 아마존닷컴에 보다 많은 소비자들을 끌어 모으기 위한 제품 디자인에 집중할 수 있었다고 시애틀타임스는 전했다.

동시에 아마존은 디지털 인프라를 서비스형 형태 사업에 뛰어들었다. 아마존은 웹디자인과 관련해 타깃 같은 소매 파트너들과 손을 잡았고 이것은 셀러들이 아마존 플랫폼에서 자체 이커머스 사이트를 개발할 수 있는 툴들을 제공하는 결과로 이어졌다. 2002년 아마존은 제휴 마케터(affiliate marketers)들을 겨냥해 아마존에 있는 광범위한 제품 데이터를 얻을 수 있도록 지원하는 기능도 선보였다. 

이같은 서비스가 좋은 반응을 얻자 아마존 내부에선 외부를 상대로 제공하는 기능들이 단순한 작은 실험이 아니라 판을 바꾸는 잠재력이 있을 수 있다는 인식이 확산됐다.

하버드 경영대학원의 게리 피사노 교수가 쓴 책 '혁신의 정석'에 따르면 AWS를 오랫동안 총괄해왔고 제프 베조스에 이어 올해말 아마존 차기 CEO로 내정된 앤디 재시는 당시 상황에 대해 이렇게 말하고 있다.

"이후로 우리는 향후 어떤 일이 더 진행 가능할지 궁금해졌다. 타사 개발자들이 웹서비스를 사용해 응용 프로그램을 개발하고 이렇게 광범위한 웹서비스가 존재하게 된다면 인터넷은 그 자체가 운영체제가 될 것이다. 우리는 그렇게 된다면 무엇이 가장 중요한 요소가 될지 스스로에게 물었다. 2003년에 우리가 새롭게 마주했던 새로운 세상에는 오늘날 인터넷 운영체제의 핵심 요소 중 그 어느 것도 존재하지 않았다. 아마존은 지난 10년 동안 그저 소매 공간에서 기술을 운용해온 기업 뿐임을 자각했을 때 우리는 비로소 우리가 더 많은 것들을 만들 수 있음을 깨닫기 시작했다."