최근 빅데이터 관련 소식을 모아 보면 직접 구축에 대한 이야기보다 서비스에 대한 뉴스가 더 자주 눈에 띈다. 한 때 빅데이터란 말이 유행어가 되면서 데이터 분석 좀 한다는 기업들은 너나 할 것 없이 관련 프로젝트를 진행했다. 하지만 이렇다 할 성과를 낸 곳을 찾기란 쉽지 않다.

빅데이터 PoC(Proof of Concept)나 파일럿 프로젝트를 추진한 곳에서는 "아직 미성숙 하다", "사람이 없다", "전문 업체가 없다" 등의 소리만 들려왔다.

문제의 원인은 무엇인가?

무엇을 보고자 하는 것인지가 명확하지 않은 상태에서 구현에 나섰기 때문이 아닐까? 어떤 정보를 볼 것인가에 대한 구체적인 전략과 계획 없이 기술적으로 빅데이터를 접근하기 때문에 기업들이 시행착오를 겪지는 않았을까 생각해 본다.

쉬운 예를 들자면 최근 웨어러블 기기를 헬스케어에 접목해 데이터를 수집 분석하는 것에 대한 이야기들이 많다. 문제는 실시간으로 쏟아지는 수 많은 데이터가 사용자에게 어떤 의미가 있냐는 것이다.

사용자에게 전달되는 분석 정보의 결과가 '운동을 좀 더 해야겠네요', '식사를 줄여야 합니다' 식이라면? 웨어러블 기기를 24시간 차면서 데이트를 수집하는 것이 사용자에게 얼마나 큰 가치로 다가올까?

작은 예였지만 다른 분야 역시 마찬가지다. 빅데이터는 결국 '무엇을 볼 것인가'의 문제다. 데이터의 양, 분석 모델, 방법론 등을 따지기에 앞서 고민해야 할 것들이 무엇인지 생각해 봐야 할 한다.

분명해 지는 접근 방법

빅데이터를 놓고 나름 학습의 시간을 보내고 보고자 하는 정보가 무엇인지부터 살피기 시작한 기업들은 예전보다 한결 더 분명한 기준을 갖게 됐다. 내부적으로는 직접 구축할 경우 빅데이터 플랫폼을 고성능 데이터웨어하우스(DW)의 연장 선상에서 본다.

범용 장비를 쓰는 대규모 웹 서비스 사업자들의 구축 모델은 일반 기업에 맞지 않는다. 기업이 원하는 사양, 성능, 기능을 갖춘 어플라이언스에 기업들이 눈길을 주는 이유다. 각종 설비와 장치가 쏟아내는 로그 정보는 데이터 처리를 위한 사물인터넷(IoT) 게이트웨이 장비와 기계학습(Machine Learning) 기반 분석에 대한 관심이 커지고 있다.

소셜 데이터는 검색 기술을 바탕으로 내부 또는 외부와 연결을 꾀하고 있다. 데이터 유형과 위치에 따라 적합한 방식들이 선택되고 있는 것, 2014년 빅 데이터가 다양성의 시대로 접어들었다고 보는 배경이다.

데이터 위치와 분석 연산 위치의 경계를 허무는 '클라우드'

다양성과 관련해 최근 클라우드 기반 분석의 인기가 급상승 하고 있다. 구글 어낼리틱(Google Analytic)이 대표적인 예이다. 분석의 관점에서 볼 때 데이터의 위치와 분석이 수행되는 연산(compute) 위치는 반드시 같을 필요가 없다. 원하는 정보가 빠르고 효율적으로 나오면 된다.

구글 어낼리틱은 분석을 담당한다. 원본 데이터는 사내 웹 서버나 다른 시스템의 로그다. 즉 계산과 저장 위치가 다르다. 계산은 클라우드가 저장은 사내 스토리지에 된다. 이게 바로 빅데이터와 클라우드 연동의 좋은 예가 아닐까?

다른 예로 마이크로소프트 애저(Microsoft Azure)의 사례가 있다. 필자는 러시앤캐시의 사례를 흥미롭게 보았다. 개인정보는 클라우드에 저장할 수 없으니 중국 현지 지사 스토리지에 저장해 두고 이 정보를 참조하는 신용평가시스템은 홍콩에 위치한 마이크로소프트 애저 데이터센터에서 처리한다. 이 역시 저장과 계산을 분리한 좋은 예로 데이터 위치와 분석의 경계가 없는 클라우드 기반 분석의 좋은 예다.

빅데이터도 결국 API 경제의 한 부분

살펴본 바와 같이 빅데이터에 대한 접근 방식은 점점 다양해지고 있다. 다양성이 커지고 있지만 빅데이터는 큰 틀에서 기술은 표준을 따라 가고 있고 그 표준에 맞추어 제품과 솔루션이 개발되고 있다. 그리고 웹을 기반으로 한 다양한 서비스는 API(Application Programming Interface)를 통해 서로 실타래처럼 엮이고 있다.

이처럼 시스템, 솔루션, 서비스 모두 표준이란 틀 안에 서로 '연결점'을 찾아 가고 있고 빅데이터 역시 같은 길을 따라 가고 있다고 보는 것은 필자만의 상상일까?