[디지털투데이 이병희 기자] “데이터베이스(DB)에서 운용계 DB가 많이 늘어나기는 힘들다. 정보계쪽 DB가 많이 늘었고 로그데이터나 소셜데이터를 통합해서 사용하려다보니 데이터 양이 급증하며 빅데이터에 대한 투자가 쏠리고 있다.”

김경태 ECG 대표는 한양대 오픈소스SW사업단, 서울산업진흥원 주최의 창의전문인력 재직자 교육에서 '파이썬과 데이터 분석'이라는 강의를 진행하면서 빅데이터 출현 배경에 대해 설명했다.

김 대표가 설명한 빅데이터 출현배경 첫 번째는 데이터 부화가 커지고 있다는 것. 데이터의 용량이 급증하지는 않았으나 복잡성이 증가하고 있고, 다양한 분야가 데이터화되고 있어 데이터에 대한 부화가 커지고 있다는 것이다. 새로운 정보 유형이 추가되고 활용이 시도되고 있어 이런 부화는 점점 늘어날 전망이다.

김 대표는 “고객관계관리(CRM)에 대한 얘기가 나오는 것처럼 기존 상품 중심에서 고객 중심으로 바뀌다보니 데이터가 더욱 많이 늘었다”고 설명했다.

두 번째 출현 배경은 디스크 등 기기들의 성능이 크게 개선되면서도 비용이 낮아지고 있다는 점이다. 디스크 가격이 비싸 데이터를 저장하는 것 자체가 부담이 됐던 시기와 이제는 디스크에 데이터를 저장해서 활용할 수 있는 인프라가 마련된 것이다.

세 번째 빅데이터 출현 배경에는 오픈소스가 있다. 구글, 야후, 페이스북 등 글로벌 기업들이 많은 사용자를 대상으로 비정형 데이터를 서비스하기 위해 솔루션을 개발하고 이를 공개하는 것이다. 비싼 프로그램 때문에 전문가만 할 수 있었던 데이터 분석을 이제는 일반 기업에서도 이전에 비해 상대적으로 수월하게 하게 된 것이다.

김경태 대표는 “오픈소스가 나오면서 능력만 된다면 자신의 PC에 설치해 분석이 가능하다”면서 “처리속도는 빨라지고 분석환경은 나아지고 있으나 사용자 수의 증가 및 요구 증가로 여전히 어렵고 느린 부분이 있다”고 말했다.