빅 데이터는 전문가의 관심사를 넘어 비즈니스 의사결정자의 이목을 끌고 있다. 새로운 혁신에서 주류로 무대가 바뀌면서 빅 데이터 시장에 큰 뜻을 품은 이들이 창업이 줄을 잇고 있다. 빅 데이터 시장은 스타트업에게 기회의 땅일까? 빅 데이터는 초장기에도 그랬고 2016년 현재도 스타트업이 주도하는 시장이다.
빅 데이터는 2006년 개념이 등장한 이후 시장이 조성되기 시작했고, 이 흐름을 타고 2010년대 초 많은 기업이 생겼다. 호튼웍스도 그중 하나로 뉴욕 증권가에서 주목받는 빅 데이터 업체가 되었을 정도로 빅 데이터 시장은 빠르게 성장하고 있다. 올해는 빅 데이터 시장의 뿌리이자 성장 동력인 하둡(Hadoop)이 세상에 나온 지 10년이 되는 해로 빅 데이터 업계는 지난 10년보다 더 큰 기회 앞에 서 있다.
현재 빅 데이터는 다양한 산업에서 여러 용도로 활발히 쓰이고 있다. 통신, 금융, 전자 상거래, 제약, 의료, 에너지, 첨단 제조, 공공 서비스 등에서 대용량 데이터 처리, 실시간 스트리밍, 예측 분석을 하고 있다.
기업에게 있어 데이터 중심 경영은 선택의 문제가 아니라 생존의 문제다. 우리가 하둡 탄생 10주년을 맞아 다가오는 10년에 더 큰 성장 기회가 있다고 보는 이유다. 최근 인공 지능, 기계 학습, 딥 러닝이 일반 대중의 관심사가 되면서 빅 데이터는 또 한 번 유행의 중심에 서고 있다. 앞으로 5G 통신과 사물인터넷(IoT)이 주류가 되면 빅 데이터 시장의 잠재력은 더욱 향상될 것이다.
■스타트업이 이끄는 시장
호튼웍스는 빅 데이터 시장에서 스타트업이 주도적인 기업으로 성장할 수 있다는 것을 보여주는 산증인이다. 호튼웍스는 2011년 설립한 스타트업이다. 설립 4년 만인 2015년 1억 달러 매출액 고지에 올랐다. 제2, 제3의 호튼웍스가 탄생할 기회의 문은 지금도 활짝 열려 있다.
빅 데이터 산업을 키우는 엔진은 100% 오픈 소스로 누구나 쓸 수 있는 하둡이다. 빅 데이터 시장을 주도하는 힘은 생태계에서 나온다. 자신이 개발한 코드를 기꺼이 공동체와 함께 하는 커미터(Committer), 호튼웍스와 같이 오픈 소스 기반 플랫폼을 사업을 하는 기업, 빅 데이터 플랫폼을 위한 툴과 애플리케이션을 만드는 크고 작은 기업들이 모여 거대한 생태계를 이룬다. 빅 데이터 생태계는 시장의 성장에 발맞춰 조화를 이루며 함께 가고 있다.
빅 데이터 시장은 스타트업에게 매력적이다. 시장 기회는 크게 두 가지로 나누어 볼 수 있다. 첫 번째는 오픈 소스 플랫폼 시장이다. 두 번째는 플랫폼에 연결할 수 있는 툴과 애플리케이션 시장인데, 스타트업이 사업을 하기 좋은 분야이다. 한국의 LF랩스가 호튼웍스와 협력해 세계 시장으로 진출하는 길을 연 것이 좋은 예다. 우리는 지난 해부터 NF랩스와 긴밀히 협력해왔다. 단순한 제휴가 아니라 팀을 만들어 작업을 했다. 이를 통해 호튼웍스의 최신 HDP(Hortonworks Data Plaform) 2.5 버전에 추가되는 새로운 기능 요소로 NF랩스의 제플린(Zeppline)을 공식 추가했다. NF랩스의 제플린은 이제 전 세계 800여 개가 넘는 호튼웍스 서비스 구독 고객이 관심을 갖는 기능이 될 것이다.
■빅 데이터는 한국 기업이 세계 시장으로 가는 창이 될 수 있나
IT 업계 종사자라면 한국을 생각하면 ‘초고속 인터넷 강국’과 ‘최신 기술의 평가 무대(test bed)’란 것을 떠올릴 것이다. 개인적으로 이런 배경이 어느 정도 작용해 빅 데이터 오픈 소스 부문에서 주목받는 신예를 꾸준히 배출하는 것 같다.
이들 기업이 들고나오는 아이디어와 오픈 소스 프로젝트를 끌고 가는 추친력을 보면 놀랍다. 이들 기업이 세계 무대에서 구독 서비스를 제공하는 것은 당연하다. 충분히 준비되어 있고, 역량도 있다고 본다. 한국에서 능력 있는 스타트업이 꾸준히 나오고 있다는 것은 빅 데이터 진영에서는 더는 새로울 것 없는 사실이다.
한국에 있는 지인을 통해 물어보니 한국에서 소프트웨어 개발로 성공하는 것은 흔하지 않다고 했다. 말을 듣고 보니 전통적인 소프트웨어 시장에서 딱히 생각나는 한국 기업이 없었다. 하지만 빅 데이터 쪽은 다르다. 하둡 2.0 시대 청사진을 이야기할 때 한국 출신 기업의 프로젝트가 빠지는 법이 없다.
빅 데이터를 통해 한국 소프트웨어 산업의 숙원인 해외 시장 개척이 현실이 될 것이라 본다. 오픈 소스 시장은 경계가 없다. 빅 데이터 생태계에는 국경이 없다. 한국을 비롯한 전 세게 모든 스타트업은 세계로 가는 문이 활짝 열려 있다. 한국 기업을 비롯한 여러 국가의 신생 기업이 세계로 가는 데 있어 호튼웍스는 하둡이란 발판을 제공할 것이다.