[디지털투데이 황치규 기자]클라우드 데이터레이크 업체 클라우데라가 아파치 아이스버그를 자사 데이터 플랫폼에서 공식 출시했다고 더레지스터가 1일(현지시간) 보도했다.

넷플릭스 프로젝트로 시작해 2018년 오픈소스 소프트웨어 단체인 아파치 소프트웨어 재단(ASF)에 기증된 아이스버그는 스파크, 트리노, 플링크, 하이브, 임팔라 같은 쿼리 엔진들을 지원하면서 빅데이터 워크로드들에서 고성능을 지원하기 디자인된 오픈 테이블 포맷(open table format)을 제공한다.

하둡 기반 시스템에 뿌리를 두고 있는 클라우데라는 정형과 비정형 데이터 모두 지원하는 저장소인 데이터 레이크에서 다기능 분석을 가능케 하는 것을 목표로 하고 있다. 레이크 하우스 콘셉트를 통해 사용자들은 데이터레이크 시스템에서 분석과 비즈니스 인텔리전스(BI)를 활용할 수 있다는 게 회사측 설명이다.

클라우데라는 "데이터레이크는 여전히 주요 엔진들과 종종 단일 벤더들에 연결된 테이블 포맷들에 의해 주도되고 있다"면서 "반면 기업들은 벤더에 종속되지 않고 데이터레이크에서 매우 확장성 있고 유연한 분석 엔진들과 서비스들을 게속해서 요구해왔다"고 강조했다.

클라우데라 데이터 플랫폼(CDP)에 배치된 아이스버그는 클라우데라 데이터 웨어하우징, 클라우데라 데이터 엔지니어링, 클라우데라 머신러닝을 포함하고 있다. 이들 도구는 분석가들 및 데이터 사이언티스들이 선택한 분석 엔진들과 도구들로 같은 데이터에서 쉽게 협력할 수 있게 한다는게 클라우데라 설명이다.

클라우데라는 오픈소스 소프트웨어로 제공하는 유일한 데이터 레이크 또는 레이크 하우스 업체가 아니다.

아피치 스파크 공급 업체로 시작한 데이터브릭스 또한 자사 스토리지 포맷 레이어를 오픈소스 커뮤니티에 기능했다. 데이터브릭스는 최근 열린 데이터&AI 서밋에서 최신 버전인 델타레이크 2.0을 발표했다.

데이터브릭스는 "델타레이크 2.0은 따라올 수 없는 쿼리 성능을 모든 데이터레이크 사용자들에게 제공하고 모두가 고성능 데이터레이크를 공개 표준에서 구현할 수 있게 해준다"고 강조했다.

더레지스터에 따르면 조엘 미닉 데이터브릭스 마케팅 담당 부사장은 "델타레이크가 오픈소스화된 이후 많은 성능 향상이 있다. 델타레이크에서 강화된 것들은 데이터 프로세싱과 데이터웨어하우징"이라고 말했다.