중복 데이터 제거를 통해 데이터를 효율적으로 활용하자는 데이터 중복 제거(디듀플리케이션) 기술이 뜨고 있다. 최근 스토리지 시장에서 가장 각광받는 기술 중 하나로 꼽힐 정도다.

데이터 중복제거 기술은 원본 데이터에 존재하는 데이터 블록 중 중복되는 부분을 찾아 중복되는 부분을 모두 제거한다는 것이 핵심이다. 중복 데이터의 위치나 순서의 메타데이터를 관리하고, 파일간의 중복된 내용을 불필요하게 저장할 필요가 없기 때문에 백업 효율성이 향상된다고 한다. 업계에서는 이 기술을 탑재할 때 스토리지 자원을 적게는 10배, 많게는 50배까지 효율적으로 활용할 수 있을 것이라고 주장한다.

최근 기업 환경을 살펴보면 디듀플리케이션 기술의 역할이 커질 가능성이 높다. 기업들이 지사를 설립하며 데이터를 여러 지역으로 분산할 수 밖에 없는 것이 현실이기 때문이다. 각 업체들은 데이터를 분산할 수 없기에 네트워크에 의존해 데이터를 한 곳에 백업, 보관하고 있다.

하지만 네트워크에 의존한다는 것은 네트워크 비용이 그만큼 늘어날 수 밖에 없다는 한계에 봉착한다. 분산된 환경에서 백업데이터 복제를 위해 사용하는 네트워크의 대역폭을 줄이겠다는 것이 디듀플리케이션 기술의 목표다. 중복된 데이터를 제거해 네트워크 대역폭을 획기적으로 줄이겠다는 것. 일단 사용자들도 기술 측면에서 환영하고 있다. 이미 몇몇 기업이 이를 도입하기로 결정했고, 10여개 이상의 기업들이 연말까지 이 기술 도입을 추진할 것으로 전망된다.

스토리지 전문가들은 이 기술이 백업 시장에서 디스크 스토리지의 위상을 획기적으로 올려놓을 것이라고 주장했다. 이처럼 뜨거운 관심 속에서 업체들의 잇따른 신제품 출시는 디듀플리케이션 기술의 초기 시장 진입을 유리하게 할 것으로 보인다.

넷앱코리아(대표 정철두)는 지난 5월, 넷앱 니어스토어 및 FAS 스토리지를 통해 제공하는 디듀플리케이션 솔루션 ‘넷앱 A-SIS (Advanced-Single Instance Storage)’를 발표했다. 이 제품은 백업·아카이빙·컴플라이언스 스토리지, 1차 데이터 세트 등 폭넓은 스토리지 환경을 지원하는 것이 특징이다.

한국데이터도메인(대표 강민우)도 5월에 인라인 데이터 중복제거 솔루션인 'DD580'을 출시했다. 인라인 디듀플리케이션 기술은 시스템 스루풋을 향상시키기 위해 지나치게 큰 스토리지 서브시스템에 의존하는 대신, 멀티 코어 프로세서 아키텍처의 가격과 성능을 적용한 것이 특징이다. 한국데이터도메인은 이미 3개의 레퍼런스를 확보했으며, 2분기 중 5~6개 레퍼런스가 추가로 마련될 것으로 예상되고 있어 전망이 밝다.

강민우 한국데이터도메인 지사장은 "올해 넷컴솔루션, 로이트, 3S소프트, 오오씨 등의 채널사를 영입하여 방송/미디어, 공공기관, 대기업과 금융권, SMB 등 다양한 시장을 중심으로 특화된 전략과 영업을 전개해 나갈 것"이라고 강조했다.

이에 앞서 퀀텀코리아(대표 정민영)는 지난 2월 디듀플리케이션 기술을 탑재한 VTL 제품 2종을 가장 먼저 출시했다. 한국EMC도 지난해 11월 인수한 아바마(AVAMAR)라는 업체의 디듀플리케이션 솔루션을 출시하여 활발히 영업을 진행 중이다.

한편 신제품 출시와 더불어 밝은 시장 전망에도 불구하고 아직 해결해야 할 과제는 남아 있다. 그동안 이 기술 탑재로 인해 VTL 성능과 처리속도가 저하될 것이라는 우려가 있던 것도 사실. 관련 업체들은 VTL의 성능이 좋아졌기 때문에 성능 저하는 있을 수 없는 일이라고 주장하지만, 검증이 빠른 시일내 이뤄졌을 때 이 기술의 채택 속도가 빨라질 것으로 보인다.

유진상 기자 jinsang@ittoday.co.kr