빅데이터 DW엔진 아파치 타조 0.11.0 공개

“타조는 이미 다양한 프로덕션 환경에서 안정적인 성능을 보장하고 있어 기술 성숙도 측면에서 엔터프라이즈 솔루션으로 성장했다. 이번 0.11.0 릴리즈를 계기로 타조의 엔터프라이즈 적용이더욱 탄력을 받을 것이다."

권영길 그루터 대표는 타조 새로운 버전 발표에 대해서 이렇게 소감을 밝혔다.

차세대 빅데이터 분석 엔진으로 주목 받아 온 아파치 타조(Apache Tajo)의 새버전이 27일(미국시간) 공식 발표됐다. 타조 개발에 주력하고 있는 그루터(대표이사 권영길)는 아파치재단이 데이터 통합 기능과 호환성이 한층 강화된 아파치 타조 버전 0.11.0을 공식 릴리즈 했다고 밝혔다.

이와 함께 게임, 에너지, 광고 플랫폼 등 다양한 분야에서 타조를 빅데이터 분석에 활용하고 있는 실무 사례들도 속속 발표되어, 엔터프라이즈 시장에서 타조의 약진을 확인할 수 있다.

타조의 새 버전은 다양한 데이터 포맷과 저장소를 지원하여 데이터를 더욱 쉽게 통합하고 연계 분석할 수 있도록 한 것이 특징이다.

타조 프로젝트 의장인 그루터 최현식 박사는 "기존 DB 사용자에게 익숙한테이블 스페이스 개념을 도입하고 JDBC 저장소를 추가하여 하둡은 물론 아마존웹서비스(AWS)와 구글(Google) 등의 클라우드 저장소, NoSQL, 오라클과 마이크로소프트 등의 기존 관계형 데이터베이스 시스템(RDBMS)에 흩어져 있는 데이터들을 타조로 쉽게 통합할 수 있게 되었다” 라고 설명했다.

반정형 또는 비정형 데이터를 유연하게 처리할 수 있는 기능도 강화되었다. 타조는 웹 데이터 전송과 로그 저장에 널리 쓰이는 JSON 형식의 원본 데이터를 별도의 변환 작업 없이 바로 SQL로 분석할 수 있다. 새 버전에서는 중첩 구조로 이루어진 복잡한 데이터 포맷을 지원하고, 테이블 구조(스키마)를 미리 정의하지 않고도 질의 실행 시점에 자유롭게 지정할 수 있게 되어, 데이터 관리와 분석이 한층 쉬워졌다. 아파치재단에 따르면, 인기 MMORPG 게임인 TERA 를 개발한 블루홀은 JSON 파일을 변환없이 그대로 분석할 수 있는 장점 덕분에 타조를 쉽게 도입할 있었고, 특히 분석가들이 새로운 프로그램 언어를 배울 필요 없이 SQL만으로 빅데이터를 쉽게 분석할 수 있는 사실에 만족하고 있다고 밝혔다.

또한 ORC 파일 형식 지원이 추가되어 다른 빅데이터 분석 솔루션과의 연계도 더욱 쉬워졌다. ORC 파일형식을 많이 이용하던 기존 하이브(Hive) 사용자들은 기존 데이터 그대로 타조를 이용해 3배 이상의 성능 향상을 얻을 수 있다. 국내 대표적인 DSP 광고플랫폼 회사인 와이더플래닛의 정수동 CTO는 플랫폼 확장과 분석역량 강화를 위해 그루터와 함께 타조를 자사 플랫폼에 도입한 결과 만족할 만한 속도와 높은 안정성을 확인했다고 했다고 밝히면서, 하이브 사용자들에게 타조를 사용해 볼 것을 권했다.

기존 엔터프라이즈 데이터웨어하우스(DW) 사용자들이 기존 시스템을 확장하거나 보완하기 위해 표준 SQL을 지원하는 타조를 도입하는 사례도 늘고 있다. 뮤직 서비스 멜론은 하이브로 하던 기존 분석 작업들을 타조로 전환해 1.5배~수십 배의 성능 향상을 체감했다. 이후 엔터프라이즈 DW시스템 IBM 네티자(Netezza)에서 했던 분석 작업에도 타조를 도입해 비용 효율적인 DW 시스템을 운영하고 있다고 밝혔다.

또한 아파치 재단에 따르면, 전력 사용량을 분석하여 기업과 가정에 서비스를 제공하는 에너지 전문 회사인 인코어드 테크놀러지스도 타조의 빠른 성능과 동시 질의 지원 기능으로 높은 생산성을 이룰 수 있었다고 평가했다. 그루터에 의하면, 이 외에도 엔터프라이즈 DW 를 사용하고 있는 여러 기업들이 기존 시스템을 확장하거나 보완하기 위해 타조 도입을 진행 중이라고 한다.

타조 0.11.0 버전은 아파치 타조 사이트(http://tajo.apache.org)에서 다운로드할 수 있다.

한편 그루터는 오라클, 아마존, 구글 등 글로벌 업체들과 기업 내부 및 클라우드 환경에서 타조 확산을 위한 협력을 강화하고 있다.