SKT는 왜 타조를 키울까...SQL On Hadoop 기술 주목

네이버에서 진행하는 데브 2013 둘째날 행사에서는 다양한 국내외 빅데이터 관련 사례와 기술들이 발표되고 있습니다. 그 중에서도 국내 빅데이터 플랫폼 전문 업체인 그루터가 주도하고 있는 SQL on Hadoop 관련 '타조'와 이 프로젝트에 공동 참여하면서 내부적으로 이를 적용하고 있는 SK텔레콤 사례에 특히 눈이 더 갔습니다.

박근태  SK텔레콤 데이터 테크 랩 매니저는 "다양한 오픈소스를 사용하면서 좀더 빠르게 처리할 수 있는 기능들이 필요했습니다. 마침 국내에 그루터가 타조라는 오픈소스 빅데이터 분석 처리 엔진을 만들어서 이를 적용하고 있습니다"라고 말했습니다.

그는 다년간 SK텔레콤 내부에서 빅데이터 프로젝트를 진행하면서 축적된 기술과 이를 다룰 수 있는 인재들이 있는 만큼 앞으로도 직접 관련 프로젝트를 진행해 나갈 계획이라고 덧붙였습니다.

특히 SQL On Hadoop 관련해서는 기존 하둡을 보완하는 기술이라는 점에서 주목하고 있다고 강조했죠. 해외에서도 관련 기술을 제공하는 업체들이 있고 오픈소스가 존재하지만 배타적인 커뮤니티 운영으로 요구 사항 반영이 힘들고, 빅데이터 시스템의 경우 개발과 운영을 병행하고 추후 꾸준한 개선이 필요한 측면에서 국내 기반을 둔 아파치 프로젝트에 적극 동참하게 되었다는 것이지요. SK텔레콤은 앞으로도 내부에서 활용되고 있는 쿼리들을 우선적으로 최적화하고 분석 기능을 원하는 형태로 타조를 적극 적용해 나갈 계획이라고도 설명했습니다.

아직은 초기 단계지만 Hive 대비 3.7배 성능 향상도 있었다고 밝혔습니다. 현재 버전이 0.2라는 점에서 향후 성능 개선을 더욱 빨라질 것으로 보이는 대목입니다.

타조는 하둡 기반의 차세대 분석 엔진으로 기존 엔터프라이즈에서 사용하던 시스템과 통합을 하거나 이를 대체할 수 있도록 SQL 표준을 지원합니다. 또 CPU와 메모리를 보다 잘 활용할 수 있도록 해 높은 처리 성능을 보장한다. 또 빠른 반응 시간을 통해 좀더 분석을 빠르게 할 수 있도록 돕습니다.

정재화 그루터 책임개발자면서 타조 커미터는 "현재 0.2 버전인 타조를 올해 말이나 내년초에 1.0으로 공개할 예정"이라고 밝혔습니다. 아파치 오픈소스 프로젝트인 만큼 참여의 문도 활짝 열려 있다는 설명도 잊지 않았습니다.

이번 발표는 국내 최대 이동통신사와 국내 빅데이터 플랫폼 전문 업체의 협력이라는 점도 눈에 띕니다. 새롭게 부상하는 기술에 대해 개발하면서 바로 현장에 적용하면서 실제 활용 가능한 기능들을 오픈하고 있기에 다른 국내 기업들에게도 많은 혜택이 있을 것으로 보입니다.

빅데이터 플랫폼 분야에서는 다양한 오픈소스들이 존재합니다. 벤더간 선의의 경쟁도 치열합니다. 고객들에게는 그만큼 선택지가 많아진다는 거죠. 이번 타조 프로젝트가 얼마나 더 큰 글로벌 오픈소스 프로젝트로 성장해 나갈지 주목되는 이유이기도 합니다.