페이스북, 오픈소스 DW 엔진 '프레스토' 공개…300PB 데이터 분석용
인터넷 업체들이 주도하는 비정형과 반정형 데이터를 처리, 저장, 분석 시장에 또 하나의 걸출한 제품이 소개됐습니다.
전세계 최대 소셜네트워크 서비스(SNS) 업체인 페이스북이 대용량 빅데이터 분석처리 엔진 '프레스토'를 오픈소스 소프트웨어로 공개했습니다. 300페타바이트에 이르는 자사 데이터를 좀더 빠르고 인터랙티브하게 분석하기 위해 대용량 빅데이터 분석처리 엔진을 직접 만든 것이죠.
빅데이터 분석 처리 엔진은 최근 전세계적으로 주목받는 빅데이터 플랫폼의 핵심 기술 중 하나로 실시간 데이터 처리에 약점을 가졌던 하둡의 한계를 극복하고, 빠르게 의미있는 데이터를 뽑아내는 ‘sql on hadoop’이라 불리는 기술입니다. 그동안 이 분야는 미국 클라우데라(Cloudera) 사의 임팔라(Impala), 호튼웍스(Hortonworks) 사의 스팅거(Stinger), 맵알(MapR)의 드릴(Drill), EMC 자회사인 피보탈의 호크(HawQ) 등이 서로 경쟁해 왔고 국산 빅데이터 플랫폼 회사가인 그루터가 주축이 되고 SK텔레콤도 적극 참여하는 '타조(Tajo: http://tajo.incubator.apache.org)'가 있습니다. SK텔레콤은 초기 관련 기술을 일부 적용해 이전 대비 3.7배의 빠른 성능을 냈다고 밝히기도 했습니다.
이 분야에 비정형, 반정형 데이터 처리 기술 발전에 공헌해 온 페이스북도 다시 한번 새로운 기술을 전세계에 공개한 것입니다.
페이스북은 엔지니어 페이지를 통해 이 소식을 전했습니다.
작동되는 간단한 동영상도 함께 제공.
이와 관련된 소식은 지디넷코리아에서 발빠르게 전했습니다.
페이스북은 지난 6월 개발자 행사를 통해서 올 가을 대용량 DW 엔진 '프레스토'를 오픈소스로 공개하겠다고 밝힌 바 있다. 디지털데일리 심재석 기자가 관련 소식을 전했었죠.
기사를 보면 앞으로 더 커질 DW를 좀더 빠르고 능동적으로 분석하기 위해서 이를 만들었다고 밝혔습니다. 페이스북은 내부에서 사용하던 엔진을 내부 개발 팀을 꾸려 오픈소스화 작업을 단행하고 이번에 공개했습니다.
이런 움직임은 데이터베이스 분야에서 이미 수십년간 일해 온 엔지니어들이 더 쉽고 빠르게 비정형, 반정형 데이터들을 취급하고 다룰 수 있도록 하려는 것이죠. 페이스북은 '하이브'라는 걸출한 오픈소스 를 선보이고 이의 개선을 위해 공헌해 왔는데 여기서 한발 더 나아간 것으로 보시면 됩니다.
이로써 앞으로 다가올 2014년은 하둡 생태계의 기술들이 더욱 빠르고 강력하게 닷컴 기업들에게 적용되면서 동시에 대기업 시장으로도 확산될 것으로 관측할 수 있습니다. 물론 이 기술도 얼마나 이를 잘 다룰 줄 아는 내부 인력을 보유하고 육성하느냐에 따라 달라지겠지만 말입니다.
인터넷 서비스 업체들과 빅데이터 플랫폼 회사들의 경쟁도 흥미를 끌고 있습니다. 관련 시장을 이끌어 왔던 오라클이나 테라데이터, EMC 같은 업체들에게는 그리 달가운 소식은 아닙니다.
