데이터레이크 시장에 오라클도 참전···MySQL 히트웨이브 레이크하우스 출시

도안구

2023년 7월 24일

[테크수다 기자 도안구 eyeball@techsuda.com] 데이터베이스 본가 오라클도 데이터레이크 시장에 발을 담갔다. 기업들은 수많은 정형, 비정형, 반정형 데이터를 한 곳에 모으고 이걸 활용하기 위해 데이터플랫폼을 구축해 왔다. 그동안 데이터웨어하우스, 데이터마트 같은 형태로 구축했다가 인터넷과 모바일 서비스 기업들이 데이터레이크에 주목하면서 관련 솔루션과 서비스 기업들이 이 시장에 뛰어들었다.

아마존웹서비스와 마이크로소프트, 구글 등 클라우드 사업자들은 물론 오라클 출신의 스노우플레이크, 데이터브릭스 등 전문 기술 스타트업들도 등장했다. 오라클은 MySQL 히트웨이브를 통해 이 시장에 대응하겠다고 밝혔왔고 마침내 관련 제품을 선보였다.

오라클이 오브젝트 스토리지 내 데이터 쿼리 속도를 데이터베이스 내 데이터 쿼리(query) 속도만큼 개선한 MySQL 히트웨이브 레이크하우스(MySQL HeatWave Lakehouse)를 정식 출시했다.

MySQL 히트웨이브 레이크하우스는 CSV, 파케이(Parquet), 다른 데이터베이스의 내보내기 파일 등 다양한 오브젝트 저장소 파일 형식을 지원하며, 동일한 쿼리에서 오브젝트 저장소 파일 데이터와 MySQL 데이터베이스 트랜잭션 데이터를 함께 결합할 수 있다. 오브젝트 저장소 파일은 MySQL 데이터베이스에 데이터를 복제하지 않고 히트웨이브에서 직접 쿼리를 실행한다. 결과적으로 MySQL 히트웨이브 레이크하우스는 쿼리 처리, 데이터 로딩 속도, 클러스터 프로비저닝 시간, 오브젝트 스토리지 내 쿼리 데이터 자동화를 위한 새로운 확장성 및 성능 표준을 세웠다.

https://youtu.be/qPRASkvmFMw

에드워드 스크리븐(Edward Screven) 오라클 최고기업아키텍트(Chief Corporate Architect)는 “데이터의 80% 이상이 파일 시스템에 저장되며, 그 수는 기하급수적으로 증가하고 있다. 고객은 이 다양한 외부 데이터를 내부의 트랜잭션 데이터와 통합 및 분석하고 싶어 하지만, 대체로는 그 과정이 너무 복잡하거나 비용이 많이 드는 게 현실”이라며 “MySQL 히트웨이브 레이크하우스는 오브젝트 스토리지에 저장된 데이터와 데이터베이스 데이터를 결합함으로써 고객이 가치 있는 실시간 인사이트를 손쉽게 확보할 수 있게 지원하는 동시에, 크게 개선된 쿼리 성능과 훨씬 빨라진 데이터 로딩 속도를 전보다 저렴한 가격에 제공한다.”라고 설명했다.

데이터베이스 내에서의 데이터 쿼리 속도만큼 빠른 오브젝트 스토리지 내 데이터 쿼리 속도

10TB TPC-H* 벤치마크 테스트를 통해 입증된 바와 같이, MySQL 히트웨이브 레이크하우스를 통해 오브젝트 스토리지 내 널리 사용되는 파일 형식의 데이터를 쿼리하는 속도가 MySQL 데이터베이스 내 데이터를 쿼리하는 속도만큼 빨라졌다. 이는 쿼리 실행을 통해 학습하고 향후 쿼리 실행 계획을 개선하는 머신러닝 기반 자동화를 제공하는 MySQL 히트웨이브의 기본 제공 기능인 MySQL 오토파일럿(MySQL Autopilot)을 통해 가능해졌다. MySQL 오토파일럿은 다른 어떤 곳에서도 제공되지 않는 MySQL 히트웨이브의 혁신 기술로, 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure, OCI) 기반 MySQL 히트웨이브는 AMD EPYC™ 프로세서로 구동된다.

포레스트 노로드(Forrest Norrod) AMD 총괄 부사장 겸 데이터센터 솔루션 비즈니스 그룹 총괄 매니저는 “AMD와 MySQL 히트웨이브의 엔지니어링 팀은 AMD EPYC 프로세서용 MySQL 히트웨이브 최적화를 위해 긴밀히 협력하고 있다. 우리의 목표는 새로운 프로세서 기능의 혜택을 활용하는 것이다.”라며 “이 협업 덕분에 AMD EPYC CPU로 구동되는 OCI 인스턴스에서 MySQL 히트웨이브를 실행 중인 MySQL 고객사들은 중요한 비즈니스 워크로드에 대해 엄청난 가격 대비 성능 이점의 혜택을 누릴 수 있게 되었다. 여기에는 오브젝트 스토리지에 저장된 방대한 양의 데이터에 대한 실시간 분석 기술도 포함된다.”라고 설명했다.

레이크하우스 사용 사례를 위한 최고의 성능

500TB TPC-H* 벤치마크 테스트를 통해 입증된 MySQL 히트웨이브 레이크하우스의 쿼리 성능은 다음과 같다:

아마존 레드시프트(Amazon Redshift) 대비 9배 빠른 속도
스노우플레이크(Snowflake) 대비 17배 빠른 속도
데이터브릭스(Databricks) 대비 17배 빠른 속도
구글 빅쿼리(Google BigQuery) 대비 36배 빠른 속도

MySQL 히트웨이브 레이크하우스를 통한 오브젝트 저장소로부터의 데이터 로드 성능은 다음과 같다:

아마존 레드시프트(Amazon Redshift) 대비 9배 빠른 속도
스노우플레이크(Snowflake) 대비 2배 빠른 속도
데이터브릭스(Databricks) 대비 6배 빠른 속도
구글 빅쿼리(Google BigQuery) 대비 8배 빠른 속도

MySQL 히트웨이브의 성능은 최대 512개 노드로 클러스터 프로비저닝, 데이터 로드, 쿼리 처리를 위한 대규모 병렬 처리를 지원하는 스케일아웃 아키텍처의 결과물이다. 또한, MySQL 오토파일럿의 개선으로 오브젝트 파일용 메타데이터 생성이 자동화되었고, 기반 오브젝트 저장소의 성능에 동적으로 적응할 수 있어 모든 OCI 리전에서 최고의 성능을 제공할 수 있게 되었다.

MySQL 히트웨이브는 단일한 MySQL 데이터베이스 서비스 내에서 트랜잭션 처리, 실시간 분석 기술, 머신러닝, 데이터 레이크 쿼리, 머신러닝 기반 자동화를 제공하는 유일한 클라우드 서비스이다. 오라클 분산형 클라우드 전략의 핵심인 MySQL 히트웨이브는 OCI에서 이용할 수 있으며, 아마존 웹 서비스(Amazon Web Services)에서도 네이티브 방식으로 제공되고, 애저용 오라클 데이터베이스 서비스(Oracle Database Service for Azure)의 일환으로도 이용 가능하다. 또한, OCI 전용 리전을 사용 중인 고객의 데이터센터에서도 이용 가능하다.

오라클은 MySQL 히트웨이브 제품을 선보이면서 고객들의 멀티 클라우드, 개방형 클라우드 도입 전략을 적극 지원하고 있다. 자사 클라우드 서비스인 오라클 클라우드 인프라스처럭쳐에서 이를 제공하고 있고 클라우드 경쟁사인 아마존웹서비스에도 올려 제공하고 있다. 또 마이크로소프트 애저와 OCI간 미국, 한국은 론 해외 여러 나라에서도 초저지연 네트워크 망을 이용해 마이크로소프트 애저 고객이 애저 포털을 통해 OCI에 있는 MySQl 히트웨이브 서비스를 사용할 수 있도록 협력하고 있다.

이 서비스는 미국 리전 이후 일본 도쿄 리전에도 올라와 있고 한국 서울 리전에도 올릴기 위해 준비하고 있다.

이번 MySQL 히트웨이브 레이크하우스도 이전과 동일한 협력 형태로 서비스를 제공할 것으로 보인다.

MySQL 히트웨이브 레이크하우스에 대한 고객, 파트너 및 시장 전문가들의 의견

브라질의 화장품 기업인 나투라앤코(Natura&Co.)의 파브리시오 루시(Fabricio Rucci) 솔루션 아키텍트는 “데이터는 기하급수적으로 증가한다. 우리가 데이터 레이크에 저장하는 데이터의 양도 마찬가지다. 표준 MySQL 구문을 사용해 데이터베이스 및 오브젝트 스토리지 전반에서 데이터를 쿼리하고, 실시간 인사이트를 확보하는 역량은 나투라에게는 대단히 중요하다.”라며 “이 제품의 출시로 우리에게는 새로운 기회가 열렸다. 이 모든 데이터를 경쟁사보다 빠르게 분석할 수 있다면, 우리는 새로운 경쟁우위를 차지할 수 있게 될 것이다.”라고 덧붙였다.

딜로이트 컨설팅(Deloitte Consulting)의 헨리 툴리스(Henry Tullis) 클라우드 인프라스트럭처 및 엔지니어링 리더는 “히트웨이브 레이크하우스의 탁월한 확장성은 오브젝트 스토리지로부터의 데이터 로딩 및 오브젝트 저장소에서의 쿼리 실행에 적합하다.”라면서 “로드 시간과 쿼리 시간이 데이터 크기가 커짐에 따라 일관성을 유지하고 히트웨이브 클러스터 크기 역시 이에 맞춰 커진다. 데이터 관리를 위한 히트웨이브 레이크하우스의 이와 같은 확장성은 방대한 양의 데이터를 효율적으로 처리하는 데 핵심이다.”라고 말했다.

컨스텔레이션 리서치(Constellation Research)의 홀거 뮬러(Holger Mueller) 부사장 겸 수석 분석가는 “빅 데이터의 개념이 도입된 이래로 빅 데이터/레이크하우스 쿼리가 트랜잭션 쿼리보다 훨씬 느린 건 기정사실이었다.”라며 “MySQL 히트웨이브는 레이크하우스 성능이 트랜잭션 쿼리 성능과 동일해질 수 있다는 사실을 입증함으로써 이 상황을 단칼에 종식시켰는데, 이런 건 그동안 들어본 적도, 생각해 본 적도 없던 일이었다. 히트웨이브는 쿼리 성능 패리티를 사용해 데이터 저장 공간 및 쿼리 방식에 대한 경영진의 우려를 모두 없애 주었다. 이 성과의 '비밀 병기'는 쿼리를 최적화해 주는 히트웨이브의 오토파일럿이다. 다시 한번 히트웨이브 팀은 업계 최초라는 기록을 썼다.”라고 설명했다.

추가 자료