[테크수다 기자 도안구 eyeball@techsuda.com] "최근 비용 고민 없는 고객들은 없습니다. 데이터레이크는 데이터의 이동과 중복 제거, 처리 비용 등 전반적으로 총소유비용이 낮습니다. 데이터와 인공지능에 대한 관심이 그 어느 때보다 높은 상황에서 기술 못지 않게 비용효율 측면에서도 유리합니다."

장정욱 데이터브릭스코리아 대표는 취임 후 처음 마련한 기자간담회에서 '데이터레이크'의 가치에 대해 이렇게 설명했다.

데이터브릭스는 아파치 스파크(Apache Spark), 델타 레이크(Delta Lake)와 MLflow를 개발한 주역들이 모여 설립한 회사다. 전통적인 엔터프라이즈 기업들이 보유한 분석 인프라인 데이터웨어하우스(DW)와 데이터마트(DM)를 넘어 비정형데이터까지 모두 하나의 저장소에 넣고 또 분석도 빠르게 인공지능 기술도 활용하는 '데이터레이크' 개념을 처음 선보이면서 주목을 끌고 있다.

데이터브릭스는 데이터 레이크하우스 분야를 개척한 기업이다. 데이터 레이크하우스는 데이터 레이크의 유연성, 비용 효율성 및 확장성을 데이터 웨어하우스의 데이터 관리 기능과 결합하여 모든 데이터에 대한 엔지니어링, 비즈니스 인텔리전스(BI) 및 AI와 ML(머신러닝)을 모두 지원하는 개방형 통합 데이터 플랫폼이다.

또 아마존웹서비스(AWS), 마이크로소프트 애저(Azure), 구글클라우드, 오라클 클라우드, 알리바바클라우드 같은 서로 다른 클라우드에 모두 데이터브릭스 제품을 제공하면서 고객들은 어떤 클라우드를 사용하던지 상관없이 단일한 데이터 저장과 관리, 활용이 가능토록 했다. 이 덕분에 현재 컴캐스트(Comcast), 콘데 나스트(Condé Nast), H&M 등 포춘(Fortune) 500대 기업의 절반 이상을 포함한 전 세계 9,000여 이상의 조직이 데이터브릭스의 레이크하우스 플랫폼을 활용해 데이터, 분석 및 AI를 통합하고 있다.

IDC에 따르면 글로벌 AI 시장은 2026년 9천억 달러 규모로 연평균 18.6% 성장할 것으로 예측되고 있다. 이와 함께 국내 퍼블릭 클라우드 시장의 경우 2026년 3조 6천억원 규모로 15.5% 성장하고 국내 AI 시장은 2025년 2조 8천억원 규모로 연평균 6.9% 성장할 것으로 관측했다. 포레스터 리서치 또한 2025년 370억 달러 규모의  AI 소프트웨어 시장이 될 것으로 파악하고 있다.

AI 분야 다양한 모델을 학습시키기 위해 클라우드와 탄탄한 데이터 파이프라인이 필요한 만큼 데이터블릭스는 이 시장에서 고객의 요구에 최적화된 기술과 파트너 생태계를 만들고 있다는 설명이다.

이번 간담회는 지난해 4월 한국에 진출한 데이터블릭스가 오프라인에서 가진 첫번째 행사기도 했다. 1년 사이에 고객과 파트너도 많이 늘었다.

국내에서는 아모레퍼시픽, 무신사, 데브시스터즈, G마켓, 핀다, 이마트24, 디지털 마케팅 솔루션 기업 메조미디어 등 유수의 기업들이 레이크하우스 플랫폼을 통해 혁신과 비용 최적화를 이루고 있다.

모레퍼시픽의 이경희 팀장은 “데이터브릭스의 레이크하우스 플랫폼을 선택한 이유는 조직 내 데이터 사일로를 없애고, 수집되는 데이터의 양과 복잡성이 증가하는 가운데서도 비용을 최적화할 수 있는 통합 데이터 플랫폼을 원했기 때문이다. 우리의 목표는 레이크하우스를 기반으로 구축된 글로벌 데이터 뷰티 플랫폼으로 거듭나는 것”이라고 설명했다.

무신사의 유환성 데이터플랫폼 팀장 “무신사의 데이터 기반 의사결정을 위해 데이터브릭스 레이크하우스를 도입했다. 이로써, 데이터 전문가부터 데이터 기술이 없는 사용자에 이르기까지 조직 전체가 데이터 기반의 의사결정을 내릴 수 있는 환경을 마련했다. 데이터 접근성을 바탕으로 무신사의 온라인 쇼핑 경험을 재정의할 수 있게 됐다”고 말했다.

G마켓의 서대홍 플랫폼 테크놀로지 매니저는 “다양한 선택지가 있었음에도 데이터브릭스를 도입한 이유는 데이터브릭스의 솔루션만이 가진 강력한 성능과 비용 효율성 때문이다. 데이터브릭스 레이크하우스는 확장 가능하고 통합된 클라우드 데이터 아키텍처로, 나날이 증가하는 빅 데이터 요구사항을 충족하는 동시에 총소유비용(TCO)은 낮춰주는 합리적인 솔루션”이라고 말했다.

핀다의 서희 CTO(최고기술책임자)는 "데이터브릭스 솔루션으로 분산된 데이터 분석 환경과 도구를 일원화하여 개인정보 관리 및 데이터 통합 가시성을 위한 데이터의 거버넌스를 확보할 수 있게 됐다. 뿐만 아니라, 데이터 레이크와 데이터 웨어하우스 간에 중복된 인프라나 데이터를 제거함으로써, 비용 효율적인 데이터 및 분석 환경에서 운영 효율성을 개선하고 있다”고 말했다.

이재경 CIO(최고정보책임자)는 “데이터브릭스의 레이크하우스 플랫폼과 우수한 글로벌 고객 레퍼런스는 리테일 혁신의 미래에서 데이터와 AI가 가진 힘을 잘 보여준다. 레이크하우스를 통해 데이터와 AI로 고객에게 새로운 경험을, 경영주에게 혁신적인 점포운영 서비스를 제공하여 디지털로 차별화된 이마트24를 실현할 수 있는 기반을 마련하게 되어 매우 기쁘게 생각한다”고 말했다.

이를 위해 클루커스, 메가존클라우드, LG CNS, 데이터다이나믹스, 엠클라우드브리지, 한화시스템 등 한국 내 데이터브릭스 전략적 파트너들은 국내 고객을 대상으로 데이터브릭스 레이크하우스 플랫폼의 비전을 실현하는데 중요한 역할을 하고 있다.

장정욱 데이터브릭스 코리아 대표는 “한국의 비즈니스 리더들이 데이터와 AI가 가진 가치를 인식하고, 이를 활용해 비즈니스 혁신을 추진하고 있는 중요한 시점에 데이터브릭스의 한국 비즈니스를 이끌게 되어 영광이다. 2023년에는 더 많은 조직들이 데이터 사일로와 비효율성을 제거하고 데이터와 차세대 AI 기술이 지닌 잠재력을 최대한 발현할 수 있는 통합 데이터 플랫폼으로 전환하게 될 것”이라고 설명했다.

데이터브릭스는 최근 시장 추이에 대해 AI를 통한 혁신과 효율 창출에 대한 관심과 투자가 확대되고 한정된 영역에서 기업 내 모든 핵심 영역으로 AI를 확대하고 있다고 전했다. 또 AI 확장을 위한 데이터 전략 수립은 기본으로 이 경우 사업 가치 창출을 위한 AI/ML 적용 사례 확대 목표, 지속적 데이터품질과 신뢰확보, 데이터 프로세싱의 속도, 데이터 공급, 데이터 계보, 외부데이터의 연계와 통합 등의 세부 요소를 고려해야 한다고 조언했다.

데이터브릭스는 단순함, 개방, 멀티클라우드 전략을 자사의 핵심 경쟁력이자 가치로 내세우고 있다.

데이터브릭스는 배치 또는 스트리밍 형태로 수집되는 대량의 정형 및 비정형 데이터를 처리하기 위한 기존의 복잡한 아키텍처를 단순화시킨다. 또한, 오픈 소스 및 개방형 표준을 기반으로 구축되어 벤더에 종속되는 위험요소를 피하고 유연성을 확보할 수 있다.

더불어, 데이터브릭스는 BI 애널리스트와 AI/ML을 다루는 데이터 사이언티스트들이 통합된 거버넌스 프레임워크에서 데이터 액세스를 관리할 수 있도록 지원할 뿐 아니라, 데이터 엔지니어들이 통합된 환경을 통해 업무 효율을 향상시키도록 돕는다.

장경운 데이터브릭스코리아 솔루션즈 아키텍트 팀장은 "다양한 클라우드 서비스 사업자에 집중하고 있습니다. 데이터 엔지니어와 데이터 분석가, 데이터 사이언티스트 등 관련 산업에 종사하는 이들이 쉽고 편하게 사용할 수 있도록 돕고 있습니다. 또 전체 인프라에 대한 거버넌스와 컨플라이언스 이슈에도 적극 대응하고 있습니다."라고 밝혔다.

업계를 선도하고 있는 데이터 레이크하우스(Lakehouse) 기업 데이터브릭스(Databricks)는 올해 한국 시장에 대한 투자를 더욱 확대한다. 국내에서 레이크하우스 도입이 증가하고 있는 가운데, 데이터브릭스는 기술 전문가, 영업, 서포트 엔지니어 등의 고객 지원 및 사업 확장을 위한 인력을 확충해 한국 비즈니스 성장을 가속하고 고객의 성공을 견인해 간다는 방침이다.

지난 해 데이터브릭스는 아태지역 전반에 걸쳐 전년 대비 90%의 비즈니스 성장과 80% 인력 확장을 이루었다.

한편, 데이터브릭스 코리아는 오는 4월 25일 Data+AI World Tour 를 국내에서 개최한다. 이번 행사에는 G마켓, 이마트24, 데브시스터즈, (주)한화, 메조미디어, 잡코리아, 핀다, 위버스 컴퍼니, 무신사 등을 포함한 기업들이 연사로 나서 데이터 혁신의 여정을 공유할 예정이다. 이와 함께, 데이터와 AI를 활용해 업계를 혁신하고 선도하는 데이터 팀을 선정하는 ‘제1회 데이터브릭스 코리아 고객 어워즈’도 진행된다.

[테크수다 기자 도안구 eyeball@techsuda.com]