[테크수다 기자 도안구 eyeball@techsuda.com] 데이터 레이크하우스 시장에 큰 협력이 일어났다. 클라우데라(kr.cloudera.com, 한국지사장 최승철)가 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)와 제품 통합을 발표하고 아파치 아이스버그(Apache Iceberg) 기반의 개방형 통합 하이브리드 데이터 레이크하우스를 제공한다고 밝혔다.

- 클라우데라, 스노우플레이크와 함께 개방형 하이브리드 데이터 레이크하우스 통합

- 상호 통합으로 사일로 제거, 운영 간소화 등을 통한 총소유비용(TCO) 절감 효과 제공

- 두 데이터 클라우드 리더의 협업으로 분석, 더 효율적인 대규모 AI 활용 사례 기대

이제 기업들은 데이터 수집, 처리, 소비를 위해 클라우데라와 스노우플레이크라는 두가지 최고의 도구를 결합해 모든 데이터, 분석, AI 워크로드 전반에 걸쳐 통합 결과물을 도출할 수 있다.

최승철 클라우데라코리아 지사장은 “클라우데라와 스노우플레이크의 통합은 TCO를 줄이고 양사의 장점을 극대화하고자 하는 기업들에게 중요한 이정표가 될 것”이라며, “오픈 데이터 레이크하우스 상호운용성을 스노우플레이크까지 확장했다. 국내 기업들이 최적화된 데이터 플랫폼을 구축하고 효과적인 데이터 관리를 통해 더 큰 혁신을 이룰 수 있도록 지원하게 됐다. 클라우데라는 더욱 뛰어난 유연성, 보안, 비용 효율성을 지속적으로 제공하도록 최선을 다하겠다”고 강조했다.

데이터는 비즈니스의 가장 강력한 자산이다. 데이터는 정보에 기반한 의사결정을 이끌고, 경쟁 우위를 제공하며, 혁신의 기회를 발견할 수 있게 한다. 2022년 영국 경제경영연구소(CEBR) 조사에 따르면, 기업의 80%는 실시간 데이터 분석을 통해 매출이 증가했으며, 98%는 데이터를 활용해 긍정적인 고객 반응을 높였다고 응답했다. 하지만 데이터의 힘을 온전히 활용하기 위해서는 데이터 위치에 관계없이 기업의 모든 데이터를 저장, 관리, 운영할 수 있는 통합된 단일 소스가 필요하다.

클라우데라는 오픈 데이터 레이크하우스 상호운용성을 스노우플레이크까지 확장해 양사 고객이 아파치 아이스버그 REST 카탈로그를 통해 클라우데라 데이터 레이크하우스에 원활하게 접근할 수 있도록 했다. 고객은 아파치 아이스버그 기반의 최적화된 데이터 플랫폼을 활용하여 데이터를 수집, 준비, 처리할 수 있다.

또한, 스노우플레이크 사용자는 온프레미스 AWS S3 호환 객체 스토리지 솔루션인 클라우데라 오존(Ozone)에 저장된 데이터를 스노우플레이크에서 직접 쿼리할 수 있다. 이를 통해 고객은  온프레미스, 서비스형 플랫폼(PaaS), 서비스형 소프트웨어(SaaS)에서 하나의 통합된 협업을 통해 모든 주요 폼 팩터에 접근할 수 있다.

두 시스템 간의 상호 운용성 향상 외에도, 클라우데라 고객은 스노우플레이크 비즈니스 인텔리전스 엔진의 편리성을 경험할 수 있다. 스노우플레이크 엔진은 데이터 복제나 전송 없이도 클라우데라 오픈 데이터 레이크하우스의 데이터에 접근할 수 있어, 복잡성을 줄이고 운영을 간소화하며 데이터 무결성을 유지할 수 있다.

이번 협력은 기업의 총소유비용(TCO) 절감에 기여한다. 데이터 및 메타데이터의 사일로 제거, 데이터 파이프라인 최적화, 운영 노력 간소화가 비용 절감의 핵심 요소다. 이러한 개선 사항은 분석 및 AI 활용 사례를 보다 더 효율적이고 대규모로 제공할 수 있게 하며, 클라우데라와 스노우플레이크를 모두 활용하는 기업에게 더 많은 가치를 제공한다. 이번 전략적 통합은 분석 워크플로우를 최적화할 뿐만 아니라, 기업들이 혁신을 주도하고 각 시장에서 경쟁 우위를 확보할 수 있는 강력한 프레임워크를 제공한다.

이번 통합의 추가적인 이점은 다음과 같다:

• 관리형 아이스버그 테이블: 아이스버그 테이블은 데이터 성능과 신뢰성을 향상시켜, 데이터 위치와 관계 없이 더 나은 구성, 더 빠른 쿼리, 간소화된 데이터 관리를 통해 고객이 데이터의 잠재력을 최대한으로 활용할 수 있도록 지원한다.
• 동급 최고의 엔진: 최고 수준의 엔진을 통해 데이터를 수집, 준비, 관리함으로써 AI와 비즈니스 인텔리전스 워크로드를 모두 원활하게 관리할 수 있다.
• 통합 보안 및 거버넌스: 이번 통합은 데이터의 전체 생애 주기에 걸쳐 보안 및 거버넌스를 통합한다. 온프레미스 또는 클라우드의 단일 플랫폼 내에서 일관된 보안 조치를 적용하고, 데이터의 출처와 이동 경로를 추적하며, 메타데이터를 관리할 수 있다.

아바스 리키(Abhas Ricky) 클라우데라 최고 전략 책임자(CSO)는 “아파치 아이스버그를 통해 클라우데라 오픈 데이터 레이크하우스 기능을 스노우플레이크로 확장함으로써 이제 고객은 데이터 워크플로우를 최적화할 뿐만 아니라 혁신, 효율성, 성장을 위한 새로운 기회를 열 수 있게 되었다”며, “이를 통해 데이터 아키텍처 간소화, 데이터 파이프라인 최소화, 총소유비용 절감과 동시에 보안 위험도 줄일 수 있다. 클라우데라와 스노우플레이크가 함께 모든 현대 조직을 위한 데이터 기반 의사결정의 새로운 시대를 함께 열고 있다”고 전했다.

타릭 드윅(Tarik Dwiek) 스노우플레이크 기술 제휴 책임자는 “아파치 아이스버그는 데이터를 위한 개방형 표준을 원하는 고객에게 최고의 선택지다. 클라우데라는 아이스버그 프로젝트의 중요한 일원이다”이라며, “양사의 파트너십은 아이스버그 테이블을 표준으로 채택하는 고객에게 더 많은 가능성을 제공한다. 데이터 사일로를 허물고 모든 고객에게 다기능 분석 기능을 갖춘 통합 하이브리드 데이터 클라우드 경험을 제공하게 돼 매우 기쁘다”라고 전했다.

산지브 모한(Sanjeev Mohan) 산업 애널리스트는 “이번 협력으로 고객은 클라우드든 온프레미스든 모든 데이터에 대한 단일 데이터 소스를 제공하는 강력한 데이터 관리 통합 플랫폼을 접근할 수 있게 됐다”며, “이를 통해 데이터 운영 간소화, 보호와 함께 수집부터 AI, 분석에 이르는 전체 데이터 생애 주기에서 인사이트를 효율적으로 분석하고 추출할 수 있다. 두 업계 리더가 전략적 움직임을 통해 즉각적인 가치를 제공할 것으로 보인다”고 밝혔다.

또한, 클라우데라는 아이스버그 도입 확산을 의지를 다시 강조하며, 클라우데라 레이크하우스 옵티마이저 프리뷰를 발표했다. 이 새로운 서비스는 아이스버그 테이블을 자율적으로 최적화해 비용을 더욱 절감하고 성능을 크게 향상시킨다. 해당 기술에 대한 자세한 설명은 여기에서 확인할 수 있다.

[테크수다 기자 도안구 eyeball@techsuda.com]