[테크수다 기자 도안구 eyeball@techsuda.com] 5만 여명이 찾고 2000여 개가 넘는 행사의 포문은 피터 데산티스(Peter Desantis) AWS 유틸리티 컴퓨팅 수석부사장이 열었다. 그는 27일(현지시간) 미국 라스베이거스 베네시안 호텔에서 열린 'AWS 리인벤트(re:Invent) 2023' 첫날 기조 연설을 담당했다.

https://youtu.be/pJG6nmR7XxI?si=AyekFB4hdZVJl8xP

이번 발표는 지난 10여년간 이어져온 AWS 서버리스(Serverless)를 위한 도전이 관계형 데이터베이스, 캐시, 데이터웨어하우스 분야로 확장한다는 내용이었다.

AWS(Amazon Web Services)가 발표한 서버리스 컴퓨팅은 고객이 직접 물리적 서버를 관리할 필요 없이 애플리케이션을 빌드하고 실행할 수 있는 방법이다. 다양한 서버리스 데이터 분석 서비스를 통해 고객은 자동 프로비저닝(즉, 자동화된 인프라 설정 방법, 온디맨드 확장, 종량제 요금제)과 같은 이점을 쉽게 활용할 수 있다. 따라서 개발자는 하드웨어를 다루는 대신 더 낮은 비용으로 더 빠르게 애플리케이션을 빌드하고 출시하는 데 집중할 수 있다.

2014년 람다를 시작으로 S3, NoSQL인 다아니모DB를 포함해 다양한 영역으로 서버리스 기술을 확장해 왔다. 이번에 선보인 3가지 기술은 아마존 오로라 리미트리스 데이터베이스(Amazon Aurora Limitless Database), 아마존 엘라스티캐시 서버리스(Amazon ElastiCache Serverless), 아마존 레드시프트 서버리스(Amazon Redshift Serverless)다.

관계형 데이터베이스 관리 이슈를 해결하고 순간적인 대규모 트래픽에 대한 분산을 위한 캐시, 그리고 수많은 데이터들을 하나의 저장소에 넣은 데이터웨어하우스 분야다. '데이터'와 관련한 영역이 클라우드 분야에서 중요하고 핵심 경쟁력이 되는 영역이라는 점에서 최근 오라클이 MySQL 히트웨이브를 AWS에서 제공하고 시작했고 구글도 빅쿼리 옴니를 동일하게 제공하고 있다. 데이터브릭스와 스노우플레이크 같은 데이터레이크 분야의 주요 기업들도 AI 시대 데이터 관리 이슈와 함께 부상하고 있는 만큼 AWS는 고객의 고민을 해결해주면서 AWS 내부 서비스 상품간 경쟁이 치열해지는 상황에서 자사 서비스 차별화 포인트로 서버리스를 강력히 확장한 것으로 풀이된다.

피터 데산티스(Peter DeSantis) AWS 유틸리티 컴퓨팅 부문 수석 부사장은 고객이 규모에 관계없이 데이터를 분석하고 관리하면서 운영을 획기적으로 간소화할 수 있도록 초기부터 수행해 온 작업을 기반으로 하는 세 가지 새로운

사용자가 서버 관리에 신경 쓸 필요 없이 애플리케이션과 서비스를 구축할 수 있게 해주는 기술입니다. 서버리스의 주요 장점은 다음과 같습니다:

아마존 오로라 리미트리스 데이터베이스(Amazon Aurora Limitless Database)는 단일 아마존 오로라 데이터베이스의 쓰기 한도를 넘어 자동으로 확장하는 기능으로, 개발자가 애플리케이션을 쉽게 확장하고 맞춤형 솔루션을 구축하는 데 수개월의 시간을 절약할 수 있도록 지원한다.

또한, 아마존 엘라스티캐시 서버리스(Amazon ElastiCache Serverless)는 고객이 1분 이내에 고가용성 캐시를 생성하고, 인프라를 관리할 필요 없이 고객의 가장 까다로운 애플리케이션을 지원하기 위해 수직 및 수평으로 즉각 확장할 수 있도록 돕는다. AWS는 인공지능(AI)을 사용해 워크로드를 예측하고 리소스를 자동 확장 및 최적화해 고객이 가격 대비 성능 목표를 달성할 수 있도록 지원하는 새로운 아마존 레드시프트 서버리스(Amazon Redshift Serverless) 기능도 출시한다.

이번 발표는 고객이 데이터 인프라를 프로비저닝(provisioning), 관리, 확장하는 데 시간과 노력을 들이지 않고도 최종 사용자를 위한 혁신에 집중할 수 있도록 모든 규모의 데이터를 관리하고 운영을 획기적으로 간소화하는 AWS의 선구적인 서버리스 기술을 기반으로 한다.

스와미 시바수브라마니안(Swami Sivasubramanian) AWS 데이터 및 AI 부문 부사장은 "AWS는 초창기부터 고객의 차별화되지 않는 과중한 작업을 최소화하기 위해 노력해왔으며, 대규모 애플리케이션을 구축, 실행하고 관리하는 데 필요한 작업을 획기적으로 간소화하는 서버리스 제품과 서비스를 통해 이러한 레거시를 지속적으로 구축해왔다”고 말했다. 이어 "데이터는 모든 조직의 디지털 혁신을 위한 초석이며, 데이터를 최대한 활용하기 위해서는 모든 유형의 사용 사례를 수용하면서 고객의 요구사항에 따라 확장할 수 있는 엔드투엔드(end-to-end) 전략이 필요하다. 데이터의 동적 특성은 서버리스 기술에 완벽하게 부합하기 때문에, AWS는 고객의 가장 까다로운 워크로드를 지원하는 데 도움이 되는 광범위한 서버리스 데이터베이스 및 분석 제품을 제공한다. 오늘 발표한 새로운 서버리스 혁신은 이러한 기반을 바탕으로 고객이 초당 수백만 건의 트랜잭션으로 쉽게 확장하고, 용량을 신속하게 추가하며, 워크로드 패턴을 동적으로 조정해 성능과 비용을 최적화할 수 있도록 지원한다"고 덧붙였다.

조직은 점점 더 많은 소스에서 페타바이트(PB) 단위의 데이터를 생성하고 저장한다. 데이터를 최대한 활용하기 위해, 기업들에게는 규모에 관계없이 데이터를 분석하고 관리할 수 있는 엔드투엔드 전략이 필요하다. 이미 많은 AWS 고객들이 관계형 데이터베이스를 위한 아마존 오로라, 인메모리 캐시를 실행하기 위한 아마존 엘라스티캐시, 데이터 웨어하우징을 위한 아마존 레드시프트 등 다양한 목적에 맞게 구축된 데이터 서비스를 사용해 가장 중요한 애플리케이션을 지원하고 데이터 기반 의사결정을 내리고 있다. 이러한 서비스는 고객이 자체 데이터베이스 및 분석 솔루션을 실행할 때 겪게 되는 많은 수고를 덜어주므로, 최종 사용자를 위한 차별화된 경험을 만드는 데 집중할 수 있도록 한다.

AWS는 아마존 S3(Amazon Simple Storage Service)와 같은 서비스부터 AWS 람다(AWS Lambda)를 통한 선구적인 서버리스 이벤트 중심 컴퓨팅에 이르기까지, 서비스 포트폴리오 전반에 걸쳐 서버리스 기술을 출시해 고객의 운영을 지속적으로 간소화하고 있다. 현재 AWS는 클라우드에서 가장 광범위한 서버리스 데이터 분석 서비스를 제공하고 있으며, 고객들은 자동 프로비저닝, 온디맨드 확장, 종량제 요금제 등의 이점을 활용하면서 업무에 적합한 도구를 사용할 수 있다. 오늘 발표된 새로운 기능은 고객이 비용을 더욱 쉽게 최적화하고 데이터의 가치를 극대화할 수 있도록 지원함으로써 서버리스 기술을 통해 데이터베이스 및 분석 포트폴리오를 재구상하려는 AWS의 노력을 더욱 강화한다.

초당 수백만 건의 쓰기가 가능한 PB 규모의 애플리케이션을 지원하는 아마존 오로라 리미트리스 데이터베이스

오늘날 수십만 명의 고객이 상용 데이터베이스의 성능과 가용성을 최대 10분의 1 비용으로 제공하는 완전관리형 MySQL과 PostgreSQL 호환 관계형 데이터베이스인 아마존 오로라를 사용하고 있다. 이러한 조직은 수십만 건의 트랜잭션을 순식간에 지원하도록 확장할 수 있는 아마존 오로라 서버리스 v2를 사용해 애플리케이션을 구동한다. 확장에 따라 용량을 세분화된 단위로 위아래로 조정해 애플리케이션에 적합한 양의 데이터베이스 리소스를 제공한다.

그러나 온라인 게임 및 금융 거래와 같이 수억 명의 글로벌 사용자를 처리 및 관리하고 수백만 건의 트랜잭션을 처리하며 PB 단위의 데이터를 저장해야 하는 워크로드가 있는 일부 사용 사례도 있다. 오늘날 이러한 조직은 '샤딩(sharding)'이라는 프로세스를 통해 데이터를 더 작은 하위 집합으로 분할하고 여러 개의 개별 데이터베이스 인스턴스에 분산해 수평적으로 확장해야 하는데, 요청을 올바른 인스턴스로 라우팅하거나 여러 인스턴스에서 변경 사항을 적용하는 맞춤형 소프트웨어를 구축하려면 수개월부터 수년에 달하는 개발자의 노력이 선행돼야 한다.

또한 조직은 데이터베이스 활동을 지속적으로 모니터링하고 용량을 조정해야 하는데, 이는 시간이 많이 걸리고 가용성에 영향을 미칠 수 있다. 조직은 테이블에 열 추가, 모든 컴퓨팅 인스턴스에서 일관된 백업 수행, 업그레이드 및 패치 적용과 같은 일상적인 유지 관리 작업을 조정하고 여러 인스턴스에서 지속적으로 부하를 조정하며 균형을 맞춰야 하므로, 이러한 워크로드에 대한 지속적인 유지 관리 노력이 많이 투입된다. 따라서 확장 솔루션을 구축하는 데 시간을 들이지 않고도 단일 데이터베이스의 한계를 넘어 애플리케이션을 자동으로 확장할 수 있는 방법이 필요하다.

아마존 오로라 리미트리스 데이터베이스는 초당 수백만 건의 쓰기 트랜잭션으로 확장할 수 있으며, 단일 데이터베이스 내에서 작동하는 단순성을 유지하면서 PB급 데이터를 관리한다. 아마존 오로라 리미트리스 데이터베이스는 고객의 데이터 모델을 기반으로 데이터와 쿼리를 여러 아마존 오로라 서버리스 인스턴스에 자동 배포하므로, 인스턴스 간 요청을 라우팅하기 위해 사용자 정의 소프트웨어를 구축할 필요가 없다. 컴퓨팅 또는 스토리지 요구사항이 증가함에 따라 아마존 오로라 리미트리스 데이터베이스는 서버리스 인스턴스 내에서 수직적으로, 인스턴스 간에 수평적으로 리소스를 자동 확장해 워크로드 수요를 충족함으로써 고객에게 일관된 고성능을 제공하는 동시에 데이터베이스 확장을 위한 맞춤형 소프트웨어 구축에 드는 장시간의 수고를 덜어준다. 단일 데이터베이스에서 유지 관리 작업 및 변경을 수행하고 여러 인스턴스에 자동으로 적용할 수 있음에 따라, 수십, 수백 개의 데이터베이스 인스턴스에서 일상적인 작업을 수동으로 관리할 필요가 없다.

아마존 엘라스티캐시 서버리스 통해 더욱 빠르고 쉬운 캐시 생성…용량 프로비저닝, 계획 또는 관리의 필요 없이 애플리케이션 수요 충족하도록 즉시 확장 가능

애플리케이션을 구축하는 조직은 자주 접근하는 데이터를 캐시에 저장해 애플리케이션 응답 시간을 개선하고 데이터베이스 비용을 절감한다. 이러한 고객들은 우수한 성능과 확장성을 갖춘 레디스(Redis) 및 멤캐시드(Memcached)와 같은 오픈소스 인메모리 데이터 저장소를 캐싱에 사용한다. 캐시 구축 및 실행 프로세스를 간소화하기 위해 AWS는 현재 수십만 명의 고객이 비용 최적화된 실시간 성능을 위해 사용하고 있는 완전관리형 레디스 및 멤캐시드 호환 서비스인 아마존 앨라스티캐시를 제공한다.

오늘날 아마존 엘라스티캐시는 마이크로초 단위의 응답 시간으로 수백 테라바이트(TB)의 데이터와 초당 수억 건의 작업으로 확장되며, 조직은 이를 사용해 여러 가용성 영역에 걸쳐 고가용성의 미션 크리티컬 애플리케이션을 배포한다. 많은 조직이 아마존 엘라스티캐시가 제공하는 세분화된 구성 옵션을 높이 평가하지만, 새로운 애플리케이션을 구축하거나 기존 워크로드를 마이그레이션하는 일부 기업은 전문 지식과 애플리케이션 트래픽 패턴에 대한 깊은 숙지가 필요한 캐시 인프라 설계 및 프로비저닝 과정을 생략하고 빠르게 시작하기를 원한다. 또한 조직은 높은 성능을 유지하기 위해 용량을 지속적으로 모니터링하고 확장해야 하며, 피크 용량에 대한 과잉 프로비저닝으로 인해 초과 비용이 발생할 수도 있다. 따라서 캐시를 더 빠르고 쉽게 생성하고 운영할 수 있도록 기본 인프라를 관리하는 데 도움이 되는 솔루션이 필요하다.

이제 고객은 인프라 프로비저닝이나 구성 없이도 아마존 엘라스티캐시 서버리스를 통해 1분 이내에 고가용성 캐시를 생성할 수 있다. 아마존 엘라스티캐시 서버리스는 캐시의 컴퓨팅, 메모리, 네트워크 사용률을 지속적으로 모니터링하고 다운타임이나 성능 저하 없이 수요를 충족하도록 수직 및 수평으로 즉시 확장함으로써 복잡하고 시간이 많이 걸리는 용량 계획 프로세스를 제거한다.

아마존 엘라스티캐시 서버리스를 사용하면 고객은 더 이상 캐시의 크기를 조정하거나 미세조정할 필요가 없다. 아마존 엘라스티캐시 서버리스는 여러 가용 영역(AZ)에 걸쳐 데이터를 자동으로 복제하고 고객에게 모든 워크로드에 대해 99.99%의 가용성을 제공하며, 고객은 저장하는 데이터와 애플리케이션이 사용하는 컴퓨팅에 대해서만 비용을 지불하면 된다. 아마존 엘라스티캐시 서버리스는 현재 레디스 및 멤캐시드 호환 배포 옵션에 모두 사용할 수 있다.

아마존 레드시프트 서버리스의 차세대 AI 기반 확장 및 최적화를 통해 다양한 워크로드에 더 나은 가격 대비 성능 제공

수만 명의 고객이 매일 엑사바이트(EB) 규모의 데이터를 아마존 레드시프트로 처리한다. 이러한 고객 중 다수는 동시 쿼리 수에 따라 수요에 맞게 데이터 웨어하우스 용량을 자동으로 프로비저닝하고 확장하는 아마존 레드시프트 서버리스를 사용한다. 고객은 데이터 웨어하우스 인프라를 관리할 필요 없이 모든 규모의 분석 워크로드를 손쉽게 실행할 수 있으며, 나아가 데이터 양이나 쿼리 복잡성과 같은 추가적인 차원에 따라 워크로드의 변화에 쉽게 적응해 비용을 최적화하면서 일관되게 높은 성능을 달성할 수 있는 기능을 통해 보다 많은 이점을 얻을 수 있다.

예를 들어, 일반적으로 예측 가능한 대시보드 워크로드를 사용하는 조직은 신규 규제 보고 요건이 발생할 시 훨씬 더 많은 데이터를 수집하고, 더 집약적이고 복잡한 쿼리를 처리해야 할 수 있다. 기존 워크로드를 중단하지 않고 일관된 성능을 보장하면서 모든 차원의 워크로드 변화를 처리하려면 숙련된 데이터베이스 관리자가 시간을 할애해 추가 워크로드를 다른 데이터 웨어하우스로 분리하거나 여러 번 복잡한 수동 조정을 수행해야 한다. 여기에는 데이터 수집 및 새로운 쿼리 워크로드에 대한 리소스를 일시적으로 늘리고, 빠른 데이터 액세스를 위해 결과를 미리 계산하고, 효율적인 검색을 위해 데이터를 구성하고, 데이터 웨어하우스 관리 작업의 타이밍을 조정하는 것이 포함된다. 데이터 볼륨, 쿼리 복잡성, 동시 쿼리 증가 등의 변화에 관계없이 성능과 비용의 균형을 맞추기 위해 각 개별 조직의 우선순위를 관리하면서 지속적으로 최적화를 수행해야 한다.

아마존 레드시프트 서버리스는 새로운 AI 기반 확장 및 최적화를 통해 여러 워크로드 차원에서 리소스를 자동으로 확장 및 축소하고 가격 대비 성능 목표를 달성하기 위해 최적화를 작업을 진행한다. AI를 사용해 쿼리 복잡성, 데이터 크기 및 빈도와 같은 차원에 따라 고객의 워크로드 패턴을 학습하고 이러한 동적 패턴에 따라 용량을 지속적으로 조정해 고객이 지정한 가격 대비 성능 목표를 충족시키는 것이다.

또한 고객 워크로드 패턴에 따라 리소스를 능동적으로 조정한다. 예를 들어, AI 기반 확장 및 최적화 기능을 갖춘 아마존 레드시프트 서버리스는 낮에는 대시보드 워크로드를 처리하기 위해 자동으로 용량을 줄이지만, 복잡한 쿼리를 처리해야 할 때마다 필요한 만큼의 용량을 추가한다. 그런 다음 밤이 되면 수동 개입 없이 대규모 데이터 처리 작업을 지원하기 위해 선제적으로 용량을 다시 증가시킨다. 기존의 자체 조정 기능을 기반으로 리소스를 자동으로 측정 및 조정하고 비용 편익 분석을 수행해 주어진 워크로드에 가장 적합한 최적화의 우선순위를 지정한다. 고객은 AWS 콘솔에서 비용과 성능 중 자체 가격 대비 성능 목표를 설정해 최적화를 선택할 수 있다. AI 기반 확장 및 최적화 기능을 갖춘 아마존 레드시프트 서버리스는 프리뷰에서 사용할 수 있다.

제네시스(Genesys)는 조직이 모든 채널에서 고객과 소통할 수 있도록 지원하는 AI 기반 경험 오케스트레이션의 선두주자로서, 모든 채널에서 고객과 소통하고 고객 센터 담당자 및 직원들의 역량을 강화한다.

제네시스의 수석 아키텍트인 롭 게버(Rob Gevers)는 "제네시스에서는 아마존 엘라스티캐시를 사용해 처리량이 많고 지연 시간이 짧은 올인원 클라우드 플랫폼의 스토리지를 강화해 하루에 수백만 건의 고객 상호 작용을 지원한다"며 "아마존 엘라스티캐시 서버리스는 인스턴스를 프로비저닝하거나 특정 구성 설정과 확장을 선택할 필요가 없어 성능과 효율성을 개선하는 데 도움이 될 것으로 기대한다. 아마존 엘라스티캐시 서버리스를 통해 관리 오버헤드를 제거하고 안정성을 크게 향상하는 동시에 증가하는 사용량과 다양한 워크로드를 처리하는 데 필요한 확장성을 제공할 수 있다"고 말했다.

글로벌 투자 및 자문 기관 미오 파트너스(MIO Partners INC.)의 최고기술책임자 아나드 미슈라(Anand Mishra)는 "우리 개발자들은 캐시 용량을 설정하고 구성하기 위해 사용량을 평가하고, 노드 유형을 구성하고, 클러스터 토폴로지를 설계하는 데 상당한 시간을 할애한다"며 "아마존 엘라스티캐시 서버리스를 사용하면 인프라 프로비저닝, 구성 또는 용량 계획 없이 1분 이내에 캐시를 생성할 수 있다. 시간이 많이 걸리는 용량 계획이 필요하지 않아 비용 효율성이 개선되고 운영 안정성이 향상된다. 이제 레디스를 관리하던 엔지니어 팀을 고객에게 더 높은 가치를 제공하는 프로젝트에 재배치할 수 있다"고 말했다.

퀀티파이(Quantiphi)는 트랜스포메이션 문제를 해결하고자 하는 디지털 엔지니어링 기업이다. 퀀티파이의 데이터 및 애플리케이션 실무 책임자 산치트 야인(Sanchit Jain)은 "퀀티파이는 고객을 위한 맞춤형 데이터 분석 및 머신러닝(ML) 솔루션을 제공하는데, 아마존 레드시프트가 우리 데이터 웨어하우스 서비스의 기반이 된다"라며 "우리는 고객들로부터 제한된 예산 내에서 가격 대비 성능을 충족할 수 있는 솔루션을 원한다는 이야기를 많이 들어왔다. 새로 도입된 아마존 레드시프트 서버리스의 AI 기반 확장 및 최적화 기능은 데이터 관리에 유연성과 인텔리전스를 제공하고, 과거 쿼리 데이터를 기반으로 자동적이고 비용 효율적인 확장성을 보장하여 서비스를 개선하는 데 도움이 된다. 이를 통해 퀀티파이는 계속 증가하는 데이터 볼륨에 적응하면서 최적의 가성비를 추구하는 고객에게 맞춤형 솔루션을 제공할 수 있을 것이다"고 말했다.

투야 스마트(Tuya Smart)는 사물인터넷(IoT)을 통해 디바이스를 연결하는 클라우드 플랫폼을 제공하며, 기술 적용을 통해 제품 가치를 개선하고 소비자의 생활에 편의성을 더한다. 총 첸(Chong Chen) 투야 스마트 데이터 인프라 책임자는 "투야의 IoT 개발자 플랫폼에는 200여 개국 84만 6,000명 이상의 개발자가 등록돼 있으며, 7,600개 이상의 기업에 투야 IoT 솔루션을 제공하고 있다"며 "우리는 5년 이상 다른 AWS 전용 데이터베이스와 함께 아마존 오로라를 사용해왔으나, 쓰기 요청이 많아 자체적으로 데이터베이스용 샤딩 및 프록시 솔루션을 구축해야 했다. 아마존 오로라 리미트리스 데이터베이스를 통해 자체 관리 솔루션을 사용하지 않고도 증가하는 고객 기반에 서비스를 제공하는 데 필요한 쓰기 처리량을 관리하고 확장하는 동시에 고객에게 일관성 있고 효율적인 응답 환경을 원활히 제공함으로써 IoT 플랫폼 성능과 관리 수준을 한 단계 끌어올릴 수 있게 돼 기쁘다"고 말했다.

[테크수다 기자 도안구 eyeball@techsuda.com]