[테크수다 기자 도안구 eyeball@techsuda.com] 아마존웹서비스는 세이지메이커 신기능 5가지를 선보였다. 세이지메이커는 2017년 11월 첫 등장한 머신러닝을 위한 서비스형 플랫폼이다. 스테이블AI 스테이블디퓨전 모델이나 한국 LG AI 연구원이 만든 엑사원 1.0, 2.0도 모두 세이즈메이커를 활용해 만들었다.

아마존은 7년 전 세이지메이커를 선보이면서 머신러닝 관련 개발자들이 머신러닝 모델을 클라우드에 개발, 트레이닝, 디플로이할 수 있도록 돕고 있다. 올해는 생성형 AI 바람이 크게 불고 있는 만큼 생성형 AI 모델을 더 쉽게 빌드, 학습, 배포할 수 있는 영역에 집중했다.

스와미 시바수브라마니안(Swami Sivasubramanian) AWS 데이터베이스, 분석, 머신러닝 부문 총괄 부사장은 "우리는 성능 비용이나 결과에 대해 타협할 필요가 없도록 업무에 적합한 도구를 제공합니다"라고 밝혔다.

https://youtu.be/Z6Y9VIc6nkk

5가지 신기능은 하이포드, 인퍼런스, 클래리파이, 캔버스다.

• 아마존 세이지메이커 하이퍼포드, 대규모 분산 학습 위해 구축된 인프라 제공…FM 학습 시간 최대 40% 단축
• 아마존 세이지메이커 인퍼런스, 가속기 사용 최적화해 FM 배포 비용 평균 50% 감소, 지연 시간 평균 20% 단축
• 아마존 세이지메이커 클래리파이, 책임 있는 AI 사용 지원하는 매개변수를 기반으로 빠른 FM 평가 및 선택 지원
• 아마존 세이지메이커 캔버스, 자연어 지침 지원해 데이터 준비 가속화…클릭 몇 번으로 FM 사용한 모델 구축 지원

비용 절감과 안정적인 운영, 파우데이션 모델 평가 등이 포함되어 있다.

이번 행사에 참여한 한 국내 AI 기업 CTO는 "하이퍼포드와 파운데이션 평가와 선택 모델이 마음에 듭니다. 모델을 훈련하다가 장애가 나면 별다른 일을 할 수 없지만 비용은 나가야 하는 상황이었습니다. 시간과 비용을 모두 잡을 수 있게 되었고, 저희 파운데이션 모델의 평가도 이뤄질 수 있다고 하니 기술 우의를 알릴 수도 있어 좋은 거 같습니다"라고 말했다.

그동안 많은 기업들은 클러스터에 있는 수천 개의 가속기 중 하나라도 문제를 해결하기 위해 전체 교육 프로세스가 중단되면 고객은 문제가 발생한 인스턴스를 식별, 분리, 복구 및 복구하거나 클러스터 전체의 구성을 변경해야 했다. 물론 진행 과정을 더욱 지연시키는 건 너무나 당연했다.

모델이 산업 전반에 걸쳐 고객 경험을 지속적으로 혁신함에 따라, 세이지메이커는 조직이 다양한 생성형 AI 사용 사례를 지원하는 머신러닝(ML) 모델을 더 쉽고 빠르게 구축, 학습, 배포할 수 있도록 지원한다. 하지만 모델을 성공적으로 사용하기 위해서는 모델의 개발과 사용, 성능을 효율적으로 관리할 수 있는 고급 기능이 필요하다. 때문에 팰컨(Falcon) 40B 및 180B, IDEFICS, 쥬라기-2(Jurassic-2), 스테이블 디퓨전(Stable Diffusion), 스타코더(StarCoder)와 같은 대부분의 업계 선도적인 모델은 모두 세이지메이커에서 학습된다.

이번에 발표된 신규 기능에는 모델 학습 시간을 단축해 모델 확장을 위한 세이지메이커를 더욱 향상시키는 새로운 기능이 포함돼 있다. 배포 비용과 모델 지연 시간을 줄여 관리형 ML 인프라 운영을 최적화하는 기능도 포함됐다. 또한, AWS는 책임 있는 AI 사용을 지원하는 품질 매개변수를 기반으로 더 용이하게 올바른 모델을 선택할 수 있게 해 주는 새로운 세이지메이커 클래리파이(SageMaker Clarify) 기능을 도입한다. 고객이 이러한 모델을 조직 전체에 적용할 수 있도록, 자연어 지침을 사용해 데이터를 더 빠르고 쉽게 준비할 수 있는 새로운 노코드(no-code) 기능도 세이지메이커 캔버스(SageMaker Canvas)에 도입한다. 세이지메이커 캔버스는 고객이 조직의 독점 데이터를 사용해 인사이트를 추출하고, 예측하고, 콘텐츠를 생성하는 데 있어 모델을 더 쉽게 사용할 수 있게 함으로써 모델 구축 및 사용자 지정을 지속적으로 대중화하고 있다. 이러한 발전은 고객이 ML을 활용해 대규모 혁신을 도모할 수 있도록 지원하는 세이지메이커의 광범위한 기능을 기반으로 한다.

최근 ML의 발전과 확장 가능한 컴퓨팅 용량의 가용성, 그리고 데이터의 엄청난 확산은 수십억 개의 매개변수를 보유한 모델들의 등장으로 이어졌고, 이에 따라 블로그 게시물 작성, 이미지 생성, 수학 문제 풀이, 대화 참여, 문서 기반 질문에 대한 답변 등 다양한 작업을 수행할 수 있게 됐다.

현재 3M, 아스트라제네카(AstraZeneca), 페라리(Ferrari), LG AI연구원, 라이언에어(RyanAir), 톰슨로이터(Thomson Reuters), 뱅가드(Vanguard) 등 수만 명의 고객이 매달 1조 5,000억 건 이상의 추론 요청을 처리하는 데 세이지메이커를 사용하고 있다. 또한 AI21랩스(AI21 Labs), 스태빌리티AI(Stability AI), TII(Technology Innovation Institute)와 같은 고객들은 최대 수십억 개의 매개변수로 모델을 학습시키는 데 세이지메이커를 사용하고 있다.

고객들은 작업별 모델을 주로 구축하는 방식에서 생성형 AI를 지원하는 대규모 범용 모델을 구축하는 방식으로 전환함에 따라, 비용과 성능을 최적화하면서도 대규모 데이터 세트와 더 복잡한 인프라 설정으로 작업하게 됐다. 또한 고객은 회사의 목소리와 스타일, 서비스를 담아내는 고유한 고객 경험을 창출하기 위해 자체 모델을 구축하고 커스터마이즈하기를 원한다. 2017년 서비스 출시 이후 380개 이상의 기능을 추가한 세이지메이커는 고객이 제품에 바로 사용할 수 있는 모델을 대규모로 구축, 교육, 배포하는 데 필요한 모든 것을 제공한다.

브라틴 사하(Bratin Saha) AWS 인공지능 및 머신러닝 부문 부사장는 "ML은 근래 들어 가장 심오한 기술 발전 중 하나이며, 모델에 대한 관심은 모든 조직으로 확산됐다"며 "이러한 관심의 증가는 모델을 더 빠르게 구축, 학습, 배포하고자 하는 고객에게 새로운 확장 과제를 제시하고 있다. 학습 가속화와 호스팅 비용 최적화, 지연 시간 단축, FM 평가 간소화부터 노코드 모델 구축 기능 확장에 이르기까지, 우리는 고품질의 비용 효율적인 ML 모델에 대한 모든 규모의 조직의 접근성을 높인다는 사명을 가지고 있다. 이번에 발표된 목적에 맞게 구축된 완전 관리형 기능들을 통해 아마존 세이지메이커를 개선하고 고객이 ML 투자를 최대한 활용할 수 있도록 도울 것"이라고 말했다.

고객이 더 쉽고 빠르게 모델을 학습시키고 운영해 생성형 AI 애플리케이션을 강화할 수 있게 지원하는 새로운 기능

생성형 AI의 성장이 지속적으로 탄력을 받음에 따라, 새롭게 등장하는 많은 애플리케이션이 모델에 의존하게 될 것이다. 그러나 대부분의 조직은 이러한 새로운 모델의 요구사항 충족을 위해 인프라를 조정하는 데 있어 어려움을 겪고 있으며, 이는 모델의 대규모 학습과 운영을 효율적으로 시행하는 데 난관으로 작용한다. 이를 위해 세이지메이커에 대규모 모델 학습과 배포의 부담을 덜어주는 두 가지 신규 기능이 추가된다.

• 대규모 FM 학습을 가속화하는 세이지메이커 하이퍼포드(SageMaker HyperPod): 많은 조직이 저렴한 비용으로 GPU(그래픽 처리 장치) 기반 및 트레이니움(Trainium) 기반 컴퓨팅 인스턴스를 사용해 자체 모델을 학습시키고자 한다. 그러나 데이터의 양, 모델의 크기, 모델 학습에 필요한 시간이 모델 학습의 복잡성을 기하급수적으로 증가시킴에 따라 고객은 이러한 새로운 요구 사항을 처리하기 위해 프로세스를 더욱 조정해야 할 필요성을 마주하게 된다. 고객은 모델 학습을 수백 또는 수천 개의 액셀러레이터에 분산시켜야 하는 경우가 많다. 그런 다음 수조 개의 데이터 연산을 한 번에 몇 주 또는 몇 달 동안 병렬로 실행해야 하므로 시간이 많이 걸리고 전문화된 ML 전문 지식이 필요하다. 작업별 모델을 학습시킬 때보다 가속기의 수와 학습 시간이 크게 늘어나기 때문에 단일 가속기의 오류와 같은 드물고 작은 오류가 발생할 가능성도 커진다. 이러한 오류는 전체 학습 프로세스를 중단시킬 수 있으며, 문제를 식별, 격리, 디버그, 수정, 복구하기 위해 수동 개입이 필요하므로 진행이 더욱 지연될 수 있다.

FM 학습 과정에서 고객은 학습을 일시 중지하고, 진행 중인 성능을 평가하고, 학습 코드를 최적화해야 하는 경우가 자주 발생한다. 중단 없는 모델 학습을 위해, 개발자는 학습 진행 상황을 지속적으로 저장(일반적으로 체크포인팅이라고 함)하여 진행 상황을 잃지 않고 마지막으로 중단한 지점부터 학습을 재개할 수 있어야 한다. 이러한 문제는 모델 학습에 걸리는 시간을 증가시켜 비용을 증가시키고 새로운 생성형 AI 혁신의 배포를 지연시킨다. 세이지메이커 하이퍼포드는 모델 학습을 위한 ML 인프라 구축 및 최적화에 수반되는 차별화되지 않은 과중한 작업을 제거하여 학습 시간을 최대 40%까지 단축한다. 세이지메이커의 분산형 학습 라이브러리가 사전 구성된 세이지메이커 하이퍼포드는 고객이 수천 개의 가속기에 걸쳐 학습 워크로드를 자동으로 분할할 수 있도록 지원하므로 워크로드를 병렬로 처리함으로써 모델 성능을 개선할 수 있다. 또한 세이지메이커 하이퍼포드는 주기적으로 체크포인트를 저장해 고객이 중단 없이 모델 학습을 계속할 수 있도록 지원한다. 학습 중 하드웨어 장애가 발생하는 경우 세이지메이커 하이퍼포드가 자동으로 장애를 감지해 결함이 있는 인스턴스를 복구 또는 교체하고 마지막으로 저장한 체크포인트부터 학습을 재개하므로 고객이 이 프로세스를 수동으로 관리할 필요가 없어져 분산된 환경에서 몇 주 또는 몇 달 동안 중단 없이 학습시킬 수 있다.

• 모델 배포 비용과 지연 시간을 줄여주는 세이지메이커 인퍼런스(SageMaker Inference): 조직은 모델을 배포할 때 성능을 최적화할 방법을 끊임없이 모색하고 있다. 고객은 배포 비용을 절감하고 응답 대기 시간을 줄이기 위해 세이지메이커를 사용하여 AWS 인퍼런시아 및 GPU를 비롯한 최신 ML 인프라 가속기에 모델을 배포한다. 그러나 일부 모델은 해당 인스턴스에서 사용 가능한 가속기를 완전히 활용하지 못하여 하드웨어 리소스를 비효율적으로 사용한다. 일부 조직에서는 사용 가능한 모든 가속기를 더 잘 활용하기 위해 동일한 인스턴스에 여러 모델을 배포하기도 하지만, 이 경우 시간이 많이 걸리고 관리하기 어려운 복잡한 인프라 오케스트레이션이 필요하다. 여러 모델이 동일한 인스턴스를 공유하는 경우 각 모델마다 고유한 확장 요구 사항과 사용 패턴이 있기 때문에 고객이 인스턴스를 추가하거나 제거해야 하는 시점을 예측하기가 어렵다. 예를 들어, 한 모델은 특정 시간 동안 사용량이 급증할 수 있는 애플리케이션을 구동하는 데 사용될 수 있고, 다른 모델은 보다 일관된 사용 패턴을 가질 수 있다. 고객은 비용을 최적화하는 것 외에도 지연 시간을 줄여 최상의 최종 사용자 경험을 제공하고자 한다. 모델 출력의 범위는 한 문장에서 전체 블로그 게시물에 이르기까지 다양하기 때문에 추론 요청을 완료하는 데 걸리는 시간이 크게 달라지며, 요청이 인스턴스 간에 무작위로 라우팅되는 경우 지연 시간이 예측할 수 없을 정도로 급증할 수 있다.

이제 세이지메이커는 고객이 배포 비용과 지연 시간을 줄이는 데 도움이 되는 새로운 추론 기능을 지원한다. 이러한 새로운 기능을 통해 고객은 동일한 인스턴스에 여러 모델을 배포하여 기본 가속기를 더 잘 활용할 수 있으므로 배포 비용을 평균 50% 절감할 수 있다. 또한 고객은 각 모델에 대한 확장 정책을 개별적으로 제어할 수 있으므로 인프라 비용을 최적화하면서 모델 사용 패턴에 더 쉽게 적응할 수 있다. 세이지메이커는 추론 요청을 처리하는 인스턴스를 능동적으로 모니터링하고 사용 가능한 인스턴스를 기반으로 요청을 지능적으로 라우팅하여 평균 20% 더 짧은 추론 대기 시간을 달성한다.

고객이 모든 모델을 평가하고 사용 사례에 가장 적합한 모델을 선택할 수 있도록 지원하는 새로운 기능

오늘날 고객은 생성형 AI 애플리케이션을 구동할 모델을 선택할 때 다양한 옵션을 선택할 수 있으며, 이러한 모델을 신속하게 비교해 관련 품질 및 책임 있는 AI 매개변수(예: 정확성, 공정성, 견고성)를 기반으로 최상의 옵션을 찾고자 한다. 그러나 동일한 기능(예: 텍스트 생성 또는 요약)을 수행하거나 동일한 제품군(예: 팰컨 40B와 팰컨 180B)에 속하는 모델을 비교할 경우, 각 모델은 다양한 책임 있는 AI 매개변수에 따라 성능이 달라진다. 서로 다른 두 데이터 세트에서 미세 조정된 동일한 모델이라도 성능이 다를 수 있으므로 어떤 버전이 가장 적합한지 알기 어렵다. 모델 비교를 시작하려면 먼저 관련 벤치마크를 파악하고, 평가 도구를 설정하고, 각 모델에 대한 평가를 실행하는 데 며칠을 투자해야 한다. 고객은 공개적으로 사용 가능한 모델 벤치마크에 액세스할 수 있지만, 특정 사용 사례를 대표하는 프롬프트에서 모델의 성능을 평가할 수 없는 경우가 많다. 또한 이러한 벤치마크는 해독하기 어렵고 브랜드 목소리, 관련성, 스타일과 같은 기준을 평가하는 데 유용하지 않은 경우가 많다. 따라서 조직은 결과를 수동으로 분석하고 새로운 사용 사례나 미세 조정된 모델에 대해 이 과정을 반복하는 시간 소모적인 프로세스를 거쳐야 한다.

이제 세이지메이커 클래리파이는 고객이 선택한 매개변수를 기반으로 특정 사용 사례에 가장 적합한 모델을 평가, 비교, 선택할 수 있도록 지원하여 조직의 책임 있는 AI 사용을 지원한다. 세이지메이커 클래리파이의 새로운 기능을 통해 고객은 평가를 위해 자체 모델을 쉽게 제출하거나 세이지메이커 점프스타트(SageMaker JumpStart)를 통해 모델을 선택할 수 있다. 고객은 세이지메이커 스튜디오(SageMaker Studio)에서 질문 답변이나 콘텐츠 요약과 같은 특정 작업에 대해 비교하고자 하는 모델을 선택한다. 그런 다음 평가 매개변수를 선택하고 자체 프롬프트 데이터 세트를 업로드하거나 공개적으로 사용 가능한 내장 데이터 세트에서 선택한다. 민감한 기준이나 정교한 사람의 판단이 필요한 미묘한 콘텐츠의 경우, 자체 인력 또는 세이지메이커 그라운드 트루스(SageMaker Gound Truth)에서 제공하는 관리형 인력을 사용하여 피드백 메커니즘을 통해 몇 분 내에 응답을 검토할 수 있다. 설정 프로세스를 완료하면 세이지메이커 클래리파이가 평가를 실행하고 보고서를 생성하므로 고객은 성능 기준에 따라 최상의 모델을 신속하게 평가, 비교, 선택할 수 있다.

고객이 워크플로우에 생성형 AI를 더 쉽고 빠르게 통합할 수 있도록 지원하는 새로운 아마존 세이지메이커 캔버스 개선 사항

아마존 세이지메이커 캔버스는 고객이 단 한 줄의 코드도 작성하지 않고도 ML 모델을 구축하고 예측을 생성할 수 있도록 지원한다. AWS는 이번 발표를 통해 고객이 코드 없이도 모델을 사용하여 다양한 사용 사례를 지원할 수 있도록 지원하는 세이지메이커 캔버스의 기존 가용 기능을 더욱 확장했다.

• 자연어 지침을 사용해 데이터를 준비: 세이지메이커 캔버스의 시각적 인터페이스를 사용하면 ML 전문 지식이 없는 사람도 쉽게 데이터를 준비할 수 있지만, 일부 고객은 데이터 집합을 더 빠르고 직관적으로 탐색할 수 있는 방법을 필요로 한다. 이제 고객은 샘플 쿼리를 통해 빠르게 시작하고 프로세스 전반에 걸쳐 즉석에서 질문함으로써 데이터 준비를 간소화할 수 있으며, 열의 누락된 값 채우기와 같은 일반적인 데이터 문제를 해결하기 위한 복잡한 변환을 자연어 지침을 사용해 수행할 수 있다. 고객은 이 새로운 노코드 인터페이스를 통해 세이지메이커 캔버스에서 데이터 작업 방식을 획기적으로 간소화하여 데이터 준비 시간을 몇 시간에서 몇 분으로 단축할 수 있다.
• 대규모 비즈니스 분석에 모델 활용: 고객은 세이지메이커 캔버스를 사용해 ML 모델을 구축하고 수요 예측, 고객 이탈 예측, 재무 포트폴리오 분석 등 다양한 작업에 대한 예측을 생성한다. 올해 초, 고객은 세이지메이커 캔버스를 통해 아마존 베드록(Amazon Bedrock)에서 AI21랩스와 앤트로픽(Anthropic), 아마존의 모델과, 모자이크ML(MosaicML) 및 TII의 모델, 그리고 세이지메이커 점프스타트가 제공하는 다양한 모델들에 액세스할 수 있게 됐다. 고객은 현재 사용하는 것과 동일한 노코드 인터페이스를 통해 데이터 세트를 업로드하고 모델을 선택할 수 있으며, 세이지메이커 캔버스는 자동으로 맞춤형 모델을 구축하여 예측을 즉시 생성할 수 있도록 지원한다. 또한 세이지메이커 캔버스는 성능 측정 지표를 표시하므로 고객은 모델을 사용해 예측을 생성하기 위한 협업을 쉽게 수행할 수 있으며 FM이 주어진 작업을 얼마나 잘 수행하고 있는지 파악할 수 있다.

허깅페이스(Hugging Face)는 선도적인 ML 기업이자 AI 빌더를 위한 오픈 플랫폼으로, 오픈 FM과 이를 생성하기 위한 도구를 제공한다. 제프 부디에(Jeff Boudier) 허깅페이스 제품 책임자는 "허깅페이스는 수백만 번 다운로드된 스타코더, IDEFICS, 제퍼(Zephyr)와 같은 중요한 새 오픈 FM을 만들기 위해 세이지메이커 하이퍼포드를 사용해 왔다"며 "세이지메이커 하이퍼포드가 제공하는 목적에 맞게 구축된 복원력과 성능 역량 덕분에 허깅페이스의 오픈 사이언스 팀은 인프라 관리가 아닌 FM 구축 방식에 대한 중요한 개선 사항을 혁신하고 배포하는 데 집중할 수 있었다. 특히 세이지메이커 하이퍼포드가 ML 하드웨어 오류를 감지하고 진행 중인 모델 학습을 방해하지 않으면서 결함이 있는 하드웨어를 신속하게 교체할 수 있다는 점이 특히 매력적이었다. 우리 팀은 빠른 혁신이 필요하기 때문에 이 자동화된 작업 복구 기능을 통해 FM 학습 과정의 중단을 최소화하여 단 1년 만에 수백 시간의 학습 시간을 절약할 수 있었다”고 말했다.

세일즈포스는 데이터, AI, CRM을 기반으로 생산성과 신뢰할 수 있는 고객 경험을 제공하는 선도적인 AI 고객관계관리(CRM) 플랫폼이다. 바베쉬 도시(Bhavesh Doshi) 세일즈포스 엔지니어링 담당 부사장 "세일즈포스는 FM에 대한 개방형 에코시스템 접근 방식을 취하고 있으며, 아마존 세이지메이커는 아키텍처를 확장하고 시장 출시를 가속화하는 데 도움이 되는 중요한 구성 요소"라며 "새로운 세이지메이커 인퍼런스 기능을 사용해 모든 모델을 단일 세이지메이커 엔드포인트에 배치하여 모든 컴퓨팅 자원의 할당과 공유를 자동으로 처리함으로써 성능을 가속화하고 FM의 배포 비용을 절감할 수 있었다"고 말했다.

톰슨로이터는 세계에서 가장 신뢰받는 뉴스 기관 중 하나이자 선도적인 정보 제공업체다. 마리아 아파조글루(Maria Apazoglou) 톰슨로이터 인공지능, 비즈니스 인텔리전스 및 데이터 플랫폼 담당 부사장은 "톰슨로이터의 엔지니어들이 직면하는 과제 중 하나는 피크 시즌 동안의 고객 통화 자원을 관리하여, 밀려드는 문의를 처리하기에 가장 적정한 숫자의 고객 서비스 인력이 확보될 수 있게 하는 것"이라며 "통화량, 대기 시간, 날짜, 기타 관련 측정지표가 포함된 콜센터 데이터의 내역 분석은 시간이 많이 소요된다. 우리 팀은 세이지메이커 캔버스의 새로운 데이터 준비 및 커스터마이징 기능을 활용해 회사 데이터에 대한 모델을 학습시켜 피크 시간대의 통화량에 영향을 미치는 패턴과 추세를 파악하고 있다. 매우 쉽게 자체 데이터를 사용해 ML 모델을 구축할 수 있었고, 앞으로도 캔버스를 통해 코드를 작성하지 않고도 FM의 사용을 늘릴 수 있기를 기대한다”고 말했다.

워크데이(Workday)는 클라우드 기반 소프트웨어 공급업체로, 인적 자본 관리(HCM) 및 재무 관리 애플리케이션을 전문으로 한다. 셰인 루크(Shane Luke) 워크데이의 AI 및 머신러닝 담당 부사장은 "전 세계 1만 개 이상의 조직이 가장 값진 자산인 사람과 돈을 관리하기 위해 워크데이를 이용하고 있다"며 "워크데이는 AI의 책임 있는 사용에 관한 회사의 정책을 반영하는 최고의 FM을 선택하여 고객에게 책임 있고 투명한 솔루션을 제공한다. 높은 품질과 평등한 기회를 보장해야 하는 직무기술서 작성과 같은 작업에 대해 아마존 세이지메이커의 새로운 모델 평가 기능을 테스트했으며, 편향성, 품질, 성과와 같은 지표 전반에 걸쳐 FM을 측정할 수 있다는 점에 큰 흥미를 느꼈다. 앞으로도 이 서비스를 사용해 엄격한 책임 있는 AI 기준에 따라 모델을 비교하고 선택할 수 있기를 기대한다"고 말했다.

[테크수다 기자 도안구 eyeball@techsuda.com]