[AWS re:Invent 2022] 세이지메이커를 위한 8가지 신규 기능 발표

[테크수다 기자 도안구 eyeball@techsuda.com] 아마존웹서비스(Amazon Web Services, 이하 AWS)는 AWS 리인벤트(AWS re:Invent) 행사에서 엔드 투 엔드 머신 러닝(ML) 서비스인 아마존 세이지메이커(Amazon SageMaker)를 위한 8가지 신규 기능을 발표했다.

개발자, 데이터 사이언티스트, 비즈니스 분석가는 아마존 세이지메이커의 완전관리형 인프라, 도구, 워크플로우를 사용하여 빠르고 쉽게 ML 모델을 구축, 훈련, 배포하고 있다. 고객이 ML을 활용해 혁신을 계속함에 따라, 그 어느 때보다 더 많은 모델을 만들고 있으며 모델 개발, 사용, 성능을 효율적으로 관리하기 위한 고급 기능이 필요하다.

이번 발표에는 ML 수명 주기 전체에서 모델 성능에 대한 가시성을 제공하는 새로운 아마존 세이지메이커 거버넌스 기능이 포함된다. 새로운 아마존 세이지메이커 스튜디오 노트북(Amazon SageMaker Studio Notebook) 기능은 고객이 몇 번의 클릭만으로 데이터 품질 문제를 검사 및 해결하고, 데이터 사이언스 팀 간의 실시간 협업을 촉진하고, 노트북 코드를 자동화 작업으로 변환하여 실험에서 프로덕션으로 이동하는 프로세스를 가속화할 수 있는 향상된 노트북 경험을 제공한다. 마지막으로 아마존 세이지메이커의 새로운 기능은 모델 검증을 자동화하고 지리공간 데이터 작업을 더 쉽게 만든다. 아마존 세이지메이커는 aws.amazon.com/sagemaker에서 시작할 수 있다.

브라틴 사하(Bratin Saha) AWS 인공지능 및 머신러닝 부문 부사장은 “현재 업계 규모와 업종에 관계없이 수만 명의 고객이 아마존 세이지메이커를 활용하고 있다. AWS 고객은 매달 수백만 개의 모델을 구축하고, 수십억 개의 파라미터로 모델을 훈련하며, 수조 건의 예측을 생성하고 있다. 많은 고객들이 몇 년 전만 해도 들어보지 못한 규모로 ML을 사용하고 있다”며 “이번에 발표된 새로운 아마존 세이지메이커 기능은 ML 모델의 엔드 투 엔드 개발과 배포를 더욱 쉽게 가속화할 수 있다. 전용 거버넌스 툴부터 차세대 노트북 경험, 간소화된 모델 테스트, 지리공간 데이터에 대해 강화된 지원에 이르기까지, AWS는 아마존 세이지메이커의 성공을 기반으로 고객이 ML을 대규모로 활용할 수 있도록 지원하고 있다”고 말했다.

클라우드는 더 많은 사용자가 ML에 액세스할 수 있게 해주었지만, 몇 년 전까지만 해도 모델을 구축, 훈련, 배포하는 프로세스는 여전히 힘들고 지루한 작업이었고 소규모 데이터 사이언티스트 팀이 모델이 프로덕션 준비되기까지 몇 주 또는 몇 달 동안 계속 반복 작업을 해야 했다. 아마존 세이지메이커는 이러한 문제를 해결하기 위해 5년 전에 출시되었으며, 그 이후로 AWS는 고객이 비즈니스 전반에서 ML을 보다 쉽게 ​​사용할 수 있도록 250개 이상의 새로운 기능을 추가했다. 이제 일부 고객은 아마존 세이지메이커를 사용하는 수백 명의 실무자를 고용하여 고객 경험 개선, 비즈니스 프로세스 최적화, 신제품 및 서비스 개발 가속화와 관련된 가장 어려운 문제 해결에 도움이 되는 예측을 한다. ML 도입이 늘어남에 따라 고객이 사용하려는 데이터 유형뿐만 아니라 책임감 있는 ML 사용을 지원하는 데 필요한 거버넌스, 자동화, 품질 보증 수준도 향상됐다. 이번 발표는 전 세계 모든 기술 수준의 실무자를 지원하는 아마존 세이지메이커의 혁신의 역사의 연장선이다.

아마존 세이지메이커의 신규 ML 거버넌스 기능

아마존 세이지메이커는 고객이 ML 모델 수명 주기 전반에서 거버넌스를 보다 쉽게 ​​확장할 수 있도록 지원하는 새로운 기능을 제공한다. 조직 내에서 모델과 사용자 수가 늘어남에 따라 최소 권한 액세스 제어를 설정하고 모델 정보(입력 데이터 세트, 훈련 환경 정보, 모델 사용 설명, 위험 등급 등)를 문서화하기 위한 거버넌스 프로세스를 설정하기가 더 어려워졌다. 모델이 배포되면 고객은 편향과 피쳐 드리프트를 모니터링하여 모델이 예상대로 실행되는지 확인해야 한다.

• ‘아마존 세이지메이커 롤 매니저(Amazon SageMaker Role Manager)’로 액세스와 권한을 더 쉽게 제어: 적절한 사용자 액세스 제어는 거버넌스의 기본이며 데이터 프라이버시를 지원하고 정보 유출을 방지하며 실무자가 업무를 수행하는 데 필요한 도구에 액세스할 수 있도록 한다. 데이터 사이언스 팀이 수십 또는 수백 명으로 늘어남에 따라 이러한 제어를 구현하는 것이 점점 더 복잡해지고 있다. ML 관리자(조직의 ML 시스템을 만들고 모니터링하는 사람)는 ML 워크플로우 내에서 작업, 리소스, 데이터에 대한 액세스를 제어하면서 개발을 간소화하기 위한 노력의 균형을 맞춰야 한다. 오늘날 관리자는 스프레드시트를 만들거나 임시 목록을 사용하여 수십 가지 다양한 활동(데이터 준비, 훈련 등)과 역할(ML 엔지니어, 데이터 사이언티스트 등)에 필요한 액세스 정책을 탐색한다. 이러한 도구는 수동으로 유지되고 있으며 새로운 사용자가 작업을 효과적으로 수행하는 데 필요한 특정 작업을 정하는 데 몇 주가 걸릴 수 있다. 아마존 세이지메이커 롤 매니저를 사용하면 관리자가 보다 쉽게 ​​액세스를 제어하고 사용자에 대한 권한을 정의할 수 있다. 관리자는 다양한 사용자 역할과 책임에 따라 사전 구축된 템플릿을 선택하고 편집할 수 있다. 그런 다음 이 도구는 몇 분 안에 필요한 권한이 있는 액세스 정책을 자동으로 생성하여 사용자를 온보딩하고 관리하는 데 드는 시간과 노력을 지속적으로 줄여 준다.
• ‘아마존 세이지메이커 모델 카드(Amazon SageMaker Model Cards)’로 모델 정보 수집 단순화: 오늘날 대부분의 실무자는 모델 개발과 평가 중에 비즈니스 요구 사항, 주요 결정, 관찰 결과를 문서화하기 위해 다양한 도구(이메일, 스프레드시트, 텍스트 파일 등)에 의존한다. 실무자는 승인 절차, 등록, 감사, 고객 문의, 모니터링을 지원하기 위해 이러한 정보가 필요하지만, 각 모델에 대한 세부 정보를 수집하는 데 몇 달이 걸릴 수 있다. 일부 실무자는 수동적이고 시간이 오래 걸리며 오류가 발생하기 쉬운 복잡한 기록 관리 시스템을 구축하여 이 문제를 해결하려 한다. 아마존 세이지메이커 모델 카드는 모델 정보를 AWS 콘솔에 저장할 수 있는 단일 위치를 제공하여 모델 수명 주기 동안 문서 작업을 간소화한다. 새로운 기능은 입력 데이터 세트, 훈련 환경, 훈련 결과와 같은 훈련 세부 정보를 아마존 세이지메이커 모델 카드에 직접 자동으로 채운다. 또한 실무자는 모델 정보(성능 목표, 위험 등급 등), 훈련 및 평가 결과(편향 또는 정확도 등)를 문서화하기 위해 셀프 가이드 질문지를 사용하여 추가 정보를 포함하고, 향후 참조를 위해 관찰 결과를 기록하여 거버넌스를 개선하고 책임 있는 ML 사용을 지원할 수 있다.
• ‘아마존 세이지메이커 모델 대시보드(Amazon SageMaker Model Dashboard)’, ML 모델을 추적하기 위한 중앙 인터페이스 제공: 모델이 프로덕션에 배포되면 실무자는 모델의 성능을 이해하고 잠재적인 문제를 포착하기 위해 시간 경과에 따라 모델을 추적하기를 원한다. 이 작업은 일반적으로 각 모델에 대해 개별적으로 수행되지만 조직이 수천 개의 모델을 배포하기 시작함에 따라 점점 더 복잡해지고 더 많은 시간과 리소스를 필요로 한다. 아마존 세이지메이커 모델 대시보드는 배포된 모델과 엔드포인트에 대한 포괄적인 개요를 제공하여 실무자가 한 곳에서 리소스와 모델 동작을 추적할 수 있도록 한다. 고객은 대시보드에서 AWS의 모델 및 데이터 드리프트 모니터링 기능인 아마존 세이지메이커 모델 모니터(Amazon SageMaker Model Monitor)와 AWS의 ML 편향 감지 기능인 아마존 세이지메이커 클래리파이(Amazon SageMaker Clarify)와의 기본 통합을 사용할 수도 있다. 모델 동작과 성능에 대한 엔드 투 엔드 가시성은 ML 거버넌스 프로세스를 간소화하고 모델 문제를 신속하게 해결하는 데 필요한 정보를 제공한다.

아마존 세이지메이커 거버넌스 기능에 대한 자세한 내용은 aws.amazon.com/sagemaker/ml-governance에서 확인할 수 있다.

차세대 노트북

아마존 세이지메이커 스튜디오 노트북은 실무자에게 데이터 탐색에서 배포까지 완전관리형 노트북 경험을 제공한다. 팀의 규모와 복잡성이 증가함에 따라 수십 명의 실무자가 노트북을 사용하여 공동으로 모델을 개발해야 할 수 있다. AWS는 사용자에게 최고의 노트북 경험을 계속 제공하기 위해 고객이 노트북 코드를 조정하고 자동화하는 데 도움이 되는 세 가지 신규 기능을 출시했다.

• 데이터 준비 간소화: 실무자는 훈련을 위해 데이터를 준비할 때 잠재적인 데이터 품질 문제(예: 정보 누락, 극단값, 왜곡된 데이터 세트, 편향)를 찾아 수정하기 위해 노트북에서 직접 데이터 세트를 탐색하기를 원한다. 실무자가 문제를 식별하고 수정하기 위해서 데이터 세트의 여러 부분을 시각화하고 검사하기 위한 보일러 플레이트 코드를 작성하는 데 몇 달이 소요될 수 있다. 이제 아마존 세이지메이커 스튜디오 노트북은 실무자가 몇 번의 클릭만으로 노트북 환경에서 직접 데이터 특성을 시각적으로 검토하고 데이터 품질 문제를 해결할 수 있는 데이터 준비 기능을 기본 제공한다. 사용자가 노트북에 데이터 프레임(데이터의 표 형식 표현)을 표시하면, 아마존 세이지메이커 스튜디오 노트북은 사용자가 데이터 품질 문제를 식별하는 데 도움이 되는 차트를 자동으로 생성하고 일반적인 문제를 해결하는 데 도움이 되는 데이터 변환을 제안한다. 실무자가 데이터 변환을 선택하면, 아마존 세이지메이커 스튜디오 노트북은 노트북이 실행될 때마다 반복적으로 적용될 수 있도록 노트북 내에 해당 코드를 생성한다.
• 데이터 사이언스 팀 간 협업 가속화: 데이터가 준비되면 실무자는 팀원끼리 단일 노트북 내에서 협업해야 할 수도 있는 반복 프로세스를 포함한 모델 개발을 시작할 수 있다. 그동안 팀들은 노트북에서 실시간으로 함께 작업하기 위해 이메일이나 채팅 애플리케이션을 통해 노트북과 모델, 데이터 세트 등을 포함한 기타 자산을 교환해야 했고, 이는 커뮤니케이션 피로, 지연된 피드백 루프, 버전 제어 문제로 이어졌다. 이제 아마존 세이지메이커는 팀이 실시간으로 함께 노트북을 읽고, 편집하고, 실행할 수 있는 작업 공간을 제공하여 협업과 커뮤니케이션을 간소화한다. 팀원은 노트북 결과를 함께 검토하여 정보를 주고받을 필요 없이 모델의 성능을 즉시 이해할 수 있다. 비트버킷(BitBucket), AWS 코드커밋(AWS CodeCommit)과 같은 서비스에 대한 기본 지원을 통해 팀은 다양한 노트북 버전을 쉽게 관리하고 시간 경과에 따른 변경 사항을 비교할 수 있다. 실험과 ML 모델과 같은 관련 리소스도 자동으로 저장되어 팀 업무가 체계적으로 유지되도록 돕는다.
• 노트북 코드를 프로덕션 준비 작업으로 자동 변환: 완성된 ML 모델을 프로덕션으로 이동하려는 경우, 실무자는 일반적으로 노트북에서 코드 스니펫을 스크립트로 복사하고 스크립트를 모든 종속 항목과 함께 컨테이너로 패키징한 다음 실행할 컨테이너 일정을 예약한다. 이 작업을 일정에 따라 반복적으로 실행하려면 CI/CD(지속적 통합/지속적 전달) 파이프라인을 설정, 구성, 관리하여 배포를 자동화해야 한다. 필요한 모든 인프라를 설정하는 데 몇 주가 걸릴 수 있고, 이는 핵심 ML 개발 활동 시간에 영향을 준다. 이제 실무자는 아마존 세이지메이커 스튜디오 노트북을 통해 노트북을 선택하고 프로덕션 환경에서 실행할 수 있는 작업으로 자동화할 수 있다. 노트북이 선택되면 아마존 세이지메이커 스튜디오 노트북은 전체 노트북의 스냅샷을 만들고, 컨테이너에 종속 항목을 패키징하고, 인프라를 구축하고, 실무자가 설정한 일정에 따라 노트북을 자동화된 작업으로 실행하고, 작업 완료시 인프라 프로비저닝을 해제함으로써, 노트북을 프로덕션으로 이동하는 데 걸리는 시간을 몇 주에서 몇 시간으로 단축한다.

실시간 추론 요청을 통해 새 모델 자동 검증

실무자는 프로덕션에 배포하기 전에 모든 모델을 테스트하고 검증하여 성능을 확인하고 비즈니스에 부정적인 영향을 미칠 수 있는 오류를 식별한다. 일반적으로 과거 추론 요청 데이터를 사용하여 새 모델의 성능을 테스트하지만 과거 데이터는 현재의 실제 추론 요청을 설명하지 못하는 경우가 있다. 예를 들어 가장 빠른 경로를 계획하기 위한 ML 모델의 과거 데이터는 교통 흐름을 크게 바꾸는 사고나 갑작스러운 도로 폐쇄를 설명하지 못할 수 있다. 이러한 문제를 해결하기 위해 실무자는 프로덕션 모델로 가는 추론 요청의 복사본을 테스트하려는 새 모델로 라우팅한다. 이 경우, 테스트 인프라를 구축하고, 추론 요청을 미러링하고, 주요 지표(예: 지연 시간, 처리량)에서 모델의 성능을 비교하는 데 몇 주가 걸릴 수 있다. 이를 통해 실무자는 모델의 성능에 대해 더 큰 확신을 가질 수 있지만, 수백 또는 수천 개의 모델에 대해 이러한 솔루션을 구현하려면 비용과 복잡성으로 인해 확장이 불가능하다.

‘아마존 세이지메이커 인퍼런스(Amazon SageMaker Inference)’는 실무자가 동일한 실제 추론 요청 데이터를 실시간으로 사용하여 새 모델의 성능을 프로덕션 모델과 쉽게 비교할 수 있는 기능을 제공한다. 이제 실무자는 자체 테스트 인프라를 구축하지 않고도 동시에 수천 개의 새로운 모델로 테스트를 쉽게 확장할 수 있다. 먼저, 고객이 테스트하려는 프로덕션 모델을 선택하면 아마존 세이지메이커 인퍼런스는 완전히 동일한 조건으로 호스팅 환경에 새 모델을 배포한다. 아마존 세이지메이커는 프로덕션 모델에서 수신한 추론 요청의 복사본을 새 모델로 라우팅하고 대시보드를 생성하여 주요 메트릭 간의 성능 차이를 표시하므로, 고객은 각 모델이 어떻게 다른지 실시간으로 확인할 수 있다. 고객은 새 모델의 성능을 검증하고 잠재적인 오류가 없다고 확신한 후 안전하게 배포할 수 있다. 아마존 세이지메이커 인퍼런스에 대한 자세한 내용은 홈페이지(aws.amazon.com/sagemaker/deploy)에서 확인할 수 있다.

아마존 세이지메이커의 새로운 지리공간 기능을 통해 고객은 위성 및 위치 데이터를 사용해 더 쉽게 예측 가능하도록 지원

오늘날 캡처된 대부분의 데이터에는 지리공간 정보(위치 좌표, 날씨 지도, 교통 데이터 등)가 있지만, 지리공간 데이터 세트는 작업하기 어렵고 보통 페타바이트 규모에 도시 전체 또는 수백 에이커의 땅에 걸쳐 있기 때문에 극히 일부만 ML 목적으로 사용되고 있다. 지리공간 모델 구축을 시작하기 위해, 고객은 일반적으로 위성 이미지나 지도 데이터와 같은 서드파티 데이터 소스를 조달하여 자체 데이터를 보강한다. 실무자는 이러한 데이터를 결합하고 훈련을 위해 준비한 다음, 엄청난 크기의 지리공간 데이터로 인해 데이터 세트를 관리 가능한 하위 집합으로 나누는 코드를 작성해야 한다. 고객은 훈련된 모델을 배포할 준비가 되면 데이터와 ML 모델 예측을 상호 연관시키기 위해 여러 데이터 세트를 재결합하기 위해 더 많은 코드를 작성해야 한다. 완성된 모델에서 예측을 도출하려면, 실무자는 오픈소스 시각화 도구를 사용하여 지도에 렌더링하는 데 며칠을 소비해야 한다. 데이터 보강에서 시각화까지의 전체 프로세스는 몇 달이 걸릴 수 있으므로, 고객이 지리공간 데이터를 활용하고 적시에 ML 예측을 생성하기가 어렵다.

이제 아마존 세이지메이커는 고객이 데이터 세트를 보강하고, 지리공간 모델을 훈련하고, 몇 달이 아닌 몇 시간 만에 결과를 시각화할 수 있도록 하여 지리공간 ML 예측 생성을 가속화하고 단순화한다. 고객은 몇 번의 클릭만으로 또는 API를 사용하여, 아마존 세이지메이커를 통해 AWS(예: 아마존 로케이션 서비스), 신뢰할 수 있는 서드파티 공급자(예: 플래닛 랩스), 오픈소스 데이터 세트(예: 아마존 오픈 데이터)의 다양한 지리공간 데이터 소스에 액세스할 수 있다. 실무자가 사용하고자 하는 데이터 세트를 선택하면 내장 연산자를 활용하여 이러한 데이터 세트를 자체 데이터와 결합할 수 있다. 모델 개발 속도를 높이기 위해, 아마존 세이지메이커는 정밀 농업으로 작물 수확량 증가, 자연재해 피해 지역 모니터링, 도시 계획 개선과 같은 사용 사례를 위해 사전 훈련된 딥 러닝 모델에 대한 액세스를 자동으로 제공한다. 훈련 후 내장된 시각화 도구는 지도에 데이터를 표시하여 새로운 예측을 발견한다. 아마존 세이지메이커의 새로운 지리공간 기능에 대한 자세한 내용은 aws.amazon.com/sagemaker/geospatial에서 확인할 수 있다.

[테크수다 기자 도안구 eyeball@techsuda.com]

관련 기사

[AWS re:Invent 2022] 서플라이 체인 발표 – 테크수다 (techsuda.com)

[AWS re:Invent 2022] 5가지 DB·분석 기능 발표 – 테크수다 (techsuda.com)

[AWS re:Invent 2022] ARM 기반 그래비톤 칩으로 비용과 성능 모두 잡는다ㆍㆍㆍ인텔ㆍAMDㆍ엔비디아 정조준 – 테크수다 (techsuda.com)