AWS, 커스텀 모델 가져오기· 모델 평가 등 베드 신규 기능 발표

[테크수다 기자 도안구 eyeball@techsuda.com] 아마존웹서비스(AWS)는 완전 관리형 기반 서비스인 아마존 베드록(Amazon Bedrock)에 새로운 기능을 추가했다고 발표했다. 수만 명의 고객들이 안전하고 확장 가능한 생성형 AI 애플리케이션을 구축하고 확장하기 위한 기반으로 아마존 베드록을 선택하고 있다. 새로운 기능에는 고객 맞춤형 모델 가져오기, 모델 평가, 가드레일 등이 포함된다.

뉴스의 중요한 정보

・아마존 베드록의 새로운 '고객 맞춤형 모델 가져오기' 기능을 통해 고객들은 자체 개발한 맞춤형 모델을 아마존 베드록으로 쉽게 가져와 강력한 기능을 활용할 수 있게 되었다.

・'모델 평가' 기능은 고객들이 AI21 Labs, 안스로픽, 코히어, 메타 등 폭넓은 완전 관리형 모델 중에서 자신의 사용 사례에 가장 적합한 모델을 보다 쉽고 빠르게 선택할 수 있도록 지원한다.

・'가드레일' 기능은 고객들이 자신의 애플리케이션 요구사항에 맞춰 안전장치를 효과적으로 구현하고 책임감 있는 AI 정책에 부합하도록 업계 최고 수준의 기술을 제공한다.

자세한 정보

뉴욕증권거래소(NYSE), 유럽 최대 항공사 라이언에어, 의료 기술 기업 넷스마트 등 다양한 산업의 고객들이 아마존 베드록을 활용해 혁신을 촉진하고 생산성을 높이며 새로운 사용자 경험을 창출하고 있다.

아마존 베드록은 자체 개발한 아마존 타이탄(Amazon Titan) 모델 외에도 AI21 Labs, 안스로픽, 코히어, 메타, 미스트랄 AI, 스태빌리티 AI 등 업계 선도 기업들의 모델을 폭넓게 제공한다.

새로 출시된 아마존 타이탄 텍스트 임베딩 V2는 RAG(retrieval augmented generation) 사용 사례에 최적화된 모델이다. 아마존 타이탄 이미지 제너레이터는 자연어 프롬프트를 사용해 고품질 이미지를 생성하거나 기존 이미지를 개선할 수 있다.

아마존 베드록은 메타의 라마(Llama) 3 파운데이션 모델과 코히어의 커맨드 R 및 커맨드 R+ 모델도 제공한다. 이를 통해 고객들은 글로벌 비즈니스 운영을 지원하기 위해 10개 언어로 엔터프라이즈급 생성형 AI 애플리케이션을 구축할 수 있다.

아마존웹서비스(Amazon Web Services, 이하 AWS)는 오늘 가장 쉽고, 빠르고, 안전한 방법으로 첨단 생성형 인공지능(AI) 애플리케이션과 경험을 개발할 수 있게 지원하는 아마존 베드록(Amazon Bedrock)의 신규 혁신 기능을 발표했다.

이미 수만 명의 고객이 자사 생성형 AI 전략의 기반으로 아마존 베드록을 선택했다. 생성형 AI 애플리케이션을 신속하게 구축하고 배포하는 데 필요한 기능, 엔터프라이즈급 보안과 더불어 AI21랩스(AI21 Labs), 앤스로픽(Anthropic), 코히어(Cohere), 메타(Meta), 미스트랄AI(Mistral AI), 스태빌리티AI(Stability AI), 아마존 등에서 제공하는 주요 파운데이션 모델(foundation model, 이하 FM)에 대한 가장 광범위한 액세스를 제공하기 때문이다.

아마존 베드록에서 제공하는 강력한 모델들을 완전 관리형 서비스로 제공하므로, 고객은 기본 인프라에 대한 고민 없이도 애플리케이션 운영에 있어 원활한 배포와 확장성, 지속적인 최적화를 확보할 수 있다. 이번 신규 기능을 통해 고객은 아마존 베드록에서 자체 완전 관리형 모델을 실행하고, 사용 사례에 가장 적합한 모델을 쉽게 찾고, 생성형 AI 애플리케이션에 더 쉽게 보호 기능(safeguard)을 적용하고, 더 많은 모델 선택권을 제공받을 수 있게 됐다.

세계에서 가장 빠르게 성장하는 스타트업부터 보안에 가장 민감한 기업이나 정부 기관에 이르기까지 전 산업 조직들이 아마존 베드록을 활용해 혁신을 촉진하고 생산성을 높이며 새로운 최종 사용자 경험을 창출하고 있다. 뉴욕증권거래소(New York Stock Exchange, NYSE)는 수천 페이지에 달하는 규정을 처리하여 이해하기 쉬운 언어로 답변을 제공하는 등 여러 사용 사례에서 아마존 베드록의 FM과 최첨단 생성형 AI 기능을 활용하고 있다. 유럽 최대 항공사인 라이언에어(Ryanair)는 직원이 국가별 규정 관련 질문에 대한 답변을 즉시 찾거나 매뉴얼에서 요약을 추출하여 승객의 이동을 돕기 위해 아마존 베드록을 사용하고 있다.

지역사회 기반 의료 기관을 위한 전자 건강 기록(EHR)을 설계, 구축 및 제공하는 전문 기술 제공업체인 넷스마트(Netsmart)는 의료 서비스 제공자의 임상 문서화 환경을 개선하기 위해 노력하고 있다. 그들은 아마존 베드록을 기반으로 구축된 생성형 AI 자동화 도구를 사용하여 개인의 건강 기록을 관리하는 데 소요되는 시간을 최대 50%까지 줄이는 것을 목표로 하고 있다. 이를 통해 넷스마트 고객은 환자 환급 서류 제출 속도를 높이는 동시에 환자 치료를 개선할 수 있다.

스와미 시바수브라마니안(Swami Sivasubramanian) AWS AI 및 데이터 부문 부사장은 "아마존 베드록은 그 어느 곳보다 빠르고 쉽게 실험에서 운영환경으로 전환할 수 있도록 지원하기 때문에 모든 규모와 산업군에 걸친 수만 개의 조직이 생성형 AI 전략의 기반으로 선택하면서 폭발적인 성장을 경험하고 있다"며 "고객은 엔터프라이즈급 보안과 개인정보 보호, 폭넓은 FM 선택권, 그리고 생성형 AI 애플리케이션 구축을 위한 가장 쉬운 방법을 제공하는 아마존 베드록에 많은 관심을 보이고 있다. 이번 발표는 고객에게 가장 포괄적인 기능들과 업계 선도적인 모델 선택권을 제공하고자 하는 노력의 일환이며, 이를 통해 고객을 위한 빠른 혁신을 지속하고 대규모 생성형 AI 혁신을 더욱 대중화할 것"이라고 말했다.

신규 기능 ‘커스텀 모델 가져오기’ – 조직이 자체 커스텀 모델을 아마존 베드록으로 가져와 운영 오버헤드를 줄이고 애플리케이션 개발을 가속화할 수 있도록 지원

의료, 금융 서비스 및 기타 산업 분야의 고객들은 아마존 베드록을 통해 AI21랩스, 아마존, 앤스로픽, 코히어, 메타, 미스트랄AI, 스태빌리티AI 등 세계에서 가장 강력한 모델을 사용하는 것뿐만 아니라, 공개적으로 사용 가능한 모델을 도메인별 사용 사례에 맞게 커스터마이징함으로써 자체 데이터를 활용하는 경우가 점점 더 증가하고 있다.

조직이 자체 데이터를 사용해 이러한 모델을 구축하고자 할 때는 일반적으로 모델을 처음부터 학습시키기 위한 동급 최고의 학습 기능을 제공하고 라마, 미스트랄, 플란-T5(Flan-T5)와 같이 공개적으로 사용 가능한 모델에 고급 커스터마이징을 수행할 수 있게 하는 아마존 세이지메이커(Amazon SageMaker)와 같은 서비스를 이용한다. 2017년 출시된 아마존 세이지메이커는 현재까지 가장 큰 규모의 공개 모델인 팔콘180(Falcon 180)을 비롯한 전 세계 고성능 FM들을 구축 및 훈련하는 도구가 되었다. 고객은 날리지베이스(Knowledge Base), 가드레일(Guardrail), 에이전트(Agent), 모델 평가(Model Evaluation)와 같은 아마존 베드록의 모든 고급 빌트인 생성형 AI 도구를 직접 개발하지 않고도 자체 커스텀 모델과 함께 사용할 수 있다.

아마존 베드록의 커스텀 모델 가져오기(Custom Model Import) 기능은 조직이 아마존 베드록에서 완전히 관리되는 애플리케이션 프로그래밍 인터페이스(API)로 자체 커스텀 모델을 가져와 액세스할 수 있게 함으로써 생성형 AI 애플리케이션 구축 시 전례 없는 선택의 폭을 제공한다. 고객은 클릭 몇 번으로 아마존 세이지메이커나 다른 도구에서 커스터마이징한 모델을 손쉽게 아마존 베드록에 추가할 수 있다. 자동화된 검증 프로세스를 거치고 나면 아마존 베드록의 다른 모델과 마찬가지로 커스텀 모델에 쉽게 액세스하여 매끄러운 확장성과 강력한 애플리케이션 보호 기능, 책임 있는 AI 원칙 준수, 검색 증강 생성(RAG)을 통한 모델의 날리지베이스(knowledge base) 확장, 다단계 작업을 완료할 수 있는 에이전트의 간편한 생성, 모델을 계속 학습하고 개선하기 위한 파인튜닝(fine-tuning) 수행 등 현재 제공되고 있는 모든 이점을 기본 인프라 관리 없이도 누릴 수 있게 된다. 이 새로운 기능은 조직이 동일한 API를 통해 아마존 베드록 모델과 자체 커스텀 모델의 조합을 쉽게 선택할 수 있도록 지원한다. 현재 프리뷰 버전으로 제공되는 아마존 베드록의 커스텀 모델 가져오기 기능은 가장 인기 있는 오픈 모델 아키텍처인 플란-T5, 라마, 미스트랄 세 가지를 지원하며 향후 더 많은 아키텍처를 지원할 계획이다.

신규 기능 ‘모델 평가’ – 고객이 애플리케이션에 가장 적합한 모델을 평가, 비교, 그리고 선택할 수 있도록 지원

가장 광범위한 업계 선도 모델을 지원하는 아마존 베드록은 조직이 가격, 성능 또는 기능 요구 사항을 충족할 수 있도록 지원하며, 단독으로 또는 다른 모델과 조합하여 모델을 실행할 수 있다. 그러나 고객이 특정 사용 사례에 가장 적합한 모델을 선택하려면 정확성과 성능 사이의 균형을 유지해야 한다. 기존에는 새로운 모델이 사용 사례를 충족할 수 있는지 분석하는 데 수많은 시간을 투자해야 했기 때문에 조직이 혁신적인 생성형 AI 경험을 최종 사용자에게 신속하게 제공하는데 제한이 있었다. 모델 평가 기능은 조직이 아마존 베드록에서 모델을 분석하고 비교할 수 있는 가장 빠른 방법으로, 모델 평가에 소요되는 시간을 몇 주에서 몇 시간으로 단축하여 새로운 애플리케이션과 경험을 더 빠르게 시장에 출시할 수 있게 지원한다.

고객은 정확성이나 견고성 등 사전 정의된 평가 기준을 선택하고 자체 데이터 세트 또는 프롬프트 라이브러리를 업로드하거나 기본 제공되는 공개 리소스에서 선택하여 빠르게 시작할 수 있다. 주관적인 기준이나 세심한 판단이 필요한 콘텐츠의 경우, 고객은 간편하게 워크플로우에 평가자를 추가하여 관련성, 스타일, 브랜드 보이스 등 사용 사례별 메트릭에 따라 모델 응답을 평가할 수 있도록 지원한다. 설정 프로세스가 완료되면 아마존 베드록이 평가를 실행하고 보고서를 생성하며, 고객은 주요 기준에 따라 모델이 어떻게 수행되었는지 쉽게 이해하고 사용 사례에 가장 적합한 모델을 신속하게 선택할 수 있다.

가드레일 포 아마존 베드록 – 동급 최고의 기술을 사용하여 개인 및 민감한 정보, 욕설, 특정 단어를 제거하고 유해한 콘텐츠를 차단하는 안전장치를 쉽게 구현 가능

생성형 AI가 모든 산업에 널리 보급되려면 조직은 안전하고 신뢰할 수 있으며 책임감 있는 방식으로 이를 구현해야 한다. 많은 모델이 내장된 제어 기능을 사용하여 바람직하지 않거나 유해한 콘텐츠를 필터링하지만, 대부분의 고객은 이를 넘어 응답이 관련성을 유지하고, 회사 정책에 부합하며, 책임감 있는 AI 원칙을 준수하는 수준으로 생성형 AI 애플리케이션을 더욱 맞춤화하기를 원한다.

정식 출시된 가드레일 포 아마존 베드록(Guardrails for Amazon Bedrock)은 FM의 기본 기능에 업계 최고의 안전 보호 기능을 추가하여 고객이 유해 콘텐츠를 최대 85%까지 차단할 수 있도록 지원하며, 현재 사용 가능한 다른 모델보다 뛰어난 성능을 제공한다. 가드레일은 고객이 단일 제품에서 기본 제공 및 맞춤형 보호 기능을 사용할 수 있도록 최고의 클라우드 제공업체가 제공하는 유일한 솔루션으로, 아마존 베드록의 모든 대규모 언어 모델(LLM)은 물론 미세 조정된 모델에서도 작동한다.

가드레일을 생성하려면 고객은 애플리케이션의 컨텍스트 내에서 거부된 주제에 대한 자연어 설명을 제공하기만 하면 된다. 또한 고객은 혐오 발언, 모욕, 성적인 언어, 자극적인 표현, 폭력 등의 영역을 필터링하는 임계값과 개인 및 민감한 정보, 욕설 또는 특정 차단 단어를 제거하는 필터를 구성할 수 있다. 가드레일 포 아마존 베드록은 일관된 사용자 경험을 제공하고 생성형 AI 애플리케이션 전반에 걸쳐 안전 및 개인정보 보호 제어를 표준화함으로써, 고객이 빠르고 안전하게 혁신할 수 있도록 지원한다.

더 많은 모델 선택 – 아마존 타이탄 텍스트 임베딩 V2, 타이탄 이미지 제너레이터, 코히어와 메타의 최신 모델 소개

아마존 베드록 전용으로 활용되는 아마존 타이탄 모델은 다양한 사용 사례를 위해 대규모의 다양한 데이터 세트를 AWS에서 생성하고 사전 학습하며, 책임감 있는 AI 사용을 위한 기본적인 지원을 제공한다. 현재 아마존 베드록은 아마존 타이탄 제품군을 지속적으로 확장하여 고객에게 더 많은 선택권과 유연성을 제공하고 있다. RAG 사용 사례 작업에 최적화된 아마존 타이탄 텍스트 임베딩 V2(Amazon Titan Text Embeddings V2)는 정보 검색, 질의응답 챗봇, 개인화된 추천과 같은 다양한 작업에 적합하다. 많은 조직에서 추가 데이터를 활용해 FM 응답을 보강하기 위해 RAG를 사용한다. RAG는 FM이 참조할 수 있는 지식 소스에 연결하여 응답을 보강해주는 모델 사용자 최적화 기술이다.

그러나 이를 실행하는 것은 컴퓨팅 및 스토리지에 다소 집약적인 작업을 요구한다. 아마존 타이탄 텍스트 임베딩 V2 모델은 스토리지 및 컴퓨팅 비용을 절감하는 동시에 정확도를 높여준다. 이 모델은 고객에게 유연한 임베딩을 제공하여 전체 스토리지를 최대 4배까지 줄여 운영 비용을 크게 절감하는 동시에, RAG 사용 사례의 정확도를 97%로 유지하여 다른 주요 모델보다 뛰어난 성능을 발휘한다.

이제 정식 버전으로 사용 가능한 아마존 타이탄 이미지 제너레이터(Titan Image Generator)는 광고, 전자상거래, 미디어 및 엔터테인먼트와 같은 업계의 고객이 자연어 프롬프트를 사용해 저렴한 비용으로 스튜디오 품질의 이미지를 제작하거나 기존 이미지를 개선 및 편집할 수 있도록 지원한다. 또한 아마존 타이탄은 생성하는 모든 이미지에 보이지 않는 워터마크를 적용하여 AI가 생성한 이미지를 식별할 수 있도록 지원함으로써, 안전하고 투명하며 보안이 유지된 AI 기술 개발을 촉진하고 허위 정보의 확산을 줄이는 데 도움을 준다.

현재 아마존 베드록에서 메타 라마 3 FM을 사용할 수 있으며, 곧 코히어의 커맨드 R(Command R) 및 커맨드 R+(Command R+) 모델도 출시될 예정이다. 라마 3는 개발자, 연구자, 기업이 생성형 AI 아이디어를 구축 및 실험하고 책임감 있게 확장할 수 있도록 설계되었다. 라마 3 모델은 광범위한 사용 사례를 지원하는 사전 학습 및 지침 파인튜닝(instruction fine-tuned)된 LLM 컬렉션이다. 특히 텍스트 요약 및 분류, 감정 분석, 언어 번역, 코드 생성에 적합하다. 코히어의 커맨드 R 및 커맨드 R+ 모델은 고객이 글로벌 비즈니스 운영 지원을 위해 10개 언어의 고급 RAG 기능을 갖춘 엔터프라이즈급 생성형 AI 애플리케이션을 구축하는 데 사용할 수 있는 최첨단 FM이다.

아마존 베드록 고객 및 파트너의 평가

아마존이 개발한 루퍼스(Rufus)는 아마존의 방대한 제품 카탈로그, 고객 리뷰, 커뮤니티 Q&A, 웹상의 정보를 학습한 생성형 AI 기반 전문 쇼핑 도우미다. 루퍼스는 고객의 다양한 쇼핑 니즈와 제품에 대한 질문에 답변하고, 비교 분석하며, 대화 맥락에 맞는 추천 서비스를 제공한다.

저명한 과학자이자 아마존 스토어 펀더멘털(Store Fundamental) AI 부문 부사장인 트리슐 칠림비(Trishul Chilimbi)는 "우리는 아마존 스토어 고객에게 탁월한 대화형 쇼핑 경험을 제공하기 위해 루퍼스를 아마존의 가장 진화된 모델 중 하나로 만들고자 노력했으며, 이를 통해 초창기 애플리케이션을 뛰어넘어 고객에게 훨씬 더 많은 혜택을 제공할 수 있을 것으로 확신했다"고 말하며, "이제 아마존 베드록 커스텀 모델 가져오기 기능을 통해 루퍼스의 고급 파운데이션 모델을 아마존 내부 개발자에게 제공할 수 있어, 조직 전체의 더 많은 빌더가 완전 관리형 API로 액세스할 수 있게 되었다. 또한 물류 및 스튜디오와 같은 다양한 비즈니스 팀들은 아마존 베드록을 통해 개발 경험을 간소화하며, 아마존의 모든 고객을 위한 새로운 경험 창출에 박차를 가할 수 있게 되었다"라고 말했다.

아하!(Aha!)는 100만 명 이상의 사람들이 제품 전략을 실현할 수 있도록 지원하는 소프트웨어 회사다. 아하!의 공동 설립자이자 최고 기술 책임자 크리스 워터스(Chris Waters) 박사는 "우리 고객들은 우리 서비스를 통해 매일 목표를 설정하고, 고객 피드백을 수집하고, 로드맵을 시각화한다. 이것이 바로 우리가 아마존 베드록을 사용해 생성형 AI 기능을 강화하는 이유다"고 말하며, “아마존 베드록은 데이터 보호 및 개인정보 보호 정책을 통해 정보를 완벽하게 제어하고. 가드레일 포 아마존 베드록을 통해 유해 콘텐츠를 차단할 수 있는 책임감 있는 AI 활용을 지원한다. 이를 기반으로 제품 관리자는 고객이 제출한 피드백을 분석하여 인사이트를 발견할 수 있다. 이것은 시작에 불과하다. 우리는 전 세계 제품 개발팀이 보다 확신을 갖고 다음 개발의 우선순위를 정할 수 있도록, 고도화된 AWS 기술을 지속적으로 구축해 나갈 것"이라고 말했다.

덴츠(Dentsu)는 세계 최대의 통합 마케팅 및 기술 제공업체 중 하나다. 제임스 토마스(James Thomas) 덴츠 크리에이티브 글로벌 기술 책임자는 "우리는 지난 3개월 동안 간접 광고 및 브랜드에 맞는 이미지를 생성하기 위해 아마존 타이탄 이미지 제너레이터 프리뷰 버전을 사용해 자연어 프롬프트로 스튜디오 품질의 사실적인 이미지를 대량으로 생성해왔다.”고 말하며, "타이탄 이미지 제너레이터의 다양한 콘텐츠 출력물은 전 세계 간접 광고 캠페인에 적합한 매력적인 이미지를 생성하는데 큰 도움을 주었으며, 우리 크리에이티브 팀은 이에 깊은 인상을 받았다. 우리는 이 모델의 새로운 워터마크 감지 기능을 실험하여 AI가 생성한 콘텐츠의 투명성을 높이고 고객과 더 큰 신뢰를 구축할 수 있기를 기대한다"라고 말했다.

CRM 기업 세일즈포스(Salesforce)는 CRM + 데이터 + AI + 신뢰의 힘을 통해 기업이 고객과 연결될 수 있도록 지원한다. 카우샬 쿠라파티(Kaushal Kurapati) 세일즈포스 AI 제품 담당 수석 부사장은 "AI는 고객이 세일즈포스의 데이터 클라우드(Data Cloud) 데이터를 기반으로 애플리케이션 전반에 걸쳐 개인화된 경험을 제공할 수 있도록 지원하는 데 필수적인 역할을 한다. 우리는 생성형 AI를 통합하고 고객이 통합 데이터에 기반한 AI를 제공할 수 있도록 지원하는 과정에서 가능한 모든 파운데이션 모델을 평가해 고객의 요구에 가장 적합한 모델을 선택하고자 한다"고 하며, "아마존 베드록은 모델에 대한 우리의 개방형 에코시스템 접근 방식의 핵심이며, 이 새로운 모델 평가 기능은 자동화된 평가 옵션과 인적 평가 옵션을 통해 모델을 비교하고 선택하는 방법을 가속화할 수 있는 잠재력이 있다. 단순한 기준을 넘어 친근함, 스타일, 브랜드 관련성 등 보다 정성적인 기준으로도 모델을 평가할 수 있게 되는 것이다. 이로써 생산성이 향상되고 고객을 위한 모델 운영 작업이 그 어느 때보다 쉽고 빨라질 것"이라고 말했다.

액센츄어(Accenture)는 선도적인 글로벌 전문 서비스 기업으로서 세계 유수의 기업, 정부 및 기타 조직이 디지털 코어를 구축하고, 운영을 최적화하고, 매출 증가를 가속화하고, 시민 서비스를 개선하여 속도와 규모 면에서 실질적인 가치를 창출하도록 지원한다. 란 구안(Lan Guan) 엑센츄어 최고 AI 책임자는 "우리 고객들은 엑센츄어의 AI 전문성을 활용해 엔터프라이즈급 규모와 탄력성을 바탕으로 핵심 비즈니스 과제를 해결하고 성장을 촉진하고 있다"라고 하며, "가드레일 및 모델 평가를 포함한 아마존 베드록의 새로운 기능은 최신 아마존 타이탄 모델과 함께 우리의 주력(flagship) 기반 모델 서비스를 강화하고 공동 고객의 강력한 생성형 AI 애플리케이션 개발을 보다 가속화하는 데 도움이 될 것이다. 아마존 베드록은 모델 선택의 폭을 넓혀 고객에게 조직 전반의 다양한 요구 사항을 충족할 수 있는 유연성을 제공한다. 또한 새로운 기능은 고객이 장기적인 가치를 창출하고 신뢰를 구축하는 책임감 있는 AI를 구현할 수 있도록 돕는다"고 말했다.

[테크수다 기자 도안구 eyeball@techsuda.com]