테크수다

마이크로소프트, 애저서 AMD MI300X AI 인프라 가동 개시

도안구 -

[테크수다 기자 도안구 eyeball@techsuda.com] AMD는 마이크로소프트 빌드 컨퍼런스에서 고객과 개발자를 위한 최신 엔드투엔드 컴퓨팅 및 소프트웨어 기능을 발표했다.

AMD 인스팅트 MI300X

• 왜 중요하냐면 : 이번 발표는 AI 기반 솔루션의 성능과 효율성을 크게 향상시킬 수 있는 다양한 AMD 기술을 소개하며, 특히 애저 ND MI300X 가상머신의 공식 출시가 포함되어 있어 AI 워크로드를 처리하는 데 중요한 역할을 할 것으로 기대된다.

• 더 많은 정보 : AMD 인스팅트 MI300X 가속기와 ROCm 개방형 소프트웨어 스택은 세계에서 가장 까다로운 AI 워크로드 중 하나인 애저 오픈AI 챗GPT 3.5 및 4 서비스를 지원한다. 또한, 허깅 페이스와 같은 고객들은 이 새로운 가상머신을 통해 탁월한 성능과 효율성을 경험하고 있다.

• 기억해 둘 것 : 마이크로소프트와 AMD의 협력으로 AI 발전이 가속화되고 있으며, 라이젠 AI 프로세서와 알베오 MA35D 미디어 가속기 등 다양한 솔루션이 이를 뒷받침하고 있다. 이러한 기술들은 고성능, 고효율의 AI 애플리케이션 구현을 가능하게 하며, 비디오 서비스 및 엔터프라이즈 컴퓨팅 분야에서도 큰 진전을 이루고 있다.

마이크로소프트는 고객의 AI 교육과 추론 요구 사항을 지원하기 위해 AMD의 선도적인 MI300X AI 가속기 칩을 도입한 최초의 클라우드 공급업체라고 강조했다. 또 마이크로소프트는 Azure OpenAI 서비스와 같은 까다로운 AI와 고성능 컴퓨팅(HPC) 워크로드에 최적화된 애저(Azure) ND MI300X v5 가상 머신 시리즈를 일반 공급하고 있다고 밝혔다.

AMD는 마이크로소프트 빌드(Microsoft Build) 컨퍼런스에서 마이크로소프트 고객 및 개발자를 위한 최신 엔드투엔드(End-to-End) 컴퓨팅 및 소프트웨어 기능을 공개했다. 마이크로소프트는 AMD 인스팅트(AMD Instinct) MI300X 가속기, ROCm 개방형 소프트웨어, 라이젠(Ryzen) AI 프로세서 및 소프트웨어와 알베오(Alveo) MA35D 미디어 가속기 등 AMD의 솔루션을 통해 광범위한 시장에 걸쳐 AI 기반을 구축할 수 있는 강력한 툴을 지원한다. 마이크로소프트의 새로운 애저(Azure) ND MI300X 가상머신(VM: Virtual Machine)은 현재 공식 출시되었으며, 가장 까다로운 AI 워크로드를 처리해야 하는 허깅 페이스(Hugging Face)와 같은 고객에게 탁월한 성능과 효율성을 제공한다.

AMD의 빅터 펭(Victor Peng) 사장은 “AMD 인스팅트 MI300X 및 ROCm 소프트웨어 스택은 세계에서 가장 까다로운 AI 워크로드 중 하나인 애저 오픈AI(OpenAI) 챗GPT(Chat GPT) 3.5 및 4 서비스를 지원하고 있다.”며, “애저의 새로운 가상머신이 공식 출시됨에 따라 AI 고객들이 더욱 폭넓게 MI300X에 액세스하여 AI 애플리케이션을 위한 고성능, 고효율의 솔루션을 활용할 수 있게 되었다.”고 밝혔다.

케빈 스콧(Kevin Scott) 마이크로소프트 최고기술책임자(CTO)이자 AI 부문 수석 부사장은 “마이크로소프트와 AMD는 PC를 시작으로, Xbox용 맞춤형 실리콘과 HPC, 현재의 AI에 이르기까지 여러 컴퓨팅 플랫폼에 걸쳐 다양한 파트너십을 이어오고 있다.”며, “최근에는 놀라운 AI 성능과 가치를 제공하기 위해 강력한 컴퓨팅 하드웨어와 최적화된 시스템 및 소프트웨어의 결합이 중요하다는 점에 주목했다. 우리는 마이크로소프트의 AI 고객 및 개발자들이 최첨단 컴퓨팅 집약적인 프론티어 모델에 대해 탁월한 가격 대비 성능 결과를 달성할 수 있도록 AMD의 ROCm 및 MI300X를 이용했다. 앞으로도 AI 발전을 가속화하기 위해 AMD와의 협력에 주력할 것이다.”고 말했다.

AI를 발전시키고 있는 마이크로소프트

2023년 11월, 프리뷰로 발표된 애저 ND MI300x v5 가상머신 시리즈는 이제 고객들이 AI 워크로드를 실행할 수 있도록 캐나다 중부 지역에 공식 배포되고 있다. 업계 선도적인 성능을 제공하는 이러한 가상머신은 탁월한 HBM 용량과 메모리 대역폭을 제공함으로써 고객들이 GPU 메모리에 더 큰 모델을 탑재하거나 더 적은 GPU를 이용해 궁극적으로 전력, 비용 및 솔루션 구현 시간을 절감할 수 있도록 지원한다.

또한, 이러한 가상머신과 이를 지원하는 ROCm 소프트웨어는 애저 오픈AI 서비스를 비롯한 애저 AI 프로덕션 워크로드에도 사용되고 있어 고객들이 GPT-3.5 및 GPT-4 모델에 액세스할 수 있도록 지원한다. 마이크로소프트는 AMD 인스팅트 MI300X와 검증된 ROCm 개방형 소프트웨어 스택을 통해 GPT 추론 워크로드에서 최상의 가격 대비 성능을 달성했다.

마이크로소프트의 애저 AI 프로덕션 워크로드 외, 허깅 페이스도 이러한 가상머신을 가장 먼저 이용하고 있는 고객 중 하나이다. 허깅 페이스는 1개월 만에 자사 모델을 ND MI300X 가상머신에 포팅했으며,  이를 통해 탁월한 성능은 물론, 높은 가격 대비 성능을 달성할 수 있었다. 이를 기반으로 ND MI300X 가상머신 고객들은 허깅 페이스의 모델을 가상머신에 도입하여 보다 쉽고 효율적으로 NLP 애플리케이션을 생성 및 구축할 수 있게 되었다.

허깅 페이스의 최고 에반젤리스트(Chief Evangelist Officer)인 줄리엔 사이먼(Julien Simon)은 “ROCm 개방형 소프트웨어 생태계에 대한 마이크로소프트와 AMD 및 허깅 페이스 간의 긴밀한 협력으로, 허깅 페이스 사용자들은 애저의 허깅 페이스 허브에서 제공되는 수십만 개의 AI 모델을 코드 변경 없이 AMD 인스팅트 GPU로 실행할 수 있게 되었으며, 애저 고객들은 개방형 모델과 오픈소스를 통해 AI를 보다 쉽게 구현할 수 있게 되었다.”고 말했다.

AMD 라이젠 AI 소프트웨어는 개발자들이 AMD 라이젠 AI 기반 PC에서 AI 추론을 최적화하고 구축할 수 있도록 지원한다. 라이젠 AI 소프트웨어를 이용하면, 윈도우 x86 프로세서 최초의 AI 전용 프로세서인 AMD XDNA™ 아키텍처 기반 신경망 처리장치(NPU: Neural Processing Unit)를 통해 애플리케이션을 실행할 수 있다. AI 모델을 CPU 또는 GPU에서만 실행하면 배터리가 빠르게 소모될 수 있지만, 라이젠 AI 기반 노트북은 임베디드 NPU을 활용해 AI 모델이 구동하기 때문에 CPU 및 GPU 리소스를 다른 컴퓨팅 작업에 활용할 수 있다. 이를 통해 배터리 수명을 대폭 늘리는 것은 물론, 개발자가 온디바이스 LLM AI 워크로드와 애플리케이션을 로컬에서 동시에 효율적으로 실행할 수 있다.

비디오 서비스 및 엔터프라이즈 컴퓨팅의 발전

마이크로소프트는 마이크로소프트 팀즈(Teams)와 쉐어포인트(SharePoint) 비디오 등 방대한 라이브 스트리밍 비디오 워크로드를 지원하기 위해 AMD 알베오 MA35D 미디어 가속기를 채택했다. 대규모 라이브 대화형 스트리밍 서비스를 지원하기 위해 특수 설계된 알베오 MA35D는 비디오 트랜스코딩, 디코딩, 인코딩 및 ABR(Adaptive Bitrate) 스트리밍을 포함한 비디오 프로세싱 워크로드를 간소화하여 마이크로소프트가 고품질 비디오 경험을 보장할 수 있도록 지원한다. 마이크로소프트는 4세대 AMD 에픽(EPYC™) 프로세서 기반 서버에 알베오 MA35D 가속기를 결합하여 다음과 같은 이점을 달성했다:

•        서버 및 클라우드 인프라 통합 기능 - 마이크로소프트는 알베오 MA35D의 높은 채널 밀도와 에너지 효율성 및 초저지연 비디오 프로세싱 성능을 활용하여 대용량 라이브 대화형 스트리밍 애플리케이션을 지원하는데 필요한 서버 수를 대폭 절감했다.

•        탁월한 성능 – 알베오 MA35D는 AV1 압축 표준을 지원하는 ASIC 기반 비디오 프로세싱 유닛과 매끄럽고 원활한 비디오 경험을 보장하는 AI 기반 비디오 품질 최적화 기능을 갖추고 있다.

•        미래 지향적 AV1 기술 – 지속적인 업그레이드를 통해 AV1과 같은 새로운 표준을 지원하는 알베오 MA35D는 마이크로소프트가 진화하는 비디오 프로세싱 요구사항에 대응할 수 있는 솔루션을 제공한다.

현재 4세대 AMD 에픽 프로세서는 애저에서 사용되는 범용 가상머신을 비롯해 메모리 집약적, 컴퓨팅 최적화 및 가속 컴퓨팅 가상머신 등 수많은 솔루션을 지원하고 있다. 이러한 가상머신은 클라우드 분야에서 AMD 에픽 프로세서의 성장 및 수요 증가를 이끌고 있으며, 더욱 뛰어난 가격 대비 성능으로 범용 및 메모리 집약적 가상머신의 성능을 최대 20%까지 향상시키는 것은 물론, 애저를 지원하는 이전 세대 AMD 에픽 프로세서 기반 가상머신에 비해 컴퓨팅 최적화 가상머신에 대한 CPU 성능을 최대 2배까지 높일 수 있다. 프리뷰로 공개되었던 Dalsv6, Dasv6, Easv6, Falsv6 및 Famsv6 가상머신 시리즈는 향후 수개월 이내에 정식 공급될 예정이다.

참고 자료:

[테크수다 기자 도안구 eyeball@techsuda.com]