[테크수다 기자 도안구 eyeball@techsuda.com] Microsoft 가 빅3 클라우드 서비스 사업자 중 맨 마지막으로 클라우드와 AI용 맞춤형 반도체를 제공한다.

구글은 2016년에 텐서 프로세싱 유닛(TPU)으로 AI 추론 시장에 발을 들인 이후 지난 11월 9일 비용 효율적인 AI 모델 학습 및 추론을 위한 Cloud TPU v5e GA 발표했다. TPU는 알파고 때 맹 활약했다.

(물론 구글의 TPU의 경우 독자 설계가 아니라 브로드컴과 협력해서 제공받아 왔는데 브로드컴이 가격을 대폭 올리려 하자 6세대 제품 때부터는 구글이 마블과 손잡는 거 아니냐는 소식이 있었다. )

클라우드 사업자 중 Amazon Web Services AWS를 빼놓을 수 없다. AWS는 ARM 계열 Graviton과 AI 학습용 Trainium, 추론용 Inferentia 등 다양한 칩을 출시하면서 가장 광범위하게 이 시장에서 활약해 왔다.

AWS S3 사용하는 고객들이 비용이 비싸서 나갈만 하면 ARM 계열 그래피톤 저가에서 가동되게 하면서 비용을 대폭 낮추는 전략을 취해왔다.

서버 사이드에서는 인텔과 AMD라는 막강한 회사가 있지만 ARM 기반으로 비용 효율적인 워크로드를 가동할 수 있게 하면서 경쟁력을 가져가는 전략이다.

AWS가 독자 ARM 칩 회사를 인수하면서 이 시장에 뛰어들었다면 마이크로소프트와 구글, 오라클은 '암페어(Ampere_Computing)' 라는 ARM 기반 전문 반도체 업체 제품이 탑재된 서버를 도입해 운영해 왔다. 마이크로소프트는 이제 코발트 100으로도 서비스를 제공하면서 고객들이 선택지는 더 넓어졌다.

중국 클라우드 사업자인 알리바바클라우드와 화웨이, 텐센트 모두 ARM 기반 서버칩을 만들어 내고 직접 사용하고 있다. AI 칩들도.

AI 칩 시장에서는 학습 시장에서 엔비디아는 독보적이다. AMD가 올 연말에 MI300X - 192GB 를 제공한다고 하자 H100에서 고작 80GB 메모리만 탑재했던 엔비디아가 부랴부랴 H200을 내놓겠다고 밝히고 141GB를 탑재한다고 밝혔다. 여기 메모리는(SK하이닉스 HBM3e.

클라우드 사업자들은 서비스 경험과 고객들의 다양한 요구에 대응하기 위해 '목적 지향형 반도체'를 만들어 내고 있다.

인텔, AMD, 엔비디아, 암페어 같은 범용 CPU, GPU 기업들과 손을 잡으면서도 동시에 ARM 기반 서버 칩 확보와 AI 추론과 학습 칩 확보에도 눈을 돌리면서 특정 기업 제품 공급에 끌려가지 않겠다는 입장이다.

엔비디아나 AMD, 인텔을 대체하기는 쉽지 않다. 내부에서 사용하는데 독자 설계를 통한 지속적인 로드맵 가져가기가 과연 경제성이 있는지도 따져봐야 한다. 적절한 조율을 어떻게 계속해서 가져가는지가 관건이 아닐까 싶다. 마이크로소프트는 AI 칩 마이아 100, ARM 기반 코발트에 대한 2세대 제품 설계에 이미 들어갔다고 밝혔다.

아마도 다음 버전에서는 메모리 분야에서 모두 탑재하고 있는 HBM 관련해 대폭 용량을 늘리지 않을까 싶다. SK하이닉스나 삼성전자가 로비 잘 하고 있으려냐. 그러고 보면 수조원 사주는 갑들이 클라우드 사업자들이다. 두 회사는 클라우드 사업자 서비스 조단위로 사서 써주나 모르겠다. ^.^

우리나라 클라우드 사업자들은 자체 AI 칩이나 ARM 기반 서버 칩을 만들 정도의 시장 규모가 없다. 그마나 네이버만이 한국의 서비스와 라인과 웹툰 서비스로 일본과 동남아 시장, 그리고 미주 시장 공략에 나서고 있는 만큼 그나마 도전자로서 규모의 경제를 조금이나마 만들어낼 여지가 있다.

각 세종의 경우 엔비디아 A100 2240개 GPU를 도입해 한국 슈퍼컴 1위에 올랐다고 한다. 정말 대단한 일이지만 새벽에 마이크로소프트 회장이 웃으면서 한 이야기를 듣다보니 정말 정부가 기업들 좀 많이 도와줘야 하지 않을까 싶었다.

사티아 나델라 마이크로소프트 회장 겸 이사회 의장은 "우리는 NVIDIA GPU를 사용해 클라우드에서 가장 강력한 AI 슈퍼컴퓨팅 인프라를 구축했습니다. 그리고 OpenAI는 이 인프라를 사용하여 지금 이 순간에도 선도적인 LLM을 제공하고 있습니다. 실제로 지난주 Azure는 이전 기록보다 3배 많은 10,000개의 H100 GPU를 사용해 ML Perf 벤치마킹 컨소시엄에 가장 많이 제출하여 다른 어떤 클라우드보다 더 나은 성능을 제공했습니다.

그리고 최신 세계 슈퍼컴퓨터 상위 500대 목록에서 Azure는 퍼블릭 클라우드에서 가장 강력한 슈퍼컴퓨터이자 3위를 차지했습니다. 뉴스가 되었죠. 뉴스가 되지 않은 것은 우리가 슈퍼컴퓨터 전체를 제출하지 않았다는 것입니다. 슈퍼컴퓨터의 일부만 제출했습니다. 그래서 퍼블릭 클라우드로는 유일하게 3위를 차지하게 되어 매우 기쁩니다."라는 대목이다.

마이크로소프트가 보유한 슈퍼컴퓨터 전체를 제출하지도 않고 일부만 제출했는데 글로벌 슈퍼컴퓨터 순위 3위다. 이게 비단 마이크로소프트만 그런지 AWS와 구글 클라우드도 그런지 등골이 오싹해지는 대목이다.

한국 클라우드 사업자들은 이런 기업들과 경쟁하고 있다. 인프라 전쟁에서 이미 게임이 끝났고 오픈AI까지 얹어졌으니 말해서 뭐하겠는가.

이런 상황에서도 한국 서비스를 살리고 방어하기 위해 고군분투하는 이들에게 정말 존경과 격려의 박수를 보낼 수밖에 없다. 나이가 드니 그들의 노력에 더 고개가 숙여지는 거 같다. 그들이 다 해외 기업으로 이직하면서 수십배 많은 돈을 받을 수 있는데도 그 자리를 지키는 걸 보면.

모바일 혁명시기 애플 때문에 삼성전자와 LG전자 다 죽는다고 호들갑을 떨던 정부와 언론들은 AI 혁명 시기에는 당시 정도의 위기감을 전혀 느끼지 않는 거 같다. SK하이닉스와 삼성전자가 HBM 엔비디아와 AMD에 잘 팔면 된다고 생각하는 거 같다. 아니면 향후 PIM 만들어서 두 회사가 잘 버텨내면 된다고 생각하거나.

갑자기 국내 클라우드 사업자들 이야기로 빠지면서 신파가 되어버렸다.

AI 반도체 스타트업들도 마찬가지다. 어제 사피온이라는 AI 반도체 기업이 창사 이래 처음으로 간담회를 마련해 다녀왔다. X330을 출시하면서 이제 본격적으로 데이터센터 시장을 겨냥할 수 있게 되었고 온 힘과 네트워크를 활용해 해외 클라우드 사업자들과 테스트라도 진행하기 위해 노력하고 있다고 한다.

국내서는 NHN클라우드와 투자 회사인 SK텔레콤 AI 서비스 인프라에 적용하고 있다고 한다. 격변기에 도전도 쉽지 않을텐데 모두 간바레. SK하이닉스가 HBM 시장에서 치고 나가고 있고 SK그룹사가 사피온 같은 비메모리 분야에도 투자하면서 가능성을 타진하고 있는 걸 보면 박수를 보내지 않을 수는 없다.

[테크수다 기자 도안구 eyeball@techsuda.com]