[테크수다 기자 도안구 eyeball@techsuda.com]

"여러분 모두와 함께 이 여행을 다시 시작하고 싶습니다." 인텔의 CEO로 복귀하는 팻 갤싱어 CEO가 인텔 동료들에게 보낸 메모의 한 대목이다. 그는 18세에 인텔에 입사해 30년 동안 다니다가 CEO 경쟁에서 탈락한 후 2009년 디지털 정보 라이프 사이클 관리 SW와 서비스, 장비 업체인 EMC로 옮긴 후 12년만에 다시 '고향' 인텔로 복귀한다. 직전엔 VMware CEO였다. 그의 복귀에 대한 기대감도 있고, 그의 발자취를 따라가면서 관련 시장에 어떤 변화가 일어났는지 살펴보고, 정리하고 싶은 생각도 들었다.

그가 이전까지 CEO를 맡았던 VMware는 1999년에 워크스테이션 1.0을 선보이면서 PC에 가상 머신을 실행해 하나의 PC에서 여러 가지 운영체제를 실행할 수 있도록 지원했다. 그 후 2002년 최초의 하이퍼바이저인 ESX Server 1.5를 출시했다. 이번엔 PC가 아니라 서버에서 작동하는 제품이었다. 인터넷 역사와는 별개로 인프라 기술과 소프트웨어, 하드웨어들은 무슨 변화가 일어났는지 살짝 엿보려고 한다.

이 글은 최근 인텔이 발표한 한 사건에서 시작됐다. 고맙다고 해야 하나 아니면 내가 오버하고 있다고 해야 하나. 여튼 그렇게 됐다.

팻 겔싱어(Pat Gelsinger) is Back ···10여 년 만에 인텔 CEO로 복귀 – 테크수다 (techsuda.com)

웹스케일 진영, 세상을 바꾸다

2003년 구글은 논문 하나를 발표한다. 구글 파일 시스템(Google File System, GFS 또는 GoogleFS) 관련된 것으로 자사 검색 시스템에 활용되는 분산 파일 시스템이다. 범용 x86, x64 계열 서버를 활용할 수 있으며 동일 데이터를 3개 복제해 이곳 저곳에 저장해 놔 데이터 유실 문제도 방지하고 경제성도 있는 기술에 관련된 거였다.

논문 링크 : paper.dvi (googleusercontent.com)

파일 시스템을 갖는다는 건 운영체제의 기본을 갖는거라고 봐도 무방하다. 읽고 쓰고, 복사하고, 삭제하고 등등의 성질을 구현할 수 있다. 리눅스 계열은 오픈소스다보니 다양한 형태의 운영체제가 만들어진다. 마이크로소프트 윈도우 서버의 경우 절대 그 파일 시스템 소스를 공개하지 않는다. 애플은 FreeBSD를 잘 활용해서 iOS, iPadOS, 맥OS를 만들고 있다.

논문을 공개한다는 건 자랑질이다. 난 이렇게 쓰고 있지롱 메롱. 그래도 논문을 공개해줘서 다른 이들이 그걸 보고 새롭게 만들 수 있는 큰 틀은 공개한거다. 오픈소스 SW로 내놓기는 싫고 그래도 자랑은 하고 싶고 그랬던 게 아닐까 싶다. 그 논문을 보고 천재 한명이 나선다.

더그 커팅. 그는 스탠포드 대학에서 언어학을 전공하고 애플, 제록스 팔로알토 연구소에서 개발자로 근무도 한 실력자.  언어학을 배우고 프로그램까지 다 배워서 그런가 그는 검색엔진 루씬(Lucene)과 너치(Nutch)를 마이크 카파렐라와 함께 오픈소스로 공개했다. 루씬을 개발한 건 1999년이고 아파치 소프트에어 재단에 자카르타 프로젝트로 합류한 건 2001년 9월이다.

원래 언어 C도 잘하고 C++도 잘하던 양반이 자바를 배우면서 처음으로 만든 작품이 루씬이다. 요즘 전세계 검색 엔진 중 엘라스틱 서치가 있는데 그 시조가 루씬과 너치이다. 천재와 전세계 수많은 개발자들의 연합체가 만들어 내는 걸 상용 소프트웨어 회사 개발자 몇명이 어떻게 이겨낼 수 있을까. 그는 철저한 해커 그룹의 오픈소스 Sw  신봉자다.

루씬 : 루씬 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

더그 커팅이 궁금하다면 : 빅데이터 시대를 열다, 하둡을 창시한 더그 커팅 (brunch.co.kr)

아파치 하둡 : 아파치 하둡 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

아피치 하둡 이미지

2004년, 자신들의 검색 엔진의 분산처리를 위해 구글 파일 시스템과 동일한 구조의 오픈소스 소프트웨어 파일 시스템인 네치 분산 파일 시스템(NDFS) 프로젝트를 시작하고 2005년 12월 '노란 코끼리' 하둡(Hadoop)이라는 이름으로 공개한다.  이 양반 프로젝트 이름에 가족을 활용하는데 루씬은 자기 와이프의 미들 네임이라고 한다. 하둡은 노란 코끼리인데 자기 아이가 노란 코끼리를 무척 좋아하는데 그걸 가지고 다니면서 '하둡, 하둡' 그래서 하둡으로 지었다고 한다. 그래서 하둡 프로젝트의 다양한 생태계 오픈소스 이름들은 동물과 연관있는 것들이 많다.  zookeeper 사육사가 왜 등장하겠어. ^.^ 그런 걸로 소소한 재미를 느끼다니 정말 천진난만한 개발자들이에요.

2006년 이 천재 개발자가 야후에 합류한다. 야후는 구글을 살 수 있는 기회를 발로 걷어찬 회사로 유명하지. 누구는 야후가 구글을 샀다면 야후가 세상을 호령하고 있을거라고 하던데 난 그렇게 생각하지 않는다. 야후가 구글을 샀어도 래리 페이지와 세르게이 브린이 그 안에서 버텨내지 못하고 나와서 다시 창업했을거다. 사람들은 삼성전자가 안드로이드 초기에 샀으면 세상을 호령했을거라던데 그것 또한 그렇지 않다고 본다. 그랬다면 우리는 지금 같은 안드로이드를 구경도 못했을거다. 그 때 못 알아보고 놔준 그 경영진들에게 난 오히려 감사하게 생각한다. 철저한 통신사 아래 폰을 만드는 제조 기업으로 삶을 살아온 그 분들에게 수평적이고 협력적이며 전세계를 호령하는 SW의 원대한 꿈은 처음부터 존재하지 않았을테니까. 완벽한 제조업과 너무나 이질적이고 다른 소프트웨어 산업의 차이라고나 할까. LG전자 모바일부서가 가전출신들이 다 와서 가전 제품 만들듯이 여려개

찍어내면 되는 줄 알았다가 개망하는 거 보시라. 2008년 이후 지끔까지 저렇게 오랫동안 삽질을 하기도 쉽지 않는데 그건 능력 밖의 일이라는 거다. 무능한게 아니라 아예 모르는 영역인데 와서 설치다가 폭망한거지.

인터넷 서비스 하는 기업들은 동일한 고민에 휩싸여 있었다. 전통적인 엔터프라이즈 진영이 비싼 관계형 데이터베이스와 분석을 위한 데이터웨어하우스(DW), 데이터마트(DM), EMC나 히다찌가 제공하는 비싼 스토리지 같은 걸 사용했지만 리눅스 기반 x86 인프라 활용하던 그들에게 그런 인프라로는 서비스를 제공할 수 없을 정도였다. 경제성 면에서 완전 꽝이었던 거지. 초기 국내 포털 다음 인프라가 유닉스 였었을걸.

때마침 구글이 논문도 공개했고, 검색 분야에서 활동하던 천재가 또 관련 논문을 보고 하둡도 만들고 오픈소스로도 내놨으니 야후 입장에서도 자기네 파일 시스템 구조를 바꾸고 싶었기 때문에 그를 전격 스카웃했다. 그는 그 후 나와서 하둡 전문 회사인 클라우데라 CTO로 있고, 그와 함께 하던 야후 빅데이터플랫폼 팀도 팀째 통째로 나와 호튼웍스를 차린다.

그 후 클라우데라가 호튼웍스를 인수한 후 한 몸이 되었다. 그들이 좀더 일찍 힘을 합치고 또 AWS나 마이크로소프트 애저, 구글 클라우드에 자사 서비스를 올렸으면 지금도 잘 나갈텐데 너무 엔터프라이즈 회사들에 팔다가 실기한 게 아닐까 싶다. AWS와 마이크로소프트 애저, 구글 클라우드는 다양한 오픈소스 SW를 가져다가 자사에 맞은 빅데이터 플랫폼들을 만들고 서비스하고 있다. 또 하둡 진영은 하나로 모든 데이터를 모으려고 했지만 시장은 또 통합으로 가다가 그냥 개별적인 데이터 저장소를 만들어 두고 대신 한 곳에서 퀄리를 날리면 서로 다른 곳들의 것들을 합쳐서 호출 후 분석하기를 원했다. 이건 기회가 되면 별도로 다뤄봐도 좋을 듯 싶다.

참고로 또 운이 좋게 전세계 최초로 그와 스마트폰으로 생방송 인터뷰도 했었다. 키가 2미터가 넘으셨나 그랬다. 내가 꿈꾼 미디어는 녹화가 아니라 이렇게 라이브로 내가 만날 때 댓글로 동시에 물어보는 거였다. 여전히 그런 날 인터뷰를 좋아하는데 요즘은 그냥 뒀다. 기자가 게이트키퍼 역할이 아니라 모더레이터 역할이면 좋을 거 같은데 해답을 찾지 못했다. ㅎ.ㅎ

2016년 4월 15일 도라이브. 스마트폰 하나면 내가 있는 곳이 방송국. 마이크만 좋은 거 쓰면 된다. 방한한 더그 커팅 아저씨와 함께.

DoLive interview : Doug Cutting, The creator of Hadoop https://fb.watch/33ENUhSbkm/

빅데이터(Big data)라는 말도 이 때부터 등장하고 회자되기 시작했다. 전통적인 엔터프라이즈 진영에서 처리하던 속성의 파일들이 아니었고, 또 그런 데이터베이스나 스토리지도 아니었다. 보통 빅데이터의 특징을 3V라고 정의한다.

Volum 데이터 량

Velocity 데이터의 입출력 속도

Variety 데이터의 다양성

이게 기존 오라클이나 마이크로소프트, IBM 등이 제공하는 관계형 데이터베이스나 EMC, 히다찌, 넷앱 같은 스토리지 업체가 제공하는 DB나 스토리지에 담기에는 경제성과 속성이 너무 안맞았다.

한국 빅데이터 프로젝트, 특히 공공기관과 엔터프라이즈 진영이 폭망한 이유는 웹 서비스 기업에서 등장한 기술의 등장 배경이나 활용 용도를 따져서 실펴볼 시간도 안갖고 외산 벤더들의 DW를 시스템을 빅데이터 프로젝트로 포장해서 진행했기 때문이다. 난 최근에 우연치 않게 공공 데이터 댐 관련 프로젝트 중 하나를 귀동냥 했는데 여전히 빅데이터 플랫폼이 없었다. 쓰바 2021년 백주 대낮에도 없다니. 빅데이터와 클라우드 나올 때 우리나라 권력을 쥔 양반과 그 곁에서 일을 하던 것들이 김대중 노무현 정부 시절 정보통신 성과를 말살시키기 위해 엄청난 칼질을 했으니. 청와대 근무하며 가뜩이나 정보통신이 뭔지도 모르는 양야 명박 할배에게 오판하도록 한 교수놈은 아직도 잘 나가더만. 서울대학교 쪽에서도 수백억원 가져가서 빅데이터 플랫폼 만든다고 썼는데 쓰배 내놓는 게 오픈소스 'R' 관련된 이상한 기능 하나. 그래놓고 세상이 AI로 바뀌니 이제는 AI 한다고 세금 졸라 가져가고. 하긴 뭐 그 정도는 약과일지도 몰라. 대전에 있는 한 기관에서는 한국형 파일시스템 만든다고 1천억원이 넘는 금액을 썼더라고. 근데 그게 뭔가 또 우연히 만든 양반을 만나게 되었더니 하둡이었어. 문제는 하둡 코어 가져다가 변형시키다보니 하둡 버전의 진화와는 동떨어진 방향으로 흘러간거지. 그런데 그런 프로젝트도 한 둘이 아니야. 내가 어쩌다가 오픈소스 소프트웨어 취재하다가 한국마이크로소프트 담당자로부터 "어이, 빨갱이 기자"라는 소리까지 농담조로 들었었는데 정부 사이드의 오픈소스 프로젝트를 보면서 기겁을 하게 되었지. 요즘엔 심지어 한국 소프트웨어 산업을 막은 3대 악의 축인 안, 티, 한 이 회사들 중 두 회사가 갑자기 오픈소스 운영체제 한다면서 정부 사이드에 붙어서 아주 기냥 쭉쭉 빨아대는 거 같더라고. 그놈의 한국형 아주 진절머리가 나. 근데 그거 알아? 한류나 방역 분야는 세계 톱 수준이잖아? 시행착오 엄청하고 노력한 결과지. 근데 20여년 SW나 네트워크 장비, 보안 사이드는 정부에 달라붙어 쪽쪽 빨아먹으면서도 정작 해외에서 잘나가는 회사가 하나 없다는거지. 자동차나 반도체, 선박 같은 거 봐. 특히 반도체, 그거 뭐 정부가 사줘? 아니지 공장 잘 돌게 돈 엄청 지원해주긴 하지, 이루 말할 수 없는 돈을 지원하지, 세제 혜택부터 전 국민 등치면서 싸게 전기도 공급해주고. 근데 대신 세계 톱 클래스로 성장했잖아. 근데 쓰바 SW는 왜 안 그런거냐고.

정신을 차리자. 정신을 차리자. 이번 글은 기술 흐름 쓰는거지 현실을 보면 안된다. 현실을 직시하면 안된다. 그건 내 영역이 아니다. 정신을 차리자 정신을 차리자. 관을 멀리하자, 그 놈들은 애초부터 관심도 없다.

더그 커팅이 만든 하둡은 이후 많은 인터넷 서비스 업체에 영향을 미친다. 페이스북, 트위터, 링크드인 같은 인터넷 서비스 업체들이 이 분산 파일 시스템을 활용하기 시작했다.

페이스북을 상징하는 '좋아요'의 경우 페이스북 해커톤에서 만들어진 기능 중 하나였다. 페이스북은 기업 내 개개발 이벤트로 해커톤(해커 + 마라톤)을 자주 해왔다. 약 3~5명이 오후 8시에 모여 이틑날 새벽 6시까지 한다. 이게 유행을 타고 전세계 회사로 퍼졌다. 근데 이거 그냥 따라하다가 폭망한다. 일단 체력이 안된다. 어려서부터 고기 먹고 자라고 학교를 가더라도 기초 체력을 강조하는 미국놈들 따라갈 수 없다. 우린 유치원부터 대학들어갈 때까지 기냥 학원에만 보내서 체력이 젠병들 아닌가. 나 때는 체력장 시험이라도 있었지. 앗.

페이스북 해커톤 : http://www.facebook.com/hackathon

2012년 제주 다음 해커톤 취재 : [Daum人 해커톤] "즐거운 상상의 나래를 펼치다" | Bloter.net

페이스북의 좋아요 기능이 구현된 해를 정확히 기억하지 못하겠다. 검색 실력도 딸려서 못찾았다. 근데 한국인사이트 연구소 김덕진 부소장(김덕진 (facebook.com))이 찾아줬다. 무척 감사합니다.

How Facebook’s ‘Like’ Button Hijacked Our Attention and Broke the 2010s | by Fast Company | Fast Company | Medium

번역본은 이곳에 : 페이스북의 '좋아요'는 어떻게 2010년대를 강타했나? - Wishket

근데 이 좋아요가 정말 중요했다. 바로 저 분산 파일 시스템을 활용했기 때문에 구현이 가능해진 거다. 누가 클릭하고 그 관계를 분석해서 그 후에 반영할 수 있는 인프라를 드디어 구축하고 쓰고 있다는 거였으니까. 그리고 여기서 빅데이터에 대한 인터넷 서비스 회사들과 은행, 통신사 같은 엔터프라이즈와는 업무상 차이도 엿볼 수 있다.

내가 돈 보냈는데 바로 안들어가면 어쩌나. (물론 다른 나라는 실시간 잘 안되더라. ㅎ.ㅎ ) 전화 했는데 통화가 안되거면, 통화가 된다는 건 뒷단에서 빌링 시스템이 작동되고 있다는 건데 그걸 제대로 측정하지 못하면 (이 놈들은 이런 건 기막히게 만든다고. ㅎ.ㅎ ) 어찌되는가. 그런데 좋아요를 눌렀는데 그게 3초 후에 반영되던 10초 후에 반영되던 무슨 상관인가. 당연히 딜레이가 이뤄져도 괜찮다고 생각하는거다. 이 지점이 빅데이터에 대한 서비스를 적용할 때 엔터프라이즈와 웹 서비스 기업들간 차이였다.

그럼 구글 파일 시스템을 보고 해외 기업들만 움직인 걸까. ? 아니다. 구글 파일시스템 논문은 전세계 많은 엔지니어들에게 영감을 줬다. 하둡은 그 중 가장 크게 성공한 프로젝트일 뿐이다. 그럼 우리나라 엔지니어나 학계는 가만히 있었을까. 아니지. 한국에서도 이에 대해 반응했다. 바로 한국 인터넷 서비스의 산증인인 네이버가 주인공이다.

네이버의 분산 파일 시스템 'owFS'가 그것이다. 참, 이 블로는 네이버거다. (NHN이라는 이름의 게임하는 이상한 회사거 아니다. 네이버랑 NHN은 전혀 다른 회사가 되어 버렸다. NHN엔터로 헤어졌는데 지금은 NHN이라고 하는 회사는 게임쪽 하던 곳이다.)

관련 내용은 여기 : [개발,기술] 사용자를 위한 보이지 않는 노력.. : 네이버블로그 (naver.com)

그걸 활용해 엔드라이브, 지금은 MyBOX 만든 이들은 : N드라이브 개발팀을 만나다..."다양한 추가 기능 기대하세요" | Bloter.net

저 개발팀을 만나게 된 건 순전히 '김연아'와 얼마전 독일 특파원 근무를 마치고 귀국한 연합뉴스 이광빈 기자 덕이다. 이 자리를 빌어 다시 한번 감사 인사를 전한다. 이 이야기는 이곳에서는 패스. 내가 어쩌다가 저런 개발자분들의 열정에 빠졌던 건지 모르겠다. 네이버 기획자나 마케터를 주로 만났으면 졸라 잘 나갔을텐데. 괜히 개발도 잘 모르면서 저런 이들의 열정에 빠져서.

오너(Owner)‘A’의 저장공간에 파일 ‘B’를 저장할 때의 동작. 출처 : 네이버 다이어리 블로그

2006년. 이 블로그 자료에 따르면 네이버의 분산파일시스템은 지난 2006년부터 KAIST 전산학과 김진수 교수 연구팀과 공동 연구개발해 온 것으로 나온다. 근데 이건 확인이 필요해보인다. 왜냐하면 2017년 경에 우연치 않게 만난 연식 있는 분이 있었는데 이런 저런 이야기하다가 OWFS 이야기를 내가 했더니 아니 그걸 어떻게 하냐고 물었다. 스토리지은 제 영역이 아니었는데 그 영영까지 취재하다가 파일 시스템 취재하다가 우연치 않게 알게 되었다고 했다. 그리고 저 블로그 이야기도 했다. 그렸더니 네이버에서 그렇게 이야기 하냐고 묻더라. 그러면서 그거 제가 만든 거에요. 저희 회사에서요. 네이버가 저희 회사를 샀죠라고 했다. 아마 카이스트 교수 팀과 연구한 것도 사실이기는 할거다. 대신 인수한 걸 더 고도화한 수준일까.

엔드라이브도 그 기반에서 만들어졌다. 지금은 mybox라는 서비스로 알려져 있고, 이 서비스 주체도 네이버에서  최근 네이버 클라우드로 이관하겠다고 밝혔다. 아마 네이버 내부에서도 기존 파일 시스템을 그래도 가져갈지 아니면 오픈소스 진영에서 만들어낸 걸로 가져갈지 고민이 많을거다. 데브옵스를 위해서는 기반 인프라도 좀 다양한 표준 형태로 가져가야 인력들 뽑기도 좋고 쏟아지는 오픈소스 적용도 편한데 말이다. 그건 뭐 알아서들 잘 할거고.

저장 문제가 해결되자 전세계 많은 이들은 그걸 기반으로 더 빠르게 처리하고 싶어했다. 또 엔터프라이즈 진영에서도 이런 기술 혜택을 보고 싶어했다. 하지만 엔터프라이즈 파트에서는 SQL이라는 표준을 사용하고 있었다. 하둡 진영에서는 기업 시장을 공략하기 위해서는 SQL을 지원해야 한다고 보고 다양한 오픈소스 프로젝트가 일어났다. 일명 SQL On Hadoop 이다.

대기업의 횡포와 내부 개발자들의 부도덕한 행동, 관련 기업 CTO의 배임 혐의 등으로 이제는 사라져버린, 국내 엔지니어들이 주축이 되었던 아파치 재단 오픈소스 프로젝트 '타조', 페이스북의 프레스토를 비롯해 DW 분야 지존으로 불리는 테라데이터에 인수된 에스터데이터 회사에서도 그걸 만들었다.

에스터 데이터 출신은 나중에 구글 출신들과 함께 웹서비스에 최적화된 엔터프라이즈용 하드웨어 분야의 혁신적인 HCI(Hypercoverged Infrastructure : Combines compute, storage & networking into a single system under unified management) 기반 하드웨어를 만드는 뉴타닉스를 창업했다. 이건 좀 뒤에서 다룰 수 있으면 다루겠다.

구글이 공개한 논문 그리고 전세계 오픈소스 진영의 대응, 그리고 수많은 웹 서비스 기업들의 적용과 이후 다시 오픈소스로 공개하는 선순환 구조가 이뤄지면서 세상은 크게 요동치고 있었다.

그런데, 그런데, 그런데...... 웹 서비스 진영이 앞다퉈 이렇게 자사 서비스들을 혁신해 갈 무렵, 전혀 생각지도 않는 곳에서 전혀 생각지도 않았던 플레이어 하나가 세상에 이상한 걸 하나 던진다.

Amazon Web Service S3의 등장

2006년 3월. 아마존이라는 전세계 인터넷 전자상거래 업체가 아마존웹서비스를 통해 인프라를 빌려주는 서비스를 시작했다. 미국은 2006년 3월, 유럽은 2007년 11월이다. 데이터를 송수신할 때 사용되는 네트워크 데이터 전송과 요금, 요청당 비용 등과 함께, 최종 사용자는 매달 1GB 당 0.15 미국 달러를 지불하여 사용할 수 있었다.

IBM, 오라클, 마이크로소프트도 아니고 아마존이라니. IT와 테크는 벤더들이 제공하는 거였는데 전혀 상관없던 인터넷 전자상거래 업체, 즉 IT를 도입하던 곳에서 오히려 서비스로 내놓겠다니. 이런 와우.

그런데 처음 내놓은 서비스를 봐야 한다. 바로 Amazon S3 or Amazon Simple Storage Service 다. 오브젝트 스토리지다. 스토리지 분야에는 오브젝트 스토리지, 파일 스토리지, 블록 스토리지가 있는데 이 차이는 알리바바클라우드에서 설명한 걸 참고하면 이해하기 편하다.

스토리지 종류 설명 : 오브젝트 스토리지, 파일 스토리지 및 블록 스토리지의 차이 - Alibaba Cloud

아마존 S3 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

정보통신 역사에 길이 남을 서비스의 등장이었다. 그리고 누가 봐도 구글이나 페이스북도 개발자가 만든 회사기는 하지만 외부로 IT 서비스를 돈 받고 제공하지는 않았다. 물론 내놓은 건 메일 같은 커뮤니케이션 파트였을 뿐이다. 지메일도 2004년 4월에 등장했다.

IT 관련 인프라를 제공하는 건 전통적인 IT 기업들의 몫이었다. IBM, 오라클, 델, HP, 마이크로소프트, EMC, 넷앱, 히다찌, 후지쯔 같은 회사 말이다. 그것도 전자상거래를 하던 기업이 이렇게 인프라 서비스를 내놓다니. 세상은 저거 뭐야 라고 했다.

기자 생활을 할 때 난 운이 좋은 편이었다. 실력은 떨어져서 글도 잘 못쓰고 그냥 앞뒤 모르고 뛰어다니기는 잘했다. 명함들고 영업사원처럼 기업들 홍보팀 인사 다니면서 명함 지갑 3통을 한 달 안에 소진하기도 했다. 가끔 후배들에게도 오늘 누구 만났는지 명함 달라고 한다. 말로 하지 말고 발로 너의 행동을 증명하라는 거였다. 그러다보면 좋은 이들을 만나게 된다. AWS 국내 진출 전 관련 인물이 방한한 적이 있다. 아마존 웹서비스 보너 보겔스 CTO다. 이것도 이리 저리 뛰어다니며 글을 쓰다가 그의 방한 사실을 알게 되었고, 그가 아침부터 저녁까지 매체와 1:1 인터뷰를 할거라는 걸 알았다. 오후 5시~오후 6시까지는 테크 기자들 공동 간담호였고. 근데 운이 좋게 오후 3시~4시까지 인터뷰 기회를 잡았다. 이런 저런 질문을 하고 1시간이 훌쩍 가서(영어를 못하니 통역을 끼고 하면 시간 금세다. 영어들 잘해라. 정보 습득 시간과 폭, 범위가 상상이다. 물론 영어 잘한다고 맨정신을 갖는 게 더 중요하기는 하지만. ^.^) 라스트 질문 라스트 질문을 던져서 그의 휴식 시간 30분을 더 썼다. 4-5시는 쉬려고 했더라. 그래도 그는 계속 묻는 기자의 말에 성심성의껏 답해줬다. 2011년 7월의 일이다. 이걸 어케 아냐고, 검색했더니 기사가 나왔고 당시 회상하니 떠올랐을 뿐이다. ㅋㅋㅋ

2011년 7월, 당시 운이 좋아 국내 진출 전 방한한 보너 보겔스(Werner Vogels) 아마존웹서비스 부사장 겸 최고기술책임자를 1시간 반 인터뷰 할 기회가 있었다. 아마존은 1995년 설립되고 아마존웹서비스는 그로부터 11년이 지난 2006년 3월에 S3를 시작으로 쓴만큼 비용을 지불하는 클라우드 서비스를 내놓는다.

보너 보겔스 AWS CTO. 2011년 7월 방한 인터뷰 당시 사진 : 출처 블로터

아마존 클라우드에 대한 오해 5가지 | Bloter.net

. (세일즈포스가 클라우드 기업이니 SaaS 기업이니 하는데 그건 나중에 포장한 거다. 세일즈포스는 1993년에 설립되었다. 아마존웹서비스나 마이크로소프트 애저가 등장하면서 자기네 인프라 구조도 바꾸고 전략도 수정하면서 지금은 대표적인 SaaS 기업이 되었지만. ^.^)

회사 설립 5년된 안된 회사가 당시 스마트폰 대표 주자 중 한 곳이 삼성전자와 협력하기 위해 방안했다는 소리가 있었다. 전세계 대상으로 단말과 서비스를 제공해야 하는 삼성전자 입장에서는 클라우드 서비스 등장이 엄청난 구원자였던 셈이었고, 아마존 웹 서비스 입장에서도 애플의 아이폰 등장으로 전세계 수많은 앱 업체들이 등장하고 그들이 전세계 고객 대상으로 언제 어디서나 앱을 배포하고 업데이트 할 수 있도록 자사 인프라를 대면서 동반 성장하게 되었기에 이런 글로벌 스마트폰과 가전 업체와의 협력을 마다할 이유가 없었다. 아마존코리아 매출의 반 이상을 삼성전자가 담당한다는 루머도 이때부터 돌았다. 그리고 삼성전자 내부에서 삼성SDS를 못믿는다는 소리도 당연히 이 때부터. 바로 쓸 수 있어야 하는데 저것들은 프로젝트만 1년 넘게 한다고 하니 어쩌란 거야 라는 거였지. 우리 총수것만 아니면 우주 기냥..ㅎ.ㅎ

전자상거래 입장에서는 다운타임 없이 서비스를 계속 하면 수익을 올릴 수 있는 기회가 많다. 보겔스 CTO는 아마존설립 이후 10년간 이를 위해 개발자들과 시스템 운영자들과 머리를 맞대왔다고 설명했다. 갑자기 늘어난 주문을 처리하기 위해 웹 애플리케이션을 무한 확장시켰다가 그런 트래픽이 사라지면 원래 상태로 다시 돌아오게 만드는 기술 같은 게 대표적이다. 오토스케일링이라고 하는데 보겔스 CTO는 확장은 쉽지만 원래 상태로 되돌아 오게 만드는 게 어려웠고 그걸 이뤄냈기 때문에 드디어 공개를 하게 된거라고 했다.

아마존이 상거래 서비스를 하면서 수많은 제조회사, 상품 유통 회사들과 거래하고, 다양한 파트너와 일하다보니 그들이 정보 인프라 상태도 확인했을거고, 자신의 혁신만으로는 한계가 있다고 판단해 전체 참여자들도 혁신할 수 있도록 전략을 구사한거다. AWS 성공의 큰 열쇠 중 하나는 아마존이 AWS 인프라 위에서 가동된다는 점이다. 이거 뭐 당연한게 아니냐고 하지만 그렇지 않다. 구글 검색 인프라는 구글 클라우드 플랫폼 기반이 아니다. 그래서 지들도 자기네 인프라 안쓰면서 고객들보고 쓰라는 거냐는 말이 나왔고, 최근에 검색 인프라를 구글 클라우드 플랫폼으로 마이그레이션 하겠다고 발표하기도 했었다.

이는 국내도 마찬가지다. 네이버가 네이버 클라우드 사업을 하면서 네이버닷컴 서비스가 모두 클라우드에서 돈다고 런칭 간담회 때 말했지만 거짓말이다. 뻑하면 춘천 각을 보여주곤 하던데 정작 네이버 클라우드로 이름을 바꾼 NBP의 인프라는 서울 강남 KT 영동전화국에 있었다. 기존에 잘 돌고 있는 걸 굳이 새로운 인프라로 바꿀 이유는 없다. 삼성전자나 하이닉스도 일본과 경제 전쟁 아니면 엔지니어들 혹사시키면서 멀쩡히 돌던 라인을 다시 조정할 이유는 없는 것처럼. 비유가 좀 잘못된 거 같다. ^.^

새로운 서비스를 만들 때는 새로운 인프라 위에서 하면 되니까.

시장 참여자 전체의 혁신이 모아지면 자신들이 가진 힘보다 더 강력한 영향력을 확보할 수 있다. 아마존 클라우드를 한마디로 정의하면 'API'다. 무조건 데이터를 서로 주고 받을 수 있게 그렇게 설계하는 거다. 너무 옆으로 샜다.

2007년 1월, AWS 가 S3 라는 클라우드 서비스를 제공한 지 1년도 안되어 애플이 첫 스마트폰인 아이폰을 선보였다. 많은 이들이 단말기 업체들이 처음부터 애플 아이폰을 무시한 줄 아는데 아니다. 막상 애플이 제공한 첫번째 제품을 보니 그닥 이었다. 2009년 6월 아이폰 3GS가 대중화에 성공하면서 그들은 아작나기 시작했지만.

그래서 가끔 그런 생각을 한다. 아마존이 클라우드 서비스를 제공하지 않았다면 애플의 앱스토어 생태계는 저렇게 성장할 수 있었을까.  혹은 애플의 스마트폰과 앱스토어가 없었다면 아마존웹서비스는 단기간 내에 테크 역사의 물줄기를 이렇게 빠르게 혁신적으로 바꿀 수 있었을까. 2003년 등장한 페이스매시, 2004년 지금의 이름으로 바꾼 페이스북은 과연 애플 등장하지 않았다면 저렇게 전세계에 널리 퍼져 나갈 수 있었을까.

내가 인생 모토로 운칠기삼, 작심삼일을 삼고 있는 이유다. 기회를 잡기 위해 졸라 노력하다보면 운이 따라오는 게 아닐까 싶어서다. 가만히 있어도 운이 차고 넘치는 이들도 많다. 그들은 넘사벽이다. 삼일 열심히 일하고 하루 쉬고 삼일 또 열심히 일하고 쉬고. 내가 원하는 건 주 4일이 필요한 이유다. ^.^

IBM이나 오라클 같은 엔터프라이즈 강자인 기업들이 왜 맥을 못추었는지 이해할 수 있다. 구글 논문 공개가 불러온 파장은 실로 어마어마하다고 볼 수 있다. 그러니 엔터프라이즈 진영에 있는 분들은 능력도 안되면서 평가할 생각 말고 그냥 받아들이면 된다. 당신이 웹과 기술을 알아?

그래도 유일하게 상용 소프트웨어 업체 중 단 한 곳은 이런 흐름에 대응한다. 바로 마이크로소프트다.

2008년 10월

마이크로소프트는 윈도우 애저(Windows Azure)라는 이름의 클라우드 컴퓨팅 서비스를 선보였다.

당시 새벽까지 안자고 있다가 우연치 않게 발표를 봤는데 테크 분야 최강 기자 중 한 명인 황치규 기자도 그걸 보고 있었다. 날 버리고 지디넷으로 다시 돌아간 후였다. 당시 Azure 라는 이름을 어떻게 번역해서 써야 하는지 물었는데 돌아온 대답은 '아주리'였다. 이탈리아 아주리 군단 할 때 쓰는 아주리가 Azure 라고. 근데 혹시 몰라서 메신저를 보니 한국마이크로소프트 지인 한 분이 있길래 물어봤더니 자기들도 이걸 뭐로 번역해서 릴리즈 해야 하는지 고민이라고 했었다. 아주리 어때라고 했더니 그게 머야 하더니 조금 기다려보라더니 애주어 인가로 했다가 애저로 하기로 했다면서 그래서 그렇게 됐다. ^.^

이게 왜 가능했을까 생각해보니 마이크로소프트는 MSN을 통해 인터넷 서비스를 계속 해왔다. 검색 서비스와 개인 대상 핫메일 인수 등 개인용 운영체제를 만들어 팔다가 오피스를 통해 생산성 도구까지 확대하고 메일 시스템을 만들고, 그 돈으로 기업용 IT 인프라 시장을 겨냥한 윈도우 서버, IIS 서버, 마이크로소프트 SQL 서버, 마이크로소프트 익스체인지 서버 까지 제공하면서 당시 테크기업으로는 유일하게 B2B2C 형태의 기업이었다.

2009년 초 마이크로소프트 클라우드 전략에 대해서 전문가 두명과 인터뷰할 기회가 있었다. 한 기업의 제품이나 전략, 서비스에 대해서 깊이 있는 인터뷰와 사후 취재가 가능한 좋은 포맷이었다. 요즘은 그런 기획들은 거의 안하는 거 같다. 개발자들 인터뷰도 안하고, 아니지 개발자들도 인터뷰를 그닥 좋아하는거 같지는 않다. 그러니 만든 사람들보다는 기획자와 마케터 이야기 위주의 글이 많은듯. 나도 이젠 많이 읽히는 글을 쓰고 싶다. ^.^

관련 글은 여기 : [블로터포럼] SW제국 마이크로소프트의 클라우드 전략 | Bloter.net

마이크로소프트의 행보를 보면서 재미난 점은 B2C 대상으로 제공하다가 B2B 진영으로 사업 영역을 확대한 거의 유일무이한 테크 기업이라는 사실이다. 반대로 B2B 기업 중에 B2C로 나오려고 하다가 성공한 기업은 없다. 전자상거래 기업은 어떤 범주에 넣어야 할지는 모르지만 그 기업들도 기술 소비 기업이었지 기술 생산 기업은 아니었으니 단순 비교는 힘들다.

잠깐 옆으로 새면 아마존웹서비스가 내놓은 건 스토리지다. 이렇게 보면 EMC나 히다찌 같은 스토리지 기업들은 왜 이런 서비스를 내놓지 못했을까. 이들은 철저히 엔터프라이즈기업들이 요구하는 장비와 SW를 제공할 뿐이지 자신들이 서비스를 내놓지는 않았다.

2007년 10월 스토리지 강자인 EMC는 직접 내놓기 보다는 개인 대상으로 온라인 백업 서비스 '모지'를 제공하던 버클리 데이터시스템을 인수했었다. 이후 2018년 2월에 데이터 보호 업체인 카보나이트에 팔았다. 당시 고객은 600만명 이상의 개인과 10만 개의 기업고객들.

인수 후 1년이 지나 한국 블로거 대상 모지 설명회도 있었다. 라디오키즈님 블로그에 당시 관련 글이 있다. 얼굴 뵌 지 오래다. 잘 지내고 계시죠?

[블로거 간담회] 중요한 파일은 온라인 백업으로... EMC의 모지(Mozy) (neoearly.net)

한국은 하이텔에서 만든 아이디스크를 시발로 데이콤의 웹하드가 인기를 끌고 있던 시절이었다. 물론 KTH의 아이디스크는 비운의 작품이다. 내가 그걸 만든 분을 또 어 하다가 만나뵈었는데, KT는 그런 알짜를 만들어 놓고도 정작 외부 백업 서비스는 슈가싱크거 가져다가 라이선스 계약 잘못해서 수백억원 날리고 끝내 서비스를 종료한다. 그 분이 그걸 지켜보면 부르르 떨고 분노하던 걸 여전히 잊을 수 없다. 그 분과는 지금도 가끔 만난다. 차마 공개는 못하겠네. ㅎ.ㅎ

아이디스크를 가져다가 사업을 잘한 곳은 다름 아닌 더존이었다. 더존의 세무회계 프로그램을 사용하는 수많은 세무사무실이나 중소기업들은 뻑하면 데이터 유실 혹은 바이러스 걸려서 개망 하는 등 데이터 관리에 어려움을 겪고 있었다. 이 때 KTH와 더존 팀이 만나서 B2B 협력을 해서 서비스를 제공하기 시작했다. 이례적인 협력이었다.

그러고 보면 B2B 영역은 협력하기가 쉽지 않다. 특히 한국의 갑오브 갑으로 불리는 통신사들은 다 지들 아래로 보니까. KTH도 개인 대상 서비스 하는 곳이라서 B2B 에 대한 마인드도 없었다. 시장이 이렇게 큰데도 말이다. 하긴 그러니 그 알짜를 KT 내부에 쓰거나 KT 초고속 가입자 대상으로 나눠줬으면 대박났을텐데.

더존도 1년 지나서 KTH 담당자도 퇴사한다고 하니 다른 회사 SW 가져다가 온라인 백업 서비스를 제공했다. 그 후 요즘도 백업 서비스하던데 어떤걸로 하는지 모르겠다. 생각난 김에 담주에 물어봐야지.

2009년

클라우드 기업들 때문에 하드웨어 설계 구조도 바뀐다.

2009년  페이스북은 자기네 서비스를 하다보니 기존 범용 서버는 잘 안맞는 거 같아서 데이터센터 설계와 전력 이슈, 랙 설계, 서버 디자인 등 졸라 많은 IT 기기들이 들어가고 어마무시한 전기를 쓰는 걸 손보기 위해 팀을 꾸리고 연구를 시작했다.

이렇게 해서 2011년에 자기네가 디자인한 하드웨어 관련 스펙을 공개하고 여러 기업들의 동참을 이끌어낸다. 서비스를 상상할 수 없을 정도로 키운 기업들은 자기네가 쓰는 하드웨어, 데이터센터 설계까지 최적화시키는 시대다. 당연히 장비 업체들이 많이 참여하고, 아마도 중국 기업들도 이 구조를 보고 인터넷 서비스에 최적화된 설계들을 해서 쓰지 않을까 싶다. 그러고 보니 올해가 오픈 컴퓨트 프로젝트 등장 10주년이다.

Open Compute Project, OCP Home » Open Compute Project

What is the Open Compute Project?

https://youtu.be/-uJ9n1HEBBY

요즘 ARM 칩 관련해서 서버 만들면서 고생하는 엑서스의 유명환 대표가 설명한 자료도 참고

오픈커뮤트 프로젝트 : PowerPoint 프레젠테이션 (krnet.or.kr)

페이스북은 자기네 고민을 공개하고 데이터센터 설계, 자기네가 쓰는 하드웨어의 디자인 등 등 오픈하고 함께 만들어가자고 했고, 구글이나 AWS 그것까지는 공개하지 않았다. 지금은 페이스북을 비롯해서 인텔, 락스페이스, 골드만삭스, 마이크로소프트, IBM, 노키아, 구글, 시게이트, 델, 시스코, 레노보, 알리바바그룹 까지 참여한다. 한국은 멤버들은 누구지? 스마일서브하고 SK텔레콤은 기억하는데.

IT월드의 2019년 3월 기사에 따르면 2022년 매출이 100억 달러, 10조원 규모로 오픈 컴퓨트 프로젝트가 성장한다고 한다.

쾌속 성장 중인 오픈 컴퓨트 프로젝트, 2022년에는 매출 100억 달러 전망 - ITWorld Korea

2009년은 하드웨어 분야에서 참 의미있는 해이기도 하다. HCI 원조 뉴타닉스가 등장했다. 서버, 스토리지, 네트워크 등이 다 따로 돌던 하드웨어 구조를 하나로 때려박아 놓고 모두 SW로 관리할수 있는 구조다. 여기 창업자들 중 구글 출신들이 있다.

하이퍼컨버지드 인프라 : 하이퍼컨버지드 인프라는 무엇인가? 역사, 이점 및 리소스 (nutanix.com)

구글에서 인터넷 서비스 졸라하는데 기존 서버 벤더들 제품을 가져다 쓰다가 안맞아서 자기네가 슈퍼마이크로 같은 회사에 주문 제작해서 사용했었다. 페이스북과 동일한 고민을 한 거지.

여기에서 근무하던 이들 중 엔터프라이즈 분야에서 오랫동안 근무했던 이들이 새로운 시대에 맞는 엔터프라이즈용 하드웨어 설계를 한 게 HCI다. 뉴타닉스 사이트 들어가서 보시면 된다. 이 회사 선풍적인 인기를 끌고 요즘은 죄다 HCI를 묻지고 따지지도 않고 클라우드 인프라 마련할 때 기본 선택지로 사용한다.

여기 창업자중 한명은 또 데이터 쪽에 오래 활동해 온 이가 있다. 오라클, 애스터데이터시스템즈(테라데이터 인수) 출신이다. 애스터데이터시스템즈는 구글 파일 시스템 논문이 나왔을 때 상용 진영에서도 그 논문을 보고 같은 구조로 만든 분석용 엔진이다.

여튼 구글에서 근무한 친구들 데이터분야에서 근무한 친구들이 의기투합해 세상을 바꾼다. 이 회사는 하드웨어도 만들고 VM웨어 졸라 까면서 그 대항마로 부각되기도 한다. 구글이 엔터프라이즈 클라우드 시장에 진입하는데 여전히 고전하고 있는데 그래서 이 회사 인수설이 심심하면 나온다. 델하고 졸라 친했는데 델이 EMC 인수한 후 VM웨어 거져 먹으면서 관계가 예전같지는 않다. 델이 HCI 구조로 만들고 거기에 소프트웨어는 VM웨어거 때려박으니까.

이 회사는 단순히 소프트웨어 회사가 아니다.  자기네 어플라이언스도 제공하고 OEM 플랫폼, 서드파티 서버 등 다양한 형태로 움직인다. OEM 어플라이언스는 HPE, 레노버, 후지쯔, 중국 인스피어, 델EMC 등이 있다. 서드 파트 서버 업체로는 시스코, 히다찌, HPE, 인스피어, 인텔 등이 있다.

빅데이터의 시작, 클라우드 사업자들의 등장, 그리고 새로운 하드웨어 설계 방식의 연합군들 등장과 새로운 엔터프라이즈용 서버, 스토리지, 네트워킹 관련 장비의 변화 등이 이렇다. 이런 격변기에 이번 글을 쓰도록 영감을 준 팻 갤싱어 아저씨가 이직한다. 쓰바 이직 전 사건도 이렇게 많은데 남은 12년을 무슨 수로 정리하나. 이건 그냥 중요하지 않으니 그냥 설렁설렁해야 할듯. 정작 CES 2021 발표 자료는 정리할 생각도 못하고 있는데. ㅠ.ㅠ

2009년 9월 (아직도 2009년이야...와우.. 2021년까지 언제가냐....)

오는 2월 인텔의 새로운 CEO로 가는 팻 갤싱어 아저씨는 인텔 CEO 에 올라가지 못한 후 2009년 디지털 정보 라이프 사이클 최강 기업 EMC로 자리를 옮긴다. 인포메이션 인프라스트럭처 프로덕트 포트폴리오 부문 대표. 외계인들을 고문하면서 만든다거나 혹은 그들이 외계인이 아닐까 하는 우스게 소리를 듣던 '인텔'이라는 회사의 CEO 후보 중 한 명이 EMC로 옮겼을 때 업계도 많이 놀랐다.

이직 전 그는 인텔의 핵심 디지털 엔터프라이즈 그룹 공동 관리자이자 CTO, 연구 책임을 맡아왔었다.

2004년 1월

근데 이 EMC는 2004년 1월 9일 지금의 클라우드 OS 의 지존급으로 불리는 VMware를 6억 3500만 달러의 헐값(?)에 인수한다. VM웨어는 1998년 2월 10일 미국 캘리포니아 주 팔로알토에서 시작되었다. 더 나은 컴퓨팅 방식을 추구하는 미래 지향적인 공학도 5명이 공동 창업했다. 그 해 말에는 20명으로 늘었다. 1999년에 워크스테이션 1.0을 선보이면서 PC에 가상 머신을 실행해 하나의 PC에서 여러 가지 운영체제를 실행할 수 있도록 지원했다. 그 후 2002년 최초의 하이퍼바이저인 ESX Server 1.5를 출시했다. 이번엔 PC가 아니라 서버에서 작동하는 제품이었다. 와우.

VM웨어의 역사 : VMware 역사 및 인터랙티브 타임라인

서버 가상화 소프트웨어 회사였고 원래 서버 업체들인 델이나 HP, 레노버, 시스코 같은 회사와 친했던 곳인데 정작 서버 업체가 인수한 게 아니라 스토리지 업체가 인수했다.

EMC는 인수를 참 기막히게 잘 하는 회사다. 2009년에는 스토리지 경쟁 회사인 넷앱이라는 회사가 데이터중복제거 분야 1위 업체인 데이터도메인을 인수합병한다고 발표했는데 데이터도메인 주주들을 향해 내가 더 쳐주겠다고 해서 그 계약을 파토내고 끝내 데이터도메인을 먹을 정도였다.

2015년 5월에 마이크로소프트웨어 편집장 할 때 EMC 초청으로 'EMC World' 행사차 미국 라스베이거스에 갔었다. 그 때 기업내부에서 운영하는 벤처캐피털 일명 CVC에 대한 전문가 섹션을 들었었다. 그는 EMC가 델이라는 회사에 매각된 이후에도 여전히 그 파트를 담당하고 있었다. 인텔캐피털 다니고 있었는데 EMC CEO가 "그만 놀고 이제는 일 좀 해"라고 해서 옮겨서 일 잘하고 있다고 농담도 던졌다.

2015년 당시 EMC의 CVC를 총괄하던 Scott Daring 수석 부사장.

CVC나 투자할 때 뭐가 중한지 궁금하면 :   대기업 자금으로 운용되는 Corporate VC (brunch.co.kr)

여튼, 서버 가상화가 한창 뜨고 있을 때 스토리지 업체가 이걸 왜 먹었을까. 서버에는 인텔 칩 적용이 너무나 당연했지만 스토리지 분야까지 그런 건 아니었다. 인텔이나 AMD 계열 CPU를 쓴다는 건 표준 제품을 쓴다는 말이다. 운영체제와 CPU를 제공하는 회사가 별도로 있다고 보면 이해하기 쉽다. 부품들도 모두 표준 제품들 사용해서 대량 생산해서 가격을 낮출 수 있다. 대신 장비 업체들은 유사한 회사들끼지 피튀기는 가격 경쟁을 해야 한다. 그래서 시장에서는 x86 서버 시장은 근수 달아서 파는 곳이라는 말이 있다. 경쟁사가 가격을 깎으면 서버 몇대 얹어줘서 방어한다는 농담 아닌 농담이 돌던 시장이다.

지금은 많이 쪼그라들었지만 유닉스 시장을 보면 IBM이 운영체제 AIX, CPU는 파워칩을 썬이 솔라리스에 스팍칩을 제공하는 형태랑 비교해보면 이해하기 쉽다. 서버 사이드는 윈도우 서버와 리눅스가 올라가고 서버들은 x86, x64 인텔, AMD 칩 결합해서 고객에게 제공하는 형태.

시스코가 자사 네트워크 장비에 별도 칩을 개발해서 계속 사용하는 것과 유사하게 스토리지 업체들도 그랬었다. 서버 가상화 지원 칩과 스토리지 가상화 지원 칩이 같은 계열이 아니었다. 고객들은 어느 쪽이던 좀 관리 편이성을 위해 좀 움직여 달라고 했지만 안 움직이고 있었다. 왜냐하면 인텔 칩을 쓰게되면 커머디티 상품으로 전락해서 수많은 제조 업체 중 하나로 전락하고 가격 싸움만 졸라해야 하기 때문이다. 시스코가 자사 장비에 별도 칩을 계속 넣는 이유가 뭐겠는가. ^.^

시스코 최대 경쟁자가 반도체 업체인 이유 | Bloter.net

그 후 서버와 스토리지를 엮어야 정보가 제대로 흘러다닐 수 있다고 보고 EMC는 인텔 칩을 활용해서 스토리지 장비를 바꾼다. 스토리지 1위 기업이 드디어 입장을 바꾸면서 세상은 달라지기 시작했다. EMC 만세!!!

이렇게 해서 서버와 스토리지 가상화 단계가 매끄럽게 연동되기 시작했다.

EMC가 VM웨어를 인수할 때 조투치 EMC 사장은 "고객들은 IT인프라 관리를 단순화시켜 주기를 원하고 있는 데 반해, 지금까지 서버와 스토리지 가상화는 본질적으로 다른 문제로 존재해 왔다"며 "EMC는 두 영역의 통합을 가속화하기 위해 VMware 인수를 결정했다"고 말했었다. 가상화의 역사를 쓴 IBM은 항상 "메인프레임이 짱"이라고 한다. ^.^

VM웨어가 서버와 스토리지 가상화 시장을 장악해 가면서 시장은 크게 요동쳤다. 운영체제 보다 가상화 제품이 더 큰 힘을 발휘할 수 있는 상황이 도래하기 시작했기 때문이다.

이 때 반격에 나선 건 마이크로소프트와 레드햇 같은 리눅스 진영이었다. 마이크로소프트도 가상화 SW를 내놓기 시작했고, 레드햇은 KVM을 밀면서 모든 권력이 VM웨어로 넘어가는 걸 막기 위해 발빠르게 움직이기 시작했다.

문제는 서버와 스토리지 가상화는 되어 있지만 정작 핵심인 네트워크 가상화 분야였다. 이 시장은 시스코가 워낙 강력한 힘을 발휘하고 있었다. 이 때 클라우드 사업자들은 네트워크 장비도 소프트웨어로 구현하는 소프트웨어 기반 네트워크(SDN)을 활용해 일반 서버로 네트워크 이슈를 처리하고 최대한의 대역폭을 쓸 수 있도록 개선해 나가기 시작했다.

SDN은 광범위한 개념으로 이를 현실화 해서 나타난 표준 인터페이스가 오픈플로우다. 이 분야 대표적인 스타트업이 네트워크 가상화 기업인 니시라다.

클라우드 시장은 운영단의 이슈가 굉장히 많다. 핵심은 물리적인 기계로부터 특정 기능들을 떼어내서 소프트웨어로 구현하려는 거다. 벤더들 입장에서는 열받는 일이지만 클라우드 서비스 사업자들이 자사의 인프라를 장비 락인 없이 사용하려다보니 자연스럽게 발전한 분야다.

오픈스택이라는 클라우드 운영을 위한 오픈소스 진영도 처음엔 스토리지 먼저 내놓고 그 다음에 다양한 게 나왔었다. 하지만 힘을 발휘하지 못한 게 네트워크 영역을 제대로 지원하지 못했기 때문이었다. 지금은 좀 많이 개선되었나.

여튼 VM웨어는 2012년 7월에 이 신흥 강자인 니시라를 전격 인수했다. 12억 6천만 달러였다. EMC가 VMware를 6억 3천만 달러에 인수했었는데 그 아무리 시간이 흘렀다고는 하지만 무려 두 배 정도 더 준 거다. 그 정도로 몸값이 치솟기도 했고, 네트워크 가상화는 무척 중요한 영역이었다.

2012년 7월 : 디데일리 백지영 기자 글  VM웨어, 네트워크 가상화까지 확장…SDN 업체 ‘니시라’ 인수 (ddaily.co.kr)

당시 발표한 보도자료에 따르면 폴 마리츠 VMware CEO는 "VMware는 서버 가상화 분야의 혁신을 선도해 왔으면, 이제 데이터센터와 클라우드 네트워킹 분야에서도 동일한 기회를 갖게 됐다"면서 "이번 인수로 네트워크 솔루션 포트폴리오를 크게 강화하고, SDN(Software Defined Network) 분야의 업계 리더로 자리매김 하게 됐다"고 자평했다.

이 당시에도 외신에서는 네트워크 거인 시스코가 니시라와 인수합병 협상을 벌였고 거의 완료되는 분위기였었다고 했었다. 그런데 그런 니시라를 저런 가격에 VM웨어가 품에 안은 거다. 역시 미래를 보는 안목과 과감한 결단이 필요하다. 기업에게 생존만이 유일한 선이라는 셈인가? 절친 시스코를 봐줄 이유는 없다. ㅎ.ㅎ

그 후 2012년 9월 EMC에 있던 팻 겔싱어 사장이 VM웨어의 CEO로 부임한다. 앞서 살펴본 바대로 정보통신 분야의 큰 헤게모니가 웹 서비스 회사로 넘어가고 있던 큰 시점이었고 개별적인 컴포넌트들이 모여서 큰 성을 이루는 데이터센터 또한 소프트웨어 정의 데이터센터로 (SDDC: Software Defined Data Center)로 탈바꿈해야 한다는 목소리가 나오던 시기였다. 클라우드 사업자들, 인터넷 사업자들의 데이터센터 운영 방식을 엔터프라이즈가 차용하기 위한 큰 그림이었다. 이제는 그들에게서 배워야 할 정도로 엔터프라이즈 파트 벤더나 사업자들은 혁신과는 거리가 멀었다고 해도 과언이 아니었다.

Software-defined data center - Wikipedia

EMC는 미국 동부에 있었고, VM웨어는 서부 실리콘밸리에 본사를 두고 있다. 팻 갤싱어 아저씨도 본고장이 서부였기도 했고, 기술과 학력 관련 인맥들도 그쪽에 많았으니까 그리고 돌아간 게 맞을지도 모르겠다.

그가 부임한 후 이번 인텔로 옮기기까지 VM웨어의 기업 가치는 두 배 이상 올랐고, 지난해 말 미국 투자 관련된 회사들이 마이크로소프트가 만약 살 수 있는 기업 리스트에 VM웨어가 있었는데 대략 추정 금액만 100조원이었다. 상상이 안가지만 그렇다. 아래 기업들이 MS가 살 수 있는 기업리스트들이다.

Mmhmm

LoopUp

Superhuman

Automation Anywhere

Dropbox

UiPath

Crowdstrike

Twilio

DocuSign

Workday

AutoDesk

VMware

Salesforce

도커와 컨테이너 그리고 쿠퍼네티스...게임의 룰을 바꾸다

가상화 시장을 모두 평정해 가는 VM웨어였지만 시장은 다시 한번 요동친다. 도커라는 컨테이너 기반 이슈가 등장했기 때문이다. Docker는 애플리케이션을 신속하게 구축, 테스트, 배포할 수 있는 소프트웨어 플랫폼이다. Docker는 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징하며, 이 컨테이너는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 모든 것이 포함되어 있다.

설명 : Docker란 무엇입니까? | AWS (amazon.com)

출처 : 도커 웹 사이트

클라우드 환경으로 인프라가 바뀌면서 앱을 개발하고 배포하고 바로 바로 수정하고 서비스를 지속적으로 변모시켜야 하는데 기존 구조로는 이게 무척 힘들었다. 그래서 우리가 제품을 해외에 수출할 때 컨테이너에 넣어서 량도 늘리고 배에 엄청 많이 선적할 수 있게 하듯이 테크 영역에서도 개별 모듈별로 잘게 찢어내서 재사용성도 늘리고 손쉽게 왔다갔다 하는 형태로 바뀌었다.

2014년
이 시장이 뜨자 구글이 갑자기 수많은 컨테이너들을 통합 관리할 수 있는 쿠버네티스를 오픈소스SW로 풀었다.

관련 링크 : Kubernetes

자신들의 서비스 운영 노하우가 들어간 형태라서 전세계 엔지니어들이 환호하고 사실상의 이 분야 표준으로 자리잡았다.

하지만 구글이 간과한 게 하나 있었다.

구글은 엔터프라이즈 영역에서는 젬병이었다. (이 대목에 대해서 구글 관계자들이 너무 서운한 듯 해서 그 후 구글은 달라지고 안토스(컨테이너 관리 서비스)를 내놓고 엔터프라이즈 시장 열심히 하고 있다고 추가합니다. 2019년 4월이 일이다. ^.^)

Making hybrid- and multi-cloud computing a reality | Google Cloud Blog

2019년 4월 10일 구글 클라우드 행사에서 순다 피차이 ceo가 안토스 런칭을 알리고 있다. 출처 : 구글

(이 발표를 듣고 구글코리아 클라우드 하는 분에게 연락해서 이것 좀 설명해 달라고 했다. 뭔가 재미난 거 같고, 엔터르라이즈 영역으로 들어오는 핵심 같았기 때문이다. 그 분은 흔쾌히 좋다고 했고, 자기 말고 내부에서 설명할 수 있는 이가 또 있는지 찾겠다고 했다. 다만 그들은 홍보팀의 허락을 받지 않고 미디어 만났다가는 짤리거나 불이익이 있어서 홍보라인을 통해서 정식 절차를 밟겠다고 했다. 하지만 홍보팀에서 돌아온 답변은 이 건에 대해 이야기해줄 사람이 없다는 거였다. 내가 그 다음부터는 구글이 뭘 발표하던 관심을 가지고 보기는 하지만 그냥 쌩까기로 했다. 뭐 피차 아쉬울 게 없으니까. 그래서 난 구글이 엔터프라이즈에서 죽을 쑨다는 소식을 들을 때면 괜히 신난다. 쌤통이다 이놈들아 이러면서. ㅎ.ㅎ 물론 그들은 오라클 출신을 클라우드 수장으로 뽑아서 엔터프라이즈 시장으로 들어가기 위해 있고, 한국도 엔터프라이즈 분야 경험 많은 분을 뽑아서 대표로 앉히고 일하고 있다. 이 자리를 빌어 미안하지만 저 문구는 빼기는 싫다. ^.^. 다만 구글 GA 데이터를 활용해서 세상에 없는 멋진 분석 서비스를 만들고 있으니 퉁치면 좋을 거 같다. 물론 기반 인프라는 아마존웹서비스지만. ㅎ.ㅎ )

이걸 노칠리 없는 회사가 바로 레드햇이었다. 레드햇은 쿠베네티스 오픈소스 재단 프로젝트에 구글 다음으로 많은 인력을 때려 박으며 힘을 싣는다. 엔터프라이즈 고객의 요구에 대응할 제품과 서비스 지원 체계가 구글에는 없었다. 가뜩이나 쿠버네티스는 오픈소스 였고, 이미 제이보스를 비롯해서 오픈시피트를 통해 엔터프라이즈 개발과 운영 환경에서 강력한 팬층을 두고 있었기에 많은 기업들과 협력을 이어나갔다.

레드햇은 오픈시프트를 통해서 이런 영역에 대응하면서 동시에 2018년 레드햇은 쿠버네티스와 컨테이너 기반 네이티브 솔루션 개발 플랫폼 리더 회사인 코어OS를 전격 인수했다. 그리고 2019년 레드햇 엔터프라이즈 리눅스 버전 8을 코어OS의 운영체제로 탑재시키면서 완전한 통합을 이뤄냈다.

[Redhat Summit 2019] ② 클라우드 시대 최강 OS, 5년간 진화···레드햇 엔터프라이즈 리눅스 8 출시 – 테크수다 (techsuda.com)

[Redhat Summit 2019] ⑦ 오픈하이브리드 클라우드 핵심 키 ‘오픈시프트 4’ – 테크수다 (techsuda.com)

[Redhat Summit 2019] ③ 짐 화이트허스트 CEO, “당신의 가능성을 확장하라” – 테크수다 (techsuda.com)

[테크수다] MS 사티아 나델라 CEO가 레드햇 서밋에 참석한 까닭은 (donga.com)

엔터프라이즈 시장은 가상화 이슈에서 갑자기 컨테이너 이슈로 확 넘어갔다. VM웨어 입장에서는 가상화 시장에 만족하다가 한방에 갈 수 있었다. 그래서 2018년 11월, 구글의 쿠버네티스 개발팀 출신들이 나와서 만든 햅티오를 인수한다. 그리고 1년간 쿠버네티스 인수 기업만 9개가 될 정도로 이 분야에 막대한 투자를 단행하고 있다.

바이라인네트워크 심재석 기자 글 : VM웨어가 최근 1년간 인수한 9개의 기술기업 - Byline Network

참, 2015년 델은 70조원에 EMC를 인수하는 승부수를 던졌다. 거기에 따려온 기업이 바로 VM웨어였다. 이렇게 큰 금액의 배팅이 가능한 이유는 2013년 2월에 델은 상장을 자진 폐지했다.

B2B 기업으로 사업 영역을 변모시켜야 하는데 기존 주주들의 태클 때문에 할 수 없다는 판단을 내렸다. 당시 돈이 필요했던 델에 2조원 넘게 돈을 빌려준 게 마이크로소프트다. 마이크로소프트 입장에서 델 같은 하드웨어 업체가 망하는 건 그다지 좋은 일이 아니다.

마이클 델의 승부수는 통했고, 자신들의 전략에 따라 과감하게 EMC도 인수했고, EMC가 인수해서 가지고 있었던 VM웨어까지 품에 안았다. 지금 그 빚 갚느라 졸라 고생중이긴 할텐데 클라우드 시장이 뜨면서 한시름 놓고 있는지 모르겠다. 그래서 VM웨어 상장 혹은 매각을 검토하는지도 모르겠다.

델의 EMC 인수에 가장 충격을 받은 기업은 레드햇이었다. 델은 서버 업체로 레드햇과 경쟁 관계인 VM웨어 모두에게 엄청난 고객이었다. 델 장비에 미리 최적화해서 기업들에게 전달되기 때문이었는데 델이 EMC를 사면서 VM웨어를 품었으니 당연히 그쪽으로 기울지 않겠느냐는 거였다. 당시 레드햇 내부에서는 상당히 충격을 받았는데 직원들이 레드햇도 HPE 같은 기업에 팔면 안되는냐는 이야기가 돌았다고 한다. 하지만 지금 IBM에 사장을 하는 분이 레드햇 제품들이 죄다 오픈소스라서 팔려도 유사한 회사가 똑같은 전략을 펼치면 또 다른 레드햇이 나온다면서 누가 사겠느냐는 이야기를 했다고 한다.

근데 IBM에 그 회사를 팔았다. 대단하다. ^.^

옆으로 살짝 빠져서 VM웨어는 원래 상용 소프트웨어 기업이다. 이런 회사는 소프트웨어 소스를 공개하지 않는다. 하지만 시장이 오픈소스 생태계를 강력히 지지하고 있었기에 VM웨어도 이 대열에 합류하기 시작한다. 어차피 기업들은 사용할 애플리케이션을 개발하고 배포하고 수정하고 삭제하고 관리하는 일을 반복적으로 진행한다.

이런 개발 영역을 PaaS(Platform as a Service) 라고 하는데 VM웨어와 레드햇은 이곳에서 경쟁 관계다. VM웨어는 클라우드 파운드리라는 오픈소스 PaaS 프로젝트를 2011년부터 진행하면서 오픈소스 문화를 받아들이기 시작했다. 레드햇의 브랜드가 오픈시프트.

VM웨어는 모 회사인 EMC가 인수한 피보탈도 품에 안으면서 이 영역을 강화했고 앞서 밝힌 쿠버네티스와 컨테이너 기반 기술 기업들을 대거 인수합병하면서 최근에는 ‘탄주’라는 브랜드로 밀고 있다.

국내는 클라우드 전쟁이 여전히 서버나 스토리지를 대는 인프라 영역이라고 생각들을 많이 하지만 진정한 싸움은 PaaS 영역이다. 마이크로소프트가 썩어도 준치였다가 지금은 미운 오리 새끼인 백조가 된 것도 강력한 개발 플랫폼을 가지고 있기 떼문이다. 그 위에 오피스부터 죄다 만들어서 배포를 하니 날라다닌다.

팻 갤릿어 CEO은 올해 온라인으로 진행된 VM웨어 월드 행사에서 5G 분야 인프라를 만들 때 삼성전자와 협력하고 싶다는 말도 했었다. 이제 통신 인프라 장비에도 모두 저런 플랫폼을 활용해 서비스를 올리고 제어하고 관리한다. 엣지 컴퓨팅 이슈인데 거기에 킬러앱들을 얼마나 빨리 배포하고 수정하고 관리해야 하니까 IT 진영 기술이 텔코에 다 녹아들어가는 거다.

통신사들의 5G 인프라 설계에 삼성전자나 노키아, 에릭슨, 화웨이 같은 장비 업체들이 함께하는데 이 영역에 레드햇이나 VM웨어 같은 기업들의 진출도 활발하다.

그렇기 때문에 IBM이 레드햇을 340억 달러 우리돈으로 거의 40조원에 인수하면서 부활을 꿈꾸고 있는 거고, 레드햇의 가장 강력한 경쟁자는 VM웨어였다.

한 페친은 팻 갤싱어 전 VM웨어 CEO에 대해 ‘자동차 부품 회사에 부임했다가 완전한 완성차 업체로 탈바꿈시킨 분’이라고 평했다.

클라우드 사업자들의 반도체 사랑

클라우드 사업자들은 전세계 테크 영역 전반에 영항을 미치고 있다. 앞선 내용들은 일단 빅데이터 이슈, 그리고 데이터센터 운영 이슈, 서비스 개발과 배포, 삭제와 관련한 이슈, 그리고 이제는 반도체 설계 쪽까지 뛰어들었다.

클라우드 사업자들이 ARM 칩 설계를 하고 별도 서버 상품을 내놓고 있다. 구글은 CPU계 오픈소스인 RISC-V 프로젝트에 뛰어드는 것도 특정 벤더에 휘들리지 않고 협상력을 높이기 위해서다. 그리고 수많은 업종별로 특화된 반도체 칩을 써서 운영 효율을 극대화하고 가격 경쟁력을 지속적으로 가져가기 위해서다.

2011년 10월에 삼성전자의 서버 칩 시장도전을 응원한적이 있다. 난 반도체 담당 기자는 아니었다. 기업용 소프트웨어 쪽 취재를 하다가 스토리지 소프트웨어 하다가 서버 사이드까지 넘어갔을 뿐 잘 모른다. 물론 인텔 서버 담당자 분과는 친하다. 이게 뭐야. ^.^ 아, 난 메모리는 줸병이고 CPU는 어깨너머로 살짝 배운 정도라고 하는 게 좋겠다.

[IT수다떨기] 삼성의 서버 재도전을 기대하며 | Bloter.net

엑시노스를 활용해 서버 시장에 도전장을 내밀어 달라는 거였다. 메모리를 잘하니까 그 돈으로 저 파트도 지원 좀 해달라는 거였는데 그들의 노력이 성과로 이어지지는 않은 거 같다. 며칠 전 엑시노스 is back 행사를 보는데 좀 짠했다. 삼성전자는 구글 압력에 다양한 서비스를 포기하면서 AI 칩 설계도 상당히 늦었다. 폰에 AI 칩이 들어가면 왜 좋은지는 저 아래에 붙여 놓겠다. 끝까지 읽어주기 바랍니다. ㅋㅋㅋ

당시 취재할 때 모바일 기기 600대 마다 웹서버 1 대가 필요했다고 했다.

ARM 서버는 들어오더라도 웹서버나 CDN 용, 빅데이터 관련 분야에 우선 적용될 확율이 높고 고객들의 비용을 상당 부분 낮출 수 있을 것으로 봤다. 2020년 12월에 진행된 AWS의 리인벤트에서 이 회사는 다양한 ARM 기반 칩 탑재한 컴퓨팅 서비스를 선보였다.

AWS는 2015년 안나푸르나랩스라는 ARM 기반 칩 업체를 인수했고 이를 통해 그래비톤 프로세서를 만들었고, 그래비톤 2도 내놨다. 인텔 기반 장비에서 돌아가는 서비스들과 비교해서 40% 이상 성능이 높다고 강조했다. 올해는 머신러닝 모델 학습에 특화된 프로세서도 트레이니엄이라는 이름으로 출시한다. 이건 GPU 인스턴스 대비 45% 낮은 비용으로 30% 높은 처리량을 보장한다고 한다. 그렇다고 해서 엔비디아 GPU 망한다는 소리는 안나온다. ^.^

클라우드 업체들은 다양한 업무와 서비스를 제공하고 해당 고객들도 다양하니 이런 애플리케이션 특성에 맞는 전용 칩을 탑재한 컴퓨팅 인프라를 만들어서 제공하기에 유리하다. 시간이 지나면 이 성능들은 계속해서 진화할 거고 최고 성능 파트는 기술적인 한계로 인해서 도망가지 못하고 정체될 때 따라잡을 수 있을 거 같은 상상을 할 수 있다.

인텔이 2014년 3월에 더그 커팅이 있는 클라우데라에 투자를 했다. 칩 업체가 왜? 인텔의 x86 프로세서에 맞춰 하둡 소프트웨어를 튜닝하기 위해서였다. 특정 용도의 애플리케이션에 최적화된 시스템을 만들기 위해 미리 투자를 하는거다. 삼성전자나 SK하이닉스 같은 회사들도 빅데이터 머신을 만들고 싶어한다. 여기 메모리 만드는 귀신들이 있는 곳인데 정작 이런 애플리케이션은 잘 모르는거지. 이곳 저곳 스타트업에 투자를 하기도 하는데 큰 성과를 냈다는 소리는 못들었다.

예전에 SK텔레콤 을지로 빌딩에 별동 부대팀이 만들어져서 뭔가 뚝딱뚝딱한다고 했었는데 잘 되었나 모르겠다. 국내 기업 그루터가 메인 스폰인 '타조'는 자바로 만들어졌는데 삼성전자 종기원 인력과 함께 C로 포팅해서 삼성전자 메모리 기반으로 빅데이터 머신 만드는 논문까지 냈고 해외 학회에도 실렸었는데 삼성전자 반도체 하는 분들은 자신들이 너무 잘나가는 이들이다보니 한국엔 잘나가는 소프트웨어 인력들이 없는걸로 생각하고 더 이상 협력을 하지 않았다. 해외 가서는 그런 기업에 엄청 쏟아넣었으면서. 무척 아쉬운 일이다.

여튼 그렇다.

클라우드 기업들이 반도체에 욕심을 내는 건 특정 벤더에 휘둘리기 싫기 때문이다. 하지만 인텔과의 협력은 가장 디폴트다.

AWS가 새로운 ARM 서버 칩을 활용한 다양한 서버  스토리지 인스턴스를 제공하고 있지만 인텔과의 협력도 항상 잘하고 있다.

관련 회사 협력 내용. : AWS와 인텔 (amazon.com)

요즘 목에 기부스를 하고 절대 고개를 숙이지 않는 기업이 있는데 바로 엔비디아다. 여기 GPU 클라우드 사업자들이 엄청 사서 서비스 한다. 엔비디아는 쿠다라는 핵심 전략을 통해 AI가 세상의 중심에 서도록 했다. AI 파트는 내가 잘 모르는 분야니 전문가들의 글을 참고하시기 바란다. 쿠다는 2007년 2월 15일 처음 공개되었다. CUDA는 그래픽 처리 장치에서 수행하는 병렬 처리 알고리즘을 산업용 표준언어를 사용해 작성하도록 하는 GPGPU 기술이다. 한마디로 인텔이나 AMD CPU가 병렬 처리가능하도록 프로그래밍 할 수 있듯이 그래픽 카드에서도 외부 개발자들이 이런 병렬처리 할 수 있도록 한거라고 보면 된다. 이게 신경망 연구하던 AI 연구자들을 만나서 세상을 바꾸고 있다.

CUDA - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

그런데 인공지능 파트 중 추론 파트는 굳이 이런 비싼 GPU 인스턴스를 쓸 이유가 없다는 걸 알게된 구글은 TPU라는 별도 ASIC을 만든다. 이거 활용해서 화려하게 세상에 등장했는데 우리가 다 잘아는 이세돌 9단과 바둑 대결을 펼쳤던 알파고다. 구글이 인수했던 영국 딥마인드의 알파고는 저 TPU 톻해 계산해서 둔다. 지금은 버전 3까지 나왔다.

마이크로소프트도 2010년부터 인텔 알테라 FPGA 사용해서 칩을 만들어 사용하고 있다. 프로젝트 명 '캐터펄트'. 빙 검색엔진 랭킹 알고리즘부터 이미지인식, 네트워크 병목 처리 등 다양한 용도로 활용한다. 구글이 TPU 들어간 알파고로 세상을 떠들썩하게 하니 자기네 고객 행사에서 우리도 있어 라고 하던데 진작에 자랑 좀 하지. ^.^

이제 더 이상 쓸 수가 없다. 여기에 중국 알리바바클라우드 이야기까지 하면 정말 ㅎ.ㅎ 중국도 텐센트, 알리바바클라우드, 바이두 있고 저 회사들 중국 칭화대학과 베이징 대학 천재들이 만든 FPGA 칩 회사랑 졸라 같이 일하고 자체 칩도 만들고 서버도 하고 그런다. 미국이 자일링스나 인텔 알테라의 중국 수출 금지 시키지 않는 거 보면 신기하다. ㅎ.ㅎ

한국엔 이런 회사들 손에 꼽는다. 아마 대학교 교수들이 준비도 안하고 있다가 이거 뜬다고 졸라 연구자금 가져다가 쓰고 있을거다. ETRI도 하지 않을까 싶다. 문제는 이들 연구가 성과를 낼지는 잘 모르겠지만 한국에서 성공하려면 네이버나 카카오랑 졸라 긴밀히 협력해야 한다. 네이버나 카카오 안에도 반도체 선수들이 많아야 한다. 웹 서비스 없는 저런 칩 연구는 허당이다.

이렇게 조금 과하다 할 정도로 긴 글을 쓰는 이유는 나도 모처럼 정리가 필요했기 때문이기도 하지만 또 한편, 지금은 소프트웨어가 다 먹는 시대이고 이런 소프트웨어의 변화들은 자연스럽게 칩의 디자인 혹은 미래 쏟아질 다양한 칩들과 긴밀히 연계될 수밖에 없는데 이 양쪽을 가장 잘 아는 인물이 팻 갤싱어이고 그가 다시 인텔 CEO로 돌아가서 천재들과 함께 전열을 정비하고 돌진하면 지금처럼 넋놓고 당하지는 않을 거라는 생각이 들었기 때문이다.

반도체 칩을 설계하고 만드는 이들 중 이렇게 클라우드가 가지고 온 변화, 그 속에서 소프트웨어가 모든 걸 다 집어 삼키는 걸 아는 이들은 많지 않다. 양쪽을 모두 경험하기가 쉽지는 않다.

그가 복귀 인사말에서 밝힌대로 CPU와 다양한 xPU 들이 쏟아지는 시대, 그는 인텔의 부활 신호탄을 쏘아올릴까?

1. 마이크로소프트 빌게이츠가 반독점 이슈로 CEO에서 물러나면서 스카웃하기 위해 통째로 회사를 산 곳이 있다. 바로 8살 때부터 소프트웨어 개발했었다는 레이오지라는 분이었다. 그는 오픈소스를 사랑하는 이였기에 당시 많은 이들이 놀랐다. 발머가 CEO를 하고 그가 기술총괄을하고.

그는 마이크로소프트 총기술책임으로 있으면서 마이크로소프트 천재 개발자들에게 오픈소스 문화를 받아들이라고 강제하지 않았다. 다만 마이크로소프트 개발자들이 지속적으로 제품을 혁신해 오면서 기업내 핵심 업무 시스템으로 만들었는데 고객들은 리눅스나 유닉스 같은 환경과 상호 운영성 측면에서 지원을 요구하고 있는데 이걸 해야할까 말아야 할까라고 접근했다.

당연히 지원해야 하는거지. 그 때부터 마이크로소프트가 미친  소리들으면서 리눅스지원부터 오픈소스 지원에 엄청나게 투자를 하고 움직였다. 2005년 경이다. 방향이 정해지자 그들은 무섭게 변하기 시작했다. 마이크로소프트가 애저 클라우드 사업을 시작한 건 2008년이다. 마이크로소프트 내부에서 인터넷 서비스 운영 시스템 파트를 담당했던 이가 지금의 MS CEO다. 그가 하루 아침에 모든 걸 다 바꾼 것처럼 포장하지만 거대한 방향을 바꾸고 물줄기를 내는 이들은 그 전부터 존재한다.

마이크로소프트 팀즈가 잘나가는 거보니가 갑자기 레이오지 아저씨가 생각났다. 로터스노츠 만든 분이고, MS 인수 당시에는 그루브 네트워크에 있었다. 그러고 보면 SW의 무덤으로 불리는 IBM은 로터스 노츠 인수하고 통합 커뮤니케잇녀과 협업 시장을 호령하는 듯 하다가 망가뜨리고 끝내 인도 회사에 모두 넘긴거 보면 참 신기하기도 하다. 역시 SW의 무덤 ^.^

아, 왜 이야기를 하냐고? 인텔의 전설이 그간 힘겹게 인텔을 끌고 온 동료들에게 비전을 제시하고 뛰겠다고 말했다. 함께 그 여정에 나서보자고 인사말을 했다. 자신의 고향에 왔다면서. 조롱당하던 그 천재들이 전의를 불태우고 있을거다. 그래 우리의 전설과 함께 다시 한번 전설을 만들어보자.

우리나라 반도체 분야 종사자들도 그렇게 해서 그 어려운 역경을 이겨내고 지금 반열에 오른 거 아닌가. 엔지니어들에게 열정을 불어넣으면 끝이지 뭐. ㅎ.ㅎ

2. 인텔도 고급형 GPU 시장에 투자를 하기 시작했다. 엔비디아의 쿠다 생태계가 AI 시장에서 독보적인 지위를 확보하고 있고, 그 여세를 몰아 GPU 장착된 별도 장비까지 만들어서 뛰어들고 있는데 이 분이 가면 그 전쟁 또한 멋지게 벌어질 거 같다. AMD가 경쟁자가 아니라 엔비디아를 어케 누를지가 관전 포인트가 아닐까 싶다. 엔비디아 이야기를 넣으려고 했지만 아주 예전에 쓴 글이 있어서 패스하기로 했다. ARM 인수 시점에 쓴 글이었다.

링크 : [테크] GPU + AI + 네트워킹 (멜라녹스) + ARM = 엔비디아?

https://www.facebook.com/eyeball91/posts/10223763674145299

NVIDIA Korea 엔비디아가 Arm 을 소뱅 품에서 가져오나 보다. 무려 47조원 매각 협상. 약 35조 1800억원에 인수했었으니 무려 4년여 만에 12조원을 더 받고 넘기는. 이 금액으로 결정되면 소뱅은 정말 남는 장사하는 셈이다.

소뱅 손정의 회장은 '기술'에 투자하는 사람이 아니다. 그는 서비스 업에 투자를 했지 기술에 투자히지 않았다. 소뱅이 연구개발에 별 관심이 없다는 건 알 사람은 다 아는 사실이다. IBM 왓슨이 인공지능인 줄 알고 투자한 걸 보면서 난 그가 정말 모른다고 생각했다. ^.^ 초기 왓슨이니 지금은 좀 바뀌었나. ㅎ.ㅎ

그런 그가 처음으로 기술에 투자했는데 매각 금액으로만 본다면 성공한 거지만 그가 ARM을 인수하고 어떤 세상이 도래할 거라고 꿈을 이야기했던 과거의 말을 보면 그닥 성공하지 않은 건지도 모를 일이다.

아시안인으로 테크 역사에 이만큼 기여하고 관여한 이가 있나 싶기도 하다.

아시아계 인사로 이제 새로운 테크 역사의 중심에 젠슨 황 엔비디아 회장이 있다. 이 양반이 꿈꾸는 테크 세상 이야기는 아래 엔비디아 코리아 기술 블로그를 읽어보시면 된다.

CPU도 GPU도 아닌 DPU가 뭔지 아시나요?

https://blogs.nvidia.co.kr/.../whats-a-dpu-data.../

여튼 엔비디아 젠슨 황 회장은 2019년 3월 멜라녹스를 8조 5000억원 (70억 달러)에 인수한다고 밝혔고 2020년 4월 전세계 모든 정부 승인을 받고 완전히 품에 안았다.

이 회사를 산 건 신의 한 수이면서 동시에 미래를 산거라고 볼 수 있다. 마이크로소프트나 인텔 모두가 탐내던 회사였다.

고성능컴퓨팅(HPC) 클러스터용 네트워크 규격인 '인피니밴드(InfiniBand)' 및 초고속 이더넷용 어댑터, 스위치, 소프트웨어 및 케이블 등을 제공하는 이스라엘 기반 네트워크 칩 전문기업이다.

데이터나 정보를 찾을 때 인피니밴드라고 서버나 스토리지간 연결 지점에서 엄청난 병목현상이 일어나는데 이 분야에서 이걸 해결하겠다고 나온 기술이다. 초당 100GB를 보내는 건 우습고 200G까지 가능하고 요즘은 더 빨라졌을거다.

오라클이 HP와 친할 때 데이터머신(DB + HW) 인 엑사데이터를 만들 때 인피니밴드로 서버 스토리지 연결하면서 졸라 빠르다고 자랑했고 썬을 인수하면서 엔터프라이즈 분야 '아이폰'을 만들겠다면서 통합형 장비를 만들어내고 있다.

자기네 클라우드에 들어가는 것들을 이렇게 일체형으로 만들어서 쓰고 이런 장비를 고객 사이드에도 가져다 놓는다. 또 올플래시 장비와 인프라에도 인피니밴드로 무장해놨다. 역시 DB를 하는 회사니 물리적인 문제가 어디에 있는지 정확히 알고 해결했다. ^.^ 그래도 클라우드 늦은 건 용서가 안됩니다용.

마이크로소프트가 1년에 한번 행사할 때마다 FPGA 통해서 네트워크 병목 이슈를 해결하는 칩을 만들었고 이런 추론 칩이 구글의 TPU를 훨씬 능가한다고 주장하고 있을 정도로 클라우드 사업자들도 네트워크 병목 현상을 해결하려고 반도체 분야에 졸라 투자하고 있다. 마이크로소프트는 전세계 데이터센터 연결을 위해 광장비 회사에 투자하고 있고, 센터 내 장비간 연결은 멜라녹스 통해서 해결하려고 했는데 엔비디아에 뺐겨 버렸다.

이 말을 뒤집어 보면 이제 전세계 클라우드 시장을 호령하고 절대로 이제 후발주자에게 그 자리를 넘겨주지 않을 AWS, MS Azure, GCP, 알리바바클라우드 가 반도체 칩 설계와 새로운 장비의 진화까지 주도할거라는 사실이다.

엔비디아 입장에서는 이걸 통해서 개인용에서 AI 회사로 탈바꿈하는데 성공한 데 이어 이제는 데이터센터 시장 자체로 더 깊숙히 들어갈 수 있게 되었다.

여기서 이제 반도체 설계 회사의 주인까지 꿈꾼다. 전기자동차에 들어가는 칩을 설계하면서 자기네 그래픽 카드 기술과 초기부터 협력해 나갈 수 있다. ARM과 협력해 일하는 애플 같은 회사가 어떤 대응을 할지도 궁금하다.

삼성전자 시스템 반도체 입장에서는 어쩌면 호재가 될지도 모르겠다. 얼마 전 엔비디아 새로운 게이밍용 제품 제조를 수주하면서 엔비디아와 친해졌으니 향후 엔비디아와 관계 여부에 따라서 스마트자동차던 뭐던 협력을 하면서 관련 칩을 생산해줄 수도 있기 때문이다.

그래서 비메모리를 포기한 건가? 그래서 퀄텀도 삼성전자에 맡기고?

여튼, 엔비디아는 이거 사면 정말 멋지긴 한데. 금액이 47조원이나 들어가기 때문에 초기에는 승자의 저주 이야기가 나오지 말라는 법이 없다. 장기적으로는 괜찮은 거 같기도 하고. 삼성전자도 살짝 엔비디아 살 때 자금 좀 지원하면서 걸쳐주면 좋지 않을까 싶다.

애플이 가져가서 혼자 갖고 공개 안하는 것보다는 좋은 건 확실한거 같다. 그러나 저러나 애플은 언제 엔비디아 그래픽 카드 써줄건지 궁금하다. ^.^ 엔비디아 주식은 더 올라갈텐데.

3. CES 2021에서 인텔은 이스라엘 모빌아이 CEO가 나와서 신제품과 토론에 나섰다. 지금 보니 왜 그런지 알겠다.

4. 많은 이들이 지난 2년 담당한 CFO를 욕하던데 이해불가다. 그는 인텔을 이렇게 망까뜨린 주범인 이전 CEO가 내부 직원과 불륜 때문에 갑자기 낙마하면서 임시 방편으로 회사를 맡아왔었다. 그는 그의 역할을 잘 했고, 투자도 제대로 단행한 거 같다. 그가 망가뜨린 게 아니라 그 전 CEO가 망가뜨렸다. ^.^ 그러니 재무담당이 뭔 반도체 회사 CEO야 라는 소리를 말자. 정작 반도체 회사 망가뜨린 건 CFO가 아니었고 엔지니어 출신이었다. ^.^ 브라이언 그리자니크다.

5. 한 페친에 따르면 팻 갤싱어 CEO는 메모리 사업부서를 SK하이닉스에 판 걸 후회할지 모른다고 했다. 그가 만약 CEO였다면 안팔았을거라는 건데. 5% 점유율을 25%까지 끌어올렸는데 그 알짜를 넘기다니 라는 소리를 했다. 인텔은 기업용 SSD 시장에서 확실한 기반을 다지고 있었고, 마이크론과 새로운 구조로 최고사양 서버에 들어가는 메모리인듯 아닌듯한 걸 만들어서 제공한다. SK하이닉스가 제대로 잘 인수해서 대박을 내주길 응원해보자. ^.^

6.

[테크]    아자르 서비스를 제공하는 하이퍼커넥트    정강식 (Jung Kangsik) CTO를 태깅했다. 애플 아이폰 11 시리즈에 들어가는 반도체 분야 중 AI/ML 관련 글들이 많이 없었기 때문입니다.

바쁘신 와중에도 댓글을 달아줬는데 그 내용이 좋아서 별도로 다시 빼서 이렇게 공유합니다.

https://developer.apple.com/kr/machine-learning/core-ml/

아래는 정 CTO의 글. ......

하하 애플 발표 보고 아이폰11의 A13 프로세서와 CoreML3 관련해 찾아본걸 어떻게 아시고 태그를..

짤게 댓글로 설명을 남겨보면,

- ML전용 프로세서인 Neural Engine의 경우 A11(아이폰X)에서 A12(아이폰Xs)로 넘어오면서 8배 성능향상이 있었던 반면, 이번에 A13의 경우 A12에 비해서 2배도 아니고 겨우 20%만 성능이 향상되었습니다.

- 애플이 AI/ML에 올인하고 있는 상황에서 20%의 성능향상만 있다면 실망스러울 수 있는데요. 다행히도 Neural Engine 성능향상이 미미한 반면, AMX라는 이름의 matrix 연산 전용 co-processor를 도입하여 matrix 연산 성능이 기존대비 6배(!) 향상되었다고 합니다.

- 그런데 Neural Engine을 비롯한 NPU 들이 하는게 matrix 연산 가속인데 왜 별도의 co-processor까지 필요할까요? 조사해보니 Neural Engine은 8-bit 정수 연산에 최적화 되어 있는 반면, AMX는 32-bit 등의 실수 연산에 최적화 되어 있기 때문에 모바일에서도 복잡한 ML 모델을 성능타협 없이 구동할 수 있게 됩니다.

(전문적인 설명을 하자면 quantization 하지 않은 ML모델도 모바일에서 빠르게 돌릴 수 있게 되는거죠)

- ML연산에 쓰일 수 있는 자원이 CPU, AMX, GPU, Neural Engine 4가지나 되다보니 개발자 입장에서는 무얼 써야 하는지 결정하는게 참어려운데, CoreML3은 자동으로 최적인 자원을 판단해서 최고의 속도가 나올 수 있도록 한다고 합니다. 특히 소프트웨어 적으로만 동작하는게 아니라 A13 자체에 ML Controller가 하드웨어 수준에서 구현되어 있습니다.

- 결과적으로 아이폰11은 (모바일에선) 전례없는 수준의 ML 경험을 제공할 수 있을 것입니다. 하이퍼커넥트는 이런 기회를 최대한 이용하는 ML 기반 제품을 개발하고 있으니 기대해 주세요! [테크수다 Techsuda]