AWS 혁신의 10년…'클라우드컴퓨팅의 새로운 시대가 열렸다'
3월 14일은 남자가 초콜릿을 선물하며 사랑을 고백하는 날이기도 하지만 또 다른 날이기도 하다. 바로 클라우드 컴퓨팅(Cloud Computing) 역사에 무척 중요한 날이다. 아마존웹서비스(AWS : Amazon Web Services) S3(Simple Storage Service)를 출시한 날이기 때문이다. 때마침 제임스 해밀턴(James Hamilton) 아마존웹서비스 부사장 겸 수석 엔지니어가 블로그에 '혁신의 10년(A Decade of Innovation)'이라는 글을 올렸다. 이 글을 번역해 이곳에 공유하는 것도 의미가 있을 것 같다는 판단을 내렸다. 이세돌 9단과 구글 딥마인드 알파고(AlphaGO)와 대국에 모든 이목이 쏠린 상황에서 클라우드 컴퓨팅 역사의 한 획은 그은 날도 잊지 말아주시길 바란다. 편집자 주 : 도안구 테크수다 기자 eyeball@techsuda.com
2006년 3월 14일은 컴퓨팅 분야에서 새로운 시대가 열린 날이다. 바로 아마존웹서비스가 S3(Simple Storage Service)를 출시한 날이다. 엄밀히 말하면 SQS(Simple Queuing Service)가 한 발 먼저 출시되었지만, 클라우드 컴퓨팅에 있어 진정한 첫 도화선 역할을 한 것은 다름 아닌 S3의 출시였다.
아직도 그 날의 기억이 생생하다. 당시 필자는 프론트브릿지 테크놀로지(Frontbridge Technologies) 의 총괄 매니저로 근무하고 있었다. 이 회사는 마이크로소프트의 자회사로 클라우드로 호스팅된 스팸 이메일 차단, 악성코드 퇴치 서비스, 아카이빙 서비스를 제공하는 회사였다. 따라서, 당시 클라우드 호스팅 서비스가 제공하는 고객 가치를 이미 이해하고 있다고 생각했고, 고객이 프로비저닝 속도와 저비용에 크게 매력을 느낀다는 것을 잘 알고 있었다. 여러 면에서 봤을 때 클라우드 호스팅이 미래의 주역임을 확신하고 있는 사람들 중 하나였다.
그럼에도 불구하고 S3 발표는 내 눈을 뜨게 한 놀라운 사건이었다. 기술 산업 분야에서는 하루도 빠짐없이 수백 개의 새로운 뉴스를 발표하지만 나는 별로 신경을 쓰지 않는다. 대부분의 발표 내용이 크게 흥미롭지 않기 때문이다. 그러나 S3 발표는 판도를 바꾸는 전환점이 되었다. 무엇보다 충격적인 것은 서비스의 비용이었다. 불필요하게 많은 공간만 차지하는 멀티-데이터센터(multi-data center)의 비용과 비교할 때 그 비용이 거의 100분의 1 수준에 불과했기 때문이었다. 그보다 더 놀라운 점은 신용카드 하나만 있으면 스토리지를 제공받는 데 아무 문제가 없다는 것이었다. 예산 승인을 위한 신청 절차, 제안 요청서, 벤더 선정 절차, 벤더 협상, 그리고 데이터센터 공간 등 그 어떤 사전 요건이 없었다. 그저 서명만 하면 즉시 일을 할 수 있었다.
낮은 비용과 용이한 프로비저닝 만큼이나 눈길을 끌었던 점은 발표의 주체가 기존 IT 전문 기업이 아닌 아마존이었다는 점이다. 높은 마진, 까다로운 협상, 때로는 라이선스 사용 감사까지 요구하는 기존의 IT 기업이 아니라, 서비스 주체가 아마존이라는 사실이 놀라웠다. 아마존에게 있어 ‘높은’ 마진이라고 하는 것이 IT 전문 기업들에서는 즉각적인 경영진 교체를 요구할 정도의 낮은 수준이었을지 모른다. 이것이 진정한 ‘차이점’ 이었다. 즉, 새로운 공급업자, 새로운 모델, 차별화된 프로비저닝 경로, 그리고 초기에 낮은 수준에서 시작하여 시간이 갈수록 인상되는 게 아니라 오히려 더욱 낮아지는 차별화된 가격 등이 대표적인 차별점이다.
S3 발표는 산업 전체에 관심과 경이로움을 불러일으켰다. 아무리 대규모 공급업자라고 할지라도, 어떻게 판매되는 용량에 따른 일절 금전적 손실을 입지 않는 일이 가능한지에 대한 관심이 그것이다.
필자는 이 새로운 서비스에 완전히 매료되어 S3를 기반 스토리지 시스템으로 수 천 줄에 달하는 코드를 써보기에 이르렀다. 일부 어려운 점도 있었지만, 앱을 만드는 동안 이 S3의 출시가 진정으로 획기적인 사건의 첫 출발이라는 확신을 갖게 됐다.
앱 개발에서부터 해당 앱이 운영되는 데까지 수 일 내에 이뤄지고, 이 후 디버깅과 테스팅까지 진행하자 대략 한 달 정도가 소요되어 필자는 카드 청구서를 받았다. 물론 막연하게 S3 가격이 말 그대로 말이 안 될 정도로 낮은 수준이라는 걸 알고는 있었지만, 막상 전체 개발과 테스트 비용이 3달러 8센트라는 청구서를 받고는 뭔가 잘못됐을 거라고 생각했다. 모든 개발이 마무리 된 후 모든 테스트 자료를 여전히 S3에 저장했는데, 다음달 청구된 비용은 7센트에 불과했다.
이 시스템이 워낙 획기적인 것이었기에 내가 경험한 것에 대한 글을 써서 내부적으로 블로그에 올린 후 CTO와 CEO를 포함한 회사 수뇌부 앞에서 시연해 보였다. 프레젠테이션에서는 S3 초기 개발자 중 한 명인 알 버뮬렌(Al Vermeulen)의 사진을 포함하고, S3 작동 원리 중 일부를 소개했다. 또한 내가 생각하는 차별점을 강조하기 위해, AWS의 청구서 두 장도 포함했다. 내 주장의 핵심은 아마존이 그저 깜짝 놀랄만한 묘기나 흥미로운 실험을 시도한 것이 아니라, 인프라 서비스를 제공하는 방식을 근본적으로 혁신했다는 점이었다. 스토리지는 시작일뿐, 곧 컴퓨팅 전체에 대한 변화가 있을 것임을 시사했다.
필자는 점점 더 AWS에 관심을 갖게 되었고 2007년에는 사용자 그룹 미팅에 참여하고, 아마존에서 프레젠테이션을 했다. 결국 2008년 말, 기존의 일을 정리하고 AWS에 합류했다.
AWS 엔지니어링 팀의 일원으로서 받은 첫인상은 “빠르다”는 말로 압축할 수 있을 것이다. AWS에서 결정은 빠르게 이루어진다. 새로운 아이디어를 코드화하고 고객에게 선보이는 속도가 너무 빨라 다른 IT 기업들의 속도가 마치 대륙 이동 속도만큼 느리게 느껴질 정도다. 과거에는 반 농담조로 “고객이 필요로 하든 하지 않든, 10년에 두 번 선보인다”고 말했던 기억이 난다. 지금은 워낙 빠른 속도로 새로운 기능들이 출시되기 때문에 종종 따라가기조차 버거운 실정이다.
AWS에 대한 또 다른 흥미로운 점은 제품 혹은 엔지니어링에 대한 논쟁의 처리 방식이다. 이러한 논쟁은 자주 발생하고 AWS에서도 다른 어떤 기업 못지않게 열띠게 진행된다. 심지어 결정을 내리기 전까지 더 격렬하고 확신에 찬 논의가 진행되기도 한다. 하지만 이런 토론과 결정을 마무리 짓는 데이터는 눈에 띌 정도로 빠르게 만들어진다. AWS에서는, ‘전략’이 마련되면 고객이 진정 무엇을 필요로 하는 지를 고객들에게 확신시키려 하지 않는다. 대신 AWS 스스로가 유용하다고 판단한 기능을 제공하고, 고객들이 폭넓게 채택할 수 있는 서비스에 신속하게 투자한다. 좋은 서비스(good services)가 빠른 시간 안에 위대한 서비스(great services)로 자리매김 하도록 한다.
필자는 과거에 직무를 수행하면서 이런 토론이 너무 과열되어 결국 비생산적으로 몇 년이나 지속되는 것을 경험한 적이 있다. 반면 AWS에서는 이런 토론은 고객 사용 데이터를 통해 며칠 만에 해결되고, 초점을 빠른 속도로 실행에 맞춘다. 토론에서 납품에 이르는 일반 공식이 깨지는 이런 모습은 신선한 충격이었다. AWS에서 기울이는 노력의 대부분은 궁극적으로 고객 혜택으로 귀결된다. 반면 그 동안 필자가 일했던 많은 곳에서는 이들 노력의 상당 부분이 내부의 상충된 의견을 해결하는 데 집중된다. AWS의 새로운 서비스 제공 속도는 고객에게는 매우 유용한 것이고, 엔지니어들에게도 흥미로운 환경이라고 생각한다.
혁신의 가장 좋은 증거는 고객의 믿음이다. 고객이 믿음을 보여주는 가장 좋은 형태는 기업 전체를 클라우드 인프라에서 운영하기로 결정하는 것이다. 넷플릭스(Netflix)는 100% 클라우드 운영을 공개적으로 결정한 최초의 기업이다. 클라우드에 100% “올인”한 기업들의 예는 다음과 같다.
• 2010 넷플릭스
• 2013 캠핀스키 호텔(Kempinski Hotels)
• 2013 선콥 그룹(Suncorp Group)
• 2014 Infor
• 2014 일본 통운(Nippon Express)
• 2014 노트르담 대학교(Notre Dame University)
• 2014 국제민주연구소(National Democratic Institute)
• 2015 가디언 미디어 그룹(The Guardian Media Group)
아직은 인프라에만 클라우드를 도입하기로 결정한 기업의 경우가 산업 전반에서 일어나고 있는 큰 변화를 가장 잘 보여주는 사례인 것 같다. 그럼에도 아래와 같은 지난 10년 간의 하이라이트를 통해 AWS 혁신의 속도를 확인해 볼 필요가 있다.
2006
• 2006 Amazon S3
• 2006 Amazon SQS
• 2006 Amazon EC2
2007
• 2007 도입 가속화를 위한 AWS 커머스 플랫폼, Amazon FPS 출시
• 2007 유럽중동아프리카 지역 Amazon S3 출시
• 2007 Amazon Simple DB
2008
• 2008 Amazon SQS 및 새로운 WSDL에 대한 가격 조정 계획 (1번째 가격 인하)
• 2008 Elastic IP 주소
• 2008 EC2 가용 영역
• 2008 AWS 프리미엄 (엔터프라이즈) 지원 추가
• 2008 AWS 데이터 전송 가격 인하
• 2008 Amazon Elastic Block Storage
• 2008 EC2 SLA 및 GA, 윈도우용 EC2, SQL Server용 EC2
• 2008 Amazon S3 새로운 티어 요금
• 2008 Amazon CloudFront
• 2008 유럽(아일랜드)에 EC2 출시
2009
• 2009 AWS Management Console
• 2009 Amazon CloudFront 요금제 인하
• 2009 Amazon FPS
• 2009 Elastic MapReduce
• 2009 5월 Elastic Load Balancing,
• 2009 5월 Amazon Autoscaling
• 2009 5월 Amazon CloudWatch
• 2009 AWS Virtual Private Cloud
• 2009 Amazon EC2 예약 인스턴스 가격 인하
• 2009 인증 서비스가 탑재된 Windows 인스턴스 가격 인하
• 2009 Amazon Relational Database Service 출시로 데이터베이스 시장 진출
• 2009 Amazon EC2 온디맨드 가격 인하
• 2009 EC2 스팟 인스턴스
• 2009 12월 AWS S3 가격 인하, 2010년 6월 30일까지 인바운드 데이터 전송 무료로 제공
• 2009 Amazon CloudFront 스트리밍
• 2009 AWS 미국 서부 리전
2010
• 2010 아웃바운드 데이터 전송 가격 인하
• 2010 최초로 아태지역(싱가포르) 리전 런치
• 2010 Amazon SNS
• 2010 5월 RDS 다중 가용 영역(Multi Availability Zones)
• 2010 5월 Amazon S3 Reduced Redundancy Storage
• 2010 AWS Import/Export
• 2010 Amazon CloudFront에 HTTPS 지원, 가격 인하, 뉴욕 엣지 로케이션 추가
• 2010 EC2용 클러스터 컴퓨트 인스턴스
• 2010 AWS Identity and Access Management
• 2010 오라클, AWS 상의 엔터프라이즈 소프트웨어 인증 획득
• 2010 High Memory Double 및 Quadruple XL 인스턴스 가격 인하
• 2010 Read Replicas, Amazon RDS용 High Memory DB Memory Instance 가격 인하
• 2010 Amazon S3 스토리지 가격 인하
• 2010 Amazon Route 53
• 2010 AWS 모바일 SDK
2011
• 2011 Amazon SES
• 2011 기존 가격보다 50% 인하된 새로운 AWS Premium Support Plan 도입
• 2011 AWS Elastic Beanstalk
• 2011 AWS CloudFormation
• 2011 AWS 도쿄 리전 출범
• 2011 5월 SAP, AWS 상의 엔터프라이즈 소프트웨어 인증 획득
• 2011 5월 Amazon CloudWatch 커스텀 메트릭스, Amazon EC2 모니터링 가격 인하
• 2011 새로운 AWS 데이터 전송 요금
• 2011 8월 Amazon ElastiCache
• 2011 8월 AWS Direct Connect를 통해 기업 데이터센터를 AWS에 직접 연결
• 2011 8월 미국 정부 공공기관 전용 리전 (AWS GovCloud) 출범
• 2011 AWS Route53 호스팅 영역 가격 인하
• 2011 AWS 미국 서부 리전(오레곤) 100% 무탄소 동력으로 운영
• 2011 브라질 상파울루에 리전을 출범하여 남아메리카 진출
• 2011 Amazon Elastic MapReduce의 cc2.8xlarge 인스턴스 지원 및 cc1.4xlarge 인스턴스 가격 인하
2012
• 2012 AWS Storage Gateway
• 2012 DynamoDB
• 2012 Amazon SWF
• 2012 Amazon S3 스탠다드 스토리지 가격 인하
• 2012 3월 Amazon EC2, RDS 및 ElastiCache 가격 인하
• 2012 4월 Amazon CloudSearch
• 2012 서드파티 기업이 애플리케이션을 판매하는 AWS Marketplace 출범
• 2012 AWS Support를 통한 프리 티어 확장, 기능 추가 및 가격 인하
• 2012 AWS 시드니 리전 출범
• 2012 7월 EC2 High I/O 인스턴스
• 2012 Amazon Glacier
• 2012 EBS Provisioned IOPs 발표
• 2012 2세대 스탠다드 인스턴스 출시 및 M1 인스턴스 가격 인하
• 2012 제 1회 AWS re:Invent 컨퍼런스에 6천여명 참석
• 2012 Amazon RedShift 발표
• 2012 Amazon CloudSearch 무료 평가 프로그램 출시 및 가격 인하
• 2012 Amazon RDS 및 Amazon ElastiCache 가격 인하
• 2012 Amazon S3 스탠다드 스토리지 및 RRS 가격 인하
• 2012 AWS Data Pipeline
2013
• 2013 Amazon Elastic Transcoder
• 2013 High Memory Cluster Instances
• 2013 EC2 가격 인하, M3 스탠다드 인스턴스 글로벌 확장, 데이터 전송 가격 인하
• 2013 AWS OpsWorks
• 2013 IBM의 이의제기로 AWS가 미국 중앙정보국 CIA로부터 6억 달러 상당의 클라우드 계약을 수주했다는 내용이 밝혀짐
• 2013 Amazon RDS의 다중 가용영역(Multi-AZ) 구축 가격 인하
• 2013 Amazon SQS와 SNS 가격 인하 (SQS - 50% 가격 인하) 및 프리 티어 확장
• 2013 AWS CloudHSM
• 2013 AWS 글로벌 개발자 트레이닝 및 자격증 프로그램 도입
• 2013 Amazon EC2 예약 인스턴스 가격 인하, Amazon DB
• 2013 Amazon S3 요청 요금 가격 인하, Windows 온디맨드 EC2 인스턴스 최대 26% 가격 인하
• 2013 5월 클라우드 공급업체 중 최초로 미국 클라우드 보안인증인 FedRAMP 인증 획득
• 2013 RDS 온디맨드 및 예약 인스턴스 가격 최대 28% 인하
• 2013 7월 EC2 전용 인스턴스 가격 인하
• 2013 시장조사업체 가트너에 따르면 AWS 고객은 타 공급업체 14곳의 인프라 구축 규모를 총 합한 것보다 5배 많은 인프라를 AWS 상에서 구축한다고 예측
• 2013 Amazon AppStream 출시
• 2013 Amazon WorkSpaces 출시
• 2013 EC2 GPU 인스턴스
• 2013 M3 인스턴스 가격 인하
• 2013 Amazon Kinesis 출시
• 2013 Amazon EC2 HI1 인스턴스 가격 인하 및 스팟 인스턴스 출시
• 2013 Amazon 중국 리전 출범
2014
• 2014 새로운 Amazon EC2 M3 인스턴스 사이즈 출시 및 Amazon S3와 Amazon EBS 가격 인하
• 2014 AWS Storage Gateway 가격 인하
• 2014 새로운 Amazon Redshift SSD기반의 노드 유형
• 2014 Amazon AppStream 및 Amazon WorkSpaces 공식 출시
• 2014 EC2, RDS, S3, ElastiCache, 및 Elastic MapReduce 가격 인하 (42번째 가격 인하)
• 2014 미국에 위치한 모든 AWS 리전의 국방부(DoD) 잠정 권한 획득
• 2014 R3 인스턴스 출시
• 2014 5월 vCenter용 AWS Management Portal 출시
• 2014 5월 Amazon EBS 암호화 도입
• 2014 새로운 Amazon EBS SSD 볼륨 유형 출시 (43번째 가격 인하)
• 2014 일시적으로 샌프란시스코에 Pop-up Loft 개장
• 2014 Amazon Redshift 무료 평가판 출시 및 아태지역 내 가격 인하 (44번째 가격 인하)
• 2014 새로운 저비용 Amazon EC2 범용 인스턴스
• 2014 Amazon Zocalo (현재 Amazon WorkDocs) 도입
• 2014 Route 53 가격 인하 (45번째 가격 인하)
• 2014 Amazon Cognito, Amazon Mobile Analytics, AWS Mobile SDK 및 Amazon SNS Mobile Push의 모바일 개발자를 위한 서비스 도입
• 2014 Amazon CloudWatch 로그 출시
• 2014 AWS GovCloud, 국방부 CSM 레벨 3~5 잠정 권한 획득
• 2014 Zocalo (현재 Amazon WorkDocs) 공식 출시
• 2014 AWS EU(프랑크프루트) 리전 출범
• 2014 샌프란시스코 Pop-up Loft 영구적 개장
• 2014 DynamoDB에 JSON와 같은 문서 지원 기능 탑재
• 2014 AWS Directory Service 도입
• 2014 AWS ISO- 9001 인증 획득
• 2014 APN 파트너 혜택 확대, 새로운 매니지드 서비스 및 SaaS 파트너 프로그램 도입, APN 파트너 트레이닝 확대
• 2014 CloudSearch 가격 인하 (46번째 가격 인하)
• 2014 MySQL 호환 데이터베이스인 Amazon Aurora 출시
• 2014 Key Management, AWS Config 및 AWS Service Catalog 엔터프라이즈 보안 및 거버넌스 서비스
• 2014 새로운 애플리케이션 수명 주기 관리 서비스인 AWS CodeDeploy 및 AWS CodePipeline 도입
• 2014 Amazon EC2 Container Service 도입
• 2014 AWS Lambda 발표
• 2014 Amazon EC2 C4 및 EBS 사전 발표
• 2014 재생 가능 에너지 사용량 100% 달성을 위한 장기 계획 발표
• 2014 데이터 전송 및 CloudFront 가격 인하 (47번째 가격 인하)
2015
• 2015 Amazon Wind Farm Fowler Ridge 발표
• 2015 Amazon WorkMail 평가판 출시
• 2015 Amazon Machine Learning 완전관리형 서비스 발표
• 2015 데스크톱 앱 및 Amazon WorkSpaces Application Manager용 AWS Marketplace
• 2015 ISV인 MicroStrategy, Software AG, TIBCO 및 Onshape AWS에 “올인(All-in)” 발표
• 2015 5월 강의실에서의 클라우드 학습 촉진을 위한 AWS Educate
• 2015 Amazon Solar Farm US East 발표
• 2015 Amazon EC2 M4 인스턴스
• 2015 AWS 제 2회 글로벌 “City on a Cloud Innovation Challenge” 개최
• 2015 2016년 인도 리전 예고
• 2015 뉴욕시에 Pop-up Loft 개장
• 2015 ISV인 Looker, Qlik, Sumo Logic 및 Works Applications AWS에 “올인” 발표
• 2015 Amazon API Gateway 발표
• 2015 AWS Device Farm 발표
• 2015 Amazon Wind Farm US East 발표
• 2015 Amazon Aurora 공식 출시
• 2015 런던과 베를린에 Pop-up Lofts 개장 발표
• 2015 AWS re:Invent 컨퍼런스에서 Amazon QuickSight 발표
• 2015 AWS re:Invent 컨퍼런스에서 AWS Snowball 및 Amazon Kinesis Firehose 발표
• 2015 AWS re:Invent 컨퍼런스에서 AWS Database Migration Service와 MariaDB용 Amazon RDS 발표
• 2015 AWS와 Accenture가 Accenture AWS Business Group 발표
• 2015 AWS re:Invent 컨퍼런스에서 AWS IoT 평가판 발표
• 2015 EU의 세 번째 리전으로 영국 리전 예고
• 2015 Amazon Wind Farm US Central 발표
• 2015 IoT 공식 출시 발표
• 2015 최저 사양에 가장 저렴한 Amazon EC2 인스턴스 t2.nano 도입
2016
• 2016 한국 서울에 아태지역의 다섯 번째 리전 출범
• 2016 Amazon WorkMail 공식 출시
• 2015 캐나다-몬트리올 리전 사전 발표
• 2016 Amazon Lumberyard 발표 및 게임 개발자용 Amazon GameLift 출시
• 2016 텔아비브에 AWS Pop-up Loft 개장 발표
[review]