기업 전산실 분들을 위한 - 인터넷 기업들은 대용량 데이타를 어떻게 저장할까?

unclebulgom

2016년 3월 23일

기업 전산실 담당자의 고민중 하나는 늘어가는 자료의 저장 공간이다. 특히, 빅데이터 시대의 도래로 인해 기존에 버리렸던 자료들의 재활용과 그로 인한 스토리지 저장의 문제가 요즘 고민인 듯하다.

어느 비즈니스이든지 자신들의 비즈니스 데이타를 저장 해야 하는 문제가 발생한다.

세무 대행업 : 세무 자료 의무 보존 이미지
석유 개발 회사 : 석유 탐사 자료
방송국 : 엄청난 양의 동영상 자료
연구소 : 각종 로그 자료. 실험 데이터
백화점 : 고객 매입 매출 자료

등등 데이타 저장 및 보관의 문제는 고민 거리 일 수 밖에 없다. 특히 빅데이터 시대에 스토리지 용량증설은 필수과제 일걸로 보인다.

페이스북 친구분중 방송국 근무하시는 분이 있다. 방송국 자료 관리가 테이프에서 디지털 저장 체제로 바뀌면서 스토리지 비용때문에 돈 많다는 방송국도 스토리지 증설 비용에 고민이 많다는 이야기를 한다. 그래서 대뜸 전문스토리지 말고 자료 다운로드를 주로 하는 웹하드 서비스의 시스템 체계를 도입하라고 이야기 한 적이 있다.

기업 전산실은 "스토리지"라 하면 고가의 전문 스토리지만 생각하는데 , 웹하드들의 가난한 스토리지로도 동접자를 안정적으로 엄청나게 처리하고 있다고 이야기를 전해 주었다.

최근의 사례다. 모 백화점 빅데이터 팀. 자체 데이타 센터의 스토리지가 부족하여 클라우드 서비스 A사의 스토리지 공간을 임대하여 사용하고 있기 때문에 초기 비용 부담이 적어 앞으로 이 회사의 스토리지를 사용 하겠다고 여기저기 성공사례라 이야기 하는걸 본 적이 있다. 그리고 몇 달 후 그 팀장은 회사에 사직서를 제출 했다는 후문이다. 매달 내는 월 이용료가 눈덩이처럼 불어 나자 임원들의 군소리를 듣게 되고, 마침 다른 곳에서 러브콜을 받고 바로 옮겼다는 뒷이야기다.

클라우드 서비스 - 인스턴트 식품이다. 처음 먹기는 좋으나, 장기간의 이용시 저렴하지 않고 비용부담이 옥죌 수 있다. 특히 스토리지 같이 장기간 월 사용요금이 꾸준히 나오고 비용이 눈덩이처럼 불어나는 경우, 스토리지 비용 절감을 빙자한 담당자 인건비를 절감하는 사례가 발생할수도 있는 문제다. 경영진은 한번 투자 하고 말지, 매달 꼬박 꼬박 월세 많이 나오는 것이 기업의 비용 절감 요구 시기에는 그리 탐탁지 않아 한다는 점도 기업 전산담당자는 염두에 두고 이용을 고려함이 좋다.

인터넷 기업 선수들은 장기간 사용할 프로젝트에는 클라우드 스토리지 서비스를 사용하지 않는다. 인스턴트한 사용을 하기 위 함이지, 롱텀으로 사용하다 보면 배보다 배꼽이 커지기 때문이다. 얼마전 A사 클라우드 서비스를 이용해 빅데이터 서비스를 제공하는 모 사 대표와 이야기를 나눈 바 있다. 자신들이 구축하는 비용에 비해 스토리지 비용이 현격하게 많이 든다는 것을 이유로 클라우드 서비스를 이용한 빅데이타 분석은 하지 않는 다고 이야기 한다. 그런데 기업 전산실 담당자들과 이야기 해보면 , 한결 같이 클라우드 서비스가 저렴하다고 이야기 한다. 인터넷 기업들은 스토리지에 관해서 장기간 쓸 계획이면 무조건 자체구축이 기본인데 말이다.

그러한 체감지수의 괴리가 어디에서 오는 것일까?

기업 전산실의 저장장치 - 스토리지 개념을 물어보면 SAN (Storage Area Network)이 기본이고 좀 헝그리한 스토리지는 NAS(Network Attached Storage)를 생각하는게 대부분이다. 그리고 스토리지는 전문 스토리지 회사의 장비를 사야 하고, 국산은 미덥지 못하고 , 외산 벤더의 잘 짜여지고 스토리지 성능 BMT 자료가 아무래도 가슴을 후벼 팔 정도로 신뢰감을 준다고 생각하는 이들이 많은 듯 해보인다.

그래서 기업 전산실들 보면 자신들이 선호하는 스토리지 벤더가 있고, 신규 증설이 있으면 그 스토리지 이외에는 다른 스토리지는 쳐다 볼생각도 하지 않는다. 그러다가 어쩌다 마주친 A사의 저장공간 임대 서비스는 자신들이 구입하는 스토리지 가격에 비해 엄청나게 저렴하다는 판단이 들 수 밖에 없다.

E/ D/ H/ I 사 등 유명한 저장 장치 회사가 있고 요즘은 SSD 스토리지 시장이 확대 되면서 신흥 SSD 스토리지들 강자들의 가격 견적을 받아 보고. 늘 그런 장비만 구입한 이들에게는 , A사의 공간 임대 서비스는 신규 투자비가 적게 든다는 점에서 거의 황홀하게 저렴하다는 느낌이 들수 밖에 없다. 법인카드 사용 승인만 받으면 손쉽게 늘리고 ,요즘 대세다 보니 허가도 쉽고, 특히 서버 하나 증설하려면 온갓 아쉬운 소리 해가며 재무 부서에 허가를 맡아야 하는 고생을 피할수 있기 때문에 클라우드 서버 증설을 선호하는 경우를 종종 본다.

그러나 데이타 저장 용량이 엄청난 기업 뿐만 아니고 어느 정도 데이타량을 꾸준히 운용해야 하는 인터넷 기업들 중에 A사의 스토리지 임대 서비스를 쓰는 경우는 그리 많지 않다. 기본적으로 스토리지에 대한 접근 방식이나 의미가 다르기 때문이다.

인터넷 기업의 스토리지 하드웨어

인터넷 기업들은 스토리지를 하드웨어와 소프트웨어 따로 분리하여 생각 하는 게 바람직 하다. 기업 전산실은 일체형 턴키로 스토리지를 구입 하는 경우라 스토리지 하드웨어와 소프트웨어를 분리하는 개념이 없지만 인터넷 기업들은 대부분 화이트 박스의 하드웨어에 하드디스크를 장착하고 거기에 별도의 레이드를 구축하고 운영체제를 설치함으로써 하드웨어와 자신의 이용 목적에 맞는 스토리지 소프트웨어를 별도로 구성하는게 대부분이다.

인터넷 기업의 스토리지 하드웨어는 대부분 화이트 박스 형태로 판매 되는 것을 사용한다. 조립 스토리지라고 해도 크게 차이가 없다. 화이트 박스 스토리지 전문 업체로 유명한 회사는 슈퍼 마이크로라는 대만계 회사가 있다. 국내 최대 포탈이라는 모사 부터 게임사, 클라우드 서비스를 하는 텔코사 등이 이 회사의 화이트 박스를 사용 한다.

< http://www.supermicro.com.tw/products/nfo/storage.cfm >

그러나 화이트 박스 형태의 회사만이 대세가 아니다. 자체 적으로 중국의 서버 케이스 공장에서 직접 구입해서 자체 BMT를 거져서 직접 생산도 한다.

대표적으로 우리 회사는 SSD스토리지 제작과 SSD 기반의 클라우드 상품의 가격 경쟁력 이기도 하다. <자작 서버 이야기 >
스마일서브 자작 스토리지 3종 세트 : 아래 1U 8BAY, 2U 8BAY,3U 16BAY.

미국계 대형 인터넷 기업들은 스토리지를 자체 제작 하는 경우가 종종 볼 수있다.
서버 하는 사람들은 서버 케이스 만드는회사를 깡통 가게라 한다. 한국 회사들이랑 친한 깡통 가게들이 대만에 몇개 업체들이 있다. 그 깡통 가게 생산라인 돌릴 때 가보면 다양한 이야기를 들을수 있다. 이깡통은 인텔에서 주문한 깡통이라는 이야기부터, 구글 ,페이스북 등에서 다양한 오더가 들어 온다고 한다. 대부분 대만 친구들이 오더를 받아 샘플링 작업을 하고 중국 동관이나 불산등 금속 판금 공장들이 많은 지역에서 생산하는 경우가 많다.

예를 들어 클라우드 서비스를 제공하는 A사의 스토리지의 경우 대만에서 개최하는 전자 쇼에 가보면 스토리지 업체들이 슬쩍 귀띔을 한다. 이번에 A사 스토리지로 만대 이상 들어간 상태라고 이야기 하면서 , 실제 미국계 회사들은 자신들의 목적에 맞게 스토리지를 직접 생산한다. 구글이나 페이스 북 등등의 회사들이 그러한 사례다.

컴퓨텍스 현장에서 볼수 있는 스토리지 : 전에 대만 TYAN 미국 담당하던 친구가 창업한 회사의 제품이 A 사의 스토리지 라는 설을 은근히 강조 한다.
서랍형으로 만들어 적은 공간 을 사용하면서 1.5U 공간에 16개의 하드 디스크를 적층하면서도 핫스왑을 구현 하였다.

그러한 자체 제작의 경험에서 비롯, 이를 인류가 같이 해야할 노하우 공유 차원에서 공유 하고자 하는 흐름이 OCP(OPEN COMPUTING PROJECT : http://www.opencompute.org/ )
페이스 북이 주도 하고 있는 하드웨어적인 노하우를 공유 하는 프로젝트이다. 데이터센터, 네트워크스위치, 스토리지 ,서버 등과 관련한 하드웨어에 대한 지식 공유 프로젝트이다.
스토리지와 관련한 페이지는 http://www.opencompute.org/projects/storage/ 이다.

인터넷 기업의 스토리지 소프트웨어

인터넷 서비스 기업들은 스토리지 원가가 서비스 원가에 민감하게 영향을 미친다. 따라서 파이버 채널로 별도의 스토리지 망을 구성해야 하는 SAN 네트워크를 구성 하는 경우는 거의 없다. 대부분 NAS 나 Gluster fs 같은 가변 스토리지 네트워크, 아니면 스토리지임과 동시에 개별 서비스 서버 기능으로 동시에 운영 되는 형태 등 세가지 방식중 하나로 보면 된다.

NAS : network attached storage

가장 많이 사용 하는 스토리지 이다. 별도의 네트워크 장비를 이용하는게 아니라 표준 TCP /IP 네트워크 장비에서 표준 TCP/IP 프로토콜로 스토리지와 서버간 통신을 하는 관계로 별도의 네트워크를 구축하는 기존 SAN 네트워크에 비해서 훨씬 저렴하게 운영 이 가능 하다.

기업들의 NAS가 스토리지 벤더에게 구입해서 쓰는 NAS인 반면 인터넷 기업들의 NAS는 스토리지 깡통에 리눅스 운영체제를 올리고 NAS 서버 데몬인 NFS , SAMBA , 혹은 ISCSI 가 작동하도록 세팅을 하게 하는 점이다. 다시말해 일반 기업들의 NAS는 최소한 웹페이지 형태의 유저 인터페이스를 제공 한다면, 인터넷 기업들의 NAS 는 모든걸 커맨드 라인으로 해하여 운영한다.
nas는 서버 한대라는 확장성의 한계가 있다는점이다.

Gluster fs : 가변 확장 네트워크 파일 시스템

SAN NAS는 하드웨어 한대라는 물리적 공간의 크기 다시말해 확장성이 문제가 된다. 이러한 부문을 해결하기 위해 제안된 파일 시스템이다. 여러대의 하드웨어 스토리지를 묶어 한대의 대형 스토리지로 사용하려 하는 시도이다.

클라우드 서비스들이 엄청난 저장 공간을 필요로 하는 관계로 각광을 받고 있다. 우리 회사의 경우 장애시 전체 서비스에 장애가 문제가 생기는 관계로 서비스 부문은 NAS를 전체의 데이타 백업부문은 gluster 스토리지 팜을 이용하고 있다.

스토리지 서버이자 서비스 서버

대부분의 인터넷 기업들이 스토리지 서버에 서비스 프로그램을 올려서 사용 한다. 스토리지가 대부분 raid controller를 사용 하고, 동접이 많으며 캐시를 이용하므로, 서버의 cpu부하가 없는 경우가 많다. 따라서 서비스 서버를 직접 스토리지에 올려서 사용하는 경우가 많다. 한마디로 서버가 하드가 많이 달린 서버의 형태로 운영되는 경우다

각자의 서버가 동접을 처리하고 하고, 서버 비용을 줄일수 있다는 점 , 여러 대의 스토리지가 개별적으로 사용되어 장애가 나더라도 서버 한대의 국지적 장애 가 나고 전체 장애가 나지 않는 다는 장점으로 인해, 대부분의 인터넷 기업들의 저장 용량 많은 서비스가 이러한 방식으로 서비스 되고 있다.

가장 큰 특징은 스토리지별 부하를 분산하고 관리하는 컨트롤 서버가 한대 존재 하고 이를 이용해 어느서버에 데이타를 저장할지 결정하고, 다운로드의 질의가 있을때 받아야할 서버의 위치를 클라이언트에 제공하는 역할을한다. 그러한 위치 저장 정보를 어느 스토리지 서버에 저장 되어 있는 지를 DB에 저장하여 관리 한다.
포탈들의 이미지서비스나 동영상 서비스 들의 서버가 그러한 방식으로 저장 관리 된다. 예를 들어 개인 클라우드라는 저장 공간 서비스의 경우도 접속하여 보이는 형태는 개인 폴더 형태로 보이나 실제로는 분산되어진 개별의 스토리지에 분산되어져 관리 되는 경우가 대부분이다.

이러한 방식을 가장 장 이용하는 대표적인 서비스는 동영상 공유 목적의 서비스인 웹하드 다운로드 서비스가 거의 100% 그렇게 제공하고 있다. 엄청난 양의 저장 용량에 대한 업로드와 다운로드를 운영하는데 저렴하며 효율적이기 때문이다.