네이버가 마련한 개발자들을 위한 가을 축제 데뷰 2013(http://deview.kr/2013/) 이 막을 내렸습니다. 담당 영역이 백엔드 시스템 분야다보니 첫날 행사보다는 둘째날 빅데이터와 선행 기술 분야에 관심이 많았습니다. 개발자를 위한 세미나다보니 기술적인 내용이 많았습니다만 데이터들 분석하면 어떤 것들을 알 수 있는 지 쉽게 알 수 있는 내용도 있었습니다. 링크드인 발표장에서 더 느끼게 되었습니다.

링크드인에서 근무하는 김형진 씨가 '링크드인의 Big Data Recommendation Products - 어제의 데이터를 통해 내일을 예측한다'라는 주제로 발표를 했습니다. 그는 카이스트 전산학과 학부과정과 스탠포드 전산학과 석사과정을 마친 후, 지난 2년여간 Linkedin 데이터 팀에서 근무하면서 People You May Know 개발에 참여했고, Suggested Endorsement의 모델을 만들었습니다.

이날 발표자료 중 저 같은 초보자도 알 수 있는 이미지 몇개를 꼽아봤습니다.

1. 유행하는 스킬?

우선 최근 유행하는 기술에 대해서 링크드인에서 뽑아낸 겁니다. 이것들에 대해서 잘 알고 계신가요? 링크드인의 경우 직장인들이 많이 사용하고 있죠. 그 중 정보통신 분야 소프트웨어 엔지니어라고 적어 놓은 이들 중에서 어떤 기술들에 대해서 전문가이거나 경험을 한 것인지 파악을 해보니 이런 저런 내용들을 파악해 볼 수 있었다고 합니다. 최근 유행하는 기술도 알 수가 있다는 것이죠. 몽고DB가 가장 크게 들어오네요. 저래서 최근에 1억 5천만 달러의 투자를 이끌어 내면서 12억 달러의 기업가치가 있는 것으로 평가받았나 봅니다.

2. 데이터 과학자가 되고 싶다면

빅데이터 시대에 데이터 사이언티스트(Data Scientist)에 대한 관심이 높고 연봉도 무척 높다고 알려져 있습니다. 그렇다면 데이터 사이언티스트가 되려면 머신 러닝을 비롯해 저기에 나오는 건 좀 꿰고 있어야 하지 않을까 싶네요. ^.^ 한가지도 만만한 게 아닌데 저걸 다 어찌 습득할지..그래서 연봉이 높은가 봅니다.

3. 미국 동부와 서부 기술의 차이

미국을 보면 스타트업들을 비롯해 많은 IT 거인들이 서부에 본사를 두고 있습니다. 마이크로소프트, 인텔, 구글, 페이스북, 오라클, HP가 그렇고 수많은 스타트업들도 즐비합니다. 이에 비해 동부는? IBM이 거기에 있습니다. 이래서 IBM이 미 정부 옆에 착 달라붙어 살 수 있었군요. ^.^

여하튼 지역별로 스킬의 차이를 알아봤더니 녹색 위주는 '서부', 레드 계열은 동부 쪽에 많이 나왔다고 하네요. 마케팅 선수들은 죄다 동부에 몰려 있나 봅니다. 뉴욕타임즈나 워싱턴포스트, CNN이나 폭스 등 주요 미디어들도 동부에 포진해 있는만큼 기술은 서부에서 만들어지고 홍보와 마케팅은 '동부' 전문가들을 통해 이뤄지는 건가요?

4. 샌프란시스코에서 산호세가 네트워크 7 레이어 구조와 유사?

샌프란시스코부터 레드우드 시티, 마운틴뷰, 산호세까지 이어지는 실리콘밸리 지역별로 어떤 기술들에 대해서 언급되었는지 살펴봤답니다. 흥미롭게도 네트워크 7 레이어 구조처럼 산호세 쪽에서는 라우팅이나 TCP/IP, Data Center 같은 데이터 링크와 물리적 영역에 대해 많이 나왔고, 그 다음엔 사진처럼 나왔답니다. 해당 기업들이 그 근처에 있어서 그런 것인지 모르겠군요.

이런 것들은 빅데이터를 통해서 엿볼 수 있는 것 중의 아주 작은 일부입니다.

김형진 발표자는 링크드인에게 추천이란 예측이고 이 예측은 어제의 데이터를 분석해 내일의 사용자의 행동을 예측하는 머신 러닝 알고리즘이라고 밝혔습니다. 또 하둡과 키 밸류 스코어, 수많은 오픈소스 SW와 제품들을 통해 마련한 빅데이터 에코시스템이 예측 인프라스트럭쳐라고 설명했습니다.

이날 발표와는 별개로 들었던 내용도 재밌습니다. 링크드인은 미국 금융 위기가 오기 전에 이를 감지했었던 것으로 알려졌습니다. 금융권의 많은 이들이 갑자기 자기 이력서를 수정했기 때문입니다. 그리고 어떤 업체가 일이 생길지도 미리 알았다는 거죠. 그 기업 종사자들이 대거 자신들의 이력서를 수정했기 때문입니다. 그리고 또 이런 유능한 인력들이 어느 회사로 이직하고 있고 그래서 향후 어떤 산업이 유망할지도 예측이 가능하다고 합니다. 인력들의 이동을 보고 기술과 지역, 산업의 변화와 차이를 읽어낼 수 있는 '서비스'가 링크드인의 진짜 핵심 무기인지도 모르겠습니다.

네이버가 마련한 행사라서 구글, 넷플릭스, 링크드인 같은 인터넷 서비스 업체만 관련 사례를 발표한 것은 아닌 것으로 봅니다. 어쩌면 빅데이터의 인프라스트럭처와 새로운 기술들을 주도하는 이들이 인터넷 서비스 사업자들이었기 때문인지도 모르겠습니다. '벤더'에 의지하는 데 익숙한 국내 엔터프라이즈 고객들나 정부에서는 쉽지 않은 도전 과제에 직면한 것이라고 해석할 수도 있지 않을까 싶네요. 물론 그들을 서포트해야 하는 수많은 국내외 벤더들도 고민에 휩싸인 건 마찬가지 같아 보입니다.