하둡 아버지 더그 커팅, "주위의 문제를 찾아라"

https://youtu.be/3Cu-zYMaUXQ?t=1m53s

[도안구 테크수다 기자 eyeball@techsuda.com]

• 인터뷰 대상 : 더그 커팅(Doug Cutting) 클라우데라 최고 아키텍처
• 일시 : 2016년 4월 14일
• 주제 : 빅데이터, 하둡

더그 커팅(Doug Cutting) 클라우데라 최고 아키텍처를 도라이브로 만나봤었습니다. 인터뷰만 하고 텍스트는 정리하지 않았었는데요. 지난 인터뷰라도 다시 텍스트를 채워야겠습니다.

Q. 반갑습니다. 한국에 오신 목적은

A. 하둡에 관심을 가지고 있는 분들과 다양한 대화를 나눠보기 위해서 왔다. 이 분들의 걱정과 우려에 대해서도 이해하고 있다. 하둡과 오픈소스 에코시스템 파악하기 위해 왔다.

Q. C를 하다가 자바를 배우기 위해서 만든 게 루신(https://lucene.apache.org)이었다던데 정말인가요

A. 루신의 경우 제가 자바로 작성한 최초의 제품이 맞다. 나도 루신을  만들기 위해 자바를 배웠다.

Q. 넛츠(http://nutch.apache.org) 프로젝트를 하다가 하둡을 만들어야 하겠다는 계기가 있었는지, 왜 하둡 같은 걸 만드셨나요

A. 넛츠를 통해서 확장 가능한 오픈소스 웹 서치 엔진 프로젝트를 진행했다.  분산형이어야 되고, 한대 컴퓨터가 아니라 다수의 컴퓨터를 활용했어야 했다. 구글 파일 시스템(GFS), 맵리듀스 보고서를 구글이 출간했다. 이 방식을 통해 방대한 데이터를 더 잘 관리할 수 있는 방법이라고 생각했다.

맵리듀스 이전에도 기술이 있었지만 이 방식은 매뉴얼이었다. 맵리듀스를 통해서 이것을 자동화할 수 있다는 획기적인 진전이 있었다. 오페레이션 시퀀싱에서도 향상이 있었고,  또 GFS를 통해서 신뢰성을 향상할 수 있었다.

Q. 하둡 10주년입니다. 축하드립니다. 이렇게 확장할 거라고 생각했나요. 또 더 하고 싶은 것은 무엇인가요

A. 사실 전혀 예상하지 못했다. 이 프로젝트 처음에 시작할 때는 생존의 목적을 두었다. 누군가에게 도움이 주길 바랬다. 연구자라던가 대량의 데이터를 분석하고자 하는 사람들, 서치엔진을 구축하려는 이들에게 도움을 주고자 처음 시작했다. 오늘날 처럼 은행, 보험사, 통신사들처럼 아주 큰 엔터프라이즈 기업들이 하둡을 사용할 거라고 전혀 예상하지 못했다. 이러한 성공에 놀랍고 기쁘게 생각한다.

앞으로 어떻게 될지는 누구도 모른다. 굉장히 많은 기대를 가지고 있다. 하나의 진화 프로세스라고 할 수 있다. 오픈소스라서 많은 이들이 새로운 걸 시도하고 계속해서 추가를 할 수 있기 때문이다.

Q. 하둡 생태계가 오라클이나 IBM 같은 회사가 만들어내는 실시간 트랜잭션까지도 넘어설 수 있을거라 보나요

A. 업계의 규모 측면에서는 두 회사를 넘어설 것이다. 오픈소스스택에서 IT가 빠르게 성장하고 있다.  트랜잭션의 경우, 문제는 이미 해결되었다. 새로운 기술을 필요로 하지 않는 상황이다. 트랜잭션  외부에서 더 많은 부분이 필요할 것이다. 아파치에서 트랜잭션 엔진이 있다.

Q. 윤리 문제에 대해 관심을 가지는 이유가 궁금합니다

A. 컴퓨팅에 있어서 윤리와 관련된 같은 체계가 전혀 없는 건 아니다.  컴퓨터 사이언스 교육할 때 윤리 교육이 스탠다드로 자리잡지 않았다. 비즈니스 프랙틱스 분야에서도 윤리가 완전히 자리 잡은 건 아니다.

프라이버시 침해가 가장 우려스러운 상황이다.  이것이 발생하면 사람들에게 시스템 신뢰를 잃게 된다. 많은 사람들의 삶에 혜택을 줄 수 있는 걸 사용하지 않게 된다. 또 사용하면 혜택을 줄 수 있는 것도 사용이 금지되는 경우도 있다. 의학, 헬스케어, 기후변화 애플리케이션 등 가능성이 무궁무진하다. 사회에 혜택을 줄 수 있는 것을 사용하지 못하는 게 가장 큰 단점이 아닐까 생각한다. 만일 신뢰를 잃게 되면 사용하지 않게 되고, 무한한 가능성이 상실되게 된다. 따라서 성장을 촉진하기 위해서는 책임 자세가 무엇보다 필요하다. 신뢰구축이 굉장히 중요하다.

Q. 한국 개발자나 빅데이터 종사자들에게 마지막 조언을 해주세요

A. 내가 항상 드리는 조언이 문제를 찾으라는 것이다. 여러분을 둘러싼 회사나 사람이나 이들에게 의미있는 거, 이들이 중시하는 걸 살펴보고, 아이디어를 만들어라. 기술이나 툴을 여기 기반으로 만들면 된다. <테크수다 Techsuda>