[기자 도안구 eyeball@techsuda.com] 뜻하지 않게 연결이 되고 일이 진행되는 상황이 왕왕 있다. 이번 인터뷰도 그렇다. 페친 신청을 뒤늦게 알고 승인했다. 얼마 전 구글의 클라우드 게임 '스타디아(Stadia)' 관련 기사(https://storage.googleapis.com/cdn.media.bluedot.so/bluedot.techsuda/archives/12681)를 썼다가 재밌게 봤다며 메신저로 연락이 왔다.

말을 건 이는 뭐하는 분인가 하고 봤더니 가상현실(VR)과 증강현실(AR) 실시간 얼굴 표정 인식 기술 개발과 라이선싱을 하는 '하이퍼센스 (https://www.hyprsense.com/)'라는 회사의 마케터로 일하고 있는 정지윤(오른쪽 두번째) 님이었다.

주력 팀은 미국 실리콘밸리에 있고 자신은 한국에서 마케팅 업무를 돕고 있다고 했다. 정지운 마케터와 일면식도 없었지만 그럼 이왕 말이 나온김에 대표님과 원격 영상 인터뷰가 가능할지 물었고 타진해 보겠다고 하고 나서 승인이 났다. 혼자 하기 뻘쭘하기도 하고 이와 하는 거 후배 기자랑 같이 하면 재밌겠다 생각해서 블로터의 이지영 기자에게 물었더니 흔쾌히 "OK"를 해줬다.

그렇게 해서 건진 사진이 바로 아래 사진이다. ^.^ 유지훈 대표(좌측)와 우측 상단의 나, 그리고 우측 하단의 이지영 기자 사진. 영상 인터뷰는 WebRTC 기반 SaaS(Software as a Service)인 고톡투(https://gotalk.to)를 활용했다.

국내외 취재원 대상으로 종종 이런 인터뷰를 진행할 계획이다.  괜히 나 만났다가 수다떠는 시간 오래걸리고 자칫 술자리까지 갈걸 두려워 하는 분들은 언제든지 이 방식으로 요청해달라. 나도 대면해서 시간 보내는 거보다 대략 1시간 정도 인터뷰하고 바로 끝내길 선호한다. 진심이다.

유지훈 하이퍼센스 대표와 인터뷰를 준비하면서 보내준 자료를 봤지만 반신반의했다. 올 1월 미국 라스베이거스에서 개최되었던 CES 2019행사에 다녀왔는데 올해 전시장에서 AR이나 VR은 상당히 적었다. 대부분 게임 관련 분야에서만 명맥을 유지하고 있었다. 사라지지는 않지만 큰 기대와 달리 시장도 확 뜨지도 않는 상황이다. 다만 5G 서비스를 제공하는 국내외 통신사들이 모처럼 AR/VR을 밀고는 있다.

가격과 성능 등 하드웨어 문제가 VR 대중화의 걸림돌로 거론되고 있다. 이런 상황에서 우리나라 게임방 혹은 PC방처럼 VR 기기를 장착해 놓고 비용을 받는 VR방이 하나씩 나타나고 있다. 미국에서도 관련 서비스가 돈을 조금씩 벌고 있다는 소식이 전해지고 있다. 구글 스타디아도 큰 변수가 될 수 있다. 물론 여전히 시간은 필요하다.

2015년 4월 유지훈 대표를 포함한 3명의 공동창업자가 설립했다. 현재 풀 타임과 인턴 포함 14명이 근무하고 있다.  주요 사업영역은 앞서 밝힌대로 VR과 AR 실시간 얼굴 표정 인식 기술 개발 & 라이선싱(Licensing)이다.

https://youtu.be/JHzqmR4gYYk

하이퍼센스는 컴퓨터 비전쪽 머신러닝/딥러닝을 바탕으로 실시간 얼굴 인식 기술을 인하우스로 개발하고 있는 실리콘 밸리 기술 스타트업이다. 2D 카메라를 사용해 스마트폰이나 태블릿에서 얼굴 이목구비와 표정값을 실시간으로 트래킹하는 기술을 제공한다.

2D 이미지만으로 3D 위치값과 움직임을 뽑아내고, 그 데이터를 바탕으로 다시 표정 값 +50개(ex. smile, mouth open, sneer, eye wide, etc)의 각각의 값을 뽑아내어 캐릭터에 새로 입히는 기술을 보유하고 있다.

유지훈 대표는 "루카스 필름이 소유한 ILM에서 일할때부터 이미 얼굴 모션 챕쳐(facial motion capture) 쪽 기술 개발해 왔습니다. 대역 배우가 연기하면 실제 스크린에서는 로봇이나, 컴퓨터그래픽 캐릭터(cg character)가 똑같이 얼굴 연기를 하는 사례를 많이 보셨을 겁니다"라면서 "VR과 AR이 주목받기 시작하면서, 세컨드 라이브(second life) 같은 가상 사회에서의 쌍방향 소셜 상호작용(social interaction)이 대중화 될거라고 확신했어요. 결국에는 가상 3D 아바타가 현재의 음성 인터페이스를 넘어서는 '디지털 휴먼'이 등장할 거라고 봅니다"라고 밝혔다.

하이퍼센스는 2016년 VR 헤드셋 기반 얼굴 트래킹 솔루션을 출시하고 120대 이상 판매(자동차회사, 엔터테인먼트 회사 등)했다. 2017년 바이러니페이스(Binaryface) SDK출시해 KT 타이니소어, 소니뮤직(sony music), 나투라(cosmetic), 롤로젬(버추얼 악세사리), 버뮤다(랜덤채팅) 등 10군데 넘게 상용 라이선싱을 진행했다.

최근 새로운 영역으로 진출하면서 사명도 현재 하이퍼센스로 바꿨다. 2019년 2월 하이퍼페이스(hyprface) SDK를 출시했다. 가상 유튜버(virtual youtuber), 라이브스트리밍(livestreaming) 산업이 가파르게 성장하면서 게임캐릭터/애니메이션 캐릭터를 가상으로 애니메이션 할수 있는 기술에 대한 수요가 급격하게 증가하고 있는 상황에 대비하기 위해서다. 2월 출시 이후 이미 40개 넘는 컨택을 받았다.

관련 기업들은 이미 넘쳐나고 있었고 잠시 주춤하고 있다. 하이퍼센스 만의 경쟁력은 무엇일까.

유지훈 대표는 "여러가지 요소기술들이 결합되어야 합니다. 머신러닝과 컴퓨터 그래픽, 얼굴인식 전문지식(근육 구성과 어떤 표정을 짓는지) 등  융합기술 영역입니다. 모두를 잘 하는 팀이 많지 않습니다"라면서 "4년 동안 한우물을 파고 있는데 기술 수준이 다른 회사와 차별화 요소입니다"라고 강조했다.

딥러닝 분야가 발전하면서 이전에 비해 구현이 수월해지고 있다. 얼굴 트래킹 기술은 상당히 오래되었지만 미세한 감정을 캐릭터에 구현하기 위해 특수 장비를 장착하고 얼굴에 점을 찍고 촬영해야 했다. 관련 촬영을 위해 설치작업 뿐아니라 촬영 후 후처리 작업도 시간이 많이 걸리고, 리얼타임 구현도 어려웠다. 그는 "딥러닝 분야에서 효과가 나타나니 당연히 이 분야에 투자를 합니다"라고 말했다.

하이퍼센스는 초기 별도 셋트 관련 제작에 집중하다가 최근엔 모바일 기기에서 구현하는 영역으로 도전 영역을 바꾸고 있다. 그렇지만 이 영역에서는 이미 애플과 삼성전자 같은 단말 제조회사가 '이모지' 서비스로 관련 기능을 오픈해주고 있다. 특히 애플의 경우 아이폰 출시하면서 '바이오닉' 칩이라는 브랜드로 A11, A12 칩을 발표했다. 신경망 칩 기능을 대거 탑재했고 GPU 성능 개선도 이루면서 이모지 같은 걸 구현하는 영역도 더 빠르고 세밀하게 지원한다.

2018년 가을부터 외부 파트너에게 신경망 칩 일부 사용에 대해 공개한다고 했지만 여전히 애플이 제공하는 서비스에 우선적으로 활용한다. 화웨이가 이런 행보에 동참했고, 삼성전자나 퀄컴도 부랴부랴 관련 행보를 이어가고 있다.

스타트업 입장에서 이런 대형 제조사의 행보는 큰 위협이 되기에 충분해 보였다. 이에 대해 유 대표는 "정확도 있는 센싱, 그래픽 처리 등을 위해서는 엄청난양의 계산량이 필요합니다. 신경망 칩을 넣으므로써 그 목표를 더욱 쉽게 할 수 있습니다"라고 전하면서 "애플이 관련 기술에 관심을 가지고 인수할 거라는 걸 알고 있었습니다. 그 회사 못지 않게 관련 기술을 적용하고 싶어하는 고객들은 무척 많습니다. 오히려 이런 기반 인프라들이 갖춰지면서 저희는 더 많은 협력이 가능해지고 있습니다. 대중화되고 있는 상황에서 더 많은 기회를 얻을 수 있습니다"라고 말했다.

그는 또 모바일 영역에 집중하는 이유에 대해서 "시장이 훨씬 크잖아요"라면서 웃었다.

https://youtu.be/DFsY0yrn-tg

하이퍼센스가 초점을 맞추고 있는 부분은 영화같이 정교한 모션캡처라기보다는 모두가 쉽게 사용할 수 있어서 일반 사용자가 리소스없이도 애니메이션 콘텐츠를 만들거나, 혹은 캐릭터가 되어 소셜 활동을 즐긴다던지, 일상에서 사용할 수 있도록 개발하는 영역이다. 그래서 따로 사용자 연동 과정 시간(calibration time) 없이 바로 누가 들어오든지 사용할 수 있게 만들고, 모바일 폰에서 과부하없이 매끄럽게 돌아갈 수 있게 최적화를 하는 작업을 해왔다.

향후 게임과 엔터테인먼트 업계에서 새로운 킬러 기능이 될 것이라고 생각하는 이유다. 이 영역에서는 재밌는 크리에이티브 콘텐츠들이 끊임없이 나온다. 라이브 스트리밍에 쓰이고, 혹은 게임이나 소셜 앱 안에서 캐릭터 인터렉션이 일어날 수도 있다. 넥스과 협력하면서 이런 가능성에 대해서도 확인했다고 유 대표는 전했다.

그는 "이미 캐릭터를 보유하고 있는 곳들이 한결 유리합니다. 넥슨 레이싱 게임을 중계할 때 아바타 캐릭터를 주인공으로 중계방송을 진행할 수 있습니다. 또 게임 공지사항을 할 때도 비디오 세대에게는 친숙한 캐릭터가 전달해줘도 좋습니다"라고 덧붙였다.

AR은 엔터테인먼트나 광고 영역에서 모바일 형태로 구현된 것들이 가능성이 높을 것으로 하이퍼센스는 내다보고 있다. 기업 수요도 조금씩 나아지고 있다. 이 분야에서 활동하는 기술 기업들과 고객들이 자연스럽게 만날 수 있는 환경이 더디지만 조금씩 나아지고 있다.

꽃샘 추위가 여전하다. AR과 VR 기술 기업에게도 봄이 드디어 찾아올지 지켜보자. [테크수다 Techsuda]