장성우 한국오라클 전무, "기업 내 생성형 AI 구축과 서비스도 모던 데이터 플랫폼이 지원"

[테크수다 기자 도안구 eyeball@techsuda.com] "오라클은 데이터베이스 회사답게 가장 코어에서 생성형 AI 환경을 마련하려는 고객들의 고민을 해결해주기 위해 노력하고 있습니다. 코히어와 메타의 라마2를 기본으로 제공하면서 동시에 환각 이슈를 해결하기 위한 방안으로 벡타 DB를 오라클 데이터베이스 23c에서 지원하면서 검색 증강 생성(retrieval augmented generation, RAG)을 지원합니다."

장성우 한국오라클 전무는 생성형 AI 시대에 대응하는 오라클의 행보에 대해 이렇게 설명했다.

오라클의 최근 행보를 보면 클라우드와 AI 분야에서 상당히 유연한 전략을 구사하는 형태다. 엔비디아, 마이크로소프트 및 데이터브릭스(Databricks) 등 많은 AI 기업이 OCI를 사용하고 있다. 특히 마이크로소프트 빙(Microsoft Bing) 대화형 검색 기능에 OCI 컴퓨트(OCI Compute)를 제공해 AI 모델 추론을 뒷받침하는 향상된 GPU 컴퓨팅에 대한 급증하는 수요를 충족시키는 등 의미 있는 성과를 거뒀다.

OCI 생성형 AI 전략, 향후 클라우드 시장에서 경쟁우위 기대

오라클은 생성형 AI 서비스 시장에 대응하기 위해  ▲ ‘엔비디아와 파트너십에 기반한 ‘AI 슈퍼클러스터’, ▲ 코히어와 파트너십에 기반한 ‘OCI 생성형 AI 서비스’, ▲ 데이터 전문가·사용자 및 개발자의 의도에 따른 간단한 상호작용을 지원하는 ‘오라클 데이터베이스 23c,’, ▲ ‘클라우드 애플리케이션에 생성형 AI 도입’, ▲ ‘로우코드 애플리케이션 개발 지원’이라는 4단계 핵심 전략을 채택했다.

포브스와 글로벌 조사기관 포레스터(Forrester)에 따르면, OCI가 생성형 AI 서비스 덕분에 올해 하이퍼스케일러 시장에서 경쟁우위를 점할 것으로 예측했다. 특히 포브스는 오라클이 경쟁사의 고객이었던 기업 약 10곳 이상을 고객으로 유치할 것이라 예상했다. 포레스터는 OCI로 돌아선 이러한 기업 한 곳당 연간 OCI 지출액을 최소 1억 달러(한화 약 1,305억 원)로 전망했다.

최근 오라클은 '오라클 클라우드 인프라스터럭처 생성형 AI(OCI Generative AI) 서비스를 정식 출시했다. 이 서비스는 기업용 B2B 시장을 겨냥한 AI 기업으로 대표되는 코히어(Cohere)와 메타(Meta)의 라마2(Llama2) 거대 언어모델(LLM)을 원활하게 통합하는 완전 관리형 서비스다. 경쟁업체인 아마존의 베드록처럼 클라우드 사업자가 LLM 모델을 지정해 두고 고객은 이 환경 아래서 API를 통해 활용하는 방식과 동일하다.

고객들은 텍스트 생성과 요약, 의모론적 유사성 작업을 중심으로 비즈니스 문제 해결을 지원하기 위해 코히어나 메타 라마2를 활용할 수 있다.

정식 출시 이후 해당 서비스와 코히어 모델은 사전 학습된 LLM과 독점 비즈니스 데이터를 결합해 더 높은 정확도로 응답을 제공하는 생성형 AI 기술인 검색 증강 생성(retrieval augmented generation; RAG)을 제공하는 오라클 데이터베이스 23c(Oracle Database 23c)의 기능인 AI 벡터 검색(AI Vector Search)과 원활하게 작동할 예정이다.

장성우 전무는 초기 코히어와 메타 라마2를 지원하고 있지만 향후 다양한 오픈소소 모델로 확장하고 고객들이 만든 모델도 활용할 수 있도록 지원을 넓혀갈 계획이라고 말했다.

OCI 슈퍼클러스터, 생성형 AI 모델을 효율적으로 훈련 및 실행

지난 2022년 10월 오라클은 엔비디아와 기업용 AI 도입 가속화를 위해 협력했다. 두 회사는 협업을 통해 GPU, 시스템, 소프트웨어를 포함한 엔비디아의 가속 컴퓨팅 스택 전반을 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure; OCI)에 탑재했다.

현재 오라클은 A100, H100를 포함한 수만 개의 엔비디아 GPU를 활용하고 있다. 엔비디아의 GPU는 OCI AI 클라우드 인프라의 베어메탈, 클러스터 네트워킹, 스토리지와 결합해 AI 훈련과 딥 러닝 추론에 손쉽게 액세스할 수 있는 광범위한 포트폴리오 옵션을 기업에 대규모로 제공한다.

특히 오라클은 엑사데이터라는 걸출한 어플라이언스를 만들면서 확보한 기술을 OCI 슈퍼클러스터에 적용했다. OCI 슈퍼클러스터는 지연이 극히 낮은 RoCE(RDMA over converged ethernet) 클러스터를 통해 수만 개의 엔비디아 A100, H100 GPU 등 고성능의 비용효율적인 인프라를 기반으로 생성형 AI 모델 훈련 및 서비스를 지원한다.

오라클 데이터베이스 23c, 생성형 AI 기술 접목 통해 데이터 관리 자동화

오라클은 오라클 데이터베이스23c(Oracle Database 23c)에 AI 벡터를 사용하는 시맨틱 검색 기능을 추가했다. 이를 통해 단일 데이터베이스에서 비즈니스 데이터와 시맨틱 데이터의 동시 관리가 가능해지면서 검색을 더 쉽고 빠르며 정확하게 수행할 수 있다. 또한 자연어 질문에 대해 대폭 향상된 정확도의 응답을 제공하는 획기적 생성형 AI 기술인 검색 증강 생성(retrieval augmented generation, RAG)을 지원한다. 이를 통해 보안성, 데이터 무결성 및 성능 훼손 없이도 AI의 이점만을 빠르고 쉽게 활용하도록 지원한다. 오라클은 자사 데이터베이스의 엔터프라이즈급 성능 및 안정성을 바탕으로 AI 벡터 검색 시장을 선도할 방침이다.

JSON 이원성 뷰 기능을 통해선 기저 관계형 데이터베이스에 저장된 데이터와 JSON 문서 간의 자동화된 변환을 지원한다. 기업은 간단한 뷰 정의만으로 기저 데이터를 활용한 JSON 문서를 쉽게 원하는 방식으로 생성 및 수정할 수 있다. JSON 문서 수정 시 기저 관계헝 데이터베이스 내 데이터의 수정도 자동적으로 이뤄져 데이터 관리 편의성을 높일 수 있다.

이런 서비스를 통해 고객들은 기업 내부에 거대 언어 모델을 구축하고 사내 직원이나 대외 고객들에게 신뢰할 수 있는 AI 서비스를 제공할 수 있다. 현재 고객들은 도입하는 모델을 학습하고 다시 적용하면서 이 모델 자체에 지식을 지속적으로 업데이트하는 파인튜닝 방식과 사내외 구축된 전문 지식, 정보들을 참조해 답변하는 RAG 방식으로 생성형 AI 인프라를 구축하고 서비스하기 위해 분주하다.

장성우 전무는 "오라클은 이런 고객들을 위해 데이터베이스에 AI 벡터 DB 기능을 넣어 확간 이슈에 대응하고 있다. 앞으로 데이터가 갈수록 늘어날텐데 이 때 DB 성능과 보안성 이슈는 무엇보다 중요하다. 기존 데이터베이스의 보안성과 데이터무결성, 성능을 포기하지 않으면서도 AI 시대에 대응할 수 있다는 게 오라클의 가장 큰 장점"이라고 전했다.

기업 내부에는 고객 서비스, 마케팅, 영업, 제품 개발, 위험 관리와 법무, 전략과 재무 등 전 업무별로 생성형 AI 사용 사례가 많이 등장하고 있다. 한국에서는 막대한 투자비를 감당할 수 있는 금융 고객들도 이 분야에 많은 관심을 가지고 다양한 프로젝트를 진행했다.

오라클은 생성형 AI 서비스 이외에 OCI 생성형 AI 에이전트 베타 버전도 선보였다. 에이전트는 사용자 쿼리를 생성형 AI 컴포넌트(검색 도구, 문서 코퍼스, LLM, 응답 생성 등)가 수행하는 작업으로 변환해 쿼리에 대한 답변을 제공한다. OCI 제너레이티브 AI 에이전트 시리즈의 첫 번째 에이전트는 검색 증강 생성(RAG) 에이전트로, OCI 오픈서치를 사용해 내부 데이터로 LLM에 대한 일반 지식을 보완해 문맥에 맞는 답변을 제공한다. 사용자는 전문 기술이나 데이터의 형식이나 저장 위치를 몰라도 자연어를 통해 다양한 엔터프라이즈 데이터 세트에 투명하게 액세스할 수 있다.

예를 들어, 최종 사용자가 AI 에이전트에게 의료 휴가와 관련된 인사 정책 요약을 요청하면 이 쿼리는 모델에 내부 문서 모음에서 해당 정책을 검색하도록 신호를 보낸다. 그런 다음 모델은 RAG 기능을 사용해 관련 단락을 추출하고 이를 사용해 최종 사용자에게 관련 소스 문서에 대한 하이퍼링크를 포함한 인간 언어 응답을 생성한다. AI 에이전트는 이 응답을 자연어로 최종 사용자에게 전달한다. 사용자는 계속해서 정책에 대해 질문할 수 있으며, AI 에이전트는 대화의 맥락에서 질문에 대한 답변을 계속해 정확하고 인간과 유사한 경험을 제공한다. 향후 서비스 반복에서 최종 사용자는 AI 에이전트에게 원본 문서를 편집하거나 인사 시스템을 탐색해 업데이트하는 등의 추가 조치를 취하도록 요청할 수 있다.

OCI Generative AI 에이전트의 초기 베타 버전은 기업 내부 데이터에 액세스하기 위한 OpenSearch를 지원하며, 향후 출시될 버전에서는 더 광범위한 LLM을 지원하고 AI 벡터 검색이 포함된 오라클 데이터베이스 23c 및 벡터 스토어가 포함된 MySQL 히트웨이브에 대한 액세스를 제공할 예정이다. 이를 통해 사용자는 오라클 및 타사 애플리케이션과의 상호 작용을 자동화하고 쿼리 결과에 따라 에이전트가 조치를 취하도록 지시하는 에이전트를 구축할 수 있다. 고객은 여기에서 베타 프로그램 참여를 신청할 수 있습니다.

한국 시장에 대한 대응이 조금 늦은 건 아닌지 궁금했다. 그는 "많은 금융고객들이 지난해 생성형 AI에 대한 컨셉검증 프로젝트들을 많이 진행했다. 어떤 LLM들이 좋을지, 그걸 통해 무엇을 할 수 있을지 점검을 많이 한 것으로 알고 있다. 대략적인 윤곽들을 잡은 만큼 오히려 오라클에게는 좋은 기회가 되고 있다. 앞서 밝힌대로 기업 내부의 다양한 데이터는 오라클 제품 안에 있다. RAG는 환각을 막기 위한 해법인 것은 고객들도 잘 알고 있다. 기업 내 수많은 데이터와 연계해야 한다. 그런 점에서 오히려 고객들과 더 긴밀히 협력할 수 있다"고 설명했다.

오라클은 OCI 생성형 AI 서비스를 기반으로 오라클의 서비스형 소프트웨어(SaaS) 애플리케이션 제품군과 산업용 애플리케이션 전반에 생성형 AI 기능을 내장하고 있다. 이로써 해당 앱에서도 데이터베이스 23c의 생성형 AI 기능과 같이 자연어 인터페이스 기반으로 자동화된 데이터 상호작용을 지원한다.

또 마이크로소프트의 깃허브 코파일럿, AWS의 코드위스퍼러, 메타으 코드라마 같은 코드 생성형 AI 서비스를 겨냥해 생성형 AI 기술이 접목된 APEX와 SQL 디벨로퍼(SQL Developer)와 같은 오라클 데이터베이스 도구는 개발자가 코드를 직접 작성할 필요 없이 자연어를 사용해 엔터프라이즈 핵심 애플리케이션을 생성하거나, SQL 쿼리를 생성할 수 있도록 만들어 주는 영역에도 힘을 쏟고 있다.

인터뷰를 진행하며 장성우 전무는 "데이터베이스 전문 기업인만큼 오라클은 모던 데이터 플랫폼을 통해 중앙화와 탈중화된 데이터 아키텍처와 모든 종류의 데이터 관리를 지원한다"면서 "향후 오라클은 생성형 AI 기능을 접목한 데이터베이스와 모든 아키텍처, 데이터, 개발방식과 워크로드를 아우르는 모던 데이터 플랫폼을 중심으로 기업이 생성형 AI 기술과 클라우드를 중요한 툴로 삼아 자체적인 디지털 혁신을 가속화하도록 지원할 방침이다. 그 과정에서 핵심 목표는 데이터를 다루는 모든 직원의 업무 생산성을 대폭 향상시키는 것"이라고 강조했다.

한편, 한국오라클은 정보통신산업진흥원(NIPA)과 함께 진행한 글로벌 SaaS(서비스형 소프트웨어) 육성 프로그램(GSIP)과 창업진흥원(KISED) 및 서울 과학기술대학교와 함께 진행한 글로벌 협업 프로그램 ‘미라클’을 통해 선발된 스타트업 총 3개사에 오라클 클라우드 인프라스트럭처(OCI) 및 인공지능 (AI)/머신러닝(ML) 서비스와 기술을 지원, 보다 향상된 AI 인프라를 통한 사업 다각화와 효율적인 운영을 지원했다고 밝혔다.

이번 프로그램을 통해 선정된 스타트업들은 클라우드 기반의 AI/ML 기능을 활용해 스마트 솔루션 개발 및 서비스 사업을 수행하고 있는 회사들로, 이번에 선정되어 한국오라클이 신규로 지원한 기업은 ㈜아테모스, ㈜파우스트, ㈜히어로웍스 3개사로 AI특화 스타트업이다.

이들은 오라클의 OCI 도입 및 활용을 통해 산업 빅데이터 분석, 콘텐츠 생산 및 인간 언어·감정 분석 등 AI 기술 혁신을 달성했다. 또한 한국오라클로부터 AI/ML 서비스 관련 기술 컨설팅 및 클라우드 크레딧도 지원받아 기존 AI 인프라의 비용 및 효율성 문제를 극복했다.

[테크수다 기자 도안구 eyeball@techsuda.com]