[테크수다 기자 도안구 eyeball@techsuda.com] 생성형 AI 서비스의 환각(Hallucination)을 최소화하기 위한 방안으로 검색증강생성(RAG: Retrieval-Augmented Generation)가 주목을 받고 있다. 환각은 거짓 정보도 사실인 양 생성하는 문제다. 이로 인해 기업 내 거대언어모델 기반 생성형 AI 서비스를 구현하려는 기업들과 공공 기관들은 이 문제 해결에 관심을 가져왔다.

그래서 주목받는 건 RAG와 파인튜닝. RAG는 LLM이 답변을 생성하기 전, 외부 데이터베이스에서 질문과 관련된 정보를 검색하는 과정으로 할루시네이션 방지에 효과적인 것이 특징이다. 파운튜닝은 모델 자체에 더 정확한 정보를 학습해 이를 대응할 수 있도록 하는 방식이다.

오픈소스 LLM 기반 산업 특화된 경량화 언어 모델이 쏟아지면서 기업들은 기존에 사내 구축한 데이터베이스와 연동해 이런 문제를 해결하려고 하고 있다.

• 고객 편의 향상, 서비스 고도화 위해 금융, 법조, 공공기관에서도 LLM 기반 AI 챗봇 솔루션 적극 활용
• LLM의 환각 현상 줄이고 데이터의 최신성 높이고자 외부 DB에서 검색하는 ‘RAG’ 활용 사례 증가
• 스켈터랩스 X KB국민카드, RAG로 정확도 높인 챗봇 솔루션 ‘벨라 큐나’ 활용 ‘이벤트 Q&AI’ 출시

국내 역시 다양한 산업군에서 RAG를 통해 할루시네이션 현상을 줄이고 있다. 특히나 정확한 정보 제공이 중요한 금융업계와 법조계는 물론 공공기관에서도 RAG를 적극 활용하고 있어 주목된다. RAG로 이용자 편의와 신뢰도를 높이고 있는 국내 AI 서비스 도입 사례를 살펴본다.

■ KB국민카드, 할루시네이션 줄이기 위한 RAG 활용으로 신뢰성 강화

▲KB국민카드는 수백가지의 이벤트 정보를 고객에게 보다 정확하게 전달하기 위해, 국내 대표 인공지능(AI) 기업 스켈터랩스가 개발한 GPT 기반의 질의응답 챗봇 솔루션 '벨라 큐나'를 활용하여 '이벤트 Q&AI' 서비스를 출시했다.

스켈터랩스의 ‘벨라 큐나’는 LLM 기반 기업 맞춤형 챗봇 솔루션으로, 객관성과 시의성에 한계가 있었던 LLM을 RAG로 보강해 보다 정확하고 최신 데이터를 기반으로 답변을 생성한다.

KB국민카드의 이벤트 Q&AI 서비스는 벨라 큐나와 KB국민카드의 기업 이벤트 정보를 API로 연동하는 방식으로 진행됐다. 해당 서비스는 RAG를 활용해 매일 변화하는 최신 이벤트 정보를 간편하게 업데이트 하고, 이를 기반으로 답변을 생성한다. 정보의 최신성을 강화하고 할루시네이션 현상을 최소화한 고객 친화적인 맞춤형 서비스인 셈이다.

■ 로앤굿, 로앤컴퍼니.. 단순 업무는 줄이고, 업무 집중도는 높인 RAG 활용 인공지능 도입 중

리걸테크 기업인 ▲로앤굿은 지난해 10월 열린 리걸 테크 AI 포럼에서 자연어 검색이 가능한 변호사용 인공지능(AI) 챗봇 시제품인 '로앤봇'을 공개한 바 있다. 해당 프로토타입은 문장에서 의미와 문맥을 알아서 이해해 키워드 없이도 유사내용을 검색할 수 있다. 또한 지난 5년간 개인정보가 법률적으로 연결된 부분을 학습하는 식으로 구동 가능하다.

로앤굿에 따르면 로앤봇은 개인정보 포털에 공개된 최근 5년간 총 4360페이지에 달하는 결정문·심결례·가이드라인·판례집 등을 학습했으며, RAG를 활용해 국내법에 특화된 챗봇으로 구현했다.

로톡 운영사인 ▲로앤컴퍼니도 빅케이스GPT를 공개했다. GPT 기반의 빅케이스GPT는 국내 판례 약 329만건 분량의 자체적인 빅케이스 데이터를 활용한 RAG 모델을 적용했다. 로앤컴퍼니는 서비스에 변호사 상담 전 작성하는 상담글을 요약 정리하고 변호사에게 예상되는 법률분야를 제안하고 분류해주는 기능을 추가했다. 빅케이스GPT에도 판결문 내 'AI 요점 보기' 'AI 유사판례' '쟁점별 판례 보기' 등 AI를 이용한 서비스로 활용도를 높였다.

■ 통계청, 공공기관도 편익 도모 위한 공공데이터 디지털화 속도 높여

공공기관 역시 인공지능을 도입해 디지털 전환에 박차를 가하고 있다. 최근 ▲통계청은 RAG가 적용된 인공지능 기반 통계 챗봇 서비스를 선보일 예정이라고 밝혔다.

올해 하반기 대국민 서비스를 목표로 주요 통계에 대해 통계 추천과 전문적 질의응답이 가능한 초거대 AI 기반 통계 챗봇 서비스를 구축한다. 그동안 국가통계포털(KOSIS)에 챗봇 서비스가 제공되고 있으나, 정확한 통계용어를 사용하지 않는 경우 제대로 된 답변을 받기 어려웠다. 초거대 AI 기반 통계 챗봇 서비스는 일상언어로 질문하는 통계도 맥락과 의도를 파악해 이용자가 궁금한 사항을 대답할 수 있게 된다.

환각 현상을 예방하기 위해 RAG 방식이 적용된 팩트체크 로직을 구현할 계획이다. 언어를 이해하고 표현하는 능력은 민간의 검증된 초거대 AI 언어모델을 활용하되, 실제로 정보를 검색하고 답변을 생성하는 부분은 전문적인 통계문서를 고차원적인 벡터로 저장한 통계학습 데이터베이스에서만 찾아오도록 설계할 계획이다.

[테크수다 기자 도안구 eyeball@techsuda.com]