[테크수다 기자 도안구 eyeball@techsuda.com] 마음AI가 오는 CES 2025 에서 퀄컴과 온디바이스 AI 협력 성과를 공개한다. 마음AI 는 이번 전시회(1 월 7 일~10 일)에 단독 부스로 참여하는데, 메인 전시로 LLM 기반 음성 대화 제품인 'SUDA'를내세운다.

'SUDA'는 퀄컴 QCS6490 프로세서(Qualcomm QCS6490 processor) 기반의 퀄컴 RB3 2세대 플랫폼(Qualcomm RB3 Gen 2  platform)을 탑재해 음성 대화를 위한 STT, LLM, TTS 를 지원하며 인터넷 연결 없이 기기에서 음성 대화가 가능하게 만든 것이 특징이다. 마음AI는 이번 퀄컴과의 협업을 통해 QCS6490 프로세서에 STT, LLM(Llama v3.2 1B), TTS 를 탑재하는데 성공했다.

최홍섭 마음AI의 기술총괄 CEO는 “퀄컴의 RB3 2세대 플랫폼에 우리 기술을 탑재할 수 있는 협업 기회를 얻게 되어 기쁘다"라며,"QCS6490 프로세서에 LLM 을 탑재하려는 수요가 많은 것으로 알고 있으며, 앞으로도 퀄컴과 긴밀한 협력을 통해 온디바이스 AI 시장을 선도할 수 있을 것”이라고 포부를 밝혔다.

퀄컴의 QCS6490 프로세서는 스마트홈, 운송, 창고 관리, POS 키오스크, 커넥티드 헬스케어, 물류 관리 등 산업용 IoT 애플리케이션에 최적화된 플랫폼으로, 다양한 활용 가능성을 기대할 수 있다.

QCS6490 프로세서는 마음 AI가 온디바이스 LLM을 통해 원활한 음성 상호작용 서비스를 구현할 수 있게 하며, 온디바이스 비전 AI를 포함한 다른 애플리케이션을 실행할 수 있는 능력을 확보한다. 마음 AI는 LLM 추론 속도를 최대한 끌어올린 결과, 온디바이스 상에서 총 처리 지연시간(Total Latency)을 1.5 초이내로 단축하는 데 성공했다. 일반적인 AI 스피커나,가전제품에 탑재된 음성 대화 모듈들에 비해 사용자 경험을 향상시킬 수 있다.

CES 현장에서는 RB3 2세대 플랫폼이 탑재된 온디바이스 AI 'SUDA'를 기반으로 홈 IoT 를 제어하는 시연을 공개한다. 예를 들어, "너무 눈부신데"라고 말하면, LLM 이 사용자의 의도를 파악하고 블라인드를 내리도록 명령을 내리는 것이다. 이렇게 홈 IoT 환경에서 여러 센서나 가전제품 등을 제어하는 Agent 기능을 구현하기 위해, 마음 AI 는LLM 에 Function call 기능을 구현했다. 이를 통해 사용자는 API 로 호출 가능한 모든 센서와 가전제품 등 홈 IoT 제품들을 자연어로 쉽게 제어할 수 있다.

한편, 마음AI는 이번 CES 2025 에대한민국 정부 고용노동부와 구축한 근로감독관 AI 지원 시스템과 Vision Language Action Model ‘WoRV’를 적용한 농업 로봇 자율주행 등 다양한 상용화 사례를 소개하는 등, EAI(Embodied AI) 선도 기업으로서의 입지를 공고히 할 예정이다.

[테크수다 기자 도안구 eyeball@techsuda.com]