[SNS 타임즈- LA] "당신의 데이터에 맞게 준비된 AI를 만든다." 미국 뉴욕의 인공지능(AI) 스타트업 스핑크스(Sphinx.ai)를 이끄는 로한 코디알람 최고경영자(CEO)는 자사의 신제품을 이 한 문장으로 요약했다.

그동안 업계는 기업의 어수선한 데이터를 AI가 읽기 좋게 손질하는 데 주력해 왔지만, 스핑크스는 거꾸로 AI 쪽을 기업의 실제 데이터 환경에 적응시키는 길을 택했다.

기업들이 LLM 기반 AI를 업무에 도입하면서 가장 먼저 부딪히는 벽은 모델의 '똑똑함'이 아니라 '신뢰'의 문제다. 인터넷에 공개된 일반 지식에 대해서는 AI가 제법 그럴듯한 답을 내놓지만, 회사마다 제각각인 보고서 양식이나 부서별 용어, 수치를 집계하는 관행처럼 문서화되지 않은 채 구성원들의 머릿속에만 존재하는 조직 고유의 업무 관행은 AI가 알 도리가 없다.

코디알람은 이를 두고 지능이 부족해서가 아니라 "조직이 돌아가는 방식에 대한 암묵적 지식을 모르는 데서 비롯된 한계"라고 짚었다.

이 간극은 실무 현장에서 AI의 '환각(할루시네이션·hallucination)' 현상으로 나타난다.

환각이란 AI가 충분한 맥락 정보 없이 질문을 받았을 때 사실이 아닌 내용을 그럴듯하게 지어내는 현상을 가리키는 업계 용어다. 회사 고유의 맥락이 부족할수록 업무 관련 질문에서 AI가 환각을 일으킬 가능성은 커진다.

실제로 매사추세츠공과대학교(MIT) 산하 한 연구 프로젝트는 기업들이 AI 분야에 최대 400억 달러를 투자했음에도 응답 기업의 95%가 이렇다 할 투자 수익을 보지 못했다고 분석해, 이 문제의 심각성을 뒷받침한 바 있.

스핑크스는 이 문제를 풀겠다며 지난해 9월 투자금 950만 달러를 확보하고 본격 출범했다. 투자는 실리콘밸리의 벤처캐피털(VC) 라이트스피드가 주도했고, 베세머벤처파트너스를 비롯해 박스그룹, K5, 임페이션트벤처스 등이 참여했으며 시타델 창업자 스티브 코언과 전 데이터브릭스·윈드서프·투게더AI 출신 인사들도 개인 자격으로 투자에 합류했다.

코디알람은 시타델에서 7년간 데이터 전략팀의 AI 개발을 이끈 전직 퀀트(편집자 주: 수학·통계 모델로 투자를 분석하는 금융 전문가) 출신이며, 공동창업자이자 최고기술책임자(CTO)인 제이미 블록섬은 데이터브릭스에 인수된 AI 모델 학습 스타트업 모자이크ML에서 초기 기술 리더로 일한 경력이 있다."

스핑크스의 첫 제품은 데이터 과학자들이 쓰는 주피터 노트북·VS코드 환경에 통합돼, 기업의 어수선한 데이터를 AI가 다루기 좋은 형태로 정리해주는 보조 에이전트였다.

그러나 지난달 공개한 '스핑크스 2.0'은 접근 방식을 정반대로 뒤집었다.

데이터를 AI에 맞추는 대신, AI가 기업의 실제 데이터·업무 맥락을 이해하도록 그 사이에 '조직 지식 레이어'라는 일종의 검증 계층을 끼워 넣은 것이다. 이

레이어는 기업이 쓰는 모든 AI 도구와 데이터 사이에 자리 잡아, AI가 던지는 모든 질의(쿼리)를 정확성 기준으로 걸러내고, 답변이 회사의 실제 업무 맥락과 어긋나지 않도록 지속적으로 모니터링하고 다듬는 역할을 한다.

스핑크스 2.0의 또 다른 핵심 기능은 '불일치 탐지'다.

기업이 평소 특정 데이터를 어떻게 측정하고 추적해왔는지를 학습한 뒤, AI가 내놓은 결과가 기존에 사실로 통용되던 값과 어긋날 경우 이를 자동으로 찾아내 사람이 검토하도록 넘긴다는 설명이다.

코디알람은 데이터를 AI가 다루기 좋게 미리 손질하는 데 막대한 비용을 들이는 대신, AI를 기업의 실제 데이터 생태계에 맞게 준비시키는 절충점을 찾고자 했다고 말했다.

이런 접근이 필요한 이유는 기업 데이터의 특성과도 맞닿아 있다.

기업이 보유한 데이터는 끊임없이 쌓여가는 '움직이는 표적'이어서, 이를 안전하게 AI 시스템으로 옮기는 작업 자체에 상당한 비용이 든다. 그렇다고 모든 데이터를 실시간으로 AI에 그대로 연결해버리면, 누가 무엇을 언제 들여다봤는지 추적하는 관측 체계와 접근 권한을 통제하는 거버넌스(관리·감독) 장치가 빠지면서 오히려 안전성이 떨어지는 딜레마에 놓인다.

다만 이번에 인용한 보도는 AI 조사 분석 기업 더 딥뷰(The Deep View)가 스핑크스와의 파트너십으로 게재한 뉴스레터 콘텐츠라는 점은 짚어둘 필요가 있다. 기업용 AI의 신뢰성 문제 자체는 업계 전반에서 폭넓게 논의돼 온 주제지만, 스핑크스 2.0의 구체적 성능이나 효과에 대한 독립적인 제3자 검증 결과는 아직 공개되지 않았다.

- Copyright, SNS 타임즈 www.snstimes.kr