AI 트레이딩 봇, 경쟁 대신 스스로 '담합 카르텔' 형성… 규제 사각지대 논란

[SNS 타임즈-LA] 최근 AI 기반 트레이딩 봇이 경쟁 대신 가격 담합을 자발적으로 학습한다는 연구 결과가 발표되며, 금융 시장의 새로운 위협이 주목받고 있다.

해외 AI 전문 기업 '더 딥뷰(The Deep View)'의 최신 보고서에 따르면, 인공지능 거래 알고리즘들이 별도의 프로그래밍 없이도 스스로 가격 담합을 학습한다는 충격적인 연구 결과가 발표됐다.

미국 펜실베이니아대 와튼스쿨의 연구진은 AI 알고리즘이 명시적인 지시 없이도 카르텔을 형성해 이익을 공유하는 행태를 발견했다고 밝혔다. 이는 AI 기술이 금융시장에 미칠 수 있는 예상치 못한 위험성을 드러내는 것으로 평가된다.

와튼스쿨의 이타이 골드스타인(Itay Goldstein)과 윈스턴 도우(Winston Dou), 홍콩과학기술대의 지 얀(Yan Ji) 연구원은 가상 트레이딩 환경을 만들어 AI 봇의 행동을 관찰했다. 이들은 강화학습(Reinforcement Learning), 즉 시행착오를 통해 보상과 처벌을 학습하는 방식으로 작동하는 비교적 단순한 AI 에이전트를 활용했다. AI에 주어진 유일한 목표는 이익 극대화였다.

놀랍게도, AI 봇들은 서로 경쟁하며 이익을 높이려 하기보다는 협력해 가격을 고정하고 이익을 공유하는 전략을 택했다. 연구진은 이를 “담합 능력(collusion capacity)” 지표로 평가했으며, 0은 담합이 없음을, 1은 완벽한 카르텔을 의미한다. 실험 결과, AI 봇들은 지속적으로 0.5 이상의 점수를 기록하며 명시적 프로그래밍 없이도 담합 행위를 보였다.

골드스타인 교수는 블룸버그와의 인터뷰에서 “매우 단순한 AI 알고리즘도 담합을 학습한다”며, “시장의 변동성이 크거나 작거나 상관없이 이러한 경향이 두드러졌다”고 밝혔다. 이는 AI가 시장 환경과 상호작용하며 협력이 경쟁보다 더 큰 이익을 가져온다는 점을 스스로 깨달았기 때문이다. 연구진은 이를 “알고리즘 진화(algorithmic evolution)”로 설명하며, AI가 인간의 개입 없이도 담합 전략을 발견했다고 덧붙였다.

'인공지능의 어리석음’이 불러온 담합

연구진은 이러한 현상을 “인공지능의 어리석음(artificial stupidity)”이라 명명했다.

이는 AI가 혁신적인 전략을 탐색하기보다는 안정적으로 이익을 보장하는 담합에 안주하는 경향을 뜻한다. 특히, 시장이 조용하거나 혼란스러운 상황 모두에서 AI는 협력 루틴에 빠져 더 나은 전략을 모색하지 않았다. 이는 단순한 알고리즘이 복잡한 알고리즘보다 오히려 담합에 더 취약할 수 있음을 보여준다.

이러한 발견은 금융 시장의 규제 문제를 새롭게 조명한다. 전통적인 시장 조작 감시 방식은 인간 트레이더 간의 이메일이나 전화 통화 등 명시적인 증거를 바탕으로 의도를 파악한다. 그러나 AI는 학습된 행동 패턴을 통해 담합을 이루며, 통신 기록과 같은 흔적을 남기지 않는다. 이는 기존의 규제 도구로는 탐지하기 어려운 ‘규제 사각지대’를 형성한다.

금융권의 우려와 규제 필요성

이미 매수 측(buy-side) 트레이더의 15%가 AI를 워크플로우에 활용 중이며, 추가로 25%가 1년 내 도입을 계획하고 있다. 일부 퀀트 트레이딩 업체(편집자 주: 수학, 물리학, 통계학 등의 고도의 계량적 분석 기법을 사용해 투자 전략을 수립하고 컴퓨터 프로그램을 통해 자동으로 거래를 수행하는 회사)는 의도하지 않은 시장 조작 혐의를 피하기 위해 명확한 규제 가이드라인을 요구하고 있다.

미국 금융산업규제당국(FINRA)은 이 연구 결과를 주목하며 연구진을 세미나에 초청해 논의를 진행했다.

전문가들은 AI의 자율적 학습이 시장 조작을 초래할 가능성을 우려하며, 기존의 인간 중심 규제 방식이 한계를 드러내고 있다고 경고한다. 특히, 단순한 강화학습 알고리즘이 복잡한 프로그래밍 없이도 담합을 학습한다는 점은 더욱 심각한 문제다. 이는 AI가 고도로 정교하지 않아도 시장의 공정성을 해칠 수 있음을 보여준다.

앞으로의 과제, 규제 체계의 전면적 재검토 필요

AI 트레이딩 봇의 자발적 담합은 금융 시장의 투명성과 공정성을 위협하는 새로운 도전 과제다. 전문가들은 규제 당국이 AI의 학습된 행동을 감지하고 평가할 수 있는 새로운 프레임워크를 마련해야 한다고 강조한다. 단순히 명시적 지시를 감시하는 데 그치지 않고, AI의 학습 결과로 나타나는 ‘창발적 행동(emergent behavior)’을 규제할 수 있는 체계가 필요하다는 것이다.

만약 이러한 규제 체계가 마련되지 않는다면, 가격 담합이 시장의 기본 상태로 자리 잡을 가능성도 배제할 수 없다. AI 기술의 확산 속도가 빨라지는 만큼, 금융 시장의 공정성을 지키기 위한 규제 혁신이 시급하다는 지적이 설득력을 얻고 있다.

- Copyright, SNS 타임즈 www.snstimes.kr