KAIST

< (왼쪽부터) 뇌인지과학과 이상완 교수, 양민수 박사과정 >

뇌의 맥락 추론 방식이 챗지피티 같은 대규모 인공지능 모델과 어떻게 다를까? 우리 연구진이 ‘뇌처럼 생각하는 인공지능’기술로서 과도한 자신감을 보이는 인공지능의 할루시네이션(Hallucination) 현상을 완화하거나 인간이나 동물과 유사하게 스스로 가설을 세워 검증하는 신개념 인공지능 모델을 개발하는데 성공했다. 

우리 대학 뇌인지과학과 이상완 교수(신경과학-인공지능 융합연구센터장)와 생명과학과 정민환 교수(IBS 시냅스 뇌질환 연구단 부연구단장) 연구팀이 동물이 가설을 세워 일관된 행동 전략을 유지함과 동시에, 본인의 가설을 스스로 의심하고 검증하면서 상황에 빠르게 적응하는 새로운 강화학습 이론을 제시하고 뇌과학적 원리를 규명했다고 20일 밝혔다. 

현재 상황에 맞게 행동의 일관성과 유동성 사이의 적절한 균형점을 찾아가는 문제를 ‘안정성-유동성의 딜레마(Stability-flexibility dilemma)’라 한다. 이를 위해서는 현재 본인의 판단이 맞는지를 계속 검증하고 수정할 수 있어야 한하는데 뇌과학 및 인공지능 분야에서 다양한 연구가 있었으나 아직까지 완벽한 해법이 알려진 바가 없다.

연구팀은 스스로 세운 가설을 바탕으로 다음 상황을 예측하고 확인하는 행동 패턴을 동역학적으로 프로파일링 할 수 있는 새로운 방식을 고안했고, 이를 바탕으로 전통적인 강화학습 이론과 최신 인공지능 알고리즘 모두 동물의 관련 행동을 제대로 설명하지 못한다는 것을 발견했다. 

이어 연구팀은 동물의 현재 상황에 대한 가설을 세우고, 가설의 예측 오류를 바탕으로 행동 전략을 비대칭적으로 업데이트하는 새로운 적응형 강화학습 이론과 모델을 제안했다.

< 그림. 1. 가설 검증 뇌기반 인공지능 모델 개념도. 추정한 현재 맥락에 대한 의심을 스스로 검증하는 동적 프로세스를 표현함. 스스로의 의심을 확인하는 사건을 인지하는 경우 빠르게 새로운 가설을 받아들이는 학습과정을 설명하는 모델로써, 인간과 동물의 메타인지 기반 능력을 프로파일링하는데 활용할 수 있음. 이 모델은 최신 인공지능 모델 대비 최신 인공지능 모델 대비 최대 31%, 평균 15% 더 높은 설명력을 보임. >

최신 인공지능 모델은 효율적 문제 해결에 집중하다 보니 인간이나 동물의 행동을 잘 설명하지 못하는 경우가 많은 반면, 제안 모델은 예상치 못한 사건에 대한 동물의 행동을 최신 인공지능 모델 대비 최대 31%, 평균 15% 더 잘 예측함을 보였다. 

특히, 이 결과는 기존 연구에서 발표된 네 가지 서로 다른 동물 실험 데이터(two-step task, two-armed bandit task, T-maze task, two-armed bandit task with MSN inactivation) 분석을 통해 일관성 있게 재현되었다. 

연구팀은 더 나아가 중뇌 기저핵* 선조체**속 중간크기 가시뉴런***이 가설 기반 적응형 강화학습 과정에 관여함을 밝혔다. 직접 경로 가시뉴런들은 예상한 사건을 마주한 경험을, 간접 경로 가시뉴런들은 예상하지 못한 사건을 마주한 경험을 부호화해 행동 전략을 조절함을 보였다.

*기저핵(Basal Ganglia): 대뇌피질, 시상, 뇌간 등 운동 조절 및 학습하는 기능을 담당하는 뇌 부위

**선조체(Striatum): 기저핵의 일부로 가치 평가 및 강화학습 능력과 관련된 부위

***가시뉴런Medium Spiny Neuron, MSN): 선조체의 약 90%를 차지하는 대표적 신경세포로 신경활동을 억제하는 특징을 가지고 있음 

본 연구 결과는 뇌의 맥락 추론 방식이 대규모 인공지능 모델과 근본적으로 다르다는 것을 보여준다. 챗지피티(ChatGPT)나 딥시크와 같은 인공지능 모델은 사용자 입력으로부터 맥락 정보를 추정하고 이를 바탕으로 필요한 전문가 시스템에 매칭하며 (딥시크 모델은 강화학습을 사용하여 매칭), 새로운 정보가 들어올 때까지는 이것이 맞다고 가정한다. 

이와 달리 뇌는 스스로 추정한 맥락(가설)을 의심하고, 의심이 확인되는 즉시 새로운 맥락을 적극 받아들인다. 이는 과도한 자신감을 보이는 인공지능의 할루시네이션(Hallucination) 현상을 완화하거나 인간과 유사한 추론엔진을 구성할 수 있는 새로운 방향성을 제시한다. 

본 연구는 뇌과학-인공지능 융합연구로서, 실제 분야에 널리 활용될 수 있다. 예를 들어, 인간의 동역학적 행동 프로파일링 기술을 이용하면 개개인의 가설 수립, 검증 학습 능력 분석이 가능하므로, 맞춤형 교육 커리큘럼 디자인, 인사 및 인력관리 시스템, 인간-컴퓨터 상호작용 분야에 바로 적용할 수 있다. 

제안된 적응형 강화학습 모델은 ‘뇌처럼 생각하는 인공지능’기술로서 인간-인공지능 가치 정렬 (Value alignment) 문제 해결에 활용될 수 있다. 또한 이 과정에 관여하는 것으로 알려진 기저핵 내 보상학습 회로와 관련된 중독이나 강박증과 같은 정신질환의 뇌과학적 원인 규명에 활용될 수 있다. 

연구 책임자인 이상완 교수는 "이번 연구는 인공지능의 강화학습 이론만으로 설명할 수 없는 뇌의 가설 기반 적응학습 원리를 밝혀낸 흥미로운 사례ˮ라면서 "스스로 의심하고 검증하는 뇌과학 이론을 대규모 인공지능 시스템 설계와 학습 과정에 반영하면 신뢰성을 높일 수 있을 것ˮ이라고 말했다.

< 그림. 2. 가설을 세워 스스로 검증하는 능력을 동역학적으로 프로파일링하는 기술 >

뇌인지공학 프로그램 양민수 박사과정 학생이 1 저자, 생명과학과 정민환 교수가 공동 저자, 뇌인지과학과 이상완 교수가 교신저자로 참여한 이번 연구는 국제 학술지 `네이처 커뮤니케이션스 (Nature Communications)‘ 2월 20일자로 게재됐다. (논문명: Striatal arbitration between choice strategies guides few-shot adaptation) DOI: 10.1038/s41467-025-57049-5) 

한편 이번 연구는 과학기술정보통신부 정보통신기획평가원 SW스타랩, 한계도전 R&D 프로젝트, 한국연구재단 중견연구자 및 KAIST 김재철AI대학원 사업 지원을 받아 수행됐다.