말하지 않아도 ‘이게 아닌데’ 눈치채는 AI 개발
일일이 말하거나 몸짓으로 알려주지 않아도, AI가 사람의 뇌에서 나오는 ‘이게 아닌데’라는 반응을 알아채 스스로 행동을 고치는 시대가 다가오고 있다. 우리 대학 연구진이 뇌파로 사람과 AI의 인지적 어긋남을 포착해 AI가 사람의 목표에 맞춰 실시간으로 행동을 수정하는 기술을 개발했다. ‘명령하는 AI’에서 ‘의도를 눈치채는 AI’로의 변화를 앞당길 것으로 기대된다.
우리 대학은 뇌인지과학과 이상완 석좌교수(신경과학-인공지능 융합연구센터장) 연구팀이 마이크로소프트연구소 아시아(Microsoft Research Asia)와 국제 공동연구를 통해 인간의 뇌파를 이용해 AI를 실시간으로 인간의 목표에 맞추는 차세대 뇌-컴퓨터 인터페이스(BCI) 기술인 ‘신경 가치 정렬(Neural Value Alignment, NVA)’을 개발했다고 10일 밝혔다.
AI가 사람과 자연스럽게 협업하기 위해서는 사람이 실제로 무엇을 원하는지 정확하게 파악해야 한다. 하지만 지금까지 AI는 주로 사람의 말이나 행동, 몸짓 등 외부로 드러난 정보를 바탕으로 의도를 추정해 왔다.
문제는 같은 행동이라도 목적이 다를 수 있다는 점이다. 예를 들어 사람이 컵을 집더라도 직접 물을 마시려는 것인지, 다른 사람에게 건네려는 것인지 행동만 보고서는 구별하기 어렵다. 이러한 ‘목표-행동 모호성’ 때문에 AI가 사람의 의도를 잘못 이해하면 사용자가 다시 명령하거나 행동을 교정해야 했다.
연구팀은 이 문제를 해결하기 위해 사람이 예상과 다른 상황을 마주했을 때 뇌에서 무의식적으로 발생하는 ‘예측 오차’에 주목했다. 쉽게 말해 AI가 잘못된 행동을 했을 때 사람이 순간적으로 느끼는 “이게 아닌데”라는 뇌의 반응을 이용한 것이다.
특히 연구팀은 이 반응을 두 종류로 구분했다. AI가 사람의 궁극적인 목표 자체를 잘못 이해했을 때 나타나는 ‘보상 예측 오차(RPE)’와, 목표는 맞지만 행동 과정이나 방식이 예상과 다를 때 나타나는 ‘상태 예측 오차(SPE)’다.
연구팀은 AI가 작업하는 모습을 지켜보는 사람의 실시간 뇌파(EEG)를 측정했다. 그 결과, AI가 목표 자체를 잘못 이해했을 때와 목표는 맞지만 행동 방식이 잘못됐을 때 사람의 뇌가 서로 다른 신호를 보내는 것을 확인했다. 두 가지 오류가 동시에 발생했을 때 나타나는 특징적인 뇌파 패턴도 찾아냈다.
연구팀은 여기에 딥러닝을 적용해 뇌파만으로 사람이 AI의 행동을 어떻게 받아들이고 있는지를 구분하는 기술을 개발했다. 쉽게 말해 사람이 직접 “틀렸다”고 말하지 않아도, 뇌파를 통해 “목표가 틀렸다”거나 “방법이 틀렸다”는 반응을 AI가 알아챌 수 있게 한 것이다.
이어 이렇게 읽어낸 뇌 신호를 AI에 실시간으로 전달해 스스로 행동을 고치도록 하는 ‘신경 가치 정렬 기반 인간-AI 시너지’ 알고리즘을 제안했다.
AI는 상태 예측 오차(SPE)가 감지되면 “원하는 목표는 맞지만 방법이 잘못됐다”고 판단해 행동 방식을 바꾸고, 보상 예측 오차(RPE)가 나타나면 “목표 자체를 잘못 이해했다”고 판단해 사람이 실제로 원하는 것이 무엇인지 다시 찾는다.
시뮬레이션 결과, 사람의 목표가 갑자기 바뀌거나 일부 신호가 빠지는 등 불확실한 상황에서도 기존 방식보다 빠르게 사람의 의도 변화에 적응하는 것으로 나타났다.
이번 연구의 핵심은 사람이 AI에게 계속 “이렇게 해”, “그게 아니야”라고 말하거나 몸짓으로 알려주지 않아도, AI가 사람의 무의식적인 ‘이게 아닌데’라는 뇌 반응을 읽고 스스로 행동을 고칠 수 있는 가능성을 보여줬다는 점이다.
향후 기술이 발전하면 가정이나 산업 현장의 피지컬 AI 로봇이 사용자의 의도를 보다 자연스럽게 파악하고 행동을 조정하는 데 활용될 수 있다. 자율주행차가 운전자의 판단을 빠르게 반영하거나, 말을 하거나 몸을 움직이기 어려운 환자가 의료·재활 로봇을 제어하고, AI가 학생의 인지 상태에 맞춰 학습을 돕는 기술로도 확장될 수 있다.
궁극적으로는 사람이 일일이 명령해야 움직이는 AI에서, 사람의 반응을 알아채고 스스로 맞춰가는 AI로 발전하는 새로운 인간-AI 협업 방식을 제시한 연구다.
이번 국제 공동연구를 주도한 이상완 교수는 “이번 연구는 인공지능이 눈에 보이는 행동 결과만으로 인간의 의도를 추정하던 기존 방식에서 벗어나, 행동 이면에서 발생하는 뇌의 인지 신호를 AI와의 협업에 직접 활용할 수 있음을 보여줬다는 데 의미가 있다”며 “향후 피지컬 AI, BCI, 자율주행, 정밀 맞춤형 교육, 의료용 로봇, 인간-컴퓨터 상호작용(HCI) 등 인간의 판단과 AI의 행동을 긴밀하게 연결해야 하는 다양한 분야로 확장될 수 있을 것”이라고 말했다.
마이크로소프트연구소 이미란 전무는 “이번 성과는 KAIST와 마이크로소프트연구소 아시아가 지속해 온 국제 공동연구의 결실”이라며 “앞으로도 양 기관의 협력을 통해 인간과 AI가 보다 자연스럽게 소통하고 협력할 수 있는 세계적 수준의 BCI 기술 개발을 이어갈 것으로 기대한다”고 말했다.
이번 연구에는 KAIST 뇌인지과학과 박사과정 서흔(Xin Xu) 학생이 제1저자로 참여했으며, 마이크로소프트연구소 아시아의 얀센 왕(Yansen Wang), 동치 한(Dongqi Han), 동쉔 리(Dongsheng Li) 박사 등이 공동 연구진으로 참여했다. 연구 결과는 사이버네틱스 분야 대표 국제 학술지 ‘IEEE 트랜잭션스 온 사이버네틱스(IEEE Transactions on Cybernetics)’에 2026년 8월 온라인 게재됐다.
※논문명: Neural Value Alignment: Human–AI Collaboration Under Goal-Action Ambiguity, DOI: 10.1109/TCYB.2026.3722605>
한편, 지속적으로 변화하는 환경에서 AI가 새로운 정보에 빠르게 적응하도록 하는 KAIST 이상완 교수 연구팀-마이크로소프트연구소 아시아의 또 다른 공동연구도 KAIST 뇌인지과학과 박사과정 니클라스 쾨페(Niklas Koeppe) 학생이 제1저자로 참여해 인공지능 분야 대표 국제학회인 ICML 2026(International Conference on Machine Learning)에서 지난 6월 발표됐다.
※논문명: Mitigating Plasticity Loss through Architectural Design in Continual Learning, 논문원본: https://icml.cc/virtual/2026/poster/61534
이번 연구는 과학기술정보통신부 정보통신기획평가원의 디지털분야글로벌연구지원사업 지원을 받아 수행됐다.
화학적, 전기적 양방향 소통이 가능한 파이버형 뇌-컴퓨터 인터페이스 개발
뇌 속 뉴런은 화학적, 전기적 신호가 동시에 작동하면서 정교한 시스템을 만들어내지만 현재까지는 이러한 신호를 동시에 주고받으면서 신경의 작동 원리를 확인할 수 있는 장치가 존재하지 않았다. 한국 연구진이 화학적 신호와 전기적 신호를 양 방향적으로 주고받으며 세부적인 신호 전달 체계를 탐사할 수 있는 다기능 신경 인터페이스를 개발하여 앞으로 신경 체계 연구, 질환 연구 및 치료에 획기적인 발전을 가져올 것으로 기대한다.
우리 대학 바이오및뇌공학과 박성준 교수 연구팀이, 초소형 와이어 병합 열 인발공정(Microwire Co-drawing Thermal Drawing Process, MC-TDP)*을 통해 카본, 폴리머, 금속의 다양한 재료를 통합하여 4가지 기능성을 가진 다기능 섬유형 신경 인터페이스를 개발했다고 13일 밝혔다.
☞ 열 인발공정 : 열을 가해 큰 구조체의 복잡한 구조체를 빠른 속도로 당겨 같은 모양 및 기능을 갖춘 섬유를 뽑아내는 일 또는 가공
뇌신경 시스템 조사를 위한 삽입형 인터페이스는 전기적 성능에 중점을 두고 발전해 왔다. 하지만 전기적, 화학적 신호의 시너지 효과를 연구하기 위해서는 전기적 신호뿐만 아니라 화학적 신호의 역학을 기록하고 화학적 자극 또한 할 수 있는 신경 디바이스가 필요했다. 그러나 기존의 제작 방법으로는 다양한 자극과 기록을 수행할 수 있는 다양한 재료를 융합하는 것이 어려웠고, 특히 마이크로미터 스케일로 정교한 다기능성 신경 인터페이스를 만드는 것이 어렵다는 문제가 있었다.
연구팀은 문제 해결을 위해 이번 연구에서 초소형 와이어 병합 열 인발공정을 통해 머리카락 크기의 다기능 섬유를 뽑아내는 동안 초소형 와이어를 병합하고 카본 파이버를 융합하여 뉴런 사이에서 일어나는 대표적인 신호 전달을 동시에 조사할 수 있는 다기능 섬유를 제작했다. 연구팀은 제작된 하나의 섬유가 카본 파이버를 통한 도파민 모니터링, 마이크로 유체관을 통한 약물 주입, 폴리머 광 도파관을 통한 광 유전학적 신경 자극, 그리고 초소형 와이어를 통한 전기신호 측정을 할 수 있음을 확인했다.
해당 뇌-기계 인터페이스를 실제 쥐 모델에서 광유전학적 자극에 따른 화학적 신경전달물질 중 도파민과 전기적 신경 활성 신호를 효과적으로 측정하고 약물에 따른 도파민 방출량의 변화를 확인할 수 있음을 보였다. 또한 연구팀은 개발된 섬유가 자발적인 신경 신호를 측정할 수 있음을 보여주며 신경 인터페이스로써의 범용적 사용성도 확인했다.
이번 연구 결과는 국제 학술지 '에이씨에스 나노(ACS Nano)'에 2024년 5월 온라인 출판됐다. (논문명: A Multifunctional and Flexible Neural Probe with Thermally Drawn Fibers for Bidirectional Synaptic Probing in the Brain)
박성준 교수는 "화학적 신경전달물질 기록 및 화학적 자극, 전기적 신경 활성신호 기록, 그리고 광학적 조절 기능을 갖춘 차세대 초다기능성 신경 인터페이스의 개발 성과ˮ임을 강조하며, "향후 다양한 신경 회로에의 적용을 통해 신경 회로의 작동원리 규명과 뇌 질환의 세부적인 메커니즘 파악에 사용될 수 있을 것ˮ 이라고 말했다.
한편 이번 연구는 한국연구재단 기초연구실, STEAM연구사업 및 범부처재생의료기술사업의 지원을 받아 수행됐다.