AI 스스로 숨은 약점 찾는다…더 안전한 생성형 AI 만든다
튼튼한 성을 만들려면 먼저 약한 곳을 찾아야 한다. 생성형 인공지능(AI)도 마찬가지다. 우리 대학 연구진이 AI의 숨은 취약점을 기존보다 약 7배 더 다양하게 찾아내는 안전성 검증 기술을 개발했다. 더욱 안전하고 신뢰할 수 있는 AI 개발의 기반이 될 것으로 기대된다.
우리 대학은 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(Large Language Model, LLM)의 안전성을 검증하는 레드팀(Red Teaming, AI를 의도적으로 공격해 취약점을 찾는 안전성 검증 과정) 기술의 한계를 극복한 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)'을 개발했다고 30일 밝혔다.
생성형 AI의 레드팀(Red Teaming)은 프로그램을 배포하기 전에 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트(Attack Prompt, AI의 취약점을 시험하기 위한 질문)를 만들어 숨은 약점을 찾아내는 과정이다. 가능한 한 다양한 공격 방법을 찾아낼수록 더 많은 취약점을 사전에 제거할 수 있어, 공격 성공률과 공격 다양성이 모두 중요하다.
기존에는 강화학습(Reinforcement Learning, 보상을 최대화하도록 학습하는 AI 기법)을 이용해 공격 프롬프트를 생성하는 방식이 주로 사용됐다. 하지만 가장 성공률이 높은 한두 가지 공격 방법만 반복적으로 생성하는 모드 붕괴(Mode Collapse, 다양한 결과 대신 일부 결과에만 치우치는 현상)가 자주 발생해 여러 유형의 취약점을 충분히 찾지 못하는 한계가 있었다.
이를 해결하기 위해 생성 흐름 네트워크(Generative Flow Network, GFlowNet, 보상에 비례해 다양한 결과를 생성하도록 학습하는 AI 생성 기술)가 제안됐지만, 학습 과정에서 계산이 복잡하고 불안정하며 의미 없는 문장에도 높은 보상이 주어져 성능이 쉽게 무너지는 문제가 있었다.
연구팀은 이러한 문제를 해결하기 위해 좋은 공격은 더 잘 배우고, 잘못된 공격은 걸러내는 세 가지 핵심 기술을 개발했다.
첫째, 여러 길 가운데 더 나은 길을 비교해 선택하듯, 대조 궤적 균형(Contrastive Trajectory Balance, CTB) 기법을 도입해 계산이 복잡한 과정을 줄이고 학습을 안정화했다.
둘째, 시끄러운 환경에서도 필요한 목소리만 골라 듣듯, 노이즈 경사 가지치기(Noise Gradient Pruning, NGP)를 적용해 불필요한 잡음은 제거하고 중요한 정보만 학습하도록 했다.
셋째, 횡설수설하는 말보다 자연스러운 문장을 우선 평가하듯 유창성 안정화 장치(MKS)를 적용해 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도했다.
그 결과 연구팀이 개발한 스테이블-지플로우넷(Stable-GFlowNet)은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다.
또한 스테이블-지플로우넷으로 학습한 방어 모델은 서로 다른 공격 기법을 이용해 평가하는 교차 공격(Cross Attack) 시험에서도 다양한 공격을 효과적으로 방어하며 우수한 일반화 성능을 입증했다.
이번 기술은 AI 안전성 검증뿐 아니라 신약 후보 물질을 생성하는 분자 생성(Molecular Generation) 등 다양한 분포 매칭(Distribution Matching) 문제에서도 기존보다 빠르고 안정적인 성능을 보여 범용적으로 활용될 가능성도 확인했다.
김준모 교수는 “이번 기술은 적은 데이터와 잡음이 많은 현실적인 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다”며 “생성형 AI를 실제 서비스에 적용하기 전에 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어, 더욱 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반기술이 될 것으로 기대한다”고 말했다.
이번 연구는 KAIST 전기및전자공학부 권민찬 박사과정이 제1저자로 참여했으며, 인공지능 분야 세계 최고 권위 학회인 '국제머신러닝학회(ICML) 2026'에서 상위 2.2%에 해당하는 스포트라이트(Spotlight) 논문으로 선정되는 쾌거를 이뤘다.
※ 논문명: Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance,DOI : https://arxiv.org/abs/2605.00553
한편, 이번 연구는 과학기술정보통신부 정보통신기획평가원 SW스타랩 사업의 지원을 받아 수행됐다.
국내 유일 Microsoft AI 안전성 연구 프로그램 선정
생성형 AI가 산업과 사회 전반으로 빠르게 확산되면서 AI의 안전성과 보안성을 확보하는 기술이 새로운 핵심 경쟁력으로 떠오르고 있다. 우리 대학이 국내에서는 유일하게 Microsoft(마이크로소프트)의 글로벌 AI 안전성 연구 프로그램에 선정돼 차세대 AI 보안·신뢰성 기술 개발에 나선다.
우리 대학은 전산학부 손수엘 교수가 국내에서는 유일하게 Microsoft AI Red Team(마이크로소프트 AI 레드팀)이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘EXTRA(External Red Team Alliance, 외부 레드팀 연합)'의 연구지원 대상자로 선정됐다고 28일 밝혔다.
EXTRA는 Microsoft AI Red Team이 올해 새롭게 출범한 글로벌 연구지원 프로그램으로, AI 시스템의 안전성과 보안 취약점을 다양한 관점에서 검증하고 독립적인 AI 안전성 연구 생태계를 확대하기 위해 마련됐다. AI 안전성 평가를 기업 내부에만 맡기지 않고 전 세계 대학과 연구기관으로 확대했다는 점에서 의미가 크다.
Microsoft는 AI 시스템이 고도화될수록 사이버보안(Cybersecurity), 다국어 환경(Multilingual Environment), 지역·문화적 맥락, AI 정렬(Alignment, 인공지능이 인간의 의도와 가치에 맞게 동작하도록 만드는 기술), 악용 가능성 등 다양한 분야의 전문성을 종합적으로 검증해야 하지만, 하나의 조직만으로는 이러한 위험을 충분히 평가하기 어렵다고 판단해 EXTRA를 출범시켰다.
이번 선정에 따라 KAIST는 Microsoft로부터 AI 안전성, 보안, AI 정렬(Alignment) 및 책임 있는 AI(Responsible AI) 개발 연구를 위한 미화 2만5천 달러(한화 약 3,700만 원) 규모의 연구지원금을 받는다. 이번 지원은 연구과제 수행 기간을 별도로 정하지 않는‘기프트 어워드(Gifted Award)' 형태로 제공되며, 해당 연구비는 손수엘 교수 연구팀의 AI 보안 및 안전성 연구에 활용될 예정이다.
EXTRA에는 KAIST를 비롯해 전 세계 6개 대륙 10여개가 넘는 대학이 참여하며, 국내에서는 KAIST가 유일하다. Microsoft는 이번 프로그램을 통해 독립적인 AI 안전성 연구 생태계를 확대하고 학계와 산업계 간 협력을 강화해 나갈 계획이다.
손수엘 교수 연구팀은 생성형 AI와 대규모 언어모델(LLM, Large Language Model) 기반 AI 시스템의 보안과 개인정보 보호 기술을 연구하고 있다. 특히 모델 탈취(Model Stealing), 멤버십 추론(Membership Inference), 개인정보 추출(Information Extraction), 모델 전도(Model Inversion), 탈학습(Unlearning), 프롬프트 주입(Prompt Injection) 등 심층신경망과 언어모델을 대상으로 한 다양한 적대적 공격 기법을 분석해 AI 시스템의 취약점을 평가하고, 이를 방어하는 기술을 개발하고 있다.
또한 이러한 연구를 기반으로 웹 에이전트(Web Agent)와 에이전틱 브라우저(Agentic Browser) 등 실제 서비스 환경에서 운영되는 AI 에이전트가 안전하고 신뢰성 있게 동작할 수 있도록 하는 시스템 수준의 방어 기술도 연구하고 있다.
손수엘 교수는 "AI 시스템이 사회 전반에 빠르게 확산되면서 성능뿐 아니라 안전성과 신뢰성을 확보하는 것이 무엇보다 중요해지고 있다”며 "이번 Microsoft AI Red Team의 EXTRA 참여를 계기로 실제 AI 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 체계적으로 분석하고, 누구나 안심하고 활용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다.
Microsoft AI Red Team을 이끄는 램 샹카르 시바 쿠마르(Ram Shankar Siva Kumar)는 "AI 안전성 연구는 그 어느 때보다 중요해졌으며 대학은 이 분야를 발전시키는 데 핵심적인 역할을 하고 있다”며 "EXTRA를 통해 점점 더 강력해지는 AI 시스템을 어떻게 평가하고 보호하며 책임감 있게 관리할 수 있는지에 대한 이해를 높이는 연구자들을 지원하고자 한다”고 밝혔다.
배충식 KAIST 총장은 "AI 기술 경쟁은 이제 성능을 넘어 안전성과 신뢰성을 확보하는 경쟁으로 확대되고 있다"며 "KAIST가 국내 유일의 연구기관으로 Microsoft의 글로벌 AI 안전성 연구 네트워크에 참여하게 된 것은 우리나라 AI 연구 경쟁력을 보여주는 의미 있는 성과"라고 말했다. 이어 "앞으로도 세계 최고 수준의 AI 보안 및 안전성 연구를 통해 누구나 신뢰하고 활용할 수 있는 책임 있는 AI 기술 발전을 선도해 나가겠다”고 밝혔다.
‘나만의 AI’ 더 안전하게 만든다...AI 개인화 시대 핵심기술 개발
“우리 회사 문서만 학습한 AI 비서를 만들어줘.”
기업과 개인이 자신의 문서와 데이터를 AI에 학습시켜 ‘나만의 AI’를 만드는 시대가 열리고 있다. 하지만 AI를 맞춤형으로 학습시키면 업무 능력은 높아지는 반면 기존의 안전장치가 약해질 수 있다는 한계가 있었다. 국내 연구진이 맞춤형 성능은 그대로 유지하면서 안전성은 오히려 높이는 AI 핵심 기술을 개발했다.
우리 대학은 전기및전자공학부 김창익 교수 연구팀이 챗GPT와 같은 대형언어모델(LLM, Large Language Model)을 개인이나 기업의 데이터에 맞게 다시 학습시키는 파인튜닝(Fine-tuning, 기존 AI에 새로운 지식이나 업무를 추가로 학습시키는 과정)에서 안전성이 훼손되는 문제를 해결하는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 학습 프레임워크를 개발했다고 15일 밝혔다.
기존에는 AI를 맞춤형으로 학습시키면 새로운 업무 능력은 향상되지만 기존의 안전 규칙이 함께 약화되는 문제가 AI 개인화 시대의 가장 큰 과제로 꼽혀왔다. 연구팀은 먼저 AI가 원래 거부해야 할 위험한 요청에도 응답할 수 있도록 만든 ‘탈옥(Jailbreak)’ 상태의 AI를 맞춤형으로 학습시키면 오히려 안전성이 크게 훼손되지 않는다는 기존 연구 결과에 주목했다.
이에 연구팀은 탈옥 상태를 실제 서비스에 사용하는 것이 아니라 완충 모듈인 ‘버퍼로라(BufferLoRA)’를 활용해 맞춤형 학습 과정에서만 일시적으로 적용한 뒤 제거하는 새로운 접근법을 고안했다.
연구팀은 왜 이러한 현상이 발생하는지를 세계 최초로 규명했다. 그 결과 탈옥 상태의 AI는 위험한 정보에는 더 이상 쉽게 영향을 받지 않는 반면, 사용자가 원하는 새로운 업무 능력은 그대로 효과적으로 학습한다는 사실을 확인했다. 즉, 위험한 정보는 추가로 받아들이지 않으면서 필요한 지식은 계속 학습하는 원리를 밝혀낸 것이다.
이를 바탕으로 연구팀은 ‘완충(Buffer)’과 ‘안전성 강화(Reinforce)’의 두 단계 학습 기법을 개발했다.
먼저 완충 모듈인 ‘버퍼로라(BufferLoRA)’를 AI에 임시로 적용해 맞춤형 학습 과정에서 악성 데이터가 AI 본체에 직접 영향을 주지 못하도록 막아주는 보호막 역할을 하도록 했다. 맞춤형 학습이 끝나면 이 모듈은 제거된다.
이후 안전성 강화 모듈인 ‘리인포스로라(ReinforceLoRA)’를 적용해 AI의 안전성을 다시 높였다. 이 과정에서는 큐알 분해(QR Decomposition, 서로 다른 정보를 분리해 필요한 정보만 선택적으로 반영하는 수학적 기법)를 활용해 사용자가 학습시킨 새로운 기능은 그대로 유지하면서 안전성만 선택적으로 강화하는 데 성공했다.
쉽게 말해, 연구팀은 AI 본체에 임시 보호막(BufferLoRA)을 씌워 악성 데이터가 직접 영향을 주지 못하도록 한 뒤 필요한 업무만 학습시켰다. 이후 보호막을 제거하고 안전성 강화 모듈(ReinforceLoRA)을 적용해 AI의 안전장치를 다시 강화함으로써 맞춤형 성능은 그대로 유지하면서 안전성까지 높이는 데 성공한 것이다.
실험 결과, 사용자 데이터가 모두 위험한 질문과 답변으로 구성된 극단적인 환경에서도 AI는 높은 안전성을 유지했다. 재학습 이후 위험한 답변을 생성하는 비율은 약 8%로, 재학습을 하지 않은 기존 모델의 약 18%보다도 낮은 수준을 기록했다. 또한 별도의 안전성 재학습이나 추가적인 계산 비용 증가 없이 맞춤형 성능과 최고 수준의 안전성을 동시에 확보해 실제 AI 개인화 서비스에도 효율적으로 적용할 수 있는 가능성을 제시했다.
김창익 교수는 “이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술”이라며 “AI 안전성이 더욱 강조되는 AI 개인화와 AI 에이전트 시대에 신뢰할 수 있는 AI 서비스 환경을 구축하는 데 크게 기여할 것으로 기대한다”고 말했다.
이번 연구는 KAIST 전기및전자공학부 함석일 박사과정이 제1저자로 참여했으며, 인공지능 분야 세계 최고 권위 학술대회인 국제머신러닝학회(ICML, International Conference on Machine Learning) 2026에서 7월 전체 투고 논문 중 상위 약 2.2%에만 주어지는 스포트라이트(Spotlight) 논문으로 채택되어 세계적인 주목을 받았다.
※ 논문명 : Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models, DOI: 10.48550/arXiv.2605.24550
※ 저자 정보 : 함석일(한국과학기술원, 제1 저자), 장재혁(한국과학기술원, 제2 저자), 이원준(한국과학기술원, 제3 저자), 김창익(한국과학기술원, 교신저자)
※ 관련 동영상 파일: https://drive.google.com/file/d/1gfok06dE8699qtiUR7gVsRoVmBGADaWQ/view?usp=sharing
한편, 이번 연구는 과학기술정보통신부 정보통신기획평가원(IITP)이 지원하는 ‘공존가능한 신뢰AI를 위한 AI Safety 기술개발사업’의 지원을 받아 수행됐다.
‘뇌처럼 배우는 AI’ 가능성 열렸다...인간 전두엽의 학습 비밀 규명
사람은 갑작스러운 변화가 닥쳐도 금세 계획을 새로 세우고 목표를 조정하는 안정성과 유연성을 동시에 갖추고 있다. 그러나 이세돌 기사와 대국을 펼친 알파고를 비롯해 로봇 분야에 널리 사용되는 모델 프리 AI는 이러한 두 능력을 함께 구현하지 못한다. 우리 대 연구팀은 그 이유가 전두엽의 독특한 정보 처리 방식에 있으며, 이 원리가 ‘뇌처럼 유연하고 안정적인 AI’를 만들 핵심 열쇠가 될 수 있음을 규명했다.
우리 대학은 뇌인지과학과 이상완 교수 연구팀이 IBM AI 연구소와 함께 인간의 뇌가 목표 변화와 불확실한 상황을 처리하는 방식을 규명하고, 차세대 AI 강화학습이 나아가야 할 방향을 제시했다고 14일 밝혔다.
연구팀은 기존 강화학습 모델들이 목표가 바뀌는 상황에서는 안정성이 떨어지고, 환경이 불확실하면 유연성이 부족해지는 한계가 있지만 인간은 두 요소를 동시에 달성한다는 점을 집중했다. 연구팀은 이 차이가 전두엽이 정보를 표현하는 방식 자체에서 비롯된다고 보았다.
뇌 기능 MRI(fMRI) 실험, 강화학습 모델, AI 분석 기법을 활용한 결과, 인간 전두엽은 ‘목표 정보’와 ‘불확실성 정보’를 서로 간섭하지 않도록 분리해 저장하는 특별한 구조를 가지고 있음이 밝혀졌다. 이런 구조가 뚜렷할수록 사람은 목표가 바뀌면 빠르게 전략을 바꾸고, 환경이 불확실해도 안정적인 판단을 유지했다. 연구팀은 이를 통신 기술의 멀티플렉싱(multiplexing)처럼 서로 다른 정보를 한 번에 처리하는 특징을 갖는다는 점도 확인했다.
이렇게 인간의 전두엽은 목표가 바뀔 때마다 그 변화를 민감하게 추적해 의사결정의 유동성을 확보하는 ‘채널’이 있고, 동시에 또 다른 채널을 통해 환경의 불확실성을 분리해 안정적인 판단을 유지한다.
흥미로운 점은 전두엽이 첫 번째 채널을 통해 단순히 학습을 실행하는 수준을 넘어서, 두 번째 채널을 활용하여 상황에 따라 어떤 학습 전략을 쓸지 스스로 고르는 역할까지 한다는 것이다.
연구팀은 전두엽이 단순히 학습을 실행하는 수준을 넘어, 상황에 따라 어떤 학습 전략을 사용할지 스스로 선택하는 ‘메타학습 능력’을 갖고 있다는 점을 보여줬다.
즉, 전두엽은 무엇을 배울지뿐 아니라 어떻게 배울지도 학습하는 구조를 가지고 있으며, 이것이 인간이 끊임없이 바뀌는 상황에서도 흔들리지 않는 이유다.
이 연구는 개인의 강화학습·메타학습 능력 분석, 맞춤형 교육 설계, 인지 능력 진단, 인간-컴퓨터 상호작용 등 다양한 분야에 활용될 수 있으며, 뇌 기반 표현 구조를 활용하면 ‘뇌처럼 생각하는 AI’기술로서 AI가 인간의 의도와 가치를 더 잘 이해해 위험한 판단을 줄이고 사람과 더 안전하게 협력하는 기술로 이어질 수 있다.
연구 책임자인 이상완 교수는 “이번 연구는 변화하는 목표를 유연하게 따라가면서도 안정적으로 계획을 세우는 뇌의 작동 원리를 AI 관점에서 규명한 성과이며, 이러한 원리가 앞으로 AI가 사람처럼 변화에 적응하고 더 안전하고 똑똑하게 학습하는 차세대 AI의 핵심 기반이 될 것”이라고 말했다.
이 연구는 성윤도 박사과정 학생이 1 저자, IBM AI 연구소 마티아 리고티(Mattia Rigotti) 박사가 2저자로 참여했으며, 이상완 교수가 교신저자를 맡았다. 연구 결과는 국제 학술지 `네이처 커뮤니케이션스 (Nature Communications)‘ 11월 26일 자 게재됐다.
(논문명: Factorized embedding of goal and uncertainty in the lateral prefrontal cortex guides stably flexible learning) DOI: 10.1038/s41467-025-66677-w)
특히 이번 연구는 과학기술정보통신부 한계도전 R&D 프로젝트 사업 지원을 받아 수행됐다.