%ec%8b%a0%ec%8a%b9%ec%9b%90
-
구글 Gemini 구조 악용한 ‘악성 전문가 AI’ 보안 위협 세계 최초 규명
구글 Gemini 등 대부분의 주요 상용 거대언어모델(LLM)은 효율성을 높이기 위해 여러 개의 ‘작은 AI 모델(전문가 AI)’를 상황에 따라 선택해 사용하는 전문가 혼합(Mixture-of-Experts, MoE) 구조를 활용하고 있다. 그러나 이 구조가 오히려 새로운 보안 위협이 될 수 있다는 사실이 KAIST 연구진에 의해 세계 최초로 밝혀졌다.
우리 대학 전기및전자공학부 신승원 교수와 전산학부 손수엘 교수 공동연구팀이 전문가 혼합 구조를 악용해 거대언어모델의 안전성을 심각하게 훼손할 수 있는 공격 기법을 세계 최초로 규명하고, 해당 연구로 정보보안 분야 최고 권위 국제 학회인 ACSAC 2025에서 최우수논문상(Distinguished Paper Award)을 수상했다고 26일 밝혔다.
ACSAC(Annual Computer Security Applications Conference)는 정보보안 분야에서 가장 영향력 있는 국제 학술대회 중 하나로, 올해 전체 논문 가운데 단 2편만이 최우수논문으로 선정됐다. 국내 연구진이 인공지능 보안 분야에서 이 같은 성과를 거둔 것은 매우 이례적이다.
연구팀은 이번 연구에서 전문가 혼합 구조의 근본적인 보안 취약성을 체계적으로 분석했다. 특히 공격자가 상용 거대언어모델의 내부 구조에 직접 접근하지 않더라도, 악의적으로 조작된 ‘전문가 모델’ 하나만 오픈소스로 유통될 경우, 이를 활용한 전체 거대언어모델이 위험한 응답을 생성하도록 유도될 수 있음을 입증했다.
쉽게 말해, 정상적인 AI 전문가들 사이에 단 하나의 ‘악성 전문가’만 섞여 있어도, 특정 상황에서 그 전문가가 반복적으로 선택되며 전체 AI의 안전성이 무너질 수 있다는 것이다. 이 과정에서도 모델의 성능 저하는 거의 나타나지 않아, 문제를 사전에 발견하기 어렵다는 점이 특히 위험한 요소로 지적됐다.
실험 결과, 연구팀이 제안한 공격 기법은 유해 응답 발생률을 기존 0%에서 최대 80%까지 증가시킬 수 있었으며, 다수의 전문가 중 단 하나만 감염돼도 전체 모델의 안전성이 크게 저하됨을 확인했다.
이번 연구는 전 세계적으로 확산되고 있는 오픈소스 기반 거대언어모델 개발 환경에서 발생할 수 있는 새로운 보안 위협을 최초로 제시했다는 점에서 큰 의미를 갖는다. 동시에, 앞으로 AI 모델 개발 과정에서 성능뿐 아니라 ‘전문가 모델의 출처와 안전성 검증’이 필수적임을 시사한다.
신승원·손수엘 교수는 “효율성을 위해 빠르게 확산 중인 전문가 혼합 구조가 새로운 보안 위협이 될 수 있음을 이번 연구를 통해 실증적으로 확인했다”며, “이번 수상은 인공지능 보안의 중요성을 국제적으로 인정받은 의미 있는 성과”라고 말했다.
이번 연구에는 전기및전자공학부 김재한·송민규 박사과정, 나승호 박사 (현 삼성전자), 전기및전자공학부 신승원 교수, 전산학부 손수엘 교수가 참여했으며, 연구 결과는 2025년 12월 12일 미국 하와이에서 열린 ACSAC에서 발표됐다.
※ 논문명: MoEvil: Poisoning Experts to Compromise the Safety of Mixture-of-Experts LLMs, 논문 파일: https://jaehanwork.github.io/files/moevil.pdf, GitHub(기술 오픈소스): https://github.com/jaehanwork/MoEvil
한편 이 연구는 과학기술정보통신부의 한국인터넷진흥원(KISA) 및 정보통신기획평가원(IITP)의 지원을 받았다.
2025.12.26 조회수 4620 -
챗GPT를 이용한 개인정보 악용 가능성 규명
최근 인공지능 기술의 발전으로 챗GPT와 같은 대형 언어 모델(이하 LLM)은 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있다. 구글(Google)은 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 인공지능 악용 가능성에 대한 논란이 불거진 점을 상기시키며, 연구진이 LLM 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 입증했다.
우리 대학 전기및전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다.
현재 OpenAI, 구글 AI 등과 같은 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 그러나 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다.
기존의 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과는 달리, LLM 에이전트는 이를 평균 5~20초 내에 30~60원(2~4센트) 수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 부각되고 있다.
연구 결과에 따르면, LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다. 또한, 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 진짜로 인식됐다.
뿐만 아니라, 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성할 수 있었으며, 실험 참가자들이 이러한 피싱 이메일 내의 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났다. 이는 인공지능 기반 자동화 공격의 심각성을 시사한다.
제1 저자인 김한나 연구원은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며, "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.
신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력하여 보안 대책을 논의할 계획이다”라고 밝혔다.
전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 USENIX Security Symposium 2025에 게재될 예정이다. (논문명: "When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs") DOI: 10.48550/arXiv.2410.14569
한편 이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받아 수행됐다.
2025.02.24 조회수 9402