< PnPXAI 프레임워크 개념도 >
KAIST 설명가능 인공지능연구센터(센터장 최재식 교수)는 별도의 복잡한 설정이나 전문 지식 없이도 손쉽게 AI모델에 대한 설명성을 제공할 수 있는 플러그앤플레이(Plug-and-Play) 방식의 설명가능 인공지능 프레임워크를 개발해, 이를 27일 오픈소스로 공개했다.
설명가능 인공지능(Explainable AI, 이하 XAI)이란 AI 시스템의 결과에 영향을 미치는 주요 요소를 사람이 이해할 수 있는 형태로 설명해주는 제반 기술을 말한다. 최근 딥러닝 모델과 같이 내부 의사 결정 프로세스가 불투명한 블랙박스 AI 모델에 대한 의존도가 커지면서 설명가능 인공지능 분야에 대한 관심과 연구가 증가했다. 그러나 지금까지는 연구자와 기업 실무자들이 설명가능 인공지능 기술을 활용하는 것이 몇 가지 이유로 쉽지 않았다. 우선, 딥러닝 모델의 유형별로 적용 가능한 설명 알고리즘들이 서로 달라서 해당 모델에 적용할 수 있는 설명 알고리즘이 무엇인지 알기 위해서는 XAI에 대해 어느 정도 사전지식이 필요하기 때문이다. 두번째로, 대상 모델에 적용할 수 있는 설명 알고리즘을 파악하더라도, 각 알고리즘마다 다른 하이퍼 파라미터를 어떻게 설정해야 최적의 설명 결과를 얻을 수 있을지 이해하는 것은 여전히 어려운 과제이다. 세번째로는 적용된 다수의 설명 알고리즘들 중에 어떤 알고리즘이 가장 정확하고 신뢰할 수 있는 것인지를 정량적으로 평가하기 위해서 또다른 툴을 이용해야 하는 번거로운 과정이 뒤따라야 했다. 이번에 오픈소스로 공개된 플러그앤플레이 설명가능 인공지능 프레임워크(Plug-and-Play XAI Framework, 이하 PnPXAI 프레임워크)는 이러한 어려움을 해결하고자 개발되었으며, AI의 신뢰성이 중요한 다양한 AI시스템 연구개발 현장에서 유용한 도구로 활용될 것으로 기대된다.
PnPXAI 프레임워크는 적용 가능한 설명알고리즘을 자동으로 추천하기 위해 모델 구조를 인식하는 탐지모듈(Detector)과 적용가능한 설명 알고리즘을 선별하는 추천모듈(Recommender), 설명 알고리즘을 최적화하는 최적화모듈(Optimizer) 및 설명 결과 평가모듈(Evaluator)로 구성되어 있다. 사용자는 ‘자동설명(Auto Explanation)’ 모드에서 대상 모델과 데이터만 입력하면 설명 알고리즘의 시각적 결과(히트맵 또는 모델 결과에 영향을 끼친 중요한 속성들)와 설명의 정확도를 한번에 확인할 수 있다. 사용자들은 자동설명 모드를 통해 XAI에 대한 기본지식과 사용법을 숙지한 이후에는 프레임워크에 포함된 설명 알고리즘과 평가지표를 원하는 방식으로 자유롭게 활용할 수 있다.
현재 프레임워크에는 이미지, 텍스트, 시계열, 표 데이터 등 다양한 데이터유형을 지원하는 설명 알고리즘들이 제공되고 있다. 특히, 서울대학교(2세부 연구책임자 한보형교수)와 협력을 통해 뇌MRI 기반 알츠하이머병 진단모델에 대한 반예제 설명 알고리즘을 지원하였고, 서강대학교(3세부 연구책임자 구명완교수)와 공동연구를 통해 마비말장애 진단모델에 PnPXAI 프레임워크의 설명 알고리즘을 적용하여 AI 기반 의사결정지원 시스템에서 설명성을 성공적으로 구현하기도 했다. 또한, 한국전자통신연구원(4세부 연구책임자 배경만박사)에서 개발한 LLM(대규모언어모델) 생성결과의 사실성을 검증하는 알고리즘을 프레임워크에 통합하는 등 지원 범위를 지속적으로 확장하고 있다.
KAIST 설명가능 인공지능연구센터 최재식 센터장은 “기존 설명가능 인공지능 도구들의 한계를 해결하고, 다양한 도메인에서 실질적으로 활용하기 쉬운 도구를 제공하기 위해 국내 최고의 연구진과 수년간 협력한 성과”라며, “이 프레임워크 공개를 통해 AI 기술의 신뢰성을 높여 상용화에 기여하는 것은 물론, 우리 연구센터가 설명가능 인공지능 분야의 글로벌 연구 생태계를 선도하는 중요한 발판을 마련했다는 점에서 의의가 있다”고 밝혔다.
PnPXAI 프레임워크는 현재 국내 및 국제특허 출원을 완료했으며, Apache 2.0 라이선스를 준수하는 경우 누구나 깃허브 페이지[링크]를 통해 사용할 수 있다. 한편, 이 연구는 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이다. (No. RS-2022-II220984, 플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증)
-
행사 인공지능반도체대학원, 제2회 한국인공지능시스템포럼 AI 산업혁신 논의
우리 대학 인공지능반도체대학원 주최로 20일(목) 오전 대전 오노마 호텔에서 ‘제2회 한국인공지능시스템포럼(KAISF) 조찬 강연회’가 성황리에 개최되었다. 본 행사는 인공지능(AI) 기술의 최신 동향과 혁신 및 응용, 특히 AI-X(AI-특정산업)에 대해 다양한 분야의 전문가들이 모여 심도 있는 논의를 진행하는 자리로 LG AI 연구원의 최정규 상무가 LLM(거대언어모델)에 대해 개발에 대해 발표한다. 조찬 회의에는 총 65명의 AI 전문가가 참석하였으며, LG AI 연구원에서 최근 개발하고 공개한 대규모 언어 모델인 ‘엑사원(EXAONE)에 대해 Driving the Future of AI Innovation’라는 주제로 발제 발표가 진행되었다. 최정규 LG AI 연구원 상무는 LG 엑사원의 현재 연구 현황과 향후 글로벌 AI 시장에서의 계획을 발표하였으며 특히 최근 AI 생태계를 뜨겁게 달구고 있는 ‘딥시크(Deep
2025-03-20 -
연구 챗GPT 등 대형 AI모델 학습 최적화 시뮬레이션 개발
최근 챗GPT, 딥시크(DeepSeek) 등 초거대 인공지능(AI) 모델이 다양한 분야에서 활용되며 주목받고 있다. 이러한 대형 언어 모델은 수만 개의 데이터센터용 GPU를 갖춘 대규모 분산 시스템에서 학습되는데, GPT-4의 경우 모델을 학습하는 데 소모되는 비용은 약 1,400억 원에 육박하는 것으로 추산된다. 한국 연구진이 GPU 사용률을 높이고 학습 비용을 절감할 수 있는 최적의 병렬화 구성을 도출하도록 돕는 기술을 개발했다. 우리 대학 전기및전자공학부 유민수 교수 연구팀은 삼성전자 삼성종합기술원과 공동연구를 통해, 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크(이하 vTrain)를 개발했다고 13일 밝혔다. 대형 언어 모델 학습 효율을 높이려면 최적의 분산 학습 전략을 찾는 것이 필수적이다. 그러나 가능한 전략의 경우의 수가 방대할 뿐 아니라 실제 환경에서 각 전략의 성능을 테스트하는 데는 막대한 비용과
2025-03-13 -
연구 스스로 가설을 세워 검증하는 뇌 기반 AI 기술
뇌의 맥락 추론 방식이 챗지피티 같은 대규모 인공지능 모델과 어떻게 다를까? 우리 연구진이 ‘뇌처럼 생각하는 인공지능’기술로서 과도한 자신감을 보이는 인공지능의 할루시네이션(Hallucination) 현상을 완화하거나 인간이나 동물과 유사하게 스스로 가설을 세워 검증하는 신개념 인공지능 모델을 개발하는데 성공했다. 우리 대학 뇌인지과학과 이상완 교수(신경과학-인공지능 융합연구센터장)와 생명과학과 정민환 교수(IBS 시냅스 뇌질환 연구단 부연구단장) 연구팀이 동물이 가설을 세워 일관된 행동 전략을 유지함과 동시에, 본인의 가설을 스스로 의심하고 검증하면서 상황에 빠르게 적응하는 새로운 강화학습 이론을 제시하고 뇌과학적 원리를 규명했다고 20일 밝혔다. 현재 상황에 맞게 행동의 일관성과 유동성 사이의 적절한 균형점을 찾아가는 문제를 ‘안정성-유동성의 딜레마(Stability-flexibility dilemma)’라 한다. 이를 위해서
2025-02-27 -
연구 챗GPT를 이용한 개인정보 악용 가능성 규명
최근 인공지능 기술의 발전으로 챗GPT와 같은 대형 언어 모델(이하 LLM)은 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있다. 구글(Google)은 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 인공지능 악용 가능성에 대한 논란이 불거진 점을 상기시키며, 연구진이 LLM 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 입증했다. 우리 대학 전기및전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다. 현재 OpenAI, 구글 AI 등과 같은 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 그러나 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다. 기존의 공격자들이 시간과 노력이 많이
2025-02-24 -
연구 적층 제조된 티타늄 합금의 강도-연성 딜레마 AI 기술로 극복
우리 대학 기계공학과 이승철 교수 연구팀이 POSTECH 신소재공학과 김형섭 교수 연구팀과 함께 인공지능 기술을 활용해 Ti-6Al-4V 합금의 강도-연성 딜레마를 극복하고 고강도·고연신 금속 제품을 생산해 내는 데 성공했다고 밝혔다. 연구팀이 개발한 인공지능은 3D프린팅 공정변수에 따른 기계적 물성을 정확히 예측하는 동시에 예측의 불확실성 정보를 제공하며 이 두 정보를 활용해 실제 3D프린팅을 진행할 가치가 높은 공정변수를 추천한다. 3D프린팅 기술 중에서도 레이저 분말 베드 융합은 뛰어난 강도 및 생체 적합성으로 유명한 Ti-6Al-4V 합금을 제조하기 위한 혁신적인 기술이다. 그러나 3D프린팅으로 제작된 이 합금은 강도와 연성을 동시에 높이기 어렵다는 문제점이 있다. 3D프린팅의 공정변수와 열처리 조건을 조절해 이를 해결하고자 하는 연구들이 있었지만, 방대한 공정변수 조합들을 실험 및 시뮬레이션으로 탐색하기에는 한계가 있었다. 연구팀이 개발한 능동 학습(Ac
2025-02-21