< PnPXAI 프레임워크 개념도 >
KAIST 설명가능 인공지능연구센터(센터장 최재식 교수)는 별도의 복잡한 설정이나 전문 지식 없이도 손쉽게 AI모델에 대한 설명성을 제공할 수 있는 플러그앤플레이(Plug-and-Play) 방식의 설명가능 인공지능 프레임워크를 개발해, 이를 27일 오픈소스로 공개했다.
설명가능 인공지능(Explainable AI, 이하 XAI)이란 AI 시스템의 결과에 영향을 미치는 주요 요소를 사람이 이해할 수 있는 형태로 설명해주는 제반 기술을 말한다. 최근 딥러닝 모델과 같이 내부 의사 결정 프로세스가 불투명한 블랙박스 AI 모델에 대한 의존도가 커지면서 설명가능 인공지능 분야에 대한 관심과 연구가 증가했다. 그러나 지금까지는 연구자와 기업 실무자들이 설명가능 인공지능 기술을 활용하는 것이 몇 가지 이유로 쉽지 않았다. 우선, 딥러닝 모델의 유형별로 적용 가능한 설명 알고리즘들이 서로 달라서 해당 모델에 적용할 수 있는 설명 알고리즘이 무엇인지 알기 위해서는 XAI에 대해 어느 정도 사전지식이 필요하기 때문이다. 두번째로, 대상 모델에 적용할 수 있는 설명 알고리즘을 파악하더라도, 각 알고리즘마다 다른 하이퍼 파라미터를 어떻게 설정해야 최적의 설명 결과를 얻을 수 있을지 이해하는 것은 여전히 어려운 과제이다. 세번째로는 적용된 다수의 설명 알고리즘들 중에 어떤 알고리즘이 가장 정확하고 신뢰할 수 있는 것인지를 정량적으로 평가하기 위해서 또다른 툴을 이용해야 하는 번거로운 과정이 뒤따라야 했다. 이번에 오픈소스로 공개된 플러그앤플레이 설명가능 인공지능 프레임워크(Plug-and-Play XAI Framework, 이하 PnPXAI 프레임워크)는 이러한 어려움을 해결하고자 개발되었으며, AI의 신뢰성이 중요한 다양한 AI시스템 연구개발 현장에서 유용한 도구로 활용될 것으로 기대된다.
PnPXAI 프레임워크는 적용 가능한 설명알고리즘을 자동으로 추천하기 위해 모델 구조를 인식하는 탐지모듈(Detector)과 적용가능한 설명 알고리즘을 선별하는 추천모듈(Recommender), 설명 알고리즘을 최적화하는 최적화모듈(Optimizer) 및 설명 결과 평가모듈(Evaluator)로 구성되어 있다. 사용자는 ‘자동설명(Auto Explanation)’ 모드에서 대상 모델과 데이터만 입력하면 설명 알고리즘의 시각적 결과(히트맵 또는 모델 결과에 영향을 끼친 중요한 속성들)와 설명의 정확도를 한번에 확인할 수 있다. 사용자들은 자동설명 모드를 통해 XAI에 대한 기본지식과 사용법을 숙지한 이후에는 프레임워크에 포함된 설명 알고리즘과 평가지표를 원하는 방식으로 자유롭게 활용할 수 있다.
현재 프레임워크에는 이미지, 텍스트, 시계열, 표 데이터 등 다양한 데이터유형을 지원하는 설명 알고리즘들이 제공되고 있다. 특히, 서울대학교(2세부 연구책임자 한보형교수)와 협력을 통해 뇌MRI 기반 알츠하이머병 진단모델에 대한 반예제 설명 알고리즘을 지원하였고, 서강대학교(3세부 연구책임자 구명완교수)와 공동연구를 통해 마비말장애 진단모델에 PnPXAI 프레임워크의 설명 알고리즘을 적용하여 AI 기반 의사결정지원 시스템에서 설명성을 성공적으로 구현하기도 했다. 또한, 한국전자통신연구원(4세부 연구책임자 배경만박사)에서 개발한 LLM(대규모언어모델) 생성결과의 사실성을 검증하는 알고리즘을 프레임워크에 통합하는 등 지원 범위를 지속적으로 확장하고 있다.
KAIST 설명가능 인공지능연구센터 최재식 센터장은 “기존 설명가능 인공지능 도구들의 한계를 해결하고, 다양한 도메인에서 실질적으로 활용하기 쉬운 도구를 제공하기 위해 국내 최고의 연구진과 수년간 협력한 성과”라며, “이 프레임워크 공개를 통해 AI 기술의 신뢰성을 높여 상용화에 기여하는 것은 물론, 우리 연구센터가 설명가능 인공지능 분야의 글로벌 연구 생태계를 선도하는 중요한 발판을 마련했다는 점에서 의의가 있다”고 밝혔다.
PnPXAI 프레임워크는 현재 국내 및 국제특허 출원을 완료했으며, Apache 2.0 라이선스를 준수하는 경우 누구나 깃허브 페이지[링크]를 통해 사용할 수 있다. 한편, 이 연구는 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이다. (No. RS-2022-II220984, 플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증)
감정노동이 필수적인 직무를 수행하는 상담원, 은행원 근로자들은 실제로 느끼는 감정과는 다른 감정을 표현해야 하는 상황에 자주 놓이게 된다. 이런 감정적 작업 부하에 장시간 노출되면 심각한 정신적, 심리적 문제뿐만 아니라 심혈관계 및 소화기계 질환 등 신체적 질병으로도 이어질 수 있어 이는 심각한 사회 문제로 여겨지고 있다. 한미 공동 연구진은 인공지능을 활용해서 근로자의 감정적 작업 부하를 자동으로 측정하고 실시간으로 모니터링할 수 있는 새로운 방법을 제시했다. 우리 대학 전산학부 이의진 교수 연구팀은 중앙대학교 박은지 교수팀, 미국 애크런 대학교의 감정노동 분야 세계적인 석학인 제임스 디펜도프 교수팀과 다학제 연구팀을 구성해 근로자들의 감정적 작업 부하를 실시간으로 추정해 심각한 정신적, 신체적 질병을 예방할 수 있는 인공지능 모델을 개발했다고 11일 밝혔다. 연구팀은 이번 연구를 통해 근로자가 감정적 작업 부하가 높은 상황과 그렇지 않은 상황을 87%의 정확도로 구분해 내
2025-02-11홀추력기는 스페이스X의 스타링크(Starlink) 군집위성이나 NASA의 사이키(Psyche) 소행성 탐사선 등과 같은 여러 고난이도 우주 임무에 활용되는, 플라즈마*를 이용한 고효율 추진 장치로, 핵심적인 우주기술 중 하나다. KAIST 연구진이 인공지능 기법을 사용해 개발한 큐브위성용 홀추력기를 올해 11월에 예정된 누리호 4차 발사에서 큐브위성인 K-HERO에 탑재돼 우주에서 성능 검증을 진행할 예정이라고 밝혔다. *플라즈마(plasma)는 기체가 높은 에너지로 가열되어 전하를 띄는 이온과 전자로 분리된 물질의 네 가지 상태 중 하나로 우주 전기추진 뿐만 아니라 반도체 및 디스플레이 제조공정과 살균장치 등에 널리 활용되고 있다. 우리 대학 원자력및양자공학과 최원호 교수 연구팀이 인공위성이나 우주탐사선의 엔진인 홀 전기 추력기(홀추력기, Hall thruster)의 추력 성능을 높은 정확도로 예측할 수 있는 인공지능 기법을 개발했다고 3일 밝혔다. 홀추력기는 연비가
2025-02-03최근 생성형 인공지능은 텍스트, 이미지, 비디오 생성 등 다양한 분야에서 널리 사용되고 있지만, 소재 개발 분야에서는 아직 충분히 활용되지 못하고 있다. 이러한 상황에서 KAIST 연구진이 구조적 복잡성을 지닌 다공성 소재를 생성하는 인공지능 모델을 개발하여, 사용자가 원하는 특성의 소재를 선택적으로 생성할 수 있게 되었다. 우리 대학 생명화학공학과 김지한 교수 연구팀이 원하는 물성을 가진 금속 유기 골격체(Metal-Organic Frameworks, MOF)를 생성하는 인공지능 모델을 개발했다고 23일 밝혔다. 김지한 교수 연구팀이 개발한 생성형 인공지능 모델인 모퓨전(MOFFUSION)은 금속 유기 골격체의 구조를 보다 효율적으로 표현하기 위해, 이들의 공극 구조를 3차원 모델링 기법을 활용해 나타내는 혁신적인 접근 방식을 채택했다. 이 기법을 통해 기존 모델들에서 보고된 낮은 구조 생성 효율을 81.7%로 크게 향상시켰다. 또한, 모퓨전은 생성 과정에서 사용자
2025-01-23기존 컴퓨터 시스템은 데이터 처리 장치와 저장 장치가 분리돼 있어, 인공지능처럼 복잡한 데이터를 처리하기에는 효율적이지 않다. KAIST 연구팀은 우리 뇌의 정보 처리 방식과 유사한 멤리스터 기반 통합 시스템을 개발했다. 이제 원격 클라우드 서버에 의존하지 않고 의심스러운 활동을 즉시 인식하는 스마트 보안 카메라부터 건강 데이터를 실시간으로 분석할 수 있는 의료기기까지 다양한 분야에 적용될 수 있게 되었다. 우리 대학 전기및전자공학부 최신현 교수, 윤영규 교수 공동연구팀이 스스로 학습하고 오류를 수정할 수 있는 차세대 뉴로모픽 반도체 기반 초소형 컴퓨팅 칩을 개발했다고 17일 밝혔다. 연구팀이 개발한 이 컴퓨팅 칩의 특별한 점은 기존 뉴로모픽 소자에서 해결이 어려웠던 비이상적 특성에서 발생하는 오류를 스스로 학습하고 수정할 수 있다는 것이다. 예를 들어, 영상 스트림을 처리할 때 칩은 움직이는 물체를 배경에서 자동으로 분리하는 법을 학습하며 시간이 지날수록 이 작업을 더 잘 수
2025-01-22“케이던스 사의 통 큰 기부에 감사드리며, 대한민국 AI 인재 100만 명 양성이라는 원대한 목표 달성과 세상을 혁신할 반도체 연구 실현에 앞장서겠습니다”(이광형 총장) 우리 대학은 미국 소프트웨어 기업인 케이던스 디자인 시스템즈 코리아(Cadence Design Systems, 이하 케이던스)가 반도체 설계 특화 장비인 ‘케이던스 팔라디움 제트원(Cadence Palladium Z1)’*을 우리 대학에 기증한다고 밝혔다. *팔라디움 제트원: 반도체 설계 검증을 위한 초고성능 에뮬레이터 장비로, 하드웨어-소프트웨어 검증 및 디버깅 작업을 1개의 랙 당 5.76억 게이트까지 대용량으로 구현 가능함. 동 장비를 통해 SoC(System On Chip) 개발 단계에서 설계 검증을 더 원활히 수행할 수 있음. 케이던스는 1995년 반도체설계교육센터(IDEC) 설립 이후 우리 대학에 EDA(Electronic Design Automati
2024-12-17