< (왼쪽부터) KAIST 권다희 박사과정, 이세현 박사과정 (상단) 최재식 교수 >
딥러닝 기반 이미지 인식 기술이 빠르게 고도화되고 있지만, AI가 내부에서 어떤 기준으로 이미지를 보고 판단하는지는 여전히 명확히 설명하기 어려운 영역으로 남아 있다. 특히 대규모 모델이 어떤 개념(예: 고양이 귀, 자동차 바퀴 등)을 어떻게 조합해 결론을 내리는지 분석하는 기술은 오랫동안 해결해야 할 과제로 제기돼 왔다.
우리 대학은 김재철AI대학원 최재식 교수 연구팀이 AI가 어떤 근거로 판단하는지를 인간이 이해할 수 있도록 보여주는‘설명가능성(XAI, Explainable AI)’분야에서, 모델 내부의 개념 형성 과정을 회로(circuit) 단위로 시각화하는 새로운 XAI 기술을 개발했다고 26일 밝혔다.
이번 연구는 ‘AI가 어떻게 생각하는지’를 구조적으로 들여다볼 수 있도록 한 중요한 진전으로 평가된다.
딥러닝 모델 내부에는 인간의 뇌처럼 ‘뉴런(Neuron)’이라는 기본 계산 단위가 존재한다. 뉴런은 이미지 속 작은 특징—예를 들어 귀 모양, 특정 색, 윤곽선 등—을 감지하는 기능을 갖고 있으며, 값(신호)을 계산해 다음 단계로 전달한다.
반면 ‘회로(circuit)’는 이러한 뉴런 여러 개가 서로 연결되어 하나의 의미(개념)를 함께 인식하는 구조를 말한다. 예를 들어 ‘고양이 귀’라는 개념을 인식하기 위해서는 귀의 윤곽을 감지하는 뉴런, 삼각형 형태를 감지하는 뉴런, 털 색 패턴을 감지하는 뉴런 등 여러 뉴런이 순차적으로 작동해야 하며, 이들이 하나의 기능 단위(회로)를 이룬다.
지금까지의 설명 기술은 “특정 뉴런이 특정 개념을 본다”는 단일 뉴런 중심의 접근이 많았다. 그러나 실제 딥러닝 모델은 여러 뉴런이 협력하는 회로 구조로 개념을 형성하며, KAIST 연구팀은 이 점에 착안해 AI의 개념 표현 단위를 '뉴런 → 회로'로 확장해 해석하는 기술을 제시했다.
연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다.
GCC는 뉴런 민감도(Neuron Sensitivity), 의미 흐름 점수(Semantic Flow)를 계산해 회로를 자동적으로 추적한다. 뉴런 민감도는 특정 뉴런이 어떤 특징에 얼마나 민감하게 반응하는지, 의미 흐름 점수는 그 특징이 다음 개념으로 얼마나 강하게 전달되는지를 보여주는 지표로, 이를 통해 색·질감 같은 기본 특징이 어떻게 상위 개념으로 조립되는지 단계적으로 시각화할 수 있다.
연구팀은 특정 회로를 잠시 비활성화(ablation)하는 실험을 수행했다. 그 결과, 회로가 담당하던 개념이 사라지면서 AI의 예측이 실제로 달라지는 현상이 나타났다.
즉, 해당 회로가 실제로 그 개념을 인식하는 기능을 수행하고 있음을 직접적으로 입증한 것이다.
이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 최초의 연구로 평가된다. 이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향(Bias) 검출, 모델 디버깅 및 구조 개선, 안전성·책임성 향상 등 설명가능성(XAI) 전반에서 실질적인 응용 가능성을 제시한 것이다.
연구팀은 “AI가 내부에서 만드는 개념 구조를 사람이 이해할 수 있는 방식으로 보여주는 기술”이라며 “이번 연구는 AI가 ‘어떻게 생각하는지’를 과학적으로 연구할 수 있는 출발점”이라고 밝혔다.
최재식 교수는 “복잡한 모델을 단순화해 설명하던 기존 방식과 달리, 모델 내부를 세부 회로 단위로 정밀하게 해석한 최초의 접근”이라며 “AI가 학습한 개념을 자동으로 추적·시각화할 수 있음을 입증했다”고 말했다.
< 연구팀에서 제안한 개념회로에 대한 개요 >
KAIST 김재철AI대학원 권다희 박사과정과 이세현 박사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술대회 `국제 컴퓨터 비전 학술대회 (International Conference on Computer Vision, ICCV)’에서 10월 21일 발표되었다.
※ 논문명 : Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations
※ 논문링크: https://openaccess.thecvf.com/content/ICCV2025/papers/Kwon_Granular_Concept_Circuits_Toward_a_Fine-Grained_Circuit_Discovery_for_Concept_ICCV_2025_paper.pdf
한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 사람중심핵심원천기술개발사업의 일환으로 '플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증' 과제, AI 연구거점 프로젝트 및 한국과학기술원 인공지능 대학원 프로그램과제의 지원을 받고 방위사업청과 국방과학연구소의 지원으로 한국과학기술원 미래 국방 인공지능 특화연구센터에서 수행됐다.
-
연구 파네시아·메타 ‘하나의 칩처럼 움직이는 AI 데이터센터 (AI DC)’ 구조 제시
우리 대학에서 축적된 반도체·컴퓨터 시스템 연구가 교원 창업을 거쳐 글로벌 빅테크 메타(Meta)와의 협력으로 확장되며 차세대 AI 데이터센터(AI DC)의 새로운 설계 방향을 제시했다. CPU·AI 가속기·메모리를 하나로 묶어 데이터센터 전체가 마치 ‘하나의 거대한 칩’처럼 움직이도록 하는 구조다. 우리 대학은 전기및전자공학부 정명수 교수와 교원창업기업인 팹리스(fabless, 반도체 설계 전문기업) 파네시아 연구진이 메타 연구진과 함께 차세대 AI 데이터센터 구조를 제시한 리뷰 논문을 네이처(Nature)가 발행하는 국제 학술지 ‘네이처 리뷰 일렉트리컬 엔지니어링(Nature Reviews Electrical Engineering, NREE)’에 게재했다고 9일 밝혔다. 이번 성과는 KAIST에서 시작된 연구가 교원 창업을 통해 실제 반도체 기술로 발전하고, 글로벌 기업과의 공동 연구로 이어져
2026-09-09 -
연구 AI 업무비서 실수해도 ‘처음부터 다시’ 없다…틀린 곳만 고친다
“지난해 가장 많이 팔린 상품을 찾아줘.” AI가 회사 자료를 찾는 과정에서 존재하지 않는 항목을 잘못 사용하면 검색이 실패할 수 있다. 지금까지는 작은 오류 하나에도 검색 명령 전체를 다시 만들어야 했지만, 우리 대학 연구진이 틀린 부분만 찾아 바로잡는 기술을 개발했다. AI의 데이터 검색을 더 빠르고 정확하게 만들어 기업의 ‘AI 업무비서’ 활용을 앞당길 것으로 기대된다. 우리 대학은 전산학부 김민수 교수 연구팀이 사람의 일상적인 질문을 데이터베이스에서 원하는 정보를 찾는 컴퓨터 명령어인 SQL(Structured Query Language)로 바꾸는 과정에서 발생하는 오류를 찾아 수정하는 기술 ‘세이프큐엘(SafeQL)’을 개발했다고 4일 밝혔다. 최근에는 “지난해 매출이 가장 많이 늘어난 상품은?”, “재고가 부족한 상품은?”처럼 일상적인 말로 질문하면 AI가
2026-09-04 -
행사 KAIST-Caltech, 연구 넘어 ‘인재도 함께 키운다’…글로벌 공동지도 모델 구축
우리 대학이 세계적인 연구기관인 미국 캘리포니아공과대학교(California Institute of Technology, 이하 ‘Caltech’)와 공동연구를 넘어 차세대 연구자까지 함께 키우는 새로운 글로벌 협력 모델을 구축한다. 우리 대학은 9월 1일부터 2일까지 Caltech과 ‘제1회 KAIST-Caltech 분자과학 및 화학혁신 공동 워크숍(1st KAIST-Caltech Joint Workshop on Molecular Science and Chemical Innovation)’을 개최한다고 2일 밝혔다. 이번 워크숍은 양 기관이 첨단 분자과학과 미래 화학기술 분야의 연구성과를 공유하는 데 그치지 않고, 공동연구와 인재양성, 연구시설 활용까지 연결하는 지속 가능한 협력체계를 구축하기 위해 마련됐다. 특히 KAIST와 Caltech 교수가 박사후연구원(Postdoctoral Researcher)을 함께 선발하고 지도하는
2026-09-02 -
연구 “신약 설계해줘”... 소버린 바이오 AI 'K-Fold' 공개
“이 단백질에 잘 결합하는 신약 후보를 설계해줘.” 연구자가 AI에게 이렇게 요청하면 AI가 단백질의 3차원 구조를 예측하고, 어떤 물질이 잘 결합할지 분석해 유망한 신약 후보를 설계한다. 우리 대학 연구진이 세계에서 가장 빠르게 단백질 구조 예측을 수행하는 바이오 AI 모델 ‘K-Fold(케이폴드)’를 국내 독자 기술로 개발했다. 우리 대학은 과학기술정보통신부 ‘AI 특화 파운데이션 모델 프로젝트’의 주관기관으로 ‘팀 KAIST’를 구성하고, 차세대 바이오 AI 모델 ‘K-Fold’를 공개했다고 28일 밝혔다. ‘팀 KAIST’는 화학과 김우연 교수가 연구를 총괄하고, 김우연 교수 그룹과 김재철AI대학원 황성주·안성수 교수 그룹 연구원들이 AI 모델 개발을, 생명과학과 오병하·김호민·이규리 교수가 단백질
2026-08-28 -
연구 산소 ‘전용 통로’로 3차원 메모리 난제 풀었다…AI 반도체 성능 높이고 전력 낮춘다
AI가 똑똑해질수록 더 많은 데이터를 빠르게 처리할 수 있는 ‘고성능 메모리’가 필요하다. 하지만 기존처럼 반도체를 계속 작게 만드는 데는 한계가 있다. 우리 대학 연구진이 반도체를 위로 쌓는 3차원 구조의 약점까지 해결하면서, AI 반도체의 성능은 높이고 전력 소모는 낮출 새로운 길을 열었다. 우리 대학은 전기및전자공학부 권지민 교수 연구팀이 UNIST(총장 박종래), 연세대학교(총장 윤동섭) 등 국내 연구진과 공동으로 차세대 메모리 소자인 산화물 수직 채널 트랜지스터(Vertical Channel Transistor, VCT)의 결함을 줄이고 성능과 안정성을 크게 높일 수 있는 새로운 다층 층간 절연막 구조를 개발했다고 20일 밝혔다. 컴퓨터의 주기억장치로 사용되는 DRAM은 컴퓨터가 작업 중인 데이터를 임시로 저장해 빠르게 꺼내 쓸 수 있도록 하는 메모리다. 지난 수십 년간 DRAM은 반도체 소자의 크기를 줄여 같은 면적에 더 많은 데이터를 저장
2026-08-20