-
트랜스포머의 지능과 맘바의 효율 합한 AI 반도체 두뇌 개발
최근 인공지능(AI) 모델이 길고 복잡한 문장을 이해하고 처리하는 능력이 커지면서, 연산 속도와 메모리 효율을 동시에 높일 수 있는 새로운 반도체 기술의 필요성이 커지고 있다. 이런 가운데 우리 대학 ·국제연구진이 거대언어모델(LLM)의 추론 속도는 4배 높이면서 전력 소비는 2.2배 줄인 트랜스포머(Transformer)와 맘바(Mamba) 하이브리드 구조 기반의 AI 반도체 핵심 두뇌 기술을 세계 최초로 메모리 내부에서 직접 연산이 가능한 형태로 구현하는 데 성공했다.
우리 대학은 박종세 교수 연구팀이 미국 조지아 공과대학교(Georgia Institute of Technology) 및 스웨덴 웁살라 대학교(Uppsala University)와 공동연구를 통해, 차세대 인공지능 모델의 두뇌 역할을 하는 ‘AI 메모리 반도체(PIM, Processing-in-Memory)’ 기반 기술 ‘PIMBA’를 개발했다고 17일 밝혔다.
현재 ChatGPT, GPT-4, Claude, Gemini, Llama 등 LLM은 모든 단어를 동시에 보는 ‘트랜스포머(Transformer)’ 두뇌 구조를 기반으로 작동한다. 이에 따라, AI 모델이 커지고 처리 문장이 길어질수록 연산량과 메모리 요구량이 급증해, 속도 저하와 에너지 소모가 주요 문제로 지적돼 왔다.
이런 트랜스포머 문제점을 보완하기 위해 최근 제시된 순차형 기억형 두뇌인 ‘맘바(Mamba)’ 구조는 시간의 흐름에 따라 정보를 처리하는 방식을 도입해 효율을 높였지만, 여전히 메모리 병목 현상(memory bottleneck)과 전력 소모 한계가 남아 있었다.
박종세 교수 연구팀은 트랜스포머와 맘바의 장점을 결합한 ‘트랜스포머–맘바 하이브리드 모델’의 성능을 극대화하기 위해, 연산을 메모리 내부에서 직접 수행하는 새로운 반도체 구조 ‘PIMBA’를 설계했다.
기존 GPU 기반 시스템은 데이터를 메모리 밖으로 옮겨 연산을 수행하지만, PIMBA는 데이터를 옮기지 않고 저장장치 내부에서 바로 계산을 수행한다. 이로써 데이터 이동 시간을 최소화하고 전력 소모를 크게 줄일 수 있다.
그 결과, 실제 실험에서 PIMBA는 기존 GPU 시스템 대비 처리 성능이 최대 4.1배 향상되었고, 에너지 소비는 평균 2.2배 감소하는 성과를 보였다.
연구 성과는 오는 10월 20일 서울에서 열리는 세계적 컴퓨터 구조 학술대회 ‘제58회 국제 마이크로아키텍처 심포지엄(MICRO 2025)’에서 발표될 예정이며, 앞서 ‘제31회 삼성휴먼테크 논문대상’ 금상을 수상해 우수성을 인정받았다.
※논문명: Pimba: A Processing-in-Memory Acceleration for Post-Transformer Large Language Model Serving, DOI: 10.1145/3725843.3756121
이번 연구는 정보통신기획평가원(IITP), 인공지능반도체대학원 지원사업, 그리고 과학기술정보통신부와 정보통신기획평가원의 ICT R&D 프로그램의 일환으로 한국전자통신연구원(ETRI)의 지원을 받아 수행되었으며, EDA 툴은 반도체설계교육센터(IDEC)의 지원을 받았다.
2025.10.17
조회수 6057
-
차세대 새로운 패러다임 동영상 인식기술 개발
챗GPT와 같은 거대 언어 모델의 근간이 되는 트랜스포머로 구축된 기존 비디오 모델보다 8배 낮은 연산량과 4배 낮은 메모리 사용량으로도 높은 정확도를 기록했으며, 추론 속도 또한 기존 트랜스포머 기반 모델 대비 4배의 매우 빠른 속도를 달성한 동영상 인식기술이 우리 연구진에 의해 개발됐다.
우리 대학 전기및전자공학부 김창익 교수 연구팀이 초고효율 동영상 인식 모델 ‘비디오맘바(VideoMamba)’를 개발했다고 23일 밝혔다.
비디오맘바는 기존 트랜스포머 기반 모델들이 가지고 있는 높은 계산 복잡성을 해결하기 위해 설계된 새로운 동영상 인식 모델이다. 기존의 트랜스포머 기반 모델들은 셀프-어텐션(self-attention)이라는 메커니즘에 의존해 계산 복잡도가 제곱으로 증가하는 문제를 가지고 있었다.
김창익 교수 연구팀의 비디오맘바는 선택적 상태 공간 모델(Selective State Space Model, Selective SSM)* 메커니즘을 활용해 선형 복잡도**로 효율적인 처리가 가능하다. 이를 통해 비디오맘바는 동영상의 시공간적 정보를 효과적으로 포착해 긴 종속성을 가진 동영상 데이터도 효율적으로 처리할 수 있다.
*선택적 상태 공간 모델(Selective SSM): 입력에 따라 동적으로 매개변수를 조정하여 시퀀스 데이터의 문맥을 더 잘 이해하는 상태 공간 모델
**선형 복잡도:입력 데이터의 크기에 비례하여 계산량이 증가하는 알고리즘 복잡도
김창익 교수 연구팀은 동영상 인식 모델의 효율성을 극대화하기 위해 비디오맘바에 1차원 데이터 처리에 국한된 기존 선택적 상태 공간 메커니즘을 3차원 시공간 데이터 분석이 가능하도록 고도화한 시공간적 전방 및 후방 선택적 상태 공간 모델(spatio-temporal forward and backward SSM)을 도입했다. 이 모델은 순서가 없는 공간 정보와 순차적인 시간 정보를 효과적으로 통합해 인식 성능을 향상한다. 연구팀은 다양한 동영상 인식 벤치마크에서 비디오맘바의 성능을 검증했다.
연구팀이 개발한 비디오맘바는 영상 분석이 필요한 다양한 응용 분야에서 효율적이고 실용적인 솔루션을 제공할 수 있다. 예를 들어, 자율주행에서는 주행 영상을 분석해 도로 상황을 정확하게 파악하고, 보행자와 장애물을 실시간으로 인식해 사고를 예방할 수 있다. 의료 분야에서는 수술 영상을 분석해 환자의 상태를 실시간으로 모니터링하고 긴급 상황 발생 시 신속히 대처할 수 있다. 스포츠 분야에서는 경기 중 선수들의 움직임과 전술을 분석해 전략을 개선하고, 훈련 중 피로도나 부상 가능성을 실시간으로 감지해 예방할 수 있다.
연구를 주도한 김창익 교수는 “비디오맘바의 빠른 처리 속도와 낮은 메모리 사용량, 그리고 뛰어난 성능은 우리 생활에서의 다양한 동영상 활용 분야에 큰 장점을 제공할 것이다”고 연구의 의의를 설명했다.
이번 연구에는 전기및전자공학부 박진영 석박사통합과정, 김희선 박사과정, 고강욱 박사과정이 공동 제1 저자, 김민범 박사과정이 공동 저자, 그리고 전기및전자공학부 김창익 교수가 교신 저자로 참여했다. 연구 결과는 올해 9월 이탈리아 밀라노에서 열리는 컴퓨터 비전 분야 최우수 국제 학회 중 하나인 ‘European Conference on Computer Vision(ECCV) 2024’에서 발표될 예정이다. (논문명: VideoMamba: Spatio-Temporal Selective State Space Model)
한편, 이번 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행됐다. (No. 2020-0-00153, 기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발)
2024.07.23
조회수 10355