-
인공지능 화학 학습으로 새로운 소재 개발 가능
새로운 물질을 설계하거나 물질의 물성을 예측하는 데 인공지능을 활용하기도 한다. 한미 공동 연구진이 기본 인공지능 모델보다 발전되어 화학 개념 학습을 하고 소재 예측, 새로운 물질 설계, 물질의 물성 예측에 더 높은 정확도를 제공하는 인공지능을 개발하는 데 성공했다.
우리 대학 화학과 이억균 명예교수와 김형준 교수 공동 연구팀이 창원대학교 생물학화학융합학부 김원준 교수, 미국 UC 머세드(Merced) 응용수학과의 김창호 교수 연구팀과 공동연구를 통해, 새로운 인공지능(AI) 기술인 ‘프로핏-넷(이하 PROFiT-Net)’을 개발하는 데 성공했다고 9일 밝혔다.
연구팀이 개발한 인공지능은 유전율, 밴드갭, 형성 에너지 등의 주요한 소재 물성 예측 정확도에 있어서 이번 기술은 기존 딥러닝 모델의 오차를 최소 10%, 최대 40% 줄일 수 있는 것으로 보여 주목받고 있다.
PROFiT-Net의 가장 큰 특징은 화학의 기본 개념을 학습해 예측 성능을 크게 높였다는 점이다. 최외각 전자 배치, 이온화 에너지, 전기 음성도와 같은 내용은 화학을 배울 때 가장 먼저 배우는 기본 개념 중 하나다.
기존 AI 모델과 달리, PROFiT-Net은 이러한 기본 화학적 속성과 이들 간의 상호작용을 직접적으로 학습함으로써 더욱 정밀한 예측을 할 수 있다. 이는 특히 새로운 물질을 설계하거나 물질의 물성을 예측하는 데 있어 더 높은 정확도를 제공하며, 화학 및 소재 과학 분야에서 크게 기여할 것으로 기대된다.
김형준 교수는 "AI 기술이 기초 화학 개념을 바탕으로 한층 더 발전할 수 있다는 가능성을 보여주었다ˮ고 말했으며 “추후 반도체 소재나 기능성 소재 개발과 같은 다양한 응용 분야에서 AI가 중요한 도구로 자리 잡을 수 있는 발판을 마련했다ˮ고 말했다.
이번 연구는 KAIST의 김세준 박사가 제1 저자로 참여하였고, 국제 학술지 `미국화학회지(Journal of the American Chemical Society)' 에 지난 9월 25일 字 게재됐다.
(논문명: PROFiT-Net: Property-networking deep learning model for materials, PROFiT-Net 링크: https://github.com/sejunkim6370/PROFiT-Net)
한편 이번 연구는 한국연구재단(NRF)의 나노·소재 기술개발(In-memory 컴퓨팅용 강유전체 개발을 위한 전주기 AI 기술)과 탑-티어 연구기관 간 협력 플랫폼 구축 및 공동연구 지원사업으로 진행됐다.
2024.10.10
조회수 1761
-
고비용 인프라 없이 AI 학습 가속화 가능
우리 대학 연구진이 고가의 데이터센터급 GPU나 고속 네트워크 없이도 AI 모델을 효율적으로 학습할 수 있는 기술을 개발했다. 이 기술을 통해 자원이 제한된 기업이나 연구자들이 AI 연구를 보다 효과적으로 수행할 수 있을 것으로 기대된다.
우리 대학 전기및전자공학부 한동수 교수 연구팀이 일반 소비자용 GPU를 활용해, 네트워크 대역폭이 제한된 분산 환경에서도 AI 모델 학습을 수십에서 수백 배 가속할 수 있는 기술을 개발했다고 19일 밝혔다.
기존에는 AI 모델을 학습하기 위해 개당 수천만 원에 달하는 고성능 서버용 GPU(엔비디아 H100) 여러 대와 이들을 연결하기 위한 400Gbps급 고속 네트워크를 가진 고가 인프라가 필요했다. 하지만 소수의 거대 IT 기업을 제외한 대부분의 기업과 연구자들은 비용 문제로 이러한 고가의 인프라를 도입하기 어려웠다.
한동수 교수 연구팀은 이러한 문제를 해결하기 위해 '스텔라트레인(StellaTrain)'이라는 분산 학습 프레임워크를 개발했다. 이 기술은 고성능 H100에 비해 10~20배 저렴한 소비자용 GPU를 활용해, 고속의 전용 네트워크 대신 대역폭이 수백에서 수천 배 낮은 일반 인터넷 환경에서도 효율적인 분산 학습을 가능하게 한다.
기존의 저가 GPU를 사용할 경우, 작은 GPU 메모리와 네트워크 속도 제한으로 인해 대규모 AI 모델 학습 시 속도가 수백 배 느려지는 한계가 있었다. 하지만 연구팀이 개발한 스텔라트레인 기술은 CPU와 GPU를 병렬로 활용해 학습 속도를 높이고, 네트워크 속도에 맞춰 데이터를 효율적으로 압축 및 전송하는 알고리즘을 적용해 고속 네트워크 없이도 여러 대의 저가 GPU를 이용해 빠른 학습을 가능하게 했다.
특히, 학습을 작업 단계별로 CPU와 GPU가 나누어 병렬적으로 처리할 수 있는 새로운 파이프라인 기술을 도입해 연산 자원의 효율을 극대화했다. 또한, 원거리 분산 환경에서도 GPU 연산 효율을 높이기 위해, AI 모델별 GPU 활용률을 실시간으로 모니터링해 모델이 학습하는 샘플의 개수(배치 크기)를 동적으로 결정하고, 변화하는 네트워크 대역폭에 맞추어 GPU 간의 데이터 전송을 효율화하는 기술을 개발했다.
연구 결과, 스텔라트레인 기술을 사용하면 기존의 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있는 것으로 나타났다.
한동수 교수는 "이번 연구가 대규모 AI 모델 학습을 누구나 쉽게 접근할 수 있게 하는 데 큰 기여를 할 것"이라고 밝혔다. “앞으로도 저비용 환경에서도 대규모 AI 모델을 학습할 수 있는 기술 개발을 계속할 계획이다”라고 말했다.
이번 연구는 우리 대학 임휘준 박사, 예준철 박사과정 학생, UC 어바인의 산기타 압두 조시(Sangeetha Abdu Jyothi) 교수와 공동으로 진행됐으며, 연구 성과는 지난 8월 호주 시드니에서 열린 ACM SIGCOMM 2024에서 발표됐다.
한편, 한동수 교수 연구팀은 2024년 7월 GPU 메모리 한계를 극복해 소수의 GPU로 거대 언어 모델을 학습하는 새로운 기술도 발표했다. 해당 연구는 최신 거대 언어 모델의 기반이 되는 전문가 혼합형(Mixture of Expert) 모델을 제한된 메모리 환경에서도 효율적인 학습을 가능하게 한다.
이 결과 기존에 32~64개 GPU가 필요한 150억 파라미터 규모의 언어 모델을 단 4개의 GPU만으로도 학습할 수 있게 됐다. 이를 통해 학습의 필요한 최소 GPU 대수를 8배~16배 낮출 수 있게 됐다. 해당 논문은 KAIST 임휘준 박사와 김예찬 연구원이 참여했으며, 오스트리아 빈에서 열린 AI 분야 최고 권위 학회인 ICML에 발표됐다. 이러한 일련의 연구 결과는 자원이 제한된 환경에서도 대규모 AI 모델 학습이 가능하다는 점에서 중요한 의미를 가진다.
해당 연구는 과학기술정보통신부 한국연구재단이 주관하는 중견연구사업 (RS-2024-00340099), 정보통신기획평가원(IITP)이 주관하는 정보통신·방송 기술개발사업 및 표준개발지원사업 (RS-2024-00418784), 차세대통신클라우드리더십구축사업 (RS-2024-00123456), 삼성전자의 지원을 받아 수행됐다.
2024.09.19
조회수 2017
-
인프라 없어도 치매 환자 신속히 찾을 수 있어요
무선랜이나 블루투스와 같은 무선신호 인프라가 설치되지 않은 건설 현장과 공장 건물에서도 동작하고, 어린이나 치매 노인을 찾아낼 수 있는 실내외 통합 GPS 시스템을 우리 연구진이 개발해 화제다.
우리 대학 전산학부 지능형 서비스통합 연구실 한동수 교수 연구팀이 전 세계 모든 건물에서 위치 서비스를 제공할 수 있는 ‘범용 실내외 통합 GPS 시스템’을 개발했다고 12일 밝혔다.
이번에 개발된 범용 실내외 통합 GPS 시스템인 카이로스(KAILOS, KAIST LOcating System)는 서비스 범위를 소수의 특정된 건물에서 벗어나 전 세계 모든 건물로 확장했다. 위치 인프라 제약에서도 벗어나 앞으로는 무선 신호가 부재한 건물에서도 구동되는, 소위 범용적인 실내외 통합 GPS 위치인식 서비스가 가능해질 전망이다.
연구팀은 실내외 전환 탐지 AI 기법과 건물 출입구를 탐지하는 AI 기법을 통합시킨 센서퓨전 위치인식 기법을 개발했다. 이 기법들은 건물 출입구 탐지, 층 탐지, 계단/엘리베이터와 같은 랜드마크 탐지 기법이 보행자 항법 기법(PDR)과 연계돼 작동한다.
구체적으로 연구팀은 GPS 신호와 관성센서에서 얻어지는 신호를 복합적으로 활용해 사용자가 진입하는 건물을 판별하고 건물에 진입하는 시점과 위치를 실시간에 탐지하는 기법을 개발했다. 건물 내에서는 기압과 관성센서를 활용해 계단/엘리베이터를 이용한 수직 이동을 탐지하고 기압 정보를 활용해 층을 탐지하는 기법도 개발했다.
한편 연구팀은 GPS, 와이파이(WiFi), 블루투스 신호 칩과 관성센서, 기압 센서, 지자기 센서, 조도 센서를 통합시킨 위치 전용 사물인터넷(IoT) 태그도 제작했다. 개발된 태그에 장착된 GPS 센서는 위성에서 직접 수신되는 L1 신호뿐 아니라 건물에 반사되는 L5 신호도 처리해 도심 협곡에서도 높은 정확도를 달성할 수 있다.
이제 위치 태그만 있으면 LTE 신호가 제공되는 전 세계 어느 건물에서도 실내외 구분 없이 위치를 추정하고, 추정된 위치에 기반한 다양한 실내외 통합 위치기반 응용 서비스를 개발할 수 있다. 사물인터넷(IoT) 태그의 배터리 소요에 있어서는 위치 서비스 주기에 따라 달라질 수 있지만 실시간 서비스 조건이 완화된 환경에서는 배터리 충전 없이 수일 동안 서비스를 제공할 수 있음을 확인했다.
연구팀은 스마트폰을 위치 단말로 사용하는 스마트폰에서 구동되는 실내외 통합 GPS 앱도 함께 개발했다. 개발된 앱은 위치기반 안전, 편의, 엔터테인먼트와 같은 응용 분야에서 널리 사용되면 연구팀이 보유하고 있는 ‘크라우드소싱 무선 라디오맵 구축 자동화 기법’과 접목해 도시 혹은 국가 수준의 정밀한 무선 라디오맵 구축도 가능해질 전망이다. 향후 도시 및 국가 수준의 라디오맵이 구축되면 신뢰도 높고 정확한 실내외 통합 GPS 서비스를 할 수 있다.
연구팀을 이끄는 전산학부 한동수 교수는 “이번에 업그레이드된 카이로스(KAILOS) 실내외 통합 GPS 시스템은 위치 인프라가 설치되지 않은 건설 현장과 공장 건물에서 개발된 시스템의 기능과 성능을 평가하는 6차례의 개념 증명(Proof of Concept, PoC) 과정도 수행해 상용화 가능성을 입증했다”며, “또한 어린이나 치매 노인 보호를 위해 실내외 통합 GPS 위치 태그를 신발에 장착하려는 요구가 있다. 건설 현장, 그리고 조선소, 제철소와 같은 공장 작업자의 안전을 위치에 기반해 관리하려는 시도도 있다. 이번에 개발한 시스템은 이런 상황에 적용이 쉬우며, 소방관이나 경찰의 도움이 필요한 구조요청에도 신속하게 대응할 수 있다”고 말했다.
이번에 개발된 실내외 통합 GPS 시스템은 2022년 개발이 시작된 한국형 GPS 시스템(KPS)의 서비스 영역을 실내로 확장하는 데도 활용될 것으로 기대된다.
한편 이번 연구는 방위사업청의 재원을 받아 국방과학연구소의 지원(미래도전 국방기술 연구개발사업)으로 수행됐다.
2024.08.12
조회수 1623
-
로봇 등 온디바이스 인공지능 실현 가능
자율주행차, 로봇 등 온디바이스 자율 시스템 환경에서 클라우드의 원격 컴퓨팅 자원 없이 기기 자체에 내장된 인공지능 칩을 활용한 온디바이스 자원만으로 적응형 AI를 실현하는 기술이 개발됐다.
우리 대학 전산학부 박종세 교수 연구팀이 지난 6월 29일부터 7월 3일까지 아르헨티나 부에노스아이레스에서 열린 ‘2024 국제 컴퓨터구조 심포지엄(International Symposium on Computer Architecture, ISCA 2024)’에서 최우수 연구 기록물상(Distinguished Artifact Award)을 수상했다고 1일 밝혔다.
* 논문명: 자율 시스템의 비디오 분석을 위한 연속학습 가속화 기법(DaCapo: Accelerating Continuous Learning in Autonomous Systems for Video Analytics)
국제 컴퓨터 구조 심포지움(ISCA)은 컴퓨터 아키텍처 분야에서 최고 권위를 자랑하는 국제 학회로 올해는 423편의 논문이 제출됐으며 그중 83편 만이 채택됐다. (채택률 19.6%). 최우수 연구 기록물 상은 학회에서 주어지는 특별한 상 중 하나로, 제출 논문 중 연구 기록물의 혁신성, 활용 가능성, 영향력을 고려해 선정된다.
이번 수상 연구는 적응형 AI의 기반 기술인 ‘연속 학습’ 가속을 위한 NPU(신경망처리장치) 구조 및 온디바이스 소프트웨어 시스템을 최초 개발한 점, 향후 온디바이스 AI 시스템 연구의 지속적인 발전을 위해 오픈소스로 공개한 코드, 데이터 등의 완성도 측면에서 높은 평가를 받았다.
연구 결과는 소프트웨어 중심 자동차(SDV; Software-Defined Vehicles), 소프트웨어 중심 로봇(SDR; Software-Defined Robots)으로 대표되는 미래 모빌리티 환경에서 온디바이스 AI 시스템을 구축하는 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
상을 받은 전산학부 박종세 교수는 “이번 연구를 통해 온디바이스 자원만으로 적응형 AI를 실현할 수 있다는 것을 입증하게 되어 매우 기쁘고 이 성과는 학생들의 헌신적인 노력과 구글 및 메타 연구자들과의 긴밀한 협력 덕분이다”라며, “앞으로도 온디바이스 AI를 위한 하드웨어와 소프트웨어 연구를 지속해 나갈 것이다”라고 소감을 전했다.
이번 연구는 우리 대학 전산학부 김윤성, 오창훈, 황진우, 김원웅, 오성룡, 이유빈 학생들과 메타(Meta)의 하딕 샤르마(Hardik Sharma) 박사, 구글 딥마인드(Google Deepmind)의 아미르 야즈단바크시(Amir Yazdanbakhsh) 박사, 전산학부 박종세 교수가 참여했다.
한편 이번 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 대학ICT연구센터(ITRC), 인공지능대학원지원사업, 인공지능반도체대학원지원사업의 지원을 받아 수행됐다.
2024.08.01
조회수 2578
-
극미량 돌연변이 세포로도 뇌질환 발생한다
뇌를 포함한 모든 신체 기관은 세포 분열 과정에서 발생하는 돌연변이(모자이시즘)을 피할 수 없다. 그렇다면 과연 몇 개의 신경세포에 질병 유발 돌연변이가 생겨났을 때부터 전체 뇌신경 회로를 망가트려 뇌 기능 이상을 일으킬 수 있을까?
우리 대학 의과학대학원 이정호 교수팀이 뇌세포 특이적 돌연변이(뇌 체성 모자이시즘)에 의한 소아 난치성 뇌전증 동물 모델과 환자 뇌 조직 연구를 통해 0.1퍼센트 이하 비율의 극미량 돌연변이 신경세포에 의해서도 뇌 전체 기능 이상을 유발해 뇌전증 발작이 발생할 수 있음을 규명했다고 9일 밝혔다.
이를 통해 난치성 뇌전증의 돌연변이 유전자 진단에 있어 새로운 기준을 마련하는 한편, 극미량의 돌연변이 신경세포가 다양한 뇌 질환 유발에 관여할 수 있음을 밝혔다. 이번 연구의 결과는 세계적 신경 의학 학술지 `브레인(Brain)'에 지난 6월 25일 字 게재됐다.
연구팀은 이번 연구에서 과연 얼마나 적은 수의 세포에서 특정 유전자 모자이시즘이 누적됐을 때 이것이 전체 뇌 기능 이상을 유도하는 뇌 질환 발생으로 이어질 것인가라는 질문에 대답하고자, 마우스 질병 모델과 인체 조직을 이용한 중개의학적 연구를 수행했다.
연구팀은 실험용 쥐의 뇌 조직에 뇌전증 유발 체성 모자이시즘*을 최소 수백 개에서 최대 수만 개의 세포에 유발했다. 이때 고작 8천에서 9천 개 수준의 돌연변이 신경세포가 나타날 때부터, 실험용 쥐가 뇌전증 발작을 일으키고, 관련된 병리가 나타남을 관찰했다. 더 나아가, 난치성 뇌전증 환자 뇌 조직에서 대용량 유전정보 증폭 시퀀싱을 수행해(ultra-high depth amplicon sequencing) 정확한 변이 모자이시즘 비율을 측정했고, 최소 0.07%에 이르는 뇌전증 유발 체성 모자이시즘을 관찰했다.
*체성 모자이시즘(Somatic Mosaicism): 하나의 수정란에서 분열 및 분화를 통해 우리 몸을 이루는 약 30조 개의 세포들이 만들어지는 과정에서 세포마다 돌연변이가 발생할 수 있다는 것으로 암의 진화뿐만 아니라 비암성 질환에서도 중요한 질병 원인으로 최근 주목을 받고 있음.
이 발견은 약물 치료에 반응하지 않아 수술에 이르게 되는 난치성 뇌전증의 유전적 정밀 진단에 도움을 줄 수 있으며, 또한 아직 원인이 밝혀지지 않은 수많은 난치성 신경 정신의학적 질환들이 뇌의 발생과 분화 과정에서 일어나는 극소량의 미세 돌연변이들과 밀접한 관련이 있음을 시사한다.
이번 연구는 국소 피질이형성증*의 진단법 향상 및 체성 모자이시즘에 의한 뇌 질환 원인 발견에 있어서 중요한 기초를 마련할 것으로 예상된다. 이번 연구 성과는 KAIST 교원 창업 기업인 소바젠㈜(대표 박철원, 김병태)을 통해 난치성 뇌전증 환자의 체성 모자이시즘 변이를 정밀 타겟하는 혁신 RNA 치료제 개발에 이용될 예정이다.
*국소 피질이형성증: 뇌 발달 과정 중 대뇌 피질에 국소적으로 신경세포이상이 발생하는 질환으로 기존 항뇌전증 약물에 전혀 반응하지 않는 소아 난치성 뇌전증을 일으키는 가장 중요한 원인으로 알려져 있다.
우리 대학 의과학대학원 졸업생 의사과학자이자 논문의 제1 저자 김진태 박사는 "극미량의 체성 돌연변이라도 뇌의 기능 이상을 유발할 수 있음이 알려졌고, 이를 통해 난치성 뇌전증 등의 유전적 진단과 치료제 개발에 도움이 될 수 있기를 바란다ˮ라고 말했다.
한편 이번 연구는 서경배과학재단, 한국연구재단, 보건산업진흥원 사업의 지원을 받아 수행됐다.
2024.07.09
조회수 1970
-
엔비디아를 긴장시킬 고용량·고성능 GPU 개발
최근 대규모 AI 서비스 제공 최전선에 있는 빅테크들은 더 좋은 성능을 사용자들에게 제공하기 위해 경쟁적으로 모델 및 데이터의 크기를 증가시키는 추세이며, 최신 대규모 언어모델은 학습을 위해 수에서 수십 테라바이트(TB, 10^12 바이트)의 메모리를 요구한다. 국내 연구진이 현재 AI 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다.
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU 장치의 메모리 읽기/쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.
최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB, 10^9 바이트)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높이는 문제를 일으킨다.
이에 차세대 연결 기술인 CXL(Compute Express Link)을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는‘CXL-GPU*’구조 기술이 다양한 산업계에서 활발히 검토되고 있다. 하지만 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다. 대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에, GPU에 직접적으로 연결된 메모리 확장 장치로의 메모리 읽기/성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 비로소 실제 서비스에 활용될 수 있다.
*CXL-GPU: CXL을 통해 연결된 메모리 확장 장치들의 메모리 공간을 GPU 메모리 공간에 통합시킴으로써 고용량을 지원한다. 통합된 메모리 공간 관리에 필요한 동작들은 CXL 컨트롤러가 자동으로 처리해주므로, GPU는 기존에 로컬 메모리에 접근하던 방식과 동일한 방식으로 확장된 메모리 공간에 접근할 수 있다. 기존 메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리, CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축 비용을 획기적으로 절감할 수 있다.
우리 연구진은 CXL-GPU 장치의 메모리 읽기/쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발하여 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다. 즉, 메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 하여, GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결할 수 있도록 했다.
또한 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 되어, GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
이번 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)*의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 해당 연구는 오는 7월 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표장에서 결과를 선보인다.
*파네시아는 업계 최초로 CXL 메모리 관리 동작에 소요되는 왕복 지연시간을 두 자리 나노초(nanosecond, 10^9분의 1초) 이하로 줄인 순수 국내기술의 자체 CXL 컨트롤러를 보유하고 있다. 이는 전세계 최신 CXL 컨트롤러등 대비 3배 이상 빠른 속도다. 파네시아는 고속 CXL 컨트롤러를 활용해 여러 개의 메모리 확장 장치를 GPU에 바로 연결함으로써 단일 GPU가 테라바이트 수준의 대규모 메모리 공간을 형성할 수 있도록 했다.
전기및전자공학부 정명수 교수는 “CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것”이라 말했다.
2024.07.08
조회수 2828
-
멀티모달 대형언어모델이 GPT-4V를 뛰어넘다
멀티모달 대형 언어모델이란 텍스트뿐만 아니라 이미지 데이터 유형까지 처리할 수 있는 초대형 언어모델을 말한다. 해외 대형 기업의 풍부한 컴퓨팅 자원의 지원으로부터 인간의 뇌에 있는 신경망의 개수와 유사한 수준초대형모델들이 만들어지고 있으나 학계에서는 이런 개발이 쉽지 않았다. KAIST 연구진이 오픈AI의 GPT-4V와 구글의 제미나이-프로(Gemini-Pro)를 뛰어넘는 멀티모달 대형언어모델을 개발하여 화제다.
우리 대학 전기및전자공학부 노용만 교수 연구팀이 오픈AI(OpenAI)의 GPT-4V 등 기업에서 비공개하고 있는 상업 모델인 초대형 언어모델의 시각 성능을 뛰어넘는 공개형 멀티모달 대형 언어모델을 개발해 출시했다고 20일 밝혔다.
노용만 교수 연구팀은 단순히 모델의 크기를 키우거나 고품질의 시각적 지시 조정 데이터셋을 만들지 않고 멀티모달 대형언어모델의 시각 성능을 획기적으로 높인 콜라보(CoLLaVO), 모아이(MoAI) 2가지 기술을 연속적으로 개발했다고 밝혔다.
연구팀이 개발한 첫번째 기술인 ‘콜라보(CoLLaVO)’는 현존하는 공개형 멀티모달 대형언어모델이 비공개형 모델의 성능에 비해 현저하게 낮은 이유를 일차적으로 물체 수준에 대한 이미지 이해 능력이 현저하게 떨어진다는 것을 먼저 검증해 보였다.
해당 능력을 효율적으로 증가시켜 시각-언어 태스크에 대한 성능을 향상 하기 위해 연구팀은 이미지 내의 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 입력으로 직접 넣어주는 새로운 방법‘크레용 프롬프트(Crayon Prompt)’라는 시각적 프롬프트를 새롭게 제안했다.
또한 시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 연구팀은 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습해 서로 간의 정보를 잃지 않게 만드는 획기적인 학습 전략인 ‘듀얼 큐로라(Dual QLoRA)’를 제안했다. 이를 통해, 콜라보(CoLLaVO) 멀티모달 대형언어모델은 이미지 내에서 배경 및 물체를 구분하는 능력이 뛰어나 일차원적인 시각 구분 능력이 크게 향상됐다고 밝혔다.
두 번째 대형언어모델인 ‘모아이(MoAI)’는 인간이 사물을 판단할 때 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 인지과학적인 요소에 영감을 받아서 만들어졌다고 밝혔다.
이는 기존 멀티모달 대형언어모델이 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용하기 때문에, 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면 이해가 부족하다는 점을 지적하며 이런 컴퓨터 비전 모델들의 결과를 받으면 모두 인간이 이해할 수 있는 언어로 변환한 뒤에 멀티모달 대형언어모델에 입력으로 직접 사용했다.
노용만 교수는 “연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐고, 각종 SNS를 통해 세계 연구자에게 알려지고 있으며, 모든 모델을 공개형 대형언어모델로 출시 했기 때문에 이 연구모델이 멀티모달 대형언어모델 발전에 기여할 것이다”이라고 언급했다.
연구팀이 개발한 멀티모달 대형언어모델인 콜라보(CoLLaVO)와 모아이(MoAI)는 KAIST 전기및전자공학부 이병관 박사과정이 제1 저자로 참여하고 박범찬 석박사통합과정, 김채원 박사과정이 공동 저자로 참여했다.
콜라보(CoLLaVO)는 자연어 처리(NLP) 분야 최고의 국제 학회인 ‘Findings of the Association for Computational Linguistics(ACL Findings) 2024’에 5월 16일 자로 학회에 승인받았고, 모아이(MoAI)는 컴퓨터 비전 최고의 국제 학회인 ‘European Conference on Computer Vision(ECCV) 2024’학회 승인 결과를 기다리고 있다고 밝혔다.
한편 이번 연구는 KAIST 미래국방 인공지능 특화연구센터 및 전기및전자공학부의 지원을 받아 수행됐다.
[1] CoLLaVO 데모 GIF 영상
https://github.com/ByungKwanLee/CoLLaVO
[2] MoAI 데모 GIF 영상
https://github.com/ByungKwanLee/MoAI
2024.06.20
조회수 3792
-
생성형 AI로 혁신적 신약 개발 가능성 열어
최근 자연어나 이미지, 동영상, 음악 등 다양한 분야에서 주목받는 생성형 AI가 신약 설계 분야에서도 기존 신규성 문제를 극복하고 새로운 혁신을 일으키고 있다고 하는데 어떤 기술일까?
우리 대학 화학과 김우연 교수 연구팀이 단백질-분자 사이의 상호작용을 고려해 활성 데이터 없이도 타겟 단백질에 적합한 약물 설계 생성형 AI를 개발했다고 18일 밝혔다.
신규 약물을 발굴하기 위해서는 질병의 원인이 되는 타겟 단백질에 특이적으로 결합하는 분자를 찾는 것이 중요하다. 기존의 약물 설계 생성형 AI는 특정 단백질의 이미 알려진 활성 데이터를 학습에 활용하기 때문에 기존 약물과 유사한 약물을 설계하려는 경향이 있다. 이는 신규성이 중요한 신약 개발 분야에서 치명적인 약점으로 지적되어 왔다. 또한 사업성이 높은 계열 내 최초(First-in-class) 타겟 단백질에 대해서는 실험 데이터가 매우 적거나 전무한데, 이 경우 기존 방식의 생성형 AI를 활용하는 것이 불가능하다.
연구팀은 이런 데이터 의존성 문제를 극복하기 위해 단백질 구조 정보만으로 분자를 설계하는 기술 개발에 주목했다. 타겟 단백질의 약물 결합 부위에 대한 3차원 구조 정보를 주형처럼 활용해 해당 결합 부위에 꼭 맞는 분자를 주조하듯 설계하는 것이다. 마치 자물쇠에 딱 맞는 열쇠를 설계하는 것과 같은 이치다.
또한 기존 단백질 구조 기반 3차원 생성형 AI 모델들은 신규 단백질에 대해 설계한 분자들의 안정성과 결합력이 떨어지는 등 낮은 일반화 성능을 개선하기 위해서 연구팀은 신규 단백질에 대해서도 안정적으로 결합할 수 있는 분자를 설계할 수 있는 기술을 개발하는 데 초점을 뒀다.
연구팀은 설계한 분자가 단백질과 안정적으로 결합하기 위해서는 단백질-분자 간 상호작용 패턴이 핵심 역할을 하는 것에 착안했다. 연구팀은 생성형 AI가 이러한 상호작용 패턴을 학습하고, 분자 설계에 직접 활용할 수 있도록 모델을 설계하고 재현할 수 있도록 학습시켰다.
기존 단백질 구조 기반 생성형 AI 모델들은 부족한 학습 데이터를 보완하기 위해 10만~1,000만 개의 가상 데이터를 활용하는 반면, 이번 연구에서 개발한 모델의 장점은 수천 개의 실제 실험 구조만을 학습해도 월등히 높은 성능을 발휘한다는 것이다. 이는 자연에서 관찰되는 단백질-분자 상호작용 패턴을 사전 지식의 형태로 학습에 활용함으로써 적은 데이터만으로도 일반화 성능을 획기적으로 높인 것에 기인한다.
일례로 아시아인에 주로 발견되는 돌연변이 상피 성장인자 수용체(EGFR-mutant)*는 비소세포폐암의 주요 원인으로 알려져 있는데, 이를 타겟으로 하는 약물을 설계하기 위해서는 야생형(wild-type) 수용체**에 대한 높은 선택성을 고려하는 것이 필수적이다.
*상피 성장인자 수용체: 상피 성장인자 수용체:상피 성장인자 수용체는 상피 세포의 성장을 촉진하는 인자에 결합함으로써 활성화되는 막 단백질로, 이 수용체의 돌연변이로 인한 지나친 활성은 다양한 종양의 발생과 관련이 있다고 알려져 있음
**야생형 수형체: 야생형은 자연 상태에서 가장 흔하게 발견되는 유전자형 또는 표현형으로, 유전자나 생체 분자 등의 변이가 없는 정상적인 상태를 말함
연구진은 생성형 AI를 통해 돌연변이가 일어난 아미노산에 특이적인 상호작용을 유도해 분자를 설계했고, 그 결과 생성된 분자의 23%가 이론상으로 100배 이상의 선택성을 가지는 것으로 예측됐다. 이와 같은 상호작용 패턴에 기반한 생성형 AI는 인산화효소 저해제(kinase inhibitor)* 등과 같이 약물 설계에 있어 선택성이 중요한 상황에서 더욱 효과적으로 활용될 수 있다.
*인산화효소 저해제: 단백질의 인산화를 촉진하는 효소로, 일반적으로 아데노신 삼인산(ATP)으로부터 인산기를 단백질의 특정 잔기에 전달함. 인산화효소는 세포 내 신호전달 네트워크의 핵심 조절자로서, 다양한 질병의 기전에 관여하여 약물 개발의 표적으로 여겨지고 있음. 이를 위해 인산화효소에 결합하여 활성을 억제하는 목적을 가지는 분자를 인산화효소 저해제라 함
제1 저자로 참여한 화학과 정원호 박사과정 학생은 “사전 지식을 인공지능 모델에 사용하는 전략은 상대적으로 데이터가 적은 과학 분야에서 적극적으로 사용되어 왔다”며 “이번 연구에서 사용한 분자 간 상호작용 정보는 약물 분자뿐 아니라 다양한 생체 분자를 다루는 바이오 분야의 문제에도 유용하게 적용될 수 있을 것”이라고 말했다.
한국연구재단의 지원을 받아 수행된 이번 연구는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications) (IF=16.6)’ 2024년 3월 15호에 게재됐다. (논문명: 3D molecular generative framework for interaction-guided drug design, 논문 링크: https://www.nature.com/articles/s41467-024-47011-2)
2024.04.18
조회수 4236
-
설명해주는 인공지능 구현을 위한 초저전력 하드웨어 기술 개발
우리 대학 신소재공학과 김경민 교수 연구팀이 다양한 멤리스터* 소자를 이용한 설명 가능한 인공지능 (XAI) 시스템을 구현하는데 성공했다고 25일 밝혔다.
*멤리스터 (Memristor): 메모리 (Memory)와 저항 (Resistor)의 합성어로, 입력 신호에 따라 소자의 저항 상태가 변하는 소자
최근 인공지능 (AI) 기술의 급속한 발전이 다양한 분야에서 성과를 이루고 있다. 이미지 인식, 음성 인식, 자연어 처리 등에서 AI의 적용 범위가 확대되며 우리의 일상생활에 깊숙이 자리 잡고 있다.
AI는 인간의 뉴런 구조를 모방해 만든 ‘인공신경망’을 기반으로, 적게는 수백만 개에서 많게는 수조 개에 달하는 매개변수를 통해 데이터를 분석하고 의사 결정을 내린다. 그러나 이 많은 매개변수로 인해 AI 모델의 동작 원리를 정확하게 이해하기 어렵고, 이는 통상적으로 블랙박스에 비유되곤 한다. AI가 어떤 기준으로 결정을 내는지 알 수 없다면, AI에 결함이나 오작동이 발생했을 때 이를 해결하기 어렵고, 이로 인해 AI가 적용되는 다양한 산업 분야에서 문제가 발생할 수 있다.
이에 대한 해답으로 제시된 것이 바로 설명 가능한 인공지능 (XAI)이다. XAI는 AI가 어떠한 결정을 내렸을 때, 그 근거가 무엇인지를 사람이 이해할 수 있도록 만드는 기술이다. <그림1> 생성형 AI 등 점점 더 복잡해지는 AI 기술의 등장으로 개발자, 사용자, 규제 기관 모두에게 XAI 시스템의 필요성이 강조되고 있다. 하지만, XAI는 일반적으로 엄청난 양의 데이터 처리를 요구하기 때문에, 이를 보다 효율적으로 동작할 수 있는 하드웨어 개발이 필요한 상황이다.
김경민 교수 연구팀은 교란(Perturbation) 기반 XAI 시스템을 서로 다른 멤리스터 소자를 이용해 하드웨어로 구현하는데 성공하였다. 세 가지 멤리스터 소자는 각각 휘발성 저항변화 특성, 아날로그 비휘발성 저항변화 특성, 아날로그 휘발성 저항변화 특성을 가지며 <그림 2>, 각 소자는 교란 기반 XAI 시스템의 필수적인 기능인 입력 데이터 교란, 벡터곱 연산, 그리고 신호 통합 기능을 수행한다.
연구팀은 개발된 XAI 하드웨어를 평가하기 위해, 흑백 패턴을 인식하는 신경망을 설계하였다. 여기에 개발한 XAI 하드웨어 시스템으로 설계한 신경망이 흑백 패턴을 인식하는 근거를 설명하였다. <그림3> 그 결과 기존 CMOS 기술 기반 시스템 대비 에너지 소비를 24배 감소하여 AI 판단의 이유를 제공하는 것을 확인하였다. <그림4>
KAIST 김경민 교수는 “AI 기술이 일상화되면서 AI 동작의 투명성 및 해석가능성이 중요해지고 있는데, 이번 연구는 다양한 종류의 멤리스터 소자를 이용해 AI 판단에 대한 근거를 제공하는 XAI 하드웨어 시스템을 구현할 수 있었다는 점에 큰 의의가 있다”며 “이 연구는 AI 의사 결정에 도달하는 과정을 이해하기 쉽게 설명을 제공함으로써 AI 시스템의 신뢰성 향상에 기여할 수 있어, 향후 의료, 금융, 법률 등 민감한 정보를 다루는 AI 기반 서비스에 적용될 수 있을 것으로 기대된다”고 밝혔다.
이번 연구는 KAIST 신소재공학과 송한찬 박사과정, 박우준 박사과정 학생이 공동 제1 저자로 참여했으며, 국제 학술지 ‘어드밴스드 머티리얼즈(Advanced Materials, IF: 29.4)’에 03월 20일 字 온라인 게재됐으며, 한국연구재단 중견연구사업, 차세대지능형반도체기술개발사업, PIM인공지능반도체핵심기술개발사업, 나노종합기술원 및 KAIST 도약연구사업의 지원을 받아 수행됐다. (논문명: Memristive Explainable Artificial Intelligence Hardware, 논문링크: https://doi.org/10.1002/adma.202400977)
2024.03.25
조회수 3201
-
화합물 생성AI 기술로 신약 개발 앞당긴다
신약 개발이나 재료과학과 같은 분야에서는 원하는 화학 특성 조건을 갖춘 물질을 발굴하는 것이 중요한 도전으로 부상하고 있다. 우리 대학 연구팀은 화학반응 예측이나 독성 예측, 그리고 화합물 구조 설계 등 다양한 문제를 동시에 풀면서 기존의 인공지능 기술을 뛰어넘는 성능을 보이는 기술을 개발했다.
김재철AI대학원 예종철 교수 연구팀이 분자 데이터에 다중 모달리티 학습(multi-modal learning) 기술을 도입해, 분자 구조와 그 생화학적 특성을 동시에 생성하고 예측이 가능해 다양한 화학적 과제에 광범위하게 활용가능한 인공지능 기술을 개발했다고 25일 밝혔다.
심층신경망 기술을 통한 인공지능의 발달 이래 이러한 분자와 그 특성값 사이의 관계를 파악하려는 시도는 꾸준히 이루어져 왔다. 최근 비 지도 학습(unsupervised training)을 통한 사전학습 기법이 떠오르면서 분자 구조 자체로부터 화합물의 성질을 예측하는 인공지능 연구들이 제시되었으나 새로운 화합물의 생성하면서도 기존 화합물의 특성 예측이 동시에 가능한 기술은 개발되지 못했다.
연구팀은 화학 특성값의 집합 자체를, 분자를 표현하는 데이터 형식으로 간주해 분자 구조의 표현식과 함께 둘 사이의 상관관계를 아울러 학습하는 AI학습 모델을 제안했다. 유용한 분자 표현식 학습을 위해 컴퓨터 비전 분야에서 주로 연구된 다중 모달리티 학습 기법을 도입해, 두 다른 형식의 데이터를 통합하는 방식으로, 바라는 화합물의 성질을 만족하는 새로운 화합물의 구조를 생성하거나 주어진 화합물의 성질을 예측하는 생성 및 성질 특성이 동시에 가능한 모델을 개발했다.
연구팀이 제안한 모델은 50가지 이상의 동시에 주어지는 특성값 입력을 따르는 분자 구조를 예측하는 등 분자의 구조와 특성 모두의 이해를 요구하는 과제를 해결하는 능력을 보였으며, 이러한 두 데이터 정보 공유를 통해 화학반응 예측 및 독성 예측과 같은 다양한 문제에도 기존의 인공지능 기술을 뛰어넘는 성능을 보이는 것으로 확인됐다.
이 연구는 독성 예측, 후보물질 탐색과 같이 많은 산업계에서 중요하게 다뤄지는 과제를 포함해, 더 광범위하고 풍부한 분자 양식과 고분자, 단백질과 같은 다양한 생화학적 영역에 적용될 수 있을 것으로 기대된다.
예종철 교수는 “새로운 화합물의 생성과 화합물의 특성 예측 기술을 통합하는 화학분야의 새로운 생성 AI기술의 개척을 통해 생성 AI 기술의 저변을 넓힌 것에 자부심을 갖는다”고 말했다.
예종철 교수 연구팀의 장진호 석박통합과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’지난 3월 14일 자 온라인판에 게재됐다. (논문명 : Bidirectional Generation of Structure and Properties Through a Single Molecular Foundation Model)
한편 이번 연구는 한국연구재단의 AI데이터바이오선도기술개발사업으로 지원됐다.
2024.03.25
조회수 4468
-
인공지능이 상황에 따라 알아서 업데이트되다
최근 실생활에 활용되는 인공지능 모델이 시간이 지남에 따라 성능이 점차 떨어지는 현상이 다수 발견되었고, 이에 따라 지속가능한 인공지능 학습 기술에 대한 필요성이 커지고 있다. AI 모델이 꾸준히 정확한 판단을 내리는 것은 더욱 안전하고 신뢰할 수 있는 인공지능을 만들기 위한 중요한 요소이다.
우리 대학 전기및전자공학부 황의종 교수 연구팀이 시간에 따라 데이터의 분포가 변화하는 드리프트 환경에서도 인공지능이 정확한 판단을 내리도록 돕는 새로운 학습 데이터 선택 기술을 개발했다고 14일 밝혔다.
최근 인공지능이 다양한 분야에서 인간의 능력을 뛰어넘을 정도의 높은 성능을 보여주고 있지만, 대부분의 좋은 결과는 AI 모델을 훈련시키고 성능을 테스트할 때 데이터의 분포가 변하지 않는 정적인 환경을 가정함으로써 얻어진다. 하지만 이러한 가정과는 다르게 SK 하이닉스의 반도체 공정 과정에서 시간에 따른 장비의 노화와 주기적인 점검으로 인해 센서 데이터의 관측값이 지속적으로 변화하는 드리프트 현상이 관측되고 있다.
시간이 지나면서 데이터와 정답 레이블 간의 결정 경계 패턴이 변경되면, 과거에 학습되었던 AI 모델이 내린 판단이 현재 시점에서는 부정확하게 되면서 모델의 성능이 점차 악화될 수 있다.
본 연구팀은 이러한 문제를 해결하기 위해, 데이터를 학습했을 때 AI 모델의 업데이트 정도와 방향을 나타내는 그래디언트(gradient)를 활용한 개념을 도입하여 제시한 개념이 드리프트 상황에서 학습에 효과적인 데이터를 선택하는 데에 도움을 줄 수 있음을 이론적으로 실험적으로 분석했다. 그리고 이러한 분석을 바탕으로 효과적인 학습 데이터 선택 기법을 제안하여, 데이터의 분포와 결정 경계가 변화해도 모델을 강건하게 학습할 수 있는 지속 가능한 데이터 중심의 AI 학습 프레임워크를 제안했다.
본 학습 프레임워크의 주요 이점은, 기존의 변화하는 데이터에 맞춰서 모델을 적응시키는 모델 중심의 AI 기법과 달리, 드리프트의 주요 원인이라고 볼 수 있는 데이터 자체를 직접 전처리를 통해 현재 학습에 최적화된 데이터로 바꿔줌으로써, 기존의 AI 모델 종류에 상관없이 쉽게 확장될 수 있다는 점에 있다. 실제로 본 기법을 통해 시간에 따라 데이터의 분포가 변화되었을 때에도 AI 모델의 성능, 즉 정확도를 안정적으로 유지할 수 있었다.
제1 저자인 김민수 박사과정 학생은 "이번 연구를 통해 인공지능을 한번 잘 학습하는 것도 중요하지만, 그것을 변화하는 환경에 따라 계속해서 관리하고 성능을 유지하는 것도 중요하다는 사실을 알릴 수 있으면 좋겠다ˮ고 밝혔다.
연구팀을 지도한 황의종 교수는 “인공지능이 변화하는 데이터에 대해서도 성능이 저하되지 않고 유지하는 데에 도움이 되기를 기대한다”고 말했다.
본 연구에는 KAIST 전기및전자공학부의 김민수 박사과정이 제1 저자, 황성현 박사과정이 제2 저자, 그리고 황의종 교수(KAIST)가 교신 저자로 참여했다. 이번 연구는 지난 2월 캐나다 밴쿠버에서 열린 인공지능 최고 권위 국제학술 대회인 ‘국제 인공지능 학회(Association for the Advancement of Artificial Intelligence, AAAI)’에서 발표되었다. (논문명: Quilt: Robust Data Segment Selection against Concept Drifts)
한편, 이 기술은 SK 하이닉스 인공지능협력센터(AI Collaboration Center; AICC)의 지원을 받은 ‘노이즈 및 변동성이 있는 FDC 데이터에 대한 강건한 학습’ 과제 (K20.05) 와 정보통신기획평가원의 지원을 받은 ‘강건하고 공정하며 확장가능한 데이터 중심의 연속 학습’ 과제 (2022-0-00157) 와 한국연구재단의 지원을 받은 ‘데이터 중심의 신뢰 가능한 인공지능’ 과제 성과다.
2024.03.14
조회수 3444
-
GPU에서 대규모 출력데이터 난제 해결
국내 연구진이 인공지능(AI) 등에 널리 사용되는 그래픽 연산 장치(이하 GPU)에서 메모리 크기의 한계로 인해 초병렬 연산*의 결과로 대규모 출력 데이터가 발생할 때 이를 잘 처리하지 못하던 난제를 해결했다. 이 기술을 통해 향후 가정에서 사용하는 메모리 크기가 작은 GPU로도 생성형 AI 등 고난이도 연산이 대규모 출력을 필요한 경우 이를 빠르게 수행할 수 있다.
*초병렬 연산: GPU를 이용하여 수 십 만에서 수 백 만 개의 작은 연산들을 동시에 수행하는 연산을 의미
우리 대학은 전산학부 김민수 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 수십, 수백 만개 이상의 스레드들로 초병렬 연산을 하면서 수 테라바이트의 큰 출력 데이터*를 발생시킬 경우에도 메모리 에러를 발생시키지 않고 해당 출력 데이터를 메인 메모리로 고속으로 전송 및 저장할 수 있는 데이터 처리 기술(일명 INFINEL)을 개발했다고 7일 밝혔다.
*출력데이터: 데이터 분석 결과 또는 인공지능에 의한 생성 결과물에 해당하는 데이터
최근 AI의 활용이 급속히 증가하면서 지식 그래프와 같이 정점과 간선으로 이루어진 그래프 구조의 데이터의 구축과 사용도 점점 증가하고 있는데, 그래프 구조의 데이터에 대해 난이도가 높은 초병렬 연산을 수행할 경우 그 출력 결과가 매우 크고, 각 스레드의 출력 크기를 예측하기 어렵다는 문제점이 발생한다.
또한, GPU는 근본적으로 CPU와 달리 메모리 관리 기능이 매우 제한적이기 때문에 예측할 수 없는 대규모의 데이터를 유연하게 관리하기 어렵다는 문제가 있다. 이러한 이유로 지금까지는 GPU를 활용해 ‘삼각형 나열’과 같은 난이도가 높은 그래프 초병렬 연산을 수행할 수 없었다.
김 교수팀은 이를 근본적으로 해결하는 INFINEL 기술을 개발했다. 해당 기술은 GPU 메모리의 일부 공간을 수백 만개 이상의 청크(chunk)라 불리는 매우 작은 크기의 단위들로 나누고 관리하면서, 초병렬 연산 내용이 담긴 GPU 커널(kernel) 프로그램을 실행하면서 각 스레드가 메모리 충돌 없이 빠르게 자신이 필요한 청크 메모리들을 할당받아 자신의 출력 데이터를 저장할 수 있도록 한다.
또한, GPU 메모리가 가득 차도 무중단 방식으로 초병렬 연산과 결과 출력 및 저장을 지속할 수 있도록 한다. 따라서 이 기술을 사용하면 가정에서 사용하는 메모리 크기가 작은 GPU로도 수 테라 바이트 이상의 출력 데이터가 발생하는 고난이도 연산을 빠르게 수행할 수 있다.
김민수 교수 연구팀은 INFINEL 기술의 성능을 다양한 실험 환경과 데이터 셋을 통해 검증했으며, 종래의 최고 성능 동적 메모리 관리자 기술에 비해 약 55배, 커널을 2번 실행하는 2단계 기술에 비해 약 32배 연산 성능을 향상함을 보였다.
교신저자로 참여한 우리 대학 전산학부 김민수 교수는 “생성형 AI나 메타버스 시대에는 GPU 컴퓨팅의 대규모 출력 데이터를 빠르게 처리할 수 있는 기술이 중요해질 것으로 예상되며, INFINEL 기술이 그 일부 역할을 할 수 있을 것”이라고 말했다.
이번 연구에는 김 교수의 제자인 박성우 박사과정이 제1 저자로, 김 교수가 창업한 그래프 딥테크 기업인 (주)그래파이 소속의 오세연 연구원이 제 2 저자로, 김 교수가 교신 저자로 참여하였으며, 국제 학술지 ‘PPoPP’에 3월 4일자 발표됐다. (INFINEL: An efficient GPU-based processing method for unpredictable large output graph queries)
한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
2024.03.07
조회수 3586