-
챗GPT 등 대형 AI모델 학습 최적화 시뮬레이션 개발
최근 챗GPT, 딥시크(DeepSeek) 등 초거대 인공지능(AI) 모델이 다양한 분야에서 활용되며 주목받고 있다. 이러한 대형 언어 모델은 수만 개의 데이터센터용 GPU를 갖춘 대규모 분산 시스템에서 학습되는데, GPT-4의 경우 모델을 학습하는 데 소모되는 비용은 약 1,400억 원에 육박하는 것으로 추산된다. 한국 연구진이 GPU 사용률을 높이고 학습 비용을 절감할 수 있는 최적의 병렬화 구성을 도출하도록 돕는 기술을 개발했다.
우리 대학 전기및전자공학부 유민수 교수 연구팀은 삼성전자 삼성종합기술원과 공동연구를 통해, 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크(이하 vTrain)를 개발했다고 13일 밝혔다.
대형 언어 모델 학습 효율을 높이려면 최적의 분산 학습 전략을 찾는 것이 필수적이다. 그러나 가능한 전략의 경우의 수가 방대할 뿐 아니라 실제 환경에서 각 전략의 성능을 테스트하는 데는 막대한 비용과 시간이 들어간다.
이에 따라 현재 대형 언어 모델을 학습하는 기업들은 일부 경험적으로 검증된 소수의 전략만을 사용하고 있다. 이는 GPU 활용의 비효율성과 불필요한 비용 증가를 초래하지만, 대규모 시스템을 위한 시뮬레이션 기술이 부족해 기업들이 문제를 효과적으로 해결하지 못하고 있는 상황이다.
이에 유민수 교수 연구팀은 vTrain을 개발해 대형 언어 모델의 학습 시간을 정확히 예측하고, 다양한 분산 병렬화 전략을 빠르게 탐색할 수 있도록 했다.
연구팀은 실제 다중 GPU 환경에서 다양한 대형 언어 모델 학습 시간 실측값과 vTrain의 예측값을 비교한 결과, 단일 노드에서 평균 절대 오차(MAPE) 8.37%, 다중 노드에서 14.73%의 정확도로 학습 시간을 예측할 수 있음을 검증했다.
연구팀은 삼성전자 삼성종합기술원와 공동연구를 진행하여 vTrain 프레임워크와 1,500개 이상의 실제 학습 시간 측정 데이터를 오픈소스로 공개(https://github.com/VIA-Research/vTrain)하여 AI 연구자와 기업이 이를 자유롭게 활용할 수 있도록 했다.
유민수 교수는 “vTrain은 프로파일링 기반 시뮬레이션 기법으로 기존 경험적 방식 대비 GPU 사용률을 높이고 학습 비용을 절감할 수 있는 학습 전략을 탐색하였으며 오픈소스를 공개하였다. 이를 통해 기업들은 초거대 인공지능 모델 학습 비용을 효율적으로 절감할 것이다”라고 말했다.
이 연구 결과는 방제현 박사과정이 제1 저자로 참여하였고 컴퓨터 아키텍처 분야의 최우수 학술대회 중 하나인 미국 전기전자공학회(IEEE)·전산공학회(ACM) 공동 마이크로아키텍처 국제 학술대회(MICRO)에서 지난 11월 발표됐다. (논문제목: vTrain: A Simulation Framework for Evaluating Cost-Effective and Compute-Optimal Large Language Model Training, https://doi.org/10.1109/MICRO61859.2024.00021)
이번 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단, 정보통신기획평가원, 그리고 삼성전자의 지원을 받아 수행되었으며, 과학기술정보통신부 및 정보통신기획평가원의 SW컴퓨팅산업원천기술개발(SW스타랩) 사업으로 연구개발한 결과물이다.
2025.03.13
조회수 1405
-
챗GPT를 이용한 개인정보 악용 가능성 규명
최근 인공지능 기술의 발전으로 챗GPT와 같은 대형 언어 모델(이하 LLM)은 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있다. 구글(Google)은 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 인공지능 악용 가능성에 대한 논란이 불거진 점을 상기시키며, 연구진이 LLM 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 입증했다.
우리 대학 전기및전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다.
현재 OpenAI, 구글 AI 등과 같은 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 그러나 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다.
기존의 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과는 달리, LLM 에이전트는 이를 평균 5~20초 내에 30~60원(2~4센트) 수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 부각되고 있다.
연구 결과에 따르면, LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다. 또한, 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 진짜로 인식됐다.
뿐만 아니라, 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성할 수 있었으며, 실험 참가자들이 이러한 피싱 이메일 내의 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났다. 이는 인공지능 기반 자동화 공격의 심각성을 시사한다.
제1 저자인 김한나 연구원은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며, "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.
신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력하여 보안 대책을 논의할 계획이다”라고 밝혔다.
전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 USENIX Security Symposium 2025에 게재될 예정이다. (논문명: "When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs") DOI: 10.48550/arXiv.2410.14569
한편 이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받아 수행됐다.
2025.02.24
조회수 1722
-
기후 변화가 뎅기열 확산 가속한다
뎅기열이 전 세계적으로 역대 최고 확산세를 기록하고 있는 가운데, 기후 변화가 뎅기열 확산을 가속한다는 분석이 나왔다. 우리 대학 수리과학과 김재경 교수 연구팀이 자체 개발한 수학 모델로 기후 변화가 뎅기열 발병에 미치는 영향을 분석한 결과, 필리핀의 기온 상승과 강우 패턴 변화가 뎅기열 발생 증가와 밀접한 관련이 있음을 밝혀냈다.
뎅기열은 모기를 통해 전파되는 바이러스성 감염병이다. 세계보건기구(WHO)에 보고된 감염 사례만 2000년 50만 명에서 2019년 520만 명으로 20년 만에 10배가량 가까이 증가했다. 급격한 증가의 주요 원인으로는 기후 변화가 지목된다. 이상 고온 현상과 극단 강우 현상이 모기 번식에 유리한 환경을 조성하기 때문이다.
하지만 기후 요인과 뎅기열 발병 사이의 복잡한 상호작용에 대한 이해는 아직 제한적이다. 특히, 강우량의 영향에 대해서는 학계의 오랜 논쟁이 있어 왔다. 높은 강우량이 뎅기열 발병을 유발한다는 결과와 억제한다는 결과가 비슷한 숫자로 존재하기 때문이다.
제1 저자인 올리비아 카위딩 연구원은 “이런 모순된 결과는 기존 연구가 기후와 뎅기열 간의 상호작용을 단순히 상관관계나 선형 회귀 모델에 기반해 분석했기 때문”이라며 “우리 연구진은 기존 방식을 넘어 비선형적이고 복합적인 기후 요인의 영향이 정확히 예측할 수 있는 도구를 활용해 연구를 진행했다”고 설명했다.
연구진은 자체 개발한 인과관계 추정 방법론인 ‘GOBI(General ODE-Based Inference)’를 활용해 2015~2019년 필리핀 16개 지역의 기후 및 뎅기열 데이터를 분석했다. 분석 결과, 모든 지역에서 기온 상승이 뎅기열 발병을 증가시키는 주요 요인으로 작용했다.
반면, 강우량의 경우 지역에 따라 서로 다른 영향을 미쳤다. 동부 지역에서는 강우량 증가가 뎅기열 발병을 증가시키는 경향을 보였으나, 서부 지역에서는 감소시키는 경향이 나타났다.
이어 연구진은 강우의 효과가 지역별로 달라지는 원인도 찾아냈다. ‘건기의 규칙성’이 강우와 뎅기열 발병 간의 관계를 결정짓는 중요한 요인이었다. 건기가 규칙적으로 유지되는 지역(서부)에서는 강우가 뎅기열 발병을 억제했지만, 규칙성이 약화된 지역(동부)에서는 강우가 뎅기열 발병을 촉진했다.
건기가 규칙적인 지역에서는 건기 동안 물이 고여 있는 모기 서식지가 강우에 의해 쉽게 제거돼 뎅기열 발생을 억제하는 ‘플러싱 효과(Flushing Effect)’가 강하게 나타난다. 이와 달리 건기가 불규칙적인 지역에서는 강우가 산발적으로 발생해 플러싱 효과가 약화되고, 오히려 모기 번식지를 형성해 뎅기열 발생을 촉진한다는 것이다.
이번 연구는 기후 변화가 뎅기열 발병에 미치는 복잡한 영향을 이해하고, 지역별 특성을 고려한 맞춤형 공중보건 전략을 설계하는 데 중요한 과학적 근거를 제공했다는 의미가 있다. 연구진은 필리핀 외의 지역으로 확장해 푸에르토리코 등 다른 지역에서도 유사한 패턴이 나타남을 확인했다. 다양한 기후 환경에 적용 가능한 일반성을 지닌다는 의미다.
연구를 이끈 김재경 교수는 “‘건기의 규칙성’은 기존 연구에서 간과된 부분으로 우리 연구는 뎅기열 발병에 대한 새로운 해석을 제공했다는 의미가 높다”며 “기후 변화가 뎅기열, 말라리아, 독감, 지카 등 기후 민감 질병에 미치는 영향을 이해하는 데 중요한 전환점을 제시한 것으로, 향후 자원 배분 및 예방 전략 수립을 위한 핵심 정보로 사용되길 바란다”고 말했다.
연구결과는 2월 13일(목) 04시(한국시간) 국제학술지 ‘사이언스 어드밴시스(Science Advances)’온라인판에 실렸다.
2025.02.13
조회수 1521
-
논문 마이닝부터 합성 조건 추천까지, MOF 연구를 혁신하는 대규모 언어 모델
우리 연구진이 챗GPT를 활용해 금속 유기 골격체(Metal-Organic Frameworks, MOFs) 연구 논문에서 실험 데이터를 자동으로 추출하는 데이터 마이닝 툴(이하 L2M3)을 개발했다. L2M3는 MOF의 합성 조건 및 물성 정보를 체계적으로 수집하며, 분류, 정보 식별 및 데이터 추출 작업에서 각각 98.3%, 97.3%, 95.3%의 높은 정확도를 기록했다. 또한, 추출한 데이터를 기반으로 MOF의 합성 조건을 추천하는 시스템을 개발하여 연구자들의 실험 과정 최적화를 지원하고 있어 화제가 되고 있다.
우리 대학 생명화학공학과 김지한 교수 연구팀이 대규모 언어 모델(이하 LLMs) 급격한 발전에 주목하며, 이를 활용을 통해 금속 유기 골격체 문헌에서 MOF의 합성 및 물성 정보를 대량으로 추출하는 데이터 마이닝 툴(L2M3)를 개발했다고 7일 발표했다.
최근 MOF에 대한 연구들이 활발히 진행되어 MOF 실험 데이터가 축적되고 있다. 이에 따라 MOF 연구의 발전을 위해서는 신뢰할 수 있는 실험 데이터 확보가 필수적이며, 특히 논문에 산재한 합성 조건과 물성 정보를 효과적으로 정리하는 것이 큰 과제로 남아 있다. 기존에도 MOF 관련 데이터를 활용하려는 시도가 있었으나, 대부분 일부 특정 특성에 국한되어 있어 있다는 한계점이 존재했다.
김지한 교수 연구팀이 개발한 L2M3는 LLM을 활용하여 쉽고 효율적인 데이터 마이닝 환경을 구축함으로써, 데이터 마이닝에 익숙하지 않은 연구자들도 손쉽게 사용할 수 있는 강력한 도구로의 잠재력을 갖추고 있다.
기존 데이터 마이닝 방식으로는 다양한 특성에 대한 정확한 정보 추출이 어려웠으나, L2M3는 LLM의 자연어 처리 능력을 활용하여 더 정밀한 데이터 추출이 가능하다. 특히, 분류(98.3%)와 정보 식별(97.3%)에서 높은 정확도를 기록했으며, 과정이 복잡하여 정확도 확보가 어려운 데이터 추출 단계에서도 95.3%라는 뛰어난 성능을 보였다.
뿐만 아니라, L2M3는 추출된 합성 조건 데이터를 대규모 언어 모델로 미세 조정해 합성 조건 추천 시스템을 개발하였다. 연구자가 전구체 정보를 입력하면 최적의 합성 조건을 제안하여 실험 과정에서 발생하는 시행착오를 줄이고, MOF 합성을 더욱 효율적으로 수행할 수 있도록 지원한다. 이러한 접근 방식은 MOF 연구뿐만 아니라 다양한 재료 과학 분야에서도 데이터 마이닝과 인공지능을 활용한 연구 패러다임을 새롭게 정의할 수 있는 가능성을 제시하고 있다.
김지한 교수는 “이번 연구는 인공지능을 활용한 재료 과학 연구의 새로운 기준을 제시하는 중요한 진전을 의미한다. L2M3는 방대한 과학 문헌에서 실험 데이터를 체계적으로 수집하고 분석함으로써, 기존 데이터 부족 문제를 해결하고 보다 신뢰성 높은 데이터 기반 연구를 가능하게 한다. 향후 L2M3의 데이터 처리 성능과 합성 조건 추천 모델이 더욱 정교화된다면, MOF뿐만 아니라 다양한 재료 연구에서도 혁신적인 발견을 가속화할 것으로 기대된다.” 라고 말했다.
생명화학공학과 강영훈, 이원석 박사, 배태언 박사과정이 공동 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `미국 화학회지(Journal of the American Chemical Society)'에 지난 1월 21일 게재됐다. (논문명: Harnessing Large Language Models to Collect and Analyze Metal–Organic Framework Property Data Set)
한편 이번 연구는 과학기술정보통신부의 탑-티어 연구기관 간 협력 플랫폼 구축 및 공동연구 지원사업, 한국연구재단(NRF)의 나노 및 소재기술개발사업, 그리고 국가슈퍼컴퓨팅센터의 지원을 받아 수행됐다.
2025.02.07
조회수 1665
-
인간의 인지 방식과 유사한 AI 모델 개발
우리 연구진이 인간의 인지 방식을 모방해 이미지 변화를 이해하고, 시각적 일반화와 특정성을 동시에 확보하는 인공지능 기술을 개발했다. 이 기술은 의료 영상 분석, 자율주행, 로보틱스 등 다양한 분야에서 이미지를 이해하여 객체를 분류, 탐지하는 데 활용될 전망이다.
우리 대학 전기및전자공학부 김준모 교수 연구팀이 변환 레이블(transformational labels) 없이도 스스로 변환 민감 특징(transformation-sensitive features)을 학습할 수 있는 새로운 시각 인공지능 모델 STL(Self-supervised Transformation Learning)을 개발했다고 13일 밝혔다.
연구팀이 개발한 시각 인공지능 모델 STL은 스스로 이미지의 변환을 학습하여, 이미지 변환의 종류를 인간이 직접 알려주면서 학습하는 기존 방법들보다 높은 시각 정보 이해 능력을 보였다. 특히, 기존 방법론들을 통해 학습한 모델이 이해할 수 없는 세부적인 특징까지도 학습하여 기존 방법 대비 최대 42% 우수한 성능을 보여줬다.
컴퓨터 비전에서 이미지 변환을 통한 데이터 증강을 활용해 강건한 시각 표현을 학습하는 방식은 일반화 능력을 갖추는 데 효과적이지만, 변환에 따른 시각적 세부 사항을 무시하는 경향이 있어 범용 시각 인공지능 모델로서 한계가 있다.
연구팀이 제안한 STL은 변환 라벨 없이 변환 정보를 학습할 수 있도록 설계된 새로운 학습 기법으로, 라벨 없이 변환 민감 특징을 학습할 수 있다. 또한, 기존 학습 방법 대비 학습 복잡도를 유지한 채로 효율적인 최적화할 수 있는 방법을 제안했다.
실험 결과, STL은 정확하게 객체를 분류하고 탐지 실험에서 가장 낮은 오류율을 기록했다. 또한, STL이 생성한 표현 공간은 변환의 강도와 유형에 따라 명확히 군집화되어 변환 간 관계를 잘 반영하는 것으로 나타났다.
김준모 교수는 "이번에 개발한 STL은 복잡한 변환 패턴을 학습하고 이를 표현 공간에서 효과적으로 반영하는 능력을 통해 변환 민감 특징 학습의 새로운 가능성을 제시했다”며, "라벨 없이도 변환 정보를 학습할 수 있는 기술은 다양한 AI 응용 분야에서 핵심적인 역할을 할 것”이라고 말했다.
우리 대학 전기및전자공학부 유재명 박사과정이 제1 저자로 참여한 이번 연구는 최고 권위 국제 학술지 ‘신경정보처리시스템학회(NeurIPS) 2024’에서 올 12월 발표될 예정이다.(논문명: Self-supervised Transformation Learning for Equivariant Representations)
한편 이번 연구는 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구 성과물(No.RS-2024-00439020, 지속가능한 실시간 멀티모달 인터렉티브 생성 AI 개발, SW스타랩) 이다.
2024.12.15
조회수 2636
-
박종세 교수팀, 2024 IISWC 다수 상 동시 석권
우리 대학 전산학부 박종세 교수 연구팀이 지난 9월 15일부터 9월 17일까지 캐나다 밴쿠버에서 열린 ‘2024 IEEE 국제 워크로드 특성화 심포지엄(IEEE International Symposium on Workload Characterization, 이하 IISWC 2024)’에서 최우수 논문상(Best Paper Award)과 최우수 연구 기록물 상(Distinguished Artifact Award)’을 동시에 수상했다고 26일 밝혔다.
박 교수 연구팀은 ‘초거대 언어모델 추론 서비스 제공을 위한 HW/SW 공동 시뮬레이션 인프라(LLMServingSim: A HW/SW Co-Simulation Infrastructure for LLM Inference Serving at Scale)’ 논문으로 두 상을 동시에 수상했다.
IISWC는 컴퓨터 시스템 워크로드 특성화 분야에서 권위를 자랑하는 국제 학회이며, 개최시마다 최우수 논문상과 최우수 연구 기록물 상을 하나씩 수여하는데 올해에는 박 교수팀의 논문이 두 상을 모두 단독으로 수상했다.
이번 수상 연구는 대규모 거대언어모델(LLM) 추론 서비스를 위한 하드웨어와 소프트웨어 통합 시뮬레이션 인프라를 최초 개발한 점, 향후 LLM 추론 연구의 지속적인 발전을 위해 오픈소스로 공개한 코드의 완성도와 사용자 편의성 측면에서 높은 평가를 받았다.
이번 연구에서 연구팀은 챗GPT와 같은 LLM 추론 서비스를 실행하는 대규모 시스템을 여러 가지 하드웨어와 소프트웨어를 추가해 시뮬레이션할 수 있는 시뮬레이션 인프라를 제안했다.
이를 통해 GPU(그래픽처리장치), NPU(신경망처리장치)와 PIM(지능형메모리반도체)과 같은 다양한 하드웨어뿐만 아니라 반복 수준 스케쥴링, KV 캐시 페이징과 같은 초거대 언어모델 추론을 위한 소프트웨어적 요소를 모두 함께 시뮬레이션할 수 있었다.
이번 연구는 KAIST 전산학부 박종세 교수팀의 조재홍, 김민수, 최현민, 허구슬 학생들이 주도했다.
상을 받은 KAIST 전산학부 박종세 교수는 “이번 연구를 통해, LLM 클라우드 상에서 다양한 AI 반도체와 시스템 소프트웨어의 성능을 종합적으로 평가해 볼 수 있는 오픈소스 도구(Tool)을 공개할 수 있게 되어 기쁘고, 앞으로도 생성형 AI를 위한 클라우드 시스템 연구를 지속해 나갈 것이다”라고 소감을 전했다.
이번 연구 결과는, 챗GPT와 같이 LLM을 활용하는 단순한 챗봇 AI를 넘어, 생성형 AI(Generative AI)로 대표되는 미래 AI 산업에서 이종 AI 반도체 기반 클라우드 시스템을 구축하는 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
한편 이번 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 인공지능반도체대학원지원사업, 및 하이퍼엑셀의 지원을 받아 수행됐다.
2024.10.11
조회수 3551
-
고비용 인프라 없이 AI 학습 가속화 가능
우리 대학 연구진이 고가의 데이터센터급 GPU나 고속 네트워크 없이도 AI 모델을 효율적으로 학습할 수 있는 기술을 개발했다. 이 기술을 통해 자원이 제한된 기업이나 연구자들이 AI 연구를 보다 효과적으로 수행할 수 있을 것으로 기대된다.
우리 대학 전기및전자공학부 한동수 교수 연구팀이 일반 소비자용 GPU를 활용해, 네트워크 대역폭이 제한된 분산 환경에서도 AI 모델 학습을 수십에서 수백 배 가속할 수 있는 기술을 개발했다고 19일 밝혔다.
기존에는 AI 모델을 학습하기 위해 개당 수천만 원에 달하는 고성능 서버용 GPU(엔비디아 H100) 여러 대와 이들을 연결하기 위한 400Gbps급 고속 네트워크를 가진 고가 인프라가 필요했다. 하지만 소수의 거대 IT 기업을 제외한 대부분의 기업과 연구자들은 비용 문제로 이러한 고가의 인프라를 도입하기 어려웠다.
한동수 교수 연구팀은 이러한 문제를 해결하기 위해 '스텔라트레인(StellaTrain)'이라는 분산 학습 프레임워크를 개발했다. 이 기술은 고성능 H100에 비해 10~20배 저렴한 소비자용 GPU를 활용해, 고속의 전용 네트워크 대신 대역폭이 수백에서 수천 배 낮은 일반 인터넷 환경에서도 효율적인 분산 학습을 가능하게 한다.
기존의 저가 GPU를 사용할 경우, 작은 GPU 메모리와 네트워크 속도 제한으로 인해 대규모 AI 모델 학습 시 속도가 수백 배 느려지는 한계가 있었다. 하지만 연구팀이 개발한 스텔라트레인 기술은 CPU와 GPU를 병렬로 활용해 학습 속도를 높이고, 네트워크 속도에 맞춰 데이터를 효율적으로 압축 및 전송하는 알고리즘을 적용해 고속 네트워크 없이도 여러 대의 저가 GPU를 이용해 빠른 학습을 가능하게 했다.
특히, 학습을 작업 단계별로 CPU와 GPU가 나누어 병렬적으로 처리할 수 있는 새로운 파이프라인 기술을 도입해 연산 자원의 효율을 극대화했다. 또한, 원거리 분산 환경에서도 GPU 연산 효율을 높이기 위해, AI 모델별 GPU 활용률을 실시간으로 모니터링해 모델이 학습하는 샘플의 개수(배치 크기)를 동적으로 결정하고, 변화하는 네트워크 대역폭에 맞추어 GPU 간의 데이터 전송을 효율화하는 기술을 개발했다.
연구 결과, 스텔라트레인 기술을 사용하면 기존의 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있는 것으로 나타났다.
한동수 교수는 "이번 연구가 대규모 AI 모델 학습을 누구나 쉽게 접근할 수 있게 하는 데 큰 기여를 할 것"이라고 밝혔다. “앞으로도 저비용 환경에서도 대규모 AI 모델을 학습할 수 있는 기술 개발을 계속할 계획이다”라고 말했다.
이번 연구는 우리 대학 임휘준 박사, 예준철 박사과정 학생, UC 어바인의 산기타 압두 조시(Sangeetha Abdu Jyothi) 교수와 공동으로 진행됐으며, 연구 성과는 지난 8월 호주 시드니에서 열린 ACM SIGCOMM 2024에서 발표됐다.
한편, 한동수 교수 연구팀은 2024년 7월 GPU 메모리 한계를 극복해 소수의 GPU로 거대 언어 모델을 학습하는 새로운 기술도 발표했다. 해당 연구는 최신 거대 언어 모델의 기반이 되는 전문가 혼합형(Mixture of Expert) 모델을 제한된 메모리 환경에서도 효율적인 학습을 가능하게 한다.
이 결과 기존에 32~64개 GPU가 필요한 150억 파라미터 규모의 언어 모델을 단 4개의 GPU만으로도 학습할 수 있게 됐다. 이를 통해 학습의 필요한 최소 GPU 대수를 8배~16배 낮출 수 있게 됐다. 해당 논문은 KAIST 임휘준 박사와 김예찬 연구원이 참여했으며, 오스트리아 빈에서 열린 AI 분야 최고 권위 학회인 ICML에 발표됐다. 이러한 일련의 연구 결과는 자원이 제한된 환경에서도 대규모 AI 모델 학습이 가능하다는 점에서 중요한 의미를 가진다.
해당 연구는 과학기술정보통신부 한국연구재단이 주관하는 중견연구사업 (RS-2024-00340099), 정보통신기획평가원(IITP)이 주관하는 정보통신·방송 기술개발사업 및 표준개발지원사업 (RS-2024-00418784), 차세대통신클라우드리더십구축사업 (RS-2024-00123456), 삼성전자의 지원을 받아 수행됐다.
2024.09.19
조회수 4526
-
지방간 치료제 개발에 최적화된 동물모델 개발
대사이상 지방간 질환은 전 세계 인구의 30%, 비만하지 않은 인구의 19%가 앓고 있으며, 지방간에서 시작해 간암까지 진행되는 심각한 만성질환이다. 현재 FDA에서 승인된 치료제인 레스메티롬(Resmetirom)이 있지만, 치료받은 환자의 70% 이상에서 충분한 효과를 보지 못해 새로운 치료제 개발이 시급하다. 한국 연구진이 지방간염 치료제 개발에 중요한 전환점이 될 사람의 대사이상 지방간 질환을 잘 모사하는 새로운 동물모델을 개발해 주목받고 있다.
우리 대학 의과학대학원 김하일 교수 연구팀과 연세대학교 의과대학 박준용 교수 연구팀, 한미약품 R&D센터(최인영 R&D센터장/전무이사) 및 ㈜제이디바이오사이언스(대표 안진희)와 공동연구를 통해 새로운 대사이상 지방간 질환 동물모델을 개발했다고 19일 밝혔다.
대사이상 지방간 질환의 유병률은 20~30%에 이르고, 지방간염 질환은 전 세계 성인 인구의 5% 이상이 보유하고 있을 정도로 높은 유병률을 보임에도 불구하고 현재까지 제품화된 치료제가 전혀 없다.
대사이상 지방간 질환은 지방간에서 시작해 지방간염, 섬유화, 간경화, 간암으로 진행되는 만성질환이며, 심혈관질환 및 간 관련 합병증 등에 의해 사망률이 증가하므로 발병 초기에 적절한 치료가 필요하다.
하지만 아직까지 사람의 질환을 모사할 수 있는 적절한 동물모델이 없어 병인 기전의 규명과 치료제의 개발에 어려움이 있다. 특히 기존의 동물모델들은 당뇨와 비만과 같은 대사이상이 간경화와 간암의 발병에 유발하는지를 반영하지 못한다는 문제점이 있었다.
김하일 교수 연구팀은 베타세포의 기능이 부족한 아시아인에서 비만과 당뇨병을 동반한 대사이상 지방간 질환의 유병률이 더 높다는 점에 착안했다. 마우스에 약물을 통해 베타세포를 파괴해 당뇨를 유발한 다음 고지방식이를 먹여서 비만과 당뇨를 동반한 지방간 질환이 빠르게 진행하는 동물모델을 개발했다.
이 마우스 모델은 1년 동안 점진적으로 지방간, 지방간염, 간 *섬유화 및 간암이 나타나는데, 해당 마우스의 간의 유전체를 분석한 결과 그 특징이 비만과 제2형 당뇨병을 동반한 대사이상 지방간 질환 환자들과 매우 유사한 것으로 나타났다. 특히 이 모델에서 발생하는 간암은 대사이상 지방간 질환 환자에서 발생하는 간암과 조직학적, 분자생물학적 특성이 유사한 것을 연구팀은 확인했다.
* 섬유화: 간의 일부가 굳는 현상으로, 지방간염 개선의 주요 지표로 쓰임
연구팀은 개발한 동물모델을 사용해, 최근 비만치료효과로 각광을 받고 있는 GLP-1 유사체의 효과를 시험했다. GLP-1 유사체의 투여가 이 마우스 모델에서 지방간, 간염과 간 섬유화의 진행을 억제하는 효과를 확인해, 마우스 모델이 신약 개발을 위한 전임상 모델로 유용하게 활용될 수 있음을 연구팀은 보였다. 또한 GLP-1 유사체의 투여가 간암의 발생을 억제함을 최초로 규명해, 대사이상 지방간 질환의 주요 사망 요인인 간암의 발병 억제를 위한 GLP-1 유사체의 활용 방안을 제시했다.
의과학대학원 김하일 교수는 “현재 대사이상 지방간 질환 동물모델은 대사이상 지방간 질환의 넓은 스펙트럼과 당뇨, 비만과 같은 대사질환을 잘 반영하지 못하는 문제점이 있으나, 우리 연구팀이 개발한 마우스 모델은 만성 대사질환의 특징을 잘 모사해, 대사이상 지방간 질환 동물모델로서 관련 연구에 중요한 전환점을 제시할 수 있을 것이다”고 강조했다.
우리 대학 의과학대학원 정병관 박사, 최원일 교수, 화순전남대학교병원 최원석 교수가 공동 제1 저자로 참여한 이번 연구 논문은 국제 학술지인 ‘네이처 커뮤니케이션즈(Nature Communications)’ 에 2024년 8월 2일 게재됐다.
(논문명: A male mouse model for metabolic dysfunction-associated steatotic liver disease and hepatocellular carcinoma)
한편 이번 연구는 과학기술정보통신부, 보건복지부, 교육부, 및 ㈜제이디바이오사이언스(JD Bioscience Inc.)에서 지원을 받아 수행됐다.
2024.08.19
조회수 4107
-
대형언어모델로 42% 향상된 추천 기술 연구 개발
최근 소셜 미디어, 전자 상거래 플랫폼 등에서 소비자의 만족도를 높이는 다양한 추천서비스를 제공하고 있다. 그 중에서도 상품의 제목 및 설명과 같은 텍스트를 주입하여 상품 추천을 제공하는 대형언어모델(Large Language Model, LLM) 기반 기술이 각광을 받고 있다. 한국 연구진이 이런 대형언어모델 기반 추천 기술의 기존 한계를 극복하고 빠르고 최상의 추천을 해주는 시스템을 개발하여 화제다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동연구를 통해 협업 필터링(Collaborative filtering) 기반 추천 모델이 학습한 사용자의 선호에 대한 정보를 추출하고 이를 상품의 텍스트와 함께 대형언어모델에 주입해 상품 추천의 높은 정확도를 달성할 수 있는 새로운 대형언어모델 기반 추천시스템 기술을 개발했다고 17일 밝혔다.
이번 연구는 기존 연구에 비해 학습 속도에서 253% 향상, 추론 속도에서 171% 향상, 상품 추천에서 평균 12%의 성능 향상을 이뤄냈다. 특히, 사용자의 소비 이력이 제한된 퓨샷(Few-shot) 상품* 추천에서 평균 20%의 성능 향상, 다중-도메인(Cross-domain) 상품 추천**에서 42%의 성능 향상을 이뤄냈다.
*퓨샷 상품: 사용자의 소비 이력이 풍부하지 않은 상품.
**다중-도메인 상품 추천: 타 도메인에서 학습된 모델을 활용하여 추가학습없이 현재 도메인에서 추천을 수행. 예를 들어, 의류 도메인에 추천 모델을 학습한 뒤, 도서 도메인에서 추천을 수행하는 상황을 일컫는다.
기존 대형언어모델을 활용한 추천 기술들은 사용자가 소비한 상품 이름들을 단순히 텍스트 형태로 나열해 대형언어모델에 주입하는 방식으로 추천을 진행했다. 예를 들어 ‘사용자가 영화 극한직업, 범죄도시1, 범죄도시2를 보았을 때 다음으로 시청할 영화는 무엇인가?’라고 대형언어모델에 질문하는 방식이었다.
이에 반해, 연구팀이 착안한 점은 상품 제목 및 설명과 같은 텍스트뿐 아니라 협업 필터링 지식, 즉, 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보가 정확한 상품 추천에 중요한 역할을 한다는 점이었다. 하지만, 이러한 정보를 단순히 텍스트화하기에는 한계가 존재한다. 이에 따라, 연구팀은 미리 학습된 협업 필터링 기반 추천 모델로부터 사용자의 선호에 대한 정보를 추출하고 이를 대형언어모델이 이해할 수 있도록 변환하는 경량화된 신경망을 도입했다.
연구팀이 개발한 기술의 특징으로는 대형언어모델의 추가적인 학습이 필요하지 않다는 점이다. 기존 연구들은 상품 추천을 목적으로 학습되지 않은 대형언어모델이 상품 추천이 가능하게 하도록 대형언어모델을 파인튜닝(Fine-tuning)* 하는 방법을 사용했다. 하지만, 이는 학습과 추론에 드는 시간을 급격히 증가시키므로 실제 서비스에서 대형언어모델을 추천에 활용하는 것에 큰 걸림돌이 된다. 이에 반해, 연구팀은 대형언어모델의 직접적인 학습 대신 경량화된 신경망의 학습을 통해 대형언어모델이 사용자의 선호를 이해할 수 있도록 했고, 이에 따라 기존 연구보다 빠른 학습 및 추론 속도를 달성했다.
*파인튜닝: 사전 학습된 대규모 언어모델을 특정 작업이나 데이터셋에 맞게 최적화하는 과정.
연구팀을 지도한 박찬영 교수는 “제안한 기술은 대형언어모델을 추천 문제에 해결하려는 기존 연구들이 간과한 사용자-상품 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법으로 이는 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 고도화된 추천 서비스를 등장시킬 수 있을 것이며, 추천 도메인에 국한되지 않고 이미지, 텍스트, 사용자-상품 상호작용 정보를 모두 사용하는 진정한 멀티모달 추천 방법론으로 나아갈 수 있을 것”이라고 말했다.
우리 대학 산업및시스템공학과 김세인 박사과정 학생과 전산학부 강홍석 학사과정(졸) 학생이 공동 제1 저자, 네이버의 김동현 박사, 양민철 박사가 공동 저자, KAIST 산업및시스템공학과의 박찬영 교수가 교신저자로 참여한 이번 연구는 데이터마이닝 최고권위 국제학술대회인 ‘국제 데이터 마이닝 학회 ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)’에서 올 8월 발표할 예정이다. (논문명: Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System).
한편 이번 연구는 네이버 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다. (NRF-2022M3J6A1063021, RS-2024-00335098)
2024.07.17
조회수 4534
-
종양모델 칩으로 다조건 항암제 동시 평가
실제 인체에 항암제가 투여되면 약물 분자는 혈류를 따라 수송된다. 이 약물 분자들은 혈관 벽을 투과하고 확산한다. 확산한 분자는 종양 덩어리 내부까지 점차 침투해 약물 효능이 나타나게 된다. 우리 연구진이 바이오프린팅 기술로 36가지의 종양 미세환경을 유체채널 내부에 모사하여 12가지 실험 조건에 따른 항암제 효능을 동시에 평가하는데 성공하여 화제다.
우리 대학 바이오및뇌공학과 박제균 교수 연구팀이 기존 바이오프린팅* 및 랩온어칩** 기술의 한계점을 극복하고 장점을 극대화하여 복잡한 종양 미세환경이 구현된 랩온어칩을 개발하여 여러 분석 변수가 반영된 약물 스크리닝을 수행하는 데 성공했다고 16일 밝혔다.
* 바이오프린팅(bioprinting): 세포와 생체재료로 구성된 바이오 잉크를 활용하여 생체조직 및 기관과 유사한 기능적 구조물을 제작하는 3D 프린팅 기술
** 랩온어칩(lab-on-a-chip): “칩 위의 실험실”이란 개념을 갖고 있으며 각종 시료분석에 필요한 전처리, 분리, 희석, 혼합, 반응, 검출 기능 등을 미세유체 회로로 이루어진 채널 내에서 일괄적으로 수행할 수 있도록 만들어진 미세유체 소자 및 시스템
바이오프린팅은 조직이나 장기의 복잡한 형상과 조성을 체외환경에서 재현할 수 있는 생체모사 기술이지만, 제작된 생체모델의 배양 환경 제어와 분석이 어렵다. 반면, 랩온어칩은 미세 유체채널 내에서의 유체 제어 기술에 기반해 배양 환경의 정교한 제어와 다양한 분석 수행이 가능하지만, 미세한 유체 통로 내부에 생체 환경을 모사하는 데 한계가 있었다.
연구진은 바이오프린팅 기술로 서로 다른 조성으로 구성된 총 36개의 종양 모델을 랩온어칩 내에 형성한 후, 동일한 소자 내에서 12가지 실험 조건에 따른 항암제 효능을 동시에 평가하는 데 성공했다.
연구팀은 바이오프린팅의 우수한 공간적 자유도와 다양한 생체재료를 활용할 수 있다는 장점을 이용해, 세 가지 서로 다른 조성으로 이루어진 36개의 종양 모델을 하나의 미세 유체소자에 집적시켰다. 세포를 유동 배양해 물질 수송에 핵심 구조물인 혈관 벽과 종양 덩어리를 모사하여 네 가지 농도의 항암제를 종양 모델에 유입함으로써, 하나의 소자에서 12가지 실험 조건의 약물 평가를 수행했다.
또한 연구팀은 혈관 벽에 의해 약물 분자의 수송이 저해되고 종양 덩어리 내부까지 침투되는 현상을 관찰할 수 있었고, 체내 수송 과정을 모사하지 못했던 기존 종양 모델과 약물 효능에 큰 차이를 보인다는 것을 확인했다.
이처럼 바이오프린팅-랩온어칩 통합기술을 활용해 모델 복잡성, 모델 수, 모델 처리량 등 다양한 변수를 고려한 체외 종양 모델을 제작할 수 있었고, 더욱 신뢰성 있는 약물 평가를 수행할 수 있었다.
연구를 주도한 박제균 교수는 “바이오프린팅과 랩온어칩의 통합기술로 제작된 미세 유체 세포배양 및 분석 플랫폼의 개발에 따른 신뢰성 있는 약물 평가 모델에 대한 성과”임을 강조하며, “향후 다양한 조직 및 장기 특성을 모사하고 생물학적 분석과 약물 효능 평가를 고효율로 수행할 수 있는 동물실험 대체용 차세대 체외 세포배양 및 분석 기술로 활용될 수 있을 것”이라고 말했다.
바이오및뇌공학과 이기현 박사가 제1 저자로 참여한 이번 연구 결과는 국제 학술지 '어드밴스드 헬스케어 머티리얼즈(Advanced Healthcare Materials)'에 2024년 6월 3일 자로 온라인판에 게재됐다.
(https://doi.org/10.1002/adhm.202303716. 논문명: Bioprinted multi-composition array mimicking tumor microenvironment to evaluate drug efficacy with multivariable analysis).
또한, 이번 논문은 와일리-VCH(Wiley-VCH) 출판사의 ‘핫 토픽: 종양과 암(Hot Topic: Tumors and Cancer)’세션과 ‘핫 토픽: 미세유체공학(Hot Topic: Microfluidics)’세션에 동시 선정됐다.
한편 이번 연구는 한국연구재단 기초연구사업(중견연구)의 지원을 받아 수행됐다.
2024.07.16
조회수 4446
-
챗MOF로 96.9% 금속 유기 골격체 물성 예측하다
우리 대학 연구진이 챗GPT를 활용해 큰 다공성, 높은 표면적, 그리고 뛰어난 조절 가능성으로 많은 화학 응용 분야에서 사용되는 금속 유기 골격체의 특성을 예측하고 새로운 재료를 자동으로 생성하는 챗봇 시스템(이하 챗MOF)을 개발했다. 챗MOF는 검색 및 예측 작업에서 각각 96.9% 및 95.7%의 높은 성공률을 보여 화제다.
생명화학공학과 김지한 교수 연구팀이 인공지능(AI)의 급격한 발전에 주목하며, 대규모 언어 모델(이하 LLMs) 활용을 통해 금속 유기 골격체(Metal-Organic Frameworks, MOFs)의 특성을 예측하고 새로운 재료를 자동으로 생성하는 챗봇 시스템(ChatMOF)을 개발했다고 26일 발표했다.
최근 인공지능(AI)의 발전에는 큰 도약이 있었지만 재료 과학에서의 LLM의 잠재력을 완전히 실현하기에는 여전히 물질의 복잡성과 재료별 특화된 훈련 데이터의 부족이라는 한계점이 존재했다.
김지한 교수 연구팀이 개발한 챗MOF는 재료 분야에서 전통적인 머신러닝 모델과 LLM을 결합한 혁신적인 접근 방식으로 계산 및 머신러닝 도구에 대한 초보자들과의 격차를 상당히 줄일 수 있는 잠재력을 가지고 있다.
또한 이 독특한 시스템은 인공지능의 변혁적인 능력과 재료 과학의 복잡한 측면들을 연결하며, 다양한 작업에서 뛰어난 성능을 보여준다. 챗MOF는 검색 및 예측 작업에서 각각 96.9% 및 95.7%의 높은 성공률을 보고한다. 한편, 더 복잡한 구조 생성 작업은 그 복잡함에도 불구하고 주목할 만한 87.5%의 정확도를 달성한다. 이러한 유망한 결과는 챗MOF가 가장 요구가 많은 작업을 관리하는 데도 효과적임을 강조한다.
김지한 교수는 “연구팀이 개발한 기술은 재료 과학 분야에서 인공지능의 더 높은 자율성을 달성하기 위한 중요한 진전을 나타낸다. 기술이 발전함에 따라, 모델 용량과 온라인 플랫폼에서의 데이터 공유에 대한 체계적인 개선을 통해 챗MOF의 성능을 더욱 최적화할 수 있으며, 이는 금속 유기 골격체 연구 분야에서 놀라운 진전을 촉진할 수 있다.”라고 말했다.
생명화학공학과 강영훈 박사과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 커뮤니케이션즈(Nature communications)'에 지난 6월 3일 게재됐다. (논문명: ChatMOF: An Artificial Intelligence System for Predicting and Generating Metal-Organic Frameworks Using Large Language Models)
한편 이번 연구는 과학기술정보통신부의 지원으로 국가 소재 연구 데이터 사업단, 그리고 한국연구재단 (NRF) 중견 연구자 지원 사업의 지원을 받아 수행됐다.
2024.06.26
조회수 5856
-
멀티모달 대형언어모델이 GPT-4V를 뛰어넘다
멀티모달 대형 언어모델이란 텍스트뿐만 아니라 이미지 데이터 유형까지 처리할 수 있는 초대형 언어모델을 말한다. 해외 대형 기업의 풍부한 컴퓨팅 자원의 지원으로부터 인간의 뇌에 있는 신경망의 개수와 유사한 수준초대형모델들이 만들어지고 있으나 학계에서는 이런 개발이 쉽지 않았다. KAIST 연구진이 오픈AI의 GPT-4V와 구글의 제미나이-프로(Gemini-Pro)를 뛰어넘는 멀티모달 대형언어모델을 개발하여 화제다.
우리 대학 전기및전자공학부 노용만 교수 연구팀이 오픈AI(OpenAI)의 GPT-4V 등 기업에서 비공개하고 있는 상업 모델인 초대형 언어모델의 시각 성능을 뛰어넘는 공개형 멀티모달 대형 언어모델을 개발해 출시했다고 20일 밝혔다.
노용만 교수 연구팀은 단순히 모델의 크기를 키우거나 고품질의 시각적 지시 조정 데이터셋을 만들지 않고 멀티모달 대형언어모델의 시각 성능을 획기적으로 높인 콜라보(CoLLaVO), 모아이(MoAI) 2가지 기술을 연속적으로 개발했다고 밝혔다.
연구팀이 개발한 첫번째 기술인 ‘콜라보(CoLLaVO)’는 현존하는 공개형 멀티모달 대형언어모델이 비공개형 모델의 성능에 비해 현저하게 낮은 이유를 일차적으로 물체 수준에 대한 이미지 이해 능력이 현저하게 떨어진다는 것을 먼저 검증해 보였다.
해당 능력을 효율적으로 증가시켜 시각-언어 태스크에 대한 성능을 향상 하기 위해 연구팀은 이미지 내의 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 입력으로 직접 넣어주는 새로운 방법‘크레용 프롬프트(Crayon Prompt)’라는 시각적 프롬프트를 새롭게 제안했다.
또한 시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 연구팀은 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습해 서로 간의 정보를 잃지 않게 만드는 획기적인 학습 전략인 ‘듀얼 큐로라(Dual QLoRA)’를 제안했다. 이를 통해, 콜라보(CoLLaVO) 멀티모달 대형언어모델은 이미지 내에서 배경 및 물체를 구분하는 능력이 뛰어나 일차원적인 시각 구분 능력이 크게 향상됐다고 밝혔다.
두 번째 대형언어모델인 ‘모아이(MoAI)’는 인간이 사물을 판단할 때 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 인지과학적인 요소에 영감을 받아서 만들어졌다고 밝혔다.
이는 기존 멀티모달 대형언어모델이 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용하기 때문에, 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면 이해가 부족하다는 점을 지적하며 이런 컴퓨터 비전 모델들의 결과를 받으면 모두 인간이 이해할 수 있는 언어로 변환한 뒤에 멀티모달 대형언어모델에 입력으로 직접 사용했다.
노용만 교수는 “연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐고, 각종 SNS를 통해 세계 연구자에게 알려지고 있으며, 모든 모델을 공개형 대형언어모델로 출시 했기 때문에 이 연구모델이 멀티모달 대형언어모델 발전에 기여할 것이다”이라고 언급했다.
연구팀이 개발한 멀티모달 대형언어모델인 콜라보(CoLLaVO)와 모아이(MoAI)는 KAIST 전기및전자공학부 이병관 박사과정이 제1 저자로 참여하고 박범찬 석박사통합과정, 김채원 박사과정이 공동 저자로 참여했다.
콜라보(CoLLaVO)는 자연어 처리(NLP) 분야 최고의 국제 학회인 ‘Findings of the Association for Computational Linguistics(ACL Findings) 2024’에 5월 16일 자로 학회에 승인받았고, 모아이(MoAI)는 컴퓨터 비전 최고의 국제 학회인 ‘European Conference on Computer Vision(ECCV) 2024’학회 승인 결과를 기다리고 있다고 밝혔다.
한편 이번 연구는 KAIST 미래국방 인공지능 특화연구센터 및 전기및전자공학부의 지원을 받아 수행됐다.
[1] CoLLaVO 데모 GIF 영상
https://github.com/ByungKwanLee/CoLLaVO
[2] MoAI 데모 GIF 영상
https://github.com/ByungKwanLee/MoAI
2024.06.20
조회수 6828