%EC%A0%84%EA%B8%B0%EB%B0%8F%EC%A0%84%EC%9E%90%EA%B3%B5%ED%95%99
-
초박막으로 초고해상도 이미지 즐긴다
한미 공동 연구진이 기존 센서 대비 전력 효율이 높고 크기가 작은 고성능 이미지 센서를 구현할 수 있는 차세대 고해상도 이미지 센서 기술을 개발했다. 특히 세계 시장에서 소니(Sony)社가 주도하고 있는 초고해상도 단파적외선(SWIR) 이미지 센서 기술에 대한 원천 기술을 확보해 향후 시장 진입 가능성이 크다.
우리 대학 전기및전자공학부 김상현 교수팀이 인하대, 미국 예일대와 공동연구를 통해 개발한 초박형 광대역 광다이오드(PD)가 고성능 이미지 센서 기술에 새로운 전환점을 마련했다고 20일 밝혔다.
이번 연구는 광다이오드의 기존 기술에서 나타나는 흡수층 두께와 양자 효율 간의 상충 관계를 획기적으로 개선한 것으로, 특히 1마이크로미터(μm) 이하의 얇은 흡수층에서도 70% 이상의 높은 양자 효율을 달성했다. 이 성과는 기존 기술의 흡수층 두께를 약 70% 줄이는 결과를 가져왔다.
흡수층이 얇아지면 화소 공정이 간단해져 높은 해상도 달성이 가능하고 캐리어 확산이 원활해져 광캐리어 획득에 유리한 장점이 있다. 더불어 원가도 절감이 가능하다. 그러나 일반적으로 흡수층이 얇아지면 장파장의 빛의 흡수는 줄어들게 되는 본질적인 문제가 존재한다.
연구진은 도파 모드 공명(GMR)* 구조를 도입해 400나노미터(nm)에서 1,700 나노미터(nm)에 이르는 넓은 스펙트럼 범위에서 고효율의 광 흡수를 유지할 수 있음을 입증했다. 이 파장 대역은 가시광선 영역뿐만 아니라 단파 적외선(SWIR) 영역까지 포함해 다양한 산업적 응용에서 중요한 역할을 할 것으로 기대된다.
*도파 모드 공명: 전자기학에서 사용하는 개념으로 특정 파동(빛)이 특정 파장에서 공명 (강한 전기/자기장 형성)하는 현상. 해당 조건에서 에너지가 최대화되기 때문에 안테나나 레이더 효율을 높이는데 활용된 바 있음.
단파 적외선 영역에서의 성능 향상은 점점 고해상도화되는 차세대 이미지 센서의 개발에도 중대한 기여를 할 것으로 예상된다. 특히, 도파 모드 공명 구조는 상보적 금속산화물 반도체(CMOS) 기반의 신호 판독 회로(ROIC)와의 하이브리드 집적, 모놀리식 3D 집적을 통해 해상도 및 기타 성능을 더욱 높일 가능성을 가진다.
연구팀은 저전력 소자 및 초고해상도 이미징 기술에 대한 국제 경쟁력을 높여 디지털카메라, 보안 시스템, 의료 및 산업용 이미지 센서 응용 분야부터 자동차 자율 주행, 항공 및 위성 관측 등 미래형 초고해상도 이미지 센서의 실현 가능성을 크게 높였다.
연구 책임자인 김상현 교수는 "이번 연구를 통해 초박막 흡수층에서도 기존 기술보다 훨씬 높은 성능을 구현할 수 있음을 입증했다”며, "특히 세계 시장에서 소니(Sony)社가 주도하고 있는 초고해상도 단파적외선(SWIR) 이미지 센서 기술에 대한 원천 기술을 확보해 향후 시장 진입 가능성을 열었다”고 설명했다.
이번 연구 결과는 인하대학교 금대명 교수(前 KAIST 박사후 연구원), 임진하 박사(現 예일대학교 박사후 연구원)이 공동 제1 저자로 참여해 국제 저명 학술지인 ‘빛, 과학과 응용(Light: Science & Applications, JCR 2.9%, IF=20.6)’에 11월 15일자 발표됐다. (논문제목: Highly-efficient (>70%) and Wide-spectral (400 nm -1700 nm) sub-micron-thick InGaAs photodiodes for future high resolution image sensors)
한편, 해당 연구는 한국연구재단의 지원을 받아 진행됐다.
2024.11.20 조회수 701 -
페로브스카이트 태양전지의 한계를 극복하다
전체 태양 에너지의 약 52%를 활용하지 못하는 문제점을 가진 기존 페로브스카이트 태양전지가 한국 연구진에 의해 근적외선 광 포집 성능을 극대화하면서도 전력 변환 효율을 크게 향상하는 혁신기술로 개발되었다. 이는 차세대 태양전지의 상용화 가능성을 크게 높이며, 글로벌 태양전지 시장에서 중요한 기술적 진전에 기여할 것으로 보인다.
우리 대학 전기및전자공학부 이정용 교수 연구팀과 연세대학교 화학과 김우재 교수 공동 연구팀이 기존 가시광선 영역을 뛰어넘어 근적외선 광 포집을 극대화한 고효율·고안정성 유무기 하이브리드 태양전지 제작 기술을 개발했다고 31일 밝혔다.
연구팀은 가시광선 흡수에 한정된 페로브스카이트 소재를 보완하고, 근적외선까지 흡수 범위를 확장하는 유기 광반도체와의 하이브리드 차세대 소자 구조를 제시하고 고도화했다.
또한, 해당 구조에서 주로 발생하는 전자구조 문제를 밝히고 다이폴 층*을 도입해 이를 획기적으로 해결한 고성능 태양전지 소자를 발표했다.
*다이폴(쌍극자) 층: 소자 내 에너지 준위를 조절해 전하 수송을 원활하게 하고, 계면의 전위차를 형성해 소자 성능을 향상하는 역할을 하는 얇은 물질 층임
기존 납 기반 페로브스카이트 태양전지는 850나노미터(nm) 이하 파장의 가시광선 영역에만 흡수 스펙트럼이 제한돼 전체 태양 에너지의 약 52%를 활용하지 못하는 문제가 있다.
이를 해결하기 위해 연구팀은 유기 벌크 이종접합(BHJ)을 페로브스카이트와 결합한 하이브리드 소자를 설계, 근적외선 영역까지 흡수할 수 있는 태양전지를 구현했다.
특히, 나노미터 이하 다이폴 계면 층을 도입해 페로브스카이트와 유기 벌크 이종접합(BHJ) 간의 에너지 장벽을 완화하고 전하 축적을 억제, 근적외선 기여도를 극대화하고 전류 밀도(JSC)를 4.9 mA/cm²향상하는 데 성공했다.
이번 연구의 핵심 성과는 하이브리드 소자의 전력 변환 효율(PCE)을 기존 20.4%에서 24.0%로 대폭 높인 것이다. 특히, 이번 연구는 기존 연구들과 비교했을 때, 높은 내부 양자 효율(IQE)을 달성하며 근적외선 영역에서 78%에 달하는 성과를 기록했다.
또한, 이 소자는 높은 안정성을 보여, 극한의 습도 조건에서도 800시간 이상의 최대 출력 추적에서 초기 효율의 80% 이상을 유지하는 우수한 결과를 보였다.
이정용 교수는 “이번 연구를 통해 기존 페로브스카이트/유기 하이브리드 태양전지가 직면한 전하 축적 및 에너지 밴드 불일치 문제를 효과적으로 해결하였고 근적외선 광 포집 성능을 극대화하면서도 전력 변환 효율을 크게 향상시켜 기존 페로브스카이트가 가진 기계적-화학적 안정성 문제를 해결하고 광학적 한계를 뛰어넘을 수 있는 새로운 돌파구가 될 것”이라고 말했다.
전기및전자공학부 이민호 박사과정과 김민석 석사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술지 `어드밴스트 머티리얼스(Advanced Materials)' 9월 30일 자 온라인판에 게재됐다. (논문명 : Suppressing Hole Accumulation Through Sub-Nanometer Dipole Interfaces in Hybrid Perovskite/Organic Solar Cells for Boosting Near-Infrared Photon Harvesting).
한편 이번 연구는 한국연구재단의 지원을 받아 수행됐다.
2024.10.31 조회수 1503 -
인공지능으로 고성능 양자물성 계산시간 획기적 단축
인공지능과 고성능 과학계산 간의 밀접한 관련성은 최근 2024년도 노벨 물리학상과 화학상이 동시에 수상된 것을 보면 알 수 있다. 우리 연구진이 인공지능을 활용하여 3차원 공간에 분포하는 원자 수준의 화학결합 정보를 예측하여 양자역학적 고성능 컴퓨터 시뮬레이션의 계산 시간을 획기적으로 단축하는데 성공했다.
우리 대학 전기및전자공학부 김용훈 교수팀이 물질의 특성을 도출하기 위해 슈퍼컴퓨터를 활용해 수행되는 원자 수준 양자역학적 계산에 필요한 복잡한 알고리즘을 우회하는 3차원 컴퓨터 비전 인공신경망 기반 계산 방법론을 세계 최초로 개발했다고 30일 밝혔다.
슈퍼컴퓨터를 활용한 양자역학적 밀도범함수론(density functional theory, DFT)* 계산은 빠르면서도 정확하게 양자 물성을 예측할 수 있게 해 첨단 소재 및 약물 설계를 포함한 광범위한 연구·개발 분야에서 표준적인 도구로 자리 잡아 필수 불가결한 역할을 하고 있다.
*밀도범함수론(DFT): 원자 단위에서부터 양자역학적으로 물성을 계산하는 제1원리 계산의 대표적인 이론
그러나 실제 밀도범함수론 계산에서는 3차원적인 전자밀도를 생성한 후 양자역학 방정식을 푸는 복잡한 자기일관장 과정(self-consistent field, SCF)*을 수십에서 수백 번씩 반복해야 해서 그 적용 범위가 수백~수천 개의 원자로 제한되는 한계가 있었다.
*자기일관장(SCF): 상호 연결된 여러 개의 연립 미분 방정식으로 기술해야 하는 복잡한 다체 문제(many-body problem)를 해결하기 위해 널리 사용되는 과학계산법
김용훈 교수 연구팀은 자기일관장 과정을 최근 급속한 발전을 이룬 인공지능 기법으로 회피하는 것이 가능한지 질문했다. 그 결과 3차원 공간에 분포된 화학 결합 정보를 컴퓨터 비전 분야의 신경망 알고리즘을 통해 학습해 계산을 가속화하는 딥SCF(DeepSCF) 모델을 개발했다.
연구진은 밀도범함수론에 따라 전자밀도가 전자들의 양자역학적 정보를 모두 포함하고 있으며 이에 더해 전체 전자밀도와 구성 원자들의 전자밀도의 합 간의 차이인 잔여 전자밀도가 화학결합 정보를 담고 있는 점에 주목하고 기계학습의 목표물로 선정했다.
이후 다양한 화학결합 특성을 포함한 유기 분자들의 데이터 세트를 채택했고 그 안에 포함된 분자들의 원자구조들에 임의의 회전과 변형을 가해 모델의 정확도 및 일반화 성능을 더욱 높였다. 최종적으로 연구팀은 복잡하고 큰 시스템에 대해 딥SCF 방법론의 유효성 및 효율성을 입증했다.
이번 연구를 지도한 김용훈 교수는“3차원 공간에 분포된 양자역학적 화학결합 정보를 인공 신경망에 대응시키는 방법을 찾았다”며 “양자역학적 전자구조 계산이 모든 스케일의 물성 시뮬레이션의 근간이 되므로 인공지능을 통한 물질 계산 가속화의 전반적인 기반 원리를 확립한 것”이라고 연구의 의의를 부여했다.
전기및전자공학부 이룡규 박사과정이 제 1저자로 수행한 이번 연구는 소재 계산 분야의 권위 있는 학술지 '네이쳐 파트너 저널 컴퓨테이셔널 머터리얼즈(Npj Computational Materials)'에 10월 24일 字 온라인판에 게재됐다. (논문명 : Convolutional network learning of self-consistent electron density via grid-projected atomic fingerprints)
한편, 이번 연구는 KAIST 석박사 모험사업, 한국연구재단 중견연구자지원사업 등의 지원을 받아 수행되었다.
2024.10.30 조회수 1257 -
소량의 전류로 전기차 배터리 정밀 진단 가능하다
전기차 배터리를 효율적으로 관리하고 안전하게 사용하기 위해서는 정확한 배터리 상태 진단이 필수적이다. 우리 연구진이 소량의 전류만을 사용해 높은 정밀도로 배터리의 상태를 진단하고 모니터링할 수 있는 기술을 개발하여 배터리의 장기적 안정성과 효율성을 극대화할 것으로 기대된다.
우리 대학 전기및전자공학부 권경하 교수와 이상국 교수 연구팀이 전기차 대용량 배터리의 안정성과 성능 향상에 활용할 수 있는 전기화학 임피던스 분광법(이하 EIS) 기술을 개발했다고 17일 밝혔다.
EIS 기술은 배터리의 임피던스* 크기와 변화를 측정해 배터리 효율과 손실을 평가할 수 있는 강력한 도구로, 배터리의 충전 상태(state-of-charge; SOC) 및 건강 상태(state-of-health; SOH)를 평가하는 중요한 도구로 여겨진다. 또한 배터리의 열적 특성과 화학적/물리적 변화, 수명 예측, 고장의 원인을 식별하는 데 활용 가능하다.
* 배터리 임피던스: 배터리 내부에서 전류 흐름에 저항하는 요소로, 이를 통해 배터리 의 성능과 상태를 평가할 수 있는 지표
그러나 기존 EIS 장비는 비용 및 복잡성이 높아 설치, 운영 및 유지 보수가 쉽지 않다. 또한, 감도 및 정밀도 제약으로 수 암페어(A)의 전류 교란을 배터리에 인가하는 과정에서 배터리에 큰 전기적 스트레스가 가해지기 때문에 배터리의 고장이나 화재 위험을 증가시킬 수 있어 활용이 어려웠다.
이에 연구팀은 고용량 전기차 배터리의 상태 진단 및 건강 모니터링을 위한 소전류 EIS 시스템을 개발하고 입증했다. 이 EIS 시스템은 낮은 (10mA) 전류 교란으로, 배터리의 임피던스를 정밀하게 측정할 수 있으며 측정 시 발생하는 열적 영향 및 안전 문제를 최소화한다.
추가로 부피가 크고 비용이 많이 드는 구성요소를 최소화해 차량 내 탑재가 용이한 설계다. 해당 시스템은 전기차 배터리의 여러 운영 조건(다양한 온도 및 배터리 잔존용량을 나타내는 SOC 레벨에서 배터리의 전기화학적 특성을 효과적으로 파악할 수 있음이 입증됐다.
권경하 교수(교신저자)는 "이 시스템은 전기차용 배터리 관리 시스템 (BMS)에 쉽게 통합 가능하며, 기존의 고전류 EIS 방식 대비 비용과 복잡성을 현저히 낮추면서도 높은 측정 정밀도를 입증했다ˮ면서 "전기차 뿐만 아니라 에너지저장시스템(ESS)의 배터리 진단 및 성능 향상에도 기여할 수 있을 것ˮ이라고 말했다.
이번 연구 결과는 국제 저명 학술지 `IEEE Transactions on Industrial Electronics (동 분야 상위 2%; IF 7.5)'에 지난 9월 5일 발표됐다.
(논문명 : Small-Perturbation Electrochemical Impedance Spectroscopy System With High Accuracy for High-Capacity Batteries in Electric Vehicles, 링크: https://ieeexplore.ieee.org/document/10666864)
한편, 이번 연구는 과학기술정보통신부 한국연구재단의 기초연구사업, 산업통상자원부 한국산업기술기획평가원의 차세대지능형반도체기술개발사업 및 정보통신기획평가원의 인공지능반도체대학원사업의 지원을 받아 수행됐다.
2024.10.17 조회수 1618 -
고비용 인프라 없이 AI 학습 가속화 가능
우리 대학 연구진이 고가의 데이터센터급 GPU나 고속 네트워크 없이도 AI 모델을 효율적으로 학습할 수 있는 기술을 개발했다. 이 기술을 통해 자원이 제한된 기업이나 연구자들이 AI 연구를 보다 효과적으로 수행할 수 있을 것으로 기대된다.
우리 대학 전기및전자공학부 한동수 교수 연구팀이 일반 소비자용 GPU를 활용해, 네트워크 대역폭이 제한된 분산 환경에서도 AI 모델 학습을 수십에서 수백 배 가속할 수 있는 기술을 개발했다고 19일 밝혔다.
기존에는 AI 모델을 학습하기 위해 개당 수천만 원에 달하는 고성능 서버용 GPU(엔비디아 H100) 여러 대와 이들을 연결하기 위한 400Gbps급 고속 네트워크를 가진 고가 인프라가 필요했다. 하지만 소수의 거대 IT 기업을 제외한 대부분의 기업과 연구자들은 비용 문제로 이러한 고가의 인프라를 도입하기 어려웠다.
한동수 교수 연구팀은 이러한 문제를 해결하기 위해 '스텔라트레인(StellaTrain)'이라는 분산 학습 프레임워크를 개발했다. 이 기술은 고성능 H100에 비해 10~20배 저렴한 소비자용 GPU를 활용해, 고속의 전용 네트워크 대신 대역폭이 수백에서 수천 배 낮은 일반 인터넷 환경에서도 효율적인 분산 학습을 가능하게 한다.
기존의 저가 GPU를 사용할 경우, 작은 GPU 메모리와 네트워크 속도 제한으로 인해 대규모 AI 모델 학습 시 속도가 수백 배 느려지는 한계가 있었다. 하지만 연구팀이 개발한 스텔라트레인 기술은 CPU와 GPU를 병렬로 활용해 학습 속도를 높이고, 네트워크 속도에 맞춰 데이터를 효율적으로 압축 및 전송하는 알고리즘을 적용해 고속 네트워크 없이도 여러 대의 저가 GPU를 이용해 빠른 학습을 가능하게 했다.
특히, 학습을 작업 단계별로 CPU와 GPU가 나누어 병렬적으로 처리할 수 있는 새로운 파이프라인 기술을 도입해 연산 자원의 효율을 극대화했다. 또한, 원거리 분산 환경에서도 GPU 연산 효율을 높이기 위해, AI 모델별 GPU 활용률을 실시간으로 모니터링해 모델이 학습하는 샘플의 개수(배치 크기)를 동적으로 결정하고, 변화하는 네트워크 대역폭에 맞추어 GPU 간의 데이터 전송을 효율화하는 기술을 개발했다.
연구 결과, 스텔라트레인 기술을 사용하면 기존의 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있는 것으로 나타났다.
한동수 교수는 "이번 연구가 대규모 AI 모델 학습을 누구나 쉽게 접근할 수 있게 하는 데 큰 기여를 할 것"이라고 밝혔다. “앞으로도 저비용 환경에서도 대규모 AI 모델을 학습할 수 있는 기술 개발을 계속할 계획이다”라고 말했다.
이번 연구는 우리 대학 임휘준 박사, 예준철 박사과정 학생, UC 어바인의 산기타 압두 조시(Sangeetha Abdu Jyothi) 교수와 공동으로 진행됐으며, 연구 성과는 지난 8월 호주 시드니에서 열린 ACM SIGCOMM 2024에서 발표됐다.
한편, 한동수 교수 연구팀은 2024년 7월 GPU 메모리 한계를 극복해 소수의 GPU로 거대 언어 모델을 학습하는 새로운 기술도 발표했다. 해당 연구는 최신 거대 언어 모델의 기반이 되는 전문가 혼합형(Mixture of Expert) 모델을 제한된 메모리 환경에서도 효율적인 학습을 가능하게 한다.
이 결과 기존에 32~64개 GPU가 필요한 150억 파라미터 규모의 언어 모델을 단 4개의 GPU만으로도 학습할 수 있게 됐다. 이를 통해 학습의 필요한 최소 GPU 대수를 8배~16배 낮출 수 있게 됐다. 해당 논문은 KAIST 임휘준 박사와 김예찬 연구원이 참여했으며, 오스트리아 빈에서 열린 AI 분야 최고 권위 학회인 ICML에 발표됐다. 이러한 일련의 연구 결과는 자원이 제한된 환경에서도 대규모 AI 모델 학습이 가능하다는 점에서 중요한 의미를 가진다.
해당 연구는 과학기술정보통신부 한국연구재단이 주관하는 중견연구사업 (RS-2024-00340099), 정보통신기획평가원(IITP)이 주관하는 정보통신·방송 기술개발사업 및 표준개발지원사업 (RS-2024-00418784), 차세대통신클라우드리더십구축사업 (RS-2024-00123456), 삼성전자의 지원을 받아 수행됐다.
2024.09.19 조회수 2060 -
3차원 신개념 스트레쳐블 OLED 개발
우리 연구진이 골프공의 표면처럼 반복적으로 파여 있는 구조를 도입해 실제 닿는 유효 면적을 줄임으로써 면과 면 사이의 점착력을 현저히 줄인다는 아이디어로, 잡아당겨도 성능을 유지하는 신개념 스트레처블 디스플레이를 개발해 화제다.
우리 대학 전기및전자공학부 유승협 교수 연구팀이 동아대 문한얼 교수, 한국전자통신연구원(ETRI) 실감소자 연구본부와의 협력을 통해 세계 최고 수준의 높은 초기 발광 면적비와 고신축성을 동시에 갖는 유기발광다이오드(organic light-emitting diode, OLED) 디스플레이를 구현하는 데 성공했다고 10일 밝혔다.
기존의 신축형 디스플레이에서는 성능과 신축성을 동시에 확보하기 위해, 발광하는 부분은 단단한 고립구조(rigid island)에 위치해 신축 시에도 기계적 변형 없이 우수한 성능을 보이도록 하고, 이들을 연결하는 커넥터 부분은 말굽 모양 등의 구부러진 형태로 구성해 신축에 따라 용이하게 변형할 수 있게 한다. 통상적으로 이들 구조는 이차원 평면상에 한정되는데, 이 경우 구부러진 연결 커넥터에 필요한 공간 확보를 위해 전체 면적대비 발광 면적의 비율을 불가피하게 희생해야 하는 한계점이 있다.
공동 연구팀은 2차원 평면에 국한하지 않고 구부림 연결 커넥터가 힌지(경첩)형 회전과 인장을 동시에 활용할 수 있는 3차원 높이 교차 구조를 제안, 잡아당기지 않은 초기 상태에서 85%의 발광 면적비와 40%의 최대 시스템 신축률을 동시에 갖는 OLED 디스플레이 기술을 달성했다.
이와 동등한 수준의 신축형 디스플레이를 2차원에 한정된 구부림 연결 커넥터를 통해 구현할 경우, 약 500% 인장이 가능한 연결 커넥터가 있어야 가능할 정도의 우수한 결과다. 연구팀은 또한, 반복적인 동작과 곡면 변형에서도 안정적으로 성능을 유지하는 결과를 확인했다.
처음 시도되는 개념이다 보니 연구 개발이 처음부터 순조롭지는 않았다. 특히, 초박막 OLED가 신축 변화 시 높이를 변화할 때 극복해야 할 OLED 기판과 신축성 플랫폼 사이의 점착력이 생각보다 커, 팝업돼야 할 초박막 OLED가 설계대로 부양되지 못하고 무질서하게 바닥에 붙는 난관에 부딪혔다.
고민을 거듭하던 유승협 교수와 김수본 박사는, 마치 골프공의 표면처럼 반복적으로 파여 있는 구조를 도입해 실제 닿는 유효 면적을 줄임으로써 면과 면 사이의 점착력을 현저히 줄이는 아이디어를 제시, 실험적으로 구현했고 이를 적용해 설계한 대로 완벽하게 동작하는 신축형 디스플레이를 구현하는 데 성공했다.
유승협 교수는 “높은 발광 면적비 및 우수한 신축률을 동시에 가능하게 하는 신축 유기발광 다이오드 기술의 확보는 신축형 디스플레이 기술의 난제를 해결하는 중요한 열쇠”라고 밝히며, "아이디어 입안에서부터 이의 성공적 구현을 위한 기계적 설계, 산업적 호환성이 큰 소재 및 소자구조의 활용, 반복성이 우수한 안정적 공정 수립에 이르기까지 김수본 박사(개발 당시 박사과정 학생, 24년 2월 박사 졸업)의 체계적이고 집념 어린 연구 수행, 그리고 ETRI와 동아대와의 협력이 큰 역할을 했다”고 말했다.
유승협 교수 연구실의 김수본 박사가 제1 저자로 수행한 이번 연구는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’ 2024년 9월 6일 자 게재됐다.
(논문명: 3D height-alternant island arrays for stretchable OLEDs with high active area ratio and maximum strain, Nature Comm. 15, 7802 (2024). 논문링크: https://www.nature.com/articles/s41467-024-52046-6).
한편 이번 연구는 한국연구재단 선도연구센터 사업(인체부착형 빛 치료 공학연구센터) 및 중견연구자사업, 그리고 한국전자통신연구원 연구운영비지원사업(ICT 소재·부품·장비 자립 및 도전 기술 개발)의 지원을 받아 수행됐다.
2024.09.10 조회수 1658 -
차세대 새로운 패러다임 동영상 인식기술 개발
챗GPT와 같은 거대 언어 모델의 근간이 되는 트랜스포머로 구축된 기존 비디오 모델보다 8배 낮은 연산량과 4배 낮은 메모리 사용량으로도 높은 정확도를 기록했으며, 추론 속도 또한 기존 트랜스포머 기반 모델 대비 4배의 매우 빠른 속도를 달성한 동영상 인식기술이 우리 연구진에 의해 개발됐다.
우리 대학 전기및전자공학부 김창익 교수 연구팀이 초고효율 동영상 인식 모델 ‘비디오맘바(VideoMamba)’를 개발했다고 23일 밝혔다.
비디오맘바는 기존 트랜스포머 기반 모델들이 가지고 있는 높은 계산 복잡성을 해결하기 위해 설계된 새로운 동영상 인식 모델이다. 기존의 트랜스포머 기반 모델들은 셀프-어텐션(self-attention)이라는 메커니즘에 의존해 계산 복잡도가 제곱으로 증가하는 문제를 가지고 있었다.
김창익 교수 연구팀의 비디오맘바는 선택적 상태 공간 모델(Selective State Space Model, Selective SSM)* 메커니즘을 활용해 선형 복잡도**로 효율적인 처리가 가능하다. 이를 통해 비디오맘바는 동영상의 시공간적 정보를 효과적으로 포착해 긴 종속성을 가진 동영상 데이터도 효율적으로 처리할 수 있다.
*선택적 상태 공간 모델(Selective SSM): 입력에 따라 동적으로 매개변수를 조정하여 시퀀스 데이터의 문맥을 더 잘 이해하는 상태 공간 모델
**선형 복잡도:입력 데이터의 크기에 비례하여 계산량이 증가하는 알고리즘 복잡도
김창익 교수 연구팀은 동영상 인식 모델의 효율성을 극대화하기 위해 비디오맘바에 1차원 데이터 처리에 국한된 기존 선택적 상태 공간 메커니즘을 3차원 시공간 데이터 분석이 가능하도록 고도화한 시공간적 전방 및 후방 선택적 상태 공간 모델(spatio-temporal forward and backward SSM)을 도입했다. 이 모델은 순서가 없는 공간 정보와 순차적인 시간 정보를 효과적으로 통합해 인식 성능을 향상한다. 연구팀은 다양한 동영상 인식 벤치마크에서 비디오맘바의 성능을 검증했다.
연구팀이 개발한 비디오맘바는 영상 분석이 필요한 다양한 응용 분야에서 효율적이고 실용적인 솔루션을 제공할 수 있다. 예를 들어, 자율주행에서는 주행 영상을 분석해 도로 상황을 정확하게 파악하고, 보행자와 장애물을 실시간으로 인식해 사고를 예방할 수 있다. 의료 분야에서는 수술 영상을 분석해 환자의 상태를 실시간으로 모니터링하고 긴급 상황 발생 시 신속히 대처할 수 있다. 스포츠 분야에서는 경기 중 선수들의 움직임과 전술을 분석해 전략을 개선하고, 훈련 중 피로도나 부상 가능성을 실시간으로 감지해 예방할 수 있다.
연구를 주도한 김창익 교수는 “비디오맘바의 빠른 처리 속도와 낮은 메모리 사용량, 그리고 뛰어난 성능은 우리 생활에서의 다양한 동영상 활용 분야에 큰 장점을 제공할 것이다”고 연구의 의의를 설명했다.
이번 연구에는 전기및전자공학부 박진영 석박사통합과정, 김희선 박사과정, 고강욱 박사과정이 공동 제1 저자, 김민범 박사과정이 공동 저자, 그리고 전기및전자공학부 김창익 교수가 교신 저자로 참여했다. 연구 결과는 올해 9월 이탈리아 밀라노에서 열리는 컴퓨터 비전 분야 최우수 국제 학회 중 하나인 ‘European Conference on Computer Vision(ECCV) 2024’에서 발표될 예정이다. (논문명: VideoMamba: Spatio-Temporal Selective State Space Model)
한편, 이번 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행됐다. (No. 2020-0-00153, 기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발)
2024.07.23 조회수 1951 -
역대급 진청색 페로브스카이트 LED 구현 성공
태양전지, 광검출기, LED 등 다양한 차세대 광전소자에 적용가능한 물질로 주목을 받는 할라이드(할로젠화물) 페로브스카이트는 ‘Rec. 2020’이라는 디스플레이의 색 좌표 기준을 100% 만족할 수 있는 유일한 물질이다. 하지만, 이렇게 우수한 성능에도 진청색 페로브스카이트 LED의 경우에는 현저히 낮은 효율과 낮은 밝기를 보고하고 있었다. KAIST 연구진이 진청색 페로브스카이트 LED에서 보이는 색상 불안정성 문제를 해결함과 동시에, 높은 밝기를 갖는 기술을 선보여 화제다.
우리 대학 전기및전자공학부 이정용 교수 연구팀이 높은 색순도로 인해 차세대 디스플레이로 주목받는 진청색 페로브스카이트 LED의 구동 전압에 따라 변화하는 색 변화 문제와 낮은 밝기 문제를 획기적으로 해결했다고 10일 밝혔다.
이정용 교수 연구팀은 점차 고색순도를 요구하고 있는 디스플레이 업계의 요구에 따라, 높은 색순도를 갖는 것으로 알려진 페로브스카이트 LED 중 진청색 LED의 고질적인 문제점들을 효과적으로 해결하는 기술을 개발했다.
먼저, 서로 다른 종류의 이온들을 혼합해 만드는 진청색 LED의 경우 구동 전압의 크기에 따라 색이 변화하는 문제점과 상용화에 가장 중요한 지표인 밝기가 낮다는 문제점을 해결해야만 상용화에 조금 더 다가갈 수 있는 상황이었다. 이정용 교수 연구팀은 염화이온 공석 타겟 리간드 전략*을 사용해 이러한 문제점을 획기적으로 해결할 수 있었다. 이를 기반으로 진청색 페로브스카이트 LED의 고질적인 문제점을 해결할 수 있는 인사이트를 제시함으로써 상용화에 한층 더 가까이 갈 수 있을 것으로 기대된다.
*염화이온 공석 타겟 리간드 전략 : 결정구조의 결함(defect)로 여겨지는 1가 양이온 공석(vacancy), 2가 양이온 공석 등 다양한 종류의 공석 중, 염화이온 공석만을 특정하여 이를 효과적으로 제거할 수 있는 sulfonate 리간드 전략을 디자인하여 적용함
연구팀은 색 불안정성을 유발하는 원인인 이온 이동에 의한 상 분리 현상을 일으키는 할라이드 이온 통로*를 표적으로 하여 막을 수 있는 물질을 선택하고 전략적으로 해당 통로를 막음으로써, 이온 이동을 효과적으로 억제했다. 또한, 해당 전략을 적용할 수 있는 물질의 후보군을 선택해, 탄소 사슬의 길이 변화에 따른 성능변화 경향 및 색 안정성 경향도 함께 보여 진청색 페로브스카이트 LED의 문제점을 해결할 수 있는 새로운 관점을 제시했다.
*할라이드 이온 통로: 할라이드 이온들이 페로브스카이트 격자 내부를 이동할 수 있는 통로 역할을 하는 할라이드 공석(vacancy)을 일컬음
또한 연구팀은 해당 연구를 통해, 지금까지 보고된 진청색 페로브스카이트 LED 성능 중에서 가장 높은 수준의 밝기(2700 nit)를 보고했다. 이를 통해, 햇빛이 강하게 내리비치는 야외 조명환경에서 디스플레이가 잘 보이지 않는 야외시인성 문제를 해결할 수 있는 수준의 높은 밝기를 갖는 진청색 페로브스카이트 LED를 제작해 해당 차세대 페로브스카이트 디스플레이의 상용화를 한층 더 앞당길 수 있을 것으로 기대된다.
제1 저자인 이승재 박사과정생은 "서로 다른 할라이드 이온들을 혼합해 만드는 진청색 페로브스카이트 LED의 고질적인 색 불안정성 문제를 효과적으로 해결한 연구ˮ 이며 "동시에 최근 스마트폰에서 요구하는 최대 밝기인 2,000 니트(nit) 이상의 높은 밝기를 갖는 우수한 진청색 페로브스카이트 LED를 제작해, 이미 높은 수준을 보이는 녹색과 적색 LED와의 격차를 한층 더 줄임으로써 RGB 디스플레이에 적용할 수 있는 가능성을 열었다.ˮ 라고 말했다.
전기및전자공학부 이승재 박사과정, 김준호 박사가 제1 저자로 참여한 이번 연구는 국제학술지 ‘사이언스(Science)’의 자매지인 ‘사이언스 어드밴시스(Science Advances)’2024년 5월 온라인판에 정식 출판됐다. (논문명 : Brightening deep-blue perovskite light-emitting diodes: A path to Rec. 2020)
한편 이번 연구는 한국연구재단 (NRF)의 지원을 받아 수행됐다.
2024.07.10 조회수 2190 -
엔비디아를 긴장시킬 고용량·고성능 GPU 개발
최근 대규모 AI 서비스 제공 최전선에 있는 빅테크들은 더 좋은 성능을 사용자들에게 제공하기 위해 경쟁적으로 모델 및 데이터의 크기를 증가시키는 추세이며, 최신 대규모 언어모델은 학습을 위해 수에서 수십 테라바이트(TB, 10^12 바이트)의 메모리를 요구한다. 국내 연구진이 현재 AI 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다.
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU 장치의 메모리 읽기/쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.
최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB, 10^9 바이트)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높이는 문제를 일으킨다.
이에 차세대 연결 기술인 CXL(Compute Express Link)을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는‘CXL-GPU*’구조 기술이 다양한 산업계에서 활발히 검토되고 있다. 하지만 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다. 대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에, GPU에 직접적으로 연결된 메모리 확장 장치로의 메모리 읽기/성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 비로소 실제 서비스에 활용될 수 있다.
*CXL-GPU: CXL을 통해 연결된 메모리 확장 장치들의 메모리 공간을 GPU 메모리 공간에 통합시킴으로써 고용량을 지원한다. 통합된 메모리 공간 관리에 필요한 동작들은 CXL 컨트롤러가 자동으로 처리해주므로, GPU는 기존에 로컬 메모리에 접근하던 방식과 동일한 방식으로 확장된 메모리 공간에 접근할 수 있다. 기존 메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리, CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축 비용을 획기적으로 절감할 수 있다.
우리 연구진은 CXL-GPU 장치의 메모리 읽기/쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발하여 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다. 즉, 메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 하여, GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결할 수 있도록 했다.
또한 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 되어, GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
이번 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)*의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 해당 연구는 오는 7월 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표장에서 결과를 선보인다.
*파네시아는 업계 최초로 CXL 메모리 관리 동작에 소요되는 왕복 지연시간을 두 자리 나노초(nanosecond, 10^9분의 1초) 이하로 줄인 순수 국내기술의 자체 CXL 컨트롤러를 보유하고 있다. 이는 전세계 최신 CXL 컨트롤러등 대비 3배 이상 빠른 속도다. 파네시아는 고속 CXL 컨트롤러를 활용해 여러 개의 메모리 확장 장치를 GPU에 바로 연결함으로써 단일 GPU가 테라바이트 수준의 대규모 메모리 공간을 형성할 수 있도록 했다.
전기및전자공학부 정명수 교수는 “CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것”이라 말했다.
2024.07.08 조회수 2859 -
김성민 교수팀, 모바일 최고 국제학회 최우수논문상 다회 수상 쾌거
우리 대학 전기및전자공학부 김성민 교수 연구팀이 스마트 팩토리에서 사각지대 없이 정밀한 위치를 추적하는 기술을 세계 최초로 개발했다고 5일 밝혔다. 목표물에 무전원 태그를 부착해, 장애물에 가려진 상황에서도 센티미터(cm) 이하의 정확도로 3차원 위치를 추적할 수 있는 기술이다.
해당 연구를 통해 연구팀은 모바일 컴퓨팅 분야 최고 권위 국제 학술대회인 ACM 모비시스(ACM MobiSys)에서 2022 최우수논문상에 이어 2024 최우수논문상을 수상하는 쾌거를 이뤘다. 해당 학회에서 최우수논문상을 다회 수상한 연구팀은 김성민 교수 연구팀과, 미국 미시간대, 그리고 예일대 뿐이다(주 저자 기준).
(논문명: SuperSight: Sub-cm NLOS Localization for mmWave Backscatter)
연구팀이 최초 개발한 무선 태그는, 기존 기술(UWB, Ultra Wide Band) 대비 반사성이 10배 이상 높은 밀리미터파(mmWave)*를 활용, 장애물을 우회하는 반사 신호를 확보해 사각지대 없는 위치추적이 가능하다. 반사의 방향에 따라 고유한 신호를 발생시키는 태그가 각 신호의 전파 경로를 파악하여 목표물의 위치를 추적하는 원리다.
*밀리미터파: 30~300기가헤르츠(GHz)의 주파수를 갖는 전파로 5G/6G 등 차세대 표준에서 도입을 준비 중인 대역이다.
이 기술은 가구, 전자제품 등 다양한 실내 장애물에 막혀 작동 범위가 제한되는 기존 기술의 문제점을 해결하고, 더불어 15배 이상 높은 3차원 위치 정확도(8.3mm)를 갖는다. 즉, 잦은 연결 장애를 겪는 현재에 비해 안정적으로 실내 목표물의 정확한 위치를 추적할 수 있어, 스마트 팩토리 및 증강 현실(AR) 등 광범위한 위치 기반 서비스에 활용될 수 있다.
무선 태그는 스스로 무선 신호를 생성하는 대신, 주변의 신호를 반사하는 방식으로 작동한다. 주변 빛을 반사하는 거울과 같이, 신호 생성에 필요한 전력을 아낄 수 있어 초저전력으로 동작한다. 이에 태양전지 등 무전원으로 동작하거나 코인 전지 하나로 40년 이상 구동할 수 있어, 대량 운용에 적합하다.
김성민 교수는 “태그는 천장 타일이나 컴퓨터 본체 등 주변 사물을 반사체로 이용해 임의의 실내 환경에서 사각지대 없이 작동한다”며 “실내 위치추적의 안정성 문제를 해결함으로써, 포괄적인 위치 기반 서비스의 보급을 기대한다”고 말했다.
한편 이번 연구는 정보통신기획평가원 ITRC 혁신도약형과제와 삼성미래기술육성사업의 지원을 받아 수행됐다.
2024.07.05 조회수 1959 -
차세대 뉴로모픽 컴퓨팅 신뢰성 문제를 풀다
최근 인간의 뇌를 모방해 하드웨어 기반으로 인공지능 연산을 구현하는 뉴로모픽 컴퓨팅 기술이 최근 주목받고 있다. 뉴로모픽 컴퓨팅의 단위 소자로 활용되는 멤리스터(전도성 변화 소자)는 저전력, 고집적, 고효율 등의 장점이 있지만 멤리스터로 대용량 뉴로모픽 컴퓨팅 시스템을 구현하는데 불규칙한 소자 특성으로 인한 신뢰성 문제가 발견되었다. 우리 연구진이 뉴로모픽 컴퓨팅의 상용화를 앞당길 신뢰성 향상 기술을 개발하여 화제다.
우리 대학 전기및전자공학부 최신현 교수 연구팀이 한양대학교 연구진과의 공동 연구를 통해 차세대 메모리 소자의 신뢰성과 성능을 높일 수 있는 이종원자가 이온* 도핑 방법을 개발했다고 21일 밝혔다.
* 이종원자가 이온(Aliovalent ion): 원래 존재하던 원자와 다른 원자가(공유 결합의 척도, valance)를 갖는 이온을 말함
공동연구팀은 기존 차세대 메모리 소자의 가장 큰 문제인 불규칙한 소자 특성 변화 문제를 개선하기 위해, 이종원자가 이온을 도핑하는 방식으로 소자의 균일성과 성능을 향상할 수 있다는 사실을 실험과 원자 수준의 시뮬레이션을 통해 원리를 규명했다.
공동 연구팀은 이러한 불규칙한 소자 신뢰성 문제를 해결하기 위해 이종원자가 할라이드(halide) 이온을 산화물 층 내에 적절히 주입하는 방법이 소자의 신뢰성과 성능을 향상할 수 있음을 보고했다. 연구팀은 이러한 방법으로 소자 동작의 균일성, 동작 속도, 그리고 성능이 증대됨을 실험적으로 확인했다.
연구팀은 또한, 원자 단위 시뮬레이션 분석을 통해 결정질과 비결정질 환경에서 모두 실험적으로 확인한 결과와 일치하는 소자 성능 개선 효과가 나타남을 보고했다. 그 과정에서 도핑된 이종원자가 이온이 근처 산소 빈자리(oxygen vacancy)를 끌어당겨 안정적인 소자 동작을 가능하게 하고, 이온 근처 공간을 넓혀 빠른 소자 동작을 가능하게 하는 원리를 밝혀냈다.
최신현 교수는 "이번에 개발한 이종원자가 이온 도핑 방법은 뉴로모픽 소자의 신뢰성과 성능을 획기적으로 높이는 방법으로서, 차세대 멤리스터 기반 뉴로모픽 컴퓨팅의 상용화에 기여할 수 있고, 밝혀낸 성능 향상 원리를 다양한 반도체 소자들에 응용할 수 있을 것이다ˮ 고 밝혔다.
전기및전자공학부 배종민 석사과정, 한양대학교 권초아 박사후연구원이 공동 제1 저자로 참여한 이번 연구는 국제 학술지 `사이언스 어드밴시스(Science Advances)' 6월호에 출판됐다. (논문명 : Tunable ion energy barrier modulation through aliovalent halide doping for reliable and dynamic memristive neuromorphic systems)
한편 이번 연구는 한국연구재단 신소자원천기술개발사업, 신재료PIM소자사업, 우수신진연구사업, 나노종합기술원 반도체공정기반 나노메디컬 디바이스개발 사업, 그리고 국가슈퍼컴퓨팅센터 혁신지원프로그램의 지원을 받아 수행됐다.
2024.06.21 조회수 3498 -
멀티모달 대형언어모델이 GPT-4V를 뛰어넘다
멀티모달 대형 언어모델이란 텍스트뿐만 아니라 이미지 데이터 유형까지 처리할 수 있는 초대형 언어모델을 말한다. 해외 대형 기업의 풍부한 컴퓨팅 자원의 지원으로부터 인간의 뇌에 있는 신경망의 개수와 유사한 수준초대형모델들이 만들어지고 있으나 학계에서는 이런 개발이 쉽지 않았다. KAIST 연구진이 오픈AI의 GPT-4V와 구글의 제미나이-프로(Gemini-Pro)를 뛰어넘는 멀티모달 대형언어모델을 개발하여 화제다.
우리 대학 전기및전자공학부 노용만 교수 연구팀이 오픈AI(OpenAI)의 GPT-4V 등 기업에서 비공개하고 있는 상업 모델인 초대형 언어모델의 시각 성능을 뛰어넘는 공개형 멀티모달 대형 언어모델을 개발해 출시했다고 20일 밝혔다.
노용만 교수 연구팀은 단순히 모델의 크기를 키우거나 고품질의 시각적 지시 조정 데이터셋을 만들지 않고 멀티모달 대형언어모델의 시각 성능을 획기적으로 높인 콜라보(CoLLaVO), 모아이(MoAI) 2가지 기술을 연속적으로 개발했다고 밝혔다.
연구팀이 개발한 첫번째 기술인 ‘콜라보(CoLLaVO)’는 현존하는 공개형 멀티모달 대형언어모델이 비공개형 모델의 성능에 비해 현저하게 낮은 이유를 일차적으로 물체 수준에 대한 이미지 이해 능력이 현저하게 떨어진다는 것을 먼저 검증해 보였다.
해당 능력을 효율적으로 증가시켜 시각-언어 태스크에 대한 성능을 향상 하기 위해 연구팀은 이미지 내의 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 입력으로 직접 넣어주는 새로운 방법‘크레용 프롬프트(Crayon Prompt)’라는 시각적 프롬프트를 새롭게 제안했다.
또한 시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 연구팀은 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습해 서로 간의 정보를 잃지 않게 만드는 획기적인 학습 전략인 ‘듀얼 큐로라(Dual QLoRA)’를 제안했다. 이를 통해, 콜라보(CoLLaVO) 멀티모달 대형언어모델은 이미지 내에서 배경 및 물체를 구분하는 능력이 뛰어나 일차원적인 시각 구분 능력이 크게 향상됐다고 밝혔다.
두 번째 대형언어모델인 ‘모아이(MoAI)’는 인간이 사물을 판단할 때 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 인지과학적인 요소에 영감을 받아서 만들어졌다고 밝혔다.
이는 기존 멀티모달 대형언어모델이 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용하기 때문에, 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면 이해가 부족하다는 점을 지적하며 이런 컴퓨터 비전 모델들의 결과를 받으면 모두 인간이 이해할 수 있는 언어로 변환한 뒤에 멀티모달 대형언어모델에 입력으로 직접 사용했다.
노용만 교수는 “연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐고, 각종 SNS를 통해 세계 연구자에게 알려지고 있으며, 모든 모델을 공개형 대형언어모델로 출시 했기 때문에 이 연구모델이 멀티모달 대형언어모델 발전에 기여할 것이다”이라고 언급했다.
연구팀이 개발한 멀티모달 대형언어모델인 콜라보(CoLLaVO)와 모아이(MoAI)는 KAIST 전기및전자공학부 이병관 박사과정이 제1 저자로 참여하고 박범찬 석박사통합과정, 김채원 박사과정이 공동 저자로 참여했다.
콜라보(CoLLaVO)는 자연어 처리(NLP) 분야 최고의 국제 학회인 ‘Findings of the Association for Computational Linguistics(ACL Findings) 2024’에 5월 16일 자로 학회에 승인받았고, 모아이(MoAI)는 컴퓨터 비전 최고의 국제 학회인 ‘European Conference on Computer Vision(ECCV) 2024’학회 승인 결과를 기다리고 있다고 밝혔다.
한편 이번 연구는 KAIST 미래국방 인공지능 특화연구센터 및 전기및전자공학부의 지원을 받아 수행됐다.
[1] CoLLaVO 데모 GIF 영상
https://github.com/ByungKwanLee/CoLLaVO
[2] MoAI 데모 GIF 영상
https://github.com/ByungKwanLee/MoAI
2024.06.20 조회수 3854