%EC%8B%A0%EA%B2%BD%EB%A7%9D
-
인공지능으로 고성능 양자물성 계산시간 획기적 단축
인공지능과 고성능 과학계산 간의 밀접한 관련성은 최근 2024년도 노벨 물리학상과 화학상이 동시에 수상된 것을 보면 알 수 있다. 우리 연구진이 인공지능을 활용하여 3차원 공간에 분포하는 원자 수준의 화학결합 정보를 예측하여 양자역학적 고성능 컴퓨터 시뮬레이션의 계산 시간을 획기적으로 단축하는데 성공했다.
우리 대학 전기및전자공학부 김용훈 교수팀이 물질의 특성을 도출하기 위해 슈퍼컴퓨터를 활용해 수행되는 원자 수준 양자역학적 계산에 필요한 복잡한 알고리즘을 우회하는 3차원 컴퓨터 비전 인공신경망 기반 계산 방법론을 세계 최초로 개발했다고 30일 밝혔다.
슈퍼컴퓨터를 활용한 양자역학적 밀도범함수론(density functional theory, DFT)* 계산은 빠르면서도 정확하게 양자 물성을 예측할 수 있게 해 첨단 소재 및 약물 설계를 포함한 광범위한 연구·개발 분야에서 표준적인 도구로 자리 잡아 필수 불가결한 역할을 하고 있다.
*밀도범함수론(DFT): 원자 단위에서부터 양자역학적으로 물성을 계산하는 제1원리 계산의 대표적인 이론
그러나 실제 밀도범함수론 계산에서는 3차원적인 전자밀도를 생성한 후 양자역학 방정식을 푸는 복잡한 자기일관장 과정(self-consistent field, SCF)*을 수십에서 수백 번씩 반복해야 해서 그 적용 범위가 수백~수천 개의 원자로 제한되는 한계가 있었다.
*자기일관장(SCF): 상호 연결된 여러 개의 연립 미분 방정식으로 기술해야 하는 복잡한 다체 문제(many-body problem)를 해결하기 위해 널리 사용되는 과학계산법
김용훈 교수 연구팀은 자기일관장 과정을 최근 급속한 발전을 이룬 인공지능 기법으로 회피하는 것이 가능한지 질문했다. 그 결과 3차원 공간에 분포된 화학 결합 정보를 컴퓨터 비전 분야의 신경망 알고리즘을 통해 학습해 계산을 가속화하는 딥SCF(DeepSCF) 모델을 개발했다.
연구진은 밀도범함수론에 따라 전자밀도가 전자들의 양자역학적 정보를 모두 포함하고 있으며 이에 더해 전체 전자밀도와 구성 원자들의 전자밀도의 합 간의 차이인 잔여 전자밀도가 화학결합 정보를 담고 있는 점에 주목하고 기계학습의 목표물로 선정했다.
이후 다양한 화학결합 특성을 포함한 유기 분자들의 데이터 세트를 채택했고 그 안에 포함된 분자들의 원자구조들에 임의의 회전과 변형을 가해 모델의 정확도 및 일반화 성능을 더욱 높였다. 최종적으로 연구팀은 복잡하고 큰 시스템에 대해 딥SCF 방법론의 유효성 및 효율성을 입증했다.
이번 연구를 지도한 김용훈 교수는“3차원 공간에 분포된 양자역학적 화학결합 정보를 인공 신경망에 대응시키는 방법을 찾았다”며 “양자역학적 전자구조 계산이 모든 스케일의 물성 시뮬레이션의 근간이 되므로 인공지능을 통한 물질 계산 가속화의 전반적인 기반 원리를 확립한 것”이라고 연구의 의의를 부여했다.
전기및전자공학부 이룡규 박사과정이 제 1저자로 수행한 이번 연구는 소재 계산 분야의 권위 있는 학술지 '네이쳐 파트너 저널 컴퓨테이셔널 머터리얼즈(Npj Computational Materials)'에 10월 24일 字 온라인판에 게재됐다. (논문명 : Convolutional network learning of self-consistent electron density via grid-projected atomic fingerprints)
한편, 이번 연구는 KAIST 석박사 모험사업, 한국연구재단 중견연구자지원사업 등의 지원을 받아 수행되었다.
2024.10.30 조회수 1219 -
뇌 기반 인공지능의 난제 해결
인간의 두뇌는 외부 세상으로부터 감각 정보를 받아들이기 이전부터 자발적인 무작위 활동을 통해 학습을 시작한다. 우리 연구진이 개발한 기술은 뇌 모방 인공신경망에서 무작위 정보를 사전 학습시켜 실제 데이터를 접했을 때 훨씬 빠르고 정확한 학습을 가능하게 하며, 향후 뇌 기반 인공지능 및 뉴로모픽 컴퓨팅 기술 개발의 돌파구를 열어줄 것으로 기대된다.
우리 대학 뇌인지과학과 백세범 교수 연구팀이 뇌 모방 인공신경망 학습의 오래된 난제였던 가중치 수송 문제(weight transport problem)*를 해결하고, 이를 통해 생물학적 뇌 신경망에서 자원 효율적 학습이 가능한 원리를 설명했다고 23일 밝혔다.
*가중치 수송 문제: 생물학적 뇌를 모방한 인공지능 개발에 가장 큰 장애물이 되는 난제로, 현재 일반적인 인공신경망의 학습에서 생물학적 뇌와 달리 대규모의 메모리와 계산 작업이 필요한 근본적인 이유임.
지난 수십 년간 인공지능의 발전은 올해 노벨 물리학상을 받은 제프리 힌튼(Geoffery Hinton)이 제시한 오류 역전파(error backpropagation) 학습에 기반한다. 그러나 오류 역전파 학습은 생물학적 뇌에서는 가능하지 않다고 생각되어 왔는데, 이는 학습을 위한 오류 신호를 계산하기 위해 개별 뉴런들이 다음 계층의 모든 연결 정보를 알고 있어야 하는 비현실적인 가정이 필요하기 때문이다.
가중치 수송 문제라고 불리는 이 난제는 1986년 힌튼에 의해 오류 역전파 학습이 제안된 이후, DNA 구조의 발견으로 노벨 생리의학상을 받은 프랜시스 크릭(Francis Crick)에 의해 제기됐으며, 이후 자연신경망과 인공신경망 작동 원리가 근본적으로 다를 수밖에 없는 이유로 여겨진다.
인공지능과 신경과학의 경계선에서, 힌튼을 비롯한 연구자들은 가중치 수송 문제를 해결함으로써 뇌의 학습 원리를 구현할 수 있는, 생물학적으로 타당한 모델을 만들고자 하는 시도를 계속해 왔다.
지난 2016년, 영국 옥스퍼드(Oxford) 대학과 딥마인드(DeepMind) 공동 연구진은 가중치 수송을 사용하지 않고도 오류 역전파 학습이 가능하다는 개념을 최초로 제시해 학계의 주목을 받았다. 그러나, 가중치 수송을 사용하지 않는 생물학적으로 타당한 오류 역전파 학습은 학습 속도가 느리고 정확도가 낮은 등 효율성이 떨어져, 현실적인 적용에는 문제가 있었다.
연구팀은 생물학적 뇌가 외부적인 감각 경험을 하기 이전부터 내부의 자발적인 무작위 신경 활동을 통해 이미 학습을 시작한다는 점에 주목했다. 이를 모방해 연구팀은 가중치 수송이 없는 생물학적으로 타당한 신경망에 의미 없는 무작위 정보(random noise)를 사전 학습시켰다.
그 결과, 오류 역전파 학습을 위해 필수적 조건인 신경망의 순방향과 역방향 신경세포 연결 구조의 대칭성이 만들어질 수 있음을 보였다. 즉, 무작위적 사전 학습을 통해 가중치 수송 없이 학습이 가능해진 것이다.
연구팀은 실제 데이터 학습에 앞서 무작위 정보를 학습하는 것이 ‘배우는 방법을 배우는’메타 학습(meta learning)의 성질을 가진다는 것을 밝혔다. 무작위 정보를 사전 학습한 신경망은 실제 데이터를 접했을 때 훨씬 빠르고 정확한 학습을 수행하며, 가중치 수송 없이 높은 학습 효율성을 얻을 수 있음을 보였다.
백세범 교수는 “데이터 학습만이 중요하다는 기존 기계학습의 통념을 깨고, 학습 전부터 적절한 조건을 만드는 뇌신경과학적 원리에 주목하는 새로운 관점을 제공하는 것”이라며 “발달 신경과학으로부터의 단서를 통해 인공신경망 학습의 중요한 문제를 해결함과 동시에, 인공신경망 모델을 통해 뇌의 학습 원리에 대한 통찰을 제공한다는 점에서 중요한 의미를 가진다”고 언급했다.
뇌인지과학과 천정환 석사과정이 제1 저자로, 같은 학과 이상완 교수가 공동 저자로 참여한 이번 연구는 12월 10일부터 15일까지 캐나다 벤쿠버에서 열리는 세계 최고 수준의 인공지능 학회인 제38회 신경정보처리학회(NeurIPS)에서 발표될 예정이다. (논문명: Pretraining with random noise for fast and robust learning without weight transport (가중치 수송 없는 빠르고 안정적인 신경망 학습을 위한 무작위 사전 훈련))
한편 이번 연구는 한국연구재단의 이공분야기초연구사업, 정보통신기획평가원 인재양성사업 및 KAIST 특이점교수 사업의 지원을 받아 수행됐다.
2024.10.23 조회수 1295 -
로봇 등 온디바이스 인공지능 실현 가능
자율주행차, 로봇 등 온디바이스 자율 시스템 환경에서 클라우드의 원격 컴퓨팅 자원 없이 기기 자체에 내장된 인공지능 칩을 활용한 온디바이스 자원만으로 적응형 AI를 실현하는 기술이 개발됐다.
우리 대학 전산학부 박종세 교수 연구팀이 지난 6월 29일부터 7월 3일까지 아르헨티나 부에노스아이레스에서 열린 ‘2024 국제 컴퓨터구조 심포지엄(International Symposium on Computer Architecture, ISCA 2024)’에서 최우수 연구 기록물상(Distinguished Artifact Award)을 수상했다고 1일 밝혔다.
* 논문명: 자율 시스템의 비디오 분석을 위한 연속학습 가속화 기법(DaCapo: Accelerating Continuous Learning in Autonomous Systems for Video Analytics)
국제 컴퓨터 구조 심포지움(ISCA)은 컴퓨터 아키텍처 분야에서 최고 권위를 자랑하는 국제 학회로 올해는 423편의 논문이 제출됐으며 그중 83편 만이 채택됐다. (채택률 19.6%). 최우수 연구 기록물 상은 학회에서 주어지는 특별한 상 중 하나로, 제출 논문 중 연구 기록물의 혁신성, 활용 가능성, 영향력을 고려해 선정된다.
이번 수상 연구는 적응형 AI의 기반 기술인 ‘연속 학습’ 가속을 위한 NPU(신경망처리장치) 구조 및 온디바이스 소프트웨어 시스템을 최초 개발한 점, 향후 온디바이스 AI 시스템 연구의 지속적인 발전을 위해 오픈소스로 공개한 코드, 데이터 등의 완성도 측면에서 높은 평가를 받았다.
연구 결과는 소프트웨어 중심 자동차(SDV; Software-Defined Vehicles), 소프트웨어 중심 로봇(SDR; Software-Defined Robots)으로 대표되는 미래 모빌리티 환경에서 온디바이스 AI 시스템을 구축하는 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
상을 받은 전산학부 박종세 교수는 “이번 연구를 통해 온디바이스 자원만으로 적응형 AI를 실현할 수 있다는 것을 입증하게 되어 매우 기쁘고 이 성과는 학생들의 헌신적인 노력과 구글 및 메타 연구자들과의 긴밀한 협력 덕분이다”라며, “앞으로도 온디바이스 AI를 위한 하드웨어와 소프트웨어 연구를 지속해 나갈 것이다”라고 소감을 전했다.
이번 연구는 우리 대학 전산학부 김윤성, 오창훈, 황진우, 김원웅, 오성룡, 이유빈 학생들과 메타(Meta)의 하딕 샤르마(Hardik Sharma) 박사, 구글 딥마인드(Google Deepmind)의 아미르 야즈단바크시(Amir Yazdanbakhsh) 박사, 전산학부 박종세 교수가 참여했다.
한편 이번 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 대학ICT연구센터(ITRC), 인공지능대학원지원사업, 인공지능반도체대학원지원사업의 지원을 받아 수행됐다.
2024.08.01 조회수 2597 -
대형언어모델로 42% 향상된 추천 기술 연구 개발
최근 소셜 미디어, 전자 상거래 플랫폼 등에서 소비자의 만족도를 높이는 다양한 추천서비스를 제공하고 있다. 그 중에서도 상품의 제목 및 설명과 같은 텍스트를 주입하여 상품 추천을 제공하는 대형언어모델(Large Language Model, LLM) 기반 기술이 각광을 받고 있다. 한국 연구진이 이런 대형언어모델 기반 추천 기술의 기존 한계를 극복하고 빠르고 최상의 추천을 해주는 시스템을 개발하여 화제다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동연구를 통해 협업 필터링(Collaborative filtering) 기반 추천 모델이 학습한 사용자의 선호에 대한 정보를 추출하고 이를 상품의 텍스트와 함께 대형언어모델에 주입해 상품 추천의 높은 정확도를 달성할 수 있는 새로운 대형언어모델 기반 추천시스템 기술을 개발했다고 17일 밝혔다.
이번 연구는 기존 연구에 비해 학습 속도에서 253% 향상, 추론 속도에서 171% 향상, 상품 추천에서 평균 12%의 성능 향상을 이뤄냈다. 특히, 사용자의 소비 이력이 제한된 퓨샷(Few-shot) 상품* 추천에서 평균 20%의 성능 향상, 다중-도메인(Cross-domain) 상품 추천**에서 42%의 성능 향상을 이뤄냈다.
*퓨샷 상품: 사용자의 소비 이력이 풍부하지 않은 상품.
**다중-도메인 상품 추천: 타 도메인에서 학습된 모델을 활용하여 추가학습없이 현재 도메인에서 추천을 수행. 예를 들어, 의류 도메인에 추천 모델을 학습한 뒤, 도서 도메인에서 추천을 수행하는 상황을 일컫는다.
기존 대형언어모델을 활용한 추천 기술들은 사용자가 소비한 상품 이름들을 단순히 텍스트 형태로 나열해 대형언어모델에 주입하는 방식으로 추천을 진행했다. 예를 들어 ‘사용자가 영화 극한직업, 범죄도시1, 범죄도시2를 보았을 때 다음으로 시청할 영화는 무엇인가?’라고 대형언어모델에 질문하는 방식이었다.
이에 반해, 연구팀이 착안한 점은 상품 제목 및 설명과 같은 텍스트뿐 아니라 협업 필터링 지식, 즉, 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보가 정확한 상품 추천에 중요한 역할을 한다는 점이었다. 하지만, 이러한 정보를 단순히 텍스트화하기에는 한계가 존재한다. 이에 따라, 연구팀은 미리 학습된 협업 필터링 기반 추천 모델로부터 사용자의 선호에 대한 정보를 추출하고 이를 대형언어모델이 이해할 수 있도록 변환하는 경량화된 신경망을 도입했다.
연구팀이 개발한 기술의 특징으로는 대형언어모델의 추가적인 학습이 필요하지 않다는 점이다. 기존 연구들은 상품 추천을 목적으로 학습되지 않은 대형언어모델이 상품 추천이 가능하게 하도록 대형언어모델을 파인튜닝(Fine-tuning)* 하는 방법을 사용했다. 하지만, 이는 학습과 추론에 드는 시간을 급격히 증가시키므로 실제 서비스에서 대형언어모델을 추천에 활용하는 것에 큰 걸림돌이 된다. 이에 반해, 연구팀은 대형언어모델의 직접적인 학습 대신 경량화된 신경망의 학습을 통해 대형언어모델이 사용자의 선호를 이해할 수 있도록 했고, 이에 따라 기존 연구보다 빠른 학습 및 추론 속도를 달성했다.
*파인튜닝: 사전 학습된 대규모 언어모델을 특정 작업이나 데이터셋에 맞게 최적화하는 과정.
연구팀을 지도한 박찬영 교수는 “제안한 기술은 대형언어모델을 추천 문제에 해결하려는 기존 연구들이 간과한 사용자-상품 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법으로 이는 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 고도화된 추천 서비스를 등장시킬 수 있을 것이며, 추천 도메인에 국한되지 않고 이미지, 텍스트, 사용자-상품 상호작용 정보를 모두 사용하는 진정한 멀티모달 추천 방법론으로 나아갈 수 있을 것”이라고 말했다.
우리 대학 산업및시스템공학과 김세인 박사과정 학생과 전산학부 강홍석 학사과정(졸) 학생이 공동 제1 저자, 네이버의 김동현 박사, 양민철 박사가 공동 저자, KAIST 산업및시스템공학과의 박찬영 교수가 교신저자로 참여한 이번 연구는 데이터마이닝 최고권위 국제학술대회인 ‘국제 데이터 마이닝 학회 ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)’에서 올 8월 발표할 예정이다. (논문명: Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System).
한편 이번 연구는 네이버 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다. (NRF-2022M3J6A1063021, RS-2024-00335098)
2024.07.17 조회수 2535 -
인공지능으로 배터리 원소, 충방전 상태 인식
국제공동연구진이 인공지능 학습을 통해 배터리의 표면 형상만 보고 각 원소의 함량 그리고 충·방전 횟수에 대한 정보를 높은 정확도로 알아내는 영상인식 기술을 개발하여 화제다.
우리 대학 신소재공학과 홍승범 교수가 한국전자통신연구원(ETRI), 미국 드렉셀대학과 공동연구를 통해 다양한 조성과 각기 다른 충·방전 사이클의 NCM 양극재 주사전자현미경 사진을 합성곱 신경망* 기반 인공지능에 학습시켜 주요 원소 함량과 충·방전 상태를 99.6%의 높은 정확도로 맞추는 방법론을 세계 최초로 개발했다고 2일 밝혔다.
*합성곱 신경망(콘볼루션 신경망, Convolutional Neural Network, CNN): 시각적 영상을 분석하는 데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류이다.
연구팀은 반도체 공정에서는 웨이퍼의 불량 검수를 위해 주사전자현미경(SEM)을 사용하는 반면 배터리 공정에서는 그런 경우가 드물고 연구 현장에서만 입자의 크기 분석을 위해 SEM을 활용하고, 열화된 배터리 소재의 경우 입자가 깨지고 부서지는 형상으로부터 신뢰성을 예측하는 것에 착안했다. 연구팀은 반도체 공정에서와 같이 배터리 공정도 자동화된 SEM으로 양극재 표면을 검수해서 원하는 조성대로 합성이 되었는지 수명은 신뢰성 있게 나올 것인지를 확인해 불량률을 줄일 수 있다면 획기적일 것으로 판단했다.
연구진은 자율주행차에 적용가능한 합성곱 신경망 기반 인공지능에 배터리 소재의 표면 영상을 학습시켜서 양극재의 주 원소 함량과 충·방전 사이클 상태를 예측할 수 있게 했다. 이런 방법론이 첨가제가 들어간 양극재에도 적용가능한 지 확인한 결과 함량은 상당히 정확하게 예측하는 반면 충·방전 상태는 정확도가 낮다는 단점을 알게 됐다. 이에 연구팀은 향후 다양한 공정을 통해서 만든 배터리 소재의 형상을 학습시켜 차세대 배터리의 조성 균일성 검수 및 수명 예측에 활용할 계획이다.
연구를 이끈 홍승범 교수는 “이번 연구는 세계 최초로 마이크론 스케일의 주사전자현미경 사진의 소재 구조 데이터를 통해 주 원소 함량과 충·방전 상태를 빠르고 정확하게 예측할 수 있는 인공지능 기반 방법론을 개발한 데 의의가 있고 이번 연구에서 개발된 현미경 영상 기반 배터리 소재의 함량 및 상태 감별 방법론은 향후 배터리 소재의 성능과 품질을 향상하는 데 중요한 역할을 하게 될 것으로 기대된다”고 전망했다.
한편, 이번 연구는 공동 제1 저자인 신소재공학과 졸업생 오지민 박사와 염지원 박사와 공동저자인 ETRI 김광만 박사와 미국 드렉셀 대학교 아가르(Agar) 교수가 참여하였고, 한국연구재단(2020M3H4A3081880, RS-2023-00247245), KAIST 글로벌특이점 사업의 지원 및 미국 연구진과의 국제공동연구를 통해 수행됐으며, 국제 학술지 ‘엔피제이 컴퓨테이셔날 머티리얼즈(npj computational materials)’에 지난 5월 4일 자 출판됐다. (논문 제목: Composition and state prediction of lithium-ion cathode via convolutional neural network trained on scanning electron microscopy images)
2024.07.02 조회수 2363 -
뉴로모픽 신경망으로 컴퓨팅 난제 해결하다
우리 연구진이 현재 반도체 산업체에서 사용되는 실리콘 소재 및 공정만을 사용해 초소형 진동 신경망을 구축하여 경계선 인식 기능을 구현했으며 난제 중 하나인 그래프 색칠 문제*를 해결했다.
*그래프 색칠 문제: 그래프 이론에서 사용되는 용어로, 그래프의 각 정점에 서로 다른 색을 할당해야 하며, 이러한 색깔 구분 문제는 방송국 주파수가 겹쳐 난시청 지역이 발생하지 않도록 주파수를 할당하는 문제 등과도 유사해 다양하게 응용되고 있음
우리 대학 전기및전자공학부 최양규 교수 연구팀이 실리콘 바이리스터 소자로 생물학적 뉴런의 상호작용을 모방한 뉴로모픽 진동 신경망을 개발했다고 3일 밝혔다.
빅데이터 시대가 도래하면서 인공지능 기술이 예전과 비교할 수 없을 만큼 비약적으로 발전하고 있다. 인간의 뇌 기능을 모사하는 뉴로모픽 컴퓨팅 중 하나인 상호 간 결합된 진동 신경망(oscillatory neural network)은 뉴런의 상호작용을 모방한 인공 신경망이다. 진동 신경망은 기본단위에 해당하는 진동자의 연결 동작을 이용하며 신호의 크기가 아닌 진동을 이용해 연산을 수행하므로 소모 전력 측면에서 이점을 가지고 있다.
연구팀은 실리콘 기반 진동자를 이용해 진동 신경망을 개발했다. 축전기를 이용해 두 개 이상의 실리콘 진동자를 연결하면, 각각의 진동 신호가 상호작용해 시간이 경과하면서 동기화(synchronization) 된다. 연구팀은 진동 신경망으로 영상 처리에 사용되는 경계선 인식(edge detection) 기능을 구현했으며 난제 중 하나인 그래프 색칠 문제(vertex coloring problem)를 해결했다.
또한 이번 연구는 제조 관점에서, 복잡한 회로나 기존 반도체 공정과 호환성이 낮은 소재 및 구조 대신, 현재 반도체 산업체에서 사용되는 실리콘 관련 소재 및 공정만으로 진동 신경망을 구축했기 때문에, 양산에 바로 적용 가능하다는 장점이 있다.
연구를 주도한 윤성윤 박사과정, 서강대학교 한준규 교수는 "개발된 진동 신경망은 복잡한 컴퓨팅 난제를 계산할 수 있는 뉴로모픽 컴퓨팅 하드웨어로, 자원 분배, 신약 개발, 반도체 회로 설계 및 스케줄링 등에 유용하게 사용될 수 있을 것으로 기대된다ˮ고 연구의 의의를 설명했다.
윤성윤 박사과정과 한준규 교수가 공동 제1 저자로 참여한 이번 연구는 나노과학 분야 저명 국제 학술지 ‘나노 레터스(Nano Letters)’에 2024년 3월 24권 9호에 출판되었으며, 추가 표지 논문(Supplementary Cover)으로 선정됐다.
(논문명 : A Nanoscale Bistable Resistor for an Oscillatory Neural Network)
(https://pubs.acs.org/doi/full/10.1021/acs.nanolett.3c04539).
한편 이번 연구는 한국연구재단 차세대지능형반도체기술개발사업 및 국가반도체연구실지원핵심기술개발사업의 지원을 받아 수행됐다.
2024.04.03 조회수 4217 -
설명해주는 인공지능 구현을 위한 초저전력 하드웨어 기술 개발
우리 대학 신소재공학과 김경민 교수 연구팀이 다양한 멤리스터* 소자를 이용한 설명 가능한 인공지능 (XAI) 시스템을 구현하는데 성공했다고 25일 밝혔다.
*멤리스터 (Memristor): 메모리 (Memory)와 저항 (Resistor)의 합성어로, 입력 신호에 따라 소자의 저항 상태가 변하는 소자
최근 인공지능 (AI) 기술의 급속한 발전이 다양한 분야에서 성과를 이루고 있다. 이미지 인식, 음성 인식, 자연어 처리 등에서 AI의 적용 범위가 확대되며 우리의 일상생활에 깊숙이 자리 잡고 있다.
AI는 인간의 뉴런 구조를 모방해 만든 ‘인공신경망’을 기반으로, 적게는 수백만 개에서 많게는 수조 개에 달하는 매개변수를 통해 데이터를 분석하고 의사 결정을 내린다. 그러나 이 많은 매개변수로 인해 AI 모델의 동작 원리를 정확하게 이해하기 어렵고, 이는 통상적으로 블랙박스에 비유되곤 한다. AI가 어떤 기준으로 결정을 내는지 알 수 없다면, AI에 결함이나 오작동이 발생했을 때 이를 해결하기 어렵고, 이로 인해 AI가 적용되는 다양한 산업 분야에서 문제가 발생할 수 있다.
이에 대한 해답으로 제시된 것이 바로 설명 가능한 인공지능 (XAI)이다. XAI는 AI가 어떠한 결정을 내렸을 때, 그 근거가 무엇인지를 사람이 이해할 수 있도록 만드는 기술이다. <그림1> 생성형 AI 등 점점 더 복잡해지는 AI 기술의 등장으로 개발자, 사용자, 규제 기관 모두에게 XAI 시스템의 필요성이 강조되고 있다. 하지만, XAI는 일반적으로 엄청난 양의 데이터 처리를 요구하기 때문에, 이를 보다 효율적으로 동작할 수 있는 하드웨어 개발이 필요한 상황이다.
김경민 교수 연구팀은 교란(Perturbation) 기반 XAI 시스템을 서로 다른 멤리스터 소자를 이용해 하드웨어로 구현하는데 성공하였다. 세 가지 멤리스터 소자는 각각 휘발성 저항변화 특성, 아날로그 비휘발성 저항변화 특성, 아날로그 휘발성 저항변화 특성을 가지며 <그림 2>, 각 소자는 교란 기반 XAI 시스템의 필수적인 기능인 입력 데이터 교란, 벡터곱 연산, 그리고 신호 통합 기능을 수행한다.
연구팀은 개발된 XAI 하드웨어를 평가하기 위해, 흑백 패턴을 인식하는 신경망을 설계하였다. 여기에 개발한 XAI 하드웨어 시스템으로 설계한 신경망이 흑백 패턴을 인식하는 근거를 설명하였다. <그림3> 그 결과 기존 CMOS 기술 기반 시스템 대비 에너지 소비를 24배 감소하여 AI 판단의 이유를 제공하는 것을 확인하였다. <그림4>
KAIST 김경민 교수는 “AI 기술이 일상화되면서 AI 동작의 투명성 및 해석가능성이 중요해지고 있는데, 이번 연구는 다양한 종류의 멤리스터 소자를 이용해 AI 판단에 대한 근거를 제공하는 XAI 하드웨어 시스템을 구현할 수 있었다는 점에 큰 의의가 있다”며 “이 연구는 AI 의사 결정에 도달하는 과정을 이해하기 쉽게 설명을 제공함으로써 AI 시스템의 신뢰성 향상에 기여할 수 있어, 향후 의료, 금융, 법률 등 민감한 정보를 다루는 AI 기반 서비스에 적용될 수 있을 것으로 기대된다”고 밝혔다.
이번 연구는 KAIST 신소재공학과 송한찬 박사과정, 박우준 박사과정 학생이 공동 제1 저자로 참여했으며, 국제 학술지 ‘어드밴스드 머티리얼즈(Advanced Materials, IF: 29.4)’에 03월 20일 字 온라인 게재됐으며, 한국연구재단 중견연구사업, 차세대지능형반도체기술개발사업, PIM인공지능반도체핵심기술개발사업, 나노종합기술원 및 KAIST 도약연구사업의 지원을 받아 수행됐다. (논문명: Memristive Explainable Artificial Intelligence Hardware, 논문링크: https://doi.org/10.1002/adma.202400977)
2024.03.25 조회수 3224 -
음악 본능을 인공지능으로 밝혀내다
음악은 세계 공통어로 불릴만큼 문화적 보편 요소로 알려졌다. 그렇다면 어떻게 다양한 문화권의 환경 차이에도 불구하고, ‘음악적 본능’은 어느 정도 공유될 수 있는 것일까?
우리 대학 물리학과 정하웅 교수 연구팀이 인공신경망 모델을 활용해, 사람 뇌에서 특별한 학습 없이도 음악 본능이 나타날 수 있는 원리를 규명했다고 16일 밝혔다.
기존 학자들은 다양한 문화권에 존재하는 음악의 보편성과 차별성을 규명하고, 어떻게 이런 공통성이 나타날 수 있는지에 대해 이해하고자 시도해 왔다. 2019년 세계적인 과학 저널 ‘사이언스’에 게재된 연구를 통해 민족지학적으로 구분된 모든 문화에서 음악을 만들어 내고, 유사한 형태의 박자와 멜로디가 사용된다는 것이 발견됐다. 또한, 신경과학자들은 우리 뇌의 청각 피질(Auditory cortex)에 음악 정보처리를 담당하는 특정한 영역이 존재한다는 것을 밝혀냈다.
연구팀은 인공신경망을 사용해, 음악에 대한 학습 없이도 자연에 대한 소리 정보 학습을 통해 음악 인지 기능이 자발적으로 형성됨을 보였다. (그림2) 연구팀은 구글에서 제공하는 대규모 소리 데이터(AudioSet)를 활용해, 인공신경망이 이러한 다양한 소리 데이터를 인식하도록 학습했다. 흥미롭게도, 연구팀은 네트워크 모델 내에 음악에 선택적으로 반응하는 뉴런(신경계의 단위)이 발생함을 발견했다. 즉, 사람의 말(speech), 동물 소리, 환경 소리, 기계 소리 등의 다양한 소리에는 거의 반응을 보이지 않으나 기악이나 성악 등 다양한 음악에 대해서는 높은 반응을 보이는 뉴런들이 자발적으로 형성된 것이다.
이 인공신경망 뉴런들은 실제 뇌의 음악정보처리 영역의 뉴런들과 유사한 반응 성질을 보였다. 예를 들어, 인공 뉴런은 음악을 시간적으로 잘게 나누어 재배열한 소리에 대해 감소된 반응을 보였다. 이는 자발적으로 나타난 음악 선택성 뉴런들이 음악의 시간적 구조를 부호화하고 있음을 의미한다. 이러한 성질은 특정 장르의 음악에만 국한된 것이 아니라, 클래식, 팝, 락, 재즈, 전자음악 등 25개에 달하는 다양한 장르 각각에 대해서도 공통적으로 나타났다.
심지어, 네트워크에서 음악 선택성 뉴런의 활동을 억제하게 되면, 다른 자연 소리에 대한 인식 정확도를 크게 떨어뜨릴 수 있음을 보였다. 즉, 음악 정보처리 기능이 다른 자연 소리 정보처리에 도움을 주며, 따라서 ‘음악성’이란 자연 소리를 처리하기 위한 진화적 적응에 의해 형성되는 본능일 수 있다는 설명이다.
연구를 주도한 정하웅 교수는 “이러한 결과는 다양한 문화권에서 음악 정보처리의 공통된 기저를 형성하는데, 자연 소리 정보처리를 위한 진화적 압력이 기여했을 수 있음을 시사한다”며, “사람과 유사한 음악성을 인공적으로 구현하여, 음악 생성 AI, 음악 치료, 음악 인지 연구 등에 원천 모델로 활용될 수 있을 것으로 기대한다”고 연구의 의의를 설명했다. 그러나 “현 연구는 음악 학습에 의한 발달 과정을 고려하고 있지 않으며, 발달 초기의 기초적인 음악 정보처리에 대한 논의임을 주의해야 한다”고 연구의 한계를 덧붙였다.
우리 대학 물리학과 김광수 박사(現 MIT 뇌인지과학과)가 제1 저자로, 김동겸 박사(現 IBS)와 함께 진행한 이번 연구는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’에 출판됐다. (논문명: ‘Spontaneous emergence of rudimentary music detectors in deep neural networks’, 국문 번역: ‘심층신경망에서 음악 인지기능의 자발적 발생’)
한편 이번 연구는 한국연구재단의 지원을 통해 수행됐다.
2024.01.16 조회수 3577 -
인공지능 챗봇 이미지 데이터 훈련 비용 최소화하다
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. GPT와 같은 거대 언어 모델을 훈련하기 위해서는 수백 대의 GPU와 몇 주 이상의 시간이 필요하다고 알려져 있다. 따라서, 심층신경망 훈련 비용을 최소화하는 방법 개발이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 심층신경망 훈련 비용을 최소화할 수 있도록 훈련 데이터의 양을 줄이는 새로운 데이터 선택 기술을 개발했다고 2일 밝혔다.
일반적으로 대용량의 심층 학습용 훈련 데이터는 레이블 오류(예를 들어, 강아지 사진이 `고양이'라고 잘못 표기되어 있음)를 포함한다. 최신 인공지능 방법론인 재(再)레이블링(Re-labeling) 학습법은 훈련 도중 레이블 오류를 스스로 수정하면서 높은 심층신경망 성능을 달성하는데, 레이블 오류를 수정하기 위한 추가적인 과정들로 인해 훈련에 필요한 시간이 더욱 증가한다는 단점이 있다. 한편 막대한 훈련 시간을 줄이려는 방법으로 중복되거나 성능 향상에 도움이 되지 않는 데이터를 제거해 훈련 데이터의 크기를 줄이는 핵심 집합 선별(coreset selection) 방식이 큰 주목을 받고 있다. 그러나 기존 핵심 집합 선별 방식은 훈련 데이터에 레이블 오류가 없다고 가정한 표준 학습법을 위해 개발됐고, 재레이블링 학습법을 위한 핵심 집합 선별 방식에 관한 연구는 부족한 실정이다.
이재길 교수팀이 개발한 기술은 레이블 오류를 스스로 수정하는 최신 재레이블링 학습법을 위해 핵심 집합 선별을 수행하여 심층 학습 훈련 비용을 최소화할 수 있도록 해준다. 따라서, 레이블 오류가 포함된 현실적인 훈련 데이터를 지원하므로 실용성이 매우 높다.
또한 이 교수팀은 특정 데이터의 레이블 오류 수정 정확도가 해당 데이터의 이웃 데이터의 신뢰도와 높은 상관관계가 있음을 발견했다. 즉, 이웃 데이터의 신뢰도가 높으면 레이블 오류 수정 정확도가 커지는 경향이 있다. 이웃 데이터의 신뢰도는 심층신경망의 충분한 훈련 전에도 측정할 수 있으므로, 각 데이터의 레이블 수정 가능 여부를 예측할 수 있게 된다. 연구팀은 이러한 발견을 기반으로 전체 훈련 데이터의 총합 이웃 신뢰도를 최대화하는 데이터 부분 집합을 선별해 레이블 수정 정확도와 일반화 성능을 최대화하는 `재레이블링을 위한 핵심 집합 선별'을 제안했다. 총합 이웃 신뢰도를 최대화하는 부분 집합을 찾는 조합 최적화 문제의 효율적인 해법을 위해 총합 이웃 신뢰도를 가장 증가시키는 데이터를 차례차례 선택하는 탐욕 알고리즘(greedy algorithm)을 도입했다.
연구팀은 이미지 분류 문제에 대해 다양한 실세계의 훈련 데이터를 사용해 방법론을 검증했다. 그 결과, 레이블 오류가 없다는 가정에 따른 표준 학습법에서는 최대 9%, 재레이블링 학습법에서는 최대 21% 최종 예측 정확도가 기존 방법론에 비해 향상되었고, 모든 범위의 데이터 선별 비율에서 일관되게 최고 성능을 달성했다. 또한, 총합 이웃 신뢰도를 최대화한 효율적 탐욕 알고리즘을 통해 기존 방법론에 비해 획기적으로 시간을 줄이고 수백만 장의 이미지를 포함하는 초대용량 훈련 데이터에도 쉽게 확장될 수 있음을 확인했다.
제1 저자인 박동민 박사과정 학생은 "이번 기술은 오류를 포함한 데이터에 대한 최신 인공지능 방법론의 훈련 가속화를 위한 획기적인 방법ˮ 이라면서 "다양한 데이터 상황에서의 강건성이 검증됐기 때문에, 실생활의 기계 학습 문제에 폭넓게 적용될 수 있어 전반적인 심층 학습의 훈련 데이터 준비 비용 절감에 기여할 것ˮ 이라고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 파이토치(PyTorch) 혹은 텐서플로우(TensorFlow)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
우리 대학 데이터사이언스대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 최설아 석사과정, 김도영 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2023'에서 올 12월 발표될 예정이다. (논문명 : Robust Data Pruning under Label Noise via Maximizing Re-labeling Accuracy)
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
2023.11.02 조회수 3779 -
뇌의 선천적 수량 비교 원리 규명
뇌의 선천적 인지 기능들은 학습이나 훈련 없이 신경망의 구조적 특성으로부터 자발적으로 발생할 수 있는 것인가?
우리 대학 뇌인지과학과 백세범 교수 연구팀이 두뇌에서 발견되는 선천적 수량 비교 능력이 자발적으로 형성되는 원리를 설명했다고 7일 밝혔다.
주어진 사물들의 수량을 비교하는 기능은 동물이나 인간의 생존에 필수적인 능력이다. 동물 그룹 간 다툼, 사냥, 먹이 수집 등 많은 상황에서 주어진 변수들의 수량 비율이나 차이에 따라 동물들의 의사결정 및 행동이 달라져야 하기 때문이다. 학습을 거치지 않은 어린 개체들의 행동 관찰로부터 수량 비교 능력은 두뇌의 선천적 기능이라는 가능성이 제기됐지만 이러한 능력이 학습 없이 발생하는 원리에 대한 설명은 아직 제시되지 않았다.
백세범 교수 연구팀은 두뇌 모사 인공신경망 모델을 활용해, 학습이 전혀 이뤄지지 않은 심층신경망 구조에서 시각적 수량 비율 및 차이 정보의 인지 기능이 자발적으로 발생할 수 있음을 증명했다. 또한 두 수량의 비율과 차이라는 서로 다른 종류의 정보를 비교하는 기능이 하나의 공통적인 발생 원리로부터 파생될 수 있다고 설명했다.
우리 대학 바이오및뇌공학과 이현수 박사과정, NYU 신경과학과 최우철 박사가 공동 제1 저자로 참여한 이번 연구는 국제 학술지 ‘셀(Cell)’의 온라인 자매지 ‘셀 리포츠(Cell Reports)’ 7월 29일 자에 게재됐다. (논문명: Comparison of visual quantities in untrained neural networks)
연구팀은 먼저 전혀 학습을 거치지 않은 신경망에서 두 수량의 비율과 차이에 선택적으로 반응하는 개별 신경세포가 자발적으로 발생하는 것을 발견했다. 초기화된 심층신경망에서 다양한 비율 혹은 차이를 가지는 시각적 수량 정보가 주어졌을 때, 이에 선택적으로 반응하는 신경세포들이 다수 발견되며, 이들로부터 측정된 신경 활동은 실제 동물 실험에서 관측된 신경 활동 특성과 매우 유사함을 확인하였다. 또한 연구팀은 이를 이용하여 지금까지 보고되어 온 동물들의 수량 비교 행동 특성을 상당 부분 재현할 수 있음을 확인했다.
이에 더해, 연구팀은 수량 비교 기능 신경세포 회로 구조의 발생 원리를 계산신경과학적 모델을 통해 설명하고 검증했다. 신경망에서 발견된 비율/차이 선택적 신경세포의 특징적 연결구조를 분석해, 특정 값에 대한 선택성이 신경망 하위 계층에서 자발적으로 발생된 단순 증가, 단순 감소 신경 활동의 결합을 통해 형성될 수 있음을 보였다. 또한 이러한 신경 활동이 증가, 감소할 때 관찰되는 비선형성의 타입에 따라 각각 수량 비율 또는 수량 차이를 인지하는 신경세포로 분화될 수 있음을 연구팀은 확인했다.
이러한 결과들을 통해 연구팀은 학습이 전혀 이뤄지지 않은 두뇌에서 비율/차이 인지와 같은 선천적 수량 비교 기능이 발생하는 원리에 대한 근본적인 이해를 제시했다.
백세범 교수는 “이번 연구는 상당한 정도의 학습 과정이 필요할 것이라 여겨지던 두뇌의 수량 인지 및 비교, 연산 기능이 그 어떤 학습도 이뤄지지 않은 초기 두뇌의 구조에서 자발적으로 발생할 수 있음을 보이는 연구”라며, “발생 초기 신경망의 구조적/물리적 특성으로부터 다양한 선천적 고등 인지 기능이 발생할 수 있음을 시사함으로써 뇌신경과학 연구뿐 아니라 새로운 개념의 인공지능 연구에도 의미있는 방향을 제시할 수 있을 것이라 기대한다”고 언급했다.
한편 이번 연구는 한국연구재단의 이공분야기초연구사업 및 원천기술개발사업, KAIST 특이점교수 사업의 지원을 받아 수행됐다.
2023.08.07 조회수 4141 -
‘라이보’ 로봇, 해변을 거침없이 달리다
우리 대학 기계공학과 황보제민 교수 연구팀이 모래와 같이 변형하는 지형에서도 민첩하고 견고하게 보행할 수 있는 사족 로봇 제어기술을 개발했다고 26일 밝혔다.
황보 교수 연구팀은 모래와 같은 입상 물질로 이루어진 지반에서 로봇 보행체가 받는 힘을 모델링하고, 이를 사족 로봇에 시뮬레이션하는 기술을 개발했다. 또한, 사전 정보 없이도 다양한 지반 종류에 스스로 적응해가며 보행하기에 적합한 인공신경망 구조를 도입해 강화학습에 적용했다. 학습된 신경망 제어기는 해변 모래사장에서의 고속 이동과 에어 매트리스 위에서의 회전을 선보이는 등 변화하는 지형에서의 견고성을 입증해 사족 보행 로봇이 적용될 수 있는 영역을 넓힐 것으로 기대된다.
기계공학과 최수영 박사과정이 제1 저자로 참여한 이번 연구는 국제 학술지 `사이언스 로보틱스(Science Robotics)' 1월 8권 74호에 출판됐다. (논문명 : Learning quadrupedal locomotion on deformable terrain)
강화학습은 임의의 상황에서 여러 행동이 초래하는 결과들의 데이터를 수집하고 이를 사용해 임무를 수행하는 기계를 만드는 학습 방법이다. 이때 필요한 데이터의 양이 많아 실제 환경의 물리 현상을 근사하는 시뮬레이션으로 빠르게 데이터를 모으는 방법이 널리 사용되고 있다.
특히 보행 로봇 분야에서 학습 기반 제어기들은 시뮬레이션에서 수집한 데이터를 통해서 학습된 이후 실제 환경에 적용돼 다양한 지형에서 보행 제어를 성공적으로 수행해 온 바 있다.
다만 학습한 시뮬레이션 환경과 실제 마주친 환경이 다른 경우 학습 기반 제어기의 성능은 급격히 감소하기 때문에, 데이터 수집 단계에서 실제와 유사한 환경을 구현하는 것이 중요하다. 따라서, 변형하는 지형을 극복하는 학습 기반 제어기를 만들기 위해서는 시뮬레이터는 유사한 접촉 경험을 제공해야 한다.
연구팀은 기존 연구에서 밝혀진 입상 매체의 추가 질량 효과를 고려하는 지반 반력 모델을 기반으로 보행체의 운동 역학으로부터 접촉에서 발생하는 힘을 예측하는 접촉 모델을 정의했다.
나아가 시간 단계마다 하나 혹은 여러 개의 접촉에서 발생하는 힘을 풀이함으로써 효율적으로 변형하는 지형을 시뮬레이션했다.
연구팀은 또한 로봇의 센서에서 나오는 시계열 데이터를 분석하는 순환 신경망을 사용함으로써 암시적으로 지반 특성을 예측하는 인공신경망 구조를 도입했다.
학습이 완료된 제어기는 연구팀이 직접 제작한 로봇 `라이보'에 탑재돼 로봇의 발이 완전히 모래에 잠기는 해변 모래사장에서 최대 3.03 m/s의 고속 보행을 선보였으며, 추가 작업 없이 풀밭, 육상 트랙, 단단한 땅에 적용됐을 때도 지반 특성에 적응해 안정하게 주행할 수 있었다.
또한, 에어 매트리스에서 1.54 rad/s(초당 약 90°)의 회전을 안정적으로 수행했으며 갑작스럽게 지형이 부드러워지는 환경도 극복하며 빠른 적응력을 입증했다.
연구팀은 지면을 강체로 간주한 제어기와의 비교를 통해 학습 간 적합한 접촉 경험을 제공하는 것의 중요성을 드러냈으며, 제안한 순환 신경망이 지반 성질에 따라 제어기의 보행 방식을 수정한다는 것을 입증했다.
연구팀이 개발한 시뮬레이션과 학습 방법론은 다양한 보행 로봇이 극복할 수 있는 지형의 범위를 넓힘으로써 로봇이 실제적 임무를 수행하는 데에 이바지할 수 있을 것으로 기대된다.
제1 저자인 최수영 박사과정은 "학습 기반 제어기에 실제의 변형하는 지반과 가까운 접촉 경험을 제공하는 것이 변형하는 지형에 적용하는 데 필수적이라는 것을 보였다ˮ 라며 "제시된 제어기는 지형에 대한 사전 정보 없이 기용될 수 있어 다양한 로봇 보행 연구에 접목될 수 있다ˮ 라고 말했다.
한편 이번 연구는 삼성전자 미래기술육성센터의 지원을 받아 수행됐다.
2023.01.26 조회수 6554 -
레이블 없이 훈련 가능한 그래프 신경망 모델 기술 개발
최근 다양한 분야 (소셜 네트워크 분석, 추천시스템 등)에서 그래프 데이터 (그림 1) 의 중요성이 대두되고 있으며, 이에 따라 그래프 신경망(Graph Neural Network) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 소셜 네트워크의 특정 사용자에 `20대'라는 레이블을 부여하는 행위), 이 과정은 일반적으로 수작업으로 진행되므로 노동력과 시간이 소요된다. 따라서 그래프 신경망 모델 훈련 시 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법의 필요성이 대두되고 있다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 데이터의 레이블이 없는 상황에서도 높은 예측 정확도를 달성할 수 있는 새로운 그래프 신경망 모델 훈련 기술을 개발했다고 25일 밝혔다.
정점의 레이블이 없는 상황에서 그래프 신경망 모델의 훈련은 데이터 증강을 통해 생성된 정점들의 공통된 특성을 학습하는 과정으로 볼 수 있다. 하지만 이러한 정점의 공통된 특성을 학습하는 과정에서, 기존 훈련 방법은 표상 공간에서 자신을 제외한 다른 정점들과의 유사도가 작아지도록 훈련을 한다. 하지만 그래프 데이터가 정점들 사이의 관계를 나타내는 데이터 구조라는 점을 고려했을 때, 이런 일차원적인 방법론은 정점 간의 관계를 정확히 반영하지 못하게 된다.
박 교수팀이 개발한 기술은 그래프 신경망 모델에서 정점들 사이의 관계를 보존해 정점의 레이블이 없는 상황에서 모델을 훈련시켜 높은 예측 정확도를 달성할 수 있게 해준다.
KAIST 산업및시스템공학과 이남경 석사과정이 제1 저자, 현동민 박사, 이준석 석사과정 학생이 제2, 제3 저자로 참여한 이번 연구는 최고권위 국제학술대회 `정보지식관리 콘퍼런스(CIKM) 2022'에서 올 10월 발표될 예정이다. (논문명: Relational Self-Supervised Learning on Graphs)
기존 연구에서는 정점의 레이블이 없는 상황에서 정점에 대한 표상을 훈련하기 위해 표상 공간 내에서 자기 자신을 제외한 다른 정점들과의 유사도가 작아지도록 훈련을 한다. 예를 들어서, 소셜 네트워크에 A, B, C 라는 사용자가 존재할 때, A, B와 C가 표상 공간에서 서로 간의 유사도가 모두 작아지도록 모델을 훈련하는 것이다. 이때 박 교수팀이 착안한 점은 그래프 데이터가 정점 간의 관계를 나타내는 데이터이므로 정점 간의 관계를 포착하도록 정점의 표상을 훈련할 필요가 있다는 점이었다.
즉, A, B와 C 서로 간의 유사도가 모두 작아지게 하는 훈련 메커니즘과는 달리, 실제 그래프상에서는 이들이 연관이 있을 수 있다는 점이다. 따라서 A, B와 C 사이의 관계를 긍정/부정의 이진 분류를 통해 표상 공간에서 유사도가 작아지도록 훈련을 하는 것이 아닌, 이들의 관계를 정의해 그 관계를 보존하도록 학습하는 모델을 연구팀은 개발했다(그림 2). 연구팀은 정점 간의 관계를 기반으로 정점의 표상을 훈련함으로써, 기존 연구가 갖는 엄격한 규제들을 완화해 그래프 데이터를 더 유연하게 모델링했다.
연구팀은 이 학습 방법론을 `관계 보존 학습'이라고 명명했으며, 그래프 데이터 분석의 주요 문제(정점 분류, 간선 예측)에 적용했다(그림 3). 그 결과 최신 연구 방법론과 비교했을 때, 정점 분류 문제에서 최대 3% 예측 정확도를 향상했고, 간선 예측 문제에서 6%의 성능 향상, 다중 연결 네트워크 (Multiplex network)의 정점 분류 문제에서 3%의 성능 향상을 보였다.
제1 저자인 이남경 석사과정은 "이번 기술은 데이터의 레이블이 부재한 상황에서도 그래프 신경망을 학습할 수 있는 새로운 방법ˮ 이라면서 "그래프 기반의 데이터뿐만이 아닌 이미지 텍스트 음성 데이터 등에 폭넓게 적용될 수 있어, 심층 학습 전반적인 성능 개선에 기여할 수 있다ˮ고 밝혔다.
연구팀을 지도한 박찬영 교수도 "이번 기술은 그래프 데이터상에 레이블이 부재한 상황에서 표상 학습 모델을 훈련하는 기존 모델들의 단점들을 `관계 보존`이라는 개념을 통해 보완해 새로운 학습 패러다임을 제시하여 학계에 큰 파급효과를 낼 수 있다ˮ라고 말했다.
한편, 이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 사람중심인공지능핵심원천기술개발 과제로 개발한 연구성과 결과물(No. 2022-0-00157, 강건하고 공정하며 확장 가능한 데이터 중심의 연속 학습)이다.
2022.10.25 조회수 5970