AI%EB%8C%80%ED%95%99%EC%9B%90
-
화합물 생성AI 기술로 신약 개발 앞당긴다
신약 개발이나 재료과학과 같은 분야에서는 원하는 화학 특성 조건을 갖춘 물질을 발굴하는 것이 중요한 도전으로 부상하고 있다. 우리 대학 연구팀은 화학반응 예측이나 독성 예측, 그리고 화합물 구조 설계 등 다양한 문제를 동시에 풀면서 기존의 인공지능 기술을 뛰어넘는 성능을 보이는 기술을 개발했다.
김재철AI대학원 예종철 교수 연구팀이 분자 데이터에 다중 모달리티 학습(multi-modal learning) 기술을 도입해, 분자 구조와 그 생화학적 특성을 동시에 생성하고 예측이 가능해 다양한 화학적 과제에 광범위하게 활용가능한 인공지능 기술을 개발했다고 25일 밝혔다.
심층신경망 기술을 통한 인공지능의 발달 이래 이러한 분자와 그 특성값 사이의 관계를 파악하려는 시도는 꾸준히 이루어져 왔다. 최근 비 지도 학습(unsupervised training)을 통한 사전학습 기법이 떠오르면서 분자 구조 자체로부터 화합물의 성질을 예측하는 인공지능 연구들이 제시되었으나 새로운 화합물의 생성하면서도 기존 화합물의 특성 예측이 동시에 가능한 기술은 개발되지 못했다.
연구팀은 화학 특성값의 집합 자체를, 분자를 표현하는 데이터 형식으로 간주해 분자 구조의 표현식과 함께 둘 사이의 상관관계를 아울러 학습하는 AI학습 모델을 제안했다. 유용한 분자 표현식 학습을 위해 컴퓨터 비전 분야에서 주로 연구된 다중 모달리티 학습 기법을 도입해, 두 다른 형식의 데이터를 통합하는 방식으로, 바라는 화합물의 성질을 만족하는 새로운 화합물의 구조를 생성하거나 주어진 화합물의 성질을 예측하는 생성 및 성질 특성이 동시에 가능한 모델을 개발했다.
연구팀이 제안한 모델은 50가지 이상의 동시에 주어지는 특성값 입력을 따르는 분자 구조를 예측하는 등 분자의 구조와 특성 모두의 이해를 요구하는 과제를 해결하는 능력을 보였으며, 이러한 두 데이터 정보 공유를 통해 화학반응 예측 및 독성 예측과 같은 다양한 문제에도 기존의 인공지능 기술을 뛰어넘는 성능을 보이는 것으로 확인됐다.
이 연구는 독성 예측, 후보물질 탐색과 같이 많은 산업계에서 중요하게 다뤄지는 과제를 포함해, 더 광범위하고 풍부한 분자 양식과 고분자, 단백질과 같은 다양한 생화학적 영역에 적용될 수 있을 것으로 기대된다.
예종철 교수는 “새로운 화합물의 생성과 화합물의 특성 예측 기술을 통합하는 화학분야의 새로운 생성 AI기술의 개척을 통해 생성 AI 기술의 저변을 넓힌 것에 자부심을 갖는다”고 말했다.
예종철 교수 연구팀의 장진호 석박통합과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’지난 3월 14일 자 온라인판에 게재됐다. (논문명 : Bidirectional Generation of Structure and Properties Through a Single Molecular Foundation Model)
한편 이번 연구는 한국연구재단의 AI데이터바이오선도기술개발사업으로 지원됐다.
2024.03.25 조회수 4545 -
기존 대비 50배 이상 압축 가능한 뉴크론 개발
희소 행렬에 해당하는 2억 건의 비디오 시청 내역을 10킬로바이트(KB) 크기로 성공적으로 압축할 수 있으며 기존 기술을 이용해 1기가바이트(GB)로 압축한 것보다도 압축으로 인한 정보 손실이 적은 기술이 개발됐다.
우리 대학 김재철AI대학원 신기정 교수 연구팀은 기존 대비 50배 이상 우수한 압축률의 희소 행렬 압축 기술인 뉴크론(NeuKron)을 개발했다고 9일 밝혔다.
희소 행렬이란 높은 비율의 원소가 0인 행렬을 의미하며, 전자상거래 구매 내역, 소셜 네트워크에서의 친구 관계, 문서와 단어 간 포함 관계 등 다양한 종류의 데이터가 희소 행렬 형태로 저장 및 활용된다. 예를 들어, 전자상거래 구매 내역의 경우, 행렬의 각 행이 각 구매자에 해당하고, 각 열이 각 상품에 해당하며, 각 원소는 해당 구매자가 해당 상품을 구매한 수량을 의미한다. 예를 들어, i행 j열 원소는, i번째 구매자가, j번째 상품을 구매한 수량에 해당한다. 각 구매자는 전체 상품 중, 일부만을 구매하기 때문에, 해당 행렬은 원소 대부분이 0인 희소 행렬이다.
실세계 데이터로부터 얻어진 대규모 희소 행렬을 효율적으로 다루기 위해서는, 압축 기술이 필수적이다. 예를 들어, 1억 명의 구매자와 1억 개의 상품으로 구성된 전자상거래 구매 내역의 경우, 행렬은 전체 구매자 수와 전체 상품 수의 곱에 해당하는 1경 개의 원소를 갖는다. 또한, 희소 행렬 압축은 많은 응용문제에 활용되고 있다. 예를 들어, 많은 추천시스템은 희소 행렬을 손실 압축한 뒤, 복원하는 과정을 통해, 각 구매자가 각 상품을 구매하고자 하는 의향을 추론한다. 또한, 이때의 복원 오차를 기반으로 이상 데이터를 탐지하고 교정하기도 하며, 매개 변수 행렬 압축을 통해서 인공지능 모델을 경량화하기도 한다.
신기정 교수팀은 희소 행렬의 압축률을 크게 개선할 수 있는 손실 압축 기술인 뉴크론을 개발했다. 뉴크론은 실세계 데이터에서 흔하게 발견되는 자기 유사성에 착안했는데, 자기 유사성이란 대상의 일부분을 확대해 볼 때, 대상의 전체와 닮은 패턴이 나타나는 성질을 의미한다. 뉴크론은 크게 세 가지 단계로 구성된다. 첫 번째 단계는, 행렬이 자기 유사적인 구조를 가질 수 있도록 행과 열을 재배열하는 것이며, 두 번째 단계는, 재배열된 행렬을 재귀적으로 분해하는 과정을 통해, 행렬의 각 원소를 위치 수열로 인코딩하는 것이다. 마지막 단계는 각 위치 수열을 입력으로 행렬의 원소값을 추론하는 순환신경망을 학습하는 것이다. 이때, 순환신경망은 행렬의 자기 유사성을 기반으로 정확한 추론을 수행한다.
신기정 교수팀의 뉴크론 기술은 희소 행렬뿐 아니라, 희소 텐서의 압축에도 적용할 수 있다. 행렬이 행과 열로 구성된 2차원 데이터라면, 텐서는 행렬을 3차원 이상으로 일반화한 것이다. 예를 들어, 3차원 텐서는 행렬을 수직으로 쌓은 형태이다. 실제로 행렬과 텐서를 포함 10개의 실세계 데이터 세트를 사용해 검증한 결과, 동일 복원 오차 하에서, 뉴크론은 기존 기술 대비 50배 이상 우수한 압축률을 보였다.
우리 대학 김재철AI대학원 권태형 박사과정, 고지훈 석박사통합과정이 공동 제1저자, 전북대학교 정진홍 교수가 공동 저자로 참여한 이번 연구는 올해 5월에 미국 오스틴에서 열리는 미 컴퓨터협회 웹 학술대회(이하 ACM WWW)에서 발표될 예정이다. (논문 제목: NeuKron: Constant-Size Lossy Compression of Sparse Reorderable Matrices and Tensors) 올해 32회를 맞은 ACM WWW는, 웹 분야 최우수 학회로, 전 세계에서 해당 분야 전문가들이 참석해 최신 연구 성과를 공유한다.
신기정 교수는 "다양한 실세계 데이터 그리고 인공지능 모델의 매개 변수가 희소 행렬의 형태로 표현된다ˮ라며, "희소 행렬 압축 기술을 추천시스템, 이상 탐지, 인공지능 모델 경량화 등 다양한 분야에 활용 가능할 것으로 기대한다ˮ라고 설명했다.
한편 이번 연구는 정보통신기획평가원의 지원을 받은 강건하고 공정하며 확장 가능한 데이터 중심의 연속 학습 과제와 한국연구재단의 지원을 받은 부호화된 그래프 마이닝 과제의 성과다.
2023.03.09 조회수 4780 -
인공지능으로 정확한 세포 이미지 분석..세계 AI 생명과학 분야 대회 우승
우리 대학 김재철AI대학원 윤세영 교수 연구팀이 세계 최고 수준의 인공지능(AI) 학회인 `뉴립스(NeurIPS, 신경정보처리시스템학회) 2022'에서 개최된 `세포 인식기술 경진대회'에서 취리히 리서치센터, 베이징대, 칭화대, 미시간대 등 다수의 세계 연구팀을 모두 제치고 1위로 우승을 달성했다고 28일 밝혔다.
뉴립스는 국제머신러닝학회(ICML), 표현학습국제학회(ICLR)와 함께 세계적인 권위의 기계학습 및 인공지능 분야 학회로 꼽힌다. 뛰어난 연구자들이 제출하는 논문들도 승인될 확률이 25%에 불과할 정도로 학회의 심사를 통과하기 어려운 것으로 알려져 있다.
윤세영 교수 연구팀은 이번 학회에서 `세포 인식기술 경진대회(Cell Segmentation Challenge)'에 참가했다. 이기훈(박사과정), 김상묵(박사과정), 김준기(석사과정)의 3명의 연구원으로 구성된 OSILAB 팀은 초고해상도의 현미경 이미지에서 인공지능이 자동으로 세포를 인식하는 MEDIAR(메디아) 기술을 개발해 2위 팀과 큰 성능 격차로 1위를 달성했다.
세포 인식은 생명 및 의료 분야의 시작이 되는 중요한 기반 기술이지만, 현미경의 측정 기술과 세포의 종류 등에 따라 다양한 형태로 관찰될 수 있어 인공지능이 학습하기 어려운 분야로 알려져 있다. 세포 인식기술 경진대회는 이러한 한계를 극복하기 위해 초고해상도의 현미경 이미지에서 제한된 시간 안에 세포를 인식하는 기술을 주제로 개최됐다.
연구팀은 기계학습에서 소수의 학습 데이터를 더 효과적으로 활용해 성능을 높이는 데이터 기반(Data-Centric) 접근법과 인공신경망의 구조를 개선하는 모델 기반(Model-Centric) 접근법을 종합적으로 활용해 MEDIAR(메디아) 기술을 개발했다. 개발된 인공지능 기술을 통해 정확하게 세포를 인식하고 고해상도 이미지를 빠르게 연산함으로써 대회에서 좋은 성과를 얻을 수 있었다. 지도교수인 KAIST 김재철AI대학원 윤세영 교수는 “MEDIAR는 세포 인식기술 경진대회를 통해 개발됐지만 기상 예측이나 자율주행과 같이 이미지 속 다양한 형태의 개체 인식을 통해 정확한 예측이 필요한 많은 분야에 적용할 수 있다”라고 향후 다양한 활용을 기대했다.
팀을 이끌었던 이기훈 박사과정은 "처음 접하는 분야에서도 성과를 낼 수 있었던 것은 평소 기본기를 중요시하는 교수님의 가르침 덕분ˮ이라며 "새로운 문제에 끊임없이 도전하자는 것이 연구팀의 기본 정신ˮ이라고 강조했다. 이어 같은 연구실 김상묵 박사과정은 "연구 과정에서 많은 실패가 있었지만, 세상에 꼭 필요한 기술이라는 생각으로 끝까지 노력했다ˮ라며 "혼자서라면 절대 해내지 못했던 결과인 만큼 팀원들에게 정말 감사하다ˮ라고 수상 소감을 전했다. 같은 연구실 김준기 석사과정은 "팀원들과 이룬 성과가 의료 분야 인공지능이 겪는 현실의 문제를 해결하는 데 도움이 될 수 있기를 바란다”라고 밝혔다.
연구팀은 생명과학 분야 연구의 발전을 돕기 위해 개발된 기술을 전면 오픈소스로 공개한다고 밝혔다. 학습된 인공지능 모델과 인공지능을 구현하기 위한 프로그램의 소스 코드는 개발자 플랫폼인 깃허브 (GitHub)를 통해 이용할 수 있다.
2022.12.28 조회수 7209 -
세계 최고 수준의 딥러닝 의사결정 설명기술 개발
우리 대학 김재철AI대학원 최재식 교수(㈜인이지 대표이사) 연구팀이 인공지능 딥러닝의 의사결정에 큰 영향을 미치는 입력 변수의 기여도를 계산하는 세계 최고 수준의 기술을 개발했다고 23일 밝혔다.
최근 딥러닝 모델은 문서 자동 번역이나 자율 주행 등 실생활에 널리 보급되고 활용되는 추세 및 발전에도 불구하고 비선형적이고 복잡한 모델의 구조와 고차원의 입력 데이터로 인해 정확한 모델 예측의 근거를 제시하기 어렵다. 이처럼 부족한 설명성은 딥러닝이 국방, 의료, 금융과 같이 의사결정에 대한 근거가 필요한 중요한 작업에 대한 적용을 어렵게 한다. 따라서 적용 분야의 확장을 위해 딥러닝의 부족한 설명성은 반드시 해결해야 할 문제다.
최교수 연구팀은 딥러닝 모델이 국소적인 입력 공간에서 보이는 입력 데이터와 예측 사이의 관계를 기반으로, 입력 데이터의 특징 중 모델 예측의 기여도가 높은 특징만을 점진적으로 추출해나가는 알고리즘과 그 과정에서의 입력과 예측 사이의 관계를 종합하는 방법을 고안해 모델의 예측 과정에 기여하는 입력 특징의 정확한 기여도를 계산했다. 해당 기술은 모델 구조에 대한 의존성이 없어 다양한 기존 학습 모델에서도 적용이 가능하며, 딥러닝 예측 모델의 판단 근거를 제공함으로써 신뢰도를 높여 딥러닝 모델의 활용성에도 크게 기여할 것으로 기대된다.
㈜인이지의 전기영 연구원, 우리 대학 김재철AI대학원의 정해동 연구원이 공동 제1 저자로 참여한 이번 연구는 오는 12월 1일, 국제 학술대회 `신경정보처리학회(Neural Information Processing Systems, NeurIPS) 2022'에서 발표될 예정이다.
모델의 예측에 대한 입력 특징의 기여도를 계산하는 문제는 해석이 불가능한 딥러닝 모델의 작동 방식을 설명하는 직관적인 방법 중 하나다. 특히, 이미지 데이터를 다루는 문제에서는 모델의 예측 과정에 많이 기여한 부분을 강조하는 방식으로 시각화해 설명을 제공한다.
딥러닝 예측 모델의 입력 기여도를 정확하게 계산하기 위해서 모델의 경사도를 이용하거나, 입력 섭동(행동을 다스림)을 이용하는 등의 연구가 활발히 진행되고 있다. 그러나 경사도를 이용한 방식의 경우 결과물에 잡음이 많아 신뢰성을 확보하기 어렵고, 입력 섭동을 이용하는 경우 모든 경우의 섭동을 시도해야 하지만 너무 많은 연산을 요구하기 때문에, 근사치를 추정한 결과만을 얻을 수 있다.
연구팀은 이러한 문제 해결을 위해 입력 데이터의 특징 중에서 모델의 예측과 연관성이 적은 특징을 점진적으로 제거해나가는 증류 알고리즘을 개발했다. 증류 알고리즘은 딥러닝 모델이 국소적으로 보이는 입력 데이터와 예측 사이의 관계에 기반해 상대적으로 예측에 기여도가 적은 특징을 선별 및 제거하며, 이러한 과정의 반복을 통해 증류된 입력 데이터에는 기여도가 높은 특징만 남게 된다. 또한, 해당 과정을 통해 얻게 되는 변형된 데이터에 대한 국소적 입력 기여도를 종합해 신뢰도 높은 최종 입력 기여도를 산출한다.
연구팀의 이러한 입력 기여도 측정 기술은 산업공정 최적화 프로젝트에 적용해 딥러닝 모델이 예측 결과를 도출하기 위해서 어떤 입력 특징에 주목하는지 찾을 수 있었다. 또한 딥러닝 모델의 구조에 상관없이 적용할 수 있는 이 기술을 바탕으로 복잡한 공정 내부의 다양한 예측변수 간 상관관계를 정확하게 분석하고 예측함으로써 공정 최적화(에너지 절감, 품질향상, 생산량 증가)의 효과를 도출할 수 있었다.
연구팀은 잘 알려진 이미지 분류 모델인 VGG-16, ResNet-18, Inception-v3 모델에서 개발 기술이 입력 기여도를 계산하는 데에 효과가 있음을 확인했다. 해당 기술은 구글(Google)이 보유하고 텐서플로우 설명가능 인공지능(TensorFlow Explainable AI) 툴 키트에 적용된 것으로 알려진 입력 기여도 측정 기술(Guided Integrated Gradient) 대비 LeRF/MoRF 점수가 각각 최대 0.436/0.020 개선됨을 보였다. 특히, 입력 기여도의 시각화를 비교했을 때, 기존 방식 대비 잡음이 적고, 주요 객체와 잘 정렬됐으며, 선명한 결과를 보였다. 연구팀은 여러 가지 모델 구조에 대해 신뢰도 높은 입력 기여도 계산 성능을 보임으로써, 개발 기술의 유효성과 확장성을 보였다.
연구팀이 개발한 딥러닝 모델의 입력 기여도 측정 기술은 이미지 외에도 다양한 예측 모델에 적용돼 모델의 예측에 대한 신뢰성을 높일 것으로 기대된다.
전기영 연구원은 "딥러닝 모델의 국소 지역에서 계산된 입력 기여도를 기반으로 상대적인 중요도가 낮은 입력을 점진적으로 제거하며, 이러한 과정에서 축적된 입력 기여도를 종합해 더욱 정확한 설명을 제공할 수 있음을 보였다ˮ라며 "딥러닝 모델에 대해 신뢰도 높은 설명을 제공하기 위해서는 입력 데이터를 적절히 변형한 상황에서도 모델 예측과 관련도가 높은 입력 특성에 주목해야 한다ˮ라고 말했다.
이번 연구는 2022년도 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받은 사람 중심 AI강국 실현을 위한 차세대 인공지능 핵심원천기술개발 사용자 맞춤형 플로그앤플레이 방식의 설명가능성 제공, 한국과학기술원 인공지능 대학원 프로그램, 인공지능 공정성 AIDEP 및 국방과학연구소의 지원을 받은 설명 가능 인공지능 프로젝트 및 인이지의 지원으로 수행됐다.
2022.11.23 조회수 7948 -
스스로 진화하는 흉부 엑스선 인공지능 진단기술 개발
우리 대학 김재철AI대학원 예종철 교수 연구팀이 서울대학교 병원, 서울 아산병원, 충남대학교 병원, 영남대학교 병원, 경북대학교 병원과의 공동연구를 통해 결핵, 기흉, 코로나-19 등의 흉부 엑스선 영상을 이용한 폐 질환의 자동 판독 능력을 스스로 향상할 수 있는 자기 진화형 인공지능 기술을 개발했다고 27일 밝혔다.
현재 사용되는 대부분의 의료 인공지능 기법은 지도학습 방식 (Supervised learning)으로서 인공지능 모델을 학습하기 위해서는 전문가에 의한 다량의 라벨이 필수적이나, 실제 임상 현장에서 전문가에 의해 라벨링 된 대규모의 데이터를 지속해서 얻는 것이 비용과 시간이 많이 들어 이러한 문제가 의료 인공지능 발전의 걸림돌이 돼왔다.
이러한 문제를 해결하기 위해, 예종철 교수팀은 병원 현장에서 영상의학과 전문의들이 영상 판독을 학습하는 과정과 유사하게, 자기 학습과 선생-학생 간의 지식전달 기법을 묘사한 지식 증류 기법을 활용한 자기 지도학습 및 자기 훈련 방식(Distillation for self-supervised and self-train learning, 이하 DISTL) 인공지능 알고리즘을 개발했다. 제안하는 인공지능 알고리즘은 적은 수의 라벨데이터만 갖고 초기 모델을 학습시키면 시간이 지남에 따라 축적되는 라벨 없는 데이터 자체만을 가지고 해당 모델이 스스로 성능을 향상해 나갈 수 있는 것을 보였다.
실제 의료 영상 분야에서 전문가들이 판독한 정제된 라벨 획득의 어려움은 영상 양식이나 작업과 관계없이 빈번하게 발생하는 문제점이고, 이러한 영상 전문의의 부족 현상은 저소득 국가들과 개발도상국과 같이 결핵과 같은 다양한 전염성 질환이 많이 발생하는 지역에 많다는 점을 고려할 때, 예 교수팀에서 개발한 인공지능 알고리즘은 해당 지역에서 인공지능 모델을 자기 진화시키는 방식으로 진단 정확도를 향상하는 데 큰 도움을 줄 것으로 기대된다.
예종철 교수는 “지도학습 방식으로 성능을 향상하기 위해서는 전문가 라벨을 지속해서 획득해야 하고, 비 지도학습 방식으로는 성능이 낮다는 문제점을 극복한 DISTL 모델은 영상 전문의들의 인공지능 학습을 위한 레이블 생성 비용과 수고를 줄이면서도 지도학습 성능을 뛰어넘었다는 점에서 의미가 있고, 다양한 영상 양식 및 작업에 활용할 수 있을 것으로 기대된다”라고 말했다.
예종철 교수 연구팀의 박상준 박사과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)'에 7월 4일 자로 게재됐다.
한편 이번 연구는 중견연구자지원사업, 범부처전주기의료기기연구개발사업 및 한국과학기술원 중점연구소 사업등의 지원을 받아 수행됐다.
*논문명: Self-evolving vision transformer for chest X-ray diagnosis through knowledge distillation
논문 링크: https://www.nature.com/articles/s41467-022-31514-x
2022.07.27 조회수 6550 -
새로운 인공지능 형광 현미경 적용, 뇌 신경세포 등 3차원 고화질 영상기술 개발
우리 대학 김재철 AI 대학원 예종철 교수 연구팀이 서울대학교 장성호 교수팀, 포스텍 김기현 교수팀과 공동연구를 통해 형광 현미경의 오랜 문제인 이방성(Anisotropy)을 해결해, 3차원 영상 화질을 획기적으로 끌어올리는 인공지능 기술을 개발했다고 29일 밝혔다.
이방성 문제란 형광 현미경으로 3차원 영상을 획득하는 데 있어 빛의 성질로 인해 영상 공간 방향 간에 적게는 2~3배, 많게는 10배까지도 화질 차이가 발생하는 문제를 뜻한다. 예를 들면 3차원 영상을 보는 각도마다 화질의 차이가 발생하는 것이다.
연구팀은 수학적 기법인 최적 수송이론 기반을 둔 새로운 인공지능 시스템을 개발해 공초점 현미경과 광 시트 현미경에 적용했다. 기존 인공지능 기법들과는 다르게, 인공지능 학습 데이터가 따로 필요하지 않고, 하나의 3차원 영상만으로도 인공지능 학습에 적용할 수 있다는 점에서 획기적이라 볼 수 있으며, 생물학 연구자들에게 생물 표본의 3차원 고화질 영상 획득에 큰 도움을 줄 것으로 기대된다.
예종철 교수는 "3차원 영상 획득에 있어 극복하기 어려웠던 현미경의 물리적 한계를 인공지능 기술을 통해 뛰어넘었다는 점에서 의미가 있고, 비지도 학습 기반으로 훈련이 진행되기 때문에, 다양한 많은 종류의 3차원 영상 촬영 기법에도 확장 적용 가능하며, 또한 인공지능 연구의 새로운 응용을 개척했다는 데 의미가 있다ˮ 고 말했다.
김재철 AI 대학원의 예종철 교수가 주도하고, 박형준 연구원이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)' 6월 8일 字 온라인판에 게재됐다.
*논문명 : Deep learning enables reference-free isotropic super-resolution for volumetric fluorescence microscopy
논문 링크: https://www.nature.com/articles/s41467-022-30949-6
2022.06.29 조회수 7500 -
정송 교수 연구팀, 아시아대학 최초 ACM MobiSys 2021 Best Paper Award 수상
우리 대학 AI대학원과 전기및전자공학부 소속 정송 교수 연구실의 김세연 박사과정생과 이경한 박사졸업생 (현 서울대 전기정보공학부 부교수)이 지난 주 COVID-19으로 인해 온라인으로 개최된 2021년도 ACM MobiSys 학회(https://www.sigmobile.org/mobisys/2021/)에서 Best Paper Award를 수상했다.
ACM MobiSys는 모바일시스템 분야의 최고 학회로서 올해 총 266편의 논문이 제출되어 36개의 논문이 억셉트되었으며 (논문게재율: 21.6%) 이번 정송 교수 연구팀의 Best Paper Award 수상은 19년의 MobiSys 역사상 첫 아시아권 대학의 수상이다. (제1저자 소속 대학 기준)
- 논문명: zTT: Learning-based DVFS with Zero Thermal Throttling for Mobile Devices
(모바일 기기의 열쓰로틀링 방지를 위한 강화 학습 기반의 동적 주파수 할당 기술)
- 논문 저자: 김세연 (KAIST), 빈경민 (서울대), 하상태 (U. of Colorado at Boulder), 이경한 (서울대), 정송 (KAIST)
- 논문 내용:
동적 전압/주파수 할당 기술(Dynamic Voltage and Frequency Scaling, DVFS)은 운영 체제(OS) 단에서 프로세서 성능을 보장하는 동시에 에너지 소모를 줄이기 위해 동적으로 프로세서의 전압과 주파수를 조절하는 기술이다. 하지만 모바일 기기의 동적 주파수 할당 기술은 두 가지 한계점을 가지고 있다. 첫째, OS 레벨에서 수행되기 때문에 어플리케이션의 성능을 보장하지 못한다. 둘째, 모바일 기기의 특성상 빈번하게 변하는 환경을 반영하지 못하여 과열을 일으켜 열쓰로틀링(Thermal Throttling)을 야기시켜 사용자 경험(QoE)를 크게 감소시킬 수 있다. 특히, 모바일 기기에서 발열 문제는 최신 스마트폰과 같은 고성능 기기의 성능을 크게 떨어뜨리는 고질적인 문제로 알려져 있다. 해당 연구에서는 이러한 기존 기술의 한계를 해결하기 위해 모바일 기기의 과열을 예방하고, 사용자 경험을 보장하는 동시에 에너지 소모를 최소화하기 위해 심층 강화 학습(Deep-Reinforcement Learning) 기반의 동적 주파수 할당 기술을 개발했다. 이는 실시간으로 수집되는 상태 정보를 바탕으로 어플리케이션과 모바일 기기의 동작 환경에 적응하여 안정된 성능을 보장하고, 전력 소모를 크게 줄일 수 있는 기술이다. 연구팀은 해당 연구 기술이 운영 체제나 어플리케이션이 보다 최적화된 성능으로 동작하기 위한 하나의 설정 옵션으로 패키징될 수 있을 것이라고 전망하고 있다.
위 상을 수상한 김세연 박사과정생은 논문에 대해 “5G 스마트폰과 같은 모바일 단말에서 과도한 발열로 인해 발생하는 열쓰로틀링에 따른 급격한 성능 저하 문제를 강화학습 기반의 동적 전압/주파수 스케일링을 통해 획기적으로 해결한 연구”라고 설명했다.
정송 교수는 “사용자 체감 성능을 높이면서 열쓰로틀링으로 인한 급격한 성능 저하를 방지하기 위해서는, 적정한 온도를 유지하기 위한 총전력 소모 범위 내에서 프로세서 컴포넌트 (CPU, GPU 등) 간 최적의 전력 분배를 수행하는 것이 관건이지만, 주변 환경 (주변 온도, 쿨링 상황 등)과 사용자 애플리케이션 특성에 따라 허용 가능한 총 전력 소모 범위와 최적의 전력 분배가 실시간으로 변화하기 때문에 전통적인 제어기법으로는 해결하기 매우 어려운 문제였다”고 부연 설명했다.
연구팀의 이러한 결과는 전력소모 문제로 인공지능 기법의 도입이 어려울 것으로 예상되었던 모바일 플랫폼에서 조차 강화학습 기반의 시스템 제어가 성능 개선에 크게 이바지 할 수 있음을 보임으로써, 차세대 운영체제에 AI/ML 기반 제어 기법들을 적극적으로 도입하기 위한 계기를 마련한 것으로 평가받았다.
2021.07.09 조회수 10646 -
딥러닝 생성모델의 오류 수정 기술 개발
우리 대학 AI대학원 최재식 교수(설명가능 인공지능연구센터장) 연구팀이 심층 학습(이하 딥러닝) 생성모델의 오류 수정 기술을 개발했다고 25일 밝혔다.
최근 딥러닝 생성모델(Deep Generative Models)은 이미지, 음성뿐만 아니라 문장 등 새로운 콘텐츠를 생성하는 데 널리 활용되고 있다. 이런 생성모델의 발전에도 불구하고 최근 개발된 생성모델도 여전히 결함이 있는 결과를 만드는 경우가 많아, 국방, 의료, 제조 등 중요한 작업 및 학습에 생성모델을 활용하기는 어려운 점이 있었다.
최 교수 연구팀은 딥러닝 내부를 해석하는 설명가능 인공지능 기법을 활용해, 생성모델 내부에서 이미지 생성과정에서 문제를 일으키는 유닛(뉴런)을 찾아 제거하는 알고리즘을 고안해 생성모델의 오류를 수리했다. 이러한 생성 오류 수리 기술은 신경망 모델의 재학습을 요구하지 않으며 모델 구조에 대한 의존성이 적어, 다양한 적대적 생성 신경망에 폭넓게 응용 및 적용될 수 있을 것으로 기대된다. 또한, 고안된 기술은 딥러닝 생성모델의 신뢰도를 향상해 생성모델이 중요 작업에도 적용될 수 있을 것으로 기대된다.
AI대학원의 알리 투씨(Ali Tousi), 정해동 연구원이 공동 제1 저자로 참여한 이번 연구는 `국제 컴퓨터 비전 및 패턴인식 학술대회 (IEEE Conference on Computer Vision and Pattern Recognition, CVPR)'에서 6월 23일 발표됐다. (논문명: Automatic Correction of Internal Units in Generative Neural Networks, CVPR 2021).
적대적 생성 신경망은 생성기와 구분기의 적대적 관계를 이용한 모델로서, 생성 이미지의 품질이 높고 다양성이 높아, 이미지 생성뿐만 아니라 다양한 분야(예, 시계열 데이터 생성)에서 주목받고 있다.
딥러닝 생성모델의 성능을 향상하기 위해서 적대적 생성기법 및 생성기의 새로운 구조 설계 혹은 학습 전략의 세분화와 같은 연구가 활발히 진행되고 있다. 그러나 최신 적대적 생성 신경망 모델은 여전히 시각적 결함이 포함된 이미지를 생성하고 있으며, 재학습을 통해서 이를 해결하기에는 오류 수리를 보장할 수 없으며, 많은 학습 시간과 비용을 요구하게 된다. 이렇게 규모가 큰 최신 적대적 생성 신경망 모델의 일부 오류를 해결하기 위해 모델 전체를 재학습하는 것은 적합하지 않다.
연구팀은 문제 해결을 위해 생성 오류를 유도하는 딥러닝 내부의 유닛(뉴런)을 찾아 제거하는 알고리즘을 개발했다. 알고리즘은 딥러닝 모델의 시각적 결함의 위치를 파악하고, 딥러닝 모델 내 여러 계층에 존재하는 오류를 유발한 유닛을 찾아서 활성화하지 못하도록 하여 결함이 발생하지 않도록 했다.
연구팀은 설명가능 인공지능 기술을 활용해 시각적 결함이 생성된 이미지의 어느 부분에 분포하는지, 또 딥러닝 내부의 어떤 유닛이 결함의 생성에 관여하는지 찾을 수 있었다. 개발된 기술은 딥러닝 생성모델의 오류를 수리할 수 있고, 생성모델의 구조에 상관없이 적용할 수 있다.
연구팀은 전통적인 구조를 가지는 `진행형 생성모델(Progressive GAN, PGGAN)'에서 개발 기술이 효과적으로 생성 오류를 수리할 수 있음을 확인했다. 수리 성능은 매사추세츠 공과대학(MIT)이 보유한 수리 기술 대비 FID 점수가 10점 정도 감소했으며, 사용자 평가에서 시험 이미지 그룹의 약 50%가 결함이 제거됐고, 약 90%에서 품질이 개선됐다는 결과를 얻었다. 나아가 특이 구조를 가지는 `StyleGAN2'와 `U-net GAN'에서도 생성 오류 수리가 가능함을 보임으로써 개발 기술의 일반성과 확장 가능성을 보였다.
연구팀이 개발한 생성모델의 오류 제거 기술은 다양한 이미지 외에도 다양한 생성모델에 적용돼 모델의 결과물에 대한 신뢰성을 높일 것으로 기대된다.
공동 제1 저자인 알리 투씨와 정해동 연구원은 "딥러닝 생성모델이 생성한 결과물에 있는 시각적 오류를 찾고, 이에 상응하는 활성화를 보이는 생성모델 내부의 유닛을 순차적으로 제거함으로써 생성 오류를 수리할 수 있음을 보였다ˮ라며 이는 "충분히 학습된 모델 내부에 미학습 혹은 잘못 학습된 내부요소가 있음을 보여주는 결과다ˮ라고 말했다.
한편 이번 연구는 2021년도 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받은 혁신성장동력프로젝트 설명가능인공지능 및 한국과학기술원 인공지능 대학원 프로그램과제를 통해서 수행됐다.
2021.06.25 조회수 19013 -
AI대학원 김기응 교수 연구팀, 인공지능 전력망 운영관리 국제대회 1위 달성
우리 대학 AI대학원 김기응 교수 연구팀(홍성훈, 윤든솔 석사과정, 이병준 박사과정)이 인공지능 기반 전력망 운영관리 기술을 겨루는 국제경진대회인 'L2RPN 챌린지(Learning to Run a Power Network Challenge 2020 WCCI)'에서 최종 1위를 차지했다. 이 대회는 기계학습 연구를 촉진하기 위한 각종 경진대회를 주관하는 비영리단체 ChaLearn, 유럽 최대 전력망을 운영관리하는 프랑스 전력공사의 자회사 RTE(Réseau de Transport d'Électricité)社 및 세계 최대 규모의 전력 회사 SGCC(State Grid of China)의 자회사인 GEIRI North America(Global Energy Interconnection Research Institute)에서 공동주최해, 세계 각국의 약 50팀이 약 40일간 (2020.05.20.~06.30) 온라인으로 참여해 성황리에 마감됐다.
단순한 전력망이 스마트 그리드를 넘어서 에너지 클라우드 및 네트워크로 진화하려면 신재생 에너지의 비율이 30% 이상이 돼야 하고, 신재생 에너지 비율이 높아지면 전력망 운영의 복잡도가 매우 증가한다. 실제로 독일의 경우 신재생 에너지 비율이 30%가 넘어가면서 전력사고가 3,000건 이상 증가할 정도로 심각하며, 미국의 ENRON 사태 직전에도 에너지 발전과 수요 사이의 수급 조절에 문제가 생기면서 잦은 정전 사태가 났던 사례도 있다.
전력망 운영에 인공지능 기술 도입은 아직 초기 단계이며, 현재 사용되고 있는 전력망은 관리자의 개입 없이 1시간 이상 운영되기 힘든 실정이다. 이에 프랑스의 RTE(Réseau de Transport d'Électricité) 社는 전력망 운영에 인공지능 기술을 접목하는 경진대회 'L2RPN'을 2019년 처음 개최했다. 2019년 대회는 IEEE-14라는 14개의 변전소를 포함하는 가상의 전력망에서 단순한 운영을 목표로 열렸다. 2020년 대회는 L2RPN 2020 WCCI 챌린지라는 이름으로 특정 국가 수도 규모의 복잡한 전력망을 72시간 동안 관리자의 개입 없이 스스로 안전하고 효율적으로 운영될 수 있는 인공지능 전력망 관리 에이전트를 개발하는 것을 목표로 열렸다. 시간에 따른 공급-수요의 변화, 시설 유지보수 및 재난에 따른 급작스러운 단전 등 다양한 시나리오에 대해 전력망 운영관리 능력의 평가가 이뤄졌다.
김 교수 연구팀은 이번 2020년 대회에서 전력망 구조를 효과적으로 반영할 수 있는 그래프 신경망 모델 기반의 강화학습 에이전트를 개발해 참가했다. 기존의 에이전트들은 소규모의 전력망에서만 적용 가능하다는 한계가 있었지만, 김 교수 연구팀은 국가 수도 규모의 복잡한 전력망에도 적용 가능한 에이전트를 개발했다. 연구팀이 개발한 인공지능 전력망 운영관리 에이전트는 주어진 모든 테스트 시나리오에 대해 안전하고 효율적으로 전력망을 운영해 최종 1위의 성적을 거뒀다. 우승팀에게는 상금으로 미국 실리콘밸리에 있는 GEIRI North America를 방문할 수 있는 여행경비와 학회참가 비용 3,000달러가 주어진다. 연구진은 앞으로도 기술을 고도화해 국가 규모의 전력망과 다양한 신재생 에너지원을 다룰 수 있도록 확장할 계획이다.
한편 이번 연구는 과기정통부 에너지 클라우드 기술개발 사업의 지원으로 설치된 개방형 에너지 클라우드 플랫폼 연구단과제로 수행됐다. (연구단장 KAIST 전산학부 문수복 교수)
※ 대회 결과 사이트 관련 링크: https://l2rpn.chalearn.org/competitions
※ 개방형 에너지 클라우드 플랫폼 연구단 사이트: https://www.oecp.kaist.ac.kr
2020.07.28 조회수 27516