본문 바로가기
대메뉴 바로가기
KAIST
연구뉴스
유틸열기
홈페이지 통합검색
-
검색
메뉴 열기
%EC%9D%B4%EC%9E%AC%EA%B8%B8
최신순
조회순
인공지능 챗봇 이미지 데이터 훈련 비용 최소화하다
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. GPT와 같은 거대 언어 모델을 훈련하기 위해서는 수백 대의 GPU와 몇 주 이상의 시간이 필요하다고 알려져 있다. 따라서, 심층신경망 훈련 비용을 최소화하는 방법 개발이 요구되고 있다. 우리 대학 전산학부 이재길 교수 연구팀이 심층신경망 훈련 비용을 최소화할 수 있도록 훈련 데이터의 양을 줄이는 새로운 데이터 선택 기술을 개발했다고 2일 밝혔다. 일반적으로 대용량의 심층 학습용 훈련 데이터는 레이블 오류(예를 들어, 강아지 사진이 `고양이'라고 잘못 표기되어 있음)를 포함한다. 최신 인공지능 방법론인 재(再)레이블링(Re-labeling) 학습법은 훈련 도중 레이블 오류를 스스로 수정하면서 높은 심층신경망 성능을 달성하는데, 레이블 오류를 수정하기 위한 추가적인 과정들로 인해 훈련에 필요한 시간이 더욱 증가한다는 단점이 있다. 한편 막대한 훈련 시간을 줄이려는 방법으로 중복되거나 성능 향상에 도움이 되지 않는 데이터를 제거해 훈련 데이터의 크기를 줄이는 핵심 집합 선별(coreset selection) 방식이 큰 주목을 받고 있다. 그러나 기존 핵심 집합 선별 방식은 훈련 데이터에 레이블 오류가 없다고 가정한 표준 학습법을 위해 개발됐고, 재레이블링 학습법을 위한 핵심 집합 선별 방식에 관한 연구는 부족한 실정이다. 이재길 교수팀이 개발한 기술은 레이블 오류를 스스로 수정하는 최신 재레이블링 학습법을 위해 핵심 집합 선별을 수행하여 심층 학습 훈련 비용을 최소화할 수 있도록 해준다. 따라서, 레이블 오류가 포함된 현실적인 훈련 데이터를 지원하므로 실용성이 매우 높다. 또한 이 교수팀은 특정 데이터의 레이블 오류 수정 정확도가 해당 데이터의 이웃 데이터의 신뢰도와 높은 상관관계가 있음을 발견했다. 즉, 이웃 데이터의 신뢰도가 높으면 레이블 오류 수정 정확도가 커지는 경향이 있다. 이웃 데이터의 신뢰도는 심층신경망의 충분한 훈련 전에도 측정할 수 있으므로, 각 데이터의 레이블 수정 가능 여부를 예측할 수 있게 된다. 연구팀은 이러한 발견을 기반으로 전체 훈련 데이터의 총합 이웃 신뢰도를 최대화하는 데이터 부분 집합을 선별해 레이블 수정 정확도와 일반화 성능을 최대화하는 `재레이블링을 위한 핵심 집합 선별'을 제안했다. 총합 이웃 신뢰도를 최대화하는 부분 집합을 찾는 조합 최적화 문제의 효율적인 해법을 위해 총합 이웃 신뢰도를 가장 증가시키는 데이터를 차례차례 선택하는 탐욕 알고리즘(greedy algorithm)을 도입했다. 연구팀은 이미지 분류 문제에 대해 다양한 실세계의 훈련 데이터를 사용해 방법론을 검증했다. 그 결과, 레이블 오류가 없다는 가정에 따른 표준 학습법에서는 최대 9%, 재레이블링 학습법에서는 최대 21% 최종 예측 정확도가 기존 방법론에 비해 향상되었고, 모든 범위의 데이터 선별 비율에서 일관되게 최고 성능을 달성했다. 또한, 총합 이웃 신뢰도를 최대화한 효율적 탐욕 알고리즘을 통해 기존 방법론에 비해 획기적으로 시간을 줄이고 수백만 장의 이미지를 포함하는 초대용량 훈련 데이터에도 쉽게 확장될 수 있음을 확인했다. 제1 저자인 박동민 박사과정 학생은 "이번 기술은 오류를 포함한 데이터에 대한 최신 인공지능 방법론의 훈련 가속화를 위한 획기적인 방법ˮ 이라면서 "다양한 데이터 상황에서의 강건성이 검증됐기 때문에, 실생활의 기계 학습 문제에 폭넓게 적용될 수 있어 전반적인 심층 학습의 훈련 데이터 준비 비용 절감에 기여할 것ˮ 이라고 밝혔다. 연구팀을 지도한 이재길 교수도 "이 기술이 파이토치(PyTorch) 혹은 텐서플로우(TensorFlow)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다. 우리 대학 데이터사이언스대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 최설아 석사과정, 김도영 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2023'에서 올 12월 발표될 예정이다. (논문명 : Robust Data Pruning under Label Noise via Maximizing Re-labeling Accuracy) 한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
2023.11.02
조회수 1956
인공지능 심층 학습(딥러닝) 서비스 구축 비용 최소화 가능한 데이터 정제 기술 개발
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서 인공지능은 심층신경망을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 고양이 사진에 `고양이'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간적 비용이 소요된다. 따라서 훈련 데이터 구축 비용을 최소화하는 방법 개발이 요구되고 있다. 우리 대학 전산학부 이재길 교수 연구팀이 심층 학습 훈련 데이터 구축 비용을 최소화할 수 있는 새로운 데이터 동시 정제 및 선택 기술을 개발했다고 12일 밝혔다. 일반적으로 심층 학습용 훈련 데이터 구축 과정은 수집, 정제, 선택 및 레이블링 단계로 이뤄진다. 수집 단계에서는 웹, 카메라, 센서 등으로부터 대용량의 데이터가 정제되지 않은 채로 수집된다. 따라서 수집된 데이터에는 목표 서비스와 관련이 없어서 주어진 레이블에 해당하지 않는 분포 외(out-of-distribution) 데이터가 포함된다 (예를 들어, 동물 사진을 수집할 때 재규어 `자동차'가 포함됨). 이러한 분포 외 데이터는 데이터 정제 단계에서 정제돼야 한다. 모든 정제된 데이터에 정답지를 만들기 위해서는 막대한 비용이 소모되는데, 이를 최소화하기 위해 심층 학습 성능 향상에 가장 도움이 되는 훈련 데이터를 먼저 선택해 레이블링하는 능동 학습(active learning)이 큰 주목을 받고 있다. 그러나 정제와 레이블링을 별도로 진행하는 것은 데이터 검사 측면에서 중복적인 비용을 초래한다. 또한 아직 정제되지 않고 남아 있는 분포 외 데이터가 레이블링 단계에서 선택된다면 레이블링 노력을 낭비할 수 있다. 이재길 교수팀이 개발한 기술은 훈련 데이터 구축 단계에서 데이터의 정제 및 선택을 동시에 수행해 심층 학습용 훈련 데이터 구축 비용을 최소화할 수 있도록 해준다. 우리 대학 데이터사이언스대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 신유주 박사과정, 이영준 박사과정 학생이 제2, 제4 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2022'에서 올 12월 발표될 예정이다. (논문명 : Meta-Query-Net: Resolving Purity-Informativeness Dilemma in Open-set Active Learning) 데이터의 정제 및 선택을 동시에 고려하기 위해서 구체적으로 가장 분포 외 데이터가 아닐 것 같은 데이터 중에서 가장 심층 학습 성능 향상에 도움이 될 데이터를 선택한다. 즉, 주어진 훈련 데이터 구축 비용 내에서 최고의 효과를 내도록 데이터의 순도(purity) 지표와 정보도(informativeness) 지표의 최적 균형(trade-off)을 찾는다. 순도와 정보도는 일반적으로 서로 상충하므로 최적 균형을 찾는 것이 간단하지 않다. 이 교수팀은 이러한 최적 균형이 정제 전 데이터의 분포 외 데이터 비율과 현재 심층신경망 훈련 정도에 따라 달라진다는 점을 발견했다. 이 교수팀은 이러한 최적 균형을 찾아내기 위해 추가적인 작은 신경망 모델을 도입했다. 연구팀은 추가된 모델을 훈련하기 위해 능동 학습에서 여러 단계에 걸쳐 데이터를 선별하는 과정을 활용했다. 즉, 새롭게 선택돼 레이블링 된 데이터를 순도-정보도 최적 균형을 찾기 위한 훈련 데이터로 활용했고, 레이블이 추가될 때마다 최적 균형을 갱신했다. 이러한 방법은 목표 심층신경망의 성능 향상을 위해 추가적인 상위 레벨의 신경망을 사용하였다는 점에서 메타학습(meta-learning)의 일종이라 볼 수 있다. 연구팀은 이 메타학습 방법론을 `메타 질의 네트워크'라고 이름 붙이고 이미지 분류 문제에 대해 다양한 데이터와 광범위한 분포 외 데이터 비율에 걸쳐 방법론을 검증했다. 그 결과, 기존 최신 방법론과 비교했을 때 최대 20% 향상된 최종 예측 정확도를 향상했고, 모든 범위의 분포 외 데이터 비율에서 일관되게 최고 성능을 보였다. 또한, `메타 질의 네트워크'의 최적 균형 분석을 통해, 분포 외 데이터의 비율이 낮고 현재 심층신경망의 성능이 높을수록 정보도에 높은 가중치를 둬야 함을 연구팀은 밝혀냈다. 제1 저자인 박동민 박사과정 학생은 "이번 기술은 실세계 능동 학습에서의 순도-정보도 딜레마를 발견하고 해결한 획기적인 방법ˮ 이라면서 "다양한 데이터 분포 상황에서의 강건성이 검증됐기 때문에, 실생활의 기계 학습 문제에 폭넓게 적용될 수 있어 전반적인 심층 학습의 훈련 데이터 준비 비용 절감에 기여할 것ˮ 이라고 밝혔다. 연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다. 한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
2022.10.12
조회수 4344
소량의 데이터로 딥러닝 정확도 향상기술 발표
최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 낙타 사진에 `낙타'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다. 우리 대학 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다. 심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어, `낙타'의 주요 특성이 등에 있는 `혹'이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어, 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 `사막'이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다. 이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다. 우리 대학 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 송환준 박사, 김민석 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2021'에서 올 12월 발표될 예정이다. (논문명 : Task-Agnostic Undesirable Feature Deactivation Using Out-of-Distribution Data) 바람직하지 않은 특성을 억제하기 위해서 분포 外(out-of-distribution) 데이터를 활용한다. 예를 들어, 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다. 즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다. 연구팀은 이 정규화 방법론을 `비선호(比選好) 특성 억제'라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과, 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다. 제1 저자인 박동민 박사과정 학생은 "이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법ˮ 이라면서 "분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다ˮ 고 밝혔다. 연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다. 한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다. (끝).
2021.10.27
조회수 7679
코로나19 해외유입 확진자 수 예측 기술 개발
최근 전 세계적으로 코로나바이러스감염증-19(COVID-19) 확진자 수가 2,000만 명을 넘어선 가운데 최근 국내에서도 코로나19 확진자 수가 급증해 2차 대유행 조짐을 보이면서 정부는 8월 23일부터 전국 대상으로 사회적 거리두기 단계를 2단계로 격상해 시행 중이다. 중앙재난안전대책본부(중대본)에 따르면 국내 코로나 누적 확진자 수는 8월 23일 오전 0시 기준으로 총 1만7,399명이다. 이 중 해외유입 감염자 수는 2,716명(8월 22일 오전 0시 기준)으로 전체 확진자의 약 16%를 차지한다. 대륙별로 보면 아시아(중국 외), 미주, 유럽, 아프리카 순이다. 지난 14일 이후 국내 지역 발생 신규확진자 수가 급증하고 있지만 향후 해외유입 확진자 수의 확산추세 또한 결코 장담할 수 없는 상황이다. 이런 가운데 우리 연구진이 해외유입 확진자 수를 예측할 수 있는 관련 기술을 개발했다. 우리 대학 산업및시스템공학과 이재길 교수 연구팀이 코로나19 해외유입 확진자 수를 예측하는 빅데이터‧인공지능(AI) 기술을 개발했다고 19일 밝혔다. 이재길 교수 연구팀이 개발한 이 기술은 해외 각국의 확진자 수와 사망자 수, 해외 각국에서의 코로나19 관련 키워드 검색빈도와 한국으로의 일일 항공편 수, 그리고 해외 각국에서 한국으로의 로밍 고객 입국자 수 등 빅 데이터에 인공지능(AI) 기술을 적용해 향후 2주간의 해외유입 확진자 수를 예측한다. 코로나19 확진자 수가 급증할수록 해외유입에 의한 지역사회 확산의 위험성도 항상 뒤따르기 마련이다. 이에 따라 이재길 교수 연구팀이 개발한 정확한 해외유입 확진자 수 예측기술은 방역 시설 및 격리 시설 확충, 고위험 국가 입국자 관리 정책 등에 폭넓게 응용 및 적용될 수 있을 것으로 기대가 크다. 우리 대학 지식서비스공학대학원에 재학 중인 김민석 박사과정 학생이 제1 저자로, 강준혁, 김도영, 송환준, 민향숙, 남영은, 박동민 학생이 제2~제7 저자로 각각 참여한 이번 연구는 최고권위 국제 학술대회 'ACM KDD 2020'의 'AI for COVID-19' 세션에서 오는 24일 발표된다. (논문명 : Hi-COVIDNet: Deep Learning Approach to Predict Inbound COVID-19 Patients and Case Study in South Korea) 해외유입 확진자 수는 다양한 요인에 의해서 영향을 받는다. 일반적으로 해외 각국에서의 코로나19 위험도와 비례하며, 해외 각국에서 한국으로의 입국자 수와도 비례한다. 그러나 코로나19 위험도와 입국자 수를 실시간으로 알아내기에는 많은 제약이 따르므로 연구진은 쉽게 구할 수 있는 종류의 빅데이터를 기반으로 하는 인공지능(AI) 모델을 구축하는 데 성공했다. 연구진은 기본적으로 해외 각국의 코로나19 위험도를 산출할 때, 보고된 확진자 수와 사망자 수를 활용했다. 그러나 이러한 수치는 진단검사 수에 좌우되기 때문에 코로나19 관련 키워드 검색빈도를 같이 입력 데이터로 활용해 해당 국가의 코로나19 위험도를 실시간으로 산출했다. 이와 함께 실시간 입국자 수는 기밀정보로서 외부에 공개되지 않기 때문에 매일 제공되는 한국에 도착하는 항공편수와 로밍 고객 입국자 수를 통해 이를 유추해냈다. 로밍 고객 입국자 수 데이터는 KT로부터 제공 받았지만 KT 고객 입국자만을 포함한다는 한계를 일일 항공편수를 함께 고려함으로써 이 문제를 해소했다. 이밖에 해외유입 확진자 수 예측을 위해서는 국가 간의 지리적 연관성도 매우 중요하게 고려해야 한다. 어느 특정 국가의 코로나19 발병이 이웃 국가로 더 쉽게 전파되며, 국가 간의 교류도 거리에 따라 영향을 받기 때문이다. 연구팀은 이러한 문제해결을 위해 지리적 연관성을 학습하도록 국가-대륙으로 구성되는 지리적 계층구조에 따라 우선 각 대륙으로부터의 해외유입 확진자 수를 정확히 예측함으로써 궁극적으로 전체 해외유입 확진자 수를 정확히 예측하도록 하는 인공지능(AI) 모델을 설계했다. 연구팀은 이 인공지능 모델을 'Hi-COVIDNet'라고 이름 붙였다. 이후 연구팀은 약 한 달 반에 걸친 단기간의 훈련 데이터만으로 생성된 `Hi-COVIDNet'을 통해 향후 2주 동안의 해외유입 확진자 수를 예측한 결과, 이 모델이 기존의 시계열 데이터기반의 예측 기계학습이나 딥러닝 기반의 모델과 비교했을 때 최대 35% 더 높은 정확성을 지니고 있음을 확인했다. 제1 저자인 김민석 박사과정 학생은 "이번 연구는 최신 AI 기술을 코로나19 방역에 적용할 수 있음을 보여준 사례ˮ 라면서 "K-방역의 위상을 높이는데 기여할 것으로 기대한다ˮ 고 밝혔다. 이번 연구는 KAIST 글로벌전략연구소(소장 김정호)의 코로나19 AI 태스크포스팀의 지원을 받았고, KT(담당 변형균 상무)와 과학기술정보통신부(담당 김수정 서기관)의 '코로나19 확산예측 연구 얼라이언스'를 통해 로밍 데이터 세트를 지원받아 이뤄졌다.
2020.08.23
조회수 32816
이재길 교수 연구팀 연구성과 Microsoft Research 블로그 게재
<이재길 교수, 송환준 박사과정> 우리대학 이재길 교수(산업및시스템공학과 지식서비스공학대학원)와 송환준 박사과정 학생의 최신 빅데이터 연구결과가 최근 Microsoft Research 블로그에 실렸다. Microsoft Research는 매 분기 자사의 지원을 받은 연구과제 중에서 대표적인 성과를 선정해 자사 블로그에 게시하고 있는데 이번에는 이재길 교수 연구팀의 연구결과가 그 중 하나로 선정된 것이다. 이교수 연구팀은 이번 연구를 통해 전통적인 데이터 군집화 알고리즘인 k-메도이드의 분산 병렬처리 알고리즘을 개발했다. 그동안 빅데이터의 처리 속도를 높이기 위해 결과 정확도를 다소 희생하는 것이 일반적인 관례였으나 이 교수팀은 이번 연구를 통해 정확도를 거의 잃지 않고 현존하는 타 알고리즘보다 높은 성능을 달성했다고 밝혔다. 이번 연구결과는 지난 8월 열린 데이터 마이닝 분야 최고 학술대회인 ACM KDD 2017에서 발표된바 있다. 이 교수는 "추가적인 군집화 알고리즘의 연구도 마무리해 아파치 스파크 오픈소스 플랫폼에 연 성과를 탑재시킬 것"이라고 향후 계획을 밝혔다. 블로그 게시물 : https://www.microsoft.com/en-us/research/lab/microsoft-research-asia/articles/using-microsoft-azure-research-tool-scalable-data-mining-2/
2017.10.16
조회수 9170
<<
첫번째페이지
<
이전 페이지
1
>
다음 페이지
>>
마지막 페이지 1