%EC%8B%A0%EA%B2%BD%EB%A7%9D
-
인공지능 심층 학습(딥러닝) 서비스 구축 비용 최소화 가능한 데이터 정제 기술 개발
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서 인공지능은 심층신경망을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 고양이 사진에 `고양이'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간적 비용이 소요된다. 따라서 훈련 데이터 구축 비용을 최소화하는 방법 개발이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 심층 학습 훈련 데이터 구축 비용을 최소화할 수 있는 새로운 데이터 동시 정제 및 선택 기술을 개발했다고 12일 밝혔다.
일반적으로 심층 학습용 훈련 데이터 구축 과정은 수집, 정제, 선택 및 레이블링 단계로 이뤄진다. 수집 단계에서는 웹, 카메라, 센서 등으로부터 대용량의 데이터가 정제되지 않은 채로 수집된다. 따라서 수집된 데이터에는 목표 서비스와 관련이 없어서 주어진 레이블에 해당하지 않는 분포 외(out-of-distribution) 데이터가 포함된다 (예를 들어, 동물 사진을 수집할 때 재규어 `자동차'가 포함됨). 이러한 분포 외 데이터는 데이터 정제 단계에서 정제돼야 한다. 모든 정제된 데이터에 정답지를 만들기 위해서는 막대한 비용이 소모되는데, 이를 최소화하기 위해 심층 학습 성능 향상에 가장 도움이 되는 훈련 데이터를 먼저 선택해 레이블링하는 능동 학습(active learning)이 큰 주목을 받고 있다. 그러나 정제와 레이블링을 별도로 진행하는 것은 데이터 검사 측면에서 중복적인 비용을 초래한다. 또한 아직 정제되지 않고 남아 있는 분포 외 데이터가 레이블링 단계에서 선택된다면 레이블링 노력을 낭비할 수 있다.
이재길 교수팀이 개발한 기술은 훈련 데이터 구축 단계에서 데이터의 정제 및 선택을 동시에 수행해 심층 학습용 훈련 데이터 구축 비용을 최소화할 수 있도록 해준다.
우리 대학 데이터사이언스대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 신유주 박사과정, 이영준 박사과정 학생이 제2, 제4 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2022'에서 올 12월 발표될 예정이다. (논문명 : Meta-Query-Net: Resolving Purity-Informativeness Dilemma in Open-set Active Learning)
데이터의 정제 및 선택을 동시에 고려하기 위해서 구체적으로 가장 분포 외 데이터가 아닐 것 같은 데이터 중에서 가장 심층 학습 성능 향상에 도움이 될 데이터를 선택한다. 즉, 주어진 훈련 데이터 구축 비용 내에서 최고의 효과를 내도록 데이터의 순도(purity) 지표와 정보도(informativeness) 지표의 최적 균형(trade-off)을 찾는다. 순도와 정보도는 일반적으로 서로 상충하므로 최적 균형을 찾는 것이 간단하지 않다. 이 교수팀은 이러한 최적 균형이 정제 전 데이터의 분포 외 데이터 비율과 현재 심층신경망 훈련 정도에 따라 달라진다는 점을 발견했다.
이 교수팀은 이러한 최적 균형을 찾아내기 위해 추가적인 작은 신경망 모델을 도입했다. 연구팀은 추가된 모델을 훈련하기 위해 능동 학습에서 여러 단계에 걸쳐 데이터를 선별하는 과정을 활용했다. 즉, 새롭게 선택돼 레이블링 된 데이터를 순도-정보도 최적 균형을 찾기 위한 훈련 데이터로 활용했고, 레이블이 추가될 때마다 최적 균형을 갱신했다. 이러한 방법은 목표 심층신경망의 성능 향상을 위해 추가적인 상위 레벨의 신경망을 사용하였다는 점에서 메타학습(meta-learning)의 일종이라 볼 수 있다.
연구팀은 이 메타학습 방법론을 `메타 질의 네트워크'라고 이름 붙이고 이미지 분류 문제에 대해 다양한 데이터와 광범위한 분포 외 데이터 비율에 걸쳐 방법론을 검증했다. 그 결과, 기존 최신 방법론과 비교했을 때 최대 20% 향상된 최종 예측 정확도를 향상했고, 모든 범위의 분포 외 데이터 비율에서 일관되게 최고 성능을 보였다. 또한, `메타 질의 네트워크'의 최적 균형 분석을 통해, 분포 외 데이터의 비율이 낮고 현재 심층신경망의 성능이 높을수록 정보도에 높은 가중치를 둬야 함을 연구팀은 밝혀냈다.
제1 저자인 박동민 박사과정 학생은 "이번 기술은 실세계 능동 학습에서의 순도-정보도 딜레마를 발견하고 해결한 획기적인 방법ˮ 이라면서 "다양한 데이터 분포 상황에서의 강건성이 검증됐기 때문에, 실생활의 기계 학습 문제에 폭넓게 적용될 수 있어 전반적인 심층 학습의 훈련 데이터 준비 비용 절감에 기여할 것ˮ 이라고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
2022.10.12 조회수 6738 -
인공지능으로 화학반응을 예측하다
우리 대학 생명화학공학과 정유성 교수 연구팀이 화학자처럼 생각하는 인공지능을 개발했다고 4일 밝혔다. 연구팀이 개발한 인공지능은 유기 반응의 결과를 정확하게 예측한다.
유기 화학자는 반응물을 보고 유기 화학반응의 결과를 예상해 약물이나 유기발광다이오드(OLED)와 같이 원하는 물성을 갖는 분자를 합성한다. 하지만 실험을 통해 화학반응의 생성물을 직접 확인하는 작업은 일반적으로 시간과 비용이 많이 소모된다. 게다가 유기 화학 반응은 같은 반응물에서 다양한 생성물이 생길 수 있어 숙련된 유기 화학자라도 모든 화학반응을 정확하게 예측하지 못한다.
이런 한계를 극복하고자 인공지능을 이용해 유기 반응을 예측하는 연구가 활발하게 일어나고 있다. 대부분의 연구는 반응물과 생성물을 서로 다른 두 개의 언어로 생각하고 한 언어에서 다른 언어로 번역하는 언어 번역 모델을 사용하는 방법에 집중하고 있다. 이 방법은 예측 정확도는 높지만, 인공지능이 화학을 이해하고 생성물을 예측했다고 해석하기 어려워 모델이 예측한 결과를 신뢰하기 어렵다.
정 교수팀은 화학적 직관을 바탕으로 모델을 설계해서 모델이 예측한 결과를 화학적으로 설명을 할 수 있을 뿐 아니라, 공개 데이터베이스에서 매우 우수한 예측 정확도를 달성했다.
정 교수팀은 화학자가 반응 결과를 예측하는 방법에서 아이디어를 얻었다. 화학자는 반응 중심을 파악하고 화학반응 규칙을 적용해 가능한 생성물을 예측한다. 이 과정을 본떠서 공개 화학반응 데이터베이스로부터 화학반응 규칙을 도출했다. 화학반응 규칙을 바탕으로 분자의 화학 반응성을 예측하기 위해서, 분자를 그래프로 취급하는 그래프 신경망(Graph Neural Network, GNN) 모델을 개발했다. 이 모델에 반응물들을 넣으면 화학반응 규칙과 반응 중심을 식별해 생성물을 성공적으로 예측한다.
정 교수팀은 화학반응에서 널리 사용되는 미국 특허무역청(USPTO) 데이터를 이용해 유기 반응을 90% 이상의 정확도로 예측하는 데 성공했다. 개발된 모델은 실제 사용 시 모델에 높은 신뢰성을 제공하는 `예측의 불확실성'을 말할 수 있다. 예를 들어, 불확실성이 낮다고 간주되는 모델의 정확도는 98.6%로 증가한다. 모델은 무작위로 샘플링된 일련의 유기 반응을 예측하는 데 있어 소규모의 합성 전문가보다 더 정확한 것으로 나타났다.
이번 연구의 성공으로 연구팀은 다른 분야에서 좋은 성능을 보인 모델을 그대로 사용하던 기존 방법보다, 화학자가 생각하는 방법과 동일하게 신경망을 설계하는 전략이 더 합리적이고 우수한 성능을 보인다는 것을 입증했다. 연구팀은 이 연구를 활용하면 분자 설계 과정이 비약적으로 빨라질 것으로 기대하며, 새로운 화합물 개발에 실용적인 응용을 기대하고 있다. 정유성 교수팀은 현재 연구 성과의 특허 출원을 준비하고 있다.
우리 대학 생명화학공학과 첸수안(Shuan Chen) 박사과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 '네이처 머신 인텔리전스(Nature Machine Intelligence)'에 9월호 표지논문으로 선정돼 출판됐다.
한편 이번 연구는 산업통상자원부와 한국연구재단의 지원을 받아 수행됐다.
2022.10.04 조회수 13920 -
세계 최초 그래프 기반 인공지능 추론 가능한 SSD 개발
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 세계 최초로 그래프 기계학습 추론의 그래프처리, 그래프 샘플링 그리고 신경망 가속을 스토리지/SSD 장치 근처에서 수행하는 `전체론적 그래프 기반 신경망 기계학습 기술(이하 홀리스틱 GNN)'을 개발하는데 성공했다고 10일 밝혔다.
연구팀은 자체 제작한 프로그래밍 가능 반도체(FPGA)를 동반한 새로운 형태의 계산형 스토리지/SSD 시스템에 기계학습 전용 신경망 가속 하드웨어와 그래프 전용 처리 컨트롤러/소프트웨어를 시제작했다. 이는 이상적 상황에서 최신 고성능 엔비디아 GPU를 이용한 기계학습 가속 컴퓨팅 대비 7배의 속도 향상과 33배의 에너지 절약을 가져올 수 있다고 밝혔다.
그래프 자료구조가 적용된 새로운 기계학습 모델은 기존 신경망 기반 기계학습 기법들과 달리, 데이터 사이의 연관 관계를 표현할 수 있어 페이스북, 구글, 링크드인, 우버 등, 대규모 소셜 네트워크 서비스(SNS)부터, 내비게이션, 신약개발 등 광범위한 분야와 응용에서 사용된다. 예를 들면 그래프 구조로 저장된 사용자 네트워크를 분석하는 경우 일반적인 기계학습으로는 불가능했던 현실적인 상품 및 아이템 추천, 사람이 추론한 것 같은 친구 추천 등이 가능하다. 이러한 신흥 그래프 기반 신경망 기계학습은 그간 GPU와 같은 일반 기계학습의 가속 시스템을 재이용해 연산 되어왔는데, 이는 그래프 데이터를 스토리지로부터 메모리로 적재하고 샘플링하는 등의 데이터 전처리 과정에서 심각한 성능 병목현상과 함께 장치 메모리 부족 현상으로 실제 시스템 적용에 한계를 보여 왔다.
정명수 교수 연구팀이 개발한 홀리스틱 GNN 기술은 그래프 데이터 자체가 저장된 스토리지 근처에서 사용자 요청에 따른 추론의 모든 과정을 직접 가속한다. 구체적으로는 프로그래밍 가능한 반도체를 스토리지 근처에 배치한 새로운 계산형 스토리지(Computational SSD) 구조를 활용해 대규모 그래프 데이터의 이동을 제거하고 데이터 근처(Near Storage)에서 그래프처리 및 그래프 샘플링 등을 가속해 그래프 기계학습 전처리 과정에서의 병목현상을 해결했다.
일반적인 계산형 스토리지는 장치 내 고정된 펌웨어와 하드웨어 구성을 통해서 데이터를 처리해야 했기 때문에 그 사용에 제한이 있었다. 그래프처리 및 그래프샘플링 외에도, 연구팀의 홀리스틱 GNN 기술은 인공지능 추론 가속에 필요한 다양한 하드웨어 구조, 그리고 소프트웨어를 후원할 수 있도록 다수 그래프 기계학습 모델을 프로그래밍할 수 있는 장치수준의 소프트웨어와 사용자가 자유롭게 변경할 수 있는 신경망 가속 하드웨어 프레임워크 구조를 제공한다.
연구팀은 홀리스틱 GNN 기술의 실효성을 검증하기 위해 계산형 스토리지의 프로토타입을 자체 제작한 후, 그 위에 개발된 그래프 기계학습용 하드웨어 *RTL과 소프트웨어 프레임워크를 구현해 탑재했다. 그래프 기계학습 추론 성능을 제작된 계산형 스토리지 가속기 프로토타입과 최신 고성능 엔비디아 GPU 가속 시스템(RTX 3090)에서 평가한 결과, 홀리스틱 GNN 기술이 이상적인 상황에서 기존 엔비디아 GPU를 이용해 그래프 기계학습을 가속하는 시스템의 경우에 비해 평균 7배 빠르고 33배 에너지를 감소시킴을 확인했다. 특히, 그래프 규모가 점차 커질수록 전처리 병목현상 완화 효과가 증가해 기존 GPU 대비 최대 201배 향상된 속도와 453배 에너지를 감소할 수 있었다.
☞ RTL (Registor Transistor Logic): 저항과 트랜지스터로 구성한 컴퓨터에 사용되는 회로
정명수 교수는 "대규모 그래프에 대해 스토리지 근처에서 그래프 기계학습을 고속으로 추론할 뿐만 아니라 에너지 절약에 최적화된 계산형 스토리지 가속 시스템을 확보했다ˮ며 "기존 고성능 가속 시스템을 대체해 초대형 추천시스템, 교통 예측 시스템, 신약 개발 등의 광범위한 실제 응용에 적용될 수 있을 것ˮ이라고 말했다.
한편 이번 연구는 미국 산호세에서 오는 2월에 열릴 스토리지 시스템 분야 최우수 학술대회인 `유즈닉스 패스트(USENIX Conference on File and Storage Technologies, FAST), 2022'에 관련 논문(논문명: Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs)으로 발표될 예정이다.
해당 연구는 삼성미래기술육성사업 지원을 받아 진행됐고 자세한 내용은 연구실 웹사이트(http://camelab.org)에서 확인할 수 있다.
2022.01.10 조회수 9001 -
학습 없이 자발적으로 발생하는 뇌 인지기능 원리 밝혀
우리 대학 바이오및뇌공학과 백세범 교수 연구팀이 학습을 전혀 거치지 않은 뇌 신경망에서 선천적인 인지 기능이 발생하는 원리를 규명했다고 30일 밝혔다.
이번 연구 결과는 동물들이 출생 직후 학습을 거치지 않은 상태에서도 기초적 인지 기능들을 수행할 수 있게 하는 `선천적 뇌 기능'에 대한 이해에 다가가는 기초를 마련했으며 `초기 뇌 신경망 인지 기능의 발생'에 대해 기존의 상식과 완전히 다른 시각을 제시한다.
또한 연구팀의 결과는 일반적인 인공지능 모델에서 기능을 발생시키기 위해서는 외부의 데이터 학습이 반드시 요구되는 것과 달리, 생물학적 뇌 신경망의 기능 발생과 진화는 확률적으로 생성되는 물리적 연결 구조에 의해 자발적으로 발생할 수 있다는 차별된 기저 원리를 제안한다.
연구팀은 인지과학 분야에서 활발히 연구돼 온 얼굴 인지 기능(face detection)에 초점을 두어 뇌의 시각 신경망을 모사한 인공신경망에서의 사물 인지 기능을 시뮬레이션했다. 이를 통해 모든 연결 가중치가 무작위로 정해지도록 초기화된 심층신경망이 전혀 학습을 거치지 않은 상태에서도 얼굴 이미지를 다른 사물 이미지와 구별할 수 있음을 발견했다.
연구팀은 이러한 무작위화 신경망에서 발생하는 얼굴 선택성 (face-selectivity)이 실제 동물 실험에서 관측되는 다양한 생물학적, 인지 행동적 특성들과 매우 유사한 양상을 보이는 것을 확인했다. 이는 이론적 모델 기반의 본 연구 결과가 충분한 생물학적 타당성을 가지며, 향후 뇌 신경망에서 나타나는 선천적 인지 기능의 핵심적 발생 원리를 설명하는 일반적인 이론으로 확장될 수 있음을 시사한다.
우리 대학 바이오및뇌공학과 백승대, 송민 박사과정이 공동 제 1저자로 참여한 이번 연구는 국제 학술지 `네이처 (Nature)'의 자매지 `네이처 커뮤니케이션스 (Nature Communications)' 12월 16일 字에 게재됐다. (논문명 : Face Detection in Untrained Deep Neural Networks)
인지 지능의 최초 발생에 관한 연구는 뇌신경과학, 인지과학과 인공지능 분야 모두에서 중요한 주제다. 특히, 별다른 학습 과정 없이 출생 직후부터 다양한 인지 기능을 수행할 수 있게 하는 뇌의 `선천적' 인지 기능은 데이터 입력을 통한 학습에 의존하는 인공신경망의 기능과 뚜렷이 구별되며, 이에 대한 이해는 생물학적 지능의 발생과 진화의 원리를 밝히는 데 결정적인 역할을 할 것으로 기대됐다.
또한 얼굴 인지 기능은 사회적 행동을 하는 다양한 동물 종의 어린 개체들에서 관측되며, 이 기능의 발생을 위해 외부 정보의 학습이 필수적인지는 학계에서 활발하게 논의돼왔다.
연구팀은 앞서 진행했던 연구를 토대로 구축한 신경망 기능 발생 이론에 기반해, 아무런 학습을 거치지 않은 계층적 신경망의 초기 피드 포워드 연결 구조를 통해 얼굴 인지 기능이 자발적으로 형성될 수 있을 것이라 가정했다. 이를 확인하기 위해 수행한 심층신경망 시뮬레이션에서 얼굴 이미지를 비롯한 단순 사물의 인식 기능은 학습을 전혀 거치지 않은 초기 무작위화 신경망에서 자발적으로 발생할 수 있음을 확인했다.
이러한 결과는 학습이 이루어지기 전, 신경망의 초기 구조가 갖춰진 시점에 이미 다양한 인지 기능이 발생할 수 있음을 보여주며, 뇌 과학의 오랜 화두인 지능 형성의 선천성 또는 후천성(nature vs. nurture) 논의와 관련해 자발적으로 발생하는 선천적 기능 발생에 대한 이해의 중요성을 강조한다.
백세범 교수는 "이번 연구는 뇌신경과학 연구의 가장 근본적인 질문 중 하나인 선천적인 인지 기능의 발생을 설명할 수 있는 최초의 이론을 제시해 생물학적 지능의 발생과 진화의 원리를 이해하는데 결정적인 단서를 제공할 것으로 기대된다ˮ며 "한편으로 데이터 학습 기반 인공지능 구현의 방법과 완전히 다른 관점의 생물학적 지능 구현 원리를 정립해 현재의 인공지능 개발의 상식과 완전히 다른 시각을 제공할 수 있을 것으로 기대된다ˮ고 언급했다.
한편 이번 연구는 한국연구재단의 이공분야기초연구사업 및 원천기술개발사업, KAIST 특이점교수 사업의 지원을 받아 수행됐다.
2021.12.31 조회수 8232 -
소량의 데이터로 딥러닝 정확도 향상기술 발표
최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 낙타 사진에 `낙타'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다.
심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어, `낙타'의 주요 특성이 등에 있는 `혹'이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어, 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 `사막'이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다.
이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.
우리 대학 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 송환준 박사, 김민석 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2021'에서 올 12월 발표될 예정이다. (논문명 : Task-Agnostic Undesirable Feature Deactivation Using Out-of-Distribution Data)
바람직하지 않은 특성을 억제하기 위해서 분포 外(out-of-distribution) 데이터를 활용한다. 예를 들어, 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.
즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.
연구팀은 이 정규화 방법론을 `비선호(比選好) 특성 억제'라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과, 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.
제1 저자인 박동민 박사과정 학생은 "이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법ˮ 이라면서 "분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다ˮ 고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다. (끝).
2021.10.27 조회수 9956 -
우수한 소재를 설계하는 딥러닝 방법론 개발
우리 대학 기계공학과 유승화 교수 연구팀이 능동-전이 학습 (active-transfer learning)과 데이터 증강기법(Data augmentation)에 기반해, 심층신경망 초기 훈련에 쓰인 소재들과 형태와 조합이 매우 다른 우수한 특성을 지닌 소재를 효율적으로 탐색하고 설계하는 방법론을 개발했다고 16일 밝혔다.
인공신경망에 기반해 방대한 설계 공간에서 새로운 소재를 찾기 위한 역설계 연구는 최근 매우 활발하게 진행되고 있다. 하지만 이러한 기존 설계 방식은 목표로 하는 소재의 형태와 조합이 심층신경망 훈련에 활용된 소재들과 매우 다를 때 인공신경망이 가지는 낮은 예측능력으로 인해 극히 많은 수의 소재 데이터 검증이 요구되며, 이에 따라 제한적으로만 활용이 가능하다.
연구팀은 이번 연구에서 이를 극복하기 위해 초기 훈련 데이터 영역에서 벗어나 우수한 소재를 효율적으로 탐색할 수 있는 인공신경망 기반 전진 설계 (Forward design) 방법론을 제안했다. 이 방법론은, <그림 1>에 도시된 바와 같이 유전 알고리즘과 결합된 능동-전이 학습 및 데이터 증강기법을 통해 심층신경망을 점진적으로 업데이트함으로써, 초기 훈련데이터를 벗어난 영역에서 심층신경망의 낮은 예측능력을 적은 숫자의 데이터 검증 및 추가로 보완한다.
유전 알고리즘에 의해 제안되는 우수 소재 후보군은 기보유한 소재 데이터를 조합해 도출하기 때문에 심층신경망의 신뢰할 수 있는 예측 영역과 설계 공간 측면에서 상대적으로 가까워 예측정확도가 유지된다. 이 후보군과 능동-전이 학습을 활용해 점진적으로 심층신경망의 신뢰성 있는 예측 범위를 확장하면, 초기 훈련데이터 영역 밖에서도 적은 데이터를 생성해 효율적인 설계 과정이 가능하다.
이번 방법은 천문학적인 수의 설계 구성을 가지는 그리드 복합소재 최적화 문제에 적용해 검증했으며, 이를 통해 전체 가능한 복합재 구조의 1029분의 1 가량인 10만 개의 복합재들만 초기 훈련 데이터로 활용해 심층신경망을 학습한 후, 이후 약 500개에 미치지 못하는 데이터 검증을 통해 초기 훈련에 쓰인 복합재와 매우 다른 구조를 가지고 우수한 특성을 지닌 복합재 구조를 설계할 수 있음을 보였다.
연구진이 개발한 방법론은 국소 최적점(Local optima)에 수렴하는 문제를 완화하면서도 인공신경망의 신뢰할 수 있는 예측 영역을 점진적으로 확장하는 효율적인 방법을 제공하기 때문에, 큰 설계 공간을 다루는 다양한 분야의 최적화 문제에 적용할 수 있을 것으로 기대되며, 특히 설계에 요구되는 데이터 검증의 숫자가 적기 때문에 데이터 생성에 시간이 오래 걸리고 비용이 많이 드는 설계 문제에서 이 방법론이 크게 활용될 수 있을 것으로 기대된다.
이번 연구는 공동 제 1저자 김용태 박사과정, 김영수 박사(한국기계연구원) 주도하에 진행됐으며, 유승화 교수(우리 대학 기계공학과)가 교신저자로 참여해, 국제학술지인 `npj 컴퓨테이셔널 머터리얼(Computational Material, IF:12.241)'에 `Deep Learning Framework for Material Design Space Exploration using Active Transfer Learning and Data Augmentation' 라는 제목으로 게재됐다.
이번 연구는 한국연구재단의 중견 연구자지원사업(3D 프린팅 복합재의 최적설계기법 및 피로수명 예측기법 개발)과 미래소재 디스커버리 사업 (레이저-물질 상호작용 멀티스케일 모델링을 통한 분자디자인), KAIST 글로벌 특이점 프렙 사업의 지원을 통해 수행됐다.
2021.09.16 조회수 9742 -
양용수 교수팀, 나노물질 표면과 내부 3차원 원자구조 규명
우리 대학 물리학과 양용수 교수 연구팀이 인공신경망을 이용한 주사투과전자현미경(STEM) 기반 원자분해능 전자토모그래피 기술을 개발, 이를 적용해 백금 나노입자 표면과 내부의 3차원 원자 구조를 15 pm(피코미터)의 정밀도로 규명했다. 1 pm(피코미터)는 1 미터의 1조 분의 일에 해당하는 단위로, 15 pm의 정밀도는 수소 원자 반지름의 약 1/3 정도에 해당하는 매우 높은 수준이다.
전자토모그래피는 전자현미경으로 다양한 각도에서 측정된 2차원 투영된 이미지로부터 3차원 이미지를 얻어내는 기술이다. 최근 주사투과전자현미경과 3차원 토모그래피 재구성 알고리즘의 기술 발전으로 전자토모그래피의 분해능은 단일 원자까지 구분할 수 있는 수준에 이르렀다. 이를 통해 많은 나노물질의 구조와 물성의 근본적인 이해가 가능해졌다.
그러나 일반적인 전자토모그래피 실험에서는 시편을 탑재한 홀더 또는 그리드가 전자빔을 가리게 되는 실험적 제약으로 인해 고 각도(약 75도 이상)의 이미지 측정이 불가능하다. 이로 인해 고 각도 방향의 분해능이 저하되고, 재구성된 3차원 이미지에 원치 않는 노이즈들이 생겨난다. 이러한 현상을 손실 웨지 문제(missing wedge problem)라 부르며, 이러한 문제 때문에 기존의 전자토모그래피 방법으로는 표면/계면의 3차원 원자 구조를 고분해능으로 측정하기 힘들었다.
양용수 교수 연구팀은 인공신경망을 이용해 고 각도 방향의 데이터를 복원함으로써 이러한 손실 웨지 문제(missing wedge problem)를 해결하는 데 성공했다. 이를 통해 고분해능 3차원 표면/계면 원자 구조의 결정이 가능하게 됐고, 나노물질의 표면/계면에서 나타나는 물성의 메커니즘을 단일 원자 수준에서 근본적으로 해석할 수 있게 됐다.
물리학과 이주혁 석박사통합과정 학생이 제1 저자로 참여한 이번 연구는 국제 학술지 `네이처 커뮤니케이션즈(Nature Communications)' 3월 30일 字 게재됐다. (논문명 : Single-atom level determination of 3-dimensional surface atomic structure via neural network-assisted atomic electron tomography)
연구팀은 모든 물질은 원자들로 구성돼 있다는 원자성(atomicity)에 근거해 원자 구조 토모그래피 3차원 데이터를 시뮬레이션을 통해 생성했다. 고 각도의 데이터가 손실된 불완전한 원자 구조 토모그래피 3차원 데이터와 이상적인 원자 구조 3차원 데이터 사이의 상관관계를 학습시키기 위해 인공지능 신경망(3d-unet기반 모델)을 지도학습했다. 원자성에 기반해 학습된 인공지능 신경망은 손실된 고 각도 데이터를 성공적으로 복원함으로써 손실 웨지 문제로 인한 분해능 저하 문제를 해결했다. 이는 높은 정밀도의 3차원 표면/계면 원자 구조 규명을 가능하게 한다.
연구팀은 개발된 인공신경망 기반 전자토모그래피 기술을 이용해 실제 백금 나노입자의 3차원 표면 및 내부 구조를 단일 원자 수준에서 규명할 수 있었다. 원자 구조의 정밀도는 인공신경망 적용 전 26 pm에서 적용 후 15 pm으로 큰 폭으로 향상됐다.
연구를 주도한 양용수 교수는 "인공신경망 기반 전자토모그래피는 구성 원소, 물질의 구조/형태에 의존하지 않는 매우 일반적인 방법으로서, 전자토모그래피로 얻은 원자 구조 부피데이터에는 종류에 상관없이 바로 적용할 수 있다ˮ며 "이를 통해 많은 물질의 3차원 표면/계면 원자 구조가 정밀하게 규명되고, 표면/계면에서 일어나는 물성과 이에 연관된 메커니즘의 근본적인 이해를 바탕으로 고성능 촉매 개발 등에 응용될 것ˮ이라고 연구의 의의를 설명했다.
한편 이번 연구는 한국연구재단 개인기초연구지원사업 및 KAIST 글로벌 특이점 사업(M3I3)의 지원을 받아 수행됐다.
2021.04.05 조회수 82067 -
인공지능으로 3차원 고해상도 나노입자 영상화 기술 개발
우리 대학 바이오및뇌공학과 예종철 교수 연구팀이 삼성전자 종합기술원과 공동연구를 통해 나노입자의 3차원 형상과 조성 분포의 복원 성능을 획기적으로 향상한 인공지능 기술을 개발했다고 16일 밝혔다. 공동연구팀은 에너지 분산형 X선 분광법(EDX)을 주사 투과전자현미경(STEM)과 결합한 시스템을 활용했다.
이번 연구를 통해 나노입자를 형성하고 있는 물질의 형상과 조성 분포를 정확하게 재구성함으로써, 실제 상용 디스플레이를 구성하는 양자점(퀀텀닷)과 같은 반도체 입자의 정확한 분석에 도움을 줄 것으로 기대된다.
예종철 교수 연구팀의 한요섭 박사, 차은주 박사과정, 정형진 석사과정과 삼성종합기술원의 이은하 전문연구원팀의 장재덕, 이준호 전문연구원이 공동 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 머신 인텔리전스(Nature Machine Intelligence)' 2월 8일 字 온라인판에 게재됐다. (논문명 : Deep learning STEM-EDX tomography of nanocrystals)
에너지 분산형 X선 분광법(이하 EDX)은 나노입자의 성분 분석에 주로 이용되며, X선과 반응한 물체의 성분에 따라 고유한 방출 스펙트럼을 보인다는 점에서 화학적인 분석이 가능하다. 퀀텀닷 및 배터리 등 다양한 나노 소재의 열화 메커니즘과 결함을 해석하기 위해 형상 및 조성 분포 분석이 가능한 이 분광법의 필요성과 중요도가 급증하고 있다.
그러나 EDX 측정 신호의 해상도를 향상하기 위해, 나노 소재를 오랜 시간 전자빔에 노출하면 소재의 영구적인 피해가 발생한다. 이로 인해 나노입자의 3차원 영상화를 위한 투사(projection) 데이터 획득 시간이 제한되며, 한 각도에서의 스캔 시간을 단축하거나 측정하는 각도를 줄이는 방식이 사용된다. 기존의 방식으로 획득된 투사 데이터를 이용해 3차원 영상을 복원할 시, 미량 존재하는 원자 신호의 측정이 불가능하거나 복원 영상의 정밀도와 해상도가 매우 낮다.
그러나 공동 연구팀이 자체 개발한 인공지능 기반의 커널 회귀(kernel regression)와 투사 데이터 향상(projection enhancement)은 정밀도와 해상도를 획기적으로 발전시켰다. 연구팀은 측정된 데이터의 분포를 네트워크가 스스로 학습하는 인공지능 기반의 커널 회귀를 통해 스캔 시간이 단축된 투사 데이터의 신호 대 잡음비(SNR)를 높인 데이터를 제공하는 네트워크를 개발했다. 그리고 개선된 고화질의 EDX 투사 데이터를 기반으로 기존의 방법으로는 불가능했던 적은 수의 투사 데이터로부터 더욱 정확한 3차원 복원 영상을 제공하는 데 성공했다.
연구팀이 개발한 알고리즘은 기존의 EDX 측정 신호 기반 3차원 재구성 기법과 비교해 나노입자를 형성하고 있는 원자의 형상과 경계를 뚜렷하게 구별했으며, 복원된 다양한 코어-쉘(core-shell) 구조의 퀀텀닷 3차원 영상이 샘플의 광학적 특성과 높은 상관관계를 나타내는 것이 확인됐다.
예종철 교수는 "연구에서 개발한 인공지능 기술을 통해 상용 디스플레이의 핵심 기반이 되는 퀀텀닷 및 반도체 소자의 양자 효율과 화학적 안정성을 더욱 정밀하게 분석할 수 있다ˮ고 말했다.
2021.02.16 조회수 81966 -
인공지능 이용 면역항암 세포 3차원 분석기술 개발
우리 대학 물리학과 박용근, 생명과학과 김찬혁 교수 공동연구팀이 면역항암 세포의 활동을 정밀하게 측정하고 분석할 수 있는 새로운 3차원 인공지능 분석기술을 개발했다고 28일 밝혔다.
체내에서 면역세포를 추출한 후, 외부에서 면역 능력을 강화시키고 다시 환자에게 주입해 암을 치료하는 방식을 `입양전달 면역세포 치료(adoptive immune cell therapy)'라고 부른다. 이 치료방식은 면역세포 치료법 중 가장 많은 주목을 받는 기술이다. `키메릭 항원 수용체' 또는 `CAR(Chimeric Antigen Receptor)'라고도 불리는 데 유전자 재조합기술을 이용해 T세포와 같은 면역세포를 변형해 암세포와의 반응을 유도해 사멸시키는 치료 방법이다.
특히 CAR-T세포 치료는 높은 치료 효과를 보여 차세대 암 치료제로 급부상하고 있다. 2017년 난치성 B세포 급성 림프구성 백혈병 치료제 판매 승인을 시작으로 현재 3종의 CAR-T 치료제가 판매 승인을 받았으며, 전 세계적으로 약 1,000건 이상의 임상 시험이 진행 중이다. 그러나 아직 우리나라에서는 진행 중인 임상 시험이 전무한 실정이다.
CAR-T 기술을 이용한 암 치료 방법들이 속속 개발되고 있지만, CAR-T세포에 대한 세포‧분자 생물학적 메커니즘은 아직 많은 부분이 알려지지 않았다. 특히, CAR-T세포가 표적 암세포를 인지해 결합한 후 `면역 시냅스 (immunological synapse, 이하 IS)'를 형성해 물질을 전달하고 암세포의 사멸을 유도하는데, 두 세포 간의 거리와 같은 IS의 형태 정보는 T세포 활성화 유도와 관련이 높다고 알려져 있지만 구체적인 내용을 파악하기 어렵기 때문에 이에 대한 연구가 활발히 진행 중이다.
우리 대학 물리학과 박용근, 생명과학과 김찬혁 교수 공동연구팀은 CAR-T세포의 IS를 정밀하고 체계적으로 연구할 수 있는 새로운 기술을 개발했다. 3D 홀로그래피 현미경 기술을 이용해, 염색이나 전처리 없이 살아있는 상태의 CAR-T세포와 표적 암세포 간의 상호작용을 고속으로 측정하고 기존에는 관찰하기 어려운 CAR-T와 암세포 간의 IS를 고해상도로 실시간 측정했다. 또한 이렇게 측정한 3D 세포 영상을 인공지능 신경망(Convolutional Neural Network, CNN)을 이용해 분석하고, 3차원 공간에서 정확하게 IS 정보를 정량적으로 추출할 수 있는 기술을 자체 개발했다.
공동연구팀은 또 이 기술을 활용해 빠른 CAR-T 면역 관문 형성 메커니즘을 추적할 수 있었을 뿐만 아니라, IS의 형태학적 특성이 CAR-T의 항암 효능과 연관이 있음을 확인했다. 연구팀은 3차원 IS 정보가 새로운 표적 항암 치료제의 초기 연구에 필요한 정량적 지표를 제공할 것이라고 기대하고 있다.
이번 연구에는 우리 대학 기술을 바탕으로 창업한 2개 기업이 공동으로 참여했다. 3차원 홀로그래픽 현미경을 상업화한 토모큐브 社의 현미경 장비를 이용해 면역세포를 측정하는 한편 토모큐브 社의 인공지능 연구팀이 알고리즘 개발에 참여했다. 이밖에 국내 최초 CAR-T 기반 치료제 기업인 ㈜큐로셀도 연구에 함께 참여해 이 같은 성과를 거두는 데 성공했다.
물리학과 이무성 박사과정 학생, 생명과학과 이영호 박사, 물리학과 송진엽 학부생 (現 메사추세츠 공과대학(MIT) 물리학과 박사과정)이 공동 제1 저자로 참여한 이번 연구는 국제적으로 권위를 인정받는 생물학술지인 `이라이프(eLife)' 12월 17일 字 온라인판을 통해 공개됐으며 지난 21일 字에 공식 게재됐다.
(논문명 : Deep-learning based three-dimensional label-free tracking and analysis of immunological synapses of CAR-T cells)
한편 이번 연구는 한국연구재단 리더연구사업, 바이오·의료기술개발사업, 중견연구자지원사업, KAIST Up program의 지원을 받아 수행됐다.
2021.01.29 조회수 74111 -
백세범 교수팀, 고등 인지 기능의 자발적 발생 원리 규명
우리 대학 바이오및뇌공학과 백세범 교수 연구팀이 학습 과정을 전혀 거치지 않은 신경망에서 고등 시각 인지 기능이 자발적으로 발생할 수 있음을 보였다고 4일 밝혔다.
이번 연구 결과는 신경망에서 상위 인지 기능을 발생시키기 위해서는 반드시 충분한 데이터 학습이 필요하다는 기존의 상식과 완전히 상반되는 것으로, 현재 통용되고 있는 인공지능의 구현 방식에 대한 근본적인 의문을 던진다.
또한 연구팀의 결과는 다양한 생물 종의 뇌에서 관측되는 선천적인 인지 기능의 발생에 대한 설명 가능한 이론을 제시할 뿐만 아니라, 뇌신경과학 연구의 가장 근본적인 질문 중 하나인 `인지 지능의 발생 및 진화'의 원리에 대한 기존과는 전혀 다른 새로운 시각을 제시한다.
연구팀은 뇌의 시각 신경망을 모사한 인공신경망 시뮬레이션을 통해, 모든 연결 가중치가 무작위로 정해지도록 초기화된 신경망이 전혀 학습을 거치지 않은 상태에서도 특정 숫자에 선택적으로 반응하는 `수량 선택성'을 자발적으로 생성함을 발견했다. 또한 이렇게 자발적으로 발생한 수량 선택적 유닛은 실제 동물의 뇌에서 발견되는 수량 선택적 뉴런들이 보이는 *`베버-페히너 법칙' 등의 주요 특성을 동일하게 따름을 확인했다.
☞ 베버-페히너 법칙(Webber-Fechner law): 자극과 감각 사이의 상대적 관계를 나타내는 심리물리학적 법칙. 인지 가능한 자극 강도 변화량은 현재 강도에 지수적으로 비례한다는 것으로 이는 인지생물학에서 기본적인 원리로 알려져 있다.
우리 대학 물리학과 김광수 석박사통합과정, 바이오및뇌공학과 장재선 박사가 공동 제1 저자로 참여한 이번 연구는 국제 학술지 `사이언스(Science)'의 온라인 자매지 `사이언스 어드밴시스(Science Advances)' 1월 1일 字에 게재됐다. (논문명 : Visual number sense in untrained deep neural networks)
신경망에서 인지 지능의 발생에 관한 연구는 뇌인지과학과 인공지능 분야 모두에서 핵심적인 연구 주제 중 하나다. 흥미롭게도 인지 기능을 발생시키기 위해서 일반적으로 많은 양의 데이터 입력을 통한 학습 과정을 거쳐야 하는 인공신경망과 달리 동물의 뇌는 태어난 직후부터 다양한 인지 기능을 수행하는 `선천적' 인지 지능을 가지고 있는 것이 관찰돼왔다.
이러한 차이점은 생물학적 지능의 발생과 진화의 원리를 이해하는 데 결정적인 역할을 하고, 현재 개발된 인공지능과의 차이점을 보여주는 핵심적인 단서를 제공할 것으로 기대되고 있으나 이러한 인지 기능이 어떻게 자발적으로 발생하는지는 아직 명확하게 알려진 바가 없었다.
이에 연구팀은 학습을 거치지 않은 신경망의 초기 상태에서 나타나는 단순한 물리적 구조 특성이 다양한 인지 기능을 발생시킬 수 있을 것이라 예상했다. 이를 확인하기 위해 수행한 심층신경망 시뮬레이션 연구를 통해 모든 연결 가중치가 무작위로 초기화된 신경망에서도 `계층 구조'와 무작위적 피드 포워드 연결만 형성된다면 특정 수량에 선택적으로 강한 반응을 보이는 신경망 유닛들이 자발적으로 생성됨을 확인했다.
이러한 신경망 유닛들은 실제 뇌에서 발견되는 수량 선택적 신경세포의 주요한 성질들과 유사한 특성을 보였다. 이 결과는 생물학적 뇌에서 생애 초기에 발견되는 선천적인 숫자 선택성 역시 동일한 원리에 의해 발생할 가능성을 시사한다.
이러한 결과는 기초적인 인지 기능이 신경망의 초기 구조가 갖춰진 시점에 이미 존재하고 이후 다양한 학습을 통해 조절될 수 있음을 보여주며, 뇌신경과학의 중요한 화두 중 하나인 `지능의 선천적 혹은 후천적(nature vs. nurture) 형성'에 관해 매우 중요한 단서를 제공하는 발견으로 평가된다.
연구팀의 결과는 학습과 훈련에 의존해 대부분의 뇌 기능이 발생한다는 기존의 시각을 탈피해, 선천적이고 자발적으로 발생하는 뇌 기능에 대한 보다 심도 있는 연구가 필요하다는 사실을 시사한다. 한편으로 현재의 인공지능 구현 기법들과 완전히 다른 인공지능 구현 원리를 제시할 수 있는 생물학적 뇌 기반 이론을 제시한다.
백세범 교수는 "뇌 신경망 연구를 통해 얻은 아이디어를 인공신경망 연구에 적용하고, 그 결과를 다시 뇌과학적 원리를 발견하는 데 사용해 중요한 통찰을 가능하게 한 의미있는 연구ˮ라며 "뇌신경과학과 뇌공학 분야 모두에서 가장 중요한 질문 중 하나라고 할 수 있는 인지 지능의 기원에 대한 이해의 전환점을 가져올 것으로 기대된다ˮ라고 언급했다.
한편 이번 연구는 한국연구재단의 이공분야기초연구사업 및 원천기술개발사업의 지원을 받아 수행됐다.
2021.01.04 조회수 60098 -
인공지능 기술을 이용한 유전자 전사인자 예측 시스템 개발
우리 대학 생명화학공학과 이상엽 특훈교수와 미국 캘리포니아대학교 샌디에이고캠퍼스(UCSD) 생명공학과 버나드 팔슨(Bernhard Palsson) 교수 공동연구팀이 인공지능을 이용해 단백질 서열로부터 *전사인자를 예측하는 시스템인 '딥티팩터(DeepTFactor)'를 개발했다고 29일 밝혔다. 이번 연구는 국제학술지인 '미국국립과학원회보(PNAS)'에 12월 28일 字 게재됐다. (논문명: DeepTFactor: A deep learning-based tool for the prediction of transcription factors)
※ 전사인자 (transcription factor) : 유전자의 전사(유전 정보를 복사하는 과정)를 조절하는 단백질. 특정 DNA 서열에 특이적으로 결합해 유전자의 전사를 조절한다.
※ 저자 정보 : 김기배(한국과학기술원, 제1 저자), 예 가오(Ye Gao) (UCSD, 제2 저자), 버나드 팔슨(Bernhard Palsson) (UCSD, 제3 저자), 이상엽(교신저자) 포함 총 4명
전사인자는 특정한 DNA 서열에 특이적으로 결합해 유전자의 전사(유전 정보를 복사하는 과정)를 조절하는 단백질이다. 전사인자로 인한 유전자 전사를 분석함으로써 유기체가 유전적 또는 환경적 변화에 어떻게 반응해 유전자의 발현을 제어하는지 이해할 수 있다. 이러한 점에서 유기체의 전사인자를 찾는 것은 유기체의 전사 조절 시스템 분석을 위한 첫 단계라고 할 수 있다.
지금까지 새로운 전사인자를 찾기 위해서는 이미 알려진 전사인자와의 상동성(유사한 성질)을 분석하거나, 기계학습(머신러닝)과 같은 데이터 기반의 접근 방식을 이용했다. 기존의 기계학습 모델을 이용하기 위해서는 분자의 물리 화학적 특성을 계산하거나, 생물학적 서열의 상동성을 분석하는 등, 해결하고자 하는 문제에 대한 전문 지식에 의존해 모델의 입력값으로 사용할 특징을 찾아내는 과정이 필요하다.
한편, 심층 학습(딥러닝)은 문제 해결을 위한 잠재적인 특징을 내재적으로 학습할 수 있기에 최근 다양한 생물학 분야에서 활용되고 있다. 하지만, 심층 학습을 이용한 예측 시스템의 경우 시스템 내부의 복잡한 연산 때문에 추론 과정을 직접 확인할 수 없는 `블랙박스(black box)'라는 특징을 가지고 있다.
공동연구팀은 심층 학습 기법을 이용해 주어진 단백질 서열이 전사인자인지 예측할 수 있는 시스템인 딥티팩터(DeepTFactor)를 개발했다. 딥티팩터는 단백질 서열로부터 전사인자를 예측하기 위해 세 개의 병렬적인 합성곱 신경망(convolutional neural network)을 이용한다. 공동연구팀은 딥티팩터를 이용해 대장균(Escherichia coli K-12 MG1655)의 전사인자 332개를 예측했으며, 그중 3개의 전사인자의 게놈 전체 결합 위치(genome-wide binding site)를 실험으로 확인함으로써 딥티팩터의 성능을 검증했다.
공동연구팀은 나아가 딥티팩터의 추론 과정을 이해하기 위해 특징 지도 (saliency map) 기반의 심층 학습 모델 해석 방법론을 사용했다. 이를 통해 딥티팩터의 학습 과정에서 전사인자의 DNA의 결합 영역에 대한 정보가 명시적으로 주어지지 않았지만, 내재적으로 이를 학습해 예측에 활용한다는 사실을 확인했다.
연구팀 관계자에 따르면, 특정 생물군의 단백질 서열만을 위해 개발됐던 이전 예측 방법론들과 달리, 딥티팩터는 모든 생물군의 단백질 서열에서 우수한 성능을 보여 다양한 유기체의 전사 시스템 분석에 활용 가능할 것으로 기대된다.
이상엽 특훈교수는 “이번 연구에서 개발한 딥티팩터를 이용해서 새롭게 발견되는 단백질 서열과 아직 특성화되지 않은 수많은 단백질 서열을 높은 처리 능력으로 분석할 수 있게 됐다”며 “이는 유기체의 전자 조절 네트워크 분석을 위한 기초 기술로써 활용 가능할 것”이라고 밝혔다.
한편, 이번 연구는 과기정통부가 지원하는 기후변화대응기술개발사업의 바이오리파이너리를 위한 시스템대사공학 원천기술개발 과제 지원을 받아 수행됐다.
2020.12.30 조회수 54450 -
딥러닝으로 소재 합성 가능성 예측 기술 개발
우리 대학 생명화학공학과 정유성 교수 연구팀이 딥러닝을 활용해 소재의 합성 가능성을 높은 정확도로 예측하는 기술을 개발했다고 22일 밝혔다.
신소재 설계의 궁극적인 목표는 소재를 설계하고 그것을 실험적으로 합성하는 것이지만 현실적으로는 새롭게 설계된 대부분의 소재가 실제 합성 단계에서 성공하지 못하고 버려지는 경우가 많다. 이는 불필요한 시간과 자원의 낭비를 초래한다. 소재의 합성 여부는 반응 조건, 열역학, 반응 속도, 소재 구조 등 다양한 요인에 의해서 결정되기 때문에, 소재의 합성 가능성을 예측하는 것은 매우 도전적인 과제로 여겨져 왔다.
이런 문제 해결을 위한 방안으로 간단한 열역학적 안정성만을 고려해 고체 소재의 합성 가능성을 추정하지만 정확도는 매우 떨어지는 편이다. 일례로 에너지적으로 안정된 물질이라 하더라도 합성이 안 되는 경우가 아주 빈번하고, 또 반대로 *준안정 상태의 물질들도 합성되는 경우가 많기 때문이다. 따라서, 합성 가능성에 대한 예측 정확도를 획기적으로 높일 수 있는 방법론의 개발이 시급한 과제로 여겨져 왔다.
☞ 준안정(metastable) 상태 : 어떤 물질이 열역학적으로 안정된 ‘바닥 상태’가 아닌 상태
정유성 교수 연구팀이 개발한 소재 합성 가능성 예측기술은, 기존 합성이 보고된 고체 소재들의 구조적 유사성을 그래프 합성 곱 신경망(GCN, Graph Convolutional Neural Network)으로 학습해 새로운 소재의 합성 가능성을 예측할 수 있다. 특히, 현재까지 합성이 안 된 물질이라 하더라도 합성이 성공할 가능성은 여전히 존재하기 때문에 참값(레이블)을 이미 알고 학습을 진행하는 일반적인 지도학습과는 달리 양의 레이블(+)을 가진 데이터와 레이블이 없는 데이터(Positive-Unlabeled, P-U)를 이용한 분류 모델 기반의 준 지도학습을 사용했다.
정 교수팀은 5만여 종에 달하는 이미 합성이 보고된 물질과 8만여 종의 *가상 물질로 이뤄진 `머터리얼스 프로젝트(Materials Project, MP)'라는 소재 관련 데이터베이스를 이용해 모델을 구축했다. 연구팀 관계자는 이 신기술을 활용한 결과, 소재들의 합성 가능성을 약 87% 정확하게 예측할 수 있다고 설명했다. 정 교수팀은 또 이미 합성된 소재들의 열역학적 특성을 분석한 결과, 열역학적 안정성만으로는 실제 소재의 합성 가능성을 예측할 수 없다는 사실도 알아냈다.
☞ 가상 물질(hypothetical materials) : 기존에 합성되어 보고된 물질들을 원소 치환해서 얻어지는 가상의 물질들로 아직 실험적으로 합성 보고가 이루어지지 않은 물질
이와 함께 머터리얼스 프로젝트(MP) 데이터베이스 내에 합성 가능성 점수가 가장 높은 100개의 가상 물질에 대해 문헌조사를 실시한 결과, 이들 중 머터리얼스 프로젝트(MP) 데이터베이스에는 합성 여부가 아직 알려지지 않았지만 실제로 합성돼 논문에 보고된 소재만도 71개에 달하는 것을 확인했고 이를 통해 모델의 높은 정확도를 추가로 입증했다.
정유성 교수는 "빠른 신소재 발견을 위해 다양한 소재 설계 프레임워크가 존재하지만 정작 설계된 소재의 합성 가능성에 관한 판단은 전문가 직관의 영역으로 남아 있다ˮ면서 "이번에 개발한 합성 가능성 예측 모델은 새로운 소재를 설계할 때 실제로 합성 가능성을 실험 전에 미리 판단할 수 있어 새로운 소재의 개발시간을 단축하는 데 큰 도움이 될 것ˮ이라고 말했다.
생명화학공학과 장지돈 박사과정과 구근호 박사후연구원이 공동 제1 저자로 참여한 이번 연구결과는 미국화학회가 발행하는 국제학술지 미국화학회지(Journal of the American Chemical Society) 온라인 10월 26일 자에 실렸다. (논문명: Structure-Based Synthesizability Prediction of Crystals Using Partially Supervised Learing)
한편 이번 연구는 과학기술정보통신부 산하 한국연구재단의 기초연구사업(중견연구)과 미래소재 디스커버리 사업 지원을 받아 수행됐고, 연구에 KISTI의 슈퍼컴퓨터를 활용했다.
2020.12.22 조회수 51069