-
똑똑한 영상 복원 인공지능 기술 개발
딥러닝 기술은 영상 복원 속도가 기존 알고리즘 대비 수백 배 이상 빠를 뿐만 아니라 복원 정확도 역시 높다. 하지만, 주어진 학습 데이터에만 의존하는 딥러닝 기술은 영상 취득 환경상에 변화가 생기면 성능이 급격히 저하되는 치명적인 약점이 있다. 이는 알파고와 이세돌 九단과의 대국 시 `신의 한 수'에 의해 알파고의 성능이 급격하게 저하되었던 사례를 떠올리면 쉽게 이해할 수 있다. 즉, 인공지능이 학습하지 못했던 변수(학습 데이터상에 존재하지 않는 수)가 발생할 때 신뢰도가 급격히 낮아지는 인공지능 기술의 근본적인 문제이기도 하다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀과 김재철AI 대학원 예종철 교수 연구팀이 공동 연구를 통해 인공 지능의 신뢰도 문제를 해결할 수 있는 물리적 학습 기반의 영상 복원 딥러닝 기술을 개발했다고 6일 밝혔다.
연구팀은 영상 취득 환경에서 발생할 수 있는 변수 대부분이 물리적 법칙을 통해 수학적으로 기술 가능하다는 점에 착안해 물리적 법칙과 심층 신경망이 통합된 학습 기법을 제시했다.
모든 영상 기술은 물리적인 영상 기기를 통해 영상 정보를 취득한다. 연구팀은 이 정보 취득 과정에 대한 물리적인 통찰력을 인공지능에 학습시키는 방법을 개발했다. 예를 들면, `네가 도출한 복원 결과가 물리적으로 합당할까?' 혹은 `이 영상 기기는 물리적으로 이런 변수가 생길 수 있을 것 같은데?'라는 식의 질문을 통해 물리적 통찰력을 인공지능에 이식하는 방법을 제시한 것이다.
연구팀은 변화하는 영상 취득 환경에서도 신뢰도 높은 홀로그래피 영상* 을 복원하는데 성공했다. 홀로그래피 영상 기술은 의료 영상, 군용 감시, 자율 주행용 영상 등 다양한 정밀 영상 기술에 다양하게 활용될 수 있는데, 이번 연구는 의료 진단 분야의 활용성을 집중적으로 검증하였다.
*홀로그래피 영상: 물체의 그림자 패턴(회절 패턴)으로부터 물체의 형태를 복원하는 영상 기법, 일반적인 영상 기술과 달리 위상 변화에 의한 물체의 미세 구조를 감지할 수 있는 영상 기술
연구팀은 먼저 3차원 공간상에서 매우 빠르게 움직이는 적혈구의 회절 영상(확산된 그림자형상)으로부터 적혈구의 형태를 실시간으로 복원하는데 성공했다. 이러한 동적인 영상 환경에서 예상치 못한 변수로는 여러 개의 적혈구 덩어리가 복잡하게 겹쳐진다거나 적혈구가 예상하지 못했던 위치로 흘러가는 경우를 생각해 볼 수 있다. 여기서, 연구팀은 인공 지능이 생성한 영상이 합당한 결과인지 빛 전파 이론을 통해 검산하는 방식으로 물리적으로 유효한 복원 신뢰도를 구현하는데 성공하였다.
연구팀은 암 진단의 표준기술로 자리잡고 있는 생검 조직(생체에서 조직 일부를 메스나 바늘로 채취하는 것)의 영상 복원에도 성공했다. 주목할 점은 특정한 카메라 위치에서 측정된 회절 영상만을 학습했음에도 인공지능의 인지능력이 부가되어 다양한 카메라 위치에서도 물체를 인식하는데 성공했다는 점이다. 이번에 구현된 기술은 세포 염색 과정이나 수 천 만원에 달하는 현미경이 필요하지 않아 생검 조직 검사의 속도와 비용을 크게 개선할 수 있을 것으로 기대된다.
물리적 통찰력을 인공 지능에 이식하는 영상 복원 기술은 의료 진단 분야 뿐만 아니라 광범위한 영상 기술에 활용될 것으로 기대된다. 최근 영상 기술 산업계 (모바일 기기 카메라, 의료 진단용 MRI, CT, 광 기반 반도체 공정 불량 검출 등) 에선 인공지능 솔루션 탑재가 활발히 이루어지고 있다. 영상 취득에 사용되는 센서, 물체의 밝기, 물체까지의 거리와 같은 영상 취득 환경은 사용자마다 다를 수밖에 없어 적응 능력을 갖춘 인공 지능 솔루션에 대한 수요가 큰 상황이다. 현재 대부분의 인공 지능 기술은 적응 능력 부재로 신뢰도가 낮은 문제 때문에 실제 현장에서 활용성이 제한적인 상황이다.
바이오및뇌공학과 이찬석 연구원은 "데이터와 물리 법칙을 동시에 학습하는 적응형 인공지능 기술은 홀로그래피 영상뿐만 아니라 초고해상도 영상, 3차원 영상, 비시선 영상(장애물 뒷면을 보는 영상) 등 다양한 계산 영상 기술에 적용될 수 있을 것으로 기대된다ˮ고 밝혔다.
연구진은 "이번 연구를 통해 인공지능 학습에 있어서 학습 데이터에 대한 강한 의존성(신뢰도 문제)을 물리적 법칙을 결합해 해소했을 뿐만 아니라, 이미지 복원에 있어 매게 변수화된 전방 모델을 기반으로 했기 때문에 신뢰도와 적응성이 크게 향상됐다ˮ며, 이어 "이번 연구에서는 데이터의 다양한 특성 중에서 수학적 혹은 물리적으로 정확히 다룰 수 있는 측면에 집중했고, 향후 무작위적인 잡음이나 데이터의 형태에 대해서도 제약받지 않는 범용 복원 알고리즘을 개발하는 데 주력할 것이다ˮ라고 밝혔다.
바이오및뇌공학과 이찬석 박사과정이 제1 저자로 참여한 이번 연구는 국제 학술지 `네이처 머신 인텔리전스(Nature Machine Intelligence)'에 지난 1월 17일 字 출판됐다. (논문명: Deep learning based on parameterized physical forward model for adaptive holographic imaging with unpaired data)
한편 이번 연구는 삼성미래기술육성사업과 선도연구센터사업의 지원을 받아 수행됐다.
2023.02.06
조회수 5546
-
예종철 교수, 인공지능 블랙박스의 원리 밝혀
〈 예종철 교수, 한요섭 연구원, 차은주 연구원 〉
우리 대학 바이오및뇌공학과 예종철 석좌교수 연구팀이 인공지능의 기하학적인 구조를 규명하고 이를 통해 의료영상 및 정밀분야에 활용 가능한 고성능 인공신경망 제작의 수학적인 원리를 밝혔다.
연구팀의 ‘심층 합성곱 프레임렛(Deep Convolutional Framelets)’이라는 새로운 조화분석학적 기술은 인공지능의 블랙박스로 알려진 심층 신경망의 수학적 원리를 밝혀 기존 심층 신경망 구조의 단점을 보완하고 이를 다양하게 응용 가능할 것으로 기대된다.
예종철 석좌교수가 주도하고 한요섭, 차은주 박사과정이 참여한 이번 연구는 응용수학 분야 국제 학술지 ‘사이암 저널 온 이매징 사이언스(SIAM Journal on Imaging Sciences)’ 4월 26일자 온라인 판에 게재됐다.
심층신경망은 최근 폭발적으로 성장하는 인공지능의 핵심을 이루는 딥 러닝의 대표적인 구현 방법이다. 이를 이용한 영상, 음성 인식 및 영상처리 기법, 바둑, 체스 등은 이미 사람의 능력을 뛰어넘고 있으며 현재 4차 산업혁명의 핵심기술로 알려져 있다.
그러나 이러한 심층신경망은 그 뛰어난 성능에도 불구하고 정확한 동작원리가 밝혀지지 않아 예상하지 못한 결과가 나오거나 오류가 발생하는 문제가 있다. 이로 인해 ‘설명 가능한 인공지능(explainable AI: XAI)’에 대한 사회적, 기술적 요구가 커지고 있다.
연구팀은 심층신경망의 구조가 얻어지는 고차원 공간에서의 기하학적 구조를 찾기 위해 노력했다. 그 결과 기존의 신호처리 분야에서 집중 연구된 고차원 구조인 행켈구조 행렬(Hankel matrix)을 기저함수로 분해하는 과정에서 심층신경망 구조가 나오는 것을 발견했다.
행켈 행렬이 분해되는 과정에서 기저함수는 국지기저함수(local basis)와 광역기저함수(non-local basis)로 나눠진다. 연구팀은 광역기저함수와 국지기저함수가 각각 인공지능의 풀링(pooling)과 필터링(filtering) 역할을 한다는 것을 밝혔다.
기존에는 인공지능을 구현하기 위한 심층신경망을 구성할 때 구체적인 작동 원리를 모른 채 실험적으로 구현했다면, 연구팀은 신호를 효과적으로 나타내는 고차원 공간인 행켈 행렬를 찾고 이를 분리하는 방식을 통해 필터링, 풀링 구조를 얻는 이론적인 구조를 제시한 것이다.
이러한 성질을 이용하면 입력신호의 복잡성에 따라 기저함수의 개수와 심층신경망의 깊이를 정해 원하는 심층신경망의 구조를 제시할 수 있다.
연구팀은 수학적 원리를 통해 제안된 인공신경망 구조를 영상잡음제거, 영상 화소복원 및 의료영상 복원 문제에 적용했고 매우 우수한 성능을 보임을 확인했다.
예종철 교수는 “시행착오를 반복해 설계하는 기존의 심층신경망과는 달리 원하는 응용에 따라 최적화된 심층신경망구조를 수학적 원리로 디자인하고 그 영향을 예측할 수 있다”며 “이 결과를 통해 의료 영상 등 설명 가능한 인공지능이 필요한 다양한 분야에 응용될 수 있다”고 말했다.
이번 연구는 과학기술정보통신부의 중견연구자지원사업(도약연구) 및 뇌과학원천기술사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 수학적인 원리를 이용한 심층신경망의 설계 예시
그림2. 영상잡음제거 결과
그림3. 영상에서 80% 화소가 사라진 경우 인공신경망을 통해 복원한 결과
2018.05.10
조회수 17442
-
박현욱 교수, 머신러닝 통해 MRI 영상촬영시간 단축기술 개발
우리 대학 전기및전자공학부 박현욱 교수 연구팀이 머신러닝 기반의 영상복원법을 이용해 자기공명영상장치(이하 MRI)의 영상 획득시간을 6배 이상 단축시킬 수 있는 기술을 개발했다.
이번 연구를 통해 MRI의 영상획득시간을 대폭 줄임으로써 환자의 편의성을 높일 뿐 아니라 의료비용 절감 효과를 기대할 수 있을 것으로 보인다.
권기남 박사과정이 1저자로 참여한 이번 연구는 국제 학술지 ‘메디컬 피직스(Medical Physics)’ 12월 13일자에 게재됐고 그 우수성을 인정받아 표지 논문에 선정됐다.
MRI는 방사능 없이 연조직의 다양한 대조도를 촬영할 수 있는 영상기기이다. 다양한 해부학적 구조 뿐 아니라 기능적, 생리학적 정보 또한 영상화 할 수 있기 때문에 의료 진단을 위해 매우 높은 빈도로 사용되고 있다.
하지만 MRI는 다른 의료영상기기에 비해 영상획득시간이 오래 걸린다는 단점이 있다. 따라서 환자들은 MRI를 찍기 위해 긴 시간을 대기해야 하고 촬영 과정에서도 자세를 움직이지 않아야 하는 등의 불편함을 감수해야 한다.
특히 길게 소요되는 영상획득시간은 MRI의 비싼 촬영 비용과 직접적인 연관이 있다.
박 교수 연구팀은 MRI의 영상획득시간을 줄이기 위해 데이터를 적게 수집하고 대신 부족한 데이터를 기계학습(Machine Learning)을 이용해 복원하는 방법을 개발했다.
기존의 MRI는 주파수 영역에서 여러 위상 인코딩을 하면서 순차적으로 한 줄씩 얻기 때문에 영상획득시간이 오래 걸린다. 획득 시간을 단축시키기 위해 저주파 영역에서만 데이터를 얻으면 저해상도 영상을 얻게 되고 듬성듬성 데이터를 얻으면 영상에서 인공물이 생기는 에일리어싱 아티팩트 현상이 발생한다.
이러한 에일리어싱 아티팩트를 해결하기 위해 다른 민감도를 갖는 여러 수신 코일을 활용한 병렬 영상법과 신호의 희소성을 이용한 압축 센싱 기법이 주로 활용됐다.
그러나 병렬 영상법은 수신 코일들의 설계에 영향을 받기 때문에 시간을 많이 단축할 수 없고 영상 복원에도 시간이 많이 걸린다.
연구팀은 MRI의 가속화에 의해 발생하는 에일리어싱 아티팩트 현상을 없애기 위해 라인 전체를 고려한 인공 신경망(Deep Neural Networks)을 개발했다.
연구팀은 위 기술과 함께 기존 병렬 영상법에서 이용했던 복수 수신 코일의 정보를 활용했고, 이 방식을 통해 직접적으로 영향을 주는 부분만을 연결해 네트워크의 효율성을 높였다.
기존 방법들의 경우 서브 샘플링 패턴에 많은 영향을 받았지만 박 교수 연구팀의 기술은 다양한 서브샘플링 패턴에 적용 가능하며 기존 방법대비 복원 영상의 우수함을 보였고 실시간 복원 또한 가능하다.
박 교수는 “MRI는 환자 진단에 필요한 필수 장비가 됐지만 영상 획득 시간이 오래 걸려 비용이 비싸고 불편함이 많았다”며 “기계학습을 활용한 방법이 MRI의 영상 획득 시간을 크게 단축할 것으로 기대한다”고 말했다.
이번 연구는 과학기술정보통신부의 인공지능 국가전략프로젝트와 뇌과학원천기술개발사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 국제 학술지 ‘메디컬 피직스 (Medical Physics)’12월호 표지
그림2. 제안하는 네트워크의 모식도
그림3. MRI의 일반적인 영상 획득 및 가속 영상 획득 모식도
2017.12.29
조회수 17595
-
우운택 교수, 스마트 관광 증강현실 어플리케이션 개발
〈 우 운 택 교수 〉
우리 대학 문화기술대학원 우운택 교수 연구팀이 스마트 관광 지원을 위한 증강 및 가상현실 어플리케이션을 개발했다.
‘케이 컬처 타임머신(K-Culture Time Machine)’ 어플리케이션은 창덕궁을 대상으로 한 시범 서비스로 iOS 앱스토어에 5월 23일 공개됐다.
개발된 케이 컬처 타임머신은 웨어러블 360도 비디오를 통해 문화유산이나 유적지에 대한 시공간을 넘는 원격 체험을 제공한다.
사용자는 VR기기에 스마트폰을 장착해 제공되는 360도 비디오로 문화 유적지를 원격으로 체험하고 해당 문화유산 및 연관관계가 있는 인물, 장소, 사건 등에 대한 정보를 확인할 수 있다. 또한 소실된 문화유산에 대한 3차원 디지털 복원도 체험할 수 있다.
웨어러블 기기 활용 없이도 모바일 모드를 통해 사용자 주변 유적지 확인, 카메라에 인식된 문화유산을 인식하고 관련된 정보와 콘텐츠를 제공하는 증강현실 기반의 문화유산 가이드가 가능하다.
사용자는 자신의 위치에서 창덕궁 돈화문을 시작으로 인정문, 인정전, 희정당에 이르는 창덕궁 내부를 이동하며 360도 파노라마 이미지나 비디오를 통해 현장을 가상체험 할 수 있다.
현재는 존재하지 않는 인정전 동쪽의 궐내 곽사 지역에는 3D모델을 통한 승정원의 가상 복원을 확인할 수 있다.
위 기능은 웨어러블 기기 없이 스마트폰 상에서도 체험 가능하며 개발 중인 증강현실 기능이 완성되면 현장에서 활용 가능한 수준의 어플리케이션이 될 것으로 기대된다.
우 교수 연구팀은 문화유산 데이터베이스와 증강-가상현실 콘텐츠의 표준화된 메타데이터를 구축하고 이를 적용했다. 이를 활용해 일시적으로 개발 후 소비되는 기존 어플리케이션과는 달리 추가적인 콘텐츠 생성 및 추가가 가능하다.
우 교수는 “증강현실 콘텐츠의 상호 활용성과 재활용성을 증진해 스마트관광 분야의 새로운 시장을 선점할 수 있을 것이다”며 “콘텐츠 개발 비용 절감과 증강현실 콘텐츠 생태계 활성화를 가능하게 하는 다양한 부가 효과도 기대한다”고 말했다.
이번 연구는 ㈜포스트미디어(대표 홍승모)와 문화체육관광부 CT R&D 사업과의 공동 수행을 통해 이뤄졌으며, 관련 연구 성과는 올 7월 캐나다에서 진행되는 HCII 2017 학회를 통해 발표될 예정이다.
□ 그림 설명
그림1. 360 VR 서비스 개념도
그림2. K-Culture Time Machine의 모바일 증강현실 기능 구동 화면
그림3. K-Culture Time Machine의 360도 파노라마 이미지-비디오 기능 화면
2017.05.23
조회수 16417
-
자연계 초고속 현상을 측정할 수 있는 ‘아토과학’ 시대를 열다
- Physical Review Letters지 발표, 원자 의 초고속 시간 변화 측정 및 복원 성공 -
국내 연구진이 아토초 펄스*를 이용해 시간적으로 매우 빠르게 변화하는 헬륨 원자의 상태를 정확히 측정하는데 성공하여, 자연계의 다양한 초고속 현상을 정확히 측정할 수 있는 ‘아토과학’의 시대를 열었다.
※아토초 펄스 : 1 아토초는 10-18초이고, 펄스(pulse)는 맥박처럼 짧은 시간에 생기는 진동현상을 말함. 아토초는 다음의 비율에서 그 짧은 정도를 가늠할 수 있음. 우주나이 : 1 초 = 1 초 : 1 아토초
우리 학교 남창희 교수(55세)가 주도하고 김경택 박사와 금오공대 최낙렬 교수 등이 참여한 이번 연구는 교육과학기술부(장관 이주호)와 한국연구재단(이사장 이승종)이 추진하는 중견연구자지원사업(도약연구)의 지원으로 수행되었고, 연구결과는 물리학 분야의 권위 있는 학술지인 ‘Physical Review Letters"지 3월호(108권, 3월 2일자)에 게재되었다. (논문명: Amplitude and Phase Reconstruction of Electron Wave Packets for Probing Ultrafast Photoionization Dynamics)
남창희 교수 연구팀은 아토초 펄스를 이용해 초고속 광이온화*를 계측하는데 성공하였다.
※ 광이온화 : 아토초 영역에서 레이저나 연엑스선(의료용 엑스선보다는 약간 파장이 긴 엑스선)을 광원으로 원자를 이온화한 것.
남 교수팀은 아토초 엑스선 펄스와 펨토초(10-15초) 레이저 펄스를 이용해 헬륨 원자를 광이온화하고, 이 때 발생한 전자의 파속을 측정하여 초고속 광이온화 과정을 명쾌하게 규명하였다.
아토초 펄스를 이용한 원자의 초고속 광이온화 계측은 연구팀이 자체 개발한 고출력 펨토초 레이저와 고성능 광전자 계측장비에 의해 수행된 순수 국내 연구진의 결실이다. 연구팀은 지난 2010년에 고차조화파*를 이용해 세계에서 가장 짧은 60아토초 펄스를 생성한 바 있다.
※ 고차조화파 : 강한 펨토초 레이저를 기체원자에 집속하여 발생된 연엑스선 영역에서 레이저의 특성을 닮은, 매우 짧은 펄스폭을 가지는 우수한 연엑스선 광원
연구팀은 고출력 펨토초 레이저를 이용해 아르곤 기체에서 아토초 고차조화파 펄스를 생성하고, 이를 이용해 헬륨 원자를 광이온화시켜 원자에서 발생하는 초고속 광이온화 현상을 계측하였다. 남창희 교수는 “이번 연구는 아토초 펄스를 이용해 시간적으로 매우 빠르게 변화하는 헬륨 원자의 상태를 정확히 측정한 것으로, 향후 이번 연구결과를 바탕으로 원자와 분자 내부에서 일어나는 초고속 현상을 계측하고 이를 이용해 원자와 분자의 상태를 조절하는 연구를 진행하는 등 자연계의 초고속 현상을 정확히 측정하는데 기여할 계획”이라고 밝혔다.
2012.03.01
조회수 12410