-
반도체 정밀 공정 흐린 영상 복원 가능하다
생물학 연구에 사용되는 형광 현미경이나 반도체 산업에 사용되는 주사전자현미경의 공통점은 불안정성으로 인해 흐려진 영상(블러, blur)을 보정하는 과정이 반드시 필요하다는 점이다. 우리 연구진이 굉장히 강한 잡음에 의해 손상된 왜곡 영상에 대해 적응형 필터와 생성형 인공지능 모델을 융합해 영상을 복원하는 데 성공했다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀이 삼성전자 DS부문 반도체연구소 차세대공정개발실과 공동 연구를 통해 왜곡 및 강한 잡음이 존재하는 의료·산업 영상을 복원하는 기술을 개발했다고 26일 밝혔다.
스마트폰 카메라 사진에 영상의 흐림·왜곡이 생겼을 때 보정하는 문제를 디컨볼루션(deconvolution) 또는 디블러링(deblurring)이라고 하며, 흐려진 영상 정보만 이용해 선명한 영상을 복원하는 기술을 블라인드 디컨볼루션(blind deconvolution)이라고 한다. 흥미롭게도 디컨볼루션 문제는 일상뿐만 아니라 생물학 연구, 반도체 산업 등 다양한 분야에서 공통적으로 발생한다.
예를 들어, 형광 현미경은 세포와 분자 수준의 미세 구조를 시각화하기 때문에 측정된 형광 신호는 산란이나 회절, 수차 등의 효과로 인해 흐려지기 때문에 디컨볼루션 기법을 통해 보정하는 과정이 반드시 필요하다.
또한, 반도체 산업에서는 수천 개의 생산 공정 중간에 검사·계측 기술을 통해 발생할 수 있는 미세 공정 오류를 감지하고, 공정 수율 개선을 위한 프로세스 개선 과정에 사용되는 주사전자현미경이 전자 빔의 불안정성으로 인해 영상이 흐려지기 쉬우며, 이를 보정하는 과정이 반드시 필요하다.
연구팀은 이처럼 영상이 흐려지는 원인은 움직임, 빛의 산란, 전자의 불안정성 등과 같이 다양하지만, 공통적으로 ‘영상의 흐려짐을 없앤다’라는 점에서 수학적으로 동일한 접근 방법이 활용될 수 있다고 생각했다.
특히 잡음 수준이 높은 영상의 경우, 영상의 잡음을 효과적으로 억제함과 동시에 블러 효과가 제거된 선명한 영상을 복원하는 과정의 균형을 맞추는 것이 매우 중요하다는 점을 착안했다.
연구팀은 위너 디컨볼루션*을 기반으로 영상을 복원하는 접근법을 개발했다. 이를 적응형 잡음 억제 변수, 영상 생성형 인공지능 모델과 결합해 영상 복원 과정에서 발생할 수 있는 잡음을 억제하고 영상 선명도도 높였다.
*위너 디컨볼루션(Wiener deconvolution)은 왜곡된 영상을 역 필터(inverse filter)를 기반으로 깨끗한 영상으로 복원하는 전통적인 방식임.
연구팀은 잡음 민감도가 높은 주사전자현미경으로부터 측정된 왜곡된 영상으로부터 깨끗하고 초점이 맞는 나노미터 단위의 반도체 구조에 대한 영상을 성공적으로 복원해 냄으로써 반도체 검사·계측에 매우 효과적으로 적용할 수 있음을 실험적으로 증명했다.
바이오및뇌공학과 이찬석 연구원은 “이번 연구를 통해 강한 잡음 속에서 왜곡된 영상을 복원하는 난제를 해결했다ˮ며, 이어 "이번 연구에서는 무작위적 잡음을 극복하는 영상 복원 기술을 개발하는 데에 집중했고, 향후 비균일 영상 복원 및 다양한 손상 형태를 극복하는 영상 복원 기술 개발에 주력할 것이다ˮ라고 밝혔다.
바이오및뇌공학과 이찬석 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 비전 분야 최고 학회인 ‘제18회 유럽 컴퓨터 비전 학회(The 18th European Conference on Computer Vision)’ 에서 지난 10월 1일에 이탈리아 밀란에서 발표됐고, Springer Nature에서 출판하는 Lecture Notes in Computer Science의 ECCV 2024 프로시딩 집에 게재될 예정이다. (논문명: Blind image deblurring with noise-robust kernel estimation).
2024.11.26
조회수 383
-
초저조도/초고조도 환경에서도 모션 블러 없는 고화질 및 고해상도 영상 생성이 가능한 알고리즘 개발
우리 대학 기계공학과 윤국진 교수 연구팀이 영국 임페리얼 칼리지 김태균 교수 연구팀과 GIST 최종현 교수 공동 연구팀과의 2건의 공동 연구를 통해 이벤트 카메라를 활용한 고화질 및 고해상도 영상 생성 알고리즘들을 개발했다.
연구팀은 이번에 개발한 알고리즘들을 통해 기존의 RGB 기반 카메라가 영상을 획득하지 못하는 초저조도/초고조도 환경에서도 이벤트 카메라(Event Camera)를 활용하여 고화질 및 고해상도 영상을 생성할 수 있고, 특히 이벤트 카메라의 장점을 살려 초고속의 움직임에도 모션 블러(motion blur, 빠른 움직임에 의한 영상 열화) 없는 고프레임율의 영상을 생성할 수 있다고 밝혔다.
이벤트 카메라는 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응하여 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공하기 때문에, 기존 RGB 카메라가 영상을 획득할 수 없었던 고조도/저조도 환경에서도 영상 데이터 획득이 가능하고 또한 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있다.
하지만 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있다. 연구팀은 이벤트 카메라의 장점을 유지하면서 이와 같은 문제를 해결하기 위해 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 알고리즘들을 제안하였다. 제안된 알고리즘들은 이벤트 카메라로부터 획득된 이벤트 데이터를 일정 시간 동안 누적하여 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식으로, 두 공동 연구에서 각각 교사 학습/비교사 학습 기반의 알고리즘을 제안하였는데, 제안된 두 알고리즘들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능하여 조명의 변화가 극심한 환경이나 고속 움직임에 대한 분석이 필요한 다양한 분야에 적용 가능할 것으로 기대된다.
윤국진 교수는 “본 기술은 이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술로서, 기존 RGB 카메라로는 검출이 어려운 조명 변화가 극심한 상황에서 사용될 수 있고, 초고속 움직임에 대한 분석이 가능하기 때문에 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다.”고 말했다.
Mohammad Mostafavi 박사과정(GIST)이 1저자로 참여한 공동 연구와 Wang Lin 박사과정(KAIST)이 1저자로 참여한 공동 연구 논문들은 오는 6월에 개최 예정인 컴퓨터 비전/기계학습 분야의 국제 학술대회인 ‘IEEE Conference on Computer Vision and Pattern Recognition (CVPR)에 각각 구술/포스터 논문으로 발표될 예정이다. (논문명: (1) Learning to Super Resolve Intensity Images from Events, 이벤트를 활용한 초고해상도 이미지 생성 학습법, (2) EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning, 적대적 신경망 학습을 통한 비동기적 이벤트의 이미지로의 재구성, 복원 및 초해상도 연구)
한편, 이번 연구는 한국연구재단 중견연구자지원사업(NRF-2018R1A2B3008640)과 차세대정보・컴퓨팅기술개발사업(NRF-2017M3C4A7069369)의 지원을 받아 수행됐다.
2020.05.12
조회수 11511