%ED%95%B4%EC%83%81%EB%8F%84
-
초저조도/초고조도 환경에서도 모션 블러 없는 고화질 및 고해상도 영상 생성이 가능한 알고리즘 개발
우리 대학 기계공학과 윤국진 교수 연구팀이 영국 임페리얼 칼리지 김태균 교수 연구팀과 GIST 최종현 교수 공동 연구팀과의 2건의 공동 연구를 통해 이벤트 카메라를 활용한 고화질 및 고해상도 영상 생성 알고리즘들을 개발했다.
연구팀은 이번에 개발한 알고리즘들을 통해 기존의 RGB 기반 카메라가 영상을 획득하지 못하는 초저조도/초고조도 환경에서도 이벤트 카메라(Event Camera)를 활용하여 고화질 및 고해상도 영상을 생성할 수 있고, 특히 이벤트 카메라의 장점을 살려 초고속의 움직임에도 모션 블러(motion blur, 빠른 움직임에 의한 영상 열화) 없는 고프레임율의 영상을 생성할 수 있다고 밝혔다.
이벤트 카메라는 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응하여 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공하기 때문에, 기존 RGB 카메라가 영상을 획득할 수 없었던 고조도/저조도 환경에서도 영상 데이터 획득이 가능하고 또한 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있다.
하지만 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있다. 연구팀은 이벤트 카메라의 장점을 유지하면서 이와 같은 문제를 해결하기 위해 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 알고리즘들을 제안하였다. 제안된 알고리즘들은 이벤트 카메라로부터 획득된 이벤트 데이터를 일정 시간 동안 누적하여 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식으로, 두 공동 연구에서 각각 교사 학습/비교사 학습 기반의 알고리즘을 제안하였는데, 제안된 두 알고리즘들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능하여 조명의 변화가 극심한 환경이나 고속 움직임에 대한 분석이 필요한 다양한 분야에 적용 가능할 것으로 기대된다.
윤국진 교수는 “본 기술은 이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술로서, 기존 RGB 카메라로는 검출이 어려운 조명 변화가 극심한 상황에서 사용될 수 있고, 초고속 움직임에 대한 분석이 가능하기 때문에 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다.”고 말했다.
Mohammad Mostafavi 박사과정(GIST)이 1저자로 참여한 공동 연구와 Wang Lin 박사과정(KAIST)이 1저자로 참여한 공동 연구 논문들은 오는 6월에 개최 예정인 컴퓨터 비전/기계학습 분야의 국제 학술대회인 ‘IEEE Conference on Computer Vision and Pattern Recognition (CVPR)에 각각 구술/포스터 논문으로 발표될 예정이다. (논문명: (1) Learning to Super Resolve Intensity Images from Events, 이벤트를 활용한 초고해상도 이미지 생성 학습법, (2) EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning, 적대적 신경망 학습을 통한 비동기적 이벤트의 이미지로의 재구성, 복원 및 초해상도 연구)
한편, 이번 연구는 한국연구재단 중견연구자지원사업(NRF-2018R1A2B3008640)과 차세대정보・컴퓨팅기술개발사업(NRF-2017M3C4A7069369)의 지원을 받아 수행됐다.
2020.05.12 조회수 11427 -
해상도 높인 곤충 눈 구조 초박형 카메라 개발
바이오및뇌공학과 정기훈 교수 연구팀이 고해상도 이미징을 위한 곤충 눈 구조의 초박형 카메라를 개발했다. 이 카메라는 독특한 시각 구조를 가진 제노스 페키(Xenos peckii)라는 곤충의 눈을 모사해 개발돼, 상용 카메라보다 더 얇은 렌즈 두께와 넓은 광시야각을 갖는다. 이러한 특징을 이용해 모바일, 감시 및 정찰 장비, 의료영상 기기 등 다양한 소형 카메라가 필요한 분야에 적용 가능할 것으로 기대된다.
김기수 박사과정이 주도한 이번 연구결과는 국제 학술지 ‘빛 : 과학과 응용 (Light : Science & Applications)’ 2월 27일 자 온라인판에 게재됐다. (논문명: 고대비 고해상도 이미징을 위한 생체모사 초박형 카메라, Biologically Inspired Ultrathin Arrayed Camera for High Contrast and High Resolution Imaging)
최근 초소형 및 초박형 스마트 기기의 개발로 소형화된 이미징 시스템의 수요가 커지고 있다. 그러나 기존의 카메라는 물체의 상이 일그러지거나 흐려지는 현상인 수차를 줄이기 위해 다층 렌즈 구조를 활용하기 때문에 렌즈 두께를 감소하는 데 한계가 있다. 또한, 기존의 곤충 눈을 모사한 미세렌즈 배열(Microlens arrays)은 렌즈 사이의 광학 크로스토크(Optical crosstalk)로 인해 해상도가 저해되는 단점이 있다.
연구팀은 문제 해결을 위해 제노스 페키 곤충의 시각 구조를 모사한 렌즈를 제작했고 이를 이미지 센서와 결합해 초박형 카메라를 개발했다. 곤충의 눈은 렌즈와 렌즈 사이의 빛을 차단하는 색소 세포(pigment cells)가 존재해 각 렌즈에서 결상(어떤 물체에서 나온 광선 등이 반사 굴절한 다음 다시 모여 그 물체와 닮은꼴의 상을 만드는 현상)되는 영상들 간의 간섭을 막는다. 이러한 구조는 렌즈들 사이의 광학 크로스토크를 막아 고 대비 및 고해상도 영상을 획득하는 데 도움을 준다.
연구팀은 이러한 광 차단 구조를 포토리소그래피(Photolithography) 공정으로 매우 얇게 제작해 렌즈들 사이의 광학 크로스토크를 효율적으로 차단했다. 렌즈의 두께를 최소화하기 위해 렌즈의 방향을 이미지 센서 방향인 역방향으로 배치했으며, 이를 통해 최종 개발된 카메라 렌즈의 두께는 0.74mm로 이는 10원짜리 동전 절반 정도의 두께이다. 연구팀은 카메라의 원거리에 있는 물체를 모든 렌즈에서 같은 시야각을 통해 동일한 영상을 획득하고, 이 배열 영상들은 해상도를 하나의 이미지로 합성했다. 합성된 영상은 합성 전 단일 채널 영상보다 향상된 해상도를 가짐을 확인했다.
정기훈 교수는 “실질적으로 상용화 가능한 초박형 카메라를 제작하는 방법을 개발했다”라며 “이 카메라는 영상획득이 필요한 장치에 통합돼 장치 소형화에 크게 기여할 것으로 확신한다”라고 말했다.
2020.03.23 조회수 17128 -
김상현 교수, 6만 ppi 초고해상도 디스플레이 제작기술 개발
〈 김상현 교수 연구팀(왼쪽 위 두번째 김상현 교수) 〉
우리 대학 전기및전자공학부 김상현 교수 연구팀이 반도체 공정 기술을 활용해 기존 마이크로 LED 디스플레이의 해상도 한계를 극복할 수 있는 6만 ppi(pixel per inch) 이상의 초고해상도 디스플레이 제작 가능 기술을 개발했다.
금대명 박사가 1 저자로 참여한 이번 연구는 국제학술지 ‘나노스케일(Nanoscale)’ 12월 28일자 표지 논문으로 게재됐다. (논문명 : Strategy toward the fabrication of ultrahigh-resolution micro-LED displays by bonding interface-engineered vertical stacking and surface passivation).
디스플레이의 기본 단위인 LED 중 무기물 LED는 유기물 LED보다 높은 효율, 높은 신뢰성, 고속성을 가져 마이크로 크기의 무기물 LED를 픽셀 화소로 사용하는 디스플레이(마이크로 LED 디스플레이)가 새로운 디스플레이 기술로 주목받고 있다.
무기물 LED를 화소로 사용하기 위해서는 적녹청(R/G/B) 픽셀을 밀집하게 배열해야 하지만, 현재 적색과 녹색, 청색을 낼 수 있는 LED의 물질이 달라 각각 제작한 LED를 디스플레이 기판에 전사해야 한다. 따라서 마이크로 LED 디스플레이에 관련한 대부분 연구가 이런 패키징 측면의 전사 기술 위주로 이루어지고 있다.
그러나 수백만 개의 픽셀을 마이크로미터 크기로 정렬해 세 번의 전사과정으로 화소를 형성하는 것은 전사 시 사용하는 LED 이송헤드의 크기 제한, 기계적 정확도 제한, 그리고 수율 저하 문제 등 해결해야 할 기술적 난제들이 많아 초고해상도 디스플레이에 적용하기에는 한계가 있다.
연구팀은 문제 해결을 위해 적녹청 LED 활성층을 3차원으로 적층한 후, 반도체 패터닝 공정을 이용해 초고해상도 마이크로 LED 디스플레이에 대응할 수 있는 소자 제작 방법을 제안함과 동시에 수직 적층시 문제가 될 수 있는 색의 간섭 문제, 초소형 픽셀에서의 효율 개선 방안을 제시했다.
연구팀은 3차원 적층을 위해 기판 접합 기술을 사용했고, 색 간섭을 최소화하기 위해 접합 면에 필터 특성을 갖는 절연막을 설계해 적색-청색 간섭 광을 97% 제거했다.
이러한 광학 설계를 포함한 접합 매개물을 통해 수직으로 픽셀을 결합해도 빛의 간섭 없이 순도 높은 픽셀을 구현할 수 있음을 확인했다. 연구팀은 수직 결합 후 반도체 패터닝 기술을 이용해 6만 ppi 이상의 해상도 달성 가능성을 증명했다.
또한, 초소형 LED 픽셀에서 문제가 될 수 있는 반도체 표면에서의 비 발광성 재결합 현상을 시간 분해 광발광 분석과 전산모사를 통해 체계적으로 조사해 초소형 LED의 효율을 개선할 수 있는 중요한 방향성을 제시했다.
김상현 교수는 “반도체 공정을 이용해 초고해상도의 픽셀 제작 가능성을 최초로 입증한 연구로, 반도체와 디스플레이 업계 협력의 중요성을 보여주는 연구 결과이다”라며 “후속 연구를 통해 초고해상도 미래 디스플레이의 기술 개발에 힘쓰겠다”라고 말했다.
이번 연구는 한국연구재단 이공분야 기초연구사업 기본연구, 기후변화대응기술개발사업 등의 지원을 받아 수행됐다.
□ 그림 설명
그림 1. 1um 크기를 가진 마이크로 단일 LED 가 실제로 배열된 모습을 보여주는 이미지, 1 um, 0.6 um 크기를 가진 LED를 광 여기 방법을 통해 적색 발광이 되는 모습을 보여주는 이미지(작은 사진). 이는 작아진 LED에서도 적색 발광특성이 잘 발현됨을 보여줌.
그림 2. 나노스케일 커버 이미지: 본 제작 방법의 사용 예시를 보여줌
2020.01.06 조회수 17203 -
김필한 교수, 패혈증 환자의 폐 손상 원인 밝혀
〈 김필한 교수 〉
우리 대학 의과학대학원/나노과학기술대학원 김필한 교수 연구팀이 3차원 생체현미경 기술을 통해 패혈증 폐에서 모세혈관과 혈액 내 순환 세포를 고해상도 촬영하는 데 성공했다.
연구팀은 패혈증 폐의 모세혈관 내부에서 백혈구의 일종인 호중구(好中球, neutrophil)들이 서로 응집하며 혈액 미세순환의 저해를 유발하고, 나아가 피가 통하지 않는 사강(死腔, dead space)을 형성함을 규명했다.
연구팀은 이 현상이 패혈증 모델의 폐손상으로 이어지는 조직 저산소증 유발의 원인이 되며, 호중구 응집을 해소하면 미세순환이 개선되며 저산소증도 함께 호전됨을 증명했다.
박인원 박사(현 분당서울대학교병원 응급의학과)가 주도한 이번 연구결과는 의학 분야 국제 학술지 ‘유럽호흡기학회지(European Respiratory Journal)’에 3월 28일 자에 게재됐다.
폐는 호흡을 통해 생명 유지의 필수 작용인 산소와 이산화탄소 간 가스 교환을 하는 기관으로 이는 적혈구들이 순환하는 수많은 모세혈관으로 둘러싸인 폐포(肺胞)에서 이뤄진다.
폐포의 미세순환 관찰을 위해 연구자들이 지속적인 노력을 하고 있으나 호흡을 위해 항상 움직이는 폐 안의 모세혈관과 적혈구의 미세순환을 고해상도로 촬영하는 것은 매우 어려웠다.
연구팀은 자체 개발한 초고속 레이저 스캐닝 공초점 현미경과 폐의 호흡 상태를 보존하면서 움직임을 최소화할 수 있는 영상 챔버를 새롭게 제작했다. 이를 통해 패혈증 동물모델의 폐에서 모세혈관 내부의 적혈구 순환 촬영에 성공했다.
이 과정에서 패혈증 모델의 폐에서 적혈구들이 순환하지 않는 공간인 사강이 증가하며 이곳에서 저산소증이 유발되는 것을 발견했다. 이는 혈액 내부의 호중구들이 모세혈관과 세동맥 내부에서 서로 응집하며 갇히는 현상으로 인해 발생함을 밝혔다. 갇힌 호중구들은 미세순환 저해, 활성산소의 다량 생산 등 패혈증 모델의 폐 조직 손상을 유발하는 것도 확인했다.
연구팀은 추가 연구를 통해 폐혈관 내부의 응집한 호중구가 전신을 순환하는 호중구에 비해 세포 간 부착에 관여하는 Mac-1 수용체(CD11b/CD18)가 높게 발현함을 증명했다. 이어 Mac-1 저해제를 패혈증 모델에 사용하여 호중구 응집으로 저해된 미세순환을 개선하고 저산소증의 호전과 폐부종 감소를 증명했다.
연구팀이 독자 개발한 최첨단 고해상도 3차원 생체현미경 기술은 살아있는 폐 안 세포들의 실시간 영상촬영이 가능해 패혈증을 포함한 여러 폐 질환의 연구에 다양하게 활용될 것으로 기대된다.
연구팀의 폐 미세순환 영상촬영 및 정밀 분석 기법은 향후 미세순환과 연관된 다양한 질환들의 연구뿐 아니라 새로운 진단기술 개발 및 치료제의 평가를 위한 원천기술로 활용될 것으로 보인다.
김 교수 연구팀의 3차원 생체현미경 기술은 KAIST 교원창업기업인 아이빔테크놀로지(IVIM Technology, Inc)를 통해 상용화돼 올인원 생체현미경 모델 ‘IVM-CM’과 ‘IVM-C’로 출시됐으며 여러 인간 질환의 복잡한 발생 과정을 밝히기 위한 기초 의․생명 연구의 차세대 첨단 영상장비로서 미래 글로벌 바이오헬스 시장에 핵심 장비로 활용될 예정이다.
김 교수는 “패혈증으로 인한 급성 폐손상 모델에서 폐 미세순환의 저해가 호중구로 인하여 발생하며, 이를 제어하면 미세순환 개선을 통해 저산소증 및 폐부종을 해소할 수 있어 패혈증 환자를 치료하는 새로운 전략이 될 수 있음을 새롭게 밝혀냈다.”고 말했다.
이번 연구는 의과학대학원 졸업생 박인원 박사가 1저자로 참여했고 유한재단 보건장학회, 교육부 글로벌박사펠로우쉽사업, 과학기술정보통신부의 글로벌프론티어사업과 이공분야기초연구사업, 그리고 보건복지부의 질환극복기술개발사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 초고속 레이저주사 3차원 생체현미경 시스템
그림2. 생체 내 폐 이미징 기술 개념도 및 사진
2019.04.01 조회수 17517 -
소장 내 지방 흡수과정의 비밀 밝혀
김 필 한 교수
우리 대학 나노과학기술대학원 김필한 교수와 의과학대학원 고규영 교수 공동 연구팀이 소장에서 지방이 흡수되는 과정의 고해상도 촬영에 성공했다.
이번 연구는 나노과학기술대학원 최기백 박사과정 학생, 의과학대학원 장전엽 박사, 박인태 박사과정 학생이 1저자로 참여했다.
이를 통해 소장의 융모로 흡수된 지방의 전달 통로인 암죽관의 수축현상을 최초로 발견했다.
이번 연구결과는 의생명과학 분야 국제 학술지인 ‘임상연구(The Journal of Clinical Investigation, Impact Factor 13.261)’ 10월 5일자 온라인판에 게재됐다. 또한 11월에는 이달의 주목할 만한 연구로 ‘JCI This month’에도 소개될 예정이다. (논문명 : Intravital imaging of intestinal lacteals unveils lipid drainage through contractility)
소장은 영양분을 흡수하는 기관이다. 소장의 관찰을 위해 많은 학자들이 노력했지만 소장은 항상 쉬지 않고 움직이기 때문에 고해상도 촬영에 한계가 있었다.
연구팀은 자체 개발한 초고속 레이저 스캐닝 공초점 현미경과 소장 의 상태를 보존하고 내벽을 고정할 수 있는 영상 챔버를 이용해 동물 모델의 소장 내벽에서 지방산이 흡수되는 과정을 촬영했다.
이 과정에서 지방의 흡수 통로인 암죽관이 일정 주기로 수축 및 이완하는 현상을 발견했다. 또한 암죽관의 수축 정도가 소장에서의 지방산 흡수 속도에 영향을 미치는 것을 발견했다.
연구팀은 이 암죽관의 움직임이 융모 내부에 다량 존재하는 민무늬근세포에 의해 발생하고, 이는 체내에 분포된 자율신경계를 통해 조절됨을 밝혔다.
이번 연구를 통해 개발된 최첨단 고해상도 생체영상기술로 소장 내 다양한 물질 흡수 과정의 실시간 모니터링이 가능해질 것으로 예상된다.
또한 이 기술은 신약개발 과정에서 지용성 약물이 소장 내 암죽관으로 흡수되게 해 간 독성을 최소화하는 새로운 약물전달 방법 확립에 기여할 것으로 기대된다.
김 교수는 “우리가 섭취하는 다량의 지용성 영양소가 체내로 흡수되는 과정에서 자율신경계로 조절되는 융모 내부의 암죽관 제어 메커니즘이 존재함을 새롭게 밝혀냈다”고 말했다.
이번 연구는 미래창조과학부의 글로벌프론티어사업 및 신기술융합형 성장동력사업의 지원을 받아 수행됐다.
그림 설명
그림1. 소장 내벽에 존재하는 융모에서 지방산이 흡수되는 과정을 광학현미경으로 영상화하는 과정 모식도
그림2. 소장 융모에서 지방산(적색)이 암죽관(녹색)을 통해 흡수되는 과정
그림3. 암죽관(녹색)의 반복적인 이완과 수축 운동. 0초, 2.7초에 이완. 1.6초, 4초에 암죽관의 수축
2015.10.14 조회수 15672 -
휴대용 음향카메라 개발
- 세계 3대 디자인 공모전 ‘레드 닷 디자인 어워드’ 수상 -
우리 학교 산업디자인학과 배석형 교수가 ㈜에스엠인스트루먼트 및 ㈜현대자동차와 공동으로 개발한 세계 최초의 ‘휴대용 음향카메라’가 세계 3대 디자인 공모전 중 하나인 레드 닷 디자인 어워드(Red Dot Design Award)의 제품디자인 부문 수상작으로 선정됐다.
자동차 운전자라면 한번쯤 원인을 알 수 없는 소음 때문에 골머리를 앓은 경험이 있을 것이다. 자동차를 비롯한 공업제품에서 비정상적인 소음이 발생하면 설계의 오류나 부품의 마모, 파손 등 다양한 문제가 있을 수 있는데 소음이 발생하는 위치를 사람의 청각으로 정확하게 찾아내기는 쉽지 않다.
이러한 상황에서 유용하게 쓰일 수 있는 장치가 음향카메라다. 열 감지 카메라가 온도의 분포를 색으로 표현하듯이 음향카메라는 마이크로폰 배열을 이용해 측정한 소리의 분포를 색으로 표현해 소음원의 위치를 보여준다.
하지만 기존의 음향카메라는 크고 무거울 뿐만 아니라 조립 및 설치 방법이 복잡하고 삼각대 위에 고정된 상태로만 사용할 수 있어 설치가 어려운 좁은 공간이나 자동차의 바닥면 등은 측정이 불가능한 경우가 많았다.
이번에 개발된 휴대용 음향카메라는 가로 39cm × 세로 38cm, 무게 1.78kg으로 크기와 무게가 기존 제품에 비해 각각 40%, 30%에 불과해 사용자가 자유롭게 들고 움직이면서 측정대상을 탐색할 수 있다.
다섯 가닥의 나선형으로 배치된 30개의 마이크로폰과 고해상도 카메라는 공업제품의 개발 및 수리 과정에서 중요한 350Hz~12kHz 주파수 대역의 소음의 분포를 이미지와 합성해 사용자에게 직관적으로 보여주며 동영상으로 저장할 수도 있다.
새로 개발된 제품은 기존의 제품과는 달리 일체형으로 측정에 앞서 마이크로폰을 조립하는 불편을 해소했다.
가운데 손잡이는 인체공학적으로 설계되어 사용자가 한 손으로도 음향카메라의 무게를 안정적으로 지탱할 수 있다. 또 받침대 역할을 하기도 하는 양 옆의 손잡이는 두 손을 이용해 다양한 방식으로 음향카메라를 잡을 수 있도록 설계되어 좁은 공간이나 바닥면 등도 사용자가 무리한 자세를 취하지 않고 측정할 수 있다.
현대자동차 남양연구소 이강덕 NVH 연구위원은 “지난 2월부터 휴대용 음향카메라를 신차 개발단계에서 다양하게 활용하고 있다”며 “한 손으로 들 수 있을 만큼 작고 가볍기 때문에 기존의 음향카메라로는 비추기 어려웠던 부분도 자유롭게 탐색할 수 있고 혼자서도 사용할 수 있어 작업 과정이 크게 향상됐다”고 말했다.
배석형 교수는 국제 디자인 공모전 수상과 관련해 “첨단 기술에 디자인 요소를 효과적으로 결합한 점을 인정받았다”며 “과학기술에 대한 수준 높은 이해가 가능한 KAIST 산업디자인학과의 역량을 보여준 좋은 사례”라고 말했다.
한편, 소음진동 전문기업 ㈜에스엠인스트루먼트는 지난 2006년 KAIST 창업보육센터에서 시작, 2년 만에 독자적인 기술력을 확보해 자립했으며 끊임없는 변화와 혁신을 통해 국가 소음진동 기술 발전에 기여하고 있다.
그림1. 레드 닷 디자인 어워드에서 수상한 휴대용 음향카메라 SeeSV-S205
그림2. 휴대용 음향카메라를 이용해 소음이 발생하는 위치를 찾는 모습
그림3. 휴대용 음향카메라를 이용해 자동차의 소음을 측정한 이미지
2013.04.04 조회수 15967