-
김문철 교수, 인공지능 통해 풀HD영상 4K UHD로 실시간 변환
〈 김 문 철 교수 〉
우리 대학 전기및전자공학부 김문철 교수 연구팀이 딥러닝 기술을 이용해 풀 HD 비디오 영상을 4K UHD 초고화질 영상으로 초해상화 변환할 수 있는 기술을 개발했다.
이 기술은 인공지능의 핵심 기술인 심층 콘볼루션 신경망(Deep Convolutional Neural Network, DCNN)을 하드웨어로 구현했다. 초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리즘 및 하드웨어 개발을 통해 향후 프리미엄 UHD TV, 360 VR, 4K IPTV 등에 기여할 것으로 기대된다.
이번 연구는 KAIST 전기및전자공학부 김용우, 최재석 박사과정 등이 주도했고 현재 특허 출원을 준비 중이다.
최근 영상 화질 개선 연구에 인공지능의 핵심 기술인 심층 콘볼루션 신경망을 적용시키려는 노력이 활발히 이뤄지고 있다. 그러나 이러한 심층 콘볼루션 신경망 기술은 연산 복잡도와 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상으로 실시간 변환하는 데 한계가 있다.
기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 메모리 병목현상과 전력 소모 현상이 발생했다.
김 교수 연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했다.
연구팀은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리즘과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다.
이는 딥러닝 기술을 이용한 고해상도 영상 변환 기술이 활발히 진행되는 가운데 초당 60프레임의 4K UHD 초해상화를 하드웨어로 실현한 첫 사례로 꼽힌다.
김 교수는 “이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응요 가능한 기술임을 보인 매우 중요한 사례다”며 “현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 서비스에 매우 효과적으로 적용할 수 있다”고 말했다.
이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) ICT 기초연구실지원사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 실시간 AI(딥러닝) 기반 고속 초고해상도 업스케일링 기술
그림2.심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 (FPGA)
그림3. 심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 시연
2018.01.16
조회수 17092
-
와이파이만 자동 감지해 다운로드하는 기술 개발
해외출장이 잦은 김 모 씨는 스마트폰에 영화를 다운받아 기내에서의 무료함을 달랜다. 그는 아침 회의에 들어가기 전 오후 5시까지만 다운을 완료하면 된다는 데드라인을 설정하고, 여러 일정을 마친 후 시간이 되자 기내에 탑승했다.
스마트폰을 확인하니 다운이 완료됐고, 자동으로 와이파이만 인식해 다운로드 했기 때문에 LTE 데이터는 전혀 소비되지 않았다.
우리 대학 전기및전자공학과 박경수, 이융, 정송 교수 연구팀은 와이파이와 이동통신 망의 단절을 자동으로 감지해 모바일 콘텐츠를 전달하는 기술 및 시스템을 개발했다.
이동통신 망에서 와이파이 망으로 데이터를 분산시키고 이양하는 것을 와이파이 오프로딩이라 한다. 이는 스마트폰에서 쉽게 볼 수 있는 기능이다.
그런데 현재의 와이파이 오프로딩은 원활하지 않아 자동적 시스템이 아닌 개인의 선택에 의해 이뤄지고 있다. 와이파이 망을 벗어나 이동하는 경우 연결이 단절되고 버퍼링이 발생해, 사용자들은 한 곳에서만 와이파이를 사용하거나 아예 해제하고 이동통신망을 이용하는 것이다.
원활한 오프로딩을 위해 관련 미래 표준을 만들고 있지만 LTE 망 통합 등의 변화가 필요하고 추후 장비 업그레이드 비용이 문제가 된다.
연구팀은 이러한 네트워크 단절 문제를 자동으로 처리하면서 와이파이 망을 최대한 사용하게 만드는 모바일 네트워크 플랫폼을 구축했다. 우선 네트워크 단절을 트랜스포트 계층에서 직접 처리해 네트워크간 이동 시에도 연결의 끊김 없이 전송이 가능한 프로토콜을 개발했다.
더불어 연구팀은 지연 허용 와이파이 오프로딩 기법을 개발했다. 다운로드 완료 시간을 예약하면 잔여 시간과 용량 등의 정보를 계산한 뒤, LTE와 와이파이를 스스로 조절해 최소의 LTE 데이터로 원하는 시간대에 다운로드를 완료할 수 있는 알고리즘이다.
이 기술은 스트리밍 플레이어에도 적용 가능해 와이파이 망에 있는 동안 더 많은 트래픽을 전송해 구역을 벗어나도 버퍼링 없는 동영상 시청이 가능하다.
이 기술로 사용자는 적은 요금으로 질 높은 콘텐츠를 이용할 수 있고, 사업자는 기존 LTE망의 재투자 및 효율적인 와이파이 망 유도가 가능하다. 또한 모바일 동영상 콘텐츠 사업자에겐 더 많은 수요자를 확보할 수 있다.
이융 교수는 “와이파이 오프로딩과 LTE 망의 관계를 최소화함으로써 모바일 콘텐츠 사업자, 망 사업자, 사용자 모두가 윈윈할 수 있는 기술이 될 것이다”고 말했다.
이번 연구는 미래창조과학부 정보통신기술진흥센터 (IITP) 네트워크 CP실(임용재 CP)의 지원을 받아 수행됐고, 5월에 개최하는 모바일 시스템 분야 최고 권위의 국제 학회인 에이씨엠 모비시스(ACM MobiSys)에서 발표될 예정이다.
□ 그림설명
그림 1. 지연 허용 와이파이 오프로딩 기법 개념도
2015.04.20
조회수 12266