%EC%BD%98%EB%B3%BC%EB%A3%A8%EC%85%98
-
한동수, 신진우 교수, 느린 인터넷 환경에서도 고화질 영상 감상 기술 개발
〈 (왼쪽부터) 김재홍, 정영목 석사과정, 여현호 박사과정, 한동수, 신진우 교수 〉
우리 대학 전기및전자공학부 신진우, 한동수 교수 연구팀이 딥러닝 기술을 이용한 인터넷 비디오 전송 기술을 개발했다.
여현호, 정영목, 김재홍 학생이 주도한 이번 연구 결과는 격년으로 개최되는 컴퓨터 시스템 분야의 유명 학술회의인 ‘유즈닉스 OSDI(USENIX OSDI)’에서 10월 10일 발표됐고 현재 국제 특허 출원을 완료했다.
이 기술은 유튜브, 넷플릭스 등에서 비디오를 사용자에게 전송할 때 사용하는 적응형 스트리밍(HTTP adaptive streaming) 비디오 전송기술과 딥러닝 기술인 심층 콘볼루션 신경망(CNN) 기반의 초해상화를 접목한 새로운 방식이다.
이는 열악한 인터넷 환경에서도 고품질, 고화질(HD)의 비디오 시청이 가능할 뿐 아니라 4K, AV/VR 등을 시청할 수 있는 새로운 기반 기술이 될 것으로 기대된다.
기존의 적응형 스트리밍은 시시각각 변화하는 인터넷 대역폭에 맞춰 스트리밍 중인 비디오 화질을 실시간으로 조절한다. 이를 위해 다양한 알고리즘이 연구되고 있으나 네트워크 환경이 좋지 않을 때는 어느 알고리즘이라도 고화질의 비디오를 감상할 수 없다는 한계가 있다.
연구팀은 적응형 스트리밍에 초해상화를 접목해 인터넷 대역폭에 의존하는 기존 적응형 스트리밍의 한계를 극복했다. 기존 기술은 비디오를 시청 시 긴 영상을 짧은 시간의 여러 비디오 조각으로 나눠 다운받는다. 이를 위해 비디오를 제공하는 서버에서는 비디오를 미리 일정 시간 길이로 나눠 준비해놓는 방식이다.
연구팀이 새롭게 개발한 시스템은 추가로 신경망 조각을 비디오 조각과 같이 다운받게 했다. 이를 위해 비디오 서버에서는 각 비디오에 대해 학습이 된 신경망을 제공하며 또 사용자 컴퓨터의 사양을 고려해 다양한 크기의 신경망을 제공한다.
제일 큰 신경망의 크기는 총 2메가바이트(MB)이며 비디오에 비해 상당히 작은 크기이다. 신경망을 사용자 비디오 플레이어에서 다운받을 때는 여러 개의 조각으로 나눠 다운받으며 신경망의 일부만 다운받아도 조금 떨어지는 성능의 초해상화 기술을 이용할 수 있도록 설계했다.
사용자의 컴퓨터에서는 동영상 시청과 함께 병렬적으로 심층 콘볼루션 신경망(CNN) 기반의 초해상화 기술을 사용해 비디오 플레이어 버퍼에 저장된 저화질 비디오를 고화질로 바꾸게 된다. 모든 과정은 실시간으로 이뤄지며 이를 통해 사용자들이 고화질의 비디오를 시청할 수 있다.
연구팀이 개발한 시스템을 이용하면 최대 26.9%의 적은 인터넷 대역폭으로도 최신 적응형 스트리밍과 같은 체감 품질(QoE, Quality of Experience)을 제공할 수 있다. 또한 같은 인터넷 대역폭이 주어진 경우에는 최신 적응형 스트리밍보다 평균 40% 높은 체감 품질을 제공할 수 있다.
이 시스템은 딥러닝 방식을 이용해 기존의 비디오 압축 방식보다 더 많은 압축을 이뤄낸 것으로 볼 수 있다. 연구팀의 기술은 콘볼루션 신경망 기반의 초해상화를 인터넷 비디오에 적용한 차세대 인터넷 비디오 시스템으로 권위 잇는 학회로부터 효용성을 인정받았다.
한 교수는 “지금은 데스크톱에서만 구현했지만 향후 모바일 기기에서도 작동하도록 발전시킬 예정이다”며 “이 기술은 현재 유튜브, 넷플릭스 등 스트리밍 기업에서 사용하는 비디오 전송 시스템에 적용한 것으로 실용성에 큰 의의가 있다”고 말했다.
이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) 방송통신연구개발 사업의 지원을 받아 수행됐다.
비디오 자료 링크 주소 1.
https://www.dropbox.com/sh/z2hvw1iv1459698/AADk3NB5EBgDhv3J4aiZo9nta?dl=0&lst =
□ 그림 설명
그림1. 기술이 적용되기 전 화질(좌)과 적용된 후 화질 비교(우)
그림2. 기술 개념도
그림3. 비디오 서버로부터 비디오가 전송된 후 저화질의 비디오가 고화질의 비디오로 변환되는 과정
2018.10.30 조회수 10846 -
유회준 교수, 딥러닝용 AI 반도체 개발
우리대학 전기및전자공학부 유회준 교수 연구팀이 스타트업 '유엑스 팩토리'와 함께 가변 인공신경망 기술을 적용해 딥러닝을 효율적으로 처리하는 AI 반도체를 개발했다. 딥러닝이란 컴퓨터가 마치 사람처럼 스스로 학습할 수 있도록 인공신경망을 기반으로 구축한 '기계 학습' 기술이다.
유 교수 연구팀이 개발한 새로운 칩은 반도체 안에서 인공신경망의 무게 정밀도를 조절함으로써 에너지 효율과 정확도를 조절한다. 1비트부터 16비트까지 소프트웨어로 간편하게 조절하면서 상황에 맞춰 최적화된 동작을 얻어낸다. 하나의 칩이지만 '콘볼루션 신경망'(CNN)과 '재귀 신경망'(RNN)을 동시에 처리할 수 있다. CNN은 이미지를 분류나 탐지하는 데 쓰이며, RNN은 주로 시간의 흐름에 따라 변화하는 영상과 음성 등 데이터 학습에 적합하다. 또 통합 신경망 프로세서(UNPU)를 통해 인식 대상에 따라 에너지효율과 정확도를 다르게 설정하는 것도 가능하다.
모바일에서 AI 기술을 구현하려면 고속 연산을 '저전력'으로 처리해야 한다. 그렇지 않으면 한꺼번에 많은 정보를 처리하면서 발생하는 발열로 인해 배터리 폭발 등의 사고가 일어날 수 있기 때문이다. 연구팀에 따르면 이번 칩은 세계 최고 수준 모바일용 AI 칩 대비 CNN과 RNN 연산 성능이 각각 1.15배, 13.8배이 달한다. 에너지효율도 40% 높은 것으로 나타났다.
스마트폰 카메라를 통해 사람의 얼굴 표정을 인식해 행복, 슬픔, 놀람, 공포, 무표정 등 7가지의 감정을 자동으로 인식하는 감정인식 시스템도 개발됐다. 이 시스템은 감정 상태를 스마트폰 상에 실시간으로 표시한다. 유 교수 연구팀의 이번 연구는 지난 13일 미국 샌프란시스코에서 열린 국제고체회로설계학회(ISSCC)에서 발표됐다.
유회준 교수는 "기술 상용화에는 1년 정도 더 걸릴 전망"이라며 " 모바일에서 AI를 구현하기 위해 저전력으로 가속하는 반도체를 개발했으며, 향후 물체인식, 감정인식, 동작인식, 자동 번역 등 다양하게 응용될 것으로 기대된다"고 설명했다.
2018.02.26 조회수 14343 -
김문철 교수, 인공지능 통해 풀HD영상 4K UHD로 실시간 변환
〈 김 문 철 교수 〉
우리 대학 전기및전자공학부 김문철 교수 연구팀이 딥러닝 기술을 이용해 풀 HD 비디오 영상을 4K UHD 초고화질 영상으로 초해상화 변환할 수 있는 기술을 개발했다.
이 기술은 인공지능의 핵심 기술인 심층 콘볼루션 신경망(Deep Convolutional Neural Network, DCNN)을 하드웨어로 구현했다. 초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리즘 및 하드웨어 개발을 통해 향후 프리미엄 UHD TV, 360 VR, 4K IPTV 등에 기여할 것으로 기대된다.
이번 연구는 KAIST 전기및전자공학부 김용우, 최재석 박사과정 등이 주도했고 현재 특허 출원을 준비 중이다.
최근 영상 화질 개선 연구에 인공지능의 핵심 기술인 심층 콘볼루션 신경망을 적용시키려는 노력이 활발히 이뤄지고 있다. 그러나 이러한 심층 콘볼루션 신경망 기술은 연산 복잡도와 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상으로 실시간 변환하는 데 한계가 있다.
기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 메모리 병목현상과 전력 소모 현상이 발생했다.
김 교수 연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했다.
연구팀은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리즘과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다.
이는 딥러닝 기술을 이용한 고해상도 영상 변환 기술이 활발히 진행되는 가운데 초당 60프레임의 4K UHD 초해상화를 하드웨어로 실현한 첫 사례로 꼽힌다.
김 교수는 “이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응요 가능한 기술임을 보인 매우 중요한 사례다”며 “현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 서비스에 매우 효과적으로 적용할 수 있다”고 말했다.
이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) ICT 기초연구실지원사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 실시간 AI(딥러닝) 기반 고속 초고해상도 업스케일링 기술
그림2.심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 (FPGA)
그림3. 심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 시연
2018.01.16 조회수 17091