KAIST

< (왼쪽부터) 전기및전자공학부 정명수 교수, 장 지에 박사후연구원 >

소수의 글로벌 기업 주도하에 개발/생산되던 *GPU(Graphic Processing Unit)의 메모리 시스템을, *이종 메모리와 *광 네트워크를 활용해 용량과 대역폭 모두를 대폭 향상한 기술이 우리 연구진에 의해 개발됐다.

☞ 이종 메모리: 서로 다른 특성을 가진 메모리를 통합한 메모리

☞ 광 네트워크: 빛으로 변환된 신호를 사용하여 정보를 전달하는 통신 수단.

☞ GPU: 여러 프로세스를 병렬적으로 빠르게 처리할 수 있는 연산 장치. 

우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 운영체제 연구실)이 *3D XPoint 메모리(이하 XPoint)와 *DRAM 메모리를 통합한 이종 메모리 시스템에서 광 네트워크로 통신하는 `옴-지피유(Ohm-GPU)' 기술 개발에 성공함으로써 기존 DRAM을 단독으로 사용한 *전기 네트워크 기반의 GPU 메모리 시스템 대비 181% 이상의 성능 향상을 성취했다고 2일 밝혔다.

☞ 3D XPoint 메모리: DRAM에 비해 용량이 크지만 데이터 전송 속도가 느린 메모리.

☞ DRAM 메모리: 3D XPoint에 비해 데이터 전송 속도가 빠르지만 용량이 작은 메모리.

☞ 전기 네트워크: 전기적인 신호를 사용해 정보를 전달하는 통신 수단. 

기존 GPU는 다수의 연산 장치로 구성되어 있어 연산 속도가 매우 빠르다는 장점이 있으나, DRAM을 단독으로 사용하는 메모리 시스템의 낮은 메모리 용량과 좁은 데이터 전송 대역폭으로 인해 연산 성능을 충분히 활용하지 못한다는 문제가 있다. 용량을 증가시키는 대안으로 DRAM을 XPoint로 대체하는 방법이 있으나, 이때 8배 큰 메모리 용량을 얻을 수 있는 반면 읽기/쓰기의 성능이 4배, 6배로 낮아진다. 또한, 대역폭을 증가시키는 대안으로 *HBM(High Bandwidth Memory) 기술을 활용할 수 있으나, 단일 면적 내 장착할 수 있는 전기 채널(*구리 선) 개수의 한계로 인해 GPU 메모리 시스템이 요구하는 고대역폭을 만족하기 어렵다.

☞ HBM: 3D로 DRAM을 쌓아 고대역폭을 얻을 수 있는 메모리.

☞ 구리 선(Copper wire): 전기 신호가 전달되는 통로.

< 그림 1. 연구팀이 제안하는 Ohm-GPU의 구조 개요 >

정 교수팀이 개발한 Ohm-GPU 기술은 대용량 XPoint와 고성능의 DRAM을 통합한 이종 메모리 시스템을 채택함으로써, 기존 메모리 시스템과 동일한 성능을 가지면서도 메모리의 용량을 증가시켰다. 또한, 단일 광 채널(*광섬유)로 서로 다른 파장의 다중 광신호를 전달할 수 있는 광 네트워크의 장점을 활용해 메모리 대역폭을 대폭 넓힘으로써 기존 GPU 메모리 시스템의 한계점들을 전면 개선했다.

☞ 광섬유(Optic fiber): 광 신호가 전달되는 통로. 

Ohm-GPU 기술은 GPU 내부에 있는 메모리 컨트롤러 및 인터페이스를 수정해 이종 메모리의 모든 메모리 요청을 광신호로 처리한다. 메모리 요청은 일반적으로 DRAM 캐시 메모리에서 처리되지만, DRAM에 없는 데이터는 XPoint로부터 읽어와야 한다. 이때, 발생하는 이종 메모리 간 데이터 이동의 오버헤드(대기 시간)는 1) 연산을 위한 메모리 접근과 데이터 이동을 위한 메모리 접근의 광 파장을 다르게 설정하고, 2) 메모리 컨트롤러 개입을 최소화하고 XPoint 컨트롤러가 이종 메모리 간 데이터 이동을 수행함으로써 완화했다. 

개발된 Ohm-GPU 기술은 기존 DRAM을 단독으로 사용하는 전기 네트워크 기반의 GPU 메모리 시스템 대비 다양한 그래 프처리, 과학응용 실행 등에서 181%의 성능 향상을 달성했다. 이는 인공지능(AI), 빅데이터, 클라우드 컴퓨팅 등 대용량, 고대역폭의 데이터 전송을 요구하는 고성능 가속기의 메모리 시스템을 대체할 수 있을 것으로 기대된다. 

< 그림 2. Ohm-GPU 메모리 시스템 내부 구조와 광 네트워크 인프라 >

< 그림 3. 평면 메모리 모드와 2단계 메모리 모드의 메모리 간 데이터 이동 >

정명수 교수는 "GPU 메모리 시스템 기술은 일부 해외 유수 기업이 주도하고 있지만, 이번 연구성과를 기반으로 GPU 및 GPU와 유사한 모든 고성능 가속기 메모리 시스템 관련 시장에서 우위를 선점할 가능성을 열었다는 점에서 의미가 있다ˮ라고 강조했다. 

한편 이번 연구는 올해 10월에 열릴 컴퓨터 구조 분야 최우수 학술대회인 `마이크로(International Symposium on Microarchitecture, MICRO), 2021'에 관련 논문(논문명: Ohm-GPU: Integrating New Optical Network and Heterogeneous Memory into GPU Multi-Processors)으로 발표될 예정이며, 이를 통해 정교수 팀은 스토리지 및 메모리 관련 연구로 2021, 당해, 전 세계 컴퓨터 구조에서 가장 잘 알려진 4개의 최우수 학술대회 모두에서 그 결과를 공유한다. 해당 연구에 대한 자세한 내용은 연구실 웹사이트(http://camelab.org)에서 확인할 수 있다.