-
엔비디아를 긴장시킬 고용량·고성능 GPU 개발
최근 대규모 AI 서비스 제공 최전선에 있는 빅테크들은 더 좋은 성능을 사용자들에게 제공하기 위해 경쟁적으로 모델 및 데이터의 크기를 증가시키는 추세이며, 최신 대규모 언어모델은 학습을 위해 수에서 수십 테라바이트(TB, 10^12 바이트)의 메모리를 요구한다. 국내 연구진이 현재 AI 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다.
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU 장치의 메모리 읽기/쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.
최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB, 10^9 바이트)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높이는 문제를 일으킨다.
이에 차세대 연결 기술인 CXL(Compute Express Link)을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는‘CXL-GPU*’구조 기술이 다양한 산업계에서 활발히 검토되고 있다. 하지만 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다. 대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에, GPU에 직접적으로 연결된 메모리 확장 장치로의 메모리 읽기/성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 비로소 실제 서비스에 활용될 수 있다.
*CXL-GPU: CXL을 통해 연결된 메모리 확장 장치들의 메모리 공간을 GPU 메모리 공간에 통합시킴으로써 고용량을 지원한다. 통합된 메모리 공간 관리에 필요한 동작들은 CXL 컨트롤러가 자동으로 처리해주므로, GPU는 기존에 로컬 메모리에 접근하던 방식과 동일한 방식으로 확장된 메모리 공간에 접근할 수 있다. 기존 메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리, CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축 비용을 획기적으로 절감할 수 있다.
우리 연구진은 CXL-GPU 장치의 메모리 읽기/쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발하여 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다. 즉, 메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 하여, GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결할 수 있도록 했다.
또한 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 되어, GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
이번 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)*의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 해당 연구는 오는 7월 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표장에서 결과를 선보인다.
*파네시아는 업계 최초로 CXL 메모리 관리 동작에 소요되는 왕복 지연시간을 두 자리 나노초(nanosecond, 10^9분의 1초) 이하로 줄인 순수 국내기술의 자체 CXL 컨트롤러를 보유하고 있다. 이는 전세계 최신 CXL 컨트롤러등 대비 3배 이상 빠른 속도다. 파네시아는 고속 CXL 컨트롤러를 활용해 여러 개의 메모리 확장 장치를 GPU에 바로 연결함으로써 단일 GPU가 테라바이트 수준의 대규모 메모리 공간을 형성할 수 있도록 했다.
전기및전자공학부 정명수 교수는 “CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것”이라 말했다.
2024.07.08
조회수 2852
-
정명수 교수 연구팀, 美 CES 2024에서 혁신상 수상작 CXL 탑재 AI 가속기 선보여
시스템에 무한대에 가까운 용량의 메모리 자원을 제공하여 대규모 AI 기반 서비스를 고속 처리하는 기술, ‘CXL 탑재 AI 가속기’가 개발되었다.
우리 대학 전기및전자공학부 정명수 교수 연구팀이 세계 최대 규모의 IT 박람회‘CES 2024’에서‘CXL 탑재 AI 가속기(CXL-Enabled AI Accelerator)’를 선보였다. 해당 제품으로 연구팀은 CES 2024 혁신상을 수상하였으며, ARM, 휴렛페커드(HPE), 어드밴스드 머터리얼스(Advanced Materials), 메타등 글로벌 대기업들로부터 단독 미팅을 제안받아 지속적으로 협업을 논의할 예정이다.
‘CXL 탑재 AI 가속기’는 컴퓨트익스프레스링크(Computer Express Link, CXL) 기술을 통해 시스템에 무한대에 가까운 용량의 빠른 메모리 자원을 제공하여, 대규모 AI 기반 서비스를 고속으로 처리할 수 있다. 대표적인 AI 기반 서비스인 이미지 검색을 이용한 평가에서, 연구팀은 CXL 기술이 적용된 가속 시스템이 기존의 SSD 기반 가속시스템 대비 101배 빠른 성능을 보였다고 밝혔다.
수상작의 핵심인 CXL은 데이터처리 가속기, 메모리 확장장치, 프로세서, 스위치 등 다양한 시스템 장치를 고속으로 연결하는 기술이다. 이 기술은 여러 가속기 및 메모리 확장장치의 내부 메모리를 시스템에 연결하여 AI 서비스에 확장가능한 메모리 자원을 제공할 수 있다. 덕분에 AI 서비스는 처리할 수 있는 데이터의 양을 대폭 증가시킬 수 있으며, 이릍 통해 정확도와 품질을 향상시킬 수 있다. 이는 기존 AI 가속기가 제한된 메모리 용량으로 인해, 대용량의 데이터 관리에 느린 저장장치를 사용해야하던 것과 대비된다. 추가적으로, 연구팀은 AI 가속기 내부를 이미지 검색에 특화된 하드웨어 모듈로 구성하여 시스템의 성능을 더욱 높였다. AI 기반 서비스의 정확도 및 품질은 경쟁적인 AI 업계에서 기업의 생존과 직결되는 만큼, 연구팀의 기술은 산업계 파급효과가 클 것으로 예상된다.
정명수 교수 연구팀은 이번 연구개발의 결과물을 지난주 미국 라스베가스에서 열린 CES 2024에서 전시하였다. 가속기는 기술의 우수성을 인정받아 CES 주관기관으로부터 CES 혁신상을 수상하였으며, IEEE Spectrum, Storage Newsletter, Blocks and Files, Design and Reuse, TechRadar, 등의 해외 언론, 조선일보, 조선비즈, 한국경제, 서울경제, 파이낸셜뉴스, ZDnet 등의 국내 유수 언론을 포함한 20개 이상의 언론사가 부스에 방문하고, 출품 소식을 전하였다.
특히 한국경제에서는 연구팀의 기술을 ‘AI 도입 비용 문제의 해결책’으로써 대중들에게 소개하였다.
연구팀의 권미령 박사는 EETimes Gary Hilson 기자와의 단독 인터뷰에서 “최신 CXL 표준을 지원하는 연구팀의 하드웨어/소프트웨어를 활용하면 데이터센터 수준의 고효율 메모리 확장을 실현할 수 있다”며 연구팀의 기술을 소개하기도 했다.
뿐만 아니라, 연구팀의 기술은 이번 CES에서 다양한 글로벌 대기업들로부터 집중적으로 관심을 받았다. 세계 최대 IP 기업 ARM으로부터 초청받아 프라이빗 미팅을 진행하였으며, 글로벌 클라우드/데이터센터 기업 HPE 본사로부터 단독 대규모 미팅 제의를 받아 이달 말 협업을 논의할 예정이다. 현지 부스를 통해서 연구팀은 마이크로소프트, 애플, 인텔, 케이던스 등 다양한 글로벌 대기업의 고위 임원들과 국내 귀빈등에게 CXL 선도기술을 소개한 것으로 알려졌다. 정명수 교수 연구팀은 이전에도 세계 최초로 CXL CPU, CXL 스위치, CXL 메모리 확장장치를 모두 포함한 CXL 기반의 전체 시스템을 발표하여 AMD, 메타 등 산업계로부터 러브콜을 받은 바 있다.
본 성과는 우리 대학 전기및전자공학부 정명수 교수 연구실 학생들과 파네시아가 공동연구를 진행한 결과이다. 파네시아는 카이스트 교원창업기업이자 세계 최초로 CXL 3.0 IP(반도체 설계기술)를 개발하는 등 CXL 기술을 선도하고 있는 반도체 팹리스 스타트업이다.
카이스트 스타트업인 파네시아는 오는 19일 대전에서 개최되는 CXL 테크데이 행사를 통해서 CES에 소개된 CXL이외에도 다양한 최신 CXL 기술들을 여러 학부생들과 공유할 예정이다 (관련소개 뉴스 링크: https://news.nate.com/view/20231229n21475?mid=n0105).
2024.01.17
조회수 3700
-
111배 빠른 검색엔진용 CXL 3.0 기반 AI반도체 세계 최초 개발
최근 각광받고 있는 이미지 검색, 데이터베이스, 추천 시스템, 광고 등의 서비스들은 마이크로소프트, 메타, 알리바바 등의 글로벌 IT 기업들에서 활발히 제공되고 있다. 하지만 실제 서비스에서 사용되는 데이터 셋은 크기가 매우 커, 많은 양의 메모리를 요구하여 기존 시스템에서는 추가할 수 있는 메모리 용량에 제한이 있어 이러한 요구사항을 만족할 수 없었다.
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)에서 대용량으로 메모리 확장이 가능한 컴퓨트 익스프레스 링크 3.0 기술(Compute eXpress Link, 이하 CXL)을 활용해 검색 엔진을 위한 AI 반도체를 세계 최초로 개발했다고 25일 밝혔다.
최근 검색 서비스에서 사용되는 알고리즘은 근사 근접 이웃 탐색(Approximate Nearest Neighbor Search, ANNS)으로 어떤 데이터든지 특징 벡터로 표현할 수 있다. 특징 벡터란 데이터가 가지는 특징들 각각을 숫자로 표현해 나열한 것으로, 이들 사이의 거리를 통해 우리는 데이터 간의 유사도를 구할 수 있다. 하지만 벡터 데이터 용량이 매우 커서 이를 압축해 메모리에 적재하는 압축 방식과 메모리보다 큰 용량과 느린 속도를 가지는 저장 장치를 사용하는 스토리지 방식(마이크로소프트에서 사용 중)이 사용되어 왔다. 하지만 이들 각각은 낮은 정확도와 성능을 가지는 문제가 있었다.
이에 정명수 교수 연구팀은 메모리 확장의 제한이라는 근본적인 문제를 해결하기 위해 CXL이라는 기술에 주목했다. CXL은 CPU-장치 간 연결을 위한 프로토콜로, 가속기 및 메모리 확장기의 고속 연결을 제공한다. 또한 CXL 스위치를 통해 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있는 확장성을 제공한다. 하지만 CXL을 통한 메모리 확장은 로컬 메모리와 비교해 메모리 접근 시간이 증가하는 단점을 가지고 있다.
데이터를 책으로 비유하자면 기존 시스템은 집에 해당하는 CPU 크기의 제한으로 서재(메모리 용량)를 무한정 늘릴 수 없어, 보관할 수 있는 책 개수에 제한이 있는 것이다. 이에 압축 방식은 책의 내용을 압축하여 더 많은 책을 보관하는 방법이고, 스토리지 방식은 필요한 책들을 거리가 먼 도서관에서 구해오는 것과 비슷하다. CXL을 통한 메모리 확장은 집 옆에 창고를 지어 책을 보관하는 것으로 이해될 수 있다.
연구진이 개발한 AI 반도체(CXL-ANNS)는 CXL 스위치와 CXL 메모리 확장기를 사용해 근사 근접 이웃 탐색에서 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도를 높이고 성능 감소를 없앴다. 또한 근사 근접 이웃 탐색의 특징을 활용해 데이터 근처 처리 기법과 지역성을 활용한 데이터 배치 기법으로 CXL-ANNS의 성능을 한 단계 향상했다. 이는 마치 창고 스스로가 필요한 책들의 내용을 요약하고 정리해 전달하고, 자주 보는 책들은 서재에 배치해 집과 창고를 오가는 시간을 줄이는 것과 유사하다.
연구진은 CXL-ANNS의 프로토타입을 자체 제작해 실효성을 확인하고, CXL-ANNS 성능을 기존 연구들과 비교했다. 마이크로소프트, 메타, 얀덱스 등의 글로벌 IT 기업에서 공개한 검색 데이터 셋을 사용한 근사 근접 이웃 탐색의 성능 비교에서 CXL-ANNS는 기존 연구들 대비 평균 111배 성능 향상이 있었다. 특히, 마이크로소프트의 상용화된 서비스에서 사용되는 방식과 비교하였을 때 92배의 성능 향상을 보여줬다.
정명수 교수는 "이번에 개발한 CXL-ANNS는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고, CXL 기반의 메모리 확장이 실제 적용될 때 발생하는 메모리 접근 시간 지연 문제를 해결했다ˮ며, “제안하는 CXL 기반 메모리 확장과 데이터 근처 처리 가속의 패러다임은 검색 엔진뿐만 아니라 빅 데이터가 필요한 고성능 컴퓨팅, 유전자 탐색, 영상 처리 등의 다양한 분야에도 적용할 수 있다ˮ라고 말했다.
이번 연구는 미국 보스턴에서 오는 7월에 열릴 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 `USENIX Annual Technical Conference, 2023'에 ‘CXL-ANNS’이라는 이름으로 발표된 예정이다. (논문명: CXL-ANNS: Software-Hardware Collaborative Memory Disaggregation and Computation for Billion-Scale Approximate Nearest Neighbor Search)
한편 해당 연구는 파네시아(http://panmnesia.com)의 지원을 받아 진행됐다.
2023.05.25
조회수 5211
-
인공지능 및 빅데이터 시대를 이끌어갈 차세대 CXL2.0 메모리 확장 플랫폼 세계 최초 개발
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 대용량 메모리 장치부터 프로세스를 포함한 컴퓨트 익스프레스 링크(CXL) 2.0 기반의 차세대 메모리 확장 플랫폼 ‘다이렉트CXL(이하 DirectCXL)’을 세계 최초로 프로토타입 제작, 운영체제가 실장된 단대단(End-to-End) 시연에 성공했다고 1일 밝혔다.
오늘날 빅데이터 분석, 그래프 분석, 인메모리 데이터베이스 등 대규모 데이터에 기반한 응용처리가 증가함에 따라, 데이터 센터에서는 이를 더 빠르고 효율적으로 처리하기 위해 시스템의 메모리 확장에 많은 투자를 하고 있다.
그러나 우리가 흔히 알고 있는 메모리 확장 방식인 더블 데이터 대역폭(DDR) 인터페이스를 통한 메모리 확장은 추가할 수 있는 메모리 개수의 제한이 있어, 대규모 데이터 기반의 응용을 처리하기에 충분치 않다. 따라서 데이터 센터에서는 CPU와 메모리로 이루어진 메모리 노드들을 따로 구성하고, 응용을 수행하는 호스트의 메모리가 부족하면 네트워크로 연결된 메모리 노드를 자신의 메모리 공간으로 사용하는 원격 데이터 전송 기술(이하 RDMA) 기반의 메모리 확장을 사용한다.
여러 메모리 노드를 사용하는 RDMA 기반의 메모리 확장을 통해 데이터센터는 시스템의 메모리 크기를 늘릴 수 있었지만, 여전히 해결해야 할 문제들이 남아있었다. 우선 RDMA 기반 메모리 확장 시스템에서는 노드 간 데이터 이동 시 불필요한 데이터 복사, 소프트웨어의 개입 그리고 프로토콜 전환으로 인한 지연을 발생시켜 성능 저하가 발생했다. 또한 시스템의 메모리 확장 시 메모리만을 추가할 수 있는 것이 아닌, 메모리와 메모리를 제어할 CPU가 하나의 메모리 노드를 이루어 시스템에 추가되어야 했기 때문에, 추가적인 비용 소모가 발생했다.
최근 컴퓨트 익스프레스 링크(Compute Express Link, 이하 CXL) 프로토콜의 등장으로 많은 메모리 고객사와 제조사가 이러한 문제를 해결할 가능성을 확인하고 있다. CXL은 PCI 익스프레스(PCIe) 인터페이스 기반의 CPU-장치(Device) 간 연결을 위한 프로토콜로, 이를 기반으로 한 장치 연결은 기존보다 높은 성능과 확장성을 지원하는 것이 특징이다.
국내외 유수 기업들이 모여 CXL 인터페이스 표준 규약을 제안하는 CXL 컨소시엄은 지난 2019년 CXL 1.0/1.1을 처음 제안했고, 이후 CXL 2.0을 발표하며 CXL 1.0/1.1에서 하나의 포트당 하나의 지역 메모리 장치만을 연결할 수 있었던 확장성 문제를 스위치 네트워크를 통해 개선, 하나의 포트를 여러 포트로 확장할 수 있도록 했다. 따라서 CXL 1.0/1.1과 달리 CXL 2.0에서는 확장된 포트에 다수의 원격 CXL 메모리 장치를 연결하는 것이 가능해 더 높은 확장성을 지원할 수 있게 됐다.
그러나 CXL 2.0의 높은 확장성에도 불구하고, 아직 CXL 연구의 방향성을 제시해줄 수 있는 시제품 개발 및 연구들이 진행되지 않아, 메모리 업계와 학계에서는 여전히 CXL1.0/1.1을 기반으로 지역 메모리 확장 장치, 시제품 개발 및 연구를 진행하고 있는 실정이다. 따라서 새로운 CXL 2.0을 통한 메모리 확장 연구의 방향성 초석을 제시할 필요성이 커졌다.
정명수 교수 연구팀이 전 세계 최초로 프로토타입한 CXL 2.0 기반 메모리 확장 플랫폼 ‘DirectCXL’은 높은 수준의 메모리 확장성을 제공하며, 빠른 속도로 대규모 데이터 처리를 가능케 한다. 이를 위해 연구팀은 메모리를 확장해 줄 장치인 ‘CXL 메모리 장치’와 호스트 ‘CXL 프로세서 (CPU)’, 여러 호스트를 다수의 CXL 메모리 장치에 연결해주는 ‘CXL 네트워크 스위치’ 그리고 메모리 확장 플랫폼 전반을 제어할 리눅스 운영체제 기반의‘CXL 소프트웨어 모듈’을 개발해 플랫폼을 구성했다.
구성된 ‘DirectCXL’ 플랫폼을 사용한 시스템에서는 확장된 메모리 공간에 직접 접근해 데이터를 CPU의 캐시로 가져와 불필요한 메모리 복사와 소프트웨어의 개입이 없으며, PCIe 인터페이스만을 사용해 프로토콜 전환을 없애 지연시간을 최대한 줄였다. 또한 추가적인 CPU가 필요 없는 CXL 메모리 장치를 CXL 스위치에 연결하는 것만으로 메모리 확장이 가능해 효율적인 시스템의 구성이 가능했다. 국내외 소수 대기업에서 메모리 장치 일부 단품에 대한 구성을 보여준 준 사례는 있지만, CXL 2.0 기반, CPU부터 CXL 스위치, 메모리 장치가 장착된 시스템에서 운영체제를 동작시키고 데이터 센터와 응용을 실행하고 시연한 것은 정명수 교수 연구팀이 처음이다.
연구팀은 자체 제작한 메모리 확장 플랫폼 ‘DirectCXL’의 성능을 검증하기 위해 CXL 동작이 가능한 다수의 자체 개발 호스트 컴퓨터가 CXL 네트워크 스위치를 통해 연결된 다수 CXL 메모리 장치들을 제어하는 환경을 구성했다. 이후 구성된 플랫폼을 통해 CXL 메모리 장치의 성능을 기존 RDMA 기반 메모리 확장 솔루션과 비교했다. 연구팀이 제안한 ‘DirectCXL’은 확장된 메모리에 대한 접근 시간 검증에서 기존 RDMA 기반의 메모리 확장 솔루션 대비 8.3배의 성능 향상을 보였으며, 많은 메모리 접근을 요구하는 그래프 응용처리 및 인 메모리 데이터베이스 응용처리에서도 각각 2.3배, 2배의 성능 향상을 이뤄냈다.
정명수 교수는 "이번에 개발된 ‘DirectCXL’은 기존 RDMA기반 메모리 확장 솔루션보다 훨씬 적은 비용으로도 뛰어난 성능과 높은 확장성을 제공하는 만큼 데이터센터나 고성능 컴퓨팅 시스템에서의 수요가 클 것으로 기대한다ˮ며, "세계 최초로 개발된 CXL 2.0 기반의 단대단 프로토타입 플랫폼을 활용해 CXL이 적용된 새로운 운영체제(OS)는 물론 시스템 소프트웨어, 솔루션 시제품 고도화를 통해 향후 CXL을 활용한 시스템 구축에 초석을 제공할 것이다ˮ라고 말했다.
한편 이번 연구는 미국 칼스배드에서 지난 7월에 11에 열린 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 `USENIX Annual Technical Conference, 2022'에 ‘DirectCXL’이라는 논문명(Direct Access, High-performance Memory Disaggregation with DirectCXL)으로 발표되었다. 또한 미국 산호세에서 열리는 8월 2/3일에 플래시 메모리 정상회담(Flash Memory Summit)에서 CXL 컨소시움이 이끄는 CXL포럼에 발표될 예정이다.
‘DirectCXL’의 자세한 내용은 연구실 웹사이트(http://camelab.org)에서 확인할 수 있다. DirectCXL은 데이터센터와 클라우드 시스템에서 다양한 응용에 쉽게 적용 가능하며, 하나의 실시예로 메타(페이스북) 추천시스템 기계학습 데이터 가속에 대한 시연 영상을 연구실 유튜브(https://youtu.be/jm8k-JM0qbM) 에서 확인할 수 있다. 해당 영상은 각 개인의 대규모 특성 자료들(텐서)을 CXL 메모리 풀에 올려두고 빅데이터를 활용한 인공지능이 친구나 광고 등 개인 특성에 맞는 자료들을 추천하게 하는 시스템으로 기존 데이터 센터의 원격메모리에 비해 3.2배 이상의 사용자 수준 성능 향상을 보여주고 있다.
2022.08.01
조회수 7497