음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때, 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 있다면 얼마나 좋을까? KAIST 연구진이 이런 음악 창작을 돕는 동료 작가와 같은 AI 기술을 개발했다.
KAIST(총장 이광형)는 전기및전자공학부 이성주 교수 연구팀이 AI 기반 음악 창작 지원 시스템 어뮤즈(Amuse)를 개발하였다. 이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상(Best Paper Award)을 수상했다고 7일 밝혔다.
< (왼쪽부터) 카네기 멜런대 크리스 도너휴 교수, 전기및전자공학부 김예원 박사과정, 이성주 교수 >
이성주 교수 연구팀이 개발한 어뮤즈(Amuse) 시스템은 텍스트, 이미지, 오디오와 같은 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.
예를 들어, 사용자가 ‘따뜻한 여름 해변의 기억’과 같은 문구나 이미지, 사운드 클립을 입력하면, 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다.
기존의 생성 AI와 달리, 어뮤즈는 사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 통해 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다.
어뮤즈 시스템의 핵심 기술은 대형 언어 모델의 이용해 사용자의 영감으로 프롬프트에 입력한 글자 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.
< 그림. 어뮤즈(Amuse)의 시스템 구성. 사용자 입력으로부터 음악 키워드를 추출한 뒤, 대형 언어 모델 기반 코드 진행을 생성하고 리젝션 샘플링으로 정제한다(왼쪽). 오디오 입력으로부터 코드 추출도 가능하다(오른쪽). 하단은 생성된 코드의 화성 구조를 시각화한 예시이다. >
연구팀은 실제 뮤지션들을 대상으로 한 사용자 연구를 수행하여, 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.
KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜런 대학의 크리스 도너휴(Chris Donahue) 교수가 참여한 해당 논문은 학계 및 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여주었다.
※ 논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations DOI : https://doi.org/10.1145/3706598.3713818
※ 연구 데모 영상: https://youtu.be/udilkRSnftI?si=FNXccC9EjxHOCrm1
※ 연구 홈페이지: https://nmsl.kaist.ac.kr/projects/amuse/
이성주 교수는 “ 최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다.”라고 말했다.
이어 ”어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다.“라고 설명했다.
이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었다.(RS-2024-00337007)
-
연구 60% 이상 챗GPT 추론 성능 향상할 NPU 핵심기술 개발
오픈AI 챗GPT4, 구글 Gemnini 2.5 등 최신 생성형AI 모델들은 높은 메모리 대역폭(Bandwidth) 뿐만 아니라 많은 메모리 용량(Capacity)를 필요로 한다. 마이크로소프트, 구글 등 생성형AI 클라우드 운영 기업들이 엔비디아 GPU를 수십만 장씩 구매하는 이유다. 이런 고성능 AI 인프라 구축의 핵심 난제를 해소할 방안으로, 한국 연구진이 최신 GPU 대비 약 44% 낮은 전력 소모에도 평균 60% 이상 생성형 AI 모델의 추론 성능을 향상할 NPU(신경망처리장치)* 핵심 기술을 개발하는데 성공했다. *NPU(Neural Processing Unit): 인공신경망(Neural Network)을 빠르게 처리하기 위해 만든 AI 전용 반도체 칩 우리 대학 전산학부 박종세 교수 연구팀과 (주)하이퍼엑셀(전기및전자공학부 김주영 교수 창업기업)이 연구 협력을 통해, 챗GPT와 같은 생성형AI 클라우드에 특화된 고성능·저전력의 NPU(신경망처리장치)
2025-07-04 -
행사 KAIST-사우디 킹사우드대, AI 공동 연구 협력 추진
우리 대학과 사우디아라비아 킹사우드대학교(King Saud University, 총장 압둘라 알살만)는 7월 3일 서울 도곡캠퍼스에서 회의를 갖고, 인공지능(AI) 및 디지털 플랫폼 구축을 위한 전략적 협력을 추진하기로 했다고 4일 밝혔다. 글로벌 AI 생태계는 사용자나 개발자의 활용이 제한된 미국의 클로즈드(폐쇄형) 모델(OpenAI, Google 등)과 중국의 자국 중심 기술 체계를 중심으로 양분화되는 추세다. 이러한 미·중 양강 구도 속에서, 한국을 비롯한 여러 국가들은 기술적 다양성과 접근성을 보장할 수 있는 제3의 협력 모델 구축 필요성을 꾸준히 제기해 왔다. 이에 대해 이광형 총장은 오픈소스 기반의 국제 협력체 구상을 바탕으로, 기존의 양극적 디지털 질서를 넘어 상호협력·공존하는 AI 신질서인 ‘삼분지계(三分之計)’ 전략을 제안한 바 있다. 이번 KAIST-킹사우드대 협력은 기술적 다양성과 접근성을 확보하기 위한 새로
2025-07-04 -
연구 24시간 말하는 AI비서 가능성 여는 '스피치SSM' 개발
최근 음성 언어 모델(Spoken Language Model, SLM)은 텍스트 없이 인간의 음성을 학습해 음성의 언어적, 비언어적 정보를 이해 및 생성하는 기술로 텍스트 기반 언어 모델의 한계를 넘어서는 차세대 기술로 각광받고 있다. 하지만 기존 모델은 장시간 콘텐츠 생성이 요구되는 팟캐스트, 오디오북, 음성비서 등에서 한계가 두드러졌는데, 우리 연구진이 이런 한계를 뛰어넘어, 시간 제약 없이 일관되고 자연스러운 음성 생성을 실현한 ‘스피치SSM’을 개발하는데 성공했다. 우리 대학 전기및전자공학부 노용만 교수 연구팀의 박세진 연구원(박사과정)이 장시간 음성 생성이 가능한 음성 언어 모델 ‘스피치SSM(SpeechSSM)’을 개발했다고 3일 밝혔다. 이번 연구는 국제 최고 권위 머신러닝 학회인 ICML(International Conference on Machine Learning) 2025에 전체 제출된 논문 중 약 1%만이 선
2025-07-03 -
연구 AI로 방사성 오염 '아이오딘' 제거용 최적 신소재 발굴
원자력 에너지 활용에 있어 방사성 폐기물 관리는 핵심적인 과제 중 하나다. 특히 방사성 ‘아이오딘(요오드)’는 반감기가 길고(I-129의 경우 1,570만 년), 이동성 및 생체 유독성이 높아 환경 및 인체에 심각한 위험을 초래할 수 있다. 한국 연구진이 인공지능을 활용해 아이오딘을 제거할 원자력 환경 정화용 신소재 발굴에 성공했다. 연구팀은 향후 방사성 오염 흡착용 분말부터 오염수 처리 필터까지 다양한 산학협력을 통해 상용화를 추진할 예정이다. 우리 대학 원자력및양자공학과 류호진 교수 연구팀이 한국화학연구원 디지털화학연구센터 노주환 박사가 협력하여, 인공지능을 활용해 방사성 오염 물질이 될 수 있는 아이오딘을 효과적으로 제거하는 신소재를 발굴하는 기술을 개발했다고 2일 밝혔다. 최근 보고에 따르면 방사능 오염 물질인 아이오딘이 수용액 환경에서 아이오딘산염(IO3-) 형태로 존재하는 것으로 밝혀졌으나, 기존의 은 기반 흡착제는 이에 대해 낮은 화학적
2025-07-02 -
연구 기계공학과 윤국진 교수 연구팀, 세계 최고 권위 컴퓨터비전 국제학술대회 ICCV 2025에 논문 12편 채택
우리 대학 기계공학과 윤국진 교수 연구팀의 논문 12편이 세계 최고 권위 컴퓨터비전 국제 학술 대회 중 하나인 IEEE/CVF International Conference on Computer Vision 2025(ICCV 2025)에 채택되어, 연구팀의 독보적인 연구 역량을 다시 한번 국제적으로 인정받았다. ICCV는 CVPR, ECCV와 함께 컴퓨터비전 및 인공지능 분야에서 가장 영향력 있는 국제 학술대회 중 하나로, 1987년부터 격년으로 개최되어 왔다. 이번 ICCV 2025에는 총 11,152편의 논문이 제출되었고, 이 중 2,698편이 채택되어 약 24.19%의 낮은 채택률을 기록하였다. 학술대회에 제출할 수 있는 논문 편수에 대한 제한이 있음에도 불구하고 단일 연구실에서 12편의 논문이 동시 채택되는 것은 매우 드문 성과다. 윤국진 교수 연구팀은 학습 기반의 시각 지능 구현을 목표로 연구를 진행하고 있으며, 이번에 발표된 12편의 논문들은 3D 객체 탐지 및
2025-06-30