음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때, 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 있다면 얼마나 좋을까? KAIST 연구진이 이런 음악 창작을 돕는 동료 작가와 같은 AI 기술을 개발했다.
KAIST(총장 이광형)는 전기및전자공학부 이성주 교수 연구팀이 AI 기반 음악 창작 지원 시스템 어뮤즈(Amuse)를 개발하였다. 이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상(Best Paper Award)을 수상했다고 7일 밝혔다.
< (왼쪽부터) 카네기 멜런대 크리스 도너휴 교수, 전기및전자공학부 김예원 박사과정, 이성주 교수 >
이성주 교수 연구팀이 개발한 어뮤즈(Amuse) 시스템은 텍스트, 이미지, 오디오와 같은 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.
예를 들어, 사용자가 ‘따뜻한 여름 해변의 기억’과 같은 문구나 이미지, 사운드 클립을 입력하면, 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다.
기존의 생성 AI와 달리, 어뮤즈는 사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 통해 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다.
어뮤즈 시스템의 핵심 기술은 대형 언어 모델의 이용해 사용자의 영감으로 프롬프트에 입력한 글자 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.
< 그림. 어뮤즈(Amuse)의 시스템 구성. 사용자 입력으로부터 음악 키워드를 추출한 뒤, 대형 언어 모델 기반 코드 진행을 생성하고 리젝션 샘플링으로 정제한다(왼쪽). 오디오 입력으로부터 코드 추출도 가능하다(오른쪽). 하단은 생성된 코드의 화성 구조를 시각화한 예시이다. >
연구팀은 실제 뮤지션들을 대상으로 한 사용자 연구를 수행하여, 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.
KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜런 대학의 크리스 도너휴(Chris Donahue) 교수가 참여한 해당 논문은 학계 및 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여주었다.
※ 논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations DOI : https://doi.org/10.1145/3706598.3713818
※ 연구 데모 영상: https://youtu.be/udilkRSnftI?si=FNXccC9EjxHOCrm1
※ 연구 홈페이지: https://nmsl.kaist.ac.kr/projects/amuse/
이성주 교수는 “ 최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다.”라고 말했다.
이어 ”어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다.“라고 설명했다.
이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었다.(RS-2024-00337007)
-
연구 AI로 의과학·바이오 분야 새 시대 연다
우리 대학은 과학기술정보통신부가 주관하는‘AI 특화 파운데이션 모델 개발 사업’의 ‘루닛 컨소시움’ 주요 참여기관으로 선정되어, 의과학·바이오 분야 AI 파운데이션 모델 개발에 본격 착수했다고 14일 밝혔다. 이번 사업을 통해 KAIST는 바이오·의료 데이터 전주기를 아우르는‘의과학 특화 AI 파운데이션 모델’을 개발하며, AI 기반 생명과학 혁신 생태계 조성을 주도할 계획이다. ‘루닛 컨소시움’에는 루닛을 중심으로 트릴리온랩스, 카카오헬스케어, 아이젠사이언스, SK바이오팜, 리벨리온 등 7개 기업과, KAIST, 서울대, NYU, 국민건강보험공단 일산병원, 용인세브란스병원 등 9개 의료기관 및 연구기관이 함께 참여한다. 본 컨소시엄은 최신 B200 GPU 256장을 지원받아, 의료 데이터를 처음부터 끝까지 연결해 분석하는 AI 시스템인‘증거사슬(Chai
2025-11-14 -
정책 K-글로벌 딥테크 창업 전략 성과 가시화..창업기업 ‘배럴아이’ 글로벌 헬스케어 선도기업으로부터 140억 원 투자 유치
우리 대학이 추진 중인 ‘K-글로벌 딥테크 창업 전략’이 구체적인 성과로 이어지고 있다. 우리 대학은 창업원이 육성한 의료 AI 솔루션 기업 ㈜배럴아이(대표 배현민)가 글로벌 헬스케어 선도기업으로부터 약 140억 원(미화 1,000만 달러) 규모의 전략적 시리즈 A 투자를 유치하며, KAIST 딥테크 창업 생태계의 대표 성공 사례로 자리매김했다고 14일 밝혔다. ■ KAIST, 연구기반 딥테크 창업 전주기 지원체계 강화 KAIST 창업원은 과학기술 기반 창업을 통한 혁신 생태계 조성을 목표로 기술사업화·창업보육·투자연계·글로벌 진출 등 전주기 지원체계를 운영하고 있다. ‘K-글로벌 딥테크 창업 전략’을 중심으로 연구성과의 시장 진입과 글로벌 투자 유치를 촉진하며, 대한민국을 대표하는 딥테크 창업 허브로 성장하고 있다. KAIST는 특히 AI, 바이오헬스, 반도체, 미래모빌리티 등 첨단 산업 분
2025-11-13 -
연구 AI가 잘 작동할지 미리 안다. 그래프 학습으로 예측 속도 43배↑
목표 과업에 좋은 성능을 보이는 신경망 구조를 찾는 것은 큰 비용이 소요되어, 신경망의 성능을 효율적으로 예측하는 방법론이 활발히 연구되었다. 우리 대학 김재철AI대학원 소속 김선우 박사과정, 황현진 석박통합과정(지도교수 신기정)은 그래프 기반 사전학습을 이용하여, 기존의 효과적인 방법론의 성능을 개선하면서, 약 43배 빠른 예측 속도를 보이는 예측 기법을 개발하였다. 인공지능 모델은 최근 다양한 분야에서 괄목할 성과를 거두었지만, 모델의 신경망 구조가 해당 모델의 성능에 영향을 크게 미치는 특징이 있다. 그러나 목표 과업에 적합한 신경망 구조를 알고자 직접적으로 해당 신경망 구조를 학습 및 평가하는 방식은 큰 비용이 소요된다. 이를 해결하기 위해, 다른 인공지능 모델을 사용하여 특정 신경망 구조의 성능을 예측하는 방식이 사용되었다. 경량화된 예측 모델은 예측 속도는 빠르나 예측 성능이 낮다는 한계가 있었고, 최근 개발된 방법론은 예측 정확도는 높으나 예측 속도가 매우 느린 문
2025-11-11 -
행사 인간 중심 AI 국제 워크숍 주최, 글로벌 AI 윤리논의 이끈다.
우리 대학은 11월 14일, 컴퓨터 과학 분야 세계적 권위의 학술대회인 ‘정보 및 지식관리 학회(The 34th International Conference on Information and Knowledge Management, CIKM 2025)’에서‘인간 중심 AI: 설명가능성과 신뢰성에서 실행 가능한 윤리까지(Human-Centric AI: From Explainability and Trustworthiness to Actionable Ethics)’를 주제로 국제 워크숍(워크샵 조직위원장: KAIST 김재철AI대학원 최재식 교수)을 개최할 예정이다. 이번 행사는 KAIST 김재철AI대학원이 주도하고 서울대, 서강대, 성균관대, 한국전자통신연구원(ETRI), 독일 TU Berlin 등 국내외 유수 기관이 공동으로 참여하는 자리다. AI 기술의 잠재적 위험을 줄이고 책임 있는 활용을 위한 ‘인간 중심 AI&rsquo
2025-11-07 -
행사 알파폴드3’뛰어넘는 차세대 바이오 AI 모델‘K-Fold’개발
KAIST 연구진이 구글 딥마인드의 ‘알파폴드3(AlphaFold3)’를 뛰어넘는 차세대 바이오 AI 모델 ‘K-Fold’ 개발에 나섰다. 이번 연구를 통해 KAIST는 빠르고 정확한 신약 개발, 낮은 실패율, 그리고 AI 기반 과학 혁신을 실현하며, ‘AI가 과학을 돕는 시대’를 넘어 ‘AI가 과학을 이끄는 시대’를 여는 주역으로 떠오를 전망이다. KAIST(총장 이광형)는 과학기술정보통신부가 주관하는‘AI 특화 파운데이션 모델 개발 사업’의 주관기관으로 선정되어, 의과학·바이오 분야 AI 파운데이션 모델 개발에 본격 착수했다고 7일 밝혔다. KAIST는 이번 사업을 통해 국내 최고 수준의 인공지능(AI) 연구 역량을 바이오 분야에서도 입증하고, 신약 개발 등 첨단 바이오 AI 연구에 활용할 수 있는 차세대 파운데이션 모델 ‘K-Fold&rs
2025-11-07