음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때, 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 있다면 얼마나 좋을까? KAIST 연구진이 이런 음악 창작을 돕는 동료 작가와 같은 AI 기술을 개발했다.
KAIST(총장 이광형)는 전기및전자공학부 이성주 교수 연구팀이 AI 기반 음악 창작 지원 시스템 어뮤즈(Amuse)를 개발하였다. 이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상(Best Paper Award)을 수상했다고 7일 밝혔다.
< (왼쪽부터) 카네기 멜런대 크리스 도너휴 교수, 전기및전자공학부 김예원 박사과정, 이성주 교수 >
이성주 교수 연구팀이 개발한 어뮤즈(Amuse) 시스템은 텍스트, 이미지, 오디오와 같은 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.
예를 들어, 사용자가 ‘따뜻한 여름 해변의 기억’과 같은 문구나 이미지, 사운드 클립을 입력하면, 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다.
기존의 생성 AI와 달리, 어뮤즈는 사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 통해 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다.
어뮤즈 시스템의 핵심 기술은 대형 언어 모델의 이용해 사용자의 영감으로 프롬프트에 입력한 글자 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.
< 그림. 어뮤즈(Amuse)의 시스템 구성. 사용자 입력으로부터 음악 키워드를 추출한 뒤, 대형 언어 모델 기반 코드 진행을 생성하고 리젝션 샘플링으로 정제한다(왼쪽). 오디오 입력으로부터 코드 추출도 가능하다(오른쪽). 하단은 생성된 코드의 화성 구조를 시각화한 예시이다. >
연구팀은 실제 뮤지션들을 대상으로 한 사용자 연구를 수행하여, 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.
KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜런 대학의 크리스 도너휴(Chris Donahue) 교수가 참여한 해당 논문은 학계 및 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여주었다.
※ 논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations DOI : https://doi.org/10.1145/3706598.3713818
※ 연구 데모 영상: https://youtu.be/udilkRSnftI?si=FNXccC9EjxHOCrm1
※ 연구 홈페이지: https://nmsl.kaist.ac.kr/projects/amuse/
이성주 교수는 “ 최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다.”라고 말했다.
이어 ”어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다.“라고 설명했다.
이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었다.(RS-2024-00337007)
-
기부 동문 이범규 팀스파르타 대표, AI 연구지원 위해 1억 원 기부
우리 대학은 동문인 AI 교육기업 팀스파르타 이범규 대표가 생성형 AI 에이전트 기반 연구지원 프로그램 운영을 위해 전산학부에 1억 원을 기부했다고 16일 밝혔다. 우리 대학은 이번 기부를 바탕으로 약 2년간 전 학과 석·박사 연구자를 대상으로 생성형 AI 에이전트 활용 지원 프로그램을 운영할 계획이다. 연구자들은 ‘클로드 코드(Claude Code)',‘코덱스(Codex)' 등 최신 AI 개발 에이전트를 활용할 수 있으며, 관련 교육과 정기 세미나에도 참여하게 된다. 기부식은 지난 15일 대전 KAIST 본원에서 열렸으며, 이범규 대표와 이재길 KAIST 전산학부장, 류석영 KAIST 전산학부 교수가 참석했다. 이번 후원은 지난해 9월에 이은 이 대표의 두 번째 사재 출연이다. 프로그램은 6개월 단위로 운영되며 기수당 20명의 연구자를 선발할 예정이다. 제1기는 연내 선발을 목표로 하고 있으며, 장기적으로는 지원 범위와 참여 기부자를 확대
2026-07-16 -
연구 ‘나만의 AI’ 더 안전하게 만든다...AI 개인화 시대 핵심기술 개발
“우리 회사 문서만 학습한 AI 비서를 만들어줘.” 기업과 개인이 자신의 문서와 데이터를 AI에 학습시켜 ‘나만의 AI’를 만드는 시대가 열리고 있다. 하지만 AI를 맞춤형으로 학습시키면 업무 능력은 높아지는 반면 기존의 안전장치가 약해질 수 있다는 한계가 있었다. 국내 연구진이 맞춤형 성능은 그대로 유지하면서 안전성은 오히려 높이는 AI 핵심 기술을 개발했다. 우리 대학은 전기및전자공학부 김창익 교수 연구팀이 챗GPT와 같은 대형언어모델(LLM, Large Language Model)을 개인이나 기업의 데이터에 맞게 다시 학습시키는 파인튜닝(Fine-tuning, 기존 AI에 새로운 지식이나 업무를 추가로 학습시키는 과정)에서 안전성이 훼손되는 문제를 해결하는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 학습 프레임워크를 개발했다고 15일 밝혔다. 기존에는 AI를 맞춤형으로 학습시키면 새
2026-07-15 -
연구 집에서 뇌혈관질환 위험 신호 미리 찾는 AI 기술 개발
뇌혈관질환은 치료 시기를 놓치면 심각한 후유증으로 이어질 수 있지만, 증상이 나타나기 전에는 알아차리기 어렵다. 국내 연구진이 실제 고령자의 일상생활 데이터를 분석해 집에서 나타나는 작은 변화만으로 뇌혈관질환 위험을 조기에 감지하는 AI 기술을 개발했다. 우리 대학은 건설및환경공학과 임리사 교수 연구팀이 성균관대학교(총장 유지범) 전자전기공학부 정조운 교수, 고려대학교(총장 김동원) 안암병원 신경과 조경희 교수 연구팀과 공동으로 실제 고령자의 주거환경에서 장기간 수집된 라이프로그 데이터를 활용해 뇌혈관질환 진단 전 위험단계를 식별하고, 진단이 임박한 위험 상태까지 평가하는 AI 프레임워크를 개발했다고 12일 밝혔다. 이번 연구는 ㈜리본케어가 실제 주거환경에서 수집한 고령자 1,224명의 라이프로그 데이터를 기반으로 수행됐다. 연구팀은 14일 단위로 구성한 총 13,362개의 생활 데이터 표본을 분석해 질환이 발생한 뒤 병원에서 치료하는 기존 접근에서 벗어나, 일상생활 속
2026-07-13 -
연구 투명한 유리도 보고 미래도 예측하는 ‘피지컬 AI’ 핵심기술 개발
인공지능(AI)이 화면 속 정보를 분석하는 기술을 넘어, 현실 세계의 물리적 특성을 이해하고 스스로 판단·행동하는 단계로 진화하고 있다. 우리 대학 연구진은 빛과 물질의 상호작용, 공간 인식, 미래 상황 예측, 행동 계획을 아우르는 피지컬 AI(Physical AI·물리 기반 인공지능) 핵심 기술을 개발했다. 이번 성과는 자율주행차와 휴머노이드 로봇, 산업용 로봇, 디지털 트윈 등 실제 환경에서 작동하는 차세대 자율 시스템 구현을 앞당길 것으로 기대된다. 우리 대학은 전산학부 윤성의 교수 연구팀이 ▲유리나 물처럼 투명한 물체를 정확히 인식하는 기술 ▲빛과 물질의 상호작용을 분석해 주변 환경을 이해하는 기술 ▲사진 한 장만으로 로봇이 목적지를 찾아가는 기술 ▲미래 상황을 예측해 행동을 계획하는 기술을 개발했다고 6일 밝혔다. 이번 연구는 시각 인식부터 물리적 이해, 미래 예측, 행동 계획까지 하나의 기술 흐름으로 연결했다는 점에서 의미가 크다. 이를 통
2026-07-06 -
행사 KAIST 인공지능반도체대학원, 제6회 한국인공지능시스템포럼 조찬 강연회 개최
우리 대학 인공지능반도체대학원은 2026년 7월 2일 호텔 오노마 대전 5층 그랜드볼룸홀에서 「제6회 한국인공지능시스템포럼 조찬 강연회」를 개최했다. 이번 강연회는 한국인공지능시스템포럼(KAISF)이 주관하고, 정보통신기획평가원(IITP), 한국전자통신연구원(ETRI), PIM반도체설계연구센터, 우리 대학 인공지능반도체대학원이 공동 주최했다. 행사에는 관련 산학연 연구자 및 종사자, 정부부처와 공공기관 관계자 등이 참석해 인공지능과 모빌리티 산업의 기술 변화 및 발전 방향을 공유했다. 이날 강연은 카카오모빌리티 김진규 부사장이 맡아 Physical AI 시대의 모빌리티 혁신과 자율주행 상용화 방향을 중심으로 진행했다. 김 부사장은 서울 강남구 심야 자율주행 택시 ‘서울자율차’ 운영 사례를 바탕으로, 카카오 T 플랫폼이 시민의 이동 경험을 혁신하고 있는 방식과 자율주행 상용화를 위한 기술적·산업적 과제를 소개했다. 또한 자율주행 상용화가 단일
2026-07-06