-
음악 창작 돕는 작곡 AI 동료 ‘어뮤즈’ 공개
음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때, 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 있다면 얼마나 좋을까? KAIST 연구진이 이런 음악 창작을 돕는 동료 작가와 같은 AI 기술을 개발했다.
KAIST(총장 이광형)는 전기및전자공학부 이성주 교수 연구팀이 AI 기반 음악 창작 지원 시스템 어뮤즈(Amuse)를 개발하였다. 이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상(Best Paper Award)을 수상했다고 7일 밝혔다.
이성주 교수 연구팀이 개발한 어뮤즈(Amuse) 시스템은 텍스트, 이미지, 오디오와 같은 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.
예를 들어, 사용자가 ‘따뜻한 여름 해변의 기억’과 같은 문구나 이미지, 사운드 클립을 입력하면, 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다.
기존의 생성 AI와 달리, 어뮤즈는 사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 통해 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다.
어뮤즈 시스템의 핵심 기술은 대형 언어 모델의 이용해 사용자의 영감으로 프롬프트에 입력한 글자 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.
연구팀은 실제 뮤지션들을 대상으로 한 사용자 연구를 수행하여, 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.
KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜런 대학의 크리스 도너휴(Chris Donahue) 교수가 참여한 해당 논문은 학계 및 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여주었다.
※ 논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations DOI : https://doi.org/10.1145/3706598.3713818
※ 연구 데모 영상: https://youtu.be/udilkRSnftI?si=FNXccC9EjxHOCrm1
※ 연구 홈페이지: https://nmsl.kaist.ac.kr/projects/amuse/
이성주 교수는 “ 최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다.”라고 말했다.
이어 ”어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다.“라고 설명했다.
이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었다.(RS-2024-00337007)
2025.05.07
조회수 7314
-
음악 본능을 인공지능으로 밝혀내다
음악은 세계 공통어로 불릴만큼 문화적 보편 요소로 알려졌다. 그렇다면 어떻게 다양한 문화권의 환경 차이에도 불구하고, ‘음악적 본능’은 어느 정도 공유될 수 있는 것일까?
우리 대학 물리학과 정하웅 교수 연구팀이 인공신경망 모델을 활용해, 사람 뇌에서 특별한 학습 없이도 음악 본능이 나타날 수 있는 원리를 규명했다고 16일 밝혔다.
기존 학자들은 다양한 문화권에 존재하는 음악의 보편성과 차별성을 규명하고, 어떻게 이런 공통성이 나타날 수 있는지에 대해 이해하고자 시도해 왔다. 2019년 세계적인 과학 저널 ‘사이언스’에 게재된 연구를 통해 민족지학적으로 구분된 모든 문화에서 음악을 만들어 내고, 유사한 형태의 박자와 멜로디가 사용된다는 것이 발견됐다. 또한, 신경과학자들은 우리 뇌의 청각 피질(Auditory cortex)에 음악 정보처리를 담당하는 특정한 영역이 존재한다는 것을 밝혀냈다.
연구팀은 인공신경망을 사용해, 음악에 대한 학습 없이도 자연에 대한 소리 정보 학습을 통해 음악 인지 기능이 자발적으로 형성됨을 보였다. (그림2) 연구팀은 구글에서 제공하는 대규모 소리 데이터(AudioSet)를 활용해, 인공신경망이 이러한 다양한 소리 데이터를 인식하도록 학습했다. 흥미롭게도, 연구팀은 네트워크 모델 내에 음악에 선택적으로 반응하는 뉴런(신경계의 단위)이 발생함을 발견했다. 즉, 사람의 말(speech), 동물 소리, 환경 소리, 기계 소리 등의 다양한 소리에는 거의 반응을 보이지 않으나 기악이나 성악 등 다양한 음악에 대해서는 높은 반응을 보이는 뉴런들이 자발적으로 형성된 것이다.
이 인공신경망 뉴런들은 실제 뇌의 음악정보처리 영역의 뉴런들과 유사한 반응 성질을 보였다. 예를 들어, 인공 뉴런은 음악을 시간적으로 잘게 나누어 재배열한 소리에 대해 감소된 반응을 보였다. 이는 자발적으로 나타난 음악 선택성 뉴런들이 음악의 시간적 구조를 부호화하고 있음을 의미한다. 이러한 성질은 특정 장르의 음악에만 국한된 것이 아니라, 클래식, 팝, 락, 재즈, 전자음악 등 25개에 달하는 다양한 장르 각각에 대해서도 공통적으로 나타났다.
심지어, 네트워크에서 음악 선택성 뉴런의 활동을 억제하게 되면, 다른 자연 소리에 대한 인식 정확도를 크게 떨어뜨릴 수 있음을 보였다. 즉, 음악 정보처리 기능이 다른 자연 소리 정보처리에 도움을 주며, 따라서 ‘음악성’이란 자연 소리를 처리하기 위한 진화적 적응에 의해 형성되는 본능일 수 있다는 설명이다.
연구를 주도한 정하웅 교수는 “이러한 결과는 다양한 문화권에서 음악 정보처리의 공통된 기저를 형성하는데, 자연 소리 정보처리를 위한 진화적 압력이 기여했을 수 있음을 시사한다”며, “사람과 유사한 음악성을 인공적으로 구현하여, 음악 생성 AI, 음악 치료, 음악 인지 연구 등에 원천 모델로 활용될 수 있을 것으로 기대한다”고 연구의 의의를 설명했다. 그러나 “현 연구는 음악 학습에 의한 발달 과정을 고려하고 있지 않으며, 발달 초기의 기초적인 음악 정보처리에 대한 논의임을 주의해야 한다”고 연구의 한계를 덧붙였다.
우리 대학 물리학과 김광수 박사(現 MIT 뇌인지과학과)가 제1 저자로, 김동겸 박사(現 IBS)와 함께 진행한 이번 연구는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’에 출판됐다. (논문명: ‘Spontaneous emergence of rudimentary music detectors in deep neural networks’, 국문 번역: ‘심층신경망에서 음악 인지기능의 자발적 발생’)
한편 이번 연구는 한국연구재단의 지원을 통해 수행됐다.
2024.01.16
조회수 9580
-
유명 DJ들의 플레이리스트로 일렉트로닉 음악 시장 분석
우리 대학 문화기술대학원 이원재 교수, 위형석 박사 연구팀이 일렉트로닉 음악 페스티벌(Electronic Music Festival) 에서 활동하고 있는 유명 DJ들의 시장 성공을 위한 사회적 역할을 그들의 플레이리스트(Playlist) 분석을 통해 밝혔다고 9일 밝혔다.
문화기술대학원 위형석 박사가 제1 저자로 참여한 이번 연구는 국제 학술지 `플로스 원(PLOS ONE)' 최신호에 출판됐다. (논문명 : Stars inside have reached outside: The effects of electronic dance music DJs’ social standing and musical identity on track success)
연구팀은 EDM(Electronic Dance Music)과 같은 신흥 장르의 음악 시장에서 DJ들의 사회적 명성을 그들의 예술 작품의 품질을 보장하는 효과적인 수단으로 보고, 특히 음악적 정체성과 아티스트의 집단 내 사회적 위치가 명성에 영향을 미치는 두 가지 중요한 요소임을 밝혔다.
연구팀은 2013년부터 2016년까지 전 세계 각지에서 개최한 9개의 페스티벌에서 공연했던 815명의 DJ들의 3,164개의 플레이리스트 데이터를 DJ들 간 일종의 인용 관계(Citation network)로 분석해 다른 DJ들로부터 인용 횟수가 많은 DJ를 사회적 명성이 높은 것으로 간주했다.
또한 이와 함께, 이들이 해당 기간 발매한 음원들의 장르, BPM(beats per minute)와 키 스케일(Key Scale) 데이터를 분석해 음악적 정체성과 연관성을 분석했다.
첫째로, DJ들이 발매한 음원 데이터를 분석한 결과 명성이 높은 스타 DJ일수록 일관되고 확고한 음악적 정체성을 표방하는 것으로 나타났다. 즉, 새로운 스타일과 장르가 끊임없이 탄생하는 음악 시장에서 자신만의 영역을 개척하고 가치 기준을 설정하는 것이 사회적 명성을 얻는데 중요한 요소로서 작동함을 연구진은 밝혔다.
둘째로, DJ들이 공연했던 플레이리스트 데이터를 기반으로 네트워크 분석을 한 결과, 사회적 명성이 높은 DJ일수록 서로 다른 집단을 연결하는 중개적 위치(brokerage position)와 한 집단 내 응집력이 높은 위치(Cohesive position)가 결합된 하이브리드 형태(Hybrid position)의 위치에 있는 것을 확인할 수 있었다. 이러한 하이브리드 위치는 새로운 기회와 자원의 유입을 컨트롤할 수 있는 가장 유리한 위치로서, 두 입장이 가진 장점을 이분법으로 나누는 기존의 연구들과는 달리, 두 입장이 상호 보완적으로 시너지를 낼 수 있음을 밝히고 있다.
연구팀은 이러한 독특한 현상이 EDM DJ들 사이의 리믹스(Remix) 문화에서 비롯된 것으로 보고 있다. 자신만의 음악적 정체성으로 다양한 트랙을 결합하여 플레이리스트를 구성하는 방식이 바로 DJ들의 예술적 창의성을 보여주는 방법이기 때문이다. 따라서 스타 DJ들은 자신의 리믹스 실력을 보여주기 위해 다른 장르에서 명성이 높은 DJ의 음악을 선택해 새롭게 재해석함으로써 리더로서 자신이 속한 장르 집단의 위상을 높임과 동시에 장르 간 크로스오버 형태의 협업을 진행하는 선구자적 역할을 맡고 있다.
그럼에도 불구하고, 연구팀은 EDM 내 대부분의 장르와는 달리 테크노(Techno) DJ들은 오히려 장르 간 크로스오버를 지양하고 자신들만의 음악적 정체성만을 고수해 갈라파고스화돼 있다는 결과 또한 독특한 현상임을 지적하고 있다.
이원재 교수는 "최근 음악의 인용과 추천이라는 방식으로 새롭게 주목받고 있는 DJ와 같은 차세대 아티스트들의 플레이리스트 분석을 통해 음악적 요소뿐 아니라 그들 집단 내 사회적 관계를 함께 분석했다ˮ며, "큐레이션(Curation)과 추천(Recommendation)으로 변화하는 최근 음악 소비 트렌드에 맞춰 이와 같은 접근법이 다양하게 활용될 수 있을 것ˮ이라고 말했다.
한편 이번 연구는 BK21 플러스 콘텐츠 사이언스 사업단의 지원을 받아 수행됐다.
2021.09.09
조회수 10871