%EC%A0%95%ED%95%98%EC%9B%85
-
음악 본능을 인공지능으로 밝혀내다
음악은 세계 공통어로 불릴만큼 문화적 보편 요소로 알려졌다. 그렇다면 어떻게 다양한 문화권의 환경 차이에도 불구하고, ‘음악적 본능’은 어느 정도 공유될 수 있는 것일까?
우리 대학 물리학과 정하웅 교수 연구팀이 인공신경망 모델을 활용해, 사람 뇌에서 특별한 학습 없이도 음악 본능이 나타날 수 있는 원리를 규명했다고 16일 밝혔다.
기존 학자들은 다양한 문화권에 존재하는 음악의 보편성과 차별성을 규명하고, 어떻게 이런 공통성이 나타날 수 있는지에 대해 이해하고자 시도해 왔다. 2019년 세계적인 과학 저널 ‘사이언스’에 게재된 연구를 통해 민족지학적으로 구분된 모든 문화에서 음악을 만들어 내고, 유사한 형태의 박자와 멜로디가 사용된다는 것이 발견됐다. 또한, 신경과학자들은 우리 뇌의 청각 피질(Auditory cortex)에 음악 정보처리를 담당하는 특정한 영역이 존재한다는 것을 밝혀냈다.
연구팀은 인공신경망을 사용해, 음악에 대한 학습 없이도 자연에 대한 소리 정보 학습을 통해 음악 인지 기능이 자발적으로 형성됨을 보였다. (그림2) 연구팀은 구글에서 제공하는 대규모 소리 데이터(AudioSet)를 활용해, 인공신경망이 이러한 다양한 소리 데이터를 인식하도록 학습했다. 흥미롭게도, 연구팀은 네트워크 모델 내에 음악에 선택적으로 반응하는 뉴런(신경계의 단위)이 발생함을 발견했다. 즉, 사람의 말(speech), 동물 소리, 환경 소리, 기계 소리 등의 다양한 소리에는 거의 반응을 보이지 않으나 기악이나 성악 등 다양한 음악에 대해서는 높은 반응을 보이는 뉴런들이 자발적으로 형성된 것이다.
이 인공신경망 뉴런들은 실제 뇌의 음악정보처리 영역의 뉴런들과 유사한 반응 성질을 보였다. 예를 들어, 인공 뉴런은 음악을 시간적으로 잘게 나누어 재배열한 소리에 대해 감소된 반응을 보였다. 이는 자발적으로 나타난 음악 선택성 뉴런들이 음악의 시간적 구조를 부호화하고 있음을 의미한다. 이러한 성질은 특정 장르의 음악에만 국한된 것이 아니라, 클래식, 팝, 락, 재즈, 전자음악 등 25개에 달하는 다양한 장르 각각에 대해서도 공통적으로 나타났다.
심지어, 네트워크에서 음악 선택성 뉴런의 활동을 억제하게 되면, 다른 자연 소리에 대한 인식 정확도를 크게 떨어뜨릴 수 있음을 보였다. 즉, 음악 정보처리 기능이 다른 자연 소리 정보처리에 도움을 주며, 따라서 ‘음악성’이란 자연 소리를 처리하기 위한 진화적 적응에 의해 형성되는 본능일 수 있다는 설명이다.
연구를 주도한 정하웅 교수는 “이러한 결과는 다양한 문화권에서 음악 정보처리의 공통된 기저를 형성하는데, 자연 소리 정보처리를 위한 진화적 압력이 기여했을 수 있음을 시사한다”며, “사람과 유사한 음악성을 인공적으로 구현하여, 음악 생성 AI, 음악 치료, 음악 인지 연구 등에 원천 모델로 활용될 수 있을 것으로 기대한다”고 연구의 의의를 설명했다. 그러나 “현 연구는 음악 학습에 의한 발달 과정을 고려하고 있지 않으며, 발달 초기의 기초적인 음악 정보처리에 대한 논의임을 주의해야 한다”고 연구의 한계를 덧붙였다.
우리 대학 물리학과 김광수 박사(現 MIT 뇌인지과학과)가 제1 저자로, 김동겸 박사(現 IBS)와 함께 진행한 이번 연구는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’에 출판됐다. (논문명: ‘Spontaneous emergence of rudimentary music detectors in deep neural networks’, 국문 번역: ‘심층신경망에서 음악 인지기능의 자발적 발생’)
한편 이번 연구는 한국연구재단의 지원을 통해 수행됐다.
2024.01.16 조회수 3590 -
서양 미술사 빅데이터 분석으로 회화 속 구도 변화 규명
우리 대학 물리학과 정하웅 교수 연구팀이 충북대학교 물리학과 한승기 교수 연구팀과 공동연구를 통해 르네상스부터 동시대 미술에 이르기까지 약 500년에 걸친 풍경화 1만 5천여 점을 정보이론과 네트워크 이론으로 분석해 서양 미술사 속 풍경화의 구도와 구성 비율의 점진적 변화를 수치적으로 규명했다.
우리 대학 물리학과 이병휘 박사과정 학생과 충북대 서민경 학생이 주도한 이번 연구는 세계적인 학술지 ‘미국 국립과학원회보(Proceedings of the National Academy of Sciences of the USA, 이하 PNAS)’에 10월 117권 43호에 출판됬다. (논문명: Dissecting Landscape Art History with Information Theory, 정보이론으로 해부한 풍경화의 역사). 해당 논문은 PNAS의 In this issue 섹션에 이번 호의 대표 논문으로 선정되었고, 코멘터리와 함께 게재됐다.
화가는 그림을 그릴 때 선, 색, 형태, 모양 등 여러 가지 시각적 구성 요소들을 다양한 ‘구성 원리’를 바탕으로 조화로운 최종 작품을 완성한다. 미술사와 미학 연구자들은 작가들이 작품을 생성할 때 잠재적으로 적용한 구성 원리가 시대와 문화를 초월하는 공통적인 특징을 가지는지, 혹은 시대나 문화적 환경에 따라 어떻게 달라지는지 이해하고자 시도해왔다. 특별히 대표적인 구성 원리중 하나인 작품구도 속 사용된 ‘비례’와 ‘비율’은 미술사가들과 미학자들의 오랜 관심사였다. 역사적으로 많은 논란을 일으킨 사례로는 황금비(Golden ratio)가 있다. 기원전 300년 전 유클리드의 원론에 의해 처음 제시된 황금비는 1500년대 초 이탈리아의 수학자 루카 파치올리의 책을 통해 ‘신성한 비율’이라는 이름으로 대중적으로 소개되며 유명해졌다. 최근까지도 황금비의 미적 선호도에 관한 논란은 계속되어 왔는데, 파르테논 신전이나 밀로의 비너스 등 여러 아름다운 미술 작품 속에 황금비가 발견되었다는 대부분의 주장들은 오늘날 근거가 부족한 것으로 밝혀지고 있다. 그렇다면 미술사 속에서 화가들이 특별히 선호한 비율은 과연 존재했을까? 혹은 시대에 따라 선호한 비율은 어떻게 변해왔을까?
연구팀은 회화 속 색상의 공간적 배치를 특징짓는 정보이론적 분할 방법론을 적용해 서양 미술사 풍경화 역사 속에서 사용된 구도와 구성 비율을 수치화하는 방법을 제시했다. (그림1 참조) *두 가지 대규모 온라인 갤러리 로부터 16세기 르네상스 시대부터 20세기 미술까지 500년 이상의 시간에 걸친 서양 미술사 속 풍경화 1만 5천여 점을 수집하여 분석한 결과, 화가들이 선호한 거시적 작품 구도와 구성 비율이 시대에 따라 일정하거나 무작위적이지 않고, 점진적이고 체계적인 변화과정을 거쳐왔음을 확인했다.
* 온라인 시각 예술 백과사전인 위키 아트(‘WikiArt’)와 헝가리 부다베스트 물리학 컴퓨터 네트워킹 연구센터에서 운영하는 온라인 갤러리인 웹 갤러리 오브 아트(‘Web Gallery of Art’)의 풍경화 데이터를 활용
연구팀은 먼저 정보이론적 분할 방법론을 이용해 풍경화 구도를 특징지었는데, 16세기부터 19세기 중반까지의 풍경화는 지배적인 수평 구조와 수직 구조가 함께 존재하는 ‘수평-수직’ 형태의 구도가 가장 빈번하게 사용되었으나, 시간이 흐를수록 전경-중경-후경과 같이 두 개의 수평 구조가 존재하는 ‘수평-수평’ 형태의 구도 사용이 점차 증가해 19세기 중반 이후부터는 ‘수평-수평’ 형태의 구도가 가장 지배적인 구도가 되었음을 확인했다. (그림 2 참조) 흥미롭게도 이러한 시간에 따른 구도 변화 패턴은 여러 국적에 걸쳐서도 유사하게 나타났다.
또한 연구팀은 색상 사용 패턴이 급격하게 달라지는 지배적인 수평선의 위치를 기반으로 시대와 작가별로 풍경 구도를 잡는데 자주 사용한 구성 비율을 측정했는데, 선호된 구성 비율은 시간에 따라 매우 점진적이고, 부드러운 변화 과정을 보였다. 작가들의 선호한 풍경화 속 지배적인 수평선은 바로크 시대 17세기 무렵 그림의 절반 아래에 해당하는 낮은 위치에서 발견되었으나, 그 후 점차 위쪽으로 움직여 19세기 이후에는 작품 위에서부터 1/3 지점에서 가장 많은 빈도로 발견됐다. 신기하게도 1/3 구성 비율을 가장 빈번하게 사용하는 특징은 다양한 현대 미술 주의(ism)에 걸쳐 유사하게 발견됐는데, 이러한 발견은 미술 양식의 폭발적인 다양성을 대표하는 현대 미술의 여러 주의들이 색채 사용과 표현 방법에선 다양성과 차별성을 추구했으나, 구도와 구성 비율의 관점에서는 유사한 사용 패턴을 보였다는 점에서 새로운 발견이다.
연구팀은 또한 네트워크 과학 방법론을 적용해 서로 유사한 구도를 적용한 작가들과 사조들로 이루어진 네트워크를 구축하여 분석했다. 이 작가-사조 네트워크는 크게 세 가지 거대 군집으로 구성돼 있었는데, 신기하게도 구도 사용의 유사성만을 바탕으로 한 작가들과 사조 속 군집은 시기적으로도 근접한 시기에 활동을 보인 작가들과 사조들로 이루어져 있었다. 이는 기존 알려진 개별 작가들의 생애와 개별 사조의 시간 범위를 초월하는 미술사 구도 양식 속 거대 군집이 있음을 시사한다.
정하웅 교수는 ‘이 같이 시대에 따른 깔끔하고 체계적인 서양 미술사 속 구도변화는 미술의 실제 역사의 모습을 반영하고 있을 수도 있지만, 동시에 높을 확률로 그동안 미술사가들과 비평가들에 의해 평가되고 정리돼 온 주류 미술사의 편향을 나타내고 있을 수 있음을 주의해야 한다’고 지적했다.
한편 이번 연구는 한국연구재단의 지원을 통해 수행됐다.
2020.11.02 조회수 30123 -
다빈치가 르네상스 이후에 태어났다면 모나리자를 어떻게 그렸을까
우리 학교 물리학과 정하웅 교수와 한양대학교 응용물리학과 손승우 교수는 중세부터 사실주의까지 약 1000년에 걸친 서양화 1만 여점의 빅데이터를 복잡계 이론으로 분석해 서양 미술의 변천사를 밝혀냈다. 또 이를 바탕으로 르네상스 시대의 대표 작품인 모나리자를 시대별로 재구성했다.
연구결과는 세계적인 과학저널 네이처(Nature)가 발행하는 ‘사이언티픽 리포트(Scientific Reports)’ 11일자 온라인판에 실렸으며 리서치 하이라이트로 선정되어 네이처 홈페이지 메인 화면에 소개되기도 했다.
최근 빅데이터가 관심을 받으면서 과학자들은 예술·인문학 자료를 전산화해 분석하려는 시도가 많이 있다. 이 같은 자료는 방대하고 복잡해서 다루기가 쉽지 않다. 연구자들은 빅데이터에서 질서를 찾기 위해 복잡계(Complex Systems) 과학 방법론을 이용하며 이를 ‘데이터 과학’이라고 한다.
그동안 회화에 사용된 물감의 구성 성분, 연대측정, 회화의 진위여부를 정량적으로 판별하는 방법 등에 관한 연구결과는 꾸준히 있었다. 하지만 서양 미술사 전반을 아우르는 대규모 분석에는 데이터가 충분하지 않았다.
연구팀은 헝가리 부다페스트 물리학 컴퓨터 네트워킹 연구센터(Computer Networking Centre of the Wigner Research Centre for Physics)에서 운영하는 온라인 갤러리에서 중세부터 19세기까지 디지털 형태의 서양회화 1만여 점을 모은 데이터를 기반으로 서양 미술을 객관적으로 분석할 수 있었다.
연구팀은 물리학에서 사용하는 상관 함수를 온라인 갤러리에서 취합된 서양 미술의 빅데이터에 적용해 분석한 결과 시간이 흐를수록 명암대비 효과가 점점 높아지는 경향이 있다는 사실을 밝혀냈다.
연구팀은 여기서 사용한 상관 함수를 잭슨 폴록의 드립 페인팅에 적용한 결과, 공간적인 명암대비 효과가 거의 없어 무작위로 만든 그림에 상당히 가깝다는 것을 분석해내기도 했다.
이와 함께 이 기간 동안 서양미술은 그림 속 물체의 윤곽선이 모호해지다 낭만주의 시대 무렵 다시 뚜렷해지는 변화가 있었다.
아울러 중세 시대에는 색상을 다양하게 사용하지 않았고 정치 및 종교적인 이유로 특정 염료만을 선호했다. 같은 이유로 당시에는 색을 직접 혼합하지 않고 오직 덧칠로만 다양한 색을 표현했다. 즉, 연구팀은 염료와 채색 방식으로 인한 중세 시대 색상 표현의 한계와 그 이후 변화를 분석해냈다.
정하웅 교수는 “물질세계의 복잡성에 대한 연구는 자연과학에서 오래된 주요 관심사였지만, 예술 및 인문사회분야와 관련한 체계적인 복잡성 연구는 인터넷 대중화 이후의 일”이라며 “이번 연구는 물질세계의 복잡성을 다루던 방법으로 인류의 귀중한 문화유산인 회화에서 숨은 복잡성을 찾아 구체적인 숫자로 제시했다는데 의의가 있다”고 말했다.
손승우 교수는 “학문 사이의 통섭은 이제 융·복합이라는 키워드로 우리 사회에 자리매김하고 있다”며 “학문간 더욱 활발한 대화를 통해 미술 분야를 넘어 예술 및 인문사회 분야에 숨겨진 복잡성을 더욱 폭넓게 이해하는 것이 필요하다”고 설명했다.
미래창조과학부와 한국연구재단이 추진하는 중견연구자지원사업의 지원으로 수행한 이번 연구는 KAIST와 한양대 교수진의 지도아래 KAIST 물리학과 김영호(28) 박사과정 학생이 주도했다.
동영상 링크 http://youtu.be/SFo0h1EU2aw
[자료 그림] 중세 회화와 드립 페인팅 비교: a은 중세 회화로 구성한 밝기 표면, b은 잭슨 폴록의 드립 페인팅 작품으로 구성한 밝기 표면이다. 각 픽셀의 밝기를 픽셀 위치의 높이로 두어 표면을 구성하고 각 밝기 표면에서 거리에 따른 평균 밝기차이 상관함수를 구했다. c와 d에서 빨간색 점은 그림에서 거리에 따른 평균 밝기차이 상관함수, 파란색 점은 그림을 무작위로 섞어서 만든 이미지에서 거리에 따른 평균 밝기차이 상관함수이다. 중세 회화와 다르게 잭슨 폴록의 드립 페인팅은 무작위로 섞어서 만든 이미지와 거리에 따른 평균 밝기차이 상관함수가 거의 차이가 없다. © 2014 The Polock-Krasner Foundation/ARS, NY - SACK, Seoul
1. 르네상스 시대의 대표 작품인 모나리자를 시대별 스타일에 맞게 재구성
2. 각 그림으로 표면을 구성하고 명암 대비 기법의 강도를 측정하는 짧은 영상. 선별한 그림을 중심으로 명암 대비 기법의 강도가 시대에 따라 증가하는 경향을 영상에서 확인할 수 있다.
3. 회화에서 밝기 표면을 구성하는 방법
4. 네이처 홈페이지(12월 11일)
2014.12.15 조회수 14475 -
정하웅 교수, 도로 교통망에서의 사회적 비효율성 규명
- 도로신설이 오히려 교통체증을 유발하는 사회적 비효율성 정량화
- 물리학 분야 세계 최고 권위지‘피지컬 리뷰 레터스’9월 18일자에 게재예정- 경제학 분야 최고저널 ‘이코노미스트’9월 13일자에 소개
교통체증을 완화시키기 위해 길을 하나 더 만들었으나 오히려 체증이 심해질 수도 있을까? 광화문 거리 하나를 막아서 서울 전체 교통 환경을 개선시킬 순 없을까? 각자 자신에게 가장 빠른 길을 이용하는 ‘합리적자기중심주의’ 운전습관이 도리어 전체 교통망의 비효율을 일으킨다는 사실이 최근 한국과 미국의 물리학자들에 의해 밝혀졌다.
네트워크 과학의 전문가로 잘 알려진 우리학교 물리학과 및 바이오융합연구소 정하웅(鄭夏雄, 40세) 교수팀은 미국 샌타페이 연구소와 공동연구를 통해 교통망에서의 사회적 비효율성을 ‘행위자 기반 모형’을 통해 구현해 냈다. 이 연구결과는 물리학분야의 세계 최고 권위지 ‘피지컬 리뷰 레터스(Physical Review Letters)’ 9월 18일자에 발표 예정이다.
복잡한 관계로 얽혀있는 인간 사회에 나타나는 비효율성을 줄이기 위한 연구가 최근 활발하게 진행되고 있지만 그동안 비효율성의 정도를 정량화하는 것조차 쉽지가 않았다. 鄭 교수팀은 출발지에서 목적지까지의 차량소요시간을 이용하여 사회적 비효율성을 정의하였다. 즉 운전자마다 가장 빠른 길을 선택하는 모형설계를 통해 도시에서의 교통흐름을 재현해 냈다. 대부분의 운전자는 출발지에서 목적지까지 가장 빠른 이동경로를 선택하게 되고, 교통체증이 덜한 먼 길로 스스로 우회를 선택하는 운전자는 없었다. 만약 일부 운전자들이 우회를 선택해 준다면 도시 전체의 교통흐름은 훨씬 빨라질 수도 있겠지만 불행히도 이런 운전자는 존재하지 않는다. 결국 개인의 이익을 극대화하려는 합리적자기중심주의 행동이 전체의 효율성을 떨어뜨려 자신과 다른 사람 모두에게 악영향을 미치게 된다. 연구팀은 교통체증이 심한 미국의 뉴욕과 보스턴, 영국의 런던 등 대도시 도로망의 비효율성을 분석한 결과 도로망 비효율성이 최고 30%에 달한다는 사실에 주목, 현재 도로망 상태를 유지한 채로 적절하게 교통량을 우회, 분산시킬 수만 있다면 1시간 걸리던 거리를 40분 만에 주파할 수도 있다는 사실을 밝혀냈다. 또한 연구팀은 연구대상 도시의 교통 상황을 오히려 악화시키는 도로를 찾아냈는데[자료그림], 흔히 교통흐름을 개선시킬 것이라고 생각했던 도로들이 도리어 반대의 역할을 하는 경우가 상당히 많았다고 한다. 즉 차량수가 늘지 않은 상태에서도 효율성을 감안하지 않은 새로운 도로로 인하여 정체가 더 심해진다는 것이다.
이와 같은 사회적 비효율성에 대한 연구는 경제학에서 주 관심사였다. 이번 물리학자들의 연구는 새로운 관점에서 현실적 숫자를 제시한 것으로 경제학자들로부터도 관심을 모으고 있다. 세계적 경제학 잡지인 ‘이코노미스트’는 9월 13일자 판에 이슈 논문으로 이 연구결과를 소개하기도 했다.
도로망 설계 시 사회적 비효율성 점검을 강조한 정하웅 교수는 “이번에 개발한 방법을 더욱 발전시켜 직접적으로는 출퇴근시간의 짜증을 없애는 것과 네트워크 과학을 활용, 다양한 분야에 산재하는 사회적 비효율성을 해결하는 것이 연구의 궁극적인 목표다”라고 말했다.
[자료그림설명] 뉴욕 맨해튼의 도로망 분석: 도로의 색은 그 도로가 통제되었을 때 더 필요한 지체소요시간을 나타낸다. 빨간 색은 도로를 막으면 안되는 것이고 파란 색일 수록 도로를 막아도 차들이 빠른 시간 내에 우회 가능하다는 것이다. 점선부분으로 된 곳이 흥미 있는 곳으로, 그 도로를 막았을 때 체증은커녕 오히려 전체 소요시간이 줄어드는 현상을 나타낸다. 이 점선 도로가 잘못 설계된 도로를 나타낸다(브래스 패러독스)
용어설명 :행위자 기반 모형: 상호작용하는 많은 행위자들로 이루어진 작은 가상세계이다. 여기서 크게 행위자, 행위자가 활동하고 상호작용 하는 시스템 공간, 시스템에 영향을 끼치는 외부환경 등의 세 가지 요소로 구성되며, 이들 요소를 설계하여 조립하는 방식으로 모형을 만든다. 이 때문에 행위자 기반 모형으로 복잡계를 탐구하는 방법을 생성적 접근법 또는 구성적 접근법이라고 한다.
정하웅 교수 소개
KAIST 물리학과 정하웅 교수는 ‘복잡계 네트워크’라는 새로운 연구 분야를 개척했으며, 지금까지 물리학, 생물학, 컴퓨터와 관련된 네이처(Nature)誌 5편, 미국국립과학원 회보(PNAS) 3편, 피지컬 리뷰 레터스(Phys. Rev. Lett.)誌 6편 등을 포함한 통산 누적 피인용회수 5천여 회가 넘는 70여 편의 논문을 발표해 주목을 받았다. 현재는 물리학, 사회학, 경제학, 인터넷, 생물정보학 등에서의 다양한 학제간 연구를 통해 21세기 과학의 연구 주제로 떠오르고 있는 복잡계(Complex Systems)의 이해를 위해 노력 중이며, 많은 학술 논문 발표뿐만 아니라 과학기술 앰배서더로서 네트워크 과학에 대한 대중강연을 활발하게 펼치며 물리학의 저변확대에도 힘을 쏟고 있다.
2008.09.18 조회수 19157