%EC%8A%A4%ED%94%BC%EC%BB%A4
-
지금 당신의 마음 건강은 어떠한가요?
최근 빠른 고령화 및 출산율 감소 등으로 1인 가구가 급속하게 증가하면서, 1인 가구의 정신건강 문제에 대한 관심도 함께 높아지고 있다. 서울시가 실시한 1인 가구 실태조사에 따르면, 1인 가구의 60% 이상이 외로움을 느끼고 있으며, 특히 사회적 고립과 함께 외로움을 겪는 비율이 상당히 높은 것으로 나타났다.
우리 대학 전산학부 이의진 교수 연구팀이 1인 가구의 정신건강 관리를 위해, 사용자 스스로가 자신의 심리 상태를 기록할 수 있도록 지원하는 상황 인식 기반 멀티모달 스마트 스피커 시스템을 개발했다고 24일 밝혔다.
연구팀은 사용자의 주변 상황을 실시간으로 파악해 최적의 시점에 정신건강 관련 질문하도록 이 시스템을 설계했고 기존의 무작위 설문보다 높은 응답률을 달성하는 것을 확인했다.
기존 스마트 스피커를 활용한 정신건강 자가 추적 연구에서 무작위 설문을 할 경우 사용자의 스트레스, 짜증 등 부정적인 감정이 유발시켜 설문 응답에 편향이 발생할 수 있어 각별한 주의가 필요했다.
이러한 문제 해결을 위해 이의진 교수 연구팀은 스마트 스피커에 멀티 모달 센서를 장착해, 사용자의 주변 상황의 변화를 감지해 스피커가 말 걸기 좋은 시점이 검출되면 정신건강 자가 추적 설문을 능동적으로 요청하는 상황 인식 기반 자가 추적 기술을 개발했다.
스피커는 실내 움직임, 조명, 소음, 이산화탄소 등 다양한 센서 데이터를 종합적으로 분석해 사용자의 존재 및 활동을 감지한 뒤, 사용자가 응답하기 적합한 시점에 자가 추적 설문을 능동적으로 요청함으로써, 설문 응답의 효율성을 극대화했다.
또한, 설문 입력 방식의 경우 최근 출시된 스마트 스피커는 명령뿐만 아니라 터치스크린도 지원하므로 사용자들이 음성 또는 터치 입력 방식을 자유롭게 선택할 수 있도록 해 상호작용의 폭을 넓혔다. 이를 통해 사용자는 상황에 맞는 최적의 인터페이스를 선택해 자가 추적을 쉽게 수행할 수 있도록 했다.
개발된 스피커의 사용자 경험을 평가하기 위해서 연구팀은 1인 가구 20세대에 자가 추적 스마트 스피커를 설치해, 한 달 동안 실증 연구를 수행해서 총 2,201개의 정신건강 설문 응답 데이터셋을 구축했다.
데이터셋 분석을 통해 설문 응답 시간, 활동 맥락에 따른 설문 응답 패턴 및 어떤 상황에서 음성 입력(VUI) 또는 터치 입력(GUI)이 더 선호되는지 파악했다.
특히, 스마트 스피커가 말로 사용자에게 요청을 하다 보니 스피커 근처에서 사용자의 활동을 감지하는 것이 정신건강 설문 응답률에 큰 영향을 미쳤다. 음성 입력의 편의성에도 불구하고 전반적으로 참가자들은 음성 입력보다는 빠른 응답이 가능한 터치 입력을 선호했다.
데이터 분석 결과, 사용자의 주변 상황을 실시간으로 파악해 최적의 시점에 정신건강 관련 질문을 할 경우 응답률이 더 높으며, 어떤 상황에서 음성 또는 터치 인터페이스를 선호하는지도 파악했다.
연구를 주도한 이의진 교수는 “이번에 개발한 스마트 스피커를 앞으로 수용전념치료 기법을 활용한 인간상담사와 같은 기능의 정신건강 관리 지원 스마트 스피커로 발전시키고자 한다. 나아가 실내에서 수집된 일상생활 데이터를 AI 모델로 학습해 사용자 정신건강 상태에 따라 라이프 스타일 패턴을 예측하는 시스템도 개발하여 향후 정신질환 조기 발견과 효율적인 관리를 가능케 할 인공지능 에이전트의 혁신을 이끌 것으로 기대된다” 라고 말했다.
한편 이 연구는 LG전자-KAIST 디지털 헬스케어 연구센터의 지원을 받아 수행됐고 인간 컴퓨터 상호작용(HCI) 분야 국제 최우수 국제학술대회인 미국컴퓨터협회(ACM) 소속 ‘Conference on Human Factors in Computing Systems (CHI)’에서 지난 2024년 5월에 발표됐다.
논문명: Exploring Context-Aware Mental Health Self-Tracking Using Multimodal Smart Speakers in Home Environments
2024.09.24 조회수 1369 -
언제 말 걸지 아는 스마트 스피커 개발 길 열어
우리 대학 전산학부 이의진 교수 연구팀이 스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 최적의 시점을 결정하는 중요한 상황맥락 요인을 찾아냈다고 28일 밝혔다.
기존에 개발되거나 시판 중인 스마트 스피커 인공지능 비서는 사용자가 먼저 요청한 서비스만 제공하는 반면 최근 스마트 스피커의 개발은 사용자의 상황에 맞춰 능동적인 서비스를 제공하는 형태로 진화하는 추세다. 똑똑한 음성비서가 사용자가 처해 있는 상황을 정확히 이해한 후에 선제적으로 일정 및 건강관리를 도와주는 방향으로 개발되고 있는 것이다. 하지만 아무 때나 눈치 없이 말을 건다면 도움은커녕 하는 일에 방해만 될 수 있다.
이의진 교수 연구팀은 스마트 스피커가 선제적으로 음성서비스를 제공하기 좋은 최적의 시점을 찾는 연구를 전산학부 이재길 교수를 비롯해 산업디자인학과 이상수 교수와 함께 다학제 연구팀을 구성해 공동연구를 수행했다. 그 결과 다학제 연구팀은 스마트 홈 환경에서의 최적의 발화(發話) 시점을 결정하는 중요한 사용자 상황맥락 요인을 찾았다.
최적의 발화 시점에 관한 추론은 인공지능 비서가 음성서비스를 시작하거나 중지 또는 재개를 스스로 결정하고 제어하기 위한 필수적인 기술이다. 연구팀이 찾아낸 중요한 상황맥락 요인은 최적의 발화 시점 추론 시 정확성을 높일 것으로 관계자들은 기대하고 있다.
스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 시점을 찾기 위해 연구팀은 실험용 스마트 스피커를 제작했다. 스마트 스피커는 사용자의 움직임이 감지되거나 일정한 시간이 지나면 주기적으로 "지금 대화하기 좋은가요ˮ라는 질문을 했다. 참가자는 대화하기 좋은지 아닌지, "네ˮ 또는 "아니요ˮ로 대답하고 무엇을 하고 있었는지 설명했다. 연구진은 이어 교내 기숙사에 거주하는 학생 40명(2인 1실)의 방에 스마트 스피커를 설치해 1주일간 총 3,500개의 사용자 응답 데이터를 수집했다.
데이터 분석 결과 전체 참가자 응답 중 47%는 대화하기 부적절한 것으로 드러났다. 연구진은 대화하기 좋은 시점을 결정하는 주요 상황 요인을 찾기 위해 19개의 실내 활동 범주를 만들었다. 이를 통해 연구팀은 적절한 시점을 결정하는 상황맥락 요인으로 크게 개인적 요인과 움직임 요인, 사회적 요인을 꼽았다.
개인적 요인은 크게 `활동 집중도', `긴급함과 바쁨 정도', `정신적·육체적 상태' 그리고 `다중 작업수행을 위한 듣기 또는 말하기 가능성' 등 4가지다. 예를 들면 집중해서 공부하고 있거나 드라이로 머리를 말리고 있을 때는 스피커와 대화가 어려웠다. 움직임 요인은 `외출', `귀가' 그리고 `활동 전환' 등 3가지다. 특히 사용자 움직임이 있을 때는 스피커와 대화 가능한 거리가 최적 시점 판단에 큰 영향을 미쳤다. 외출은 스피커와 대화 가능 범위 밖으로 나가는 움직임이고, 귀가는 범위 안으로 들어오는 움직임이다. 범위 안으로 들어오는 귀가(歸家) 상황일 때는 대부분 대화하기 좋은 시점으로 분류됐다.
일반적으로 스마트 스피커는 거실처럼 집 구성원이 함께 생활하는 공간에 설치된다. 수집된 사용자 응답 중 절반은 룸메이트가 함께 있을 때 수집됐다. 연구팀은 전화 대화뿐만 아니라 누군가와 함께 있다는 것 또한 스마트 스피커와 대화하기 좋은 시점에 영향을 끼친다는 현상을 발견했다. 룸메이트가 자고 있거나 어떤 활동에 집중하고 있을 때 스마트 스피커와의 대화로 인한 갈등을 최소화하고 싶기 때문이다.
이번 연구에 제1 저자로 참여한 차나래 학생은 "이번 연구가 미래 스마트 스피커 개발의 중요한 토대가 될 것ˮ이라면서 "앞으로는 센서 데이터로 감지된 상황맥락 정보를 활용해 스마트 스피커가 스스로 대화를 시작·중지, 또는 재개하기 좋은 타이밍을 선제적으로 감지해 지능적인 음성서비스를 제공할 수 있을 것ˮ이라고 밝혔다.
한편, 이 연구는 과학기술정보통신부의 재원으로 한국연구재단-차세대정보 컴퓨팅기술개발사업의 지원을 받아 수행됐고 유비쿼터스 컴퓨팅 분야 국제 최우수 학술지인 `Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies' 9월호에 게재됐다.
(논문명 : Hello There! Is Now a Good Time to Talk?: Opportune Moments for Proactive Interactions with Smart Speakers)
2020.10.28 조회수 25948 -
최정우, 조병진, 김상욱 교수, 3차원 그래핀 기반 평판 스피커 개발
우리 대학 전기 및 전자공학부 최정우, 조병진 교수, 신소재공학과 김상욱 교수 공동 연구팀이 3차원 그래핀 에어로젤을 이용해 전기 에너지로부터 박막의 진동 없이 소리를 발생시킬 수 있는 초박형 열음향 스피커를 개발했다.
이번 연구 결과는 나노 분야 학술지 ‘에이씨에스 에이엠아이(ACS AMI : ACS advanced Materials & Interfaces)’ 8월 17일자 온라인 판에 게재됐고 9월 9일자 IEEE 스펙트럼을 통해 외신에 소개됐다.
이번 연구는 김충선 박사과정, 이경은 박사과정, 기계공학과 이정민 박사가 공동 저자로 참여했다.
열음향 스피커란 얇은 도체에 교류 전기 신호를 인가함으로써 발생되는 열의 파동을 통해 공기의 진동을 발생시키는 원리로 소리를 낼 수 있는 스피커이다. 기존의 다이내믹 스피커와 다르게 매우 얇고 유연하게 만들 수 있다.
또한 박막의 진동 없이 소리를 발생시킬 수 있고 모든 방향으로 동일한 위상의 소리가 발생되기 때문에 어떠한 구조물에 붙이더라도 감쇄 없이 소리를 발생시킬 수 있는 장점이 있다.
열음향 스피커는 열을 발생시키는 도체의 열용량이 작을수록 효율이 높아져 그래핀 등의 얇은 박막이 스피커 구현의 적합한 재료로 여겨진다.
그러나 매우 얇은 나노 박막들을 지지하기 위한 기판에 의한 열 손실은 열음향 스피커의 효율을 감소시키는 문제점으로 지적됐다.
연구팀은 수 나노미터의 그래핀으로 이루어진 삼차원 그래핀 에어로젤 구조를 열음향 스피커에 적용시켜 그래핀의 열용량은 유지하면서 기판으로의 열 손실은 최소화된 삼차원 그래핀 열음향 스피커를 제안했다.
김상욱 교수 연구팀에서 개발한 이 삼차원 그래핀 구조는 산화 그래핀 용액을 동결 건조하고 열처리해 환원 및 도핑하는 간단한 과정을 통해 얻어질 수 있어 대량 생산이 가능하고 원하는 모양대로 가공이 가능하다.
최정우, 조병진 교수 공동 연구팀은 삼차원 그래핀이 최적의 효율로 소리를 발생시키기 위한 조건 및 구조를 이론적, 실험적으로 규명했다. 그리고 이를 사용해 어레이 형태의 스피커를 제작했고 현재까지 보고된 이차원 및 삼차원 열음향 스피커에 비해 향상된 음압 레벨을 보임을 입증했다.
제 1저자인 김충선 박사과정은 "이번 연구를 통해 대량 생산이 가능한 삼차원 그래핀 에어로젤로 손쉽게 제작이 가능한 열음향 스피커를 개발했다"며 "교내의 다양한 주제로 연구중인 그룹들이 가지고 있는 기술의 융합이 성과를 내는 데 큰 도움이 됐다"고 말했다.
이번 연구는 삼성미래기술 육성센터 및 한국연구재단 창의연구지원사업 다차원 나노조립제어 창의연구단의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 16개의 삼차원 그래핀 에어로젤로 구성된 어레이 열음향 스피커
그림2. 제작 과정 및 삼차원 그래핀 에어로젤의 특성
2016.09.30 조회수 13581 -
공간을 자유자재로 누비는 가상스피커 개발
김양한 교수
- 3D 입체 영상과 결합해 진정한 3D TV 시대 임박 -- 이론적, 실용적 측면 모두 해결해 곧 상용화 예정 -
원하는 공간 어디서나 마치 스피커가 놓여 있는 것처럼 소리를 들을 수 있는 시스템이 개발돼 곧 상용화 예정이다.
우리 학교 기계공학과 김양한, 최정우 교수 연구팀이 공동으로 3차원 공간상에 자유롭게 가상스피커를 배치할 수 있는 ‘사운드 볼 시스템’을 개발했다.
이번에 개발된 시스템은 원하는 공간상의 위치에 자유자재로 소리를 집중시킬 수 있다. 따라서 3D TV에 적용하면 마치 소리도 사람에게 다가오는 것처럼 느껴져 시각과 청각 모두 3D 기능을 갖춘 진정한 의미의 3D TV를 경험할 수 있게 됐다.
또 오케스트라의 바이올린, 첼로 등 현악기와 플루트, 클라리넷 등의 관악기 소리를 원하는 공간에서 나게 조절할 수 있어 집안에서도 마치 실제 콘서트홀에 온 것 같은 느낌을 받을 수 있다.
게다가 여러 가지 소리를 개별적으로 제어가 가능해 방송국 음향 편집에도 활용될 수 있으며, 자동차에서는 각 좌석별로 네비게이션, 음악, TV 소리 등을 따로 전달하는 등 적용범위가 매우 다양할 것으로 예상된다.
사운드 볼 시스템은 여러 개의 스피커를 이용해 공간상의 원하는 지점에 음향 에너지를 집중시킨 후, 집중된 지점에서 다시 전파되는 소리를 이용해 가상 스피커를 만드는 기술이다.
이 기술은 2002년 김 교수팀이 미국음향학회(Acoustical Society of America)에 발표한 청취공간에 있는 사람만 소리를 듣고, 다른 영역에서는 조용하게 하는 음향 밝기·대조 기술을 발전시킨 것으로 음향 에너지 집중을 통해 소리의 방향, 움직이는 소리 및 소리의 공간감을 제어할 수 있다.
연구팀은 먼저 가상스피커에 대한 이론적 해를 완전한 적분방정식 형태로 세계 최초로 풀어내 3차원 공간 어디에서도 구현 가능하도록 했다.
이와 함께, 여러 개의 단극 음원을 조합한 다극음원(multipole)을 사용하고 지향성(directivity) 조정을 통해 원하는 음장을 만들어 탁월한 청취 선명도를 이끌어 냈다.
김양한 교수는 ”2002년 논문부터 시작된 음향제어분야의 새로운 이론적 토대를 마련한 것은 중요한 의미가 있다“며 ”이 기술을 바탕으로 지난 9월 국내 굴지 전자업체와 TV용 3차원 음향시스템 개발을 착수했다“고 말했다.
최정우 교수는 “앞으로 홈씨어터, 영화관, 공공장소 등에서 개발된 시스템이 사용되면 새로운 3차원 음장 기술이 가지고 있는 효과를 느낄 수 있을 것이다”며 “3차원 영상 기술과 함께 통합돼 새로운 영상과 음향의 세계를 경험할 날이 멀지 않았다”고 말했다.
한편, 연구팀은 이번 기술에 대한 특허출원을 완료했으며, 관련 논문은 지난 달 관련 분야 최대 학술단체인 국제전기전자공학회(IEEE)가 발간하는 국제저널(IEEE Transaction of Audio, Speech, and Language Processing)에 게재됐다.
※ 기술 개요(소리의 공간감을 자유자재로 누구나 요리해 맛볼 수 있는 기술)
오래도록 우리는 완벽한 3D사운드 혹은 소리의 공간감의 완전한 재현이 가능한 이상적인 오디오 시스템을 꿈꾸어 왔다. 그러나 3D사운드는 그 정의가 명확하지 않은 주관적인 개념이며, 그 평가에 대한 절대적인 척도 또한 존재하지 않는다.
최근 다양한 3D sound 기법이 난립하고 있으나, 이는 청취 환경에 따라 변화할 뿐만 아니라, 동일한 환경에서도 청취자가 누구냐에 따라 다르게 인지되는 근본적인 문제점을 내포하고 있다. 음장 재현 방법의 이러한 근본적인 문제는 과거의 스테레오 시스템에서 볼 수 있는 밸런스 노브(balance knob)로부터 그 해결의 실마리를 찾을 수 있다. 즉, 밸런스 노브는 보편적인 최적의 소리를 찾는 대신에 청취자가 원하는 음향 효과를 얻을 때까지 직접적으로 소리를 청취하고, 스스로 조절해 평가할 수 있는 매개체의 역할을 수행한다.
KAIST에서 개발한 Spatial Equalizer는 밸런스 노브와 같이 청취자가 원하는 3D 사운드를 스스로 평가하고 조절하기 위한 것이다. 즉, 청취자가 시공간적으로 원하는 3D사운드를 실시간으로 청취하고 변화시킬 수 있는 인터페이스의 개념 및 구현에 초점을 맞추고 있다. Spatial Equalizer는 인터페이스 상에서 하나의 점 또는 다수의 점으로 표시되는 가상 음원을 사용자가 조종함으로써 소리의 공간감을 제어할 수 있는 길을 열어 주고 있다. 이는 다수의 점 음원들의 위치를 변화시키거나 각 점에 위치한 가상 음원의 크기를 변화시킴으로써 청취자가 원하는 소리를 구현하는 원리다.
즉, 사용자가 원하는 소리의 공간감을 공간상에 위치하는 몇 개의 가상 음원의 조합으로 대치하고, 실제로 사용자는 원하는 공간감과 듣는 소리가 부합되도록 하나 또는 다수의 가상 음원의 위치 및 각 음원에 의한 소리의 크기를 조절하는 것이다. 여기서, 원하는 공간감을 얻기 위한 기본적인 요소로서의 가상 음원을 sound ball이라 정의하고 사용하기로 한다.
가상의 sound ball 혹은 가상의 스피커를 자유롭게 공간상에 만들어 내기 위해 스피커 어레이 제어 기술의 혁신이 필요하다. 다수의 스피커로 이루어진 스피커 어레이(loudspeaker array)를 사용하면 소리(sound)가 전파하는 모양을 자유자재로 만드는 것이 가능함은 잘 알려져 있다. 다수의 스피커를 개별적인 크기와 위상으로 구동하면, 각각의 스피커를 중심으로 하는 다수의 파면이 형성되고, 이들이 공간상에서 간섭(interference)되면서 고유의 형상을 갖게 되는 원리이다. 1678년 발표된 호이겐스(Huygens)의 원리로부터, 키르히호프-헬름홀츠(Kirchhoff-Helmholtz) 적분 방정식에 이르는 이론식이 관련 연구의 배경을 이루고 있다. 하지만, 이러한 이론들은 어디까지나 우리가 만들고자 하는 가상의 스피커, 즉 음원(sound source)이 공간 외부에 존재하는 경우에 적용할 수 있으며, 소리를 재현하고자 하는 공간 내부에 음원이 있을 경우는 물리적으로 불가능한 문제가 된다.
기존 WFS(wave field synthesis)등 관련 연구에서는 근사화한 적분 방정식을 사용하여 시간 역전(time-reversal)의 형태로 내부의 음원이 발생시키는 것과 유사한 음장을 만들어 낼 수 있음을 부분적으로 밝혀졌으나, 물리적으로 발생 가능한 이유와 온전한 형태의 해에 대해서는 알려진 바가 없었다. KAIST에서는 온전한 적분 방정식 형태로 일반해가 존재함을 수학적으로 밝혀내었으며, 이에 따라 전 3차원 공간에서 임의의 위치의 sound ball을 형성할 수 있는 이론적 토대를 마련하였다.
개발된 sound ball 형성 알고리듬을 사용하여, Spatial Equalizer를 실제 오디오 시스템의 형태로 구축하였다. 이 시스템의 목적은 다수의 sound ball을 사용자가 원하는 임의의 지점에 형성하는 것이므로, 이것을 고려하여 24개의 스피커로 이루어진 선형 어레이 및 50개 스피커로 구성된 구형 어레이를 제작하였다. 사용자와 Spatial Equalizer® 사이에 피드백이 실시간으로 이루어지는 제어를 수행하기 위해 스마트 폰을 사용하여 원거리에서 sound ball을 제어할 수 있는 장치를 구현하였다. 이 인터페이스는 OSC(Open Sound Control) 프로토콜을 사용함으로써 제어 장치인 스마트 폰과 호스트 PC가 원거리에서도 제어 변수를 주고 받을 수 있도록 하였다. 즉, 각각의 sound ball의 위치 및 크기가 Spatial Equalizer®의 노브로서 작동하게 되어, 사용자는 Sound ball의 위치와 크기를 조절함으로써 의도하는 소리의 공간감을 직관적으로 형성할 수 있다.
음식을 만드는 경우와 비유적으로 설명하면, sound ball을 이용하여 이제는 사용자가 원하는 시.공간적 소리를 만들 수 있게 된 것이다. 종래에는 특별한 청취 능력을 가진 사람이 이러한 소리를 만드는 즉 특별한 요리사 만이 소리의 공간 감을 만들 수 있었다 하면 이제는 이 기술을 이용하여 모든 사람이 자신이 느끼기에 좋다고 생각하는 소리를 공간상에 만들 수 있는 “소리 만들기” 요리 법과 도구를 가지게 된 것이다.
그림1. 여러 개의 스피커를 통해 가상다극음원을 만들었다. 지향성 조정을 통해 수렴음장을 제거했으며, 가상스피커로부터 원하는 음장을 재현했다.
그림2. 사운드 볼 시스템 개념도
그림3. 5.1채널 방식의 서라운드 스피커(좌)와 가상스피커(우) - 실제 피아노가 시청자 바로 앞에 놓인 것과 같은 소리를 들을 수 있다.
그림4. 사운드 볼이 형성 및 이동하면서 소리가 TV에서 튀어나오는 것과 같은 느낌을 받는다.
2012.10.10 조회수 17234