< (왼쪽부터) 우리 대학 차나래 제1저자, 김아욱 교수(강원대학교), 우리 대학 이의진 교수 >
우리 대학 전산학부 이의진 교수 연구팀이 스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 최적의 시점을 결정하는 중요한 상황맥락 요인을 찾아냈다고 28일 밝혔다.
기존에 개발되거나 시판 중인 스마트 스피커 인공지능 비서는 사용자가 먼저 요청한 서비스만 제공하는 반면 최근 스마트 스피커의 개발은 사용자의 상황에 맞춰 능동적인 서비스를 제공하는 형태로 진화하는 추세다. 똑똑한 음성비서가 사용자가 처해 있는 상황을 정확히 이해한 후에 선제적으로 일정 및 건강관리를 도와주는 방향으로 개발되고 있는 것이다. 하지만 아무 때나 눈치 없이 말을 건다면 도움은커녕 하는 일에 방해만 될 수 있다.
이의진 교수 연구팀은 스마트 스피커가 선제적으로 음성서비스를 제공하기 좋은 최적의 시점을 찾는 연구를 전산학부 이재길 교수를 비롯해 산업디자인학과 이상수 교수와 함께 다학제 연구팀을 구성해 공동연구를 수행했다. 그 결과 다학제 연구팀은 스마트 홈 환경에서의 최적의 발화(發話) 시점을 결정하는 중요한 사용자 상황맥락 요인을 찾았다.
최적의 발화 시점에 관한 추론은 인공지능 비서가 음성서비스를 시작하거나 중지 또는 재개를 스스로 결정하고 제어하기 위한 필수적인 기술이다. 연구팀이 찾아낸 중요한 상황맥락 요인은 최적의 발화 시점 추론 시 정확성을 높일 것으로 관계자들은 기대하고 있다.
< 그림 1. 실험용 스마트 스피커를 활용한 실환경에서의 데이터 수집 >
< 그림 2. 멀티모달 센서 데이터 기반 선제적 대화 관리 >
스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 시점을 찾기 위해 연구팀은 실험용 스마트 스피커를 제작했다. 스마트 스피커는 사용자의 움직임이 감지되거나 일정한 시간이 지나면 주기적으로 "지금 대화하기 좋은가요ˮ라는 질문을 했다. 참가자는 대화하기 좋은지 아닌지, "네ˮ 또는 "아니요ˮ로 대답하고 무엇을 하고 있었는지 설명했다. 연구진은 이어 교내 기숙사에 거주하는 학생 40명(2인 1실)의 방에 스마트 스피커를 설치해 1주일간 총 3,500개의 사용자 응답 데이터를 수집했다.
데이터 분석 결과 전체 참가자 응답 중 47%는 대화하기 부적절한 것으로 드러났다. 연구진은 대화하기 좋은 시점을 결정하는 주요 상황 요인을 찾기 위해 19개의 실내 활동 범주를 만들었다. 이를 통해 연구팀은 적절한 시점을 결정하는 상황맥락 요인으로 크게 개인적 요인과 움직임 요인, 사회적 요인을 꼽았다.
개인적 요인은 크게 `활동 집중도', `긴급함과 바쁨 정도', `정신적·육체적 상태' 그리고 `다중 작업수행을 위한 듣기 또는 말하기 가능성' 등 4가지다. 예를 들면 집중해서 공부하고 있거나 드라이로 머리를 말리고 있을 때는 스피커와 대화가 어려웠다. 움직임 요인은 `외출', `귀가' 그리고 `활동 전환' 등 3가지다. 특히 사용자 움직임이 있을 때는 스피커와 대화 가능한 거리가 최적 시점 판단에 큰 영향을 미쳤다. 외출은 스피커와 대화 가능 범위 밖으로 나가는 움직임이고, 귀가는 범위 안으로 들어오는 움직임이다. 범위 안으로 들어오는 귀가(歸家) 상황일 때는 대부분 대화하기 좋은 시점으로 분류됐다.
일반적으로 스마트 스피커는 거실처럼 집 구성원이 함께 생활하는 공간에 설치된다. 수집된 사용자 응답 중 절반은 룸메이트가 함께 있을 때 수집됐다. 연구팀은 전화 대화뿐만 아니라 누군가와 함께 있다는 것 또한 스마트 스피커와 대화하기 좋은 시점에 영향을 끼친다는 현상을 발견했다. 룸메이트가 자고 있거나 어떤 활동에 집중하고 있을 때 스마트 스피커와의 대화로 인한 갈등을 최소화하고 싶기 때문이다.
이번 연구에 제1 저자로 참여한 차나래 학생은 "이번 연구가 미래 스마트 스피커 개발의 중요한 토대가 될 것ˮ이라면서 "앞으로는 센서 데이터로 감지된 상황맥락 정보를 활용해 스마트 스피커가 스스로 대화를 시작·중지, 또는 재개하기 좋은 타이밍을 선제적으로 감지해 지능적인 음성서비스를 제공할 수 있을 것ˮ이라고 밝혔다.
한편, 이 연구는 과학기술정보통신부의 재원으로 한국연구재단-차세대정보 컴퓨팅기술개발사업의 지원을 받아 수행됐고 유비쿼터스 컴퓨팅 분야 국제 최우수 학술지인 `Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies' 9월호에 게재됐다.
(논문명 : Hello There! Is Now a Good Time to Talk?: Opportune Moments for Proactive Interactions with Smart Speakers)
< 그림 3. 질문-응답을 통한 데이터 수집 >
< 그림 4. 대화하기 좋은 타이밍에 대한 세 가지 요인 >