%EC%8B%A0%EC%9D%B8%EC%8B%9D
-
신인식 교수, 스마트폰 기반 터치사운드 위치파악 기술 개발
〈 왼쪽부터 아니쉬 뱐잔카 석사과정, 김효수 연구교수, 신인식 교수 〉
1분 1초가 소중한 아침 출근 준비 시간, 거울을 보며 양치질을 하는 시간은 유일하게 멍하니 다른 생각을 할 수 있는 순간일 것이다. 만약 양치질 중 거울을 바라보는 것만으로 오늘의 중요한 뉴스, 궁금했던 유튜브 영상, 날씨 등을 미리 확인할 수 있다면 하루를 계획하는 데 큰 도움이 될 것이다.
우리 대학 전산학부 신인식 교수, 김효수 연구교수 연구팀이 가구, 거울 등의 주변 사물들을 터치 입력 도구로 사용할 수 있는 스마트폰 기반의 터치 사운드 위치파악 기술을 개발했다.
이 기술은 사람들이 항상 휴대하는 스마트폰, 태블릿 PC 등을 사용한 기술로, 언제 어디서나 책상 등의 주변 사물들을 가상 키보드로 활용해 장문의 문자, 메일 등을 손쉽게 작성할 수 있고 체스와 같은 보드게임도 즐길 수 있다.
또한 단순 디스플레이 기능만 제공하던 스마트 TV나 거울과 같은 스마트기기에 터치 입력 기능을 삽입해 좀 더 편리하고 효율적인 기기 활용을 할 수 있다.
연구팀이 개발한 시스템은 지난 11월 4~7일 중국 선전에서 열린 모바일 및 센싱 분야의 최고 권위 국제학회 ACM SenSys에서 발표돼 호평을 받았으며, 우수성을 인정받아 ‘베스트 페이퍼 러너-업 어워드(best paper runner-up award)’를 수상했다.
터치 사운드 기반 입력 기술은 다양한 사용 환경에서도 1cm 이내의 오차를 갖는 정확한 터치 입력을 일관성 있게 제공하는 것이 가장 중요하다. 사용자들은 책상, 벽, 거울 등 매번 다른 재질의 사물을 터치 입력 도구로 활용할 수 있어야 하고, 사용 중에도 책이나 가방과 같은 주변 물체의 위치 및 소음 수준이 바뀔 수 있기 때문이다.
연구팀은 사용자가 손톱 등으로 사물을 터치했을 때 발생하는 터치 충돌 소리가 고체 표면을 통해 전달되는 과정을 분석했다.
소리가 공기를 통해 전달될 때와는 달리 고체 표면에 전달될 때에는 주파수에 따라 다른 속도로 전달되는 분산(dispersion) 현상을 겪는다. 분산 현상으로 인해 주파수별로 소리 도달 시간 차이는 소리 전달 거리에 비례해 증가하며, 주변 소음이 변화해도 비례 관계는 변하지 않는다.
김효수 연구교수는 이러한 관찰에 기반해 고체 표면을 통해 전달된 터치 소리를 스마트폰에 녹음하고 간단한 조정 과정을 통해 주파수별 소리 도달 시간 차이와 소리 전달 거리의 관계를 파악했다. 이후 이 값을 이용해 사용자의 터치 입력 위치를 정확하게 계산하는 기술을 개발했다.
개발한 시스템은 약 17인치의 터치스크린에서 평균 0.4cm 이내의 측정 오차를 보였다. 특히 나무 책상, 유리 거울, 아크릴 보드 등 다양한 종류의 사물에서 주변 물체의 위치나 소음이 변하는 상황에서도 항상 1cm 이내의 측정 오차를 기록하는 정확성을 보였다.
특히 기존 기술이 터치 입력 위치파악에만 수백 초 소요되는 것과 달리 정확성과 편리한 사용을 위해 약 10초 이내의 간단한 조정을 통해 기술을 적용하는 데 성공했다. 연구팀은 실제 사용자를 대상으로 한 실험에서도 사용자 경험 및 정확성 등 모든 지표에서 긍정적인 반응을 얻었다고 밝혔다.
신 교수는 “우리가 주위에서 흔히 볼 수 있는 거울, 책상, 벽 등의 표면을 마치 터치스크린처럼 사용할 수 있다면 재미있고 유용한 앱들이 많이 활성화될 것이다”라며 “이 기술은 마이크로폰 3~4개 설치만으로도 터치 입력을 가능하게 하는 새로운 터치 인터페이스 기술이다”라고 말했다.
이번 연구는 Microsoft Research Asia(마이크로소프트연구소 아시아)의 지원을 받아 수행됐다.
※ 데모 비디오 링크
http://cps.kaist.ac.kr/research/ubitap/ubitap_demo.mp4
□ 사진 설명
사진1. 터치 입력 기술 사용 예제
2018.12.13 조회수 11786 -
신인식 교수, 스마트기기 간 어플기능 공유 기술 개발
〈 신인식 교수 연구팀 〉
사례 1. 직장인 김씨는 해외 출장 중 공항에 비치된 태블릿 PC를 이용해 본인의 SNS 계정에 접속해 남는 시간을 활용했다. 하지만 그 태블릿 PC에는 해킹 바이러스가 설치돼 있었고 김씨의 SNS 속 사진들이 다른 누군가에 의해 삭제되는 사고가 발생했다.
사례 2. 중학생 아들을 둔 이씨 부부는 카드사와 게임 회사에 분주하게 연락을 취하고 있다. 게임을 좋아하는 아들이 스마트폰을 이용해 백만 원 상당의 게임 아이템을 결제했기 때문이다.
사례 3. 평소 게임을 좋아하는 박씨는 스마트폰을 통해 고가의 레이싱 게임을 구매했다. 하지만 화면이 너무 작아 생동감이 떨어졌고, TV에 연결해 조이스틱을 사용해봤지만 조이스틱의 반응이 느려 게임을 제대로 즐길 수 없었다.
위의 사례는 스마트폰 및 다양한 스마트기기가 존재하는 현대 사회에서 기기로 인해 발생할 수 있는 다양한 문제점 중 일부이다. 위와 같은 문제들을 손쉽게 해결할 수 있는 기술이 개발됐다.
우리 대학 전산학부 신인식 교수 연구팀이 스마트 기기 간 어플리케이션의 기능을 공유할 수 있는 모바일 플랫폼 기술 ‘모바일 플러스(Mobile Plus)’를 개발했다.
이는 다른 모바일 기기에 설치된 앱끼리 별도의 수정 없이 자유롭게 기능을 공유할 수 있는 기술이다.
오상은 박사과정이 1저자로 참여한 이번 연구는 지난 6월 21일 미국에서 열린 모바일 컴퓨팅 분야 최고 권위 학술대회 ACM(국제컴퓨터학회) MobiSys에서 논문으로 출간됐다.
스마트폰 사용자들은 카카오톡이나 페이스북을 통해 다른 SNS 계정에 로그인을 하거나 사진 앱에 저장된 사진을 다른 SNS로 전송하는 작업 등을 빈번하게 활용한다. 이와 같은 기술은 앱 끼리 로그인 기능, 사진 관리 기능 등을 공유하고 있기 때문에 가능하다.
이러한 기능 공유를 통해 사용자는 다양하고 편리하게 스마트폰을 활용할 수 있고, 개발자는 간편하게 앱을 개발할 수 있다.
하지만 현재의 안드로이드나 iOS 플랫폼에서는 앱 기능 공유의 범위가 같은 모바일 기기 안에서만 작동한다. 기기 간 서비스 공유를 위해서는 특정 앱의 개발이 필요하고 기기마다 설치, 구매를 해야 하기 때문에 개발자와 사용자 모두에게 번거로운 일이다.
연구팀은 문제 해결을 위해 기기 간 서비스 공유 기능을 지원하는 플랫폼 기술을 개발했다. 이는 여러 모바일 기기에서 각각 실행되는 앱들이 마치 하나의 모바일 기기에서 실행되는 것과 같은 효과를 주는 가상화 기술이 핵심이다.
연구팀은 단일 기기에서 동작하던 원격 함수 호출(Remote Procedure Call) 원리를 멀티 디바이스 환경에 맞게 확장시키면서 가상화에 성공했다.
이 가상화 기술은 기존 앱들의 코드를 수정하지 않아도 기능 공유가 가능하다. 사용자 입장에서는 추가 구매 혹은 업데이트 없이도 사용할 수 있다. 또한 앱 종류에 구애받지 않는 기능 공유가 가능하다.
모바일 플러스 기술은 카메라, 마이크, GPS 등 하드웨어 뿐 아니라 앱이 제공하는 로그인, 결제, 사진 공유 등의 기능도 공유할 수 있다. 적용할 수 있는 기술의 범위가 매우 넓다는 큰 장점을 갖는다.
신 교수는 “모바일 플러스 기술은 스마트홈, 스마트카 기술 등과 함께 시너지 효과가 클 것으로 예상된다”며 “스마트폰을 허브로 스마트 가전제품이나 차량 인포테인먼트 시스템에서 다양한 앱들을 보다 더 편리하고 안전하게 사용하는 새로운 사용자 경험(UX)을 제공할 수 있다.”고 말했다.
□ 사용 예시 및 그림 설명
다른 모바일 기기 간 앱 기능 공유는 여러 가지 새로운 사용 예시를 만들 것이며 당장 실현 가능한 기술도 존재한다.
1. 보안성 향상: 로그인(login), 온라인 결제(payment) 등
사용자가 공공 도서관에서 빌린 태블릿이나 호텔방에 비치된 스마트TV 등에서 인스타그램과 같은SNS 앱에 로그인하고 싶은 경우가 있다. 그러나 이와 같은 공공(public) 태블릿이나 스마트TV는 보안상으로 매우 취약할 가능성이 높다. 이러한 공공 기기에(패스워드를 입력하며) 직접 로그인을 한다는 것은 매우 꺼려질 수 있다. 이때 이러한 공공 태블릿에서 직접 패스워드를 입력하는 대신 사용자 개인(personal) 스마트폰의 페이스북/카카오톡 로그인 기능을 사용해 공공 태블릿에 로그인함으로써 이와 같은 보안 위험을 회피할 수 있다. (그림2 참조)
그림2. 자신의 스마트폰을 이용해 공용 기기에서도 안심하고 로그인할 수 있다.
또한 공공장소에 있는 스마트TV 등에 나오는 인터넷 쇼핑 사이트에서 보고 있는 특정 제품을 구매할 경우, 이와 같은 공공 스마트TV에서의 결제는 역시 보안 위험에 노출될 수 있다. 이 경우 결제시에 사용자 개인 스마트폰의 결제 기능을 사용하여, 사용자 개인 스마트폰에서 결제가 수행되도록 함으로써 역시 이와 같은 보안 위험을 회피할 수 있다.
또한, 청소년이 게임중 우발적으로 혹은 중독적으로 게임 아이템등을 쇼핑할 경우, 결제 서비스가 부모 스마트폰에서만 이루어지도록 강제함으로써, 청소년들의 우발적/중독적 쇼핑을 제한할 수 있다. (그림3 참조)
그림3. 자녀의in-app 구매를 부모가 자신의 스마트폰을 통해 제어할 수 있다.
2. 컨텐츠 분배(contents sharing)
예를 들어 사용자가 스마트폰에서 이메일을 읽던 중 첨부파일을PDF로 열어보고 싶은 경우(스크린이 더 큰) 다른 태블릿에서 이PDF 파일을 열고자 할 경우가 있다. 이 때 기존 모바일 환경에서 사용자는PDF 파일을 먼저 스마트폰에 저장한 후 카카오톡 등 메신저 앱으로 직접 태블릿으로 옮기거나PDF 파일을 클라우드 스토리지에 업로드한 후 태블릿에서 다시 다운로드하는 번거로운 방식을 통해 다른 태블릿에서PDF 파일을 열어 볼 수 있다. 이에 반해, Mobile Plus에서는 사용자가 스마트폰에서PDF 파일을 태블릿에서 열겠다고 지정하면, 이 기능이 자동으로 수행된다. 이 때, 기존의 이메일 앱(i,e., Gmail)과PDF Viewer를 전혀 수정하지 않아도, 이러한 기능 수행이 가능하다. 또한 태블릿에서PDF 문서 중 일부를copy한 후, 스마트폰의 이메일 앱에 붙여넣기(paste)할 수도 있다.
3. I/O 분배(I/O sharing)
스마트TV에서 카레이싱 게임을 생각해보자. 카레이싱 게임은 가속도 센서를 이용하는 게임인데, 스마트TV에서는 가속도 센서가 없다. 이 경우 사용자는 다른 모바일 기기의 가속도 센서 기능을 사용하며(모바일 기기를 자동차 핸들처럼 움직이며) TV 영상에 나오는 차량을 운전하며 카레이싱 게임을 할 수 있다. 즉, 가속도 센서가 없는 스마트TV에서도 사용자는 스마트폰의 센서 기능을 공유하여, 스마트폰을 마치 콘솔 기기의 컨트롤러처럼 사용하며 카레이싱 게임을 즐길 수 있다. (그림4 참조) 비슷한 예로 카메라가 없는 스마트TV에서 스마트폰의 카메라를 이용하여 영상 통화를 하거나, 유심카드가 없는 태블릿에서 스마트폰의 유심카드를 이용하여 전화 통화를 하거나LTE 데이터 통신을 할 수 있다.
그림4. 스마트폰을 컨트롤러로 사용해서 게임을 더욱 더 신나게 즐길 수 있다.
2017.07.26 조회수 14997