-
리던던트 로봇 매니퓰레이터를 사용한 최적화 기반의 경로 추종 문제에 대한 학습 기반 초기화 기술 개발
자율 로봇이 일상적인 작업을 수행하기 위해 6차원 카르테시안 경로 추종은 중요한 능력이지만, 리던던트 로봇 매니퓰레이터(Redundant Robot Manipulator)의 사용에는 다양한 제약 조건과 무한한 역기구학 솔루션으로 인해 연속적인 제어는 어렵다.
이에 장기적 의존성을 고려하는 경로 계획 기술이 필요하지만 경로의 길이와 환경의 복잡성이 증가하면 생성 시간이 오래 걸리게 되고, 국소 최적 경로 도출의 가능성이 커지게 된다. 이는 용접, 수술 로봇 등과 같이 정확도와 실시간성을 모두 요구하는 분야에서 리던던트 매니퓰레이터의 사용에 병목이 되고 있기에, 우리 대학 전산학부 윤성의 교수 연구팀은 다양한 문제에 적용성을 높이는 학습 기반과 최적성을 보장하는 최적화 기반 방식의 결합을 통해 각각의 방식이 갖는 이점을 유지하고 단점을 상호 보완하는 구조를 개발했다. 이러한 모델은 리던던트 매니퓰레이션의 경로 추종 문제에 적용되어 추종에 걸리는 시간, 정확도 등 다양한 평가 지표에 성능 향상을 보였다.
연구팀은 고차원의 탐색 공간에서 효율적인 강화 학습을 위해 최적화 기반의 방식으로부터 파생된 국소 최적의 사전 지식 정보를 활용하는 구조를 도입했다. 국소 최적 지식을 모방함으로써 성능 하락 문제를 해결하기 위해 리던던트 매니퓰레이터의 구조적 특성을 고려한 영공간 투영 (Null-space projection) 기법을 제안했다.
연구팀은 제안한 방식으로부터 생성된 초기 궤적과 최적화 기법에 대표적으로 사용되는 초기화 방식들을 다양한 평가 지표를 통해 비교하고, 제약조건 매니폴드 상에서 움직임을 확인하여 초기 궤적의 성능을 검증했다. 또한 본 방식의 사용을 통해 최적화 기법에 향상된 최적성, 효율성, 다양한 문제에 적용성을 보인다.
연구팀은 연구를 통해 리던던트 매니퓰레이터를 활용한 경로 추종 문제에 있어 강화 학습 프레임워크를 제안하고, 충돌 위험을 낮추기 위한 여분 자유도 제어 기법을 제시했으며 학습 기반과 최적화 기반 방식의 결합이 속도와 최적성을 모두 요구하는 문제에 중요한 전략이 될 수 있음을 보여주었다.
이는 협동 로봇, 수술 로봇 등 고자유도의 매니퓰레이터 모션을 요구하는 상황에 적용 가능하고, 이를 통해 다양한 도메인에서 고차원 매니퓰레이터의 사용성을 높여줄 것으로 기대한다.
해당 연구는 지난 2023년 5월 29일 ~ 6월 2일 영국 런던에서 진행된 로보틱스 분야 최대 국제 학회인 IEEE International Conference on Robotics and Automation (ICRA) 2023에서 Outstanding Planning Paper Award를 수상했다.
ICRA 2023 Award는 1,341편의 논문 중 15편에 수여되었으며, Planning 분야에서는 1편이 선정됐다.
2023.06.23
조회수 3432
-
드림워커, 안 보고도 계단을 성큼성큼 걷다
연기가 자욱해 앞이 안보이는 재난 상황에서 별도의 시각이나 촉각 센서의 도움 없이 계단을 오르내리고 나무뿌리와 같은 울퉁불퉁한 환경 등에서 넘어지지 않고 움직이는 사족보행 로봇 기술이 국내 연구진에 의해 개발됐다.
우리 대학 전기및전자공학부 명현 교수 연구팀(미래도시 로봇연구실)이 다양한 비정형 환경에서도 강인한 `블라인드 보행(blind locomotion)'을 가능케 하는 보행 로봇 제어 기술을 개발했다고 29일 밝혔다.
연구팀은 사람이 수면 중 깨어서 깜깜한 상태에서 화장실을 갈 때 시각적인 도움이 거의 없이 보행이 가능한 것처럼, 블라인드 보행이 가능하다고 해서 붙여진 ‘드림워크(DreamWaQ)’기술을 개발하였고 이 기술이 적용된 로봇을 ‘드림워커(DreamWaQer)’라고 명명했다. 즉 이 기술을 탑재하면 다양한 형태의 사족보행 로봇 드림워커를 만들어낼 수 있게 되는 것이다.
기존 보행 로봇 제어기는 기구학 또는 동역학 모델을 기반으로 한다. 이를 모델 기반 제어 방식이라고 표현하는데, 특히 야지와 같은 비정형 환경에서 안정적인 보행을 하기 위해서는 모델의 특징 정보를 더욱 빠르게 얻을 수 있어야 한다. 그러나 이는 주변 환경의 인지 능력에 많이 의존하는 모습을 보여 왔다.
이에 비해, 명현 교수 연구팀이 개발한 인공지능 학습 방법 중 하나인 심층 강화학습 기반의 제어기는 시뮬레이터로부터 얻어진 다양한 환경의 데이터를 통해 보행 로봇의 각 모터에 적절한 제어 명령을 빠르게 계산해 줄 수 있다. 시뮬레이션에서 학습된 제어기가 실제 로봇에서 잘 작동하려면 별도의 튜닝 과정이 필요했다면, 연구팀이 개발한 제어기는 별도의 튜닝을 요구하지 않는다는 장점도 있어 다양한 보행 로봇에 쉽게 적용될 수 있을 것으로 기대된다.
연구팀이 개발한 제어기인 드림워크는 크게 지면과 로봇의 정보를 추정하는 상황(context) 추정 네트워크와 제어 명령을 산출하는 정책(policy) 네트워크로 구성된다. 상황추정 네트워크는 관성 정보와 관절 정보들을 통해 암시적으로 지면의 정보를, 명시적으로 로봇의 상태를 추정한다. 이 정보는 정책 네트워크에 입력돼 최적의 제어 명령을 산출하는 데 사용된다. 두 네트워크는 시뮬레이션에서 함께 학습된다.
상황추정 네트워크는 지도학습을 통해 학습되는 반면, 정책 네트워크는 심층 강화학습 방법론인 행동자-비평자(actor-critic) 방식을 통해 학습된다. 행동자 네트워크는 주변 지형 정보를 오직 암시적으로 추정할 수 있다. 시뮬레이션에서는 주변 지형 정보를 알 수 있는데, 지형 정보를 알고 있는 비평자 네트워크가 행동자 네트워크의 정책을 평가한다.
이 모든 학습 과정에는 단 1시간 정도만 소요되며, 실제 로봇에는 학습된 행동자 네트워크만 탑재된다. 주변 지형을 보지 않고도, 오직 로봇 내부의 관성 센서(IMU)와 관절 각도의 측정치를 활용해 시뮬레이션에서 학습한 다양한 환경 중 어느 환경과 유사한지 상상하는 과정을 거친다. 갑자기 계단과 같은 단차를 맞이하는 경우, 발이 단차에 닿기 전까지는 알 수 없지만 발이 닿는 순간 빠르게 지형 정보를 상상한다. 그리고 이렇게 추측된 지형 정보에 알맞은 제어 명령을 각 모터에 전달해 재빠른 적응 보행이 가능하다.
드림워커(DreamWaQer) 로봇은 실험실 환경뿐 아니라, 연석과 과속방지턱이 많은 대학 캠퍼스 환경, 나무뿌리와 자갈이 많은 야지 환경 등에서 보행 시 지면으로부터 몸체까지 높이의 3분의 2 (2/3) 정도의 계단 등을 극복함으로써 강인한 성능을 입증했다. 또한 환경과 무관하게, 0.3m/s의 느린 속도부터 1.0m/s의 다소 빠른 속도까지도 안정적인 보행이 가능함을 연구팀은 확인했다.
이번 연구 결과는 이 마데 아스윈 나렌드라(I Made Aswin Nahrendra) 박사과정이 제1 저자로, 유병호 박사과정이 공동 저자로 참여했으며, 오는 5월 말 영국 런던에서 개최되는 로보틱스 분야의 세계 최고 권위 학회인 ICRA(IEEE International Conference on Robotics and Automation)에 채택되어 발표될 예정이다. (논문명: DreamWaQ: Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning)
개발된 드림워크를 탑재한 보행 로봇 드림워커의 구동 및 보행 영상은 아래 주소에서 확인할 수 있다.
메인 영상: https://youtu.be/JC1_bnTxPiQ
쿠키 영상: https://youtu.be/mhUUZVbeDA0
한편, 이번 연구는 산업통상자원부 로봇산업핵심기술개발 사업의 지원을 받아 수행되었다. (과제명: 동적, 비정형 환경에서의 보행 로봇의 자율이동을 위한 이동지능 SW 개발 및 실현장 적용)
2023.03.29
조회수 7556