%ed%94%bc%ec%a7%80%ec%bb%ac%20%41%49
-
투명한 유리도 보고 미래도 예측하는 ‘피지컬 AI’ 핵심기술 개발
인공지능(AI)이 화면 속 정보를 분석하는 기술을 넘어, 현실 세계의 물리적 특성을 이해하고 스스로 판단·행동하는 단계로 진화하고 있다. 우리 대학 연구진은 빛과 물질의 상호작용, 공간 인식, 미래 상황 예측, 행동 계획을 아우르는 피지컬 AI(Physical AI·물리 기반 인공지능) 핵심 기술을 개발했다. 이번 성과는 자율주행차와 휴머노이드 로봇, 산업용 로봇, 디지털 트윈 등 실제 환경에서 작동하는 차세대 자율 시스템 구현을 앞당길 것으로 기대된다.
우리 대학은 전산학부 윤성의 교수 연구팀이 ▲유리나 물처럼 투명한 물체를 정확히 인식하는 기술 ▲빛과 물질의 상호작용을 분석해 주변 환경을 이해하는 기술 ▲사진 한 장만으로 로봇이 목적지를 찾아가는 기술 ▲미래 상황을 예측해 행동을 계획하는 기술을 개발했다고 6일 밝혔다.
이번 연구는 시각 인식부터 물리적 이해, 미래 예측, 행동 계획까지 하나의 기술 흐름으로 연결했다는 점에서 의미가 크다. 이를 통해 AI가 '보고(인식) → 이해하고(물리 이해) → 예측하고(미래 예측) → 행동하는(계획)' 전 과정을 수행하는 기반을 제시했으며, 다양한 자율 시스템의 성능과 활용 범위를 한층 넓힐 것으로 기대된다.
이번 연구 성과는 세계 최고 권위의 AI 학회인 ICLR 2026(International Conference on Learning Representations)과 CVPR 2026(Conference on Computer Vision and Pattern Recognition)에서 구두 발표 2편과 하이라이트 논문 2편 등 총 4편의 논문으로 발표됐다. 특히 ICLR과 CVPR의 구두 발표는 각각 약 1.13%, 0.8%만 선정되는 최상위 발표 형식으로, 연구의 독창성과 우수성을 국제적으로 인정받았다.
▲ 유리까지 이해하는 AI… 투명한 물체도 정확히 인식
연구팀은 글린트(GLINT, 투명 환경 시각 인식 기술)를 개발해 AI가 유리와 같은 투명한 물체도 정확하게 인식할 수 있도록 했다.
사람은 유리창을 볼 때 유리에 비친 모습과 유리 너머의 풍경을 자연스럽게 구분한다. 하지만 기존 AI는 두 정보를 하나의 영상으로 인식해 투명한 물체를 제대로 이해하지 못하는 경우가 많았다.
연구팀은 유리에 반사된 모습과 유리 뒤의 물체를 각각 분리해 분석하는 새로운 기술을 개발함으로써 AI가 투명한 환경에서도 장면을 정확하게 이해할 수 있도록 했다.
※ 논문 정보 : GLINT: Modeling Scene-Scale Transparency via Gaussian Radiance Transport, 논문 원본: https://arxiv.org/abs/2603.26181 (CVPR 2026 Oral, 6월 5일 구두 발표, Award Candidate(4천여 편 발표 논문 가운데 74편 선정)
▲ 빛의 움직임까지 이해하는 AI
연구팀은 라디오GS(RadioGS, 빛과 재질을 이해하는 장면 복원 기술)를 개발해 빛이 물체에 닿아 반사되고 퍼지는 과정까지 AI가 이해하도록 했다.
같은 물체라도 햇빛 아래와 실내 조명 아래에서는 다르게 보인다. 기존 AI는 이러한 조명 변화에 영향을 받기 쉬웠다. 연구팀은 빛과 물체의 상호작용을 AI가 학습하도록 만들어 조명이 달라져도 물체의 재질과 주변 환경을 더욱 정확하게 이해할 수 있도록 했다.
※ 논문 정보 : Radiometrically Consistent Gaussian Surfels for Inverse Rendering, 논문 원본: https://arxiv.org/abs/2603.01491 (ICLR 2026 Oral, 4월 23일 구두 발표)
▲ 사진 한 장만 보고 목적지를 찾아가는 로봇
연구팀은 비주얼-RRT(Visual-RRT, 이미지 기반 로봇 경로 계획 기술)를 개발해 시각 정보를 실제 행동으로 연결했다. 기존 로봇은 목적지의 좌표 정보가 필요했지만, 이번 기술은 현재 로봇이 보는 장면과 목표 사진을 비교하며 스스로 이동 경로를 찾아간다.
실제 로봇 실험에서도 사진 한 장만으로 목적지에 성공적으로 도달해 서비스 로봇과 자율주행 로봇 등 다양한 분야에 활용될 가능성을 확인했다.
※ 논문 정보: Visual-RRT: Finding Paths toward Visual-Goals via Differentiable Rendering, 논문원본: https://arxiv.org/abs/2604.16388 (CVPR 2026 Highlight) ３월 27일 하이라이트 논문 선정
※ 동영상: https://www.youtube.com/watch?v=nAPk27vHwEE
▲ 미래를 예측하고 스스로 행동을 계획하는 AI
연구팀은 클래드(CLaD, 미래 예측 기반 행동 계획 기술)를 개발해 AI가 행동하기 전에 미래 상황을 예측하고 가장 적절한 행동을 계획하도록 했다.
사람은 행동하기 전에 "이렇게 움직이면 다음에는 어떤 일이 생길까?"를 먼저 생각한다. 클래드는 AI도 이처럼 행동의 결과를 미리 예측한 뒤 가장 효과적인 행동을 선택하도록 만든 기술이다. 이를 통해 복잡한 환경에서도 높은 성공률로 작업을 수행할 수 있어 차세대 자율 로봇의 핵심 기술로 활용될 것으로 기대된다.
※ 논문 정보 : CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics, 논문원본: https://arxiv.org/abs/2603.29409(CVPR 2026 Highlight)
윤성의 교수는 "이번 연구는 AI가 단순히 눈으로 보는 것을 넘어 현실 세계를 이해하고 앞으로 일어날 상황까지 예측해 스스로 행동을 결정하는 방향으로 발전하고 있음을 보여준다"며 "이번 성과가 자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬 AI 기술의 발전에 기여하기를 기대한다"고 말했다.
윤성의 교수가 교신저자로 참여한 이번 연구들은 과학기술정보통신부와 정보통신기획평가원(IITP), 한국연구재단(NRF)의 지원을 받아 수행 중인 피지컬 AI 및 지능형 로봇 연구과제의 일환으로 수행됐다.
2026.07.06 조회수 411 -
로봇이 사람처럼 판단하는 시대, KAIST가 피지컬 AI 핵심 난제 해결
“사람처럼 판단하는 로봇, 생각보다 빨리 온다.”
로봇이 인간의 의도를 이해하고 스스로 올바른 행동을 선택하는 시대를 앞당길 핵심 기술이 국내에서 나왔다. KAIST 연구진이 단 몇 개의 영상만으로 AI가 인간의 판단 기준을 스스로 학습하는 기술을 개발하며 피지컬 AI 상용화의 핵심 난제를 해결했다.
우리 대학은 전기및전자공학부 유창동 교수 연구팀이 수천~수만 건의 인간 평가 데이터 대신 단 몇 개의 선호 영상만으로도 AI가 인간의 의도와 판단 기준을 학습할 수 있는 새로운 기술인 ‘VOTP(Video-based Optimal TransPort Preference)’를 세계 최초로 개발했다고 10일 밝혔다.
연구팀의 논문은 오는 7월 서울 코엑스에서 개최되는 세계 최고 권위의 AI학회인 ICML(International Conference on Machine Learning) 2026에 채택됐으며, 전체 제출 논문(23,918편) 가운데 상위 0.7%(168편)에만 주어지는 구두(Oral) 발표로 선정되며 연구의 우수성을 인정받았다. ICML은 AI 및 머신러닝 분야에서 가장 영향력 있는 국제학회 가운데 하나로 꼽힌다.
최근 AI 기술은 글을 쓰고 그림을 그리는 생성형 AI를 넘어 실제 기계를 움직이고 현실 세계에서 행동하는 ‘피지컬 AI(Physical AI)’ 시대로 빠르게 진화하고 있다. 공장에서 위험한 작업을 대신 수행하는 로봇, 스스로 도로 상황을 판단하는 자율주행차, 정교한 수술을 수행하는 의료 로봇 등이 대표적인 사례다.
하지만 피지컬 AI의 실용화를 위해서는 반드시 넘어야 할 장벽이 있었다. 바로 기계가 수행한 행동이 인간의 의도에 맞는지, 어떤 행동이 더 바람직한지를 판단하는 인간 수준의 평가 기준을 학습하는 문제다.
예를 들어 수술 로봇이 봉합을 하거나 자율주행차가 복잡한 교차로를 통과할 때 AI는 수많은 선택지 가운데 가장 적절한 행동을 골라야 한다. 이를 위해서는 인간의 선호와 판단 기준이 반영된 ‘보상함수(Reward Function)'가 필요하다. 그러나 지금까지는 이를 구축하기 위해 사람이 수천~수만 개의 행동 데이터를 직접 평가해야 했고, 막대한 시간과 비용이 소요됐다.
연구팀은 사람이 몇 번의 시범만 보고도 새로운 일을 배우는 방식에 주목했다. 연구팀이 개발한 VOTP는 몇 개의 좋은 사례와 나쁜 사례 영상만으로도 AI가 인간이 선호하는 행동 패턴을 스스로 파악하도록 돕는다. 기존처럼 방대한 양의 데이터를 사람이 일일이 평가하지 않아도 AI가 인간의 판단 기준을 이해하고 다양한 상황으로 확장해 학습할 수 있는 것이다.
이번 연구의 핵심 아이디어는 로봇이나 자율주행차와 같은 지능형 기계가 소수의 인간 선호(preference)를 담은 비디오만으로도 사람의 의도(intent)를 빠르게 파악할 수 있다는 것이다. 이를 위해 개발한 알고리즘은 다양한 환경과 작업에 걸친 광범위한 실험을 통해 그 효과와 일반화 성능이 입증되었다.
이러한 방식은 피지컬 AI 개발에 필요한 인간 피드백과 데이터 구축 비용을 크게 줄일 수 있다. 적은 수의 사례만으로도 로봇과 자율주행차, 산업용 기계가 사람의 기대에 부합하는 행동을 학습할 수 있어 개발 기간과 비용을 획기적으로 단축할 수 있을 것으로 기대된다.
해당 기술은 로봇 팔 제어, 휴머노이드 로봇, 자율주행차, 스마트팩토리, 드론, 수술 로봇뿐 아니라 컴퓨터를 직접 조작하는 AI 에이전트까지 폭넓게 적용 가능하다. 특히 인간의 의도와 만족도를 학습해야 하는 모든 피지컬 AI 시스템의 핵심 기반 기술로 활용될 수 있을 것으로 전망된다.
유창동 교수는 “피지컬 AI의 핵심은 기계가 인간의 의도를 이해하고 올바른 행동을 선택하도록 만드는 것”이라며 “VOTP는 소수의 영상만으로 인간의 판단 기준을 학습할 수 있어, 로봇이 사람처럼 판단하는 시대를 앞당길 핵심 기술”이라고 말했다.
전기및전자공학부 Luu Minh Tung(루 민 퉁) 박사과정 학생이 제1저자로 참여한 이번 연구는 세계 최고 권위의 AI 학술대회인 ICML(International Conference on Machine Learning) 2026에 오랄(Oral) 발표 논문으로 선정됐다.
※ 논문명: Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning, 논문 파일: https://sanctusfactory.com/data/file/publications/202606091714078906.pdf
이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP) 및 한국연구재단(NRF) 등의 지원을 받아 수행됐다.
2026.06.10 조회수 1261