본교 아트&테크놀로지학과에 2026학년도 2학기부터 합류한 김하연 교수가 공동저자 연세대학교 이인권 교수와 함께 수행한 연구 논문 2편이 증강현실(AR) 및 가상현실(VR)을 비롯한 확장현실(XR) 분야의 대표적인 국제 학술대회인 IEEE ISMAR 2026에서 각각 Best Paper Award와 Best Paper Award Honorable Mention에 선정되는 성과를 거두었다.
ISMAR(IEEE International Symposium on Mixed and Augmented Reality)은 혼합현실(MR), 증강현실(AR), 가상현실(VR) 등 확장현실 기술과 관련 응용 연구를 다루는 세계적인 국제 학술대회다. XR 기술의 발전을 이끄는 주요 연구 성과들이 발표되는 학술적 교류의 장으로, 우수 논문에 대한 시상을 통해 해당 분야의 주목할 만한 연구를 선정하고 있다.
이번에 수상한 첫 번째 논문의 제목은 “ReAlign: Closed-Loop Support for Continuous Virtual Reality Tasks”로, VR 환경에서 사용자의 집중 상태를 실시간으로 추정하고, 필요한 순간에 적절하게 개입함으로써 사용자가 과업에 대한 몰입을 유지하도록 지원하는 기술을 제안한다.
VR 환경에서는 사용자가 가상 공간에 몰입해 과업을 수행하는 동안 주의가 흐트러지거나 집중력이 저하될 수 있다. 그러나 사용자의 집중 상태를 고려하지 않은 채 지속적으로 알림이나 안내를 제공하면 오히려 몰입을 방해할 수 있다. 이에 연구팀은 VR 헤드셋에서 수집되는 시선 및 머리 움직임 신호를 활용해 사용자의 집중 상태를 실시간으로 추정하고, 집중이 흐트러지는 순간에만 필요한 지원을 제공하는 폐루프(closed-loop) 적응형 지원 방식을 개발했다.
폐루프 방식은 시스템이 사용자의 상태를 지속적으로 관찰하고, 그에 따른 개입의 결과를 다시 반영해 지원을 조절하는 접근법이다. 이를 통해 사용자의 상태와 무관하게 일률적인 안내를 제공하는 대신, 실제 과업 수행 과정에서 필요한 시점에만 개입할 수 있도록 설계했다. 본 연구는 사용자의 행동 신호를 바탕으로 VR 경험을 능동적으로 조절하는 사용자 중심 인터랙션 기술을 제시했다는 점에서 의의가 있으며, 이번 ISMAR 2026에서 Best Paper Award를 수상했다.
두 번째 논문의 제목은 “From Asymmetric Guidance to Shared Evidence: Governing the Visibility of Spatial Cues in Multi-User Virtual Reality”로, 여러 사용자가 함께 참여하는 가상현실 환경에서 공간 정보와 AI 안내를 누구에게, 어떤 조건으로 공유할 것인지에 관한 문제를 다룬다. 해당 논문은 Best Paper Award Honorable Mention에 선정됐다.
다중 사용자 VR에서는 AI가 제공하는 안내나 공간 단서(spatial cues)가 특정 사용자에게만 보이는 경우가 발생할 수 있다. 이때 일부 사용자는 정보를 바탕으로 더 유리하게 과업을 수행할 수 있지만, 다른 사용자는 동일한 정보를 확인하지 못해 사용자 간 정보 비대칭이 발생할 수 있다. 특히 공동 작업이나 협업 상황에서는 이러한 차이가 의사소통과 공동 의사결정에 영향을 줄 수 있다.
연구팀은 이러한 문제를 해결하기 위해 가상 공간에서 정보의 가시성을 관리하는 정책을 제안했다. 핵심은 AI가 제공한 정보를 즉시 모든 사용자에게 공유하는 것이 아니라, 사용자가 해당 정보를 미리 확인하고 명시적으로 공유를 승인한 경우에만 공동 공간에 남도록 하는 것이다. 이를 통해 개인에게 제공된 안내와 공동으로 활용할 수 있는 정보를 구분하고, 다중 사용자 환경에서 정보가 공유되는 과정의 투명성과 통제 가능성을 높이고자 했다.
본 연구는 다중 사용자 VR에서 공간 정보의 단순한 시각화나 전달을 넘어, 정보가 누구에게 노출되고 어떤 절차를 거쳐 공동의 근거로 활용되는지를 설계 대상으로 다루었다는 점에서 의미가 있다. 이는 AI 기반 안내 시스템을 활용하는 협업 환경에서 사용자 간 정보 비대칭을 완화하고, 공동 작업에 필요한 정보 공유의 원칙을 마련하는 데 기여할 수 있다.
이번 두 논문은 VR 환경에서 사용자의 경험과 상호작용을 개선하기 위한 서로 다른 접근을 제시한다. 첫 번째 연구가 사용자의 집중 상태에 맞춰 시스템의 개입 시점을 조절하는 데 초점을 맞췄다면, 두 번째 연구는 다중 사용자 환경에서 정보의 가시성과 공유 조건을 관리하는 데 주목했다. 두 연구 모두 XR 환경에서 기술의 기능적 구현을 넘어 사용자의 행동, 경험, 협업 과정까지 고려한 인터랙션 설계의 중요성을 보여준다.
김하연 교수의 이번 성과는 사용자 중심의 XR 기술과 인간-AI 상호작용 연구를 바탕으로, 개인의 몰입 경험부터 다중 사용자 간 협업에 이르기까지 확장현실 환경의 다양한 문제를 해결할 수 있는 가능성을 제시했다는 점에서 의미가 있다. 특히 한 학술대회에서 두 편의 논문이 모두 우수 논문으로 인정받았다는 점에서 관련 연구 분야에서의 성과를 확인할 수 있다.
