혼합 현실은 컴퓨터에서 생성된 디지털 콘텐츠를 실제 물리적 환경과 혼합하여 보여줍니다. 기술의 발전으로 디지털 콘텐츠는 물리적 환경과 상호 작용할 수 있습니다. 예를 들어 실제 테이블 표면 위에 디지털 3D 모델을 배치하거나 3D 공을 실제 바닥에서 튕길 수 있습니다. "Mixed Reality"라는 용어는 Paul Milgram과 Fumio Kishino가 "혼합 현실"이라는 논문에서 소개했습니다.A Taxonomy of Mixed reality Visual Displays (1994).
혼합현실, 증강현실, 가상현실의 차이점
혼합 현실은 포괄적인 용어로 생각할 수 있는데, 증강현실(AR)과 가상현실(VR)을 아우르는 스펙트럼 이라고 생각하시면 됩니다.
증강 현실에서는 투명한 렌즈(예: Microsoft HoloLens, Magic Leap) 또는 전면에 달린 카메라(Meta Quest Pro)를 통해 디지털 그래픽이 우리 주변의 실제 세계 위에 오버레이됩니다. 안경을 쓴 것처럼 여전히 물리적 환경을 볼 수 있습니다.
증강 현실을 사용하면 물리적 환경과 물체를 볼 수 있으므로 응용 프로그램은 디지털 정보로 현실 세계를 향상시킵니다. 안내 교육, 길 찾기 및 3D 모델 검토는 AR의 좋은 예 중 일부입니다.
가상 현실에서는 디지털 세계로 둘러싸인 불투명 디스플레이(Meta Quest, HTC Vive, Samsung Odyssey)로 눈이 완전히 가려집니다. 주변을 볼 수 없으며 가상 세계에 완전히 몰입합니다.
XR, Extended Reality
The term XR is often used to encompass a variety of immersive technologies, including VR, AR, and MR, as well as other related technologies such as holographic displays and haptic (touch) feedback. It is used to describe a broad range of applications and experiences that involve the combination of real and virtual elements, and that allows users to see, hear, and interact with the world in new and innovative ways.
혼합 현실의 핵심 요소
트래킹 (Tracking)
실제 물리적 공간과 컴퓨터로 생성된 디지털 오브젝트 간의 정확한 위치 관계를 유지하는 것은 혼합 현실에서 가장 중요한 요소 중 하나입니다. 이를 달성하기 위해서는 실제 세계에 대한 사용자의 위치와 방향을 추적할 수 있는 정확한 트래킹 시스템을 갖추는 것이 중요합니다. 트래킹 기술은 센서 기반과 시각 기반의 두 가지 주요 접근 방식으로 분류할 수 있습니다. 센서 기반 접근 방식은 ToF(Time-of-Flight) 깊이 센서, 가속도계, 자이로스코프, 자력계와 같은 센서에서 제공하는 데이터를 사용하여 사용자의 포즈(자세)를 추적하는 반면, 시각적 기반 접근 방식은 카메라에서 캡처한 이미지에서 피쳐 포인트를 활용합니다. .
인풋 (Input)
혼합 현실 장치는 핸드 트래킹, 아이 트래킹 및 음성 입력과 같은 다양한 유형의 입력 방법을 지원합니다. 기술이 발전함에 따라 사용자가 직접 손으로 디지털 개체와 상호 작용하거나 여러 입력 방법을 결합하여 다중 모드 입력을 사용할 수 있도록 보다 자연스러운 상호 작용이 가능해지고 있습니다.
공간 매핑(Spatial Mapping, Surface Reconstruction 또는 Meshing이라고도 함)
공간 매핑을 통해 장치는 주변 환경의 3D 지오메트리를 구성할 수 있습니다. 이 데이터를 사용하여 혼합 현실 앱은 현실 세계의 표면과 상호 작용하고 현실적인 경험을 제공할 수 있습니다. 예를 들어 공간 매핑 데이터를 사용하여 앱은 실제 테이블 위에 디지털 개체를 배치할 수 있습니다. 공간 매핑을 사용하면 디지털 콘텐츠가 실제 물체처럼 물리적 환경에 의해 가려질 수도 있습니다. 예를 들면, 홀로그램 캐릭터가 물리적인 벽에 가려져 일부만 보인다던가 하는 사실적인 구현이 가능합니다.
공간 오디오 (Spatial Audio)
혼합 현실에서 공간 오디오는 위치에 대한 단서를 제공하고 경험을 더욱 사실적으로 만들 수 있습니다. 실제 개체와 마찬가지로 공간화된 오디오는 사용자에게 방향 감각을 제공하고 사용자가 3D 공간에서 개체가 있는 위치를 이해하는 데 도움을 줍니다.
혼합현실이 실제 활용되고 있는 사례들
교육
Case Western Reserve University는 의학 교육에 혼합 현실을 사용합니다. 여러 학생이 위치에 관계없이 3D 홀로그램 해부학 수업에 원격으로 참여하고 모델을 함께 토론하며 볼 수 있습니다. 코로나19 팬데믹 상황에서 실제로 학교측에서 홀로렌즈 기기들을 학생들의 집에 배포하여 학생들은 HoloAnatomy 소프트웨어와 함께 원격으로 수업에 참여했습니다.
건축 설계 및 건설 현장 BIM 데이터 시각화
Trimble은 혼합 현실을 사용하여 사용자가 모든 각도에서 실제와 같은 규모로 현장의 3D 데이터를 시각화하고 상호 작용할 수 있습니다. 상황에 맞는 공유 3D 모델을 사용하면 아이디어를 공동으로 쉽게 설계하고 전달할 수 있습니다. 현장 건설 시각화는 현장 작업자가 정보에 입각한 결정을 내릴 수 있도록 지원합니다.
자동차 산업
Ford는 자동차 설계 과정에서 혼합 현실을 사용합니다. 공유 경험으로 여러 사용자가 설계 탐색을 물리적 모델 위에 오버레이로 볼 수 있고 다른 검토자를 위해 음성 주석을 남길 수 있습니다. 홀로그램을 이용하여 디자인을 미리 쉽게 물리적인 공간에서 검토할 수 있으므로 보다 빠르고 효율적인 디자인 개선 및 의사결정을 가능하게 해 줍니다. Volvo에서는 쇼룸 및 데이터 시각화에 증강현실을 활용하고 있습니다.
항공 우주 산업
NASA는 화성탐사선 퍼서비어런스 로버 (Mars Perseverance Rover)를 설계하기 위해 혼합 현실을 사용했습니다. 1:1 비율로 3D 모델을 보고 구성 요소 내부를 볼 수 있었기 때문에 팀은 문제를 식별하고 설계를 반복하는 데 도움이 되었습니다.
Airbus는 혼합 현실을 사용하여 항공기 설계 및 제조를 가속화합니다.
의료 산업
혼합현실은 의료분야에 활발히 적용되고 있습니다. 수술을 위해 환자 위에 CT 스캔과 같은 의료 데이터를 겹쳐 놓거나 정보에 더 쉽게 접근할 수 있도록 의사 주위에 여러 개의 가상 화면을 띄울 수 있습니다.
원격 지원
Thyssenkrupp에서는 혼합 현실을 통해 24,000명의 승강기 서비스 기술자가 작업 전에 문제를 시각화하고 식별할 수 있으며 현장에서 랩톱이나 물리적 문서를 열 필요 없이 기술 및 전문가 정보에 원격으로 핸즈프리 액세스할 수 있습니다. HoloLens의 전면 카메라를 사용하여 사이트 비디오를 실시간으로 스트리밍하여 더 쉽게 통신할 수 있습니다.
Korean 
English