인공지능과 증강·가상 현실은 비즈니스 세계에서 이제 특별히 새로운 것이 아니다. 이 첨단기술들은 비즈니스 측면에서 다양하게 활용됐고 기대에 부응했다. 그러나 최근 전문가들은 이 세 가지 기술의 융합을 논의하고 실험하고 있다. 이는 ‘혼합현실’이라는 상호작용형 3D 홀로그램으로 표출된다.

▎매직리프는 몇 년 전 사람들이 가득찬 체육관 바닥을 뚫고 거대 고래가 공중으로 도약하며 객석으로 물을 튀기는 홀로그램을 구현해 큰 화제를 모았다.

증강현실(AR), 가상현실(VR)을 이야기할 때 일반인에게 가장 현실적으로 다가오는 것은 새로운 몰입형 게임기술이다. 지난 10년간 게임 및 엔터테인먼트 분야에서 첨단 몰입형 기술이 속속 등장해왔고, 특히 최근 2년 간 급성장했다. 스태티스타(Statista)의 보고서에 따르면 2020년 전 세계 몰입형 기술 시장은 약 63억 달러(7조7600억원) 매출 규모로 추산됐다.

이런 가운데 최근 혼합현실(Mixed Reality)이 강한 추진력을 얻으며 급성장하고 있다. 프랙처 리얼리티(Fracture Reality)의 CTO 롭 민슨은 “가상현실의 몰입도와 증강현실의 실제 세상에 데이터를 구현하는 기능을 결합한 것이 혼합현실”이라고 설명한다. 혼합현실은 아직 초기 단계지만 기존 AR, VR보다 더 광범위하게 활용될 것으로 기대된다. AR·VR이 게임분야가 필두였다면 혼합현실은 기존 브랜드 및 기업들이 새로운 마케팅 기법, 비즈니스 모델, 작업 효율화의 방법으로 도입을 추진하고 있다.

하버드비즈니스리뷰(HBR)에 따르면, 디지털 전환의 이니셔티브로서의 혼합현실은 직원 생산성 향상, 훈련 비용 절감 및 안전 중심 업무, 고객서비스의 도구로 떠오르고 있다. HBR애널리틱스의 글로벌 기업(250명 이상 고용기업 394개사) 대상 설문조사 결과, 응답자의 68%가 혼합현실이 기업의 미래 전략적 목표를 달성하는 데 중요하다고 답했다. HBR 보고서는 설문조사 대상자와의 인터뷰를 통해 혼합현실이 직원의 업무 방식을 재구성해 디지털 콘텐트와 상호작용함으로써 생산성을 향상할 수 있을 것으로 기대했다.

딜로이트 컨설팅의 앨런 쿡 전무는 “10~15년 주기로 사람들이 기술 및 데이터를 사용하고 상호작용하는 방식에 큰 변화가 있었다”며 “PC, 인터넷, 모바일 혁명 이후 혼합현실은 네 번째 전환이 될 것이며 그 파장 역시 기존 대변동만큼 클 것”이라고 전망했다. 하지만 응답자들은 혼합현실이 다른 기업 응용프로그램보다 구현하기가 더 어렵다고 내다봤다. 고위 경영진 대부분은 혼합현실 기술에 대한 이해도가 낮고 이 기술을 중요한 가치로 여기더라도 아직 명확한 비전을 가진 것은 아니었다.

게임보다 산업계에서 더 주목

▎오토데스크 퓨전 360은 산업디자인, 기계공학 엔지니어링, 기타 산업용 개발 분야에 활용될 수 있는 혼합현실 솔루션을 개발하고 있다. / 사진:microsoft

혼합현실을 이해하기 위해 실제 구현 사례와 활용 분야를 살펴보자. 혼합현실 초기 AR 분야 유망기업으로 꼽혀온 매직리프가 시연한 고래 홀로그램 영상을 보면 혼합현실 기술의 진화를 엿볼 수 있다. 집채만 한 고래가 농구장 코트에 솟구쳐 올라 관객의 탄성을 자아낸다. 관객은 별도의 헤드셋을 장착하지 않고도 홀로그램 고래를 구경할 수 있다. 혼합현실은 사실감을 극대화한 3D 입체영상을 현실 공간에 구현해 강한 몰입감을 제공한다. 현실 세계로 진짜 같은 가상 이미지를 불러낼 수 있어 많은 사람들이 동시에 경험할 수 있다는 특징을 지닌다. 아직 대부분의 혼합현실은 여전히 헤드셋과 움직임 센서 장비를 착용해야 한다. 다만 매직리프의 렌즈는 VR과 달리 투명하다. 이미지는 실제 세계 위에 겹쳐 표시되며 홀로그램은 헤드셋을 통해서만 보인다. 쉽게 말하면 AR의 디지털 요소가 2D 중심이었다면 혼합현실은 입체적인 3D라는 차이가 있다.

2016년 마이크로소프트사가 홀로렌즈를 출시하며 혼합현실이 본궤도에 올랐다. 홀로렌즈는 주변 현실 공간에 홀로그램을 투시해 고화질 렌즈와 공간 음향을 통해 홀로그램을 직접 보고 들을 수 있다는 게 특징이다. 사용자 주변 환경을 인식해 3차원 홀로그램을 입힌다. 인공지능은 사용자의 목소리나 손동작으로 상호작용할 수 있는 가상현실을 만들어준다. 영화 [아이언맨]에서 주인공이 홀로그램으로 나타난 정보를 손동작으로 작동하는 모습을 상상하면 이해가 쉽다.

실제 미항공우주국(NASA)은 홀로렌즈 기술을 이용해 가상으로 화성탐사를 할 수 있는 ‘워킹온마스’ 프로젝트를 진행했다. NASA가 갖고 있는 화성에 대한 빅데이터를 이용해 우주선 착륙 시뮬레이션을 할 수 있다. 또 산업디자인도 혼합현실 기술을 반긴다. 3D 디자인 프로그램 전문업체 오토데스크는 제품 개발 및 디자인에 혼합현실을 활용하고 있다. 볼보자동차는 증강현실 헤드셋 제조사 바르요(Varjo)와 손잡고 자동차 개발 전반에 혼합현실을 활용한다. 차량의 프로토타입, 디자인 개발, 능동형 안전 기술 평가 작업 등에 이용하고 있다. 일부 기업들은 고객서비스에도 홀로그램을 시험적으로 적용하고 있다. 미국 가정용품 판매 체인점 로우스는 일부 시애틀 매장에서 온라인 홀로 그래픽으로 손쉽게 주방에 가구나 가전제품을 어떻게 배치할지를 시뮬레이션할 수 있다.

3D프린터의 보완재로서 주목

▎2. AR,VR은 게임산업이 가장 주목했으나 혼합현실은 산업계의 수용이 활발할 것으로 전망된다. / 3. 혼합현실 기술은 3D프린터의 대체제로 생산성을 개선할 것으로 보인다. / 4. 의료계에서는 혼합현실 기술을 의대생 교육 프로그램으로 우선 활용하고 있다. / 5. 볼보자동차는 제품디자인 뿐만 아니라 생산현장에서도 혼합현실 도입을 서두르고 있다. / 6. NASA는 3D 화성탐사 시뮬레이션 소프트웨어를 마이크로소프트와 함께 개발했다. / 사진:microsoft

기술개발사들은 혼합현실의 홀로그램 완성도를 얼마나 높일 수 있을지를 두고 경쟁한다. 홀로그램의 시야 가장자리 경계가 계속 보이거나, 홀로그램의 일부가 경계를 벗어나면 잘려 보이는 등의 문제가 지적됐었다. 이러한 한계는 사용자의 몰입을 방해할 수밖에 없다. 그래서 실감과 몰입을 중시하는 게임을 지원하는 혼합현실 기술은 아직 충분히 발전되지 않은 것으로 평가된다. 장비 가격도 고가이므로 아직 소비자용 디바이스로는 적합하지 않은 게 사실이다. 이에 따라 마이크로소프트는 2019년 11월 공장 등 시야가 크게 문제되지 않는 실용 분야를 겨냥한 홀로렌즈 2세대를 출시했다. 개인용 게임이나 예술적 활용 용도로 서비스했던 1세대와 달리, 생산현장이나 기기 수리 담당자에게 적합한 AR 헤드셋을 만들었다. 산업현장 작업자는 홀로렌즈2를 통해 필요한 각종 데이터를 시각자료 형태로 불러와 실제 작업 현장에서 활용, 업무 효율성을 높일 수 있다고 마이크로소프트사는 설명했다.

혼합현실 기술은 실제 건설, 재난, 교육, 의료, 군사, 연구 등 폭넓은 산업 분야에서 활용도가 높을 것으로 기대된다. 일본 주오대(中央大) 연구실은 혼합현실 기술을 활용해 해안가 지역에 쓰나미(지진해일)가 밀어닥칠 때의 모습을 구현하거나, 지진이 일어날 경우 건물 내부에서 어떤 일이 발생하는지 연구하고 있다. 일본항공(JAL)은 혼합현실 기술로 비행기 엔진을 실물 크기로 재현해 정비사 교육을 가상으로 시도하고 있다. 한편, 영국 경찰은 현장검증에서 3D로 촬영하고 홀로렌즈를 활용해 수사를 진행한다.

의료계에서 혼합현실은 전문인력양성에 우선적으로 활용된다. 교육기업 피어슨은 홀로렌즈 기술을 활용해 홀로페이션트(HoloPatient), 홀로휴먼(HoloHuman) 앱을 개발했다. 이 앱은 환자의 홀로그램을 이용해 의대 및 간호대학 학생들이 증상을 진단하고 치료 시뮬레이션을 할 수 있는 교육 도구다. 비슷한 사례로 미국 세인트조지스대는 스피어젠테크놀로지사와 협력해 ‘러닝하트’란 학습 지원 도구를 개발했다. 러닝하트는 사용자가 심장 홀로그램을 360도 방향에서 관찰하고 검사할 수 있다. 홀로그램을 실제 만지면 반응하고 음성명령에 응답하는 상호작용이 가능하다. 심장의 모든 부분을 손동작으로 분리해 의대생들은 몰입형 학습을 할 수 있다.

미디어에서도 혼합현실은 새로운 시도다. 몰입형 저널리즘도 활발히 연구, 개발 중이다. 일본 NHK는 동일본대지진 때 쓰나미에 휩쓸린 ‘리쿠츄야마다(陸中山田)’ 역을 혼합현실로 재현해 주민들의 감성을 자극했다. 니혼TV는 프로야구 중계에서 TV 주변에 점수와 등판선수 이름을 표시하는 혼합현실을 시도했다. 웨더채널(TWC)은 혼합현실을 이용해 가상의 눈 폭풍, 산불, 토네이도, 홍수의 현장 상황을 생생히 전달할 수 있었다. TWC는 방송에 혼합현실을 적용해 “실시간 몰입형 스토리텔링의 새로운 시대를 연다”는 포부다.

특히 산업계에서는 혼합현실이 3차원 물체를 빠르게 시각적으로 보여준다는 점에서 3D프린터의 보완재로서 주목하고 있다. 현재 산업용 3D프린터는 때로는 긴 시간에 걸쳐 직접 프린팅해보지 않고는 물체가 정교한지 알 수 없다는 게 문제점이다. 하지만 혼합현실을 이용하면 시간과 절차를 대폭 줄여 생산성을 높일 수 있다.

시장조사기관 가트너의 브라이언 블라우 부사장은 “2020년에 VR 및 AR 기기들이 없어지고 대신에 VR과 AR을 동시에 구현할 수 있는 MR 기기만 남을 것”이라고 주장했다. 혼합현실의 여러 잠재성에도 불구하고 아직은 기술의 성숙단계다. 엑센추어는 ‘혼합현실이 기업에 가져올 실질적 혜택(Mixed reality brings real benefits to enterprises)’ 보고서에서 “기업들은 혼합현실의 주요 이점을 고려하고 가장 큰 임팩트를 가져올 방법을 실험하는 것이 중요하다”고 조언했다. 마치 스마트폰이 폭발적으로 시장을 성장시켰듯이, 혼합현실은 2020년을 기점으로 활용 사례, 상호작용 방식, 응용, 관련 기기가 빠르게 발전할 것으로 전문가들은 전망한다. 그만큼 “혼합현실의 잠재력은 강력하고 기업들이 주목할 만한 뚜렷한 매력을 갖고 있다”고 엑센추어 보고서는 평가했다.

※ 용어설명

증강현실(Augmented Reality): 스마트폰 카메라를 활용해 현실 세계 정보를 바탕으로 컴퓨터로 처리된 가상의 디지털 요소를 실시간으로 결합해 보여준다.

가상현실(Virtual Reality): 외부 세계를 완전히 차단하고 가상 환경의 몰입 경험을 제공한다. 인기 있는 VR 헤드셋 혹은 웨어러블 기기로는 HTC ‘바이브’, 오큘러스 ‘리프트’, 삼성 ‘기어VR’, 구글 ‘카드보드’ 등이 사용자에게 고선명(HD) 몰입 경험을 제공한다. 주로 게임이나 멀티미디어 콘텐트 소비용으로, 머리 움직임을 감지해 현장에 있는 것처럼 실감 나는 가상현실 콘텐트를 재현해주는 역할을 한다.

혼합현실(Mixed Reality): VR, AR과 달리 현실 화면에 실제 개체의 스캔된 3D 이미지를 출력하고 이를 자유롭게 조작할 수 있는 것으로, 사람의 행동이나 음성을 이용해 상호작용이 가능하다. 마이크로소프트의 ‘홀로렌즈’, 매직리프 ‘원크리에이터 에디션’, 삼성 ‘HMD 오디세이’가 대표적 기기다.

- 이진원 기자 lee.zinone@joongang.co.kr