전 세계 VR과 AR 시장이 올해부터 4년 동안 매년 2배 이상으로 성장할 것이라는 관측이 나왔다. 증강현실은 우리의 삶을 어떻게 바꿔놓을까.

▎증강현실을 우리에게 확실히 각인시킨 것은 ‘포켓몬 GO’게임이다. 스마트폰 카메라로 주변을 살피면 포켓몬 캐릭터들이 튀어 나온다. / 사진 : 김현동

당신은 술 한 잔 걸치고 동료들과 스크린 골프를 즐기는가? 스크린 골프는 현실감 나는 가상의 세계이다. 스크린 골프라는 가상의 공간을 대하면서 당신은 실제 골프장에 서 있는 것 같은 느낌이 든다. 스크린 골프처럼 가상의 콘텐트가 마치 실제 존재하는 것처럼 화면상에 보이는 경우는 많다. 현실의 모습을 컴퓨터로 구현하고, 구현한 가상을 현실처럼 받아들인다. 미국 올란도 디즈니 월드를 가 보자. 과학과 문화 체험을 많이 할 수 있는 에캅센터에서 ‘Soaring’이라는 하늘을 나는 놀이기구를 타보자. 그냥 앉아 있는데 온갖 장소가 눈앞에 펼쳐지고 마치 자신이 하늘을 휙 나는 느낌이 너무 좋다. 컴퓨터 그래픽(CG)이 환상의 나라로 우리를 초대한다. 너무 재미있어 다시 한 번 타 보고 싶으나 길게 늘어선 줄을 생각하니 엄두가 나지 않는다.

오감을 통해 실제와 유사한 체험을 제공하는 이러한 가상현실(VR: virtual reality) 체험은 이미 일본에서는 큰 산업으로 자리 잡고 있다. 일본 도쿄 신주쿠에 있는 반다이남코의 일본 최대 규모 가상현실(VR) 엔터테인먼트 시설 ‘VR존 신주쿠(VR ZONE SHINJUKU)’에 들어가 보자. 남녀노소의 즐거운 비명이 사방에서 들려온다. “진짜 하늘을 나는 기분이었어. VR 놀이공원 최고야.” 일본은 애니메이션과 게임, 성인물을 기반으로 VR 대중화에 둘째가라면 서러운 나라다. VR 시장에서 게임과 비디오 콘텐트가 ‘킬러 콘텐트’로 떠오르면서 일본 도쿄 한복판에 VR 놀이공원과 성인VR방이 속속 문을 열었다. 가상현실이란 결국 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 느끼게 해 주는 인간-컴퓨터 사이의 인터페이스를 말한다.

가상현실보다 현실감 더 뛰어난 증강현실

▎지난 3월 열린 ‘ VR 엑스포 2017’ 에서 한 관람객이 VR 기기를 이용해 게임을 하고 있다. 가상현실(VR)과 증강현실(AR) 기술은 ‘시뮬레이션’이나 ‘몰입감’을 필요로 하는 거의 모든 산업에 적용되고 있다. / 사진 : 뉴시스

증강현실(AR: augmented reality)이란 게 있다. VR과 무엇이 다를까? VR이 ‘가상의 현실’을 실제 하는 것처럼 느끼는 것이라면 ‘실제 하는 현실의 환경’에 가상의 정보를 섞는 게 증강현실이다. 결국 증강현실은 현실에 가상의 정보나 이미지를 겹쳐 보여주는 기술이다. 현실의 물건과 장소를 배경화면으로 하고, 가상현실 기기를 들이대면 그 물건과 장소에 대한 정보가 겹쳐 나타난다. 가상현실이 완전한 가상세계를 전제로 하는 것이라면 현실세계의 환경 위에 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이 증강현실이다. 현존하는 물리적 공간에 컴퓨팅 파워를 가진, 정보화된 인공물(information artefacts)이 가득 채워진다고 보면 된다. 가상현실이 컴퓨터 프로그램으로 만든 가상 세계에 접속해서 실제 세계에서처럼 시각, 청각 등의 감각을 경험할 수 있도록 한 데 비해, 증강현실은 실제 존재하는 현실 공간에 홀로그램 등으로 3차원의 가상물체를 겹쳐 보여 준다. 컴퓨터게임으로 예를 들면, 가상현실 격투 게임은 ‘나를 대신하는 캐릭터’가 ‘가상의 공간’에서 가상의 적과 대결하지만, 증강현실 격투 게임은 ‘현실의 내’가 ‘현실의 공간’에서 가상의 적과 대결을 벌이는 형태가 되는 것이다. 때문에 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.

스마트폰으로 거리를 비춰보자. 인근의 상점이나 건물의 전화번호가 영상에 보인다. 상품 바코드를 스마트폰으로 스캔해 보자. 가격정보가 나타난다. 현실 세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(MR: mixed reality)이라고도 한다. 현실 환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)은 1990년대 후반부터 미국과 일본을 중심으로 연구·개발이 진행되어 왔다. VR이 가지 않은 곳으로 나를 인도한다면 AR은 맨눈으로 보지 못하는 정보와 연결해주는 것이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 엄연히 현실환경이다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침으로써 현실 환경과 가상화면과의 구분이 모호해지도록 한다. 디스플레이를 통해 모든 정보를 보여준다면, 이는 가상현실이며, 음식점 간판에 외부 투영장치를 통해 현재 착석 가능한 자리 정보를 제공한다면 이는 증강현실이라 하겠다.

증강현실을 통한 게임을 해보자. 가상현실 헤드셋을 착용하니 내 앞의 콘크리트 벽들이 순식간에 ‘블루 스크린’으로 변했다. 모든 벽이 모니터에 둘러싸인 것처럼 묘사된다. 순간 손에 있었던 컨트롤러(조종기)는 어느새 ‘라켓’으로 변해 있다. 공간은 실제 스쿼시 코트처럼 광활해졌다. 눈앞에 공이 뜬다. 팔에 잔뜩 힘을 주고 공을 벽을 향해 힘껏 내리친다. 온 몸을 이용해 공을 쳐야 목표하는 곳에 공을 보낼 수 있었다. 라켓을 몇 차례 휘두르자 다리와 팔 근육이 뻐근해진다. 증강현실을 우리에게 확실히 각인시킨 것은 ‘포켓몬 GO’게임이다. 스마트폰 카메라로 주변을 살피면 포켓몬 캐릭터들이 튀어 나온다. 속초의 바닷가에서 즐겁게 게임 하는 상상을 해보니 더위가 가신다.

증강현실의 즐거움, 그리고 우려

▎SK텔레콤이 구글과 협력해 만든 가상· 증강현실 콘텐트 ‘T 리얼 VR 스튜디오’. / 사진 : SK텔레콤 제공

“가상현실(VR)이라고 하든, 증강현실(VR)이나 혼합현실(MR)로 부르든 용어 자체보다 더 중요한 것은 ‘실시간 3D 그래픽 시대’가 열렸다는 점이죠. 현실과 완벽하게 결합하는 실시간 3D 그래픽은 인간의 능력을 무한대로 확장시켜 우리의 삶에 엄청난 변화를 몰고 올 겁니다.”

물론 증강현실이 가져오는 부작용을 우려할 수도 있다. 기술은 본질적으로 중립적이다. 그걸 누가 어떻게 쓰느냐에 따라 선이 되기도, 악이 되기도 한다. 예를 들어보자. 앞으로 응용이 가능한 대인인식 증강현실은 성추행범, 흉악범 인식이나 습관적 사기전과자들을 가려내는 데는 전자 팔찌나 지문인식보다 탁월한 효과를 낼 수 있다. 그런데 행여 프라이버시 침해란 부작용에는 어찌 대응할 것인지 궁금해진다. 증강현실은 기본적으로 현실의 사물과 가상의 관련 정보, 또는 가상의 사물과 현실의 정보를 덧붙여 보여주는 것이다. 그렇다면 고의적으로 흘린 가상의 정보에 현혹되거나 혹은 자신의 의사와는 상관없이 개인 정보가 노출된다거나 하는 위험 역시 무시할 수 없다. 따라서 새로운 기술을 개발하기 위해서는, 반드시 그에 따른 부작용과 문제점, 대응 방안까지 다각도로 예측하고 준비하는 과정이 필수적이라고 할 것이다

성인용 콘텐트에 관한 윤리적 문제도 불거질 가능성이 있다. 실제로 지난 5월 미국의 성인물 제작사가 만든 광고 ‘가상현실로 당신의 아내와 바람피우기(Cheating On Your Wife In VR)’가 논란이 됐다. 이 광고에서는 “평생 같은 여성과 성관계를 하는 남성들에게 법 테두리 안에서 불륜을 저지르는 방법을 소개한다”며 자사의 제품을 홍보했다. 음…성인물이 결혼 생활을 도와줄지, 이혼의 근거가 될지는 지켜봐야 하지만 우려의 목소리가 들린다. 가상현실이나 증강현실로 사람들은 더욱 안전하고 적극적인 성 경험을 할 수 있지만, 성중독이 증가하거나 파트너와의 감정적인 연결이 줄어들 안 좋은 가능성도 있을 수 있다. 갑자기 신체적 접촉 없이 성을 즐기는 오래전 영화 <데몰리션맨>의 한 장면이 생각난다. 그냥 헤드셋을 낀 사랑행위 말이다. 가상현실과 증강현실은 현실과 착각할 정도의 몰입감을 주며 재미와 편리함을 선사하지만, 가상 세계에 완전히 빠져든 나머지 현실과 허구를 구분하지 못하는 상황이 발생할 수도 있다.

인간의 기억력이나 사고력, 상상력에도 영향은 불가피하리라. 노래방이 나오면서 사람들이 가사를 암기하거나 음미하려는 능력은 심각하게 약화되었다. 내비게이션은 사람들의 거리 인식과 방향 감각능력을 약화시켰다. ‘모르면 네이버에 물어봐’처럼 증강현실은 ‘들이대면 다 나와’ 경향을 심화시키지 않을까 살짝 걱정된다. 그렇다고 현실이고 트렌드이고 경제의 밥줄이 될 증강현실을 마냥 거부할 수는 없다.

증강현실은 어쩌면 세상을 바라보는 또 다른 ‘눈’일 수 있다. 제주도로 수학여행을 떠나 스마트폰으로 주변의 산과 절벽을 비추면 관광 정보와 함께 과학적인 상식을 알 수 있다면 좋은 것이다. 증강 현실용 안경을 쓰고 부엌에 가면 냉장고 안에 있는 음식의 정보를 볼 수 있다. 요즘 세상에는 점점 창의적인 사람이 부각되고 있다. 필요한 정보는 즉시 스마트폰 등으로 꺼내 쓸 수 있기 때문에 굳이 외울 필요가 없다. 누구도 생각하지 못했던 아이디어를 내고 실현하는 사람이 진정한 ‘지식인’으로 인정받을 것이라는 것을 우리 아이들에게 알려주는 것이 중요하다. 그렇게 생각하니 증강현실의 엔지니어가 되기 위해서는 어떤 지식이 필요할지 궁금하다. 물리와 수학을 손바닥 꿰듯 알아야 한다. 수학 공식을 새롭게 만들어 프로그램에 적용하고 가상의 물체를 물리 법칙에 따라 움직이도록 만들기 때문이다. 컴퓨터 프로그래밍은 기계적인 작업이지만 물리와 수학의 기초가 없다면 새로운 아이디어를 떠올리기 힘들다. 톡톡 튀는 아이디어가 중요하다. ‘평면 사진을 3D로 만들 수 있을까?’ 하는 창의적인 질문을 던질 수 있어야 한다. 지금은 증강 현실의 기초 기술을 개발하는 단계이기 때문에 창의적인 생각이 필요하다. 남들이 해 놓은 것만 따라한다면 뒤처질 수밖에 없다.

증강현실은 3가지 요소로 구성된다. 가상과 현실, 실시간 상호작용, 3차원 결합이 그것이다. 이제 증강현실은 우리에게 거부의 대상이 아니라 도전의 대상이기 때문이다. 이런 생각을 하며 증강현실을 이용하는 미래의 우리의 모습을 잠시 상상해 보자. 미래에는 헤드셋이 아닌 신경망 연결로 가상현실과 증강현실을 즐길 수 있다.

아침에 눈을 떠 손목의 화면을 들여다본다. 6시 10분, XX와 점심약속, 비가 올 것 같으니 우산을 챙길 것…침대 옆 작은 화면에는 여기저기서 온 메시지가 떠 있다. 샤워를 한 후 거울을 본다. 오늘 어울리는 옷, 넥타이, 양말에 대한 정보가 쭉 나온다. 밥을 먹는 내가 팔을 한번 휘저으니 눈앞에 뉴스 화면이 나타난다. 그렇고 그런 이야기가 계속 된다. 정치인들은 여전히 시끄럽다. 차를 타고 회사를 향하는데 내 차를 인식한 온갖 광고가 뜬다. 성가셔서 팔을 저어 광고를 차단한다. 반자동 및 완전 자율주행 자동차가 등장하면서 AR 및 VR 콘텐트의 소비가 늘어났다. 대용량의 콘텐트를 무선으로 처리하고 스트리밍하기 위한 요구 조건을 충족해야 했다. 더 많은 안테나를 활용하는 대용량 MIMO(Multiple-Input Multiple-Output) 기술과 여러 셀에서 동시에 데이터를 수신하는 5G NR의 다중 연결(Multi-Connectivity)은 이동 중에도 보다 균일하고 끊김 없는 모바일 경험을 가능하게 했다.

증강현실이 변화시킬 나의 24시는?

▎구글 글래스는 증강현실 기술이 적용된 대표적인 스마트 기기다.

사무실에 들어선 나는 의자에 앉는다. 내 방이 나를 알아보고 방과 책상에 있는 모든 화면이 내가 이용할 수 있는 준비 상태가 된다. 일이 끝나자 나는 증강현실 안경을 쓰고 공원을 산책한다. 며칠 전 깐 조류와 곤충 식별 앱 때문인지 새와 곤충들의 이름이 나타난다. 공원을 돌아보며 이렇게 고독을 씹는 일이 일상화 된지 오래다.

저녁은 온전히 아날로그의 반격을 느끼고 싶다. 때로는 화면이 떠 있는 게 싫다. 어제 본 3D 영화로 족하고 눈을 감고 가만히 클래식 음악을 듣고 나만의 명상을 하고 싶다. 아들 녀석은 누워서 천정에 나타난 화면을 책을 읽고 아내는 영화를 보고 있다. 고독이 밀려온다. 가상현실(VR)과 증강현실(AR) 기술이 ‘시뮬레이션’이나 ‘몰입감’을 필요로 하는 거의 모든 산업에 적용되고 있다. 게임과 영상물 관련 엔터테인먼트 산업은 물론이고 의료·헬스케어, 건설업, 엔지니어링, 관광·여행, 유통·쇼핑, 시뮬레이션 산업, 제조업의 부가가치를 높이는데 기여하고 있다.

다시 현실로 돌아와서 우리의 산업을 직시해보자. 그동안 VR·AR 콘텐트 부문에서는 일본을 포함해 전 세계에서 주로 스타트업이나 중소업체가 앞장서 왔다. 수익창출 모델이 불분명하고 혁신적인 시도가 필요한 신시장의 특성상 대기업들의 태도가 다소 소극적이기 때문이다. 최근엔 엔터테인먼트 콘텐트를 기반으로 VR 콘텐트 성장세가 높아지면서 최근 들어 세계적인 미디어·엔터테인먼트 대기업의 투자가 확대되고 있다. 월트디즈니는 VR 스타트업 ‘전트(Jaunt)’, 타임워너는 ‘매직 리프(Magic leap)’, 20세기 폭스는 바오밥 스튜디오에 각각 투자했다. 미국 로스앤젤레스(LA)에서는 VR 생태계가 발전하고 있었다. VR 전용 사운드 소프트웨어를 개발하는 업체 가우디오의 VR 헤드셋을 보라. 멀리서 들리는 공룡 발소리부터 공룡 때문에 긴장한 주인공 캐릭터의 호흡 소리가 생생하다. 멀리서 날아드는 새의 소리가 점차 가까워지는 입체적 소리가 들으니 내가 상상했던 미래는 더욱 현실로 다가온다.

증강현실 기술이 적용된 구글 글래스

▎의사가 구글 글래스를 끼고 수술할 날이 머지않았다.

향후 의료영역에서 보호자가 VR이나 AR을 통해 병원에 가지 않아도 의사와 환자를 대면할 수도 있다. VR 기기를 착용하면 보호자가 환자의 병실로 직접 간 것처럼 재현한다. 병실에는 보호자의 형상이 3D로 구현되며 환자와 직접 대화를 나누는 것처럼 되는 형태다. VR과 AR을 조합해 의사가 환자를 대상으로 간단한 진료가 가능해질 수도 있다.

우리는 이미 구글 글래스를 잘 알고 있다. 증강현실 기술이 적용된 대표적인 스마트 기기 말이다. 구글이 시범적으로 개발·공개한 이 스마트안경 구글 글래스는 일반 안경처럼 눈에 착용하며, 스마트폰처럼 구글 안드로이드 운영체제가 내장되어 안경을 통해 인터넷 검색이나 사진 촬영, 길 안내, SNS 사용 등이 가능하다. 구글 글래스는 기본적으로 음성 명령으로 작동하며, 한쪽 렌즈에 화면 출력용 프리즘에 장착돼 있어 사용자 눈앞에 약 25인치 크기의 가상화면이 나타난다.

증강현실의 전망은 어떨까? 전 세계 VR과 AR 시장이 올해부터 4년 동안 매년 2배 이상으로 성장할 것이라는 관측이 나왔다. 글로벌 시장의 AR과 VR 제품과 서비스에 대한 지출은 올해 114억 달러, 12조9000억원 규모에서 앞으로 4년 후인 2021년까지 2150억 달러, 242조7000억원 규모로 커질 것으로 예측됐다. VR과 AR의 연평균성장률은 무려 113.2%에 달하면서 4년 만에 18.9배로 확대될 것으로 예상했다. AR과 VR의 초기 투자와 활용을 이끌어 갈 영역은 소비자와 소매유통·제조 부문이 될 것으로 예측됐으며, 나중에는 정부 서비스와 교통·교육 등의 부문도 이 기술을 활용할 것으로 전망됐다. 구글을 비롯한 MS, 소니, 삼성, 네이버 등 세계적인 IT 기업들과 디즈니 등 콘텐트 산업의 최강자까지 앞다투어 AR과 VR산업을 준비하는 데 몰두하고 있다. 하지만 국내에서는 아직 관련 콘텐트 시장의 성장이 저조하다. 분발이 필요하다 하겠다. 경쟁력 있는 VR/AR 콘텐트의 개발과 공급을 위한 플랫폼의 역할이 중요하다. 콘텐트를 불편함 없이 몰입해서 이용할 수 있는 디바이스의 보급도 매우 절실하다. 산업 영역의 구분 없이 다양한 VR/AR 앱 개발이 필요하다. 기술력 확보와 콘텐트와 서비스의 가치에 더욱 주목해야 한다.

조원경 - 연세대(경제학과)와 미국 미시간주립대(파이낸스 석사)를 졸업했다. 현재 기획재정부 국제금융심의관으로 근무하고 있다. 저서로는 『명작의 경제』, 『법정에 선경제학자들』, 『식탁 위의 경제학자들』이 있다.