지난 3월 16일부터 21일까지 메타버스 관련 학회 중 전 세계 가상현실 전문가 1000여 명이 모이는 자리인 IEEE VR에 참석했다. 전기전자공학자협회(Institute of Electrical and Electronics Engineers: IEEE)가 주관하는 국제 콘퍼런스다. 보통 이런 기술 중심 학회에서는 혁신, 개혁 등 미래지향적인 단어들이 자주 등장하는데, 한 트랙에서는 가상현실 연구의 미래보다 과거를 집중 조명해서 많은 학자의 관심을 끌었다. 대부분 빠르게 앞으로만 달려나가고자 하는 기술혁신의 세계에서 누군가는 뒤돌아보며 우리가 지나온 길에 관심을 가지고 과거의 조각들을 갈무리하고 있다는 부분이 묘하게 위안이 됐다.

▎하일리그의 차고에서 가져온 오리지널 센소라마는 현재 서던캘리포니아대학교 메타버스 기록 보관소에서 복원 중이다. / 사진:USC

어릴 때 방문했던 박물관은 그저 신기하기만 했는데 어른이 돼서 보는 유물은 먼 과거에서 누군가 보내 온 일기 같은 느낌이다. 수백, 수천 년 동안 보존된 역사의 기록들을 보면서 그 시대의 생활상을 엿볼 수 있고 한 시대의 종교, 문화, 사회적 배경 등을 더욱 자세히 알 수 있기 때문에 역사적 유물을 발굴하고 남기는 것은 중요한 기록보존 행위다.

인류는 구전, 그림, 음악 등 다양한 매체를 통해 스토리텔링을 해왔고, 이런 미디어 콘텐트는 유흥과 엔터테인먼트 수단을 넘어 한 시대의 생활상을 반영하는 중요한 기록의 역할도 수행한다. 우리가 80~90년 전에 제작된 흑백영화를 고전 명작이라 부르며 좋아하는 이유는, 오래전에 일어났던 역사적인 일들을 사건, 사고 위주의 팩트로만 알고 있다가 배경, 인물, 장소 등 디테일과 맥락을 엿볼 수 있기 때문이기도 하다. 그런데 그 시대에 제작된 영상들 중 보존된 영화는 10%정도밖에 안 된다고 한다. 따라서 우리가 즐겨 보는 흑백영화들은 다양한 인간상과 스토리를 전했던 수많은 감독의 시선들 중 소수의 단면만 보여주고 있는 셈이다.

체계적으로 기록의 다양성을 보존하려는 노력은 균형 잡힌 세계관을 유지하는 데 생각보다 큰 영향을 미친다. 역사는 승자에 의해 쓰여진다고 했다. 그런 만큼 '조선왕조실록'이나 유럽의 역사를 빚은 종교적 갈등과 약자의 목소리가 사라진 기록만으로 실제 사건들을 유추하기는 대단히 어렵다. 이를 알기에 우리는 '안네의 일기'처럼 약자들이 목숨 바쳐 남긴 기록들에 공감하고 열광하는지도 모른다 (안네 프랑크의 집 VR 체험은 게임 콘텐트가 아닌데도 VR 앱 랭킹에서 톱 20위를 수년째 차지하고 있다).

그런데 IEEE VR 2024 학회의 한 트랙에서 1950년대부터 발전해온 메타버스의 역사를 어떻게 기록하고 있는지, 그 기록의 중요성에 대해 함께 진지하게 고민해볼 것을 학자들과 업계 관련자들에게 촉구했다. 그 말을 듣고 곰곰이 생각해보니, 우리 센터도 지난 15년간 개발해온 메타버스 관련 콘텐트를 보존하고 있지 않다. 그 이유는 복합적인데, 기술적으로 메타버스 개발 플랫폼들이 빠르게 발전하면서 버전 간 호환성이 떨어지는 경우가 대부분이고, 또 새로운 콘텐트를 개발하고 연구하기에 바빠 일단 논문으로 지식의 생성·공유가 완료된 프로젝트는 딱히 보존할 필요성을 느끼지 못한 것도 사실이다.

이 트랙에서 지적한 부분은 바로 이런 발전지향성이다. 출발점이 사라진 발전은 기준점에서 얼마나 앞으로 왔는지 가늠하기가 힘들다는 것이다. 일례로, 15~20년 전 5만 달러(한화 약 7000만원) 헤드셋으로 가상현실 연구를 시작했던 역사를 모른다면 이제 500달러(한화 약 70만원) 헤드셋으로 가격은 떨어지고 성능은 올라간 것이 얼마나 큰 발전인지, 그 출발점을 모르고는 이해하기 힘들다.

가상현실과 메타버스의 시초를 찾아 시간을 거슬러 올라가면 1950년대 모턴 하일리그(Morton Heilig)라는 발명가가 직접 고안하고 제작한 센소라마(Sensorama)를 만나게 된다. 센소라마는 당시로서는 획기적인 콘셉트의 실감미디어 장치로, 시청자가 화면 바로 앞에 머리를 두어 눈과 화면 사이의 거리를 대폭 줄인 후, 화면에 나오는 영상을 보면서 동시에 후각, 청각적인 자극도 받을 수 있다. 센소라마를 위해 짧은 단편 영상도 총 6편을 제작했는데 사람들의 관심은 더러 받았지만 시대를 너무 앞서간 탓인지 미디어 판도를 뒤흔들 만큼의 강력한 임팩트는 남기지 못했다. 센소라마는 사업을 유지하는 데 필요한 지원금을 확보하지 못했고 이내 사람들의 기억 속에서 잊혔다.

메타버스 박물관

그런데 서던캘리포니아대학교(USC)의 모바일·환경미디어 연구실 학생들이 하일리그의 자녀들과 연락이 닿았다. 우연히 학교가 있는 로스앤젤레스 인근이었다. 하일리그는 1997년에 사망했지만 자녀들은 아버지의 평생 역작이었던 센소라마를 내다 버릴 수는 없어 수십년간 차고에 보관했고 먼지만 쌓이고 있었던 것이다. 이를 전해 들은 USC 교수들과 학생들이 직접 트럭을 몰고 가 기계를 분해해서 청소하고 최대한 원작과 유사하게 복원했다. 발표자가 이 일화를 이야기해주면서 자기가 논문으로만 읽었던 바로 그 원조 센소라마를 트럭으로 싣고 오는데, 과속방지턱을 넘을 때마다 충격을 완화하기 위해 온몸으로 기계를 감싸안고 연구실까지 왔다고 한다. 이후 메타버스 기록 보관소(Immersive Archive)를 시작하여 센소라마를 비롯한 메타버스 관련 콘텐트, 최초의 증강현실 헤드셋으로 알려진 이반 서덜랜드(Ivan Sutherland)의 다모클레스의 검 등 흔히 기사나 수십 년 전에 작성된 논문을 통해서만 알고 있는 메타버스 유물(?)들을 발굴, 복원하고 있다.

센소라마는 비행기에 태우기에는 너무 번거롭고 충격에 약해 가지고 오지는 못했지만, 학회 발표를 위해 지난 수십 년간 연구자들이 사용해온 가상·증강현실 헤드셋들을 진열해뒀다. 이 헤드셋들은 메타버스 기록 보관소 박물관에 평소에 진열해둔 것들이라고 했다. 내가 20년 전쯤에 사용했던 헤드셋들이 이제는 박물관에 진열돼야 할 정도로 오래된 것이다. 박사 학생이었을 때 수많은 시간을 함께했던 nViz 바이저(nViz visor)를 오랜만에 보니 감회가 새로웠다. 피험자 한 명을 세팅하기 위해 30분 넘게 전선과 카메라, 센서들과 씨름해야 했던 그때와 달리 버튼 하나만 누르면 바로 메타버스로 이동할 수 있는 요즘, 경이로울 정도로 기술이 발전했다는 걸 다시 한번 느낄 수 있는 순간이었다. 무엇보다 과거와 현재 사이 기술의 흐름을 이렇게 한눈에 볼 수 있어야 미래를 내다볼 수 있는 선견지명과 미래에 대비할 수 있는 비전이 생긴다. 요즘도 하루가 다르게 발전하는 메타버스 관련 기술과 콘텐트들을 우리는 어떤 방식으로 기록하고 있는지 생각해보고 개발된 기술들을 오랜 시간이 흘러도 온전히 보관·보존할 수 있도록 체계적인 접근이 필요하지 않을까.

※ 안선주 - 조지아대 첨단 컴퓨터-인간 생태계 센터(Center for Advanced Computer-Human ecosystems) 센터장이며 광고홍보학과 교수다. 가상현실, 증강현실 등 뉴미디어와 이용자 행동 변화에 대해 연구하고 있다. 특히 의료, 소비자심리학, 교육과 연계한 가상현실 응용프로그램을 개발해 대화형 디지털 미디어에 의사소통 및 사회적 상호작용이 어떻게 변화하는지를 집중 연구하고 있다. 2022년 초 TED talks에서 ‘일상생활에 가상현실 통합’이란 주제로 발표한 바 있다.