요즘 미디어 열기가 생성형 AI와 LLM으로 옮겨가면서 메타버스에 대한 대중의 관심이 다소 식은 듯하나, 세계 각국에서는 각자 다른 방식으로 차근차근 메타버스 세상을 준비하고 있다. 지난 11월에 대만과 독일에서 열린 학회에 참석해 전 세계 학자들은 어떤 것들을 유심히 지켜보고 있고, 정부 차원에서 어떻게 육성하고 있는지, 이들의 메타버스 근황을 전해 들을 수 있었다.

▎지난 11월 18일 대만 국립정치대학(NCCU)에서 열린 대만정보사회학회 (Taiwan Academy for Information Society)에서 안선주 CACHE 센터장이 ‘확장된 현실: 다중 모드 경험이 행동 변화로 이어지는 방법’이란 주제로 발표를 하고 있다.

한동안 메타(구 오큘러스)와 함께 가상현실 하드웨어의 양대 산맥이었던 HTC의 본사가 대만에 있다는 사실을 모르는 사람이 의외로 많다. 지금이야 수많은 빅테크 회사가 저마다 특성을 살린 헤드셋을 제작, 판매하고 있어서 가상·증강·혼합현실 하드웨어를 소비자 입맛에 따라 구입할 수 있지만, 10년 전만 해도 소비자 헤드셋 분야에서는 오큘러스와 HTC가 독보적인 회사였다. 얼마 후 구글과 삼성을 비롯한 다른 회사들은 핸드폰과 연계된 3 DOF(degrees of freedom; 자유도) 시스템으로 방향을 정해서 유저의 위치를 추적하는 보디트래킹은 안 되지만 머리를 회전하면 360도 비디오 감상 등이 가능한 하드웨어를 생산하기 시작했다. HTC는 과거 스마트폰으로 큰 성공을 맛본 후였는데도 게임·소프트웨어 개발사인 Valve와 파트너십을 맺고, 가상현실 하드웨어를 디자인할 때 보디트래킹까지 가능한 6 DOF 헤드셋에 주력해왔다. 현시점에서 가장 경쟁력 있는 가상현실 시스템들이 6 DOF로 자리매김한 것을 보면 당시 기술의 흐름을 예측했던 부분이 성공적이었던 것 같다. 많은 빅테크 기업이 메타버스 관련 사업에 뛰어들기 시작하면서 HTC가 선점했던 우위가 다소 사그라든 느낌이지만, 2019년에 메타 대만 본사가 타이페이에 문을 열면서 다시 메타버스 준비에 박차를 가하는 듯하다. 최근 메타 대만 본사는 한국, 싱가포르, 홍콩 등 APAC 지역의 메타버스 전문가들과 함께 AI로 가속화되는 메타버스의 미래를 논의하는 심포지엄을 개최하기도 했다.

대만국립정치대학교(Na t i onal Chengchi University)에서 개최된 이번 학회는 2002년 창립된 대만정보협회의(Taiwan Academy of Information Society) 연례 모임으로, 학계, 정부 부처, 산업계 등 메타버스 관련 분야에서 300여 명이 참석해 열띤 토론을 펼쳤다. 아시아 전역이 초고령사회에 진입하는 흐름에서 대만도 예외가 아니며, 이런 사회 이슈를 반영하듯, 기조연설 후 질의응답 시간에 나온 질문들은 메타버스 기술을 활용한 헬스케어에 관한 것이 많았다. 특히 인공지능 기술을 결합한 헬스케어 가상 도우미에 관심이 높았고 정부 차원의 지원도 활발하게 이루어지고 있다고 한다. 또 헤드셋이나 컴퓨터에 활용할 칩을 수입에만 의존할 것이 아니라 자체 제작할 수 있도록 독려하는 정부 사업이 많다고 했다. 정부 차원에서 국제 협력 프로젝트를 장려해 대체로 자국 위주의 사업을 선호하는 미국 연방정부의 프로젝트들과는 차이를 보여 흥미로웠다.

또 HTC사는 산학 협력을 활발하게 진행하는 편인데, 최근에 출판된 논문을 보면 HTC가 관심 있게 지켜보는 분야에 대한 힌트를 얻을 수 있다. 논문은 가상 환경 내에서 유저들이 광고를 건너뛰지 않고 끝까지 지켜볼 수 있게 돕는 3D 가상 캐릭터에 관한 내용인데, 메타버스 내에서 광고의 혁신은 어떤 식으로 이루어질 것인지 대한 고민을 지금부터 하고 있음을 보여준다. 검색엔진, 소셜미디어, 비디오게임 등 현대사회에서 우리가 소비하는 미디어 콘텐트 중 광고가 빠지는 경우는 없고, 이에 따라 매일 평균 수천 개 광고에 노출되는 시청자들은 쉽게 피로감을 느낀다. 그래서 간혹 VR이나 social XR(여러 유저가 같은 가상 환경에서 교류하고 소통할 수 있는 플랫폼)을 사용할 때마다 광고가 전혀 없는 세상은 좀 더 고요하게 느껴진다는 생각이 들 때가 많다. 메타버스는 단순히 2차원에서 3차원으로 옮겨가는 것이 아니라 훨씬 복잡하고 많은 기기와 미디어 환경, 유저들이 데이터로 긴밀하게 엮여 있는 시스템이기 때문에 광고 형태도 이에 맞춰 혁신적으로 변해야 한다. HTC는 이를 인지하고 있고 적극적으로 산학 협력을 추진해 기존의 광고 방식과 유형에서 벗어난 실험들을 진행 중이다.

유럽의 메타버스 비전

대만 학회 직후에는 독일에서 열린 닥스툴(Dagstuhl) 세미나에 참석했다. 닥스툴 세미나는 미국의 고든리서치 콘퍼런스, 일본의 쇼난 미팅과 함께 전 세계 컴퓨터공학 분야의 과학기술인들이 모여 교류하고 네트워크를 구축하면서 과학 지식을 공유하고 생산하는 세계적인 워크숍 중 하나로 알려져 있다. 소셜 XR: 소통과 협력의 미래(Social XR: The Future of Communication and Collaboration)를 주제로 열린 이번 세미나는 미국, 일본, 호주를 비롯해 네덜란드, 덴마크, 독일, 영국, 체코 등 여러 유럽 국가에서 초청받은 약 25명이 참석했다.

유럽에도 오래전부터 VR, AR 등 메타버스 관련 기술을 연구하는 팀들이 있었지만 최근 4~5년 사이에 유럽 전역에서 컨벤션, 워크숍, 엑스포 등이 개최되면서 메타버스에 대한 관심이 가히 폭발적이라 할 수 있다. 정부도 메타버스 관련 사업 예산을 대폭 늘렸고, 메타(구 페이스북)도 EU 전역에서 직원 1만여 명을 새로 뽑는 등 영역 확장에 힘쓰고 있다. 닥스툴 세미나에서 발표된 내용도 3D 모델링과 캡처 등 핵심 기술에서부터 webXR 등 응용 기술, 유저 중심의 메타버스 디자인과 윤리 문제 등 컴퓨터공학은 물론 심리학, 철학까지 다양한 관심 분야를 균형 있게 다뤘다.

세미나 참가자들이 특히 열정적으로 참여했던 주제는 유니티(Unity)나 언리얼(Unreal) 같은 게임 엔진들에서 벗어나 오픈소스 소프트웨어로 개발된 메타버스를 만드는 것이다. 빅테크 기업들이 주축이 되어 표준화를 목표로 대화를 이끌어나가는 미국의 실정과 달리 유럽에서는 사측의 결정에 따라 많은 것이 좌지우지되는 상황 자체를 피하려는 듯하다. 또 EU 내에서 다양한 문화와 언어에 노출될 수밖에 없는 환경 때문인지, 아바타를 제작할 때도 인종·문화적 특성에 맞는 아바타 디자인을 적용하고, AI를 이용할 때도 다양한 언어의 이용 가능성 등 메타버스 환경의 다양성과 포용력에 대해 다방면으로 고민하는 듯해 인상적이었다. 다만, 미국에 비해 소수 인종에 대한 논의가 부족한 편이고 적극적인 세계화보다는 EU 내에서 메타버스 발전을 주체적으로 도모하려는 모습이 보였다.

기존의 가상 공간들이 VR, AR로 명확하게 나뉘었던 것과 달리 새롭게 출시되는 헤드셋들은 그 중간쯤 되는 혼합현실(MR)을 위주로 개발되고 있다. 특히 헤드셋들이 최근 몇 년간 크리스마스 선물 등으로 팔리기 시작하면서 기존 디바이스 유저들과 헤드셋 유저가 같은 가상 공간에서 만나 상호작용을 하고 놀 수 있는 비대칭 인터페이스 콘텐트가 많아지기 시작했다. 가령, 한 명은 VR 헤드셋을 사용하고, 나머지 사람은 태블릿이나 스마트폰으로 같은 공간에서 아바타로 만나 게임을 진행하는 형태다. 이는, 한 명이 하나의 기기를 사용하던 과거에서, 한 명이 여러 기기로 멀티태스킹을 하는 현재로, 나아가 미래에는 여러 명이 여러 기기로 소통하고 교류하는 형태로 미디어 환경이 진화하고 있음을 알려준다. 더불어, 생성형 AI와 LLM 도입이 활성화되면서 디지털 콘텐트 제작 환경이 급격하게 바뀌고 있다.

※ 안선주 - 조지아대 첨단 컴퓨터-인간 생태계 센터(Center for Advanced Computer-Human ecosystems) 센터장이며 광고홍보학과 교수다. 가상현실, 증강현실 등 뉴미디어와 이용자 행동 변화에 대해 연구하고 있다. 특히 의료, 소비자심리학, 교육과 연계한 가상현실 응용프로그램을 개발해 대화형 디지털 미디어에 의사소통 및 사회적 상호작용이 어떻게 변화하는지를 집중 연구하고 있다. 2022년 초 TED talks에서 ‘일상생활에 가상현실 통합’이란 주제로 발표한 바 있다.