컴퓨터공학, 엔지니어링, 인문학, 의학, 심리학, 커뮤니케이션학 등 다양한 분야의 메타버스 전문가들과 기업, 정부 부처 관계자들을 한자리에 초대하여 공간 컴퓨팅의 미래에 대한 뜨거운 논의가 이틀간 펼쳐졌다.

▎지난 2월 8일 미국 일리노이대 어바나샴페인에서 열린 몰입형 공간컴퓨팅 (IMMERSE) 심포지엄에서 토론토대 빌 벅스톤 교수가 몰입과 혼합 현실에 대해서 기조연설하고 있다.

1980년대 후반부터 1990년대까지, 텔넷(Telnet), 모자이크(Mosaic), 넷스케이프(Netscape) 등 폭발적인 인터넷 발전을 이끈 선두 주자였던 미국 국립 슈퍼컴퓨팅 애플리케이션 센터(NCSA, National Center for Supercomputing Application)는 미국 일리노이 어배너섐페인 주립대학(University of Illinois Urbana-Champaign)에 자리한 기념비적인 슈퍼컴퓨터 센터다. 텍스트, 이미지, 비디오로 구성된 2차원 인터넷 공간이 가상현실, 증강현실, 혼합현실이 도입되면서 빠르게 3차원 공간으로 진화하고 있는 시류에 맞춰 일리노이 어배너섐페인 대학에서도 400만 달러(한화 53억원가량)를 투자한 몰입형·공간 컴퓨팅(immersive and spatial computing) IMMERSE센터를 작년에 설립했다.

메타(구 페이스북)에 인수되기 전 초창기 스타트업 상태의 오큘러스에서 수석 엔지니어로 최초의 헤드셋 개발에 크게 기여했던 스티븐 라 벨르 박사(현 오울루대학교 교수)는 VR(가상현실)의 소비자 혁명을 이끈 선두 주자로 잘 알려진 인물이다. 오큘러스 VR 헤드셋이 출시되기 전, VR 헤드셋에서 메타버스를 경험한다는 건 일반 소비자로서는 거의 불가능한 일이었다. 일단 장비 자체가 수백만원에서 수천만원을 호가했으며 유저의 움직임을 트래킹할 수 있는 카메라를 외부에 따로 설치해야 하는 등 장비가 있어도 전문가가 아닌 이상 장비 설치와 소프트웨어 사용이 너무 어려웠기 때문이다. 오큘러스의 기술적 혁신과 메타의 자본이 아니었다면 오늘날 일반 소비자들이 온오프라인 매장에서 손쉽게 30만~40만원대의 돈으로 헤드셋을 구입해서 5분 안에 메타버스 관련 경험을 할 수 있었을까? 이는 비교적 짧은 시간 안에 이루어진 ‘혁명’이라고 해도 과언이 아닐 만큼 XR(확장현실) 업계의 판도를 크게 흔들어놓았다.

그런데 라 벨르 박사는 이번 학회에서 연설을 하면서 이 혁명이 오히려 XR 업계의 발목을 붙잡고 있는 게 아닌가 하는 의문을 가지게 됐다고 했다. 2016년경 일반 소비자들이 대거 VR 헤드셋을 구입하기 시작하면서 기존보다 하드웨어나 소프트웨어를 실험적으로 바꿔가며 더 좋은 XR 기술을 실현하고자 하는 움직임이 많이 움츠러들었다는 지적이다. 문제는 현재 우리가 일반적으로 사용하는 PC들은 3차원의 공간 컴퓨팅을 위해 개발된 것이 아니기 때문에 CPU, OS, 디스플레이, 소프트웨어 등 XR의 전체적인 생태계 자체가 XR 기술에 맞춰 달라져야 한다는 것이다. 그런데 소비자 혁명이 일어나면서 현재의 시스템으로도 수익성이 높아지자 기업들이 연구개발에 자본을 투자하기를 꺼리면서 오히려 장기적인 안목으로 봤을 때 XR 업계에 안 좋은 영향을 미친 게 아닌가 하는 합리적인 의심이 든다는 이야기다. 2차원에 맞춰 개발된 기존의 컴퓨터, 기존의 코딩 시스템을 재활용하여 3차원 컴퓨팅 시스템을 구현하려니 문제라는 것이다. 라 벨르 박사는 킬러앱에 대한 고민보다 XR 생태계의 혁신이 훨씬 더 시급한 안건이라고 강조했다.

메타버스: 공학과 인문·사회과학의 접점

공학에 기반을 둔 많은 연사가 이 학회에서 강조한 내용은 의외로 공학적인 기술이 아니라, 인문학과 사회과학에서 배울 수 있는 인간의 감각적 ‘경험’을 기술적으로 어떻게 재현해낼 수 있는지에 대한 것이다. Xerox PARC 연구소, 마이크로소프트사 연구소 등을 거치며 인간-컴퓨터 인터랙션학의 초석을 세운 빌 벅스턴 박사(현 토론토대학교 교수)도 심리학자 피아제(Piaget)가 정의한 지능의 개념-어떤 개체가 변하는 환경적 요인에 맞춰 빠르게 적응할 수 있는 능력-을 이야기하며, 현재 LLM이나 인공지능을 개발하는 데 공학자들이 적용하는 지능의 개념이 너무 좁고 경직되어 있다고 비판했다. 비슷한 맥락으로 라 벨르 박사도 공학적 난제의 많은 부분은 유기적 개체(예: 사람, 동물)에 대한 관찰로 풀어나갈 수 있다고 주장했다. 최근 여러 미디어에서 많은 관심을 받고 있는 엔비디아의 대표 젠슨 황이 학생들에게 컴퓨터공학보다 생물학을 전공할 것을 제안한 부분과 일맥상통한다.

밀접하게 연관되어 있기는 하지만 각자 다른 분야에서 정점을 찍은 세계적인 컴퓨터공학자들이 궁극적으로 전하고 싶어 하는 인사이트는 다음과 같다.

“주어진 환경이 변하면 그 변화에 맞춰 빠르게 적응하고 그 적응에 필요한 새로운 기술을 습득하는 것이 유기적인 개체들의 숙명이다. 결국 기술은 그 생존의 가능성을 높이는 데 최대한 도움을 줄 수 있어야 하기 때문에 인류에 도움이 되는 기술을 만들어나가려면 사람이 어떻게 사고하고 어떤 감각들을 통해 세상을 배워나가는지, 나아가 어떤 방식으로 사회를 구성하고 문화와 전통을 이루어나가는지를 잘 이해하고 있어야 한다. 이에 따라 새로 떠오르고 있는 perceptual engineering(감성공학)을 소개한다. 이는 유저가 느끼는 미세한 운동 감각적인 부분까지 정확하게 반영하는 공학적 접근으로, 꼭 XR 기기뿐 아니라 유저 외부 환경의 다양한 요소(예: 공기, 빛, 건물 구조, 가구, 동선)를 공학적으로 개조하고 디자인하여 가상과 현실의 경계선이 느껴지지 않을 정도로 자연스러운 융합을 이끌어내는 것이 목표이다.”

우리는 흔히 다양한 테크놀로지와 함께 자란 Z세대는 사람과 기술 사이의 관계를 훨씬 자연스럽게 이해하기 때문에 기술을 더 잘 활용할 것이라 여긴다. 그런데 기술을 자연스럽게 사용하는 것과 그 기술을 제대로 이해하는 것은 다르기 때문에 두 가지를 병행해야 한다는 주장을 다름이 아니라 미 공군 측에서 듣게 되어 의외였다. 공군에서는 Z세대의 군 입대와 함께 골머리를 앓는 부분이 신입 병사의 훈련과 교육이라고 전했다. 기술을 잘 이해할 것(tech savvy)이라는 인식과 달리 대부분의 신입 훈련병이 기술에 의존적(tech dependen)이라는 것이다. 특히 중국의 교육과정을 예로 들며, 대부분의 중국 초등학교에서는 학생들이 1~2학년부터 AI와 메타버스 기술을 접하고 이 기술의 근간에 대해 직접적으로 학습하는 데 비해 미국에서는 고등학생, 혹은 성인이 되어서야 이런 기술을 접하는 경우가 많다고 지적했다. 기술을 늦게 접하면서 그 기술에 대해 자세히 배울 기회 자체가 줄고, 이에 따라 새로운 기술을 그저 신기한 마술 정도로 여기거나 불신하는 경우가 많아진다. 기술에 대한 접근성은 느는데(신입 훈련병 중 90%가 최신 아이폰이나 태블릿 등 테크놀로지를 소유) 기술을 제대로 이해하는 리터러시(literacy)가 떨어지는 것이다(그중 50% 미만이 컴퓨터공학에 대한 기초교육을 받음).

이번 학회에서 많은 연사가 변하는 환경에 대한 적응과 새로운 지식의 습득을 생존에 필요한 전략으로 꼽았는데, 이는 학교나 기업 등 조직 내의 교육·훈련 과정에 획기적이고 구조적인 변경이 필요하다는 뜻이기도 하다.

※ 안선주 - 조지아대 첨단 컴퓨터-인간 생태계 센터(Center for Advanced Computer-Human ecosystems) 센터장이며 광고홍보학과 교수다. 가상현실, 증강현실 등 뉴미디어와 이용자 행동 변화에 대해 연구하고 있다. 특히 의료, 소비자심리학, 교육과 연계한 가상현실 응용프로그램을 개발해 대화형 디지털 미디어에 의사소통 및 사회적 상호작용이 어떻게 변화하는지를 집중 연구하고 있다. 2022년 초 TED talks에서 ‘일상생활에 가상현실 통합’이란 주제로 발표한 바 있다.