공간 컴퓨팅(종합)편 - 공간 컴퓨팅과 가상·증강현실 | e경제정보리뷰

전문가 좌담

공간 컴퓨팅(종합)편 - 공간 컴퓨팅과 가상·증강현실

KDI 경제교육·정보센터 교육콘텐츠2팀 2025년 02호

(2025-02) 전문가 좌담_공간컴퓨팅 종합편.pdf

전문가 좌담

공간 컴퓨팅과 가상·증강현실

「e경제정보리뷰」 2025-2호 좌담은 ‘공간 컴퓨팅’을 주제로 진행되었다. 박종일 한양대학교 컴퓨터소프트웨어학부 교수(좌장)를 비롯해 류은석 성균관대학교 실감미디어공학과 교수, 소경민 (주)오버레이 대표, 유병현 한국과학기술연구원 지능·인터랙션연구센터장, 정준화 국회입법조사처 과학방송통신팀 입법조사관이 참여했다.

KDI 경제교육·정보센터 교육콘텐츠2팀

구분선

♦ 일시: 2025년 4월 23일 15:00 ~ 17:00

♦ 장소: 비즈허브 서울센터
♦ 참석자

박종일 한양대학교 컴퓨터소프트웨어학부 교수(좌장)
  류은석 성균관대학교 실감미디어공학과 교수
  소경민 주식회사 오버레이 대표
유병현 한국과학기술연구원 지능·인터랙션연구센터 센터장
  정준화 국회입법조사처 과학방송통신팀 입법조사관 구분선

#1. 개념 및 등장배경

박종일 애플이 비전 프로(Vision Pro)를 발표하면서 공간 컴퓨터라는 용어를 사용한 이후 ‘공간 컴퓨팅(spatial computing)'이라는 말이 회자되고 있습니다. 이 개념은 좁게는 특정 기술을, 넓게는 산업 전반을 아우르는 흐름으로 볼 수 있습니다. 오늘 좌담회는 공간 컴퓨팅이 무엇을 뜻하고 어떤 특성과 의미를 지니는지 전문가 분들과 함께 살펴보고자 마련된 자리입니다. 이를 위해 정책, 기술, 기업 현장을 아우르는 다양한 분야의 전문가 분들이 참석해 주셨습니다. 본격적인 토론에 앞서 공간 컴퓨팅의 정의와 등장 배경 등을 일반인들이 쉽게 이해할 수 있는 용어로 소개해 주시면 감사하겠습니다.

정준화 지금까지의 컴퓨팅은 기본적으로 ‘화면’을 중심으로 이루어졌습니다. 우리는 컴퓨터나 스마트폰 화면을 통해 다양한 작업을 하고 콘텐츠를 경험해 왔습니다. 즉, ‘화면’이라는 매개를 통해 컴퓨터와 연결되어 있었던 셈입니다. 반면 공간 컴퓨팅은 눈앞의 ‘공간’ 자체가 컴퓨팅 환경이 되는 것으로, 더 이상 화면이나 디바이스에 국한되지 않고 공간 전체가 하나의 인터페이스가 됩니다. 마우스나 키보드 없이도 손이 닿는 공간 안에서 자연스럽게 컴퓨팅 액션을 취할 수 있게 되는 것이죠. 이러한 개념은 홀로그램 등 입체 기술의 시도부터 최근 메타버스 열풍에 이르기까지, 공간을 직접 체험하는 방향으로 발전해 왔습니다. 코로나19로 인한 비대면 수요의 증가와 인공지능 기술의 발전이 맞물리며 우리가 오늘 이야기하는 공간 컴퓨팅이라는 개념이 본격적으로 현실화되었다고 생각합니다.

"눈앞의 공간 자체가 컴퓨팅 환경이 되는 공간 컴퓨팅은 공간 전체가 인터페이스가 돼"

<그림1> Apple의 Vision Pro와 visionOS

출처: Apple(2023)

소경민 저는 전통적인 컴퓨팅과 공간 컴퓨팅의 차이를 이렇게 생각합니다. 전통적인 컴퓨팅은 디지털 세계와 현실 세계가 명확히 구분되어 있어 노트북이나 핸드폰 같은 화면을 통해서만 접근할 수 있고, 키보드나 마우스를 통한 입력이 필요했습니다. 그리고 기기에서 벗어나면 디지털 세계와의 연결도 바로 끊기게 되죠. 결국 컴퓨터를 제대로 활용하려면 기기 사용법을 먼저 익혀야 했습니다. 반면 공간 컴퓨팅은 이런 매개 없이 현실 세계 위에 디지털이 자연스럽게 덮여 있는 형태입니다. 현실과 디지털이 일치된 공간에서, 더 이상 입력 장치를 찾지 않고 자연스럽게 말이나 손짓을 통해 의사를 표현할 수 있게 됩니다. 결국 공간 컴퓨팅은 디지털과 현실의 경계를 허물고, 컴퓨터를 사용하는 방식을 크게 바꿔놓았다고 생각합니다.

"공간 컴퓨팅은 디지털과 현실의 경계를 허물어"

박종일 말씀을 들으면서 생각해 보니, 20년 전쯤 등장했던 유비쿼터스 컴퓨팅(ubiquitous computing)주1)이라는 개념이 떠올랐습니다. 당시 통신 기술이 발전하면서 “언제 어디서나 통신할 수 있다”는 의미로 유비쿼터스라는 말을 많이 썼는데, 사실 그때는 다소 과장된 면도 있었던 것 같습니다. 그런데 공간 컴퓨팅은 유비쿼터스 컴퓨팅이 훨씬 더 구체적으로 사람들에게 체감될 수 있는 형태로 다가온 게 아닐까 하는 생각이 듭니다. 공간 컴퓨팅과 관련해서는 증강현실(AR), 가상현실(VR), 혼합현실(MR), 확장현실(XR) 등 유사한 용어들도 정말 많이 쓰이고 있는데요. 워낙 다양한 개념들이 혼재되어 사용되다 보니 사람마다 이해하는 범위나 해석이 조금씩 다르고, 그래서 용어를 접할 때 혼란을 느끼는 경우도 있는 것 같습니다. 이 부분에 대해 조금 더 알기 쉽게 정리해서 설명해 주시면 좋을 것 같습니다.

"공간 컴퓨팅은 유비쿼터스 컴퓨팅보다 훨씬 체감도가 더 높아"

주1) 언제 어디서나 사용 가능한 컴퓨터 환경에 연결되어 사용자가 원하는 정보나 서비스를 즉시 제공받을 수 있는 컴퓨팅 환경(TTA 정보통신용어사전)

류은석 과거에는 기술자들이 만든 기술 중심의 용어를 사용했지만, 스티브 잡스(Steve Jobs)의 영향으로 인문·사회와 융합된 하이레벨(high-level)의 용어가 유행하면서 기술을 더 친숙하게 포장하는 흐름이 생겼습니다. 메타버스(metaverse)도 이런 흐름 속에서 거창하게 등장했지만 기대에 비해 보여준 결과물이 부족해 실망을 불러왔고 지금은 오히려 메타버스라는 말을 쓰는 것도 조심스러운 분위기가 됐습니다. 다만 기술 개발은 용어와 무관하게 계속 이어지고 있습니다. 사실 AR, VR, MR, XR도 기술적으로 엄격히 나눌 필요는 없습니다. 기본 개념은 조금씩 다르지만 기술적으로는 크게 구분되지 않습니다. 공간 컴퓨팅이라는 말 역시 메타버스 이후 등장한 새로운 buzzword(유행어)라고 볼 수 있고, 과기정통부에서도 이런 명칭 문제를 고민하고 있습니다. 결국 핵심 기술에서는 큰 차이가 없고, 서비스나 마케팅 차원에서 용어나 표현이 달라지는 상황이라고 생각합니다.

"다양한 명칭의 공간 컴퓨팅 관련 용어, 핵심 기술은 유사해"

유병현 공간 컴퓨팅이라는 용어는 시대와 맥락에 따라 다르게 받아들여졌습니다. 이 용어 자체는 오래전부터 존재했지만, 최근 애플이 본격적으로 사용하면서 시장의 관심과 기대를 모으게 된 것입니다. 과거에는 GIS(Geographic Information System, 지리정보시스템) 같은 거시적인 공간 데이터를 다루는 정보 처리 기술도 공간 컴퓨팅으로 분류했지만, 지금 우리가 이야기하는 범위는 AR, VR 기반의 보다 좁은 영역에서의 인간-공간 상호작용입니다. 이 협의의 관점에서 보면, 공간 컴퓨팅은 마우스나 터치패드 같은 매개체 없이 현실 공간에서 물체를 직접 조작하듯 자연스럽게 컴퓨팅하는 경험을 의미합니다. 메타버스와 다른 점은, 메타버스는 기술보다는 사회·경제적 플랫폼으로서 생태계 구축에 초점을 맞췄다는 점입니다. 코로나19 팬데믹때 유행했던 메타버스 사례 중에도 공간 개념 없이 가상 경제를 현실로 연결하는 데 집중한 경우가 많았습니다. 이런 차이 때문에 공간 컴퓨팅과 메타버스는 겹치는 부분은 있지만 초점이 다르다고 생각합니다.

"메타버스는 사회·경제적 플랫폼으로 공간 컴퓨탕과 초점이 달라"

박종일 두 분이 잘 설명해 주셔서 공간 컴퓨팅에 대해 이해가 많이 되셨을 것 같습니다. 본질적으로 AR이나 VR 같은 미디어는 모두 1인칭, 즉 사람 중심의 주관적인 체험을 강조하는 미디어라고 생각합니다. 요즘 정부에서도 ‘가상융합'이라는 용어를 많이 사용하고 있는데, 결국 여러 용어를 거쳐 제자리를 찾은 것 같다는 생각도 듭니다.

#2. 기술·산업 및 정책 동향

박종일 앞서 공간 컴퓨팅의 개념을 살펴봤으니, 이제 공간 컴퓨팅을 구성하는 주요 기술에 대해 이야기를 나눠보고자 합니다. 오늘은 다양한 기술적 배경을 지닌 전문가 분들이 함께해 주신 만큼, 각자의 관점에서 주요 기술의 특징을 말씀해 주시면 좋겠습니다.

소경민 저는 공간 컴퓨팅 기술이란 기존 기술들이 종합된 형태라고 생각합니다. 공간 정보를 스캔하고 사람의 행동을 분석·예측하려면 기본적으로 센서 기술이 중요합니다. 현재 공간 컴퓨팅 기기에는 RGB 센서, LiDAR(Light Detection and Ranging, 빛 감지 및 거리 측정) 센서, IMU(Inertial Measurement Unit, 관성 측정 장치)가 탑재되어 있습니다. RGB로 세상을 인식하고 LiDAR로 공간 데이터를 얻고 IMU로 사용자의 움직임을 감지합니다. 이렇게 얻은 데이터를 분석하려면 컴퓨터 비전 기술이 필요하고, 단순 인식만으로는 부족해 AI 기술이 함께 들어갑니다. 사람이 손을 드는 의도나 대화 상대를 구분하는 등 섬세한 이해는 기존 알고리즘만으로 처리하기 어렵기 때문입니다. 또 데이터 양이 많아져 클라우드 기반 데이터 압축·전송 기술도 중요해졌습니다. 하드웨어 측면에서는 렌즈 기술이 핵심적입니다. 메타(Meta)가 퀘스트2에서 퀘스트3로 넘어가면서 팬케이크 렌즈(초박형 광학 렌즈)를 적용한 덕분에 기기가 작아졌습니다. 최근에는 VR 사용 시 초점 고정 문제로 인한 어지러움을 줄이기 위해 디스플레이 초점을 조절하거나 다중 초점 기술을 적용하는 연구도 활발히 이뤄지고 있습니다. 이런 소프트웨어와 하드웨어 기술이 함께 발전해야 공간 컴퓨팅이 완성된다고 생각합니다.

"공간 컴퓨팅은 센서, 컴퓨터 비전, AI 등 기존 기술들이 종합된 형태"

류은석 마지막에 말씀하셨던 부분과 관련해 VR 쪽에서는 VR sickness(VR 멀미)라는 표준 용어로 통일해서 부르고 있습니다. 이런 부분 하나만 봐도 공간 컴퓨팅에서 다뤄야 할 요소 기술이 정말 많다는 걸 알 수 있습니다. 사람은 해상도가 낮으면 어지러움을 느끼기 때문에 이론상으로는 시야각 1도당 40픽셀 이상의 데이터가 필요하고, 초당 프레임 수가 90프레임 이하로 내려가면 어지러움이 생깁니다. 또 사람은 고개를 돌리더라도 시선은 고정되는 특성이 있어서, 시야와 실제 움직임 간의 어긋남을 최소화하는 연구도 활발히 이뤄지고 있습니다. 이러한 이유로 영상처리 분야, 특히 저처럼 영상 전문가들이 참여하는 MPEG주2) 국제표준화 기구 같은 곳에서는 공간 컴퓨팅을 위한 대용량 볼류메트릭(volumetric)주3) 비디오 데이터를 어떻게 압축할지 연구가 집중되고 있습니다. 애플을 비롯한 세계 주요 기업들도 어떻게 데이터를 더 효율적으로 압축할 것인지에 많은 노력을 기울이고 있고, 화질 평가처럼 세부 분야만 전문적으로 연구하는 그룹들도 함께 움직이고 있습니다.

"VR 멀미 방지부터 고해상도 영상·데이터 압축까지 다양한 요소 기술이 요구돼"

주2) Moving Picture Experts Group의 약자로 디지털 비디오와 디지털 오디오 압축에 관한 표준을 제정하는 동영상 전문가 그룹(TTA 정보통신용어사전)
주3) 4K 이상 화질을 구현하는 카메라 100여 대가 역동적 인물 움직임을 캡처, 360도 입체 홀로그램으로 만들어내는 기술(TTA 정보통신용어사전)

유병현 덧붙이자면, 공간 컴퓨팅은 워낙 포괄적인 기술이다 보니 처리해야 할 데이터 양이 엄청나게 많습니다. 디바이스만으로 모든 처리가 가능할 것 같지만 실제로는 해결되지 않는 부분이 많기 때문에, 클라우드 기술이 보이지 않는 곳에서 큰 역할을 하고 있습니다. 얼마 전 NVIDIA의 젠슨 황(Jensen Huang)이 GTC(GPU Technology Conference) 기조연설에서 보여준 가우시안 스플래팅(Gaussian Splatting) 기술을 이용해 아직 존재하지 않는 공장 환경을 가상으로 구현하여 대형 LED 월에 실시간으로 띄우는 것도 결국 클라우드의 지원 덕분에 가능한 것입니다. 공간 컴퓨팅을 위해서는 단순히 사용하는 데이터만이 아니라, 3D 스캐닝이나 스마트폰 카메라를 이용한 3D 재구성 같은 디지털화 기술도 필수적입니다. 결국 아무리 강력한 칩셋이 들어 있어도 모든 처리를 디바이스에서 할 수 없기 때문에, 클라우드상의 렌더링과 실시간 스트리밍 기술이 필수적이며 앞으로 공간 컴퓨팅을 뒷받침하는 중요한 기반이 될 것입니다.

"클라우드상의 렌더링과 실시간 스트리밍 기술이 공간 컴퓨팅을 뒷받침하는 기반이 될 것"

박종일 공간 컴퓨팅은 워낙 융합적이고 변화 속도가 빠른 분야라 기술 스펙트럼이 매우 넓습니다. 최근 현실 세계를 3차원으로 구현하는 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기술이 주목받고 있는데, 불과 2년여 만에 수천 편의 논문이 쏟아지고 연구자들이 몰려들었습니다. 연구자들도 빠른 변화 속도에 맞춰 주제를 바꾸느라 멀미를 느낄 정도입니다. 산업 역시 이제 막 확장기를 맞아 많은 관심을 받고 있고, 메타나 애플 같은 빅테크 기업들이 선도하는 가운데 우리나라에서도 대기업, 중소기업, 벤처기업 모두 적극적으로 뛰어들고 있습니다. 이어서 공간 컴퓨팅의 산업 동향과 우리나라의 현재 위치에 대해 설명해 주시면 감사하겠습니다.

"3D 가우시안 스플래팅 기술과 관련해 짧은 기간 동안 수천 편의 논문이 쏟아져"

소경민 요즘 공간 컴퓨팅 분야는 B2C보다는 B2B 중심으로 활발히 발전하고 있습니다. 일반 소비자들은 VR 기기의 무게나 AR 기기의 시야각 한계로 인해 기대에 비해서는 만족도가 낮은 편이지만, 산업 현장에서는 VR과 MR의 기술적 가치 덕분에 꾸준히 활용되고 있습니다. 애플 비전 프로 역시 일반 소비자보다는 기업용을 염두에 둔 기기로 보이며 의료, 교육, 자동차 산업 등 다양한 분야에서 VR 기반 협업과 교육이 확산되고 있습니다. 한국은 센서, 디스플레이, 소프트웨어 등 필수 기술을 모두 갖춘 몇 안 되는 나라로 평가받고 있습니다. 삼성전자가 MR 기기 ‘무한’ 출시 계획을 공개하며 공간 컴퓨팅 시장에 본격 진입했고 중소기업과 벤처기업들도 원격 협업·지원 분야를 중심으로 성과를 내고 있습니다. 다만, 아직 전문 분야로의 확산은 부족해 앞으로 더 많은 시도가 필요하다고 생각합니다.

"공간 컴퓨팅은 B2C보다는 B2B 중심으로 발전하고 있어"

<그림2> 삼성전자‘프로젝트 무한’

출처: 삼성전자(2025)

박종일 우리나라는 공간 컴퓨팅이 발전하기에 좋은 IT 인프라를 갖추고 있어 세계의 실험실과 같은 역할을 할 수 있을 만큼 잠재력이 크다고 생각합니다. 하지만 기술이 아무리 발전해도 법과 제도가 뒷받침되지 않으면 산업으로 발전하는 데 한계가 있습니다. 특히 빠르게 변화하는 분야에서는 선제적 제도 정비가 필요합니다. 이에 대해 설명을 부탁드리겠습니다.

정준화 정부는 우리나라의 디지털 인프라와 사용자 경험을 바탕으로 공간 컴퓨팅 산업을 주도하려는 정책적 움직임을 보이고 있습니다. 특히 코로나19 시기에 메타버스나 공간 컴퓨팅 기술이 생산성을 향상시키고 교육의 단절을 보완할 수 있다는 기대가 생기면서 디지털 뉴딜과 맞물려 관련 지원이 강화됐습니다. 그 이후 2024년 ‘가상융합산업 진흥법'이 제정되어 산업 진흥, 기술 개발, 인력 양성 등 다양한 정책 기반이 마련되었고, 우리나라는 공간 컴퓨팅 관련 독자 법률을 가진 사실상 유일한 국가가 되었습니다. 다만 시장 수요가 아직 크지 않아 정책이 빠르게 세부화되지 못하고 있으며, 과기정통부를 중심으로 문체부, 중기부, 산업부, 교육부 등 여러 부처가 관여하는 구조로 인해 정책 조정이 쉽지 않은 상황입니다. 향후 소비자 보호나 공정경쟁 이슈 등도 본격적으로 논의되어야 하고, 이를 통해 안정적이고 구체적인 정책 방향으로 발전해 나가야 할 것입니다.

"가상융합산업 진흥법 제정으로 산업 진흥, 기술 개발, 인력 양성 등 다양한 정책 기반 마련"

<그림3> 가상융합산업 진흥법 및 시행령 주요 내용

출처: 과학기술정보통신부(2024)

박종일 가상융합산업 진흥법을 선제적으로 마련해 산업을 진흥하려는 노력은 매우 고무적입니다. 다만 시장 수요의 부족과 부처 간 협력 문제는 여전히 과제로 남아 있습니다. 2015~2016년 AR이 주목받던 당시에도 과기부, 산업부, 문체부가 각각 주도권을 주장하며 협업을 추진했지만, 결국 과제가 축소되고 기대만큼 큰 성과를 내지 못했던 경험이 있습니다. 이번에는 그런 흐지부지되는 아쉬움을 반복하지 않도록 더 치밀한 협력 전략이 필요하다고 생각합니다.

"시장 수요 부족과 부처 간 협력 문제는 여전히 과제로 남아"

정준화 우리가 지금 얘기하는 상황은 과거의 정보화 시기와 비슷한 측면이 있는 것 같습니다. 당시에는 대통령 리더십이 강해서 부처 간 소관 갈등이 생기면 대통령이 직접 조정해 해결했지만, 요즘은 고려해야 할 사항이 많아지면서 그런 역할을 위원회로 넘겼습니다. 그러나 위원회는 갈등을 조정하기보다는 이미 조정된 안을 최종 결정하는 역할에 그치고 있어, 기대했던 위원회의 기능과 실제 작동 방식 사이에 차이가 생겼고 그 결과 갈등이 해소되지 않고 계속 표면에 남아 있는 상황이 반복되고 있는 것 같습니다.

"위원회가 갈등을 조정하기보다 이미 조정된 안을 최종 결정하는 역할에 그치고 있어"

박종일 재작년과 작년에 국무총리 산하 ‘미디어·콘텐츠산업융합발전위원회’ 위원으로 참여한 적이 있는데, 글로벌 OTT의 확산으로 우리 미디어 산업의 기반이 흔들리고 있는 상황에 대응하기 위해 만들어진 자리였습니다. 과기정통부, 문체부, 방통위 세 부처가 함께했고 국무총리 주재로 출발했지만, 부처 중 하나라도 반대하면 아무것도 진행되지 않는 구조라 한계를 절감했습니다. 좋은 보고서는 나왔지만 실질적 변화는 어려웠고, 일부 규제 기관은 변화에 매우 보수적이었습니다. 다만 공간 컴퓨팅은 규제보다는 진흥 중심 분야라 조금 더 적극적으로 추진할 수 있을 것 같습니다.

"공간 컴퓨팅은 규제보다 진흥 중심의 분야로 좀 더 적극적으로 추진할 수 있을 것"

#3. 활용 사례 및 파급 효과

박종일 지금까지 기술과 산업, 정책에 대해 살펴봤으니, 이번에는 실제 적용 사례나 인상 깊은 사례를 소개해 주시면 좋겠습니다.

유병현 앞서 소경민 대표님께서 공간 컴퓨팅 기술이 아직은 B2C보다는 B2B 분야에서 더 활발히 활용되고 있다고 말씀하셨는데 저 역시 같은 생각입니다. 실제로 일반 소비자가 장시간 이 디바이스를 사용하는 일은 쉽지 않습니다. 하지만 안전과 같이 꼭 필요한 목적이 있다면, 다소 불편하더라도 기꺼이 착용할 수 있다고 생각합니다. 예를 들어 공사장에서 안전을 위해 하네스를 착용하듯 XR이나 공간 컴퓨팅 기술 역시 안전 확보에 실질적인 도움이 된다면 불편함을 감수할 수 있다는 것이죠. 실제로 현재 출시된 XR 디바이스들 중 상당수는 작업 현장에서 위험 요소를 직관적으로 경고해 주는 데 초점을 맞추고 있습니다. 그럼에도 불구하고 현장에서는 여전히 착용형 디바이스에 대한 거부감이 존재하고, 오히려 태블릿 기반 AR처럼 상대적으로 간편한 방식이 더 선호되는 경향이 있습니다. 이처럼 기술이 지향하는 이상적인 형태와 실제 사용자 환경 간에는 여전히 간극이 존재합니다.

"안전과 같이 꼭 필요한 목적이 있다면, 다소 불편하더라도 공간 컴퓨팅 디바이스를 착용하게 돼"

소경민 제가 생각하는 가장 큰 활용 분야는 의료 쪽입니다. 하나 예를 들자면, 인공관절 수술 시 예전에는 뼈를 깎기 위해 정확한 각도를 측정하려면 뼈에 구멍을 뚫고 구조물을 부착해야 했습니다. 하지만 최근에는 이러한 방식 대신 수술 부위에 QR 코드를 부착하고 AR 글라스를 활용해 각도를 측정함으로써 뼈에 구멍을 뚫지 않고도 정확한 수술이 가능해졌고, 이로 인해 회복 속도도 높일 수 있는 기술이 개발되었습니다. 그리고 산업 분야에서는 VR로 차량 외관이나 신발 디자인을 시각화해 비용과 시간을 절감하고 있으며, 테슬라도 옵티머스 로봇 트레이닝에 VR 기기를 활용하고 있습니다. 우리나라 소방청에서도 XR 기반 화재 대응 시뮬레이션 시스템을 도입했습니다. 이렇듯 저희가 잘 모르는 분야에까지 공간 컴퓨팅이 다양하게 활용되고 있습니다.

"의료, 산업, 재난 대응 등 공간 컴퓨팅은 다양한 분야로 확산 중"

<그림4> 실감형 소방훈련 시뮬레이터를 이용한 화재 진압 훈련 모습

출처: 국토교통부 스마트시티 종합포털(2024)

류은석 공간 컴퓨팅은 요소 기술 측면에서 점점 가벼워지고 있으며, 과기정통부에서도 요소 기술별로 부품 개발을 지원하고 있습니다. 현재 활용 분야를 보면 먼저 AR 게임처럼 공간을 활용한 엔터테인먼트가 있고, 원격으로 공장을 자동화하는 산업 현장 활용 사례도 있습니다. 교육과 트레이닝 분야에서는 VR·AR을 이용한 학습 시스템이 활발하며, 의학 분야에서는 CT와 MRI 데이터를 활용한 VR 해부학 프로그램으로 학습 효과를 높인 사례도 있습니다. 건축에서는 BIM(Building Information Modeling, 건설정보모델링) 기술로 태블릿을 통해 설계도 화면을 현장과 오버레이하여 비교하고, 교량 안전 진단에도 공간 컴퓨팅이 활용되고 있습니다. 방송·엔터테인먼트 분야에서는 가상 아이돌이나 몰입형 공연장 같은 사례가 늘고 있습니다. 공간 컴퓨팅은 몰입감을 향상시켜 엔터테인먼트의 콘텐츠 경험을 강화하는 장점이 있습니다.

"공간 컴퓨팅은 교육, 엔터테인먼트 분야로도 활용 사례가 늘어나"

정준화 저는 간단하게 두 가지만 말씀드리고 싶습니다. 첫 번째는 신기술, 특히 디지털 신기술은 주로 국방 분야에서 먼저 확산된다는 점입니다. 인터넷을 비롯해 많은 기술이 군대에서 먼저 사용됐고, 공간 컴퓨팅도 전쟁 시뮬레이션이나 작전 지시처럼 정확성과 속도가 중요한 분야에 적합합니다. 군인들은 평소에도 고글을 착용하기 때문에 추가 장비 사용에 대한 부담이 적고, 다양한 센서와 정보를 실시간으로 활용할 수 있어 국방 분야에서 유망하다고 생각합니다. 두 번째는 장애인 지원 분야입니다. 특히 시각이나 감각 장애를 가진 분들에게 디지털 신호를 통해 공간적 감각을 전달하는 방식은 공간 컴퓨팅의 가능성을 잘 보여줄 수 있습니다. 단기적으로는 시각 장애인 지원에서 큰 역할을 할 수 있을 것으로 기대합니다.

"국방과 장애인 지원 분야에서 큰 역할을 하게 될 것으로 기대"

유병현 군사 분야는 말씀하신 것처럼 비용 제약이 적고 착용에 대한 거부감이 다른 분야에 비해 상대적으로 작아 공간 컴퓨팅의 활용에 유리합니다. 예를 들어, 잠수함은 탑승 인원의 한계가 있어 승조원이 외부 전문가 없이 수리를 해야 하는데 이때 디지털 트윈을 통해 외부에서 가상 조작을 하면 내부에서 증강 정보를 바로 보고 작업할 수 있습니다. 이런 기술은 향후 심해나 우주 기지 같은 극한 환경에도 확산될 가능성이 있습니다. 장애인 지원 측면에서도 공간 컴퓨팅은 의미가 있습니다. 예를 들어 치매를 앓던 발레리나가 과거 무대 음악을 경험하며 반응을 보인 사례처럼, 과거 기억을 되살리는 데 도움을 줄 수 있습니다. 교육적인 측면에서는 원격지 학습 환경 구현에 활용되고 있으며, 산업 현장에서는 고가의 금속 3D 프린터를 해외에 수출 후 사용 방법을 AR·MR 기술로 원격 교육을 진행하여 출장 비용을 절감한 사례도 있습니다. 앞으로 공간 컴퓨팅이 대중화되면 더 많은 사람들이 시간과 비용의 제약 없이 기술의 혜택을 누릴 수 있을 것으로 기대합니다.

"향후 심해나 우주 기지 같은 극한 환경에도 공간 컴퓨팅 기술이 확산될 가능성이 있어"

<그림5> 공간 컴퓨팅을 활용한 수리 모습 예시

출처: AI 생성 이미지

박종일 제가 1999년에 교수로 부임하고 2000년쯤, 의대 교수님과 함께 AR을 활용한 뇌 정위 수술 연구를 진행한 기억이 납니다. MRI로 병변 위치는 알 수 있지만, 실제 수술 시 뇌를 직접 보면 위치를 구분하기 어려웠습니다. 과거에는 환자 머리에 프레임을 고정하고 각도를 계산해 수술했지만, 번거롭고 정확도도 낮았습니다. 1990년대에 미국에서 트래커 기술이 개발돼, MRI 촬영 시 부착한 마커를 기준으로 환자의 실제 3차원 좌표를 정합하고 수술 중 실시간으로 위치를 확인하는 방식이 가능해졌습니다. 이는 협의의 공간 컴퓨팅 사례라 할 수 있습니다. 지금은 개념이 훨씬 확장된 공간 컴퓨팅 시대가 열리고 있으며, 다양한 좋은 사례들도 등장하고 있습니다.

#4. 도전 과제 및 예상되는 문제점

박종일 기술 발전과 함께 제도, 산업 환경 등 해결해야 할 과제들도 많은 만큼, 기술적 측면에서 무엇이 필요한지 이어서 듣고자 합니다.

류은석 디바이스 무게는 여전히 큰 과제입니다. 그래서 무게를 줄이기 위해 디스플레이, 배터리 등의 부품 경량화와 함께 저전력·고효율 연산 기술에 대한 연구가 활발히 진행 중입니다. 그리고 VR 어지러움증 해소를 위해 고해상도, 높은 프레임 레이트(high frame rate, HFR) 연구도 진행되고 있고 콘텐츠별로 전체관람·12세·15세·18세 영화 관람 등급처럼 어지러움(멀미)에 대한 등급을 매기는 표준화 작업도 추진되고 있습니다. 융합 분야에서는 사용자 피드백을 반영해 개선하고 있습니다. 비록 시간이 걸리겠지만 공간 컴퓨팅의 요소·기반 기술은 꾸준히 발전 중이며 우리나라도 과기정통부와 산자부를 중심으로 소형 디스플레이, 저전력 기술 등에 지속 투자하고 있어 맞는 방향으로 가고 있다고 생각합니다.

"정부는 소형 디스플레이, 저전력 기술 등에 지속 투자하고 있어"

<그림6> ‘사이버 멀미 표준 영상’으로 뇌파 측정 실험을 진행중인 모습

출처: 한국표준과학연구원(2021)

유병현 공간 컴퓨팅을 위해서는 사용 편의성을 높이는 기술뿐 아니라 소프트웨어 플랫폼 보완도 중요합니다. 우리나라는 IT 강국이지만 증강현실 관련 소프트웨어는 여전히 외국 API(Application Programming Interface)에 의존하는 경우가 많고, 국산 디바이스를 만들어도 이를 뒷받침하는 미들웨어나 소프트웨어 인프라가 부족한 상황입니다. 다행히 이 부분은 연구자와 개발자들의 노력으로 시간이 지남에 따라서 점차 개선되고 있습니다. 또 하나의 과제는 사용자 행동에 대한 사회적 인식입니다. 예를 들어, 지하철이나 비행기에서 공간 컴퓨팅 디바이스를 착용하면 착용자 본인은 편하더라도 주변 사람들에게는 불편감 또는 위화감을 줄 수 있습니다. 이런 일상적 인식의 장벽을 넘는 것도 공간 컴퓨팅 확산을 위해 반드시 해결해야 할 과제라고 생각합니다.

"공간 컴퓨팅 확산에는 소프트웨어 플랫폼의 보완과 함께 사회적 인식 개선 필요"

박종일 말씀을 듣고 보니, 애플 비전 프로가 처음 나왔을 때 떠올렸던 아이디어가 생각납니다. 장거리 비행은 정말 지루한데, 기내에서 작은 모니터로 영상을 보는 건 한계가 있잖아요. 그래서 비전 프로 같은 장비를 활용해 360도 콘텐츠를 감상하면 훨씬 몰입감 있는 경험이 되겠다 싶어, 국내 항공사에 제안해본 적이 있습니다. 그런데 막상 추진해 보니 기내 엔터테인먼트 시스템에는 정해진 규격이 있고, 그 대부분을 특정 회사가 장악하고 있어서 아무리 작은 기능 하나를 추가하려 해도 모두 그쪽의 승인을 받아야 하더라고요. 결국 단기간에 해결할 수 없는 문제라 포기했습니다. 산업 현장에서도 비슷한 장벽이 있습니다. 원격 협업을 위해서는 공장 내부 영상을 외부로 전송해야 하지만, 보안 문제로 이를 허용하지 않는 경우가 많아 온프레미스(On-Premise)주4) 구축만 가능한 상황입니다. 이런 제약을 극복하려면 기술 발전뿐 아니라 법적·제도적 기반 정비가 필요합니다. 앞으로 공간 컴퓨팅 확산과 함께 지적재산권, 개인정보 등 다양한 이슈에 대한 제도적 대응이 중요해질 것으로 보입니다.

"기술 발전 뿐 아니라 법적· 제도적 기반의 정비가 필요해"

주4) 기업이 자체 시설에서 보유하고 직접 유지 관리하는 프라이빗 데이터 센터

정준화 공간 컴퓨팅이 확산되면서 다양한 문제가 점차 누적될 것입니다. 특히 사업자와 개발자, 규제 당국 간 이해 차이가 크고 공무원의 인사 변동으로 정책 연속성도 떨어져 제도 정비에 어려움이 있습니다. 공간을 디지털로 구현하는 과정에서 예상치 못한 저작권 문제가 발생할 수 있고, 생성형 AI로 공간을 구성하고 확장할 경우 환각 현상(hallucination)으로 인해 사용자 안전이 위협받을 가능성도 있습니다. 또한 공간 컴퓨팅에 몰입하는 시간이 늘면서 현실과 가상을 혼동하는 문제도 생길 수 있습니다. 예를 들어 잘못된 콘텐츠가 사실처럼 인식될 위험이 있습니다. 이런 경계를 어떻게 설정할지 고민이 필요합니다. 마지막으로, 디바이스 착용이 일상화되면 공공장소에서 새로운 규범이 요구될 수 있습니다. 가령 공공장소에서 스마트 안경이나 HMD(Head Mounted Display) 착용을 제한하는 규칙이 생길 가능성을 생각해볼 수 있습니다.

소경민 과거에는 일반 사용자들이 MR 기기의 패스스루(passthrough)주5) 데이터에 접근할 수 없었지만, 최근에는 대중에게도 이 기능이 개방되면서 새로운 문제들이 제기되고 있습니다. 예를 들어, 공공장소에서 누군가가 VR 기기를 착용하고 있다면, 나를 몰래 촬영하고 있는 것은 아닐까 하는 불안감을 느낄 수 있는 사회가 도래한 것입니다. 정부 차원의 촬영 표시 의무화 같은 규제가 필요할 수 있지만 규제는 기술 발전을 늦출 우려도 있어 균형을 잡는 것이 쉽지 않습니다. 또한 공간 컴퓨팅 기술이 발전하면서, 공공장소에서의 ‘공간 소유권’문제도 새롭게 등장할 수 있습니다. 서로 다른 사용자의 가상 오브젝트가 같은 물리적 공간에 배치되면 충돌이나 갈등이 발생할 가능성도 있습니다. 사회적인 측면에서도 우려되는 지점이 있습니다. 메타버스 플랫폼을 통해 현실과의 연결이 약해지고, 가상 공간에 과도하게 몰입하는 사용자가 늘어날 가능성이 있습니다. 일본의 히키코모리 문제처럼 사회적 고립 현상이 더 심화될 수 있는 것이죠. 하지만 이용 시간을 강제로 제한하는 것도 현실적으로는 어려운 일입니다. 결국 이러한 복합적인 문제들을 해결하기 위해서는 정부, 산업계, 학계 등 다양한 분야가 함께 모여 논의하고 방향을 설정해야 한다고 생각합니다.

"정부, 산업계, 학계 등 다양한 분야가 함께 모여 논의하고 방향을 설정해야"

주5) 탑재한 카메라로 포착한 주위의 영상을 헤드셋 디스플레이에 표시하는 기능

#5. 제언 및 맺음말

박종일 막상 이야기를 나누다 보니 시간이 훌쩍 지나버렸습니다. 마지막으로, 혹시 오늘 미처 말씀을 다 못 하신 내용이나, 앞으로 공간 컴퓨팅 관련해서 필요한 지원 방안이나 전략, 또는‘이런 걸 준비하면 좋겠다’하는 조언이 있으시면 간단히 말씀 부탁드립니다.

류은석 최근 딥페이크 문제와 VR 콘텐츠 저작권 이슈로 정부가 빠르게 대응하고 있고, 볼류메트릭(volumetric) 비디오의 저작권 보호 과제들도 활발히 진행되고 있습니다. 다행스럽게도 우리나라는 문제를 인식하고 대응하는 속도가 빠른 편이라고 생각합니다. 다만 규제와 관련하여 앞으로는 가능하면 안되는 방향보다 ‘된다’는 방향으로 접근했으면 합니다. 여러 부처가 얽혀 진행이 막히는 경우에는 정부가 적극적으로 길을 열어주는 조정자 역할을 했으면 합니다. 또 저는 시장의 자정 능력을 믿는 편입니다. 초기에는 우려가 있었던 카메라 소리 규제처럼 시간이 지나면서 사회가 균형을 찾아가는 경우도 있었으니까요. 정부는 규제를 강화하기보다 산업이 성장할 수 있도록 뒷받침하고 유연하게 지원하는 방향으로 힘을 써주면 좋겠습니다.

"정부는 규제를 강화하기보다 산업이 성장할 수 있도록 유연하게 지원할 필요"

소경민 기술 발전에 따라 문제는 생기겠지만, 이를 막기보다는 빠르게 받아들이고 우리가 주도적으로 활용 방향을 모색하는 것이 한국이 가질 수 있는 경쟁력이라고 생각합니다. 우리나라는 자원이 풍부하진 않지만, 고학력 인구가 많고 트렌드에 민감하며 기술에 몰입하는 사람들이 많기 때문에 이런 환경이 잘 조성된다면 다양한 기술과 서비스, 연구가 활발히 이루어질 수 있다고 봅니다. 개인적으로 대기업이 스타트업의 기술 개발에 더욱 관심을 가지고, 이를 적극적으로 지원해 주었으면 합니다. 이제는 한 기업이 모든 것을 다 할 수 있는 시대는 끝났다고 봅니다. 그래서 각자의 강점을 살려 협력하는 방향이 더 효과적이라고 생각합니다. 한국은 창업을 시작하기 좋은 환경이지만 창업을 마무리짓는 과정, 특히 M&A 측면에서는 어려움이 많습니다. 만약 이를 촉진할 수 있는 정책적 지원이 따른다면 창업 생태계가 더 건강하게 성장할 수 있을 것입니다. 아직 공간 컴퓨팅은 초기 단계지만, 지금부터 투자하고 기술을 축적한다면 향후 10년 안에 한국이 이 분야에서 주도권을 가질 수 있을 것이라 믿고 있습니다.

"대기업이 스타트업의 기술 개발에 더욱 관심을 가지고, 이를 적극적으로 지원해야"

유병현 두 가지를 말씀드리고 싶습니다. 하나는 공간 컴퓨팅뿐 아니라 우리 사회 전반에서 규제 방식이 여전히 자유롭지 않다는 점입니다. 규제샌드박스 제도주6)가 있긴 하지만 진입 장벽이 높아 스타트업이나 연구자들이 쉽게 활용하지 못합니다. 앞으로는 네거티브 규제 방식처럼 금지된 것 외에는 자유롭게 시도할 수 있는 문화가 필요하다고 생각합니다. 또 하나는 기술 종속 문제입니다. 과거 Adobe Flash 사례처럼 특정 기업 기술에 의존하다 보면 기술 변화에 취약해질 수 있습니다. 공간 컴퓨팅에서도 유니티나 언리얼 엔진 같은 상용 엔진만이 아니라, OpenXR이나 WebXR 같은 공개 표준 기반 기술에도 적극적으로 투자해야 합니다. 기술 종속을 피하고 장기적으로 자유로운 생태계를 만드는 것이 중요하다고 생각합니다.

"규제 완화와 함께 공개 표준 기반 기술에 대한 적극적인 투자 필요"

주6) 사업자가 신기술을 활용한 새로운 제품과 서비스를 일정 조건(기간·장소·규모 제한)하에서 시장에 우선 출시해 시험·검증할 수 있도록 현행 규제의 전부나 일부를 적용하지 않는 것을 말하며 그 과정에서 수집된 데이터를 토대로 합리적으로 규제를 개선하는 제도(규제샌드박스 홈페이지, www.sandbox.go.kr)

정준화 지금 우리의 제도와 법 체계는 산업 발전 과정에서 주로 효율성을 높이기 위해 만들어져 왔습니다. 하지만 공간 컴퓨팅을 포함한 디지털 산업은 효율성만으로 경쟁력을 확보하는 분야가 아니라, 오히려 여유와 중첩, 그리고 개방성이 허용되어야 하는 영역입니다. 그렇기 때문에 제도를 바라보는 패러다임의 전환이 필요한 시점이라고 생각합니다. 그래야 앞으로 공간 컴퓨팅이나 AR 시대에도 제대로 대응할 수 있습니다. 예를 들어, ChatGPT가 지브리 스타일의 콘텐츠를 만들 수 있었던 것은 저작권 이슈가 있음에도 불구하고 ‘일단 해본다’는 개방적 태도에서 비롯된 결과였습니다. 반면, 우리는 규정이 명확하지 않으면 기다려야 하고, 그 사이 시장을 놓치는 일이 반복되고 있습니다. 물론, 불법적인 것까지 허용하자는 것은 아니며, 시행 여부가 모호한 회색지대에서 가능한 한 허용 방향으로 해석하고 필요한 조치를 하자는 것입니다. 한꺼번에 관점을 바꾸긴 어렵겠지만 새로운 패러다임으로 디지털 산업을 바라보려는 인식의 전환이 꾸준히 확산될 필요가 있습니다.

"개방성과 유연성을 중시하는 패러다임으로 전환 필요"

박종일 오늘 좋은 말씀 많이 해 주셔서 감사합니다. 최근 공간 컴퓨팅이 전 세계적으로 주목받고 있는데, 산업계에서는 특히 디지털 트윈이 각광받고 있습니다. 디지털 트윈은 현실 세계를 가상으로 재현해 시뮬레이션하고 최적화하는 기술로, B2B 영역에서 공간 컴퓨팅의 가치를 본격적으로 보여주고 있습니다. 현실 세계와 디지털이 본질적으로 결합되면서 의미 있는 콘텐츠와 애플리케이션이 등장하기 시작한 것이죠. 정부에서도 최근 ‘공간 지능’주7)이라는 표현을 사용하며 공간 컴퓨팅 이후를 준비하고 있는데, 로봇과 피지컬 AI로 확장되는 큰 변화를 앞두고 있다고 생각합니다. 이런 격변기에 우리가 중심을 잘 잡고 대응해 나가야 한다는 점을 다시 한 번 느끼게 됩니다. 감사합니다.

"디지털 트윈과 공간 지능으로 확장되는 공간 컴퓨팅, 중심을 잘 잡고 대응해 나가야"

주7) 사람이 눈으로 본 세계를 두뇌로 이해하고 행동하듯 컴퓨터가 비전 AI 등을 통해 현실 세계를 이해하도록 돕는 기술

* 전문가 좌담회의 내용은 참석자 개인의 의견으로, KDI 및 각 참석자 소속기관의 공식 견해를 대변하는 것은 아닙니다. 본 내용을 보도하거나 인용할 경우에는 참석자명을 반드시 표기하여 주시기 바랍니다.

♦ 참고: 전문가 약력 ♦

박종일 (좌장)
• 한양대학교 컴퓨터소프트웨어학부 교수
• ㈜시어스랩 CTO
• (前)한국컴퓨터비전학회 회장, 한국방송미디어공학회 회장
• (前)메타버스미래포럼 의장

류은석
• 성균관대학교 지능형멀티미디어연구센터장
• 성균관대학교 SW융합대학 실감미디어공학과 부교수
• (前)가천대학교 컴퓨터공학과 조교수
• (前)삼성전자 수석연구원/파트장
• (前)InterDigital, Staff Engineer
• (前)Georgia Inst. of Technology, Research Scientist

소경민
• ㈜오버레이 대표
• (前)㈜인스텍 연구소장
• (前)뱅크샐러드 Software Developer

유병현
• 한국과학기술연구원 지능·인터랙션연구센터 센터장
• 과학기술연합대학원대학교 AI-로봇 교수
• Web3D Consortium 이사
• (前)한국CDE학회 회장

정준화
• 국회입법조사처 과학방송통신팀 입법조사관
• (前)국회입법조사처 입법영향분석사업단 제도설계팀장
• (前)국회의장직속 국회국민통합위원회 사회분과 입법조사관
• (前)국회 4차산업혁명 특별위원회 입법조사관

목록보기