Metaverse audio
메타버스 오디오 기술이란?
메타버스 오디오 기술은 게임 공간 소리가 전후, 좌우, 위아래 XYZ 축의 3차원 공간에서 들릴 수 있게 도와준다.
또한 유저와 주변 객체와의 거리감, 공간 질감 등을 실시간으로 청취할 수 있도록 한다.
즉 입체음향기술이 메타버스 플랫폼에 적용되는 것이다.
모노에서 시작된 음향 기술은 이제 단순한 스테레오(2D)에서 벗어나 실제 현장에서 듣는 듯한 입체음향(3D) 기술로 발전하고 있다.
입체음향 기술은 음원이 발생하는 공간이 아닌 공간에 있는 청취자가 음원이 발생한 공간과 같은 방향감, 거리감 및 공간감을 지각할 수 있게 해준다.
입체음향 기술을 이용하면 현장에서 듣는 듯한 느낌을 받을 수 있다.
이러한 입체음향 기술에 대한 연구는 수십 년 전부터 이루어지고 있다.
‘개인화된 머리전달함수(Individualized HRTF)’를 이용하여 오디오 신호처리를 하는 것이 가장 현실감 있는 오디오를 재생할 수 있다는 연구 결과가 나와 있다.
종래의 머리전달함수를 사용하는 오디오 신호 처리 방식에서는 실제 사람의 귀속 또는 사람의 모양을 한 모형의 귓속에 마이크를 넣고 오디오 신호를 녹음하여 임펄스 응답을 획득할 수 있다.
이를 오디오 신호에 적용하면 오디오 신호의 3차원 공간상의 위치를 느낄 수 있다.
여기서, 머리전달함수(Head Related Transfer Function, HRTF)는 음원과 사람의 귀 사이에 발생하는 전달함수를 나타내는 것으로서,
이는 음원의 방위와 고도에 따라 그 값이 달라질 뿐만 아니라 사람 머리 모양과 크기, 귀의 모양 등과 같은 신체 특성에도 의존하는 특징이 있다.
즉, 개인마다 고유한 머리전달 함수를 갖는다.
그런데 현재까지는 여러 종류의 모형(더미 헤드 등)을 통해 측정한 머리전달함수(개인화되지 않은 HRTF)를 3차원 오디오 신호 처리에 사용하고 있는데 불과하기 때문에
신체 특성이 제각기 다른 사람들에게 동일한 3차원 음향효과를 제공하는 것이 곤란하다는 문제점이 있다.
또한, 종래의 멀티미디어 재생 시스템에서는 사용자 개인별로 자기 신체 특징에 맞는 머리전달함수를 적용할 수 있는 모듈을 구비하지 않아 사용자 개인에게 최적화된 현장감 있는
3차원 오디오 신호를 제공할 수 없는 문제점도 있다.
이런 문제점을 개선하기 위해서 초정밀하고 초개인화된 Hyper HRTF가 필요하다.
그래서 국내 메타버스 오디오 기업이 Hyper HRTF를 개발하여 메타버스에서의 몰입감을 극대화할 것으로 기대되고 있다.
메타버스 오디오 기술의 핵심은 HRTF 머리전달함수를 잘 생성하고 구현하는 것이다.
이어서 머리전달함수를 3D Binaural Renderer Software를 통해서 적은 리소스로 최대 음향효과를 전달하는 것이다.
Virtual world and real world
가상세계와 현실세계
메타버스는 가상세계와 현실세계가 시공간을 초월하여 구현되는 실감 콘텐츠 플랫폼이다.
가상의 아바타와 오픈월드 그리고 NFT 등이 결합하고 있다.
가상세계가 현실과 같이 생생하려면 인간의 오감이 메타버스에서 구현되어야 한다.
실감 콘텐츠 기술인 VR/ AR/ MR은 XR로 통칭하여 구현되고 있다.
메타버스 오디오는 3차원 공간에서 느끼는 청각적 현실감을 가상세계에서 생생하게 재현하는 기술이다.
메타버스 오디오는 사용자 자신의 분신인 아바타가 가상세계를 이동할 때 소리가 전후 좌우 위 아래까지 생생하게 들릴 수 있도록 한다.
또한 상호작용에 의해서 사용자의 머리 움직임을 반영하여 실시간으로 3차원 사운드가 느껴지도록 한다.
나아가서 NFT 기반의 예술작품에 사운드 NFT 가 결합하여서 대체 불가능 토큰 형태로 판매되고 유통되고 있다.
Strength
메타버스 오디오의 강점
메타버스 오디오의 강점은 3가지로 요약할 수 있다.
첫 번째 메타버스 플랫폼의 몰입감을 증대시켜준다.
가상 세계에서 현실과 같은 실재감을 제공할 수 있는 것이다.
두 번째는 쉽고 간편하다.
VR 기기나 AR 기기와 같은 추가 장치를 사용하지 않고 현재 스마트폰과 이어폰만으로 구현할 수 있는 것이다.
메타버스 플랫폼은 게임 기반의 플랫폼과 VR AR 디바이스를 통해 실감형 메타버스 플랫폼이 존재한다.
메타버스 오디오는 VR/AR 디바이스뿐 아니라 제페토, 이프랜드, 나아가서 해외 게임 메타버스 플랫폼인 ‘로블록스’‘더샌드박스’등에서 구현되고 있으며 빠르게 최적화가 되고 있다.
세 번째는 사운드 헬스케어로도 확장될 수 있다.
엔터 미디어 산업에 적용되는 것을 뛰어넘어 사운드 헬스케어로도 확장될 수 있는 것이다.
소리를 통한 메타버스 힐링 플랫폼을 구현할 수 있다.
Case of use
메타버스 오디오 활용사례
해외 기술 사례-게더타운
출처: 게더타운 공식 홈페이지 캡쳐
대표적 활용사례로는 메타버스 가상사무실인 ‘게더타운’이 있다.
게더타운은 ‘ZOOM’ 등 화상회의에 따른 피로도를 해결하기 위한 플랫폼이다.
게더타운에서는 현실과 같은 사무실의 소통을 구현하기 위해서 공간 오디오 기술을 활용한다.
게더타운은 화상회의에서 오는 피로와 불안은 공간에서 오는 현실감각과의 괴리감에서 생기는 것으로 판단하여 화상회의가 현실의 사회적 상호작용을 모방하여 공간 기술이 적용되고 있다.
아바타끼리 거리가 가까워지면 목소리가 커지고, 멀어지면 소리가 작아지는 기술로 사용자들이 실제 만나서 대화를 나누는 듯한 현실감을 느끼게 해주었다.
게더타운은 마치 게임을 하는 듯한 아날로그 감성과 현실의 상호작용을 최대한 구현해 낸 공간 오디오 기능을 기반으로 서비스를 확대해 나가고 있다.
더샌드박스
출처: 더샌드박스 공식 홈페이지 캡쳐
메타버스 게임 플랫폼 ‘더샌드박스’는 메타버스 가상공간에 음악 테마파크, 콘서트장을 구축하여 서비스하고 있다.
세계적인 음반사와 메타버스 플랫폼이 새로운 사용자 경험을 이끌기 위해서 메타버스 음악 콘서트를 개최하고 있고 유저는 이어폰, 헤드폰으로 콘서트장에 있는 듯한 현장감을 경험할 수 있다.
국내 기술 사례-언택트 콘서트
국내에서는 ‘드림콘서트’라는 국내 최대 콘서트 행사에서 콘서트를 유튜브로 생중계하였으며, 3D 오디오가 실시간 구현되어서 팬들의 큰 호응을 일으켰다.
온라인을 결합한 글로벌 컨퍼런스 행사에도 적용되어 행사하고 있는 현장의 생생함을 소리만으로도 전해줄 수 있었다.
Outro
메타버스 오디오의 미래
최근 골드만삭스의 보고서에 의하면 전체 오디오 플랫폼 콘텐츠 서비스 시장이 2019년 26조 원에서 2030년 90조 원으로 크게 성장할 것으로 전망하고 있다.
음원 플랫폼, 오디오북 플랫폼, 인터넷 라디오 방송 플랫폼, 힐링 오디오 플랫폼 등이 크게 성장하고 현실감을 극대화하고 몰입감을 높일 수 있는
메타버스 3차원 공간 오디오기술이 핵심 역할을 하고 사용자 경험을 견인할 것으로 기대된다.
메타버스 오디오의 미래는 현실감 있는 공간 위치와 거리감을 구현하는 것을 뛰어넘어서 가상오디오를 통해 업무와 공부에 집중력을 높이는 브레인비트 사운드가 적용될 수 있으며,
잠자는 시간 동안 잠을 깊이 잘 수 있도록 편안함과 안락함을 제공하는 사운드 헬스케어 기능이 구현될 수 있다.
예를 들면 우리는 잠자기 전 빗소리를 듣기위해 유튜브를 시청한다.
하지만 현실에서 편안함을 느끼는 빗소리는 모든 방향이 아닌 내 머리 뒤쪽 창가에서 들리는 소리다.
나아가서 사용자의 아바타가 메타버스 세계에서 돌아다니거나 경제활동을 할 때 사용자의 머리 움직임을 반영할 수 있는 헤드트레킹 사운드를 통해 진정한 핸즈프리를 할 수 있으며,
단순하게 소리만 전달하는 것이 아닌 현실세계의 ‘나’와 가상세계의 ‘나’가 상호 작용을 할 수 있다.
메타버스 아바타는 3차원 공간 속의 소리 방향과 거리감 그리고 고품질 오디오 음질을 느낄 수 있으며 그것을 현실세계에 있는 ‘나’와 연결한다.
앞으로 3차원 공간 오디오를 구현하는 것을 뛰어넘어 학습과 업무 효율을 높이고 밤에는 ‘꿀잠’을 잘 수 있도록 도와주는 것까지 가능할 것이다.
메타버스의 미래는 개인의 뇌파에 동조화된 초개인화 사운드 헬스케어를 구현하는 시기가 다가올 것으로 예상된다.