KR102610825B1 - 사운드 병행 출력을 통한 위치 추적이 가능한 텐저블 사운드 오브젝트 시스템 - Google Patents

Abstract

본 실시예들은 위치 추적이 가능한 트래커와 음향 기기를 결합시켜 소리와 위치를 동기화시키며, 소리가 나는 물건 자체에서 소리가 발생하므로 사용자는 정확하게 사운드로서의 대상을 인식할 수 있고, 가상현실 구현 프로세스 상에서 직접 만져볼 수 있는 오브젝트에 사운드를 결합하여 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소할 수 있는 텐저블 사운드 출력 시스템을 제공한다.

Description

사운드 병행 출력을 통한 위치 추적이 가능한 텐저블 사운드 오브젝트 시스템 {TANGIBLE SOUND OBJECT SYSTEM THAT CAN TRACK OBJECT POSITION THROUGH SOUND PARALLEL OUTPUT}

본 발명이 속하는 기술 분야는 위치 추적이 가능한 텐저블 사운드 오브젝트를 통해 거리감을 확보하는 사운드 출력 시스템 및 방법에 관한 것이다.

특허문헌1 및 특허문헌2는 멀티 채널 서라운드 사운드와 골전도 이어폰을 이용하여 음장감을 확대시키는 사운드 시스템이다. 멀티 채널 서라운드 사운드와 골전도 이어폰의 단점을 보완하여 몰입감 있는 현장감을 사용자에게 제공한다.

특허문헌1 및 특허문헌2는 사용자의 내부와 외부(외부 스피커 선상)에 소리를 위치시키는 것이 가능하지만 두 소리 공간 사이의 채워지지 않는 공간이 여전히 존재한다. 골전도 헤드폰과 서라운드 시스템의 동기화를 통하여 소리의 방향성은 알려줄 수 있지만 거리감에서는 부족한 부분이 존재하게 된다. VR(Virtual Reality) 화면의 스크린 장치로 시각 측면을 보완할 수 있지만 소리 측면에서는 여전히 이질감이 생긴다.

한국공개특허공보 제10-2021-0130486호 (2021.11.01) 한국공개특허공보 제10-2021-0133601호 (2021.11.08)

본 발명의 실시예들은 위치 추적이 가능한 트래커와 사운드 시스템을 결합시켜 소리와 위치를 동기화시키는 텐저블 사운드 시스템에 관한 것으로 소리가 나는 물건 자체에서 소리가 발생하므로 사용자는 정확하게 사운드로서의 대상을 인식할 수 있고, 가상현실 구현 프로세스 상에서 직접 만져볼 수 있는 오브젝트에 스피커를 결합하여 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소하는데 주된 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

본 실시예의 일 측면에 의하면 텐저블 사운드 출력 시스템에 의한 텐저블 사운드 출력 방법에 있어서, 디스플레이 장치를 통해 콘텐츠를 제공하는 단계; 상기 디스플레이 장치와 별도로 착용 가능한 제1 출력 기기를 통해 제1 소리 공간을 형성하는 단계; 상기 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기를 통해 소리 공백 영역을 갖는 제2 소리 공간을 형성하는 단계; 상기 제2 소리 공간의 소리 공백 영역보다 상기 제1 소리 공간의 크기가 작아서 커버되지 않는 제3 소리 공간을 형성하는 단계; 상기 제1 출력 기기를 통해 상기 제1 소리 공간에 제1 사운드를 출력하는 단계; 상기 제2 출력 기기를 통해 상기 제2 소리 공간에 제2 사운드를 출력하는 단계; 상기 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러에 결합된 제3 출력 기기를 통해 제3 사운드를 출력하는 단계를 포함하는 텐저블 사운드 출력 방법을 제공한다.

상기 제3 사운드를 출력하는 단계는, 상기 콘텐츠에 포함된 복수의 오브젝트 중에서 상기 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 상기 제3 출력 기기에서 상기 제3 사운드를 출력할 수 있다.

상기 제3 사운드를 출력하는 단계는, 상기 컨트롤러에 의해 상기 일부 오브젝트의 위치를 추적하여 상기 일부 오브젝트의 시각적 움직임에 동기화된 상기 제3 사운드를 추적하는 시간 동안 출력할 수 있다.

상기 콘텐츠를 제공하는 단계는 상기 디스플레이 장치를 통해 상기 일부 오브젝트를 상기 제3 소리 공간에 매칭하는 위치에 출력하고, 상기 제 2 사운드를 출력하는 단계는 상기 일부 오프젝트가 상기 컨트롤러에 의해 인터랙션하기 전까지는 상기 제3 소리 공간에 상기 제3 사운드를 출력하지 않고 상기 제2 소리 공간에 상기 제2 사운드를 출력할 수 있다.

상기 제3 사운드를 출력하는 단계는, 상기 제3 출력 기기를 통해 상기 제1 소리 공간 및 상기 제2 소리 공간의 상기 소리 공백 영역 간의 경계에서 상기 제3 사운드를 출력하거나, 상기 제3 출력 기기를 통해 상기 제2 소리 공간의 상기 소리 공백 영역의 바깥 경계에서 상기 제3 사운드를 출력하거나, 상기 제3 출력 기기를 통해 상기 제3 소리 공간에 제3 사운드를 출력할 수 있다.

상기 제3 사운드를 출력하는 단계는 상기 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 상기 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 상기 제3 소리 공간을 시각적 위치 정보로 변환하여 상기 디스플레이 장치에 제공할 수 있다.

상기 콘텐츠를 제공하는 단계는 상기 일부 오브젝트의 위치 추적 과정에서 상기 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 상기 테스트 결과를 피드백하여 보정할 수 있다.

본 실시예의 다른 측면에 의하면 텐저블 사운드 출력 시스템에 있어서, 콘텐츠를 제공하는 디스플레이 장치; 상기 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러; 상기 디스플레이 장치와 별도로 착용 가능한 형태의 제1 출력 기기; 상기 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기; 상기 컨트롤러에 결합된 제3 출력 기기; 상기 제1 출력 기기를 통해 제1 사운드가 제1 소리 공간에 출력하도록 상기 제1 사운드를 신호 처리하는 제1 사운드 제어부; 상기 제2 출력 기기를 통해 제2 사운드가 제2 소리 공간에 출력하도록 상기 제2 사운드를 신호 처리하는 제2 사운드 제어부; 상기 제3 출력 기기를 통해 제3 사운드가 제3 소리 공간에 출력하도록 상기 제3 사운드를 신호 처리하는 제3 사운드 제어부를 포함하는 텐저블 사운드 출력 시스템을 제공한다.

상기 제1 출력 기기는 골전도 이어폰 형태로 구현되고, 상기 제2 출력 기기는 복수의 음향 채널을 갖는 서라운드 스피커 형태로 구현되고, 상기 제3 출력 기기는 상기 컨트롤러에 부착되고 상기 제3 사운드 제어부는 상기 컨트롤러에 부착될 수 있다.

상기 제3 사운드 제어부는 상기 콘텐츠에 포함된 복수의 오브젝트 중에서 상기 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 상기 제3 출력 기기에서 상기 제3 사운드를 출력하도록 상기 제3 사운드를 신호 처리할 수 있다.

상기 제3 사운드 제어부는 상기 컨트롤러에 의해 상기 일부 오브젝트의 위치를 추적하여 상기 일부 오브젝트의 시각적 움직임에 동기화된 상기 제3 사운드를 추적하는 시간 동안 출력하도록 상기 제3 사운드를 신호 처리할 수 있다.

상기 디스플레이 장치는 상기 일부 오브젝트를 상기 제3 소리 공간에 매칭하는 위치에 출력하고, 상기 일부 오프젝트가 상기 컨트롤러에 의해 인터랙션하기 전까지는 상기 제3 출력 기기는 상기 제3 소리 공간에 상기 제3 사운드를 출력하지 않고 상기 제2 출력 기기는 상기 제2 소리 공간에 상기 제2 사운드를 출력할 수 있다.

상기 제3 출력 기기는, 상기 제1 소리 공간 및 상기 제2 소리 공간의 상기 소리 공백 영역 간의 경계에서 상기 제3 사운드를 출력하거나, 상기 제2 소리 공간의 상기 소리 공백 영역의 바깥 경계에서 상기 제3 사운드를 출력하거나, 상기 제3 소리 공간에 제3 사운드를 출력할 수 있다.

상기 제1 사운드 제어부 또는 상기 제3 사운드 제어부는 상기 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 상기 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 상기 제3 소리 공간을 시각적 위치 정보로 변환하여 상기 디스플레이 장치에 제공할 수 있다.

상기 디스플레이 장치는 상기 일부 오브젝트의 위치 추적 과정에서 상기 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 상기 테스트 결과를 피드백하여 보정할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 가상현실 구현 프로세스 상에서 직접 만져볼 수 있는 오브젝트에 스피커를 결합하여 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소할 뿐만 아니라 계속적으로 트래커(컨트롤러)를 통해 오브젝트의 위치가 추적되므로 오브젝트에 자체 소리를 동기화시킬 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 골전도 이어폰-서라운드 스피커 간의 정보 단절을 통한 전시 효과를 예시한 도면이다.
도 2는 골전도 이어폰-서라운드 스피커 간의 상보적 출력을 연출 효과를 예시한 도면이다.
도 3은 위치 추적이 가능한 텐저블 사운드가 적용된 사운드 시스템을 예시한 도면이다.
도 4는 위치 추적이 가능한 텐저블 사운드가 적용된 소리 공간을 예시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 사운드 제어 장치를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제1 출력 기기를 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제2 출력 기기를 예시한 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제3 출력 기기를 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 사용자가 오브젝트를 이동시키는 동작을 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 오브젝트를 이동하는 소리 공간을 예시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 가상현실로 구현한 화면을 예시한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 텐저블 사운드 출력 방법을 예시한 흐름도이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.

도 1은 골전도 이어폰-서라운드 스피커 간의 정보 단절을 통한 전시 효과를 예시한 도면이다.

사운드 제어 장치를 포함하는 사운드 출력 시스템이 제공하는 콘텐츠는 제한적인 사람이 참여하는 콘텐츠로서, 콘텐츠를 이용하는 사용자와 사용자를 보는 사람에 의해 구현될 수 있다. 사용자를 보는 사람은 사운드 제어 장치를 포함하는 사운드 출력 시스템을 사용하기 위해 대기하는 사람이다.

사용자는 제1 출력 기기(골전도 이어폰) 및 제2 출력 기기(서라운드 스피커)에서 출력되는 사운드를 모두 들을 수 있으며, 대기하는 사람은 제2 출력 기기에서 출력되는 사운드만 들을 수 있다. 이에 따라 제1 영역에서는 소리가 새는 환경에서의 플레이어의 보안성을 높이고, 제2 영역에서는 대기하는 사람이 집중할 수 있도록 할 수 있다.

제1 영역은 사운드 제어 장치를 포함하는 사운드 출력 시스템을 통해 콘텐츠를 이용하는 사용자만 들을 수 있는 영역을 나타낸다. 제2 영역은 사운드 제어 장치를 포함하는 사운드 출력 시스템을 사용하는 사용자뿐만 아니라 사용자를 구경하는 사람도 들을 수 있는 영역을 나타낸다.

제1 영역은 제1 출력 기기에 의해 출력되는 제1 사운드가 들리는 골전도 영역으로 구현될 수 있으며, 제2 영역은 제2 출력 기기에 의해 출력되는 제2 사운드가 들리는 서라운드 영역으로 구현될 수 있다.

제1 영역은 직접적인 사용자(체험자)만 정보를 들을 수 있으므로 정보를 선택적으로 출력할 수 있으며, 제2 영역은 체험자를 포함하여 체험자를 바라보는 대기하는 사람(대기자)까지 들을 수 있는 영역이다.

제1 영역은 정보의 보안이 중요한 내용으로 대기자가 내용을 미리 알게되면 안되는 부분, 나레이션, 효과음 등이 출력되며, 제2 영역은 전체적인 분위기를 전달하여 대기 인원에게 궁금증을 자아내는 배경음, 배경 음악, 기본적인 전제가 되는 대사 등을 출력할 수 있다.

사용자는 상용적인 음악산업과 영화 산업에서 사용하는 서라운드 채널을 제약없이 청취할 수 있다.

기존의 개발 방식 범주에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다.

VR을 체험하는 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 사운드 제어 장치는 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.

도 2는 골전도 이어폰-서라운드 스피커 간의 상보적 출력을 연출 효과를 예시한 도면이다.

양질의 사운드를 사용자에게 제공하기 위해 골전도 이어폰과 서라운드 스피커의 출력을 상보적으로 사용하여 사운드를 연출할 수 있다.

소리가 외부에서 내부로 전달되는 경우 제2 출력 기기를 통해 먼거리에서 출발한 소리는 근접하지만 제2 출력 기기의 한계로 인해 음원의 표현 한계인 서라운드 영역에서 멈출 수 있으며, 외부에서 내부로 전달되는 소리를 지속적으로 전달시키기 위해서 제1 출력 기기를 사용하여 동일하게 연속적인 소리를 골전도 영역에서 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다.

이동하는 소리를 제1 출력 영역 및 제2 출력 영역으로 나누어 출력할 수 있다. 소리의 이동 경로는 외재적 사운드에서 내재적 사운드 또는 장거리 소리 표현에서 근거리 소리 표현으로 이동할 수 있다. 사운드 출력 시스템은 저음 재생을 일정하게 유지할 수 있으며 두 유형의 출력에서 나누어 소리가 재생되지만 동일한 저음을 통해 사용자가 하나의 사운드로 두 소리를 인식시켜 주는데 도움을 줄 수 있다.

골전도 이어폰의 특성상 저음 표현이 효과적이지 않고 피부의 진동으로 변할 수 있다. 사운드 제어 장치는 90hz 이하의 음역대를 골전도 이어폰에서 삭제시켜 재생하게 하므로 사용 시 불편한 진동을 제거할 수 있다.

사운드 출력 시스템은 제1 출력 기기 및 제2 출력 기기의 병용으로 방향감을 향상시키고, 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.

제1 출력 기기(골전도 이어폰) 및 제2 출력 기기(서라운드 스피커)를 동기화하더라도 소리 측면의 거리감에서 부족한 부분이 존재하게 된다.

골전도 이어폰과 서라운드 스피커를 병용하여 사용한다 하더라도 사운드의 질적인 부분에서 어떠한 물건을 들고 이동할 때 해당 물체에 대한 세밀한 소리를 처리하기란 쉽지 않은 문제가 있다.

본 실시예에 따른 텐저블 사운드 출력 시스템은 위치 추적이 가능한 사운드 출력 모듈을 직접 배치하여 가상 환경에서 기존의 한계를 극복한 거리감을 제공하고자 한다.

도 3은 위치 추적이 가능한 텐저블 사운드가 적용된 사운드 시스템을 예시한 도면이고, 도 4는 위치 추적이 가능한 텐저블 사운드가 적용된 소리 공간을 예시한 도면이다.

소리에 대한 감각은 소리가 나는 그 곳에 대상 물체가 존재한다는 경험에 기반하여 작동한다. 물체에서 어떤 사건이 일어난다면 그에 따른 진동이 생기게 되고 공기 입자를 통해 발생한 파동에너지가 우리의 양쪽 귀에 전달되어 소리로 인식되기 때문이다.

텐저블 사운드 출력 시스템은 사용자에게 위치 추적뿐만 아니라 개별적으로 소리 출력이 가능한 클라이언트를 제공하여 사운드를 재생하는 방식을 통해 다양한 연출적인 요소를 만들 수 있다. 추적되는 오브젝트에 스피커를 결합시켜 만질 수 있는 오브젝트의 영역에서 직접 사운드 재생을 가능하게 하고 몰입감을 개선할 수 있다.

도 5 및 도 6은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템을 예시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 사운드 제어 장치를 예시한 도면이다.

텐저블 사운드 출력 시스템은 골전도 이어폰-서라운드 스피커-트래킹 스피커 간에 동기화 프로토콜을 사용하여 음향 출력 기기에 맞는 사운드를 재생할지 결정하고, 소리나는 대상은 더이상 사용자의 외부에서 존재하는 것이 아니라 게임엔진에서 오브젝트의 위치를 검색하여 사용할 수 있기 때문에 상호 반응적인 사운드 오브젝트로서 활용할 용도가 증가하게 된다.

공백이 존재하는 소리 공간을 보완한 연출이 가능하며 촉각적인 반응과 함께 실시간 사운드 오브젝트가 사운드 표현 공간 안에 들어와 더욱더 몰입감 있는 사운드를 연출할 수 있다.

사운드 제어 장치(20)를 포함하는 텐저블 사운드 출력 시스템(10)은 콘텐츠 구동 장치(100), 센서부(200), 메인 제어부(300), 제2 사운드 제어부(400), 제3 사운드 제어부, 및 음향 출력 장치(500)를 포함한다. 사운드 제어 장치(20)를 포함하는 텐저블 사운드 출력 시스템(10)은 머리 착용 디스플레이(Head Mounted Display, HMD)(110), 컨트롤러(120), 센서부(200), 제1 출력 기기(510), 제2 출력 기기(520), 제3 출력 기기(530), 메인 제어부(300) 제2 사운드 제어부(400), 제3 사운드 제어부(600)를 포함한다. 텐저블 사운드 출력 시스템(10)은 도 6에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

HMD(110), 컨트롤러(120) 및 제1 출력 기기(510)는 콘텐츠를 사용하는 사용자가 착용하고 있는 것으로 콘텐츠 사용 전 세팅된 공간 내에서 이용할 수 있다. 구체적으로, 사용자는 센서부(200), 제2 출력 기기(520), 제2 사운드 제어부(400) 및 메인 제어부(300)가 위치하는 공간 내에서 콘텐츠를 이용할 수 있으며, 공간을 벗어나는 경우 콘텐츠를 이용할 수 없다.

사운드 제어 장치(20)는 메인 제어부(300) 및 제2 사운드 제어부(400)를 포함할 수 있으며, 메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)로 구현될 수 있다. 사운드 제어 장치(20)는 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

제1 출력 기기(510)는 골전도 이어폰으로 구현될 수 있으며, 반드시 이에 한정되는 것은 아니며 사용자의 귀가 개방되어서 사운드가 내이에 바로 전달될 수 있는 장치로 구현될 수 있다.

골전도 이어폰은 귓바퀴 뒤의 뼈의 진동을 전달하여 고막에 진동을 전달하는 방식으로 소리를 전달하며 귀 주변 연골에 부착하는 형식이기에 이어폰을 통해서 듣는 소리뿐 아니라 외부의 소리도 동시에 들을 수 있는 청취 환경을 가능하게 한다.

제2 출력 기기(520)는 콘텐츠를 사용하는 사용자의 앞, 뒤, 좌, 우에 배치하여 음향의 입체 효과를 높여주기 위해 사용될 수 있으며, 서라운드 스피커로 구현될 수 있으며 반드시 이에 한정되는 것은 아니다.

콘텐츠 구동 장치(100)는 HMD(110) 및 컨트롤러(120)를 포함한다.

HMD(110)는 사용자의 머리에 고정되어 사용자의 시야를 기반으로 콘텐츠가 구현될 수 있다. 머리에 착용되는 디스플레이로 안경처럼 착용하여 영상을 즐길 수 있는 장치로서 콘텐츠가 구현될 수 있다.

컨트롤러(120)는 사용자의 손에 구비되어 사용자의 손의 움직임에 따라 콘텐츠를 제어할 수 있다. 여기서, 컨트롤러(120)는 사용자가 손에 들고 있는 것으로 구현되었으나 반드시 이에 한정되는 것은 아니며 사용자가 손에 착용하나 부착되어 구현될 수 있다. 컨트롤러(120)는 트래킹 기능을 제공하는 일종의 트래커라고 볼 수 있다. 컨트롤러(120)는 HMD(110)를 통해 구현된 콘텐츠를 이용하기 위한 조종기로서, 게임의 장르에 따라 패드, 조이스틱, 건, 핸들 등으로 구현되어 사용될 수 있다.

센서부(200)는 콘텐츠가 사용되는 방향, 위치 및 좌표를 인식하고, 인식된 범위 내에서 HMD(110) 또는 컨트롤러(120)를 통해 사용자의 움직임에 따른 모션을 감지할 수 있다. 센서부(200)는 복수의 위치 측정 센서, 모션 센서 등으로 구현될 수 있다. 구체적으로, 복수의 위치 측정 센서, 모션 센서 등을 통해 콘텐츠가 구현되는 범위를 설정할 수 있다.

센서부(200)는 4개의 위치 측정 센서가 구비되며, 4개의 위치 측정 센서가 서로 연결되는 범위 내에서 콘텐츠가 구현될 수 있다. 여기서, 콘텐츠의 구현을 위한 범위 설정은 4개의 위치 측정 센서가 구비되어 설정되는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 2개 이상의 위치 측정 센서를 통해 사용자의 위치를 감지할 수 있으며, 컨트롤러(120)를 통해 콘텐츠가 구현되는 범위를 설정하는 것으로 구현될 수 있다.

사운드 제어 장치(20)는 적어도 하나의 출력 기기를 포함하는 음향 출력 장치(500)와 연동될 수 있다. 음향 출력 장치(500)는 제1 출력 기기(510), 제2 출력 기기(520), 제3 출력 기기(530)를 포함할 수 있다.

메인 제어부(300)는 콘텐츠를 생성하고, 콘텐츠 별로 동기화 데이터를 생성하여 사용자의 모션 및 오브젝트의 위치/형상에 따라 다양한 사운드를 제어할 수 있다. 메인 제어부(300)는 콘텐츠 내의 장소를 고려하여 생성된 사운드를 사운드 기기에 전달할 수 있다.

메인 제어부(300)는 콘텐츠 제어부(310) 및 제1 사운드 제어부(320)를 포함한다.

콘텐츠 제어부(310)는 사용자의 모션을 감지하여 콘텐츠에 적용하고, 적용된 콘텐츠를 사용자에게 제공할 수 있다.

제1 사운드 제어부(320)는 제2 사운드 제어부(400) 및 제3 사운드 제어부(600)에 동기화 데이터를 각각 전송하고, 동기화 데이터를 기반으로 제1 출력 기기(510)에 제1 사운드를 전달할 수 있다.

제1 사운드 제어부(320)는 프로세스 모듈(322), 3D 엔진 모듈(324), 제1 통신 모듈(326) 및 제1 사운드 출력 처리 모듈(328)을 포함한다.

프로세스 모듈(322)은 콘텐츠에 따라 사운드 엔지니어가 설정한 사운드가 등록될 수 있다.

3D 엔진 모듈(324)은 등록된 사운드를 콘텐츠에 적용하여 사용자의 움직임에 따른 콘텐츠 내 장소 별 사운드를 포함하는 동기화 데이터를 생성할 수 있다.

제1 통신 모듈(326)은 생성된 동기화 데이터를 제2 사운드 제어부(400) 및 제3 사운드 제어부(600)에 전송할 수 있다. 동기화 데이터는 사용자가 움직이는 방향, 위치 및 좌표에 따른 사용자의 모션을 기반으로 콘텐츠 내에서 변화하는 복수의 장소를 포함할 수 있으며, 복수의 장소 별 씬 번호, 배경음, 효과음을 포함할 수 있다.

제1 사운드 출력 처리 모듈(328)은 동기화 데이터를 기반으로 콘텐츠 내 장소 및 사용자의 움직임에 따라 생성된 제1 사운드를 제1 출력 기기(510)에 전달할 수 있다.

제2 사운드 제어부(400)는 메인 제어부(300)에서 동기화 데이터를 전달 받으며, 동기화 데이터 및 기 저장된 사운드를 기반으로 제2 사운드를 제어할 수 있다.

제2 사운드 제어부(400)는 제2 통신 모듈(410), 제2 사운드 전송 모듈(420), 제2 사운드 처리 모듈(430) 및 제2 사운드 출력 처리 모듈(440)을 포함한다.

제2 통신 모듈(410)은 제1 통신 모듈(326)에서 동기화 데이터를 전달받을 수 있다.

제2 사운드 전송 모듈(420)은 동기화 데이터 및 기 저장된 사운드를 장소 별로 구분하여 전송할 수 있다.

제2 사운드 처리 모듈(430)은 전송된 동기화 데이터 및 기 저장된 사운드를 기반으로 장소 별로 환경음과 효과음을 적용하여 처리할 수 있다.

제2 사운드 출력 처리 모듈(440)은 장소 별로 처리된 환경음 및 효과음과 사용자의 움직임에 따라 생성된 제2 사운드를 제2 출력 기기(520)에 전달할 수 있다.

음향 출력 장치(500)는 콘텐츠의 사운드를 사용자에게 제공하기 위해 적어도 하나의 출력 기기를 포함할 수 있다.

음향 출력 장치(500)는 골전도 이어폰으로 구현되는 제1 출력 기기(510) 및 서라운드 스피커로 구현되는 제2 출력 기기(520)를 포함한다.

사운드 제어 장치(20)는 제1 출력 기기(510)에 의해 제1 사운드가 출력되는 영역과 제2 출력 기기(520)에 의해 제2 사운드가 출력되는 영역이 중복되지 않으며, 사용자의 위치 별로 제1 사운드 및 제2 사운드 간의 거리감이 구현되어 연속적인 제1 사운드 및 제2 사운드를 하나의 사운드로 인식되도록 구현될 수 있다.

제1 출력 기기(510)는 콘텐츠의 효과음, 나레이션, 보완 내용을 적어도 하나 포함하는 제1 사운드를 출력할 수 있다.

제2 출력 기기(520)는 콘텐츠의 배경음, 대사를 적어도 하는 포함하는 제2 사운드를 출력할 수 있다.

메인 제어부(300)는 제1 사운드 출력 처리 모듈(328)을 통해 제1 출력 기기(510)로 제1 사운드를 제공할 수 있으며, 제2 사운드 제어부(400)는 제2 사운드 출력 처리 모듈(440)을 통해 제2 출력 기기(520)로 제2 사운드를 제공할 수 있다

사운드 제어 장치(20)을 포함하는 텐저블 사운드 출력 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 별개의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한, 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 제2 사운드 제어부(400)를 통해 사운드를 출력할 수 있도록 제작하여 동시에 작업이 가능할 수 있다. 제2 사운드 제어부(400)는 제2 출력 기기(520)로 사운드를 출력하고, 메인 제어부(300)는 제1 출력 기기(510)로 사운드를 출력할 수 있다. 구체적으로, 제1 출력 기기(510)는 골전도 이어폰으로 구현되며, 제2 출력 기기(520)는 서라운드 스피커로 구현될 수 있다.

메인 제어부(300)의 제1 사운드 제어부(320)는 제1 통신 모듈(326)을 포함하고, 제2 사운드 제어부(400)는 제2 통신 모듈(410)을 포함하고, 제3 사운드 제어부(600)는 제3 통신 모듈(610)을 포함한다. 한가지 음원에 대한 부분을 세 가지의 음향 출력 장치(500)가 출력해야 하므로 메인 제어부(300)의 내부적으로는 제1 출력 기기(510)에 기본적인 사운드를 보내는 동시에 제2 사운드 제어부(400) 및 제3 사운드 제어부(600)에 동기화 데이터를 전송할 수 있다.

제1 통신 모듈(326), 제2 통신 모듈(410), 제3 통신 모듈(610)은 공간을 기준으로 한 통신 프로토콜을 나타내는 동기화 데이터로 나뉘게 된다. 동기화 데이터는 장소 태그, 씬 번호, 배경음, 배경 음악, 효과음 등을 포함하며, 제1 통신 모듈(326)에서 제2 통신 모듈(410)로 전송할 수 있다. 구체적으로, 장소 태그는 장소 1, 장소 2, 장소 3 등으로 표현될 수 있으며, 효과음은 효과음1, 효과음2 등으로 표현되거나 발걸음과 같은 실제명으로 표현될 수 있으며, 반드시 이에 한정되는 것은 아니다.

제2 통신 모듈(410)은 동기화 데이터가 수신되면, 장소 태그에 따라 각 소리 효과를 결정하고, 배경음, 배경 음악을 재생하고, 효과음이 들어오면 장소 태그에 맞는 공간 효과를 거치게 된다. 이를 통해 제2 사운드 제어부(400)는 공간의 소리를 정의하는 방식으로 표현될 수 있다.

메인 제어부(300)는 모든 사운드의 명령을 제어하고 관리할 수 있다. 예를들어, 메인 제어부(300)는 제1 출력 기기(510)의 소리가 필요하면 자체적으로 출력하며 제2 출력 기기(520)의 소리가 필요한 경우 제2 사운드 제어부(400)에 메시지를 전송하여 사운드를 동기화할 수 있다.

사운드 제어 장치(20)을 포함하는 텐저블 사운드 출력 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리 트리거의 명령을 받는다 하더라도 해당 소리의 장소가 연결되기 때문에 제2 사운드 제어부(400)에서 제작해놓은 공간 효과를 실시간으로 만들어주며, 메인 제어부(300)의 제1 사운드 제어부(320)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발 환경 및 소리의 질적인 영향은 메인 제어부(300)에서 결정지을 수 없고 제2 사운드 제어부(400)에 종속될 수 있다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 사운드 엔지니어가 사용하는 상용 사운드 엔진이 입력 가능한 메인 제어부(300)와 종속되지 않은 별개의 프로그램의 제2 사운드 제어부(400)를 개발하여 두 프로그램이 사운드 처리에 관한 데이터를 자유롭게 사용할 수 있다. 또한 기존의 헤드폰에서 재생되던 메인 제어부(300)의 사운드 출력 또한 재생할 수 있도록 제작하여 동시에 작업이 가능할 수 있다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 메인 제어부(300)와 사제2 사운드 제어부(400)가 서로 통신 모듈을 가지고 있으며, 한가지 음원에 대한 부분을 두 가지의 사운드 시스템이 출력해야 하므로 메인 제어부(300)에서 내부적으로는 골전도 이어폰에 기본적인 사운드 시스템을 보내는 동시에 제2 사운드 제어부(400)에 동기화 데이터를 전송할 수 있으며, 공간을 기준으로 한 통신 프로토콜로 나뉠 수 있다.

메인 제어부(300)는 장소를 기반으로 씬이 나뉘는 특징을 가지고 있으며, 사운드 엔지니어도 소리를 결정하는 가장 기본적인 기능은 공간을 기준으로 한다. 사운드의 병행 출력을 통한 사운드 시스템(10)은 이 둘의 공통점을 소프트웨어에 적용한 것으로, 공간적 특징을 콘텐츠에 적용할 때의 사운드의 질적인 결정을 프로그래머가 아니라 사운드 엔지니어가 전부 정해 주고 그것에 대한 적용시점의 절차만을 프로그래머가 등록하는 것에 있다.

메인 제어부(300)는 기본적으로 비주얼을 관리하고, 모든 사운드의 명령을 제어하고 관리할 수 있다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 골전도의 소리가 필요하면 자체적으로 출력하며 서라운드 채널이 필요할 때 제2 사운드 제어부(400)에 동기화 데이터를 전송하여 사운드를 동기화한다.

사운드의 병행 출력을 통한 사운드 시스템(10)은 제2 사운드 제어부(400)에서 구분해놓은 장소 별 사운드 효과의 채널을 만들어 단순한 소리트리거의 명령을 받는다 하더라도 해당소리의 장소가 연결되기 때문에 사운드 엔진에서 제작해놓은 공간효과를 실시간으로 만들어주며 메인 제어부(300)의 작업과 완전히 분할되어 작동하기 때문에 독립적인 개발환경 및 소리의 질적인 요소는 메인 제어부(300)에서 결정지을 수 없고 사운드 서버에 종속된다.

제3 사운드 제어부(600)는 제3 통신 모듈(610), 제3 사운드 전송 모듈(620), 제3 사운드 처리 모듈(630), 제3 사운드 출력 처리 모듈(640)을 포함한다.

제3 통신 모듈(610)은 제1 통신 모듈(326)에서 동기화 데이터를 전달받을 수 있다.

제3 사운드 전송 모듈(620)은 동기화 데이터 및 오브젝트에 관한 사운드를 구분하여 전송할 수 있다.

제3 사운드 처리 모듈(630)은 전송된 동기화 데이터 및 오브젝트에 관한 사운드를 기반으로 오브젝트 상황음 및 오브젝트 이벤트음을 적용하여 처리할 수 있다.

제3 사운드 출력 처리 모듈(640)은 오브젝트 상황음 및 오브젝트 이벤트음과 사용자의 움직임에 따라 생성된 제3 사운드를 제3 출력 기기(530)에 전달할 수 있다.

도 8은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제1 출력 기기를 예시한 도면이다. 도 8의 (a)는 통상적인 HMD(110)에서의 사운드 장치의 사용을 나타내는 도면이며, 도 8의 (b)는 골전도 이어폰의 사용을 나타내는 도면이다.

기존의 사운드 장치(502)는 귓구멍을 통해 고정되는 이어폰일 수 있으며, 착용 시 외부 소리를 들을 수 없어 집중도를 향상시킬 수 있지만 사운드 장치(502)를 통해 출력되는 사운드 밖에 들을 수 없는 문제가 있다.

이에 따라, 사운드 제어 장치(20)은 골전도 이어폰을 사용함에 따라 개방된 귀를 통해 추가적인 사운드를 사용할 수 있는 통로를 만들 수 있다. 골전도 이어폰은 두개골의 뼈들을 통하여 소리가 속귀(내이)로 전도되는 것으로, 골전도를 통해 소리를 전달한다.

도 9는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제2 출력 기기를 예시한 도면이다.

사운드 제어 장치(20)는 4.4 채널의 구조뿐만 아니라 영화산업에서 사용하는 5.1, 7.1.4, 10.2 등 다양한 방식으로 확장하여 사용될 수 있다.

사운드 제어 장치(20)는 기존의 개발 방식 안에서 사운드 엔지니어가 제작을 진행해 나갈 수 있으며 일반적인 헤드폰이 지니는 저역 재생의 한계와 실감 있는 음악, 머리 위에서 음상이 맺히는 단점을 해소할 수 있다. VR을 체험하는 또 다른 관객들에게 선택적인 정보를 제공하여 연출적인 요소로 사용할 수 있다. 사운드 제어 장치(20)는 골전도 이어폰을 사용함에 따라 콘텐츠를 이용하는 사용자에게만 들리는 효과를 제공할 수 있다.

제2 출력 기기(520)는 복수의 서라운드 스피커(520a, 520b, 520c, 520d) 및 복수의 서브 우퍼(522a, 522b, 522c, 522d)를 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다.

일반적으로 영화에서 쓰이는 서라운드 사운드는 복수의 서라운드 스피커(520a, 520b, 520c, 520d)와 복수의 서브 우퍼(522a, 522b, 522c, 522d)의 조합을 통해 일반적인 스피커에서 표현할 수 없는 저역을 표현하고 일반 스피커로는 중고역을 재생하여 서로의 단점을 보완할 수 있다. 하지만 스피커에서 나오는 볼륨을 조정하여 작은 소리가 멀리 있거나 큰소리는 가까이 있다는 가정 하에 사운드 음원을 재생하지만 음원의 방향성을 만드는데 유리한 측면이 있으나 원형의 사용자를 중심으로 거리감을 완벽하게 구현하는 것은 어렵다. 특히 오브젝트에서 발생한 소리의 거리감까지 구현하는 것은 쉽지 않다.

도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템의 제3 출력 기기를 예시한 도면이다.

텐저블 사운드 출력 시스템의 제3 출력 기기(530)는 제3 사운드 제어부(600)에 결합되며, 제3 사운드 제어부(600)는 컨트롤러(120)에 결합된다. 제3 사운드 제어부(600) 또는 제3 출력 기기(530)는 배터리(650)를 포함할 수 있다.

트래커(컨트롤러)를 통해 오브젝트의 위치를 추적하여 오브젝트의 자체 소리를 동기화시킬 수 있고, 촉각적으로 소리가 나는 물건을 집고 움직임을 통해 위치감을 향상시키고 가상현실 공간에서 생겨나는 시각과 청각의 어색함을 해소할 수 있다. 게다가 골전도 이어폰-서라운드 스피커만으로 해결하지 못한 소리 공간의 공백 및 거리감을 해소할 수 있다.

도 11은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 사용자가 오브젝트를 이동시키는 동작을 예시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 오브젝트를 이동하는 소리 공간을 예시한 도면이다.

발전된 서라운드 사운드는 스크린 뒤에 스피커를 사용하여 스크린에 소리를 맺히게 할 수 있다. 사운드 엔지니어가 최대한 음상을 조절한다 하더라도 일반적으로 소리가 맺히는 공간을 제2 공간(524)에 제한적으로 소리가 위치하게 될 수 있다. 이에 소리의 위치를 조정한다 하더라도 제1 공간(514) 및 제3 공간(512)에 소리를 위치시키기 어려운 문제가 있다.

헤드폰(골전도 이어폰)은 소리의 음상이 좁아 대부분의 소리가 머리 안에서 맺히게 되며, 최대한 넓게 사운드를 조정한다 하더라도 사용자의 위치(12)에서 근거리에 위치하는 경우가 대부분이며, 이는 제1 공간(514)을 의미한다.

사운드 제어 장치(20)는 제1 출력 기기(510) 및 제2 출력 기기(520)의 사용 특성을 이용하여 두 부분의 단점을 메워 전체적인 사운드 사용의 음상을 넓히고 음질을 향상시킬 수 있다.

음향 출력 장치(500)는 콘텐츠가 구현되는 범위 내에서 복수의 위치에 소리가 맺히게 할 수 있다. 복수의 위치(504a, 504b, 504c, 504d, 504e, 504f)는 제2 공간(524), 제3 공간(512) 및 제1 공간(514)에 위치할 수 있다.

제1 공간(514)은 제1 출력 기기(510)에서 출력되는 제1 사운드가 대부분 맺히는 공간을 나타내고, 제2 공간(524)은 제2 출력 기기(520)에서 출력된 제2 사운드의 대부분이 맺히는 공간을 나타내고, 제3 공간(512)은 제1 출력 기기(510) 및 제2 출력 기기(520)에서 출력되는 사운드가 대부분 맺히지 않는 공간을 나타내다.

제1 위치(504a)는 제2 공간(524) 및 제3 공간(512) 사이에 위치하고, 제2 위치(504b)는 제1 공간(514)에 위치하고, 제3 위치(504c)는 제1 공간(514)과 사용자 사이에 위치하고, 제4 위치(504d)는 제2 공간(524)에 위치하고, 제5 위치(504e)는 제2 공간(524)에 위치하고, 제6 위치(504f)는 제3 공간(512)과 제1 공간(514) 사이에 위치한다.

사운드 제어 장치(20)는 제1 출력 기기(510)를 통해 소리가 맺히는 공간과 제2 출력 기기(520)를 통해 소리가 맺히는 공간을 구분하여 출력하며, 제1 출력 기기(510) 및 제2 출력 기기(520)를 통해 생성되는 사운드가 대부분 맺히지 않는 공간에서는 제1 출력 기기(510) 및 제2 출력 기기(520)의 음량 등을 조절하여 음상을 넓히고 음질을 향상시킬 수 있다.

사운드 제어 장치(20)는 소리가 외부에서 내부로 전달되는 경우, 먼 거리에서 출발한 사운드는 제2 출력 기기(520)를 통해 근접하고, 제1 출력 기기(510)의 한계로 인해 제2 공간(524)에서 사운드가 멈출 수 있으며, 이 사운드를 지속적으로 전달시키기 위해서는 제1 출력 기기(510)를 사용하여 동일하게 연속적인 소리를 표현하여 자연스럽게 하나의 소리로 인식시킬 수 있다. 이는 제1 출력 기기(510) 및 제2 출력 기기(520) 각각에서 나누어 소리를 재생시킬 수 있으며, 동일한 저음을 통해 사용자가 하나의 사운드로 인식하게 할 수 있다.

제어 장치(20)는 제1 출력 기기(510) 및 제2 출력 기기(520)를 이용함에 따라 거리감을 향상시키고 음역대를 분리하여 재생하게 되므로 진동으로 인한 효과적인 불편함을 제거한 상태에서 좋은 음질을 사용자에게 제공할 수 있다.

제3 사운드 제어부(600)는 콘텐츠에 포함된 복수의 오브젝트 중에서 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 제3 출력 기기에서 제3 사운드를 출력하도록 제3 사운드를 신호 처리한다.

제3 사운드 제어부(600)는 컨트롤러에 의해 일부 오브젝트의 위치를 추적하여 일부 오브젝트의 시각적 움직임에 동기화된 제3 사운드를 추적하는 시간 동안 출력하도록 제3 사운드를 신호 처리한다.

디스플레이 장치(110)는 일부 오브젝트를 제3 소리 공간에 매칭하는 위치에 출력하고, 일부 오프젝트가 컨트롤러에 의해 인터랙션하기 전까지는 제3 출력 기기는 제3 소리 공간에 제3 사운드를 출력하지 않고 제2 출력 기기는 제2 소리 공간에 제2 사운드를 출력한다.

제3 출력 기기(530)는 제1 소리 공간 및 제2 소리 공간의 소리 공백 영역 간의 경계에서 제3 사운드를 출력할 수 있다. 제3 출력 기기(530)는 제2 소리 공간의 소리 공백 영역의 바깥 경계에서 제3 사운드를 출력할 수 있다. 제3 출력 기기(530)는 제3 소리 공간에 제3 사운드를 출력할 수 있다.

제1 사운드 제어부(320) 또는 제3 사운드 제어부(600)는 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 제3 소리 공간을 시각적 위치 정보로 변환하여 디스플레이 장치에 제공할 수 있다. 디스플레이 장치는 일부 오브젝트의 위치 추적 과정에서 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 테스트 결과를 피드백하여 보정할 수 있다.

제1 사운드 제어부(320) 또는 제3 사운드 제어부(600)는 상호 필요한 동기화 데이터를 주고받으며, 제1 통신 모듈과 제3 통신 모듈 간에 전송되는 동기화 데이터는 제1 소리 공간 정보, 제2 소리 공간 정보, 제3 소리 공간 정보(위치 정보)를 포함하며, 소리 공백 영역과 오브젝트 간의 중첩 여부 및 거리 정보/시간 정보, 사용자 또는 오브젝트를 트래킹하는 과정에서 제3 소리 공간의 내측 경계/외측 경계 해당 여부를 포함할 수 있다.

도 13은 본 발명의 일 실시예에 따른 텐저블 사운드 출력 시스템에서 가상현실로 구현한 화면을 예시한 도면이다.

예컨대, 사용자는 주변의 새소리와 함께 고양이 울음소리를 듣게 되는 상황을 가상현실로 체험할 수 있다. 제2 출력 기기에서 출력된 사운드가 제2 소리 공간을 통해 제공된다. 사용자가 컨트롤러로 고양이를 잡게 되면, 고양이를 터치하면서부터 잡고 있는 동안에 제3 출력 기기를 통해 고양이 울음소리가 출력된다. 제3 출력 기기를 통해 제2 소리 공간의 소리 공백 영역을 채움과 동시에 오브젝트의 자체 발생 소리에 대한 몰입도를 증가시키고 오브젝트의 움직임과 소리를 동기화할 수 있다.

도 14는 본 발명의 다른 실시예에 따른 텐저블 사운드 출력 방법을 예시한 흐름도이다.

텐저블 사운드 출력 방법은 텐저블 사운드 출력 장치에 의해 수행될 수 있다.

텐저블 사운드 출력 방법은, 디스플레이 장치를 통해 콘텐츠를 제공하는 단계(S1010), 디스플레이 장치와 별도로 착용 가능한 제1 출력 기기를 통해 제1 소리 공간을 형성하는 단계(S1020), 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기를 통해 소리 공백 영역을 갖는 제2 소리 공간을 형성하는 단계(S1030), 제2 소리 공간의 소리 공백 영역보다 제1 소리 공간의 크기가 작아서 커버되지 않는 제3 소리 공간을 형성하는 단계(S1040), 제1 출력 기기를 통해 제1 소리 공간에 제1 사운드를 출력하는 단계(S1050), 제2 출력 기기를 통해 제2 소리 공간에 제2 사운드를 출력하는 단계(S1060), 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러에 결합된 제3 출력 기기를 통해 제3 사운드를 출력하는 단계(S1070)를 포함한다.

제3 사운드를 출력하는 단계(S1070)는 콘텐츠에 포함된 복수의 오브젝트 중에서 상 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 제3 출력 기기에서 제3 사운드를 출력할 수 있다.

제3 사운드를 출력하는 단계(S1070)는 컨트롤러에 의해 일부 오브젝트의 위치를 추적하여 일부 오브젝트의 시각적 움직임에 동기화된 제3 사운드를 추적하는 시간 동안 출력할 수 있다.

콘텐츠를 제공하는 단계(S1070)는 디스플레이 장치를 통해 일부 오브젝트를 제3 소리 공간에 매칭하는 위치에 출력하고, 제 2 사운드를 출력하는 단계(S1060)는 일부 오프젝트가 컨트롤러에 의해 인터랙션하기 전까지는 제3 소리 공간에 제3 사운드를 출력하지 않는 상태에서 제2 소리 공간에 제2 사운드를 출력할 수 있다.

제3 사운드를 출력하는 단계(S1070)는 제3 출력 기기를 통해 제1 소리 공간 및 제2 소리 공간의 소리 공백 영역 간의 경계에서 제3 사운드를 출력하거나, 제3 출력 기기를 통해 제2 소리 공간의 소리 공백 영역의 바깥 경계에서 제3 사운드를 출력하거나, 제3 출력 기기를 통해 제3 소리 공간에 제3 사운드를 출력할 수 있다.

제3 사운드를 출력하는 단계(S1070)는 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 제3 소리 공간을 시각적 위치 정보로 변환하여 디스플레이 장치에 제공할 수 있다. 콘텐츠를 제공하는 단계(S1010)는 일부 오브젝트의 위치 추적 과정에서 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 테스트 결과를 피드백하여 보정할 수 있다.

각 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.

각 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.

도 14에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 14에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

1. 텐저블 사운드 출력 시스템에 의한 텐저블 사운드 출력 방법에 있어서,
   디스플레이 장치를 통해 콘텐츠를 제공하는 단계;
   상기 디스플레이 장치와 별도로 착용 가능한 제1 출력 기기를 통해 제1 소리 공간을 형성하는 단계;
   상기 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기를 통해 소리 공백 영역을 갖는 제2 소리 공간을 형성하는 단계;
   상기 제2 소리 공간의 소리 공백 영역보다 상기 제1 소리 공간의 크기가 작아서 커버되지 않는 제3 소리 공간을 형성하는 단계;
   상기 제1 출력 기기를 통해 상기 제1 소리 공간에 제1 사운드를 출력하는 단계;
   상기 제2 출력 기기를 통해 상기 제2 소리 공간에 제2 사운드를 출력하는 단계;
   상기 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러에 결합된 제3 출력 기기를 통해 상기 제3 소리 공간에 제3 사운드를 출력하는 단계를 포함하는 텐저블 사운드 출력 방법.
2. 제1항에 있어서,
   상기 제3 사운드를 출력하는 단계는,
   상기 콘텐츠에 포함된 복수의 오브젝트 중에서 상기 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 상기 제3 출력 기기에서 상기 제3 사운드를 출력하는 것을 특징으로 하는 텐저블 사운드 출력 방법.
3. 제2항에 있어서,
   상기 제3 사운드를 출력하는 단계는,
   상기 컨트롤러에 의해 상기 일부 오브젝트의 위치를 추적하여 상기 일부 오브젝트의 시각적 움직임에 동기화된 상기 제3 사운드를 추적하는 시간 동안 출력하는 것을 특징으로 하는 텐저블 사운드 출력 방법.
4. 제2항에 있어서,
   상기 콘텐츠를 제공하는 단계는 상기 디스플레이 장치를 통해 상기 일부 오브젝트를 상기 제3 소리 공간에 매칭하는 위치에 출력하고,
   상기 제 2 사운드를 출력하는 단계는 상기 일부 오브젝트가 상기 컨트롤러에 의해 인터랙션하기 전까지는 상기 제3 소리 공간에 상기 제3 사운드를 출력하지 않고 상기 제2 소리 공간에 상기 제2 사운드를 출력하는 것을 특징으로 하는 텐저블 사운드 출력 방법.
5. 제4항에 있어서,
   상기 제3 사운드를 출력하는 단계는,
   상기 제3 출력 기기를 통해 상기 제1 소리 공간 및 상기 제2 소리 공간의 상기 소리 공백 영역 간의 경계에서 상기 제3 사운드를 출력하거나,
   상기 제3 출력 기기를 통해 상기 제2 소리 공간의 상기 소리 공백 영역의 바깥 경계에서 상기 제3 사운드를 출력하거나,
   상기 제3 출력 기기를 통해 상기 제3 소리 공간에 제3 사운드를 출력하는 것을 특징으로 하는 텐저블 사운드 출력 방법.
6. 제5항에 있어서,
   상기 제3 사운드를 출력하는 단계는 상기 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 상기 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 상기 제3 소리 공간을 시각적 위치 정보로 변환하여 상기 디스플레이 장치에 제공하고,
   상기 콘텐츠를 제공하는 단계는 상기 일부 오브젝트의 위치 추적 과정에서 상기 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 상기 테스트 결과를 피드백하여 보정하는 것을 특징으로 하는 텐저블 사운드 출력 방법.
7. 텐저블 사운드 출력 시스템에 있어서,
   콘텐츠를 제공하는 디스플레이 장치;
   상기 디스플레이 장치와 통신하며 사용자 인터페이스를 제공하는 컨트롤러;
   상기 디스플레이 장치와 별도로 착용 가능한 형태의 제1 출력 기기;
   상기 제1 출력 기기로부터 이격되어 주변에 설치된 제2 출력 기기;
   상기 컨트롤러에 결합된 제3 출력 기기;
   상기 제1 출력 기기를 통해 제1 사운드가 제1 소리 공간에 출력하도록 상기 제1 사운드를 신호 처리하는 제1 사운드 제어부;
   상기 제2 출력 기기를 통해 제2 사운드가 제2 소리 공간에 출력하도록 상기 제2 사운드를 신호 처리하는 제2 사운드 제어부;
   상기 제3 출력 기기를 통해 제3 사운드가 상기 제2 소리 공간의 소리 공백 영역보다 상기 제1 소리 공간의 크기가 작아서 커버되지 않는 제3 소리 공간에 출력하도록 상기 제3 사운드를 신호 처리하는 제3 사운드 제어부를 포함하는 텐저블 사운드 출력 시스템.
8. 제7항에 있어서,
   상기 제1 출력 기기는 골전도 이어폰 형태로 구현되고,
   상기 제2 출력 기기는 복수의 음향 채널을 갖는 서라운드 스피커 형태로 구현되고,
   상기 제3 출력 기기는 상기 컨트롤러에 부착되고 상기 제3 사운드 제어부는 상기 컨트롤러에 부착되는 것을 특징으로 하는 텐저블 사운드 출력 시스템.
9. 제7항에 있어서,
   상기 제3 사운드 제어부는 상기 콘텐츠에 포함된 복수의 오브젝트 중에서 상기 컨트롤러에 의해 선택된 일부 오브젝트와 인터랙션하는 타이밍에 상기 제3 출력 기기에서 상기 제3 사운드를 출력하도록 상기 제3 사운드를 신호 처리하는 것을 특징으로 하는 텐저블 사운드 출력 시스템.
10. 제9항에 있어서,
    상기 제3 사운드 제어부는 상기 컨트롤러에 의해 상기 일부 오브젝트의 위치를 추적하여 상기 일부 오브젝트의 시각적 움직임에 동기화된 상기 제3 사운드를 추적하는 시간 동안 출력하도록 상기 제3 사운드를 신호 처리하는 것을 특징으로 하는 텐저블 사운드 출력 시스템.
11. 제9항에 있어서,
    상기 디스플레이 장치는 상기 일부 오브젝트를 상기 제3 소리 공간에 매칭하는 위치에 출력하고,
    상기 일부 오브젝트가 상기 컨트롤러에 의해 인터랙션하기 전까지는 상기 제3 출력 기기는 상기 제3 소리 공간에 상기 제3 사운드를 출력하지 않고 상기 제2 출력 기기는 상기 제2 소리 공간에 상기 제2 사운드를 출력하는 것을 특징으로 하는 텐저블 사운드 출력 시스템.
12. 제11항에 있어서,
    상기 제3 출력 기기는,
    상기 제1 소리 공간 및 상기 제2 소리 공간의 상기 소리 공백 영역 간의 경계에서 상기 제3 사운드를 출력하거나,
    상기 제2 소리 공간의 상기 소리 공백 영역의 바깥 경계에서 상기 제3 사운드를 출력하거나,
    상기 제3 소리 공간에 제3 사운드를 출력하는 것을 특징으로 하는 텐저블 사운드 출력 시스템.
13. 제12항에 있어서,
    상기 제1 사운드 제어부 또는 상기 제3 사운드 제어부는 상기 제3 소리 공간의 경계 부근에 설치된 음향 입력 장치를 통해 상기 제3 사운드를 수신 받아 테스트를 수행하고, 테스트 결과에 따라 추출된 상기 제3 소리 공간을 시각적 위치 정보로 변환하여 상기 디스플레이 장치에 제공하고,
    상기 디스플레이 장치는 상기 일부 오브젝트의 위치 추적 과정에서 상기 일부 오브젝트의 소리가 출력되는 위치 및 형상에 대해서 상기 테스트 결과를 피드백하여 보정하는 것을 특징으로 하는 텐저블 사운드 출력 시스템.

Images