KR102119241B1 - Method for visualizating multi-channel and program thereof - Google Patents

Abstract

멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램이 개시된다. 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법은 3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성하는 단계; 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타내는 단계를 포함하고, 상기 멀티 채널 비주얼라이제이션 인터페이스는 레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응 한다.Disclosed is a multi-channel visualization method and a program therefor. The multi-channel visualization method according to an embodiment of the present invention generates a 3D layer binaural output by performing 3D layer binaural encoding corresponding to a 3D binaural layer, and processes audio corresponding to a plane layer. Generating a flat layer audio output by performing; And visually indicating a level meter signal for each of the three-dimensional layer binaural output and flat layer audio output based on the multi-channel visualization interface, wherein the multi-channel visualization interface includes level information, spatial information and head tracking information. Corresponds to the shape of a sphere containing at least one of.

Description

멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램 {METHOD FOR VISUALIZATING MULTI-CHANNEL AND PROGRAM THEREOF}Multi-channel visualization method and program for it {METHOD FOR VISUALIZATING MULTI-CHANNEL AND PROGRAM THEREOF}

본 발명은 멀티 채널 비주얼라이제이션 기술에 관한 것으로, 특히 멀티레이어 기반의 바이노럴 출력을 하나의 화면에 시각화하여 제공하는 기술에 관한 것이다.The present invention relates to a multi-channel visualization technology, and more particularly, to a technology for visualizing and providing a multi-layered binaural output on a single screen.

종래의 바이노럴 사운드에 대한 레벨 미터는 공간 안에서 레벨을 표현해야하기 때문에 직관적인 방법으로 표현이 불가능하였다. 따라서, 전후 또는 좌우와 같이 2개의 공간으로 분할하여 레벨 미터를 제공하고 있지만 이러한 방식은 채널 별로 레벨을 표시하기 때문에 다수의 채널 사용시에는 어떤 포지션의 스피커인지 직관적으로 분간하기 어렵다는 문제점이 존재하였다.The level meter for the conventional binaural sound has to express the level in space, so it was impossible to express it in an intuitive way. Therefore, although the level meter is provided by dividing into two spaces, such as front and rear or left and right, since this method displays the level for each channel, there is a problem in that it is difficult to intuitively discern which speaker is in which position when using multiple channels.

한국 공개 특허 제10-2015-0013073호, 2015년 2월 4일 공개(명칭: 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치)Published Korean Patent No. 10-2015-0013073, released on February 4, 2015 (Name: Binaural rendering method and device for multi-channel audio signal)

본 발명의 목적은 이머시브(Immersive) 레벨의 사운드를 효과적이며 직관적으로 표현할 수 있는 멀티 채널 비주얼라이제이션 인터페이스를 제공하는 것이다.An object of the present invention is to provide a multi-channel visualization interface that can effectively and intuitively express an immersive level sound.

또한, 본 발명의 목적은 하나의 화면에서 이머시브 레벨, 평면 서라운드 레벨, 스테레오 레벨 및 서브우퍼 레벨을 표현하는 것이다.In addition, an object of the present invention is to express an immersive level, a flat surround level, a stereo level, and a subwoofer level on one screen.

또한, 본 발명의 목적은 이머시브 공간에서도 사운드의 위치와 레벨을 명확하게 표현할 수 있는 멀티 채널 비주얼라이제이션 기술을 제공하는 것이다.In addition, an object of the present invention is to provide a multi-channel visualization technology capable of clearly expressing the position and level of sound even in an immersive space.

상기한 목적을 달성하기 위한 본 발명에 따른 멀티 채널 비주얼라이제이션 방법은, 3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성하는 단계; 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타내는 단계를 포함하고, 상기 멀티 채널 비주얼라이제이션 인터페이스는 레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응한다.In order to achieve the above object, the multi-channel visualization method according to the present invention generates a 3D layer binaural output by performing 3D layer binaural encoding corresponding to a 3D binaural layer, and generates a 3D layer binaural output. Performing corresponding audio processing to generate a flat layer audio output; And visually indicating a level meter signal for each of the three-dimensional layer binaural output and flat layer audio output based on the multi-channel visualization interface, wherein the multi-channel visualization interface includes level information, spatial information and head tracking information. Corresponds to the shape of a sphere containing at least one of.

이 때, 평면 레이어는 서라운드 레이어 바이노럴 인코딩을 수행하여 서라운드 레이어 바이노럴 출력을 생성하고, 생성된 상기 서라운드 레이어 바이노럴 출력을 상기 평면 레이어 오디오 출력으로 제공하는 서라운드 레이어 및 스테레오 신호를 입력 받아서 상기 스테레오 신호에 상응하는 상기 평면 레이어 오디오 출력을 생성하는 근접용 스테레오 레이어 중 어느 하나일 수 있다.At this time, the flat layer performs surround layer binaural encoding to generate a surround layer binaural output, and inputs a surround layer and a stereo signal that provides the generated surround layer binaural output as the flat layer audio output. It may be any one of the adjacent stereo layers that receive and generate the flat layer audio output corresponding to the stereo signal.

이 때, 나타내는 단계는 상기 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 서브우퍼 레이어에 상응하는 서브우퍼 출력에 대한 레벨 미터 신호를 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호와 함께 시각적으로 나타낼 수 있다.In this case, the step of indicating the level meter signal for the subwoofer output corresponding to the subwoofer layer based on the multi-channel visualization interface together with the level meter signal for each of the 3D layer binaural output and the flat layer audio output. It can be visually represented.

이 때, 나타내는 단계는 상기 3차원 바이노럴 레이어를 상기 구의 표면에서 청취점에 해당하는 상기 구의 중심으로 향하는 제1 플라즈마로 표현하는 단계; 상기 서라운드 레이어를 상기 구의 적도 상에서 상기 구의 중심으로 향하는 제2 플라즈마로 표현하는 단계; 상기 근접용 스테레오 레이어를 상기 구의 중심에서 상기 구의 표면의 방향으로 두께가 증가하는 링(RING)으로 표현하는 단계; 및 상기 서브우퍼 레이어를 상기 구의 남극점을 기준으로 증가하는 높이 값에 상응하게 표현하는 단계를 포함할 수 있다.In this case, the step of representing may include expressing the 3D binaural layer as a first plasma directed from the surface of the sphere to the center of the sphere corresponding to a listening point; Expressing the surround layer as a second plasma directed toward the center of the sphere on the equator of the sphere; Expressing the stereo layer for proximity as a ring whose thickness increases in the direction of the surface of the sphere from the center of the sphere; And expressing the subwoofer layer corresponding to an increasing height value based on the antarctic point of the sphere.

이 때, 제1 플라즈마로 표현하는 단계는 상기 제1 플라즈마의 이동 방향, 상기 제1 플라즈마의 두께, 상기 제1 플라즈마의 깊이, 상기 제1 플라즈마의 굴곡 및 상기 제1 플라즈마의 색상 중 적어도 하나를 기반으로 상기 3차원 바이노럴 레이어에 상응하는 시간의 흐름, 채널 주파수 및 레벨 크기 중 적어도 하나를 표현할 수 있다.In this case, the step of expressing the first plasma may include at least one of a movement direction of the first plasma, a thickness of the first plasma, a depth of the first plasma, a curvature of the first plasma, and a color of the first plasma. Based on this, at least one of time flow, channel frequency, and level size corresponding to the 3D binaural layer may be expressed.

이 때, 구의 상반구 표면을 4분할한 4개의 상반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 업채널들에 상응하고, 상기 구의 하반구 표면을 4분할한 4개의 하반구 표면 조각들은 상기 3차원 바이노럴 레이어에 상응하는 4개의 다운채널들에 상응할 수 있다.At this time, the four upper hemisphere surface fragments, which divided the upper hemisphere surface of the sphere into four, correspond to the four upchannels corresponding to the three-dimensional binaural layer, and the four lower hemisphere surfaces that divide the hemisphere surface of the sphere into four. Pieces may correspond to four down-channels corresponding to the three-dimensional binaural layer.

이 때, 제2 플라즈마로 표현하는 단계는 상기 제2 플라즈마의 위치, 상기 제2 플라즈마의 두께, 상기 제2 플라즈마의 깊이 및 상기 제2 플라즈마의 색상 중 적어도 하나를 기반으로 상기 서라운드 레이어에 상응하는 채널의 위치 및 레벨 크기 중 적어도 하나를 표현할 수 있다.At this time, the step of expressing the second plasma corresponds to the surround layer based on at least one of the position of the second plasma, the thickness of the second plasma, the depth of the second plasma, and the color of the second plasma. At least one of a channel position and level size may be expressed.

이 때, 링의 좌측 두께는 상기 근접용 스테레오 레이어의 레프트 채널에 대한 레벨 크기에 상응하고, 상기 링의 우측 두께는 상기 근접용 스테레오 레이어의 라이트 채널에 대한 레벨 크기에 상응할 수 있다.At this time, the left thickness of the ring may correspond to the level size for the left channel of the proximity stereo layer, and the right thickness of the ring may correspond to the level size for the light channel of the proximity stereo layer.

이 때, 멀티 채널 비주얼라이제이션 방법은 상기 구의 북극점을 기반으로 헤드 트래킹 정보를 표현하는 단계를 더 포함할 수 있다.In this case, the multi-channel visualization method may further include expressing head tracking information based on the arctic point of the sphere.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 상기 헤드 트래킹 정보에 상응하게 회전될 수 있다.At this time, the multi-channel visualization interface may be rotated corresponding to the head tracking information.

이 때, 나타내는 단계는 오브젝트 레이어를 상기 구의 표면에서 상기 구의 중심으로 향하는 유성 형태로 표현하되, 상기 오브젝트 레이어의 레벨 크기는 유성의 크기 및 꼬리의 길이에 비례할 수 있다.At this time, the step of representing represents the object layer in the form of a meteor from the surface of the sphere toward the center of the sphere, but the level of the object layer may be proportional to the size of the meteor and the length of the tail.

또한, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램은, 3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성하는 단계; 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타내는 단계를 포함하고, 상기 멀티 채널 비주얼라이제이션 인터페이스는 레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응한다.In addition, the multi-channel visualization program stored in a computer-readable recording medium according to an embodiment of the present invention outputs a 3D layer binaural by performing a 3D layer binaural encoding corresponding to a 3D binaural layer. Generating, and performing audio processing corresponding to the flat layer to generate a flat layer audio output; And visually indicating a level meter signal for each of the three-dimensional layer binaural output and flat layer audio output based on the multi-channel visualization interface, wherein the multi-channel visualization interface includes level information, spatial information and head tracking information. Corresponds to the shape of a sphere containing at least one of.

이 때, 평면 레이어는 서라운드 레이어 바이노럴 인코딩을 수행하여 서라운드 레이어 바이노럴 출력을 생성하고, 생성된 상기 서라운드 레이어 바이노럴 출력을 상기 평면 레이어 오디오 출력으로 제공하는 서라운드 레이어 및 스테레오 신호를 입력 받아서 상기 스테레오 신호에 상응하는 상기 평면 레이어 오디오 출력을 생성하는 근접용 스테레오 레이어 중 어느 하나일 수 있다.At this time, the flat layer performs surround layer binaural encoding to generate a surround layer binaural output, and inputs a surround layer and a stereo signal that provides the generated surround layer binaural output as the flat layer audio output. It may be any one of the adjacent stereo layers that receive and generate the flat layer audio output corresponding to the stereo signal.

이 때, 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 서브우퍼 레이어에 상응하는 서브우퍼 출력에 대한 레벨 미터 신호를 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호와 함께 시각적으로 나타낼 수 있다.At this time, based on the multi-channel visualization interface, the level meter signal for the subwoofer output corresponding to the subwoofer layer can be visually displayed together with the level meter signal for each of the 3D layer binaural output and the flat layer audio output. have.

이 때, 3차원 바이노럴 레이어를 상기 구의 표면에서 청취점에 해당하는 상기 구의 중심으로 향하는 제1 플라즈마로 표현하고, 상기 서라운드 레이어를 상기 구의 적도 상에서 상기 구의 중심으로 향하는 제2 플라즈마로 표현하고, 상기 근접용 스테레오 레이어를 상기 구의 중심에서 상기 구의 표면의 방향으로 두께가 증가하는 링(RING)으로 표현하고, 상기 서브우퍼 레이어를 상기 구의 남극점을 기준으로 증가하는 높이 값에 상응하게 표현할 수 있다.At this time, a 3D binaural layer is expressed as a first plasma directed from the surface of the sphere to the center of the sphere corresponding to a listening point, and the surround layer is expressed as a second plasma directed to the center of the sphere on the equator of the sphere. , The proximity stereo layer may be expressed as a ring whose thickness increases from the center of the sphere in the direction of the surface of the sphere, and the subwoofer layer may be expressed in correspondence with an increasing height value based on the antarctic point of the sphere. .

이 때, 제1 플라즈마의 이동 방향, 상기 제1 플라즈마의 두께, 상기 제1 플라즈마의 깊이, 상기 제1 플라즈마의 굴곡 및 상기 제1 플라즈마의 색상 중 적어도 하나를 기반으로 상기 3차원 바이노럴 레이어에 상응하는 시간의 흐름, 채널 주파수 및 레벨 크기 중 적어도 하나를 표현할 수 있다.In this case, the 3D binaural layer is based on at least one of a movement direction of the first plasma, the thickness of the first plasma, the depth of the first plasma, the curvature of the first plasma, and the color of the first plasma. It can represent at least one of the time flow, channel frequency and level size corresponding to.

이 때, 구의 상반구 표면을 4분할한 4개의 상반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 업채널들에 상응하고, 상기 구의 하반구 표면을 4분할한 4개의 하반구 표면 조각들은 상기 3차원 바이노럴 레이어에 상응하는 4개의 다운채널들에 상응할 수 있다.At this time, the four upper hemisphere surface fragments, which divided the upper hemisphere surface of the sphere into four, correspond to the four upchannels corresponding to the three-dimensional binaural layer, and the four lower hemisphere surfaces that divide the hemisphere surface of the sphere into four. Pieces may correspond to four down-channels corresponding to the three-dimensional binaural layer.

이 때, 제2 플라즈마의 위치, 상기 제2 플라즈마의 두께, 상기 제2 플라즈마의 깊이 및 상기 제2 플라즈마의 색상 중 적어도 하나를 기반으로 상기 서라운드 레이어에 상응하는 채널의 위치 및 레벨 크기 중 적어도 하나를 표현할 수 있다.At this time, based on at least one of the position of the second plasma, the thickness of the second plasma, the depth of the second plasma, and the color of the second plasma, at least one of the position and level size of the channel corresponding to the surround layer Can express

이 때, 링의 좌측 두께는 상기 근접용 스테레오 레이어의 레프트 채널에 대한 레벨 크기에 상응하고, 상기 링의 우측 두께는 상기 근접용 스테레오 레이어의 라이트 채널에 대한 레벨 크기에 상응할 수 있다.At this time, the left thickness of the ring may correspond to the level size for the left channel of the proximity stereo layer, and the right thickness of the ring may correspond to the level size for the light channel of the proximity stereo layer.

이 때, 구의 북극점을 기반으로 헤드 트래킹 정보를 표현하는 단계를 더 실행시킬 수 있다.At this time, the step of expressing the head tracking information based on the arctic point of the sphere may be further executed.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 상기 헤드 트래킹 정보에 상응하게 회전될 수 있다.At this time, the multi-channel visualization interface may be rotated corresponding to the head tracking information.

이 때, 오브젝트 레이어를 상기 구의 표면에서 상기 구의 중심으로 향하는 유성 형태로 표현하되, 상기 오브젝트 레이어의 레벨 크기는 유성의 크기 및 꼬리의 길이에 비례할 수 있다.At this time, the object layer is expressed in the form of a meteor from the surface of the sphere toward the center of the sphere, but the level size of the object layer may be proportional to the size of the meteor and the length of the tail.

본 발명에 따르면, 이머시브(Immersive) 레벨의 사운드를 효과적이며 직관적으로 표현할 수 있는 멀티 채널 비주얼라이제이션 인터페이스를 제공할 수 있다.According to the present invention, it is possible to provide a multi-channel visualization interface capable of effectively and intuitively expressing an immersive level sound.

또한, 본 발명은 하나의 화면에서 이머시브 레벨, 평면 서라운드 레벨, 스테레오 레벨 및 서브우퍼 레벨을 표현할 수 있다.In addition, the present invention can express an immersive level, a flat surround level, a stereo level, and a subwoofer level on one screen.

또한, 본 발명은 이머시브 공간에서도 사운드의 위치와 레벨을 명확하게 표현할 수 있는 멀티 채널 비주얼라이제이션 기술을 제공할 수 있다.In addition, the present invention can provide a multi-channel visualization technology capable of clearly expressing the position and level of sound even in an immersive space.

도 1은 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 멀티 채널 비주얼라이제이션의 일 예를 나타낸 도면이다.
도 4는 도 3에 도시된 멀티 채널 비주얼라이제이션에서의 채널 정보를 나타낸 도면이다.
도 5 내지 도 6은 본 발명에 따른 멀티 채널 비주얼라이제이션에서 3차원 바이노럴 레이어의 일 예를 나타낸 도면이다.
도 7 내지 도 9는 본 발명에 따른 멀티 채널 비주얼라이제이션에서의 3차원 바이노럴 레이어의 일 예를 나타낸 도면이다.
도 10은 본 발명에 따른 멀티 채널 비주얼라이제이션의 표면 조각의 일 예를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 제1 플라즈마의 구성을 나타낸 도면이다.
도 12는 본 발명에 따른 멀티 채널 비주얼라이제이션에서의 서라운드 레이어의 일 예를 나타낸 도면이다.
도 13은 본 발명에 따른 멀티 채널 비주얼라이제이션에서의 근접용 스테레오 레이어의 일 예를 나타낸 도면이다.
도 14는 본 발명에 따른 멀티 채널 비주얼라이제이션에서의 서브우퍼 레이어의 일 예를 나타낸 도면이다.
도 15는 본 발명에 따른 서브우퍼 채널이 두 개일 경우의 멀티 채널 비주얼라이제이션의 일 예를 나타낸 도면이다.
도 16은 본 발명에 따른 멀티 채널 비주얼라이제이션에서 헤드 트래킹 정보의 일 예를 나타낸 도면이다.
도 17은 본 발명에 따른 멀티 채널 비주얼라이제이션에서의 오브젝트 레이어의 일 예를 나타낸 도면이다.
도 18은 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스의 일 예를 나타낸 도면이다.
도 19은 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 프로그램을 실행시키기 위한 단말 장치를 나타낸 블록도이다.1 is a block diagram showing a multi-channel visualization system according to an embodiment of the present invention.
2 is an operation flow diagram showing a multi-channel visualization method according to an embodiment of the present invention.
3 is a diagram showing an example of multi-channel visualization according to the present invention.
FIG. 4 is a diagram showing channel information in the multi-channel visualization shown in FIG. 3.
5 to 6 are views showing an example of a 3D binaural layer in multi-channel visualization according to the present invention.
7 to 9 are views showing an example of a 3D binaural layer in multi-channel visualization according to the present invention.
10 is a view showing an example of a surface fragment of a multi-channel visualization according to the present invention.
11 is a view showing the configuration of a first plasma according to an embodiment of the present invention.
12 is a diagram showing an example of a surround layer in multi-channel visualization according to the present invention.
13 is a view showing an example of a stereo layer for proximity in multi-channel visualization according to the present invention.
14 is a diagram showing an example of a subwoofer layer in multi-channel visualization according to the present invention.
15 is a diagram illustrating an example of multi-channel visualization when there are two subwoofer channels according to the present invention.
16 is a diagram showing an example of head tracking information in a multi-channel visualization according to the present invention.
17 is a diagram showing an example of an object layer in multi-channel visualization according to the present invention.
18 is a diagram showing an example of a multi-channel visualization interface according to the present invention.
19 is a block diagram showing a terminal device for executing a multi-channel visualization program according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.If described in detail with reference to the accompanying drawings the present invention. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Therefore, the shape and size of elements in the drawings may be exaggerated for a more clear description.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 시스템을 나타낸 블록도이다.1 is a block diagram showing a multi-channel visualization system according to an embodiment of the present invention.

일반적으로 3차원 바이노럴 레이어에 해당하는 이머시브 사운드의 레벨은 다수의 레벨 미터를 통해 입체적으로 표현해야 하기 때문에 하나의 화면에서 구성하는 데에 어려움이 따른다. 또한, 바이노럴 코딩이 완료된 데이터는 스테레오 오디오 출력으로 구성되어 있기 때문에 하나의 이미지 상에 레벨 정보를 표현하는 것이 사실상 불가능하다. In general, the level of the immersive sound corresponding to the 3D binaural layer must be expressed in three dimensions through a number of level meters, and thus it is difficult to configure on one screen. In addition, it is virtually impossible to express level information on one image because the binaural coding-completed data is composed of a stereo audio output.

본 발명에서는 이러한 문제점을 해결하고 가장 효과적으로 이머시브 레벨을 표시함으로써 직관적으로 레벨링을 확인할 수 있는 멀티 채널 비주얼라이제이션 기술을 제공하고자 한다.In the present invention, to solve this problem and to display the immersive level most effectively to provide a multi-channel visualization technology that can intuitively check the leveling.

도 1을 참조하면, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 시스템은 멀티레이어 방식의 바이노럴 컨텐츠에 상응하는 입력 신호에서 레벨 신호를 감지하여 다양한 채널에 상응하는 레벨을 하나의 이미지 상에 구현하는 멀티 채널 비주얼라이제이션 인터페이스를 제공할 수 있다.Referring to FIG. 1, a multi-channel visualization system according to an embodiment of the present invention detects a level signal from an input signal corresponding to a multi-layered binaural content and sets a level corresponding to various channels on a single image. A multi-channel visualization interface to be implemented can be provided.

이 때, 도 1에 도시된 것과 같은 멀티 채널 비주얼라이제이션 모듈(100)은 바이노럴 인코딩 과정에서 각 포지션에 대한 레벨 미터 정보를 데이터 파일로 저장하고, 이를 별도로 분리해내는 Level Detector 모듈, 각각의 멀티레이어 레벨을 하나의 이미지 상에서 직관적으로 표현하는 Image Creator 모듈 및 멀티 채널 비주얼라이제이션 인터페이스를 화면으로 출력하는 Display 모듈을 포함할 수 있다. At this time, the multi-channel visualization module 100 as shown in FIG. 1 stores level meter information for each position as a data file in the binaural encoding process, and separates the level detector module, each multi, An image creator module that intuitively expresses the layer level on one image and a display module that outputs a multi-channel visualization interface to a screen may be included.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응하는 것으로, 하나의 화면에 3차원 바이노럴 레이어, 평면 서라운드 레이어, 스테레오 레이어 및 서브우퍼 레이어를 표현할 수 있다. At this time, the multi-channel visualization interface corresponds to the shape of a sphere including at least one of level information, spatial information, and head tracking information. A 3D binaural layer, a flat surround layer, a stereo layer, and a subwoofer on one screen Layers can be represented.

또한, 필요에 따라 멀티 채널 비주얼라이제이션 인터페이스에서 선택한 레이어 별로 독자적인 정보만을 디스플레이 할 수도 있다.Also, if necessary, only unique information can be displayed for each layer selected in the multi-channel visualization interface.

도 2는 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법을 나타낸 동작흐름도이다.2 is an operation flow diagram showing a multi-channel visualization method according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법은 3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성한다(S210).Referring to FIG. 2, the multi-channel visualization method according to an embodiment of the present invention generates a 3D layer binaural output by performing 3D layer binaural encoding corresponding to a 3D binaural layer, and generates A flat layer audio output is generated by performing audio processing corresponding to the layer (S210).

이 때, 3차원 바이노럴 레이어는 3차원 공간 이미지를 만드는 요소에 상응하는 것으로, 예를 들어 3차원 큐빅 방식에 상응하는 바이노럴 인코더를 이용하여 3차원 바이노럴 레이어에 포함된 다수의 채널들에 상응하는 3차원 레이어 바이노럴 인코딩을 수행함으로써 3차원 레이어 바이노럴 출력을 생성할 수 있다.At this time, the 3D binaural layer corresponds to an element that creates a 3D spatial image. For example, a plurality of 3D binaural layers included in the 3D binaural layer using a binaural encoder corresponding to the 3D cubic method A 3D layer binaural output may be generated by performing 3D layer binaural encoding corresponding to channels.

이 때, 3차원 바이노럴 레이어는 8채널 기반의 3차원 큐빅에 상응하는 4개의 업채널과 4개의 다운채널을 포함할 수 있다. At this time, the 3D binaural layer may include 4 up channels and 4 down channels corresponding to 8 channel based 3D cubic.

따라서, 3차원 레이어 바이노럴 출력은 8채널 기반의 오디오를 바이노럴 인코딩함으로써 생성된 출력에 상응할 수 있고, 2채널에 상응하게 출력될 수 있다. 또한, 3차원 레이어 바이노럴 출력에 상응하는 2채널은 각각 레프트 채널과 라이트 채널에 상응할 수 있다. Accordingly, the 3D layer binaural output may correspond to an output generated by binaural encoding of 8-channel based audio, and may be output corresponding to 2 channels. Also, two channels corresponding to the 3D layer binaural output may correspond to the left channel and the right channel, respectively.

이 때, 3차원 바이노럴 레이어는 3차원 큐빅 레이어에 한정되지 않을 수 있다. 즉, 본 발명에 적용 가능한 다른 3차원 바이노럴 레이어 또는 향후 개발될 3차원 바이노럴 레이어를 포함하여 구성될 수도 있다.At this time, the 3D binaural layer may not be limited to the 3D cubic layer. That is, other 3D binaural layers applicable to the present invention or 3D binaural layers to be developed in the future may also be included.

이 때, 3차원 레이어 바이노럴 출력은 4개의 업 채널들과 4개의 다운채널들로 구성된 8채널 기반의 3차원 큐빅(Cubic) 상에 위치하는 바이노럴 포인트에 대한 3차원 벡터에 상응하게 생성될 수 있다. At this time, the 3D layer binaural output corresponds to a 3D vector for a binaural point located on an 8 channel based 3D cubic composed of 4 up channels and 4 down channels. Can be created.

예를 들어, 8채널 기반의 3차원 큐빅은 4개의 업채널들에 상응하는 4개의 동적 스피커들과 4개의 다운채널들에 상응하는 4개의 동적 스피커들을 각 꼭지점으로 하는 육면체 구조일 수 있다. 이 때, 8개의 동적 스피커들의 위치는 변경이 가능하기 때문에 3차원 큐빅에 의해 발생하는 바이노럴 효과의 범위도 동적으로 변경할 수 있다.For example, an 8-channel-based 3D cubic may be a hexahedral structure having 4 dynamic speakers corresponding to 4 up channels and 4 dynamic speakers corresponding to 4 down channels as each vertex. At this time, since the positions of the eight dynamic speakers can be changed, the range of the binaural effect generated by the three-dimensional cubic can also be dynamically changed.

다른 예를 들어, 기존의 바이노럴 방식은 Vbap(Vector base amplitude panning) 또는 앰비소닉(Ambisonics) 등을 사용하여 3차원 큐빅을 생성함으로써 8개의 동적 스피커들로 이머시브(immersive) 사운드를 구현할 수도 있다. 즉, 8개의 동적 스피커들 각각에 대해 X, Y, Z에 대한 위치 값을 부여하되, 3차원 큐빅의 중점을 기준으로 하는 벡터 기반의 가상의 트랙 포인트(Track Point)를 표현할 수 있다. 이 때, 가상의 트랙 포인트는 헤드 트래킹 정보에 포함된 파라미터 값에 상응하게 표현될 수 있다. For another example, the conventional binaural method may create an immersive sound with eight dynamic speakers by generating a three-dimensional cubic using Vbap (Vector base amplitude panning) or Ambisonics. have. That is, the position values for X, Y, and Z are assigned to each of the eight dynamic speakers, but a vector-based virtual track point based on the center point of the three-dimensional cubic can be expressed. At this time, the virtual track point may be represented corresponding to the parameter value included in the head tracking information.

이와 같은 3차원 큐빅을 통해 오디오만 포함하는 음악 컨텐츠에 대한 공간 이미지를 생성할 수 있고, 소리의 움직임을 표현할 수 있어서 보다 입체적인 효과를 제공할 수 있다.Through such a three-dimensional cubic, a spatial image for music content including only audio can be generated, and motion of sound can be expressed, thereby providing a more three-dimensional effect.

이 때, 3차원 큐빅은 3차원 큐빅의 꼭지점에 해당하는 8개의 동적 스피커들의 위치를 3차원 바이노럴 레이어에 대한 크기 파라미터에 상응하게 변경하여 생성될 수 있다. 즉, 고정 방식이 아닌 가변 방식의 동적 스피커들의 위치를 크기 파라미터에 상응하게 자유롭게 변경함으로써 효율적으로 3차원 큐빅을 생성할 수 있다.At this time, the three-dimensional cubic can be generated by changing the positions of eight dynamic speakers corresponding to the vertices of the three-dimensional cubic corresponding to the size parameter for the three-dimensional binaural layer. That is, it is possible to efficiently generate a three-dimensional cubic by freely changing the positions of dynamic speakers of a variable type rather than a fixed type corresponding to a size parameter.

예를 들어, 크기 파라미터를 상수로 정하고, 여기에 바이노럴 함수를 곱하는 방식으로 3차원 큐빅을 프로세싱함으로써 다양한 범위를 갖는 3차원 큐빅들을 생성할 수도 있다.For example, three-dimensional cubics having various ranges may be generated by processing a three-dimensional cubic by setting a size parameter as a constant and multiplying it with a binaural function.

이 때, 3차원 벡터는 3차원 큐빅의 내부에 포함되고, 서라운드 레이어에 상응하는 2차원 평면의 중심에 해당하는 기준 청취점을 기준으로 생성될 수 있다.At this time, the 3D vector is included in the 3D cubic and may be generated based on a reference listening point corresponding to the center of the 2D plane corresponding to the surround layer.

예를 들어, 바이노럴 스테레오 오디오를 듣는 사용자 또는 청취자의 위치를 가상으로 표현한 기준 청취점은 8개의 동적 스피커들을 각 꼭지점으로 하는 3차원 큐빅의 내부에 위치하되, 서라운드 레이어 상에서 중심 부분에 위치할 수 있다. 이 때, 바이노럴 포인트가 3차원 큐빅의 상면에 위치한다고 가정하면, 3차원 레이어 바이노럴 출력에 상응하는 3차원 벡터는 기준 청취점에서 바이노럴 포인트를 향하는 방향으로 생성될 수 있다.For example, a reference listening point that virtually represents the position of a user or listener listening to binaural stereo audio is located inside a three-dimensional cubic with eight dynamic speakers as each vertex, but will be located in the center portion on the surround layer. Can be. At this time, assuming that the binaural point is located on the upper surface of the 3D cubic, a 3D vector corresponding to the 3D layer binaural output may be generated in a direction from the reference listening point toward the binaural point.

이 때, 평면 레이어는 3차원 바이노럴 레이어와는 상이한 구조를 갖는 레이어에 상응하는 것으로, 서라운드 효과 또는 스테레오 효과에 상응하는 이미지를 만드는 요소에 상응할 수 있다. At this time, the planar layer corresponds to a layer having a structure different from that of the 3D binaural layer, and may correspond to an element that creates an image corresponding to a surround effect or a stereo effect.

따라서, 평면 레이어는 서라운드 레이어 바이노럴 인코딩을 수행하여 서라운드 레이어 바이노럴 출력을 생성하고, 생성된 서라운드 레이어 바이노럴 출력을 평면 레이어 오디오 출력으로 제공하는 서라운드 레이어 및 스테레오 신호를 입력 받아서 스테레오 신호에 상응하는 평면 레이어 오디오 출력을 생성하는 근접용 스테레오 레이어 중 어느 하나일 수 있다.Therefore, the flat layer performs surround layer binaural encoding to generate a surround layer binaural output, and receives a surround layer and stereo signals that provide the generated surround layer binaural output as a flat layer audio output, and receives a stereo signal. It may be any one of the stereo layer for the proximity to generate a flat layer audio output corresponding to.

예를 들어, 바이노럴 인코더를 이용하여 5채널 또는 7채널의 서라운드 레이어에 상응하는 서라운드 레이어 바이노럴 인코딩을 수행함으로써 서라운드 레이어 바이노럴 출력을 생성할 수 있다. 이 때 근접용 스테레오 레이어에 상응하는 2채널을 서라운드 레이어에 포함시켜 7채널 기반의 서라운드 레이어 바이노럴 인코딩을 수행할 수 있다. For example, a surround layer binaural output may be generated by performing surround layer binaural encoding corresponding to a 5 or 7 channel surround layer using a binaural encoder. At this time, a 7-channel based surround layer binaural encoding may be performed by including 2 channels corresponding to the adjacent stereo layer in the surround layer.

이 때, 서라운드 레이어는, 5개의 스피커들을 포함하는 구조에 상응할 수 있다. 이 때, 서라운드 레이어 바이노럴 출력은 서라운드 레이어 상에 위치하는 바이노럴 포인트에 상응할 수 있다. 만약, 청취자가 서라운드 레이어의 중심에 위치하는 기준 청취점에서 소리를 듣고 있다고 가정할 경우, 마치 서라운드 레이어 상의 바이노럴 포인트에서 소리가 나는 것처럼 바이노럴 인코딩하여 서라운드 레이어 바이노럴 출력을 생성할 수 있다. 이 때, 서라운드 레이어는 서라운드 효과에 상응하는 서라운드 이미지를 만드는 요소에 상응하는 것으로, 평면 형태에 한정되지 않을 수 있다.At this time, the surround layer may correspond to a structure including five speakers. At this time, the surround layer binaural output may correspond to a binaural point located on the surround layer. If it is assumed that the listener is listening to the sound at the reference listening point located at the center of the surround layer, the surround layer binaural output is generated by performing binaural encoding as if it is sounding at the binaural point on the surround layer. Can be. At this time, the surround layer corresponds to an element that creates a surround image corresponding to the surround effect, and may not be limited to a planar shape.

이 때, 서라운드 레이어 바이노럴 출력은 2채널에 상응하게 출력될 수 있다. 또한, 서라운드 레이어 바이노럴 출력에 상응하는 2채널은 각각 레프트 채널과 라이트 채널에 상응할 수 있다.At this time, the surround layer binaural output may be output corresponding to 2 channels. Also, two channels corresponding to the surround layer binaural output may correspond to the left channel and the right channel, respectively.

이 때, 서라운드 레이어의 채널은 5채널 또는 7채널에 한정되지 않는다. 또한, 서라운드 레이어는 사각형 평면 형태로 한정되지 않고 선의 두께, 평면 모양의 형태 및 기준 청취점으로부터의 거리 등 다양한 형태로 표현 가능하다. At this time, the channel of the surround layer is not limited to 5 or 7 channels. In addition, the surround layer is not limited to a rectangular flat shape, and can be expressed in various shapes such as line thickness, flat shape, and distance from a reference listening point.

다른 예를 들어, 스테레오 버스(Stereo Bus)를 기반으로 2채널의 근접용 스테레오 레이어에 상응하게 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성할 수 있다. 즉, 평면 레이어 오디오 출력에 상응하는 스테레오 신호는 2채널 기반의 스테레오 오디오를 프로세싱함으로써 생성된 출력에 상응할 수 있고, 2채널에 상응하게 출력될 수 있다. For another example, based on a stereo bus, audio processing may be performed corresponding to a stereo channel for two channels of proximity to generate a flat layer audio output. That is, the stereo signal corresponding to the flat layer audio output may correspond to the output generated by processing the two-channel based stereo audio, and may be output corresponding to the two channels.

이 때, 근접용 스테레오 레이어는 스테레오 효과에 상응하는 스테레오 이미지를 만드는 요소에 상응하는 것으로, 서라운드 레이어의 일부로 포함되어 나타낼 수도 있다. In this case, the stereo layer for proximity corresponds to an element that creates a stereo image corresponding to the stereo effect, and may be included as part of the surround layer.

예를 들어, 5개의 스피커들에 기반한 서라운드 레이어 상에 2개의 스피커들에 상응하는 근접용 스테레오 레이어를 포함시켜 총 7개의 스피커들을 포함하는 레이어 구조로 나타낼 수도 있다. For example, a proximity stereo layer corresponding to two speakers may be included on a surround layer based on 5 speakers to represent a layer structure including a total of 7 speakers.

이 때, 근접용 스테레오 레이어는 서라운드 레이어 상에 위치하는 기준 청취점으로부터 근접한 거리에 배치될 수 있다. 또는, 기준 청취점의 좌우 사이드 스피커로써 근접용 스테레오 레이어를 사용할 수도 있다.At this time, the stereo layer for proximity may be disposed at a distance close to the reference listening point located on the surround layer. Alternatively, a stereo layer for proximity may be used as the left and right side speakers of the reference listening point.

이 때, 근접용 스테레오 레이어에 상응하게 출력되는 스테레오 신호는 바이노럴 인코딩에 사용되는 공간 파라미터로는 연출하기 어려운 댐핑(damping)감을 제공할 수 있다. 따라서, 본 발명의 일실시예에 따른 바이노럴 스테레오 출력은 바이노럴 인코딩에 의한 이머시브(immersive) 효과를 제공함과 동시에 댐핑감을 제공할 수도 있다.At this time, the stereo signal output corresponding to the stereo layer for proximity may provide a damping feeling that is difficult to produce with spatial parameters used for binaural encoding. Accordingly, the binaural stereo output according to an embodiment of the present invention may provide an immersive effect by binaural encoding and a damping feeling.

이와 같이, 서라운드 레이어 바이노럴 출력에 상응하는 평면 레이어 오디오 출력이나 스테레오 신호에 상응하는 평면 레이어 오디오 출력은 3차원 레이어 바이노럴 출력과 비교하였을 때, 단지 상이한 음향 효과를 포함하는 출력에 해당하는 것일 수 있다. 즉, 평면 레이어 오디오 출력은 3차원 레이어에 상응하는 출력이 아니어도 3차원 레이어 바이노럴 출력보다 다양한 값을 포함할 수도 있다.As such, the flat layer audio output corresponding to the surround layer binaural output or the flat layer audio output corresponding to the stereo signal corresponds to an output including only different sound effects when compared to the 3D layer binaural output. May be That is, the flat layer audio output may include various values than the 3D layer binaural output even if the output does not correspond to the 3D layer.

이 때, 평면 레이어는 3차원 큐빅에 상응하는 4개의 업채널들과 4개의 다운채널들 사이에 위치할 수 있다.At this time, the planar layer may be located between four up-channels and four down-channels corresponding to the three-dimensional cubic.

예를 들어, 본 발명의 일실시예에 따른 평면 레이어에 상응하는 서라운드 레이어와 근접용 스테레오 레이어는 3차원 바이노럴 레이어에 상응하는 3차원 큐빅에 포함된 4개의 업채널들과 4개의 다운채널들 사이에 위치할 수 있다.For example, the surround layer corresponding to the planar layer and the stereo layer for proximity according to an embodiment of the present invention include four up-channels and four down-channels included in the three-dimensional cubic corresponding to the three-dimensional binaural layer. It can be located between.

이 때, 4개의 업채널들은 3차원 큐빅의 상단에 위치하는 4개의 스피커들에 해당할 수 있고, 4개의 다운채널들은 3차원 큐빅의 하단에 위치하는 4개의 스피커들에 해당할 수 있다.At this time, the four up channels may correspond to the four speakers located at the top of the three-dimensional cubic, and the four down channels may correspond to the four speakers located at the bottom of the three-dimensional cubic.

즉, 평면 레이어는 3차원 큐빅에 상응하는 육면체의 높이 범위 내에 위치할 수 있다. That is, the planar layer may be located within the height range of the cube corresponding to the three-dimensional cubic.

따라서, 서라운드 레이어나 근접용 스테레오 레이어에 포함되는 각각의 스피커들도 3차원 큐빅에 포함된 4개의 업채널들과 4개의 다운채널들 사이에 위치할 수 있다. Accordingly, each speaker included in the surround layer or the adjacent stereo layer can also be located between four up-channels and four down-channels included in the three-dimensional cubic.

또한, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법은 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타낸다(S220).In addition, the multi-channel visualization method according to an embodiment of the present invention visually displays a level meter signal for each of the 3D layer binaural output and the flat layer audio output based on the multi-channel visualization interface (S220).

종래의 바이노럴 사운드에 대한 레벨 정보는 공간 안에서 레벨을 표현해야하기 때문에 직관적인 방법으로 표현이 불가능하였다. 따라서, 전후 또는 좌우와 같이 2개의 공간으로 분할하여 레벨 미터를 제공하고 있지만 이러한 방식은 채널 별로 레벨을 표시하기 때문에 다수의 채널 사용시에는 어떤 포지션의 스피커인지 직관적으로 분간하기 어렵다는 문제점이 존재하였다.The level information for the conventional binaural sound has to be expressed in a space, so it was impossible to express the level in an intuitive way. Therefore, although the level meter is provided by dividing into two spaces, such as front and rear or left and right, since this method displays the level for each channel, there is a problem in that it is difficult to intuitively discern which speaker is in which position when using multiple channels.

따라서, 본 발명에서는 바이노럴 사운드와 일반적인 오디오 사운드를 함께 효과적으로 표현하기 위한 멀티 채널 비주얼라이제이션 방법을 제공하고자 한다.Accordingly, the present invention is to provide a multi-channel visualization method for effectively expressing binaural sound and general audio sound together.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응할 수 있다. At this time, the multi-channel visualization interface may correspond to the shape of a sphere including at least one of level information, spatial information, and head tracking information.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 일반적인 레벨도 표시하면서 동시에 시각적인 효과도 제공할 수 있다.At this time, the multi-channel visualization interface can display a general level while also providing a visual effect.

예를 들어, 도 3을 참조하면, 멀티 채널 비주얼라이제이션 인터페이스에 상응하는 구는 마치 우주를 형상화한 플라즈마 볼의 형태에 상응할 수 있다. For example, referring to FIG. 3, a sphere corresponding to a multi-channel visualization interface may correspond to the shape of a plasma ball shaped like a universe.

이 때, 핵에 해당하는 부분은 사용자의 위치를 나타내는 기준 청취점(300)에 해당할 수 있다. At this time, the portion corresponding to the nucleus may correspond to the reference listening point 300 indicating the location of the user.

또한, 구의 경도에 상응하게 3차원 바이노럴 레이어(310)의 스피커 위치 나타낼 수 있다. 이 때, 도 4에 도시된 것과 같이 구의 상반구를 분할하여 3차원 바이노럴 레이어(310)의 업채널(411~414)들을 나타낼 수 있고, 구의 하반구를 분할하여 3차원 바이노럴 레이어(310)의 다운채널(421~424)들을 나타낼 수 있다. 즉, 업채널(411~414)는 각각 Rear Upper Left, Front Upper Left, Front Upper Right, Rear Upper Right를 의미할 수 있고, 다운채널(421~424)는 각각 Rear Lower Left, Front Lower Left, Front Lower Right, Rear Lower Right를 의미할 수 있다.In addition, the speaker position of the 3D binaural layer 310 may be represented according to the hardness of the sphere. At this time, as shown in FIG. 4, the upper hemisphere of the sphere may be divided to represent up channels 411 to 414 of the 3D binaural layer 310, and the lower hemisphere of the sphere may be divided to form a 3D binaural layer. The down channels 421 to 424 of 310 may be represented. That is, the up channels 411 to 414 may mean Rear Upper Left, Front Upper Left, Front Upper Right, and Rear Upper Right, respectively, and the down channels 421 to 424 are Rear Lower Left, Front Lower Left, and Front, respectively. Lower Right, Rear Lower Right.

또한, 구의 적도선 상 위치에 상응하게 서라운드 레이어(320)의 스피커 위치를 나타낼 수 있다. 즉, 도 4에 도시된 것과 같이 서라운드 스피커(431~435)를 배치할 수 있고, 서라운드 스피커(431~435)는 각각 Center, Left Side Surround, Left Surround, Right Surround, Right Side Surround를 의미할 수 있다. In addition, the speaker position of the surround layer 320 may correspond to the position on the equator of the sphere. That is, as shown in FIG. 4, surround speakers 431 to 435 may be arranged, and surround speakers 431 to 435 may mean Center, Left Side Surround, Left Surround, Right Surround, Right Side Surround, respectively. have.

또한, 마치 토성의 꼬리와 같은 링을 기반으로 근접용 스테레오 레이어(330)의 레벨을 나타낼 수도 있다. 이 때, 도 4에 도시된 것과 같이 스테레오 레이어(330)의 스테레오 스피커(441, 442)를 적도선 상 위치에 배치함으로써 7채널에 상응하는 서라운드 레이어를 구성할 수도 있다.In addition, the level of the proximity stereo layer 330 may be represented based on a ring like Saturn's tail. At this time, as shown in FIG. 4, the surround layers corresponding to 7 channels may be configured by disposing the stereo speakers 441 and 442 of the stereo layer 330 at positions on the equator.

이 때, 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 서브우퍼 레이어에 상응하는 서브우퍼 출력에 대한 레벨 미터 신호를 3차원 레이어 바이노럴 출력 및 평면 레이어 바이노럴 출력 각각에 대한 레벨 미터 신호와 함께 시각적으로 나타낼 수 있다. At this time, based on the multi-channel visualization interface, the level meter signal for the subwoofer output corresponding to the subwoofer layer is visually displayed together with the level meter signal for each of the 3D layer binaural output and the flat layer binaural output. You can.

예를 들어, 서브우퍼 출력은 LFE 버스(Low Frequency Effects Bus)를 기반으로 서브우퍼 레이어에 포함된 단일 채널 또는 2채널의 신호를 오디오 프로세싱함으로써 생성될 수 있다. 즉, 서브우퍼 출력은 단일 채널 또는 2채널 기반의 오디오를 프로세싱함으로써 생성된 출력에 상응할 수 있고, 단일 채널 또는 2채널에 상응할 수 있다. For example, the subwoofer output may be generated by audio processing a signal of a single channel or two channels included in a subwoofer layer based on an LFE bus (Low Frequency Effects Bus). That is, the subwoofer output may correspond to an output generated by processing a single channel or two-channel based audio, and may correspond to a single channel or two channels.

예를 들어, 서브우퍼 레이어는 5.1 채널, 7.1 채널 및 11.1 채널과 같이 단일 채널에 상응하거나, 10.2 채널 및 22.2 채널과 같이 2채널에 상응할 수도 있다.For example, the subwoofer layer may correspond to a single channel such as 5.1 channels, 7.1 channels and 11.1 channels, or may correspond to 2 channels such as 10.2 channels and 22.2 channels.

도 3을 참조하면, 구의 남극점을 기반으로 서브우퍼 레이어(340)의 레벨을 나타낼 수 있다. 예를 들어, 도 4에 도시된 것과 같이 서브우퍼 스피커(450)에 상응하는 영역을 표시할 수 있고, 해당 영역이 핵을 향하는 방향으로 증가함으로써 레벨의 크기를 나타낼 수 있다. Referring to FIG. 3, the level of the subwoofer layer 340 may be indicated based on the antarctic point of the sphere. For example, as shown in FIG. 4, an area corresponding to the subwoofer speaker 450 may be displayed, and the level of the level may be indicated by increasing the area toward the nucleus.

또한, 구의 북극점을 기반으로 헤드 트래킹 정보(350)를 나타낼 수도 있다. 이 때, 도 3 및 도 4에는 도시하지 아니하였으나, 헤드 트래킹 정보는 헤드 트래킹 데이터를 받아 나침반 모양으로 전면과 후면의 위치를 항상 지시하도록 설정될 수 있다.Also, the head tracking information 350 may be displayed based on the arctic point of the sphere. At this time, although not shown in FIGS. 3 and 4, the head tracking information may be set to always indicate the positions of the front and rear surfaces in the form of a compass by receiving head tracking data.

이 때, 헤드 트래킹 정보(350)에 따라 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구가 회전할 수 있으므로, 사용자는 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구를 드래그하면서 헤드 트래킹을 설정할 수도 있다.At this time, since the sphere corresponding to the multi-channel visualization interface may rotate according to the head tracking information 350, the user may set the head tracking while dragging the sphere corresponding to the multi-channel visualization interface.

또한, 도 3에는 도시하지 아니하였으나, 구의 경도 상 위치로부터 핵으로 향하는 유성 형태를 기반으로 오브젝트 레이어를 표현할 수도 있다.In addition, although not shown in FIG. 3, the object layer may be expressed based on the meteor shape from the position on the sphere to the nucleus.

또한, 사운드 이펙트에 기반한 룸 사이즈 또는 리버브 설정에 따라 도 3에 도시된 플라즈마 볼의 투명도나 사이즈가 변경될 수도 있다. 이 때, 서브우퍼 레이어(340)의 기반한 서브우퍼 출력의 레벨에 따라서 남극점으로부터 빛이 발산될 수 있는데, 발산되는 빛의 색상에 따라서 룸을 표현하는 투명도의 색상도 변경될 수 있다. In addition, the transparency or size of the plasma ball shown in FIG. 3 may be changed according to a room size or reverb setting based on a sound effect. At this time, light may be emitted from the Antarctic point according to the level of the subwoofer output based on the subwoofer layer 340, and the color of the transparency representing the room may be changed according to the color of the emitted light.

이 때, 3차원 바이노럴 레이어를 구의 표현에서 청취점에 해당하는 구의 중심으로 향하는 제1 플라즈마로 표현할 수 있다. At this time, the 3D binaural layer may be expressed as a first plasma directed from the representation of the sphere to the center of the sphere corresponding to the listening point.

예를 들어, 도 5 내지 도 6에 도시된 것과 같이, 3차원 레이어 바이노럴 출력의 레벨 미터 신호를 기반으로 제1 플라즈마(510, 610)를 생성하여 멀티 채널 비주얼라이제이션 인터페이스에 출력해줄 수 있다. For example, as illustrated in FIGS. 5 to 6, the first plasmas 510 and 610 may be generated based on the level meter signal of the 3D layer binaural output, and output to the multi-channel visualization interface.

이 때, 구의 상반구 표면을 4분할한 4개의 상반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 업채널들에 상응하고, 구의 하반구 표면을 4분할한 4개의 하반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 다운채널들에 상응할 수 있다.At this time, the four upper hemisphere surface fragments that divided the sphere's upper hemisphere surface into four correspond to the four upchannels corresponding to the three-dimensional binaural layer, and the four lower hemisphere surface fragments that divided the sphere's lower hemisphere surface into four These may correspond to four down-channels corresponding to a three-dimensional binaural layer.

예를 들어, 도 7에 도시된 것과 같이 멀티 채널 비주얼라이제이션 인터페이스에 상응하는 구의 표면을 8분할하여 3차원 바이노럴 레이어에 상응하는 8개의 채널들을 표현할 수 있다.For example, as shown in FIG. 7, the surface of the sphere corresponding to the multi-channel visualization interface may be divided into 8 to represent 8 channels corresponding to the 3D binaural layer.

이 때, 제1 플라즈마의 이동 방향, 제1 플라즈마의 두께, 제1 플라즈마의 깊이, 제1 플라즈마의 굴곡 및 제1 플라즈마의 색상 중 적어도 하나를 기반으로 3차원 바이노럴 레이어에 상응하는 시간의 흐름, 채널 주파수 및 레벨 크기 중 적어도 하나를 표현할 수 있다. At this time, based on at least one of the movement direction of the first plasma, the thickness of the first plasma, the depth of the first plasma, the curvature of the first plasma, and the color of the first plasma, the time corresponding to the 3D binaural layer At least one of flow, channel frequency, and level size may be represented.

이 때, 도 8은 구의 북극점을 기준으로 도 7과 같이 분할된 멀티 채널 비주얼라이제이션 인터페이스를 나타낸 것이고, 도 9는 구의 남극점을 기준으로 도 7과 같이 분할된 멀티 채널 비주얼라이제이션 인터페이스를 나타낸 것이다. 이 때, 도 8과 도 9에 도시된 화살표는 각각의 업채널(810~840)과 다운채널(910~940)에서 시간이 흐르는 방향을 의미할 수 있다. At this time, FIG. 8 shows a multi-channel visualization interface divided as shown in FIG. 7 based on the north pole of the sphere, and FIG. 9 shows a multi-channel visualization interface divided as shown in FIG. 7 based on the south pole of the sphere. At this time, the arrows illustrated in FIGS. 8 and 9 may indicate a direction in which time passes in the up channels 810 to 840 and the down channels 910 to 940, respectively.

이 때, 도 10에 도시된 것과 같이 하나의 업채널(820)을 기준으로 설명하면, 업채널(820)에 상응하는 표면 조각의 X축은 시간값, Y축은 주파수를 의미할 수 있다. 예를 들어, 업채널(820)에서는 H=G=20Hz, D=C=20kHz에 상응할 수 있으며 스펙트럼 아날라이저 형식으로 레벨이 분리될 수 있다. At this time, as described with reference to one up-channel 820 as illustrated in FIG. 10, the X-axis of the surface fragment corresponding to the up-channel 820 may be a time value, and the Y-axis may mean frequency. For example, in the up channel 820, H=G=20Hz, D=C=20kHz, and the level may be separated in a spectrum analyzer format.

예를 들어, 상기의 결과를 대입해보면, 도 11에 도시된 것과 같이 제1 플라즈마(1110)의 주파수 스펙트럼이 표현될 수 있다. 이 때, 제1 플라즈마(1110)에 상응하는 주파수 스펙트럼은 도 10과 같이 H에서 G로 흐르는 것처럼 이동할 수 있다. 즉, 업채널(810~840)과 다운채널(910~940)에서는 각 채널에 상응하는 시간의 흐름 방향에 주파수 스펙트럼이 이동할 수 있다.For example, by substituting the above result, the frequency spectrum of the first plasma 1110 may be expressed as shown in FIG. 11. At this time, the frequency spectrum corresponding to the first plasma 1110 may move as if flowing from H to G as shown in FIG. 10. That is, in the up-channels 810 to 840 and the down-channels 910 to 940, the frequency spectrum may move in the direction of time corresponding to each channel.

또한, 제1 플라즈마(1110)에 상응하는 주파수 스펙트럼은 구의 표면에서 기준 청취점(1100)에 해당하는 핵의 방향으로도 흐르는 것처럼 이동할 수 있는데, 이 때의 깊이 값은 3차원 바이노럴 레벨(1130), 즉 라우드니스(Loudness)를 의미할 수 있다. 즉, 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스를 통해 3차원 바이노럴 레이어 출력 레벨에 상응하는 시간, 주파수, 라우드니스를 동시에 표현할 수 있다.In addition, the frequency spectrum corresponding to the first plasma 1110 may move as if flowing in the direction of the nucleus corresponding to the reference listening point 1100 on the surface of the sphere, and the depth value at this time is the 3D binaural level ( 1130), that is, it may mean Loudness. That is, the time, frequency, and loudness corresponding to the 3D binaural layer output level can be simultaneously expressed through the multi-channel visualization interface according to the present invention.

이 때, 주파수 스펙트럼에서 최대값이 되는 주파수를 펀다멘탈(Fundamental)로 처리하여 제1 플리즈마(1110)의 굴곡(1120)을 형성할 수도 있다. 따라서, 주파수 스펙트럼의 주파수를 기반으로 굴곡(1120)의 방향도 결정되어 표현될 수 있다. At this time, the frequency that becomes the maximum value in the frequency spectrum may be processed as fundamental to form a curve 1120 of the first plasma 1110. Accordingly, the direction of the bend 1120 may also be determined and expressed based on the frequency of the frequency spectrum.

또한, 특정한 레벨 이상의 신호가 입력되는 경우에는 제1 플라즈마(1110)의 두께를 두껍게 하거나 또는 제1 플라즈마(1110)의 색상에 변화를 줌으로써 신호의 값을 직관적으로 나타낼 수도 있다.In addition, when a signal having a specific level or more is input, the thickness of the first plasma 1110 may be thickened or the color of the first plasma 1110 may be changed to intuitively represent the signal value.

이 때, 서라운드 레이어를 구의 적도 상에서 구의 중심으로 향하는 제2 플라즈마로 표현할 수 있다. At this time, the surround layer can be expressed as a second plasma directed toward the center of the sphere on the equator of the sphere.

예를 들어, 도 12에 도시된 것과 같이, 서라운드 레이어 바이노럴 출력의 레벨 미터 신호를 기반으로 제2 플라즈마(1210~1250)를 생성하여 멀티 채널 비주얼라이제이션 인터페이스에 출력해줄 수 있다. For example, as illustrated in FIG. 12, second plasmas 1210 to 1250 may be generated and output to a multi-channel visualization interface based on a level meter signal of a surround layer binaural output.

이 때, 제2 플라즈마의 위치, 제2 플라즈마의 두께, 제2 플라즈마의 깊이 및 제2 플라즈마의 색상 중 적어도 하나를 기반으로 서라운드 레이어에 상응하는 채널의 위치 및 레벨 크기 중 적어도 하나를 표현할 수 있다. At this time, based on at least one of the position of the second plasma, the thickness of the second plasma, the depth of the second plasma, and the color of the second plasma, at least one of the position and level size of the channel corresponding to the surround layer may be expressed. .

즉, 도 12에 도시된 제2 플라즈마(1210~1250)의 위치는 평면 서라운드 포맷에서 제공하는 스피커의 위치에 상응할 수 있으며, 제2 플라즈마의(1210~1250) 두께 또는 깊이는 레벨 크기에 상응할 수 있다. 또한, 제2 플라즈마(1210~1250)도 제1 플라즈마와 유사하게 특정 레벨 이상의 신호가 입력되는 경우에는 제2 플라즈마(1210~1250)의 색상에 변화를 줌으로써 신호의 값을 직관적으로 나타낼 수 있다.That is, the position of the second plasma 1210 to 1250 shown in FIG. 12 may correspond to the position of the speaker provided in the flat surround format, and the thickness or depth of the second plasma (1210 to 1250) corresponds to the level size can do. In addition, when the signals of a specific level or more are input similar to the first plasma, the second plasma 1210 to 1250 may intuitively represent the signal values by changing the color of the second plasma 1210 to 1250.

이 때, 근접용 스테레오 레이어를 구의 중심에서 구의 표면의 방향으로 두께가 증가하는 링(Ring)으로 표현할 수 있다. In this case, the stereo layer for proximity can be expressed as a ring whose thickness increases from the center of the sphere to the surface of the sphere.

예를 들어, 도 13에 도시된 것과 같이, 평면 레이어 오디오 출력의 레벨 미터 신호를 기반으로 기준 청취점(1300)에 상응하는 핵에 근접한 링(1310)을 생성하여 멀티 채널 비주얼라이제이션 인터페이스에 출력해줄 수 있다.For example, as shown in FIG. 13, a ring 1310 close to the nucleus corresponding to the reference listening point 1300 may be generated and output to a multi-channel visualization interface based on the level meter signal of the flat layer audio output. have.

이 때, 링의 좌측 두께는 근접용 스테레오 레이어의 레프트 채널에 대한 레벨 크기에 상응하고, 링의 우측 두께는 근접용 스테레오 레이어의 라이트 채널에 대한 레벨 크기에 상응할 수 있다. At this time, the left thickness of the ring may correspond to the level size for the left channel of the proximity stereo layer, and the right thickness of the ring may correspond to the level size for the light channel of the proximity stereo layer.

즉, 도 13에 도시된 링(1310)의 좌측 두께를 통해 레프트 채널(1311)의 오디오 레벨 크기를 표현하고, 링(1310)의 우측 두께를 통해 라이트 채널(1312)의 오디오 레벨 크기를 표현할 수 있다. 이 때, 레벨의 크기가 커질수록, 링(1310)의 두께가 구의 중심부터 시작하여 바깥쪽으로 점점 두꺼워질 수 있다.That is, the audio level size of the left channel 1311 can be expressed through the left thickness of the ring 1310 illustrated in FIG. 13, and the audio level size of the light channel 1312 can be expressed through the right thickness of the ring 1310. have. At this time, as the size of the level increases, the thickness of the ring 1310 may be gradually thickened to the outside starting from the center of the sphere.

이 때, 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스는 피크(Peak)가 발생하는 경우, 기준 청취점(1300)의 색상을 변경함으로써 사용자에게 바이노럴 컨텐츠에 피크 신호가 존재함을 직관적으로 알릴 수도 있다.At this time, the multi-channel visualization interface according to the present invention may intuitively inform the user that the peak signal is present in the binaural content by changing the color of the reference listening point 1300 when a peak occurs. .

이 때, 서브우퍼 레이어를 구의 남극점을 기준으로 증가하는 높이 값에 상응하게 표현할 수 있다. At this time, the subwoofer layer can be expressed in correspondence with an increasing height value based on the antarctic point of the sphere.

예를 들어, 도 14에 도시된 것과 같이, 서브우퍼 출력의 레벨 미터 신호를 기반으로 구의 남극점으로부터 서브우퍼 레이어(1410)에 상응하는 서브우퍼 레벨(1420)을 표현할 수 있다. For example, as illustrated in FIG. 14, the subwoofer level 1420 corresponding to the subwoofer layer 1410 may be expressed from the south pole of the sphere based on the level meter signal of the subwoofer output.

만약, 두 개의 서브우퍼를 사용하는 경우, 도 15에 도시된 것처럼 전후 방식(1510)에 상응하게 서브우퍼 레이어를 표현하거나, 또는 좌우 방식(1520)에 상응하게 서브우퍼 레이어를 표현할 수도 있다. 이 때, 도 15에 도시된 서브우퍼 레이어는 구의 북극점 또는 남극점을 기준으로 나타낸 것일 수 있다. If two subwoofers are used, the subwoofer layer may be represented in the front-rear method 1510 as illustrated in FIG. 15, or the subwoofer layer may be represented in the left-right method 1520. In this case, the subwoofer layer illustrated in FIG. 15 may be represented based on the north pole or the south pole of the sphere.

이 때, 오브젝트 레이어를 구의 표면에서 구의 중심으로 향하는 유성 형태로 표현하되, 오브젝트 레이어의 레벨 크기는 유성의 크기 및 꼬리의 길이에 비례할 수 있다. At this time, the object layer is expressed in the form of a meteor from the surface of the sphere toward the center of the sphere, but the level of the object layer may be proportional to the size of the meteor and the length of the tail.

예를 들어, 도 17에 도시된 것과 같이, 오브젝트 출력의 레벨 미터 신호와 오브젝트 출력의 좌표값에 따라 구의 표면 중 좌표값에 해당하는 부분에 유성의 형태로 오브젝트 레이어(1710)를 표현할 수 있다.For example, as illustrated in FIG. 17, the object layer 1710 may be expressed in the form of a meteor in a portion corresponding to the coordinate value of the surface of the sphere according to the level meter signal of the object output and the coordinate value of the object output.

이 때, 오프젝트 출력이 재생되는 동안에는 유성이 구의 표면에 머무르다가, 재생이 완료되는 경우에 기준 청취점에 해당하는 핵의 방향으로 날라가다 소멸되는 방식으로 표현될 수 있다.At this time, it can be expressed in such a way that the meteor stays on the surface of the sphere while the object output is being regenerated, and then, when the regeneration is completed, is blown away in the direction of the nucleus corresponding to the reference listening point.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법은 구의 북극점을 기반으로 헤드 트래킹 정보를 표현할 수 있다. In addition, although not shown in FIG. 2, in the multi-channel visualization method according to an embodiment of the present invention, head tracking information may be expressed based on the arctic point of the sphere.

이 때. 헤드 트래킹 정보는 센서 입력 기반의 자동 헤드 트래킹 및 사용자 입력 기반의 수동 헤드 트래킹 중 어느 하나에 상응하게 입력될 수 있다.At this time. The head tracking information may be input corresponding to any one of automatic head tracking based on sensor input and manual head tracking based on user input.

이 때, 자동 헤드 트래킹의 경우, 별도의 헤드 트래킹 모듈을 통해 사용자나 청취자의 머리 움직임을 트래킹한 데이터를 획득될 수 있다.In this case, in the case of automatic head tracking, data tracking the head movement of a user or a listener may be obtained through a separate head tracking module.

예를 들어, 사용자나 청취자가 헤드 트래킹 모듈을 직접 착용한 상태에서 머리를 움직이면, 헤드 트래킹 모듈에 장착된 가속 센서, 3축 자이로 센서가 사용자의 머리가 움직인 거리나 각도 등을 측정하여 자동 헤드 트래킹 데이터로 생성하고 전송할 수 있다.For example, if a user or a listener moves the head while wearing the head tracking module directly, the acceleration sensor mounted on the head tracking module and the 3-axis gyro sensor measure the distance or angle of the user's head movement, and then the automatic head. It can be created and transmitted as tracking data.

또한, 수동 헤드 트래킹 경우, 별도의 헤드 트래킹 인터페이스에 기반한 사용자 입력에 상응하게 데이터를 획득될 수 있다.In addition, in the case of manual head tracking, data may be acquired corresponding to a user input based on a separate head tracking interface.

예를 들어, 수동 헤드 트래킹 정보는 사용자나 청취자가 헤드 트래킹 인터페이스를 통해 인위적으로 부여할 수도 있다. 즉, 사용자나 청취자가 인위적으로 공간 이미지를 회전시키기 위해, 헤드 트래킹 모듈에 의한 자동 헤드 트래킹 데이터의 수신 여부와 상관없이 헤드 트래킹 인터페이스를 기반으로 헤드 트래킹 데이터를 입력할 수도 있다. 이 때, 사용자나 청취자는 멀티레이어 바이노럴 컨텐츠를 생성하는 믹싱과정 또는 입력되는 정보에 따라 변화하는 멀티레이어 바이노럴 컨텐츠를 청취하면서 수동으로 헤드 트래킹 데이터를 입력 및 수정할 수도 있다.For example, manual head tracking information may be artificially provided by a user or a listener through the head tracking interface. That is, in order to artificially rotate a spatial image by a user or a listener, head tracking data may be input based on the head tracking interface regardless of whether automatic head tracking data is received by the head tracking module. At this time, the user or the listener may manually input and modify the head tracking data while listening to the mixing process of generating the multilayered binaural content or the changing multilayered binaural content according to the input information.

예를 들어, 도 17에 도시된 것과 같이, 멀티 채널 비주얼라이제이션 인터페이스에서 구의 북극 영역에 나침반의 형태로 방향을 알 수 있는 헤드 트래킹 인터페이스(1610)를 나타내고, 헤드 트래킹 인터페이스(1610)는 항상 전면의 방향을 바라보도록 설정될 수 있다.For example, as shown in FIG. 17, in the multi-channel visualization interface, the head tracking interface 1610 indicating the direction in the form of a compass is shown in the arctic region of the sphere, and the head tracking interface 1610 is always in the front direction. It can be set to look at.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 헤드 트래킹 정보에 상응하게 회전될 수 있다. At this time, the multi-channel visualization interface can be rotated corresponding to the head tracking information.

예를 들어, 헤드 트래킹 정보가 입력되면, 헤드의 방향에 따라 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구 전체가 회전할 수 있다.For example, when the head tracking information is input, the entire sphere corresponding to the multi-channel visualization interface may rotate according to the direction of the head.

이 때, 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구는 헤드 트래킹 정보에 따라 팬(Pan), 틸트(tilt) 및 롤(roll) 중 적어도 하나의 회전 파라미터에 상응하게 회전될 수 있다.At this time, the sphere corresponding to the multi-channel visualization interface may be rotated according to at least one rotation parameter of a pan, tilt, and roll according to head tracking information.

또한, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 인터페이스는 사용자의 터치를 통해서 구를 회전시킬 수 있으며, 그에 따라 사운드의 방향성도 동등하게 가질 수 있다. In addition, the multi-channel visualization interface according to an embodiment of the present invention can rotate a sphere through a user's touch, and accordingly, may have equal directionality of sound.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법은 네트워크와 같은 통신망을 통해 멀티 채널 비주얼라이제이션을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명에서는 멀티 채널 비주얼라이제이션을 위해 입력 가능한 바이노럴 오디오 소스 또는 컨텐츠, 센서로부터 입력되는 헤드 트래킹 데이터 및 사용자 입력에 관련된 정보를 수신할 수 있다.In addition, although not shown in FIG. 2, in the multi-channel visualization method according to an embodiment of the present invention, information necessary for multi-channel visualization can be transmitted and received through a communication network such as a network. Particularly, in the present invention, a binaural audio source or content that can be input for multi-channel visualization, head tracking data input from a sensor, and information related to user input may be received.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 방법은 상기한 과정에서 발생되는 다양한 정보를 별도의 저장 모듈에 저장한다.In addition, although not shown in FIG. 2, the multi-channel visualization method according to an embodiment of the present invention stores various information generated in the above process in a separate storage module.

이와 같은 멀티 채널 비주얼라이제이션 방법을 통해 이머시브(Immersive) 레벨의 사운드를 효과적이며 직관적으로 표현할 수 있는 멀티 채널 비주얼라이제이션 인터페이스를 제공할 수 있다.Through this multi-channel visualization method, it is possible to provide a multi-channel visualization interface capable of effectively and intuitively expressing an immersive level sound.

또한, 하나의 화면에서 이머시브 레벨, 평면 서라운드 레벨, 스테레오 레벨 및 서브우퍼 레벨을 표현할 수 있으며, 이머시브 공간에서도 사운드의 위치와 레벨을 명확하게 표현할 수도 있다.In addition, the immersive level, the flat surround level, the stereo level, and the subwoofer level can be expressed in one screen, and the position and level of the sound can be clearly expressed in the immersive space.

도 18은 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스의 일 예를 나타낸 도면이다.18 is a diagram showing an example of a multi-channel visualization interface according to the present invention.

도 18을 참조하면, 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스는 플라즈마 발생 빈도 조절 메뉴(1810), 플라즈마 시간 조절 메뉴(1820) 및 플라즈마 색상 조절 메뉴(1830)를 제공한다. Referring to FIG. 18, the multi-channel visualization interface according to the present invention provides a plasma generation frequency adjustment menu 1810, a plasma time adjustment menu 1820 and a plasma color adjustment menu 1830.

이 때, 플라즈마 발생 빈도 조절 메뉴(1810)에서는 멀티 채널 비주얼라이제이션 인터페이스에서 발생하는 플라즈마의 발생 빈도 또는 잔가지 수 등을 설정할 수 있다. At this time, the plasma generation frequency control menu 1810 may set the frequency of generation of plasma or the number of twigs generated in the multi-channel visualization interface.

이 때, 플라즈마 시간 조절 메뉴(1820)에서는 스펙트럼 아날라이저가 이동하는데 소요되는 시간을 설정할 수 있다. 또는, 펀다멘탈 신호로 인하여 플라즈마의 휘어짐이 발생하고 중심축까지 이동하여 소멸되는데 까지 걸리는 시간을 설정할 수도 있다.At this time, in the plasma time adjustment menu 1820, the time required for the spectrum analyzer to move can be set. Alternatively, the time required for the plasma to bend due to the fundamental signal and move to the central axis to be extinguished may be set.

이 때, 플라즈마 색상 조절 메뉴(1830)에서는 플라즈마의 전체적인 색상을 조절할 수 있다.At this time, in the plasma color adjustment menu 1830, the overall color of the plasma may be adjusted.

도 19은 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 프로그램을 실행시키기 위한 단말 장치를 나타낸 블록도이다.19 is a block diagram showing a terminal device for executing a multi-channel visualization program according to an embodiment of the present invention.

도 19를 참조하면, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 프로그램을 실행시키기 위한 단말 장치는 통신부(1910), 프로세서(1920) 및 메모리(1930)를 포함한다. Referring to FIG. 19, a terminal device for executing a multi-channel visualization program according to an embodiment of the present invention includes a communication unit 1910, a processor 1920, and a memory 1930.

통신부(1910)는 네트워크와 같은 통신망을 통해 멀티 채널 비주얼라이제이션 을 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(1910)는 멀티 채널 비주얼라이제이션을 위해 입력 가능한 바이노럴 오디오 소스 또는 컨텐츠, 센서로부터 입력되는 헤드 트래킹 데이터 및 사용자 입력에 관련된 정보를 수신할 수 있다.The communication unit 1910 serves to transmit and receive information necessary for multi-channel visualization through a communication network such as a network. In particular, the communication unit 1910 according to an embodiment of the present invention may receive input information regarding binaural audio sources or contents, head tracking data input from a sensor, and user input for multi-channel visualization.

프로세서(1920)는 3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성한다.The processor 1920 generates a 3D layer binaural output by performing a 3D layer binaural encoding corresponding to a 3D binaural layer, and performs audio processing corresponding to the plane layer to perform a flat layer audio output. To create.

이 때, 3차원 바이노럴 레이어는 3차원 공간 이미지를 만드는 요소에 상응하는 것으로, 예를 들어 3차원 큐빅 방식에 상응하는 바이노럴 인코더를 이용하여 3차원 바이노럴 레이어에 포함된 다수의 채널들에 상응하는 3차원 레이어 바이노럴 인코딩을 수행함으로써 3차원 레이어 바이노럴 출력을 생성할 수 있다.At this time, the 3D binaural layer corresponds to an element that creates a 3D spatial image. For example, a plurality of 3D binaural layers included in the 3D binaural layer using a binaural encoder corresponding to the 3D cubic method A 3D layer binaural output may be generated by performing 3D layer binaural encoding corresponding to channels.

이 때, 3차원 바이노럴 레이어는 8채널 기반의 3차원 큐빅에 상응하는 4개의 업채널과 4개의 다운채널을 포함할 수 있다. At this time, the 3D binaural layer may include 4 up channels and 4 down channels corresponding to 8 channel based 3D cubic.

따라서, 3차원 레이어 바이노럴 출력은 8채널 기반의 오디오를 바이노럴 인코딩함으로써 생성된 출력에 상응할 수 있고, 2채널에 상응하게 출력될 수 있다. 또한, 3차원 레이어 바이노럴 출력에 상응하는 2채널은 각각 레프트 채널과 라이트 채널에 상응할 수 있다. Accordingly, the 3D layer binaural output may correspond to an output generated by binaural encoding of 8-channel based audio, and may be output corresponding to 2 channels. Also, two channels corresponding to the 3D layer binaural output may correspond to the left channel and the right channel, respectively.

이 때, 3차원 바이노럴 레이어는 3차원 큐빅 레이어에 한정되지 않을 수 있다. 즉, 본 발명에 적용 가능한 다른 3차원 바이노럴 레이어 또는 향후 개발될 3차원 바이노럴 레이어를 포함하여 구성될 수도 있다.At this time, the 3D binaural layer may not be limited to the 3D cubic layer. That is, other 3D binaural layers applicable to the present invention or 3D binaural layers to be developed in the future may also be included.

이 때, 3차원 레이어 바이노럴 출력은 4개의 업 채널들과 4개의 다운채널들로 구성된 8채널 기반의 3차원 큐빅(Cubic) 상에 위치하는 바이노럴 포인트에 대한 3차원 벡터에 상응하게 생성될 수 있다. At this time, the 3D layer binaural output corresponds to a 3D vector for a binaural point located on an 8 channel based 3D cubic composed of 4 up channels and 4 down channels. Can be created.

예를 들어, 8채널 기반의 3차원 큐빅은 4개의 업채널들에 상응하는 4개의 동적 스피커들과 4개의 다운채널들에 상응하는 4개의 동적 스피커들을 각 꼭지점으로 하는 육면체 구조일 수 있다. 이 때, 8개의 동적 스피커들의 위치는 변경이 가능하기 때문에 3차원 큐빅에 의해 발생하는 바이노럴 효과의 범위도 동적으로 변경할 수 있다.For example, an 8-channel-based 3D cubic may be a hexahedral structure having 4 dynamic speakers corresponding to 4 up channels and 4 dynamic speakers corresponding to 4 down channels as each vertex. At this time, since the positions of the eight dynamic speakers can be changed, the range of the binaural effect generated by the three-dimensional cubic can also be dynamically changed.

다른 예를 들어, 기존의 바이노럴 방식은 Vbap(Vector base amplitude panning) 또는 앰비소닉(Ambisonics) 등을 사용하여 3차원 큐빅을 생성함으로써 8개의 동적 스피커들로 이머시브(immersive) 사운드를 구현할 수도 있다. 즉, 8개의 동적 스피커들 각각에 대해 X, Y, Z에 대한 위치 값을 부여하되, 3차원 큐빅의 중점을 기준으로 하는 벡터 기반의 가상의 트랙 포인트(Track Point)를 표현할 수 있다. 이 때, 가상의 트랙 포인트는 헤드 트래킹 정보에 포함된 파라미터 값에 상응하게 표현될 수 있다. For another example, the conventional binaural method may create an immersive sound with eight dynamic speakers by generating a three-dimensional cubic using Vbap (Vector base amplitude panning) or Ambisonics. have. That is, the position values for X, Y, and Z are assigned to each of the eight dynamic speakers, but a vector-based virtual track point based on the center point of the three-dimensional cubic can be expressed. At this time, the virtual track point may be represented corresponding to the parameter value included in the head tracking information.

이와 같은 3차원 큐빅을 통해 오디오만 포함하는 음악 컨텐츠에 대한 공간 이미지를 생성할 수 있고, 소리의 움직임을 표현할 수 있어서 보다 입체적인 효과를 제공할 수 있다.Through such a three-dimensional cubic, a spatial image for music content including only audio can be generated, and motion of sound can be expressed, thereby providing a more three-dimensional effect.

이 때, 3차원 큐빅은 3차원 큐빅의 꼭지점에 해당하는 8개의 동적 스피커들의 위치를 3차원 바이노럴 레이어에 대한 크기 파라미터에 상응하게 변경하여 생성될 수 있다. 즉, 고정 방식이 아닌 가변 방식의 동적 스피커들의 위치를 크기 파라미터에 상응하게 자유롭게 변경함으로써 효율적으로 3차원 큐빅을 생성할 수 있다.At this time, the three-dimensional cubic can be generated by changing the positions of eight dynamic speakers corresponding to the vertices of the three-dimensional cubic corresponding to the size parameter for the three-dimensional binaural layer. That is, it is possible to efficiently generate a three-dimensional cubic by freely changing the positions of dynamic speakers of a variable type rather than a fixed type corresponding to a size parameter.

예를 들어, 크기 파라미터를 상수로 정하고, 여기에 바이노럴 함수를 곱하는 방식으로 3차원 큐빅을 프로세싱함으로써 다양한 범위를 갖는 3차원 큐빅들을 생성할 수도 있다.For example, three-dimensional cubics having various ranges may be generated by processing a three-dimensional cubic by setting a size parameter as a constant and multiplying it with a binaural function.

이 때, 3차원 벡터는 3차원 큐빅의 내부에 포함되고, 서라운드 레이어에 상응하는 2차원 평면의 중심에 해당하는 기준 청취점을 기준으로 생성될 수 있다.At this time, the 3D vector is included in the 3D cubic and may be generated based on a reference listening point corresponding to the center of the 2D plane corresponding to the surround layer.

예를 들어, 바이노럴 스테레오 오디오를 듣는 사용자 또는 청취자의 위치를 가상으로 표현한 기준 청취점은 8개의 동적 스피커들을 각 꼭지점으로 하는 3차원 큐빅의 내부에 위치하되, 서라운드 레이어 상에서 중심 부분에 위치할 수 있다. 이 때, 바이노럴 포인트가 3차원 큐빅의 상면에 위치한다고 가정하면, 3차원 레이어 바이노럴 출력에 상응하는 3차원 벡터는 기준 청취점에서 바이노럴 포인트를 향하는 방향으로 생성될 수 있다.For example, a reference listening point that virtually represents the position of a user or listener listening to binaural stereo audio is located inside a three-dimensional cubic with eight dynamic speakers as each vertex, but will be located in the center portion on the surround layer. Can be. At this time, assuming that the binaural point is located on the upper surface of the 3D cubic, a 3D vector corresponding to the 3D layer binaural output may be generated in a direction from the reference listening point toward the binaural point.

이 때, 평면 레이어는 3차원 바이노럴 레이어와는 상이한 구조를 갖는 레이어에 상응하는 것으로, 서라운드 효과 또는 스테레오 효과에 상응하는 이미지를 만드는 요소에 상응할 수 있다. At this time, the planar layer corresponds to a layer having a structure different from that of the 3D binaural layer, and may correspond to an element that creates an image corresponding to a surround effect or a stereo effect.

따라서, 평면 레이어는 서라운드 레이어 바이노럴 인코딩을 수행하여 서라운드 레이어 바이노럴 출력을 생성하고, 생성된 서라운드 레이어 바이노럴 출력을 평면 레이어 오디오 출력으로 제공하는 서라운드 레이어 및 스테레오 신호를 입력 받아서 스테레오 신호에 상응하는 평면 레이어 오디오 출력을 생성하는 근접용 스테레오 레이어 중 어느 하나일 수 있다.Therefore, the flat layer performs surround layer binaural encoding to generate a surround layer binaural output, and receives a surround layer and stereo signals that provide the generated surround layer binaural output as a flat layer audio output, and receives a stereo signal. It may be any one of the stereo layer for the proximity to generate a flat layer audio output corresponding to.

예를 들어, 바이노럴 인코더를 이용하여 5채널 또는 7채널의 서라운드 레이어에 상응하는 서라운드 레이어 바이노럴 인코딩을 수행함으로써 서라운드 레이어 바이노럴 출력을 생성할 수 있다. 이 때 근접용 스테레오 레이어에 상응하는 2채널을 서라운드 레이어에 포함시켜 7채널 기반의 서라운드 레이어 바이노럴 인코딩을 수행할 수 있다. For example, a surround layer binaural output may be generated by performing surround layer binaural encoding corresponding to a 5 or 7 channel surround layer using a binaural encoder. At this time, a 7-channel based surround layer binaural encoding may be performed by including 2 channels corresponding to the adjacent stereo layer in the surround layer.

이 때, 서라운드 레이어는, 5개의 스피커들을 포함하는 구조에 상응할 수 있다. 이 때, 서라운드 레이어 바이노럴 출력은 서라운드 레이어 상에 위치하는 바이노럴 포인트에 상응할 수 있다. 만약, 청취자가 서라운드 레이어의 중심에 위치하는 기준 청취점에서 소리를 듣고 있다고 가정할 경우, 마치 서라운드 레이어 상의 바이노럴 포인트에서 소리가 나는 것처럼 바이노럴 인코딩하여 서라운드 레이어 바이노럴 출력을 생성할 수 있다. 이 때, 서라운드 레이어는 서라운드 효과에 상응하는 서라운드 이미지를 만드는 요소에 상응하는 것으로, 평면 형태에 한정되지 않을 수 있다.At this time, the surround layer may correspond to a structure including five speakers. At this time, the surround layer binaural output may correspond to a binaural point located on the surround layer. If it is assumed that the listener is listening to the sound at the reference listening point located at the center of the surround layer, the surround layer binaural output is generated by performing binaural encoding as if it is sounding at the binaural point on the surround layer. Can be. At this time, the surround layer corresponds to an element that creates a surround image corresponding to the surround effect, and may not be limited to a planar shape.

이 때, 서라운드 레이어 바이노럴 출력은 2채널에 상응하게 출력될 수 있다. 또한, 서라운드 레이어 바이노럴 출력에 상응하는 2채널은 각각 레프트 채널과 라이트 채널에 상응할 수 있다.At this time, the surround layer binaural output may be output corresponding to 2 channels. Also, two channels corresponding to the surround layer binaural output may correspond to the left channel and the right channel, respectively.

이 때, 서라운드 레이어의 채널은 5채널 또는 7채널에 한정되지 않는다. 또한, 서라운드 레이어는 사각형 평면 형태로 한정되지 않고 선의 두께, 평면 모양의 형태 및 기준 청취점으로부터의 거리 등 다양한 형태로 표현 가능하다. At this time, the channel of the surround layer is not limited to 5 or 7 channels. In addition, the surround layer is not limited to a rectangular flat shape, and can be expressed in various shapes such as line thickness, flat shape, and distance from a reference listening point.

다른 예를 들어, 스테레오 버스(Stereo Bus)를 기반으로 2채널의 근접용 스테레오 레이어에 상응하게 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성할 수 있다. 즉, 평면 레이어 오디오 출력에 상응하는 스테레오 신호는 2채널 기반의 스테레오 오디오를 프로세싱함으로써 생성된 출력에 상응할 수 있고, 2채널에 상응하게 출력될 수 있다. For another example, based on a stereo bus, audio processing may be performed corresponding to a stereo channel for two channels of proximity to generate a flat layer audio output. That is, the stereo signal corresponding to the flat layer audio output may correspond to the output generated by processing the two-channel based stereo audio, and may be output corresponding to the two channels.

이 때, 근접용 스테레오 레이어는 스테레오 효과에 상응하는 스테레오 이미지를 만드는 요소에 상응하는 것으로, 서라운드 레이어의 일부로 포함되어 나타낼 수도 있다. In this case, the stereo layer for proximity corresponds to an element that creates a stereo image corresponding to the stereo effect, and may be included as part of the surround layer.

예를 들어, 5개의 스피커들에 기반한 서라운드 레이어 상에 2개의 스피커들에 상응하는 근접용 스테레오 레이어를 포함시켜 총 7개의 스피커들을 포함하는 레이어 구조로 나타낼 수도 있다. For example, a proximity stereo layer corresponding to two speakers may be included on a surround layer based on 5 speakers to represent a layer structure including a total of 7 speakers.

이 때, 근접용 스테레오 레이어는 서라운드 레이어 상에 위치하는 기준 청취점으로부터 근접한 거리에 배치될 수 있다. 또는, 기준 청취점의 좌우 사이드 스피커로써 근접용 스테레오 레이어를 사용할 수도 있다.At this time, the stereo layer for proximity may be disposed at a distance close to the reference listening point located on the surround layer. Alternatively, a stereo layer for proximity may be used as the left and right side speakers of the reference listening point.

이 때, 근접용 스테레오 레이어에 상응하게 출력되는 스테레오 신호는 바이노럴 인코딩에 사용되는 공간 파라미터로는 연출하기 어려운 댐핑(damping)감을 제공할 수 있다. 따라서, 본 발명의 일실시예에 따른 바이노럴 스테레오 출력은 바이노럴 인코딩에 의한 이머시브(immersive) 효과를 제공함과 동시에 댐핑감을 제공할 수도 있다.At this time, the stereo signal output corresponding to the stereo layer for proximity may provide a damping feeling that is difficult to produce with spatial parameters used for binaural encoding. Accordingly, the binaural stereo output according to an embodiment of the present invention may provide an immersive effect by binaural encoding and a damping feeling.

이와 같이, 서라운드 레이어 바이노럴 출력에 상응하는 평면 레이어 오디오 출력이나 스테레오 신호에 상응하는 평면 레이어 오디오 출력은 3차원 레이어 바이노럴 출력과 비교하였을 때, 단지 상이한 음향 효과를 포함하는 출력에 해당하는 것일 수 있다. 즉, 평면 레이어 오디오 출력은 3차원 레이어에 상응하는 출력이 아니어도 3차원 레이어 바이노럴 출력보다 다양한 값을 포함할 수도 있다.As such, the flat layer audio output corresponding to the surround layer binaural output or the flat layer audio output corresponding to the stereo signal corresponds to an output including only different sound effects when compared to the 3D layer binaural output. May be That is, the flat layer audio output may include various values than the 3D layer binaural output even if the output does not correspond to the 3D layer.

이 때, 평면 레이어는 3차원 큐빅에 상응하는 4개의 업채널들과 4개의 다운채널들 사이에 위치할 수 있다.At this time, the planar layer may be located between four up-channels and four down-channels corresponding to the three-dimensional cubic.

예를 들어, 본 발명의 일실시예에 따른 평면 레이어에 상응하는 서라운드 레이어와 근접용 스테레오 레이어는 3차원 바이노럴 레이어에 상응하는 3차원 큐빅에 포함된 4개의 업채널들과 4개의 다운채널들 사이에 위치할 수 있다.For example, the surround layer corresponding to the planar layer and the stereo layer for proximity according to an embodiment of the present invention include four up-channels and four down-channels included in the three-dimensional cubic corresponding to the three-dimensional binaural layer. It can be located between.

이 때, 4개의 업채널들은 3차원 큐빅의 상단에 위치하는 4개의 스피커들에 해당할 수 있고, 4개의 다운채널들은 3차원 큐빅의 하단에 위치하는 4개의 스피커들에 해당할 수 있다.At this time, the four up channels may correspond to the four speakers located at the top of the three-dimensional cubic, and the four down channels may correspond to the four speakers located at the bottom of the three-dimensional cubic.

즉, 평면 레이어는 3차원 큐빅에 상응하는 육면체의 높이 범위 내에 위치할 수 있다. That is, the planar layer may be located within the height range of the cube corresponding to the three-dimensional cubic.

따라서, 서라운드 레이어나 근접용 스테레오 레이어에 포함되는 각각의 스피커들도 3차원 큐빅에 포함된 4개의 업채널들과 4개의 다운채널들 사이에 위치할 수 있다.Accordingly, each speaker included in the surround layer or the adjacent stereo layer can also be located between four up-channels and four down-channels included in the three-dimensional cubic.

또한, 프로세서(1920)는 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타낸다.In addition, the processor 1920 visually displays a level meter signal for each of the 3D layer binaural output and the flat layer audio output based on the multi-channel visualization interface.

종래의 바이노럴 사운드에 대한 레벨 정보는 공간 안에서 레벨을 표현해야하기 때문에 직관적인 방법으로 표현이 불가능하였다. 따라서, 전후 또는 좌우와 같이 2개의 공간으로 분할하여 레벨 미터를 제공하고 있지만 이러한 방식은 채널 별로 레벨을 표시하기 때문에 다수의 채널 사용시에는 어떤 포지션의 스피커인지 직관적으로 분간하기 어렵다는 문제점이 존재하였다.The level information for the conventional binaural sound has to be expressed in a space, so it was impossible to express the level in an intuitive way. Therefore, although the level meter is provided by dividing into two spaces, such as front and rear or left and right, since this method displays the level for each channel, there is a problem in that it is difficult to intuitively discern which speaker is in which position when using multiple channels.

따라서, 본 발명에서는 바이노럴 사운드와 일반적인 오디오 사운드를 함께 효과적으로 표현하기 위한 멀티 채널 비주얼라이제이션 방법을 제공하고자 한다.Accordingly, the present invention is to provide a multi-channel visualization method for effectively expressing binaural sound and general audio sound together.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응할 수 있다. At this time, the multi-channel visualization interface may correspond to the shape of a sphere including at least one of level information, spatial information, and head tracking information.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 일반적인 레벨도 표시하면서 동시에 시각적인 효과도 제공할 수 있다.At this time, the multi-channel visualization interface can display a general level while also providing a visual effect.

예를 들어, 도 3을 참조하면, 멀티 채널 비주얼라이제이션 인터페이스에 상응하는 구는 마치 우주를 형상화한 플라즈마 볼의 형태에 상응할 수 있다. For example, referring to FIG. 3, a sphere corresponding to a multi-channel visualization interface may correspond to the shape of a plasma ball shaped like a universe.

이 때, 핵에 해당하는 부분은 사용자의 위치를 나타내는 기준 청취점(300)에 해당할 수 있다. At this time, the portion corresponding to the nucleus may correspond to the reference listening point 300 indicating the location of the user.

또한, 구의 경도에 상응하게 3차원 바이노럴 레이어(310)의 스피커 위치 나타낼 수 있다. 이 때, 도 4에 도시된 것과 같이 구의 상반구를 분할하여 3차원 바이노럴 레이어(310)의 업채널(411~414)들을 나타낼 수 있고, 구의 하반구를 분할하여 3차원 바이노럴 레이어(310)의 다운채널(421~424)들을 나타낼 수 있다. 즉, 업채널(411~414)는 각각 Rear Upper Left, Front Upper Left, Front Upper Right, Rear Upper Right를 의미할 수 있고, 다운채널(421~424)는 각각 Rear Lower Left, Front Lower Left, Front Lower Right, Rear Lower Right를 의미할 수 있다.In addition, the speaker position of the 3D binaural layer 310 may be represented according to the hardness of the sphere. At this time, as shown in FIG. 4, the upper hemisphere of the sphere may be divided to represent up channels 411 to 414 of the 3D binaural layer 310, and the lower hemisphere of the sphere may be divided to form a 3D binaural layer. The down channels 421 to 424 of 310 may be represented. That is, the up channels 411 to 414 may mean Rear Upper Left, Front Upper Left, Front Upper Right, and Rear Upper Right, respectively, and the down channels 421 to 424 are Rear Lower Left, Front Lower Left, and Front, respectively. Lower Right, Rear Lower Right.

또한, 구의 적도선 상 위치에 상응하게 서라운드 레이어(320)의 스피커 위치를 나타낼 수 있다. 즉, 도 4에 도시된 것과 같이 서라운드 스피커(431~435)를 배치할 수 있고, 서라운드 스피커(431~435)는 각각 Center, Left Side Surround, Left Surround, Right Surround, Right Side Surround를 의미할 수 있다. In addition, the speaker position of the surround layer 320 may correspond to the position on the equator of the sphere. That is, as shown in FIG. 4, surround speakers 431 to 435 may be arranged, and surround speakers 431 to 435 may mean Center, Left Side Surround, Left Surround, Right Surround, Right Side Surround, respectively. have.

또한, 마치 토성의 꼬리와 같은 링을 기반으로 근접용 스테레오 레이어(330)의 레벨을 나타낼 수도 있다. 이 때, 도 4에 도시된 것과 같이 스테레오 레이어(330)의 스테레오 스피커(441, 442)를 적도선 상 위치에 배치함으로써 7채널에 상응하는 서라운드 레이어를 구성할 수도 있다.In addition, the level of the proximity stereo layer 330 may be represented based on a ring like Saturn's tail. At this time, as shown in FIG. 4, the surround layers corresponding to 7 channels may be configured by disposing the stereo speakers 441 and 442 of the stereo layer 330 at positions on the equator.

이 때, 멀티 채널 비주얼라이제이션 인터페이스를 기반으로 서브우퍼 레이어에 상응하는 서브우퍼 출력에 대한 레벨 미터 신호를 3차원 레이어 바이노럴 출력 및 평면 레이어 바이노럴 출력 각각에 대한 레벨 미터 신호와 함께 시각적으로 나타낼 수 있다. At this time, based on the multi-channel visualization interface, the level meter signal for the subwoofer output corresponding to the subwoofer layer is visually displayed together with the level meter signal for each of the 3D layer binaural output and the flat layer binaural output. You can.

예를 들어, 서브우퍼 출력은 LFE 버스(Low Frequency Effects Bus)를 기반으로 서브우퍼 레이어에 포함된 단일 채널 또는 2채널의 신호를 오디오 프로세싱함으로써 생성될 수 있다. 즉, 서브우퍼 출력은 단일 채널 또는 2채널 기반의 오디오를 프로세싱함으로써 생성된 출력에 상응할 수 있고, 단일 채널 또는 2채널에 상응할 수 있다. For example, the subwoofer output may be generated by audio processing a signal of a single channel or two channels included in a subwoofer layer based on an LFE bus (Low Frequency Effects Bus). That is, the subwoofer output may correspond to an output generated by processing a single channel or two-channel based audio, and may correspond to a single channel or two channels.

예를 들어, 서브우퍼 레이어는 5.1 채널, 7.1 채널 및 11.1 채널과 같이 단일 채널에 상응하거나, 10.2 채널 및 22.2 채널과 같이 2채널에 상응할 수도 있다.For example, the subwoofer layer may correspond to a single channel such as 5.1 channels, 7.1 channels and 11.1 channels, or may correspond to 2 channels such as 10.2 channels and 22.2 channels.

도 3을 참조하면, 구의 남극점을 기반으로 서브우퍼 레이어(340)의 레벨을 나타낼 수 있다. 예를 들어, 도 4에 도시된 것과 같이 서브우퍼 스피커(450)에 상응하는 영역을 표시할 수 있고, 해당 영역이 핵을 향하는 방향으로 증가함으로써 레벨의 크기를 나타낼 수 있다. Referring to FIG. 3, the level of the subwoofer layer 340 may be indicated based on the antarctic point of the sphere. For example, as shown in FIG. 4, an area corresponding to the subwoofer speaker 450 may be displayed, and the level of the level may be indicated by increasing the area toward the nucleus.

또한, 구의 북극점을 기반으로 헤드 트래킹 정보(350)를 나타낼 수도 있다. 이 때, 도 3 및 도 4에는 도시하지 아니하였으나, 헤드 트래킹 정보는 헤드 트래킹 데이터를 받아 나침반 모양으로 전면과 후면의 위치를 항상 지시하도록 설정될 수 있다.Also, the head tracking information 350 may be displayed based on the arctic point of the sphere. At this time, although not shown in FIGS. 3 and 4, the head tracking information may be set to always indicate the positions of the front and rear surfaces in the form of a compass by receiving head tracking data.

이 때, 헤드 트래킹 정보(350)에 따라 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구가 회전할 수 있으므로, 사용자는 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구를 드래그하면서 헤드 트래킹을 설정할 수도 있다.At this time, since the sphere corresponding to the multi-channel visualization interface may rotate according to the head tracking information 350, the user may set the head tracking while dragging the sphere corresponding to the multi-channel visualization interface.

또한, 도 3에는 도시하지 아니하였으나, 구의 경도 상 위치로부터 핵으로 향하는 유성 형태를 기반으로 오브젝트 레이어를 표현할 수도 있다.In addition, although not shown in FIG. 3, the object layer may be expressed based on the meteor shape from the position on the sphere to the nucleus.

또한, 사운드 이펙트에 기반한 룸 사이즈 또는 리버브 설정에 따라 도 3에 도시된 플라즈마 볼의 투명도나 사이즈가 변경될 수도 있다. 이 때, 서브우퍼 레이어(340)의 기반한 서브우퍼 출력의 레벨에 따라서 남극점으로부터 빛이 발산될 수 있는데, 발산되는 빛의 색상에 따라서 룸을 표현하는 투명도의 색상도 변경될 수 있다. In addition, the transparency or size of the plasma ball shown in FIG. 3 may be changed according to a room size or reverb setting based on a sound effect. At this time, light may be emitted from the Antarctic point according to the level of the subwoofer output based on the subwoofer layer 340, and the color of the transparency representing the room may be changed according to the color of the emitted light.

이 때, 3차원 바이노럴 레이어를 구의 표현에서 청취점에 해당하는 구의 중심으로 향하는 제1 플라즈마로 표현할 수 있다. At this time, the 3D binaural layer may be expressed as a first plasma directed from the representation of the sphere to the center of the sphere corresponding to the listening point.

예를 들어, 도 5 내지 도 6에 도시된 것과 같이, 3차원 레이어 바이노럴 출력의 레벨 미터 신호를 기반으로 제1 플라즈마(510, 610)를 생성하여 멀티 채널 비주얼라이제이션 인터페이스에 출력해줄 수 있다. For example, as illustrated in FIGS. 5 to 6, the first plasmas 510 and 610 may be generated based on the level meter signal of the 3D layer binaural output, and output to the multi-channel visualization interface.

이 때, 구의 상반구 표면을 4분할한 4개의 상반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 업채널들에 상응하고, 구의 하반구 표면을 4분할한 4개의 하반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 다운채널들에 상응할 수 있다.At this time, the four upper hemisphere surface fragments that divided the sphere's upper hemisphere surface into four correspond to the four upchannels corresponding to the three-dimensional binaural layer, and the four lower hemisphere surface fragments that divided the sphere's lower hemisphere surface into four These may correspond to four down-channels corresponding to a three-dimensional binaural layer.

예를 들어, 도 7에 도시된 것과 같이 멀티 채널 비주얼라이제이션 인터페이스에 상응하는 구의 표면을 8분할하여 3차원 바이노럴 레이어에 상응하는 8개의 채널들을 표현할 수 있다.For example, as shown in FIG. 7, the surface of the sphere corresponding to the multi-channel visualization interface may be divided into 8 to represent 8 channels corresponding to the 3D binaural layer.

이 때, 제1 플라즈마의 이동 방향, 제1 플라즈마의 두께, 제1 플라즈마의 깊이, 제1 플라즈마의 굴곡 및 제1 플라즈마의 색상 중 적어도 하나를 기반으로 3차원 바이노럴 레이어에 상응하는 시간의 흐름, 채널 주파수 및 레벨 크기 중 적어도 하나를 표현할 수 있다. At this time, based on at least one of the movement direction of the first plasma, the thickness of the first plasma, the depth of the first plasma, the curvature of the first plasma, and the color of the first plasma, the time corresponding to the 3D binaural layer At least one of flow, channel frequency, and level size may be represented.

이 때, 도 8은 구의 북극점을 기준으로 도 7과 같이 분할된 멀티 채널 비주얼라이제이션 인터페이스를 나타낸 것이고, 도 9는 구의 남극점을 기준으로 도 7과 같이 분할된 멀티 채널 비주얼라이제이션 인터페이스를 나타낸 것이다. 이 때, 도 8과 도 9에 도시된 화살표는 각각의 업채널(810~840)과 다운채널(910~940)에서 시간이 흐르는 방향을 의미할 수 있다. At this time, FIG. 8 shows a multi-channel visualization interface divided as shown in FIG. 7 based on the north pole of the sphere, and FIG. 9 shows a multi-channel visualization interface divided as shown in FIG. 7 based on the south pole of the sphere. At this time, the arrows illustrated in FIGS. 8 and 9 may indicate a direction in which time passes in the up channels 810 to 840 and the down channels 910 to 940, respectively.

이 때, 도 10에 도시된 것과 같이 하나의 업채널(820)을 기준으로 설명하면, 업채널(820)에 상응하는 표면 조각의 X축은 시간값, Y축은 주파수를 의미할 수 있다. 예를 들어, 업채널(820)에서는 H=G=20Hz, D=C=20kHz에 상응할 수 있으며 스펙트럼 아날라이저 형식으로 레벨이 분리될 수 있다. At this time, as described with reference to one up-channel 820 as illustrated in FIG. 10, the X-axis of the surface fragment corresponding to the up-channel 820 may be a time value, and the Y-axis may mean frequency. For example, in the up channel 820, H=G=20Hz, D=C=20kHz, and the level may be separated in a spectrum analyzer format.

예를 들어, 상기의 결과를 대입해보면, 도 11에 도시된 것과 같이 제1 플라즈마(1110)의 주파수 스펙트럼이 표현될 수 있다. 이 때, 제1 플라즈마(1110)에 상응하는 주파수 스펙트럼은 도 10과 같이 H에서 G로 흐르는 것처럼 이동할 수 있다. 즉, 업채널(810~840)과 다운채널(910~940)에서는 각 채널에 상응하는 시간의 흐름 방향에 주파수 스펙트럼이 이동할 수 있다.For example, by substituting the above result, the frequency spectrum of the first plasma 1110 may be expressed as shown in FIG. 11. At this time, the frequency spectrum corresponding to the first plasma 1110 may move as if flowing from H to G as shown in FIG. 10. That is, in the up-channels 810 to 840 and the down-channels 910 to 940, the frequency spectrum may move in the direction of time corresponding to each channel.

또한, 제1 플라즈마(1110)에 상응하는 주파수 스펙트럼은 구의 표면에서 기준 청취점(1100)에 해당하는 핵의 방향으로도 흐르는 것처럼 이동할 수 있는데, 이 때의 깊이 값은 3차원 바이노럴 레벨(1130), 즉 라우드니스(Loudness)를 의미할 수 있다. 즉, 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스를 통해 3차원 바이노럴 레이어 출력 레벨에 상응하는 시간, 주파수, 라우드니스를 동시에 표현할 수 있다.In addition, the frequency spectrum corresponding to the first plasma 1110 may move as if flowing in the direction of the nucleus corresponding to the reference listening point 1100 on the surface of the sphere, and the depth value at this time is the 3D binaural level ( 1130), that is, it may mean Loudness. That is, the time, frequency, and loudness corresponding to the 3D binaural layer output level can be simultaneously expressed through the multi-channel visualization interface according to the present invention.

이 때, 주파수 스펙트럼에서 최대값이 되는 주파수를 펀다멘탈(Fundamental)로 처리하여 제1 플리즈마(1110)의 굴곡(1120)을 형성할 수도 있다. 따라서, 주파수 스펙트럼의 주파수를 기반으로 굴곡(1120)의 방향도 결정되어 표현될 수 있다. At this time, the frequency that becomes the maximum value in the frequency spectrum may be processed as fundamental to form a curve 1120 of the first plasma 1110. Accordingly, the direction of the bend 1120 may also be determined and expressed based on the frequency of the frequency spectrum.

또한, 특정한 레벨 이상의 신호가 입력되는 경우에는 제1 플라즈마(1110)의 두께를 두껍게 하거나 또는 제1 플라즈마(1110)의 색상에 변화를 줌으로써 신호의 값을 직관적으로 나타낼 수도 있다.In addition, when a signal having a specific level or more is input, the thickness of the first plasma 1110 may be thickened or the color of the first plasma 1110 may be changed to intuitively represent the signal value.

이 때, 서라운드 레이어를 구의 적도 상에서 구의 중심으로 향하는 제2 플라즈마로 표현할 수 있다. At this time, the surround layer can be expressed as a second plasma directed toward the center of the sphere on the equator of the sphere.

예를 들어, 도 12에 도시된 것과 같이, 서라운드 레이어 바이노럴 출력의 레벨 미터 신호를 기반으로 제2 플라즈마(1210~1250)를 생성하여 멀티 채널 비주얼라이제이션 인터페이스에 출력해줄 수 있다. For example, as illustrated in FIG. 12, second plasmas 1210 to 1250 may be generated and output to a multi-channel visualization interface based on a level meter signal of a surround layer binaural output.

이 때, 제2 플라즈마의 위치, 제2 플라즈마의 두께, 제2 플라즈마의 깊이 및 제2 플라즈마의 색상 중 적어도 하나를 기반으로 서라운드 레이어에 상응하는 채널의 위치 및 레벨 크기 중 적어도 하나를 표현할 수 있다. At this time, based on at least one of the position of the second plasma, the thickness of the second plasma, the depth of the second plasma, and the color of the second plasma, at least one of the position and level size of the channel corresponding to the surround layer may be expressed. .

즉, 도 12에 도시된 제2 플라즈마(1210~1250)의 위치는 평면 서라운드 포맷에서 제공하는 스피커의 위치에 상응할 수 있으며, 제2 플라즈마의(1210~1250) 두께 또는 깊이는 레벨 크기에 상응할 수 있다. 또한, 제2 플라즈마(1210~1250)도 제1 플라즈마와 유사하게 특정 레벨 이상의 신호가 입력되는 경우에는 제2 플라즈마(1210~1250)의 색상에 변화를 줌으로써 신호의 값을 직관적으로 나타낼 수 있다.That is, the position of the second plasma 1210 to 1250 shown in FIG. 12 may correspond to the position of the speaker provided in the flat surround format, and the thickness or depth of the second plasma (1210 to 1250) corresponds to the level size can do. In addition, when the signals of a specific level or more are input similar to the first plasma, the second plasma 1210 to 1250 may intuitively represent the signal values by changing the color of the second plasma 1210 to 1250.

이 때, 근접용 스테레오 레이어를 구의 중심에서 구의 표면의 방향으로 두께가 증가하는 링(Ring)으로 표현할 수 있다. In this case, the stereo layer for proximity can be expressed as a ring whose thickness increases from the center of the sphere to the surface of the sphere.

예를 들어, 도 13에 도시된 것과 같이, 평면 레이어 오디오 출력의 레벨 미터 신호를 기반으로 기준 청취점(1300)에 상응하는 핵에 근접한 링(1310)을 생성하여 멀티 채널 비주얼라이제이션 인터페이스에 출력해줄 수 있다.For example, as shown in FIG. 13, a ring 1310 close to the nucleus corresponding to the reference listening point 1300 may be generated and output to a multi-channel visualization interface based on the level meter signal of the flat layer audio output. have.

이 때, 링의 좌측 두께는 근접용 스테레오 레이어의 레프트 채널에 대한 레벨 크기에 상응하고, 링의 우측 두께는 근접용 스테레오 레이어의 라이트 채널에 대한 레벨 크기에 상응할 수 있다. At this time, the left thickness of the ring may correspond to the level size for the left channel of the proximity stereo layer, and the right thickness of the ring may correspond to the level size for the light channel of the proximity stereo layer.

즉, 도 13에 도시된 링(1310)의 좌측 두께를 통해 레프트 채널(1311)의 오디오 레벨 크기를 표현하고, 링(1310)의 우측 두께를 통해 라이트 채널(1312)의 오디오 레벨 크기를 표현할 수 있다. 이 때, 레벨의 크기가 커질수록, 링(1310)의 두께가 구의 중심부터 시작하여 바깥쪽으로 점점 두꺼워질 수 있다.That is, the audio level size of the left channel 1311 can be expressed through the left thickness of the ring 1310 illustrated in FIG. 13, and the audio level size of the light channel 1312 can be expressed through the right thickness of the ring 1310. have. At this time, as the size of the level increases, the thickness of the ring 1310 may be gradually thickened to the outside starting from the center of the sphere.

이 때, 본 발명에 따른 멀티 채널 비주얼라이제이션 인터페이스는 피크(Peak)가 발생하는 경우, 기준 청취점(1300)의 색상을 변경함으로써 사용자에게 바이노럴 컨텐츠에 피크 신호가 존재함을 직관적으로 알릴 수도 있다.At this time, the multi-channel visualization interface according to the present invention may intuitively inform the user that the peak signal is present in the binaural content by changing the color of the reference listening point 1300 when a peak occurs. .

이 때, 서브우퍼 레이어를 구의 남극점을 기준으로 증가하는 높이 값에 상응하게 표현할 수 있다. At this time, the subwoofer layer can be expressed in correspondence with an increasing height value based on the antarctic point of the sphere.

예를 들어, 도 14에 도시된 것과 같이, 서브우퍼 출력의 레벨 미터 신호를 기반으로 구의 남극점으로부터 서브우퍼 레이어(1410)에 상응하는 서브우퍼 레벨(1420)을 표현할 수 있다. For example, as illustrated in FIG. 14, the subwoofer level 1420 corresponding to the subwoofer layer 1410 may be expressed from the south pole of the sphere based on the level meter signal of the subwoofer output.

만약, 두 개의 서브우퍼를 사용하는 경우, 도 15에 도시된 것처럼 전후 방식(1510)에 상응하게 서브우퍼 레이어를 표현하거나, 또는 좌우 방식(1520)에 상응하게 서브우퍼 레이어를 표현할 수도 있다. 이 때, 도 15에 도시된 서브우퍼 레이어는 구의 북극점 또는 남극점을 기준으로 나타낸 것일 수 있다. If two subwoofers are used, the subwoofer layer may be represented in the front-rear method 1510 as illustrated in FIG. 15, or the subwoofer layer may be represented in the left-right method 1520. In this case, the subwoofer layer illustrated in FIG. 15 may be represented based on the north pole or the south pole of the sphere.

이 때, 오브젝트 레이어를 구의 표면에서 구의 중심으로 향하는 유성 형태로 표현하되, 오브젝트 레이어의 레벨 크기는 유성의 크기 및 꼬리의 길이에 비례할 수 있다. At this time, the object layer is expressed in the form of a meteor from the surface of the sphere toward the center of the sphere, but the level of the object layer may be proportional to the size of the meteor and the length of the tail.

예를 들어, 도 17에 도시된 것과 같이, 오브젝트 출력의 레벨 미터 신호와 오브젝트 출력의 좌표값에 따라 구의 표면 중 좌표값에 해당하는 부분에 유성의 형태로 오브젝트 레이어(1710)를 표현할 수 있다.For example, as illustrated in FIG. 17, the object layer 1710 may be expressed in the form of a meteor in a portion corresponding to the coordinate value of the surface of the sphere according to the level meter signal of the object output and the coordinate value of the object output.

이 때, 오프젝트 출력이 재생되는 동안에는 유성이 구의 표면에 머무르다가, 재생이 완료되는 경우에 기준 청취점에 해당하는 핵의 방향으로 날라가다 소멸되는 방식으로 표현될 수 있다.At this time, it can be expressed in such a way that the meteor stays on the surface of the sphere while the object output is being regenerated, and then, when the regeneration is completed, is blown away in the direction of the nucleus corresponding to the reference listening point.

또한, 프로세서(1920)는 구의 북극점을 기반으로 헤드 트래킹 정보를 표현할 수 있다. Also, the processor 1920 may express head tracking information based on the arctic point of the sphere.

이 때. 헤드 트래킹 정보는 센서 입력 기반의 자동 헤드 트래킹 및 사용자 입력 기반의 수동 헤드 트래킹 중 어느 하나에 상응하게 입력될 수 있다.At this time. The head tracking information may be input corresponding to any one of automatic head tracking based on sensor input and manual head tracking based on user input.

이 때, 자동 헤드 트래킹의 경우, 별도의 헤드 트래킹 모듈을 통해 사용자나 청취자의 머리 움직임을 트래킹한 데이터를 획득될 수 있다.In this case, in the case of automatic head tracking, data tracking the head movement of a user or a listener may be obtained through a separate head tracking module.

예를 들어, 사용자나 청취자가 헤드 트래킹 모듈을 직접 착용한 상태에서 머리를 움직이면, 헤드 트래킹 모듈에 장착된 가속 센서, 3축 자이로 센서가 사용자의 머리가 움직인 거리나 각도 등을 측정하여 자동 헤드 트래킹 데이터로 생성하고 전송할 수 있다.For example, if a user or a listener moves the head while wearing the head tracking module directly, the acceleration sensor mounted on the head tracking module and the 3-axis gyro sensor measure the distance or angle of the user's head movement, and then the automatic head. It can be created and transmitted as tracking data.

또한, 수동 헤드 트래킹 경우, 별도의 헤드 트래킹 인터페이스에 기반한 사용자 입력에 상응하게 데이터를 획득될 수 있다.In addition, in the case of manual head tracking, data may be acquired corresponding to a user input based on a separate head tracking interface.

예를 들어, 수동 헤드 트래킹 정보는 사용자나 청취자가 헤드 트래킹 인터페이스를 통해 인위적으로 부여할 수도 있다. 즉, 사용자나 청취자가 인위적으로 공간 이미지를 회전시키기 위해, 헤드 트래킹 모듈에 의한 자동 헤드 트래킹 데이터의 수신 여부와 상관없이 헤드 트래킹 인터페이스를 기반으로 헤드 트래킹 데이터를 입력할 수도 있다. 이 때, 사용자나 청취자는 멀티레이어 바이노럴 컨텐츠를 생성하는 믹싱과정 또는 입력되는 정보에 따라 변화하는 멀티레이어 바이노럴 컨텐츠를 청취하면서 수동으로 헤드 트래킹 데이터를 입력 및 수정할 수도 있다.For example, manual head tracking information may be artificially provided by a user or a listener through the head tracking interface. That is, in order to artificially rotate a spatial image by a user or a listener, head tracking data may be input based on the head tracking interface regardless of whether automatic head tracking data is received by the head tracking module. At this time, the user or the listener may manually input and modify the head tracking data while listening to the mixing process of generating the multilayered binaural content or the changing multilayered binaural content according to the input information.

예를 들어, 도 17에 도시된 것과 같이, 멀티 채널 비주얼라이제이션 인터페이스에서 구의 북극 영역에 나침반의 형태로 방향을 알 수 있는 헤드 트래킹 인터페이스(1610)를 나타내고, 헤드 트래킹 인터페이스(1610)는 항상 전면의 방향을 바라보도록 설정될 수 있다.For example, as shown in FIG. 17, in the multi-channel visualization interface, the head tracking interface 1610 indicating the direction in the form of a compass is shown in the arctic region of the sphere, and the head tracking interface 1610 is always in the front direction. It can be set to look at.

이 때, 멀티 채널 비주얼라이제이션 인터페이스는 헤드 트래킹 정보에 상응하게 회전될 수 있다. At this time, the multi-channel visualization interface can be rotated corresponding to the head tracking information.

예를 들어, 헤드 트래킹 정보가 입력되면, 헤드의 방향에 따라 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구 전체가 회전할 수 있다.For example, when the head tracking information is input, the entire sphere corresponding to the multi-channel visualization interface may rotate according to the direction of the head.

이 때, 멀티 채널 비주얼라이제이션 인터페이스에 해당하는 구는 헤드 트래킹 정보에 따라 팬(Pan), 틸트(tilt) 및 롤(roll) 중 적어도 하나의 회전 파라미터에 상응하게 회전될 수 있다.At this time, the sphere corresponding to the multi-channel visualization interface may be rotated according to at least one rotation parameter of a pan, tilt, and roll according to head tracking information.

또한, 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 인터페이스는 사용자의 터치를 통해서 구를 회전시킬 수 있으며, 그에 따라 사운드의 방향성도 동등하게 가질 수 있다.In addition, the multi-channel visualization interface according to an embodiment of the present invention can rotate a sphere through a user's touch, and accordingly, may have equal directionality of sound.

메모리(1930)는 상술한 바와 같이 본 발명의 일실시예에 따른 멀티 채널 비주얼라이제이션 과정에서 발생되는 다양한 정보를 저장한다. The memory 1930 stores various information generated in a multi-channel visualization process according to an embodiment of the present invention as described above.

실시예에 따라, 메모리(1930)는 멀티 채널 비주얼라이제이션을 제공하는 단말 장치와 독립적으로 구성되어 멀티 채널 비주얼라이제이션 기능을 지원할 수 있다. 이 때, 메모리(1930)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the memory 1930 may be configured independently of a terminal device providing multi-channel visualization to support a multi-channel visualization function. At this time, the memory 1930 may operate as a separate mass storage, and may include a control function for performing the operation.

한편, 단말 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, a terminal device is equipped with a memory and can store information in the device. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in other implementations, the memory may be a non-volatile memory unit. In one embodiment, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 단말 장치는 기반으로 이머시브(Immersive) 레벨의 사운드를 효과적이며 직관적으로 표현할 수 있는 멀티 채널 비주얼라이제이션 인터페이스를 제공할 수 있다.Based on such a terminal device, a multi-channel visualization interface capable of effectively and intuitively expressing an immersive level sound can be provided.

또한, 하나의 화면에서 이머시브 레벨, 평면 서라운드 레벨, 스테레오 레벨 및 서브우퍼 레벨을 표현할 수 있으며, 이머시브 공간에서도 사운드의 위치와 레벨을 명확하게 표현할 수도 있다.In addition, the immersive level, the flat surround level, the stereo level, and the subwoofer level can be expressed in one screen, and the position and level of the sound can be clearly expressed in the immersive space.

본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Embodiments of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable on a computer are recorded. When computer readable instructions are executed by a processor, computer readable instructions may perform a method in accordance with at least one aspect of the present invention.

이상에서와 같이 본 발명에 따른 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the multi-channel visualization method according to the present invention and the program for the same are not limited to the configuration and method of the above-described embodiments, and the above embodiments are implemented so that various modifications can be made. All or some of the examples may be configured by selectively combining.

100: 멀티 채널 비주얼라이제이션 모듈
300, 1100, 1300, 1400: 기준 청취점
310: 3차원 바이노럴 레이어 320: 서라운드 레이어
330: 근접용 스테레오 레이어 340, 1410: 서브우퍼 레이어
350: 헤드 트래킹 정보 411~414, 810~840: 업채널
421~424, 910~940: 다운채널 431~435: 서라운드 스피커
441, 442: 스테레오 스피커 450: 서브우퍼 스피커
460: 방향 성분 510, 610, 1110: 제1 플라즈마
1120: 굴곡 1130: 3차원 바이노럴 레벨
1210~1250: 제2 플라즈마 1310: 링
1311: 레프트 채널 1312: 라이트 채널
1420: 서브우퍼 레벨 1510: 전후 방식
1520: 좌우 방식 1610: 헤드 트래킹 인터페이스
1710: 오브젝트 레이어 1810: 플라즈마 발생 빈도 조절 메뉴
1820: 플라즈마 시간 조절 메뉴 1830: 플라즈마 색상 조절 메뉴
1910: 통신부 1920: 프로세서
1930: 메모리100: multi-channel visualization module
300, 1100, 1300, 1400: Reference listening point
310: 3D binaural layer 320: Surround layer
330: proximity stereo layer 340, 1410: subwoofer layer
350: head tracking information 411~414, 810~840: up channel
421~424, 910~940: Down channel 431~435: Surround speaker
441, 442: stereo speaker 450: subwoofer speaker
460: fragrance components 510, 610, 1110: first plasma
1120: winding 1130: 3D binaural level
1210~1250: Second plasma 1310: Ring
1311: left channel 1312: light channel
1420: subwoofer level 1510: front and rear
1520: Left and right way 1610: Head tracking interface
1710: object layer 1810: plasma generation frequency adjustment menu
1820: plasma time adjustment menu 1830: plasma color adjustment menu
1910: Communication unit 1920: Processor
1930: Memory

Claims (20)

3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성하는 단계;
멀티 채널 비주얼라이제이션 인터페이스를 기반으로 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타내는 단계를 포함하고,
상기 생성하는 단계는
서브우퍼 레이어에 상응하는 서브우퍼 출력을 생성하는 단계를 포함하고,
상기 멀티 채널 비주얼라이제이션 인터페이스는
레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응하되, 상기 구에 상응하는 하나의 공간 이미지 상에서 상기 3차원 레이어 바이노럴 출력, 상기 평면 레이어 오디오 출력 및 상기 서브우퍼 출력 각각에 상응하는 레벨 미터 신호의 변화를 한 눈에 볼 수 있도록 시각적으로 나타내고,
상기 레벨 미터 신호의 변화는
상기 구의 중심에 위치하는 청취점을 기준으로 상기 3차원 레이어 바이노럴 출력, 상기 평면 레이어 오디오 출력 및 상기 서브우퍼 출력이 각각 구별되도록 표현되는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.Generating a 3D layer binaural output by performing a 3D layer binaural encoding corresponding to the 3D binaural layer, and generating a plane layer audio output by performing audio processing corresponding to the plane layer;
Visually indicating a level meter signal for each of the three-dimensional layer binaural output and a flat layer audio output based on a multi-channel visualization interface,
The generating step
Generating a subwoofer output corresponding to the subwoofer layer,
The multi-channel visualization interface
Corresponding to the shape of a sphere including at least one of level information, spatial information, and head tracking information, the 3D layer binaural output, the flat layer audio output, and the subwoofer output on one spatial image corresponding to the sphere Visually display the change of the level meter signal corresponding to each at a glance,
The level meter signal changes
A multi-channel visualization method, characterized in that the three-dimensional layer binaural output, the flat layer audio output, and the subwoofer output are respectively expressed based on a listening point located at the center of the sphere. 청구항 1에 있어서,
상기 평면 레이어는
서라운드 레이어 바이노럴 인코딩을 수행하여 서라운드 레이어 바이노럴 출력을 생성하고, 생성된 상기 서라운드 레이어 바이노럴 출력을 상기 평면 레이어 오디오 출력으로 제공하는 서라운드 레이어 및
스테레오 신호를 입력 받아서 상기 스테레오 신호에 상응하는 상기 평면 레이어 오디오 출력을 생성하는 근접용 스테레오 레이어 중 어느 하나인 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 1,
The flat layer
A surround layer generating a surround layer binaural output by performing surround layer binaural encoding, and providing the generated surround layer binaural output as the flat layer audio output, and
A multi-channel visualization method, characterized in that it is any one of a stereo layer for proximity that receives a stereo signal and generates the flat layer audio output corresponding to the stereo signal. 삭제delete 청구항 2에 있어서,
상기 나타내는 단계는
상기 3차원 바이노럴 레이어를 상기 구의 표면에서 청취점에 해당하는 상기 구의 중심으로 향하는 제1 플라즈마로 표현하는 단계;
상기 서라운드 레이어를 상기 구의 적도 상에서 상기 구의 중심으로 향하는 제2 플라즈마로 표현하는 단계;
상기 근접용 스테레오 레이어를 상기 구의 중심에서 상기 구의 표면의 방향으로 두께가 증가하는 링(RING)으로 표현하는 단계; 및
상기 서브우퍼 레이어를 상기 구의 남극점을 기준으로 증가하는 높이 값에 상응하게 표현하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 2,
The steps indicated above
Expressing the three-dimensional binaural layer as a first plasma directed from the surface of the sphere to the center of the sphere corresponding to a listening point;
Expressing the surround layer as a second plasma directed toward the center of the sphere on the equator of the sphere;
Expressing the stereo layer for proximity as a ring whose thickness increases in the direction of the surface of the sphere from the center of the sphere; And
And expressing the subwoofer layer corresponding to an increasing height value based on the antarctic point of the sphere. 청구항 4에 있어서,
상기 제1 플라즈마로 표현하는 단계는
상기 제1 플라즈마의 이동 방향, 상기 제1 플라즈마의 두께, 상기 제1 플라즈마의 깊이, 상기 제1 플라즈마의 굴곡 및 상기 제1 플라즈마의 색상 중 적어도 하나를 기반으로 상기 3차원 바이노럴 레이어에 상응하는 시간의 흐름, 채널 주파수 및 레벨 크기 중 적어도 하나를 표현하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 4,
The step of expressing the first plasma
Corresponding to the three-dimensional binaural layer based on at least one of the movement direction of the first plasma, the thickness of the first plasma, the depth of the first plasma, the curvature of the first plasma, and the color of the first plasma A multi-channel visualization method characterized by expressing at least one of a flow of time, a channel frequency, and a level. 청구항 4에 있어서,
상기 구의 상반구 표면을 4분할한 4개의 상반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 업채널들에 상응하고, 상기 구의 하반구 표면을 4분할한 4개의 하반구 표면 조각들은 상기 3차원 바이노럴 레이어에 상응하는 4개의 다운채널들에 상응하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 4,
The four upper hemisphere surface fragments that divide the sphere's upper hemisphere surface into four correspond to four upchannels corresponding to a three-dimensional binaural layer, and the four lower hemisphere surface fragments that divide the sphere's lower hemisphere surface into four Multi-channel visualization method, characterized in that corresponding to the four down-channel corresponding to the three-dimensional binaural layer. 청구항 4에 있어서,
상기 제2 플라즈마로 표현하는 단계는
상기 제2 플라즈마의 위치, 상기 제2 플라즈마의 두께, 상기 제2 플라즈마의 깊이 및 상기 제2 플라즈마의 색상 중 적어도 하나를 기반으로 상기 서라운드 레이어에 상응하는 채널의 위치 및 레벨 크기 중 적어도 하나를 표현하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 4,
The step of expressing the second plasma
Express at least one of the position and level size of a channel corresponding to the surround layer based on at least one of the position of the second plasma, the thickness of the second plasma, the depth of the second plasma, and the color of the second plasma. Multi-channel visualization method, characterized in that. 청구항 4에 있어서,
상기 링의 좌측 두께는 상기 근접용 스테레오 레이어의 레프트 채널에 대한 레벨 크기에 상응하고, 상기 링의 우측 두께는 상기 근접용 스테레오 레이어의 라이트 채널에 대한 레벨 크기에 상응하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 4,
Multi-channel visualization characterized in that the left thickness of the ring corresponds to the level size for the left channel of the proximity stereo layer, and the right thickness of the ring corresponds to the level size for the light channel of the proximity stereo layer. Way. 청구항 1에 있어서,
상기 멀티 채널 비주얼라이제이션 방법은
상기 구의 북극점을 기반으로 헤드 트래킹 정보를 표현하는 단계를 더 포함하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 1,
The multi-channel visualization method
And expressing head tracking information based on the arctic point of the sphere. 청구항 9에 있어서,
상기 멀티 채널 비주얼라이제이션 인터페이스는
상기 헤드 트래킹 정보에 상응하게 회전되는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 9,
The multi-channel visualization interface
Multi-channel visualization method characterized in that it is rotated corresponding to the head tracking information. 청구항 1에 있어서,
상기 나타내는 단계는
오브젝트 레이어를 상기 구의 표면에서 상기 구의 중심으로 향하는 유성 형태로 표현하되, 상기 오브젝트 레이어의 레벨 크기는 유성의 크기 및 꼬리의 길이에 비례하는 것을 특징으로 하는 멀티 채널 비주얼라이제이션 방법.The method according to claim 1,
The steps indicated above
A multi-channel visualization method characterized in that the object layer is expressed in the form of a meteor from the surface of the sphere toward the center of the sphere, and the level size of the object layer is proportional to the size of the meteor and the length of the tail. 3차원 바이노럴 레이어에 상응하는 3차원 레이어 바이노럴 인코딩을 수행하여 3차원 레이어 바이노럴 출력을 생성하고, 평면 레이어에 상응하는 오디오 프로세싱을 수행하여 평면 레이어 오디오 출력을 생성하는 단계;
멀티 채널 비주얼라이제이션 인터페이스를 기반으로 상기 3차원 레이어 바이노럴 출력 및 평면 레이어 오디오 출력 각각에 대한 레벨 미터 신호를 시각적으로 나타내는 단계를 포함하고,
상기 생성하는 단계는
서브우퍼 레이어에 상응하는 서브우퍼 출력을 생성하는 단계를 포함하고,
상기 멀티 채널 비주얼라이제이션 인터페이스는
레벨 정보, 공간 정보 및 헤드 트래킹 정보 중 적어도 하나를 포함하는 구의 형태에 상응하되, 상기 구에 상응하는 하나의 공간 이미지 상에서 상기 3차원 레이어 바이노럴 출력, 상기 평면 레이어 오디오 출력 및 상기 서브우퍼 출력 각각에 상응하는 레벨 미터 신호의 변화를 한 눈에 볼 수 있도록 시각적으로 나타내고,
상기 레벨 미터 신호의 변화는
상기 구의 중심에 위치하는 청취점을 기준으로 상기 3차원 레이어 바이노럴 출력, 상기 평면 레이어 오디오 출력 및 상기 서브우퍼 출력이 각각 구별되도록 표현되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.Generating a 3D layer binaural output by performing a 3D layer binaural encoding corresponding to the 3D binaural layer, and generating a plane layer audio output by performing audio processing corresponding to the plane layer;
Visually indicating a level meter signal for each of the three-dimensional layer binaural output and a flat layer audio output based on a multi-channel visualization interface,
The generating step
Generating a subwoofer output corresponding to the subwoofer layer,
The multi-channel visualization interface
Corresponding to the shape of a sphere including at least one of level information, spatial information, and head tracking information, the 3D layer binaural output, the flat layer audio output, and the subwoofer output on one spatial image corresponding to the sphere Visually display the change of the level meter signal corresponding to each at a glance,
The level meter signal changes
Multi-channel stored in a computer-readable recording medium, characterized in that the three-dimensional layer binaural output, the flat layer audio output, and the subwoofer output are respectively distinguished based on a listening point located at the center of the sphere. Visualization program. 청구항 12에 있어서,
상기 평면 레이어는
서라운드 레이어 바이노럴 인코딩을 수행하여 서라운드 레이어 바이노럴 출력을 생성하고, 생성된 상기 서라운드 레이어 바이노럴 출력을 상기 평면 레이어 오디오 출력으로 제공하는 서라운드 레이어 및
스테레오 신호를 입력 받아서 상기 스테레오 신호에 상응하는 상기 평면 레이어 오디오 출력을 생성하는 근접용 스테레오 레이어 중 어느 하나인 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 12,
The flat layer
A surround layer generating a surround layer binaural output by performing surround layer binaural encoding, and providing the generated surround layer binaural output as the flat layer audio output, and
A multi-channel visualization program stored in a computer-readable recording medium, characterized in that it is one of a proximity stereo layer that receives a stereo signal and generates the flat layer audio output corresponding to the stereo signal. 삭제delete 청구항 13에 있어서,
상기 3차원 바이노럴 레이어를 상기 구의 표면에서 청취점에 해당하는 상기 구의 중심으로 향하는 제1 플라즈마로 표현하고, 상기 서라운드 레이어를 상기 구의 적도 상에서 상기 구의 중심으로 향하는 제2 플라즈마로 표현하고, 상기 근접용 스테레오 레이어를 상기 구의 중심에서 상기 구의 표면의 방향으로 두께가 증가하는 링(RING)으로 표현하고, 상기 서브우퍼 레이어를 상기 구의 남극점을 기준으로 증가하는 높이 값에 상응하게 표현하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 13,
The 3D binaural layer is expressed as a first plasma directed from the surface of the sphere to the center of the sphere corresponding to a listening point, and the surround layer is represented as a second plasma directed to the center of the sphere on the equator of the sphere, and the The proximity stereo layer is expressed as a ring whose thickness increases from the center of the sphere in the direction of the surface of the sphere, and the subwoofer layer is expressed in correspondence with an increasing height value based on the antarctic point of the sphere. A multi-channel visualization program stored on a computer-readable recording medium. 청구항 15에 있어서,
상기 제1 플라즈마의 이동 방향, 상기 제1 플라즈마의 두께, 상기 제1 플라즈마의 깊이, 상기 제1 플라즈마의 굴곡 및 상기 제1 플라즈마의 색상 중 적어도 하나를 기반으로 상기 3차원 바이노럴 레이어에 상응하는 시간의 흐름, 채널 주파수 및 레벨 크기 중 적어도 하나를 표현하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 15,
Corresponding to the three-dimensional binaural layer based on at least one of the movement direction of the first plasma, the thickness of the first plasma, the depth of the first plasma, the curvature of the first plasma, and the color of the first plasma A multi-channel visualization program stored in a computer-readable recording medium, characterized by expressing at least one of time flow, channel frequency, and level size. 청구항 15에 있어서,
상기 구의 상반구 표면을 4분할한 4개의 상반구 표면 조각들은 3차원 바이노럴 레이어에 상응하는 4개의 업채널들에 상응하고, 상기 구의 하반구 표면을 4분할한 4개의 하반구 표면 조각들은 상기 3차원 바이노럴 레이어에 상응하는 4개의 다운채널들에 상응하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 15,
The four upper hemisphere surface fragments that divide the sphere's upper hemisphere surface into four correspond to four upchannels corresponding to a three-dimensional binaural layer, and the four lower hemisphere surface fragments that divide the sphere's lower hemisphere surface into four A multi-channel visualization program stored in a computer-readable recording medium, characterized in that it corresponds to four down-channels corresponding to the three-dimensional binaural layer. 청구항 15에 있어서,
상기 제2 플라즈마의 위치, 상기 제2 플라즈마의 두께, 상기 제2 플라즈마의 깊이 및 상기 제2 플라즈마의 색상 중 적어도 하나를 기반으로 상기 서라운드 레이어에 상응하는 채널의 위치 및 레벨 크기 중 적어도 하나를 표현하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 15,
Express at least one of the position and level size of a channel corresponding to the surround layer based on at least one of the position of the second plasma, the thickness of the second plasma, the depth of the second plasma, and the color of the second plasma. Multi-channel visualization program stored in a computer-readable recording medium, characterized in that. 청구항 15에 있어서,
상기 링의 좌측 두께는 상기 근접용 스테레오 레이어의 레프트 채널에 대한 레벨 크기에 상응하고, 상기 링의 우측 두께는 상기 근접용 스테레오 레이어의 라이트 채널에 대한 레벨 크기에 상응하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 15,
The left thickness of the ring corresponds to the level size for the left channel of the proximity stereo layer, and the right thickness of the ring corresponds to the level size for the light channel of the proximity stereo layer. Multi-channel visualization program stored on recordable media. 청구항 12에 있어서,
상기 구의 북극점을 기반으로 헤드 트래킹 정보를 표현하는 단계를 더 실행시키고,
상기 멀티 채널 비주얼라이제이션 인터페이스는 상기 헤드 트래킹 정보에 상응하게 회전되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 멀티 채널 비주얼라이제이션 프로그램.The method according to claim 12,
Further performing the step of expressing the head tracking information based on the arctic point of the sphere,
The multi-channel visualization program is stored in a computer-readable recording medium, characterized in that the multi-channel visualization interface is rotated corresponding to the head tracking information.

Images