KR20050029749A - 재생부의 배열이나 청취자의 움직임에 관계없이 넓은 효과 영역의 제공과 계산량 저감을 실현한 상대 음상 정의 전달 함수법을 이용한 가상 서라운드, 입체음향의 구현 - Google Patents

Abstract

본 발명은 서라운드나 입체음향의 구현 시, 재생부의 배열이나 청취자의 움직임에 관계없이 동일한 성능을 지니면서, 넓은 효과 영역 확보와 계산량의 저감을 실현한 상대 음상 정의 전달 함수법에 의한 서라운드 또는 입체 음향 구현에 관한 것이다. 이는 기존의 입체 음향이나 서라운드 알고리즘에서 사용되는 절대(독립) 음상법의 문제점들인 좁은 효과영역으로 인한 효과 저감과 각 음원에 대한 음상 정위시 오른쪽, 왼쪽 두 번의 계산과정으로 인한 높은 계산량의 극복을 위해 고안되었다. 이는 두 귀에 인가된 신호의 상대적인 관계를 이용하는 절대(독립) 음상법과는 달리 각각의 음상간의 상대적인 전달함수 관계를 이용하여 보다 넓은 효과영역을 제공하고, 크로스토크 제거 필터로 인한 음의 손실을 없앴으며, 음상 정위시 한번의 계산과정으로 계산량의 획기적인 감소를 달성할 수 있다.

이 기술을 사용할 경우, 종래의 절대 음상법으로는 불가능하였던 TV나 각종 방송 매체에서의 입체 음향 기술, 5.1채널의 구현 등이 별도의 스피커나 장비의 추가 없이도 가능해진다. 결국 종래의 스테레오 TV나 라디오 등에서 아무런 장비나 환경의 구애없이 구현이 가능해진다.

Description

재생부의 배열이나 청취자의 움직임에 관계없이 넓은 효과 영역의 제공과 계산량 저감을 실현한 상대 음상 정의 전달 함수법을 이용한 가상 서라운드, 입체음향의 구현{Realization of Virtual Surround and Spatial Sound using Relative Sound Image Localization Transfer Function Method which realize Large SweetSpot Region and Low Computation Power regardless of Array of Reproduction Part and Movement of Listener}

본 발명은 상대 음상 정의법에 관한 것으로서, 구체적으로는 기존의 입체 음향 알고리즘 또는 가상 서라운드 기술에 쓰이는 청취자, 재생부에 모두 종속된 절대(독립) 음상법을 사용함으로서 인해 발생하는 좁은 효과영역, 크로스토크 문제, 과도한 계산량 등을 해결하기 위해 발명된 가칭 상대 음상 정의 전달 함수법에 관한 것이다.

종래의 음상 정의 절대(독립) 음상 정의법은 도 1처럼 청취자와 재생부 모두에 종속된 알고리즘이기 때문에 청취환경 또는 청취자의 움직임에 따라 그 효과가 달라지게 된다. 이러한 이유로 청취자의 청취 위치나 청취 환경이 달라질 경우, 그 효과는 급격히 감소하게 된다. 그리고 외부 스피커를 사용할 경우에 발생되는 크로스토크현상을 제거하기 위해 종래에는 크로스토크 제거 필터를 구현하여 사용하였으나, 이는 청취자가 움직일 경우 또는 다수의 청취자가 존재하는 청취환경에서는 그 효과는 보장이 어려웠으며, 이 필터의 사용으로 인한 신호의 왜곡은 또 하나의 문제가 되고 있다. 또한 다수의 가상 음상이 존재할 경우는 그 각각의 음상에 대한 처리가 필요하기 때문에 과도한 계산량으로 고사양의 프로세서를 필요로 하게 된다. 이를 해결하기 위해 청취자의 머리 움직임을 트래킹하여 실시간으로 반영하는 시스템이나 청취자의 위치에 마이크를 설치하여 해당 청취환경에 맞도록 신호의 처리하는 방안이 고안되고 있으나, 그 알고리즘의 복잡성과 사용자의 편의 측면에서는 문제가 되고 있다.

본 발명은 기존의 절대(독립) 음상법이 지닌 이러한 문제점들을 해결하여, 청취자의 움직임, 재생부의 위치에 관계없이 종래의 알고리즘에 비교해 볼 때, 동일한 효과를 지니면서 더욱 넓은 효과영역을 제공하며, 기존의 알고리즘보다 개선된 구조로 인해 계산량의 저감을 실현하다.

이는 위에서 언급된 종래의 절대(독립) 음상 정의 법이 지닌 문제점들을 해결하기 위해 고안되었다.

먼저 좁은 효과영역의 극복을 위해 기존의 음상 정의법이 공간상에서 좁은 영역에서만 그 효과가 보장됨을 인식하고, 이를 해결하기 위해 상대적인 음상 개념을 도입하였으며, 이에서 착안하여 음상끼리의 상대 전달함수를 이용, 기준 음상이 정의될 경우 그 음상을 기준으로 그 밖의 모든 음상들이 상대적으로 재배열되게 하였다. 이로서 청취자가 어느 위치에 있던지 그 효과는 상대적인 관계에 의해 보정이 된다.

종래의 절대 음상 법에서 요구되었던 왼쪽과 오른쪽(왼쪽 귀, 오른쪽 귀)의 두 번의 계산과정을 상대 전달함수를 이용한 상대 음상 정의법을 통하여 계산량이 절반으로 감소하게 된다.

도 1과 도 2에는 종래의 절대 음상 정의 전달함수와 본인이 발명한 상대 음상 정의 전달 함수법을 이용한 음상 정의에 대해 간략히 비교를 하고 있다. 도면에서와 같이 종래의 절대 음상 정의법은 음상의 정의에 청취자, 재생부 모두에 종속된다. 단일 음상을 정의하기 위해서는 사람이 방향을 느낄 수 있도록 오른쪽, 왼쪽 각각의 처리가 필요하다. 이때 음상의 정의에 필요한 것이 머리전달함수이다. 이는 공간상에 위치하는 특정 음에 대한 인간과 음원간의 관계를 전달 함수 형태로 나타낸 것이다. 음상의 정의는 사람이 두개의 귀를 가지므로 왼쪽과 오른쪽의 한 쌍의 머리전달함수를 통하여 가능하다. 이 전달함수는 왼쪽과 오른쪽 신호의 도착 시간차, 크기차, 주파수 특성 등을 담고 있다.

도 2에 나타나 있는 그림은 본인이 발명한 상대 음상 정의 전달함수법에 대한 간략한 개념을 나타내고 있다. 먼저 위치시키고자 하는 음상들이 정의가 되면 각 음상들의 위치에 해당되는 머리전달함수가 도 1처럼 정의된다. 그후 이들 음상 중에서 원하는 효과를 제공할 수 있는 기준 음상이 결정되면 각 음상들에 대해 기준음상과 그 밖의 음상들의 상대적인 머리전달함수 관계를 이용하여 상대 음상 정의 전달함수가 결정되게 된다. 그림에 나타나 있는 바와 같이 H_C,F,S는 각각 해당 음상에 대한 전달함수를 나타내고 있다. 그리고 H_X는 기준으로 삼고자하는 음상에 해당하는 머리전달함수를 나타낸다. 상대 음상 정의 전달함수로의 변환은 시스템 규명(System Identification, Deconvolution)을 이용하여 구할 수 있다. 여기서 (/)부호는 시스템 규명 과정을 나타내는 기호이다. 시스템 규명을 간단히 정의하자면 다음과 같다. 입력 신호와 출력 신호가 존재 할 때, 이들 두 신호간의 관계를 나타내는 블랙박스의 값을 찾는 과정이라고 보면 된다. 본 고안에서는 Wiener Optimal Filter이론을 이용하여 이 과정을 수행하였다. 변환된 값들을 이용하여 각각의 음상에 해당되는 신호들을 변환된 전달함수와의 컨벌루션 연산을 통하여 각각의 음상신호들을 구하게된다. 이들 신호들을 믹스 다운한 2채널의 신호를 이용하여 서라운드 또는 입체음향을 구현하게 된다.

상대 음상 정의 전달함수법은 종래의 청취자, 재생부에 종속된 알고리즘이 아닌, 음상 끼리의 상대적인 관계를 이용한 청취자 중심의 알고리즘이기 때문에 청취자의 위치에 따라 기준 음상이 재생성되고, 형성된 기준 음상에 대해 다른 음상들은 상대적으로 배열이 되기 때문에 종래의 음상 정의법에 비해 더욱 넓은 효과영역을 보장한다.

계산량의 면에서도, 기존의 절대 음상 정의 법이 한 음상 당 두 번의 컨벌루션 처리가 필요했던 것에 비해, 상대 음상 정의 법은 한번만으로 가능해지기 때문에 그 계산량이 1/2이하로 감소하게 된다.

스피커를 통한 청취의 경우, 종래의 절대 음상 정의 법은 각각의 스피커에서 재생된 신호들의 섞임으로, 크로스토크(Cross-talk), 인해 효과 영역이 좁아지는 문제점을 해결하기 위해 이를 위한 별도의 제거용 필터 구현이 필요하였으나, 상대 음상 정의 법에서 이러한 과정이 필요하지 않다.

다음에서는 적절한 시스템의 구성에 대해 언급하려고 한다. 통상적으로 기준음상은 신호 재생 부와 가장 가까운 음상을 기준 음상으로 삼는 것이 가장 좋은 효과를 보여준다. 이는 재생부에서 가장 가까운 음상을 기준음상으로 함으로서 기준음상의 안정성을 제고시킬 수 있으며, 부수적으로 계산량의 저감에도 기여한다. 아래에서는 간단한 수식적인 예를 보이려고 한다. 전방 스피커를 통해 소리가 재현될 경우, 양 스피커에서 나온 소리 중 공통된 성분이 형성하는 센터 음상이 기준음상의 역할을 하게 되며, 이 방향에 해당하는 머리전달함수(HRTF)가 기준 머리전달함수(HRTF)가 되고, 이 전달함수에 기준하여 다른 방향의 HRTF들은 상대적인 값으로 재 계산되어 사용되어지게 된다. 수식으로 간략히 나타내면 다음과 같을 것이다.

O_L=C+H_LL

O_R=C+H_RR

여기서 O_X는 전방 스피커에서 재생된 출력 신호,

O_L, O_R은 각 채널에서의 출력신호

C는 센터신호

L, R는 입력 신호

H_X=H_Y/H_C는 센터 음상에 해당하는 머리 전달 함수에 의해 보정된 상

대 음상 정의 전달 함수

위의 출력 신호 O_L, O_R은 스피커에서 나오는 소리들은 사람의 귀로 전달되는 과정동안 중심 음상의 머리전달함수가 다시 컨벌루션되어 들리어지게 되므로, 결국 음상들 본래의 위치나 거리감들이 다시 복원되게 되는 것이다. 간단히 말하자면 스피커를 통한 재생의 경우, 절대 음상 정의 법에서 음상을 정의하기 위해 각 음상 별로 따로 따로 정의를 하여 사용하였다. 이러한 이유로 각 음상의 거리감 방향 감을 정확히 전달하기 위해서는 크로스토크 제거용 필터와 이에 덧붙여 각 신호의 성분별로 머리전달함수를 가하여야 했으나, 상대 음상 정의 법에서는 인간이 느끼는 소리의 방향과 거리감은 인간의 두 귀를 통해 들리어지는 신호들의 상대적 관계를 통해 형성되는 음상에 의한 것이라는 점에 주목하고 위의 절대 음상 정의 법에서 복잡한 과정을 음상간의 상대적인 관계로 바꿈으로써 이러한 과정이 간략화 하였다.

다시 간단히 말하자면 종래의 입체음향이나 서라운드 기술은 모든 청취에 있어서 모든 음향 환경을 배제시킨 후, 새로운 청취 환경을 재구성하는 방식이기 때문에 모든 음향 환경을 배제시키는 과정에서 크로스토크 제거기나 음상을 정의하기 위해 두 귀의 청취 특성을 담은 오른쪽, 왼쪽 두개의 머리전달함수를 이용한 처리과정을 필요로 했다. 결국 모든 음향 환경을 도 6에 나타난 것처럼 마치 청취자가 헤드폰을 착용하고 있는 환경처럼 만들어 주는 것이다. 이로 인해 효과영역의 협소화와 복잡한 계산 과정을 필요로 했다. 그러나 발명된 기술은 모든 음향 환경을 인위적으로 배제하는 것이 아니라, 스피커나 헤드폰에서 소리가 출력된 이후엔 별도의 처리과정 없이도 청취자가 처해있는 청취환경에 맞도록 자연적으로 재조정되기 때문에(청취자의 움직임이나 청취환경 변화로 인한 기준 음상의 변화, 이에 따른 다른 음상들의 기준음상에 대한 상대적인 재배열) 기존의 기술들이 가진 협소한 효과영역, 복잡한 계산과정 등의 문제점들은 모두 사라져 버린다.

만약 위의 과정을 절대 음상 정의법으로 표현하자면 다음과 같아진다. 절대음상 정의 법에서는 각 음상에 대해 오른쪽, 왼쪽 두 번의 연산이 필요하므로 다음과 같은 식으로 나타내어질 것이다.

O_L=C*H_CL+H_LL*L+H_RL*R

O_R=C*H_CR+H_LR*L+H_RR*R

여기서 O_L, O_R은 각 채널에서의 출력신호

C는 센터신호

L, R는 입력 신호

H_XY는 각 음상에 대한 오른쪽, 왼쪽 머리전달 함수

위의 단순 비교에서 위의 두 출력신호는 동일한 효과를 가지나, 계산량의 측면에서는 상대 음상 정의 법이 절대 음상 정의 법에 비해 1/3배의 계산량밖에 요구 하지 않음을 알 수 있다.

상대 음상 정의 법이 필자가 제안한 도 3의 Mix-Downed Filter법을 이용한다면 5.1채널 서라운드의 경우, 기존의 계산량에 비해 최대 1/20까지 계산량을 줄일 수 있다. 더 자세한 내용은 해당 특허 자료의 기술을 참고하기 바란다.

도 4과 도 5는 종래의 5.1채널의 개략도와 상대 음상 정의 법에 의한 5.1 채널 구현을 보여주고 있다. 도면에 나타난 바와 같이 개선된 알고리즘에 의한 계산량의 저감과 상대적인 음상의 이용으로 재생부의 배열이나 청취자의 위치에 속박되지 않은 보다 넓은 효과영역을 가진 5.1채널의 구현이 가능하다. 물론 위의 알고리즘을 이용할 경우 5.1채널 이상의 다채널에도 적용이 가능해진다.

이상에서와 같이 본 발명에 따르면, 상대 음상 정의 법에 의해, 기존의 독립 음상 정의 법이 가진 문제점들을 해결하고, 이를 통한 보다 나은 효과의 획득이 가능함을 보여주고 있다. 또한 계산량의 저감 실현으로 인해 다채널의 서라운드, 입체음향 효과의 구현에 많은 도움이 될 것이다.

또한 이 기술을 사용할 경우, 종래의 절대음상정의법으로는 불가능하였던 TV나 각종 방송 매체에서의 입체 음향 기술, 5.1채널의 구현 등이 별도의 스피커나 장비의 추가 없이도 가능해진다. 결국 종래의 스테레오 TV나 라디오 등에서 아무런 장비나 환경의 구애 없이 구현이 가능해진다.

도 1은 종래의 음상 정의법

도 2는 발명한 상대 음상 정의 전달 함수법에 대한 개념도

도면에서 H는 스피커를 사용할 경우는 각 음상에 대한 머리전달함수

쌍, 한 음상에 대해 오른쪽, 왼쪽의 두 번의 계산과정이 필요함.

도면에서 H_C, H_F,H_S 는 각각 음상에 대한 해당 머리전달함수를

나타낸다. H_X는 기준으로 하고자 하는 음상에 해당하는 머리전달함

수를 나타낸다. 기준음상에 대한 상대적인 관계만 있으면 되므로 한

번의 계산과정으로 음상정의가 가능하다.

도 3은 Mix-Down Filter를 사용한 상대 음상 정의 전달 함수법에 의한 서라

운드 구현의 개념도

도 4은 종래의 5.1채널의 개략도

도 5는 상대 음상 정의 전달 함수법에 의한 기존 5.1채널의 구현

여기서 S_X는 각체널 입력 신호

H_X는 보정된 머리 전달 함수

L, R은 믹스 다운된 출력신호이다.

도 6는 기존의 절대 음상 정의법에서의 처리 알고리즘 개략도

Claims (3)

1. 상대 음상 전달함수의 정의 및 계산법
2. 도 2b의 Mixdown Filter법을 이용한 서라운드 구현 알고리즘
3. 도 4에 나타난 상대 음상 전달 함수의 예