KR20010107238A - 오디오신호 가공방법 - Google Patents

Abstract

사용자가 설정해준 값에 따라서 약음을 강음에 비하여 상대적으로 더 높이 이득률을 적용하여 차등증폭하고, 이와 함께, 원래의 신호를 시간 축으로 변환시켜 재생시간 즉, 재생속도를 더 빠르게 혹은 느리게 가변시킬 수 있는 오디오신호 가공방법을 개시한다. 차등증폭을 위해, 샘플데이터를 단조증가함수에 대입하여 그 함수값으로 대체한다. 필요에 따라 차등증폭을 적용하는 범위를 선정하여 그 범위에 포함되는 샘플들만을 차등적으로 증폭한다. 시간축변환을 위해, 원래의 신호를 프레임단위로 읽어와서 시간축변환신호에 중첩시켜 부가하되 그 중첩되는 부분은 사용자가 지정한 재생시간조정율 α와 원신호 x(·)의 각 프레임간 시작점의 기본차이값 Sa에 따라 다르게 정해진다. 또한 중첩부분은 가중치를 적용하여 합한다. 원신호를 읽어올 때는 프레임간 시작점의 기본차이값 Sa을 기준으로 소정의 체크범위(윈도우) k_m내에서 원신호 x(·)와 시간축변환신호 y(·)간의 파형의 유사성을 기준으로 최적 상관성을 검출하고 그 위치를 동기지연 Km으로 정한다. 차등증폭은 시간축변환을 위해 읽어낸 프레임데이터에 대하여 시간축변환 전이나 후에 수행할 수 있다.

Description

오디오신호 가공방법{Method of Processing Audio Signal}

본 발명은 오디오신호 가공방법과 이를 위한 장치에 관한 것이다. 보다 구체적으로는, 사용자가 설정한 값에 따라 오디오신호의 재생시간과 세기를 실시간으로 동시에 가변시켜 재생하는 오디오신호의 가공방법에 관한 것이다.

음성이나 노래 등과 같이 오디오재생장치를 통해서 출력되는 재생음을 알아듣기 힘들 때가 있다. 이에 관한 원인은 여러 가지가 있을 수 있다. 원래의 신호음이 약하게 기록되어 있거나 대단히 빠른 속도로 기록되어 있는 경우도 그 원인이 될 수 있지만, 청취자의 청력이 약해 약음을 잘 알아듣지 못하거나 혹은 재생음이 외국어이어서 청해력이 기본적으로 낮은 경우도 그 원인이 될 수 있다.

특히, 외국어 청취력 학습에 있어서, 청취력을 높여주는 방법으로서 잘 들리지 않는 약한 음의 세기를 보강해주는 것이 하나의 해결책이 될 수 있다. 일반적으로 영어와 같은 음절언어(syllabic language)는 한국어 혹은 일본어와는 달리 억양과 악센트에 의해 보다 많은 정보를 전달할 수 있는 언어적 특징을 갖고 있다. 하나의 단어에 포함된 여러 가지 발음중 그 일부를 생략하거나 약화시켜도 그 의미 전달에 큰 문제가 없기 때문에 음절언어 특히 영어 발음에는 묵음이나 약음으로 처리되는 경우가 많다. 이에 비해, 한국어나 일본어 등과 같은 비음절언어(nonsyllabic language)의 경우 그 음성을 통한 의사전달은 각 단어가 포함하고 있는 의미가 주로 담당하므로 억양이나 악센트는 큰 비중을 차지하지 않는다. 비음절언어의 발음상의 특징은 각각의 단어를 정확하게 발음하는 것이고 묵음이나 약음으로 발음되는 경우가 드물다. 한국어나 일본어와 같은 비음절언어를 모국어로 사용하는 사람들은 영어 발음 중에서 액센트가 없는 음절 부분 즉, 묵음이나 약음으로 발음되는 부분을 정확하게 청해하기란 매우 힘들다. 결국, 한국어나 일본어 발음체계에 익숙한 사람들은 영어발음을 정확하게 이해하기 위해서는 청취학습을 무수히 많이 반복하는 노력을 필요로 하였다.

묵음을 인위적으로 부가하는 것은 매우 어려워 이는 논외로 하더라도, 오디오신호의 재생시 약음의 세기를 강화시키는 것은 가능하다. 다만, 알려진 오디오신호의 이득제어방법들은 음의 세기에 의존하지 않고 일률적으로 동일한 증폭율을 적용하는 방법들이어서 오히려 재생음의 품질을 떨어뜨려 실제로는 채용되지 못하고 있다. 즉, 이들 방법에 따르면, 약음이나 강음은 이를 구별하지 않고 일률적으로 동일한 이득률을 적용하여 약음의 세기를 원하는 수준까지 증폭하면 강음마저도 그세기가 강화되어 강음부분은 매우 크고 찢어지는 소리로 들리는 등 재생음의 품질이 오히려 나빠지게 된다.

한편, 원래의 정상적인 재생속도가 상대적으로 빠르게 느껴지는 경우에는 재생속도를 더 천천히 하거나, 그 반대의 경우에는 재생속도를 보다 빠르게 해주는 것이 필요한 경우가 있다. 재생속도를 가변시켜주는 기술로는 종래부터 여러 가지가 알려져있다. 그 대표적인 것으로서 1985년 Roucus와 Wilgus에 의해 오버랩가산법(overlap-addition: OLA)이 소개된 이후, 동기식 오버랩가산법(Synchronized OLA: SOLA), 파형유사성에 의거한 OLA법 즉, WSOLA법 등으로 변화 발전해오고 있다. SOLA 알고리즘은 재생속도를 가변시키기 위하여 음성데이터를 일정한 크기의 윈도우를 사용하여 일정한 간격으로 오버랩 시키면서 해당하는 블록을 잘라내고 요구된 속도변화에 대응하여 블록들을 시간축상에 재배치하여 더하는 방법으로 오디오신호를 가공한다. 여기서, 음질저하를 방지하기 위해 블록을 재배치할 때 오버랩되는 부분의 파형 유사성이 가장 큰 값에 해당하는 간격만큼 이동시켜 두 개의 블록신호를 합성하는 기술을 적용하기도 한다.

그런데 오디오신호의 재생속도 가변기술은 그 자체에 관해서는 가공 후에도 양호한 음질을 유지할 수 있으며, 더 나아가 음의 세기를 가변시키는 기술과 결합하여 동시적으로 처리할 수 있다면 매우 바람직할 것이다.

본 발명의 제 1의 목적은 원래의 디지털 오디오신호를 사용자가 정해준 값에 의거하여 약한 음을 강한 음에 비해 상대적으로 더 강하게 증폭하여 약음을 보다알아듣기 쉽게 가공해주는 오디오신호 가공방법을 제공하는 것이다.

본 발명의 제 2의 목적은 원래의 오디오신호를 사용자가 정해준 값에 따라 재생시간을 가변시킴과 동시에 약음의 세기가 강음에 비해 차등적으로 더 강화시킬 수 있는 오디오신호 가공방법을 제공하는 것이다.

도 1은 본 발명에 따른 오디오신호 가공방법을 실현하기 위한 장치의 구성을 도시한 블록도이다.

도 2는 본 발명에 따른 오디오신호 가공방법을 개략적으로 설명하기 위한 흐름도이다.

도 3은 원래의 오디오신호를 사용자가 설정한 재생시간조정율 α에 따라 시간축변환처리를 수행하는 알고리즘을 도시한 흐름도이다.

도 4는 원래의 오디오신호 x(·)를 사용자가 설정한 재생시간조정율 α의 크기에 대응하여 그 길이를 늘이거나 줄여 시간축변환신호 y(·)를 얻기 위한 하는 원리를 설명하기 위한 참고도이다.

도 5는 약음을 강음보다 더 높은 증폭율을 적용하여 차등증폭하는 알고리즘을 설명하기 위한 흐름도이다.

도 6은 차등증폭함수의 여러 가지 예를 도시한 그래프이다.

도 7은 원래의 신호와 시간축변환된 신호 및 차등증폭된 신호의 파형도를 각각 도시한다.

** 도면의 주요부분에 대한 부호의 설명 **

10: 메모리

12: 재생시간조정부

14: 차등증폭부

16: 필터부

18: 버퍼부

20: 사용자 인터페이스부

22: 오디오출력부

24: 스피커

상기 제 1의 목적을 달성하기 위하여, 본 발명은 시간에 대한 음의 세기를 정수 스트림으로 표현한 디지털 오디오신호를 가공하는 방법에 있어서,

사용자에 의해 지정된 차등증폭율 β을 사용자 인터페이스로부터 읽어들이는 단계; 및

상기 정수 스트림의 각 샘플데이터를 상기 차등증폭율 β에 대응하는 소정의 차등증폭함수 f(x_i)의 변수값으로 적용하여 증폭하되, 특히 상기 차등증폭함수 f(x_i)는 약음에서 강음으로 갈수록 증폭이득이 상대적으로 낮게 적용되는 함수이어서 약음을 강음에 비해 차등적으로 더 강화시키는 차등증폭단계를 포함하는 것을 특징으로 하는 오디오신호 가공방법을 제공한다.

바람직하게는 상기 차등증폭함수 f(x_i)는 단조증가함수중에서 선택한다.

상기 오디오신호 가공방법은 바람직하게는 차등증폭된 샘플데이터가 패킷데이터량만큼 모이면 상기 패킷데이터에 대하여 저역통과필터링처리를 하는 단계를 더 포함한다.

하나의 선택가능한 방안으로서, 상기 차등증폭단계는 상기 샘플데이터 x_i를문턱값 x_th와 그 크기를 비교하는 단계; 및 상기 비교의 결과, 상기 각 샘플데이터 x_i가 상기 문턱값 x_th보다 크면 상기 차등증폭함수 f(x_i)는 f(x_i) = x_i ^1/β이고, 상기 각 샘플데이터 x_i가 상기 문턱값 x_th보다 작으면 상기 차등증폭함수 f(x_i)는 f(x_i) = x_i ^β이 되어 상기 차등증폭처리를 수행하는 단계를 포함한다.

다른 선택가능한 방안으로서, 상기 차등증폭단계의 상기 샘플데이터 x_i를 문턱값 x_th와 그 크기를 비교하는 단계; 및 상기 비교의 결과, 상기 각 샘플데이터 x_i가 상기 문턱값 x_th보다 큰 경우에만 상기 차등증폭함수 f(x_i)는 f(x_i) = x_i ^1/β로 하여 상기 차등증폭처리를 수행하는 단계를 포함한다.

한편, 상기 제 2의 목적을 달성하기 위하여, 본 발명은 시간에 대한 음의 세기를 정수 스트림으로 표현한 디지털 오디오신호를 입력신호로 하여 상기 디지털 오디오신호를 사용자의 지정값에 따라 그 재생시간의 조절과 차등증폭에 의한 이득조절을 병행적으로 처리하는 것을 특징으로 하는 오디오신호 가공방법을 제공한다.

이 오디오신호 가공방법은 사용자에 의해 지정되는 입력값인 재생시간조정율 α와 차등증폭율 β를 사용자 인터페이스로부터 읽어들이는 단계로서, 상기 재생시간조정율 α는 오디오신호의 재생시간을 정상적인 재생시간보다 길거나 짧게 조정하기 위한 것으로서 α_min≤ α ≤ α_max의 범위 내에서 정해지며 상기 차등증폭율β는 오디오신호의 약음을 강음보다 상대적으로 더 강화시키기 위한 것으로서 β_min≤ β ≤ β_max의 범위 내에서 정해지는 설정값읽기단계;

제1 메모리에 저장되어 있는 원래의 오디오신호 x(·)를 N개의 샘플로 구성된 프레임 단위로 연속해서 읽어내되, 다음 프레임 F_m은 이전 프레임 F_m-1의 시작 위치에서 상기 N개보다 작은 수의 샘플을 건너뛴 위치의 샘플부터 읽어내므로써 인접 프레임간에 소정개수의 샘플을 중복하여 읽어내는 데이터독출단계;

상기 다음 프레임 F_m을 제 2 메모리에 시간축변환신호 y(·)로서 이미 기록된 상기 이전 프레임 F_m-1과 소정 샘플 수만큼 중복되도록 부가하되 그 중복부분의 샘플은 가중치를 주고 더하며 비중복부분은 그대로 더하고, 상기 중복부분의 샘플 수는 상기 재생시간조정율 α의 크기에 대응하여 증감하는 방식으로 부가함으로써 시간축 길이가 상기 재생시간조정율 α에 비례하여 변환된 신호 y(·)를 얻기 위한 시간축변환단계; 및

각 프레임의 샘플데이터 x_i를 상기 차등증폭율 β에 대응하는 소정의 차등증폭함수 f(x_i)에 차례로 대입하여 증폭하되, 특히 상기 차등증폭함수 f(x_i)는 약음에서 강음으로 갈수록 증폭이득이 상대적으로 낮게 적용되는 함수이어서 약음을 강음에 비해 차등적으로 더 강화시키는 차등증폭단계를 포함한다.

필요에 따라서, 데이터독출단계에서 읽어낸 각 프레임의 샘플데이터가 정규화되지 않는 데이터인 경우에는 이를 정규화하는 정규화단계를 더 포함한다.

또한 상기 오디오신호 가공방법은, 바람직하게는 출력버퍼를 다수개 마련하고, 상기 시간축변환단계 및 상기 차등증폭단계를 통해 가공된 신호의 다수개의 프레임을 하나의 패킷으로 묶어서 상기 복수개의 출력버퍼들 중 어느 하나에 기입하되 특히 상기 패킷데이터를 기입하는 출력버퍼는 순환적으로 교체하고, 이와 병행하여 상기 다수개의 출력버퍼에 기록된 패킷데이터는 기록순서가 앞선 출력버퍼의 패킷데이터가 먼저 스피커를 포함하는 오디오출력부로 출력되도록 제어하는 데이터출력단계를 더 포함한다.

또한, 상기 오디오신호 가공방법은 차등증폭된 샘플데이터를 소정의 데이터량마다 저역통과필터링 처리를 하여 노이즈를 제거하는 필터링단계를 더 포함할 수 있다.

이하에서는 첨부한 도면을 참조하여 본 발명에 따른 오디오신호 가공방법을 보다 구체적으로 설명하기로 한다.

도 1은 본 발명에 따른 오디오신호 가공방법을 실현하기 위한 장치의 구성을 도시한 블록도이다. 도 1의 오디오신호 가공장치는, 디지털 오디오데이터를 입력받아 이를 저장하기 위한 메모리(8)와, 이 메모리(8)로부터 오디오데이터를 읽어들여 재생시간을 가변시키는 신호가공처리를 하는 재생시간조정부(12)와 약음을 강음에 비해 상대적으로 더 큰 이득률로 증폭시키는 차등증폭부(14)를 포함한다. 재생시간조정부(12)는 재생시간조정율(α)에 의거하여 오디오신호의 재생시간을 늘이거나 줄여준다. 차등증폭부(14)는 차등증폭율(β)에 따라 차등증폭 처리를 수행한다. 재생시간조정율(α)과 차등증폭율(β)은 사용자인터페이스부(20)로부터 각각 제공된다. 즉, 사용자 인터페이스부(20)는 사용자의 조작을 모니터링하여 오디오신호의 재생시간과 약음의 강화에 대한 사용자의 설정값을 재생시간조정율(α)과 차등증폭율(β)로 변환하여 재생시간조정부(12)와 차등증폭부(14)로 각각 제공한다. 사용자인터페이스부(20)는 경우에 따라서는 약음강화처리가 적용되는 음의 세기의 문턱값(x_th)을 더 제공한다.

메모리(10)에 제공되는 디지털 오디오데이터는 시간에 대한 음의 세기를 정수 스트림으로 표현한 것으로서, 그 최대값에 의해 정규화된 데이터인 것이 바람직하며, 비정규화 데이터인 경우에는 재생시간조정부(12) 혹은 차등증폭부(14)에서 신호 가공 전에 미리 정규화한다. 디지털 오디오 데이터의 소스는 오디오파일(예컨대 wav 혹은 avi 형식의 오디오 파일)을 저장하는 하드디스크나 시디롬이 될 수도 있고, 마이크 등과 같은 온라인 입력수단이 될 수도 있다. 마이크의 출력신호를 가공하기 위해서는 그 출력신호가 아날로그신호이므로 이를 디지털화하는 처리가 선행되어야 할 것이다.

오디오신호 가공장치는 또한 재생시간 및 차등증폭 처리를 마친 데이터를 입력받아 저역통과필터링을 하여 고주파수대역의 노이즈를 제거하는 필터부(16)와 전후단의 데이터처리 속도차이를 완충시켜 출력단으로 데이터의 원활한 공급이 이루어지도록 해주는 출력버퍼부(18) 그리고 디지털 오디오신호를 아날로그 오디오신호로 변환하여 스피커(24)를 통해 음으로 출력되도록 하는 오디오출력부(22)를 더 포함한다.

재생시간조정부(12)와 차등증폭부(14)는 신호가공부(10)를 구성하며, 이는 필터부(16)와 함께 디지털신호처리(DSP)칩(비도시)에 소프트웨어로 구현될 수도 있고, 컴퓨터장치의 경우에도 소프트웨어로 구현된다. 오디오출력부(22)는 내부에 아날로그/디지털 변환기와 신호증폭기 등을 포함하며 컴퓨터장치에 있어서는 사운드카드가 이에 해당될 수 있다.

도 2는 본 발명에 따른 오디오신호 가공방법을 개략적으로 설명하기 위한 흐름도이다.

사용자는 소정의 조작수단을 통해 자신이 원하는 재생시간조정율 α과 차등증폭율 β를 설정할 수 있다. 상기 재생시간조정율 α는 오디오신호의 재생시간을 정상적인 재생시간보다 길거나 짧게 조정하기 위한 것으로서 α_min≤ α ≤ α_max의 범위 내에서 정해진다. α의 값이 1인 경우에는 원래의 정상재생속도와 동일하게 재생되며, 1 보다 적은 값이면 디지털신호의 양이 줄어들므로 재생시간은 짧아진다(즉, 재생속도가 빨라진다). 그리고, 1보다 큰 값이면 재생시간은 늘어나서 재생음이 느리게 들린다. 음성신호의 경우에는 α는 0.7이상 3이하의 범위에서 정하더라도 충분히 양호한 음질로 재생될 수 있다는 것을 실제 구현을 통해 확인할 수 있었다. 상기 차등증폭율 β는 오디오신호의 약음을 강음보다 상대적으로 더 강화시키기 위한 것으로서 β_min≤ β ≤ β_max의 범위 내에서 정해진다. 음성신호의 경우 β또한 1이상 3이하의 범위내의 값을 가지도록 하면 충분히 양호한 음질로 재생할 수 있다는 것을 실제 구현을 통해 확인할 수 있었다.

사용자가 소정의 입력수단 예컨대 키보드나 마우스 혹은 다른 종류의 입력수단을 사용하여 재생시간조정율 α와 차등증폭율 β를 입력하면 사용자 인터페이스(20)는 그 입력값을 모니터링하여 재생시간조정부(12)와 차등증폭부(14)로 각각 제공한다(S10 단계). 오디오신호의 가공 중에 이들 값들이 제공되면 재생시간조정부(12)와 차등증폭부(14)에는 인터럽트가 걸리어 기존의 값들이 새로이 제공되는 재생시간조정율 α와 차등증폭율 β에 의해 대체된다.

메모리(8)에는 가공전의 원래의 디지털 오디오신호 x(·)가 저장되어 있는데, 이를 신호가공부(10)에서 읽어들인다(S12 단계). 신호를 읽어들이는 단위는 프레임이다. 프레임은 N개의 샘플데이터를 포함한다. 재생시간을 조정하기 위해서는 다음 프레임을 이전 프레임의 끝부분부터 읽는 것이 아니라 인접 프레임끼리는 일정부분 중복하여 읽는다. 즉, 다음 프레임 F_m은 이전 프레임 F_m-1의 시작 위치에서 상기 N개보다 작은 수의 샘플을 건너뛴 위치의 샘플부터 읽어내므로써 인접 프레임간에 소정개수의 샘플을 중복하여 읽어낸다. 이에 관한 보다 자세한 설명은 후술한다.

데이터 독출단계(S12 단계)를 통해 읽어들인 각 프레임에 대하여 신호가공부(10)는 차등증폭단계(S14 단계)와 시간축변환단계(S16 단계) 즉, 재생시간변환단계를 수행한다. 차등증폭단계(S14 단계)와 시간축변환단계(S16 단계)는 도 2의 흐름도처럼 차등증폭을 먼저 처리한 다음 시간축변환을 처리하는 순서로 오디오신호를 가공할 수도 있지만, 이와는 반대의 순서도 가능하다.

차등증폭단계(S14 단계)는 각 프레임의 샘플데이터 x_i를 상기 차등증폭율 α에 대응하는 소정의 차등증폭함수 f(x_i)에 차례로 대입하여 증폭하는 단계이다. 여기서, 상기 차등증폭함수 f(x_i)는 특히 약음에서 강음으로 갈수록 증폭이득이 상대적으로 낮게 적용되는 함수이다. 따라서, 이 함수를 이용하여 오디오데이터를 변환하면 약음을 강음에 비해 차등적으로 더 강화시킬 수 있다.

시간축변환단계(S16 단계)는 상기 다음 프레임 F_m을 메모리(물리적으로는 상기 메모리(8)의 특정 영역이 되거나 신호가공부(10)의 내부 메모리가 될 수 있음)에 시간축변환신호 y(·)로서 이미 기록된 상기 이전 프레임 F_m-1과 소정 샘플수만큼 중복되도록 부가하여 기록한다. 여기서 중복 기록되는 부분의 샘플은 가중치를 주고 더하며 비중복부분은 그대로 더한다. 또한, 중복부분의 샘플수는 재생시간조정율 α의 크기에 대응하여 증감하는 방식으로 부가한다. 따라서, 원래의 신호 x(·)는 그 시간축 길이가 상기 재생시간조정율 α에 비례하여 변환된다.

이와 같이 차등증폭과 시간축변환 처리에 의해 사용자가 설정한 재생시간조정율과 차등증폭율로 변환가공된 오디오데이터는 필터부(16)에 의한 필터링을 거쳐 버퍼부(18)에 기록된다(S18 단계). 차등증폭과 시간축변환 과정에서 원치 않는 노이즈가 도입될 수 있는데, 노이즈는 대개의 경우 고주파성분을 가지므로 저역통과필터링 처리를 함으로써 노이즈를 제거한다. 필터링은 프레임단위로도 할 수 있을 것이나, 효율적인 처리를 위해 하나의 패킷을 구성하는 여러 개의 프레임을 처리단위로 하는 것이 바람직하다. 필터링처리를 거친 패킷데이터는 출력버퍼(18)에 기록된다. 본 발명을 컴퓨터장치를 통해 구현하는 경우, 출력버퍼(18)는 다수개 마련하는 것이 바람직하다. 상기 시간축변환단계 및 상기 차등증폭단계를 통해 가공된 신호는 상기 다수개의 출력버퍼(18)에 기입하되 상기 패킷데이터를 기입하는 출력버퍼는 순환적으로 교체한다. 예컨대, 출력버퍼가 Buf_1, Buf_2, Buf_3, Buf_4 이렇게 4개라고 가정하면, 패킷데이터의 기입순서는 'Buf_1 -> Buf_2 -> Buf_3 -> Buf_4 -> Buf_1 ....'의 순서로 순환된다.

출력버퍼(18)에 대한 패킷데이터의 기입과 병행하여, 상기 다수개의 출력버퍼에 기록된 패킷데이터는 기록순서가 앞선 출력버퍼의 패킷데이터가 먼저 오디오출력부(22)로 출력된다(S20 단계). 즉, 출력버퍼의 순환순서 역시 위의 패킷데이터의 기입순서와 동일한 순서이다. 오디오출력부(22)에 입력된 디지털데이터는 아날로그신호로 변환되고 증폭처리 등 음성출력에 필요한 후처리를 거쳐 스피커(24)로 제공된다.

도 3은 시간축변환단계(S16 단계)의 알고리즘을 도시한 흐름도이다. 도 4는 원래의 오디오신호 x(·)를 사용자가 설정한 재생시간조정율 ??의 크기에 대응하여 그 길이를 늘이거나 줄여 시간축변환신호 y(·)를 얻기 위한 하는 원리를 설명하기 위한 참고도이다. 도 4에서 이해를 돕기 위해, 프레임 Fm은 320개의 샘플을 포함하며, 재생시간조정율 α은 2이며, 원신호 x(·)의 각 프레임간 시작점의 기본차이값 Sa는 120(샘플)이며, 원신호 x(·)와 시간축변환신호 y(·)간의 파형의 유사성을기준으로 최적 상관성을 검출하기 위한 체크범위(윈도우) k_max를 상기 Sa값을 기준으로 ±40(샘플)인 경우를 예로 한다. 이들 값은 예시적인 값일 뿐 적용환경에 따라 다른 값으로 변경 가능함을 물론이다.

먼저, 제 1 메모리 즉, 메모리(8)로부터 원래의 오디오신호 x(·)의 최초 프레임 F0을 읽어와서 제 2 메모리(메모리(8) 또는 신호가공부(10)의 내부 메모리)에 시간축변환신호 y(·)로서 그대로 복사한다(S22 단계).

그런 다음에 프레임 인덱스 m의 값을 1로 설정한다(S24 단계).

이후에는 다음의 루프를 원신호 x(·)를 전부 변환완료 할 때까지 실행한다(S36 단계).

우선, 원래의 신호 x(·)에서 다음 프레임 F1을 읽어내어 시간축변환신호 y(·)에 부가하여야 한다. 여기서, 다음 프레임 F1을 원래의 신호 x(·)로부터 읽어낼 때 의 시작위치는 가변적으로 결정된다. 그 기준은 시간축변환신호 y(·)에 복사되어 있는 이전 프레임 F0와의 동기지연(Synchronized Lag) K1에 의해 결정된다. 또한, 읽어낸 다음 프레임 F1의 시간축변환신호 y(·)로 부가하는 위치도 재생시간조정율 α의 크기에 따라 달라진다.

이를 일반적으로 설명하면 다음과 같다. 동기지연 Km이란 일반적으로 시간축변환신호 y(·)와 최적의 상관성을 갖도록 원신호 x(·)의 다음 프레임의 시작 위치의 변동값을 의미한다. 동기지연 Km을 구하기 위해서는 우선 상기 상관성 체크범위의 하한값 mSa-40과 상한값 mSa+40 사이의 범위에 대하여 아래의 상관성을 구하는 식을 이용하여 동기지연 Km을 구한다. 동기지연 K_m은 소정의 범위 내에서 상기 다음 프레임 F_m이 상기 시간축변환신호 y(·)로서 이미 기록된 상기 이전 프레임 F_m-1과 최적 상관성을 갖도록 정하는 데 이용된다.

<수식 1>

<수식 2>

단, L은 인접 프레임간의 오버랩 부분의 샘플수를 의미한다.

위의 두 수식을 이용하여 최적의 상관성을 갖는 동기지연 Km이 구해지면, 이 값을 이용하여 N개의 샘플을 포함하는 다음 프레임 F_m을 원래의 신호 x(·)로부터 읽어낸다. 다음 프레임 F_m의 읽기시작위치는 이전 프레임 F_m-1의 읽기시작위치에서 프레임시작간격 S_a에 동기지연 K_m을 가감한 값인 S_a±K_m(단, 0 < S_a±K_m< N)개의 샘플을 건너뛴 위치가 된다. 예컨대, 도 4를 참조하면, K₁, K₂, K₃가 각각 20, -10, 35로 정해진 경우, 두 번째, 세 번째 및 네 번째 프레임 F1, F2, F3의 읽기시작위치는 각각 140, 230, 395번째의 샘플이 된다. 물론 각 프레임의 샘플수는 항상 N개인 320개가 된다. 이와 같은 방식으로 원래의 신호 x(·)를 읽어내면 이전 프레임과 다음 프레임은 상당한 양의 샘플이 중복된다. 그리고 이 중복부분은 시간축변환신호 y(·)에서는 재생시간조정율 α의 크기에 따라 줄어들거나(α>1 인 경우) 늘어난다(α<1인 경우). 주목할 것은 각 프레임의 읽기시작점이 각 프레임간 시작점의 기본차이값 Sa와 프레임 인덱스 m의 곱에 의해 규칙적으로 변동하는 것이 아니라 수식 1과 2를 이용하여 결정된 최적상관성 Km의 크기에 따라 불규칙하게 변한다는 점이다.

이렇게 읽어낸 다음 프레임 F_m을 시간축변환신호 y(·)에 부가한다. 시간축변환신호 y(·)에 부가되는 다음 프레임 F_m의 시작위치는 프레임시작간격 S_a, 상기 재생시간조정율 α, 그리고 상기 각 프레임의 인덱스 m의 곱 mαS_a으로 정해진다. 그러므로 도 4에서는 αSa = 2x120 = 240 이므로 두 번째, 세 번째 및 네 번째 프레임 F1, F2, F3의 부가위치는 240, 480, 720이 된다. 부가시 다음 프레임 F_m의 앞부분은 이전 프레임 F_m-1의 뒷부분간에 중복부분이 발생한다. 양 프레임의 중복되는 부분은 아래 수식 3과 4를 각각 이용하여 가중치를 주고 더하고 중복되지 않는 다음 프레임 F_m의 나머지 부분은 그대로 복사한다.

<수식 3>

<수식 4>

여기서, g(j)는 가중치 함수이다. 이 가중치 함수 g(j)는 알기 쉽게는 선형함수가 대표적이지만 지수함수를 적용할 수도 있을 것이다.

이와 같은 방식으로 원래의 신호 x(·)를 프레임단위로 읽어와서 시간축변환신호 y(·)에 부가해나간다. 이 과정에서 하나의 프레임을 처리할 때마다 프레임 인덱스 m의 값을 1씩 증가시킨다(S30 단계). 그리고, 프레임 인덱스 m의 크기가 하나의 패킷을 구성하는 프레임갯수 PL의 배수인지를 확인한다. 프레임 인덱스 m이 PL의 배수에 이르면 시간축변환신호 y(·)의 데이터 량이 패킷데이터량에 이른 상태이므로 이 경우 그 변환된 데이터를 저역통과필터링을 처리를 한 다음 버퍼부(18)에 기록한다(S32 및 S34 단계).

그리고 원신호 x(·)의 끝까지 변환되었는지를 체크하면서 원신호 x(·)의 모든 데이터를 처리할 때까지 S26단계~S36단계로 구성되는 루프를 반복적으로 실행한다. 이와 같은 방식으로 사용자가 설정한 재생시간조정율 α에 따른 시간축 변환처리가 수행된다. 도 7의 (a)는 정규화된 원래의 신호 x(·)의 시간에 대한 파형도를 예시적으로 도시한 것이다. 이 신호를 그 길이가 2배로 늘어나도록(즉, 재생시간조정율 α가 2인 경우) 시간축변환을 하여 얻어진 신호 y(·)의 시간에 대한 파형도이다. 이들 파형을 비교해보면, 원래의 신호 x(·)는 시간축상에서 대략 2배정도 늘어났으면서도 그 형태적 특징이 거의 그대로 유지되는 것을 볼 수 있으며, 실제로 재생음을 청취해보면 양호한 음질을 느낄 수 있다.

다음으로, 도 5는 약음을 강음보다 더 높은 증폭율을 적용하여 차등증폭하는 알고리즘을 설명하기 위한 흐름도이다.

차등증폭 알고리즘은 샘플단위로 처리한다. 따라서, 이 알고리즘은 도 3의 시간축변환 알고리즘과 병행적으로 실행될 수 있는 특징이 있다. 예컨대, 시간축변환 알고리즘에 있어서, 원래의 신호 x(·)를 프레임단위로 읽어낸 다음 그 프레임의 각 샘플에 대하여 차등증폭 알고리즘을 수행한 다음 시간축변환신호 y(·)로 변환하는 것이 하나의 가능한 방안이다. 또 다른 선택 가능한 방안으로서는 시간축변환신호 y(·)가 패킷데이터량만큼 모이면 이를 저역통과필터링 처리를 하는데 이 저역통과필터링에 앞서서 시간축변환신호 y(·)에 대한 샘플단위의 차등증폭을 실행하는 방안이다. 물론 차등증폭을 저역통과필터링 후에 하는 것도 불가능한 것은 저역통과필터링은 노이즈제거라는 목적을 가지므로 차등증폭을 저역통과필터링보다 앞세우는 것이 효과적일 것이다.

도 5를 참조하여 차동증폭 알고리즘을 구체적으로 설명하면 다음과 같다.

차등증폭을 하는 방법은 어떤 함수를 차등증폭함수로 적용할 것인가, 그리고 샘플데이터의 값에 따라 차등증폭대상을 구별할 것인가 등에 따라서 여러 가지 다양한 형태로 변형될 수 있다. 기본적으로 차등증폭함수 f(x_i)는 음의 세기가 약한 음에서 강한 음으로 갈수록 증폭이득이 상대적으로 낮게 적용되는 함수들 중에서 선택되어야 한다. 이러한 요건을 만족시키는 함수는 단조증가함수로서 예컨대 도 6의 (a)에 예시된 바와 같이 f(x)=x인 선형함수나 혹은 f(x)=x^1/β인 지수함수가 이에 해당된다. 샘플데이터를 이들 함수의 변수로 대입하여 그 함수값을 샘플데이터 대신에 취하면 약음은 강음에 비해 차등적으로 더 강화된다.

도 6의 (b)는 문턱값 x_th을 기준으로 이 값보다 더 큰 값의 샘플데이터만을 선택적으로 차등증폭하고 문턱값 x_th이하의 샘플데이터는 원래의 값을 그대로 유지하는 방안을 적용할 경우를 도시한 것이다.

도 6의 (c)는 문턱값 x_th을 기준으로 이 값보다 더 큰 값의 샘플데이터는 차등증폭함수 f(x_i) = x_i ^1/β를 이용하여 함수값을 연산하고 문턱값보다 작은 값을 갖는 샘플데이터는 차등증폭함수 f(x_i) = x_i ^β를 이용하여 함수값을 각각 연산하여 원래의 샘플데이터 x_i를 대체하는 방안을 적용하는 경우를 도시한다.

물론 샘플데이터 x_i를 문턱값 x_th과 비교하는 절차를 거치지 않고 모든 샘플데이터를 차등증폭함수로 연산하여 그 함수값으로 변환하는 방안도 가능하다.

도 5의 흐름도는 이들 방안중 도 6의 (c)에 따른 차등증폭을 하는 경우의 실행 알고리즘의 순서도이다.

이 흐름도를 참조하여 설명하면, 우선 처리대상 샘플 x_i의 크기를 문턱값 x_th와 비교한다(S40 단계). 이 문턱값 x_th은 사용자가 설정할 수도 있고 시스템에 의해 미리 정의해둘 수도 있다.

상기 비교의 결과, 샘플데이터 x_i가 문턱값 x_th보다 클 때에는 샘플데이터 x_i는 함수값 x_i ^1/β로 대체되고, 반대로 샘플데이터 x_i가 문턱값 x_th보다 작을 때에는 샘플데이터 x_i는 함수값 x_i ^β로 대체된다(S42, S44 단계). x_i가 문턱값 x_th보다 작은 경우 차등증폭함수를 S42단계처럼 지수함수를 적용하면 작은 음값에 의한 노이즈는효과적으로 약화시킬 수 있다는 장점이 있는 반면 계산량이 많아지는 단점도 있다. 반면에 도 6의 (b)의 경우처럼 선형함수를 차등증폭함수로서 적용하면 계산량은 상대적으로 작아지는 효과가 있다. 원래의 신호 x(·)가 녹음실과 같은 소음이 없는 공간에서 기록된 것이라면 x_i가 문턱값 x_th보다 작은 경우 굳이 지수함수를 적용할 필요까지는 없을 것이다.

매 샘플데이터를 위와 같이 처리한 다음에는 샘플인덱스 i가 패킷데이터의 샘플 개수 PS의 정수 배를 초과한지를 체크하고 (S46 단계), 처리된 샘플데이터의 수가 아직 하나의 패킷에 이르지 못하였으면 샘플인덱스 i만 1을 증가시킨 다음(S48 단계), 다음 샘플데이터에 대하여 새로이 차등증폭함수를 이용한 연산을 반복한다.

처리된 샘플데이터의 수가 패킷데이터량에 이르면 차등증폭된 데이터집합 {x_i}를 노이즈제거를 위한 저역통과필터링 처리를 한다(S50 단계). 그리고 필터링 처리를 거친 데이터는 버퍼부(18)에 기록되고 결국 오디오출력부(22)를 통해 아날로그신호를 변환되어 스피커(24)로 출력된다(S52 단계). 물론 이 차등증폭 알고리즘이 시간축변환 알고리즘의 일부로 배치하는 경우에는 차등증폭함수를 이용한 샘플데이터의 연산단계가 편입될 뿐이다.

이와 같은 처리루틴은 원신호의 모든 샘플데이터를 다 처리할 때까지 계속 적으로 반복된다(S54, S48 단계).

도 7의 (c)는 도 7의 (a)의 원신호 x(·)를 소정의 차등증폭율을 적용하여실제로 차등증폭하여 얻은 신호의 파형도이다. 이들 두 파형도를 대비해보면 음의 세기 즉 진폭이 큰 부분보다는 진폭이 낮은 부분이 상대적으로 더 많이 증폭되었음을 확인할 수 있다. 이는 목적한 바의 결과와 일치하고 있다.

이상에서는 디지털 오디오신호의 재생시간을 늘리거나 줄이기 위한 신호가공방법과 약음을 차등적으로 더 강화시키기 위한 신호가공방법을 설명하였다. 이들 두 방법은 병행적으로 실행 가능하므로 여러 가지 장점을 갖는다. 예컨대, 본 발명의 오디오신호 가공방법을 외국어 청취력 학습을 위한 장치에 적용하면, 사용자는 자신의 청취능력에 맞게 오디오신호의 재생속도를 조절할 수 있을 뿐만 아니라 잘 들리지 않는 약음도 정확하게 알아들 수 있어서 학습효과를 크게 높여줄 수 있을 것으로 기대된다.

본 발명에 따른 오디오신호 처리방법은 컴퓨터, 오디오 카세트 테이프 레코더는 물론 그 밖의 오디오신호 재생장치에 광범위하게 응용되어 청취력이 약한 사용자의 청취력 보조수단으로 활용될 수 있을 것이다.

또한, 본 발명은 오디오신호의 시간축변환을 위한 가공은 프레임단위로 하지만 스피커가 있는 오디오출력부로는 여러 개의 프레임을 하나로 묶은 패킷단위로 제공하고, 또한 여러 개의 출력버퍼를 사용하여 오디오출력부로 데이터를 공급해주므로써 오디오신호가 스피커로 원활하게 공급된다. 그 결과 재생음은 끊어지지 않고 그 음질이 대단히 양호하게 나타난다.

이상에서는 본 발명의 실시예에 따라 본 발명이 설명되었지만, 본 발명의 사상을 일탈하지 않는 범위 내에서 다양한 변형이 가능함은 본 발명이 속하는 기술 분야의 당업자라면 명확히 인지할 수 있을 것이다.

Claims (16)

1. 시간에 대한 음의 세기를 정수 스트림으로 표현한 디지털 오디오신호를 가공하는 방법에 있어서,

   사용자에 의해 지정되는 입력값인 재생시간조정율 α와 차등증폭율 β를 사용자 인터페이스로부터 읽어들이는 단계로서, 상기 재생시간조정율 α는 오디오신호의 재생시간을 정상적인 재생시간보다 길거나 짧게 조정하기 위한 것으로서 α_min≤ α ≤ α_max의 범위 내에서 정해지며 상기 차등증폭율 β는 오디오신호의 약음을 강음보다 상대적으로 더 강화시키기 위한 것으로서 β_min≤ β ≤ β_max의 범위 내에서 정해지는 설정값읽기단계;

   제1 메모리에 저장되어 있는 원래의 오디오신호 x(·)를 N개의 샘플로 구성된 프레임 단위로 연속해서 읽어내되, 다음 프레임 F_m은 이전 프레임 F_m-1의 시작 위치에서 상기 N개보다 작은 수의 샘플을 건너뛴 위치의 샘플부터 읽어내므로써 인접 프레임간에 소정개수의 샘플을 중복하여 읽어내는 데이터독출단계;

   상기 다음 프레임 F_m을 제 2 메모리에 시간축변환신호 y(·)로서 이미 기록된 상기 이전 프레임 F_m-1과 소정 샘플 수만큼 중복되도록 부가하되 그 중복부분의 샘플은 가중치를 주고 더하며 비중복부분은 그대로 더하고, 상기 중복부분의 샘플 수는 상기 재생시간조정율 α의 크기에 대응하여 증감하는 방식으로 부가함으로써시간축 길이가 상기 재생시간조정율 α에 비례하여 변환된 신호 y(·)를 얻기 위한 시간축변환단계; 및

   각 프레임의 샘플데이터 x_i를 상기 차등증폭율 β에 대응하는 소정의 차등증폭함수 f(x_i)에 차례로 대입하여 증폭하되, 특히 상기 차등증폭함수 f(x_i)는 약음에서 강음으로 갈수록 증폭이득이 상대적으로 낮게 적용되는 함수이어서 약음을 강음에 비해 차등적으로 더 강화시키는 차등증폭단계를 포함하여,

   상기 디지털 오디오신호를 사용자의 지정값에 따라 그 재생시간의 조절과 차등증폭에 의한 이득조절을 병행적으로 처리하는 것을 특징으로 하는 오디오신호 가공방법.
2. 제 1항에 있어서, 상기 데이터독출단계에서 읽어낸 각 프레임의 샘플데이터를 정규화하는 정규화단계를 더 포함하는 것을 특징으로 하는 오디오신호 가공방법.
3. 제 1항에 있어서, 출력버퍼를 다수개 마련하고, 상기 시간축변환단계 및 상기 차등증폭단계를 통해 가공된 신호의 다수개의 프레임을 하나의 패킷으로 묶어서 상기 복수개의 출력버퍼들 중 어느 하나에 기입하되 특히 상기 패킷데이터를 기입하는 출력버퍼는 순환적으로 교체하고, 이와 병행하여 상기 다수개의 출력버퍼에 기록된 패킷데이터는 기록순서가 앞선 출력버퍼의 패킷데이터가 먼저 스피커를 포함하는 오디오출력부로 출력되도록 제어하는 데이터출력단계를 더 포함하는 것을 특징으로 하는 오디오신호 가공방법.
4. 제 1항에 있어서, 차등증폭된 샘플데이터를 소정의 데이터량마다 저역통과필터링 처리를 하여 노이즈를 제거하는 필터링단계를 더 포함하는 것을 특징으로 하는 오디오신호 가공방법.
5. 제 1항 내지 제 4항 중 어느 하나에 있어서, 상기 데이터독출단계와 관련하여 상기 다음 프레임 F_m의 읽기시작위치는 상기 이전 프레임 F_m-1의 읽기시작위치에서 프레임시작간격 S_a에 동기지연 K_m을 가감한 값인 S_a±K_m(단, 0 < S_a±K_m< N)개의 샘플을 건너뛴 위치이며, 상기 동기지연 K_m은 소정의 범위 내에서 상기 다음 프레임 F_m이 상기 시간축변환신호 y(·)로서 이미 기록된 상기 이전 프레임 F_m-1과 최적 상관성을 갖도록 정하는 것을 특징으로 하는 오디오신호 가공방법.
6. 제 1항 내지 제 4항 중 어느 하나에 있어서, 상기 시간축변환단계에서 상기 시간축변환신호 y(·)에 부가되는 각 프레임의 시작위치는 상기 프레임시작간격 S_a, 상기 재생시간조정율 α, 그리고 상기 각 프레임의 인덱스 m의 곱 mαS_a으로 정해지는 것을 특징으로 하는 오디오신호 가공방법.
7. 제 1항 내지 제 4항 중 어느 하나에 있어서, 상기 차등증폭함수 f(x_i)는 단조증가함수인 것을 특징으로 하는 오디오신호 가공방법.
8. 제 7항에 있어서, 상기 차등증폭함수 f(x_i)는 f(x_i)= x_i ^1/β로 표현되는 함수식인 것을 특징으로 하는 오디오신호 가공방법.
9. 제 1항 내지 제 4항 중 어느 하나에 있어서, 상기 차등증폭단계의 상기 차등증폭함수 f(x_i)를 이용한 차등증폭연산은 상기 시간축변환단계에서의 시간축변환 처리에 앞서 상기 데이터독출단계에서 읽어낸 각 프레임에 대하여 수행하는 것을 특징으로 하는 오디오신호 가공방법.
10. 제 1항 내지 제 4항 중 어느 하나에 있어서, 상기 차등증폭단계의 상기 차등증폭함수를 이용한 차등증폭연산은 상기 시간축변환단계에서의 시간축변환 처리후에 얻어진 상기 시간축변환신호 y(·)에 대하여 수행하는 것을 특징으로 하는 오디오신호 가공방법.
11. 제 1항 내지 제 4항 중 어느 하나에 있어서, 상기 재생시간조정율 α는 0.7 이상 3이하의 값을 가지며, 상기 차등증폭률 β는 1이상 3이하인 값을 가지는 것을특징으로 하는 오디오신호 가공방법.
12. 시간에 대한 음의 세기를 정수 스트림으로 표현한 디지털 오디오신호를 가공하는 방법에 있어서,

    사용자에 의해 지정된 차등증폭율 β을 사용자 인터페이스로부터 읽어들이는 단계; 및

    상기 정수 스트림의 각 샘플데이터를 상기 차등증폭율 β에 대응하는 소정의 차등증폭함수 f(x_i)의 변수값으로 적용하여 증폭하되, 특히 상기 차등증폭함수 f(x_i)는 약음에서 강음으로 갈수록 증폭이득이 상대적으로 낮게 적용되는 함수이어서 약음을 강음에 비해 차등적으로 더 강화시키는 차등증폭단계를 포함하는 것을 특징으로 하는 오디오신호 가공방법.
13. 제 12항에 있어서, 차등증폭된 샘플데이터가 패킷데이터량만큼 모이면 상기 패킷데이터에 대하여 저역통과필터링처리를 하는 단계를 더 포함하는 것을 특징으로 하는 오디오신호 가공방법.
14. 제 12항에 있어서, 상기 차등증폭단계는 상기 샘플데이터 x_i를 문턱값 x_th와 그 크기를 비교하는 단계; 및 상기 비교의 결과, 상기 각 샘플데이터 x_i가 상기 문턱값 x_th보다 크면 상기 차등증폭함수 f(x_i)는 f(x_i) = x_i ^1/β이고, 상기 각 샘플데이터 x_i가 상기 문턱값 x_th보다 작으면 상기 차등증폭함수 f(x_i)는 f(x_i) = x_i ^β이 되어 상기 차등증폭처리를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오신호 가공방법.
15. 제 12항에 있어서, 상기 차등증폭단계는 상기 샘플데이터 x_i를 문턱값 x_th와 그 크기를 비교하는 단계; 및 상기 비교의 결과, 상기 각 샘플데이터 x_i가 상기 문턱값 x_th보다 큰 경우에만 상기 차등증폭함수 f(x_i)는 f(x_i) = x_i ^1/β로 하여 상기 차등증폭처리를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오신호 가공방법.
16. 제 12항에 있어서, 상기 차등증폭함수 f(x_i)는 단조증가함수인 것을 특징으로 하는 음성신호 가공방법.