KR100863184B1 - Method for multichannel blind deconvolution to eliminate interference and reverberation signals - Google Patents

Method for multichannel blind deconvolution to eliminate interference and reverberation signals Download PDF

Info

Publication number
KR100863184B1
KR100863184B1 KR1020060137803A KR20060137803A KR100863184B1 KR 100863184 B1 KR100863184 B1 KR 100863184B1 KR 1020060137803 A KR1020060137803 A KR 1020060137803A KR 20060137803 A KR20060137803 A KR 20060137803A KR 100863184 B1 KR100863184 B1 KR 100863184B1
Authority
KR
South Korea
Prior art keywords
signal
separation filter
value
separation
interference
Prior art date
Application number
KR1020060137803A
Other languages
Korean (ko)
Other versions
KR20080061212A (en
Inventor
이인성
임정우
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020060137803A priority Critical patent/KR100863184B1/en
Publication of KR20080061212A publication Critical patent/KR20080061212A/en
Application granted granted Critical
Publication of KR100863184B1 publication Critical patent/KR100863184B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

다중경로를 통해서 혼합된 신호를 분리하는 방법으로 실제 환경에서 수집된 음향 및 음성신호들이 혼합된 혼합신호들에서 음원과 녹음환경에 대한 사전정보 없이 분리필터행렬을 추정하여 간섭 및 반향신호에 의해서 열화된 원래의 신호를 복원하기 위한 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법이 개시된다. 본 발명은 외부로부터 다중경로를 통해 입력되는 혼합신호들을 취득하는 프레임 단위 처리하고, 상기 프레임 단위 처리를 거친 혼합신호에서 간섭신호를 제거하며 간섭신호가 제거된 신호에서 신호 자신의 반향신호를 제거한다. 이후, 반향신호가 제거된 프레임 단위의 신호를 연속신호로 변환하는 연속신호 처리 방법을 포함하는 것이다.This method separates mixed signals through multipath and deteriorates due to interference and echo signals by estimating the separated filter matrix from mixed signals mixed in real environment without prior information about sound source and recording environment. Disclosed are a multi-step blind deconvolution method for canceling interference and echo signals to recover the original signal. The present invention is to perform frame-by-frame processing for acquiring mixed signals input through the multipath from the outside, and to remove interference signals from the mixed signal subjected to the frame-by-frame processing and to remove echo signals of the signal itself from the signal from which the interference signals are removed . Then, the method includes a continuous signal processing method for converting a signal in a frame unit from which an echo signal is removed into a continuous signal.

Description

간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법{Method for multichannel blind deconvolution to eliminate interference and reverberation signals}Method for multichannel blind deconvolution to eliminate interference and reverberation signals

도 1은 본 발명에 따른 다단계 암묵 디콘볼루션을 이용한 다중경로 혼합신호 분리 장치의 일실시예를 보여주기 위한 블록도이다.1 is a block diagram showing an embodiment of a multipath mixed signal separation apparatus using multi-level blind deconvolution according to the present invention.

도 2는 도1에서 간섭신호 제거부(102)의 일실시예를 보여주기 위한 상세 구성도이다.FIG. 2 is a detailed block diagram illustrating an embodiment of the interference signal removing unit 102 in FIG. 1.

도 3은 도1에서 반향신호 제거부(103)의 일실시예를 보여주기 위한 상세 구성도이다.FIG. 3 is a detailed block diagram illustrating an embodiment of the echo signal removing unit 103 in FIG. 1.

＜도면의 주요부분에 대한 부호의 설명＞<Description of the code | symbol about the principal part of drawing>

100: 암묵신호분리장치 101: 혼합신호 취득부100: blind signal separation unit 101: mixed signal acquisition unit

102: 간섭신호 제거부 103: 반향신호 제거부102: interference signal canceller 103: echo signal canceller

104: 연속신호 처리부 201: 파워 정규화기104: continuous signal processing unit 201: power normalizer

202: 제 1분리필터부 W l (f) 203: 분리필터 비대각성분 갱신부202: first separation filter unit W l ( f ) 203: separation filter non-diagonal component updating unit

204: 제 2분리필터부 W off-diag (f) 301: 자기상관 감쇄부204: second separation filter unit W off-diag ( f ) 301: autocorrelation attenuation unit

302: 파워 정규화기 303: 제 1 분리필터부 1 W l (f)302: power normalizer 303: first separation filter 1 W l ( f )

304: 분리필터 주대각성분 갱신부304: separation filter main diagonal component update unit

305: 제 2 분리필터부 W diag (f)305: second diaphragm filter part W diag ( f )

본 발명은 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법에 관한 것으로, 특히 다중경로를 통해서 혼합된 신호를 분리하는 방법으로 실제 환경에서 수집된 음향 및 음성신호들이 혼합된 혼합신호들에서 음원과 녹음환경에 대한 사전정보 없이 분리필터행렬을 추정하여 간섭 및 반향신호에 의해서 열화된 원래의 신호를 복원하기 위한 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법에 관한 것이다.The present invention relates to a multi-level implicit deconvolution method for interference and echo signal cancellation, and in particular, a sound source in mixed signals mixed with acoustic and voice signals collected in a real environment by separating mixed signals through multipath. The present invention relates to a multi-level blind deconvolution method for removing interference and echo signals to recover an original signal degraded by interference and echo signals by estimating a separate filter matrix without prior information on the recording environment.

일반적으로, 암묵신호분리(blind signal separation)는 통신, 오디오/음성 신호처리, 음성인식, 의료공학 등의 분야에서 주목을 받고 있는 기술이다. 암묵신호분리란 다중경로를 통해 혼합된 신호들로부터 원래의 신호들을 추출하는 기술로서, 혼합 환경 및 원래의 신호에 대한 사전정보 없이 원래의 신호를 추출하는 것을 말한다.In general, blind signal separation is a technology that is attracting attention in the fields of communication, audio / voice signal processing, voice recognition, medical engineering, and the like. Blind signal separation is a technique of extracting original signals from mixed signals through multipath, and refers to extracting an original signal without prior information about the mixed environment and the original signal.

이러한 암묵신호분리는 전통적으로 "원래의 신호들은 통계적으로 상호 독립이다"라는 가정을 통하여 문제의 해에 접근한다. 통계적 독립인 원래의 신호들이 다중경로 혼합되면 시/공간의 상관관계를 가지게 된다. 따라서 암묵신호분리의 해 법은 분리신호들 사이의 통계적 독립성을 최대화시켜 원본신호를 복원하는 것을 목적으로 한다.This blind signal separation traditionally approaches the solution of the problem through the assumption that the original signals are statistically independent of one another. When the original signals, which are statistically independent, are multipath mixed, they have a time / space correlation. Therefore, the blind signal separation solution aims to restore the original signal by maximizing the statistical independence between the separated signals.

암묵신호분리는 순시적 혼합신호의 분리를 위한 독립성분분석과 콘볼루티브(convolutive)혼합신호의 분리를 위한 암묵 디콘볼루션(deconvolution)이 있다. 자연계에서 수집되는 혼합 신호는 대부분 암묵 디콘볼루션을 이용해서 분리를 하게 된다.Implicit signal separation includes independent component analysis for the separation of instantaneous mixed signals and implicit deconvolution for the separation of convolutive mixed signals. Mixed signals collected in nature are mostly separated using blind deconvolution.

암묵 디콘볼루션(deconvolution)은 수행영역, 구조, 비용함수 등에 따라 여러 방향으로 많은 연구가 이루어졌지만 음향 및 음성 신호처럼 시간영역에서 자기상관이 강한 신호에 일반적으로 사용되는 다채널 암묵 디콘볼루션을 적용하면, 분리필터 행렬의 주대각성분(diagonal elements)에 의해서 분리신호의 시간 백색화(temporal whitening)가 발생한다. 시간 백색화는 원신호의 주파수 포락선 구조를 파괴하여 신호의 인지도를 감소시키는 문제점이 된다. 따라서 시간 백색화를 방지하는 기법들에 연구가 진행되었지만 시간 백색화 문제에 치중하여 신호 자신의 반향신호를 제거하는 연구는 미비하였다.Implicit deconvolution has been studied in various directions depending on the performance domain, structure, and cost function, but it is a multi-channel implicit deconvolution commonly used for signals with strong autocorrelation in the time domain, such as acoustic and voice signals. When applied, temporal whitening of the separation signal occurs due to the main diagonal elements of the separation filter matrix. Temporal whitening is a problem of reducing the recognition of the signal by destroying the frequency envelope structure of the original signal. Therefore, studies have been conducted on techniques for preventing time whitening, but studies on removing the echo signal of the signal itself have been insufficient.

본 발명은 상기와 같은 시간 백색화 문제를 해결하고 간섭신호 및 신호자신의 반향을 제거하기 위해서 제안된 것으로, 실제 환경에서 수집된 혼합신호, 특히 음향 및 음성신호를 음원과 녹음환경에 대한 사전정보 없이 원음들을 분리하는 경우에 있어, 간섭신호의 제거단계와 반향신호의 제거단계를 나누어서 처리하는 구조를 적용시켜 분리신호의 시간 백색화를 방지하면서 간섭신호와 반향신호를 효과적 으로 제거하여 원본신호에 더욱 근접한 분리신호를 추정하는 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법을 제공하는 데 그 목적이 있다.The present invention has been proposed to solve the above-mentioned time whitening problem and to remove the interference of the interference signal and the signal itself, and the mixed information collected in the real environment, in particular the sound and voice signal, is preliminary information about the sound source and the recording environment. In the case of separating the original sound without a signal, the structure that separates the step of removing the interference signal and the step of removing the echo signal is applied to the original signal by effectively removing the interference signal and the echo signal while preventing whitening of the separated signal. An object of the present invention is to provide a multi-stage blind deconvolution method for canceling interference and echo signals for estimating a closer separated signal.

이와 같은 목적을 달성하기 위한 본 발명은,The present invention for achieving such an object,

실제의 음향 및 음성 신호로 이루어진 혼합신호 x(t)를 연속적으로 취득하고, 상기 취득된 혼합신호 x(t)를 M 샘플단위로 선택하여 DC성분을 제거하여 프레임 단위로 처리한 취득 신호에 프레임 길이가 같은 윈도우(window)를 곱셈 연산하고, 프레임 길이와 같은 M길이의 고속 푸리에 변환(FFT)하여 혼합신호 x l (f)를 생성하는 혼합신호 취득단계;A mixed signal x (t) consisting of actual acoustic and audio signals is continuously acquired, and the obtained mixed signal x (t) is selected in M sample units to remove DC components and processed in frame units. A mixed signal obtaining step of multiplying a window having the same length and generating a mixed signal x l ( f ) by performing a fast Fourier transform (FFT) having an M length equal to the frame length;

상기 단계에서 취득된 상기 혼합신호 x l (f)를 각 채널의 에너지 합으로 정규화 시킨 정규 신호 x

Figure 112006510346065-pat00032
(f)를 얻는 제 1과정; 상기 정규 신호 x
Figure 112006510346065-pat00033
(f)와 분리필터의 값 W l (f)를 곱셈 연산하여 간섭신호가 제거된 임시분리신호 u l (f)를 얻는 제 2 과정; 상기 임시분리신호u l (f)를 연산하여 분리필터 행렬의 비대각 성분에 의해서만 영향을 받도록 분리필터의 갱신값 △W(f)을 연산하고, 상기 분리필터 갱신값 △W(f)과 상기 분리필터의 값 W l (f)을 덧셈 연산하여 새로운 분리필터의 값 W l (f)을 획득하는 제 3 과정; 상기 새로운 분리필터의 값 W l (f)을 동일한 값 W l (f)의 주대각 성분으로 주파수 대역별 나눗셈 연산하여 최종 분리필터 값 W off-diag (f)을 연산하고, 상기 최 종 분리필터 값 W off-diag (f)에 상기 단계의 혼합신호 x l (f)를 통과시켜 상기 혼합신호 x l (f)에서 간섭신호만을 제거한 1차 분리신호를 u
Figure 112006510346065-pat00034
(f)얻는 제 4과정을 포함하는 간섭신호 제거단계; 그리고,A normal signal x obtained by normalizing the mixed signal x l ( f ) obtained in the step by the sum of energy of each channel.
Figure 112006510346065-pat00032
( f ) the first step of obtaining; The normal signal x
Figure 112006510346065-pat00033
(F) the value of the separation filter W l (f) a multiplication operation to temporarily remove the interference signal canceling signal u l (f) a second process of obtaining; The temporary separation signal u l ( f ) is calculated to calculate the update value ΔW ( f ) of the separation filter so as to be influenced only by the non-diagonal components of the separation filter matrix, and the separation filter update value ΔW ( f ) and the A third step of adding a value W l ( f ) of the separation filter to obtain a value W l ( f ) of the new separation filter; The value of the new separation filter W l (f) to the division operation by the band to the main diagonal elements of the same value W l (f) calculating the final separation filter value W off-diag (f), and the final separation filter value W off-diag (f) a first separated signal is passed through a mixed-signal x l (f) of the step removing only the interference signal from the x l (f) the mixed signal to u
Figure 112006510346065-pat00034
( f ) removing the interference signal comprising a fourth process of obtaining; And,

간섭 신호 제거 단계의 1차 분리신호 u

Figure 112006510346065-pat00035
(f)를 수정된 선형예측필터(LPC)에 통과시켜 신호 고유의 시간 상관값이 제거된 선형예측 잔여신호 r l (f)를 생성하는 제 1 과정; 상기 선형예측 잔여신호 r l (f)를 각 채널의 에너지로 정규화 시킨 정규 신호 r
Figure 112006510346065-pat00036
(f)를 얻는 제 2 과정, 상기 정규 신호 r
Figure 112006510346065-pat00037
(f)와 분리필터의 값 W l (f)를 곱셈 연산하여 간섭신호가 제거된 임시분리신호 u l (f)를 얻는 제 3 과정; 상기 임시분리신호 u l (f)를 연산하여 분리필터 행렬의 주대각 성분에 의해서만 영향을 받도록 분리필터의 갱신값 △W(f)을 연산하고, 상기 분리필터 갱신값 △W(f)과 상기 분리필터의 값 W l (f)을 덧셈 연산하여 새로운 분리필터의 값 W l (f)을 획득하는 제 4과정; 상기 새로운 분리필터의 값 W l (f)을 분리필터행렬의 주대각성분 임펄스 응답의 크기를 1로 정규화 시킨 분리필터 값 W diag (f)에 상기 단계의 1차 분리신호 u
Figure 112006510346065-pat00038
(f)을 통과시켜 최종 분리신호를 u
Figure 112006510346065-pat00039
(f)얻는 제 5과정을 포함하는 반향 신호 제거단계; 및Primary separation signal u of interference signal elimination step
Figure 112006510346065-pat00035
( f ) passing the modified linear prediction filter (LPC) to generate a linear prediction residual signal r l ( f ) from which a signal-specific time correlation value has been removed; Normal signal r that normalizes the linear prediction residual signal r l ( f ) to the energy of each channel
Figure 112006510346065-pat00036
A second process of obtaining ( f ), the regular signal r
Figure 112006510346065-pat00037
(F) the value of the separation filter W l (f) a multiplication operation by a temporary interference signal is separated off signal u l (f) a third process of obtaining; The temporary separation signal u l ( f ) is calculated to calculate the update value ΔW ( f ) of the separation filter so as to be influenced only by the main diagonal component of the separation filter matrix, and the separation filter update value ΔW ( f ) and the A fourth step of adding a value W l ( f ) of the separation filter to obtain a value W l ( f ) of the new separation filter; The primary separation signal u of the above step is used as the separation filter value W diag ( f ) in which the value of the new separation filter W l ( f ) is normalized to the magnitude of the main diagonal component impulse response of the separation filter matrix.
Figure 112006510346065-pat00038
pass ( f ) to return the final split signal u
Figure 112006510346065-pat00039
( f ) an echo signal removing step including a fifth process obtained; And

반향신호 제거단계에서 최종 분리된 신호 u

Figure 112006510346065-pat00040
(f)를 역 고속 푸리에변환(IFFT)하여 프레임 단위로 얻어진 시간신호 u
Figure 112006510346065-pat00041
(f)를 오버랩 애드(overlap add) 방 식으로 합산하여 연속신호 u(t)를 획득하는 연속신호 획득단계를 포함한다.Signal u finally separated in echo cancellation step
Figure 112006510346065-pat00040
(F) a time signal by inverse fast Fourier transform (IFFT) obtained on a frame-by-frame basis u
Figure 112006510346065-pat00041
A continuous signal acquisition step of acquiring the continuous signal u ( t ) by summing ( f ) in an overlap add method.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

첨부된 도 1은 본 발명에 따른 다단계 암묵 디콘볼루션을 이용한 다중경로 혼합신호 분리 장치의 일실시예를 보여주기 위한 블록도이고, 도 2는 도1에서 간섭신호 제거부(102)의 일실시예를 보여주기 위한 상세 구성도이며, 도 3는 도1에서 반향신호 제거부(103)의 일실시예를 보여주기 위한 상세 구성도이다.1 is a block diagram illustrating an embodiment of a multipath mixed signal separation apparatus using a multilevel implicit deconvolution according to the present invention, and FIG. 2 is an embodiment of the interference signal removing unit 102 of FIG. 1. 3 is a detailed configuration diagram for illustrating an example, and FIG. 3 is a detailed configuration diagram illustrating an embodiment of the echo signal removing unit 103 in FIG. 1.

일반적인 암묵 신호분리 방법은, n개의 원신호가 다중경로 혼합된 후 n개의 마이크로폰으로 취득되는 경우, 원래의 신호(이하, 원신호라함) s(t)와 및 혼합신호 x(t)는 다음의 ＜식 1a＞ 및 ＜식1b＞로 정의되며 암묵신호 분리 알고리즘을 통하여 분리된 분리신호는 ＜식 1c＞로 정의된다.In the general blind signal separation method, when n original signals are obtained by n microphones after multipath mixing, the original signal (hereinafter referred to as the original signal) s (t) and the mixed signal x (t) are The divided signals defined by <Formula 1a> and <Formula 1b> and separated by the blind signal separation algorithm are defined by <Formula 1c>.

Figure 112006510346065-pat00042
＜식 1a＞
Figure 112006510346065-pat00042
<Equation 1a>

Figure 112006510346065-pat00043
＜식 1b＞
Figure 112006510346065-pat00043
<Equation 1b>

Figure 112006510346065-pat00044
＜식 1c＞
Figure 112006510346065-pat00044
<Equation 1c>

상기 ＜식 1a, 1b 및 1c＞에서, T는 전치행렬 연산을 나타낸다. 이후에 본 발명의 설명에서 표현되는 수학식에서는 스칼라, 벡터, 행렬의 수식적 표현에 있어서 scalar, vector, MATRIX 처럼 글자의 굵기와 대소문자를 이용해서 구분을 한다.In the above <Expressions 1a, 1b and 1c>, T denotes a transpose matrix operation. In the following equations expressed in the description of the present invention, in the expression of scalars, vectors, and matrices, the characters are distinguished using the thickness and capitalization of letters such as scalar, vector, and MATRIX.

상기 수학식으로 정의된 원신호와 혼합신호 및 분리신호의 관계를 시간 영역에서 표현하면 다음의 ＜식 2a＞ 및 ＜식 2b＞와 같이 모델링 할 수 있다.When the relationship between the original signal, the mixed signal, and the separated signal defined by the above equation is expressed in the time domain, it can be modeled as in the following <Formula 2a> and <Formula 2b>.

Figure 112006510346065-pat00045
＜식2a＞
Figure 112006510346065-pat00045
<Equation 2a>

Figure 112006510346065-pat00046
＜식2b＞
Figure 112006510346065-pat00046
<Equation 2b>

상기 ＜식 2a 및 2b＞에서 A(τ)는 다중경로 혼합필터행렬, w(τ)는 분리필터행렬을 나타낸다. 여기서 혼합필터행렬 A(τ)은 단방향임에도 불구하고 분리필터행렬 W(τ)은 양방향인 것은 혼합시스템이 비최소위상일 경우에도 분리시스템의 출력이 안정하게 유지 할 수 있도록 하기 위해서 이다. 또한 ＜식 2a 및 2b＞를 이산 푸리에 변환을 이용하여 주파수 영역에서 표현하면 시간영역의 콘볼루션 연산이 주파수 영역에서 대역별(bin) 곱으로 표현되어 다음 ＜식 3a＞ 및 ＜식 3b＞와 같이 간단히 표현이 될 수 있다.In <Equations 2a and 2b>, A (τ) denotes a multipath mixed filter matrix and w (τ) denotes a separate filter matrix. Here, although the mixing filter matrix A (τ) is unidirectional, the separation filter matrix W (τ) is bidirectional so that the output of the separation system can be stably maintained even when the mixing system is in a non-minimum phase. In addition, when <Equations 2a and 2b> are expressed in the frequency domain by using the Discrete Fourier Transform, the convolution operation in the time domain is expressed as a bin-by-band product in the frequency domain. It can simply be expressed.

Figure 112006510346065-pat00006
＜식3a＞
Figure 112006510346065-pat00006
<Equation 3a>

Figure 112006510346065-pat00007
＜식3b＞
Figure 112006510346065-pat00007
<Equation 3b>

＜식 3a 및 3b＞처럼 주파수 영역에서 계산을 하게 될 경우 계산량을 감소시킬 수 있는 장점이 있다.When the calculation is performed in the frequency domain as in <Equations 3a and 3b>, there is an advantage that the amount of calculation can be reduced.

이러한 일반적인 암묵신호 분리방법과는 다르게 본 발명에 따른 암묵 디콘볼루션 방법 및 장치에서는 간섭 신호와 반향신호의 분리단계를 나누어서 처리하는 다단계의 구조를 채택하여 간섭신호와 분리신호를 효과적으로 분리하여 원본신호에 더욱 근접한 분리신호를 구하는 것이다.Unlike the general tacit signal separation method, the tacit deconvolution method and apparatus according to the present invention adopts a multi-step structure in which the separation of the interference signal and the echo signal is divided and processed to effectively separate the interference signal and the separated signal to separate the original signal. To obtain a separate signal closer to.

본 발명에 따른 다중경로 혼합신호의 분리를 온라인 및 오프라인에서 구현하기위한 시스템은 도 1에서 보는 바와 같이, n개의 원신호 s(t)가 다중경로 혼합된 후 n개의 마이크로폰으로 취득되면 혼합신호 x(t)가 생성된다.In the system for realizing the separation of the multipath mixed signal according to the present invention on and off line, as shown in Fig. 1, when the n original signals s (t) are multipath mixed and acquired with n microphones, the mixed signal x (t) is generated.

혼합신호 취득부(101)는 혼합신호 x(t)를 취득하여 분리필터를 구하는데 알맞은 형태로 신호를 처리하는 하는 단계이다. 먼저 n개의 마이크로폰을 이용하여 실제 음향 및 음성 신호로 이루어진 혼합신호 x(t)를 연속적으로 취득한다. 취득된 혼합신호 x(t)를 M 샘플(samples)단위로 선택하여 DC성분을 제거하여 프레임(frame)단위로 처리한다. DC 성분이 제거된 프레임 단위의 취득 신호에 프레임 길이가 같은 윈도우(window)를 곱하고 나서 그 후 프레임 길이와 같은 M길이의 고속푸리에변환(Fast Fourier Transform)하게 된다. ＜식 4a＞와 ＜식 4b＞는 각각 프레임 단위 혼합신호 및 프레임단위 혼합신호의 주파수 변환을 표현한다.The mixed signal obtaining unit 101 acquires the mixed signal x (t) and processes the signal in a form suitable for obtaining a separation filter. First, using the n microphones, a mixed signal x (t) consisting of actual acoustic and audio signals is continuously acquired. The obtained mixed signal x (t) is selected in units of M samples, and the DC component is removed to process in units of frames. The acquisition signal in units of frames from which the DC component is removed is multiplied by a window having the same frame length, and then a Fast Fourier Transform having an M length equal to the frame length is performed. <Equation 4a> and <Equation 4b> express frequency conversions of the frame unit mixed signal and the frame unit mixed signal, respectively.

Figure 112006510346065-pat00008
＜식 4a＞
Figure 112006510346065-pat00008
<Equation 4a>

Figure 112006510346065-pat00009
＜식 4b＞
Figure 112006510346065-pat00009
<Equation 4b>

＜식 4a 및 4b＞에서 의 아래첨자 l은 프레임 번호를 나타내며, t는 시간영역, f는 주파수 영역을 표현한다. 현재 프레임의 시작점은 이전 프레임의 시작점에서 Sh_L (M ＞Sh_L) samples만큼 지연시켜 Ov_L samples만큼의 오버랩을 발생시킨다.Subscript l in <Equations 4a and 4b> denotes a frame number, t denotes a time domain, and f denotes a frequency domain. Starting point of the current frame is to delay Sh_L (M> Sh_L) as the samples from the starting point of the previous frame is generated by the overlap of the Ov_L samples.

혼합신호 취득부(101)에서 윈도우(window)길이, 프레임 길이, 지연길이 및 오버랩 길이는 사용자의 요구에 맞게 변화 시킬 수 있다.In the mixed signal acquisition unit 101, the window length, the frame length, the delay length, and the overlap length may be changed according to a user's request.

혼합신호 취득부(101)를 통과한 혼합신호 x l (f)는 간섭신호 제거부(102)에 입력된다. 간섭신호 제거부(102)는 분리필터로 혼합신호 x l (f)에서 간섭신호만을 제 거하여 1차 분리신호 u

Figure 112006510346065-pat00047
(f)를 취득하게 된다.The mixed signal x l ( f ) passing through the mixed signal acquisition unit 101 is input to the interference signal canceller 102. The interference signal removing unit 102 removes only the interference signal from the mixed signal x l ( f ) as the separation filter and removes the primary separation signal u.
Figure 112006510346065-pat00047
( f ) is obtained.

간섭신호 제거부(102)의 동작을 도 2를 참조하여 설명하면, 혼합신호 취득부(101)를 통과한 혼합신호 x l (f)는 파워(Power)정규화기(201)에 입력되어 혼합신호 x l (f)를 ＜식 5＞와 같이 일정한 값으로 정규화시켜 신호 x

Figure 112006510346065-pat00048
(f)를 얻는다.The operation of the interference signal removing unit 102 will be described with reference to FIG. 2. The mixed signal x l ( f ) passing through the mixed signal obtaining unit 101 is input to the power normalizer 201 and mixed signal. Signal x by normalizing x l ( f ) to a constant value as in <Equation 5>
Figure 112006510346065-pat00048
( f )

Figure 112006510346065-pat00010
＜식 5＞
Figure 112006510346065-pat00010
<Expression 5>

＜식 5＞에서 K는 임의의 상수, M은 FFT 포인트 수, n은 취득 신호의 차수, abs()는 절대값을 나타내며, abs(·) 대신 제곱( (·)(·)*, *는 conjugate )을 사용해도 무방하다. K at <Equation 5> is an arbitrary constant, M the number of FFT points, n is the order of the acquired signal, abs () denotes an absolute value, abs (.) Instead of the square ((·), (·) * and * conjugate) may be used.

제 1 분리필터부(202)는 파워 정규화기(201)을 통하여 획득된 신호 x

Figure 112006510346065-pat00049
(f)로부터 간섭신호를 제거하는 단계로서 ＜식 6a＞과 같은 연산을 수행하여 간섭신호가 제거된 임시분리신호 u l (f)를 얻는다.The first separation filter unit 202 is a signal x obtained through the power normalizer 201.
Figure 112006510346065-pat00049
As a step of removing the interference signal from ( f ), the operation as shown in <Formula 6a> is performed to obtain a temporary separated signal u l ( f ) from which the interference signal has been removed.

Figure 112006510346065-pat00011
＜식 6a＞
Figure 112006510346065-pat00011
<Equation 6a>

제 1 분리필터부(202)의 분리필터 W l (f)는 하기의 ＜식 6b＞와 같이 갱신된다.The separation filter W l ( f ) of the first separation filter unit 202 is updated as shown in <Expression 6b>.

Figure 112006510346065-pat00012
＜식 6b＞
Figure 112006510346065-pat00012
<Equation 6b>

여기서, △W(f)는 아래에 설명될 분리필터 비대각성분 갱신부(203)의 출력이다. 분리필터 비대각성분 갱신부(203)는 분리필터 W l (f)의 갱신값을 연산하는 데, 기존의 갱신값 △W(f)는 ＜식 7a＞와 같이 연산된다.Here, DELTA W ( f ) is the output of the separation filter non-diagonal component updating unit 203 to be described below. The separation filter non-diagonal component updating unit 203 calculates the update value of the separation filter W l ( f ), and the existing update value ΔW ( f ) is calculated as in <Expression 7a>.

Figure 112006510346065-pat00013
＜식 7a＞
Figure 112006510346065-pat00013
<Equation 7a>

＜식 7a＞에서, μ는 learning rate, I는 단위행렬, E{·}는 기대값 함수, 위첨자 H는 Hermitian(complex conjugate and transpose), ψ(·)는 비선형함수를 나타낸다.In Equation 7a, μ denotes a learning rate, I denotes a unit matrix, E {·} denotes an expected value function, superscript H denotes Hermitian (complex conjugate and transpose), and ψ (·) denotes a nonlinear function.

그러나, 기존의 ＜7a＞와 같이 분리필터 W l (f)의 갱신값을 연산하게 되면 분리필터행렬의 주대각성분에 의해서 분리신호의 시간 백색화가 일어나는 문제점이 있다. 본 발명은 이러한 시간 백색화 문제를 해결하기 위해서 ＜식 7b＞와 같이 분리필터의 갱신값이 분리필터행렬의 비대각 성분에 의해서만 영향을 받도록 연산한다. ＜식 7b＞의

Figure 112006510346065-pat00050
(f)와 비선형함수를 ψ(·)는 ＜식 7c＞에 표현되었다.However, when the update value of the separation filter W l ( f ) is calculated as in the existing <7a>, the whitening of the separation signal occurs due to the main diagonal components of the separation filter matrix. In order to solve such a time whitening problem, the present invention calculates that the update value of the separation filter is influenced only by the non-diagonal components of the separation filter matrix as shown in <Equation 7b>. Of <formula 7b>
Figure 112006510346065-pat00050
( f ) and the nonlinear function ψ (·) are expressed in <Formula 7c>.

Figure 112006510346065-pat00014
＜식 7b＞
Figure 112006510346065-pat00014
<Expression 7b>

Figure 112006510346065-pat00015
＜식 7c＞
Figure 112006510346065-pat00015
<Equation 7c>

＜식 7C＞에서 diag는 분리필터 행렬의 비대각성분을 0으로 만드는 연산이며, 분리필터 갱신을 위한 반복횟수는 현재의 분리필터행렬 W

Figure 112008031191018-pat00051
(f)과 이전의 분리필터 W
Figure 112008031191018-pat00052
(f)의 차이가 일정범위 내로 들어오면 완료되도록 가변적으로 정할 수 있으며, leaning rate μ또한 가변적으로 선택할 수 있다.
즉, l번째 프레임의 분리필터행렬 W l (f)를 k번 갱신하여 얻어진 분리필터 행렬
Figure 112008031191018-pat00082
과 k-1 번 갱신하여 얻어진 분리필터행렬
Figure 112008031191018-pat00083
의 차이값인 △W(f)가 일정범위 안으로 들어오면 갱신을 종료하도록 갱신횟수 k는 가변적으로 선택할 수 있다.
본 발명의 용도가 오프라인(off-line)용 일 경우에는 [수학식 7]의 기대값 함수 E{·}를 사용하고, 온라인(on-line)용일 경우 [수학식 7]의 기대값 함수 E{·}를 생략할 수 있다.In <Equation 7C>, diag is an operation that makes the non-diagonal component of the separation filter matrix zero. The iteration number for updating the separation filter is the current separation filter matrix W.
Figure 112008031191018-pat00051
( f ) and the previous filter W
Figure 112008031191018-pat00052
If the difference of f is within a certain range, it can be variably determined to be completed, and the leaning rate μ can also be variably selected.
That is, the separation filter matrix obtained by updating the separation filter matrix W l ( f ) of the l-th frame k times.
Figure 112008031191018-pat00082
And filter matrix obtained by updating k-1 times
Figure 112008031191018-pat00083
The update frequency k can be variably selected so that the update is terminated when the difference value DELTA W ( f ) falls within a predetermined range.
When the purpose of the present invention is for off-line, the expectation function E {·} of [Equation 7] is used, and the expectation function E of [Equation 7] when on-line. {·} Can be omitted.

제 2 분리필터부(204)는 혼합신호 x l (f)로부터 간섭신호를 제거하여 1차 분리신호 u

Figure 112006510346065-pat00053
(f)를 연산한다. 제 1 분리필터부(202)의 갱신이 완료된 후 때 제 1 분리필터부(202)의 분리필터 W l (f)을 받아 다음 ＜8a＞와 같이 W l (f)의 주대각 성분으로 W l (f)을 정규화 시킨다. 이때 나눗셈 연산은 주파수 대역별(bin) 나눗셈이다.The second separation filter unit 204 removes the interference signal from the mixed signal x l ( f ) to separate the primary separation signal u.
Figure 112006510346065-pat00053
Calculate ( f ). After the updating of the first separation filter unit 202 is completed, the separation filter W l ( f ) of the first separation filter unit 202 is received, and W l ( f ) is the main diagonal component of W l ( f ) as shown in <8a>. Normalize ( f ) In this case, the division operation is a frequency division (bin) division.

Figure 112006510346065-pat00016
＜식 8a＞
Figure 112006510346065-pat00016
<Equation 8a>

혼합신호 x l (f)을 분리필터 W off-diag (f)를 통과시켜 ＜식8b＞와 같이 1차 분리신호를 u

Figure 112006510346065-pat00054
(f)얻는다.Pass the mixed signal x l ( f ) through the separation filter W off-diag ( f ) and return the primary separation signal as shown in <8b>.
Figure 112006510346065-pat00054
( f )

Figure 112006510346065-pat00017
＜식 8b＞
Figure 112006510346065-pat00017
<Equation 8b>

반향신호 제거부(103)는 간섭신호 제거부(102)에서 간섭신호가 제거된 1차 분리신호 u

Figure 112006510346065-pat00055
(f)에서 반향신호를 제거하여 최종의 분리신호 u
Figure 112006510346065-pat00056
(f)를 획득하는 것으로 간섭신호가 제거된 u
Figure 112006510346065-pat00057
(f)신호는 신호 고유의 시간상관값(time correlation)과 반향의 임펄스 응답으로 발생된 시간상관값이 중복되어있다. 따라서 반향신호를 제거하기 위해서는 반향의 임펄스 응답에 해당하는 시간상관값만을 제거하고 신호가 원래 가지고 있는 시간상관값은 유지해야하는 어려움이 있다.The echo signal removing unit 103 is a primary separation signal u from which the interference signal is removed from the interference signal removing unit 102.
Figure 112006510346065-pat00055
Remove the echo signal from ( f ) and remove the final signal u
Figure 112006510346065-pat00056
u by removing the interference signal by obtaining ( f )
Figure 112006510346065-pat00057
The signal ( f ) overlaps the signal-specific time correlation and the time correlation generated by the impulse response of the echo. Therefore, in order to remove the echo signal, it is difficult to remove only the time correlation value corresponding to the impulse response of the echo and to maintain the time correlation value originally possessed by the signal.

본 발명은 이러한 어려움을 해결하기 신호 고유의 시간상관을 제거한 신호에 서 반향신호를 제거하는 반향신호 제거부(103)를 포함한다. 도 3을 참조하면, 간섭신호 제거부(102)에서 간섭신호가 제거된 1차 분리신호 u

Figure 112006510346065-pat00058
(f)는 자기상관 감쇄부(301)에 입력되어 ＜식 9a＞와 같이 간섭신호가 제거된 신호 u
Figure 112006510346065-pat00059
(f)를 수정된 선형예측필터(LPC)에 통과시켜 신호 고유의 시간상관값이 제거된 선형예측 잔여신호 r l (f)를 구한다. ＜식 9b＞는 수정된 선형예측필터(LPC)를 구하는 것이다.The present invention includes an echo signal removing unit 103 for removing the echo signal from the signal from which the time-correlation inherent in the signal is removed. Referring to FIG. 3, the primary split signal u from which the interference signal is removed by the interference signal remover 102 is shown.
Figure 112006510346065-pat00058
( f ) is input to the autocorrelation attenuator 301, and the signal u from which the interference signal is removed as
Figure 112006510346065-pat00059
Passing ( f ) through the modified linear prediction filter (LPC), the linear prediction residual signal r l ( f ) from which the signal inherent time correlation is removed is obtained. <Equation 9b> finds a modified linear predictive filter (LPC).

Figure 112006510346065-pat00018
＜식 9a＞
Figure 112006510346065-pat00018
<Equation 9a>

Figure 112006510346065-pat00019
＜식 9b＞
Figure 112006510346065-pat00019
<Equation 9b>

＜식 9b＞에서 T는 transpose, γ는 formant 가중치, a l (f)는 일반적으로 사용되는 선형예측필터(LPC)의 주파수 변환이며 u

Figure 112006510346065-pat00060
(f)에서 구한다. γ는 0≤γ≤1 선택하여 사용한다.In Equation 9b, T is transpose, γ is formant weight, a l ( f ) is frequency conversion of commonly used linear predictive filter (LPC), and u
Figure 112006510346065-pat00060
Obtained from ( f ). γ is used by selecting 0 ≦ γ ≦ 1.

자기상관 감쇄부(301)에서 출력된 신호는 파워(power)정규화기(302)에 입력되어 선형예측 잔여신호 r l (f)를 ＜식 10＞과 같이 일정한 값으로 정규화시 시켜 신호 r

Figure 112006510346065-pat00061
(f)를 얻는다.The signal output from the autocorrelation attenuator 301 is input to a power normalizer 302 to normalize the linear predictive residual signal r l ( f ) to a constant value as shown in <Equation 10> to signal r.
Figure 112006510346065-pat00061
( f )

Figure 112006510346065-pat00020
＜식 10＞
Figure 112006510346065-pat00020
<Expression 10>

＜식 10＞에서 K는 임의의 상수, M은 FFT 포인트 수, n은 취득 신호의 차수, abs()는 절대값을 나타내며, abs(·) 대신 제곱( (·)(·)*, *는 conjugate )을 사용해도 무방하다. K in <Formula 10> is an arbitrary constant, M the number of FFT points, n is the order of the acquired signal, abs () denotes an absolute value, abs (.) Instead of the square ((·), (·) * and * conjugate) may be used.

제 1 분리필터부(303)는 파워 정규화기(302)에서 출력된 신호 r

Figure 112006510346065-pat00062
(f)로부터 반향신호를 제거하는 데, ＜식 11a＞와 같은 방법으로 간섭신호가 제거된 임시분리신호 u l (f)를 얻는다.The first separation filter unit 303 is a signal r output from the power normalizer 302.
Figure 112006510346065-pat00062
To remove the echo signal from ( f ), a temporary separation signal u l ( f ) from which the interference signal is removed is obtained in the same manner as in <Equation 11a>.

Figure 112006510346065-pat00021
＜식 11a＞
Figure 112006510346065-pat00021
<Equation 11a>

＜식 11a＞에서 분리필터 W l (f)는 ＜식 11b＞와 같이 갱신되며, 첫 번째 프레임의 초기값을 설정할 때 주대각성분은 1, 비대각성분은 0으로 설정한다.In <Equation 11a>, the separation filter W l ( f ) is updated as in <Equation 11b>. When setting the initial value of the first frame, the main diagonal component is set to 1 and the non-diagonal component is set to 0.

Figure 112006510346065-pat00022
＜식 11b＞
Figure 112006510346065-pat00022
<Equation 11b>

＜식 11b＞에서 △W(f)는 아래에 설명될 분리필터 주대각성분 갱신부(304)의 출력이다.ΔW ( f ) in <Expression 11b> is the output of the separation filter main diagonal component update unit 304 to be described below.

분리필터 비대각성분 갱신부(304)는 분리필터 W l (f)의 갱신값을 연산한다. 갱신값 △W(f)는 일반적으로 상기의 ＜식 7a＞과 같은 방식으로 계산되지만 반향신호만을 제거하기 위해서 본 발명에 따른 분리 필터 비대각성분 갱신부(304)는 ＜식 13＞과 같이 분리필터의 갱신값이 반향신호와 관계되는 주대각성분(diagonal elements)의 영향만 받게 만들었다.The separation filter non-diagonal component updating unit 304 calculates the update value of the separation filter W l ( f ). The update value DELTA W ( f ) is generally calculated in the same manner as &lt; Equation 7a &gt; The update value of the filter is affected only by the main diagonal elements related to the echo signal.

Figure 112006510346065-pat00023
Figure 112006510346065-pat00023

＜식 13＞<Equation 13>

본 발명의 용도가 오프라인(off-line)용 일 경우에는 ＜식 13＞에서 기대값 함수 E{·}를 사용하고, 온라인(on-line)용일 경우 ＜식 13＞에서 기대값 함수 E{·}를 생략할 수 있다.If the purpose of the present invention work for off-line (off-line), the <Equation 13> expected using a value function E {·}, and the line (on-line) if yongil expected value function from the <Equation 13> E {in, } Can be omitted.

제 1 분리필터부(305)는 간섭신호가 제거된 1차 분리신호 u

Figure 112006510346065-pat00063
(f)에서 반향신호를 제거하여 최종의 분리신호 u
Figure 112006510346065-pat00064
(f)를 연산한다. 제 1 분리필터부(303)의 갱신이 완료된 후 제 1 분리필터부(303)의 분리필터 W l (f)을 받아 다음 ＜식 14＞와 같이 분리필터행렬의 주대각성분 임펄스 응답의 크기를 1로 정규화 시킨다.The first separation filter unit 305 is a primary separation signal u from which the interference signal has been removed.
Figure 112006510346065-pat00063
Remove the echo signal from ( f ) and remove the final signal u
Figure 112006510346065-pat00064
Calculate ( f ). After the update of the first separation filter unit 303 is completed, the separation filter W l ( f ) of the first separation filter unit 303 is received, and the magnitude of the main diagonal component impulse response of the separation filter matrix is expressed as shown in <Formula 14>. Normalize to 1.

Figure 112006510346065-pat00024
＜식 14＞
Figure 112006510346065-pat00024
<Expression 14>

＜식 14＞의 분리필터행렬 W off-diag (f)는 비대각 성분의 값이 모두 0이 되어서 반향신호의 제거에만 관여하게 된다. u

Figure 112006510346065-pat00065
(f)을 분리필터 W diag (f)를 통과시켜 ＜식 15＞와 같이 최종 분리신호를 u
Figure 112006510346065-pat00066
(f)얻는다.The separation filter matrix W off-diag ( f ) of <Equation 14> becomes non-diagonal value of all 0, and is only involved in removing the echo signal. u
Figure 112006510346065-pat00065
(F) by passing through the separation filter W diag (f) the final disconnect signal, such as <Equation 15> u
Figure 112006510346065-pat00066
( f )

Figure 112006510346065-pat00025
＜식 15＞
Figure 112006510346065-pat00025
<Equation 15>

연속신호 처리부(104)는 제 1 분리필터부(305)를 통과하여 프레임 단위로 분리된 신호 u

Figure 112006510346065-pat00067
(f)를 원래의 연속신호 u(t)로 변환하는 단계이다. 먼저 최종 분리된 신호 u
Figure 112006510346065-pat00068
(f)를 역고속푸리에변환(IFFT)하여 시간신호 u
Figure 112006510346065-pat00069
(f)를 얻는다. 프레임 단 위로 얻어진 신호 u
Figure 112006510346065-pat00070
(f)를 오버랩 애드(overlap add) 방식으로 합산하여 연속신호 u(t)를 구한다. 이때 오버랩 길이는 혼합신호 취득부(101)와 같은 Ov_L samples로 하게 된다.The continuous signal processing unit 104 passes through the first separation filter unit 305 and separates the signal u in units of frames.
Figure 112006510346065-pat00067
( f ) is converted into the original continuous signal u ( t ). First separated signal u first
Figure 112006510346065-pat00068
(F) by the inverse fast Fourier transform (IFFT) time signal u
Figure 112006510346065-pat00069
( f ) Signal u obtained in frame units
Figure 112006510346065-pat00070
The continuous signal u ( t ) is obtained by summing ( f ) by an overlap add method. In this case, the overlap length is the same as the Ov_L samples of the mixed signal acquisition unit 101.

상술한 바와 같이, 본 발명에 따른 다단계 암묵 디콘볼루션 방법은 종래의 방법에서는 시간 백색화 문제 때문에 신호 자신의 반향신호를 분리할 수 없었던 문제를 간섭신호와 반향신호의 분리단계를 나누어서 처리하는 구조를 선택함으로서 간섭신호와 분리신호를 효과적으로 분리하여 원본신호에 더욱 근접한 분리신호를 구할 수 있다.As described above, the multi-stage blind deconvolution method according to the present invention has a structure in which the separation process of the interference signal and the echo signal is divided into a problem in which the echo signal of the signal itself cannot be separated due to the time whitening problem in the conventional method. By selecting, it is possible to effectively separate the interference signal and the separated signal to obtain a separated signal closer to the original signal.

이상에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하였으나, 본 발명은 이에 한정되는 것이 아니며 본 발명의 기술적 사상의 범위내에서 당업자에 의해 그 개량이나 변형이 가능하다.Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited thereto and may be improved or modified by those skilled in the art within the scope of the technical idea of the present invention.

Claims (3)

i)실제의 음향 및 음성 신호로 이루어진 혼합신호 x(t)를 연속적으로 취득하고, 상기 취득된 혼합신호 x(t)를 M 샘플단위로 선택하여 DC성분을 제거하여 프레임 단위로 처리한 취득 신호에 프레임 길이가 같은 윈도우(window)를 곱셈 연산하고, 프레임 길이와 같은 M길이의 고속 푸리에 변환하여 혼합신호 x l (f)(l은 프레임 번호)를 생성하는 혼합신호 취득단계;i) Acquisition signal obtained by successively acquiring a mixed signal x (t) consisting of actual acoustic and audio signals, selecting the acquired mixed signal x (t) in units of M samples, and removing DC components to process them in units of frames. A mixed signal obtaining step of multiplying a window having the same frame length by M, and performing a fast Fourier transform of M length equal to the frame length to generate a mixed signal x l ( f ) (l is a frame number); ii)상기 i)단계에서 취득된 상기 혼합신호 x l (f)를 각 채널의 에너지 합으로 정규화시킨 정규 신호 x
Figure 112008031191018-pat00071
(f)를 얻는 제 1과정; 상기 정규 신호 x
Figure 112008031191018-pat00072
(f)와 분리필터의 값 W l (f)(l은 프레임 번호)를 곱셈 연산하여 간섭신호가 제거된 임시분리신호 u l (f)(l은 프레임 번호)를 얻는 제 2 과정; 상기 임시분리신호u l (f)를 연산하여 분리필터 행렬의 비대각 성분에 의해서만 영향을 받도록 분리필터의 갱신값 △W(f)을 연산하고, 상기 분리필터 갱신값 △W(f)과 상기 분리필터의 값 W l (f)을 덧셈 연산하여 새로운 분리필터의 값 W l (f)을 획득하는 제 3과정; 상기 새로운 분리필터의 값 W l (f)을 동일한 값 W l (f)의 주대각 성분으로 주파수 대역별 나눗셈 연산하여 최종 분리필터 값 W off-diag (f)을 연산하고, 상기 최종 분리필터 값 W off-diag (f)에 상기 i)단계의 혼합신호 x l (f)를 통과시켜 상기 혼합신호 x l (f)에서 간섭신호만을 제거한 1차 분리신호를 u
Figure 112008031191018-pat00073
(f)얻는 제 4과정을 포함하는 간섭신호 제거단계; 그리고,ii) a normal signal x obtained by normalizing the mixed signal x l ( f ) obtained in step i) to the sum of the energy of each channel.
Figure 112008031191018-pat00071
( f ) the first step of obtaining; The normal signal x
Figure 112008031191018-pat00072
Value of W l (f) and the separation filter (f) (l is a frame number), a multiply operation to temporarily remove the interference signal canceling signal u l (f) (l is a frame number), a second process of obtaining; The temporary separation signal u l ( f ) is calculated to calculate the update value ΔW ( f ) of the separation filter so as to be influenced only by the non-diagonal components of the separation filter matrix, and the separation filter update value ΔW ( f ) and the A third step of adding a value W l ( f ) of the separation filter to obtain a value W l ( f ) of the new separation filter; Calculate the final separation filter value W off-diag ( f ) by dividing the frequency of the new separation filter W l ( f ) into the main diagonal components of the same value W l ( f ) by frequency band, and calculating the final separation filter value. W off-diag (f) a first separated signal is passed through a mixed-signal x l (f) of step i) removing only the interference signal in the x l (f) the mixed signal to u
Figure 112008031191018-pat00073
( f ) removing the interference signal comprising a fourth process of obtaining; And, iii)상기 간섭 신호 제거 단계의 1차 분리신호 u
Figure 112008031191018-pat00074
(f)를 수정된 선형예측필터(LPC)에 통과시켜 신호 고유의 시간 상관값이 제거된 선형예측 잔여신호 r l (f)(l은 프레임 번호)를 생성하는 제 1 과정; 상기 선형예측 잔여신호 r l (f)를 각채널의 에너지로 정규화 시킨 정규 신호 r
Figure 112008031191018-pat00075
(f)를 얻는 제 2 과정; 상기 정규 신호 r
Figure 112008031191018-pat00076
(f)와 분리필터의 값 W l (f)를 곱셈 연산하여 간섭신호가 제거된 임시분리신호 u l (f)를 얻는 제 3 과정; 상기 임시분리신호u l (f)를 연산하여 분리필터 행렬의 주대각 성분에 의해서만 영향을 받도록 분리필터의 갱신값 △W(f)을 연산하고, 상기 분리필터 갱신값 △W(f)과 상기 분리필터의 값 W l (f)을 덧셈 연산하여 새로운 분리필터의 값 W l (f)을 획득하는 제 4과정; 상기 새로운 분리필터의 값 W l (f)을 분리필터행렬의 주대각성분 임펄스 응답의 크기를 1로 정규화 시킨 분리필터 값 W diag (f)에 상기 ii)단계의 1차 분리신호 u
Figure 112008031191018-pat00077
(f)을 통과시켜 최종 분리신호를 u
Figure 112008031191018-pat00078
(f)얻는 제 5과정을 포함하는 반향 신호 제거단계; 및iii) the primary separation signal u of the interference signal removing step
Figure 112008031191018-pat00074
( f ) passing a modified linear prediction filter (LPC) to generate a linear prediction residual signal r l ( f ) (where l is a frame number) from which a signal-specific time correlation value is removed; Normal signal r obtained by normalizing the linear prediction residual signal r l ( f ) with energy of each channel
Figure 112008031191018-pat00075
a second process of obtaining ( f ); The normal signal r
Figure 112008031191018-pat00076
(F) the value of the separation filter W l (f) a multiplication operation by a temporary interference signal is separated off signal u l (f) a third process of obtaining; The temporal separation signal u l ( f ) is calculated to calculate the update value ΔW ( f ) of the separation filter so as to be influenced only by the main diagonal component of the separation filter matrix, and the separation filter update value ΔW ( f ) and the A fourth step of adding a value W l ( f ) of the separation filter to obtain a value W l ( f ) of the new separation filter; The primary separation signal u of step ii) is the separation filter value W diag ( f ) in which the value of the new separation filter W l ( f ) is normalized to the magnitude of the main diagonal component impulse response of the separation filter matrix.
Figure 112008031191018-pat00077
pass ( f ) to return the final split signal u
Figure 112008031191018-pat00078
( f ) an echo signal removing step including a fifth process obtained; And iv)상기 반향신호 제거단계에서 최종 분리된 신호 u
Figure 112008031191018-pat00079
(f)를 역 고속 푸리에 변환(IFFT)하여 프레임 단위로 얻어진 시간신호 u
Figure 112008031191018-pat00080
(t)를 오버랩 애드(overlap add)방식으로 합산하여 연속신호 u(t)를 획득하는 연속신호 획득단계를 포함하는 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법.iv) the signal u finally separated in the echo signal removing step
Figure 112008031191018-pat00079
(F) a time signal by inverse fast Fourier transform (IFFT) obtained on a frame-by-frame basis u
Figure 112008031191018-pat00080
A multi-stage blind deconvolution method for removing interference and echo signals comprising a continuous signal acquiring step of adding ( t ) by an overlap add method to obtain a continuous signal u ( t ). 제 1 항에 있어서, 상기 ii) 간섭신호 제거단계의 제 3과정에서 분리필터의 갱신값 △W(f)은 분리필터행렬의 비대각 성분에 의해서만 영향을 받도록 하기 ＜수학식1＞에 의하여 연산되는 것을 특징으로 하는 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법.The method according to claim 1, wherein the update value ΔW ( f ) of the separation filter is affected only by the non-diagonal component of the separation filter matrix in the third step of the ii) interference signal removing step. Multi-level blind deconvolution method for interference and echo signal cancellation, characterized in that the.
Figure 112008031191018-pat00081
＜수학식1＞
Figure 112008031191018-pat00081
<Equation 1> 상기 ＜수학식 1＞에서 leaning rate μ는 가변적으로 선택할 수 있으며,
Figure 112008031191018-pat00088
는 수식을 간결하게 표현하기 위한 대체 파라메터이고, l번째 프레임의 분리필터행렬 W l (f)를 k번 갱신하여 얻어진 분리필터 행렬
Figure 112008031191018-pat00084
과 k-1 번 갱신하여 얻어진 분리필터행렬
Figure 112008031191018-pat00085
의 차이값인 △W(f)가 일정범위 안으로 들어오면 갱신을 종료하도록 갱신횟수 k는 가변적으로 선택할 수 있으며, diag는 분리필터 행렬의 비대각성분을 0으로 만드는 연산임.In Equation 1, the leaning rate μ may be variably selected.
Figure 112008031191018-pat00088
Is an alternative parameter to simplify the expression, and the separated filter matrix obtained by updating the separated filter matrix W l ( f ) of the l-th frame k times
Figure 112008031191018-pat00084
And filter matrix obtained by updating k-1 times
Figure 112008031191018-pat00085
When the difference value of ΔW ( f ) is within a certain range, the update number k can be variably selected so that the update is terminated. Diag is an operation that makes the non-diagonal component of the separation filter matrix zero. 제 1 항에 있어서, 상기 iii)반향 신호 제거단계의 제 4과정에서 분리필터의 갱신값 △W(f)은 반향신호만을 제거하기 위해서 분리필터의 갱신값이 반향신호와 관계되는 주대각성분(diagonal elements)의 영향만 받도록 하기 ＜수학식2＞에 의하여 연산되는 것을 특징으로 하는 간섭 및 반향신호 제거를 위한 다단계 암묵 디콘볼루션 방법.The method according to claim 1, wherein in the fourth step of the echo signal removing step, the update value? W ( f ) of the separation filter is a main diagonal component whose update value is related to the echo signal so as to remove only the echo signal. Multi-level implicit deconvolution method for interference and echo signal cancellation, characterized in that calculated by <Equation 2> to be affected only by the diagonal elements.
Figure 112008031191018-pat00028
Figure 112008031191018-pat00028
 ＜수학식 2＞<Equation 2> 상기 ＜수학식 2＞에서 leaning rate μ는 가변적으로 선택할 수 있으며,
Figure 112008031191018-pat00089
는 수식을 간결하게 표현하기 위한 대체 파라메터이고, l번째 프레임의 분리필터행렬 W l (f)를 k번 갱신하여 얻어진 분리필터 행렬
Figure 112008031191018-pat00086
과 k-1 번 갱신하여 얻어진 분리필터행렬
Figure 112008031191018-pat00087
의 차이값인 △W(f)가 일정범위 안으로 들어오면 갱신을 종료하도록 갱신횟수 k는 가변적으로 선택할 수 있음.In Equation 2, the leaning rate μ may be variably selected.
Figure 112008031191018-pat00089
Is an alternative parameter to simplify the expression, and the separated filter matrix obtained by updating the separated filter matrix W l ( f ) of the l-th frame k times
Figure 112008031191018-pat00086
And filter matrix obtained by updating k-1 times
Figure 112008031191018-pat00087
The update number k can be variably selected so that the update is terminated when the difference value ΔW ( f ) falls within a certain range.
KR1020060137803A 2006-12-27 2006-12-27 Method for multichannel blind deconvolution to eliminate interference and reverberation signals KR100863184B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060137803A KR100863184B1 (en) 2006-12-27 2006-12-27 Method for multichannel blind deconvolution to eliminate interference and reverberation signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060137803A KR100863184B1 (en) 2006-12-27 2006-12-27 Method for multichannel blind deconvolution to eliminate interference and reverberation signals

Publications (2)

Publication Number Publication Date
KR20080061212A KR20080061212A (en) 2008-07-02
KR100863184B1 true KR100863184B1 (en) 2008-10-13

Family

ID=39813630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060137803A KR100863184B1 (en) 2006-12-27 2006-12-27 Method for multichannel blind deconvolution to eliminate interference and reverberation signals

Country Status (1)

Country Link
KR (1) KR100863184B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280253B1 (en) 2008-12-22 2013-07-05 한국전자통신연구원 Method for separating source signals and its apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030010432A (en) * 2001-07-28 2003-02-05 주식회사 엑스텔테크놀러지 Apparatus for speech recognition in noisy environment
US20050060142A1 (en) 2003-09-12 2005-03-17 Erik Visser Separation of target acoustic signals in a multi-transducer arrangement
KR20060020363A (en) * 2004-08-31 2006-03-06 엘지전자 주식회사 Apparatus and method for recognizing a voice for an audio-visual (av) system
KR20060061259A (en) * 2004-12-01 2006-06-07 하만 벡커 오토모티브 시스템스 - 웨이브마커 인크. Reverberation estimation and suppression system
KR100600313B1 (en) 2004-02-26 2006-07-14 남승현 Method and apparatus for frequency domain blind separation of multipath multichannel mixed signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030010432A (en) * 2001-07-28 2003-02-05 주식회사 엑스텔테크놀러지 Apparatus for speech recognition in noisy environment
US20050060142A1 (en) 2003-09-12 2005-03-17 Erik Visser Separation of target acoustic signals in a multi-transducer arrangement
KR100600313B1 (en) 2004-02-26 2006-07-14 남승현 Method and apparatus for frequency domain blind separation of multipath multichannel mixed signal
KR20060020363A (en) * 2004-08-31 2006-03-06 엘지전자 주식회사 Apparatus and method for recognizing a voice for an audio-visual (av) system
KR20060061259A (en) * 2004-12-01 2006-06-07 하만 벡커 오토모티브 시스템스 - 웨이브마커 인크. Reverberation estimation and suppression system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이인성 외, '간섭 및 반향신호 제거를 위한 다단계 구조의 다채널 암묵 디콘볼루션', 전자공학회논문지 SP편, 제1호, 2007.01.31.

Also Published As

Publication number Publication date
KR20080061212A (en) 2008-07-02

Similar Documents

Publication Publication Date Title
US8467538B2 (en) Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium
US10446171B2 (en) Online dereverberation algorithm based on weighted prediction error for noisy time-varying environments
US7895038B2 (en) Signal enhancement via noise reduction for speech recognition
CN108172231B (en) Dereverberation method and system based on Kalman filtering
US9668066B1 (en) Blind source separation systems
EP2164066B1 (en) Noise spectrum tracking in noisy acoustical signals
US20100014681A1 (en) Noise suppression method, device, and program
JP2007193035A (en) Sound signal separating device and method
JP2007526511A (en) Method and apparatus for blind separation of multipath multichannel mixed signals in the frequency domain
KR20070088751A (en) Noise suppressing method and apparatus and computer program
US11373667B2 (en) Real-time single-channel speech enhancement in noisy and time-varying environments
CN102739886A (en) Stereo echo offset method based on echo spectrum estimation and speech existence probability
KR100636368B1 (en) Convolutive blind source separation using relative optimization
KR100917460B1 (en) Noise cancellation apparatus and method thereof
CN108962276B (en) Voice separation method and device
JP7348812B2 (en) Noise suppression device, noise suppression method, and voice input device
KR100454886B1 (en) Filter bank approach to adaptive filtering methods using independent component analysis
KR100863184B1 (en) Method for multichannel blind deconvolution to eliminate interference and reverberation signals
CN109243476B (en) Self-adaptive estimation method and device for post-reverberation power spectrum in reverberation voice signal
KR101260684B1 (en) Blind source separation method and apparatus according to independent vector analysis using feed forward network
JP2003250193A (en) Echo elimination method, device for executing the method, program and recording medium therefor
KR101650951B1 (en) Methods for separating mixed sigals
Schröter et al. Deep Multi-Frame Filtering for Hearing Aids
CN115588438B (en) WLS multi-channel speech dereverberation method based on bilinear decomposition
WO2022215199A1 (en) Information processing device, output method, and output program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141001

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee