KR20110063250A - Methods for separating mixed sigals - Google Patents

Methods for separating mixed sigals Download PDF

Info

Publication number
KR20110063250A
KR20110063250A KR1020100027880A KR20100027880A KR20110063250A KR 20110063250 A KR20110063250 A KR 20110063250A KR 1020100027880 A KR1020100027880 A KR 1020100027880A KR 20100027880 A KR20100027880 A KR 20100027880A KR 20110063250 A KR20110063250 A KR 20110063250A
Authority
KR
South Korea
Prior art keywords
filter
output
coefficient
frequency
signal
Prior art date
Application number
KR1020100027880A
Other languages
Korean (ko)
Other versions
KR101650951B1 (en
Inventor
김태수
전혜정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20110063250A publication Critical patent/KR20110063250A/en
Application granted granted Critical
Publication of KR101650951B1 publication Critical patent/KR101650951B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/24—Signal processing not specific to the method of recording or reproducing; Circuits therefor for reducing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

PURPOSE: A mixed signal separating method is provided to easily remove noise and to separate mixed signals, which are outputted from a plurality of sources, according to each source. CONSTITUTION: A plurality of external sound sources is received through a first microphone and a second microphone(S1, S2). A first receiving signal, which is received from the first microphone, and a second receiving signal, which is received from the second microphone, are analyzed(S3, S4). The analyzed received signals are separated. Signal processing speed is rapidly processed by using the coefficient of a filter as energy normalization work(S6-S9).

Description

혼합된 신호 분리방법{METHODS FOR SEPARATING MIXED SIGALS}Mixed signal separation method {METHODS FOR SEPARATING MIXED SIGALS}

본 발명은 혼합된 신호 분리방법에 관한 것이다.
The present invention relates to a mixed signal separation method.

신호처리를 연구하는 분야에 있어서, 관찰된 센서 신호로부터 원본 신호를 추정하는 것은, 가장 중요한 주제이다. 특히, 혼합 과정 및 원본 신호에 대한 인지없이 소스를 예측하는 것은 BSS(Blind Source Seperation)이가고 한다. BSS의 적용은 잡음에 강한 음성 인식(noise robust speech recognition)이나 통신에서의 간섭 신호 제거, 고음질 음성 보청 장치(High Quality aid Equipment), 및 EEG나 MEG와 같은 생화학적인 신호 분석에 이용될 수 있다. 그중 가장 자주 이용되는 것이, ICA(Independent Component Analysis)이다. 이것은 확률적으로 다차원 확률식을 이용하여 혼합된 음성으로부터 독립적인 소스를 확률적으로 복구시키는 방법이다. In the field of signal processing research, estimating the original signal from the observed sensor signal is the most important topic. In particular, BSS (Blind Source Seperation) is going to predict the source without mixing process and knowledge of the original signal. The application of BSS can be used for noise robust speech recognition or interference signal cancellation in communications, high quality aid equipment, and biochemical signal analysis such as EEG or MEG. The most frequently used is Independent Component Analysis (ICA). This is a method of stochastically recovering independent sources from mixed speech using stochastic multidimensional stochastic equations.

기본적인 ICA 알고리즘에서는, 원본 신호가 시간 차이 없이 서로 크기만 달리 하여 섞여 있는 것을 가정하지만, 실제 적용에 있어서, 오디오 신호 분리와 같은 신호분리의 문제를 해결하는 경우, 이 모델은 적합하지 않다. 이러한 경우, 근원 신호는 타임 딜레이의 전달 함수를 가진 콘볼브드 버전(convolved version)의 합인 관찰된 신호로서 나타난다. 최근에, 다양한 방식들이 시간 도메인과 주파수 도메인 영역에서 제안되어 왔다.
In the basic ICA algorithm, it is assumed that the original signals are mixed in different sizes with no time difference, but in practical application, when solving the problem of signal separation such as audio signal separation, this model is not suitable. In this case, the source signal appears as an observed signal that is the sum of the convolved version with the transfer function of the time delay. Recently, various schemes have been proposed in the time domain and frequency domain domain.

본 발명은 복수의 소스에서 출력되는 혼합된 신호를 소스별로 분리하는 방법을 제공한다.
The present invention provides a method for separating the mixed signals output from a plurality of sources for each source.

본 발명은 복수의 소스로부터 신호가 다수 혼합된 입력신호를 적어도 2개 수신하여 주파수 도메인으로 변경하는 단계; 상기 주파수 도메인으로 변경된 입력 데이터를 예정된 계수를 가지는 필터에 통과시키는 단계; 상기 필터에 통과된 값에 대응하여 상기 필터의 계수를 조정하는 단계; 상기 필터의 계수를 조정하는데 있어서 그 정도를 입력의 크기에 따라 정규화 하는 단계; 상기 계수 조정된 필터에 상기 입력 데이터를 통과시키는 단계; 및 상기 필터에 통과된 데이터를 타임 도메인으로 변경하는 단계를 포함하는 혼합된 신호 분리방법을 제공한다.The present invention comprises the steps of receiving at least two input signals mixed with a plurality of signals from a plurality of sources to the frequency domain; Passing the input data changed into the frequency domain through a filter having a predetermined coefficient; Adjusting a coefficient of the filter in response to a value passed through the filter; Normalizing the degree according to the magnitude of the input in adjusting the coefficient of the filter; Passing the input data through the coefficient adjusted filter; And it provides a mixed signal separation method comprising the step of changing the data passed to the filter to the time domain.

또한, 본 발명은 제1 및 제2 소스로부터 신호가 혼합된 제1 및 제2 입력신호를 수신하여 주파수 도메인으로 변경하는 단계; 상기 제1 및 제2 입력데이터를 각각 N개의 주파수 성분 계수를 가지는 제1 및 제2 필터에 각각 통과시켜 제1 출력을 얻는 단계; 상기 제1 및 제2 입력데이터를 각각 N개의 주파수 성분 계수를 가지는 제3 및 제4 필터에 각각 통과시켜 제2 출력을 얻는 단계; 상기 제1 출력 값과 상기 제2 출력 값에 대응하여 상기 제1 내지 제4 필터의 계수를 조정하는 단계; 상기 필터의 계수를 조정하는데 있어서 그 정도를 입력의 크기에 따라 정규화 하는 단계; 상기 계수 조정된 제1 및 제2 필터에 상기 정규화된 제1 및 제2 입력데이터를 통과시킨 제 1출력을 타임 도메인으로 변환하는 단계; 및 상기 계수 조정된 제3 및 제4 필터에 상기 정규화된 제1 및 제2 입력데이터를 통과시킨 제 2출력을 타임 도메인으로 변환하는 단계를 포함하는 혼합된 신호 분리방법을 제공한다.In addition, the present invention includes the steps of receiving the first and second input signal mixed with the signal from the first and second source to the frequency domain; Passing the first and second input data through first and second filters having N frequency component coefficients, respectively, to obtain a first output; Passing the first and second input data through third and fourth filters having N frequency component coefficients, respectively, to obtain a second output; Adjusting coefficients of the first to fourth filters in correspondence with the first output value and the second output value; Normalizing the degree according to the magnitude of the input in adjusting the coefficient of the filter; Converting a first output of the normalized first and second input data through the coefficient-adjusted first and second filters into a time domain; And converting a second output having passed the normalized first and second input data to the coefficient-adjusted third and fourth filters into a time domain.

또한, 상기 제1 내지 제4 필터의 계수를 조정하는 단계는 상기 제1 필터의 M번째 계수를 정할 때에 상기 제1 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기에 반비례하도록 조정되며, 상기 제1 출력의 M번째 주파수 성분과 상기 제2 출력의 M번째 주파수 성분 상기 제3 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며,상기 제2 필터의 M번째 계수를 정할 때에 상기 제1 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기에 반비례하도록 조정되며, 상기 제1 출력의 M번째 주파수 성분과 상기 제2 출력의 M번째 주파수 성분 상기 제4 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며, 상기 제3 필터의 M번째 계수를 정할 때에 상기 제2 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기에 반비례하도록 조정되며, 상기 제2 출력의 M번째 주파수 성분과 상기 제1 출력의 M번째 주파수 성분 상기 제1 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며, 상기 제4 필터의 M번째 계수를 정할 때에 상기 제2 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기의 합에 반비례하도록 조정되며, 상기 제2 출력의 M번째 주파수 성분과 상기 제1 출력의 M번째 주파수 성분 상기 제2 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 한다.The adjusting of the coefficients of the first to fourth filters may include adjusting an Mth frequency component among at least N frequency component values of the first output and at least one other frequency when determining the Mth coefficient of the first filter. And is adjusted in inverse proportion to the overall magnitude of the component, and is proportional to the coefficient of the Mth frequency component of the first output and the Mth frequency component of the second output in proportion to the coefficient of the Mth frequency of the third filter. In determining the Mth coefficient of the second filter, the Mth coefficient of the first output is adjusted to be inversely proportional to the overall magnitude of the Mth frequency component and at least one or more other frequency components, and the Mth of the first output. And a frequency component and an Mth frequency component of the second output in proportion to a coefficient of an Mth frequency of the fourth filter. In determining an Mth coefficient, the Mth frequency component of the second output N is adjusted in inverse proportion to the total magnitude of the Mth frequency component and at least one other frequency component. Mth frequency component of the first output is adjusted in proportion to the coefficient of the Mth frequency of the first filter, wherein when determining the Mth coefficient of the fourth filter of the value of N frequency components of the second output Adjusted to be inversely proportional to the sum of the Mth frequency component and the total magnitude of at least one or more other frequency components, the Mth frequency component of the second output and the Mth frequency component of the first output being Mth of the second filter It is characterized in that it is adjusted in proportion to the coefficient of the frequency.

또한, 상기 제1 및 제2 소스들은 통신 신호 소스, 음성 신호 소스, 생물학적인 신호, 메디컬 신호 소스, 생리학적인 신호 소스, 이미지 신호들 소스, 데이터 신호 소스, 또는 스펙트럼의 소스 중 하나인 것을 특징으로 한다.
The first and second sources may also be one of a communication signal source, a voice signal source, a biological signal, a medical signal source, a physiological signal source, an image signals source, a data signal source, or a source of a spectrum. do.

상술한 구성을 가진 본 발명에 따르면, 보다 빠른 시간내에 적은 계산 부담을 가지고, 혼합된 신호를 원래의 신호로 분리할 수 있으며, 특히 노이즈를 용이하게 제거할 수 있게 된다.
According to the present invention having the above-described configuration, it is possible to separate the mixed signal into the original signal with less computational burden within a faster time, and in particular, to easily remove noise.

도 1은 본 발명의 동작을 나타내는 개념도.
도2는 본 발명의 제1 일실시예에 따른 음향 처리 장치의 블럭도.
도3은 본 발명의 제2 일실시예에 따른 음향처리 장치의 블럭도.
도4는 본 발명의 일실시예인 음향 처리 장치에서의 음향 처리 방법을 설명하기 위한 흐름도.1 is a conceptual diagram showing the operation of the present invention.
2 is a block diagram of a sound processing apparatus according to a first embodiment of the present invention;
Figure 3 is a block diagram of a sound processing apparatus according to a second embodiment of the present invention.
4 is a flowchart for explaining a sound processing method in the sound processing apparatus according to the embodiment of the present invention;

이하에서는 본 발명의 실시예인 음향 처리 방법에 적용될 수 있는 알고리즘에 대하여 상세하게 설명하도록 한다. Hereinafter, an algorithm that can be applied to a sound processing method which is an embodiment of the present invention will be described in detail.

본 상세한 설명의 전반에 걸쳐 다음과 같은 표기법이 이용된다. 보통의 소문자는 스칼라 변수를 의미하고, 볼드체 소문자는 벡터 변수를 의미하며, 윗 첨자는 주파수 빈(frequency bin) 을 나타내며, 아래 첨자는 소스나 오브저베이션(observation)을 나타낸다.
The following notation is used throughout this specification. Normal lowercase letters mean scalar variables, bold lowercase letters mean vector variables, superscripts indicate frequency bins, and subscripts indicate source or observation.

콘벌루티브(convolutive) 환경에 있어서, 소스 신호는 타임 딜레이되며, 콘벌브(convolve)된다. 시간 t에서 i번째 오브저베이션 신호 Xi는 수식 1에 의해서 결정된다.In a convolutive environment, the source signal is time delayed and convolved. The i-th obstruction signal Xi at time t is determined by Equation 1.

[수식 1][Equation 1]

Figure pat00001
Figure pat00001

여기서 Hij(t)는 j 번째 소스로부터 i번째 관측(센서, 마이크)으로의 시간 도메인 전달함수로서 T라는 시간 길이를 가지고, sj(t)는 시간 t에서 j 번째 소스 신호를 나타내며, L은 소스의 넘버를 의미한다. 쇼트 타임 퓨리어 변환(short time FT)을 적용한 후, 시간 도메인 신호 xi(t)는 주파수 도메인 신호로 변환 된다. Where H ij (t) is the time-domain transfer function from the j th source to the i th observation (sensor, microphone), with a length of time T, s j (t) represents the j th source signal at time t, and L Is the number of the source. After applying the short time Fourier transform (short time FT), the time domain signal x i (t) is converted into a frequency domain signal.

[수식 2][Equation 2]

Figure pat00002
Figure pat00002

상기와 같이 설명된 위치 표시 방법 및 이를 적용한 이동 통신 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. The above-described location display method and the mobile communication terminal using the same are not limited to the configuration and method of the embodiments described above, but the embodiments may be all or part of each embodiment so that various modifications may be made. May be optionally combined.

여기서 Wk = 2π(k-1)/K, k=1,2, ....K이고, J는 쉬프트 사이즈이고, w(t)는 윈도우 함수(window function)이다. 윈도우 길이 K는 믹싱 필터 hij(t)의 길이보다 더 충분히 길어야 하고, 시간도메인에서의 콘벌루션은 대략 다음과 같은 주파수 도메인에서의 곱으로 변환된다.Where W k = 2π (k-1) / K, k = 1, 2, .... K, J is the shift size, and w (t) is the window function. The window length K must be sufficiently longer than the length of the mixing filter h ij (t), and the convolution in the time domain is approximately converted to the product in the frequency domain as follows.

[수식 3][Equation 3]

Figure pat00003
Figure pat00003

만약, 분리 필터 메트릭스(seperation filter matrics)가 존재한다면, 즉, 각 주파수마다 믹싱 메트릭스의 인버스(inverse) 또는 수도 인버스(pseudo inverse)가 존재한다면(L<M),, 분리된 i번째 소스 신호는 수식 4와 같이 주어진다.If there are separation filter matrices, i.e. if there is an inverse or pseudo inverse of the mixing matrix for each frequency (L <M), then the separated i-th source signal is Is given by Equation 4.

[수식 4][Equation 4]

Figure pat00004
Figure pat00004

여기서, gij (k) 는 k번째 주파수 빈에서의 분리 필터이고, M은 관찰된 신호의 숫자이다. 위에서 설명된 문제는 독립 벡터 분석(1)-(3)이라 부른다. 이를 해결하기 위해. 멀티베리에이트 랜덤 변수(multivariate random variables)의 목적함수(objective function)를 정의하여야 한다. 두 함수 사이에는 쿨백 라이블러(Kullback-Leibler) 다이버전스가 인디펜던스(independence)의 측정용으로 이용될 수 있다. Where g ij (k) is the separation filter at the kth frequency bin and M is the number of observed signals. The problem described above is called independent vector analysis (1)-(3). To solve this. The objective function of multivariate random variables should be defined. Between the two functions, Kullback-Leibler divergence can be used to measure independence.

[수식 5][Equation 5]

Figure pat00005
Figure pat00005

여기서, p(Y1, .... YL) 및 g(Y1)는 각각 이그젝트 조인트 pdf(exact joint pdf) 및 각 개별 소스 벡터의 어프록시메이티드 pdf의 결과물이다. Where p (Y 1 ,... Y L ) and g (Y 1 ) are the outputs of the eject joint pdf and the proximate pdf of each individual source vector, respectively.

이것을 최소화하기 위해, 우리는 분리 알고리즘을 얻는다. 이것은 가장 유효한 방법중 하나이다. 심플 그래디언트 디센트 방식은 다음 수식에 의해 얻어진다.To minimize this, we get a separation algorithm. This is one of the most valid ways. The simple gradient descent method is obtained by the following equation.

[수식 6][Equation 6]

Figure pat00006
Figure pat00006

스케일링 메트릭스

Figure pat00007
를 곱하는 것은 그래디언트를 보정하여, 보다 빠른 컨버젼스를 얻는다. 이것은 내추럴 그래디언트(natural gradient) 또는 상대적 그래디언트(relative gradient)라고 하며, 이것은 다음 수식에 의해 얻어진다. Scaling metrics
Figure pat00007
Multiplying corrects the gradient, resulting in faster convergence. This is called a natural gradient or a relative gradient, which is obtained by the following equation.

[수식 7][Formula 7]

Figure pat00008
Figure pat00008

여기서 Iil은 i와 l이 동일한 때만 1이고, 나머지는 0이고, 비선형 함수인

Figure pat00009
은 수식 8에 의해 주어진다.Where I il is 1 only when i and l are equal, the remainder is 0, a nonlinear function
Figure pat00009
Is given by Equation 8.

[수식 8][Equation 8]

Figure pat00010
Figure pat00010

여기서,

Figure pat00011
는 멀티베리에이트 스코어 함수(multivariate score function)이다. 이 중 가장 간단하고 효과적인 함수는 다음과 같다.here,
Figure pat00011
Is a multivariate score function. The simplest and most effective of these is

[수식 9][Equation 9]

Figure pat00012

Figure pat00012

[온라인 알고리즘][Online algorithms]

실시간 BSS시스템(real time blind source seperation system)예 적용하기 위해, 다음 입력이 입력되기 전에 출력값을 추출해야 한다. 그래서, 학습 과정은 블록 와이즈 뱃치(block wise batch) 또는 완전 온라인 알고리즘(fully online algorithm)이어야 하다. 이 작업에 있어서, 블록 와이즈 뱃치 알고리즘은 많은 수식적 부담을 가지기 때문에, 온라인 알고리즘만 고려한다. 온라인 알고리즘에 있어서, 분리 필터 메트릭스에서의 계수는 매프레임마다 업데이트 된다. 그래서, 수식 4는 다음과 같이 수정된다.Example of a real time blind source seperation system To apply, the output must be extracted before the next input is input. Thus, the learning process should be a block wise batch or a fully online algorithm. In this work, since the blockwise batch algorithm has a large mathematical burden, only online algorithms are considered. In the online algorithm, the coefficients in the separate filter matrix are updated every frame. Thus, Equation 4 is modified as follows.

[수식 10][Equation 10]

Figure pat00013
Figure pat00013

여기서 n은 프레임 인덱스이다. 그러므로, 필터 계수는 다음과 같이 보정된다.Where n is the frame index. Therefore, the filter coefficient is corrected as follows.

[수식 11][Equation 11]

Figure pat00014
Figure pat00014

여기서 gjl (k)[n]은 현재 프레임의 그래디언트를 의미하고, 이것은 본 상기 알고리즘에서 가장 중요한 부분이다.
Where g jl (k) [n] means the gradient of the current frame, which is the most important part of this algorithm.

[내추럴 그래디언트][Natural gradient]

수식 7에서의 내추럴 그래디언트를 보면, 여기서는 예측되는 출력의 앙상블이 필요하게 되어 기대값이

Figure pat00015
계산된다. 이것을 스코어드 코릴레이션(scored correlation)으로 한다. 이를 Ril[n]이라 한다. 뱃치 학습(batch learning)에서는, 다음과 같은 샘플 수단을 통해 이를 얻을 수 있다.Looking at the natural gradient in Equation 7, we need an ensemble of predicted outputs,
Figure pat00015
Is calculated. This is referred to as scored correlation. This is called R il [n]. In batch learning, this can be achieved through the following sample means.

[수식 12]Equation 12

Figure pat00016
Figure pat00016

하지만, 스코어드 코릴레이션의 온라인 버전을 예측하는 것은 점점 더 복잡해졌다. 여기서 두 개의 가정이 이용된다. 첫번째 가정은 스코어드 코릴레이션이 이전 프레임에 의존한다는 것이다. 즉, 모든 프레임을 고려하는 것이 아니라, 우리는 현재시점에서부터 몇 개의 이전 프레임을 이용하는 것이다. 그러나, 이러한 경우, 우리는 업데이트 필터 계수를 이용하는 이전 출력값을 계산하여야 하는데, 이것은 알고리즘을 복잡하게 한다. 그래서, 두번째로, 필터계수가 출력의 확률에 대해 상대적으로 빠르게 변하지 않는다고 가정한다. 그러면, 현재 프레임에서의 스코어드 코릴레이션의 온라인 버전을 다음 수식에 의해 얻을 수 있다. However, predicting the online version of Scored Correlation has become increasingly complex. Two assumptions are used here. The first assumption is that scored correlation depends on the previous frame. In other words, we don't consider every frame, but we use a few previous frames from the current point in time. In this case, however, we have to calculate the previous output using the update filter coefficients, which complicates the algorithm. So, secondly, assume that the filter coefficient does not change relatively quickly with respect to the probability of the output. Then, an online version of the scored correlation in the current frame can be obtained by the following equation.

[수식 13]Equation 13

Figure pat00017
Figure pat00017

여기서 α는 스무딩 팩터(smothing factor)이다. 온라인 내추럴 러닝 수식은 다음과 같다.Where α is the smoothing factor. The online natural running formula is:

[수식 14][Equation 14]

Figure pat00018

Figure pat00018

[넌홀로노믹 제한 조건(nonholonomic constraint)][Nonholonomic constraint]

내추럴 그래디언트는 배치 러닝이 적용될 때 소스 신호를 잘 추출한다. 그런데, 온라인 학습에서는 안정성 문제가 발생한다. 수식 14를 보자. 그래디언트는 스코어드 코릴레이션이 아이덴티티 Iil로 접근할수록 0으로 수렴한다. 이것은 만약 소스 시그널이 로컬 평균 진폭을 변경하면, 그래디언트는 이에 따라 변경됨을 의미한다. 음성 신호와 같은 경우, 소스 신호는 갑자기 작아지고, 이에 대응하는 분리 필터의 계수는 학습과정에서 커지게 되어 이러한 변화를 보상하고, 출력 신호를 더 크게 방출한다. 특히, 하나의 소스 신호가 조용해지면, 신호 필터는 발산한다. 그러므로, 넌홀로노믹 제한 조건이 이러한 현상을 막기 위해 적용된다. 결과적으로, 우리는 아이덴티티 메트릭스 Iil 을 Λil[n]으로 치환함으로써 제한 조건을 가진 그래디언트를 구할 수 있다.
Natural gradients extract the source signal well when batch learning is applied. However, stability problems arise in online learning. See Equation 14. The gradient converges to zero as the scored correlation approaches identity I il . This means that if the source signal changes the local average amplitude, the gradient will change accordingly. In the case of a voice signal, the source signal suddenly becomes small and the corresponding coefficient of the separation filter becomes large in the learning process to compensate for this change and emit a larger output signal. In particular, when one source signal is quiet, the signal filter diverges. Therefore, non-holographic constraints are applied to prevent this phenomenon. As a result, we can find the gradient with the constraint by replacing the identity matrix I il with Λ il [n].

[수식 15]Equation 15

Figure pat00019
Figure pat00019

여기서 Aii[n] 는 Rii[n]와 동일하고 Λil[n]은 i와 l이 다르면 0이다. 수식 15에서 Rii -Aii는 항상 0이다. 그래서 L 곱셉은 매 주파수 빈에서 생략된다. 그러므로, 수식 14에 비하여 효과적이 된다.
Where A ii [n] is equal to Rii [n] and Λ il [n] is zero if i and l are different. In Formula 15, R ii -A ii is always 0. So L multiply is omitted in every frequency bin. Therefore, it is effective as compared with Equation 14.

[그래디언트 정규화](Gradient normalization)Gradient normalization

필터 계수의 학습특성을 개선하고, 입력크기에 관계없이 수렴 속도를 최적화 하기 위하여, 2차 그래디언트가 고려될 수 있다. 뱃치 알고리즘에서, 뉴톤 방식을 적용함으로써, 보다 빠른 알고리즘을 얻을 수 있다. 그러나, 이러한 접근에는 몇 가지 제약이 있어서, 입력들은 공간적으로 화이튼드(whitened)되고, 이에 따라, 분리 메트릭스는 오소고널이 되어야 한다. 그래서, 이것을 실시간 온라인 알고리즘에 적용하는 것은 바람직하지 않다. 대신에, 이전 섹션에서 얻었던 그래디언트를 이용하고, 다만 다음과 같은 정규화 펙터를 가지고 학습률을 조절하면 효율적인 알고리즘을 얻을 수 있다. In order to improve the learning characteristics of the filter coefficients and to optimize the convergence speed irrespective of the input size, the second-order gradient can be considered. In the batch algorithm, by applying the Newton method, a faster algorithm can be obtained. However, there are some limitations to this approach, so that the inputs are whitened spatially, so the separation matrix must be orthogonal. So, applying this to a real time online algorithm is undesirable. Instead, use the gradient you obtained in the previous section, and adjust the learning rate with the following normalization factor to get an efficient algorithm.

[수식 16][Equation 16]

Figure pat00020

Figure pat00020

여기서,

Figure pat00021
는 정규화 펙터를 의미한다. 여기서, 그래디언트를 입력 레벨에 따라 정규화하고, 동일한 펙터를 모든 대응하는 소스에 적용한다. 그래서, 정규화 펙터는 다음과 같이 주어진다.
here,
Figure pat00021
Means normalization factor. Here, the gradient is normalized according to the input level, and the same factor is applied to all corresponding sources. So, the normalization factor is given by

[수식 17][Equation 17]

Figure pat00022
Figure pat00022

β는 스무딩 펙터(smoothing factor)이다.
β is a smoothing factor.

[신호 재구성][Signal reconstruction]

기본적으로, IVA는 주파수 빈사이에서 퍼뮤테이션(permutation) 문제가 없다. IVA의 뱃치 알고리즘에 대하여, 제안된 알고리즘은 퍼뮤테이션 문제가 없다. 그러나, 출력의 스케일은 오리지널과 다를 수 있다. 특히, 각 주파수 빈에서의 다른 스케일은 신호 재구성시 주파수 왜곡을 발생시킬 수 있다. 이를 피하기 위해, 우리는 학습된 분리 필터 메트릭스를 조절할 수 있다. 최소 왜곡 원칙을 이용하는 방법은 잘 알려져있다. 이에 따라, 출력 신호는 스케일 펙터 G를 곱합으로써 조절된다. 주파수 도메인에서 출력 신호를 예측한다면, 최종 처리과정은 예측된 신호의 시간 도메인 버젼에서의 재구성이된다.Basically, IVA has no permutation problem between frequency bins. For IVA's batch algorithm, the proposed algorithm has no permutation problem. However, the scale of the output may be different from the original. In particular, different scales in each frequency bin can cause frequency distortion in signal reconstruction. To avoid this, we can adjust the learned separation filter matrix. It is well known how to use the principle of least distortion. Accordingly, the output signal is adjusted by multiplying the scale factor G. If the output signal is predicted in the frequency domain, the final process is reconstruction in the time domain version of the predicted signal.

여기서, 역푸리어 변환과 오버랩 애드 방법(over-lap add method)가 다음과 같이 이용된다. Here, an inverse Fourier transform and an overlap-add method are used as follows.

[식 18][Equation 18]

Figure pat00023
Figure pat00023

여기서 wk , K, J는 식 2와 동일하다. 전체적인 블록 다이어그램은 도 1과 같다. 여기서 필터 gij (k)에 대응되고, 필터 업데이트 계산은 그래디언트와 정규화를 포함하고, 스케일 조정은 상술한 스케일 펙터를 계산한다.
Where w k , K, and J are the same as in Equation 2. The overall block diagram is shown in FIG. Here, corresponding to the filter g ij (k) , the filter update calculation includes gradients and normalization, and the scale adjustment calculates the scale factor described above.

이하에서는 첨부되는 도면을 참조하여 본 발명의 일실시예를 설명하도록 한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention.

도 1은 본 발명의 동작을 나타내는 개념도이다.1 is a conceptual diagram showing the operation of the present invention.

도1에 도시된 바와 같이, 2개의 음원(사람(10)과 스피커(11))이 있다고 가정했을 때, 제1 마이크(12)에는 소리는 사람(10)에서 제공되는 소리와 스피커(11)에서 제공되는 소리가 섞인 상태로 입력된다. 또한 제2 마이크(13)에서도 사람(10)에서 제공되는 소리와 스피커(11)에서 제공되는 소리가 섞인 상태로 입력된다. As shown in FIG. 1, assuming that there are two sound sources (a person 10 and a speaker 11), a sound is provided in the first microphone 12 and a sound provided by the person 10 and the speaker 11. The sound provided by the input is mixed. In addition, the second microphone 13 is input in a state in which the sound provided from the person 10 and the sound provided from the speaker 11 are mixed.

신호 처리부(14,15)는 이들 섞인 소리를 분리하여 제어부(16,17)로 제공하고, 제어부에서는 최초의 사람(10)에서 나온 소리와 스피커(11)에서 나온 소리가 각각 출력된다.The signal processor 14, 15 separates these mixed sounds and provides them to the controllers 16, 17, and the controller outputs the sound from the first person 10 and the sound from the speaker 11, respectively.

여기서는 사람(10)과 스피커(11)에서 출력되는 소리로 예시하고 설명하고 있으나, 두 개의 소스에서 제공되어 섞이게 되는 모든 신호에 대해 본 발명의 기술이 적용 가능하다. 예를 들어, 제1 및 제2 소스들은 통신 신호 소스, 음성 신호 소스, 생물학적인 신호, 메디컬 신호 소스, 생리학적인 신호 소스, 이미지 신호들 소스, 데이터 신호 소스, 또는 스펙트럼의 소스 중 하나일 수 있다. Here, although illustrated and described as the sound output from the person 10 and the speaker 11, the technology of the present invention is applicable to all signals provided and mixed from two sources. For example, the first and second sources can be one of a communication signal source, voice signal source, biological signal, medical signal source, physiological signal source, image signals source, data signal source, or source of spectrum. .

또한, 여기서는 2개의 소스를 가정하였으나, 경우에 따라서는 3개 이상의 소스에서 제공되는 신호들이 섞이는 경우에도 본 발명에 의한 기술이 적용 가능하다.
In addition, although two sources are assumed herein, in some cases, the technique according to the present invention may be applied even when signals provided from three or more sources are mixed.

본 발명은 신호 처리부(14,15)에서 어떻게 효과적으로 섞여 있는 신호에서 원래의 신호를 분리할 수 있는지에 관한 기술을 제공한다.The present invention provides a technique for how the signal processing section 14, 15 can effectively separate the original signal from the mixed signal.

도2는 본 발명의 제1 일실시예에 따른 음향 처리 장치의 블럭도이다.2 is a block diagram of a sound processing apparatus according to a first embodiment of the present invention.

도2를 참조하여 살펴보면, 본 실시예에 따른 음향 처리 장치는 주파수 도메인 변한부(21,.22), 신호 분리 제어부(30,32), 필터 업데이터부(40), 타임 도메인 변환부(51,52)를 포함한다.Referring to FIG. 2, the sound processing apparatus according to the present embodiment includes the frequency domain changing units 21 and 22, the signal separation controllers 30 and 32, the filter updater 40, and the time domain converter 51. 52).

제1 마이크(Mic1)를 통해 입력되는 2개 이상의 신호가 섞여 있는 신호를 주파수 도메인 변환부(21)에서 주파수 도메인으로 변환한다. 제2 마이크(Mic2)를 통해 입력되는 2개 이상의 신호가 섞여 있는 신호를 주파수 도메인 변환부(22)에서 주파수 도메인으로 변환한다.The frequency domain converter 21 converts a signal mixed with two or more signals input through the first microphone Mic1 into the frequency domain. The frequency domain converter 22 converts a signal mixed with two or more signals input through the second microphone Mic2 into the frequency domain.

신호 분리 제어부(30)는 구비하고 있는 제1 및 제2 필터를 이용하여 주파수 도메인 변환부(21)에서 변환되고 입력된 신호를 필터링하여 출력한다. 이 때에는 제1 및 제2 필터(31)는 초기 셋팅된 주파수별 계수를 이용하여 필터링을 수행한다. 또한, 신호 분리 제어부(32)도 구비하고 있는 제3 및 제4 필터를 이용하여 주파수 도메인 변환부(22)에서 변환된 신호를 필터링하여 출력한다. 이때에도 제3 및 제4 필터(32)는 초기 셋팅된 주파수별 계수를 이용하여 필터링을 수행한다.The signal separation controller 30 filters and outputs the signal converted and input by the frequency domain converter 21 using the first and second filters provided therein. In this case, the first and second filters 31 perform filtering using the initially set frequency-specific coefficients. In addition, the signal converted by the frequency domain converter 22 is filtered and output using the third and fourth filters that are also provided with the signal separation controller 32. In this case, the third and fourth filters 32 perform filtering using the initially set frequency-specific coefficients.

필터 업데이터부(40)는 제1 및 제2 필터를 이용하여 출력된 제1 출력 신호와 제3및 제4 필터를 이용하여 출력된 제2 출력 신호의 통계적 의존도 (dependency)를 계산하여, 제1 필터 내지 제4 필터의 계수를 업데이트 한다. The filter updater 40 calculates statistical dependence of the first output signal output using the first and second filters and the second output signal output using the third and fourth filters, and then calculates a statistical dependency. The coefficients of the filter to the fourth filter are updated.

이와 같이, 필터 업데이트를 신호가 들어올때마다 반복적으로 수행하여 예정된 상태 즉 두 출력간의 계산된 상호 의존도가 최소화 되도록 필터의 계수들이 조정되어 일정 시간이 지나면 원본 신호가 분리되어 나오게 된다. 타임 도메인 변환부(51)에서는 실시간으로 신호가 들어올때마다 제1 출력과 제2 출력신호를 시간 도메인의 신호로 재구성하여 출력한다. In this way, the filter update is repeatedly performed every time a signal is input, so that the coefficients of the filter are adjusted to minimize a predetermined state, that is, the calculated interdependence between the two outputs, and the original signal is separated after a predetermined time. The time domain converter 51 reconstructs the first output signal and the second output signal into signals in the time domain whenever a signal is input in real time.

계속해서 필터의 계수를 업데이트 하는 방법을 살펴본다. 앞에 언급된 수식 15는 출력의 상호 의존성 모델과 그를 최소화 하기 위하여 계산한 필터 계수 조정 방법을 나타내는 수식이다. 이를 다시 알기 쉽게 예시하기 위하여 제1 내지 제4 필터가 각각 4개 주파수의 계수를 가지는 필터라고 가정하자. 제1 필터의 계수를 Filt11a, Filt11b, Filt11c, Filt11d 라고 하고, 제2 필터의 계수를 Filt12a, Filt12b, Filt12c, Filt12d라고 하고, 제3 필터의 계수를 Filt21a, Filt21b, Filt21c, Filt21d 라고 하고, 제4 필터의 계수를 Filt22a, Filt22b, Filt22c, Filt22d 라고 할 수 있다.Let's look at how to update the coefficients of the filter. Equation 15 mentioned above is an expression that represents the model of output dependence and the filter coefficient adjustment method calculated to minimize it. To illustrate this again, suppose that the first to fourth filters are filters each having coefficients of four frequencies. The coefficients of the first filter are called Filt11a, Filt11b, Filt11c, and Filt11d, the coefficients of the second filter are called Filt12a, Filt12b, Filt12c, and Filt12d, and the coefficients of the third filter are called Filt21a, Filt21b, Filt21c, and Filt21d. The coefficients of the filter may be referred to as Filt22a, Filt22b, Filt22c, and Filt22d.

각 필터가 4개 주파수의 계수를 가지고 있기 때문에, 계산되어 출력되는 값도 각각 4개의 계산값을 가진다. 이 때 제1 필터의 출력과 제2 필터의 출력이 합쳐져서 제1 출력을 만들고 이를 Y1a, Y1b, Y1c, Y1d라고 하고, 제2 필터의 출력과 제2 필터의 출력이 합쳐져서 제2 출력을 만들고 이를 Y2a, Y2b, Y2c, Y2d라고 한다.Since each filter has four frequency coefficients, the calculated and output values also have four calculated values. At this time, the output of the first filter and the output of the second filter are combined to form a first output, which is called Y1a, Y1b, Y1c, and Y1d, and the output of the second filter and the output of the second filter are combined to form a second output. It is called Y2a, Y2b, Y2c, and Y2d.

제1 필터의 주파수별 계수 Filt11a를 조정하여 새로 반영하는 값은 Y1a값과 Y1a 이외의 적어도 하나 이상의 값 즉, Y1b, Y1c, Y1d 중 선택된 값의 크기의 합에 반비례하도록 하고, 제1 출력 Y1a 및 제2 출력 Y2a에 비례하고, 제1 필터 Filt21a에 비례하도록 한다. 여기서 Y1b, Y1c, Y1d를 모두 선택할 수도 있고, 일부만 선택할 수도 있다. 또한 여기서 계산되는 크기는 값의 절대값의 합이나 그것의 제곱 또는 제곱의 합을 제곱근 한 것 등 여러 가지가 될 수 있다. 그리고 필터의 주파수별 계수를 조정하는데 있어서 입력 신호의 크기에 따라 정규화 하여 계수를 조정하는 정도를 조절한다. 여기서 정규화라고 하는 것은 입력 신호가 크면 작게 하고 작으면 크게 하여 일정 수준으로 계수가 조정될 수 있도록 보정하는 것을 의미한다. 특히 본 명세서에서 정규화라고 하는 것은 수식 16을 이용하여 조절하는 것을 의미한다. 제2 필터의 주파수별 계수 Filt12a 를 조정하여 새로 반영하는 값은 Y1a값과 Y1a 이외의 적어도 하나 이상의 값 즉, Y1b, Y1c, Y1d 중 선택된 값의 크기의 합에 반비례하도록 하고, 제1 출력 Y1a 및 제2 출력 Y2a에 비례하고, 제1 필터 Filt22a에 비례하도록 한다. The newly reflected value by adjusting the frequency-specific coefficient Filt11a of the first filter is inversely proportional to the sum of the magnitudes of the selected values of Y1a and at least one value other than Y1a, that is, Y1b, Y1c, and Y1d, and the first outputs Y1a and It is proportional to the second output Y2a and proportional to the first filter Filt21a. Here, all of Y1b, Y1c, and Y1d may be selected or only some of them may be selected. In addition, the size calculated here can be various, such as the sum of absolute values of a value, or the square root of its square or sum of squares. In adjusting the frequency-specific coefficients of the filter, the degree of normalization is adjusted according to the magnitude of the input signal. In this case, the normalization means that the input signal is large and small, and large, so that the coefficient can be adjusted to a certain level. In particular, in the present specification, normalization means adjusting using Equation 16. The newly reflected value by adjusting the frequency-specific coefficient Filt12a of the second filter is inversely proportional to the sum of the magnitudes of the selected values of Y1a and at least one value other than Y1a, that is, Y1b, Y1c, and Y1d, and the first outputs Y1a and It is proportional to the second output Y2a and proportional to the first filter Filt22a.

제3 필터의 주파수별 계수 Filt21a 를 조정하여 새로 반영하는 값은 Y2a값과 Y2a 이외의 적어도 하나 이상의 값 즉, Y2b, Y2c, Y2d 중 선택된 값의 크기의 합에 반비례하도록 하고, 제1 출력 Y1a 및 제2 출력 Y2a에 비례하고, 제1 필터 Filt11a에 비례하도록 한다. The newly reflected value by adjusting the frequency-specific coefficient Filt21a of the third filter is inversely proportional to the sum of the magnitudes of the selected values of Y2a and at least one value other than Y2a, that is, Y2b, Y2c, and Y2d, and the first outputs Y1a and It is proportional to the second output Y2a and proportional to the first filter Filt11a.

제4 필터의 주파수별 계수 Filt22a 를 조정하여 새로 반영하는 값은 Y2a값과 Y2a 이외의 적어도 하나 이상의 값 즉, Y2b, Y2c, Y2d 중 선택된 값의 크기의 합에 반비례하도록 하고, 제1 출력 Y1a 및 제2 출력 Y2a에 비례하고, 제1 필터 Filt12a에 비례하도록 한다.
The newly reflected value by adjusting the frequency-specific coefficient Filt22a of the fourth filter is inversely proportional to the sum of the magnitudes of the selected value of Y2a and at least one value other than Y2a, that is, Y2b, Y2c, and Y2d, and the first outputs Y1a and It is proportional to the second output Y2a and proportional to the first filter Filt12a.

이와 같이, 본 실시예에 따른 음향 처리장치의 혼합된 신호 분리 처리방법은 다음과 같은 특징을 가지고 있다. 첫째는 주파수별 계수를 조정 할 때에 그 필터가 영향을 미치는 출력의 다른 주파수 성분 값의 크기에 반비례하고, 출력 신호에 비례하여 조정할 값이 정해진다.는 것이다. 두번째는 필터의 계수를 조정할 때 출력 신호 뿐만 아니라 다른쪽 출력의 필터계수가 경향을 미친다는 것이다. 즉 제1 필터의 계수가 제3 필터의 계수에 비례하고 제2 필터의 계수가 제4 필터의 계수에 비례한다. 그리고 제3 및 제4 필터의 계수도 제1 및 제2 필터의 계수에 비례한다. 세번째로 필터의 계수를 조정하는데 있어서 이를 입력의 크기에 따라서 변화량을 정규화 한다는 것이다. 이는 입력의 크기에 관계없이 일정한 정도로 필터의 계수를 조정할 수 있도록 하여 일관된 성능을 내는데 도움을 준다.As described above, the mixed signal separation processing method of the sound processing apparatus according to the present embodiment has the following characteristics. The first is that when adjusting the frequency-specific coefficient, the filter is inversely proportional to the magnitude of the other frequency component value of the output that the filter affects, and the value is adjusted proportionally to the output signal. The second is that when adjusting the filter coefficients the filter coefficients of the other output as well as the output signal tend to be inclined. That is, the coefficient of the first filter is proportional to the coefficient of the third filter and the coefficient of the second filter is proportional to the coefficient of the fourth filter. The coefficients of the third and fourth filters are also proportional to the coefficients of the first and second filters. Third, in adjusting the filter coefficients, it normalizes the change according to the size of the input. This helps to achieve consistent performance by allowing the filter coefficients to be adjusted to a certain degree regardless of the size of the input.

도3은 본 발명의 제2 일실시예에 따른 음향처리 장치의 블럭도이다.3 is a block diagram of a sound processing apparatus according to a second embodiment of the present invention.

도3에 도시된 음향처리장치는 도2에 도시된 음향처리장치에서 두개 혹은 그 이상의 신호가 섞여있을 때 한가지 신호만을 추출하고 나머지를 잡음으로 간주하여 제거하는 것이다. 본 실시예에 따른 음향처리 장치는 본 실시예에 따른 음향 처리 장치는 제 1 마이크(Mic1), 제 2 마이크(Mic2), 주파수 도메인 변환부(110,120,710), 분리 유니트(200), 필터 업데이트 계산부(310)를 포함한다. 이는 도2의 그것과 같으며 이에 추가로 사후 처리하는 부분인 신호 존재 검출부(410), 잔존 노이즈 예측부(510) 및 게인 계산부(610)를 포함하여 이상적으로 2개의 신호로 분리하여 원하는 신호를 뽑지 못하였을 때 남은 잡음을 제거할 수 있다.또한 신호 존재 검출부의 결과를 이용하여 필터의 계수를 업데이트 하는데 있어서 신호가 존재하지 않을 경우 등을 판단하여 보다 효과적으로 계수를 업데이트 할 수 있게 한다.The sound processor shown in FIG. 3 extracts only one signal when two or more signals are mixed in the sound processor shown in FIG. In the sound processing apparatus according to the present embodiment, the sound processing apparatus according to the present embodiment may include a first microphone Mic1, a second microphone Mic2, a frequency domain converter 110, 120, 710, a separation unit 200, and a filter update calculator. 310. This is the same as that of FIG. 2, and further includes a signal presence detector 410, a residual noise predictor 510, and a gain calculator 610, which are post-processed parts, and are ideally separated into two signals. In addition, the residual noise may be removed when the signal is not extracted. In addition, the result of the signal presence detection unit may be used to determine the case in which no signal is present and to update the coefficient more effectively.

제 1 마이크(Mic1) 및 제 2 마이크(Mic2)는 외부 음원을 획득하기 위해 구성된 요소이다. The first microphone Mic1 and the second microphone Mic2 are elements configured to acquire an external sound source.

제 1주파수 도메인 변환부(110) 및 제 2 주파수 도메인 변환부(120)는 상기 제 1 마이크 및 제 2 마이크로(Mic1,Mic2)부터 수신된 음원을 주파수 도메인으로 변환한다.The first frequency domain converter 110 and the second frequency domain converter 120 convert sound sources received from the first microphone and the second microphone Mic1 and Mic2 into the frequency domain.

제 1 및 제 2 분리 유니트(210,220)는, 상기 주파수 도메인 변환부(110) 및 주파수 도메인 변환부(120)로부터 수신된 변환된 외부 음원을 이용하여 각각 타겟 신호 및 노이즈 신호를 생성한다.The first and second separation units 210 and 220 generate target signals and noise signals using the converted external sound sources received from the frequency domain converter 110 and the frequency domain converter 120, respectively.

제 1 분리유니트(210) 및 제 2 분리 유니트(220)에서 출력되는 신호는 다음의 식으로 정의된다.The signal output from the first separation unit 210 and the second separation unit 220 is defined by the following equation.

[수식 19]Formula 19

Figure pat00024
Figure pat00024

상기 필터 업데이트 계산부(310)는, 상기 제1 분리 유니트(210)와 상기 제 2 분리 유니트(22)와 연결되어 있으며, 상기 제 1 분리 유니트(210) 및 상기 제 2 분리 유니트(220)의 필터 계수를 결정한다. The filter update calculation unit 310 is connected to the first separation unit 210 and the second separation unit 22, and the first separation unit 210 and the second separation unit 220 are connected to each other. Determine the filter coefficients.

즉, 필터 업데이트 계산부(310)는 제 1 분리 유니트(210)에서의 제 1 출력신호와, 제 2 분리 유니트(220)의 제 2 출력신호를 이용하여, 제 1 분리 유니트(210)에서는 노이즈 신호가 제거된 타겟 신호가, 제 2 분리 유니트(220)에서는 타겟 신호가 제거된 노이즈 신호가 나오도록 필터 계수를 학습시킨다.That is, the filter update calculation unit 310 uses the first output signal of the first separation unit 210 and the second output signal of the second separation unit 220 to generate noise in the first separation unit 210. The filter signal is trained so that the target signal from which the signal has been removed is output by the second separation unit 220 so that the noise signal from which the target signal has been removed is output.

이때, 상술한, 넌홀로노믹 제한 조건하에서의 IVA 알고리즘이 이용된다. 이에 대해서는 전술하였으므로, 그 결과만 설명하게 되면, 제 1 분리 유니트(210)는 노이즈 신호가 없을때에는 학습하지 않고, 제 2 분리 유니트(220)는 타겟신호가 없을때에는 학습하지 않는다. At this time, the above-described IVA algorithm under non-holographic constraint conditions is used. As described above, since only the result is described, the first separation unit 210 does not learn when there is no noise signal, and the second separation unit 220 does not learn when there is no target signal.

노이즈가 없을 때에는 학습을 하지 않는다. 이에 대한 설명으로서, 수식 20은 다음과 같다.Do not learn when there is no noise. As a description of this, Equation 20 is as follows.

[수식 20] Equation 20

Figure pat00025
Figure pat00025

타켓 신호가 없을때에도, 학습하지 않는다. 이에 대한 설명으로서, 수식 21은 다음과 같다.Even when there is no target signal, it does not learn. As a description of this, Equation 21 is as follows.

[수식 21][Equation 21]

Figure pat00026
Figure pat00026

상기 신호 존재 검출부(410)는, 상기 제 1 마이크(Mic1) 및 제 2 마이크(Mic2)로부터 수신되는 외부 음원에 노이즈가 있는지 여부를 판단하고, 이에 따라 상기 펠터 업데이트 계산부(310)를 조절한다. The signal presence detection unit 410 determines whether there is noise in external sound sources received from the first microphone Mic1 and the second microphone Mic2, and adjusts the felt update calculator 310 accordingly. .

즉, 신호 존재 검출부(410)는 타겟 신호만인 존재하는지, 노이즈 신호만이 존재하는지, 둘다 존재하는지를 판단하여 필터 업그레이드 계산부(310)에 전달한다.That is, the signal presence detector 410 determines whether the target signal exists only, the noise signal exists, or both, and transmits the determined signal to the filter upgrade calculator 310.

이에 대한 수식은 다음 수식 22와 같다. The equation for this is as shown in Equation 22 below.

[수식 22]Formula 22

Figure pat00027

Figure pat00027

상기 잔존 노이즈 예측부(510)는, 상기 신호 존재 검출부(410)의 결과에 따라 노이즈 신호가 존재할 때, 상기 제 1 분리 유니트(110)의 출력에 남아 있는 노이즈 스펙트럼을 업데이트한다.
The residual noise predictor 510 updates the noise spectrum remaining at the output of the first separation unit 110 when a noise signal exists according to the result of the signal presence detector 410.

게인 계산부(610)는, 상기 타겟 신호의 스펙트럼과, 노이즈 신호의 스펙트럼을 이용하여 노이즈 감소 게인을 계산한다.
The gain calculator 610 calculates a noise reduction gain using the spectrum of the target signal and the spectrum of the noise signal.

배경 노이즈의 경우, 수식 23에 의하여 학습된다.In the case of background noise, it is learned by Equation 23.

[수식 23]Formula 23

Figure pat00028
Figure pat00028

크로스토크 노이즈의 경우, 수식 24에 의하여 학습된다.In the case of crosstalk noise, it is learned by the equation (24).

[수식 24][Formula 24]

Figure pat00029
Figure pat00029

즉, 게인 계산부(610)는 주어진 타겟 신호의 스펙트럼과 노이즈 신호의 스펙트럼을 이용하여, 노이즈 감소 게인을 계산한다. 이 노이즈 감소 게인은 수식 25에 의하여 얻어진다.That is, the gain calculator 610 calculates a noise reduction gain by using the spectrum of the given target signal and the spectrum of the noise signal. This noise reduction gain is obtained by the equation (25).

[수식 25][Equation 25]

Figure pat00030
Figure pat00030

상기 구성을 갖는 음향 처리 장치에서 적용되는 음향 처리 방법에 대하여 도 4를 참조하여 설명하도록 한다.A sound processing method applied to the sound processing device having the above configuration will be described with reference to FIG. 4.

도4는 본 발명의 일실시예인 음향 처리 장치에서의 음향 처리 방법을 설명하기 위해 도시된 개념도이다.4 is a conceptual diagram illustrating a sound processing method in the sound processing apparatus according to an embodiment of the present invention.

우선 복수의 외부 음원을 제 1 마이크 및 제 2 마이크를 통해 수신한다(S1,S2). 제 1 마이크로 부터 수신되는 음원을 제 1 수신 신호라하고, 제 2 마이크로부터 수신되는 음원을 제 2 수신신호라 한다. First, a plurality of external sound sources are received through the first microphone and the second microphone (S1, S2). The sound source received from the first microphone is called a first reception signal, and the sound source received from the second microphone is called a second reception signal.

제 1 신호 및 제 2 신호를 분석하여(S3,S4), 이에 대한 신호 분리 작업을 행한다(S5). 신호분리 작업을 자세히 살펴보면, 먼저 주파수변 신호 정규화 과정을 거친다(S13).The first signal and the second signal are analyzed (S3, S4), and a signal separation operation is performed thereto (S5). Looking at the signal separation in detail, first undergoes a frequency side signal normalization process (S13).

이 신호 분리작업을 행함에 있어서, 상기 필터 업데이트 계산부(310)에서 필터 계수 학습 알고리즘이 적용된다. 필터 계수 학습에서는 상기 분석된 제 1 신호 및 제 2 신호에 대한 상관성 모델이 적용되고(S10), 또한 논홀로노믹 제한 조건이 적용된다(S11). 여기서의 상관성 모델 및 논홀로노믹 제한 조건에 대해서는 도 1을 통해 상세하게 설명하였으므로, 이에 대한 설명을 생략한다. In performing the signal separation operation, the filter coefficient learning algorithm is applied in the filter update calculation unit 310. In filter coefficient learning, a correlation model for the analyzed first and second signals is applied (S10), and non-holographic constraints are applied (S11). Since the correlation model and the non-holographic constraints have been described in detail with reference to FIG. 1, description thereof will be omitted.

이렇게 필터의 계수가 결정되면, 이는 주파수별 에너지 정규화 작업에 이용되어, 신호 처리 속도를 보다 빠르게 할 수 있게 된다(S6 ~ S9). 신호 분리 작업이 완료되면, 제 1출력신호(타겟신호 및 잔존 노이즈 신호)와 제 2출력신호 (예를 들어 노이즈 신호)가 출력된다(S4). 상술한 구성을 가진 본 발명에 따르면, 보다 빠른 시간내에 적은 계산 부담을 가지고, 노이즈를 제거할 수 있게 된다.
When the coefficient of the filter is determined in this way, it is used for the energy normalization operation for each frequency, it is possible to speed up the signal processing (S6 ~ S9). When the signal separation operation is completed, the first output signal (target signal and residual noise signal) and the second output signal (for example, noise signal) are output (S4). According to the present invention having the above-described configuration, it is possible to remove noise with less computational burden in a faster time.

본 실시예에 따른 혼합된 신호 분리 방법을 살펴보면, 먼저 복수의 소스로부터 신호가 다수 혼합된 입력신호를 적어도 2개 수신하여 주파수 도메인으로 변경하고, 이어서, 상기 입력된 데이터를 예정된 계수를 가지는 필터에 통과시키고, 이어서, 상기 필터에 통과된 값에 대응하여 상기 필터의 계수를 조정한다. 이때 상기 필터의 계수를 조정하는 정도는 입력에 의해 정규화가 된다. 필터의 계수들은 시간이 지나면서 원본 신호를 분리해 내도록 학습이 되고, 상기 학습된 필터에 통과된 출력 신호는 타임 도메인으로 변경되어 최종으로 출력된다.Referring to the mixed signal separation method according to the present embodiment, first, at least two input signals in which a plurality of signals are mixed from a plurality of sources are received and changed into a frequency domain, and then the input data is transferred to a filter having a predetermined coefficient. Pass, and then adjust the coefficient of the filter corresponding to the value passed through the filter. At this time, the degree of adjusting the coefficient of the filter is normalized by the input. The coefficients of the filter are trained to separate the original signal over time, and the output signal passed through the learned filter is changed to the time domain and finally output.

또한, 본 실시예에 따른 혼합된 신호 분리 방법을 다른 측면에서 살펴보면, 제1 및 제2 소스로부터 신호가 혼합된 제1 및 제2 입력신호를 수신하여 주파수 도메인으로 변경하고, 상기 정규화된 제1 및 제2 입력데이터를 각각 N개의 계수를 가지는 제1 및 제2 필터에 각각 통과시키고, 상기 정규화된 제1 및 제2 입력데이터를 각각 N개의 계수를 가지는 제3 및 제4 필터에 각각 통과시키고, 상기 제1 및 제2 필터에 통과된 제1 출력값과 상기 제3 및 제4 필터에 통과된 제2 출력값에 대응하여 상기 제1 내지 제4 필터의 계수를 조정하고, 상기 계수 조정된 제1 및 제2 필터에 상기 제1 및 제2 입력데이터를 통과시킨 제1 출력 신호를 타임 도메인으로 변환하고, 상기 계수 조정된 제3 및 제4 필터에 상기 제1 및 제2 입력데이터를 통과시킨 제2 출력 신호를 타임 도메인으로 변환한다.In another aspect, the mixed signal separation method according to the present embodiment receives the first and second input signals in which the signals are mixed from the first and second sources, changes them into the frequency domain, and then normalizes the first and second input signals. And passing the second input data through the first and second filters having N coefficients, respectively, and passing the normalized first and second input data through the third and fourth filters having N coefficients, respectively. And adjust coefficients of the first to fourth filters corresponding to first output values passed through the first and second filters and second output values passed through the third and fourth filters, and adjust the coefficients of the first adjusted values. And converting the first output signal passing the first and second input data through a second filter into a time domain, and passing the first and second input data through the coefficient-adjusted third and fourth filters. 2 Output signals to the time domain To convert.

여기서, 상기 제1 내지 제4 필터의 계수를 조정하는 단계는 상기 제1 필터의 M번째 주파수 성분의 계수를 정할 때에 상기 제1 필터와 제2 필터에 의해 출력되는 제1 출력의 N번째 주파수 성분의 값중 M번째 값과 적어도 그 이외의 하나 이상의 값의 크기에 반비례하도록 조정되며, 상기 제1 출력의 M번째 주파수 성분과 상기 제3 필터와 제4 필터에 의해 출력되는 제2 출력의 M번째 주파수 성분과 상기 제3 필터의 M번째 주파수 성분값에 비례하여 조정되는 것을 특징으로 한다. 상기 제2 필터의 M번째 계수를 정할 때에 상기 제1 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 크기에 반비례하도록 조정되며, 상기 제1 출력의 M번째 주파수 성분과 상기 제2 출력의 M번째 주파수 성분 상기 제4 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 한다.The adjusting of the coefficients of the first to fourth filters may include adjusting the Nth frequency component of the first output output by the first filter and the second filter when determining the coefficients of the Mth frequency component of the first filter. Is adjusted to be inversely proportional to the magnitude of the Mth value and at least one or more other values, wherein the Mth frequency component of the first output and the Mth frequency of the second output output by the third and fourth filters. The component is adjusted in proportion to the M-th frequency component value of the third filter. In determining the M-th coefficient of the second filter, the second filter is adjusted to be inversely proportional to the magnitude of the at least one frequency component other than the M-th frequency component of the N frequency components of the first output, and the M-th of the first output. And a frequency component and an Mth frequency component of the second output in proportion to a coefficient of the Mth frequency of the fourth filter.

또한, 상기 제3 필터의 M번째 계수를 정할 때에 상기 제2 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 크기에 반비례하도록 조정되며, 상기 제2 출력의 M번째 주파수 성분과 상기 제1 출력의 M번째 주파수 성분 상기 제1 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며, 상기 제4 필터의 M번째 계수를 정할 때에 상기 제2 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 크기에 반비례하도록 조정되며, 상기 제2 출력의 M번째 주파수 성분과 상기 제1 출력의 M번째 주파수 성분 상기 제2 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 한다.Further, when determining the M-th coefficient of the third filter, the third filter is adjusted to be inversely proportional to the magnitude of the M-th frequency component and at least one or more other frequency components of the N frequency components of the second output. And an Mth frequency component and an Mth frequency component of the first output. The Mth frequency component is adjusted in proportion to a coefficient of the Mth frequency of the first filter. The second filter being inversely proportional to the magnitude of the Mth frequency component and at least one other frequency component of the value of the N component, wherein the Mth frequency component of the second output and the Mth frequency component of the first output are the second filter. It is characterized in that it is adjusted in proportion to the coefficient of the M-th frequency of.

상기와 같이 설명된 음향 처리 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
The above-described sound processing apparatus may not be limitedly applied to the configuration and method of the embodiments described above, but the embodiments may be configured by selectively combining all or some of the embodiments so that various modifications may be made. May be

Claims (4)

복수의 소스로부터 신호가 다수 혼합된 입력신호를 적어도 2개 수신하여 주파수 도메인으로 변경하는 단계;
상기 주파수 도메인으로 변경된 입력 데이터를 예정된 계수를 가지는 필터에 통과시키는 단계;
상기 필터에 통과된 값에 대응하여 상기 필터의 계수를 조정하는 단계;
상기 필터의 계수를 조정하는데 있어서 그 정도를 입력의 크기에 따라 정규화 하는 단계;
상기 계수 조정된 필터에 상기 입력 데이터를 통과시키는 단계; 및
상기 필터에 통과된 데이터를 타임 도메인으로 변경하는 단계
를 포함하는 혼합된 신호 분리방법.
Receiving at least two input signals mixed with a plurality of signals from a plurality of sources and converting the input signals into a frequency domain;
Passing the input data changed into the frequency domain through a filter having a predetermined coefficient;
Adjusting a coefficient of the filter in response to a value passed through the filter;
Normalizing the degree according to the magnitude of the input in adjusting the coefficient of the filter;
Passing the input data through the coefficient adjusted filter; And
Changing the data passed to the filter to the time domain
Mixed signal separation method comprising a.
제1 및 제2 소스로부터 신호가 혼합된 제1 및 제2 입력신호를 수신하여 주파수 도메인으로 변경하는 단계;
상기 제1 및 제2 입력데이터를 각각 N개의 주파수 성분 계수를 가지는 제1 및 제2 필터에 각각 통과시켜 제1 출력을 얻는 단계;
상기 제1 및 제2 입력데이터를 각각 N개의 주파수 성분 계수를 가지는 제3 및 제4 필터에 각각 통과시켜 제2 출력을 얻는 단계;
상기 제1 출력 값과 상기 제2 출력 값에 대응하여 상기 제1 내지 제4 필터의 계수를 조정하는 단계;
상기 필터의 계수를 조정하는데 있어서 그 정도를 입력의 크기에 따라 정규화 하는 단계;
상기 계수 조정된 제1 및 제2 필터에 상기 정규화된 제1 및 제2 입력데이터를 통과시킨 제 1출력을 타임 도메인으로 변환하는 단계; 및
상기 계수 조정된 제3 및 제4 필터에 상기 정규화된 제1 및 제2 입력데이터를 통과시킨 제 2출력을 타임 도메인으로 변환하는 단계
를 포함하는 혼합된 신호 분리방법.
Receiving the mixed first and second input signals from the first and second sources into the frequency domain;
Passing the first and second input data through first and second filters having N frequency component coefficients, respectively, to obtain a first output;
Passing the first and second input data through third and fourth filters having N frequency component coefficients, respectively, to obtain a second output;
Adjusting coefficients of the first to fourth filters in correspondence with the first output value and the second output value;
Normalizing the degree according to the magnitude of the input in adjusting the coefficient of the filter;
Converting a first output of the normalized first and second input data through the coefficient-adjusted first and second filters into a time domain; And
Converting a second output having passed the normalized first and second input data through the coefficient-adjusted third and fourth filters into a time domain
Mixed signal separation method comprising a.
제 2 항에 있어서,
상기 제1 내지 제4 필터의 계수를 조정하는 단계는
상기 제1 필터의 M번째 계수를 정할 때에 상기 제1 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기에 반비례하도록 조정되며, 상기 제1 출력의 M번째 주파수 성분과 상기 제2 출력의 M번째 주파수 성분 상기 제3 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며,
상기 제2 필터의 M번째 계수를 정할 때에 상기 제1 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기에 반비례하도록 조정되며, 상기 제1 출력의 M번째 주파수 성분과 상기 제2 출력의 M번째 주파수 성분 상기 제4 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며,
상기 제3 필터의 M번째 계수를 정할 때에 상기 제2 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기에 반비례하도록 조정되며, 상기 제2 출력의 M번째 주파수 성분과 상기 제1 출력의 M번째 주파수 성분 상기 제1 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하며,
상기 제4 필터의 M번째 계수를 정할 때에 상기 제2 출력의 주파수 성분 N개의 값 중 M번째 주파수 성분과 적어도 그 이외의 하나 이상의 주파수 성분의 전체 크기의 합에 반비례하도록 조정되며, 상기 제2 출력의 M번째 주파수 성분과 상기 제1 출력의 M번째 주파수 성분 상기 제2 필터의 M번째 주파수의 계수에 비례하여 조정되는 것을 특징으로 하는, 혼합된 신호 분리방법.
The method of claim 2,
Adjusting the coefficients of the first to fourth filters
When determining the M-th coefficient of the first filter, the first filter is adjusted to be inversely proportional to the total magnitude of the M-th frequency component and at least one or more other frequency components of the N frequency components of the first output. And the M frequency component of the second frequency component and the second output is proportional to the coefficient of the M frequency of the third filter.
In determining the M-th coefficient of the second filter, the second filter is adjusted to be inversely proportional to the total magnitude of the M-th frequency component and at least one or more other frequency components among the N values of the frequency components of the first output. And the M frequency component of the second frequency component and the second output is adjusted in proportion to the coefficient of the M frequency of the fourth filter.
When determining the M-th coefficient of the third filter, the second filter is adjusted to be inversely proportional to the total magnitude of the M-th frequency component and at least one or more other frequency components among the N frequency components of the second output. And adjust in proportion to a coefficient of an M th frequency component of the first filter and an M th frequency component of the first output,
When determining the Mth coefficient of the fourth filter, the second output is adjusted to be inversely proportional to the sum of an Mth frequency component among the values of N frequency components of the second output and at least one other frequency component, and the second output. And the Mth frequency component of the first output and the Mth frequency component of the first output are adjusted in proportion to the coefficients of the Mth frequency of the second filter.
제 2 항에 있어서,
상기 제1 및 제2 소스들은 통신 신호 소스, 음성 신호 소스, 생물학적인 신호, 메디컬 신호 소스, 생리학적인 신호 소스, 이미지 신호들 소스, 데이터 신호 소스, 또는 스펙트럼의 소스 중 하나인 것을 특징으로 하는 혼합된 신호 분리방법.
The method of claim 2,
Wherein said first and second sources are one of a communication signal source, a voice signal source, a biological signal, a medical signal source, a physiological signal source, an image signals source, a data signal source, or a source of a spectrum. Signal separation method.
KR1020100027880A 2009-12-04 2010-03-29 Methods for separating mixed sigals KR101650951B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090119922 2009-12-04
KR20090119922 2009-12-04

Publications (2)

Publication Number Publication Date
KR20110063250A true KR20110063250A (en) 2011-06-10
KR101650951B1 KR101650951B1 (en) 2016-08-25

Family

ID=44397264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100027880A KR101650951B1 (en) 2009-12-04 2010-03-29 Methods for separating mixed sigals

Country Status (1)

Country Link
KR (1) KR101650951B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130126318A (en) * 2012-05-11 2013-11-20 엘지전자 주식회사 Apparatus and method for removing noise
CN111970410A (en) * 2020-08-26 2020-11-20 展讯通信（上海）有限公司 Echo cancellation method and device, storage medium and terminal

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526511A (en) * 2004-02-26 2007-09-13 ヒョン ナム，スン Method and apparatus for blind separation of multipath multichannel mixed signals in the frequency domain

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526511A (en) * 2004-02-26 2007-09-13 ヒョン ナム，スン Method and apparatus for blind separation of multipath multichannel mixed signals in the frequency domain

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
손희근 외 2명, ‘혼합된 음성신호 분리를 위한 주파수 영역 독립 성분 분석’, 2004년 한국멀티미디어학회 추계학술발표대회논문집, pp.500~503, 2004.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130126318A (en) * 2012-05-11 2013-11-20 엘지전자 주식회사 Apparatus and method for removing noise
CN111970410A (en) * 2020-08-26 2020-11-20 展讯通信（上海）有限公司 Echo cancellation method and device, storage medium and terminal

Also Published As

Publication number Publication date
KR101650951B1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
US9668066B1 (en) Blind source separation systems
CN111133511B (en) sound source separation system
Wang et al. A deep neural network for time-domain signal reconstruction
US8867755B2 (en) Sound source separation apparatus and sound source separation method
KR101197407B1 (en) Apparatus and method for separating audio signals
JP4556875B2 (en) Audio signal separation apparatus and method
JP4675177B2 (en) Sound source separation device, sound source separation program, and sound source separation method
CN109427328B (en) Multichannel voice recognition method based on filter network acoustic model
CN110047478B (en) Multi-channel speech recognition acoustic modeling method and device based on spatial feature compensation
CN102576543A (en) Multi-input noise suppresion device, multi-input noise suppression method, program, and integrated circuit
JP6348427B2 (en) Noise removal apparatus and noise removal program
KR20220022286A (en) Method and apparatus for extracting reverberant environment embedding using dereverberation autoencoder
KR20110063250A (en) Methods for separating mixed sigals
JP2002518925A (en) Adaptive state-space signal separation, discrimination, recovery architectures and their application to use in dynamic environments
JP6448567B2 (en) Acoustic signal analyzing apparatus, acoustic signal analyzing method, and program
Mohammadiha et al. A new approach for speech enhancement based on a constrained nonnegative matrix factorization
KR101658001B1 (en) Online target-speech extraction method for robust automatic speech recognition
Di Persia et al. Using multiple frequency bins for stabilization of FD-ICA algorithms
Kalamani et al. Modified least mean square adaptive filter for speech enhancement
CN110060699A (en) A kind of single channel speech separating method based on the sparse expansion of depth
JP6644356B2 (en) Sound source separation system, method and program
KR101463955B1 (en) Blind source extraction method using direction of arrival information and de-mixing system therefor
KR20130125014A (en) Robust speech recognition method based on independent vector analysis using harmonic frequency dependency and system using the method
JP7024615B2 (en) Blind separation devices, learning devices, their methods, and programs
Gang et al. Towards automated single channel source separation using neural networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant