KR101557779B1 - Method and apparatus for noise reduction in a communication device having two microphones - Google Patents

Method and apparatus for noise reduction in a communication device having two microphones Download PDF

Info

Publication number
KR101557779B1
KR101557779B1 KR1020140017069A KR20140017069A KR101557779B1 KR 101557779 B1 KR101557779 B1 KR 101557779B1 KR 1020140017069 A KR1020140017069 A KR 1020140017069A KR 20140017069 A KR20140017069 A KR 20140017069A KR 101557779 B1 KR101557779 B1 KR 101557779B1
Authority
KR
South Korea
Prior art keywords
microphone
signal
noise
signal input
power
Prior art date
Application number
KR1020140017069A
Other languages
Korean (ko)
Other versions
KR20150096090A (en
Inventor
조정권
Original Assignee
주식회사 시그테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시그테크 filed Critical 주식회사 시그테크
Priority to KR1020140017069A priority Critical patent/KR101557779B1/en
Publication of KR20150096090A publication Critical patent/KR20150096090A/en
Application granted granted Critical
Publication of KR101557779B1 publication Critical patent/KR101557779B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/10—Means associated with receiver for limiting or suppressing noise or interference
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

두 개의 마이크로폰을 포함하는 통신장치에서 잡음과 목적음이 동시에 연속되는 경우에도 잡음을 추정할 수 있고 입에서 주 마이크로폰이 멀어져도 목적음의 손실을 최소화할 수 있는 잡음제거방법 및 장치가 제공된다. 본 발명에서는 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워의 정규화된 파워비와, 정규화된 파워비의 평균과, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분 파워의 변화량에 기초하여 계산되는 수렴변수를 사용하여 적응 필터의 계수 및 잔여잡음 제거부의 변수를 갱신한다.There is provided a noise cancellation method and apparatus capable of estimating noise even when a noise and a target sound are consecutively consecutive in a communication device including two microphones and minimizing a loss of a target sound even if the main microphone is moved away from the mouth. In the present invention, the power of each frequency component of the signal input to the first microphone, the normalized power ratio of the power of each frequency component of the signal input to the second microphone, the average of the normalized power ratio, The coefficients of the adaptive filter and the parameters of the residual noise canceling are updated using a convergence variable calculated based on the variation amount of each frequency component power of the signal.

Description

두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치 {Method and apparatus for noise reduction in a communication device having two microphones}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for noise reduction in a communication device including two microphones,

본 발명은 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치에 관한 것으로서, 더욱 상세하게는 두 개의 마이크로폰을 포함하는 통신장치에서 잡음과 목적음이 동시에 연속되는 경우에도 잡음을 추정할 수 있고 입에서 주 마이크로폰이 멀어져도 목적음의 손실을 최소화할 수 있는 잡음제거방법 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a noise canceling method and apparatus in a communication apparatus including two microphones, and more particularly, to a communication apparatus including two microphones in which noise can be estimated And a noise cancellation method and apparatus capable of minimizing loss of a target sound even when the main microphone is moved away from the mouth.

휴대폰 등의 통신장치에서 배경 잡음을 감소시키기 위하여, 두 개의 마이크로폰을 사용하여 잡음을 제거하는 방법들이 제안되고 있다. 예를 들면, 대한민국 특허공개 제10-2004-0101373호에서는 소정 거리만큼 이격된 한 개의 전방향 마이크로폰과 한 개의 일방향 마이크로폰, 그리고 사용자 피부와 접촉하는 한 개 이상의 피부 표면 마이크로폰 센서를 포함하는 통신장치에서 피부 표면 마이크로폰 센서 음성 활동 신호를 처리하여 제어 신호를 출력하는 음성활동감지기를 제안하고 있다. 그러나, 이러한 구성은 하드웨어의 구성이 복잡하고 알고리즘도 이러한 하드웨어 구성에 종속되어 있어서, 일반적으로 적용하기에는 어려움이 있다.In order to reduce the background noise in a communication device such as a mobile phone, methods of removing noise using two microphones have been proposed. For example, Korean Patent Publication No. 10-2004-0101373 discloses a communication device comprising one omni-directional microphone, a one-way microphone, and one or more skin surface microphone sensors in contact with the user's skin, And a voice activity sensor for outputting a control signal by processing a voice sensor activity signal of a skin surface microphone. However, such a configuration is difficult to apply generally because the hardware configuration is complicated and the algorithm is also dependent on such hardware configuration.

또한, 특허 제574666호에서는 음성을 입력받기 위한 음성입력부와 잡음을 입력받기 위한 잡음입력부를 구비하는 통신장치에서, 소음입력부로 들어온 신호를 음성입력부를 통해 들어온 잡음에 가까워지도록 처리한 다음에, 음성입력부로 들어온 신호에서 이 신호를 뺌으로써 음성입력부를 통해 들어온 잡음을 제거하는 구성이 개시되어 있다. 그러나, 이 특허에서는 구체적으로 어떠한 처리를 거치는가에 대해서는 개시되어 있지 않으며, 단순히 합성된 신호를 피드백 받아서 처리한다고 되어 있을 뿐이다. 또한, 음성입력부로 음성이 들어오고 있을 때와 들어오고 있지 않을 때에 동일한 잡음처리를 하고 있어서 효율적인 잡음저감을 기대하기 어렵다. In addition, Japanese Patent No. 574666 discloses a communication apparatus having a voice input unit for inputting voice and a noise input unit for inputting noise so that a signal input to the noise input unit is processed so as to approach the noise input through the voice input unit, And the noise introduced through the voice input unit is removed by subtracting the signal from the signal input to the input unit. However, this patent does not disclose specifically what process is to be performed, and merely means that the synthesized signal is processed by feedback. In addition, it is difficult to expect efficient noise reduction since the same noise processing is performed when a voice is input to the voice input unit and when no voice is input to the voice input unit.

또한, 특허 제1210313호에서는 일 프레임 동안에 제 1 음향 신호의 노이즈 추정치, 제 1 음향 신호의 에너지 추정치, 및 상기 제 1 및 제 2 음향 신호에 기초한 마이크로폰 사이의 레벨 차이에 기초한 필터 추정치를 판정하는 단계; 및 상기 필터 추정치를 음성 추정치를 산출하기 위해 제 1 음향 신호에 적용하는 단계를 구비하는 음성 향상 방법이 개시되어 있다. 이 특허에서는 노이즈 억제와 음성 향상을 위해 마이크로폰 간의 레벨차를 이용하고 있다.In addition, in patent No. 1210313, determining a filter estimate based on a noise estimate of a first acoustic signal, an energy estimate of a first acoustic signal, and a level difference between the microphones based on the first and second acoustic signals during one frame, ; And applying the filter estimate to a first acoustic signal to produce a speech estimate. This patent uses level differences between the microphones for noise suppression and voice enhancement.

그러나, 종래의 잡음제거방법들은 잡음만 존재하는 구간이 있으면 양호한 잡음제거효율을 기대할 수 있지만, 잡음이 섞여 있는 목적음이 연속되는 구간에서는 잡음이 잘 제거되지 않거나 제거 속도가 매우 느려지는 단점이 있다. 또한, 상대적으로 입에 더 가까이 있는 주 마이크로폰이 입에서 멀리 떨어지는 경우에는 목적음이 손상되거나 많은 왜곡이 발생된다. 또한, 음악과 같은 비정상성(non-stationary) 잡음은 잘 제거되지 않아 뮤지컬 잡음(musical noise)가 심하게 발생하거나 잔여 잡음을 들었을 때 원래의 음악이 무엇인지 인지하기 어려운 문제가 있다. 이 외에도 음성이 포함된 잡음은 잘 제거되지 않는 단점도 있다.However, the conventional noise cancellation methods can expect a good noise cancellation efficiency if there is a noise only section, but it is disadvantageous in that noise is not removed well or the removal speed is very slow in a section where a target sound is mixed with noise . Also, when the main microphone, which is relatively closer to the mouth, is far from the mouth, the target sound is damaged or many distortions occur. In addition, non-stationary noise such as music is not well removed, so there is a problem that it is difficult to recognize the original music when musical noise is severely generated or when residual noise is heard. In addition, there is a disadvantage that the noise including the voice is not removed well.

본 발명은 이러한 점을 감안하여 이루어진 것으로서, 두 개의 마이크로폰을 포함하는 통신장치에 일반적으로 적용될 수 있으면서도 효율 좋은 잡음제거방법 및 장치를 제공하는 것을 목적으로 한다. 본 발명은 또한 잡음이 섞여 있는 목적음이 연속되는 구간에서도 잡음이 잘 제거되고 제거 속도의 저하도 저감되는 잡음제거방법 및 장치를 제공하는 것을 목적으로 한다. 본 발명의 다른 목적은 주 마이크로폰이 입에서 멀리 떨어지는 경우에도 목적음 손상과 왜곡 발생이 적은 잡음제거방법 및 장치를 제공하는 것이다. 본 발명의 또 다른 목적은 음악과 같은 비정상성(non-stationary) 잡음 또는 음성이 포함된 잡음에 대한 제거 효율이 높은 잡음제거방법 및 장치를 제공하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a noise cancellation method and apparatus, which can be generally applied to a communication apparatus including two microphones, and which is efficient. It is another object of the present invention to provide a noise removing method and apparatus in which noises are well removed even in a section where a target sound mixed with noise is continuous, and a reduction in the removal speed is also reduced. It is another object of the present invention to provide a noise removing method and apparatus which are less subject sound damage and distortion even when the main microphone is far from the mouth. It is still another object of the present invention to provide a noise canceling method and apparatus with high removal efficiency for noise including non-stationary noise or voice such as music.

본 발명의 한가지 형태는, 제1 마이크로폰과, 상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰을 포함하는 통신장치에서의 잡음제거방법으로서, 상기 방법은 제1 마이크로폰으로 입력되는 신호와 제2 마이크로폰으로 입력되는 신호에 기초하여 수렴변수를 계산하는 수렴변수 계산단계와, 상기 수렴변수를 사용하여 디지털 필터의 계수를 갱신하는 필터계수 갱신단계와, 제2 마이크로폰으로 입력되는 신호에 상기 디지털 필터를 적용하여 필터링된 신호를 출력하는 적응필터링 단계와, 제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성단계와, 상기 수렴변수를 사용하여 계산한 이득신호를 상기 차감신호에 곱하는 잔여잡음 제거단계를 구비한다. One aspect of the invention is a noise reduction method in a communication device comprising a first microphone and a second microphone relatively far from the mouth of the speaker as compared to the first microphone, A convergence parameter calculation step of calculating a convergence parameter based on a signal input to the first microphone and a signal input to the second microphone, a filter coefficient updating step of updating the coefficient of the digital filter using the convergence variable, A difference signal generation step of outputting a difference signal obtained by subtracting the filtered signal from a signal input to the first microphone, and a difference signal generation step of calculating a difference signal by using the convergence variable, And a residual noise removing step of multiplying the difference signal by a gain signal.

본 발명의 다른 형태는 잡음제거장치로서, 제1 마이크로폰과, 상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰과, 제1 마이크로폰으로 입력되는 신호와 제2 마이크로폰으로 입력되는 신호에 기초하여 수렴변수를 계산하는 수렴변수 계산부와, 상기 수렴변수를 사용하여 계수가 갱신되며, 제2 마이크로폰으로 입력되는 신호를 적응 필터링하는 적응 필터와, 제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성부와, 상기 수렴변수를 사용하여 상기 차감신호에서 잔여잡음을 제거하는 잔여잡음 제거부를 구비한다. According to another aspect of the present invention, there is provided a noise removing apparatus comprising: a first microphone; a second microphone relatively far from the mouth of the speaker as compared with the first microphone; a signal input to the first microphone; An adaptive filter for adaptively filtering a signal input to the second microphone, the coefficient being updated using the convergence variable, and a second adaptive filter for adaptively filtering the signal input to the first microphone, A difference signal generator for outputting a difference signal obtained by subtracting the filtered signal from the filtered signal and a residual noise canceler for removing residual noise from the difference signal using the convergence variable.

일 실시예에서, 적응 필터는 분할블록 주파수 도메인 디지털 적응필터(Partitioned Block Frequency Domain Adaptive Digital Filter)이다. In one embodiment, the adaptive filter is a Partitioned Block Frequency Domain Adaptive Digital Filter.

본 발명에서는 수렴변수가 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워의 정규화된 파워비와, 상기 정규화된 파워비의 평균과, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분 파워의 변화량에 기초하여 계산될 수 있다. In the present invention, the convergence parameter is set such that the power of each frequency component of a signal input to the first microphone and the normalized power ratio of power of each frequency component of a signal input to the second microphone, the average of the normalized power ratio, 1 < / RTI > microphone.

제1 마이크로폰으로 입력되는 신호의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워를 각각 Pd(k), Px(k)라 하고 이 주파수 성분들의 파워비를 q(k)= Px(k)/Pd(k)라 하고, q(k),max를 q(k)의 최대값이라 할 때, The power of each frequency component of the signal input to the power and the second microphone signal input to the first microphone respectively, P d (k), P x (k) LA and a power ratio of a frequency component q (k) = d P x (k) / P d (k) and, q (k), to the max as the maximum value of q (k),

상기 정규화된 파워비 qn(k)는 The normalized power ratio q n (k)

Figure 112014014563569-pat00001
Figure 112014014563569-pat00001

에 의해 계산되며,Lt; / RTI >

정규화된 파워비의 평균 qn,sum은The average q n, sum of the normalized power ratios is

Figure 112014014563569-pat00002
Figure 112014014563569-pat00002

에 의해 계산된다. 여기에서 N은 한 프레임의 샘플수를 나타낸다.Lt; / RTI > Here, N represents the number of samples of one frame.

제1 마이크로폰으로 입력되는 신호의 주파수 성분 파워들의 평균을 E[Pd(k)]라 하고, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 Pd(k)의 변화량

Figure 112014014563569-pat00003
라 할 때, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 Pd(k)의 정규화된 변화량 Vn,d는The average value of the frequency component powers of the signals input to the first microphone is E [ Pd (k)], and the variation of the power P d (k) of the respective frequency components of the signal input to the first microphone
Figure 112014014563569-pat00003
, The normalized variation Vn, d of the power P d (k) of each frequency component of the signal input to the first microphone is

Figure 112014014563569-pat00004
Figure 112014014563569-pat00004

에 의해 계산될 수 있다. Lt; / RTI >

수렴변수 μ(k)는The convergence variable μ (k)

Figure 112014014563569-pat00005
Figure 112014014563569-pat00005

에 의해 계산될 수 있다. Lt; / RTI >

Xp(k)를 p개의 프레임에 대해서 x(n)에 대해서 FFT를 적용한 신호, E(k)를 제1 마이크로폰으로 입력되는 신호 d(n)에서 적응 필터의 출력

Figure 112014014563569-pat00006
을 차감한 차감신호 e(n)에 FFT를 적용한 주파수 도메인 신호라 할 때, 적응 필터의 계수 Wp(k)는A signal obtained by applying FFT to x (n) with respect to p frames of X p (k), and a signal d (n) input from the first microphone to E (k)
Figure 112014014563569-pat00006
(N) is a frequency domain signal obtained by applying FFT to a difference signal e (n) obtained by subtracting a coefficient Wp

Figure 112014014563569-pat00007
Figure 112014014563569-pat00007

에 의해 계산될 수 있다. Lt; / RTI >

Figure 112014014563569-pat00008
를 0에서 1 사이의 값을 갖는 스무딩 상수,
Figure 112014014563569-pat00008
A smoothing constant having a value between 0 and 1,

Figure 112014014563569-pat00009
,
Figure 112014014563569-pat00009
,

Figure 112014014563569-pat00010
,
Figure 112014014563569-pat00010
,

Figure 112014014563569-pat00011
Figure 112014014563569-pat00011

라 할 때When

이득신호 Gain(k)는The gain signal Gain (k)

Figure 112014014563569-pat00012
Figure 112014014563569-pat00012

에 의해 구할 수 있다. . ≪ / RTI >

본 발명에서는 적응 필터의 계수 및 이득계산기의 이득을 계산함에 있어서 세가지 성분으로 이루어진 수렴 변수를 도입하였다. 이와 같은 구성에 의해 본 발명에서는 잡음과 목적음이 동시에 연속되는 구간에서도 잡음을 추정하기 위한 수렴 시간이 매우 짧아서 거의 실시간으로 잡음을 제거할 수 있다. In the present invention, the convergence variable consisting of three components is introduced in calculating the coefficients of the adaptive filter and the gain of the gain calculator. According to the present invention, in the present invention, the convergence time for estimating the noise is very short even in a section where the noise and the target sound are consecutive, so that the noise can be removed almost in real time.

또한, 종래의 기술에서는 2 개의 마이크로폰 신호의 레벨차만을 이용하기 때문에 입이 제1 마이크로폰에서 멀어지면 두 마이크로폰 간의 레벨차가 거의 없어져 목적음을 잡음으로 오판하는 단점 때문에 목적음을 보존하기 어렵다. 본 발명에서는 제1 마이크로폰으로부터의 신호를 분석하여 음성 신호의 확률이 높으면, 이 프레임에서는 적응필터의 계수가 갱신되지 않도록 하여 현재 프레임의 스펙트럼이 사용되지 않게 되어 목적음을 보존할 수 있게 된다.In addition, in the prior art, only the level difference of the two microphone signals is used. Therefore, if the mouth moves away from the first microphone, the difference in level between the two microphones becomes almost non-existent. In the present invention, when the probability of a speech signal is high by analyzing a signal from the first microphone, the coefficient of the adaptive filter is not updated in this frame, and the spectrum of the current frame is not used, thereby preserving the target sound.

또한, 본 발명에서는 잡음의 스펙트럼 계산시 곱해지는 수렴 변수의 3가지 성분에 의해 어떤 종류의 잡음이 들어와도 이득 값의 변화량이 적어지게 된다. 따라서 이득이 곱해진 후에 잔여 잡음의 레벨이 일정하게 되어 뮤지컬 잡음이 완화되고, 음악과 같은 잡음인 경우 자연스러운 잔여 잡음을 들을 수 있다. 이와 같이 뮤지컬 잡음를 최소화하여 제거된 잡음이 매우 자연스럽게 들리기 때문에 잡음의 정보를 상대방에게 전달할 수 있으며, 제거된 잡음을 청취했을 때 원래 어떤 음악인지를 알 수 있다.Further, in the present invention, even if any kind of noise enters due to three components of the convergence variable multiplied in the noise spectrum calculation, the amount of change in the gain value becomes small. Therefore, after the gain is multiplied, the level of the residual noise becomes constant, so that the musical noise is relaxed, and when the noise is like music, the natural residual noise can be heard. In this way, since the musical noise is minimized and the removed noise sounds very natural, the noise information can be transmitted to the other party, and the original music can be known when the removed noise is heard.

또한, 본 발명에서는 잡음에 사람의 목소리가 포함되는 경우에도 두 마이크간 레벨 차가 작다면 수렴변수의 값이 커지게 되어 적응 필터의 계수를 빨리 갱신하게 되고, 잡음의 스펙트럼 계산시 현재 프레임의 잡음 성분에 큰 값이 곱해지기 때문에, 이 성분에 대한 이득 값이 작아지게 된다. 따라서, 음악과 같은 비정상성(non-stationary) 잡음은 물론 가수의 음성까지도 효과적으로 제거할 수 있다.Also, in the present invention, even when a human voice is included in a noise, the value of the convergence variable becomes large if the level difference between the two microphones is small, so that the coefficient of the adaptive filter is updated quickly. In calculating the noise spectrum, Is multiplied by a large value, the gain value for this component becomes small. Therefore, non-stationary noise such as music, as well as the voice of a singer can be effectively removed.

도 1은 본 발명의 음성활동감지방법이 적용되는 통신장치의 내부 구성을 보여주는 블록도이다.
도 2는 두 개의 마이크로폰을 갖는 통신장치에서 마이크로폰과 스피커의 배치예를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 잡음제거장치의 내부 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 잔여잡음제거부의 내부 구성을 보여주는 블록도이다.1 is a block diagram illustrating an internal configuration of a communication device to which the voice activity detection method of the present invention is applied.
2 is a view showing an example of arrangement of a microphone and a speaker in a communication device having two microphones.
3 is a block diagram illustrating an internal configuration of a noise canceling apparatus according to an embodiment of the present invention.
4 is a block diagram illustrating an internal structure of a residual noise removing unit according to an embodiment of the present invention.

이하, 도면을 참고하여 본 발명의 바람직한 실시예에 대해서 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1에 본 발명의 음성활동감지방법이 적용되는 통신장치의 내부 구성을 보여주는 블록도가 도시되어 있다.FIG. 1 is a block diagram illustrating an internal configuration of a communication device to which the voice activity detection method of the present invention is applied.

본 발명의 음성활동감지방법은 적어도 두 개의 마이크로폰(11, 12)이 구비되는 통신장치에 적용된다. 제1 마이크로폰(11)은 화자(話者)의 입 근처에 위치하고, 제2 마이크로폰(12)은 제1 마이크로폰(11)에 비해서 화자(話者)의 입으로부터 더 멀리 떨어져 있다. 바람직하게는, 제1 마이크로폰(11)은 통신장치의 하단에 위치하고 제2 마이크로폰(12)은 통신장치의 상단에 위치한다.The voice activity sensing method of the present invention is applied to a communication device having at least two microphones (11, 12). The first microphone 11 is located near the mouth of the speaker and the second microphone 12 is further away from the mouth of the speaker than the first microphone 11. Preferably, the first microphone 11 is located at the bottom of the communication device and the second microphone 12 is located at the top of the communication device.

각 마이크로폰(11,12)으로 입력되는 아날로그 신호는 적절한 크기로 증폭되어 아날로그-디지털 변환기(13, 14)에서 디지털 신호로 변환된 다음, 본 발명의 잡음제거방법을 채택한 잡음제거부(16)로 입력된다. The analog signal input to each of the microphones 11 and 12 is amplified to an appropriate size, converted into a digital signal by the analog-digital converters 13 and 14, and then converted into a digital signal by the noise eliminator 16 .

잡음제거부(16)는 각 마이크로폰(11,12)으로부터 입력되어 디지털로 변환된 신호를 이용하여 주변 잡음을 제거한 후에, 보코더(31)로 출력한다.The noise eliminator 16 removes the ambient noise from the microphones 11 and 12 using the digitally converted signal, and outputs the noise to the vocoder 31.

보코더(31)는 잡음제거부(16)에서 잡음이 제거된 신호를 인코딩하여 통신망 인터페이스(41)를 통해 통화상대방에게 전송하고, 통신망 인터페이스(41)를 통해 전송되어 오는 통화상대방의 음성을 디코딩한다. 디코딩된 음성신호는 디지털-아날로그 변환기(22)를 거쳐서 아날로그 신호로 변환된 다음에 적절한 레벨로 증폭되어 스피커(21)를 통해 출력된다.
The vocoder 31 encodes the noise canceled signal in the noise eliminator 16 and transmits the encoded signal to the calling party through the communication network interface 41 and decodes the voice of the calling party transmitted through the communication network interface 41 . The decoded speech signal is converted into an analog signal via the digital-to-analog converter 22 and then amplified to an appropriate level and output through the speaker 21. [

도 2는 두 개의 마이크로폰을 갖는 통신장치에서 마이크로폰과 스피커의 배치예를 보여주는 도면이다. 도 2에 도시된 것처럼, 제1 마이크로폰(11)은 화자의 입에 가까운 곳인 통신장치의 하단에 위치하고, 제2 마이크로폰(12)은 제1 마이크로폰(11)에 비해서는 화자의 입에서 먼 곳인 통신장치의 상단에 위치한다. 스피커(21)는 화자의 귀에 가까운 위치인 통신장치의 상부에 위치하고 있다.
2 is a view showing an example of arrangement of a microphone and a speaker in a communication device having two microphones. 2, the first microphone 11 is located at the lower end of the communication device near the mouth of the speaker, and the second microphone 12 is located at a position far from the mouth of the speaker, Located at the top of the device. The speaker 21 is located at the top of the communication device, which is a position close to the ear of the speaker.

다음으로 도 3을 참조하여, 본 발명의 일 실시예에 따른 잡음제거방법을 설명한다. Next, with reference to FIG. 3, a noise removal method according to an embodiment of the present invention will be described.

도 3은 본 발명의 일 실시예에 따른 잡음제거장치의 내부 구성을 보여주는 블록도이다.3 is a block diagram illustrating an internal configuration of a noise canceling apparatus according to an embodiment of the present invention.

본 발명에서는 필터 계수가 적응적으로 갱신되는 디지털 적응필터(Adaptive Digital Filter), 바람직하게는 PB-FDADF(Partition-Block Frequency Domain Adaptive Digital Filter)를 사용하여 잡음을 필터링한다. In the present invention, a noise is filtered using a digital adaptive filter (Adaptive Digital Filter), preferably a PB-FDADF (Partition-Block Frequency Domain Adaptive Digital Filter), in which a filter coefficient is adaptively updated.

즉, 수렴변수계산부(162)는 제1 마이크로폰(11)으로부터 들어온 신호 d(n), 제2 마이크로폰(12)으로부터 들어온 신호 x(n), 그리고 차감신호 e(n)을 이용하여 적응필터(163)의 계수 값을 적응적으로 갱신한다. 적응필터(163)는 갱신된 필터 계수를 사용하여 신호 x(n)을 필터링하고, 필터링된 신호

Figure 112014014563569-pat00013
을 출력한다.That is, the convergence parameter calculator 162 calculates the convergence parameter using the adaptive filter using the signal d (n) input from the first microphone 11, the signal x (n) input from the second microphone 12, and the difference signal e (163) is adaptively updated. The adaptive filter 163 filters the signal x (n) using the updated filter coefficients,
Figure 112014014563569-pat00013
.

이하에서는, 필터 계수를 갱신하는 방법에 대해서 설명한다.Hereinafter, a method for updating the filter coefficient will be described.

제1 마이크로폰(11)와 제2 마이크로폰(12)의 입력신호 d(n), x(n)을 각각 푸리에 변환(Fast Fourier Transform, 이하 'FFT'라 함)한 것을 D(k), X(k)라 하면 각 입력신호의 주파수 성분의 파워 Pd(k), Px(k)는 수학식 1과 같이 계산된다. D (k) and X (n) are obtained by performing Fourier transform (FFT) on the input signals d (n) and x (n) of the first microphone 11 and the second microphone 12, k), the powers P d (k) and P x (k) of the frequency components of the respective input signals are calculated as shown in Equation (1).

Figure 112014014563569-pat00014
Figure 112014014563569-pat00014

Figure 112014014563569-pat00015
Figure 112014014563569-pat00015

여기에서 k=1...N, 이고 N은 FFT가 적용되는 한 프레임의 샘플 개수이다.
Where k = 1 ... N, and N is the number of samples of a frame to which the FFT is applied.

제1 마이크로폰(11)와 제2 마이크로폰(12)의 각 입력신호의 각 주파수 성분의 파워비 q(k)는 수학식 2와 같이 정의된다The power ratio q (k) of each frequency component of each input signal of the first microphone 11 and the second microphone 12 is defined as Equation 2

Figure 112014014563569-pat00016
Figure 112014014563569-pat00016

수학식 3은 파워비 q(k)를 정규화(normalization)한 정규화된 파워비 qn(k)를 나타낸다.Equation (3) represents a normalized power ratio q n (k) obtained by normalizing the power ratio q (k).

Figure 112014014563569-pat00017
Figure 112014014563569-pat00017

여기에서, q(k),max는 q(k)의 최대값을 나타낸다.
Here, q (k), max denotes the maximum value of q (k).

정규화된 파워비의 평균 qn,sum은 수학식 4에 의해 구할 수 있다.The average q n, sum of the normalized power ratios can be found by the following equation (4).

Figure 112014014563569-pat00018
Figure 112014014563569-pat00018

제1 마이크로폰(11)으로 입력되는 신호 d(n)의 각 주파수 성분의 파워 Pd(k)의 변화량 Vd는 수학식 5와 같다.The variation Vd of the power P d (k) of each frequency component of the signal d (n) input to the first microphone 11 is expressed by Equation (5).

Figure 112014014563569-pat00019
Figure 112014014563569-pat00019

여기서 E[Pd(k)]는 제1 마이크로폰(11)으로 입력되는 신호의 각 주파수 성분 파워들의 평균을 의미한다.
Here, E [P d (k)] is an average of the power of each frequency component of the signal input to the first microphone 11.

수식 (5)의 변화량을 정규화한 Vn,d 는 수학식 6과 같이 표현할 수 있다.Vn, d obtained by normalizing the variation of the equation (5) can be expressed by the following equation (6).

Figure 112014014563569-pat00020
Figure 112014014563569-pat00020

본 발명에서는 적응 필터 계수의 갱신에 수렴 변수 μ(k)가 사용된다. 수렴 변수 μ(k)는 수학식 7과 같이 정의된다.In the present invention, the convergence variable mu (k) is used for updating the adaptive filter coefficient. The convergence variable μ (k) is defined by Equation (7).

Figure 112014014563569-pat00021
Figure 112014014563569-pat00021

즉, 본 발명의 일 실시예에서 수렴변수는 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워의 정규화된 파워비와, 정규화된 파워비의 평균과, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분 파워의 변화량에 기초하여 계산된다. 한편, 수렴변수의 계산에 사용되는 3개의 값은 일부 또는 전부는 수렴변수계산부에서 계산하여도 되고, 음성활동감지기 등의 다른 부분에서 이러한 값을 계산하는 경우에는 그 값을 가져다 사용해도 된다.
In other words, in one embodiment of the present invention, the convergence variable includes a power of each frequency component of a signal input to the first microphone and a normalized power ratio of power of each frequency component of a signal input to the second microphone, And a variation amount of each frequency component power of a signal input to the first microphone. On the other hand, some or all of the three values used in the calculation of the convergence variable may be calculated by the convergence variable calculation unit, or may be used when calculating these values in other parts such as the voice activity detector.

적응 필터(163)의 계수 Wp(k)는 수학식 8과 같이 수렴변수를 사용하여 갱신된다.The coefficient Wp (k) of the adaptive filter 163 is updated using the convergence variable as shown in equation (8).

Figure 112014014563569-pat00022
Figure 112014014563569-pat00022

수학식 8에서, 아래첨자 p는 PB-FDADF(Partition-Block Frequency Domain Adaptive Digital Filter)에서 사용되는 프레임의 갯수를 나타내며, 예를 들면 p=4는 현재 프레임의 샘플 128개와 이전 3개 프레임의 샘플 384개를 합한 총 512 개의 샘플, 즉 4 프레임의 신호에 대해서 FFT를 적용하였음을 나타낸다. 바람직하게 p는 4이다. E(k)는 e(n)에 FFT를 적용한 주파수 도메인 신호이다. e(n)은 제1 마이크로폰(11)으로 입력되는 신호 d(n)에서 적응 필터(163)의 출력

Figure 112014014563569-pat00023
을 차감한 차감신호이다.In Equation (8), the subscript p indicates the number of frames used in the Partition-Block Frequency Domain Adaptive Digital Filter (PB-FDADF). For example, p = 4 indicates samples of the current frame, And 384 samples, that is, a signal of 4 frames. Preferably p is 4. E (k) is a frequency domain signal to which FFT is applied to e (n). e (n) is the output of the adaptive filter 163 in the signal d (n) input to the first microphone 11
Figure 112014014563569-pat00023
Is a subtracted signal.

적응 필터(163)의 출력

Figure 112014014563569-pat00024
은 x(n)에 적응필터(163)를 적용한 신호이다. 즉,
Figure 112014014563569-pat00025
을 FFT한 신호를
Figure 112014014563569-pat00026
라고 하면,
Figure 112014014563569-pat00027
=X(k)Wp(k)와 같이 표현된다.
The output of the adaptive filter 163
Figure 112014014563569-pat00024
Is a signal to which the adaptive filter 163 is applied to x (n). In other words,
Figure 112014014563569-pat00025
The FFT signal
Figure 112014014563569-pat00026
In other words,
Figure 112014014563569-pat00027
= X (k) Wp (k).

수학식 7에서 확인할 수 있는 것처럼, 본 발명에서는 적응필터 계수와 잡음 추정의 수렴에 3가지 성분 qn,sum, (1-Vn,d), qn(k)이 참여하며, 이하의 설명에서는 이를 '트리콘'(Tricon = Tri + Convergence)이라 한다.As can be seen from Equation (7), in the present invention, the three components q n, sum , (1-V n , d) and q n (k) participate in the convergence of the adaptive filter coefficient and the noise estimation. This is called 'Tricon' (Tricon = Tri + Convergence).

이와 같이 세가지 성분을 사용함으로써, 본 발명에서는 i) 잡음 종류, 상태, 세기에 따라 수렴 속도와 잡음 제거 정도가 적응적으로 변화되고, ii) 잡음과 목적음이 동시에 연속되는 경우에도 잡음을 추정할 수 있으며, iii) 입에서 제1 마이크로폰(11)이 멀어져도 목적음의 손실을 최소화할 수 있다. 이러한 효과를 얻을 수 있는 이유에 대해서는 뒤에 상세히 설명한다.
By using the three components as described above, the present invention can adaptively change the convergence speed and the noise removal degree according to the type, state, and intensity of the noise, ii) estimate the noise even when the noise and the target sound are consecutive at the same time Iii) even if the first microphone 11 is moved away from the mouth, the loss of the target sound can be minimized. The reason why such an effect can be obtained will be described later in detail.

제1 마이크로폰(11)으로부터의 신호 d(n)에서 적응 필터(163)의 출력

Figure 112014014563569-pat00028
을 차감한 차감신호 e(n)는 잔여잡음제거부(165)를 거치면서 잔여잡음이 제거된다.The signal d (n) from the first microphone 11 is used as the output of the adaptive filter 163
Figure 112014014563569-pat00028
Is subtracted from the residual noise e (n), the residual noise is removed through the residual noise eliminator 165.

잔여잡음제거부(165)의 일 실시예가 도 4에 도시되어 있다. 도 4에서 볼 수 있는 것처럼, 곱셈기(42)에서 차감신호 E(k)의 각 주파수 성분에 이득기 Gain(z)(43)의 출력신호(이득신호 Gain(k)), 즉 각 주파수 성분에 해당하는 이득값이 곱해져서 잡음이 제거된 출력신호 Z(k)이 출력된다. Z(k)는 z(n)을 FFT한 주파수 도메인 신호이다.One embodiment of residual noise eliminator 165 is shown in FIG. As shown in FIG. 4, the multiplier 42 multiplies each frequency component of the difference signal E (k) by the output signal (gain signal Gain (k)) of the gain Gain (z) 43, And the noise-removed output signal Z (k) is output. Z (k) is a frequency domain signal obtained by FFTing z (n).

Gain(k)를 계산하는데에는 잡음의 스펙트럼이 사용된다. 이득을 계산하기 위해 잡음의 스펙트럼 Ns(k)를 추정할 때에도 수학식 7의 수렴변수가 사용되며, 이를 수학식 9에 나타내었다.The spectrum of noise is used to calculate Gain (k). Also when estimating the spectrum Ns (k) of the noise to calculate the gain, the convergence variable of Equation (7) is used, which is shown in Equation (9).

Figure 112014014563569-pat00029
Figure 112014014563569-pat00029

여기서

Figure 112014014563569-pat00030
는 이전 프레임들에서 추정된 잡음의 스펙트럼과의 스무딩(smoothing)을 위한 상수로서, 0에서 1 사이의 값을 가지며 1에 가까울 수록 스무딩이 많이 되고 0에 가까울수록 스무딩이 적게 된다. 또한, 스무딩이 많이 되면 변화량이 작아진다.
here
Figure 112014014563569-pat00030
Is a constant for smoothing with the spectrum of noise estimated in previous frames, and has a value between 0 and 1. Smoothing increases as the value is closer to 1, and smoothing as the value becomes closer to 0. Further, when the amount of smoothing is large, the amount of change is small.

수학식 9에서 잡음의 스펙트럼이 추정되면 잔여잡음제거부(165)에서 사용될 이득신호 Gain(k)을 계산한다. 이득신호는 일반적으로 위너필터 또는 이의 변형된 방법들(MMSE, MMSE-LSA등)을 사용하여 계산한다. 일예로서, 위너필터는 수학식 10과 같이 정의된다.If the spectrum of the noise is estimated in Equation (9), the gain signal Gain (k) to be used in the residual noise eliminator 165 is calculated. The gain signal is generally calculated using a Wiener filter or its modified methods (MMSE, MMSE-LSA, etc.). As an example, the Wiener filter is defined as Equation (10).

Figure 112014014563569-pat00031
Figure 112014014563569-pat00031

여기에서 SNR(k)는 수학식 11과 같이 정의된다.Here, SNR (k) is defined as Equation (11).

Figure 112014014563569-pat00032
Figure 112014014563569-pat00032

여기에서 Pd(k)는 제1 마이크로폰(11) 신호의 각 주파수 성분의 파워이고, Nd(k)는 추정된 잡음의 주파수 성분(수학식 9)의 파워이다(수학식 12 참조).Here, Pd (k) is the power of each frequency component of the first microphone 11 signal and Nd (k) is the power of the estimated noise frequency component (Equation 9) (see Equation 12).

Figure 112014014563569-pat00033
Figure 112014014563569-pat00033

이와 같이 수학식 10에 의해 계산된 이득은 E(k)에 곱해져서 잔여잡음제거부(165)에서 출력된다. 즉, 잔여잡음제거부(165)의 출력은 Z(k)=Gain(k)E(k)와 같이 나타낼 수 있다. Z(k)는 z(n)를 FFT한 신호이다. 한편, Gain(k)를 계산하는데 필요한 Pd(k), Px(k) 등의 값은 수렴변수계산부(162)에서 계산된 값을 사용할 수도 있다.
The gain calculated by Equation (10) is multiplied by E (k) and output to the residual noise eliminator (165). That is, the output of the residual noise removing unit 165 may be represented as Z (k) = Gain (k) E (k). Z (k) is a signal obtained by FFTing z (n). The values P d (k) and P x (k) required for calculating Gain (k) may be values calculated by the convergence variable calculator 162.

이상 설명한 바와 같이 본 발명에서는 적응 필터의 계수 및 이득계산기의 이득을 계산함에 있어서 트리콘 수렴 변수를 도입하였다. As described above, in the present invention, a trichinistic convergence parameter is introduced in calculating the coefficients of the adaptive filter and the gain of the gain calculator.

이와 같은 구성에 의해 본 발명에서는 잡음과 목적음이 동시에 연속되는 구간에서도 잡음을 추정하기 위한 수렴 시간이 매우 짧아서 거의 실시간으로 잡음을 제거할 수 있다. 즉, 종래의 기술에서는 적응필터의 수렴 상수가 일정하기 때문에 최적 수준까지 수렴하기 위해서는 일정 시간이 필요하였다. 이를 개선하기 위해 수렴 변수 μ(k)가 적응 필터의 계수와 이득을 구할 때 잡음의 스펙트럼에 곱해지기 때문에 잡음의 확률이 높아질수록 수렴 속도가 빨라질뿐만 아니라, 목적음 구간이라 하더라도 잡음이 섞여 있으면 잡음 성분에 대한 수렴 시간이 매우 짧아지게 된다.According to the present invention, in the present invention, the convergence time for estimating the noise is very short even in a section where the noise and the target sound are consecutive, so that the noise can be removed almost in real time. That is, since the convergence constant of the adaptive filter is constant in the prior art, it takes a certain time to converge to the optimum level. In order to improve this, the convergence variable μ (k) is multiplied by the spectrum of noise when the coefficients and gains of the adaptive filter are multiplied. Therefore, as the probability of noise increases, the convergence speed becomes faster. In addition, The convergence time for the component becomes very short.

또한, 종래의 기술에서는 2 개의 마이크로폰 신호의 레벨차만을 이용하기 때문에 입이 제1 마이크로폰(11)에서 멀어지면 두 마이크로폰 간의 레벨차가 거의 없어져 목적음을 잡음으로 오판하는 단점 때문에 목적음을 보존하기 어렵다. 이를 개선하기 위해 본 발명에서는 제1 마이크로폰(11)으로부터의 신호를 분석하여 음성 신호의 확률이 높으면, 즉 Vn,d=1 이 되면 μ(k)=0 이 되므로 이 프레임에서는 적응필터의 계수가 갱신되지 않게 되고, 현재 프레임의 스펙트럼이 수학식 9의 잡음 스펙트럼 계산시에 사용되지 않게 되어 목적음을 보존할 수 있게 된다.In addition, in the prior art, since only the level difference of the two microphone signals is used, when the mouth moves away from the first microphone 11, the difference in level between the two microphones becomes almost unavailable, . In order to improve this, according to the present invention, if the signal from the first microphone 11 is analyzed and μ (k) = 0 when the probability of the speech signal is high, that is, Vn, d = 1, the coefficient of the adaptive filter is The spectrum of the current frame is not used in the calculation of the noise spectrum of Equation (9), and the target sound can be preserved.

또한, 종래에는 이득 값이 급격하게 변화하거나 잔여 잡음의 레벨이 일정하지 않은 경우에는, 뮤지컬 잡음(musical noise)이 들릴 뿐만 아니라 잔여 잡음이 무엇이었는지 알수 없게 된다. 본 발명에서는 잡음의 스펙트럼 계산시 곱해지는 수렴 변수 μ(k)의 3가지 성분(qn,sum, Vn,d, qn(k))에 의해 어떤 종류의 잡음이 들어와도 이득 값의 변화량이 적어지게 된다. 따라서 이득이 곱해진 후에 잔여 잡음의 레벨이 일정하게 되어 뮤지컬 잡음이 완화되고, 음악과 같은 잡음인 경우 자연스러운 잔여 잡음을 들을 수 있다. 이와 같이 뮤지컬 잡음를 최소화하여 제거된 잡음이 매우 자연스럽게 들리기 때문에 잡음의 정보를 상대방에게 전달할 수 있으며, 제거된 잡음을 청취했을 때 원래 어떤 음악인지를 알 수 있다.Also, conventionally, when the gain value changes abruptly or the level of the residual noise is not constant, not only the musical noise is heard but also the residual noise is unknown. In the present invention, a note of the three components change amount of the gain value is any kind of noise can come by (q n, sum, Vn, d, q n (k)) of convergence which is multiplied when the spectrum computation of the noise variables μ (k) . Therefore, after the gain is multiplied, the level of the residual noise becomes constant, so that the musical noise is relaxed, and when the noise is like music, the natural residual noise can be heard. In this way, since the musical noise is minimized and the removed noise sounds very natural, the noise information can be transmitted to the other party, and the original music can be known when the removed noise is heard.

또한, 본 발명에서는 잡음에 사람의 목소리가 포함되는 경우에도 두 마이크간 레벨 차가 작다면 수렴변수의 qn,sum, qn(k)의 값이 커지게 되고, 수렴 변수 μ(k) 값도 함께 커지기 때문에 적응 필터의 계수를 빨리 갱신하게 되고, 잡음의 스펙트럼 계산시 현재 프레임의 잡음 성분에 큰 값이 곱해지기 때문에 이 성분에 대한 이득 값이 작아지게 된다. 따라서, 음악과 같은 비정상성(non-stationary) 잡음은 물론 가수의 음성까지도 효과적으로 제거할 수 있다.
In the present invention, even when a human voice is included in the noise, the values of q n, sum and q n (k) of convergence variables become large, and the convergence variable μ (k) The coefficient of the adaptive filter is quickly updated, and since the noise component of the current frame is multiplied by a large value in the noise spectrum calculation, the gain value for this component becomes small. Therefore, non-stationary noise such as music, as well as the voice of a singer can be effectively removed.

이상, 본 발명을 몇가지 예를 들어 설명하였으나, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 또한, 주파수 도메인에서 수행되는 것으로 설명된 동작을 시간 도메인에서 수행되도록 수정하거나, 시간 도메인에서 수행되는 것으로 설명된 동작을 주파수 도메인에서 수행되도록 수정하여 구현하는 것도 가능하다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. It is also possible to modify the operation described as being performed in the frequency domain to be performed in the time domain or to modify the operation described as being performed in the time domain to be performed in the frequency domain.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that a component can be implanted unless specifically stated to the contrary, But should be construed as further including other elements.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

11 제1 마이크로폰,
12 제2 마이크로폰,
16 잡음제거부,
162 수렴변수계산부,
163 적응필터,
165 잔여잡음제거부.11 first microphone,
12 second microphone,
16 Noise canceling,
162 Convergence variable calculation unit,
163 adaptive filter,
165 Residual noise rejection.

Claims (16)

제1 마이크로폰과, 상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰을 포함하는 통신장치에서의 잡음제거방법으로서, 상기 방법은
제1 마이크로폰으로 입력되는 신호와 제2 마이크로폰으로 입력되는 신호에 기초하여 수렴변수를 계산하는 수렴변수 계산단계와,
상기 수렴변수를 사용하여 적응 필터의 계수를 갱신하는 필터계수 갱신단계와,
제2 마이크로폰으로 입력되는 신호에 상기 적응 필터를 적용하여 필터링된 신호를 출력하는 적응필터링 단계와,
제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성단계와,
상기 수렴변수를 사용하여 계산한 이득신호를 상기 차감신호에 곱하는 잔여잡음 제거단계
를 구비하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.A method for noise reduction in a communication device comprising a first microphone and a second microphone relatively far from the mouth of the speaker as compared to the first microphone,
A convergence parameter calculation step of calculating a convergence variable based on a signal input to the first microphone and a signal input to the second microphone;
A filter coefficient updating step of updating a coefficient of the adaptive filter using the convergence variable;
An adaptive filtering step of applying the adaptive filter to a signal input to the second microphone and outputting a filtered signal,
A difference signal generation step of outputting a difference signal obtained by subtracting the filtered signal from a signal input to the first microphone;
A residual noise removing step of multiplying the difference signal by the gain signal calculated using the convergence variable;
And a plurality of microphones having a plurality of microphones. 제1항에 있어서, 상기 적응 필터는 분할블록 주파수 도메인 디지털 적응필터(Partitioned Block Frequency Domain Adaptive Digital Filter)인 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.2. The method of claim 1, wherein the adaptive filter is a Partitioned Block Frequency Domain Adaptive Digital Filter. 제2항에 있어서, 상기 잔여잡음 제거단계에서는 위너필터가 사용되는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.3. The method of claim 2, wherein a Wiener filter is used in the residual noise removal step. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 수렴변수는
제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워의 정규화된 파워비와,
상기 정규화된 파워비의 평균과,
제1 마이크로폰으로 입력되는 신호의 각 주파수 성분 파워의 변화량
에 기초하여 계산되는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.4. The method according to any one of claims 1 to 3,
The power of each frequency component of the signal input to the first microphone and the normalized power ratio of the power of each frequency component of the signal input to the second microphone,
An average of the normalized power ratio,
The change amount of each frequency component power of the signal input to the first microphone
The method of claim 1, wherein the noise is calculated based on at least one of the first microphone and the second microphone. 제4항에 있어서,
제1 마이크로폰으로 입력되는 신호의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워를 각각 Pd(k), Px(k)라 하고 q(k)= Px(k)/Pd(k), q(k),max를 q(k)의 최대값이라 할 때,
상기 정규화된 파워비 qn(k)는
Figure 112014014563569-pat00034

에 의해 계산되며,
정규화된 파워비의 평균 qn,sum은
Figure 112014014563569-pat00035

에 의해 계산되며,
제1 마이크로폰으로 입력되는 신호의 주파수 성분 파워들의 평균을 E[Pd(k)]라 하고, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 Pd(k)의 변화량
Figure 112014014563569-pat00036
라 할 때, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 Pd(k)의 정규화된 변화량 Vn,d는
Figure 112014014563569-pat00037

에 의해 계산되는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.5. The method of claim 4,
La the power of each frequency component of the signal input to the power and the second microphone signal input to the first microphone respectively, P d (k), P x (k) and q (k) = P x ( k) / P Let d (k), q (k), max be the maximum value of q (k)
The normalized power ratio q n (k)
Figure 112014014563569-pat00034

Lt; / RTI >
The average q n, sum of the normalized power ratios is
Figure 112014014563569-pat00035

Lt; / RTI >
The average value of the frequency component powers of the signals input to the first microphone is E [ Pd (k)], and the variation of the power P d (k) of the respective frequency components of the signal input to the first microphone
Figure 112014014563569-pat00036
, The normalized variation Vn, d of the power P d (k) of each frequency component of the signal input to the first microphone is
Figure 112014014563569-pat00037

Wherein the noise is calculated by: < EMI ID = 17.0 > 제5항에 있어서,
상기 수렴변수 μ(k)는
Figure 112014014563569-pat00038

에 의해 계산되는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.6. The method of claim 5,
The convergence variable mu (k)
Figure 112014014563569-pat00038

Wherein the noise is calculated by: < EMI ID = 17.0 > 제6항에 있어서,
Xp(k)를 p개의 프레임에 대해서 x(n)에 대해서 FFT를 적용한 신호, E(k)를 제1 마이크로폰으로 입력되는 신호 d(n)에서 적응 필터의 출력
Figure 112014014563569-pat00039
을 차감한 차감신호 e(n)에 FFT를 적용한 주파수 도메인 신호라 할 때,
상기 적응 필터의 계수 Wp(k)는
Figure 112014014563569-pat00040

에 의해 계산되는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.The method according to claim 6,
A signal obtained by applying FFT to x (n) with respect to p frames of X p (k), and a signal d (n) input from the first microphone to E (k)
Figure 112014014563569-pat00039
Is a frequency domain signal obtained by applying an FFT to a difference signal e (n)
The coefficient Wp (k) of the adaptive filter is
Figure 112014014563569-pat00040

Wherein the noise is calculated by: < EMI ID = 17.0 > 제7항에 있어서,
Figure 112014014563569-pat00041
를 0에서 1 사이의 값을 갖는 스무딩 상수,
Figure 112014014563569-pat00042
,
Figure 112014014563569-pat00043
,
Figure 112014014563569-pat00044

라 할 때
상기 이득신호 Gain(k)는
Figure 112014014563569-pat00045

에 의해 구하는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.8. The method of claim 7,
Figure 112014014563569-pat00041
A smoothing constant having a value between 0 and 1,
Figure 112014014563569-pat00042
,
Figure 112014014563569-pat00043
,
Figure 112014014563569-pat00044

When
The gain signal Gain (k)
Figure 112014014563569-pat00045

Wherein the noise is obtained by the following equation: < EMI ID = 2.0 > 제1 마이크로폰과,
상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰과,
제1 마이크로폰으로 입력되는 신호와 제2 마이크로폰으로 입력되는 신호에 기초하여 수렴변수를 계산하는 수렴변수 계산부와,
상기 수렴변수를 사용하여 계수가 갱신되며, 제2 마이크로폰으로 입력되는 신호를 적응 필터링하는 적응 필터와,
제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감신호 생성부와,
상기 수렴변수를 사용하여 상기 차감신호에서 잔여잡음을 제거하는 잔여잡음 제거부
를 구비하는 잡음제거장치.A first microphone,
A second microphone relatively far from the mouth of the speaker as compared to the first microphone,
A convergence variable calculation unit for calculating a convergence variable based on a signal input to the first microphone and a signal input to the second microphone;
An adaptive filter for adaptively filtering a signal input to the second microphone, the coefficient being updated using the convergence variable;
A difference signal generator for outputting a difference signal obtained by subtracting the filtered signal from a signal input to the first microphone,
And a residual noise removing unit for removing residual noise from the difference signal using the convergence variable.
And a noise canceling unit. 제9항에 있어서,
상기 적응 필터는 분할블록 주파수 도메인 디지털 적응필터(Partitioned Block Frequency Domain Adaptive Digital Filter)인 것을 특징으로 하는 잡음제거장치.10. The method of claim 9,
Wherein the adaptive filter is a partitioned block frequency domain digital adaptive filter. 제10항에 있어서, 상기 잔여잡음 제거부는 위너필터를 사용하여 잔여잡음을 제거하는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거장치.11. The apparatus of claim 10, wherein the residual noise canceller removes residual noise using a Wiener filter. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 수렴변수는
제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워의 정규화된 파워비와,
상기 정규화된 파워비의 평균과,
제1 마이크로폰으로 입력되는 신호의 각 주파수 성분 파워의 변화량
에 기초하여 계산되는 것을 특징으로 하는 잡음제거장치.12. The method according to any one of claims 9 to 11,
The power of each frequency component of the signal input to the first microphone and the normalized power ratio of the power of each frequency component of the signal input to the second microphone,
An average of the normalized power ratio,
The change amount of each frequency component power of the signal input to the first microphone
Is calculated on the basis of the noise suppression value. 제12항에 있어서,
제1 마이크로폰으로 입력되는 신호의 파워 및 제2 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워를 각각 Pd(k), Px(k)라 하고 q(k)= Px(k)/Pd(k), q(k),max를 q(k)의 최대값이라 할 때,
상기 정규화된 파워비 qn(k)는
Figure 112014014563569-pat00046

에 의해 계산되며,
정규화된 파워비의 평균 qn,sum은
Figure 112014014563569-pat00047

에 의해 계산되며,
제1 마이크로폰으로 입력되는 신호의 주파수 성분 파워들의 평균을 E[Pd(k)]라 하고, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 Pd(k)의 변화량
Figure 112014014563569-pat00048
라 할 때, 제1 마이크로폰으로 입력되는 신호의 각 주파수 성분의 파워 Pd(k)의 정규화된 변화량 Vn,d는
Figure 112014014563569-pat00049

에 의해 계산되는 것을 특징으로 하는 잡음제거장치.13. The method of claim 12,
La the power of each frequency component of the signal input to the power and the second microphone signal input to the first microphone respectively, P d (k), P x (k) and q (k) = P x ( k) / P Let d (k), q (k), max be the maximum value of q (k)
The normalized power ratio q n (k)
Figure 112014014563569-pat00046

Lt; / RTI >
The average q n, sum of the normalized power ratios is
Figure 112014014563569-pat00047

Lt; / RTI >
The average value of the frequency component powers of the signals input to the first microphone is E [ Pd (k)], and the variation of the power P d (k) of the respective frequency components of the signal input to the first microphone
Figure 112014014563569-pat00048
, The normalized variation Vn, d of the power P d (k) of each frequency component of the signal input to the first microphone is
Figure 112014014563569-pat00049

Is calculated by: < EMI ID = 1.0 > 제13항에 있어서,
상기 수렴변수 μ(k)는
Figure 112014014563569-pat00050

에 의해 계산되는 것을 특징으로 하는 잡음제거장치.14. The method of claim 13,
The convergence variable mu (k)
Figure 112014014563569-pat00050

Is calculated by: < EMI ID = 1.0 > 제14항에 있어서,
Xp(k)를 p개의 프레임에 대해서 x(n)에 대해서 FFT를 적용한 신호, E(k)를 제1 마이크로폰으로 입력되는 신호 d(n)에서 적응 필터의 출력
Figure 112014014563569-pat00051
을 차감한 차감신호 e(n)에 FFT를 적용한 주파수 도메인 신호라 할 때,
상기 적응 필터의 계수 Wp(k)는
Figure 112014014563569-pat00052

에 의해 계산되는 것을 특징으로 하는 잡음제거장치.15. The method of claim 14,
A signal obtained by applying FFT to x (n) with respect to p frames of X p (k), and a signal d (n) input from the first microphone to E (k)
Figure 112014014563569-pat00051
Is a frequency domain signal obtained by applying an FFT to a difference signal e (n)
The coefficient Wp (k) of the adaptive filter is
Figure 112014014563569-pat00052

Is calculated by: < EMI ID = 1.0 > 제15항에 있어서, 상기 잔여잡음 제거부는
Figure 112014014563569-pat00053
를 0에서 1 사이의 값을 갖는 스무딩 상수,
Figure 112014014563569-pat00054
,
Figure 112014014563569-pat00055
,
Figure 112014014563569-pat00056

라 할 때
Figure 112014014563569-pat00057

에 의해 구해지는 이득신호 Gain(k)를 상기 차감신호에 곱함으로써 잔여잡음을 제거하는 것을 특징으로 하는 잡음제거장치.
The apparatus as claimed in claim 15, wherein the residual noise removing unit
Figure 112014014563569-pat00053
A smoothing constant having a value between 0 and 1,
Figure 112014014563569-pat00054
,
Figure 112014014563569-pat00055
,
Figure 112014014563569-pat00056

When
Figure 112014014563569-pat00057

And the residual signal is multiplied by the gain signal Gain (k), which is obtained by the subtracting unit, to remove the residual noise.
KR1020140017069A 2014-02-14 2014-02-14 Method and apparatus for noise reduction in a communication device having two microphones KR101557779B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140017069A KR101557779B1 (en) 2014-02-14 2014-02-14 Method and apparatus for noise reduction in a communication device having two microphones

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140017069A KR101557779B1 (en) 2014-02-14 2014-02-14 Method and apparatus for noise reduction in a communication device having two microphones

Publications (2)

Publication Number Publication Date
KR20150096090A KR20150096090A (en) 2015-08-24
KR101557779B1 true KR101557779B1 (en) 2015-10-06

Family

ID=54058670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140017069A KR101557779B1 (en) 2014-02-14 2014-02-14 Method and apparatus for noise reduction in a communication device having two microphones

Country Status (1)

Country Link
KR (1) KR101557779B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102040986B1 (en) * 2018-08-09 2019-11-06 주식회사 위스타 Method and apparatus for noise reduction in a portable terminal having two microphones
KR102218151B1 (en) 2019-05-30 2021-02-23 주식회사 위스타 Target voice signal output apparatus for improving voice recognition and method thereof
KR20220154906A (en) 2021-05-14 2022-11-22 주식회사 위스타 Voice signal processing apparatus and method using microphones installed in an enclosed space
KR102473050B1 (en) * 2021-05-14 2022-12-01 주식회사 위스타 Apparatus for removing environmental noise using directional microphones

Also Published As

Publication number Publication date
KR20150096090A (en) 2015-08-24

Similar Documents

Publication Publication Date Title
JP5293817B2 (en) Audio signal processing apparatus and audio signal processing method
JP5762956B2 (en) System and method for providing noise suppression utilizing nulling denoising
JP5038143B2 (en) Echo cancellation
KR101120970B1 (en) Automatic volume and dynamic range adjustment for mobile audio devices
KR102040986B1 (en) Method and apparatus for noise reduction in a portable terminal having two microphones
JP2003534570A (en) How to suppress noise in adaptive beamformers
US20060206320A1 (en) Apparatus and method for noise reduction and speech enhancement with microphones and loudspeakers
EP3282678B1 (en) Signal processor with side-tone noise reduction for a headset
US8462962B2 (en) Sound processor, sound processing method and recording medium storing sound processing program
WO2016056167A1 (en) Echo cancellation device, echo cancellation program, and echo cancellation method
US9343073B1 (en) Robust noise suppression system in adverse echo conditions
JP4689269B2 (en) Static spectral power dependent sound enhancement system
KR20130108063A (en) Multi-microphone robust noise suppression
WO2012142270A1 (en) Systems, methods, apparatus, and computer readable media for equalization
CN106068535A (en) Noise suppressed
KR20100003530A (en) Apparatus and mehtod for noise cancelling of audio signal in electronic device
KR101557779B1 (en) Method and apparatus for noise reduction in a communication device having two microphones
KR101396873B1 (en) Method and apparatus for noise reduction in a communication device having two microphones
TWI465121B (en) System and method for utilizing omni-directional microphones for speech enhancement
JP2021193807A (en) Signal processing device, teleconferencing device, and signal processing method
JP2022536938A (en) System and method for removing traffic noise in microphone signals
Vashkevich et al. Low-delay hearing aid based on cochlear model with nonuniform subband acoustic feedback cancellation
JP2013042334A (en) Information processing device, information processing method and program
KR101394504B1 (en) Apparatus and method for adaptive noise processing
KR102473050B1 (en) Apparatus for removing environmental noise using directional microphones

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 4