KR101396873B1 - Method and apparatus for noise reduction in a communication device having two microphones - Google Patents
Method and apparatus for noise reduction in a communication device having two microphones Download PDFInfo
- Publication number
- KR101396873B1 KR101396873B1 KR1020130036153A KR20130036153A KR101396873B1 KR 101396873 B1 KR101396873 B1 KR 101396873B1 KR 1020130036153 A KR1020130036153 A KR 1020130036153A KR 20130036153 A KR20130036153 A KR 20130036153A KR 101396873 B1 KR101396873 B1 KR 101396873B1
- Authority
- KR
- South Korea
- Prior art keywords
- microphone
- signal
- voice activity
- input
- noise
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 title claims abstract description 32
- 230000009467 reduction Effects 0.000 title claims description 6
- 230000000694 effects Effects 0.000 claims abstract description 61
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 230000008030 elimination Effects 0.000 claims abstract description 3
- 238000003379 elimination reaction Methods 0.000 claims abstract description 3
- 230000008859 change Effects 0.000 claims description 47
- 238000009499 grossing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 9
- 206010002953 Aphonia Diseases 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 101150059859 VAD1 gene Proteins 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명은 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법 및 장치에 관한 것으로서, 더욱 상세하게는 두 개의 마이크로폰을 포함하는 통신장치에서 PBFDAF(Partitioned Block Frequency Domain Adaptive Filter)를 사용하여 잡음을 제거하는 방법 및 장치에 관한 것이다.BACKGROUND OF THE
휴대폰 등의 통신장치에서 배경 잡음을 감소시키기 위하여, 두 개의 마이크로폰을 사용하여 잡음을 제거하는 방법들이 제안되고 있다. 예를 들면, 대한민국 특허공개 제10-2004-0101373호에서는 소정 거리만큼 이격된 한 개의 전방향 마이크로폰과 한 개의 일방향 마이크로폰, 그리고 사용자 피부와 접촉하는 한 개 이상의 피부 표면 마이크로폰 센서를 포함하는 통신장치에서 피부 표면 마이크로폰 센서 음성 활동 신호를 처리하여 제어 신호를 출력하는 음성활동감지기를 제안하고 있다. 그러나, 이러한 구성은 하드웨어의 구성이 복잡하고 알고리즘도 이러한 하드웨어 구성에 종속되어 있어서, 일반적으로 적용하기에는 어려움이 있다.In order to reduce the background noise in a communication device such as a mobile phone, methods of removing noise using two microphones have been proposed. For example, Korean Patent Publication No. 10-2004-0101373 discloses a communication device comprising one omni-directional microphone, a one-way microphone, and one or more skin surface microphone sensors in contact with the user's skin, And a voice activity sensor for outputting a control signal by processing a voice sensor activity signal of a skin surface microphone. However, such a configuration is difficult to apply generally because the hardware configuration is complicated and the algorithm is also dependent on such hardware configuration.
또한, 특허 제574666호에서는 음성을 입력받기 위한 음성입력부와 잡음을 입력받기 위한 잡음입력부를 구비하는 통신장치에서, 소음입력부로 들어온 신호를 음성입력부를 통해 들어온 잡음에 가까워지도록 처리한 다음에, 음성입력부로 들어온 신호에서 이 신호를 뺌으로써 음성입력부를 통해 들어온 잡음을 제거하는 구성이 개시되어 있다. 그러나, 이 특허에서는 구체적으로 어떠한 처리를 거치는가에 대해서는 개시되어 있지 않으며, 단순히 합성된 신호를 피드백 받아서 처리한다고 되어 있을 뿐이다. 또한, 음성입력부로 음성이 들어오고 있을 때와 들어오고 있지 않을 때에 동일한 잡음처리를 하고 있어서 효율적인 잡음저감을 기대하기 어렵다. In addition, Japanese Patent No. 574666 discloses a communication apparatus having a voice input unit for inputting voice and a noise input unit for inputting noise so that a signal input to the noise input unit is processed so as to approach the noise input through the voice input unit, And the noise introduced through the voice input unit is removed by subtracting the signal from the signal input to the input unit. However, this patent does not disclose specifically what process is to be performed, and merely means that the synthesized signal is processed by feedback. In addition, it is difficult to expect efficient noise reduction since the same noise processing is performed when a voice is input to the voice input unit and when no voice is input to the voice input unit.
본 발명은 이러한 점을 감안하여 이루어진 것으로서, 두 개의 마이크로폰을 포함하는 통신장치에 일반적으로 적용될 수 있으면서도 효율 좋은 잡음제거방법 및 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a noise cancellation method and apparatus, which can be generally applied to a communication apparatus including two microphones, and which is efficient.
본 발명의 한가지 형태는, 제1 마이크로폰과, 상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰을 포함하는 통신장치에서의 잡음제거방법에 적용된다. 본 발명은 또한, 제1 마이크로폰과, 상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰을 포함하는 통신장치에 적용될 수 있다.One aspect of the present invention is applied to a noise reduction method in a communication device including a first microphone and a second microphone relatively far from the mouth of the speaker as compared to the first microphone. The invention is also applicable to a communication device comprising a first microphone and a second microphone relatively far from the mouth of the speaker as compared to the first microphone.
본 발명의 방법은, 제2 마이크로폰으로 입력되는 신호에 PB-FDAF(Partitioned Block Frequency Domain Adaptive Filtering)을 수행하여 필터링된 신호를 출력하는 제1단계와, 제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 제2단계와, MMSE-LSA(Minimum Mean-Square Error Log-Spectral Amplitude)를 수행하여 계산한 이득을 상기 차감 신호에 곱하는 제3단계를 구비한다. The method includes a first step of performing PB-FDAF (Partitioned Block Frequency Domain Adaptive Filtering) on a signal input to a second microphone and outputting a filtered signal, a second step of filtering the signal input from the first microphone And a third step of multiplying the difference signal by a gain calculated by performing MMSE-LSA (Minimum Mean-Square Error Log-Spectral Amplitude).
제1단계는, 제1 마이크로폰으로 입력되는 신호 d(n)과 제2 마이크로폰으로 입력되는 신호 x(n)에 기초하여 음성활동 유무를 판단하고 음성활동 유무를 나타내는 신호를 출력하는 제1-1단계와, 제1-1단계에서 음성활동이 없음을 나타내는 신호가 출력되면 PB-FDAF 필터의 계수를 갱신하는 제1-2단계와, 제2 마이크로폰으로 입력되는 신호 x(n)에 PB-FDAF 필터링을 수행하여 필터링된 출력 y(n)을 구하는 제1-3단계를 포함할 수 있다. In the first step, the presence or absence of voice activity is determined based on the signal d (n) input to the first microphone and the signal x (n) input to the second microphone, and a 1-1 FDAF filter to the signal x (n) input to the second microphone; and a step (b-1) of updating the coefficient of the PB-FDAF filter when a signal indicating no voice activity is output in step And filtering the output y (n) to obtain a filtered output y (n).
M은 파티션(partition)의 갯수, N은 각 파티션의 크기, L=MxN라 할 때, 제1-2단계에서는 다음 수식 M is the number of partitions, N is the size of each partition, L = MxN,
에 의해 p번째 파티션에서의 q번째 계수 w p ,q (n)을 갱신하며(μ는 수렴상수로서 0에서 1 사이의 값을 가지며 δ는 분모가 0에 가까운 값을 갖지 않도록 만들기 위한 상수값임), 제1-3단계에서는(Where μ is a constant between 0 and 1, and δ is a constant value to make the denominator not have a value close to 0), and updates the q-th coefficient w p , q ( n ) , And in step 1-3,
에 의해 필터링을 수행한다. Lt; / RTI >
본 발명의 일 실시예에서, 제1-1단계는 제1 마이크로폰으로 입력되는 신호 d(n)의 전력의 변화량(이하, "제1 변화량"이라 함)과 제2 마이크로폰으로 입력되는 신호 x(n)의 전력의 변화량(이하, "제2 변화량"이라 함)을 계산하는 단계와, 상기 제1 변화량과 제2 변화량의 차이값이 기준치보다 크면 음성활동이 있다고 판단하고 음성활동이 있음을 나타내는 신호를 출력하는 단계를 포함한다. In an embodiment of the present invention, step 1-1 is a step of comparing the amount of change (hereinafter referred to as "first amount of change") of the power of the signal d (n) input to the first microphone and the amount of change (hereinafter referred to as "second change amount") of the first change amount and the second change amount when the difference value between the first change amount and the second change amount is larger than the reference value; And outputting a signal.
상기 제1 변화량은 현 시점으로부터 이전의 제1 기간 동안 제1 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제1 기간보다 긴 제2 기간 동안 제1 마이크로폰으로 입력된 평균신호전력과의 차이값이며, 상기 제2 변화량은 현 시점으로부터 이전의 상기 제1 기간 동안 제2 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제2 기간 동안 제2 마이크로폰으로 입력된 평균신호전력과의 차이값일 수 있다. Wherein the first variation amount is a difference between an average signal power input to the first microphone during the first period from the current point of time and an average signal power input from the first microphone during the second period longer than the first period, The second variation amount is a difference value between the average signal power input to the second microphone during the first period from the current point of time and the average signal power input from the current point to the average signal power input from the second microphone during the second period, Lt; / RTI >
또는, 상기 제1 변화량은 현 시점에 제1 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 제1 마이크로폰으로 입력된 평균전력과의 차이값이며, 상기 제2 변화량은 현 시점에 제2 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 제2 마이크로폰으로 입력된 평균전력과의 차이값일 수 있다. Alternatively, the first change amount is a difference value between a power of a signal input to the first microphone at the current time and an average power input to the first microphone during a predetermined period from the current time, May be a difference value between the power of the signal input to the second microphone and the average power input to the second microphone for a predetermined period from the present time.
음성활동이 있다고 판단된 이후에 상기 제1 변화량과 제2 변화량의 차이값이 기준치보다 작아진 경우에도 소정 시간 동안에는 음성활동이 있음을 나타내는 신호를 계속 출력하는 것이 바람직하다. It is preferable to continue to output a signal indicating that there is voice activity for a predetermined time even if the difference value between the first change amount and the second change amount becomes smaller than the reference value after the voice activity is determined to exist.
k는 k 번째 주파수 성분, q k 는 잡음을 얼마나 많이 제거할 것인지를 결정하는 상수라고 할 때, 상기 이득은 k is to say the k-th frequency component, q k is a constant that determines how many times to confirm the removal of the noise, the gain is
에 의해 구하며,≪ / RTI >
여기에서, l은 프레임 번호, E k 2(l)은 프레임 l에서의 차감신호 e(n)의 파워, (l-1)는 프레임 l-1에서의 최종 출력 z(n)의 파워, α는 스무딩 상수라 할 때 Here, l is the frame number, E k 2 ( l ) is the power of the difference signal e (n) in frame l , (l-1) is the final output z (n) in a frame l -1 power, α is referred to when the smoothing constant
이며, Lt;
여기에서 β는 스무딩 상수, Y(k,l)은 l 번째 프레임에서 y(n)을 FFT한 것이고 E(k,l)은 l 번째 프레임에서 e(n)을 FFT한 것이라 할 때 Where β is a smoothing constant, Y (k, l) is an exemplary FFT of y (n) in the l-th frame (k, l) is E when a FFT would the e (n) in the l th frame
이다. to be.
제3단계는, 차감신호 e(n)과 제2 마이크로폰으로부터의 신호 x(n)에 기초하여 음성활동 유무를 판단하고 음성활동 유무를 나타내는 신호를 출력하는 제3-1단계와, 제3-1단계에서 음성활동이 없음을 나타내는 신호가 출력되면 과 를 계산하는 단계를 더 포함할 수 있다. The third step includes a third step (3-1) of judging the presence or absence of sound activity based on the difference signal e (n) and the signal x (n) from the second microphone and outputting a signal indicating the presence or absence of sound activity, When a signal indicating that there is no voice activity is output in
바람직하게는, 제1 마이크로폰은 통신장치의 하단부에 위치하며, 제2 마이크로폰은 통신장치의 상단부에 위치한다. Preferably, the first microphone is located at the lower end of the communication device and the second microphone is located at the upper end of the communication device.
본 발명에 따르면, 보조 마이크로폰으로 입력된 신호를 필터링한 신호를 주 마이크로폰으로부터 입력된 신호에서 차감한 차감신호 e(n)에 대해서 단채널 잡음제거방법인 MMSE-LSA를 적용하여 차감신호에 남아있는 잔여잡음을 다시 제거하므로 잡음제거효율이 좋다. 또한, 두 개의 마이크로폰으로부터의 신호전력의 변화량의 차이값을 이용하여 음성활동 유무를 판단하므로, 두 개의 마이크로폰에 들어오는 신호의 크기에 관계 없이 보다 정확한 음성활동감지가 가능하여, 보다 정확한 잡음제거가 가능하다. 또한, 잡음의 제거 정도를 잡음의 크기 레벨에 따라 가변적으로 운영함으로써 잡음의 크기에 상관없이 잡음을 적당한 레벨로 제거하게 되어 최종 출력신호의 잔여 잡음을 일정하게 할 수 있다. According to the present invention, the MMSE-LSA, which is a short channel noise canceling method, is applied to the difference signal e (n) obtained by subtracting the signal input from the auxiliary microphone from the signal input from the main microphone, Residual noise is removed again, so noise rejection efficiency is good. In addition, since the presence or absence of the voice activity is determined by using the difference value of the amount of change of the signal power from the two microphones, more accurate voice activity can be detected regardless of the size of the signal inputted to the two microphones, Do. In addition, by operating the degree of noise elimination variably according to the noise level level, the noise can be removed to an appropriate level regardless of the noise level, and the residual noise of the final output signal can be made constant.
도 1은 본 발명의 음성활동감지방법이 적용되는 통신장치의 내부 구성을 보여주는 블록도이다.
도 2는 두 개의 마이크로폰을 갖는 통신장치에서 마이크로폰과 스피커의 배치예를 보여주는 도면이다.
도 3은 본 발명에 적용될 수 있는 음성활동감지방법의 일 예를 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 잡음제거부의 내부 구성을 보여주는 블록도이다.
도 5는 PB-FDAF부의 개략적인 내부 구성을 보여주는 블록도이다.1 is a block diagram illustrating an internal configuration of a communication device to which the voice activity detection method of the present invention is applied.
2 is a view showing an example of arrangement of a microphone and a speaker in a communication device having two microphones.
3 is a flowchart illustrating an example of a voice activity detection method applicable to the present invention.
4 is a block diagram illustrating an internal configuration of a noise removing unit according to an embodiment of the present invention.
5 is a block diagram showing a schematic internal configuration of the PB-FDAF unit.
이하, 도면을 참고하여 본 발명의 바람직한 실시예에 대해서 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
도 1에 본 발명의 음성활동감지방법이 적용되는 통신장치의 내부 구성을 보여주는 블록도가 도시되어 있다.FIG. 1 is a block diagram illustrating an internal configuration of a communication device to which the voice activity detection method of the present invention is applied.
본 발명의 음성활동감지방법은 적어도 두 개의 마이크로폰(11, 12)이 구비되는 통신장치에 적용된다. 제1 마이크로폰(11)은 화자(話者)의 입 근처에 위치하고, 제2 마이크로폰(12)은 제1 마이크로폰(11)에 비해서 화자(話者)의 입으로부터 더 멀리 떨어져 있다. 바람직하게는, 제1 마이크로폰(11)은 통신장치의 하단에 위치하고 제2 마이크로폰(12)은 통신장치의 상단에 위치한다.The voice activity sensing method of the present invention is applied to a communication device having at least two microphones (11, 12). The
각 마이크로폰(11,12)으로 입력되는 아날로그 신호는 적절한 크기로 증폭되어 아날로그-디지털 변환기(13, 14)에서 디지털 신호로 변환된 다음, 본 발명의 잡음제거방법을 채택한 잡음제거기(16)로 입력된다. An analog signal input to each of the
잡음제거부(16)는 각 마이크로폰(11,12)으로부터 입력되어 디지털로 변환된 신호를 이용하여 주변 잡음을 제거한 후에, 보코더(31)로 출력한다.The
보코더(31)는 잡음제거부(16)에서 잡음이 제거된 신호를 인코딩하여 통신망 인터페이스(41)를 통해 통화상대방에게 전송하고, 통신망 인터페이스(41)를 통해 전송되어 오는 통화상대방의 음성을 디코딩한다. 디코딩된 음성신호는 디지털-아날로그 변환기(22)를 거쳐서 아날로그 신호로 변환된 다음에 적절한 레벨로 증폭되어 스피커(21)를 통해 출력된다.
The
도 2는 두 개의 마이크로폰을 갖는 통신장치에서 마이크로폰과 스피커의 배치예를 보여주는 도면이다. 도 2에 도시된 것처럼, 제1 마이크로폰(11)은 화자의 입에 가까운 곳인 통신장치의 하단에 위치하고, 제2 마이크로폰(12)은 통신장치의 상단에 위치한다. 스피커(21)는 화자의 귀에 가까운 위치인 통신장치의 상부에 위치하고 있다.
2 is a view showing an example of arrangement of a microphone and a speaker in a communication device having two microphones. As shown in Fig. 2, the
다음으로 도 3 내지 도 5를 참조하여, 본 발명의 일 실시예에 따른 잡음제거방법을 설명한다. Next, with reference to FIG. 3 to FIG. 5, a noise canceling method according to an embodiment of the present invention will be described.
도 4는 본 발명의 일 실시예에 따른 잡음제거부의 내부 구성을 보여주는 블록도이다.4 is a block diagram illustrating an internal configuration of a noise removing unit according to an embodiment of the present invention.
VAD1(161)은 제1 마이크로폰(11)으로부터 입력되는 신호 d(n)과 제2 마이크로폰(12)으로부터 입력되는 신호 x(n)을 이용하여 음성활동(Voice Activity)을 감지하는 음성활동감지기(Voice Activity Detector)이다. The VAD1 161 is a voice activity detector that detects a voice activity using a signal d (n) input from the
VAD1(161)은, 제1 마이크로폰(11)으로 입력되는 신호전력의 변화량(이하, "제1 변화량"이라 함)과 제2 마이크로폰(12)으로 입력되는 신호전력의 변화량(이하, "제2 변화량"이라 함)을 계산하고, 계산된 제1 변화량과 제2 변화량의 차이값에 기초하여 음성활동 유무를 판단할 수 있다. 이 방법에 대해서 도 3을 참조하여 설명한다. The
도 3은 본 발명의 본 발명에 적용될 수 있는 음성활동감지방법의 일 예의 동작을 보여주는 흐름도이다. 도 3의 동작은 프레임마다 수행하는 것이 바람직하지만, 이에 한정되는 것은 아니다.FIG. 3 is a flowchart showing an operation of an example of a voice activity sensing method applicable to the present invention of the present invention. The operation of FIG. 3 is preferably performed for each frame, but is not limited thereto.
먼저, VAD1(161)은 신호 d(n)과 x(n)의 전력의 변화량을 계산한다(단계 310). 신호전력의 변화량은 현 시점에 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 동일 마이크로폰으로 입력된 평균전력과의 차이값의 절대값으로 정의된다.First, the
이를 수식으로 표현하면 수학식 1과 같다. 수학식 1은 신호 d(n)의 신호전력의 변화량을 보여주고 있지만, 신호 x(n)에 대해서도 동일한 방식으로 신호전력의 변화량을 구할 수 있다.This can be expressed by Equation (1). Equation (1) shows the amount of change in the signal power of the signal d (n), but the amount of change in the signal power can also be obtained for the signal x (n) in the same manner.
여기에서, M은 현재 샘플을 포함한 이전 소정 기간 동안의 샘플 수이다. 계산량을 줄이기 위해서 모든 오디오 데이터를 사용하지 않고 일정 시간마다 샘플링을 하여 사용할 수도 있다. 예를 들어, 신호전력의 평균치 계산을 위한 샘플링을 프레임마다 수행하도록 할 수도 있으며 이 경우에는 M은 현재 프레임을 포함한 이전 소정 기간 동안의 프레임 수이다. Here, M is the number of samples during a predetermined period including the current sample. In order to reduce the amount of calculation, it is also possible to use sampling at a predetermined time without using all the audio data. For example, sampling for calculating the average of the signal power may be performed for each frame, where M is the number of frames for the previous predetermined period including the current frame.
한편, 다른 방법으로는, 신호전력의 변화량을, 현 시점으로부터 이전의 제1 기간 동안 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제1 기간보다 긴 제2 기간 동안 마이크로폰으로 입력된 평균신호전력과의 차이값을 사용할 수도 있다.On the other hand, as another method, the amount of change in the signal power is calculated by multiplying the average signal power input to the microphone during the first first period from the present time and the average signal power input from the microphone during the second period longer than the previous first period A difference value from the average signal power may be used.
이를 수식으로 표현하면 수학식 2와 같다. 수학식 2는 신호 d(n)의 신호전력의 변화량을 보여주고 있지만, 신호 x(n)에 대해서도 동일한 방식으로 신호전력의 변화량을 구할 수 있다.This can be expressed by the following equation (2). Equation 2 shows the amount of change in the signal power of the signal d (n), but the amount of change in the signal power can also be obtained for the signal x (n) in the same manner.
여기에서, N은 현 시점으로부터 이전의 제1 기간 동안의 현재 샘플을 포함한 샘플 수이며, M은 현 시점으로부터 이전의 제2 기간 동안의 현재 샘플을 포함한 샘플 수이고, N < M이다. 예를 들어, N을 1 프레임 동안의 샘플수로 잡고, M을 10 프레임 동안의 샘플수로 잡으면, 신호전력의 변화량은 1 프레임 동안의 평균전력과 10 프레임 동안의 평균전력의 차이가 된다. N과 M은 통신기기의 구조와 마이크로폰의 특성 등에 따라서 달라지며, 실험에 의해 적절한 값을 구하면 된다.
Where N is the number of samples including the current sample for the previous first period from the current point of time, M is the number of samples including the current sample for the previous second period from the current point of time, and N < For example, if N is taken as the number of samples for one frame and M is taken as the number of samples for 10 frames, the amount of change in the signal power is the difference between the average power for one frame and the average power for ten frames. N and M vary depending on the structure of the communication device and the characteristics of the microphone, and an appropriate value can be obtained by experiment.
다음으로, 제1 변화량과 제2 변화량의 차이값이 기준치보다 크면(단계 320의 'Yes') VAD1(161)은 음성활동이 있다고 판단하고 음성활동이 있음을 나타내는 신호를 출력한다(단계 340). 본 예에서는 음성활동이 있는 경우에 논리값 1을 출력하도록 하고 있다. 제1 변화량과 제2 변화량의 차이값은 제1 변화량에서 제2 변화량을 뺀 값으로 할 수 있다. Next, if the difference between the first change amount and the second change amount is greater than the reference value (Yes in step 320), the
한편, 음성활동이 있다고 판단된 이후에 제1 변화량과 제2 변화량의 차이값이 기준치보다 작아진 경우에도 이후의 소정 시간 동안에는 음성활동이 있음을 나타내는 신호를 계속 출력하는 것이 바람직하다. 이를 위하여 VAD1(15)은 유지시간(Hold time)을 나타내는 HT 값을 초기화시키고(도 3의 예에서는 HT=15)(단계 330), HT 값을 하나 감소시킨다(350). 예를 들어, 도 3의 동작이 매 프레임마다 수행되는 경우에는 유지시간은 1 프레임 시간 x 15가 되며, 1 프레임 시간이 20msec인 경우에는 도 3의 예에서 유지시간은 0.3초가 된다.If the difference between the first change amount and the second change amount is smaller than the reference value after the determination that the voice activity is present, it is preferable that a signal indicating that there is voice activity continues to be output for a predetermined period of time. For this, the
단계 320에서의 판단 결과, 제1 변화량과 제2 변화량의 차이값이 기준치보다 작으면(단계 320의 'No'), 단계 360에서 유지시간이 지났는지를 확인한다. 유지시간이 지나지 않은 경우에는, 즉 HT 값이 0보다 큰 경우에는 단계 340으로 가서 음성활동 유무를 나타내는 출력을 그대로 유지하고(즉, VAD=1로 계속 유지하고) HT 값을 하나 감소시킨다(350). 단계 360에서의 판단 결과, 유지시간이 지난 경우에는, 즉 HT 값이 0인 경우에는 음성활동이 없음을 나타내는 신호를 출력한다(단계 370). 본 예에서는 음성활동이 있는 경우에 논리값 0을 출력하도록 하고 있다.If it is determined in
한편, 음성활동 감지방법에 대해서는 종래부터 다양한 방법이 제안되고 있으며, VAD1(161)은 어느 특정 방법에 제한되는 것은 아니다. 예를 들면, 제1 마이크로폰(11)으로 입력되는 신호전력과 제2 마이크로폰(12)으로 입력되는 신호전력의 차이값에 기초하여 음성활동 유무를 판단하도록 구성할 수도 있다.
Meanwhile, various methods have been proposed for the voice activity detection method, and the
PB-FDAF(Partitioned Block Frequency Domain Adaptive Filter)부(162)는 제2 마이크로폰(12)으로부터 들어온 신호 x(n)과 VAD1(161)의 출력값을 이용하여 신호 x(n)을 필터링한 후에, 필터링된 신호 y(n)을 출력한다.The PB-FDAF (Partitioned Block Frequency Domain Adaptive Filter)
PB-FDAF 방식은 반향음(echo) 또는 배경잡음을 제거하기 위하여 종래부터 사용되고 있었다. PB-FDAF 방식에 대해서는 특허 제716377호, 미국특허 제7,171,436호 등에 설명되어 있다. The PB-FDAF scheme has been used conventionally to eliminate echo or background noise. The PB-FDAF method is described in Patent No. 716377, US Patent No. 7,171,436 and the like.
PB-FDAF 방식에서는 필터 계수가 적응적으로 갱신된다. 도 5에 본 발명의 PB-FDAF부(162)의 개략적인 내부 구성이 도시되어 있다. PB-FDAF부(162)는 필터(51)와 필터(51)의 계수를 갱신하기 위한 갱신부(52)를 구비한다.In the PB-FDAF scheme, the filter coefficients are updated adaptively. Fig. 5 shows a schematic internal structure of the PB-
필터(51)는 시간 도메인 또는 주파수 도메인 적응형 필터로서 구현될 수 있다. 시간 도메인에서 구현되는 경우에는 수학식 3에서와 같이 입력신호와 필터 계수 간의 컨볼루션을 수행하고, 주파수 도메인에서 구현되는 경우에는 수학식 4에서와 같이 주파수 도메인의 입력신호와 필터 계수가 곱해진다. 수학식 3과 수학식 4에서 M은 파티션(partition)의 갯수이며, N은 각 파티션의 크기, L=MxN이다.The
수학식 4에서 변환 크기는 2N이며, 각 변수는 다음과 같다.In Equation (4), the transform size is 2N, and each variable is as follows.
여기에서 p번째 파티션에서의 q번째 계수 w p ,q (n)는 아래의 식에 의해 구할 수 있다. Here, the q-th coefficient w p , q ( n ) at the p-th partition can be obtained by the following equation.
위 식에서 μ는 수렴상수로서 0에서 1 사이의 값을 가지며, δ는 분모가 0에 가까운 값을 갖지 않도록 만들기 위한 상수값이다.
In this equation, μ is a convergent constant with a value between 0 and 1, and δ is a constant value to make the denominator not have a value close to zero.
본 발명에서는 필터 계수의 갱신이 음성활동이 감지되지 않는 동안(즉, VAD1=0인 동안)에 이루어지며, 음성활동이 감지되고 있는 동안(즉, VAD1=1인 동안)에는 직전의 필터 계수가 계속 사용된다.
In the present invention, the update of the filter coefficient is performed while no voice activity is detected (i.e., while VAD1 = 0), and the previous filter coefficient is updated while the voice activity is being detected (i.e., while VAD1 = 1) It continues to be used.
제1 마이크로폰(11)으로부터의 신호 d(n)에서 PB-FDAF(162)에서 출력되는 신호 y(n)을 뺀 차감신호 e(n)은 MMSE-LSA(Minimum Mean-Square Error Log-Spectral Amplitude)부(164)로 입력되어 e(n)에 남아있는 잡음이 추가로 제거된 후에 출력신호 z(n)이 출력된다. MMSE-LSA부(164)에는 또한 y(n)과 VAD2(163)의 출력이 입력된다. The difference signal e (n) obtained by subtracting the signal y (n) output from the PB-
VAD2(163)에는 e(n)과 x(n)이 입력되며, VAD2(163)은 e(n)과 x(n)으로부터 음성활동 유무 여부를 판단한다. VAD2(163)에는 VAD1(161)과 동일한 음성활동감지 방식을 사용할 수도 있고, 다른 음성활동감지 방식을 사용할 수도 있다.E (n) and x (n) are input to VAD2 163 and
MMSE-LSA부(164)의 출력 z(n)은 e(n)에 이득 를 곱한 값이며, 이득 은 수학식 5에 의해 계산된다.The output z (n) of the MMSE-
여기에서 k는 k 번째 주파수 성분을 나타내고, q k 는 잡음을 얼마나 많이 제거할 것인지를 결정하는 상수로서 1에 가까울수록 잡음을 적게 제거하고 0에 가까울수록 많이 제거한다. ξ는 priori SNR, 는 posteriori SNR을 나타내며 이들과 v k 는 각각 다음과 같이 정의된다.Here, k represents the k- th frequency component, and q k is a constant for determining how much noise is removed. The closer to 1, the less noise is removed, and the closer to 0, the more removed. ξ is the priori SNR, Represents the posteriori SNR, and v k are defined as follows.
여기에서 l은 프레임 번호이며, E k 2(l)은 프레임 l에서의 차감신호 e(n)의 파워, (l-1)는 프레임 l-1에서의 최종 출력 z(n)의 파워, 는 스무딩 상수이다. l번째 프레임의 k 번째 주파수에서의 잡음의 스펙트럼인 과 는 다음 식에서 구할 수 있다.Where l is the frame number, E k 2 ( l ) is the power of the difference signal e (n) in frame l , (l-1) is the power of the final output z (n) in a frame l -1, Is a smoothing constant. l the spectrum of the noise at the k-th frequency in the second frame, and Can be obtained from the following equation.
위 식에서 Y(k,l)은 l 번째 프레임에서 y(n)을 FFT(Fast Fourier Transform)한 것이며, E(k,l)은 l 번째 프레임에서 e(n)을 FFT한 것이다.In the above equation, Y (k, l) is obtained by FFT (Fast Fourier Transform) of y (n) in the lth frame and E (k, l) is obtained by FFTing e (n) in the lth frame.
이상의 식에서 와 β는 스무딩 상수로서, 1에 가까울 수록 스무딩이 많이 되고 0에 가까울수록 스무딩이 적게 된다. 또한, 스무딩이 많이 되면 변화량이 작아진다. In the above equation And β are the smoothing constants. The closer to 1, the more smoothing. The closer to 0, the less smoothing. Further, when the amount of smoothing is large, the amount of change is small.
과 는 VAD2(163)에서 잡음이 감지되었을 때만 계산하도록 하는 것도 가능하다. 즉, 과 는 VAD2=0 일 때만 갱신되며(따라서, 잡음의 스펙트럼만 반영됨), MMSE-LSA 게인값은 VAD2 의 결과와 관계없이 항상 에러신호에 곱하게 된다.
and It is also possible to calculate only when noise is detected in the
이상, 본 발명을 몇가지 예를 들어 설명하였으나, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 또한, 주파수 도메인에서 수행되는 것으로 설명된 동작을 시간 도메인에서 수행되도록 수정하거나, 시간 도메인에서 수행되는 것으로 설명된 동작을 주파수 도메인에서 수행되도록 수정하여 구현하는 것도 가능하다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. It is also possible to modify the operation described as being performed in the frequency domain to be performed in the time domain or to modify the operation described as being performed in the time domain to be performed in the frequency domain.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that a component can be implied unless specifically stated to the contrary, But should be construed as further including other elements.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas falling within the scope of the same shall be construed as falling within the scope of the present invention.
11 제1 마이크로폰,
12 제2 마이크로폰,
15 음성활동감지기,
16 잡음제거부.11 first microphone,
12 second microphone,
15 voice activity detector,
16 Noise Canceling.
Claims (20)
제2 마이크로폰으로 입력되는 신호에 PB-FDAF(Partitioned Block Frequency Domain Adaptive Filtering)을 수행하여 필터링된 신호를 출력하는 제1단계와,
제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 제2단계와,
MMSE-LSA(Minimum Mean-Square Error Log-Spectral Amplitude)를 수행하여 계산한 이득을 상기 차감 신호에 곱하는 제3단계
를 구비하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.A method for noise reduction in a communication device comprising a first microphone and a second microphone relatively far from the mouth of the speaker as compared to the first microphone,
A first step of performing PB-FDAF (Partitioned Block Frequency Domain Adaptive Filtering) on a signal input to the second microphone and outputting a filtered signal;
A second step of outputting a difference signal obtained by subtracting the filtered signal from a signal input to the first microphone;
A third step of multiplying the difference signal by a gain calculated by performing MMSE-LSA (Minimum Mean-Square Error Log-Spectral Amplitude)
And a plurality of microphones having a plurality of microphones.
제1 마이크로폰으로 입력되는 신호 d(n)과 제2 마이크로폰으로 입력되는 신호 x(n)에 기초하여 음성활동 유무를 판단하고 음성활동 유무를 나타내는 신호를 출력하는 제1-1단계와,
제1-1단계에서 음성활동이 없음을 나타내는 신호가 출력되면 PB-FDAF 필터의 계수를 갱신하는 제1-2단계와,
제2 마이크로폰으로 입력되는 신호 x(n)에 PB-FDAF 필터링을 수행하여 필터링된 출력 y(n)을 구하는 제1-3단계
를 포함하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.The method of claim 1, wherein the first step
A first step of determining presence / absence of voice activity based on the signal d (n) input to the first microphone and the signal x (n) input to the second microphone, and outputting a signal indicating the presence or absence of voice activity;
A 1-2 step of updating a coefficient of the PB-FDAF filter when a signal indicating that no voice activity is output in the step 1-1,
A third step of performing PB-FDAF filtering on the signal x (n) input to the second microphone to obtain a filtered output y (n)
And a second microphone for receiving the noise.
M은 파티션(partition)의 갯수, N은 각 파티션의 크기, L=MxN라 할 때,
제1-2단계에서는 다음 수식
에 의해 p번째 파티션에서의 q번째 계수 w p ,q (n)을 갱신하며(μ는 수렴상수로서 0에서 1 사이의 값을 가지며 δ는 분모가 0에 가까운 값을 갖지 않도록 만들기 위한 상수값임),
제1-3단계에서는 다음 수식
에 의해 필터링을 수행하는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.3. The method of claim 2,
M is the number of partitions, N is the size of each partition, L = MxN,
In step 1-2, the following equation
(Where μ is a constant between 0 and 1, and δ is a constant value to make the denominator not have a value close to 0), and updates the q-th coefficient w p , q ( n ) ,
In step 1-3,
Wherein the filtering is performed by the first microphone and the second microphone.
제1 마이크로폰으로 입력되는 신호 d(n)의 전력의 변화량(이하, "제1 변화량"이라 함)과 제2 마이크로폰으로 입력되는 신호 x(n)의 전력의 변화량(이하, "제2 변화량"이라 함)을 계산하는 단계와,
상기 제1 변화량과 제2 변화량의 차이값이 기준치보다 크면 음성활동이 있다고 판단하고 음성활동이 있음을 나타내는 신호를 출력하는 단계
를 포함하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.4. The method of claim 3,
(Hereinafter referred to as "second variation amount") of the power of the signal d (n) input to the first microphone (hereinafter referred to as "first variation amount" ), ≪ / RTI >
If the difference between the first change amount and the second change amount is greater than a reference value, determining that there is a voice activity and outputting a signal indicating that there is a voice activity
And a second microphone for receiving the noise.
상기 제1 변화량은 현 시점으로부터 이전의 제1 기간 동안 제1 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제1 기간보다 긴 제2 기간 동안 제1 마이크로폰으로 입력된 평균신호전력과의 차이값이며,
상기 제2 변화량은 현 시점으로부터 이전의 상기 제1 기간 동안 제2 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제2 기간 동안 제2 마이크로폰으로 입력된 평균신호전력과의 차이값인 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.5. The method of claim 4,
Wherein the first variation amount is a difference between an average signal power input to the first microphone during the first period from the current point of time and an average signal power input from the first microphone during the second period longer than the first period, Lt; / RTI >
The second change amount is a difference value between an average signal power input to the second microphone during the first period from the current time and an average signal power input from the current time to the second microphone during the second period Wherein the noise elimination method comprises the steps of:
상기 제1 변화량은 현 시점에 제1 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 제1 마이크로폰으로 입력된 평균전력과의 차이값이며,
상기 제2 변화량은 현 시점에 제2 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 제2 마이크로폰으로 입력된 평균전력과의 차이값인 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.5. The method of claim 4,
The first change amount is a difference value between a power of a signal input to the first microphone at the current time and an average power input to the first microphone during a predetermined period from the current time,
Wherein the second change amount is a difference between a power of a signal input to the second microphone at the current time and an average power input to the second microphone during a predetermined period from the current time, Noise removal method in a communication device.
음성활동이 있다고 판단된 이후에 상기 제1 변화량과 제2 변화량의 차이값이 기준치보다 작아진 경우에도 소정 시간 동안에는 음성활동이 있음을 나타내는 신호를 계속 출력하는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.7. The method according to any one of claims 4 to 6,
And outputs a signal indicating that there is a voice activity for a predetermined time even if the difference value between the first change amount and the second change amount becomes smaller than the reference value after the voice activity is determined to be present Noise removal method in a communication device.
k는 k 번째 주파수 성분, q k 는 잡음을 얼마나 많이 제거할 것인지를 결정하는 상수라고 할 때, 상기 이득은
에 의해 구하며,
여기에서, l은 프레임 번호, E k 2(l)은 프레임 l에서의 차감신호 e(n)의 파워, (l-1)는 프레임 l-1에서의 최종 출력 z(n)의 파워, 는 스무딩 상수라 할 때
이며,
여기에서 β는 스무딩 상수, Y(k,l)은 l 번째 프레임에서 y(n)을 FFT한 것이고 E(k,l)은 l 번째 프레임에서 e(n)을 FFT한 것이라 할 때
인 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.7. The method according to any one of claims 2 to 6, wherein in the third step
k is to say the k-th frequency component, q k is a constant that determines how many times to confirm the removal of the noise, the gain is
≪ / RTI >
Here, l is the frame number, E k 2 ( l ) is the power of the difference signal e (n) in frame l , (l-1) is the power of the final output z (n) in a frame l -1, Is a smoothing constant
Lt;
Where β is a smoothing constant, Y (k, l) is an exemplary FFT of y (n) in the l-th frame (k, l) is E when a FFT would the e (n) in the l th frame
Wherein the first microphone and the second microphone are connected to each other.
차감신호 e(n)과 제2 마이크로폰으로부터의 신호 x(n)에 기초하여 음성활동 유무를 판단하고 음성활동 유무를 나타내는 신호를 출력하는 제3-1단계와,
제3-1단계에서 음성활동이 없음을 나타내는 신호가 출력되면 과 를 계산하는 단계
를 더 포함하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.9. The method of claim 8, wherein the third step comprises:
A third step of determining presence or absence of voice activity based on the difference signal e (n) and the signal x (n) from the second microphone, and outputting a signal indicating the presence or absence of voice activity;
If a signal indicating that there is no voice activity is output in the step 3-1 and ≪ / RTI >
The method of claim 1, further comprising the steps < RTI ID = 0.0 > of: < / RTI >
상기 제1 마이크로폰은 통신장치의 하단부에 위치하며, 상기 제2 마이크로폰은 통신장치의 상단부에 위치하는 것을 특징으로 하는 두 개의 마이크로폰을 포함하는 통신장치에서의 잡음제거방법.7. The method according to any one of claims 1 to 6,
Wherein the first microphone is located at a lower end of the communication device and the second microphone is located at an upper end of the communication device.
상기 제1 마이크로폰에 비해서 화자의 입에서 상대적으로 멀리 떨어져 있는 제2 마이크로폰과,
제2 마이크로폰으로 입력되는 신호에 PB-FDAF(Partitioned Block Frequency Domain Adaptive Filtering)을 수행하여 필터링된 신호를 출력하는 PB-FDAF부와, 제1 마이크로폰으로 입력되는 신호에서 상기 필터링된 신호를 뺀 차감신호를 출력하는 차감부와, MMSE-LSA(Minimum Mean-Square Error Log-Spectral Amplitude)를 수행하여 계산한 이득을 상기 차감 신호에 곱하는 MMSE-LSA부를 포함하는 잡음제거기
를 구비하는 잡음제거장치.A first microphone,
A second microphone relatively far from the mouth of the speaker as compared to the first microphone,
A PB-FDAF unit for performing a PB-FDAF (Partitioned Block Frequency Domain Adaptive Filtering) on a signal input to the second microphone and outputting a filtered signal, a difference signal generator for subtracting the filtered signal from a signal input to the first microphone, And a MMSE-LSA unit for multiplying the difference signal by a gain calculated by performing a Minimum Mean-Square Error Log-Spectral Amplitude (MMSE-LSA)
And a noise canceling unit.
상기 잡음제거기는 제1 마이크로폰으로 입력되는 신호 d(n)과 제2 마이크로폰으로 입력되는 신호 x(n)에 기초하여 음성활동 유무를 판단하고 음성활동 유무를 나타내는 신호를 출력하는 제1 음성활동감지부를 더 구비하며,
상기 PB-FDAF부는 상기 제1 음성활동감지부에서 음성활동이 없음을 나타내는 신호가 출력되면 PB-FDAF 필터의 계수를 갱신하고,
상기 PB-FDAF부는 제2 마이크로폰으로 입력되는 신호 x(n)에 PB-FDAF 필터링을 수행하여 필터링된 출력 y(n)을 구하는 것을 특징으로 하는 잡음제거장치.12. The method of claim 11,
The noise eliminator determines whether there is a voice activity based on the signal d (n) input to the first microphone and the signal x (n) input to the second microphone, and outputs a first voice activity detection Further,
The PB-FDAF unit updates the coefficient of the PB-FDAF filter when the first voice activity detection unit outputs a signal indicating no voice activity,
Wherein the PB-FDAF unit performs PB-FDAF filtering on a signal x (n) input to the second microphone to obtain a filtered output y (n).
M은 파티션(partition)의 갯수, N은 각 파티션의 크기, L=MxN라 할 때,
상기 PB-FDAF부는 다음 수식
에 의해 p번째 파티션에서의 q번째 계수 w p ,q (n)을 갱신하며(μ는 수렴상수로서 0에서 1 사이의 값을 가지며 δ는 분모가 0에 가까운 값을 갖지 않도록 만들기 위한 상수값임),
상기 PB-FDAF부는 다음 수식
에 의해 필터링을 수행하는 것을 특징으로 하는 잡음제거장치.13. The method of claim 12,
M is the number of partitions, N is the size of each partition, L = MxN,
The PB-FDAF part may be expressed by the following equation
(Where μ is a constant between 0 and 1, and δ is a constant value to make the denominator not have a value close to 0), and updates the q-th coefficient w p , q ( n ) ,
The PB-FDAF part may be expressed by the following equation
Wherein the filtering unit performs filtering by the noise reduction unit.
제1 마이크로폰으로 입력되는 신호 d(n)의 전력의 변화량(이하, "제1 변화량"이라 함)과 제2 마이크로폰으로 입력되는 신호 x(n)의 전력의 변화량(이하, "제2 변화량"이라 함)을 계산하고, 상기 제1 변화량과 제2 변화량의 차이값이 기준치보다 크면 음성활동이 있다고 판단하고 음성활동이 있음을 나타내는 신호를 출력하는 것을 특징으로 하는 잡음제거장치.14. The apparatus of claim 13, wherein the first voice activity sensing unit
(Hereinafter referred to as "second variation amount") of the power of the signal d (n) input to the first microphone (hereinafter referred to as "first variation amount" And outputs a signal indicating that there is a voice activity if the difference value between the first change amount and the second change amount is larger than the reference value.
상기 제1 변화량은 현 시점으로부터 이전의 제1 기간 동안 제1 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제1 기간보다 긴 제2 기간 동안 제1 마이크로폰으로 입력된 평균신호전력과의 차이값이며,
상기 제2 변화량은 현 시점으로부터 이전의 상기 제1 기간 동안 제2 마이크로폰으로 입력된 평균신호전력과, 현 시점으로부터 이전의 상기 제2 기간 동안 제2 마이크로폰으로 입력된 평균신호전력과의 차이값인 것을 특징으로 하는 잡음제거장치.15. The method of claim 14,
Wherein the first variation amount is a difference between an average signal power input to the first microphone during the first period from the current point of time and an average signal power input from the first microphone during the second period longer than the first period, Lt; / RTI >
The second change amount is a difference value between an average signal power input to the second microphone during the first period from the current time and an average signal power input from the current time to the second microphone during the second period And a noise canceling unit.
상기 제1 변화량은 현 시점에 제1 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 제1 마이크로폰으로 입력된 평균전력과의 차이값이며,
상기 제2 변화량은 현 시점에 제2 마이크로폰으로 입력된 신호의 전력과, 현 시점으로부터 이전의 소정 기간 동안 제2 마이크로폰으로 입력된 평균전력과의 차이값인 것을 특징으로 하는 잡음제거장치.15. The method of claim 14,
The first change amount is a difference value between a power of a signal input to the first microphone at the current time and an average power input to the first microphone during a predetermined period from the current time,
Wherein the second change amount is a difference between a power of a signal input to the second microphone at the current time and an average power input to the second microphone during a predetermined period from the current time.
상기 제1 음성활동감지기는 음성활동이 있다고 판단된 이후에 상기 제1 변화량과 제2 변화량의 차이값이 기준치보다 작아진 경우에도 소정 시간 동안에는 음성활동이 있음을 나타내는 신호를 계속 출력하는 것을 특징으로 하는 잡음제거장치.17. The method according to any one of claims 14 to 16,
The first voice activity sensor continuously outputs a signal indicating that there is voice activity for a predetermined time even if the difference value between the first change amount and the second change amount becomes smaller than the reference value after it is determined that voice activity is present Noise canceling device.
k는 k 번째 주파수 성분, q k 는 잡음을 얼마나 많이 제거할 것인지를 결정하는 상수라고 할 때, 다음 식
에 의해 상기 이득을 구하며,
여기에서, l은 프레임 번호, E k 2(l)은 프레임 l에서의 차감신호 e(n)의 파워, (l-1)는 프레임 l-1에서의 최종 출력 z(n)의 파워, 는 스무딩 상수라 할 때
이며,
여기에서 β는 스무딩 상수, Y(k,l)은 l 번째 프레임에서 y(n)을 FFT한 것이고 E(k,l)은 l 번째 프레임에서 e(n)을 FFT한 것이라 할 때
인 것을 특징으로 하는 잡음제거장치.17. The system as claimed in any one of claims 12 to 16, wherein the MMSE-LSA unit
k is to say the k-th frequency component, q k is a constant that determines how many times to confirm the removal of the noise, the following equation
To obtain the gain,
Here, l is the frame number, E k 2 ( l ) is the power of the difference signal e (n) in frame l , (l-1) is the power of the final output z (n) in a frame l -1, Is a smoothing constant
Lt;
Where β is a smoothing constant, Y (k, l) is an exemplary FFT of y (n) in the l-th frame (k, l) is E when a FFT would the e (n) in the l th frame
And a noise canceling unit.
차감신호 e(n)과 제2 마이크로폰으로부터의 신호 x(n)에 기초하여 음성활동 유무를 판단하고 음성활동 유무를 나타내는 신호를 출력하는 제2 음성활동감지부를 더 구비하며,
상기 MMSE-LSA부는 상기 제2 음성활동감지부로부터 음성활동이 없음을 나타내는 신호가 출력되면 과 를 계산하는 것을 특징으로 하는 잡음제거장치. 19. The apparatus of claim 18, wherein the noise canceller
Further comprising a second voice activity sensing unit for determining the presence or absence of voice activity based on the difference signal e (n) and the signal x (n) from the second microphone and for outputting a signal indicating the presence or absence of voice activity,
When the MMSE-LSA unit outputs a signal indicating that there is no voice activity from the second voice activity sensing unit and Of the noise canceling unit.
상기 제1 마이크로폰은 잡음제거장치가 설치된 통신장치의 하단부에 위치하며, 상기 제2 마이크로폰은 통신장치의 상단부에 위치하는 것을 특징으로 하는 잡음제거장치.
17. The method according to any one of claims 11 to 16,
Wherein the first microphone is located at a lower end of a communication device in which the noise removing device is installed, and the second microphone is located at an upper end of the communication device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130036153A KR101396873B1 (en) | 2013-04-03 | 2013-04-03 | Method and apparatus for noise reduction in a communication device having two microphones |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130036153A KR101396873B1 (en) | 2013-04-03 | 2013-04-03 | Method and apparatus for noise reduction in a communication device having two microphones |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101396873B1 true KR101396873B1 (en) | 2014-05-19 |
Family
ID=50894628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130036153A KR101396873B1 (en) | 2013-04-03 | 2013-04-03 | Method and apparatus for noise reduction in a communication device having two microphones |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101396873B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106098078A (en) * | 2016-06-14 | 2016-11-09 | 惠州Tcl移动通信有限公司 | A kind of audio recognition method that may filter that speaker noise and system thereof |
CN108305637A (en) * | 2018-01-23 | 2018-07-20 | 广东欧珀移动通信有限公司 | Earphone method of speech processing, terminal device and storage medium |
CN109308905A (en) * | 2017-07-28 | 2019-02-05 | 北京搜狗科技发展有限公司 | Audio data processing method, device, electronic equipment and storage medium |
CN112567458A (en) * | 2018-08-16 | 2021-03-26 | 三菱电机株式会社 | Audio signal processing system, audio signal processing method, and computer-readable storage medium |
KR20210059388A (en) * | 2019-11-15 | 2021-05-25 | 주식회사 위스타 | Method and apparatus for noise reduction using a plurality of microphones |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001265390A (en) | 2000-03-16 | 2001-09-28 | Nec Corp | Voice coding and decoding device and method including silent voice coding operating with plural rates |
JP2005503579A (en) | 2001-05-30 | 2005-02-03 | アリフコム | Voiced and unvoiced voice detection using both acoustic and non-acoustic sensors |
US20050147235A1 (en) | 2004-01-05 | 2005-07-07 | Mindtree Consulting Pvt. Ltd. | Method, apparatus and articles incorporating a step size control technique for echo signal cancellation |
US20090254340A1 (en) | 2008-04-07 | 2009-10-08 | Cambridge Silicon Radio Limited | Noise Reduction |
-
2013
- 2013-04-03 KR KR1020130036153A patent/KR101396873B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001265390A (en) | 2000-03-16 | 2001-09-28 | Nec Corp | Voice coding and decoding device and method including silent voice coding operating with plural rates |
JP2005503579A (en) | 2001-05-30 | 2005-02-03 | アリフコム | Voiced and unvoiced voice detection using both acoustic and non-acoustic sensors |
US20050147235A1 (en) | 2004-01-05 | 2005-07-07 | Mindtree Consulting Pvt. Ltd. | Method, apparatus and articles incorporating a step size control technique for echo signal cancellation |
US20090254340A1 (en) | 2008-04-07 | 2009-10-08 | Cambridge Silicon Radio Limited | Noise Reduction |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106098078A (en) * | 2016-06-14 | 2016-11-09 | 惠州Tcl移动通信有限公司 | A kind of audio recognition method that may filter that speaker noise and system thereof |
CN109308905A (en) * | 2017-07-28 | 2019-02-05 | 北京搜狗科技发展有限公司 | Audio data processing method, device, electronic equipment and storage medium |
CN109308905B (en) * | 2017-07-28 | 2021-08-20 | 北京搜狗科技发展有限公司 | Audio data processing method and device, electronic equipment and storage medium |
CN108305637A (en) * | 2018-01-23 | 2018-07-20 | 广东欧珀移动通信有限公司 | Earphone method of speech processing, terminal device and storage medium |
CN108305637B (en) * | 2018-01-23 | 2021-04-06 | Oppo广东移动通信有限公司 | Earphone voice processing method, terminal equipment and storage medium |
CN112567458A (en) * | 2018-08-16 | 2021-03-26 | 三菱电机株式会社 | Audio signal processing system, audio signal processing method, and computer-readable storage medium |
CN112567458B (en) * | 2018-08-16 | 2023-07-18 | 三菱电机株式会社 | Audio signal processing system, audio signal processing method, and computer-readable storage medium |
KR20210059388A (en) * | 2019-11-15 | 2021-05-25 | 주식회사 위스타 | Method and apparatus for noise reduction using a plurality of microphones |
KR102275279B1 (en) * | 2019-11-15 | 2021-07-09 | 주식회사 위스타 | Method and apparatus for noise reduction using a plurality of microphones |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9866702B2 (en) | Echo cancellation device, non-transitory computer readable medium storing echo cancellation program, and echo cancellation | |
KR102410447B1 (en) | Adaptive Beamforming | |
KR101526932B1 (en) | Noise reduction by combined beamforming and post-filtering | |
KR101449433B1 (en) | Noise cancelling method and apparatus from the sound signal through the microphone | |
JP5862349B2 (en) | Noise reduction device, voice input device, wireless communication device, and noise reduction method | |
US6377637B1 (en) | Sub-band exponential smoothing noise canceling system | |
JP5293817B2 (en) | Audio signal processing apparatus and audio signal processing method | |
US7930175B2 (en) | Background noise reduction system | |
KR101396873B1 (en) | Method and apparatus for noise reduction in a communication device having two microphones | |
EP2463856B1 (en) | Method to reduce artifacts in algorithms with fast-varying gain | |
US20060206320A1 (en) | Apparatus and method for noise reduction and speech enhancement with microphones and loudspeakers | |
KR101624652B1 (en) | Method and Apparatus for removing a noise signal from input signal in a noisy environment, Method and Apparatus for enhancing a voice signal in a noisy environment | |
JP2003534570A (en) | How to suppress noise in adaptive beamformers | |
JP4689269B2 (en) | Static spectral power dependent sound enhancement system | |
KR101737824B1 (en) | Method and Apparatus for removing a noise signal from input signal in a noisy environment | |
JP2002541753A (en) | Signal Noise Reduction by Time Domain Spectral Subtraction Using Fixed Filter | |
KR20080002990A (en) | Systems and methods for reducing audio noise | |
JPWO2018163328A1 (en) | Acoustic signal processing device, acoustic signal processing method, and hands-free call device | |
US8199928B2 (en) | System for processing an acoustic input signal to provide an output signal with reduced noise | |
EP3428918B1 (en) | Pop noise control | |
KR101557779B1 (en) | Method and apparatus for noise reduction in a communication device having two microphones | |
CN114127845A (en) | System and method for eliminating road noise in microphone signals | |
CN106797517B (en) | Multi-ear MMSE analysis techniques for cleaning audio signals | |
JP5228903B2 (en) | Signal processing apparatus and method | |
KR101451844B1 (en) | Method for voice activity detection and communication device implementing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |