KR101903874B1 - Noise reduction method and apparatus based dual on microphone - Google Patents
Noise reduction method and apparatus based dual on microphone Download PDFInfo
- Publication number
- KR101903874B1 KR101903874B1 KR1020170009060A KR20170009060A KR101903874B1 KR 101903874 B1 KR101903874 B1 KR 101903874B1 KR 1020170009060 A KR1020170009060 A KR 1020170009060A KR 20170009060 A KR20170009060 A KR 20170009060A KR 101903874 B1 KR101903874 B1 KR 101903874B1
- Authority
- KR
- South Korea
- Prior art keywords
- input signals
- channel input
- coherence
- noise
- filter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009977 dual effect Effects 0.000 title claims abstract description 47
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 230000003595 spectral effect Effects 0.000 claims abstract description 18
- 230000008030 elimination Effects 0.000 claims description 14
- 238000003379 elimination reaction Methods 0.000 claims description 14
- 239000006185 dispersion Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001105 regulatory effect Effects 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 206010002953 Aphonia Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Telephone Function (AREA)
Abstract
일 실시예에 따르면, 듀얼 마이크 기반의 잡음 제거 방법은, 듀얼 마이크들-상기 듀얼 마이크들 각각은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치됨-로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 단계; 상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 단계; 상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 단계; 상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 단계; 및 상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 단계를 포함한다.According to one embodiment, a dual microphone-based noise cancellation method is a method of removing two-channel input signals received from a time domain, wherein each of the dual microphones - each of the dual microphones is located at a symmetric location from a point of voice generation in the user's body - Converting into a frequency domain; Calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals; Determining whether a voice signal is included in the two-channel input signals based on a variance of the phase of the coherence; Updating the noise reduction filter based on the determination result; And filtering the two-channel input signals using the updated noise reduction filter.
Description
아래의 설명은 듀얼 마이크 기반의 잡음 제거 장치 및 그 방법에 관한 것으로, 보다 상세하게는, 듀얼 마이크들로부터 수신되는 2 채널 입력 신호들의 코히런스(Coherence)를 이용하여 2채널 입력 신호들을 필터링하는 기술에 대한 것이다.The following description relates to a dual microphone-based noise canceling apparatus and method thereof, and more particularly, to a dual microphone-based noise canceling apparatus and method thereof, and more particularly to a dual microphone- Lt; / RTI >
마이크를 이용하는 야외 녹음 환경에서 바람 잡음은 녹음 신호의 음질을 크게 저하시킨다. 이를 해결하기 위해 단채널 환경과 2 채널 환경 모두에서 많은 연구가 진행되었다. 가장 대표적으로 음성 신호와 잡음이 가지고 있는 다른 주파수 특성을 이용한 위너 필터(Wiener filter)가 많이 사용되었다. 위너 필터는 정적 잡음인 경우에는 좋은 성능을 보여주지만, 대부분의 에너지가 낮은 주파수대역에 분포하는 비정상 신호인 바람 잡음에 대해서는 제한된 성능을 보여주는 단점이 있다.In an outdoor recording environment using a microphone, wind noise greatly degrades the sound quality of the recorded signal. To solve this problem, many studies have been conducted in both the short channel environment and the two channel environment. Wiener filters using speech signals and other frequency characteristics of noise are most commonly used. The Wiener filter exhibits good performance in the case of static noise, but has a disadvantage in that it exhibits limited performance for wind noise, which is an abnormal signal that most of the energy is distributed in a low frequency band.
이에, 바람 잡음을 효과적으로 제거 또는 감소시키는 기술이 제안될 필요가 있다.Therefore, a technique for effectively eliminating or reducing wind noise needs to be proposed.
일 실시예들은 2 채널 입력 신호들의 코히런스를 이용함으로써, 듀얼 마이크 환경에서 2 채널 입력 신호들의 음성 신호의 손실을 최소화하며 바람 잡음과 같은 잡음 신호를 제거하는 잡음 제거 방법 및 장치를 제안한다.Embodiments propose a noise cancellation method and apparatus for minimizing the loss of voice signals of two channel input signals in a dual microphone environment and eliminating noise signals such as wind noise by using the coherence of two channel input signals.
구체적으로, 일 실시예들은 2 채널 입력 신호들의 코히런스의 위상 및 세기를 이용하여 잡음 제거 필터를 적응적으로 업데이트함으로써, 업데이트된 잡음 제거 필터를 기반으로 2 채널 입력 신호들을 필터링하는 잡음 제거 방법 및 장치를 제안한다.In particular, one embodiment includes a noise cancellation method for adaptively updating a noise cancellation filter using the phase and intensity of the coherence of two channel input signals, filtering the two channel input signals based on the updated noise cancellation filter, Device.
또한, 일 실시예들은 2 채널 입력 신호들의 코히런스를 이용함으로써, 듀얼 마이크 환경에서 2 채널 입력 신호들의 음성 신호의 손실을 최소화하며 잡음 신호를 제거하는 잡음 제거 장치를 포함하는 착용형 장치를 제안한다.In addition, one embodiment suggests a wearable device that uses a coherence of two-channel input signals to minimize the loss of voice signals of two-channel input signals in a dual-microphone environment and to remove noise signals .
일 실시예에 따르면, 듀얼 마이크 기반의 잡음 제거 방법은, 듀얼 마이크들-상기 듀얼 마이크들 각각은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치됨-로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 단계; 상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 단계; 상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 단계; 상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 단계; 및 상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 단계를 포함한다.According to one embodiment, a dual microphone-based noise cancellation method is a method of removing two-channel input signals received from a time domain, wherein each of the dual microphones - each of the dual microphones is located at a symmetric location from a point of voice generation in the user's body - Converting into a frequency domain; Calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals; Determining whether a voice signal is included in the two-channel input signals based on a variance of the phase of the coherence; Updating the noise reduction filter based on the determination result; And filtering the two-channel input signals using the updated noise reduction filter.
일측에 따르면, 상기 잡음 제거 필터를 업데이트하는 단계는, 상기 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 상기 잡음 제거 필터가 상기 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 단계를 포함할 수 있다.According to one aspect of the present invention, the step of updating the noise cancellation filter may include the steps of: when the voice signal is not included in the two-channel input signals, removing the noise signal included in the two- And adjusting the gain of the noise reduction filter based on the strength of the coherence.
또 다른 일측에 따르면, 상기 잡음 제거 필터의 게인을 조절하는 단계는, 상기 코히런스의 위상의 분산이 임계값보다 큰 경우, 상기 이전 타임에서 상기 코히런스의 세기에 기초하여 조절된 상기 잡음 제거 필터의 게인 값에 따라 현재 타임에서의 상기 잡음 제거 필터의 게인을 조절하는 단계; 또는 상기 코히런스의 위상의 분산이 상기 임계값보다 작거나 같은 경우, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 단계 중 어느 하나의 단계를 포함할 수 있다.According to another aspect of the present invention, the step of adjusting the gain of the noise canceling filter may include adjusting the gain of the noise canceling filter based on the intensity of the coherence at the previous time when the variance of the phase of the coherence is greater than the threshold, Adjusting a gain of the noise reduction filter at a current time according to a gain value of the noise reduction filter; Or adjusting the gain of the noise reduction filter based on the intensity of the coherence when the variance of the phase of the coherence is less than or equal to the threshold value.
또 다른 일측에 따르면, 상기 잡음 제거 필터를 업데이트하는 단계는, 상기 2 채널 입력 신호들에 음성 신호가 포함되는 경우, 상기 잡음 제거 필터에 의한 상기 음성 신호의 손실을 방지하도록 상기 잡음 제거 필터의 게인을 조절하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of updating the noise cancellation filter includes a step of, when a voice signal is included in the two-channel input signals, adjusting the gain of the noise cancellation filter to prevent loss of the voice signal by the noise cancellation filter And the like.
또 다른 일측에 따르면, 상기 잡음 제거 필터의 게인을 조절하는 단계는, 상기 2 채널 입력 신호들의 주파수 영역들 중 상기 코히런스의 세기가 임계값보다 큰 영역에 대한 상기 잡음 제거 필터의 게인을 1의 값으로 조절하는 단계; 및 상기 2 채널 입력 신호들의 주파수 영역들 중 상기 코히런스의 세기가 상기 임계값보다 작거나 같은 영역에 대한 상기 잡음 제거 필터의 게인을 상기 코히런스의 세기에 기초하여 조절하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of adjusting the gain of the noise cancellation filter may include adjusting the gain of the noise cancellation filter to a region where the intensity of the coherence is greater than a threshold value, ; And adjusting a gain of the noise reduction filter for an area where the intensity of the coherence is less than or equal to the threshold among the frequency areas of the two channel input signals based on the intensity of the coherence .
또 다른 일측에 따르면, 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 단계는, 상기 코히런스의 위상이 특정값에 분포하는 경우, 상기 2 채널 입력 신호들에 상기 음성 신호가 포함되는 것으로 판단하는 단계; 또는 상기 코히런스의 위상이 상기 특정값에 분포하지 않는 경우, 상기 2 채널 입력 신호들에 상기 음성 신호가 포함되지 않는 것으로 판단하는 단계 중 어느 하나의 단계를 포함할 수 있다.According to another aspect of the present invention, the step of determining whether or not a voice signal is included in the two-channel input signals includes: when the phase of the coherence is distributed to a specific value, ; And determining that the voice signal is not included in the two-channel input signals when the phase of the coherence is not distributed to the specific value.
또 다른 일측에 따르면, 상기 듀얼 마이크 기반의 잡음 제거 방법은, 상기 코히런스의 위상을 계산하는 단계; 및 상기 코히런스의 세기를 계산하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a dual microphone-based noise canceling method, comprising: calculating a phase of the coherence; And calculating the intensity of the coherence.
또 다른 일측에 따르면, 상기 2 채널 입력 신호들의 코히런스를 계산하는 단계는, Recursive smoothed periodogram 기법을 이용하여 상기 2 채널 입력 신호들의 PSD를 계산하는 단계; 및 상기 계산된 2 채널 입력 신호들의 PSD에 기초하여 상기 2 채널 입력 신호들의 APSD(Auto Power Spectral Density) 및 CPSD(Cross Power Spectral Density)의 비율로 상기 2 채널 입력 신호들의 정규화된(Normalized) 코히런스를 정의하는 단계를 포함할 수 있다.According to another aspect, calculating the coherence of the 2-channel input signals comprises calculating a PSD of the 2-channel input signals using a recursive smoothed periodogram technique; And a normalized coherence of the 2-channel input signals at a ratio of APSD (Auto Power Spectral Density) and CPSD (Cross Power Spectral Density) of the 2-channel input signals based on the PSD of the calculated 2-channel input signals. May be defined.
또 다른 일측에 따르면, 상기 2 채널 입력 신호들을 필터링하는 단계는, 상기 2 채널 입력 신호들에 대해 Fixed beamforming을 수행하는 단계: 상기 Fixed beamforming이 수행된 신호에 상기 업데이트된 잡음 제거 필터를 적용하는 단계; 및 상기 업데이트된 잡음 제거 필터가 적용된 신호를 출력하는 단계를 포함할 수 있다.According to another aspect, the step of filtering the 2-channel input signals may include performing Fixed beamforming on the 2-channel input signals, applying the updated noise reduction filter to the signal subjected to Fixed beamforming ; And outputting a signal to which the updated noise reduction filter is applied.
또 다른 일측에 따르면, 상기 듀얼 마이크 기반의 잡음 제거 방법은, 상기 출력되는 신호를 상기 주파수 도메인으로부터 상기 타임 도메인으로 변환하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, the dual microphone-based noise cancellation method may further include converting the output signal from the frequency domain to the time domain.
일 실시예에 따르면, 듀얼 마이크 기반의 잡음 제거 장치는, 듀얼 마이크들-상기 듀얼 마이크들 각각은 상기 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치됨-로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 주파수 도메인 변환부; 상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 코히런스 계산부; 상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 음성 신호 판단부; 상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 필터 업데이트부; 및 상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 필터링부를 포함한다.According to one embodiment, a dual microphone-based noise canceling apparatus includes two-channel input signals received from dual microphones - each of the dual microphones being located at a symmetrical position from a voice generating point of the user's body, To a frequency domain; A coherence calculator for calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals; A voice signal determination unit for determining whether a voice signal is included in the two-channel input signals based on a dispersion of the phase of the coherence; A filter updating unit updating the noise reduction filter based on the determination result; And a filtering unit for filtering the two-channel input signals using the updated noise reduction filter.
일측에 따르면, 상기 잡음 제거 장치는, 상기 2 채널 입력 신호들에 대해 Fixed beamforming을 수행하는 Fixed beamforming 수행부를 더 포함하고, 상기 필터링부는, 상기 Fixed beamforming이 수행된 신호에 상기 업데이트된 잡음 제거 필터를 적용하며 상기 업데이트된 잡음 제거 필터가 적용된 신호를 출력할 수 있다.According to one aspect of the present invention, the noise canceling apparatus further includes a fixed beamforming performing unit for performing fixed beamforming with respect to the two-channel input signals, and the filtering unit may perform the fixed beamforming on the updated noise canceling filter And may output a signal to which the updated noise reduction filter is applied.
또 다른 일측에 따르면, 상기 잡음 제거 장치는, 상기 출력되는 신호를 상기 주파수 도메인으로부터 상기 타임 도메인으로 변환하는 타임 도메인 변환부를 더 포함할 수 있다.According to another aspect of the present invention, the noise canceller may further include a time domain transformer for transforming the output signal from the frequency domain to the time domain.
일 실시예에 따르면, 사용자의 신체에 착용되어 통화 기능을 제공하는 착용형 장치는, 상기 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치되는 듀얼 마이크들; 및 상기 듀얼 마이크들과 연결된 잡음 제거 장치를 포함하고, 상기 잡음 제거 장치는, 상기 듀얼 마이크들로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 주파수 도메인 변환부; 상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 코히런스 계산부; 상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 음성 신호 판단부; 상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 필터 업데이트부; 및 상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 필터링부를 포함한다.According to one embodiment, a wearable device worn on a wearer's body to provide a call function includes dual microphones disposed at symmetrical positions from the point of sound generation of the user's body; And a noise eliminator connected to the dual microphones, wherein the noise canceller comprises: a frequency domain converter for converting the two channel input signals received from the dual microphones into a frequency domain from a time domain; A coherence calculator for calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals; A voice signal determination unit for determining whether a voice signal is included in the two-channel input signals based on a dispersion of the phase of the coherence; A filter updating unit updating the noise reduction filter based on the determination result; And a filtering unit for filtering the two-channel input signals using the updated noise reduction filter.
일 실시예들은 2 채널 입력 신호들의 코히런스를 이용함으로써, 듀얼 마이크 환경에서 2 채널 입력 신호들의 음성 신호의 손실을 최소화하며 바람 잡음과 같은 잡음 신호를 제거하는 잡음 제거 방법 및 장치를 제안할 수 있다.One embodiment may propose a noise cancellation method and apparatus that minimizes loss of voice signals of two channel input signals in a dual microphone environment and eliminates noise signals such as wind noise by using coherence of two channel input signals .
구체적으로, 일 실시예들은 2 채널 입력 신호들의 코히런스의 위상 및 세기를 이용하여 잡음 제거 필터를 적응적으로 업데이트함으로써, 업데이트된 잡음 제거 필터를 기반으로 2 채널 입력 신호들을 필터링하는 잡음 제거 방법 및 장치를 제안할 수 있다.In particular, one embodiment includes a noise cancellation method for adaptively updating a noise cancellation filter using the phase and intensity of the coherence of two channel input signals, filtering the two channel input signals based on the updated noise cancellation filter, Device can be proposed.
또한, 일 실시예들은 2 채널 입력 신호들의 코히런스를 이용함으로써, 듀얼 마이크 환경에서 2 채널 입력 신호들의 음성 신호의 손실을 최소화하며 잡음 신호를 제거하는 잡음 제거 장치를 포함하는 착용형 장치를 제안할 수 있다.In addition, one embodiment suggests a wearable device that uses a coherence of two-channel input signals to minimize the loss of voice signals of two-channel input signals in a dual-microphone environment and to remove noise signals .
도 1은 일 실시예에 따른 잡음 제거 장치의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 2 채널 입력 신호들이 음성 신호를 포함하는 경우와 그렇지 않은 경우 각각의 코히런스의 위상의 분산을 나타낸 도면이다.
도 3은 일 실시예에 따른 잡음 제거 장치에서 이용하는 듀얼 마이크들을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 잡음 제거 방법을 나타낸 플로우 차트이다.
도 5는 일 실시예에 따른 잡음 제거 장치를 포함하는 착용형 장치를 나타낸 블록도이다.1 is a block diagram illustrating a configuration of a noise canceling apparatus according to an embodiment.
FIG. 2 is a diagram illustrating a phase distribution of coherence when two-channel input signals according to an embodiment include a voice signal and when not.
3 is a view for explaining dual microphones used in the noise canceling apparatus according to an embodiment.
4 is a flowchart illustrating a noise removal method according to an embodiment.
5 is a block diagram illustrating a wearable device including a noise canceller in accordance with one embodiment.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. In addition, the same reference numerals shown in the drawings denote the same members.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Also, terminologies used herein are terms used to properly represent preferred embodiments of the present invention, which may vary depending on the viewer, the intention of the operator, or the custom in the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.
도 1은 일 실시예에 따른 잡음 제거 장치의 구성을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 2 채널 입력 신호들이 음성 신호를 포함하는 경우와 그렇지 않은 경우 각각의 코히런스의 위상의 분산을 나타낸 도면이다.FIG. 1 is a block diagram illustrating a configuration of a noise canceling apparatus according to an embodiment. FIG. 2 is a diagram illustrating a case where two-channel input signals according to an embodiment include a voice signal, Fig.
도 1을 참조하면, 일 실시예에 따른 잡음 제거 장치(100)는 주파수 도메인 변환부(110), 코히런스(Coherence) 계산부(120), 음성 신호 판단부(130), 필터 업데이트부(140), Fixed beamforming 수행부(150), 필터링부(160) 및 타임 도메인 변환부(170)를 포함할 수 있다.1, the
이하, 잡음 제거 장치(100)는 듀얼 마이크들이 구비된 착용형 장치에 결합되는 하드웨어 모듈로 구현될 수 있으나, 이에 제한되거나 한정되지 않고, 착용형 장치에 포함되는 프로세서에 설치되는 컴퓨터 프로그램 또는 착용형 장치에서 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다. 또한, 잡음 제거 장치(100)는 착용형 장치와 결합되는 대신에, 착용형 장치와 유무선으로 통신하는 별도의 하드웨어 모듈로 구현될 수 있으며, 더 나아가, 별도의 하드웨어 모듈에 포함되는 프로세서에 설치된 컴퓨터 프로그램 또는 별도의 하드웨어 모듈에서 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수도 있다.Hereinafter, the
또한, 이하, 잡음 제거 장치(100)가 착용형 장치에서 이용되는 경우로 설명하나, 이에 제한되거나 한정되지 않고, 듀얼 마이크들이 구비된 다양한 전자 기기와 결합되어 이용될 수 있다.Hereinafter, a case where the
주파수 도메인 변환부(110)는 듀얼 마이크들로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환한다. 여기서, 듀얼 마이크들은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치된다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.The
예를 들어, 주파수 도메인 변환부(110)로는 FFT(Fast Fourier Transform)가 사용될 수 있으며, 듀얼 마이크들로부터 수신되는 타임 도메인의 2 채널 입력 신호들을 주파수 도메인의 2 채널 입력 신호들로 변환할 수 있다. 따라서, 이하, 2 채널 입력 신호들은 주파수 도메인의 2 채널 입력 신호들을 의미한다.For example, an FFT (Fast Fourier Transform) may be used as the
코히런스 계산부(120)는 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 2 채널 입력 신호들의 코히런스(Coherence)를 계산한다. 구체적으로, 코히런스 계산부(120)는 주파수 도메인의 2 채널 입력 신호들의 PSD를 Recursive smoothed periodogram 기법을 이용하여 식 1과 같이 계산한 뒤, 계산된 2 채널 입력 신호들의 PSD에 기초하여 식 2와 같이 2 채널 입력 신호들의 APSD(Auto Power Spectral Density) 및 CPSD(Cross Power Spectral Density)의 비율로 2 채널 입력 신호들의 정규화된(Normalized) 코히런스를 정의할 수 있다.The
<식 1><
<식 2><
식 1에서, 는 2 채널 입력 신호들 , 의 PSD를 나타내고, 은 타임 인덱스를 나타내며, 는 주파수 인덱스를 나타내고, 는 쇼트 타임 스펙트럼을 나타내며, 는 smoothing constant를 나타낸다.In
식 2에서, 는 2 채널 입력 신호들의 코히런스를 나타내고, 는 2 채널 입력 신호들 , 의 CPSD를 나타내며, 및 각각은 2 채널 입력 신호들 , 의 APSD를 나타낸다.In
이와 같이 계산되는 2 채널 입력 신호들의 코히런스는 2 채널 입력 신호들에서 음성 신호와 잡음 신호를 구분하는데 유용한 특징(Feature)이기 때문에, 잡음 제거 장치(100)는 후술되는 음성 신호 판단부(130) 및 필터 업데이트부(140)에서 2 채널 입력 신호들의 코히런스를 이용하도록 한다.Since the coherence of the 2-channel input signals calculated as described above is a useful feature for distinguishing the voice signal and the noise signal from the 2-channel input signals, the
음성 신호 판단부(130)는 코히런스의 위상의 분산에 기초하여 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단한다.The voice
보다 상세하게, 2 채널 입력 신호들이 음성 신호를 포함하는 경우와 그렇지 않은 경우 각각의 코히런스의 위상의 분산을 나타낸 도 2를 참조하면, 2 채널 입력 신호들이 음성 신호들을 포함하는 경우(210), 2 채널 입력 신호들의 코히런스의 위상(2 채널 입력 신호들의 위상 차이)은 대부분 0의 값에 분포하는 것을 알 수 있고, 2 채널 입력 신호들이 음성 신호를 포함하지 않고 바람 잡음과 같은 잡음 신호만을 포함하는 경우(220), 2 채널 입력 신호들의 코히런스 위상은 고르게 분포하는 것을 알 수 있다.More specifically, referring to FIG. 2, which illustrates the variance of the phase of each coherence when two-channel input signals include and not include a speech signal, if the two-channel input signals include
따라서, 음성 신호 판단부(130)는 코히런스의 위상이 특정값(예컨대, 0의 값)에 분포하는 경우, 2 채널 입력 신호들에 음성 신호가 포함되는 것으로 판단할 수 있고, 코히런스의 위상이 특정값에 분포하지 않는 경우, 2 채널 입력 신호들에 음성 신호가 포함되지 않는 것으로 판단할 수 있다.Therefore, when the phase of the coherence is distributed to a specific value (for example, a value of 0), the voice
이 때, 코히런스의 위상이 특정값에 분포한다는 것은 코히런스의 위상의 분산이 작은 값을 갖는 것을 의미하고, 코히런스의 위상이 특정 값에 분포하지 않고 고르게 분포한다는 것은 코히런스의 위상의 분산이 큰 값을 갖는 것을 의미하기 때문에, 음성 신호 판단부(130)는 코히런스의 위상의 분산이 임계값보다 큰지 작은지를 판별함으로써, 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단할 수 있다.The fact that the phase of the coherence is distributed to a particular value means that the variance of the coherence phase has a small value and the fact that the phase of the coherence is not distributed to a specific value but is evenly distributed means that the dispersion of the coherence phase The voice
여기서, 음성 신호 판단부(130)는 코히런스의 위상의 분산을 기초로 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하기 위하여, 판단 과정 이전에 2 채널 입력 신호들의 코히런스의 위상을 식 3과 같이 계산할 수 있다.Here, the voice
<식 3><
식 3에서, 는 2 채널 입력 신호들의 코히런스의 위상(2 채널 입력 신호들의 위상 차이)를 나타내고, 는 식 2와 같이 계산되는 2 채널 입력 신호들의 코히런스를 나타낸다.In
이에, 음성 신호 판단부(130)는 식 3과 같이 계산된 코히런스의 위상(2 채널 입력 신호들의 위상 차이)에 기초하여 식 4와 같이 코히런스의 위상의 분산(2 채널 입력 신호들의 위상 차이의 분산) 을 획득할 수 있다.Accordingly, the speech
<식 4><Formula 4>
그러나 이에 제한되거나 한정되지 않고, 2 채널 입력 신호들의 코히런스의 위상 및 코히런스의 위상의 분산은 음성 신호 판단부(130)에서 계산되는 대신에, 코히런스 계산부(120)에서 미리 계산됨으로써, 음성 신호 판단부(130)가 코히런스 계산부(120)에서 계산된 코히런스의 위상의 분산을 이용하도록 할 수 있다.However, the variance of the coherence phase and coherence of the two-channel input signals may be calculated in advance by the
필터 업데이트부(140)는 음성 신호 판단부(130)의 판단 결과에 기초하여 잡음 제거 필터를 업데이트한다. 이하, 잡음 제거 필터로는 종래에 이용되는 위너 필터가 이용될 수 있으나, 이에 제한되거나 한정되지 않고, 다양한 잡음 제거 필터가 이용될 수 있다.The
구체적으로, 음성 신호 판단부(130)의 판단 결과, 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 필터 업데이트부(140)는 잡음 제거 필터가 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 코히런스의 세기(2 채널 입력 신호들간의 크기 상관도)에 기초하여 잡음 제거 필터의 게인을 조절할 수 있다.When the audio
이 때, 필터 업데이트부(140)는 잡음 제거 필터의 게인을 조절하는 과정에서 코히런스의 세기를 이용하기 위하여, 잡음 제거 필터의 게인 조절 과정 이전에 2 채널 입력 신호들의 코히런스의 세기를 식 5와 같이 계산할 수 있다.In this case, in order to use the intensity of the coherence in the process of adjusting the gain of the noise reduction filter, the
<식 5>≪ EMI ID =
식 5에서, 는 2 채널 입력 신호들의 코히런스의 세기를 나타내고, 는 식 2와 같이 계산되는 2 채널 입력 신호들의 코히런스를 나타낸다.In Equation 5, Represents the intensity of the coherence of the two channel input signals, Represents the coherence of the two-channel input signals calculated as Equation (2).
그러나 이에 제한되거나 한정되지 않고, 2 채널 입력 신호들의 코히런스의 세기는 음성 신호 판단부(130)에서 2 채널 입력 신호들의 코히런스의 위상 및 코히런스의 위상의 분산이 계산되는 과정에서 계산될 수 있으며, 코히런스 계산부(120)에서 미리 계산될 수도 있다.However, the strength of the coherence of the two-channel input signals can be calculated in the course of calculating the variance of the coherence phase and the coherence phase of the two-channel input signals in the voice
이에, 필터 업데이트부(140)는 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 코히런스의 세기에 기초하여 식 6과 같이 잡음 제거 필터의 게인을 잡음 제거용으로 조절할 수 있다. 이하, 잡음 제거용으로 조절된 잡음 제거 필터의 게인은 2 채널 입력 신호들의 주파수 영역들 중 잡음 신호가 존재하는 주파수 영역에 적용되는 게인일 수 있다.Accordingly, when the voice signal is not included in the two-channel input signals, the
<식 6>≪ EMI ID =
식 6에서, 는 잡음 제거용으로 조절된 잡음 제거 필터의 게인(현재 타임에서의 조절된 잡음 제거 필터의 게인)을 나타내고, 는 이전 타임에서 잡음 제거용으로 조절된 잡음 제거 필터의 게인을 나타내며, 는 코히런스의 위상의 분산 의 임계값을 나타낸다.In Equation 6, Represents the gain of the noise reduction filter adjusted for noise reduction (the gain of the adjusted noise reduction filter at the current time) Represents the gain of the noise reduction filter adjusted for noise removal at the previous time, The dispersion of the phase of the coherence Lt; / RTI >
즉, 식 6에서 보여지듯이, 필터 업데이트부(140)는 2 채널 입력 신호들에 음성 신호가 포함되지 않으면서 코히런스의 위상의 분산이 임계값보다 큰 경우, 이전 타임에서 코히런스의 세기에 기초하여 조절된 잡음 제거 필터의 게인 값에 따라 현재 타임에서의 잡음 제거 필터의 게인을 조절할 수 있고, 2 채널 입력 신호들에 음성 신호가 포함되지 않으면서 코히런스의 위상의 분산이 임계값보다 작거나 같은 경우, 코히런스의 세기에 기초하여 잡음 제거 필터의 게인을 조절할 수 있다.That is, as shown in Equation (6), when the variance of the phase of the coherence is larger than the threshold value without the voice signal being included in the two channel input signals, the
반면에, 음성 신호 판단부(130)의 판단 결과, 2 채널 입력 신호들에 음성 신호가 포함되는 경우, 필터 업데이트부(140)는 잡음 제거 필터에 의한 음성 신호의 손실을 방지하도록 잡음 제거 필터의 게인을 조절할 수 있다.On the other hand, when the voice
예를 들어, 2 채널 입력 신호들에 음성 신호가 포함되는 경우, 필터 업데이트부(140)는 식 7과 같이, 2 채널 입력 신호들의 주파수 영역들 중 코히런스의 세기가 임계값보다 큰 영역(음성 신호가 존재하는 주파수 영역)에 대한 잡음 제거 필터의 게인을 1의 값으로 조절하고, 2 채널 입력 신호들의 주파수 영역들 중 코히런스의 세기가 임계값보다 작거나 같은 영역(음성 신호가 존재하지 않는 주파수 영역)에 대한 잡음 제거 필터의 게인을 잡음 제거용으로(코히런스의 세기에 기초하여) 조절할 수 있다.For example, when the two-channel input signals include a voice signal, the
<식 7>Equation (7)
식 7에서, 는 2 채널 입력 신호들에 음성 신호가 포함되는 경우에 조절된 잡음 제거 필터의 게인을 나타내고, 는 2 채널 입력 신호들의 코히런스의 세기 의 임계값을 나타내며, 는 식 6과 같이 코히런스의 세기에 기초하여 잡음 제거용으로 조절된 잡음 제거 필터의 게인을 나타낸다.In Equation 7, Represents the gain of the noise reduction filter adjusted when the voice signal is included in the two channel input signals, The coherence of two channel input signals , ≪ / RTI > Represents the gain of the noise canceling filter adjusted for noise removal based on the coherence strength as shown in Equation (6).
Fixed beamforming 수행부(150)는 2채널 입력 신호들에 대해 Fixed beamforming을 수행한다. 예를 들어, Fixed beamforming 수행부(150)는 2채널 입력 신호들에 대해 delay sum을 수행하여, 2채널 입력 신호들에 대해 Fixed beamforming을 수행할 수 있다.The fixed
필터링부(160)는 상술한 바와 같이 필터 업데이트부(140)에 의해 업데이트된 잡음 제거 필터를 이용하여 2 채널 입력 신호들을 필터링한다. 구체적으로, 필터링부(160)는 Fixed beamforming이 수행된 신호에 업데이트된 잡음 제거 필터를 적용함으로써, 업데이트된 잡음 제거 필터가 적용된 신호를 출력할 수 있다.The
따라서, 필터링부(160)에서 출력되는 출력 신호는 Fixed beamforming이 수행된 신호가 상술한 바와 같이 조절된 잡음 제거 필터의 게인에 의해 처리된 신호일 수 있다.Therefore, the output signal output from the
타임 도메인 변환부(170)는 필터링부(160)에서 출력되는 신호를 주파수 도메인으로부터 타임 도메인으로 변환한다. 예를 들어, 타임 도메인 변환부(170)로는 IFFT(Inverse Fast Fourier Transform)가 사용될 수 있으며, 주파수 도메인의 출력 신호를 타임 도메인의 출력 신호로 변환할 수 있다.The time
이와 같이 잡음 제거 장치(100)는 적응적으로 게인이 조절되는 잡음 제거 필터를 이용함으로써, 2 채널 입력 신호들에서 음성 신호의 손실을 최소화하며 잡음 신호만을 제거할 수 있다.In this way, the
이상, 잡음 제거 장치(100)가 주파수 도메인 변환부(110), 코히런스(Coherence) 계산부(120), 음성 신호 판단부(130), 필터 업데이트부(140), Fixed beamforming 수행부(150), 필터링부(160) 및 타임 도메인 변환부(170)를 포함하는 구조를 갖는 것으로 설명하였으나, 이에 제한되거나 한정되지 않고, 잡음 제거 장치(100)는 상술한 바와 같이 2 채널 입력 신호들을 주파수 도메인으로 변환하고, 2 채널 입력 신호들의 코히런스를 계산하며, 코히런스의 위상의 분산에 기초하여 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하고, 판단 결과에 따라 적응적으로 게인을 조절하여 잡음 제거 필터를 업데이트함으로써, 업데이트된 잡음 제거 필터를 통해 2 채널 입력 신호들을 필터링하는 구성요소를 필수적으로 포함하는 가운데, 더 많은 구성요소들 또는 더 적은 구성요소들을 포함하는 구조를 가질 수 있다.The
도 3은 일 실시예에 따른 잡음 제거 장치에서 이용하는 듀얼 마이크들을 설명하기 위한 도면이다.3 is a view for explaining dual microphones used in the noise canceling apparatus according to an embodiment.
도 3을 참조하면, 일 실시예에 따른 잡음 제거 장치에서 이용하는 듀얼 마이크들(310, 320, 330)은 사용자의 신체 중 음성 발생 지점(340)으로부터 대칭되는 위치에 배치된다. 예를 들어, 듀얼 마이크들(310, 320, 330)은 사용자의 신체 중 음성 발생 지점인 입(340)을 기준으로 좌우, 상하 또는 대각 방향으로 대칭되며 음성 발생 지점인 입(340)으로부터 동일한 거리(311, 321, 331)의 위치에 배치될 수 있다.Referring to FIG. 3, the
도 4는 일 실시예에 따른 잡음 제거 방법을 나타낸 플로우 차트이다. 이하, 잡음 제거 방법은 도 1을 참조하여 상술된 잡음 제거 장치에 의해 수행되는 것으로 설명한다. 따라서, 잡음 제거 방법은 컴퓨터와 결합하는 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.4 is a flowchart illustrating a noise removal method according to an embodiment. Hereinafter, the noise canceling method will be described as being performed by the noise canceling apparatus described above with reference to FIG. Thus, the noise cancellation method may be implemented in the form of a computer program stored on a medium coupled to the computer.
도 4를 참조하면, 일 실시예에 따른 잡음 제거 장치는 듀얼 마이크들로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환한다(410). 여기서, 듀얼 마이크들 각각은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치된다.Referring to FIG. 4, the noise canceling apparatus according to an exemplary embodiment converts 410-channel input signals received from dual microphones into a frequency domain from a time domain. Here, each of the dual microphones is disposed at a symmetrical position from the voice generation point in the user's body.
이어서, 잡음 제거 장치는 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 2 채널 입력 신호들의 코히런스(Coherence)를 계산한다(420). 예를 들어, 420 단계에서, 잡음 제거 장치는 Recursive smoothed periodogram 기법을 이용하여 2 채널 입력 신호들의 PSD를 계산하고, 계산된 2 채널 입력 신호들의 PSD에 기초하여 2 채널 입력 신호들의 APSD(Auto Power Spectral Density) 및 CPSD(Cross Power Spectral Density)의 비율로 2 채널 입력 신호들의 정규화된(Normalized) 코히런스를 정의할 수 있다.The noise canceller then calculates the coherence of the two channel input signals based on the Power Spectral Density (PSD) of the two channel input signals (420). For example, in
그 다음, 잡음 제거 장치는 코히런스의 위상의 분산에 기초하여 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단한다(430). 예를 들어, 코히런스의 위상이 특정값에 분포하는 경우, 잡음 제거 장치는 2 채널 입력 신호들에 음성 신호가 포함되는 것으로 판단할 수 있다. 반면에, 코히런스의 위상이 특정값에 분포하지 않는 경우, 잡음 제거 장치는 2 채널 입력 신호들에 음성 신호가 포함되지 않는 것으로 판단할 수 있다.The noise canceller then determines (430) whether the voice signal is included in the two channel input signals based on the variance of the phase of the coherence. For example, when the phase of the coherence is distributed to a specific value, the noise canceller may determine that the voice signal is included in the two channel input signals. On the other hand, when the phase of the coherence is not distributed to a specific value, the noise canceller can judge that the voice signal is not included in the two-channel input signals.
이 때, 도면에는 도시되지 않았지만, 잡음 제거 장치는 430 단계 이전에, 코히런스의 위상을 계산함으로써, 코히런스의 위상의 분산을 획득할 수 있다.At this time, although not shown in the figure, the noise canceller can obtain the variance of the phase of the coherence by calculating the phase of the coherence before
이에, 잡음 제거 장치는 판단 결과에 기초하여 잡음 제거 필터를 업데이트한다(440).The noise removal apparatus updates the noise reduction filter based on the determination result (440).
구체적으로, 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 잡음 제거 장치는 잡음 제거 필터가 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 코히런스의 세기에 기초하여 잡음 제거 필터의 게인을 조절할 수 있다(441).More specifically, when the two-channel input signals do not include a speech signal, the noise canceller removes the noise signal included in the two-channel input signals, based on the strength of the coherence, The gain can be adjusted (441).
예를 들어, 441 단계에서 잡음 제거 장치는 코히런스의 위상의 분산이 임계값보다 작거나 같은 경우, 코히런스의 세기에 기초하여 잡음 제거 필터의 게인을 조절할 수 있다.For example, in
다른 예를 들면, 441 단계에서 잡음 제거 장치는 코히런스의 위상의 분산이 임계값보다 큰 경우, 이전 타임에서 코히런스의 세기에 기초하여 조절된 잡음 제거 필터의 게인 값에 따라 현재 타임에서의 잡음 제거 필터의 게인을 조절할 수 있다.For example, in
반면에, 2 채널 입력 신호들에 음성 신호가 포함되는 경우, 잡음 제거 장치는 잡음 제거 필터에 의한 음성 신호의 손실을 방지하도록 잡음 제거 필터의 게인을 조절할 수 있다(442).On the other hand, when the two-channel input signals include a voice signal, the noise canceller may adjust the gain of the noise canceling filter to prevent loss of the voice signal by the noise canceling filter (442).
예를 들어, 442 단계에서 잡음 제거 장치는 2 채널 입력 신호들의 주파수 영역들 중 코히런스의 세기가 임계값보다 큰 영역에 대한 잡음 제거 필터의 게인을 1의 값으로 조절하고, 2 채널 입력 신호들의 주파수 영역들 중 코히런스의 세기가 임계값보다 작거나 같은 영역에 대한 잡음 제거 필터의 게인을 코히런스의 세기에 기초하여 조절할 수 있다.For example, in
이 때, 도면에는 도시되지 않았지만, 잡음 제거 장치는 440 단계 이전에, 코히런스의 세기를 계산할 수 있다.At this time, although not shown in the figure, the noise canceller may calculate the intensity of the coherence before
따라서, 잡음 제거 장치는 업데이트된 잡음 제거 필터를 이용하여 2 채널 입력 신호들을 필터링한다(450). 구체적으로, 잡음 제거 장치는 450 단계에서, 2 채널 입력 신호들에 대해 Fixed beamforming을 수행함으로써, Fixed beamforming이 수행된 신호에 업데이트된 잡음 제거 필터를 적용한 뒤, 업데이트된 잡음 제거 필터가 적용된 신호를 출력할 수 있다.Thus, the noise canceller filters the two channel input signals using the updated noise cancellation filter (450). Specifically, in
그 후, 잡음 제거 장치는 필터링된 신호(450 단계에서 업데이트된 잡음 제거 필터가 적용되어 출력되는 신호)를 주파수 도메인으로부터 타임 도메인으로 변환할 수 있다(460).The noise canceller may then convert the filtered signal (the signal to which the updated noise reduction filter is applied in step 450) to the time domain from the frequency domain (460).
도 5는 일 실시예에 따른 잡음 제거 장치를 포함하는 착용형 장치를 나타낸 블록도이다.5 is a block diagram illustrating a wearable device including a noise canceller in accordance with one embodiment.
도 5를 참조하면, 일 실시예에 따른 착용형 장치(500)는 듀얼 마이크들(510) 및 잡음 제거 장치(520)를 포함한 채, 사용자의 신체에 착용되어 통화 기능을 제공하는데 필요한 더 많은 구성요소들을 더 포함할 수 있다. 예를 들어, 착용형 장치(500)는 통화 기능에 필요한 스피커 및 통신 모듈 등을 더 포함할 수 있다.5, a
듀얼 마이크들(510)은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치된다. 예를 들어, 듀얼 마이크들(510)은 사용자의 신체 중 음성 발생 지점을 기준으로 좌우, 상하 또는 대각 방향으로 대칭되며 동일한 거리의 위치에 배치될 수 있다.The
잡음 제거 장치(520)는 듀얼 마이크들로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하고, 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 2 채널 입력 신호들의 코히런스(Coherence)를 계산하며, 코히런스의 위상의 분산에 기초하여 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하고, 판단 결과에 기초하여 잡음 제거 필터를 업데이트함으로써, 업데이트된 잡음 제거 필터를 이용하여 2 채널 입력 신호들을 필터링한다.The
이와 같은 잡음 제거 장치(520)는 도 1을 참조하여 상술된 잡음 제거 장치와 동일한 구성요소들로 구성되어, 도 4를 참조하여 상술된 잡음 제거 방법을 수행하기 때문에, 잡음 제거 장치(520)에 대한 상세한 설명은 생략하기로 한다.Since the
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (15)
듀얼 마이크들-상기 듀얼 마이크들 각각은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치됨-로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 단계;
상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 단계;
상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 단계;
상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 단계; 및
상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 단계
를 포함하고,
상기 잡음 제거 필터를 업데이트하는 단계는,
상기 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 상기 잡음 제거 필터가 상기 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 단계
를 포함하며,
상기 잡음 제거 필터의 게인을 조절하는 단계는,
상기 코히런스의 위상의 분산이 임계값보다 큰 경우, 이전 타임-상기 이전 타임은 현재 수행되고 있는 잡음 제거 방법 직전에 수행 완료된 잡음 제거 방법이 수행되었던 타임을 의미함-에서 코히런스의 세기에 기초하여 조절된 잡음 제거 필터의 게인 값에 따라, 현재 타임-상기 현재 타임은 현재 잡음 제거 방법이 수행되고 있는 타임을 의미함-에서의 상기 잡음 제거 필터의 게인을 조절하는 단계; 또는
상기 코히런스의 위상의 분산이 상기 임계값보다 작거나 같은 경우, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 단계
중 어느 하나의 단계를 포함하는 잡음 제거 방법.In a dual microphone based noise cancellation method,
Converting the two-channel input signals received from the dual microphones, each of the dual microphones being located at a symmetrical position from a point of sound generation in the user's body, from the time domain to the frequency domain;
Calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals;
Determining whether a voice signal is included in the two-channel input signals based on a variance of the phase of the coherence;
Updating the noise reduction filter based on the determination result; And
Filtering the two-channel input signals using the updated noise reduction filter
Lt; / RTI >
Wherein updating the noise reduction filter comprises:
Wherein the noise elimination filter removes a noise signal included in the two-channel input signals when the two-channel input signals do not contain a voice signal, the gain of the noise elimination filter based on the strength of the coherence Adjusting step
/ RTI >
Wherein the step of adjusting the gain of the noise-
If the variance of the phase of the coherence is greater than a threshold value, the previous time-the previous time-refers to the time at which the performed noise cancellation method was performed immediately before the currently performed noise cancellation method-based on the strength of the coherence Adjusting a gain of the noise reduction filter in a current time according to a gain value of a noise reduction filter adjusted by the noise reduction filter, and the current time means a time at which a current noise reduction method is being performed; or
Adjusting the gain of the noise reduction filter based on the intensity of the coherence when the variance of the phase of the coherence is less than or equal to the threshold value
/ RTI > wherein the noise reduction step comprises the steps of:
상기 잡음 제거 필터를 업데이트하는 단계는,
상기 2 채널 입력 신호들에 음성 신호가 포함되는 경우, 상기 잡음 제거 필터에 의한 상기 음성 신호의 손실을 방지하도록 상기 잡음 제거 필터의 게인을 조절하는 단계
를 포함하는 잡음 제거 방법.The method according to claim 1,
Wherein updating the noise reduction filter comprises:
Adjusting a gain of the noise canceling filter to prevent loss of the voice signal by the noise canceling filter when the voice signal is included in the two channel input signals
≪ / RTI >
상기 잡음 제거 필터의 게인을 조절하는 단계는,
상기 2 채널 입력 신호들의 주파수 영역들 중 상기 코히런스의 세기가 임계값보다 큰 영역에 대한 상기 잡음 제거 필터의 게인을 1의 값으로 조절하는 단계; 및
상기 2 채널 입력 신호들의 주파수 영역들 중 상기 코히런스의 세기가 상기 임계값보다 작거나 같은 영역에 대한 상기 잡음 제거 필터의 게인을 상기 코히런스의 세기에 기초하여 조절하는 단계
를 포함하는 잡음 제거 방법.5. The method of claim 4,
Wherein the step of adjusting the gain of the noise-
Adjusting a gain of the noise cancellation filter to a value of 1 for a region where the intensity of the coherence is greater than a threshold value among frequency regions of the 2-channel input signals; And
Adjusting the gain of the noise reduction filter for an area where the intensity of the coherence is less than or equal to the threshold among the frequency areas of the two channel input signals based on the intensity of the coherence
≪ / RTI >
상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 단계는,
상기 코히런스의 위상이 특정값에 분포하는 경우, 상기 2 채널 입력 신호들에 상기 음성 신호가 포함되는 것으로 판단하는 단계; 또는
상기 코히런스의 위상이 상기 특정값에 분포하지 않는 경우, 상기 2 채널 입력 신호들에 상기 음성 신호가 포함되지 않는 것으로 판단하는 단계
중 어느 하나의 단계를 포함하는 잡음 제거 방법.The method according to claim 1,
Wherein the step of determining whether a voice signal is included in the two-
Determining that the voice signal is included in the two-channel input signals when the phase of the coherence is distributed to a specific value; or
Determining that the voice signal is not included in the two-channel input signals when the phase of the coherence is not distributed to the specific value
/ RTI > wherein the noise reduction step comprises the steps of:
상기 코히런스의 위상을 계산하는 단계; 및
상기 코히런스의 세기를 계산하는 단계
를 더 포함하는 잡음 제거 방법.The method according to claim 1,
Calculating a phase of the coherence; And
Calculating a strength of the coherence
≪ / RTI >
상기 2 채널 입력 신호들의 코히런스를 계산하는 단계는,
Recursive smoothed periodogram 기법을 이용하여 상기 2 채널 입력 신호들의 PSD를 계산하는 단계; 및
상기 계산된 2 채널 입력 신호들의 PSD에 기초하여 상기 2 채널 입력 신호들의 APSD(Auto Power Spectral Density) 및 CPSD(Cross Power Spectral Density)의 비율로 상기 2 채널 입력 신호들의 정규화된(Normalized) 코히런스를 정의하는 단계
를 포함하는 잡음 제거 방법.The method according to claim 1,
Wherein the step of calculating the coherence of the two-
Calculating a PSD of the two-channel input signals using a recursive smoothed periodogram technique; And
Channel input signals in a ratio of APSD (Auto Power Spectral Density) and CPSD (Cross Power Spectral Density) of the 2-channel input signals based on the PSD of the calculated 2-channel input signals. Steps to define
≪ / RTI >
상기 2 채널 입력 신호들을 필터링하는 단계는,
상기 2 채널 입력 신호들에 대해 Fixed beamforming을 수행하는 단계:
상기 Fixed beamforming이 수행된 신호에 상기 업데이트된 잡음 제거 필터를 적용하는 단계; 및
상기 업데이트된 잡음 제거 필터가 적용된 신호를 출력하는 단계
를 포함하는 잡음 제거 방법.The method according to claim 1,
Wherein the filtering of the two channel input signals comprises:
Performing fixed beamforming on the 2-channel input signals;
Applying the updated noise reduction filter to the signal subjected to the fixed beamforming; And
And outputting a signal to which the updated noise cancellation filter is applied
≪ / RTI >
상기 출력되는 신호를 상기 주파수 도메인으로부터 상기 타임 도메인으로 변환하는 단계
를 더 포함하는 잡음 제거 방법.10. The method of claim 9,
Converting the output signal from the frequency domain to the time domain
≪ / RTI >
상기 잡음 제거 방법은,
듀얼 마이크들-상기 듀얼 마이크들 각각은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치됨-로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 단계;
상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 단계;
상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 단계;
상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 단계; 및
상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 단계
를 포함하고,
상기 잡음 제거 필터를 업데이트하는 단계는,
상기 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 상기 잡음 제거 필터가 상기 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 단계
를 포함하며,
상기 잡음 제거 필터의 게인을 조절하는 단계는,
상기 코히런스의 위상의 분산이 임계값보다 큰 경우, 이전 타임-상기 이전 타임은 현재 수행되고 있는 잡음 제거 방법 직전에 수행 완료된 잡음 제거 방법이 수행되었던 타임을 의미함-에서 코히런스의 세기에 기초하여 조절된 잡음 제거 필터의 게인 값에 따라, 현재 타임-상기 현재 타임은 현재 잡음 제거 방법이 수행되고 있는 타임을 의미함-에서의 상기 잡음 제거 필터의 게인을 조절하는 단계; 또는
상기 코히런스의 위상의 분산이 상기 임계값보다 작거나 같은 경우, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 단계
중 어느 하나의 단계를 포함하는 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium for executing a dual microphone-based noise canceling method in combination with a computer implementing an electronic device,
The noise cancellation method includes:
Converting the two-channel input signals received from the dual microphones, each of the dual microphones being located at a symmetrical position from a point of sound generation in the user's body, from the time domain to the frequency domain;
Calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals;
Determining whether a voice signal is included in the two-channel input signals based on a variance of the phase of the coherence;
Updating the noise reduction filter based on the determination result; And
Filtering the two-channel input signals using the updated noise reduction filter
Lt; / RTI >
Wherein updating the noise reduction filter comprises:
Wherein the noise elimination filter removes a noise signal included in the two-channel input signals when the two-channel input signals do not contain a voice signal, the gain of the noise elimination filter based on the strength of the coherence Adjusting step
/ RTI >
Wherein the step of adjusting the gain of the noise-
If the variance of the phase of the coherence is greater than a threshold value, the previous time-the previous time-refers to the time at which the performed noise cancellation method was performed immediately before the currently performed noise cancellation method-based on the strength of the coherence Adjusting a gain of the noise reduction filter in a current time according to a gain value of a noise reduction filter adjusted by the noise reduction filter, and the current time means a time at which a current noise reduction method is being performed; or
Adjusting the gain of the noise reduction filter based on the intensity of the coherence when the variance of the phase of the coherence is less than or equal to the threshold value
The computer program being stored on a recording medium.
듀얼 마이크들-상기 듀얼 마이크들 각각은 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치됨-로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 주파수 도메인 변환부;
상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 코히런스 계산부;
상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 음성 신호 판단부;
상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 필터 업데이트부; 및
상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 필터링부
를 포함하고,
상기 필터 업데이트부는,
상기 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 상기 잡음 제거 필터가 상기 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하며,
상기 코히런스의 위상의 분산이 임계값보다 큰 경우, 이전 타임-상기 이전 타임은 현재 수행되고 있는 잡음 제거 방법 직전에 수행 완료된 잡음 제거 방법이 수행되었던 타임을 의미함-에서 코히런스의 세기에 기초하여 조절된 잡음 제거 필터의 게인 값에 따라, 현재 타임-상기 현재 타임은 현재 잡음 제거 방법이 수행되고 있는 타임을 의미함-에서의 상기 잡음 제거 필터의 게인을 조절하거나,
상기 코히런스의 위상의 분산이 상기 임계값보다 작거나 같은 경우, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 잡음 제거 장치.In a dual microphone based noise canceller,
A frequency domain conversion unit for converting the two channel input signals received from the time domain into the frequency domain from the dual microphones, each of the dual microphones being disposed at a symmetrical position from the voice generation point of the user's body;
A coherence calculator for calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals;
A voice signal determination unit for determining whether a voice signal is included in the two-channel input signals based on a dispersion of the phase of the coherence;
A filter updating unit updating the noise reduction filter based on the determination result; And
And a filtering unit for filtering the two-channel input signals using the updated noise elimination filter,
Lt; / RTI >
Wherein the filter update unit comprises:
Wherein the noise elimination filter removes a noise signal included in the two-channel input signals when the two-channel input signals do not contain a voice signal, the gain of the noise elimination filter based on the strength of the coherence Regulating,
If the variance of the phase of the coherence is greater than a threshold value, the previous time-the previous time-refers to the time at which the performed noise cancellation method was performed immediately before the currently performed noise cancellation method-based on the strength of the coherence Wherein the current time is a time at which the current noise cancellation method is being performed, the gain of the noise cancellation filter being adjusted according to the gain value of the adjusted noise cancellation filter,
And adjusts the gain of the noise reduction filter based on the intensity of the coherence when the variance of the phase of the coherence is less than or equal to the threshold value.
상기 2 채널 입력 신호들에 대해 Fixed beamforming을 수행하는 Fixed beamforming 수행부
를 더 포함하고,
상기 필터링부는,
상기 Fixed beamforming이 수행된 신호에 상기 업데이트된 잡음 제거 필터를 적용하며 상기 업데이트된 잡음 제거 필터가 적용된 신호를 출력하는, 잡음 제거 장치.13. The method of claim 12,
A fixed beamforming unit for performing fixed beamforming on the 2-channel input signals,
Further comprising:
Wherein the filtering unit comprises:
And applying the updated noise reduction filter to the signal subjected to the fixed beamforming and outputting a signal to which the updated noise reduction filter is applied.
상기 출력되는 신호를 상기 주파수 도메인으로부터 상기 타임 도메인으로 변환하는 타임 도메인 변환부
를 더 포함하는 잡음 제거 장치.14. The method of claim 13,
A time domain transformer for converting the output signal from the frequency domain to the time domain,
Further comprising a noise canceling unit.
상기 사용자의 신체 중 음성 발생 지점으로부터 대칭되는 위치에 배치되는 듀얼 마이크들; 및
상기 듀얼 마이크들과 연결된 잡음 제거 장치
를 포함하고,
상기 잡음 제거 장치는,
상기 듀얼 마이크들로부터 수신되는 2 채널 입력 신호들을 타임 도메인으로부터 주파수 도메인으로 변환하는 주파수 도메인 변환부;
상기 2 채널 입력 신호들의 PSD(Power Spectral Density)에 기초하여 상기 2 채널 입력 신호들의 코히런스(Coherence)를 계산하는 코히런스 계산부;
상기 코히런스의 위상의 분산에 기초하여 상기 2 채널 입력 신호들에 음성 신호가 포함되는지 여부를 판단하는 음성 신호 판단부;
상기 판단 결과에 기초하여 잡음 제거 필터를 업데이트하는 필터 업데이트부; 및
상기 업데이트된 잡음 제거 필터를 이용하여 상기 2 채널 입력 신호들을 필터링하는 필터링부
를 포함하고,
상기 필터 업데이트부는,
상기 2 채널 입력 신호들에 음성 신호가 포함되지 않는 경우, 상기 잡음 제거 필터가 상기 2 채널 입력 신호들에 포함되는 잡음 신호를 제거하도록, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하며,
상기 코히런스의 위상의 분산이 임계값보다 큰 경우, 이전 타임-상기 이전 타임은 현재 수행되고 있는 잡음 제거 방법 직전에 수행 완료된 잡음 제거 방법이 수행되었던 타임을 의미함-에서 코히런스의 세기에 기초하여 조절된 잡음 제거 필터의 게인 값에 따라, 현재 타임-상기 현재 타임은 현재 잡음 제거 방법이 수행되고 있는 타임을 의미함-에서의 상기 잡음 제거 필터의 게인을 조절하거나,
상기 코히런스의 위상의 분산이 상기 임계값보다 작거나 같은 경우, 상기 코히런스의 세기에 기초하여 상기 잡음 제거 필터의 게인을 조절하는 착용형 장치.1. A wearable device worn on a user's body to provide a call function,
Dual microphones positioned at symmetrical positions from the point of sound generation of the user's body; And
The noise eliminator connected to the dual microphones
Lt; / RTI >
The noise cancellation device includes:
A frequency domain converter for converting the two channel input signals received from the dual microphones into a frequency domain from a time domain;
A coherence calculator for calculating a coherence of the two-channel input signals based on PSD (Power Spectral Density) of the two-channel input signals;
A voice signal determination unit for determining whether a voice signal is included in the two-channel input signals based on a dispersion of the phase of the coherence;
A filter updating unit updating the noise reduction filter based on the determination result; And
And a filtering unit for filtering the two-channel input signals using the updated noise elimination filter,
Lt; / RTI >
Wherein the filter update unit comprises:
Wherein the noise elimination filter removes a noise signal included in the two-channel input signals when the two-channel input signals do not contain a voice signal, the gain of the noise elimination filter based on the strength of the coherence Regulating,
If the variance of the phase of the coherence is greater than a threshold value, the previous time-the previous time-refers to the time at which the performed noise cancellation method was performed immediately before the currently performed noise cancellation method - based on the strength of the coherence Wherein the current time is a time at which the current noise cancellation method is being performed, the gain of the noise cancellation filter being adjusted according to the gain value of the adjusted noise cancellation filter,
And adjusts the gain of the noise reduction filter based on the intensity of the coherence when the dispersion of the phase of the coherence is less than or equal to the threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170009060A KR101903874B1 (en) | 2017-01-19 | 2017-01-19 | Noise reduction method and apparatus based dual on microphone |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170009060A KR101903874B1 (en) | 2017-01-19 | 2017-01-19 | Noise reduction method and apparatus based dual on microphone |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180085481A KR20180085481A (en) | 2018-07-27 |
KR101903874B1 true KR101903874B1 (en) | 2018-10-02 |
Family
ID=63078436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170009060A KR101903874B1 (en) | 2017-01-19 | 2017-01-19 | Noise reduction method and apparatus based dual on microphone |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101903874B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11217269B2 (en) | 2020-01-24 | 2022-01-04 | Continental Automotive Systems, Inc. | Method and apparatus for wind noise attenuation |
CN113988143B (en) * | 2021-12-27 | 2022-05-10 | 北京航空航天大学杭州创新研究院 | Bad track automatic identification method based on optical pump magnetometer measurement brain magnetism |
-
2017
- 2017-01-19 KR KR1020170009060A patent/KR101903874B1/en active IP Right Grant
Non-Patent Citations (1)
Title |
---|
Christoph Matthias Nelke et al., ‘Dual microphone wind noise reduction by exploiting the complex coherence’, ITG-Fachbericht 252-Speech communication, 24, pp.1~4, September 2014.* |
Also Published As
Publication number | Publication date |
---|---|
KR20180085481A (en) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI463817B (en) | System and method for adaptive intelligent noise suppression | |
KR101610656B1 (en) | System and method for providing noise suppression utilizing null processing noise subtraction | |
US9672834B2 (en) | Dynamic range compression with low distortion for use in hearing aids and audio systems | |
US20140205107A1 (en) | Adaptive noise reduction using level cues | |
WO2012026126A1 (en) | Sound source separator device, sound source separator method, and program | |
EP2755204A1 (en) | Noise suppression device and method | |
JP6371167B2 (en) | Reverberation suppression device | |
WO2014097637A1 (en) | Directional microphone device, audio signal processing method and program | |
KR101903874B1 (en) | Noise reduction method and apparatus based dual on microphone | |
JP2007243709A (en) | Gain control method and gain control apparatus | |
US20130301841A1 (en) | Audio processing device, audio processing method and program | |
US10199048B2 (en) | Bass enhancement and separation of an audio signal into a harmonic and transient signal component | |
CN109326297B (en) | Adaptive post-filtering | |
US20110184731A1 (en) | Signal processing method and apparatus for amplifying speech signals | |
US10951978B2 (en) | Output control of sounds from sources respectively positioned in priority and nonpriority directions | |
CN113365176B (en) | Method and device for realizing active noise elimination and electronic equipment | |
CN109308907B (en) | single channel noise reduction | |
JP5316127B2 (en) | Sound processing apparatus and program | |
CN110168640A (en) | For enhancing the device and method for needing component in signal | |
KR101096091B1 (en) | Apparatus for Separating Voice and Method for Separating Voice of Single Channel Using the Same | |
JP4518817B2 (en) | Sound collection method, sound collection device, and sound collection program | |
JP6244652B2 (en) | Voice processing apparatus and program | |
US11322168B2 (en) | Dual-microphone methods for reverberation mitigation | |
KR101394504B1 (en) | Apparatus and method for adaptive noise processing | |
Vashkevich et al. | Speech enhancement in a smartphone-based hearing aid |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |