KR20110061781A - Apparatus and method for subtracting noise based on real-time noise estimation - Google Patents
Apparatus and method for subtracting noise based on real-time noise estimation Download PDFInfo
- Publication number
- KR20110061781A KR20110061781A KR1020090118290A KR20090118290A KR20110061781A KR 20110061781 A KR20110061781 A KR 20110061781A KR 1020090118290 A KR1020090118290 A KR 1020090118290A KR 20090118290 A KR20090118290 A KR 20090118290A KR 20110061781 A KR20110061781 A KR 20110061781A
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- input
- input signal
- spectrum
- speech
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000003595 spectral effect Effects 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
본 발명은 잡음 환경에서 입력 음성에 포함된 동적 잡음을 제거하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 잡음이 포함된 입력 음성에 대하여 실시간 잡음 추정에 기반하여 동적 잡음을 제거함으로써 음성 인식의 성능을 높이는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for removing dynamic noise included in an input speech in a noisy environment. The present invention relates to a method and a device for improving performance.
본 발명은 지식 경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2006-S-036-04, 과제명: 신성장동력산업용 대용량 대화형 분산 내장 처리 음성인터페이스 기술개발].The present invention is derived from a study conducted as part of the IT growth engine technology development project of the Ministry of Knowledge Economy. [Task management number: 2006-S-036-04, Project name: Large-capacity interactive distributed embedded processing voice interface technology for new growth engine industry Development].
최근 정보통신 기술과 컴퓨터 기술이 발달하면서 각종 통신 장치나 데이터 처리 장치에 휴먼 인터페이스(human interface)를 제공하는 음성 인식 기술 분야에 대한 관심이 높아지고 있다. 이러한 추세 속에서 잡음으로 인하여 음성 인식 성능이 저하되는 문제를 해결하기 위한 연구가 활발히 진행되고 있다. 깨끗한 잡음 환경에서는 거의 완벽한 성능을 갖는 음성 인식 시스템도 입력 음성에 잡음이 혼합된 실제 환경에서는 인식률이 급격히 저하되는 경우를 흔히 볼 수 있는바, 음성 인식 성능을 향상시키기 위하여 음성이 입력될 때 부가되는 잡음의 영향을 최대한 줄이려는 것이다.Recently, with the development of information communication technology and computer technology, there is a growing interest in the field of speech recognition technology that provides a human interface to various communication devices and data processing devices. Under these trends, studies are being actively conducted to solve the problem of deterioration of speech recognition performance due to noise. Even in a clean noise environment, a speech recognition system that has almost perfect performance can often be found in a case where the recognition rate is drastically reduced in an actual environment in which noise is mixed with the input voice, which is added when the voice is input to improve the speech recognition performance. To minimize the effects of noise.
음성 인식 성능을 향상시키기 위하여 입력 음성에 혼합된 잡음을 처리하는 기법은 현재까지 여러 가지 접근 방식이 제시되어 있는데, 대표적으로 신호처리 기반의 스펙트럼 향상(spectral enhancement) 기법을 통하여 음성 인식 시스템의 전처리 과정에서 음성의 특성을 향상시키는 방식과 통계모델 기반의 모델 적응(model adaptation) 기법을 통하여 음성 인식 시스템의 인식 모델을 잡음 환경에 적응시키는 방식이 있다.In order to improve the speech recognition performance, various approaches to processing the noise mixed with the input speech have been proposed so far. Typically, the preprocessing process of the speech recognition system through the spectral enhancement technique based on signal processing is proposed. There is a method to improve the characteristics of speech and to adapt the recognition model of the speech recognition system to the noise environment through a model adaptation technique based on statistical model.
스펙트럼 향상 기법은 잡음이 부가된 입력 음성으로부터 잡음을 제거하여 원래의 깨끗한 음성을 추정하는 기법으로서, 예컨대 입력 신호에 음성이 존재하지 않는 비음성 구간에서 추정된 잡음 스펙트럼을 입력 신호에 음성이 존재하는 음성 구간에서 입력 신호의 스펙트럼으로부터 차감한다. 이와 같은 스펙트럼 향상 기법 중에는 decision-directed 기반의 위너 필터(Wiener filter)를 사용하는 방식이 있는데, 2 스테이지(stage)로 확장된 형태가 ETSI(European Telecommunications Standards Institute) AFE(Advanced Front-End) 표준으로 채택된 바 있다. The spectral enhancement technique removes the noise from the noisy input speech and estimates the original clean speech. For example, the noise spectrum is estimated in the non-speech interval where no speech is present in the input signal. Subtract from the spectrum of the input signal in the speech section. One such technique is to use a decision-directed based Wiener filter, which is extended to two stages as the European Telecommunications Standards Institute (ETSI) Advanced Front-End (AFE) standard. Has been adopted.
모델 적응 기법은 잡음이 부가된 입력 음성을 수정하는 대신에 음성 인식 모델을 잡음 환경에 맞도록 적응시키는 기법으로서, 예컨대 음성 인식 모델로 은닉 마코프 모델(Hidden Markov Model, HMM)을 채택한 경우 많은 양의 깨끗한 음성으로 학습한 은닉 마코프 모델을 잡음이 부가된 음성으로 학습한 형태로 변형시킨다. 모 델 적응 기법의 대표적인 예로 PMC(Parallel Model Combination) 기법을 들 수 있는데, PMC는 깨끗한 음성과 잡음을 각각 다른 모델로 표현하고 이 두 모델을 결합하여 잡음이 섞인 음성의 모델을 생성하는 방식으로 잡음 모델에 포함된 잡음 환경에 대하여 다른 기법에 비해 우수한 성능을 보이나, 계산량이 많다는 단점이 있다.The model adaptation technique adapts the speech recognition model to the noise environment instead of modifying the noisy input speech. For example, when the Hidden Markov Model (HMM) is adopted as the speech recognition model, The hidden Markov model trained with clear speech is transformed into a trained form with noisy speech. A representative example of the model adaptation technique is the PMC (Parallel Model Combination) technique. PMC expresses clean speech and noise as different models, and combines the two models to generate a noise-mixed model of noise. The noise environment included in the model is superior to other techniques, but has a disadvantage in that it has a large amount of calculation.
도 1은 종래 위너 필터를 이용하여 입력 음성으로부터 잡음을 제거하는 음성 처리 장치의 예시적인 구조를 나타내는 도면이다.1 is a diagram illustrating an exemplary structure of a speech processing device for removing noise from an input speech using a conventional Wiener filter.
도 1을 참조하면, 음성 처리 장치(100)는 입력 스펙트럼 추정부(101), 비음성 구간 잡음 추정부(102), 확률 스펙트럼 밀도 평균값 추정부(103), 위너 필터 계산부(104) 및 위너 필터 수행부(105)를 포함한다.Referring to FIG. 1, the speech processing apparatus 100 may include an
입력 스펙트럼 추정부(101)는 입력 신호(Sin)에 대하여 시간 및 주파수 단위의 스펙트럼을 추정한다.The
비음성 구간 잡음 추정부(102)는 입력 스펙트럼 추정부(101)가 추정한 스펙트럼에 기반하여 입력 신호에 음성이 존재하는지 여부를 추정한 후 가장 최근의 비음성 구간에서의 잡음의 주파수 특성을 추정한다.The non-voice
평균값 추정부(103)는 입력 스펙트럼 추정부(101)가 추정한 스펙트럼으로부터 전력 스펙트럼 밀도(Power Spectral Density, PSD)의 평균값을 추정한다.The
위너 필터 계산부(104)는 입력 스펙트럼 추정부(101)가 추정한 스펙트럼, 비음성 구간 잡음 추정부(102)가 추정한 가장 최근의 비음성 구간에서의 잡음의 주파수 특성 및 평균값 추정부(103)가 추정한 전력 스펙트럼 밀도의 평균값을 이용하여 현재 최적의 위너 필터를 설계한다.The Wiener
위너 필터 수행부(105)는 위너 필터 계산부(104)가 계산한 위너 필터를 수행하여 음성 처리 장치(100)에 입력된 입력 신호(Sin)에서 잡음이 제거된 출력 신호(Sout)를 출력한다.The winner
종래의 위너 필터를 이용한 잡음 제거 방법 및 그 장치는 정적 잡음(stationary noise)를 효과적으로 제거할 수 있으나, 잡음 변화가 심한 환경과 음성구간에서 특히 동적 잡음이 혼재할 경우 성능 향상이 제한되는 단점이 있다.Conventional noise canceling method and apparatus using Wiener filter can effectively remove stationary noise, but there is a disadvantage that the performance improvement is limited especially when dynamic noise is mixed in environment with high noise variation and voice section. .
본 발명은 상기와 같은 문제점을 인식한 것으로서, 비음성 구간 및 음성 구간에서 실시간으로 잡음의 전력 스펙트럼 밀도를 추정하여 위너 필터를 계산하는 데에 활용함으로써 음성 구간에서 동적 잡음을 효과적으로 제거할 수 있는 음성 처리 방법 및 그 장치를 제공하는 데에 그 목적이 있다.The present invention recognizes the above problems, and can be used to calculate the Wiener filter by estimating the power spectral density of the noise in real time in the non-voice section and the speech section, thereby effectively removing the dynamic noise in the speech section. Its purpose is to provide a treatment method and an apparatus thereof.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The object of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 입력 신호에 대한 주파수 스펙트럼인 입력 스펙트럼을 추정하는 입력 스펙트럼 추정부와, 상기 입력 스펙트럼에 기반하여 상기 입력 신호에 포함된 잡음의 전력 스펙트럼 밀도를 추정하는 잡음 추정부와, 상기 입력 스펙트럼으로부터 상기 입력 신호의 전력 스펙트럼 밀도의 평균값을 추정하는 평균값 추정부와, 상기 잡음의 전력 스펙트럼 밀도 및 상기 입력 신호의 전력 스펙트럼 밀도에 기반하여 위너 필터를 계산하는 위너 필터 계산부와, 상기 위너 필터를 이용하여 상기 입력 신호에 포함된 잡음을 제거하여 상기 입력 신호에 포함된 음성 신호의 추정값을 산출하는 위너 필터 수행부를 포함하는 음성 처리 장치를 제공한다.According to an embodiment of the present invention for achieving the above object, an input spectrum estimator for estimating an input spectrum which is a frequency spectrum of an input signal, and the power of noise included in the input signal based on the input spectrum A noise estimator for estimating a spectral density, an average value estimator for estimating an average value of the power spectral density of the input signal from the input spectrum, and a Wiener filter based on the power spectral density of the noise and the power spectral density of the input signal And a Wiener filter calculator configured to calculate a Wiener filter calculation unit and a Wiener filter performer configured to remove noise included in the input signal using the Wiener filter to calculate an estimated value of the voice signal included in the input signal. .
또한, 상기 잡음 추정부는 상기 입력 스펙트럼에 기반하여 상기 입력 신호에 음성 신호가 포함된 구간인지 여부를 추정하는 음성/비음성 구간 추정부를 더 포함하는 음성 처리 장치를 제공한다.The noise estimator further includes a speech / non-speech section estimator that estimates whether the noise signal is included in the input signal based on the input spectrum.
또한, 상기 잡음 추정부는 상기 입력 신호에 음성 신호가 포함되지 않은 구간에서 상기 입력 신호에 포함된 잡음의 전력 스펙트럼 밀도인 제1 전력 스펙트럼 밀도를 추정하는 비음성 구간 잡음 추정부와, 상기 입력 신호에 음성 신호가 포함된 구간에서 상기 입력 신호에 포함된 잡음의 전력 스펙트럼 밀도인 제2 전력 스펙트럼 밀도를 추정하는 음성 구간 잡음 추정부를 더 포함하는 음성 처리 장치를 제공한다.The noise estimator may further include a non-voice interval noise estimator for estimating a first power spectral density, which is a power spectral density of noise included in the input signal, in a section in which the voice signal is not included in the input signal. The speech processing apparatus further includes a speech section noise estimator for estimating a second power spectral density, which is a power spectral density of noise included in the input signal in a section including a speech signal.
또한, 상기 음성 구간 잡음 추정부는 상기 비음성 구간 잡음 추정부에 의하여 추정된 상기 제1 전력 스펙트럼 밀도 및 상기 입력 신호에 포함된 잡음에 대하여 잡음 추적 기법을 적용하여 추정한 전력 스펙트럼 밀도에 기반하여 제2 전력 스펙트럼 밀도를 추정하는 음성 처리 장치를 제공한다.The voice interval noise estimator may be further configured based on the first power spectral density estimated by the non-voice interval noise estimator and a power spectral density estimated by applying a noise tracking technique to the noise included in the input signal. 2 provides a speech processing device for estimating power spectral density.
또한, 상기 위너 필터 계산부는 상기 입력 신호에 음성 신호가 포함되지 않은 구간의 경우 상기 제1 전력 스펙트럼 밀도 및 상기 입력 신호의 전력 스펙트럼 밀도에 기반하여 위너 필터를 계산하고, 상기 입력 신호에 음성 신호가 포함된 구간의 경우 상기 제2 전력 스펙트럼 밀도 및 상기 입력 신호의 전력 스펙트럼 밀도에 기반하여 위너 필터를 계산하는 음성 처리 장치를 제공한다.In addition, the Wiener filter calculator may calculate a Wiener filter based on the first power spectral density and the power spectral density of the input signal when the voice signal is not included in the input signal, and the voice signal is included in the input signal. In the included section, a voice processing apparatus for calculating a Wiener filter based on the second power spectral density and the power spectral density of the input signal is provided.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, (a) 입력 신호에 대한 주파수 스펙트럼인 입력 스펙트럼을 추정하는 단계와, (b) 상기 입력 스펙트럼에 기반하여 상기 입력 신호에 포함된 잡음의 전력 스펙트럼 밀도를 추정하는 단계와, (c) 상기 입력 스펙트럼으로부터 상기 입력 신호의 전력 스펙트럼 밀도의 평균값을 추정하는 단계와, (d) 상기 잡음의 전력 스펙트럼 밀도 및 상기 입력 신호의 전력 스펙트럼 밀도에 기반하여 위너 필터를 계산하는 단계와, (e) 상기 위너 필터를 이용하여 상기 입력 신호에 포함된 잡음을 제거하여 상기 입력 신호에 포함된 음성 신호의 추정값을 산출하는 단계를 포함하는 음성 처리 방법을 제공한다.According to another embodiment of the present invention for achieving the above object, (a) estimating the input spectrum which is a frequency spectrum of the input signal, and (b) included in the input signal based on the input spectrum Estimating a power spectral density of noise; (c) estimating an average value of power spectral density of the input signal from the input spectrum; and (d) power spectral density of the noise and power spectral density of the input signal. Calculating a Wiener filter based on the; and (e) calculating an estimated value of the voice signal included in the input signal by removing noise included in the input signal using the Wiener filter. To provide.
또한, 상기 (b) 단계는 상기 입력 스펙트럼에 기반하여 상기 입력 신호에 음성 신호가 포함된 구간인지 여부를 추정하는 단계를 더 포함하는 음성 처리 방법을 제공한다.In addition, the step (b) provides a speech processing method further comprising the step of estimating whether the input signal is a section including the speech signal based on the input spectrum.
또한, 상기 (b) 단계는 상기 입력 신호에 음성 신호가 포함되지 않은 구간에서 상기 입력 신호에 포함된 잡음의 전력 스펙트럼 밀도인 제1 전력 스펙트럼 밀도를 추정하는 단계와, 상기 입력 신호에 음성 신호가 포함된 구간에서 상기 입력 신호에 포함된 잡음의 전력 스펙트럼 밀도인 제2 전력 스펙트럼 밀도를 추정하는 단계를 더 포함하는 음성 처리 방법을 제공한다.In addition, the step (b) is a step of estimating the first power spectral density, which is the power spectral density of the noise included in the input signal in a period in which the voice signal is not included in the input signal, and the voice signal in the input signal The method further includes estimating a second power spectral density, which is a power spectral density of noise included in the input signal in an included section.
또한, 상기 제2 전력 스펙트럼 밀도는 상기 제1 전력 스펙트럼 밀도 및 상기 입력 신호에 포함된 잡음에 대하여 잡음 추적 기법을 적용하여 추정한 전력 스펙트럼 밀도에 기반하여 추정하는 음성 처리 방법을 제공한다.In addition, the second power spectral density provides a speech processing method for estimating based on the power spectral density estimated by applying a noise tracking technique to the first power spectral density and the noise contained in the input signal.
또한, 상기 (d) 단계는 상기 입력 신호에 음성 신호가 포함되지 않은 구간의 경우 상기 제1 전력 스펙트럼 밀도 및 상기 입력 신호의 전력 스펙트럼 밀도에 기반하여 위너 필터를 계산하고, 상기 입력 신호에 음성 신호가 포함된 구간의 경우 상기 제2 전력 스펙트럼 밀도 및 상기 입력 신호의 전력 스펙트럼 밀도에 기반하여 위너 필터를 계산하는 음성 처리 방법을 제공한다.Also, in the step (d), the Wiener filter is calculated based on the first power spectral density and the power spectral density of the input signal in the case where the voice signal is not included in the input signal, and the voice signal is applied to the input signal. In the case of a section including a speech processing method for calculating a Wiener filter based on the second power spectral density and the power spectral density of the input signal.
본 발명의 또 다른 실시예들에 따른 구체적인 사항들은 이하의 상세한 설명 및 도면들에 포함되어 있다.Specific details according to still another embodiment of the present invention are included in the following description and drawings.
본 발명의 실시예에 따르면, 입력 음성에 부가된 잡음을 효율적으로 제거하여 음성 왜곡과 잔여 잡음을 감소시킴으로써, 음성 인식 시스템이 실제로 사용되는 잡음 환경에서 원래의 깨끗한 음성을 더욱 정확하게 추정하여 음성 인식 성능을 향상시키는 효과가 있다.According to an embodiment of the present invention, by effectively removing the noise added to the input speech to reduce the speech distortion and residual noise, the speech recognition performance by more accurately estimating the original clean speech in the noise environment where the speech recognition system is actually used Has the effect of improving.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발 명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 실시예들은 단지 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and the embodiments are only provided to make the disclosure of the present invention complete and have ordinary skill in the art to which the present invention pertains. It is provided to fully inform the scope of the invention, and the invention is defined only by the scope of the claims. In addition, when it is determined that the detailed description of the related well-known configuration or function may obscure the subject matter of the present invention, the detailed description thereof will be omitted.
이하에서, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention;
도 2는 본 발명의 실시예에 따른 음성 처리 장치의 예시적인 구조를 나타내는 도면이다.2 is a diagram illustrating an exemplary structure of a speech processing device according to an embodiment of the present invention.
도 2를 참조하면, 음성 처리 장치(200)는 입력 스펙트럼 추정부(201), 잡음 추정부(202), 평균값 추정부(203), 위너 필터 계산부(204) 및 위너 필터 수행부(205)를 포함한다. 이와 같은 음성 처리 장치(200)는 예컨대 음성 인식 시스템에서 입력 음성에 포함된 잡음을 제거하여 음성의 품질을 향상시키기 위한 전처리 과정에 사용될 수 있다.Referring to FIG. 2, the speech processing apparatus 200 may include an
입력 스펙트럼 추정부(201)는 입력 신호(Sin)에 대하여 주파수 영역의 스펙트럼을 추정한다. 입력 스펙트럼 추정부(201)는 입력 신호(Sin)에 대하여 각 프레임 별로 이산 주파수 스펙트럼을 추정할 수 있는데, 예컨대 입력 스펙트럼 추정부(201)는 각 프레임마다 입력 신호(Sin)에 대하여 이산 푸리에 변환(Discrete Fourier Transform)을 수행하여 입력 신호의 각 주파수 빈(bin)에 해당하는 성분을 얻을 수 있다. 이때, 입력 신호(Sin)는 음성 신호에 주변 잡음이 가산된 형태로서, 현재 프레임 t에서의 스펙트럼은 다음의 수학식과 같이 표현할 수 있다.The
여기서, X(t)는 입력 신호(Sin)의 스펙트럼이고, S(t)는 원래의 깨끗한 음성 신호의 스펙트럼이며, N(t)는 잡음의 스펙트럼이다.Where X (t) is the spectrum of the input signal S in , S (t) is the spectrum of the original clear speech signal, and N (t) is the spectrum of noise.
잡음 추정부(202)는 입력 스펙트럼 추정부(201)가 추정한 입력 스펙트럼에 기반하여 각 프레임 별로 입력 신호(Sin)에 부가된 잡음의 전력 스펙트럼 밀도를 추정한다. 여기서, 잡음 추정부(202)는 음성/비음성 구간 추정부(211), 비음성 구간 잡음 추정부(212), 음성 구간 잡음 추정부(213)를 포함하여 현재 프레임이 음성 구간인지 비음성 구간인지에 따라 잡음을 추정할 수 있다.The
음성/비음성 구간 추정부(211)는 입력 스펙트럼 추정부(201)가 추정한 입력 스펙트럼에 기반하여 각 프레임 별로 입력 신호(Sin)에 음성 신호가 존재하는지 유무를 추정하여 현재 프레임이 음성 구간에 해당하는지 아니면 비음성 구간에 해당하는지를 추정한다. 예컨대, 원래의 깨끗한 음성 신호의 스펙트럼과 잡음의 스펙트럼은 복소 가우시안(complex Gaussian) 모델과 같은 확률 모델로 표현될 수 있는바, 경판정(hard decision)에 기반한 음성 활동 검출(Voice Activity Detection, VAD) 방식이나 연판정(soft decision) 방식을 사용하여 음성 구간과 비음성 구간을 판별할 수 있다.The speech /
비음성 구간 잡음 추정부(212)는 음성/비음성 구간 추정부(211)에 의하여 현재 프레임이 비음성 구간이라고 판별된 경우 현재 프레임에서의 잡음의 전력 스펙트럼 밀도를 추정한다.The non-voice
음성 구간 잡음 추정부(213)는 음성/비음성 구간 추정부(211)에 의하여 현재 프레임이 음성 구간이라고 판별된 경우 현재 프레임에서의 잡음의 전력 스펙트럼 밀도를 추정한다. 예컨대, 음성 구간 잡음 추정부(213)는 가장 최근의 비음성 구간에서의 잡음의 전력 스펙트럼 밀도 및 MS(Minimum Statistics) 또는 MCRA(Minima Controlled Recursive Average)과 같은 잡음 추적(noise tracking) 기법에 의하여 추정된 현재 프레임에서의 잡음의 전력 스펙트럼 밀도를 조합하여, 최종적인 잡음의 전력 스펙트럼 밀도를 추정할 수 있다. 여기서, 잡음 추적 기법은 가장 최근의 비음성 구간에서 추정된 잡음의 전력 스펙트럼 밀도를 초기값으로 하여 수행될 수 있다. 이와 같은 경우, 음성 구간인 현재 프레임 t에서 k 번째 주파수 빈에 대하여 잡음의 전력 스펙트럼 밀도는 다음의 수학식과 같이 추정될 수 있다.The speech
여기서, 는 음성 구간인 현재 프레임 t에서의 잡음의 전력 스펙트 럼 밀도이고, 는 가장 최근의 비음성 구간인 프레임 tn에서 추정된 잡음의 전력 스펙트럼 밀도이며, 는 음성 구간인 현재 프레임 t에서 잡음 추적 기법을 통해 획득한 잡음의 전력 스펙트럼 밀도이고, a는 스무딩 팩터(smoothing factor)이다.here, Is the power spectral density of the noise in the current frame t, the speech interval, Is the power spectral density of the noise estimated in frame t n , the most recent non-voice interval, Is the power spectral density of the noise obtained through the noise tracking technique in the current frame t, which is a voice interval, and a is a smoothing factor.
평균값 추정부(203)는 입력 스펙트럼 추정부(201)가 추정한 입력 스펙트럼으로부터 현재 프레임에서 입력 신호(Sin)의 전력 스펙트럼 밀도의 평균값을 추정한다.The
위너 필터 계산부(204)는 잡음의 전력 스펙트럼 밀도 및 음성 신호의 전력 스펙트럼 밀도를 이용하여 현재 프레임 t에서 최적인 위너 필터의 k 번째 주파수 빈에 대한 주파수 성분을 다음의 수학식과 같이 계산한다.The
여기서, 잡음의 전력 스펙트럼 밀도 는 음성/비음성 구간 추정 모듈(211)가 현재 프레임 t가 음성 구간인지 비음성 구간인지 판별하는 결과에 따라 음성 구간에서는 음성 구간 잡음 추정부(213)에 의하여 추정된 잡음의 전력 스펙트 럼 밀도 를 사용하고 비음성 구간에서는 비음성 구간 잡음 추정부(212)에 의하여 추정된 잡음의 전력 스펙트럼 밀도 을 사용하며, 는 입력 스펙트럼 추정부(201)에 의하여 추정된 입력 스펙트럼 및 평균값 추정부(203)에 의하여 추정된 평균값에 기반하여 획득되는 입력 신호(Sin)의 전력 스펙트럼 밀도로부터 이전 프레임을 통하여 추정된 잡음이 제거된 음성 신호의 전력 스펙트럼 밀도를 나타낸다.Where power spectral density of noise Is the power spectrum density of the noise estimated by the speech
위너 필터 수행부(205)는 위너 필터 계산부(204)가 계산한 위너 필터를 통하여 음성 처리 장치(200)에 입력된 입력 신호(Sin)을 필터링하여 입력 신호(Sin)에 포함된 음성 신호의 추정값을 산출함으로써, 입력 신호(Sin)에서 잡음이 제거된 출력 신호(Sout)를 출력한다.The winner
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독할 수 있는 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매 체(optical media), 플롭티컬 디스크와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic-optical media such as floppy disks. (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. The medium may be a transmission medium such as an optical or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것으로 이해해서는 안 된다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may be embodied in other specific forms without changing the technical spirit or essential features of the present invention. I can understand that. Therefore, the embodiments described above are illustrative in all respects and should not be understood as limiting.
도 1은 종래 위너 필터를 이용하여 입력 음성으로부터 잡음을 제거하는 음성 처리 장치의 예시적인 구조를 나타내는 도면이다.1 is a diagram illustrating an exemplary structure of a speech processing device for removing noise from an input speech using a conventional Wiener filter.
도 2는 본 발명의 실시예에 따른 음성 처리 장치의 예시적인 구조를 나타내는 도면이다.2 is a diagram illustrating an exemplary structure of a speech processing device according to an embodiment of the present invention.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090118290A KR20110061781A (en) | 2009-12-02 | 2009-12-02 | Apparatus and method for subtracting noise based on real-time noise estimation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090118290A KR20110061781A (en) | 2009-12-02 | 2009-12-02 | Apparatus and method for subtracting noise based on real-time noise estimation |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20110061781A true KR20110061781A (en) | 2011-06-10 |
Family
ID=44396071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090118290A KR20110061781A (en) | 2009-12-02 | 2009-12-02 | Apparatus and method for subtracting noise based on real-time noise estimation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20110061781A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101247652B1 (en) * | 2011-08-30 | 2013-04-01 | 광주과학기술원 | Apparatus and method for eliminating noise |
KR101579689B1 (en) | 2014-07-23 | 2015-12-23 | 울산대학교 산학협력단 | Method and Apprartus for removing noise of acoustic emmision signal |
KR101723523B1 (en) | 2016-11-22 | 2017-04-05 | 주식회사 아이디케이 | The Improved Acoustic Emission Test System to Extract Pure Elastic Wave from Combined Signals |
KR20210124050A (en) * | 2020-04-03 | 2021-10-14 | 한국전자통신연구원 | Automatic interpretation server and method thereof |
US11776557B2 (en) | 2020-04-03 | 2023-10-03 | Electronics And Telecommunications Research Institute | Automatic interpretation server and method thereof |
-
2009
- 2009-12-02 KR KR1020090118290A patent/KR20110061781A/en not_active Application Discontinuation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101247652B1 (en) * | 2011-08-30 | 2013-04-01 | 광주과학기술원 | Apparatus and method for eliminating noise |
KR101579689B1 (en) | 2014-07-23 | 2015-12-23 | 울산대학교 산학협력단 | Method and Apprartus for removing noise of acoustic emmision signal |
KR101723523B1 (en) | 2016-11-22 | 2017-04-05 | 주식회사 아이디케이 | The Improved Acoustic Emission Test System to Extract Pure Elastic Wave from Combined Signals |
KR20210124050A (en) * | 2020-04-03 | 2021-10-14 | 한국전자통신연구원 | Automatic interpretation server and method thereof |
US11776557B2 (en) | 2020-04-03 | 2023-10-03 | Electronics And Telecommunications Research Institute | Automatic interpretation server and method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7359838B2 (en) | Method of processing a noisy sound signal and device for implementing said method | |
US7313518B2 (en) | Noise reduction method and device using two pass filtering | |
CN103456310B (en) | Transient noise suppression method based on spectrum estimation | |
CN110767244B (en) | Speech enhancement method | |
KR101737824B1 (en) | Method and Apparatus for removing a noise signal from input signal in a noisy environment | |
JP2008534989A (en) | Voice activity detection apparatus and method | |
US8296135B2 (en) | Noise cancellation system and method | |
JP5752324B2 (en) | Single channel suppression of impulsive interference in noisy speech signals. | |
Chang et al. | Speech enhancement: new approaches to soft decision | |
KR20110061781A (en) | Apparatus and method for subtracting noise based on real-time noise estimation | |
JP4965891B2 (en) | Signal processing apparatus and method | |
JP2006349723A (en) | Acoustic model creating device, method, and program, speech recognition device, method, and program, and recording medium | |
KR101295727B1 (en) | Apparatus and method for adaptive noise estimation | |
Poovarasan et al. | Speech enhancement using sliding window empirical mode decomposition and hurst-based technique | |
KR100784456B1 (en) | Voice Enhancement System using GMM | |
JP2005258158A (en) | Noise removing device | |
KR20110024969A (en) | Apparatus for filtering noise by using statistical model in voice signal and method thereof | |
KR20090111739A (en) | Apparatus and method for reduction of noise | |
KR100413797B1 (en) | Speech signal compensation method and the apparatus thereof | |
KR101096091B1 (en) | Apparatus for Separating Voice and Method for Separating Voice of Single Channel Using the Same | |
Zehtabian et al. | Optimized singular vector denoising approach for speech enhancement | |
KR102408689B1 (en) | Musical noise eliminating device using neural network voice activity detection | |
Sunnydayal et al. | Speech enhancement using sub-band wiener filter with pitch synchronous analysis | |
Gbadamosi et al. | Development of non-parametric noise reduction algorithm for GSM voice signal | |
KR101005858B1 (en) | Apparatus and method for adapting model parameters of speech recognizer by utilizing histogram equalization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |