KR20120005920A - A device and method for managing acoustic signal based on combined power of acoustic echo and background noise - Google Patents
A device and method for managing acoustic signal based on combined power of acoustic echo and background noise Download PDFInfo
- Publication number
- KR20120005920A KR20120005920A KR1020100066639A KR20100066639A KR20120005920A KR 20120005920 A KR20120005920 A KR 20120005920A KR 1020100066639 A KR1020100066639 A KR 1020100066639A KR 20100066639 A KR20100066639 A KR 20100066639A KR 20120005920 A KR20120005920 A KR 20120005920A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- noise
- echo
- far
- acoustic echo
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000003672 processing method Methods 0.000 claims description 20
- 239000002994 raw material Substances 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
- G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Quality & Reliability (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
본 발명은 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 장치에 관한 것으로서, 특히, 원단 신호에 기반한 가중치 파라미터를 이용하여 음향학적 반향 및 배경잡음 전력을 선별적으로 결합하고 결합된 신호를 하나의 제거 필터에 적용하여 반향 및 잡음을 모두 제거하는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 장치에 관한 것이다.The present invention relates to a speech processing method and apparatus based on combined acoustic echo and background noise power, and in particular, to selectively combine acoustic echo and background noise power using a weight parameter based on far-end signal and combined signal. The present invention relates to a method and apparatus for speech processing based on combined acoustic echo and background noise power, which is applied to one cancellation filter to remove both echo and noise.
이동통신 기술의 발전과 함께 차량용 핸즈프리나 화상통화가 가능한 휴대용 단말기의 보급이 확산되면서 관련 음성 통신 방식에서 발생할 수 있는 음향학적 반향(acoustic echo)이나 배경잡음 제거에 대한 연구가 주목받고 있다.
With the development of mobile communication technology and the spread of mobile handsfree and video communication portable terminals, research on the acoustic echo or background noise that may occur in related voice communication methods is drawing attention.
최근에는 이와 같은 음향학적 반향 및 잡음 제거기의 통합 구조가 일반화되면서 각 알고리즘에 대한 상호 특성을 고려해 전체 알고리즘의 성능을 향상시키기 위한 연구가 활발히 진행되고 있다. 일반적인 통합구조는 두 알고리즘이 서로 독립이라고 가정하고 병렬로 설계되어 직렬로 나열하는 방식이지만 실제로는 서로 간의 위치에 따라 성능의 변화가 큰 것으로 알려져 있다.
Recently, as the integrated structure of the acoustic echo and noise canceller is generalized, studies are being actively conducted to improve the performance of the entire algorithm in consideration of mutual characteristics of each algorithm. In general, the integrated structure is designed in parallel by assuming that the two algorithms are independent of each other, but it is known that the performance varies greatly depending on the position of each other.
구체적으로, 반향 제거기가 잡음 제거기의 앞 단에 위치하게 되면, 잡음 제거기가 추정해야할 잡음의 스펙트럼이 반향 제거기에 의해 왜곡이 생겨 잡음추정이 심각히 저하되고, 반대로 잡음 제거기가 반향 제거기의 앞 단에 위치하게 되면, 잡음 제거기의 비선형적인 연산으로 인해 반향 제거기의 성능이 저하되는 구조적 문제점이 존재한다. 특히 이러한 구조적 문제점은 실제로 반향구간에서의 신호 왜곡을 통해 효과적인 반향신호 제거가 어려워 잔여 반향신호를 발생할 수 있으며, 또한 부정확한 잡음추정에 의해 음성구간에서의 왜곡 및 신호대 잡음비(SNR, signal-to-noise ratio)를 감소시킬 수 있다는 문제점이 있다.Specifically, when the echo canceller is located in front of the noise canceller, the spectrum of the noise to be estimated by the noise canceller is distorted by the echo canceller, so that the noise estimation is severely degraded. In contrast, the noise canceller is located in front of the echo canceller. There is a structural problem that the performance of the echo canceller is degraded due to the nonlinear operation of the noise canceller. In particular, such a structural problem is that it is difficult to effectively remove an echo signal through signal distortion in an echo section, and thus a residual echo signal may be generated.In addition, an incorrect noise estimate may cause distortion in a speech section and a signal-to-noise ratio (SNR). There is a problem that the noise ratio can be reduced.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 선(pre)반향-후(post)잡음 제거 또는 선(pre)잡음-후(post)반향 제거의 통합 구조에서 발생할 수 있는 단점을 보완하기 위해, 가중치 파라미터를 사용하여 결합한 음향학적 반향 및 잡음 전력에 기반하여 반향 및 잡음을 제거함으로써, 종래 기술에서 발생할 수 있는 구조적 문제점을 해결할 수 있는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the conventionally proposed methods, and in the integrated structure of pre-echo post-noise removal or pre-noise post-echo elimination. To compensate for possible disadvantages, the combined acoustic echo and background can solve the structural problems that may arise in the prior art by removing echo and noise based on the combined acoustic echo and noise power using weighted parameters. It is an object of the present invention to provide a speech processing method and apparatus based on noise power.
또한 본 발명은, 음향학적 반향 및 잡음 전력을 선별적으로 결합한 후, 결합된 신호에 하나의 위너 필터로 제거 이득을 적용하여 음향학적 반향 신호와 배경잡음 신호를 동시에 제거함으로써, 음향학적 반향 제거기와 배경잡음 제거기에 각각 제거필터가 사용되는 종래의 기술에 비하여 반향 및 잡음신호 제거의 성능을 대폭 향상시킬 수 있는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 장치를 제공하는 것을 다른 목적으로 한다.In addition, the present invention, by selectively combining the acoustic echo and noise power, by applying a cancellation gain to the combined signal with one Wiener filter to remove the acoustic echo signal and the background noise signal at the same time, It is another object of the present invention to provide a speech processing method and apparatus based on combined acoustic echo and background noise power, which can significantly improve the performance of echo and noise signal rejection compared to the conventional technology in which the respective background filters are used for the background noise canceller. It is done.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법은,According to a feature of the present invention for achieving the above object, a speech processing method based on combined acoustic echo and background noise power,
(1) 마이크로폰에 의하여 입력되는 화자신호를 이산 푸리에 변환(Discrete Fourier Transform, 이하 ‘DFT’라 한다.)하고, 스피커에 공급되는 원단신호를 DFT하는 단계;(1) a discrete Fourier transform (hereinafter, referred to as a "DFT") of a speaker signal input by a microphone, and a DFT of a far-end signal supplied to a speaker;
(2) 상기 화자신호와 상기 원단신호로부터 잡음신호의 전력을 추정하는 단계;(2) estimating power of a noise signal from the speaker signal and the far-end signal;
(3) 상기 추정한 잡음신호의 전력을 이용하여 가중치 파라미터를 도출하는 단계;(3) deriving a weight parameter using the estimated power of the noise signal;
(4) 상기 원단신호의 반향 경로를 고려하여 음향학적 반향신호를 추정하는 단계;(4) estimating an acoustic echo signal in consideration of the echo path of the far-end signal;
(5) 상기 가중치 파라미터를 사용하여, 상기 추정된 음향학적 반향신호와 상기 추정된 잡음 전력을 상기 원단신호의 유무에 따라 선별적으로 결합하여 최종 결합 신호를 생성하는 단계; 및(5) using the weighting parameter, selectively combining the estimated acoustic echo signal and the estimated noise power according to the presence or absence of the far-end signal to generate a final combined signal; And
(6) 상기 최종 결합 신호에 제거 이득을 적용하여 음향학적 반향 및 잡음신호를 제거하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(6) applying the cancellation gain to the final combined signal to remove acoustic echo and noise signals.
바람직하게는, 상기 가중치 파라미터는,Preferably, the weight parameter is,
다음 수학식에 의하여 계산될 수 있다.It can be calculated by the following equation.
여기서, γTH는 문턱 값, α는 상수, Γ(i,k)는 아래 수학식에 의하여 가변 값을 갖게 되는 선행 확률로서 H0이면 0, H1이면 1을 갖는 인덱스 함수이다.Here, γ TH is a threshold value, α is a constant, and Γ (i, k) is a leading probability of having a variable value according to the following equation, and is an index function having 0 for
바람직하게는, 상기 단계 (6)에서,Preferably, in step (6),
위너 필터에 기반하여 상기 최종 결합 신호에 제거 이득을 적용할 수 있다.
A cancellation gain may be applied to the final combined signal based on the Wiener filter.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 장치는,According to an aspect of the present invention for achieving the above object, a speech processing apparatus based on combined acoustic echo and background noise power,
마이크로폰에 의하여 입력되는 화자신호를 이산 푸리에 변환(Discrete Fourier Transform, 이하 ‘DFT’라 한다.) 또는 역 이산 푸리에 변환(Inverse Discrete Fourier Transform, 이하 ‘IDFT’라 한다.)하거나, 스피커에 공급되는 원단신호를 DFT 또는 IDFT하는 푸리에 변환기;The speaker signal input by the microphone may be Discrete Fourier Transform (DFT) or Inverse Discrete Fourier Transform (IDFT), or the raw material supplied to the speaker. A Fourier transformer for DFT or IDFT the signal;
상기 화자신호와 상기 원단신호를 이용하여, 상기 원단신호로부터 반향 경로를 고려한 임펄스응답을 추정하는 에코 경로 응답기(Echo Path Response);An echo path response unit for estimating an impulse response in consideration of an echo path from the far-end signal using the speaker signal and the far-end signal;
상기 화자신호로부터 잡음신호 전력을 추정하는 잡음 전력 추정기(Noise Power Estimation);A noise power estimator for estimating noise signal power from the speaker signal;
상기 원단신호로부터 음향학적 반향신호를 추정하는 에코 신호 추정기(Estimated Echo Signal);An echo signal estimator for estimating an acoustic echo signal from the far-end signal;
상기 추정된 음향학적 반향신호와 상기 추정된 잡음신호 전력을 상기 원단신호의 유무에 따라 선별적으로 결합하는 결합 신호 추정기(Unified Signal Estimation); 및A unified signal estimator for selectively combining the estimated acoustic echo signal and the estimated noise signal power according to the presence or absence of the far-end signal; And
상기 결합 신호 추정기에 의하여 결합된 결합 신호에 위너필터(Wiener Filter)를 적용시킴으로써, 음향학적 반향과 배경잡음을 제거하는 반향 잡음 제거기를 포함하는 것을 그 구성상의 특징으로 한다.The configuration feature includes an echo noise canceller that removes acoustic echo and background noise by applying a Wiener filter to the combined signal coupled by the combined signal estimator.
본 발명에서 제안하고 있는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 장치에 따르면, 선(pre)반향-후(post)잡음 제거 또는 선(pre)잡음-후(post)반향 제거의 통합 구조에서 발생할 수 있는 단점을 보완하기 위해, 가중치 파라미터를 사용하여 결합한 음향학적 반향 및 잡음 전력에 기반하여 반향 및 잡음을 제거함으로써, 종래 기술에서 발생할 수 있는 구조적 문제점을 해결할 수 있다.
According to the speech processing method and apparatus based on the combined acoustic echo and background noise power proposed in the present invention, the pre-post-noise cancellation or the pre-noise-post echo cancellation In order to compensate for the shortcomings that may occur in the integrated structure of the antenna, by removing the echo and noise based on the acoustic echo and noise power combined using the weighting parameter, the structural problem that may occur in the prior art may be solved.
또한, 본 발명에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 장치는, 음향학적 반향 및 잡음 전력을 선별적으로 결합한 후, 결합된 신호에 하나의 위너 필터로 제거 이득을 적용하여 음향학적 반향 신호와 배경잡음 신호를 동시에 제거함으로써, 음향학적 반향 제거기와 배경잡음 제거기에 각각 제거필터가 사용되는 종래의 기술에 비하여 반향 및 잡음신호 제거의 성능을 대폭 향상시킬 수 있다.In addition, the speech processing method and apparatus based on the combined acoustic echo and background noise power according to the present invention, after selectively combining the acoustic echo and noise power, applying a cancellation gain to the combined signal with one Wiener filter By simultaneously removing the acoustic echo signal and the background noise signal, it is possible to significantly improve the performance of the echo and noise signal cancellation as compared to the conventional technology in which the elimination filters are respectively used for the acoustic echo canceller and the background noise canceller.
도 1은 일반적인 음향학적 반향 및 잡은 제거 시스템의 블록도.
도 2는 일반적인 음향학적 반향 및 잡은 제거 시스템의 블록도.
도 3은 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법의 순서도.
도 4는 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 장치의 블록도.
도 5는 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 종래 기술에 의한 ERLE와 SA 수치를 비교하여 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법과 종래 기술에 의한 시간에 따른 ERLE 변화를 나타내는 도면.
도 7은 도 6의 음성신호에 대한 스펙트럼 분석을 위한 음성 스펙트로그램을 나타내는 도면.1 is a block diagram of a typical acoustic echo and trap removal system.
2 is a block diagram of a typical acoustic echo and trap removal system.
3 is a flowchart of a speech processing method based on combined acoustic echo and background noise power in accordance with an embodiment of the present invention.
4 is a block diagram of a speech processing device based on combined acoustic echo and background noise power in accordance with an embodiment of the present invention.
5 is a view showing a comparison between ERLE and SA values according to the prior art and a speech processing method based on combined acoustic echo and background noise power according to an embodiment of the present invention.
6 is a diagram illustrating a speech processing method based on combined acoustic echo and background noise power according to an embodiment of the present invention, and a change in ERLE over time according to the prior art;
FIG. 7 is a diagram illustrating a speech spectrogram for spectrum analysis of the speech signal of FIG. 6. FIG.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, in describing the preferred embodiment of the present invention in detail, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is 'connected' to another part, it is not only 'directly connected' but also 'indirectly connected' with another element in between. Include. In addition, the term 'comprising' of an element means that the element may further include other elements, not to exclude other elements unless specifically stated otherwise.
도 1과 도 2는 일반적인 음향학적 반향 및 잡은 제거 시스템의 블록도이다. 도 1은 선반향-후잡음 제거 통합 구조이며, 도 2는 선잡음-후반향 제거 통합 구조이다. 도 1과 도 2에 도시된 바와 같이, 기존의 통합 구조는 음향학적 반향 시스템을 구성하는 주파수 영역 기반 AES(acoustic echo suppression)와 및 잡음 제거 시스템을 구성하는 NS(noise suppression) 알고리즘이 직렬구조로 연결되어 있다. 이러한 통합 구조에서 우선 주파수 영역 기반 AES에 대하여 살펴보면, 반향신호 d(t), 배경잡음 w(t), 근단 (near-end) 화자신호 s(t), 원단 (far-end) 신호와 마이크 입력신호를 각각 x(t), y(t)라 하고, Y(i,k)를 y(t)의 i번째 프레임의 k번째 주파수 성분이라 하면 입력신호 Y(i,k)로부터 반향신호가 제거된 신호 는 수학식 1과 같이 표현된다.1 and 2 are block diagrams of a typical acoustic echo and trap removal system. 1 is a shelf-post noise canceling integrated structure, and FIG. 2 is a line noise-backward canceling integrated structure. As shown in FIG. 1 and FIG. 2, the existing integrated structure is a frequency structure based acoustic echo suppression (AES) constituting an acoustic echo system and a noise suppression (NS) algorithm constituting a noise cancellation system. It is connected. In this integrated structure, first, the frequency domain based AES is described as echo signal d (t), background noise w (t), near-end speaker signal s (t), far-end signal and microphone input. If the signals are called x (t) and y (t), and Y (i, k) is the k-th frequency component of the i-th frame of y (t), the echo signal is removed from the input signal Y (i, k). Signal Is expressed as in
여기서, GAES(i,k)는 AES 이득(gain)으로서, 수학식 2와 같은 위너 필터(Wiener Filter)를 사용한다.Here, G AES (i, k) is a AES gain (Wiener Filter) as shown in equation (2).
수학식 2에서 는 원단신호 X(i,k)로부터 추정된 음향학적 반향신호이다. 일반적으로 입력 마이크로폰으로 전달되는 음향학적 반향신호는 다양한 반향 경로를 거쳐 입력되기 때문에 원단신호로부터 반향 경로를 고려한 임펄스응답에 대한 추정 과정이 필요하다. 따라서 반향 경로의 임펄스응답을 고려하여 원단신호의 주파수 성분으로부터 추정된 반향신호 는 least squares(최소 제곱) 추정에 기반하여 수학식 3과 같이 나타낼 수 있다.In
여기서, *는 complex conjugate를 의미하고, Xd(i,k)는 샘플 지연된(delayed) 원단신호의 주파수 성분을 나타낸다.
Where * denotes a complex conjugate and X d (i, k) represents the frequency component of the sample delayed far-end signal.
잡음 제거(Noise Suppression; NS)와 관련하여 살펴보면, 일반적으로 주파수 영역에 기반한 잡음 제거는 수학식 4와 같이 잡음 제거 이득 GNS(i,k)과 잡음이 섞여 있는 입력신호 의 곱으로 표현된다.In terms of noise suppression (NS), in general, the frequency-based noise rejection is an input signal in which noise cancellation gain G NS (i, k) is mixed with noise as shown in
여기서, GNS(i,k)는 추정기법에 따라 위너 필터 또는 MMSE(Minimum Mean Square Error, 최소평균제곱오차) 추정에 기반한 다양한 제거 이득이 적용가능하며, 본 발명에서는 상용 코덱인 IS-127 EVRC(Enhanced Variable Rate Codec)에 적용되는 잡음 제거기법을 통합구조의 잡음 제거기로서 적용하였다.
Here, G NS (i, k) is applicable to various removal gains based on a Wiener filter or a minimum mean square error (MMSE) estimation according to an estimation technique, and in the present invention, IS-127 EVRC, which is a commercial codec, is applied. The noise canceling technique applied to (Enhanced Variable Rate Codec) was applied as the noise canceller of the integrated structure.
이와 같이 기존의 잡음 및 반향 제거 구조는 AES 및 NS 알고리즘이 독립적으로 설계되고 직렬로 연결되어 선반향-후잡음 또는 선잡음-후반향의 통합구조로 각각의 신호를 순차적으로 제거하게 된다. 그러나 선반향-후잡음 통합구조에서는 반향 제거기에 의해 선처리된 신호는 잡음 스펙트럼이 반향 제거기에 의해 왜곡이 생겨 잡음 제거 알고리즘에서 정확한 잡음전력 추정이 어려우며, 반대로 선잡음-후반향 통합구조에서는 잡음 제거기의 비선형적인 연산으로 인해 반향 제거기의 성능이 저하되는 구조적 문제점이 있다.
As such, the conventional noise and echo cancellation schemes are designed independently of the AES and NS algorithms and connected in series to sequentially remove the respective signals in an integrated structure of shelf-post noise or pre-noise-back echo. However, in the shelf-to-noise integrated structure, the signal preprocessed by the echo canceller causes the noise spectrum to be distorted by the echo canceller, making it difficult to accurately estimate the noise power in the noise cancellation algorithm. There is a structural problem that the performance of the echo canceller is degraded due to nonlinear operations.
도 3은 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법의 순서도이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법은, 마이크로폰에 의하여 입력되는 화자신호를 이산 푸리에 변환(Discrete Fourier Transform, 이하 ‘DFT’라 한다.)하고, 스피커에 공급되는 원단신호를 DFT하는 단계(S100), 화자신호와 원단신호로부터 잡음신호의 전력을 추정하는 단계(S200), 추정한 잡음신호의 전력을 이용하여 가중치 파라미터를 도출하는 단계(S300), 원단신호의 반향경로를 고려하여 음향학적 반향신호를 추정하는 단계(S400), 가중치 파라미터를 사용하여, 추정된 음향학적 반향신호와 추정된 잡음 전력을 원단신호의 유무에 따라 선별적으로 결합하여 최종 결합 신호를 생성하는 단계(S500), 최종 결합 신호에 제거 이득을 적용하여 음향학적 반향 및 잡음신호를 제거하는 단계(S600)를 포함하여 구성될 수 있다.
3 is a flow diagram of a speech processing method based on combined acoustic echo and background noise power in accordance with an embodiment of the present invention. As shown in FIG. 3, a speech processing method based on combined acoustic echo and background noise power according to an embodiment of the present invention may include a discrete Fourier transform (hereinafter, referred to as 'a speaker signal input by a microphone'). DFT '), DFT the far-end signal supplied to the speaker (S100), estimating the power of the noise signal from the speaker signal and the far-end signal (S200), and using the estimated noise signal's power Deriving the parameter (S300), estimating the acoustic echo signal in consideration of the echo path of the far-end signal (S400), using the weighted parameter, the estimated acoustic echo signal and the estimated noise power of the far-end signal Selectively combining the presence or absence to generate a final combined signal (S500), and removing acoustic echo and noise signals by applying a cancellation gain to the final combined signal (S500). 600).
단계 S100에서는, 마이크로폰에 의하여 입력되는 화자신호를 DFT하고, 스피커에 공급되는 원단신호를 DFT한다. 화자신호와 원단신호를 푸리에 변환하는 것은, 각 주파수 별로 잡음과 반향을 제거하기 위함이다.
In step S100, the speaker signal input by the microphone is DFTed, and the far-end signal supplied to the speaker is DFTed. The Fourier transform of the speaker signal and the far-end signal is to remove noise and echo at each frequency.
단계 S200에서는, 화자신호와 원단신호로부터 잡음신호의 전력을 추정한다. 종래 기술과 달리, 원단(Far-end)신호와 마이크로폰 입력신호인 화자신호로부터, 잡음신호의 전력을 추정하고 이를 이용하여 가중치 파라미터를 도출한다. 잡음신호의 전력비를 사용함으로써 종래 기술에서 대두되는 구조적 문제점을 해결할 수 있다.In step S200, the power of the noise signal is estimated from the speaker signal and the far-end signal. Unlike the prior art, the power of the noise signal is estimated from the far-end signal and the speaker signal which is the microphone input signal, and a weight parameter is derived using the same. By using the power ratio of the noise signal it is possible to solve the structural problems that arise in the prior art.
단계 S300에서는, 추정한 잡음신호의 전력을 이용하여 가중치 파라미터를 도출한다. 이때 가중치 파라미터는, 수학식 5에 의하여 계산될 수 있다.In step S300, a weight parameter is derived using the estimated power of the noise signal. In this case, the weight parameter may be calculated by
여기서, γTH는 문턱 값, α는 상수, Γ(i,k)는 수학식 6에 의하여 가변 값을 갖게 되는 선행 확률로서 H0이면 0, H1이면 1을 갖는 인덱스 함수이다.Here, γ TH is a threshold value, α is a constant, and Γ (i, k) is a probable probability of having a variable value according to
단계 S400에서는, 원단신호의 반향경로를 고려하여 음향학적 반향신호를 추정한다. 입력 마이크로폰으로 전달되는 음향학적 반향신호는 다양한 반향 경로를 거쳐 입력되기 때문에, 원단신호로부터 반향 경로를 고려한 임펄스 응답에 대한 추정 과정이 필요하다. 따라서 반향 경로의 임펄스 응답을 고려하여 원단신호의 주파수 성분 X(i,k)로부터 추정된 반향신호 는 least squares 추정에 기반하여 수학식 3으로 나타낼 수 있다.
In step S400, the acoustic echo signal is estimated in consideration of the echo path of the far-end signal. Since the acoustic echo signal transmitted to the input microphone is input through various echo paths, an estimation process for the impulse response considering the echo path from the far-end signal is necessary. Therefore, the echo signal estimated from the frequency component X (i, k) of the far-end signal in consideration of the impulse response of the echo path Can be represented by
단계 S500에서는, 가중치 파라미터를 사용하여, 추정된 음향학적 반향신호와 추정된 잡음 전력을 원단신호의 유무에 따라 선별적으로 결합하여 최종 결합 신호를 생성한다. 최종 결합 신호를 생성함으로써, 하나의 제거 이득을 적용하는 것만으로도 반향 및 잡음의 제거가 가능하므로, 본 발명은 반향과 잡음에 각각 제거 이득을 적용하는 종래의 기술에 비하여 효과적으로 음성을 처리할 수 있다.
In step S500, the weighted parameter is used to selectively combine the estimated acoustic echo signal and the estimated noise power according to the presence or absence of the far-end signal to generate a final combined signal. By generating the final combined signal, it is possible to remove echo and noise by simply applying one rejection gain, so that the present invention can process speech more effectively than the conventional technique of applying the rejection gain to echo and noise respectively. have.
단계 S600에서는, 최종 결합 신호에 제거 이득을 적용하여 음향학적 반향 및 잡음신호를 제거한다. 이때 위너 필터에 기반하여 제거 이득을 적용할 수 있으며, 음향학적 반향 및 잡음신호 제거를 위한 제거 이득을 Gpro(i,k)라 하면 제거된 최종 신호 E(i,k)는 수학식 7과 같이 입력신호 Y(i,k)와 제거 이득의 곱으로 나타낼 수 있다.In step S600, an acoustic gain and a noise signal are removed by applying a cancellation gain to the final combined signal. In this case, the cancellation gain may be applied based on the Wiener filter. When the cancellation gain for acoustic echo and noise signal cancellation is G pro (i, k), the final signal E (i, k) that is removed is represented by
여기서, Gpro(i,k)는 위너 필터로서 수학식 8과 같이 표현된다.Here, G pro (i, k) is expressed as Equation 8 as a Wiener filter.
또한, ξ(i,k)는 반향 및 잡음신호가 제거된 결과신호의 전력 λoutput(i,k)과 결합 전력 λcombined(i,k)의 비로서, 수학식 9와 같다.In addition, ξ (i, k) is a ratio of the power λ output (i, k) and the combined power λ combined (i, k) of the resultant signal from which the echo and noise signals are removed.
여기서, λoutput(i,k)은 수학식 3으로부터 유도된 반향 경로를 고려하여 추정된 음향학적 반향신호의 전력 λecho(i,k)과 EVRC의 잡음 제거 알고리즘으로부터 추정된 잡음전력 λnoise(i,k)의 가중치 합으로 수학식 10과 같이 유도된다.Here, λ output (i, k) is the power λ echo (i, k) of the acoustic echo signal estimated in consideration of the echo path derived from
여기서, q(i,k)는 음향학적 반향과 잡음 전력을 선별적으로 결합하기 위한 가중치 파라미터로서 단계 S300에서 이미 설명한 바와 같다.
Here, q (i, k) is a weight parameter for selectively combining acoustic echo and noise power, as described above in step S300.
반향 및 잡음 제거의 성능을 더욱 개선시키기 위하여, 수학식 9는 Decision-Directed 추정 기법에 기반하여 수학식 11과 같이 도출될 수 있다.In order to further improve the performance of echo and noise cancellation,
여기서, αd는 스무딩 파라미터(Smoothing Parameter)이다.
Here, α d is a smoothing parameter.
도 4는 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 장치의 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 장치는, 푸리에 변환기, 에코 경로 응답기, 잡음 전력 추정기, 에코 신호 추정기, 결합 신호 추정기, 반향 잡음 제거기를 포함하여 구성될 수 있다.
4 is a block diagram of a speech processing device based on combined acoustic echo and background noise power in accordance with an embodiment of the present invention. As shown in FIG. 4, a speech processing apparatus based on combined acoustic echo and background noise power according to an embodiment of the present invention includes a Fourier transformer, an echo path responder, a noise power estimator, an echo signal estimator, and a combined signal estimator. It may be configured to include an echo noise canceller.
푸리에 변환기는, 마이크로폰에 의하여 입력되는 화자신호를 DFT 또는 역 이산 푸리에 변환(Inverse Discrete Fourier Transform, 이하 ‘IDFT’라 한다.)하거나, 스피커에 공급되는 원단신호를 DFT 또는 IDFT한다. 푸리에 변환기는, 단계 S100에서의 과정을 동일하게 수행하므로 자세한 설명은 생략하도록 한다.
The Fourier transformer performs a DFT or Inverse Discrete Fourier Transform (IDFT) on the speaker signal input by the microphone, or DFT or IDFT the far-end signal supplied to the speaker. Since the Fourier transformer performs the same process in step S100, detailed description thereof will be omitted.
에코 경로 응답기(Echo Path Response)는, 화자신호와 원단신호를 이용하여, 원단신호로부터 반향 경로를 고려한 임펄스응답을 추정한다. 마이크로폰으로 입력되는 음향학적 반향신호의 반향 경로가 매우 다양하기 때문에, 임펄스 응답에 대한 추정을 하여야 하는데 이때 원단신호로부터의 반향 경로를 고려할 수 있다. 임펄스 응답 추정은, 단계 S400에서 이미 설명한 바와 같으므로 자세한 설명은 생략하도록 한다.
The echo path responseer estimates the impulse response considering the echo path from the far-end signal using the speaker signal and the far-end signal. Since the echo paths of the acoustic echo signals input to the microphones are very diverse, it is necessary to estimate the impulse response. Since the impulse response estimation has already been described in operation S400, a detailed description thereof will be omitted.
잡음 전력 추정기(Noise Power Estimation)는, 화자신호를 DFT하여 얻은 특정 주파수 성분으로부터 잡음신호 전력을 추정한다. 잡음 전력 추정기는, 단계 S200에서의 과정을 동일하게 수행하므로 자세한 설명은 생략하도록 한다.
The noise power estimator estimates the noise signal power from a specific frequency component obtained by DFTing the speaker signal. Since the noise power estimator performs the same process in step S200, detailed description thereof will be omitted.
에코 신호 추정기(Estimated Echo Signal)는, 원단신호를 DFT하여 얻은 특정 주파수 성분으로부터 음향학적 반향신호를 추정한다. 에코 신호 추정기는, 단계 S400에서의 과정을 동일하게 수행하므로 자세한 설명은 생략하도록 한다.
An echo signal estimator estimates an acoustic echo signal from a specific frequency component obtained by DFTing the far-end signal. Since the echo signal estimator performs the same process in step S400, a detailed description thereof will be omitted.
결합 신호 추정기는, 추정된 음향학적 반향신호와 추정된 잡음신호 전력을 원단신호의 유무에 따라 선별적으로 결합한다. 이때 가중치 파라미터를 사용할 수 있으며, 가중치 파라미터는 단계 S300에서 이미 설명한 바와 같으므로 자세한 설명은 생략하도록 한다. 결합 신호 추정기가 음향학적 반향신호와 잡음신호 전력을 결합하기 때문에, 하나의 제거 이득을 적용하더라도 음향학적 반향과 배경잡음을 모두 제거할 수 있다. 결합 신호 추정기는, 단계 S500에서의 과정을 동일하게 수행하므로 자세한 설명은 생략하도록 한다.
The combined signal estimator selectively combines the estimated acoustic echo signal and the estimated noise signal power according to the presence or absence of the far-end signal. In this case, the weight parameter may be used, and since the weight parameter is the same as already described in operation S300, a detailed description thereof will be omitted. Since the combined signal estimator combines acoustic echo and noise signal power, it is possible to eliminate both acoustic echo and background noise even with one rejection gain. Since the combined signal estimator performs the same process in step S500, a detailed description thereof will be omitted.
반향 잡음 제거기는, 결합 신호 추정기에 의하여 결합된 결합 신호에 위너필터(Wiener Filter)를 적용시킴으로써, 음향학적 반향과 배경잡음을 제거한다. 위너 필터는 수학식 8에 의하여 계산될 수 있으며, 반향 잡음 제거기는, 단계 S600에서의 과정을 동일하게 수행하므로 자세한 설명은 생략하도록 한다.
The echo noise canceller removes acoustic echo and background noise by applying a Wiener filter to the combined signal combined by the combined signal estimator. The Wiener filter may be calculated by Equation 8, and the echo noise canceller performs the same process in step S600, and thus a detailed description thereof will be omitted.
본 발명의 성능 평가를 위해 다양한 잡음 및 반향 환경에서 객관적인 실험을 수행하였다. 성능 평가는 근단화자신호가 없을 때 원단신호 구간에서 반향 제거 후 여전히 남아 있는 잔여 반향의 제거 정도를 측정하는 ERLE(Echo Return Loss Enhancement), 동시 통화 구간에서의 음성의 보존도를 평가하는 SA(Speech Attenuation), 그리고 스펙트럼 성분 분석을 위한 음성 스펙트로그램(Spectrogram) 테스트를 실시하였다. 우선 음향학적 반향신호의 감쇠 정도와 음성 보존도를 측정하기 위해 수학식 12 및 수학식 13과 같은 ERLE(t)와 SA의 수치를 비교하였다.Objective experiments were performed in various noise and echo environments to evaluate the performance of the present invention. Performance evaluation is ERLE (Echo Return Loss Enhancement), which measures the degree of elimination of residual echoes remaining after the echo cancellation in the far-end signal section when there is no near-end talker signal, and SA (Speech which evaluates the preservation of speech in the simultaneous call section). Attenuation and negative spectrogram tests for spectral component analysis were performed. First, in order to measure the attenuation and acoustic preservation of the acoustic echo signal, ERLE (t) and SA values as shown in Equations 12 and 13 were compared.
여기서, N은 이중 발성 구간의 샘플수이고 는 출력신호의 E(t)에서의 근단화자신호 성분을 의미한다.
Where N is the number of samples in the dual vocalization interval Denotes the near-end talker signal component at E (t) of the output signal.
테스트 샘플을 위해 7명의 화자로 부터 얻은 8kHz로 샘플링 된 20개의 문장을 수집하고 각 문장을 원단화자와 근단화자신호로 분류하여 합성하였다. 원단화자신호로 분류된 음성은 섞기 전에 반사 경로를 고려한 실제 환경을 모델링하기 위해 임펄스응답 필터를 통과시키고, 입력 마이크로폰으로 들어가는 반향신호는 근단화자신호보다 3.5dB 작게 하였다. 모델링 환경의 장소는 5×4×3㎥ 크기로 설정하였으며, 잡음 환경을 위해서 vehicular와 babble 잡음을 다양한 SNR(signal-to-noise ratio)로 부가하였다. 그리고 본 발명에 적용된 가중치 파라미터와 문턱 값은 성능 평가에 사용된 테스트 샘플에 기반하여 γTH=1.0, α=0.4, αd=0.97로 설정하였다.
For the test sample, 20 sentences sampled at 8kHz from 7 speakers were collected, and each sentence was classified into far-end speaker and near-end speaker signal. The speech classified as the far-end speaker signal was passed through an impulse response filter to model the real environment considering the reflection path before mixing, and the echo signal entering the input microphone was 3.5dB smaller than the near-end speaker signal. The location of the modeling environment is 5 × 4 × 3㎥ We set the size and added vehicular and babble noises with various signal-to-noise ratios (SNRs) for the noise environment. In addition, the weight parameter and the threshold value applied to the present invention were set to γ TH = 1.0, α = 0.4, and α d = 0.97 based on a test sample used for performance evaluation.
도 5는 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법 및 종래 기술에 의한 ERLE와 SA 수치를 비교하여 나타낸 도면이다. structure 1은 기존의 선반향-후잡음 제거의 통합 구조이며, structure 2는 선잡음-후반향 제거의 통합 구조이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법이, 다양한 SNR 환경에서 기존의 기법보다 향상된 ERLE 수치를 보임을 알 수 있다(a). 또한, 음성 보존도에서도 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법이, 기존의 선반향-후잡음 제거 통합구조보다 우수한 성능을 나타내며, 선잡음-후반향 제거 통합구조와는 대체적으로 비슷한 음성보존도를 유지하는 것을 확인할 수 있다(b).
5 is a diagram illustrating a comparison between ERLE and SA values according to the prior art and a speech processing method based on combined acoustic echo and background noise power according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법과 종래 기술에 의한 시간에 따른 ERLE 변화를 나타내는 도면이다. 배경 잡음으로서는 white 잡음이 SNR=15dB로 부가되었으며, 음향학적 반향신호가 섞여 있는 입력신호에 대하여 실험하였다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법이 기존의 방법보다 동시통화 구간에서 근단화자신호를 잘 보존하면서 효과적으로 잡음 및 반향신호를 제거함으로서 향상된 ERLE 변화를 나타내고 있음을 알 수 있다.
6 is a diagram illustrating a speech processing method based on combined acoustic echo and background noise power according to an embodiment of the present invention, and a change in ERLE over time according to the related art. As background noise, white noise was added with SNR = 15dB, and the experiment was performed on the input signal mixed with acoustic echo signals. As shown in FIG. 6, the speech processing method based on the combined acoustic reverberation and background noise power according to the embodiment of the present invention effectively preserves the near-end talker signal in the simultaneous call interval, and effectively reduces noise and noise. It can be seen that the removal of the echo signal indicates an improved ERLE change.
도 7은 도 6의 음성신호에 대한 스펙트럼 분석을 위한 음성 스펙트로그램을 나타내는 도면이다. 이때 (a)는 깨끗한 근단화자신호의 스펙트로그램, (b)는 structure 1에 의한 출력신호 스펙트로그램, (c)는 structure 2에 의한 출력신호 스펙트로그램이며, (d)는 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법에 의한 출력신호 스펙트로그램을 나타낸다. 도 7에 도시된 바와 같이, 기존의 방법에 의한 스펙트로그램 (b), (c)와, 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법에 의한 스펙트로그램 (d)를 반향신호와 잡음이 섞이기 전의 깨끗한 근단화자신호의 스펙트로그램 (a)와 비교하여 볼 때, 본 발명의 일실시예에 따른 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법이 기존의 방법보다 효과적으로 잡음 및 잔여 반향신호를 제거하는 것을 확인할 수 있다.
FIG. 7 is a diagram illustrating a speech spectrogram for spectrum analysis of the speech signal of FIG. 6. (A) is a spectrogram of a clean near-end talker signal, (b) is an output signal spectrogram by
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above may be variously modified or applied by those skilled in the art, and the scope of the technical idea according to the present invention should be defined by the following claims.
S100: 마이크로폰에 의하여 입력되는 화자신호를 DFT하고, 스피커에 공급되는 원단신호를 DFT하는 단계
S200: 화자신호와 원단신호로부터 잡음신호의 전력을 추정하는 단계
S300: 추정한 잡음신호의 전력비를 이용하여 가중치 파라미터를 도출하는 단계
S400: 원단신호의 반향경로를 고려하여 음향학적 반향신호를 추정하는 단계
S500: 가중치 파라미터를 사용하여, 추정된 음향학적 반향신호와 추정된 잡음 전력을 원단신호의 유무에 따라 선별적으로 결합하여 최종 결합 신호를 생성하는 단계
S600: 최종 결합 신호에 제거 이득을 적용하여 음향학적 반향 및 잡음신호를 제거하는 단계S100: DFT the speaker signal input by the microphone, and DFT the far-end signal supplied to the speaker
S200: estimating the power of the noise signal from the speaker signal and the far-end signal
S300: deriving a weight parameter using the estimated power ratio of the noise signal
S400: estimating an acoustic echo signal in consideration of the echo path of the far-end signal
S500: using the weighting parameter, selectively combining the estimated acoustic echo signal and the estimated noise power according to the presence or absence of the far-end signal to generate a final combined signal.
S600: removing acoustic echo and noise signal by applying a cancellation gain to the final combined signal
Claims (4)
(2) 상기 화자신호와 상기 원단신호로부터 잡음신호의 전력을 추정하는 단계;
(3) 상기 추정한 잡음신호의 전력을 이용하여 가중치 파라미터를 도출하는 단계;
(4) 상기 원단신호의 반향 경로를 고려하여 음향학적 반향신호를 추정하는 단계;
(5) 상기 가중치 파라미터를 사용하여, 상기 추정된 음향학적 반향신호와 상기 추정된 잡음 전력을 상기 원단신호의 유무에 따라 선별적으로 결합하여 최종 결합 신호를 생성하는 단계; 및
(6) 상기 최종 결합 신호에 제거 이득을 적용하여 음향학적 반향 및 잡음신호를 제거하는 단계를 포함하는 것을 특징으로 하는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법.
(1) a discrete Fourier transform (hereinafter, referred to as a "DFT") of a speaker signal input by a microphone, and a DFT of a far-end signal supplied to a speaker;
(2) estimating power of a noise signal from the speaker signal and the far-end signal;
(3) deriving a weight parameter using the estimated power of the noise signal;
(4) estimating an acoustic echo signal in consideration of the echo path of the far-end signal;
(5) using the weighting parameter, selectively combining the estimated acoustic echo signal and the estimated noise power according to the presence or absence of the far-end signal to generate a final combined signal; And
And (6) removing acoustic echo and noise signals by applying a cancellation gain to the final combined signal.
다음 수학식에 의하여 계산되는 것을 특징으로 하는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법.
여기서, γTH는 문턱 값, α는 상수, Γ(i,k)는 아래 수학식에 의하여 가변 값을 갖게 되는 선행 확률로서 H0이면 0, H1이면 1을 갖는 인덱스 함수이다.
The method of claim 1, wherein the weight parameter,
A speech processing method based on combined acoustic reverberation and background noise power, which is calculated by the following equation.
Here, γ TH is a threshold value, α is a constant, and Γ (i, k) is a leading probability of having a variable value according to the following equation, and is an index function having 0 for H 0 and 1 for H 1 .
위너 필터에 기반하여 상기 최종 결합 신호에 제거 이득을 적용하는 것을 특징으로 하는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 방법.
The method according to claim 1, wherein in step (6),
Applying acoustic cancellation to the final combined signal based on a Wiener filter.
상기 화자신호와 상기 원단신호를 이용하여, 상기 원단신호로부터 반향 경로를 고려한 임펄스응답을 추정하는 에코 경로 응답기(Echo Path Response);
상기 화자신호로부터 잡음신호 전력을 추정하는 잡음 전력 추정기(Noise Power Estimation);
상기 원단신호로부터 음향학적 반향신호를 추정하는 에코 신호 추정기(Estimated Echo Signal);
상기 추정된 음향학적 반향신호와 상기 추정된 잡음신호 전력을 상기 원단신호의 유무에 따라 선별적으로 결합하는 결합 신호 추정기(Unified Signal Estimation); 및
상기 결합 신호 추정기에 의하여 결합된 결합 신호에 위너필터(Wiener Filter)를 적용시킴으로써, 음향학적 반향과 배경잡음을 제거하는 반향 잡음 제거기를 포함하는 것을 특징으로 하는 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 음성 처리 장치.The speaker signal input by the microphone may be Discrete Fourier Transform (DFT) or Inverse Discrete Fourier Transform (IDFT), or the raw material supplied to the speaker. A Fourier transformer for DFT or IDFT the signal;
An echo path response unit for estimating an impulse response in consideration of an echo path from the far-end signal using the speaker signal and the far-end signal;
A noise power estimator for estimating noise signal power from the speaker signal;
An echo signal estimator for estimating an acoustic echo signal from the far-end signal;
A unified signal estimator for selectively combining the estimated acoustic echo signal and the estimated noise signal power according to the presence or absence of the far-end signal; And
And applying a Wiener filter to the combined signal coupled by the combined signal estimator, comprising a echo noise canceller for removing acoustic echo and background noise. Based speech processing unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100066639A KR101147218B1 (en) | 2010-07-09 | 2010-07-09 | A device and method for managing acoustic signal based on combined power of acoustic echo and background noise |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100066639A KR101147218B1 (en) | 2010-07-09 | 2010-07-09 | A device and method for managing acoustic signal based on combined power of acoustic echo and background noise |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120005920A true KR20120005920A (en) | 2012-01-17 |
KR101147218B1 KR101147218B1 (en) | 2012-05-25 |
Family
ID=45611863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100066639A KR101147218B1 (en) | 2010-07-09 | 2010-07-09 | A device and method for managing acoustic signal based on combined power of acoustic echo and background noise |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101147218B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101723523B1 (en) | 2016-11-22 | 2017-04-05 | 주식회사 아이디케이 | The Improved Acoustic Emission Test System to Extract Pure Elastic Wave from Combined Signals |
WO2022158913A1 (en) * | 2021-01-21 | 2022-07-28 | 한양대학교 산학협력단 | Noise and echo signal integrated cancellation device using deep neural network having parallel structure |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102076760B1 (en) * | 2018-09-19 | 2020-02-12 | 한양대학교 산학협력단 | Method for cancellating nonlinear acoustic echo based on kalman filtering using microphone array |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100949910B1 (en) * | 2008-05-26 | 2010-03-30 | (주)제너시스템즈 | Method and apparatus for acoustic echo cancellation using spectral subtraction |
-
2010
- 2010-07-09 KR KR1020100066639A patent/KR101147218B1/en not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101723523B1 (en) | 2016-11-22 | 2017-04-05 | 주식회사 아이디케이 | The Improved Acoustic Emission Test System to Extract Pure Elastic Wave from Combined Signals |
WO2022158913A1 (en) * | 2021-01-21 | 2022-07-28 | 한양대학교 산학협력단 | Noise and echo signal integrated cancellation device using deep neural network having parallel structure |
Also Published As
Publication number | Publication date |
---|---|
KR101147218B1 (en) | 2012-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9699552B2 (en) | Echo suppression comprising modeling of late reverberation components | |
US8594320B2 (en) | Hybrid echo and noise suppression method and device in a multi-channel audio signal | |
EP1885154B1 (en) | Dereverberation of microphone signals | |
EP2237271B1 (en) | Method for determining a signal component for reducing noise in an input signal | |
TWI392322B (en) | Double talk detection method based on spectral acoustic properties | |
US20080192946A1 (en) | Method and Device for Removing Echo in an Audio Signal | |
US20070036344A1 (en) | Method and system for eliminating noises and echo in voice signals | |
US8218780B2 (en) | Methods and systems for blind dereverberation | |
Habets et al. | Joint dereverberation and residual echo suppression of speech signals in noisy environments | |
Park et al. | Integrated echo and noise canceler for hands-free applications | |
Braun et al. | Late reverberation PSD estimation for single-channel dereverberation using relative convolutive transfer functions | |
KR101147218B1 (en) | A device and method for managing acoustic signal based on combined power of acoustic echo and background noise | |
KR100844176B1 (en) | A method for suppressing a residual echo based on statistical model | |
Yang | Multilayer adaptation based complex echo cancellation and voice enhancement | |
KR100949910B1 (en) | Method and apparatus for acoustic echo cancellation using spectral subtraction | |
Fingscheidt et al. | Towards objective quality assessment of speech enhancement systems in a black box approach | |
KR101055793B1 (en) | Acoustic Echo Cancellation Using Segment Conditions in the Frequency Domain | |
Park et al. | Integrated acoustic echo and background noise suppression technique based on soft decision | |
KR101033336B1 (en) | A method for suppressing residual echo based on tracking echo-presence uncertainty | |
Abutalebi et al. | Speech dereverberation in noisy environments using an adaptive minimum mean square error estimator | |
KR101537653B1 (en) | Method and system for noise reduction based on spectral and temporal correlations | |
Kallinger et al. | Multi-microphone residual echo estimation | |
KR20080095422A (en) | Echo canceller and method thereof | |
Albertin et al. | Objective quality measures for dereverberation methods based on room impulse response equalization | |
Tong et al. | A modified a priori SER for acoustic echo suppression using wiener filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20120510 Year of fee payment: 4 |
|
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150703 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160404 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |