KR20100045934A - Noise suppression device and noise suppression method - Google Patents
Noise suppression device and noise suppression method Download PDFInfo
- Publication number
- KR20100045934A KR20100045934A KR1020090101092A KR20090101092A KR20100045934A KR 20100045934 A KR20100045934 A KR 20100045934A KR 1020090101092 A KR1020090101092 A KR 1020090101092A KR 20090101092 A KR20090101092 A KR 20090101092A KR 20100045934 A KR20100045934 A KR 20100045934A
- Authority
- KR
- South Korea
- Prior art keywords
- noise
- noise suppression
- gain
- frame
- input signal
- Prior art date
Links
- 230000001629 suppression Effects 0.000 title claims abstract description 255
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000001228 spectrum Methods 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims description 62
- 238000009499 grossing Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 206010002953 Aphonia Diseases 0.000 claims 2
- 206010040007 Sense of oppression Diseases 0.000 claims 1
- 230000006866 deterioration Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 41
- 230000000694 effects Effects 0.000 description 25
- 230000014509 gene expression Effects 0.000 description 20
- 230000003595 spectral effect Effects 0.000 description 17
- 238000012935 Averaging Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000005534 acoustic noise Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Circuit For Audible Band Transducer (AREA)
- Noise Elimination (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
Description
본 발명은, 잡음 억압 장치 및 잡음 억압 방법에 관한 것이다.The present invention relates to a noise suppression apparatus and a noise suppression method.
종래, 입력 신호에 따라서 스피커 등의 부하를 구동하는 음성 재생 장치, 원격지간에 음성을 전달하는 음성 통신 장치, 음성의 종별 등을 구별ㆍ인식함으로써 그 의미 등을 이해하는 음성 인식 장치 등등이 제안되어 있다. 이들 각 장치에서는, 음성을 정확하게 재생하고, 전달하고, 혹은 인식 등 하기 위해, 거기에 포함되는 잡음의 영향이 제거되는 것이 적합하다.Background Art Conventionally, a voice reproducing apparatus for driving a load such as a speaker according to an input signal, a voice communication apparatus for transmitting voice between remote locations, a voice recognition apparatus for understanding the meaning and the like by distinguishing and recognizing the type of voice and the like have been proposed. . In each of these devices, it is suitable to remove the influence of noise contained therein in order to accurately reproduce, transmit, or recognize voice.
그와 같은 잡음 억압의 기술로서는, 예를 들어 이하의 특허 문헌 1 및 특허 문헌 2, 및 비특허 문헌 1 내지 비특허 문헌 5에 개시되어 있는 바와 같은 것이 알려져 있다.As the technique of such noise suppression, what is disclosed by the following patent documents 1 and patent documents 2, and nonpatent literature 1-nonpatent literature 5 is known, for example.
[특허 문헌 1] 일본 특허 공개 제2007-226264호 공보[Patent Document 1] Japanese Patent Application Laid-Open No. 2007-226264
[특허 문헌 2] 일본 특허 공개 제2005-257748호 공보[Patent Document 2] Japanese Patent Application Laid-Open No. 2005-257748
[비특허 문헌 1] Boll, S., "Suppression of acoustic noise in speech using spectral subtraction", IEEE Trans. Vol.ASSP-27, No.2, pp.113-120, 1979.[Non-Patent Document 1] Boll, S., "Suppression of acoustic noise in speech using spectral subtraction", IEEE Trans. Vol.ASSP-27, No. 2, pp. 113-120, 1979.
[비특허 문헌 2] M. Berouti, el al, "Enhancement of Speech Corrupted by Acoustic Noise", Proceedings of ICASSP, pp.201-211, 1979.[Non-Patent Document 2] M. Berouti, el al, "Enhancement of Speech Corrupted by Acoustic Noise", Proceedings of ICASSP, pp. 201-211, 1979.
[비특허 문헌 3] Lim & Oppenheim, "Enhancement and Bandwidth Compression of Noisy Speech", Proc.IEEE, Vol.67, No.12, pp.1586-1604, 1979[Non-Patent Document 3] Lim & Oppenheim, "Enhancement and Bandwidth Compression of Noisy Speech", Proc. IEEE, Vol. 67, No. 12, pp. 1586-1604, 1979
[비특허 문헌 4] Y. Ephraim and D. Malah, "Speech Enhancement Using a Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator", IEEE Trans. Vol.ASSP-32, No.6, pp.1109-1121, 1984.[Non-Patent Document 4] Y. Ephraim and D. Malah, "Speech Enhancement Using a Minimum Mean-Square Error Short-Time Spectral Amplitude Amplitude Estimator", IEEE Trans. Vol.ASSP-32, No. 6, pp. 1109-1121, 1984.
[비특허 문헌 5] 사사키 준코, 다나카 마사시, "마스킹 효과를 이용한 저왜곡 잡음 저감 방식의 검토", 신학기보, EA98-106, pp.37-42, 1998[Non-Patent Document 5] Junko Sasaki, Masashi Tanaka, "Review of Low Distortion Noise Reduction Method Using Masking Effect", Theological Report, EA98-106, pp.37-42, 1998
이들 각 문헌에 개시되는 기술은, 기본적으로, 주파수 영역의 진폭 스펙트럼의 레벨을 적당한 방법에 의해 차감함으로써 잡음을 억압하는 방법, 즉 소위 스펙트럴 서브트랙션법(Spectral Subtraction)에 관련하여, 이들 어느 기술에 의해서도 일정한 잡음 억압 효과가 향수될 수 있다.The technique disclosed in each of these documents basically relates to a method of suppressing noise by subtracting the level of the amplitude spectrum in the frequency domain by an appropriate method, i.e., so-called spectral subtraction. Even a certain noise suppression effect can be nostalgic.
그러나, 이들 문헌에 있어서는 미개시ㆍ미해결의 과제는 아직 있다.However, in these documents, there is still an unstarted and unsolved problem.
예를 들어, 상기한 스펙트럴 서브트랙션법은, 입력 신호 중에 포함되는 잡음 스펙트럼을 추정하고, 그 잡음 스펙트럼 추정치를 진폭 스펙트럼으로부터 차감하는 방법에 기초하지만, 이 경우, 소위 뮤지컬 노이즈가 발생할 우려가 높다고 하는 문제가 있다. 이는, 여기서 말하는 잡음 스펙트럼 추정치가, 반드시 실제의 잡음 스 펙트럼을 반영한다고는 할 수 없는 것에 의한다. 즉, 어느 주파수 대역에서는, 잡음 스펙트럼 추정치를 차감한 후에도 아직 잡음이 남는 경우가 있고, 또한 다른 주파수 대역에서는, 과잉 차감이 발생하는 경우가 있다. 이로 인해, 잡음 스펙트럼차감 후의 진폭 스펙트럼을 시간 영역으로 재변환하면, 복수의 랜덤의 주파수를 갖는 정현파가 합성된 것이 나타날 가능성이 있고, 이것이 재생됨으로써 상당히 귀에 거슬리는 잡음(즉, 뮤지컬 노이즈)이 발생하게 될 우려가 있는 것이다.For example, the spectral subtraction method described above is based on a method of estimating a noise spectrum included in an input signal and subtracting the noise spectrum estimate from an amplitude spectrum. In this case, the so-called musical noise is likely to be generated. There is a problem. This is because the noise spectral estimate here does not necessarily reflect the actual noise spectrum. That is, in some frequency bands, noise may still remain after subtracting the noise spectrum estimate, and in other frequency bands, excessive subtraction may occur. For this reason, when the amplitude spectrum after noise spectrum subtraction is reconverted to the time domain, there is a possibility that a sine wave having a plurality of random frequencies is synthesized, and this is reproduced so that an extremely unpleasant noise (that is, musical noise) is generated. It is likely to be.
또한, 이 뮤지컬 노이즈를 억압하기 위해, 잡음 스펙트럼 추정치를 차감한 후의 진폭 스펙트럼에, 원음을 가산하는 처리를 행하는 것이 제안되어 있다(상기 비특허 문헌 5 참조).Moreover, in order to suppress this musical noise, it is proposed to perform the process which adds an original sound to the amplitude spectrum after subtracting a noise spectrum estimation value (refer the said nonpatent literature 5).
그러나, 이 기술에서는, 원음 가산 비율이 입력 신호의 SNR을 추정하는 것에 기초하여 정해지도록 되어 있으므로, 말하자면 잡음 억압 처리의 유연성이 약간 부족한 경향이 있다. 예를 들어, 상기 비특허 문헌 5에서는, SNR이 10 내지 1.5[dB]인 것을 기준으로, SNR이 그 이상일 때는 원음 가산 비율이 0.05, 그것을 하회할 때는 0.5, 등과 같이, 원래 억압하고 싶거나, 혹은 억압해야 할 잡음량과는 무관하게, 원음 가산 비율의 설정이 행해지기 때문에, 실제상 향수되는 잡음 억압 효과에 약간의 문제가 있는 것이다. 이와 같은 사정은, 전술한 특허 문헌 2에 있어서도 해당된다.However, in this technique, since the original sound addition ratio is determined based on estimating the SNR of the input signal, it tends to be slightly lacking in the flexibility of the noise suppression process. For example, in the non-patent document 5, on the basis of the SNR of 10 to 1.5 [dB], the original sound addition ratio is 0.05 when the SNR is more than that, 0.5 when it is less than that, and wants to suppress the original. In addition, since the original sound addition ratio is set regardless of the amount of noise to be suppressed, there is a slight problem in the noise suppression effect actually received. Such a situation also applies to patent document 2 mentioned above.
또한, 입력 신호 중에는, 주로 음성이 차지하는 부분(음성 부분)과, 그것이 거의 없는 부분(잡음 부분)이 존재한다.In addition, in the input signal, there are mainly a portion (voice portion) occupied by the voice and a portion (noise portion) with few of them.
이와 같은 상황 하에서, 예를 들어, 전술한 비특허 문헌 1과 같이, 음성 부 분에는 스펙트럴 서브트랙션법을 적용하지만, 잡음 부분에는 고정 게인을 적용하여 잡음을 억압하는 경우, 그 고정 게인의 값이 너무 작을 때는, 잡음 부분으로부터 음성 부분으로의 절환 장면에 있어서, 배경 잡음량이 커지는 현상이 생기고, 고정 게인의 값이 너무 클 때는, 반대로 배경 잡음량이 작아지는 현상이 발생할 수 있다. 이것이 예를 들어 재생되면, 청취자에게 청감상의 부자연스러움을 느끼게 할 우려가 높다.Under such a situation, for example, as in Non-Patent Document 1 described above, the spectral subtraction method is applied to the speech portion, but the fixed gain value is applied to the noise portion to suppress the noise. When too small, the background noise amount may increase in the switching scene from the noise portion to the voice portion, and when the fixed gain value is too large, the background noise amount may decrease. If this is reproduced, for example, there is a high possibility that the listener will feel the unnatural hearing.
본 발명은, 상술한 과제의 적어도 일부를 해결하는 것이 가능한 잡음 억압 장치 및 잡음 억압 방법을 제공하는 것을 과제로 한다.This invention makes it a subject to provide the noise suppression apparatus and the noise suppression method which can solve at least one part of the subject mentioned above.
본 발명에 관한 잡음 억압 장치는, 상술한 과제를 해결하기 위해, K개의 주파수 대역(단, K는 2 이상의 자연수)의 각각에 대해, 입력 신호에 포함되는 잡음 스펙트럼을 당해 입력 신호에 기초하여 추정하는 잡음 스펙트럼 추정 수단과, 상기 잡음 스펙트럼 추정 수단에 의한 잡음 스펙트럼의 추정 결과에 기초하여, 상기 K개의 주파수 대역의 각각의 잡음 억압 게인을 산출하는 제1 게인 연산 수단과, 상기 입력 신호에 상기 잡음 억압 게인을 적용한 결과 얻어지는 제1 잡음 억압 후 신호에, 당해 잡음 억압 게인과 미리 결정된 목표 잡음 억압 게인의 차에 기초하여 정해지는 제1 비율로, 상기 입력 신호를 가산하는 원음 가산 수단을 구비한다.In order to solve the above problem, the noise suppression apparatus according to the present invention estimates the noise spectrum included in the input signal for each of the K frequency bands (where K is a natural number of 2 or more) based on the input signal. First gain calculating means for calculating respective noise suppression gains of the K frequency bands based on a noise spectrum estimating means, and a noise spectrum estimation result by the noise spectrum estimating means; And an original sound adding means for adding the input signal to a first post-noise suppression signal obtained as a result of applying the suppression gain, at a first ratio determined based on a difference between the noise suppression gain and a predetermined target noise suppression gain.
본 발명에 따르면, 우선, 원음 가산 수단이, 제1 잡음 억압 후 신호에 입력 신호를 가산하도록 되어 있으므로, 예를 들어 전술한 바와 같은 잡음 스펙트럼 추정치에 의한 진폭 스펙트럼의 과잉 차감의 사례가 발생하였다 해도, 그 부분이 당 해 원음에 의해 말하자면 보충되는 형태가 되므로, 상기 뮤지컬 노이즈의 발생이 매우 실효적으로 억압된다.According to the present invention, first, since the original sound adding means adds the input signal to the signal after the first noise suppression, even if an example of excessive subtraction of the amplitude spectrum by the noise spectrum estimation value as described above occurs, for example, This part becomes a form that is supplemented by the original sound, so that the occurrence of the musical noise is suppressed very effectively.
게다가, 본 발명에 있어서는, 원음 가산 비율로서의 의의를 갖는「제1 비율」이, 잡음 억압 게인과 목표 잡음 억압 게인의 차에 기초하여 정해지도록 되어 있으므로, 실제상 향수되는 잡음 억압 효과가 매우 실효적으로 된다. 이러한 것도, 본 발명의 경우, 전술한 예와 같이 SNR 추정치와 기준치의 단순한 비교에 의한 것이 아닌, 당해의「제1 비율」이, 목표 잡음 억압 게인과의 관계에 있어서 정해지고, 또한 이 목표 잡음 억압 게인은, 원래 억압하고 싶거나, 혹은 억압해야 할 잡음량에 기초하여 설정될 수 있는 것이기 때문이다.In addition, in the present invention, since the "first ratio", which is meaningful as the original sound addition ratio, is determined based on the difference between the noise suppression gain and the target noise suppression gain, the noise suppression effect actually nostalgic is very effective. Becomes In the case of the present invention, such a "first ratio" is determined in relation to the target noise suppression gain, which is not based on a simple comparison between the SNR estimation value and the reference value, as in the above-described example. This is because the suppression gain can be set based on the amount of noise originally desired or suppressed.
또한, 본 발명에서 말하는「목표 잡음 억압 게인」은, 본 발명에 관한 잡음 억압 장치 외부에 설치된 조작부 등을 거침으로써 인위적으로 부여되거나, 혹은 어떠한 적당한 방법에 의해 자동적으로 연산되도록 하면 된다.In addition, the "target noise suppression gain" referred to in the present invention may be artificially provided through an operation unit or the like provided outside the noise suppression apparatus according to the present invention, or may be automatically calculated by any suitable method.
본 발명에 관한 잡음 억압 장치에서는, 상기 잡음 억압 게인에 대해 상기 K개의 주파수 대역에 관한 평균치 게인을 산출하는 제2 게인 연산 수단을 더 구비하고, 상기 원음 가산 수단은, 상기 입력 신호에 상기 평균치 게인을 적용한 결과 얻어지는 제2 잡음 억압 후 신호에, 당해 평균치 게인과 상기 목표 잡음 억압 게인의 차에 기초하여 정해진 제2 비율로, 상기 입력 신호를 가산하도록 구성해도 된다.The noise suppression apparatus according to the present invention further includes second gain calculating means for calculating an average gain of the K frequency bands with respect to the noise suppression gain, and the original sound adding means further includes the average value gain in the input signal. The input signal may be added to the second post-noise suppression signal obtained as a result of the application of the input signal at a second ratio determined based on the difference between the average gain and the target noise suppression gain.
이 형태에 따르면, 제2 잡음 억압 후 신호에,「제2 비율」로 입력 신호가 가산된다.According to this aspect, the input signal is added to the signal after the second noise suppression at the "second ratio".
여기서 본 형태에서는,「평균치 게인」이 사용되는 것에 특징의 하나가 있 다. 이 평균치 게인은, 가령 상기한 잡음 억압 게인이, G(1), G(2),…, G(K)라고 하면, 예를 들어 그 평균치 게인인 Gave가, Gave=(G(1)+G(2)+…+G(K))/K 등으로 하여 구해진다. 그리고, 또한 입력 신호를 주파수 영역으로 변환하여 얻어지는 진폭 스펙트럼이, Y(1), Y(2),…, Y(K)라 하면, 주파수 영역에 있는 출력 신호는 GaveㆍY(1), GaveㆍY(2),…, GaveㆍY(K) 등으로 얻어지게 된다(이는 본 형태에서 말하는「평균치 게인을 적용한 결과 얻어지는 제2 잡음 억압 후 신호」의 한 구체예임).In this embodiment, one feature is that "average gain" is used. This average gain is, for example, the noise suppression gain described above being G (1), G (2),... , G (K), for example, the average gain Gave is obtained by Gave = (G (1) + G (2) +… + G (K)) / K and the like. Further, the amplitude spectra obtained by converting the input signal into the frequency domain are Y (1), Y (2),... , Y (K), the output signals in the frequency domain are Gave Y (1), Gave Y (2),... And Gave Y (K) or the like (this is one specific example of the "signal after the second noise suppression obtained by applying the average gain").
따라서, 우선, 이와 같은 평균치 게인의 존재에 따르면, 예를 들어 전술한 바와 같은 잡음 스펙트럼 추정치에 의한 진폭 스펙트럼의 과잉 차감의 사례 등이 발생하지 않으므로, 뮤지컬 노이즈의 발생이 매우 실효적으로 억압된다.Therefore, first, according to the presence of such an average gain, for example, there is no case of excessive subtraction of the amplitude spectrum by the noise spectrum estimation value as described above, so that generation of musical noise is effectively suppressed.
뿐만 아니라, 본 형태에서는 또한, 이와 같은 평균치 게인과 상기 목표 잡음 억압 게인의 차에 기초하여 정해진 제2 비율로, 원음 가산이 행해지도록 되어 있으므로, 뮤지컬 노이즈의 억압 효과는 더욱 효과적으로 향수되게 된다.In addition, in this embodiment, since the original sound is added at a second ratio determined based on the difference between the average gain and the target noise suppression gain, the suppression effect of the musical noise is more effectively nostalgic.
또한, 본 형태에서 말하는「제2 잡음 억압 후 신호에,…제2 비율로,…입력 신호를 가산한다」와, 상기한「제1 잡음 억압 후 신호에,…제1 비율로,…입력 신호를 가산한다」의 관계는, 다음과 같다.In addition, the "after the second noise suppression signal" referred to in this embodiment,... At a second rate,... Add an input signal to the signal after the first noise suppression,... At a first rate,... Add an input signal ”is as follows.
우선,「제1 잡음 억압 후 신호」의 생성 및「제1 비율」의 정립 양쪽에「잡음 억압 게인」이 관계되고, 전자는 후자에 기초하는 원음 가산 처리의 대상이 되는 한편,「제2 잡음 억압 후 신호」의 생성 및「제2 비율」의 정립 양쪽에「평균치 게인」이 관계되고, 전자는 후자에 기초하는 원음 가산 처리의 대상이 되는 개념상의 구별을 확인한다.First, the "noise suppression gain" is related to both the generation of the "signal after the first noise suppression" and the formulation of the "first ratio", and the former is subjected to the original sound addition process based on the latter, while the "second noise" "Average gain" is related to both the generation of the signal after suppression and the formulation of the "second ratio", and the former confirms the conceptual distinction that is the object of the original sound addition process based on the latter.
이 전제에서, 우선, 본 형태에서 말하는「평균치 게인」이 산출되는 이상은, 본 발명에 관한「원음 가산 수단」은, 그「평균치 게인」에 기초하는「제2 비율」에 의한 원음 가산을 행할 뿐으로,「제1 비율」에 의한 원음 가산은 행하지 않는다는 관계가, 본 발명에 있어서는 성립할 수 있다. 즉, 이 경우에는, 본 형태가, 전술한「제1 비율」을 포함하는 형태에 대해, 말하자면 우선적 지위에 선다.In this premise, first, the "average value gain" calculated in this embodiment is calculated so that the "original sound adding means" according to the present invention can perform the original sound addition by the "second ratio" based on the "average value gain". In addition, in this invention, the relationship that the original sound addition by a "1st ratio" is not performed can be established. That is, in this case, this form puts in a preferential position about the form containing the above-mentioned "first ratio."
혹은, 입력 신호 중의 어느 부분에서는「제1 비율」에 의한 원음 가산이, 다른 부분에서는「제2 비율」에 의한 원음 가산이 행해지는 등의 형태도, 본 발명에 있어서는 성립할 수 있다(이 경우, 전자의 부분은「제1 잡음 억압 후 신호」에 관련되고, 후자의 부분은「제2 잡음 억압 후 신호」에 관련되게 됨).Alternatively, in the present invention, a form in which the original sound addition by the "first ratio" is performed in one portion of the input signal and the original sound addition by the "second ratio" in another portion can be established (in this case) The former part is related to the "signal after the first noise suppression" and the latter part is related to the "signal after the second noise suppression".
또한, 경우에 따라서는,「제2 잡음 억압 후 신호」에「제2 비율」에 의한 원음 가산을 행할 뿐만 아니라,「제1 잡음 억압 후 신호」에도「제2 비율」에 의한 원음 가산을 행하는 등과 같은 형태도, 본 발명은 특히 그 범위 내에 들어간다(이러한 형태는, 본 발명의 각종 형태의 하나로서, 이후에 언급됨). 이것은 즉,「평균치 게인」이 아닌「잡음 억압 게인」의 관여로 성립하는「제1 잡음 억압 후 신호」에도,「평균치 게인」에 기초하여 정해지는「제2 비율」의 적용이 있으면 되는 것을 함의한다(경우에 따라서는, 그 반대도 그러함).In some cases, not only the original sound is added by the "second ratio" to the "second noise suppressed signal" but also the original sound is added by the "second ratio" to the "first noise suppressed signal". As such, the present invention falls within the scope of the present invention, which is referred to hereinafter as one of various forms of the present invention. This means that the application of the second ratio, which is determined based on the average gain, should also be applied to the signal after the first noise suppression established by the noise suppression gain, not the average gain. (In some cases, and vice versa).
또한, 본 발명에 관한 잡음 억압 장치에서는, 상기 원음 가산 수단은, 상기 제1 또는 제2 비율을 시간축 상에서 평활화한 평활화 비율을 산출하고, 상기 제1 또는 제2 잡음 억압 후 신호에, 상기 평활화 비율로, 상기 입력 신호를 가산하도록 구성해도 된다.Moreover, in the noise suppression apparatus which concerns on this invention, the said original sound adding means calculates the smoothing ratio which smoothed the said 1st or 2nd ratio on the time axis, and the said smoothing ratio to the signal after the said 1st or 2nd noise suppression In addition, you may comprise so that the said input signal may be added.
이 형태에 따르면, 상기 제1 또는 제2 비율을 시간축 상에서 평활화한 평활화 비율이 산출된다. 따라서, 이 평활화 비율은,「제1 비율」또는「제2 비율」이, 전술한「차」에 기초하여 정립된 후, 또한 이들이 평활화 처리된 것이다. 또한,「시간축 상에서 평활화」라 함은, 산출 후의 평활화 비율이 시계열을 따라 OGsmt-T(1), OGsmt-T(2),…, OGsmt-T(r),…,라고 되어 있다고 하면(r은 적당한 정수), 예를 들어 적당한 평활화 계수 δ를 사용하여, OGsmt-T(r)=δㆍOGsmt-T(r-1)+(1-δ)ㆍog 등으로서 산출되는 것을 의미한다(단, og는,「제1 비율」또는「제2 비율」임).According to this aspect, the smoothing ratio which smoothed the said 1st or 2nd ratio on the time axis is computed. Therefore, after this "smoothing ratio" is established based on the "difference" mentioned above, this smoothing ratio is further smoothed. In addition, "smoothing on the time axis" means that the smoothing ratio after the calculation is OGsmt-T (1), OGsmt-T (2), ... along the time series. , OGsmt-T (r),... , (R is an appropriate integer), for example, using an appropriate smoothing coefficient δ, OGsmt-T (r) = δ, OGsmt-T (r-1) + (1-δ) It means that it is calculated (however, og is a "first ratio" or a "second ratio").
이에 따르면, 제1 또는 제2 비율(정확하게 말하면, 평활화된 제1 또는 제2 비율. 즉, 본 형태에서 말하는「평활화 비율」)의 시간의 경과에 따른 급격한 변화가 발생하지 않으므로, 잡음 억압 처리의 연속성ㆍ일관성이 유지된다.According to this, there is no sudden change of the first or second ratio (to be precise, the smoothed first or second ratio, i.e., the " smoothing ratio " in the present embodiment) over time, so that the noise suppression process Continuity and consistency are maintained.
또한, 본 발명에 있어서는, 후술하는 바와 같이, 경시적으로 구분된 프레임마다의 처리가 행해지면 적합하지만, 그 경우, 본 형태에서 말하는「시간축」은, 보다 구체적으로는, 그 프레임의 하나하나가 순서대로 배열되어 가는 경우에 관념되는 축으로서 상정될 수 있다. 이 점에 대한, 보다 상세한 구체예에 대해서는, 후술하는 실시 형태, 특히 수학식 7에 관하여 설명된다.In the present invention, as will be described later, processing for each frame divided over time is suitable. However, in this case, the "time axis" referred to in this embodiment is more specifically one of the frames. It can be assumed as an axis that is thought to be arranged in order. A more detailed specific example of this point will be described with reference to embodiments described later, in particular, equation (7).
또한, 본 형태에 관련하여, 본 형태에서 말하는「제1 비율」또는「제2 비율」은, 후술하는 실시 형태에 있어서는,「원음 가산율 og」로서, 마찬가지로「평활화 비율」은「원음 가산 비율 OGt」로서, 각각 구체화되어 설명된다.In addition, in connection with this embodiment, the "first ratio" or "second ratio" in this embodiment is "original sound addition rate og" in embodiment mentioned later, and "smoothing ratio" is similar to "original sound addition ratio OG. t ", each being specified and described.
또한, 상기한「평균치 게인」등의 개념을 포함하는 본 발명의 형태에서는, 상기 입력 신호에 포함되는 음성의 유무를 경시적으로 검출함으로써, 당해 입력 신호를, 당해 음성이 포함되는 음성 프레임 및 당해 음성이 포함되지 않는 잡음 프레임으로 구분하는 음성 검출 수단을 더 구비하고, 상기 제2 잡음 억압 후 신호는, 상기 입력 신호 중 상기 잡음 프레임에 해당하는 부분에, 상기 평균치 게인을 적용한 결과 얻어지도록 구성해도 된다.In addition, in the aspect of the present invention including the above-described "average gain" concept, by detecting the presence or absence of the voice included in the input signal over time, the input signal is divided into the voice frame and the corresponding voice. And a speech detecting means for dividing the speech frame into noise frames that do not contain speech. The second noise suppression signal may be configured to be obtained as a result of applying the average gain to a portion of the input signal corresponding to the noise frame. do.
이 형태에 따르면, 전술한 평균치 게인이 잡음 프레임에, 더 적합하게는 잡음 프레임에만 적용되어, 제2 잡음 억압 후 신호가 생성된다(그리고, 이 제2 잡음 억압 후 신호는, 상기 제2 비율에 의한 원음 가산 처리를 받음). 잡음 프레임에서는, 뮤지컬 노이즈가 비교적으로 발생하기 쉬운 점에서 보면, 본 형태는, 그것을 목표로 하는 것처럼 평균치 게인의 적용을 행하게 되므로, 뮤지컬 노이즈 억압 효과를 얻기 위한 최적의 형태의 하나라 할 수 있다.According to this aspect, the aforementioned average gain is applied to the noise frame, more suitably only to the noise frame, so that a signal after the second noise suppression is generated (and the signal after the second noise suppression is applied to the second ratio. The original sound is added). In the noise frame, in view of the fact that musical noise is more likely to occur, this form is one of the most suitable forms for obtaining the musical noise suppression effect because the average gain is applied as if it were the target.
또한, 본 형태에 있어서, 음성이「포함된다」혹은「포함되지 않는다」라는 용어는, 말하자면 절대적인 의미로 해석되어서는 안 된다. 예를 들어, "모두가 음성"으로 채워진 프레임과, "전혀 음성이 존재하지 않음"의 프레임이라는 2개의 형태가 관념적으로는 상정되지만, 이 양자 양극단부를 가리켜「음성 프레임」 및 「잡음 프레임」의 구별이 행해지는 경우로, 본 형태가 한정되는 것은 물론 아니고, 또한 후자만이「잡음 프레임」이고, 그 이외는 모두「음성 프레임」이라는 구별이 행해지는 경우로, 본 형태가 한정되는 것도 아니다. 즉, 본 형태는,「잡음 프레임」으로 인정되는 경우에 있어서도, 당해의 잡음 프레임에「음성」이 전혀 포함되어 서는 안 된다는 것까지 요구하지 않고, 본 형태에서 말하는「음성 프레임」 및 「잡음 프레임」의 구별은, 상기의 2가지의 경우의 적당한 중간점을 기준으로 행해지면 되는 것이다.In addition, in this form, the term "included" or "not included" in speech should not be interpreted in an absolute sense. For example, two forms of a frame filled with "all voice" and a frame of "no voice at all" are conceptually assumed, but the two ends of the quantum are referred to as "voice frame" and "noise frame". In the case where the distinction is made, the present embodiment is not limited, and only the latter is the "noise frame", and in all other cases, the distinction is made as the "audio frame", and this form is not limited. In other words, even in the case where it is recognized as a "noise frame", this form does not require that "voice" be included in the noise frame at all, and the "voice frame" and "noise frame" referred to in this form are not required. ", What is necessary is just to perform based on a suitable intermediate point in said two cases.
이상과 같은 의미에 있어서, 본 형태에서 말하는「포함된다」혹은「포함되지 않는다」라는 용어, 혹은 본 형태에 관한「음성 프레임」 및 「잡음 프레임」의 구별은, 상대적인 것이라 할 수 있다.In the above meaning, the terms "included" or "not included" in this embodiment, or the distinction between "audio frame" and "noise frame" in this embodiment may be relative.
이 형태에서는, 상기 제1 잡음 억압 후 신호는, 상기 입력 신호 중 상기 음성 프레임에 해당하는 부분에, 상기 잡음 억압 게인을 적용한 결과 얻어지도록 구성해도 된다.In this aspect, the signal after the first noise suppression may be configured to be obtained as a result of applying the noise suppression gain to a portion corresponding to the audio frame among the input signals.
이 형태에 따르면, 전술한 잡음 억압 게인이 음성 프레임에 적용되어, 제1 잡음 억압 후 신호가 생성된다(그리고, 이 제1 잡음 억압 후 신호는, 상기 제1 비율에 의한 원음 가산 처리를 받음). 이 형태는, 바로 앞에 설명한 형태와 병존 가능하지만, 그 경우, 적합하게는, 음성 프레임에서는 평균화 처리를 거치지 않는, 말하자면 통상의 잡음 억압 게인만이 이용되고, 잡음 프레임에서는, 평균화 처리를 거친, 평균치 게인만이 이용되게 되는 것이 된다. 음성 프레임에서는, 잡음의 존재가 그다지 눈에 띄지 않고, 잡음 프레임에서는, 그 반대라는 사정을 감안한다면, 본 형태에 관한 처리 내용은 매우 합리적ㆍ효율적ㆍ실효적인 잡음 억압 효과를 향수 가능하게 한다.According to this aspect, the noise suppression gain described above is applied to the speech frame to generate a signal after the first noise suppression (and the signal after the first noise suppression is subjected to the original sound addition process by the first ratio). . This form can coexist with the form just described, but in that case, suitably, only the normal noise suppression gain, which is not subjected to the averaging process in the speech frame, is used, and in the noise frame, the average value has been subjected to the averaging process. Only gain is used. In the speech frame, the presence of noise is not so noticeable, and in the noise frame, in consideration of the opposite situation, the processing contents of the present form make the noise suppression effect very reasonable, efficient, and effective.
이 형태에서는, 상기 원음 가산 수단은, 상기 제1 잡음 억압 후 신호에, 상기 제1 비율 대신에 상기 제2 비율로, 상기 입력 신호를 가산하도록 구성해도 된 다.In this aspect, the original sound adding means may be configured to add the input signal to the signal after the first noise suppression at the second ratio instead of the first ratio.
이 형태에 따르면,「제2 잡음 억압 후 신호」에「제2 비율」에 의한 원음 가산을 행할 뿐만 아니라,「제1 잡음 억압 후 신호」에도「제2 비율」에 의한 원음 가산을 행하게 된다. 즉, 이 경우,「평균치 게인」이 아닌「잡음 억압 게인」의 관여로 성립하는「제1 잡음 억압 후 신호」에도,「평균치 게인」에 기초하여 정해지는「제2 비율」에 의한 원음 가산 처리가 행해지는 것이다.According to this aspect, not only the original sound is added by the "second ratio" to the "second noise suppressed signal", but also the original sound is added by the "second ratio" to the "signal after the first noise suppression". That is, in this case, the original sound addition processing by the "second ratio" determined based on the "average value gain" also applies to the "signal after the first noise suppression" which is established by the involvement of "noise suppression gain" instead of "average value gain". Is done.
이에 따르면, 원음 가산 비율로서 이용되는 것이,「제2 비율」로 일원화되므로, 처리의 효율화 등이 실현된다.According to this, since what is used as an original sound addition ratio is unified by the "2nd ratio", process efficiency etc. are implement | achieved.
또한,「음성 프레임」에「잡음 억압 게인」을 적용하여「제1 잡음 억압 후 신호」를 얻는 형태에서는, 상기 원음 가산 수단은 상기 음성 프레임에 관한 상기 제1 잡음 억압 후 신호에 상기 입력 신호를 가산하고자 하는 경우에는, 당해 음성 프레임에 가장 가까운 잡음 프레임에 관하여 이미 산출된 상기 제2 비율을, 당해 음성 프레임에 있어서의 상기 제1 비율로서 이용하여, 상기 제1 잡음 억압 후 신호에 상기 입력 신호를 가산하도록 구성해도 된다.Further, in the form of applying the "noise suppression gain" to the "voice frame" to obtain the "signal after the first noise suppression", the original sound adding means adds the input signal to the signal after the first noise suppression relating to the speech frame. If it is to be added, the input signal is added to the signal after the first noise suppression using the second ratio already calculated for the noise frame closest to the speech frame as the first ratio in the speech frame. You may be comprised so that may add.
이 형태에 따르면, 음성 프레임에 있어서의 원음 가산 처리에서는, 그의 가장 가깝게 처리된 잡음 프레임에 있어서 이용된 원음 가산 비율(즉,「제2 비율」)이, 그의 원음 가산 비율(즉,「제1 비율」)인 것으로서 이용된다. 즉, 이 경우, 그의 실질적으로는 가장 가까운 잡음 프레임의「제2 비율」의 값인데, 마치 그것이 당해 음성 프레임에 있어서의「제1 비율」의 값인 것처럼 의제된다는 것이다.According to this aspect, in the original sound addition process in the audio frame, the original sound addition ratio (that is, the "second ratio") used in the closest processed noise frame is the original sound addition ratio (that is, the "first sound". Ratio ”). That is, in this case, it is substantially the value of the "second ratio" of the nearest noise frame, and it is agenda as if it is the value of the "first ratio" in the said audio frame.
이와 같은 이유로, 본 형태에 있어서는, 가장 가까운 잡음 프레임에서 실행 된 잡음 억압 처리가, 그에 계속되는 음성 프레임에 있어서의 잡음 억압 처리에 말하자면 이어지게 되어, 잡음 프레임으로부터 음성 프레임으로의 절환 장면에 있어서, 잡음 억압 처리의 일관성이 유지된다. 이에 의해, 당해 절환 장면에 있어서, 잡음량이 급격하게 변화되는 등의 현상의 발생이 미연에 방지된다.For this reason, in this embodiment, the noise suppression processing performed in the nearest noise frame is followed by the noise suppression processing in the subsequent audio frame, so that the noise suppression is performed in the switching scene from the noise frame to the audio frame. Processing consistency is maintained. This prevents occurrence of a phenomenon such as a sudden change in the amount of noise in the switching scene.
또한, 이 형태는, 제1 잡음 억압 후 신호에 제1 비율로 원음을 가산하고, 제2 잡음 억압 후 신호에 제2 비율로 원음을 가산하는 형태가 병존하고, 또한 전자는 입력 신호 중 잡음 프레임에 관계되고, 후자는 음성 프레임에 관계되는 것을 전제로 한다.In this embodiment, the original sound is added to the signal after the first noise suppression at a first ratio, and the original sound is added to the signal after the second noise suppression at a second ratio, and the former is a noise frame of the input signal. The latter presupposes that it relates to a voice frame.
혹은,「음성 프레임」에「잡음 억압 게인」을 적용하여「제1 잡음 억압 후 신호」를 얻는 형태에서는, 상기 원음 가산 수단은, 상기 잡음 프레임에 관한 상기 제2 잡음 억압 후 신호에 상기 입력 신호를 가산하고자 하는 경우에는, 일시적 제2 비율을 산출한 후, 당해 잡음 프레임 직전의 프레임에 있어서의 상기 제1 또는 제2 비율을 이용하여, 당해 일시적 제2 비율을 시간축 상에서 평활화한 평활화 비율을 산출하고, 이 평활화 비율을 상기 제2 비율로서 이용하여, 상기 제2 잡음 억압 후 신호에 상기 입력 신호를 가산하고, 상기 음성 프레임에 관한 상기 제1 잡음 억압 후 신호에 상기 입력 신호를 가산하고자 하는 경우에는, 당해 음성 프레임 직전의 프레임에 있어서의 상기 제1 또는 제2 비율을, 당해 음성 프레임에 있어서의 상기 제1 비율로서 이용하여, 상기 제1 잡음 억압 후 신호에 상기 입력 신호를 가산하도록 구성해도 된다.Alternatively, in a form in which the "noise suppression gain" is applied to the "voice frame" to obtain a "signal after the first noise suppression", the original sound adding means is configured to add the input signal to the signal after the second noise suppression relating to the noise frame. In order to add, after calculating the temporary second ratio, the smoothing ratio obtained by smoothing the temporary second ratio on the time axis is calculated using the first or second ratio in the frame immediately before the noise frame. And using the smoothing ratio as the second ratio, add the input signal to the second noise suppressed signal, and add the input signal to the first noise suppressed signal for the speech frame. In the following, the first or second ratio in the frame immediately before the audio frame is used as the first ratio in the audio frame. The input signal may be added to the signal after the first noise suppression.
이 형태에 따르면, 음성 프레임 및 잡음 프레임 각각에 대한 제1 또는 제2 비율이 적절하게 정립된다. 잡음 프레임에 관해서는, 평활화 비율이 산출되므로, 잡음 억압 처리의 일관성ㆍ연속성이 유지되고, 음성 프레임에 관해서는, 전술한 바와 같은「가장 가까운 잡음 프레임」에 있어서의 잡음 스펙트럼의 유지가 적절하게 이루어진다(즉, 본 형태에 따르면, 어떤 잡음 프레임에 대한 제2 비율이 이미 설정되어 있으면, 그 후, 음성 프레임이 계속되는 한은, 당해 제2 비율의 값이, 새로운 제1 비율의 값으로서 계속해서 유지됨). 이 점에 대한, 보다 상세한 구체예에 대해서는, 후술하는 실시 형태, 특히 수학식 7과 관련하여 설명된다.According to this aspect, the first or second ratio for each of the speech frame and the noise frame is appropriately established. Since the smoothing ratio is calculated for the noise frame, the consistency and continuity of the noise suppression process is maintained, and for the audio frame, the noise spectrum in the "closest noise frame" as described above is appropriately maintained. (I.e., according to this aspect, if a second ratio for a certain noise frame has already been set, then, as long as the audio frame continues thereafter, the value of the second ratio is continuously maintained as the value of the new first ratio) . More specific examples of this point will be described with reference to embodiments described later, in particular, equation (7).
또한, 본 형태에 있어서, 단순히「프레임」이라 하는 경우, 그것은「음성 프레임」인 경우도 있고,「잡음 프레임」인 경우도 있다.In the present embodiment, when simply referred to as "frame", it may be an "audio frame" or may be "noise frame".
또한, 이 형태는, 제1 잡음 억압 후 신호에 제1 비율로 원음을 가산하고, 제2 잡음 억압 후 신호에 제2 비율로 원음을 가산하는 형태가 병존하고, 또한 전자는 입력 신호 중의 잡음 프레임에 관한 것이고, 후자는 음성 프레임에 관한 것이라는 것을 전제로 한다.In this embodiment, the original sound is added to the signal after the first noise suppression at the first ratio, and the original sound is added to the signal after the second noise suppression at the second ratio, and the former is a noise frame in the input signal. On the assumption that the latter relates to speech frames.
또한, 본 형태에 관련하여, 본 형태에서 말하는「제1 비율」,「제2 비율」 및「평활화 비율」 등은, 후술하는 실시 형태에 있어서는,「원음 가산율 og」 혹은「원음 가산 비율 OGt」등으로서 구체화되어 설명되지만, 이 경우, 전자에 있어서의 하나의 단어가, 후자에 있어서의 하나의 단어에, 1대 1로 대응하는 관계는 성립하지 않는 것에 주의를 요한다.In addition, with respect to this embodiment, the "first ratio", "second ratio", "smoothing ratio", and the like described in this embodiment are, in embodiments described later, "original sound addition rate og" or "original sound addition rate OG t. In this case, it is noted that, in this case, it is necessary to pay attention that a relationship in which one word in the former corresponds to one word in the latter does not hold one-to-one.
또한, 본 발명에 관한 잡음 억압 장치에서는, 상기 제1 또는 제2 비율은, 이 하의 수학식 A에 의해 구해지도록 구성해도 된다.Moreover, in the noise suppression apparatus which concerns on this invention, the said 1st or 2nd ratio may be comprised so that it may be calculated | required by following formula (A).
[수학식 A]Equation A
여기서, og는 구해야 하는 제1 또는 제2 비율, tg는 상기 목표 잡음 억압 게인, G는 상기 잡음 억압 게인 또는 상기 평균치 게인, max(a, b)는, a 및 b 중 어느 하나의 큰 값을 되돌려주는 함수를 의미한다. Here, og is a first or second ratio to be obtained, tg is the target noise suppression gain, G is the noise suppression gain or the average gain, max (a, b) is a large value of any one of a and b It means a function to return.
이 형태에 따르면, 제1 또는 제2 비율이 적절하게 산출된다. 이 점에 대한, 보다 상세한 구체예에 대해서는, 후술하는 실시 형태, 특히 수학식 5와 관련하여 설명된다.According to this aspect, a 1st or 2nd ratio is calculated suitably. More specific examples of this point will be described with reference to the embodiments described later, in particular, equation (5).
한편, 본 발명에 관한 잡음 억압 방법은, 상기 과제를 해결하기 위해, K개의 주파수 대역(단, K는 2 이상의 자연수) 각각에 대해, 입력 신호에 포함되는 잡음 스펙트럼을 당해 입력 신호에 기초하여 추정하는 잡음 스펙트럼 추정 공정과, 상기 잡음 스펙트럼 추정 공정에 있어서의 잡음 스펙트럼의 추정 결과에 기초하여, 상기 K개의 주파수 대역 각각의 잡음 억압 게인을 산출하는 제1 게인 연산 공정과, 상기 입력 신호에 상기 잡음 억압 게인을 적용한 결과 얻어지는 제1 잡음 억압 후 신호에, 당해 잡음 억압 게인과 미리 결정된 목표 잡음 억압 게인의 차에 기초하여 정해진 제1 비율로 상기 입력 신호를 가산하는 원음 가산 공정을 포함한다.On the other hand, in order to solve the above problem, the noise suppression method according to the present invention estimates the noise spectrum included in the input signal for each of the K frequency bands (where K is a natural number of 2 or more) based on the input signal. A first gain calculating step of calculating a noise suppression gain of each of the K frequency bands on the basis of a noise spectrum estimating step and a noise spectrum estimation result in the noise spectrum estimating step; And an original sound adding step of adding the input signal to a first post-noise suppression signal obtained as a result of applying the suppression gain at a first ratio determined based on the difference between the noise suppression gain and a predetermined target noise suppression gain.
본 발명에 따르면, 상술한, 본 발명에 관한 잡음 억압 장치에 관하여 설명한 작용 효과와 본질적으로 다르지 않은 작용 효과가 발휘되는 것이 명백하다.According to the present invention, it is evident that the above-described action effect which is not substantially different from the effect effect described with respect to the noise suppression apparatus according to the present invention is exerted.
본 발명에 관한 잡음 억압 방법에서는, 상기 잡음 억압 게인에 대해, 상기 K 개의 주파수 대역에 관한 평균치 게인을 산출하는 제2 게인 연산 공정을 더 포함하고, 상기 원음 가산 공정은, 상기 입력 신호에 상기 평균치 게인을 적용한 결과 얻어지는 제2 잡음 억압 후 신호에, 당해 평균치 게인과 상기 목표 잡음 억압 게인의 차에 기초하여 정해진 제2 비율로 상기 입력 신호를 가산하도록 구성해도 된다.The noise suppression method according to the present invention further includes a second gain calculating step of calculating an average gain of the K frequency bands with respect to the noise suppression gain, wherein the original sound adding step includes the average value in the input signal. The input signal may be added to the second post-noise suppression signal obtained as a result of applying the gain at a second ratio determined based on the difference between the average gain and the target noise suppression gain.
이 형태에 따르면, 상술한 본 발명에 관한 잡음 억압 장치의 각종 형태 중, 제2 잡음 억압 후 신호에 제2 비율로 입력 신호가 가산되는 형태에 관하여 설명한 작용 효과와 본질적으로 다르지 않은 작용 효과가 발휘되는 것이 명백하다.According to this aspect, among the various aspects of the noise suppression apparatus according to the present invention described above, an operation effect which is not substantially different from the operation effect described with respect to the form in which the input signal is added to the signal after the second noise suppression at a second rate is exhibited. It is obvious.
또한, 본 형태에서 말하는「제2 잡음 억압 후 신호에,… 제2 비율로,… 입력 신호를 가산한다」와, 상기한「제1 잡음 억압 후 신호에,… 제1 비율로,… 입력 신호를 가산한다」의 관계에 대해서는, 상술과 마찬가지이다.In addition, the "after the second noise suppression signal" referred to in this embodiment,... At a second rate,... Add an input signal to the signal after the first noise suppression,... At a first rate,... Add an input signal ”is the same as described above.
또한, 본 발명에 관한 잡음 억압 방법에서는, 상기 입력 신호에 포함되는 음성의 유무를 경시적으로 검출함으로써, 당해 입력 신호를, 당해 음성이 포함되는 음성 프레임 및 당해 음성이 포함되지 않는 잡음 프레임으로 구분하는 음성 검출 공정을 더 포함하고, 상기 제2 잡음 억압 후 신호는, 상기 입력 신호 중 상기 잡음 프레임에 해당하는 부분에, 상기 평균치 게인을 적용한 결과 얻을 수 있도록 구성해도 된다.Further, in the noise suppression method according to the present invention, by detecting the presence or absence of the voice included in the input signal over time, the input signal is divided into a voice frame containing the voice and a noise frame not containing the voice. The second noise suppression signal may be configured to be obtained as a result of applying the average gain to a portion of the input signal corresponding to the noise frame.
이 형태에 따르면, 상술한, 본 발명에 관한 잡음 억압 장치의 각종 형태 중, 잡음 프레임에 평균치 게인을 적용하는 형태에 관하여 설명한 작용 효과와 본질적으로 다르지 않은 작용 효과가 발휘되는 것이 명백하다.According to this aspect, it is apparent that among the various aspects of the noise suppression apparatus according to the present invention described above, an operation effect that is not essentially different from the operation effect described with respect to the embodiment in which the average gain is applied to the noise frame is exhibited.
또한, 본 형태에서 말하는「포함된다」혹은「포함되지 않는다」라는 용어의 의의에 대해서는, 상술과 마찬가지이다.In addition, the meaning of the term "included" or "not included" in this embodiment is the same as described above.
이상 외에, 본 발명의, 보다 구체화된 형태, 혹은 그에 의해 발휘되는 작용 효과는, 바로 이후에서 시작되는 실시 형태에 있어서의 기재에 있어서 명백해진다.In addition to the above, the more specific form of this invention, or the effect effect exhibited by it, becomes clear in description in embodiment immediately after it.
본 발명에 따르면, 상술한 과제의 적어도 일부를 해결하는 것이 가능한 잡음 억압 장치 및 잡음 억압 방법을 제공할 수 있다.According to the present invention, a noise suppression apparatus and a noise suppression method capable of solving at least part of the above-described problems can be provided.
<제1 실시 형태><First Embodiment>
이하에서는, 본 발명에 관한 제1 실시 형태에 대해 도 1을 참조하면서 설명한다. 또한, 여기에 언급한 도 1에 부가하여, 이하에서 참조하는 각 도면(예를 들어 도 6 등의 그래프도 포함함)에 있어서는, 각 부의 치수의 비율이 실제의 것과는 적절하게 다르게 되어 있는 경우가 있다.EMBODIMENT OF THE INVENTION Hereinafter, 1st Embodiment which concerns on this invention is described, referring FIG. In addition to FIG. 1 mentioned here, in each figure referred to below (including the graph of FIG. 6, etc.), the ratio of the dimension of each part may differ suitably from an actual thing. have.
잡음 억압 장치(1)는, 도 1에 도시하는 바와 같이, 시간ㆍ주파수 변환부(10), 잡음 스펙트럼 추정부(20), 잡음 억압 게인 연산부(30), 잡음 기간ㆍ잡음 억압 게인 연산부(40), 원음 가산율 연산부(50), 원음 가산 게인 연산부(60), 주파수ㆍ시간 변환부(70) 및 음성 검출부(80)로 이루어진다.As shown in FIG. 1, the noise suppression apparatus 1 includes a time /
시간ㆍ주파수 변환부(10)는, 시간 영역의 입력 신호에 푸리에 변환을 가하여, 주파수 영역의 신호로 변환한다. 이 푸리에 변환은, 입력 신호를 경시적으로 소정수의 프레임으로 나누고, 또한 그 프레임에 적당한 창함수를 적용하는 것을 통해 행해지는 것이 적합하다.The time-
상기한 주파수 영역의 신호는, 진폭 스펙트럼 및 위상 스펙트럼으로 나누어지고, 이 중 위상 스펙트럼은, 후술하는 주파수ㆍ시간 변환부(70)에 그대로 보내진다. 한편, 진폭 스펙트럼은, 후술하는 잡음 스펙트럼 추정부(20) 이후의 각 부에 보내져, 후술하는 각종 처리를 받는다.The signal in the above-described frequency domain is divided into an amplitude spectrum and a phase spectrum, and the phase spectrum is sent directly to the frequency-
상기한 시간 영역의 입력 신호는 음성 검출부(80)에도 공급된다. 음성 검출부(80)는 이 입력 신호 중 음성 신호의 유무를 검출한다. 전술한 바와 같이, 입력 신호가 프레임으로 나누어지는 경우에는, 프레임마다의 음성 검출이 행해진다(또한, 제1 실시 형태에서는, 이와 같은 처리를 전제로 함). 여기서「음성」이라 함은 특히, 회화, 구어, 음악, 각종 신호 등등, 사람에 있어서 의미있는 음향을 의미한다. 즉, 입력 신호를 적당한 재생 수단에 의해 재생한다고 한 경우, 그 입력 신호 중의「음성 신호」를 재생하면, 당해 음향이 된다는 관계가 성립한다.The input signal in the time domain is also supplied to the
이 음성 신호는, 예를 들어 입력 신호의 레벨이 미리 정한 임계치를 초과하는지 여부를 기준으로 하여 검출된다. 하지만, 본 발명은, 이 이외에도 다양한 방법을 채용하는 것이 가능하다. 예를 들어, 확률ㆍ통계적 방법을 이용하여 음성 신호의 발생 확률을 추정하는 방법 등이 채용되어도 되고, 혹은 검출 대상으로서도, 상기 입력 신호를 이용하는 것이 아닌, 그 푸리에 변환 후의 신호(즉, 상기에서 말하는 주파수 영역의 신호)를 이용하는 방법 등이 채용되어도 된다.This audio signal is detected, for example, on the basis of whether or not the level of the input signal exceeds a predetermined threshold. However, the present invention can employ various methods in addition to this. For example, a method of estimating the probability of occurrence of an audio signal using a probability / statistical method may be employed, or the signal after the Fourier transform, that is, not using the input signal as a detection target (that is, the above-mentioned method). A signal in the frequency domain) may be employed.
또한, 이하에서는, 이 음성 검출부(80)에 의해 음성 신호가 존재한다고 판정된 프레임은「음성 프레임」으로, 존재하지 않는다고 판정된 프레임은「잡음 프레임」으로, 각각 부르는 경우가 있다. 또한, 여기서 존재ㆍ존재하지 않음이라 하는 것은, 말하자면 절대적인 의의를 갖지 않는다. 전술한 바와 같이, 음성 신호의 유무가 소정의 임계치를 기준으로 판단되는 경우가 있는 이상,「잡음 프레임」에, 엄밀하게 말하면 음성 신호라 부를 수 있는 것이 포함되어 있을 가능성은 배제되지 않는다.In addition, below, the frame determined by the audio |
잡음 스펙트럼 추정부(20)는 상기 진폭 스펙트럼에 기초하여 잡음 스펙트럼의 추정치를 산출한다. 제1 실시 형태에서는 특히, 이하의 수학식 1에 기초하여, 소정의 개수로 분할된 주파수 대역마다의 잡음 스펙트럼이 추정된다.The
여기서, Nt(n)는 실제로 처리 중인 프레임에 있어서의 잡음 스펙트럼 추정치, Nt-1(n)은, 그 직전의 프레임에 있어서의 잡음 스펙트럼 추정치(따라서, "t"는, 실제로 처리 중인 프레임 그 자체를 표현하는 첨자임), Y(n)는 입력된 진폭 스펙트럼, n은 주파수 대역[에 부여된 번호. 또한, 주파수 대역은 N개로 분할됨. 또한, 이 N은 본 발명에서 말하는「K개의 주파수 대역」의 K 이하(N≤K)임], β는 평활화 계수이다. 또한, 수학식 1 중, caseㆍA로 되어 있는 것은, 잡음 스펙트럼 추정부(20)가 잡음 프레임을 처리하는 경우를 표현하고, caseㆍB로 되어 있는 것은, 음성 프레임을 처리하는 경우를 표현하고 있다.Here, N t (n) is the noise spectral estimate in the frame that is actually being processed, and N t-1 (n) is the noise spectral estimate in the immediately preceding frame (hence, "t" is the frame that is actually being processed). Y (n) is the input amplitude spectrum, and n is the number assigned to the frequency band. In addition, the frequency band is divided into N. In addition, N is K or less (N≤K) of "K frequency bands" according to the present invention, and β is a smoothing coefficient. In addition, in case of Equation 1, case A denotes a case in which the noise
이와 같이, 잡음 스펙트럼 추정부(20)는, 실제로 처리하고 있는 프레임이 잡 음 프레임인지 음성 프레임인지에 따라서, 잡음 스펙트럼 추정치 Nt(n)를 구하기 위해 이용하는 식을 변경한다. 즉, 음성 프레임 처리시(caseㆍB)에는, 그 직전의 잡음 스펙트럼 추정치를 그대로 이용하여 잡음 스펙트럼 추정치 Nt(t)를 구하고, 잡음 프레임 처리시(caseㆍA)에는, 입력한 진폭 스펙트럼을 시간축 상에서 평활화함으로써, 잡음 스펙트럼 추정치 Nt(n)를 구한다.In this way, the noise
잡음 억압 게인 연산부(30)는, 상기 진폭 스펙트럼과, 수학식 1에서 구해진 잡음 스펙트럼 추정치 Nt(n)에 기초하여, 잡음 억압 게인을 산출한다. 제1 실시 형태에서는 특히 이하의 수학식 2에 의해 잡음 억압 게인을 산출한다.The noise suppression
여기서, max(a, b)는, a 및 b 중 어느 하나의 큰 값을 되돌려주는 함수를 의미한다(이하, 동일).Here, max (a, b) means a function that returns a large value of any one of a and b (hereinafter, the same).
이 수학식 2에 의해, 입력된 진폭 스펙트럼 Y(n)에 대한 잡음 스펙트럼 추정치 Nt(n)와의 사이에 있어서, Y(n)<Nt(n)가 성립하는 경우에는, G(n)=0이 되고, Y(n)>Nt(n)가 성립하는 경우에는, G(n)=(Y(n)-Nt(n))/Y(n)가 된다.According to Equation 2, if Y (n) < N t (n) holds between the noise spectrum estimation value N t (n) for the input amplitude spectrum Y (n), G (n) = 0, and when Y (n)> N t (n) holds, G (n) = (Y (n)-N t (n)) / Y (n).
이 잡음 억압 게인 연산부(30)에서 산출된 잡음 억압 게인은, 상기 음성 검출부(80)에 의해 구분된 음성 프레임 및 잡음 프레임의 각각에 따라서, 잡음 기간 ㆍ잡음 억제 게인 연산부(40)를 통해 또는 직접적으로 원음 가산 게인 연산부(60)에 공급된다. 도 1에 도시하는 잡음 억압 장치(1)는 이와 같은 처리를 실현하기 위한 스위치를 구비한다(도면 중 호선 화살표 참조).The noise suppression gain calculated by the noise suppression
잡음 기간ㆍ잡음 억압 게인 연산부(40)[이하, 간단하게 하기 위해,「잡음 기간용 게인 연산부(40)」라고 하는 경우가 있음]는, 잡음 프레임에 적용할 잡음 억압 게인을 산출한다. 제1 실시 형태에 있어서는, 이 잡음 억압 게인을 산출하기 위해, 이하의 방법이 취해진다.The noise period / noise suppression gain calculating unit 40 (hereinafter, for the sake of simplicity, may be referred to as "noise period
우선, 수학식 2에서 구해진 잡음 억압 게인 G(n)에 기초하여, 이하의 수학식 3으로 표현되는 g가 산출된다.First, on the basis of the noise suppression gain G (n) obtained in equation (2), g expressed by the following equation (3) is calculated.
이 g는, 수학식 3의 우측변으로부터 명백한 바와 같이, 수학식 2의 잡음 억압 게인에 대한, 주파수 대역 n에 관한 평균치를 의미한다.This g means the average value regarding the frequency band n with respect to the noise suppression gain of Formula (2), as apparent from the right side of Expression (3).
계속해서, 이 수학식 3의 잡음 억압 게인 평균치 g가, 이하의 수학식 4에 의해 평활화된다.Subsequently, the noise suppression gain average value g of this equation (3) is smoothed by the following equation (4).
여기서, μ는 평활화 계수, Gt는 실제로 처리 중인 잡음 프레임에 대한 잡음 억압 게인, Gt-1은 그 직전에 처리한 잡음 프레임에 대한 잡음 억압 게인이다.Where μ is the smoothing coefficient, G t is the noise suppression gain for the noise frame currently being processed, and G t-1 is the noise suppression gain for the noise frame processed immediately before.
전술한 수학식 1의 caseㆍA로서 나타내어지는 식도 그렇지만, 이 수학식 4에서는, 실제로 처리 중인 프레임에 있어서의 잡음 억압 게인을 구하는 데 있어서, 그 직전에 처리된 프레임에 있어서의 그것이 참조되어 있으므로, 시간축 상에서 평활화가 행해지고 있다고 할 수 있다(후술하는 수학식 7에 대해서도 마찬가지임).The equation represented by the case A of the above-described equation (1) is also used. However, in this equation (4), in order to obtain the noise suppression gain in the frame actually being processed, it is referenced in the immediately processed frame. It can be said that smoothing is performed on the time axis (the same applies to equation (7) described later).
이 수학식 4 중의 Gt가, 본 잡음 기간용 게인 연산부(40)에 있어서 구해져야 할, 잡음 기간에 적용하기 위한 잡음 억압 게인(이하, 간단하게 하기 위해,「잡음 기간용 게인」이라고 하는 경우가 있음)이다.When G t in this equation (4) is a noise suppression gain to be applied to the noise period to be obtained in the gain
잡음 기간용 게인 연산부(40)는, 이와 같이 하여 구해진 잡음 기간용 게인 Gt를, 모든 주파수 대역에 대해 일률적으로 적용한다. 이하에서는, 이 사정을 표현하기 위해, 이 일률적으로 적용되는 Gt를, G1(n)으로 표현한다. 이 경우, G1(0), G1(1),…, G1(N-1) 모두가, Gt와 같다.The noise period
원음 가산율 연산부(50)는 잡음 억압된 신호에 대한, 원음 신호의 원음 가산율을 산출한다. 제1 실시 형태에서는 특히, 이 원음 가산율 og가 이하의 수학식 5에 기초하여 구해진다.The original sound addition
여기서, tg는 목표 잡음 억압 게인이며, 이하의 수학식 6에 기초하고 있다.Here, tg is a target noise suppression gain and is based on the following formula (6).
이 수학식 6 중 TG는 목표 잡음 억압량이며, dB 단위로 부여된다. 이 TG(혹은, tg)는, 장치 외부로부터 도시하지 않은 조작부 등을 거침으로써 인위적으로 부여되거나, 혹은 어떠한 적당한 방법에 의해 자동적으로 연산되어도 된다.In this equation (6), TG is a target noise suppression amount and is given in dB. This TG (or tg) may be artificially provided by passing through an operation unit (not shown) from the outside of the apparatus, or may be automatically calculated by any suitable method.
이상의 수학식 5에 따르면, 목표 잡음 억압 게인 tg와 잡음 기간용 게인 Gt 사이에 있어서, tg<Gt가 성립하는 경우에는, og=0이 되고, tg≥Gt가 성립하는 경우에는, og=tg-Gt가 된다.In case of more than according to the equation (5), in between the target and the noise suppression gain tg gain for noise duration t G, if the tg <G t is satisfied, then the two og = 0, is satisfied tg≥G t, og = tg-G t .
원음 가산 게인 연산부(60)는, 상기한 원음 가산율 og에 기초하여, 원음 가산 후의 잡음 억압 게인을 산출한다. 제1 실시 형태에 있어서는, 이 잡음 억압 게인을 산출하기 위해 이하의 방법이 취해진다.The original sound addition
우선, 수학식 5에서 구해진 원음 가산율 og에 기초하여, 이하의 수학식 7로 표현되는 OGt가 산출된다.First, OG t expressed by the following equation (7) is calculated based on the original sound addition rate og obtained in the equation (5).
여기서 OGt는, 실제로 처리 중인 프레임에 있어서의 원음 가산 비율, OGt-1은 그 직전의 프레임에 있어서의 원음 가산 비율, λ는 평활화 계수이다. 또한, 수학 식 7 중의 caseㆍA 및 caseㆍB의 의의는, 상술한 수학식 1의 경우와 마찬가지이다(이하의 수학식 8에 있어서도 마찬가지임).Here, OG t is the original sound addition ratio in the frame actually being processed, OG t-1 is the original sound addition ratio in the immediately preceding frame, and (lambda) is a smoothing coefficient. Incidentally, the meanings of case A and case B in Equation 7 are the same as in the case of Equation 1 described above (also in Equation 8 below).
이와 같이, 원음 가산 게인 연산부(60)는 실제로 처리하고 있는 프레임이, 잡음 프레임인지 음성 프레임인지에 따라서, 원음 가산 비율 OGt를 구하기 위해 이용하는 식을 변경한다. 즉, 음성 프레임 처리시(caseㆍB)에는, 그 직전의 원음 가산 비율을 그대로 이용하여, 원음 가산 비율 OGt를 구하고, 잡음 프레임 처리시(caseㆍA)에는, 상기한 원음 가산율 og를 시간축 상에서 평활화함으로써, 원음 가산 비율 OGt를 구한다.In this way, the original sound addition
계속해서, 원음 가산 게인 연산부(60)는, 이하의 수학식 8에 기초하여, 원음 가산 후의 잡음 억압 게인을 구한다.Subsequently, the original sound addition
여기서, G1(n)은, 위에서 설명한 바와 같이, 잡음 프레임에 있어서, 모든 주파수 대역에 대해 일률적으로 적용되는 잡음 기간용 게인을 나타내고 있다.Here, G1 (n) represents the noise period gain applied uniformly to all frequency bands in the noise frame as described above.
이 수학식 8에 따르면, 전술한 수학식 7에 있어서의 경우 분류에 따라서, 원음 가산 후의 잡음 억압 게인 G2(n)[이하, 간단하게 하기 위해,「수정 후 게인 G2(n)」라고 하는 경우가 있음]가 구해진다.According to this equation (8), according to the classification in the above equation (7), the noise suppression gain G2 (n) after the original sound addition (hereinafter, for the sake of simplicity, the case of " after correction G2 (n) ") Is present] is obtained.
도 1에 도시하는 승산기(11)는, 이상과 같이 하여 구해진 수정 후 게인 G2(n)를 진폭 스펙트럼 Y(n)에 곱한다. 즉, S(n)=G2(n)ㆍY(n)인 연산이 행하해지고, 그 결과, 최종적으로 얻어야 할 잡음 억압 후의 진폭 스펙트럼 S(n)를 얻을 수 있다.The
마지막으로, 주파수ㆍ시간 변환부(70)는, 이상과 같이 하여 구해진 잡음 억압 후의 진폭 스펙트럼 S(n)와, 시간ㆍ주파수 변환부(10)로부터 직접적으로 공급되는 위상 스펙트럼에 기초하여 시간 영역의 출력 신호를 생성한다. 제1 실시 형태에서는, 시간ㆍ주파수 변환부(10)에 있어서 푸리에 변환이 가해지고 있으므로, 주파수ㆍ시간 변환부(70)는 역푸리에 변환을 실시한다.Finally, the frequency-
다음에, 이상에서 설명한 제1 실시 형태에 관한 잡음 억압 장치(1)의 작용 또는 동작 및 효과에 대해, 이미 참조한 도 1에 부가하여, 도 2 내지 도 4를 참조하면서 설명한다.Next, the operation, operation and effects of the noise suppression apparatus 1 according to the first embodiment described above will be described with reference to FIGS. 2 to 4 in addition to FIG.
우선, 시간ㆍ주파수 변환부(10)는 입력 신호에 대해, 푸리에 변환을 실시하고, 또한 이것을, 도 1에 도시한 바와 같이, 진폭 스펙트럼 Y(n) 및 위상 스펙트럼으로 분해한다(도 2의 스텝 S101). 이때, 시간ㆍ주파수 변환부(10)는 전술한 바와 같이, 프레임마다의 처리를 실시한다.First, the time-
또한, 이와 병행하여, 음성 검출부(80)는, 입력 신호 중에 포함되는 음성 신호의 유무를 검출한다(도 2의 스텝 S102). 이 검출 처리는, 입력 신호를, 음성 프레임과 잡음 프레임으로 분별하는 처리를 가능하게 한다. 음성 검출부(80)는 당해의 처리도 행한다.In addition, in parallel with this, the
다음에, 잡음 스펙트럼 추정부(20)는, 전술한 진폭 스펙트럼 Y(n), 및 상기 수학식 1에 의해, 소정의 폭을 갖는 주파수 대역 n마다 잡음 스펙트럼 추정치 Nt(n)를 구한다. 이 경우, 전술한 바와 같이, 실제로 처리하고 있는 프레임이 잡음 프레임인지 음성 프레임인지에 따라서, 다른 처리가 행해진다(도 2의 스텝 S103 참조). 또한, 도 2에 도시한 바와 같이, 이 잡음 스펙트럼 추정치 Nt(n)의 산출 처리이후는, 도 1에 도시하는 승산기(11)에 의한 출력 신호 생성 처리(도 2의 스텝 S104)까지의 동안은, 잡음 프레임과 음성 프레임의 구별에 따라서, 그 내용이 실질적으로 다른 처리가 전개된다. 따라서, 이하에서는, 제1 잡음 프레임용 처리에 대해, 제2 음성 프레임용 처리에 대해, [I] 및 [II]로 분별하여 설명한다.Next, the noise
또한, 이와 같은 분별 처리는, 도 1에 도시하는 바와 같이, 음성 검출부(80)의 검출 결과에 따른 스위치의 절환에 따르고 있다.In addition, as shown in FIG. 1, such a classification process is based on switching of the switch according to the detection result of the audio |
[I] 우선, 잡음 프레임용 처리에서는, 상기 수학식 1의 caseㆍA로서 나타내어지는 식에 의해, 잡음 스펙트럼 추정치 Nt(n)가 구해진다(도 2의 스텝 S201). 전술한 바와 같이, 이는 입력한 진폭 스펙트럼 Y(n)의 평활화 처리에 의한다.[I] First, in the noise frame processing, the noise spectrum estimation value N t (n) is obtained by the expression represented by case · A of the above equation (1) (step S201 in FIG. 2). As described above, this is by smoothing processing of the input amplitude spectrum Y (n).
다음에, 전술한 잡음 스펙트럼 추정치 Nt(n), 및 상기 수학식 2에 기초하여, 잡음 억압 게인 G(n)가 산출된다(도 2의 스텝 S202). 이는, 도 1의 잡음 억압 게인 연산부(30)의 작용에 의한다. 전술한 바와 같이, Y(n)>Nt(n)가 성립하는 경우에는 G(n)=(Y(n)-Nt(n))/Y(n)가 되지만, 그렇지 않은 경우에는, G(n)=0이 된다. 이에 따르면, 예를 들어 도 3의 (C)와 같은 잡음 억압 게인이 얻어지게 된다[또한, 도 3의 (B)에서는, 전술한 잡음 스펙트럼 추정치 Nt(n), 도 3의 (A)에서는, 입력 신호의 진폭 스펙트럼이 각각 예시되어 있음].Next, the noise suppression gain G (n) is calculated based on the above-mentioned noise spectrum estimation value N t (n) and the equation (2) (step S202 in FIG. 2). This is due to the operation of the noise
다음에, 상기 수학식 3 및 수학식 4에 의해, 이 잡음 억압 게인 G(n)의, 주파수 대역에 관한 평균치 g를 취하고, 또한 그 g에 대한 평활화 처리를 행함으로써, 잡음 기간용 게인 Gt가 구해진다(도 2의 스텝 S203). 이 평균화ㆍ평활화를 거친 잡음 기간용 게인 Gt가, 전체 주파수 대역에 공통의 G1(n)이 된다. 이는, 잡음 기간용 게인 연산부(40)의 작용에 의한다.Next, the noise suppression gain G t is obtained by taking the average value g of the frequency band of the noise suppression gain G (n) according to the above expressions (3) and (4) and smoothing the g. Is obtained (step S203 in Fig. 2). The gain G t for the noise period after the averaging and smoothing becomes G1 (n) common to all frequency bands. This is due to the operation of the
이와 같이, 제1 실시 형태에 있어서는, 수학식 2에 의해 구해지는 잡음 억압 게인 G(n)를 그대로의 상태에서 이용하는 것이 아니라, 그 G(n)에 대해, 수학식 3에 의한 주파수 대역에 관한 평균화, 및 수학식 4에 의한 시간축 상의 평활화를 행한 후의 잡음 기간용 게인 Gt를, 전체 주파수 대역용 잡음 기간용 게인 G1(n)으로서 이용하는 것에, 그 큰 특징의 하나가 있다.As described above, in the first embodiment, the noise suppression gain G (n) obtained by the equation (2) is not used as it is, but the G (n) is related to the frequency band according to the equation (3). The use of the noise period gain G t after the averaging and smoothing on the time axis according to the equation (4) is used as the gain G1 (n) for the noise period for all frequency bands, one of its great features.
또한, 도 3의 (D)에서는, 잡음 억압 게인 G(n)에 대한 평균화 처리를 행한 경우의 일례가 예시되어 있다[도 3의 (C) 중에 나타내어지는 파선도 참조].3D illustrates an example in the case where the averaging process for the noise suppression gain G (n) is performed (refer to the broken line diagram shown in FIG. 3C).
다음에, 전술한 잡음 기간용 게인 Gt, 및 상기 수학식 5에 의해, 원음 가산율 og가 구해진다(도 2의 스텝 S204). 이는, 도 1의 원음 가산율 연산부(50)의 작용에 의한다. 여기서는, 목표 잡음 억압 게인 tg 또는 목표 잡음 억압량 TG의 설정의 여하가 1개의 지배적 요인으로서 작용한다. 즉, 잡음 기간용 게인 Gt가, 목표 잡음 억압 게인 tg보다도 커지면, 원음 가산율 og는 0으로 설정되고, 그렇지 않으면, 잡음 기간용 게인 Gt에 따른 원음 가산율 og(즉, og=tg-Gt)가 설정된다. 이 양자를 구분하여 사용하는 것은, 원음을 가산함으로써 초래되는 음질 개선의 효과를, 목표 잡음 억압량 TG와의 관계에서 어떻게 향수할지를 정하는 의의가 있다. 즉, 후자의 경우에는, 목표 잡음 억압량에 의해 정해지는 프레임 내(즉, tg와 Gt의 차에 해당하는 부분)에서 원음을 가산하여 음질 개선을 도모하는 것을 주 목적으로 하고, 전자의 경우에는, Gt>tg가 성립하고 있어, 이미 음질 개선의 여유가 없으므로, 원음 가산율 og를 0으로 하는 것이다(이 경우, 이에 의해 오히려, 잡음량이 많아지는 것이 억지됨). 결국, 상기한 수학식 5 및 수학식 6은, 목표 잡음 억압량을 준수하는 것을 기준으로, 또한 원음 가산의 여유가 있는 경우에, 그 프레임 내에서 음질 개선을 도모해 간다는 처리를 실현하는 의의가 있다.Next, the original sound addition rate og is calculated | required by the above-mentioned noise period gain G t , and the said Formula (5) (step S204 of FIG. 2). This is due to the operation of the original sound
이와 같이, 제1 실시 형태에 있어서는, 원음 가산율 og가 잡음 기간용 게인 Gt를 이용함으로써 구해지는 것에, 그 큰 특징의 하나가 있다.In this way, in the first embodiment, one of the great features is that the original sound addition rate og is obtained by using the gain G t for the noise period.
다음에, 전술한 원음 가산율 og, 및 상기 수학식 7의 caseㆍA로서 나타내어지는 식에 의해, 원음 가산 비율 OGt가 구해진다(도 2의 스텝 S205). 이 원음 가산 비율 OGt는, 전술한 바와 같이 원음 가산율 og를 시간축 상에서 평활화함으로써 구해진다. 그리고, 이와 같이 하여 구해진 원음 가산 비율 OGt, 및 상기 수학식 8에 의해, 원음 가산 후의 잡음 억압 게인, 즉 수정 후 게인 G2(n)가 구해진다. 이상 은 원음 가산 게인 연산부(60)의 작용에 의한다.Next, the original sound addition ratio og and the formula shown as case A of the above formula (7) are obtained to obtain the original sound addition ratio OG t (step S205 in FIG. 2). This original sound addition ratio OG t is calculated | required by smoothing original sound addition rate og on a time axis as mentioned above. Then, the noise suppression gain after the original sound addition, that is, the correction gain G2 (n), is obtained by the original sound addition ratio OG t obtained as described above and the above expression (8). The above is based on the operation of the original sound addition
이 경우, 이 수정 후 게인 G2(n)는 결국, 전술한 평균화ㆍ평활화를 거친 잡음 기간용 게인 G1(n)과, 원음 가산의 정도를 감안한 후에 결정된 게인이라는 의미를 갖는다.In this case, the gain G2 (n) after the correction has the meaning of a gain determined after taking into account the above-averaged and smoothed noise period gain G1 (n) and the degree of original sound addition.
또한, 장치 구동 직후의 경우에 배려하여, 상기 수학식 1의 Nt-1(n)에 해당하는 값으로서의 초기치가 적당하게 정해져 있으면 바람직하다[이와 같은 초기치로서의 Nt-1(n)은, 당연히, 후술하는 음성 프레임용 처리에 있어서의 잡음 스펙트럼 추정치 Nt(n)의 산출 처리에 있어서도 이용 가능함]. 이와 같은 것은, 상기 수학식 4, 수학식 7 중 Gt-1(n)에 대해서도 할 수 있다.In consideration of the case immediately after the device is driven, it is preferable that an initial value as a value corresponding to N t-1 (n) in the above formula (1) is appropriately determined. [N t-1 (n) as such an initial value is, Naturally, it can also be used in the calculation processing of the noise spectrum estimation value N t (n) in the processing for speech frame described later]. The same can be done for G t-1 (n) in the above expressions (4) and (7).
[II] 한편, 음성 프레임용 처리에서는, 기본적으로는, 상술한 잡음 프레임 처리와 대략 같은 각 처리가 실행된다. 즉, 잡음 스펙트럼 추정치 Nt(n) 및 그에 기초하는 잡음 억압 게인 G(n)가 구해지고(도 2의 스텝 S301ㆍ스텝 S202 참조), 원음 가산 비율 OGt에 기초하여 수정 후 게인 G2(n)가 구해지는(도 2의 스텝 S303ㆍ스텝 S304) 것은, 잡음 프레임 처리와 동일하다.[II] On the other hand, in the processing for speech frames, basically each processing is performed substantially the same as the noise frame processing described above. That is, the noise spectral estimate N t (n) and the noise suppression gain G (n) based thereon are obtained (see step S301 and step S202 in FIG. 2), and the correction gain G2 (n based on the original sound addition ratio OG t is obtained. ) (Step S303 and step S304 in Fig. 2) is the same as the noise frame processing.
단, 이 음성 프레임 처리에서는, 잡음 프레임 처리에 비해, 이하와 같은 같고 다름, 혹은 주의점이 있다.However, in this audio frame process, there are the following differences or precautions as compared to the noise frame process.
(i) 잡음 스펙트럼 추정치 Nt(n)는, 상기 수학식 1의 caseㆍA로서 나타내어지는 식에 의한 것은 아니며, caseㆍB로서 나타내어지는 식에 의해 구해진다(도 2 의 스텝 S301). 이 식은, Nt(n)=Nt-1(n)이므로, 음성 프레임 처리는, 말하자면 현상을 유지하는 처리라고 할 수 있다. 조금 더 상세하게 말하면, 당해의 음성 프레임 전이 잡음 프레임이었던 경우에는, 그 잡음 프레임에 있어서 산출된 잡음 스펙트럼 추정치 Nt-1(n)이 그대로, 당해의 음성 프레임 처리로 이용되게 되고, 또한 한편, 당해의 음성 프레임 전이 음성 프레임이며, 또한 나아가 그 전이 잡음 프레임이었던 경우에는, 그 잡음 프레임에 있어서 산출된 잡음 스펙트럼 추정치 Nt-2(n)가 그대로, 당해의 음성 프레임 처리에서 이용되게 된다.(i) The noise spectrum estimation value N t (n) is not obtained by the expression represented by case · A of the above equation (1), but is obtained by the expression represented by case · B (step S301 in FIG. 2). Since this expression is N t (n) = N t -1 (n), the speech frame process can be said to be a process for holding a phenomenon. More specifically, in the case of the speech frame transition noise frame, the noise spectral estimate N t-1 (n) calculated in the noise frame is used as it is in the speech frame process. In the case of the speech frame transition speech frame and further the transition noise frame, the noise spectrum estimation value N t-2 (n) calculated in the noise frame is used as it is in the speech frame processing.
요컨데, 음성 프레임에서는, 가장 가까운 잡음 프레임에 있어서 산출된 잡음 스펙트럼 추정치 Nt-p(n)[p는 당해 음성 프레임 직전의 프레임으로부터 세어, 그 가장 가까운 잡음 프레임까지의 프레임수(양단부를 포함함)]가 이용되게 되는 것이다.In other words, in a speech frame, the noise spectral estimate N tp (n) calculated in the nearest noise frame (p is counted from the frame immediately before the speech frame and includes the number of frames up to the nearest noise frame (including both ends)). Will be used.
(ii) 이와 같은 것은, 상기 수학식 7을 이용하여 행해지는, 원음 가산 비율 OGt의 산출 처리에 있어서도 할 수 있다. 즉, 수학식 7의 caseㆍB로서 나타내어지는 식은, OGt=OGt-1이므로, 이 경우도 역시, 음성 프레임 처리에서는, 말하자면 현상이 유지되는 것이다(도 2의 스텝 S303 참조).(ii) it is such, is carried out by using the equation (7) can be also in the calculation processing of the original sound, the addition ratio OG t. In other words, the equation represented by case B in the equation (7) is OG t = OG t-1, so that in this case, the phenomenon is maintained in the speech frame processing as well (see step S303 in Fig. 2).
상술한 경우와 표현을 일치시킨다면, 음성 프레임에서는 가장 가까운 잡음 프레임에 있어서 산출된 원음 가산 비율 OGt-p(n)[p는 당해의 음성 프레임 직전의 프레임으로부터 세어, 그 가장 가까운 잡음 프레임까지의 프레임수(양단부를 포함 함)]가 이용되게 된다.If the expression is the same as the above case, in the speech frame, the original sound addition ratio OG tp (n) [p, which is calculated in the nearest noise frame, is counted from the frame immediately before the speech frame, and the number of frames up to the nearest noise frame. (Including both ends)] is used.
(iii) 잡음 억압 게인 G(n)의 연산 그 자체는, 음성 프레임 및 잡음 프레임의 각각에 관계없이, 상기 수학식 2를 이용하여 마찬가지로 행해진다. 도 2의 스텝 S202에 있어서, [잡음 프레임용 처리]와 [음성 프레임용 처리]에 대응하는 박스가 연결되어 그려져 있는 것은, 그것을 상징적으로 표현하고 있다[단, 수학식 2 중 Nt(n)의 값은, 수학식 1의 caseㆍA 및 caseㆍB의 각각에 따라서, 양 프레임에 관해 당연히 다름].(iii) The calculation of the noise suppression gain G (n) itself is similarly performed using the above equation (2) irrespective of each of the speech frame and the noise frame. In step S202 of FIG. 2, the box corresponding to the [process for noise frame] and the process for [voice frame] is connected and drawn symbolically. However, in formula (2), N t (n). The value of is naturally different for both frames depending on each of case A and case B in the expression (1).
(iv) 음성 프레임 처리에서는, 상기 수학식 3 및 수학식 4에 관한 처리, 즉, 잡음 억압 게인 G(n)에 대한 평균화ㆍ평활화 처리가 행해지지 않는다(도 2의 스텝 S203 및 그 도면 중 우측 참조). 또한, 이에 수반하여, 정당한 잡음 기간용 게인 Gt가 말하자면 존재하지 않는 상태가 되므로, 상기 수학식 5에 관한 처리, 즉 원음 가산율 og를 산출하는 처리도 또한 행해지지 않는다(도 2의 스텝 S204 및 그 도면 중 우측 참조).(iv) In the audio frame processing, the processing according to the above expressions (3) and (4), that is, the averaging and smoothing processing for the noise suppression gain G (n) is not performed (step S203 in FIG. 2 and the right side in the figure). Reference). In addition, since the gain G t for a legitimate noise period does not exist in connection with this, the process concerning Formula (5), that is, the process of calculating the original sound addition rate og is also not performed (step S204 of FIG. 2 and See right of the figure).
(v) 최종적으로 산출되는 수정 후 게인 G2(n)는, 상기 수학식 8의 caseㆍA로서 나타내어지는 식에 의한 것은 아니며, caseㆍB로서 나타내어지는 식에 의해 구해진다(도 2의 스텝 S304). 이 경우, 잡음 프레임 처리시에 있어서는, 평균화ㆍ평활화를 거친 잡음 기간용 게인 G1(n)이 사용되는 점, 음성 프레임 처리시에 있어서는, 수학식 2로부터 구해진 잡음 억압 게인 G(n)가 그대로 사용되는 점이 다르다.(v) The finally corrected gain G2 (n) is not obtained by the expression represented by case · A in the above expression (8), but is obtained by the expression represented by case · B (step S304 in FIG. 2). ). In this case, the noise period gain G1 (n), which has been averaged and smoothed, is used in the noise frame processing, and the noise suppression gain G (n) obtained from Equation 2 is used as it is in the speech frame processing. Is different.
이상의 [I] 및 [II]의 처리를 거치면, 어떻든간에 수정 후 게인 G2(n)를 얻 을 수 있지만, 이 수정 후 게인 G2(n)에 원래의 진폭 스펙트럼 Y(n)를 곱하면, 잡음 억압 후의 진폭 스펙트럼 S(n)가 산출된다(도 2의 스텝 S104).Through the above processing of [I] and [II], the gain G2 (n) can be obtained after correction anyway, but if the gain G2 (n) is multiplied by the original amplitude spectrum Y (n) after this correction, the noise The amplitude spectrum S (n) after suppression is computed (step S104 of FIG. 2).
도 3의 (E)에서는, 간단하게 하기 위해, 단순히 도 3의 (A)의 진폭 스펙트럼 Y(n)에, 도 3의 (C)의 평균화된 잡음 억압 게인(즉, g)이 승산된 결과가 나타내어져 있다. 제1 실시 형태에서는, 상술한 바와 같이, 이에 부가하여, 원음 가산의 정도에 배려된 게인의 조정이 또한 행해지기는 하지만[수학식 8, 특히 OGt(n)의 역할, 참조], 도 3의 (E)는 가령, 그와 같은 원음 가산 처리에의 배려를 생략하는 경우를 상정하였을 때의 처리의 본질을 잘 나타내고 있다[수학식 8에 있어서, OGt(n)=0이면, 수정 후 게인 G2(n)는 단순히 G1(n), 또는, G(n)와 같을 뿐임].In Fig. 3E, for the sake of simplicity, the result of simply multiplying the amplitude spectrum Y (n) of Fig. 3A by the averaged noise suppression gain (i.e. g) of Fig. 3C. Is indicated. In the first embodiment, as described above, in addition to this, although the gain adjustment in consideration of the degree of original sound addition is also performed (Equation 8, in particular, the role of OG t (n), see Fig. 3). (E) shows well the nature of the process when assuming a case where such consideration to the original sound addition process is omitted, for example. (Equation 8, if OG t (n) = 0, gain after correction is obtained. G2 (n) is simply the same as G1 (n), or G (n)].
이상에 설명한 바와 같은 구성 및 작용을 갖는 잡음 억압 장치(1)에 따르면, 이하의 효과가 발휘된다.According to the noise suppression apparatus 1 having the configuration and action as described above, the following effects are exerted.
우선, 제1 실시 형태의 잡음 억압 장치(1)에 따르면, 입력 신호에 포함되는 잡음이 매우 적절하게 억압된다. 여기서「적절하게」라는 것 중에는, 제1 실시 형태에 있어서 특히, 이하에 기록하는 각 점의 내실이 포함된다.First, according to the noise suppression apparatus 1 of 1st Embodiment, the noise contained in an input signal is suppressed very appropriately. Here, the term "appropriately" includes the internal thread of each point recorded below especially in 1st Embodiment.
(1) 첫째, 제1 실시 형태에 따르면, 소위 뮤지컬 노이즈의 발생을 매우 실효적으로 방지할 수 있다. 여기서 뮤지컬 노이즈라 함은, 입력 신호의 진폭 스펙트럼으로부터 잡음 스펙트럼 추정치를 차감한 후에 발생하는 노이즈를 의미한다.(1) First, according to the first embodiment, generation of so-called musical noise can be prevented very effectively. Here, musical noise refers to noise generated after subtracting a noise spectrum estimate from an amplitude spectrum of an input signal.
예를 들어, 잡음 스펙트럼 추정치에 기초하는 잡음 억압 게인은, 간단하게는, 상기 수학식 2 중의 (Y(n)-N(n))/Y(n)를 사용하여 구하는 것이 가능하고, 이것 을 그대로 도 1에 도시하는 승산기(11)에 적용하는 형태를 상정하면, 잡음 억압 후의 진폭 스펙트럼 S(n)는, S(n)= {(Y(n)-N(n))/Y(n)}ㆍY(n)=Y(n)-N(n)으로서 구해지게 된다. 즉, 이 경우에는, 입력 신호의 진폭 스펙트럼으로부터 잡음 스펙트럼 추정치를 단순히 차감함으로써, 잡음 억압 후의 진폭 스펙트럼 S(n)가 얻어지게 된다.For example, the noise suppression gain based on the noise spectral estimate can be simply obtained by using (Y (n) -N (n)) / Y (n) in Equation 2 above. Assuming that the form applied to the
그러나, 이 경우의 잡음 스펙트럼 추정치는, 어디까지나 "추정치"이므로, 반드시 실제의 잡음 스펙트럼을 반영하고 있다고는 할 수 없다. 따라서, 어느 주파수 대역에서는, 잡음 스펙트럼 추정치 차감 후에도 아직 잡음이 남는 경우가 있고, 또한 다른 주파수 대역에서는, 과잉 차감이 발생하는 경우도 있다(이 과잉 차감의 경우에는, 마이너스의 진폭 스펙트럼이 고려되지 않는 이상, 0으로 설정됨). 도 4에서는, 이와 같은 사정이 개념적으로 표현되어 있고, 예를 들어 도 4의 (C) 중 실선은 차감 잔여(부호 "KN" 참조), 파선은 과잉 차감(부호 "HS" 참조)의 각 경우를 표현하고 있다[또한, 도 4의 (A) 및 도 4의 (B)는, 도 3의 (A) 및 도 3의 (B)와 완전 동일함. 또한, 도 4의 (C)의 부호 HSt가 지시하는 부분은, 간혹 Y(n)-N(n)=0이 성립하는 경우의 예시임].However, since the noise spectral estimate in this case is an "estimation" to the last, it does not necessarily necessarily reflect the actual noise spectrum. Therefore, in some frequency bands, noise may still remain after the noise spectrum estimate is subtracted, and in other frequency bands, an excessive subtraction may occur (in this case, the negative amplitude spectrum is not considered). Above, set to 0). In FIG. 4, such a situation is conceptually expressed. For example, in FIG. 4C, the solid line represents the residual amount remaining (see symbol “KN”), and the dashed line represents the case of excess subtraction (see symbol “HS”). (In addition, Figs. 4A and 4B are completely the same as Figs. 3A and 3B). In addition, the part indicated by the code | symbol HSt of FIG. 4C is an example when Y (n) -N (n) = 0 is established at times.
이와 같은 진폭 스펙트럼 S(n)를 시간 영역으로 역푸리에 변환하면, 그 신호는, 복수의 랜덤의 주파수를 갖는 정현파가 합성된 것처럼 되고, 이것이 재생되면, 상당히 귀에 거슬리는 소리가 되어 들려오게 된다. 이것이 뮤지컬 노이즈이다.When the inverse Fourier transform of such amplitude spectrum S (n) is performed in the time domain, the signal is synthesized by sine waves having a plurality of random frequencies. When this is reproduced, it becomes a very unpleasant sound. This is musical noise.
이와 같이, 뮤지컬 노이즈는, 엄밀하게 말하면 알 수 없는 실제 잡음 스펙트럼과, 잡음 스펙트럼 추정치가 일치하지 않는 것을 주된 원인으로 하여 발생한다.As described above, musical noise is generated due to the fact that the exact unknown noise spectrum does not coincide with the noise spectrum estimate.
제1 실시 형태에서는, 이와 같은 뮤지컬 노이즈의 발생이 매우 효과적으로 억제된다. 이와 같은 것도, 잡음 프레임 처리시에 있어서는, 평균화ㆍ평활화된 잡음 기간용 게인 Gt가 사용되고, 수정 후 게인 G2(n)가 구해지고, 이것이 진폭 스펙트럼 Y(n)에 적용되도록 되어 있기 때문이다[도 3의 (E) 참조]. 이에 의해, 원래의 진폭 스펙트럼이 갖고 있던 주파수 구조가 유지된 상태에서, 잡음 억압이 행해지므로, 뮤지컬 노이즈는 매우 발생하기 어렵게 되어 있는 것이다.In the first embodiment, generation of such musical noise is suppressed very effectively. In at this also the same, the noise frame process, averaged and smoothed gain for noise period G t is used, after modification gain G2 (n) that is obtained, and this is because they are to be applied to the amplitude spectrum Y (n) [ 3 (E)]. As a result, noise suppression is performed while the frequency structure of the original amplitude spectrum is maintained, so that musical noise is very unlikely to occur.
(1-i) 또한, 잡음 기간용 게인 Gt를 구하는 데 있어서 행해지는 평균화(상기 수학식 3) 및 평활화(상기 수학식 4)의 각각에는, 고유의 의의가 있다. 전자의 목적은, 도 3으로부터도 명백한 바와 같이, 주로, 상기 뮤지컬 노이즈의 억압이라는 효과를 유도하는 것에 있고, 후자의 목적은, 주로, 말하자면 통시적으로 본 잡음 억압 처리의 연속성을 유지하는 것에 있다. 후자에 따르면, 잡음 기간용 게인 Gt(n)의 시간의 경과에 따른 급격한 변화가 발생하지 않기 때문에, 예를 들어 당해 잡음 프레임에 포함되는 신호가 재생된다고 한 경우에, 청취자에게, 청감상의 위화감을 주는 일이 없다[또한, 제1 실시 형태에 있어서 행해지는, 그 밖의 평활화 처리(즉, 수학식 1의 caseㆍA. 수학식 7의 caseㆍA)는, 기본적으로, 이와 본질적으로 다르지 않은 의의를 가짐].(1-i) In addition, each of the averaging (Equation 3) and smoothing (Equation 4) performed in obtaining the gain G t for the noise period has a unique meaning. As is apparent from Fig. 3, the former purpose is mainly to induce the effect of suppressing the musical noise, and the latter purpose is mainly to maintain the continuity of the noise suppression process as seen in the past. . According to the latter, since no sudden change occurs over time of the gain G t (n) for the noise period, for example, when the signal included in the noise frame is reproduced, There is no discomfort (in addition, other smoothing processing (that is, case A of equation (1). Case A of equation (7)) performed in the first embodiment is essentially different from this. Has no significance].
(2) 둘째, 상기 (1)은 잡음 프레임 처리에 관한 뮤지컬 노이즈의 발생 예방에 대해서이지만, 이에 관련하여, 제1 실시 형태에 따르면, 음성 프레임 처리에 관한 뮤지컬 노이즈의 발생 예방도 보다 좋게 실현된다. 이는, 전술한 바와 같이, 음성 프레임 처리에서는, 평균화ㆍ평활화를 거치지 않는 잡음 억압 게인 G(n)(수학식 2 참조)가 말하자면 그대로 이용되는 형태로, 수정 후 게인 G2(n)가 구해지는 것에 의한다[수학식 8의 caseㆍB, 혹은 전술한 [II](v)].(2) Second, although (1) is for preventing the occurrence of musical noise related to the noise frame processing, in this regard, according to the first embodiment, the prevention of the occurrence of musical noise for the speech frame processing is also better realized. . As described above, in the speech frame processing, the noise suppression gain G (n) (see Equation 2), which does not undergo averaging and smoothing, is used as it is, so that the gain G2 (n) after correction is obtained. [Case B of Equation 8 or [II] (v) described above).
(3) 게다가 셋째, 제1 실시 형태에 따르면, 잡음 프레임으로부터 음성 프레임으로의 절환 장면에 있어서, 잡음 억압 처리의 일관성이 유지된다. 이는, 전술한 바와 같이, 음성 프레임 처리시에 있어서는, 잡음 스펙트럼 추정치 Nt(n)로서, 가장 가까운 잡음 프레임에 있어서 산출된 Nt-p(n)가 이용되도록 되어 있는 것에 의한다[전술한 [II](i)의 기재 참조].(3) Furthermore, according to the first embodiment, the consistency of the noise suppression process is maintained in the switching scene from the noise frame to the audio frame. This is because, as described above, N tp (n) calculated in the nearest noise frame is used as the noise spectrum estimation value N t (n) in the speech frame processing [described above [II]. ] (see description of (i)).
이상의 (2) 및 (3)을 요약하면, 제1 실시 형태에서는, 음성 프레임에 있어서, 실효적인 잡음 억압이 행해지면서도, 또한 잡음 프레임 처리시에 있어서의 잡음 억압 처리(특히, 그 효과)를 존중하여, 양 프레임간의 흐름이 보다 자연스러운 것이 되는 고안이 이루어지고 있는 것이다. 이에 따르면, 제1 실시 형태의 잡음 억압 장치(1)가 어떠한 음성 재생 수단에 접속되었다고 한 경우, 잡음 프레임으로부터 음성 프레임으로의 절환 장면에 있어서, 청취자에게, 잡음에 관한 음량감의 변경 등등의 청감상의 위화감을 주지 않는다.Summarizing the above (2) and (3), in the first embodiment, while the effective noise suppression is performed in the audio frame, the noise suppression process (particularly the effect) during the noise frame processing is respected. Thus, the present invention is being made so that the flow between the two frames becomes more natural. According to this, when the noise suppression apparatus 1 of the first embodiment is connected to any audio reproducing means, the listener is asked to change the volume of the sound related to the noise, etc. in the switching scene from the noise frame to the audio frame. Do not give a sense of discomfort.
또한, 음성 프레임에 있어서의 뮤지컬 노이즈를 억제하기 위해서는, 전술한 S(n)=Y(n)-N(n) 대신에, S(n)=Y(n)-αN(n)으로 하고, 이 α(>0)의 값을 크게 하는 방법도 생각할 수 있지만, 이것으로는, 음질의 열화가 심해질 우려가 매우 높아진다는 결점을 갖는다. 그렇다고 해서, α를 작게 하는 것으로는, 뮤지컬 노이즈의 억압이 불충분해진다.In addition, in order to suppress musical noise in an audio frame, S (n) = Y (n) -αN (n) instead of S (n) = Y (n) -N (n) described above. Although the method of increasing this value of (alpha) (> 0) can also be considered, this has the drawback that the possibility that the deterioration of sound quality will become severe becomes very high. Even so, it is insufficient to suppress musical noise by making α small.
또한, 도 4의 (C) 중 파선으로 나타내는, 잡음 억압 후의 진폭 스펙트럼이 0으로 되어 버리는 부분(즉, 부호 HS 및 HSt가 지시하는 부분)에, 일정한 값(노이즈 플로어)을 가산하는 방법을 취함으로써, 뮤지컬 노이즈를 억압하는 것도 생각할 수 있다. 이는, 당해의 부분 HS 및 HSt에, 말하자면 실제보다 값을 올림으로써, 차감 잔여 부분 KN을 마스킹하려고(혹은, 눈에 띄지 않게 하려고) 하는 발상에서 나오고 있다(또한, 이 방법과, 상기한 α를 사용하는 방법을 병용하는 경우, α는 보다 작게 설정되어도 되므로, 그 경우, 음질의 열화 방지라는 효과도 얻을 수 있음).In addition, a method of adding a constant value (noise floor) to a portion where the amplitude spectrum after noise suppression becomes zero (that is, the portions indicated by the signs HS and HSt) indicated by broken lines in FIG. By suppressing musical noise, it can also be considered. This comes from the idea of masking (or making it inconspicuous) the subtraction residual portion KN by raising the value to the relevant parts HS and HSt, that is, the actual value. When using the method together, alpha may be set smaller, and in that case, the effect of preventing deterioration of sound quality can also be obtained).
그러나, 이와 같은 노이즈 플로어의 가산은, 즉 잡음의 절대량을 증가시키는 것을 의미하므로, 잡음 억압이라는 본래의 목적 달성의 관점에서 볼 때 문제가 있을 뿐만 아니라, 그 노이즈 플로어의 양의 설정 여하에 따라서는, 잡음 억압 효과가 매우 불충분해질 우려가 높다는 문제를 발생시킨다.However, since the addition of such a noise floor means increasing the absolute amount of noise, there is a problem from the viewpoint of achieving the original purpose of noise suppression, and depending on the setting of the amount of the noise floor. This creates a problem that the noise suppression effect is likely to be very insufficient.
이와 같은 관점에서 보아도, 제1 실시 형태의 잡음 억압 장치(1)가 매우 우위에 서는 것이 명백하다. 즉, 제1 실시 형태에서는, 상기한 α의 이용과 같이, 차감량을 말하자면 기계적으로 증가시키는 것이 아니므로, 음질의 열화가 발생할 우려는 거의 없고, 또한 상기 노이즈 플로어의 단순한 가산과 같은 처리가 행해지는 것은 아니므로, 일단은 행한 잡음 억압 효과가 희생되는 일도 없다. 그리고, 이미 설명한 바와 같이, 그럼에도 불구하고, 뮤지컬 노이즈는, 실효적으로 억압되는 것이다.In view of the above, it is clear that the noise suppression apparatus 1 of the first embodiment is very superior. That is, in the first embodiment, since the reduction amount is not mechanically increased as in the use of α described above, there is almost no possibility of deterioration of sound quality, and processing such as simple addition of the noise floor is performed. Since the noise suppression effect is not sacrificed once. And, as already explained, nevertheless, musical noise is effectively suppressed.
(4) 제1 실시 형태의 잡음 억압 장치(1)에 따르면, 전술한 수학식 5 내지 수 학식 7, 혹은 도 2의 스텝 S205 및 스텝 S303을 참조하여 설명한 바와 같이, 원음 가산 처리가 행해지도록 되어 있으므로, 잡음 억압 효과가 더욱 실효적으로 발휘된다. 이 원음 가산 처리에 따르면, 마치 전술한 노이즈 플로어의 가산 처리와 마찬가지의 효과, 즉 도 4의 (C)의 차감 잔여 부분 KN의 마스킹 효과를 기대할 수 있으므로, 뮤지컬 노이즈의 억압, 혹은 음질의 열화 방지가 보다 실효적으로 되는 것이다(단, 상기 노이즈 플로어는 어디까지나「일정」함. 이 점이「원음」을 이용하는 경우와의 결정적인 차이임).(4) According to the noise suppression apparatus 1 of the first embodiment, the original sound addition process is performed as described with reference to the above-described Equations 5 to 7, or 2 and S303 of FIG. 2. Therefore, the noise suppression effect is more effectively exerted. According to this original sound addition process, it is possible to expect the same effect as the above-described addition process of the noise floor, that is, the masking effect of the remaining residual portion KN in Fig. 4C, so that suppression of musical noise or deterioration of sound quality is prevented. Is more effective (however, the noise floor is " stable " to the last. This is a decisive difference from the case of using " original sound ").
또한, 상술에 있어서는, 제1 실시 형태의 잡음 억압 장치(1)에 의해 발휘되는 효과를 보다 명료하게 파악하기 위해, 상기 α를 사용하는 방법, 혹은 노이즈 플로어를 사용하는 방법과의 대비에 있어서, 당해 효과에 대한 설명을 행하고 있는 부분이 있지만, 본 발명은, 이들 α 혹은 노이즈 플로어를 이용하여 뮤지컬 노이즈를 억압하는 방법을 적극적으로 배제하는 의도까지는 갖지 않는다. 즉, 이들 방법과 본 발명 및 그 각종 형태는 병용 가능하고, 그와 같은 병용 형태에 따르면, 당해 방법의 좋은 점을 향수하면서, 본 발명 및 그 각종 형태의 효과를 보다 뛰어나게 하는 것 등이 가능해진다.In addition, in the above, in order to grasp | ascertain more clearly the effect exhibited by the noise suppression apparatus 1 of 1st Embodiment, in contrast with the method using the said alpha, or the method using a noise floor, Although there is a part explaining the effect, the present invention has no intention of actively excluding a method of suppressing musical noise using the α or the noise floor. That is, these methods, the present invention, and various forms thereof can be used in combination. According to such a combination form, it is possible to make the effects of the present invention and the various forms more excellent while enjoying the advantages of the method. .
게다가, 제1 실시 형태에서는, 단순히 원음 가산을 실행하는 것뿐만 아니라, 이하의 각 점에 특징이 있다.In addition, in the first embodiment, not only the original sound addition is performed, but also the following points are featured.
(4-i) 우선, 원음 가산의 비율(즉, OGt)이, 잡음 기간용 게인 Gt와 목표 잡음 억압 게인 tg의 크기의 여하에 따라서 정해지는 원음 가산율 og에 기초하여 정 해지도록 되어 있다. 구체적으로는, 이미 설명한 바와 같이, 원음 가산 처리에 있어서는, 목표로 하고 있는 잡음 억압의 정도(즉, tg)를 지배적 요인의 하나로 하고, 이와의 관계에 있어서 원음 가산율 og가 정해지도록 되어 있으므로, 잡음 기간용 게인 Gt에 기초하는 처리와, 원음 가산 처리 사이에서, 균형이 잡힌 사용 분류가 행해짐으로써, 보다 실효적으로 잡음 억압 효과 또는 뮤지컬 노이즈 억압 효과, 나아가 음질 개선 효과가 향수되게 된다.(4-i) First, the ratio of the original sound addition (that is, OG t ) is determined based on the original sound addition rate og determined depending on the magnitude of the gain G t for the noise period and the target noise suppression gain tg. . Specifically, as described above, in the original sound addition process, since the target degree of noise suppression (that is, tg) is one of the dominant factors, the original sound addition rate og is determined in this relationship. A balanced use classification is performed between the processing based on the period gain G t and the original sound addition processing, so that the noise suppression effect, the musical noise suppression effect, and the sound quality improvement effect are more effectively received.
(4-ii) 또한, 이와 같은 원음 가산 처리에서도, 음성 프레임 처리시에 있어서는, 원음 가산 비율 OGt로서, 가장 가까운 잡음 프레임에 있어서 산출된 OGt-p가 이용되도록 되어 있다[전술한 [II](ii)의 기재 참조]. 이는, 어떤 음성 프레임에 있어서의 잡음 스펙트럼 추정치 Nt(n)로서, 그 전의 잡음 스펙트럼 추정치 Nt-1(n)이 그대로 이용된다는, 전술한 사고 방식과 그 본질을 동일하게 한다. 즉, 이 원음 가산 처리에 있어서도, 잡음 프레임 및 음성 프레임간의 절환 장면에 있어서, 잡음 억압 처리의 일관성이 유지되는 것이다.(4-ii) In this original sound addition process, also in the audio frame process, the OG tp calculated in the closest noise frame is used as the original sound addition ratio OG t [[II] (described above) ( See description in ii)]. This, as the noise spectrum estimate N t (n) in a certain speech frame, the same that the previous noise spectrum estimate N t-1 (n) is used as it that, the above-described way of thinking and its nature. That is, in this original sound addition process, the consistency of the noise suppression process is maintained in the switching scene between the noise frame and the audio frame.
<제2 실시 형태><2nd embodiment>
이하에서는, 본 발명에 관한 제2 실시 형태에 대해 도 5 내지 도 7을 참조하면서 설명한다. 또한, 이 제2 실시 형태는, 상기 제1 실시 형태와의 대비에 있어서, 음성 검출 처리에 관련된 차이점이 있고, 그 밖의 점에 대해서는, 특별히 언급이 없는 한 상기 제1 실시 형태와 완전히 동일하다. 따라서, 이하에서는, 상기 차이점에 관한 설명을 주로 행하고, 그 밖의 점에 대한 설명은 간략화 또는 생략한 다. 또한, 도면 상의 부호에 대해서도 상기 상이점 이외에 대해서는 유용한다.EMBODIMENT OF THE INVENTION Hereinafter, 2nd Embodiment which concerns on this invention is described, referring FIGS. 5-7. In addition, this second embodiment has a difference related to the voice detection process in contrast with the first embodiment, and other points are completely the same as the first embodiment unless otherwise noted. Therefore, hereinafter, the description of the difference is mainly performed, and the description of the other points is simplified or omitted. Moreover, also about the code | symbol on drawing, it is useful about other than the said difference.
이 제2 실시 형태의 잡음 억압 장치(1')는, 도 5에 도시한 바와 같이, 음성 검출부(801)가 잡음 억압 게인 연산부(30)의 후단에 접속되는 구성을 갖는다. 즉, 이 음성 검출부(801)는 상기 수학식 2에 의해 산출되는 잡음 억압 게인 G(n)를 이용함으로써, 입력 신호 중 음성 신호의 유무를 검출하고, 혹은 음성 프레임과 잡음 프레임의 구별을 행한다.As shown in FIG. 5, the noise suppression apparatus 1 ′ of the second embodiment has a configuration in which the
제2 실시 형태에 있어서는, 음성 신호의 유무를 검출하기 위해 이하의 방법이 취해진다.In the second embodiment, the following method is taken to detect the presence or absence of an audio signal.
우선, 수학식 2에서 구해진 잡음 억압 게인 G(n)에 기초하여, 이하의 수학식 9로 표현되는 Var이 산출된다.First, on the basis of the noise suppression gain G (n) obtained in equation (2), Var represented by the following equation (9) is calculated.
여기서, g는 상기 제1 실시 형태에 있어서 이용되고 있던 수학식 3에 의해 표현되는 g이며, 결국, G(n)에 대한 주파수 대역 n에 관한 평균치이다[제2 실시 형태는, 이 g의 연산을, 잡음 기간용 게인 연산부(40)뿐만 아니라, 음성 검출부(801)도 행함. 물론, 양자 중 한쪽에서 행한 연산의 결과를, 양자간에 공용해도 됨].Here, g is g expressed by the equation (3) used in the above first embodiment, and is, in the end, an average value relating to the frequency band n with respect to G (n). The
이 수학식 9의 Var은 표식으로부터 명백한 바와 같이, G(n)의 분산을 나타낸다.Var of this expression (9) represents the variance of G (n), as is apparent from the label.
다음에, 이 Var이 소정치를 초과하는지 여부가 판단된다. 이 판단의 의의는 이하에 있다.Next, it is determined whether this Var exceeds a predetermined value. The significance of this judgment is as follows.
일반적으로, 수학식 2에 의해 산출되는 잡음 억압 게인 G(n)는 음성 신호가 포함되는 경우와 포함되지 않는 경우로 크게 다른 양상을 나타낸다. 도 6 및 도 7은 그 일례를 나타내고 있고, 전자는, 음성 신호가 포함되는 경우의 잡음 억압 게인 G(n)의 연산예, 후자는, 포함되지 않는 경우의 잡음 억압 게인 G(n)의 연산예이다. 이들 도면을 대비하면 명백한 바와 같이, 양자의 경우 각각에 있어서의 G(n)의 분산을 계산하면, 양자간에 큰 격차가 발생하는 것이 용이하게 추측된다. 즉, 어느 프레임에 대한 G(n)의 분산의 값이 일정 정도 크면, 그것은 음성 신호를 포함하고, 그렇지 않으면, 음성 신호를 포함하지 않는다는 판단을 행하는 것이, 상당 정도의 정확도로 가능하다.In general, the noise suppression gain G (n) calculated by Equation 2 shows a significantly different aspect in the case where the speech signal is included and not included. 6 and 7 show an example, the former is an example of calculation of the noise suppression gain G (n) when the audio signal is included, and the latter is an operation of the noise suppression gain G (n) when it is not included. Yes. As is apparent from these drawings, it is easy to assume that large differences occur between the two calculations when the dispersion of G (n) in each case is calculated. In other words, if the value of the variance of G (n) for a certain frame is large enough, it is possible to judge with a certain degree of accuracy that it contains a speech signal, otherwise it does not contain a speech signal.
전술한 Var에 관한 대소 판단의 의의는 여기에 있다. 다시 말하면, 어느 소정치 VB가 있다고 하고, Var>VB이면, 당해 프레임에는 음성 신호가 있고, 따라서 그것은「음성 프레임」으로 구별되고, Var≤VB이면, 당해 프레임에는 음성 신호가 없고, 따라서 그것은「잡음 프레임」으로 구별되게 된다.Here is the significance of the case judgment on Var. In other words, if there is a certain value VB, and if Var> VB, there is an audio signal in the frame, and therefore it is distinguished as a "voice frame", and if Var≤VB, there is no audio signal in the frame, so it is " Noise frame ”.
또한, 도 5의 구성에서는, 도 1의 구성과는 달리, 잡음 스펙트럼 추정부(20)가 음성 신호의 검출 결과를 이용할 수 없다. 즉, 잡음 스펙트럼 추정부(20)는, 음성 프레임 및 잡음 프레임의 구별을 전제로 하지 않고, 잡음 스펙트럼 추정치 Nt(n)를 연산한다.In addition, in the configuration of FIG. 5, unlike the configuration of FIG. 1, the noise
이와 같은 경우에 있어서의 잡음 스펙트럼 추정치 Nt(n)는, 예를 들어 이하 의 수학식 10 및 수학식 11에 의해 구해져도 된다.In this case, the noise spectral estimate N t (n) may be obtained by, for example, the following equations (10) and (11).
여기서, PAt(n)는 실제로 처리 중인 프레임에 있어서의 입력 신호 중의 진폭 스펙트럼이며 평활화된 것, PAt-1(n)은 그 직전의 프레임에 있어서의 당해 진폭 스펙트럼이며 평활화된 것, α는 평활화 계수, γㆍβ는 제어 파라미터이다. 또한, 수학식 11 중, caseㆍC로 되어 있는 것은, PAt(n)>Nt-1(n)이 성립하는 경우를 표현하고, caseㆍD로 되어 있는 것은, 그 이외의 경우를 표현하고 있다.Where PA t (n) is the amplitude spectrum and smoothed in the input signal in the frame actually being processed, PA t-1 (n) is the amplitude spectrum and smoothed in the immediately preceding frame, α is The smoothing coefficient, γ · β, is a control parameter. In addition, in formula (11), case C represents the case where PA t (n)> N t-1 (n) holds, and case D represents the case other than that. Doing.
이 경우, 수학식 11의 caseㆍD로서 나타내어지는 식 및 수학식 10의 조합이 상기한 수학식 1의 caseㆍA로서 나타내어지는 식과 실질적으로 대략 동의이다.In this case, the combination of the equation represented by the case D in the equation (11) and the equation (10) is substantially synonymous with the equation represented by the case A in the equation (1).
한편, 수학식 11의 caseㆍC로서 나타내어지는 식은, 상기 수학식 1 중에 있어서는 해당하는 것은 없다. 단, 이 식은, 상술한 바와 같이, 즉 PAt(n)>Nt-1(n)이 성립하는 경우, 즉 실제로 처리 중인 프레임에 있어서의 진폭 스펙트럼이, 그 직전의 프레임에 있어서의 잡음 스펙트럼 추정치를 초과하는 경우에 발동하므로, 이 caseㆍC는 그 실제로 처리 중인 프레임이, 음성 프레임일 가능성을 시사하는 것으 로 파악하는 것도 불가능하지 않다[가령, 대부분의 n(=0, 1, 2, 3,…)에 대해, 이러한 조건이 만족된다면, 그 가능성은 보다 높아진다고 할 수 있음. 단, 어디까지나 "시사"에 지나지 않음].In addition, the formula shown as case-C of Formula (11) is not applicable in said Formula (1). However, this equation is as described above, i.e., when PA t (n) > N t-1 (n), that is, the amplitude spectrum in the frame actually being processed is the noise spectrum in the immediately preceding frame. Since it is triggered when the estimate is exceeded, it is not impossible to determine that this case C suggests that the frame actually being processed is a voice frame [eg, most n (= 0, 1, 2, 3,…), if these conditions are met, the probability is higher. However, it is only "a preview".
이들 수학식 10 및 수학식 11은, 이상과 같은 의미에 있는 한, 상기 수학식 1과 공통성을 갖는다고 할 수 있다.These equations (10) and (11) can be said to have commonalities with the above equations (1) as long as they have the meanings described above.
어떻든간에, 잡음 스펙트럼 추정치가 적절하게 산출되는 것에 차이는 없다.In any case, there is no difference in that the noise spectral estimate is properly calculated.
이와 같은 제2 실시 형태에 따르면, 다음과 같은 효과가 발휘된다.According to such 2nd Embodiment, the following effects are exhibited.
우선, 이 제2 실시 형태에 의해서도, 상기 제1 실시 형태에 의해 발휘된 작용 효과와 본질적으로 다르지 않은 작용 효과가 발휘되는 것은 명백하다. 즉, 이 제2 실시 형태에서도, 상기 제1 실시 형태에 관해 설명한 (1) 내지 (4)의 효과가 거의 마찬가지로 발휘된다.First, it is clear also by this second embodiment that an operation effect which is not substantially different from the operation effect exerted by the first embodiment is exerted. That is, also in this 2nd Embodiment, the effect of (1)-(4) demonstrated about the said 1st Embodiment is exhibited substantially similarly.
게다가, 이 제2 실시 형태에 따르면, 도 1과 도 5를 대비하면 명백한 바와 같이, 처리 효율의 향상, 회로 구성의 간이화 등의 효과가 향수된다. 이는, 제1 실시 형태에 있어서의 음성 검출이, 말하자면 독립으로 행해지고 있었던 것에 대신하여, 제2 실시 형태에 있어서의 음성 검출이, 잡음 억압 게인 G(n)의 이용이 도모됨으로써 행해지고, 그 종속화가 행해지고 있는 것에 의한다.In addition, according to this second embodiment, as apparent from the comparison with FIGS. 1 and 5, effects such as improvement in processing efficiency, simplicity of circuit configuration, and the like are enjoyed. This is performed instead of the speech detection in the first embodiment, that is to say, independently, that is, the speech detection in the second embodiment is carried out by the use of the noise suppression gain G (n). By being done.
본 발명에 있어서는, 잡음 억압 게인 G(n)의 연산은 반드시 행해야만 하는 처리인 이상, 그 연산 결과를 이용하여 음성 검출 처리도 행하는 것이, 처리의 효율화ㆍ합리화를 유도하는 것은 물론이다. 게다가, 그 검출 성능은 상당 정도 높다(도 6 및 도 7 대비 참조).In the present invention, as long as the calculation of the noise suppression gain G (n) is a process that must be performed, it is, of course, that the speech detection process is also performed using the calculation result to induce efficiency and rationalization of the process. In addition, the detection performance is considerably high (cf. FIGS. 6 and 7).
이상, 본 발명에 관한 실시 형태에 대해 설명하였지만, 본 발명에 관한 잡음 억압 장치는, 상술한 형태에 한정되지 않고, 각종 변형이 가능하다.As mentioned above, although embodiment which concerns on this invention was described, the noise suppression apparatus which concerns on this invention is not limited to the form mentioned above, A various deformation | transformation is possible.
(1) 상기 제1 및 제2 실시 형태에서는, 잡음 기간용 게인 Gt가, 주파수축 상에서 평균화되고, 시간축 상에서 평활화되어 있지만, 본 발명은, 이러한 형태에 한정되지 않는다. 위에서도 이미 설명하였지만, 평균화 처리와 평활화 처리에서는, 그 주된 목적이 다르므로, 특히 평활화 처리에 관해서는, 경우에 따라서는 생략되어도 된다. 도 3의 (E)에서 볼 수 있는 바와 같이, 평균화 처리만을 실시하였다 해도, 뮤지컬 노이즈의 억압 효과는 일정 정도 향수 가능하다.(1) In the first and second embodiments, the gain G t for the noise period is averaged on the frequency axis and smoothed on the time axis, but the present invention is not limited to this embodiment. Although already explained above, in the averaging process and the smoothing process, since the main purpose differs, especially about a smoothing process, you may abbreviate | omit in some cases. As can be seen from Fig. 3E, even if only the averaging process is performed, the suppression effect of the musical noise can be nostalgic to some extent.
(2) 또한, 상기 제1 및 제2 실시 형태에서는, 잡음 기간용 게인 Gt가, 상기 수학식 3에 의한 평균화 처리, 및 상기 수학식 4에 의한 평활화 처리를 거쳐서 구해지고 있지만, 본 발명은 이들 수학식 3 및 수학식 4의 형태에도 구애되지 않는다.(2) In addition, in the said 1st and 2nd embodiment, although the gain G t for a noise period is calculated | required through the averaging process by the said Formula (3), and the smoothing process by the said Formula (4), this invention is It is not limited also to the form of these formula (3) and (4).
우선, 본 발명에 있어서, 잡음 억압 게인 평균치 g는, 수학식 3에 의해 구해지는 형태에 한정되지 않는다.First, in the present invention, the noise suppression gain average value g is not limited to the form obtained by the equation (3).
즉, 수학식 3에 있어서, g는 N개 모든 주파수 대역(전부 N개의 0, 1, 2,…, N-1번째의 주파수 대역)을 사용하여 산출되고 있지만, 이 g는, 예를 들어, 그 중 일부만의 주파수 대역을 사용하여 산출되어도 된다. 이 경우, 극저역(極低域)(DC 성분에 가까운 대역)이나 극고역(極高域)(나이키스트 주파수에 가까운 대역) 양쪽 또는 한쪽을 제외한, 주파수 대역을 사용하는 것을 생각할 수 있다.That is, in Equation 3, g is calculated using all N frequency bands (all N 0, 1, 2, ..., N-1th frequency bands), but this g is, for example, It may be calculated using only a part of the frequency bands. In this case, it is conceivable to use the frequency band except for both or one of the ultra low band (band close to the DC component) and the ultra high band (band close to the Nyquist frequency).
또한, 잡음 억압 게인 평균치 g를 구하는 데 있어서는, 개개의 주파수 대역에 다른 가중치 부여를 행해도 된다. 예를 들어, 어떤 특정한 가중 계수를 특정한 주파수 대역에 대해서만 승산하거나, 혹은 연속적, 단계적으로 증가 또는 감소하는 가중 계수를 모든 주파수 대역에 대해 승산하는 등등과 같다.In addition, in calculating the noise suppression gain average value g, you may give different weight to each frequency band. For example, multiplying a certain weighting factor only for a particular frequency band, or multiplying a weighting factor that increases or decreases continuously or stepwise over all frequency bands.
다음에, 본 발명에 있어서, 잡음 기간용 게인 Gt는, 상기 수학식 4에 의해 구해지는 형태에 한정되지 않는다.Next, in the present invention, the gain G t for the noise period is not limited to the form obtained by the above expression (4).
즉, 수학식 4에 있어서, Gt는, 잡음 억압 게인 평균치 g를 시간축 상에서 평활화함으로써 구해지고 있지만, 이 Gt는, 예를 들어 서로 인접하는 프레임의 g의 평균치로서 산출되어도 된다.That is, in
(3) 게다가, 상기 제1 및 제2 실시 형태에서는, 평균화ㆍ평활화된 잡음 기간용 게인 Gt 또는 G1(n)이 모든 주파수 대역에 적용되고 있지만[수학식 8의 caseㆍA, 혹은 도 3의 (E) 참조], 본 발명은, 이와 같은 형태에도 한정되지 않는다.(3) In addition, in the first and second embodiments, the gain G t or G 1 (n) for the averaging and smoothed noise period is applied to all frequency bands (case · A in Equation 8, or FIG. 3). (E)]] The present invention is not limited to such a form.
예를 들어, 전술한 극저역이나 극고역 양쪽 또는 한쪽을 제외한 주파수 대역에만, 당해 잡음 기간용 게인 Gt 또는 G1(n)이 적용되어도 된다. 이 경우, 그 적용 제외가 된 주파수 대역에 대해서는, 고정치인 게인이 적용되면 된다. For example, the gain G t or G 1 (n) for the noise period may be applied only to the frequency band except for the above-mentioned both ultralow and extreme high frequencies. In this case, the gain which is a fixed value may be applied to the frequency band to which the application was excluded.
(4) 상기 제1 및 제2 실시 형태에서는, 잡음 억압 게인 G(n)가 수학식 2에 의해 산출되어 있지만, 본 발명은, 이러한 형태에 한정되지 않는다. 예를 들어, 이 이외에도, 위너 필터법, MMSE(Minimum Mean-Square Error)법 등이 이용되어도 된다(이들에 대해서는, 전술한 비특허 문헌 3 및 비특허 문헌 4를 참조). SNR[음성(신호)/노이즈 비율]을 추정하여, 그 SNR에 기초하여 잡음 억압 게인 G(n)가 구해져도 된다.(4) In the said 1st and 2nd embodiment, although the noise suppression gain G (n) is calculated by Formula (2), this invention is not limited to this form. For example, in addition to this, a Wiener filter method, a Minimum Mean-Square Error (MMSE) method, or the like may be used (see
(5) 상기 제2 실시 형태에서는, 음성 프레임 및 잡음 프레임간의 구별을 행하기 위해, 상기 수학식 9에 의해, 잡음 억압 게인 G(n)에 대한 주파수축 상의 분산이 취해지고 있지만, 본 발명은, 이러한 형태에 한정되지 않는다.(5) In the second embodiment, in order to discriminate between the speech frame and the noise frame, the variance on the frequency axis with respect to the noise suppression gain G (n) is taken by the above expression (9). It is not limited to this form.
예를 들어, 분산 대신에, 표준 편차가 사용되어도 되는 것은 당연하고, 시간축 상의 분산, 혹은 표준 편차가 사용되어도 된다. 또한, 주파수 대역마다의 잡음 억압 게인 G(n) 중, 소정의 2개의 기준치에 의해 구획된 공간 내에 들어가는 것이 몇 개 있는지 등에 기초하여, 음성 프레임 및 잡음 프레임간의 구별이 행해져도 된다[예를 들어, 그 수가 비교적 크면, 잡음 억압 게인 G(n)는 일정 부위에 집중하여 존재한다고 판단 가능하므로, 그 흩어짐 정도는 작다고 할 수 있고, 따라서 당해의 프레임은 잡음 프레임이라 인정되는 등과 같음]. 또한, 상술한 각종 판단 방법은, 경우에 따라서 병용되어도 된다. 이에 따르면, 예를 들어, 흩어짐 정도가, 상기 분산과 상기 공간 내에 들어가는 잡음 억압 게인 G(n)의 수 양쪽이 참조된 후에 판단되게 된다.For example, instead of variance, it is natural that a standard deviation may be used, and a variance on the time axis or a standard deviation may be used. In addition, the distinction between an audio frame and a noise frame may be performed based on the number of noise suppression gains G (n) for each frequency band that fall into a space partitioned by two predetermined reference values or the like (for example, When the number is relatively large, the noise suppression gain G (n) can be judged to be concentrated in a certain area, so that the degree of scattering can be said to be small, so that the frame concerned is recognized as a noise frame. In addition, the various determination methods mentioned above may be used together depending on a case. According to this, for example, the degree of dispersion is judged after both the dispersion and the number of noise suppression gains G (n) entering the space are referred to.
도 1은 본 발명의 제1 실시 형태에 관한 잡음 억압 장치의 구성을 나타내는 블록도.1 is a block diagram showing a configuration of a noise suppression apparatus according to a first embodiment of the present invention.
도 2는 제1 실시 형태에 관한 잡음 억압 처리의 흐름을 나타내는 흐름도.2 is a flowchart showing a flow of a noise suppression process according to the first embodiment.
도 3은 제1 실시 형태에 관한 잡음 억압 처리의 내용을 설명하기 위한 설명도.3 is an explanatory diagram for explaining the contents of a noise suppression process according to the first embodiment;
도 4는 종래의 잡음 억압 처리의 내용을 설명하기 위한 설명도.4 is an explanatory diagram for explaining the contents of a conventional noise suppression process.
도 5는 본 발명의 제2 실시 형태에 관한 잡음 억압 장치의 구성을 나타내는 블록도.5 is a block diagram showing a configuration of a noise suppression apparatus according to a second embodiment of the present invention.
도 6은 음성 신호가 포함되는 경우의 잡음 억압 게인 G(n)의 연산예를 나타내는 그래프.Fig. 6 is a graph showing an example of calculating noise suppression gain G (n) when the audio signal is included.
도 7은 음성 신호가 포함되지 않는 경우의 잡음 억압 게인 G(n)의 연산예를 나타내는 그래프.Fig. 7 is a graph showing an example of calculating noise suppression gain G (n) when no audio signal is included.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
1, 1' : 잡음 억압 장치1, 1 ': noise suppression device
10 : 시간ㆍ주파수 변환부10: time / frequency conversion unit
20 : 잡음 스펙트럼 추정부20: noise spectrum estimation unit
30 : 잡음 억압 게인 연산부30: noise suppression gain calculator
40 : 잡음 기간ㆍ잡음 억압 게인 연산부(잡음 기간용 게인 연산부)40: noise period and noise suppression gain calculating unit (gain period calculating unit for noise period)
50 : 원음 가산율 연산부50: original sound addition rate calculator
60 : 원음 가산 게인 연산부60: original sound addition gain calculating unit
70 : 주파수ㆍ시간 변환부70 frequency / time conversion unit
11 : 승산기11: multiplier
Y(n) : 입력 신호의 진폭 스펙트럼Y (n): amplitude spectrum of the input signal
N(n) : 잡음 스펙트럼 추정치N (n): noise spectral estimate
G(n) : 잡음 억압 게인G (n): Noise Suppression Gain
g : 잡음 억압 게인 평균치g: Average noise suppression gain
Gt, G1(n) : 잡음 기간에 적용하기 위한 잡음 억압 게인(잡음 기간용 게인)G t , G1 (n): Noise suppression gain for applying noise period (gain for noise period)
og : 원음 가산율og: Original sound addition rate
tg : 목표 잡음 억압 게인tg: target noise suppression gain
TG : 목표 잡음 억압량TG: Target Noise Suppression
OG : 원음 가산 비율OG: Original sound addition rate
G2(n) : 원음 가산 후의 잡음 억압 게인(수정 후 게인)G2 (n): Noise suppression gain after original sound addition (gain correction)
Claims (12)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008274858A JP5526524B2 (en) | 2008-10-24 | 2008-10-24 | Noise suppression device and noise suppression method |
JPJP-P-2008-274858 | 2008-10-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100045934A true KR20100045934A (en) | 2010-05-04 |
KR101088558B1 KR101088558B1 (en) | 2011-12-05 |
Family
ID=42273495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090101092A KR101088558B1 (en) | 2008-10-24 | 2009-10-23 | Noise suppression device and noise suppression method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5526524B2 (en) |
KR (1) | KR101088558B1 (en) |
CN (1) | CN101727911B (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
WO2017135484A1 (en) * | 2016-02-05 | 2017-08-10 | 볼보 컨스트럭션 이큅먼트 에이비 | Variable cooling-fan apparatus of construction machine |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915930B (en) * | 2014-03-14 | 2019-05-28 | 深圳迈瑞生物医疗电子股份有限公司 | The method and device of grey level compensation and noise suppressed is carried out to image |
WO2016038704A1 (en) * | 2014-09-10 | 2016-03-17 | 三菱電機株式会社 | Noise suppression apparatus, noise suppression method and noise suppression program |
JP6559576B2 (en) | 2016-01-05 | 2019-08-14 | 株式会社東芝 | Noise suppression device, noise suppression method, and program |
EP3312838A1 (en) | 2016-10-18 | 2018-04-25 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus and method for processing an audio signal |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3454402B2 (en) * | 1996-11-28 | 2003-10-06 | 日本電信電話株式会社 | Band division type noise reduction method |
JP3459363B2 (en) * | 1998-09-07 | 2003-10-20 | 日本電信電話株式会社 | Noise reduction processing method, device thereof, and program storage medium |
JP3454190B2 (en) * | 1999-06-09 | 2003-10-06 | 三菱電機株式会社 | Noise suppression apparatus and method |
JP2002140100A (en) * | 2000-11-02 | 2002-05-17 | Matsushita Electric Ind Co Ltd | Noise suppressing device |
JP2002169599A (en) * | 2000-11-30 | 2002-06-14 | Toshiba Corp | Noise suppressing method and electronic equipment |
EP1376539B8 (en) * | 2001-03-28 | 2010-12-15 | Mitsubishi Denki Kabushiki Kaisha | Noise suppressor |
JP4520732B2 (en) * | 2003-12-03 | 2010-08-11 | 富士通株式会社 | Noise reduction apparatus and reduction method |
JP4162604B2 (en) * | 2004-01-08 | 2008-10-08 | 株式会社東芝 | Noise suppression device and noise suppression method |
JP4518817B2 (en) * | 2004-03-09 | 2010-08-04 | 日本電信電話株式会社 | Sound collection method, sound collection device, and sound collection program |
US7957964B2 (en) | 2004-12-28 | 2011-06-07 | Pioneer Corporation | Apparatus and methods for noise suppression in sound signals |
KR100657948B1 (en) * | 2005-02-03 | 2006-12-14 | 삼성전자주식회사 | Speech enhancement apparatus and method |
JP4863713B2 (en) * | 2005-12-29 | 2012-01-25 | 富士通株式会社 | Noise suppression device, noise suppression method, and computer program |
US8275611B2 (en) | 2007-01-18 | 2012-09-25 | Stmicroelectronics Asia Pacific Pte., Ltd. | Adaptive noise suppression for digital speech signals |
JP5245714B2 (en) * | 2008-10-24 | 2013-07-24 | ヤマハ株式会社 | Noise suppression device and noise suppression method |
-
2008
- 2008-10-24 JP JP2008274858A patent/JP5526524B2/en not_active Expired - Fee Related
-
2009
- 2009-10-23 KR KR1020090101092A patent/KR101088558B1/en not_active IP Right Cessation
- 2009-10-26 CN CN2009102055351A patent/CN101727911B/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
WO2017135484A1 (en) * | 2016-02-05 | 2017-08-10 | 볼보 컨스트럭션 이큅먼트 에이비 | Variable cooling-fan apparatus of construction machine |
Also Published As
Publication number | Publication date |
---|---|
CN101727911A (en) | 2010-06-09 |
JP2010102201A (en) | 2010-05-06 |
CN101727911B (en) | 2012-07-04 |
KR101088558B1 (en) | 2011-12-05 |
JP5526524B2 (en) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101088627B1 (en) | Noise suppression device and noise suppression method | |
US8521530B1 (en) | System and method for enhancing a monaural audio signal | |
KR101088558B1 (en) | Noise suppression device and noise suppression method | |
JP5071346B2 (en) | Noise suppression device and noise suppression method | |
KR100860805B1 (en) | Voice enhancement system | |
JP5300861B2 (en) | Noise suppressor | |
US8676571B2 (en) | Audio signal processing system and audio signal processing method | |
US8571231B2 (en) | Suppressing noise in an audio signal | |
US8644496B2 (en) | Echo suppressor, echo suppressing method, and computer readable storage medium | |
US7912567B2 (en) | Noise suppressor | |
US8560308B2 (en) | Speech sound enhancement device utilizing ratio of the ambient to background noise | |
JP4836720B2 (en) | Noise suppressor | |
CN103718241B (en) | Noise-suppressing device | |
US20070232257A1 (en) | Noise suppressor | |
JP5153886B2 (en) | Noise suppression device and speech decoding device | |
JP2002508891A (en) | Apparatus and method for reducing noise, especially in hearing aids | |
JP2004341339A (en) | Noise restriction device | |
JP2008309955A (en) | Noise suppresser | |
JP5131149B2 (en) | Noise suppression device and noise suppression method | |
CN103187068B (en) | Priori signal-to-noise ratio estimation method, device and noise inhibition method based on Kalman | |
US20130044890A1 (en) | Information processing device, information processing method and program | |
JP2003517761A (en) | Method and apparatus for suppressing acoustic background noise in a communication system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20141022 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |