WO2007049643A1 - エコー抑圧方法及び装置 - Google Patents

エコー抑圧方法及び装置 Download PDF

Info

Publication number
WO2007049643A1
WO2007049643A1 PCT/JP2006/321267 JP2006321267W WO2007049643A1 WO 2007049643 A1 WO2007049643 A1 WO 2007049643A1 JP 2006321267 W JP2006321267 W JP 2006321267W WO 2007049643 A1 WO2007049643 A1 WO 2007049643A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
echo
coefficient
leakage
output signal
Prior art date
Application number
PCT/JP2006/321267
Other languages
English (en)
French (fr)
Inventor
Osamu Hoshuyama
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2007542622A priority Critical patent/JP4702371B2/ja
Priority to US12/084,119 priority patent/US8811627B2/en
Priority to CN2006800488146A priority patent/CN101346895B/zh
Priority to EP06822244.7A priority patent/EP1942582B1/en
Publication of WO2007049643A1 publication Critical patent/WO2007049643A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B3/00—Line transmission systems
    • H04B3/02—Details
    • H04B3/32—Reducing cross-talk, e.g. by compensating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Definitions

  • the present invention relates to an echo suppression method and apparatus for suppressing echo generated when loudspeaker sound and sound collection by a microphone are performed simultaneously.
  • FIG. 1 is a block diagram showing a configuration of an echo suppressor of a first conventional example.
  • FIG. 1 shows an example of the configuration of an echo suppressor for suppressing echo generated in a hands-free telephone.
  • a voice signal (hereinafter referred to as a far end signal) of a call partner inputted from the input terminal 10 is amplified as far end voice from the speaker 2.
  • a voice of a speaker hereinafter referred to as a near-end voice
  • the sound input from the speaker 2 to the microphone 1 is called “eco-ichi”.
  • the sound transmission system up to the output signal of the far-end signal force microphone 1 is called an echo path.
  • the sound transmission system includes a speaker 2 and a microphone 1.
  • the linear echo canceller 3 estimates the transfer function of the echo path (echo path estimation), and based on this estimated transfer function, the echo signal input to the microphone 1 from the input signal (far end signal) of the speaker 2 Generate a simulated signal (echo replica signal).
  • the echo replica signal generated by the linear echo canceller unit 3 is input to the subtractor 4,
  • the subtractor 4 subtracts the echo replica signal from the output signal force of the microphone 1, and the signal component of the near-end speech is extracted.
  • the voice detection unit 5 receives the output signal of the microphone 1, the output signal of the linear echo canceller 3, the output signal of the subtractor 4, and the far-end signal, and these signal strengths Is detected, and the detection result is output to the linear echo canceller 3.
  • the voice detection unit 5 In order to control the operation of the linear echo canceller 3, the voice detection unit 5 outputs “0” as the voice detection result when the output signal power of the microphone 1 also detects the near-end voice, and outputs an extremely small value. When a near-end voice is not detected, a large value is output.
  • FIG. 2 is a block diagram showing a configuration example of the linear echo canceller shown in FIG.
  • the linear echo canceller 3 includes an adaptive filter 30 that is a linear filter and a multiplier 35.
  • the adaptive filter 30 various filters such as FIR type, IIR type, and lattice type are used.
  • the adaptive filter 30 filters the far-end signal input from the terminal 31 and outputs the processing result from the terminal 32 to the subtracter 4.
  • the adaptive filter 30 updates the filter coefficient using a predetermined correlation operation so that the output signal of the subtractor 4 input from the terminal 33 is minimized. Therefore, the adaptive filter 30 operates so that a component having a correlation power S with the far-end signal in the output signal of the subtractor 4 is minimized. That is, the output signal force echo (far end speech) of the subtractor 4 is removed.
  • the adaptive filter 30 updates the filter coefficient in a state where the output signal of the microphone 1 includes near-end speech, the ability to remove echo may be reduced due to fluctuations in the filter coefficient.
  • the multiplier 35 is provided for controlling the update of the filter coefficient by the adaptive filter 30, multiplies the output signal of the subtractor 4 and the output signal of the sound detection unit 5, and the result of the operation is applied to the adaptive filter. Output to 30.
  • the output signal of the microphone 1 includes near-end speech
  • the output signal of the speech detector 5 is “0” or an extremely small value as described above, so that the update of the filter coefficient by the adaptive filter 30 is suppressed.
  • the fluctuation of the filter coefficient is reduced.
  • a reduction in echo removal capability is suppressed.
  • the echo suppression device of the first conventional example removes the echo of the far-end signal by using the adaptive filter.
  • the echo suppressor of the second conventional example is configured to correct a pseudo-echo (echo replica signal) used for echo suppression according to the angle of the hinge portion in the folding cellular phone device.
  • a pseudo-echo echo replica signal
  • Such a configuration is described in, for example, JP-A-8-9005.
  • the echo suppressor of the second conventional example detects the angle of the hinge portion, outputs a control signal corresponding to the angle, and suppresses the echo based on the control signal! And an echo control unit.
  • the echo control unit holds a plurality of preset echo path tracking coefficients in order to generate a pseudo echo corresponding to an echo path that varies depending on the angle of the hinge unit, and a control signal generation unit
  • a coefficient selection circuit that selects the echo path tracking coefficient using the control signal output from the address signal and a pseudo echo correction signal for correcting the pseudo echo based on the echo path tracking coefficient selected by the coefficient selection circuit.
  • An adaptive control circuit for outputting, a pseudo echo generating circuit for generating a pseudo echo based on the pseudo echo correction signal, and a subtracting circuit for reducing the output signal power of the voice input unit (microphone) from the generated pseudo echo are provided.
  • An echo suppression device of a third conventional example is a technique described in, for example, Japanese Patent Application Laid-Open No. 2004-056453.
  • the echo suppressor of the third conventional example either the output signal of the microphone (sound collector) or the signal obtained by subtracting the output signal of the sound collector is the first signal, and the echo is suppressed.
  • the output signal of the canceller is the second signal, the amount of leakage of the second signal (far end signal, echo) that leaks into the first signal (near end signal) is estimated, and based on this estimation result Correct the first signal.
  • the estimated value of the amount of echo leakage includes an amount corresponding to the amplitude or power of the second signal during a period in which near-end speech is not detected, and an amount corresponding to the amplitude or power of the first signal.
  • the ratio is used.
  • an estimated value of echo leakage is calculated from the first signal and the second signal for each frequency component of the first signal and the second signal. The first signal is corrected based on the calculated estimated value.
  • echoes can be sufficiently suppressed when nonlinear elements such as distortions in the echo path are small.
  • a speaker or the like has a large nonlinear element.
  • the transfer function of the echo path including distortion is nonlinear, and the accurate transfer function of the echo path cannot be simulated by the linear echo canceller 3.
  • the echo is suppressed only by about 20 dB. In this case, the echo is transmitted as a near-end signal and can be heard by the other party's speaker, making it difficult to talk.
  • the echo is sufficiently suppressed even if the distortion of the echo path is large.
  • the amount of calculation increases because the process of estimating the amount of echo leakage is complicated. In particular, the calculation amount of division increases.
  • the sound detection result that detects whether or not the near-end sound is included in the output signal of the microphone is used, if there is an error in the sound detection result, there is a large error in the estimated value of echo leakage. Is generated, and the corrected signal of the first signal corrected based thereon is deteriorated. That is, the echo is not sufficiently suppressed, or a large distortion occurs in the near-end speech.
  • an object of the present invention is to provide an echo suppression method and apparatus capable of simply and sufficiently suppressing echo even when distortion caused by an echo path is large.
  • Another object of the present invention is to provide an echo suppression method and apparatus capable of suppressing echoes without being affected by near-end noise.
  • either the output signal of the sound collector or the output signal power of the sound collector, which is obtained by subtracting the output signal of the echo canceller, is used as the first signal.
  • the output signal of the canceller is the second signal
  • the first signal is used to calculate the amount of leakage of the second signal that leaks into the first signal, using the leakage coefficient that is a preset value. Correct the signal.
  • the echo canceller is a linear echo canceller
  • the harmonic component contained in the far-end signal appears almost as it is in the output of the echo canceller.
  • the output of the echo canceller includes not only a few harmonic components contained in the far-end signal.
  • the output signal of the sound collector includes the harmonic component generated by the echo of the far end signal due to the acoustic coupling between the sound collector and the loudspeaker and the distortion of the acoustic system.
  • the ratio of these harmonic components that is, the value indicating the amount of echo leakage, falls within a certain range for limited purposes such as voice calls.
  • the leakage coefficient used for calculating the amount of echo leakage is a constant
  • the amount of echo contained in the first signal is estimated from the leakage coefficient and the second signal
  • the estimated value is The first signal force is subtracted or the ratio of the near-end signal included in the first signal is estimated from the leakage coefficient and the first and second signals, and this estimated ratio is used as the first signal. By multiplying, the first signal force can also remove the echo.
  • the leakage coefficient is used as the leakage coefficient. For this reason, even when the near-end signal contains a large amount of noise, an echo having a large distortion caused by the echo path can be sufficiently suppressed.
  • the estimation of the amount of echo leakage shown in the third conventional example no complicated calculation is required, so the calculation amount can be reduced. Therefore, echoes can be easily suppressed without being affected by near-end noise.
  • FIG. 1 is a block diagram showing a configuration of an echo suppressor of a first conventional example.
  • FIG. 2 is a block diagram showing a configuration example of the linear echo canceller shown in FIG.
  • FIG. 3 is a block diagram showing an example of the configuration of an echo suppressor of the present invention.
  • FIG. 4 is a block diagram showing an example of the configuration of the conversion unit shown in FIG.
  • FIG. 5 is a graph showing the experimental results of examining the correlation between the echo replica signal and the spectrum of the residual echo.
  • FIG. 6 is a schematic diagram showing a configuration example of a mobile phone device including a plurality of speakers and microphones.
  • FIG. 7 is a graph showing the relationship between the leakage coefficient that can sufficiently suppress the echo and the power of the output signal of the linear echo canceller.
  • FIG. 8 is a block diagram showing the configuration of the first embodiment of the echo suppressor of the present invention.
  • FIG. 9 is a block diagram showing an example of the configuration of the coefficient generator shown in FIG.
  • FIG. 10 is a block diagram showing another configuration example of the coefficient generator shown in FIG.
  • FIG. 11 is a block diagram showing a configuration example of the spectral subtraction unit shown in FIG. 8.
  • FIG. 12 is a block diagram showing a first configuration example of the Fourier coefficient subtracter shown in FIG.
  • FIG. 13 is a block diagram showing the configuration of the second embodiment of the echo suppressor of the present invention.
  • FIG. 14 is a block diagram showing the configuration of the third embodiment of the echo suppressor of the present invention.
  • FIG. 15 is a block diagram showing a configuration example of a spectral subtraction unit shown in FIG.
  • FIG. 16 is a block diagram showing a first configuration example of the Fourier coefficient multiplier shown in FIG. 15.
  • FIG. 17 is a block diagram showing an example of the configuration of the smoothing section shown in FIG.
  • FIG. 18 is a block diagram showing another configuration example of the smoothing section shown in FIG.
  • FIG. 19 is a block diagram showing a second configuration example of the Fourier coefficient multiplier shown in FIG. 15.
  • FIG. 20 is a block diagram showing a third configuration example of the Fourier coefficient multiplier shown in FIG.
  • FIG. 21 is a block diagram showing the configuration of the fourth embodiment of the echo suppressor of the present invention.
  • FIG. 22 is a block diagram showing the configuration of the fifth embodiment of the echo suppressor of the present invention.
  • FIG. 23 is a block diagram showing a configuration example of the echo canceller shown in FIG.
  • FIG. 24 is a block diagram showing an example of the configuration of the spectral subtraction unit shown in FIG.
  • FIG. 25 is a block diagram showing the configuration of the sixth embodiment of the echo suppressor of the present invention.
  • FIG. 26 is a block diagram showing the configuration of the seventh embodiment of the echo suppressor of the present invention. The best mode for carrying out the invention
  • FIG. 3 is a block diagram showing a configuration example of the echo suppression apparatus of the present invention.
  • the echo suppressor of the present invention is a near-end signal generated by acoustic coupling of the microphone 1 and the speaker 2 in addition to the echo suppressor of the first conventional example shown in FIG.
  • the coefficient generator 200 that generates a coefficient used to calculate the amount of leakage of the far-end signal (echo) that leaks into the filter (hereinafter referred to as the leakage coefficient), and the output signal of the microphone 1 or the output signal of the subtractor 4
  • the first signal is generated based on the leakage coefficient generated by the coefficient generator 200 and the second signal.
  • It further includes a conversion unit 100 that corrects the signal and outputs a near-end signal from which the first signal power echo is removed.
  • the far-end signal input to speaker 2 is input from terminal 10, and the near-end signal is output from terminal 9.
  • linear echo canceller 3 may be a nonlinear echo canceller.
  • the coefficient generator 200 When the first signal and the second signal are divided into predetermined frequency regions, the coefficient generator 200 generates a leakage coefficient corresponding to the frequency region. At this time, the converter 100 corrects the first signal for each frequency domain using the corresponding leakage coefficient. Further, it is preferable that the coefficient generation unit 200 switches the leakage coefficient in accordance with a predetermined use situation set in advance.
  • FIG. 4 is a block diagram illustrating a configuration example of the conversion unit illustrated in FIG.
  • the frequency divider 160 converts the first signal input via the terminal 162 into a predetermined frequency region. Divide into M for each area and output to the correction unit 166m corresponding to the frequency area.
  • the frequency division unit 161 divides the second signal input via the terminal 163 into M for each predetermined frequency region, and outputs it to the correction unit 166m corresponding to the frequency region.
  • the correction unit m corrects the first signal by using the leakage coefficient generated by the coefficient generation unit 200 and the second signal input via the terminal 167, and frequency-synthesizes the corrected signal.
  • the frequency synthesis unit 164 performs frequency synthesis on the output signal of the correction unit m and outputs the result from the terminal 165.
  • the correction unit 166m estimates the magnitude of the echo included in the first signal using the leakage coefficient and the second signal, and reduces the estimated echo magnitude by the first signal power. This corrects the first signal.
  • the correction unit 166m estimates the ratio of the near-end signal included in the first signal based on the leakage coefficient, the first signal, and the second signal, and calculates the estimated ratio of the near-end signal to the first signal.
  • the first signal may be corrected by multiplying by.
  • the frequency division units 160 and 161 perform frequency division using arbitrary linear transformation such as Fourier transform, cosine transform, subband analysis filter bank, and the like.
  • the frequency synthesis unit 164 performs frequency synthesis using an inverse Fourier transform, an inverse cosine transform, a subband synthesis filter bank, or the like corresponding to the linear transformation used in the frequency division units 160 and 161.
  • the echo suppressor of the present invention differs from the third conventional example in that the amount of echo leakage is appropriately calculated from the first and second signals in that the leakage coefficient is a constant.
  • the third conventional example since the amount of echo leakage depends on the frequency spectrum distribution of the far-end signal, it was recognized that it is inappropriate to set the leakage coefficient as a constant.
  • the present inventor has confirmed through experiments that the echo can be sufficiently suppressed even if the leakage coefficient is a constant, insofar as the voice frequency spectrum distribution is different between women and men, as long as the purpose is voice communication. .
  • this point will be described in detail.
  • FIG. 5 is a graph showing the experimental results of examining the correlation between the echo replica signal and the spectrum of the residual echo.
  • the horizontal axis of the graph shown in Fig. 5 shows the amplitude of the echo replica signal (the output amplitude of the linear echo canceller 3), and the vertical axis shows the amplitude of the residual echo (echo component included in the first signal). .
  • the correlation slope indicates the magnitude of the distortion of the echo, and the greater the slope, the greater the distortion. In other words, the slope of the correlation leaks out. It corresponds to the coefficient.
  • the slope of the correlation between the echo replica signal and the residual echo differs depending on the frequency. Therefore, if the coefficient generator 200 generates a different leakage coefficient for each frequency domain of the first signal, and the converter 100 corrects the first signal using the leakage coefficient corresponding to the frequency domain, the echo is generated. Can be sufficiently suppressed.
  • the distortion sound of the echo said to be unable to be sufficiently suppressed by the linear echo canceller 3 is generated by the distortion sound generated by the speaker 2 itself and the vibration of the casing in which the microphone 1 and the speaker 2 are mounted. It is roughly divided into distorted sound. Furthermore, these distortions vary depending on the usage status of the device that is the object of echo suppression. Therefore, it is desirable that the coefficient generation unit 200 switches and outputs the leakage coefficient according to the usage status of the device that is the target of echo suppression.
  • the cause of the distorted sound that also causes the speaker 2 itself is the nonlinearity of the speaker characteristics. Therefore, as shown in FIG. 6, in a mobile phone device that switches a plurality of speakers 301 to 303 as appropriate, if the characteristics of each speaker are different, the distortion of the echo depends on the speaker used. Is different. In such a usage situation, it is sufficient to detect the speaker to be used and switch the leakage coefficient according to the detected speaker power! / ⁇ .
  • the amount of distorted sound reaching the microphone 1 from the speaker 2 changes depending on the positional relationship with the microphone 1, so that the distortion of the echo also changes.
  • the relative position between the speaker 2 and the microphone 1 may be detected, and the leakage coefficient may be switched according to the detected relative position.
  • the positional relationship between the speaker 2 and the microphone 1 is determined by the angle of the hinge 321. Therefore, the angle of the hinge 321 is detected and leakage occurs according to the angle. What is necessary is just to switch a dust coefficient.
  • the relative position with respect to the speaker 2 changes depending on the microphone used. In such a situation of use, it is only necessary to detect the microphone to be used and switch to a preset leakage coefficient according to the position of the detected microphone.
  • distorted sound resulting from the vibration of the casing is mainly generated at the joint between the components.
  • the housing vibrates due to the output sound of the speaker 2 and a sound is generated in which the joint force between components is distorted, this distorted sound is input to the microphone 1 as an echo distortion. Therefore, when the volume of the speaker 2 changes, the acoustic energy transmitted from the speaker 2 to the housing changes, and the distorted sound generated at the joint between the parts also changes. In such a situation of use, it is only necessary to detect the volume setting value of the force 2 and switch the leakage coefficient according to the volume setting value.
  • the amount of vibration of the housing changes depending on whether or not the force is completely folded, and the distortion sound generated at the joint between the parts also changes. Turn into. In such a use situation, it is only necessary to detect whether or not the cellular phone device 300 is completely folded and to switch the leakage coefficient according to the detection result.
  • the position of the speaker changes depending on the bending angle, and therefore the sound transmitted from the speaker 2 depending on the angle of the hinge 321 even at the same part in the housing. Energy changes and occurs at the joint between parts Distorted sound changes. Therefore, even in such a usage situation, the angle of the hinge part 321 may be detected, and the leakage coefficient may be switched according to the angle.
  • the presence or absence of a slide and the amount of slide may be detected, and the leakage coefficient may be switched according to the detection result.
  • the angle of the hinge part, the force force force of the mobile phone device being folded, the presence or absence of a slide, or the amount of slide is detected, and leakage is detected according to the detection result. It is only necessary to switch the reconstitution coefficient.
  • FIG. 7 shows the relationship between the output signal of the linear echo canceller 3 in the frequency band centered at 1875 Hz and the leakage coefficient corresponding thereto.
  • the horizontal axis of the graph shown in Fig. 7 shows the power of the output signal of the linear echo canceller 3, and the vertical axis shows the leakage coefficient that can sufficiently suppress the echo.
  • the leakage coefficient that can sufficiently suppress the echo changes abruptly when the power value of the output signal of the linear echo canceller 3 reaches 2000000 as shown in FIG. This is because when the power of the output signal of the linear echo canceller 3 is large, the power of the input signal of the linear echo canceller 3, that is, the far-end signal input to the speaker 2, is also large. This is thought to be due to a sharp increase in strain.
  • the power or amplitude of the signal output from the linear echo canceller 3 is detected as the usage status, and the leakage coefficient is switched according to the detected value.
  • Such a method uses the power and vibration of the output signal of the linear echo canceller 3. Instead of the width, it is also possible to use the power and amplitude of the far-end signal, or the power and amplitude of a specific frequency component included in the far-end signal.
  • the method for switching the leakage coefficient based on the output signal of the linear echo canceller 3 is similar to the method for switching the leakage coefficient based on the sound volume 2 setting value. However, since the latter has no far-end signal, the leakage coefficient is selected according to the volume setting even when echo suppression is not required. On the other hand, the former is superior in that it does not select such a leakage coefficient by mistake.
  • the method for switching the leakage coefficient described above does not need to detect all of the above-mentioned usage conditions and switch the leakage coefficient, and detects one or more of the usage conditions, and sets the leakage coefficient. You may switch.
  • the optimum leakage coefficient corresponding to the usage situation is determined by experiment or computer simulation, and the coefficient is generated by associating the leakage coefficient with the usage situation. Stored in part 200.
  • the use state that can be detected by a sensor provided outside the echo suppression device such as the angle of the hinge part, the speaker volume setting value, the speaker to be used, etc.
  • the coefficient generator 200 is input to the coefficient generator 200. That's fine.
  • the usage of the power and amplitude of the far-end signal, the power and amplitude of the output signal of the linear echo canceller 3, and the power and amplitude of specific frequency components included in the far-end signal are detected in the echo suppressor, The detection result may be input to the coefficient generator 200.
  • the echo suppression apparatus of the present invention by setting the leak coefficient as a constant, the leak coefficient that is a constant is not affected by noise, and therefore, even in an environment where large noise is input as near-end speech, It is possible to sufficiently suppress the echo generated due to.
  • complicated calculations such as the estimation of the amount of echo leakage shown in the third conventional example are not required, The amount can be reduced. Therefore, echo can be easily suppressed without being affected by near-end noise.
  • FIG. 8 is a block diagram showing the configuration of the first embodiment of the echo suppressor of the present invention.
  • the echo suppression apparatus of the first embodiment is an example in which the spectral sub-translation unit 6 is used as the conversion unit 100 shown in FIG.
  • the coefficient generation unit 200 of the first embodiment generates a leakage coefficient indicating the amount of echo leakage generated by acoustic coupling between the microphone 1 and the speaker 2 as described above.
  • the spectral subtraction unit 6 receives the output signal of the subtractor 4, the output signal of the linear echo canceller 3, the leakage coefficient generated by the coefficient generation unit 200, and the voice detection result of the voice detection unit 5.
  • the spectral subtraction unit 6 divides the output signal of the subtractor 4 and the output signal of the linear echo canceller 3 into predetermined frequency regions, respectively, and removes echoes for each signal component in the decomposed frequency region. To do.
  • FIG. 9 is a block diagram showing an example of the configuration of the coefficient generator shown in FIG.
  • a coefficient generation unit 200 shown in FIG. 9 is configured to include a coefficient storage unit 201 that holds a leakage coefficient suitable for each frequency region from band 1 to band M.
  • the coefficient generation unit 200 reads out the leakage coefficient for each frequency region (band) stored in the coefficient storage unit 201 and outputs it to the spectral subtraction unit 6.
  • These leakage coefficients correspond to, for example, the correlation slope at a frequency of 1250 Hz and the correlation slope at a frequency of 3125 Hz shown in FIG.
  • FIG. 10 is a block diagram showing another configuration example of the coefficient generator shown in FIG.
  • a coefficient generation unit 200 shown in FIG. 10 includes a coefficient storage unit 202 that holds a leakage coefficient group suitable for each frequency region from band 1 to band M, and a system including the echo suppression device of the present invention. And a usage status detection unit 203 for detecting various usage statuses of the system.
  • Coefficient generation section 200 shown in FIG. 10 includes a coefficient storage section that stores a leakage coefficient corresponding to the usage status detected by usage status detection section 203 among the leakage coefficient group corresponding to each frequency domain.
  • the leakage coefficient group corresponding to each frequency region includes the leakage coefficient for usage condition 1, the leakage coefficient for usage condition 2, and so on. It has a leakage coefficient.
  • N is an arbitrary value of 2 or more.
  • the usage situation detection unit 203 detects a volume setting value of the speaker 2, a detected volume setting value, and a predetermined value.
  • the usage status detection unit 203 compares a sensor (not shown) that detects the angle of the hinge unit with the detection angle and a predetermined threshold value, and converts the comparison result into a digital value of two or more values. (Not shown).
  • the usage situation detector 203 determines which speaker is being used, and determines It has a decision unit (not shown) that outputs the result as a digital value of two or more values.
  • the usage situation detection unit 203 determines which microphone is being used, and determines It has a judgment unit (not shown) that outputs the result as a digital value of two or more values.
  • the usage situation detection unit 203 detects the power or amplitude of the output signal of the linear echo canceller 3. (Not shown) and a discriminator (not shown) for judging the detected power or amplitude as a threshold value and converting it into a digital value of two or more values.
  • the threshold value is set to 2000000, “0” is output if it is less than 2000000, and “1” is output if it exceeds 2000000!
  • any use condition that affects the amount of echo leakage can be used. It is also possible to use a plurality of usage conditions in combination.
  • the coefficient storage unit 202 selects one corresponding to the output signal of the usage status detection unit 203 from a plurality of leakage coefficients registered in advance corresponding to each frequency region, and selects the selected leakage factor.
  • the reconstitution coefficient is output to the spectral subtraction unit 6.
  • FIG. 11 is a block diagram showing a configuration example of the spectral subtraction unit shown in FIG.
  • the Fourier transformer 60 performs an M-point Fourier transform process on the output signal of the subtractor 4, and uses the processing result (amplitude and phase) as the first Fourier coefficient to apply a Fourier coefficient corresponding to each frequency domain.
  • Output to subtractor 66m (m 1 to M).
  • the Fourier transform 61 performs M-point Fourier transform processing on the echo replica signal output from the linear echo canceller 3, and the processing result (amplitude and phase) corresponds to each frequency domain as the second Fourier coefficient. Output to the Fourier coefficient subtractor 66m.
  • the Fourier coefficient subtractor 66m outputs the first Fourier coefficient output from the Fourier transformer 60, the second Fourier coefficient output from the Fourier transform 61, and the coefficient generator 200 shown in FIG.
  • the leakage coefficient is received, and the Fourier coefficient is calculated by performing the subtraction process using those amplitude components, and the calculation result (amplitude and phase) is inverse Fourier transformed. Output to device 64.
  • the inverse Fourier transform ⁇ 64 performs an inverse Fourier transform process on the Fourier coefficient group output from the Fourier coefficient subtraction units 661 to 66M, and outputs a real part of the processing result.
  • FIG. 12 is a block diagram showing a first configuration example of the Fourier coefficient subtracter shown in FIG.
  • the first Fourier coefficient for each frequency domain output from Fourier transformer 60 shown in FIG. 11 is supplied to subtractor 706 via terminal 700.
  • the second Fourier coefficient output from the Fourier transform shown in FIG. 11 is supplied to a multiplier 707 via a terminal 703. Further, the leakage coefficient generated by the coefficient generator 20 is supplied to a multiplier 707 via a terminal 167.
  • Multiplier 707 multiplies the leakage coefficient by the second Fourier coefficient, and subtracts the multiplication result.
  • the subtractor 706 also subtracts the output value of the multiplier 707 from the first Fourier coefficient force.
  • the calculation result is output.
  • the calculation result of the subtractor 706 is output to the inverse Fourier transformer 64 shown in FIG.
  • the multiplier 707 multiplies the leakage coefficient and the second signal coefficient calculated from the output signal power of the linear echo canceller 3 by the multiplier 707, and the multiplier 707 converts the first Fourier coefficient to An estimate of the Fourier coefficient from the remaining echo is obtained.
  • the subtractor 706 the estimated Fourier coefficient value of the near-end signal with the echo component suppressed is obtained.
  • the estimated value for each frequency domain is synthesized by inverse Fourier transformation 64 shown in FIG. 11, and is output as a near-end signal.
  • the combined near-end signal is a signal with echo suppressed.
  • the Fourier coefficient of the near-end signal is S
  • the near-end speech component included in the near-end signal is A
  • the echo component is E
  • the noise component is N
  • ⁇ [ ⁇ ] represents a smoothing process
  • a value ⁇ 2 (corresponding to the output signal of the multiplier 707) obtained by multiplying the leakage coefficient P1 by the Fourier coefficient R of the echo replica signal is an estimated value of the echo component.
  • ⁇ [ ⁇ ] indicates the estimated value.
  • the output of the subtractor 706 is an estimated value of the sum of the Fourier coefficient component ⁇ and the noise component ⁇ of the near-end speech from which the echo component ⁇ has been removed.
  • the echo suppression apparatus of the first embodiment removes distortion components in the echo by non-linear calculation in the frequency domain in the spectrum subtraction unit 6.
  • the echo suppressor of the first embodiment effectively removes distortion components contained in echoes by adjusting the time variation of signal components important in frequency domain nonlinear calculations by the linear echo canceller 3.
  • the output signal of the microphone 1 includes an echo generated due to distortion of the far-end signal in addition to the far-end signal.
  • This echo can be thought of as the harmonic component of the far-end signal.
  • the echo component E is only a harmonic component due to distortion.
  • the spectral subtraction unit 6 can remove the echo component E in principle unless the far-end signal has a Fourier transform coefficient R of zero. It is possible.
  • what is important for removing the echo component E is the accuracy of the leakage coefficient P 1 corresponding to the gain of the echo in the echo path.
  • the amount of echo leakage is estimated when the near-end speech is not detected for the microphone output signal power based on the speech detection result. Therefore, it is difficult to accurately detect the voice. If there is an error in the voice detection result, the leakage coefficient P1 becomes an abnormally large value, and the near-end signal P3 calculated based on the incorrect leakage coefficient P1 also deteriorates. That is, the echo included in the near-end signal P3 is not sufficiently suppressed, and a large distortion occurs in the near-end speech.
  • the amount of echo leakage depends on the angle of the folding hinge, the force used, etc. Fluctuates.
  • the leakage coefficient P1 a constant set in advance according to the state of use is used as the leakage coefficient P1. Therefore, if the angle of the hinge part and the speaker to be used are detected, the leakage coefficient P1 can be obtained without being affected by the noise contained in the near-end signal.
  • the echo suppression apparatus of the first embodiment has an effect of removing residual echoes even when the linear echo canceller 3 shown in Fig. 8 performs erroneous echo path estimation.
  • the echo suppression apparatus of the present embodiment has an echo suppression effect by the spectral subtraction unit 6, thereby reducing the number of taps of the linear echo canceller 3 (the number of taps of the adaptive filter). The amount can be reduced.
  • the echo suppression capability can be achieved by reducing the number of taps of the adaptive filter provided in the linear echo canceller 3. Is reduced.
  • the provision of the spectral subtraction unit 6 compensates for the reduction of the echo removal capability even if the number of taps of the adaptive filter is reduced. Therefore, an echo suppression device having sufficient echo removal capability can be obtained.
  • the echo suppressor of the first embodiment includes the linear echo canceller 3 and the frequency domain nonlinear calculation by the spectrum subtraction unit 6, and sufficient echo removal is achieved by compensating each other's poor processing. Get the ability.
  • the echo suppressor of the first embodiment does not require a complicated calculation process for estimating the amount of leakage of the echo. The amount is reduced.
  • FIG. 13 is a block diagram showing the configuration of the second embodiment of the echo suppressor of the present invention.
  • the echo suppressor of the second embodiment is different from the echo suppressor of the first embodiment in that the output signal of the microphone 1 is input to the spectral subtraction unit 6 instead of the output signal of the subtractor 4. .
  • the main component of the echo is removed by the spectral subtraction unit 6.
  • Other configurations and operations are the same as in the first embodiment, and the effect of removing echoes caused by distortion can be obtained in the same manner as in the first embodiment.
  • the echo suppressor of the second embodiment also has a linear echo canceller as in the first embodiment, such as when the acoustic transmission system is distorted or when the echo path estimation is erroneous in the linear echo canceller 3. Even if the echo cannot be sufficiently suppressed by 3 alone, the echo can be sufficiently suppressed by the spectral subtraction unit 6.
  • the spectral subtraction unit 6 is, for example, non-patent document 2 (Xiao jian Lu, Benoit Champagne's statement "Acousal Echo Cancellation Over A Non-Linear Channel ", International Workshop on Spectral Subtraction described in Acoustic Echo and Noise Control 2001), or Non-Patent Document 3 (A. Alvarez et al. "A Speech
  • FIG. 14 is a block diagram showing the configuration of the third embodiment of the echo suppressor of the present invention.
  • the echo suppression apparatus of the third embodiment is different from the echo suppression apparatus of the first embodiment in that a spectrum subtraction section 7 is used instead of the spectrum subtraction section 6 shown in FIG. . Since other configurations and operations are the same as those in the first embodiment, a detailed description thereof will be omitted.
  • FIG. 15 is a block diagram showing an example of the configuration of the spectral subtraction unit shown in FIG.
  • the Fourier transformer 71 performs M-point Fourier transform processing on the output signal (echo replica signal) of the linear echo canceller 3 shown in FIG. Amplitude and phase) are output as second Fourier coefficients to Fourier coefficient multiplier 76m corresponding to each frequency domain.
  • the Fourier coefficient multiplier 76m receives the first Fourier coefficient output from the Fourier transform 70, the second Fourier coefficient output from the Fourier transform 71, and the terminal 67. 14 receives the leakage coefficient output from the coefficient generator 200 shown in FIG. 14 and performs a multiplication process using these amplitude components to calculate the Fourier coefficient, and the calculation result (amplitude and phase) Is output to the inverse Fourier transform 74.
  • FIG. 16 is a block diagram showing a first configuration example of the Fourier coefficient multiplier shown in FIG.
  • the Fourier coefficient multiplier of the first configuration example includes an absolute value calculation unit 731, an absolute value calculation unit 734, a multiplier 737, a divider 745, a multiplier 746, and a smoothing unit 747. And a subtractor 744.
  • the first Fourier coefficient for each frequency domain output from the Fourier transform shown in FIG. 15 is output to absolute value calculating section 731 and multiplier 737 via terminal 730.
  • the second Fourier coefficient output from the Fourier transform shown in FIG. 15 is output to the absolute value calculation unit 734 via the terminal 733.
  • Absolute value calculation unit 731 calculates the absolute value of the first Fourier coefficient, and outputs the calculation result to divider 745.
  • Absolute value calculation section 734 calculates the absolute value of the second Fourier coefficient, and outputs the calculation result to divider 745.
  • Divider 745 divides the calculation result of absolute value calculation unit 734 by the calculation result of absolute value calculation unit 731 and outputs the calculation result to multiplier 746.
  • Multiplier 746 multiplies the leakage coefficient generated by coefficient generator 200 input from terminal 167 and the output signal of divider 745, and outputs the calculation result to smoother 747.
  • the smoothing unit 747 smoothes the output signal of the multiplier 746 and outputs it to the subtracter 744.
  • the subtractor 744 subtracts the output value of the smoothing unit 747 from the value “1.0”, and outputs the calculation result to the multiplier 737.
  • Multiplier 737 multiplies the output value of subtractor 744 and the first Fourier coefficient output from Fourier transform 70, and outputs the multiplication result.
  • Output signal of multiplier 737 The signal is output to the inverse Fourier transform 74 shown in FIG.
  • FIG. 17 is a block diagram showing a configuration example of the smoothing unit shown in FIG.
  • a smoothing unit 747 shown in FIG. 17 includes a subtracter 801, a multiplier 802, an adder 803, a limiter 807, and a delay 804.
  • the input signal of the smoothing unit 747 (the output signal of the multiplier 746) is supplied to the subtracter 801 via the terminal 800.
  • the subtractor 801 is a delay unit 8 that delays the input signal by one sample time.
  • the output signal of 04 (the output signal of the smoothing unit) is subtracted and the calculation result is output to the multiplier 802.
  • Multiplier 802 multiplies the output signal of subtractor 801 and the smoothing coefficient input via terminal 806, and outputs the calculation result to adder 803.
  • Adder 803 adds the output signal of multiplier 802 and the output signal of delay unit 804, and outputs the calculation result to limiter 807.
  • the limiter 807 limits the amplitude of the output signal of the adder 803 within a predetermined upper limit value and lower limit value, and outputs the limited signal to the output terminal 899 and the delay device 804.
  • the delay device 804 delays the output signal of the limiter 807 by one sample time, and outputs the delayed signal to the subtractor 8001 and the adder 803.
  • the smoothing unit 747 shown in FIG. 17 has a configuration called a so-called leak integrator or first-order IIR type low-pass filter.
  • the input smoothing coefficient and the time constant of the smoothing process are in an inversely proportional relationship.
  • the smoothing unit 747 may adopt an arbitrary configuration having a smoothing effect such as a high-order IIR filter, which is not limited to the configuration shown in FIG.
  • FIG. 18 is a block diagram showing another configuration example of the smoothing section shown in FIG.
  • a smoothing unit 747 shown in FIG. 18 has a configuration including a smoothing coefficient determination unit 810 that generates a smoothing coefficient in addition to the smoothing unit shown in FIG.
  • the smoothing coefficient determination unit 810 also generates a smoothing coefficient for the output signal power of the subtractor 801, and outputs the smoothing coefficient to the multiplier 802.
  • the rising speed and falling speed of the output signal of the smoothing unit 747 can be set to different values.
  • the smoothing coefficient determination unit 810 outputs a relatively small coefficient, for example, 0.001, when the output signal of the subtractor 801 is positive, that is, when the output signal of the subtractor 801 increases, and performs subtraction.
  • a relatively large coefficient eg, 0.01.
  • the smoothing coefficient is set in this way, the speed at which the output signal of the smoothing section 747 increases, that is, the rising speed becomes slow, and the speed at which the output signal of the smoothing section 747 decreases, that is, the falling speed, Get faster. Therefore, the output speed of the subtracter 744 shown in FIG. 16, that is, the estimated speed of the near-end speech and near-end noise included in the near-end signal, increases at the rising speed, and the falling speed. Becomes slower.
  • the amplitude change of voice or music that is, the envelope characteristic
  • the smoothing section shown in FIG. 18 can have such envelope characteristics, and can improve the estimation accuracy of the ratio of near-end speech and near-end noise included in the near-end signal.
  • Equation (5) The value P4 smoothed by dividing the second row of the above equation (4) by S can be expressed by the following equation (5).
  • the right side of equation (5) corresponds to the output value of the subtracter 744 shown in FIG.
  • the value P4 is the smoothed value obtained by dividing the third row of equation (4) by S.
  • the multiplier 737 shown in FIG. 16 By using the multiplier 737 shown in FIG. 16 and multiplying the output value of the subtractor 744 by the output signal of the subtracter 4 shown in FIG. 14, the signals other than the echoes included in the near-end signal can be obtained.
  • the echo suppression device of the third embodiment is used. We will explain how the device works.
  • the output value P4 of the subtractor 744 shown in Fig. 16 is an estimated value of the proportion of the near-end speech included in the near-end signal.
  • This value P4 is calculated using P3 shown in the first embodiment as shown in the equation (5).
  • P3 is an estimated value of the Fourier coefficient component of the near-end speech, and not only the echo component and noise component, but also the echo of the harmonic component generated by the distortion is removed. Therefore, P4 is also a value obtained by removing the echo of the harmonic component generated by the distortion, and the distortion echo component is also suppressed in the Fourier coefficient obtained by multiplying this P4.
  • the output signal of microphone 1 includes not only the far-end signal (echo component).
  • echoes due to far-end signal distortion can be considered as the harmonic component of the far-end signal.
  • the echo suppressor of the third embodiment when the echo path is distorted or when the echo path estimation is incorrect in the linear echo canceller 3, the echo is sufficiently suppressed by the linear echo canceller 3 alone. Even if this is not possible, the spectral subtraction unit 7 can sufficiently suppress the echo.
  • FIG. 19 is a block diagram showing a second configuration example of the Fourier coefficient multiplier shown in FIG.
  • the Fourier coefficient multiplier 76m in the second configuration example includes the smoothing unit 740 inserted in the signal path from the absolute value calculation unit 731 to the divider 745, and the signal path from the absolute value calculation unit 734 to the divider 745. 16 differs from the first configuration example shown in FIG. 16 in that a smoothing portion 741 is inserted.
  • the smoothing unit 740 and the smoothing unit 741 may have the same configuration as the smoothing unit 747 except that the smoothing coefficients are different. Therefore, detailed description thereof is omitted here.
  • the smoothing unit 747 passes from the divider 745 through the multiplier 746. The value supplied to is also smoothed. Therefore, a more stable output value can be obtained from the smoothing unit 747 than the Fourier coefficient multiplier 76m of the first configuration example shown in FIG.
  • the Fourier coefficient multiplier 76m in the first configuration example and the second configuration example is the configuration in which the estimated value of the ratio of the near-end speech included in the near-end signal is obtained from the subtractor 744.
  • FIG. 20 is a block diagram showing a third configuration example of the Fourier coefficient multiplier shown in FIG.
  • the Fourier coefficient multiplier 76m of the third configuration example is different from the second configuration example shown in Fig. 19 in that the processing order of the paths from the smoothing unit 740 and the smoothing unit 741 to the multiplier 737 is different.
  • the output value of the smoothing unit 740 is output to the subtractor 744 and the divider 745, and the output value of the smoothing unit 741 is output to the multiplier 746.
  • Multiplier 746 multiplies the output value of smoothing section 741 by the leakage coefficient generated by coefficient generation section 200 and outputs the calculation result to subtractor 744.
  • the subtracter 744 also subtracts the output value of the multiplier 746 from the output value of the smoothing unit 740 and outputs the calculation result to the divider 745.
  • Divider 745 divides the output value of subtractor 744 by the output value of smoothing unit 740 and outputs the calculation result to smoothing unit 748.
  • Smoothing section 748 smoothes the output value of divider 745 and outputs the processing result to multiplier 737.
  • the smoothing unit 748 may have the same configuration as that of the smoothing unit 747 except that the smoothing coefficients are different.
  • the output value P5 of the smoothing unit 748 is expressed by the following equation (7).
  • the output value P5 of the smoothing unit 748 is an estimated value of the ratio of the near-end speech included in the near-end signal, as in the case of P4.
  • the Fourier coefficient multiplier 76m of the third configuration example shown in FIG. 20 also has the same function as the second configuration example shown in FIG. 19, and the Fourier coefficient of the first configuration example shown in FIG. Similar to the case of using the multiplier 76m, the above-described effects of the present invention can be obtained.
  • FIG. 21 is a block diagram showing the configuration of the fourth embodiment of the echo suppressor of the present invention.
  • the echo suppression apparatus of the fourth embodiment is the same as that of the third embodiment shown in FIG. 14 in that the output signal of the microphone 1 is input to the spectrum substituting unit 7 instead of the output signal of the subtractor 4. Unlike the co-suppressor.
  • the echo main component is removed by the linear echo canceller 3 whereas in the echo suppressor of the fourth embodiment, the echo is suppressed by the spectrum sub-recession unit 7. Remove major components.
  • the echo suppressor of the fourth embodiment also has a linear echo canceller as in the third embodiment, such as when the acoustic transmission system is distorted or when the echo path estimation is wrong in the linear echo canceller 3. Even if only 3 cannot suppress the echo sufficiently, the spectrum suppression unit 7 can sufficiently suppress the echo.
  • the present invention is not limited to the first to fourth embodiments described above, and various modifications as described below are possible.
  • the spectral subtraction unit 6 and the spectral subtraction unit 7 have been described as examples in which Fourier transform is performed at predetermined sample periods. It is possible to process in units of frames at regular intervals, not limited to each cycle.
  • the example using the linear echo canceller 3 has been described.
  • the conversion region of the conversion region echo canceller is the same conversion region as the spectral subtraction unit 6 and the spectral subtraction unit 7 described above, the amount of calculation of the entire echo suppression device is reduced and the delay time associated with the calculation is reduced. Can be shortened.
  • the transform domain echo canceller is an echo canceller that performs echo suppression processing on the transform domain expanded by linear transform and re-synthesizes the original domain by inverse linear transform.
  • a transform domain echo canceller for example, a buffer described in Non-Patent Document 4 is used. A description will be given using an example in which a one-lier transform area echo canceller is used.
  • FIG. 22 is a block diagram showing the configuration of the fifth embodiment of the echo suppressor of the present invention.
  • the echo suppression apparatus of the fifth embodiment has a configuration in which the echo canceller 13 and the spectral subtraction unit 16 perform processing in the Fourier transform region.
  • the echo canceller 13 outputs the transform domain signal group 1 and the transform domain signal group 2 to the spectrum subtraction unit 16.
  • FIG. 23 is a block diagram showing a configuration example of the echo canceller shown in FIG.
  • the far-end signal input from the terminal 31 is expanded in the Fourier transform domain by the Fourier transform 35, and is output to the adaptive filter group 38 for each frequency domain.
  • the inverse Fourier transform 36 performs an inverse Fourier transform process on the filter output processed by the adaptive filter group 38 and outputs the processing result from the terminal 32.
  • the signal output from terminal 32 is the output signal for the echo canceller.
  • Transform domain signal group 1 is a signal obtained by Fourier transforming the output signal of subtractor 4 shown in FIG. 22, and transform domain signal group 2 is output from echo canceller 13 shown in FIG. Can be interpreted as a Fourier-transformed signal.
  • FIG. 24 is a block diagram showing a configuration example of the spectrum subtraction unit shown in FIG.
  • the spectral subtraction unit 16 shown in Fig. 24 is the first in that the Fourier transform 60 and the Fourier transform 61 shown in Fig. 11 are deleted and the transform domain signal group 1 and transform domain signal group 2 are input. This is different from the spectral subtraction unit 6 used in the echo suppressor of one embodiment.
  • the transform domain signal group 1 is a signal obtained by subjecting the output signal of the subtractor 4 shown in FIG. 22 to Fourier transform
  • the transform domain signal group 2 is the echo canceller 13 shown in FIG. Can be interpreted as a Fourier-transformed signal.
  • the spectral subtraction unit 16 is supplied with the transform domain signal group 1 and the transform domain signal group 2 output from the echo canceller 13 to the spectral subtraction unit 16. 16 Fourier transform processing can be reduced.
  • Such a configuration can also be applied to the echo suppressors shown in the second to fourth embodiments.
  • a cosine transform region or the like can be used.
  • the linear echo canceller 3 For the echo suppression, for example, the subband region echo canceller described in Non-Patent Document 4 is used. It is also possible. In that case, if the processing of the spectral subtraction unit 6 and the spectral suppression unit 7 is performed in the subband region, the filter for conversion to the subband region can be omitted.
  • FIG. 25 is a block diagram showing the configuration of the sixth embodiment of the echo suppressor of the present invention.
  • the echo suppression apparatus of the sixth embodiment performs processing by the echo canceller and the vector subtraction unit in the subband region.
  • the output signal of the microphone 1 is developed into N frequency bands by the subband analysis filter bank 91, and the far-end signal is subband analyzed.
  • the filter bank 92 expands into N frequency bands.
  • the output signal of the spectral subtraction unit 96 ⁇ is inversely transformed to the original signal region by the subband synthesis filter bank 99 and output as a near-end signal.
  • the synthesis filter bank in the linear echo canceller 3 and the subband analysis filter bank in the spectral subtraction section are omitted. it can. Therefore, the amount of computation corresponding to the subband analysis filter bank and the subband synthesis filter bank can be reduced, and further, the delay time corresponding to the computation can be shortened.
  • the configuration of the sixth embodiment shown in FIG. 25 can also be applied to the echo suppression devices shown in the second to fourth embodiments. It is also possible to use a cosine transform region in addition to the Fourier transform region.
  • FIG. 26 is a block diagram showing the configuration of the seventh embodiment of the echo suppressor of the present invention.
  • the echo suppressor of the seventh embodiment performs echo canceller and spectral subtraction processing in the Fourier transform domain.
  • the output signal force S of the microphone 1 is expanded into M frequency bands by the S Fourier transform ⁇ 191 , and the far-end signal is transformed by the Fourier transform192. Expanded to M frequency bands.
  • the output signal of the Fourier coefficient subtractor 66m for each frequency band is inversely transformed to the original signal region by the inverse Fourier transformer 199 and output as a near-end signal.
  • the echo suppression apparatus of the seventh embodiment performs the processing of the echo canceller and the spectral subtraction unit in the conversion domain in the same manner as the sixth embodiment!
  • the number M of frequency bands is larger than in the sixth embodiment, and differs from the echo suppressor of the sixth embodiment in that a Fourier coefficient subtractor 66m is used instead of the spectral sub-translation part. ing.
  • the echo suppression apparatus of the seventh embodiment since processing is performed in the Fourier transform region, it is not necessary to perform Fourier transform for the processing of the vector subtraction. Therefore, in the seventh embodiment, the Fourier transform and inverse Fourier transform ⁇ included in the spectrum subtraction unit are not required, and only the Fourier coefficient subtractor 66m performs the operations necessary for processing the spectrum subtraction! / RU
  • the amount of calculation corresponding to the omitted Fourier transformer and inverse Fourier transformer can be reduced.
  • the configuration of the seventh embodiment shown in FIG. 26 is the echo suppression shown in the second to fourth embodiments. It is also applicable to the device. It is also possible to use a cosine transform region in addition to the Fourier transform region.
  • a linear echo canceller is used.
  • a nonlinear echo canceller can also be used for echo suppression. Even in this case, the same effect as described above can be obtained if the processing of the spectral subtraction part and the spectral subtraction part is performed in the Fourier transform domain.
  • the echo suppressor of the present invention has been described above using a hands-free telephone as an example. It can be applied to various devices in which loudspeaker loudspeaker and microphone sound pickup are performed simultaneously, such as when echoes from the sky are a problem.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

　係数発生部２００は、エコーの洩れこみ量の算出に用いる、予め設定された定数である洩れこみ係数を生成する。変換部１００は、収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減じた信号の何れか一方を第１の信号とするとき、係数発生部２００で生成した洩れこみ係数に基づいて第１の信号を補正し、第１の信号からエコーを除去した近端信号を生成する。

Description

エコー抑圧方法及び装置
技術分野
[0001] 本発明はスピーカによる拡声とマイクロホンによる収音とが同時に行われたときに発 生するエコーを抑圧するためのエコー抑圧方法及び装置に関する。 背景技術
[0002] 図 1は第 1従来例のエコー抑圧装置の構成を示すブロック図である。
[0003] 図 1はハンズフリー電話器で発生するエコーを抑圧するためのエコー抑圧装置の 構成例を示している。
[0004] 図 1において、入力端子 10から入力された通話相手の音声信号 (以下、遠端信号 と称す）はスピーカ 2から遠端音声として拡声される。一方、マイクロホン 1には、例え ば話者の声 (以下、近端音声と称す)が収音されると共にスピーカ 2から拡声された 不要な遠端音声が入力される。このスピーカ 2からマイクロホン 1に入力される音はェ コ一と呼ばれる。また、遠端信号力 マイクロホン 1の出力信号までの音響伝達系は エコー経路と呼ばれる。音響伝達系にはスピーカ 2及びマイクロホン 1が含まれる。
[0005] 出力端子 9から近端信号として出力したいのは近端音声のみであり、近端信号に含 まれる不要な遠端音声は除去した 、。特に近端信号に大きな遠端音声の信号成分 が含まれている場合、通話相手は遅延した遠端音声をエコーとして聞くことになるた め通話が困難になる。このような問題に対しては、従来力も線形エコーキャンセラを 用いて近端信号力もエコーを除去する方法が採用されている。線形エコーキャンセラ については、例えば非特許文献 l (Eberhard HANSLERによる論文" The hands-free telepnone problem:an annotated bibliography update」、 annals of telecommuni cations", 1994年， p360- 367)に記載されている。
[0006] 線形エコーキャンセラ 3は、エコー経路の伝達関数を推定 (エコー経路推定)し、こ の推定した伝達関数に基づきスピーカ 2の入力信号 (遠端信号)からマイクロホン 1へ 入力されるエコーの模擬信号 (エコーレプリカ信号)を生成する。
[0007] 線形エコーキャンセラ部 3で生成されたエコーレプリカ信号は減算器 4へ入力され、 減算器 4によりマイクロホン 1の出力信号力もエコーレプリカ信号を減ずることで近端 音声の信号成分が抽出される。
[0008] 音声検出部 5は、マイクロホン 1の出力信号、線形エコーキャンセラ 3の出力信号、 減算器 4の出力信号及び遠端信号を受信し、それらの信号力 マイクロホン 1の出力 信号に近端音声が含まれて ヽるカゝ否かを検出し、その検出結果を線形エコーキャン セラ 3へ出力する。
[0009] 音声検出部 5は、線形エコーキャンセラ 3の動作を制御するために、マイクロホン 1 の出力信号力も近端音声を検出した場合は音声検出結果として「0」ある 、は極めて 小さな値を出力し、近端音声を検出しない場合は大きな値を出力する。
[0010] 図 2は図 1に示した線形エコーキャンセラの一構成例を示すブロック図である。
[0011] 図 2に示すように、線形エコーキャンセラ 3は、線形フィルタである適応フィルタ 30及 び乗算器 35を備えた構成である。適応フィルタ 30には、 FIR型、 IIR型、ラチス型等 の様々なフィルタが用いられる。
[0012] 適応フィルタ 30は、端子 31から入力された遠端信号をフィルタリングし、その処理 結果を端子 32から減算器 4へ出力する。適応フィルタ 30は、端子 33から入力される 減算器 4の出力信号が最小となるように所定の相関演算を用いてフィルタ係数を更 新する。そのため、適応フィルタ 30は、減算器 4の出力信号のうち、遠端信号と相関 力 Sある成分が最小となるように動作する。すなわち、減算器 4の出力信号力 エコー（ 遠端音声）が除去されることになる。
[0013] ところで、適応フィルタ 30は、マイクロホン 1の出力信号に近端音声が含まれている 状態でフィルタ係数を更新すると、フィルタ係数の変動によりエコーの除去能力が低 下することがある。
[0014] 乗算器 35は、適応フィルタ 30によるフィルタ係数の更新を制御するために備え、減 算器 4の出力信号と音声検出部 5の出力信号とを乗算し、その演算結果を適応フィ ルタ 30へ出力する。マイクロホン 1の出力信号に近端音声が含まれているとき、上述 したように音声検出部 5の出力信号は「0」あるいは極めて小さな値であるため、適応 フィルタ 30によるフィルタ係数の更新が抑制され、フィルタ係数の変動が小さくなる。 その結果、エコーの除去能力の低下が抑制される。 [0015] このように第 1従来例のエコー抑圧装置では適応フィルタを用いることで遠端信号 のエコーを除去している。
[0016] 次に第 2従来例のエコー抑圧装置について説明する。
[0017] 第 2従来例のエコー抑圧装置は、折りたたみ型の携帯電話装置において、ヒンジ部 の角度に応じてエコーの抑圧に用いる擬似エコー（エコーレプリカ信号)を修正する 構成である。このような構成は、例えば特開平 8— 9005号公報に記載されている。
[0018] 第 2従来例のエコー抑圧装置は、ヒンジ部の角度を検出し、その角度に応じた制御 信号を出力する制御信号発生部と、該制御信号に基づ!、てエコーを抑圧するエコー 制御部とを有する構成である。
[0019] エコー制御部は、ヒンジ部の角度によって変動するエコー経路に対応した擬似ェコ 一を生成するために、予め設定された複数のエコー経路追従係数を保持しておき、 制御信号発生部から出力される制御信号をアドレス信号に用いてエコー経路追従係 数を選択する係数選択回路と、係数選択回路で選択されたエコー経路追従係数に 基づき擬似エコーを修正するための擬似エコー修正信号を出力する適応制御回路 と、擬似エコー修正信号に基づき擬似エコーを生成する擬似エコー発生回路と、生 成した擬似エコーを音声入力部 (マイクロホン)の出力信号力も減ずる減算回路とを 備えている。
[0020] 次に第 3従来例のエコー抑圧装置について説明する。
[0021] 第 3従来例のエコー抑圧装置は、例えば特開 2004— 056453号公報に記載され た技術である。第 3従来例のエコー抑圧装置では、マイクロホン (収音器)の出力信 号、または収音器の出力信号力 エコーキャンセラの出力信号を減じた信号の何れ か一方を第 1の信号とし、エコーキャンセラの出力信号を第 2の信号としたとき、第 1 の信号 (近端信号)へ洩れこむ第 2の信号 (遠端信号、エコー)の洩れこみ量を推定 し、この推定結果に基づいて第 1の信号を補正する。
[0022] このエコーの洩れこみ量の推定値には、近端音声が検出されない期間における第 2の信号の振幅または電力に応じた量と、第 1の信号の振幅または電力に応じた量と の比を用いる。第 3従来例のエコー抑圧装置では、第 1の信号及び第 2の信号の周 波数成分毎に、第 1の信号と第 2の信号とからエコーの洩れこみ量の推定値を算出し 、この算出した推定値に基づいて第 1の信号を補正している。
[0023] ところで、上述した第 1従来例及び第 2従来例のエコー抑圧装置では、エコー経路 が持つ歪等の非線形要素が小さいときにはエコーを十分に抑圧できる。しかしながら 、実際の装置ではスピーカ等が大きな非線形要素を持っている。歪を含むエコー経 路の伝達関数は非線形であり、線形エコーキャンセラ 3でエコー経路の正確な伝達 関数を模擬できない。特に携帯電話装置等で用いる小型のスピーカから大音量が発 せられる場合、その音声の歪は大きいため、エコーが 20dB程度しか抑圧されない。 その場合、エコーが近端信号として送信され、通話相手の話者にも聞こえるために通 話が困難になる。
[0024] これに対して、第 3従来例では、エコー経路の歪が大きくてもエコーが十分に抑圧 される。し力しながら、第 3従来例のエコー抑圧装置では、エコーの洩れこみ量の推 定処理が複雑であるために演算量が多くなる。特に除算の演算量が多くなる。また、 マイクロホンの出力信号に近端音声が含まれている否かを検出した音声検出結果を 用いているため、音声検出結果に誤りがあると、エコーの洩れこみ量の推定値に大き な誤差が生じ、それに基づいて補正される第 1の信号の補正後の信号が劣化する。 すなわち、エコーが十分に抑圧されないか、近端音声に大きな歪が生じる。特に、近 端音声と共に大きな騒音 (近端騒音)が入力される環境で使用する場合、音声検出 結果の誤差が大きくなる可能性が高いため、エコーが十分に抑圧されないか、近端 音声に大きな歪が生じる。
発明の開示
[0025] そこで、本発明はエコー経路に起因する歪が大きい場合でも簡便にエコーを十分 に抑圧できるエコー抑圧方法及び装置を提供することを目的とする。
[0026] また、本発明は、近端騒音の影響を受けずにエコーを抑圧できるエコー抑圧方法 及び装置を提供することを目的とする。
[0027] 上記目的を達成するため本発明では、収音器の出力信号または収音器の出力信 号力 エコーキャンセラの出力信号を減じた信号の何れか一方を第 1の信号とし、ェ コーキャンセラの出力信号を第 2の信号としたとき、第 1の信号へ洩れこむ第 2の信号 の洩れこみ量の算出に用いる、予め設定された値である洩れこみ係数を用いて第 1 の信号を補正する。
[0028] エコーキャンセラが線形エコーキャンセラである場合、該エコーキャンセラの出力に は遠端信号に含まれる高調波成分がほぼそのまま現れる。また、このエコーキャンセ ラが非線形エコーキャンセラであっても該エコーキャンセラの出力には遠端信号に含 まれる高調波成分が少なからず含まれる。
[0029] 一方、収音器 (マイクロホン)の出力信号には、収音器と拡声器間の音響結合によ る遠端信号のエコー及び音響系の歪により発生する高調波成分が含まれる。これら の高調波成分の比、すなわちエコーの洩れこみ量を示す値は音声通話等の限定さ れた目的では一定範囲の値となる。
[0030] したがって、エコーの洩れこみ量の算出に用いる洩れこみ係数を定数とし、洩れこ み係数と第 2の信号とから第 1の信号に含まれるエコーの量を推定し、推知した値を 第 1の信号力 減算するか、あるいは洩れこみ係数と第 1の信号及び第 2の信号から 第 1の信号に含まれる近端信号の割合を推定し、この推定した割合を第 1の信号に 乗じることで、第 1の信号力もエコーを除去できる。
[0031] 本発明では、洩れこみ係数として定数を用いる。そのため、近端信号に大きな雑音 が含まれる場合でもエコー経路の起因する歪が大きいエコーを十分に抑圧できる。 また、第 3従来例で示したエコーの洩れ込み量の推定のように、複雑な演算が不要 であるため、演算量を削減できる。したがって、近端騒音の影響を受けずにエコーを 簡便に抑圧できる。
図面の簡単な説明
[0032] [図 1]図 1は第 1従来例のエコー抑圧装置の構成を示すブロック図である。
[図 2]図 2は図 1に示した線形エコーキャンセラの一構成例を示すブロック図である。
[図 3]図 3は本発明のエコー抑圧装置の一構成例を示すブロック図である。
[図 4]図 4は図 3に示した変換部の一構成例を示すブロック図である。
[図 5]図 5はエコーレプリカ信号と残留エコーのスペクトルの相関を調べた実験結果を 示すグラフである。
[図 6]図 6は複数のスピーカ及びマイクロホンを備えた携帯電話装置の構成例を示す 模式図である。 [図 7]図 7はエコーを十分に抑圧できる洩れこみ係数と線形エコーキャンセラの出力 信号の電力との関係を示すグラフである。
圆 8]図 8は本発明のエコー抑圧装置の第 1実施例の構成を示すブロック図である。
[図 9]図 9は図 8に示した係数発生部の一構成例を示すブロック図である。
[図 10]図 10は図 8に示した係数発生部の他の構成例を示すブロック図である。
[図 11]図 11は図 8に示したスペクトルサブトラクシヨン部の一構成例を示すブロック図 である。
圆 12]図 12は図 11に示したフーリエ係数減算器の第 1構成例を示すブロック図であ る。
圆 13]図 13は本発明のエコー抑圧装置の第 2実施例の構成を示すブロック図である 圆 14]図 14は本発明のエコー抑圧装置の第 3実施例の構成を示すブロック図である
[図 15]図 15は図 14に示したスペクトルサブレッシヨン部の一構成例を示すブロック図 である。
[図 16]図 16は図 15に示したフーリエ係数乗算器の第 1構成例を示すブロック図であ る。
[図 17]図 17は図 16に示した平滑部の一構成例を示すブロック図である。
[図 18]図 18は図 16に示した平滑部の他の構成例を示すブロック図である。
[図 19]図 19は図 15に示したフーリエ係数乗算器の第 2構成例を示すブロック図であ る。
[図 20]図 20は図 15に示したフーリエ係数乗算器の第 3構成例を示すブロック図であ る。
圆 21]図 21は本発明のエコー抑圧装置の第 4実施例の構成を示すブロック図である 圆 22]図 22は本発明のエコー抑圧装置の第 5実施例の構成を示すブロック図である [図 23]図 23は図 22に示したエコーキャンセラの一構成例を示すブロック図である。 [図 24]図 24は図 22に示したスペクトルサブトラクシヨン部の一構成例を示すブロック 図である。
[図 25]図 25は本発明のエコー抑圧装置の第 6実施例の構成を示すブロック図である [図 26]図 26は本発明のエコー抑圧装置の第 7実施例の構成を示すブロック図である 発明を実施するための最良の形態
[0033] 次に本発明につ 、て図面を用いて説明する。
[0034] 図 3は本発明のエコー抑圧装置の一構成例を示すブロック図である。
[0035] 図 3に示すように、本発明のエコー抑圧装置は、図 1に示した第 1従来例のエコー 抑圧装置に加えて、マイクロホン 1とスピーカ 2の音響結合により発生する、近端信号 へ洩れこむ遠端信号 (エコー）の洩れこみ量の算出に用いる係数 (以下、洩れこみ係 数と称す)を生成する係数発生部 200と、マイクロホン 1の出力信号または減算器 4の 出力信号の何れか一方を第 1の信号とし、線形エコーキャンセラ 3の出力信号を第 2 の信号としたとき、係数発生部 200で生成した洩れこみ係数と第 2の信号とに基づ ヽ て第 1の信号を補正し、第 1の信号力 エコーを除去した近端信号を出力する変換 部 100とをさらに有する構成である。スピーカ 2に入力される遠端信号は端子 10から 入力され、近端信号は端子 9から出力される。
[0036] なお、線形エコーキャンセラ 3は、非線形エコーキャンセラであってもよい。
[0037] 係数発生部 200は、第 1の信号及び第 2の信号を所定の周波数領域毎に分割した とき、該周波数領域に対応する洩れこみ係数を生成する。このとき、変換部 100は対 応する洩れこみ係数を用いて第 1の信号を周波数領域毎に補正する。さらに、係数 発生部 200は予め設定された所定の使用状況に応じて洩れこみ係数を切り替えるこ とが好ましい。
[0038] 図 4は図 3に示した変換部の一構成例を示すブロック図である。
[0039] 図 4に示すように、変換部 100は、周波数分割部 160、周波数分割部 161、 M個の 補正部 166m (m = 1〜M)及び周波数合成部 164を備えた構成である。
[0040] 周波数分割部 160は、端子 162を介して入力された第 1の信号を所定の周波数領 域毎に M分割し、該周波数領域に対応する補正部 166mへ出力する。周波数分割 部 161は、端子 163を介して入力された第 2の信号を所定の周波数領域毎に M分割 し、該周波数領域に対応する補正部 166mへ出力する。補正部 mは、端子 167を介 して入力される、係数発生部 200で生成した洩れこみ係数と、第 2の信号とを用いて 第 1の信号を補正し、補正後の信号を周波数合成部 164へ出力する。周波数合成 部 164は、補正部 mの出力信号を周波数合成して端子 165から出力する。
[0041] 補正部 166mは、洩れこみ係数と第 2の信号とを用いて第 1の信号に含まれるェコ 一の大きさを推定し、推定したエコーの大きさを第 1の信号力 減ずることで第 1の信 号を補正する。補正部 166mは、洩れこみ係数、第 1の信号及び第 2の信号に基づ き第 1の信号に含まれる近端信号の割合を推定し、推定した近端信号の割合を第 1 の信号に乗ずることで第 1の信号を補正してもよい。
[0042] 周波数分割部 160、 161は、フーリエ変換、コサイン変換、サブバンド分析フィルタ バンク等の任意の線形変換を用いて周波数分割を行う。周波数合成部 164は、周波 数分割部 160、 161で用いる線形変換に対応する逆フーリエ変換、逆コサイン変換、 サブバンド合成フィルタバンク等を用いて周波数合成を行う。
[0043] 本発明のエコー抑圧装置は、洩れこみ係数を定数とする点で、エコーの洩れこみ 量を第 1及び第 2の信号から適宜算出する第 3従来例と異なっている。第 3従来例で は、エコーの洩れこみ量が遠端信号の周波数スペクトル分布に依存するため、洩れ こみ係数を定数とすることは不適当であると認定していた。し力しながら、本発明者は 、音声通話を目的とする限り、女性と男性の音声周波数スペクトル分布の相違程度 では、洩れこみ係数を定数にしても十分にエコーを抑圧できることを実験により確認 した。以下、この点について詳述する。
[0044] 図 5はエコーレプリカ信号と残留エコーのスぺクトルの相関を調べた実験結果を示 すグラフである。図 5に示すグラフの横軸はエコーレプリカ信号の振幅 (線形エコーキ ヤンセラ 3の出力振幅）を示し、縦軸は残留エコーの振幅 (第 1の信号に含まれるェコ 一成分)を示している。
[0045] 相関の傾き（残留エコーの振幅 Zエコーレプリカの振幅）はエコーの歪の大きさを 示し、傾きが大きいほど歪が大きいことを示している。すなわち、相関の傾きは洩れこ み係数に相当する。
[0046] 図 5に示すように、同じ女性の声であっても周波数によって相関の傾きが異なること が分かる。男性の場合も同様である。しかしながら、同一の周波数で比較すると、女 性の声の相関の傾きと男性の声の相関の傾きは、ほぼ同じになっている。図 5では示 して 、な 、が、音楽のように人の声とスペクトル分布が著しく異なる音を遠端信号とし た場合、図 5のグラフに示した周波数と同じ周波数であっても（1250Hz、 3125Hz) 、相関の傾きは人の声と全く異なっている。その理由は、より低い周波数成分を含む 音楽等では、残留エコーの原因である高調波の発生元となる周波数成分が人の声よ りも遥かに多いからである。
[0047] このようにエコーレプリカ信号と残留エコーの相関の傾きは、遠端信号の周波数ス ベクトル分布に依存する力 女性と男性の音声周波数スペクトル分布の相違程度で は周波数毎の相関の傾きが類似していることが確かめられた。この結果から、音声通 話を目的とする限り、同一の洩れこみ係数を用いても良いことが分力る。
[0048] 但し、図 5に示すように、エコーレプリカ信号と残留エコーの相関の傾きは周波数に よって異なる。そのため、係数発生部 200にて第 1の信号の周波数領域毎に異なる 洩れこみ係数を生成し、変換部 100にて周波数領域に応じた洩れ込み係数を用い て第 1の信号を補正すればエコーを十分に抑圧できる。
[0049] ところで、線形エコーキャンセラ 3で十分に抑圧できないと言われるエコーの歪音は 、スピーカ 2自体力 発生する歪音と、マイクロホン 1やスピーカ 2が実装された筐体 が振動することで発生する歪音とに大別される。さらに、それらの歪音はエコーの抑 圧対象である装置の利用状況によっても変化する。したがって、係数発生部 200は、 エコーの抑圧対象である装置の利用状況に応じて洩れこみ係数を切り替えて出力す ることが望ましい。
[0050] 以下、携帯電話装置を例にして利用状況に応じて洩れこみ係数を切り替える例に ついて説明する。
[0051] スピーカ 2自体力も発生する歪音の原因はスピーカ特性の非線形性にある。したが つて、図 6に示すように複数のスピーカ 301〜303を適宜切り替える携帯電話装置で は、個々のスピーカ特性が相違する場合、利用するスピーカによってエコーの歪音 が相違する。そのような使用状況では、使用するスピーカを検出し、検出したスピー 力に応じて洩れこみ係数を切り替えればよ!/ヽ。
[0052] また、スピーカ 2を 1つしか実装していない携帯電話装置でも、マイクロホン 1との位 置関係によってスピーカ 2からマイクロホン 1へ到達する歪音の大きさが変わるため、 エコーの歪も変化する。そのような使用状況では、スピーカ 2とマイクロホン 1の相対 位置を検出し、検出した相対位置に応じて洩れこみ係数を切り替えればよい。例え ば、図 6に示す折りたたみ型の携帯電話装置 300の場合、スピーカ 2とマイクロホン 1 の位置関係はヒンジ部 321の角度によって決まるため、ヒンジ部 321の角度を検出し 、該角度に応じて洩れこみ係数を切り替えればよい。
[0053] また、図 6に示す折りたたみ型の携帯電話装置 300において、複数のマイクロホン 3 11、 312を適宜切り替えて使用する場合、使用するマイクロホンによってスピーカ 2と の相対位置が変わる。そのような使用状況では、使用するマイクロホンを検出し、検 出したマイクロホンの位置に応じて予め設定された洩れこみ係数に切り替えればよい
[0054] 一方、筐体の振動に起因する歪音は、主として部品どうしの接合部で発生する。例 えば、スピーカ 2の出力音によって筐体が振動し、部品どうしの接合部力 歪んだ音 が発生する場合、この歪音がエコーの歪としてマイクロホン 1に入力される。したがつ て、スピーカ 2の音量が変化すると、スピーカ 2から筐体へ伝わる音響エネルギーが 変化し、部品どうしの接合部で生じる歪音も変化する。そのような使用状況では、スピ 一力 2の音量設定値を検出し、該音量設定値に応じて洩れこみ係数を切り替えれば よい。
[0055] また、図 6に示した折りたたみ型の携帯電話装置 300では、完全に折り畳まれてい る力否かによって筐体の振動量が変化し、部品どうしの接合部で発生する歪音も変 化する。そのような使用状況では、携帯電話装置 300が完全に折り畳まれているか 否かを検出し、その検出結果に応じて洩れこみ係数を切り替えればよい。
[0056] また、図 6に示した折りたたみ型の携帯電話装置 300では、折り曲げ角度によって スピーカの位置が変化するため、筐体内の同じ部位であってもヒンジ部 321の角度 によってスピーカ 2から伝わる音響エネルギーが変化し、部品どうしの接合部で生じる 歪音が変化する。したがって、そのような使用状況でもヒンジ部 321の角度を検出し、 該角度に応じて洩れこみ係数を切り替えればよい。
[0057] なお、スライド型の携帯電話装置では、スライドの有無やスライド量を検出し、その 検出結果に応じて洩れこみ係数を切り替えればよい。スライド機構と折りたたみ機構 の両方を備えた携帯電話装置では、ヒンジ部の角度、携帯電話装置が折り畳まれて いる力否力、スライドの有無、あるいはスライド量を検出し、その検出結果に応じて洩 れこみ係数を切り替えればよい。また、スライド型でも折りたたみ型でもない携帯電話 装置では、例えば筐体内の部品どうしの接合部に伝わる音響エネルギーが変化する 要因やエコーの音量変化に影響する要因を検出し、その検出結果に応じて洩れこみ 係数を切り替えればよい。
[0058] さらに、本発明者は、線形エコーキャンセラ 3から出力される信号の電力あるいは振 幅が大きくなると、エコー経路の非線形性が変化することを実験により確認した。すな わち、マイクロホン 1の出力信号に近端信号を全く含まない状態において歪のあるェ コーを発生させたとき、エコーを十分に抑圧できる洩れこみ係数と線形エコーキャン セラ 3の出力信号の電力との関係を調べると、図 7に示すような結果が得られた。なお 、図 7は、 1875Hzを中心とする周波数帯域における線形エコーキャンセラ 3の出力 信号とそれに応じた洩れこみ係数の関係を示している。図 7に示すグラフの横軸は線 形エコーキャンセラ 3の出力信号の電力を示し、縦軸はエコーを十分に抑圧できる洩 れこみ係数を示している。
[0059] 図 7に示すプロット点の分布力も分力るように、エコーを十分に抑圧できる洩れこみ 係数は、線形エコーキャンセラ 3の出力信号の電力値が 2000000を境にして急変し ている。これは、線形エコーキャンセラ 3の出力信号の電力が大きいとき、線形エコー キャンセラ 3の入力信号、すなわちスピーカ 2へ入力する遠端信号の電力も大きいた め、スピーカ特性の非線形性に起因するエコーの歪が急激に増えるためと考えられ る。
[0060] したがって、本発明のエコー抑圧装置では、線形エコーキャンセラ 3から出力される 信号の電力あるいは振幅を使用状況として検出し、その検出値に応じて洩れこみ係 数を切り替える。このような方法は、線形エコーキャンセラ 3の出力信号の電力や振 幅の代わりに、遠端信号の電力や振幅、あるいは遠端信号に含まれる特定の周波数 成分の電力や振幅を用いることも可能である。
[0061] 線形エコーキャンセラ 3の出力信号に基づき洩れこみ係数を切り替える方法は、ス ピー力 2の音量設定値に基づき洩れこみ係数を切り替える方法と類似している。しか しながら、後者は遠端信号が全く無いためにエコーの抑圧が不要の場合でも音量設 定に応じた洩れこみ係数を選択してしまう。一方、前者はそのような洩れこみ係数を 誤って選択することが無 、点で優れて 、る。
[0062] 以上説明した洩れこみ係数を切り替える方法は、上述した全ての使用状況を検出 して洩れこみ係数を切り替える必要はなぐその内の 1つあるいは複数の使用状況を 検出して洩れこみ係数を切り替えてもよい。
[0063] 例えば、複数のカメラを装備した携帯電話装置を用いて互いの映像を交換しながら 通話を行う状況にぉ 、て ( 、わゆるテレビ電話)、該携帯電話装置が使用するカメラ に応じてマイクロホンやスピーカが自動的に切り替わる構成の場合、使用するマイク 口ホンやスピーカを直接検出する代わりに、カメラで撮影した画像情報力も使用して V、るマイクロホンやスピーカを検出してもよ!/、。
[0064] 洩れこみ係数の切り替えに用いる使用状況が決定したら、該使用状況に対応する 最適な洩れこみ係数を実験やコンピュータによるシミュレーションによって決定し、洩 れこみ係数を使用状況に対応付けて係数発生部 200に保存しておく。
[0065] なお、ヒンジ部の角度、スピーカの音量設定値、使用するスピーカ等、エコー抑圧 装置の外部に設けたセンサ等で検出可能な使用状況は、その検出結果を係数発生 部 200に入力すればよい。一方、遠端信号の電力や振幅、線形エコーキャンセラ 3 の出力信号の電力や振幅、遠端信号に含まれる特定の周波数成分の電力や振幅 等の使用状況は、エコー抑圧装置内で検出し、その検出結果を係数発生部 200に 入力すればよい。
[0066] 本発明のエコー抑圧装置によれば、洩れこみ係数を定数とすることで、定数である 洩れこみ係数は雑音に影響されないため、近端音声として大きな雑音が入力される 環境でもエコー経路に起因して発生するエコーを十分に抑圧できる。また、第 3従来 例で示したエコーの洩れ込み量の推定のような複雑な演算が不要であるため、演算 量を削減できる。したがって、近端騒音の影響を受けずにエコーを簡便に抑圧できる
[0067] 特に、使用状況に応じて最適な洩れこみ係数を選択することで、歪音に起因して発 生するェコ一につ 、ても良好に抑圧できる。
[0068] 次に本発明のエコー抑圧装置の実施例について図面を用いて説明する。
[第 1実施例]
図 8は本発明のエコー抑圧装置の第 1実施例の構成を示すブロック図である。
[0069] 第 1実施例のエコー抑圧装置は、図 3に示した変換部 100として、スペクトルサブト ラタシヨン部 6を用いる例である。
[0070] 第 1実施例の係数発生部 200は、上述したようにマイクロホン 1とスピーカ 2の音響 結合により発生するエコーの洩れこみ量を示す洩れこみ係数を生成する。
[0071] スペクトルサブトラクシヨン部 6には、減算器 4の出力信号、線形エコーキャンセラ 3 の出力信号、係数発生部 200で生成された洩れこみ係数及び音声検出部 5の音声 検出結果が入力される。
[0072] スペクトルサブトラクシヨン部 6は、減算器 4の出力信号と線形エコーキャンセラ 3の 出力信号とをそれぞれ所定の周波数領域毎に分割し、分解後の周波数領域の信号 成分毎にエコーを除去する。
<係数発生部 200 >
図 9は図 8に示した係数発生部の一構成例を示すブロック図である。
[0073] 図 9に示す係数発生部 200は、帯域 1から帯域 Mの各周波数領域に適した洩れこ み係数を保持する係数記憶部 201を備えた構成である。
[0074] 係数発生部 200は、係数記憶部 201に格納された周波数領域 (帯域)毎の洩れこ み係数を読み出し、スペクトルサブトラクシヨン部 6へ出力する。これら洩れこみ係数 は、例えば図 5に示した周波数 1250Hzにおける相関の傾きや周波数 3125Hzにお ける相関の傾きに相当する。
[0075] 図 10は図 8に示した係数発生部の他の構成例を示すブロック図である。
[0076] 図 10に示す係数発生部 200は、帯域 1から帯域 Mの各周波数領域に適した洩れ こみ係数群を保持する係数記憶部 202と、本発明のエコー抑圧装置を備えたシステ ムの各種使用状況を検出する使用状況検出部 203とを備えた構成である。
[0077] 図 10に示す係数発生部 200は、各周波数領域に対応した洩れこみ係数群のうち、 使用状況検出部 203で検出された使用状況に対応する洩れこみ係数を係数記憶部
202から読み出し、スペクトルサブトラクシヨン部 6へ出力する。
[0078] 図 10に示した構成では、各周波数領域に対応した洩れこみ係数群に、使用状況 1 用の洩れこみ係数、使用状況 2用の洩れこみ係数、 ···、使用状況 N用の洩れこみ係 数を備えている。 Nは 2以上の任意の値とする。
[0079] 例えば、使用状況の一例として、スピーカ 2の音量設定値を検出する場合、使用状 況検出部 203は、スピーカ 2の音量設定値を検出するセンサと、検出した音量設定 値と所定の閾値とを比較し、比較結果を 2値以上のデジタル値に変換する弁別部と を有する。
[0080] 使用状況の他の例として、折りたたみ型携帯電話装置におけるヒンジ部の角度を検 出する方法がある。この場合、使用状況検出部 203は、ヒンジ部の角度を検出するセ ンサ (不図示）と、検出角度と所定の閾値とを比較し、比較結果を 2値以上のデジタル 値に変換する弁別部 (不図示)とを有する。
[0081] 使用状況の他の例として、複数のスピーカを備えた携帯電話装置力 使用している スピーカを検出する場合、使用状況検出部 203は、どのスピーカが用いられているか を判定し、判定結果を 2値以上のデジタル値で出力する判定部（不図示）を有する。
[0082] 使用状況の他の例として、複数のマイクロホンを備えた携帯電話装置から使用して いるマイクロホンを検出する場合、使用状況検出部 203は、どのマイクロホンが用い られているかを判定し、判定結果を 2値以上のデジタル値で出力する判定部（不図 示）を有する。
[0083] 使用状況の他の例として、線形エコーキャンセラ 3の出力信号の電力または振幅を 検出する場合、使用状況検出部 203は、線形エコーキャンセラ 3の出力信号の電力 または振幅を検出する検出部 (不図示)と、検出された電力または振幅を閾値判定し て 2値以上のデジタル値に変換する弁別部 (不図示）とを有する。例えば、本発明の エコー抑圧装置を含むシステムに、図 5のグラフで示した特性を備えている場合、線 形エコーキャンセラ 3の出力電力が 2000000を境にして必要な洩れこみ係数が 1か ら 20に急変するため、閾値を 2000000に設定し、 2000000以下であれば「0」を出 力し、 2000000を越えて!/ヽれば「1」を出力すればよ!、。
[0084] その他、使用状況にはエコーの洩れこみ量に影響するものであれば、どのようなも のでも使用できる。また、複数の使用状況を組み合わせて用いることも可能である。
[0085] 係数記憶部 202は、各周波数領域に対応して予め登録された複数の洩れこみ係 数の中から、使用状況検出部 203の出力信号に対応する 1つを選択し、選択した洩 れこみ係数をスペクトルサブトラクシヨン部 6へ出力する。
[0086] 例えば、図 7に示した線形エコーキャンセラ 3の出力信号の電力特性を使用状況と して用いる場合、 1875Hzを中心とする周波数領域に対応して図 7の太い実線で示 す「1」と「20」の 2つの洩れこみ係数を保持し、使用状況検出部 203から「0」が出力 された場合は洩れこみ係数として「1」を出力し、使用状況検出部 203から「1」が出力 された場合は洩れこみ係数として「20」を出力する。
くスペクトルサブトラクシヨン部 6 >
図 11は図 8に示したスペクトルサブトラクシヨン部の一構成例を示すブロック図であ る。
[0087] 図 11に示すように、スペクトルサブトラクシヨン部 6は、フーリエ変 60、フーリエ 変翻 61、フーリエ係数減算器 66m (m= l〜M)及び逆フーリエ変棚 64を備え た構成である。
[0088] フーリエ変換器 60は、減算器 4の出力信号に対して M点フーリエ変換処理を実施 し、処理結果 (振幅と位相）を第 1のフーリエ係数として各周波数領域に対応するフー リエ係数減算器 66m (m= 1〜M)へ出力する。
[0089] フーリエ変 61は、線形エコーキャンセラ 3から出力されたエコーレプリカ信号に 対して M点フーリエ変換処理を実施し、処理結果 (振幅と位相）を第 2のフーリエ係数 として各周波数領域に対応するフーリエ係数減算器 66mへ出力する。
[0090] フーリエ係数減算器 66mは、フーリエ変換器 60から出力された第 1のフーリエ係数 と、フーリエ変 61から出力された第 2のフーリエ係数と、図 8に示した係数発生部 200から出力された洩れこみ係数とを受け取り、それらの振幅成分を用いた減算処 理を実施することでフーリエ係数を算出し、算出結果 (振幅と位相）を逆フーリエ変換 器 64に出力する。
[0091] 逆フーリエ変^ ^64は、フーリエ係数減算部 661〜66Mから出力されたフーリエ 係数群の逆フーリエ変換処理を実施し、処理結果の実数部を出力する。
[0092] 次に図 11に示したフーリエ係数減算器 66m (m= 1〜M)につ!/ヽて図 112を用いて 説明する。
[0093] 図 12は図 11に示したフーリエ係数減算器の第 1構成例を示すブロック図である。
[0094] 図 11に示したフーリエ変換器 60から出力された周波数領域毎の第 1のフーリエ係 数は端子 700を介して減算器 706へ供給される。
[0095] 図 11に示したフーリエ変 から出力された第 2のフーリエ係数は端子 703を 介して乗算器 707へ供給される。また、係数発生部 20で生成された洩れこみ係数は 端子 167を介して乗算器 707へ供給される。
[0096] 乗算器 707は、洩れこみ係数と第 2のフーリエ係数とを乗算し、乗算結果を減算器
706へ出力する。減算器 706は、第 1のフーリエ係数力も乗算器 707の出力値を減じ
、その演算結果を出力する。減算器 706の計算結果は図 11に示した逆フーリエ変換 器 64へ出力される。
[0097] ここで、洩れこみ係数と線形エコーキャンセラ 3の出力信号力 算出された第 2のフ 一リエ係数とを乗算器 707で乗算することで、乗算器 707からは第 1のフーリエ係数 に残留するエコーによるフーリエ係数の推定値が得られる。このエコーによるフーリエ 係数の推定値を減算器 706により第 1のフーリエ係数力 減ずることで、エコー成分 が抑圧された近端信号のフーリエ係数の推定値が得られる。
[0098] この周波数領域毎の推定値は、図 11に示した逆フーリエ変 64によって合成さ れ、近端信号として出力される。結果として、合成後の近端信号はエコーが抑圧され た信号となる。
[0099] 以上説明したフーリエ係数減算器 66mの動作について式を用いて説明する。
[0100] 近端信号のフーリエ係数を Sとし、近端信号に含まれる近端音声の成分を A、ェコ 一成分を E、雑音成分を Nとすると、
S =A+E+N
の関係がある。 [0101] また、エコーレプリカ信号のフーリエ係数を Rとし、洩れこみ係数の値を P1とする。 P 1は、遠端信号 Rが近端信号にエコーとして洩れこむ割合の近似値であり、エコー経 路におけるエコーのゲインに相当する。ちなみに、第 3従来例のエコー抑圧装置では P1を次式で表している。
[0102] PI = Av[S/R] = Av[ (E+N) /R] · '· (2)
ここで、 Αν[·]は平滑化処理を表す。
[0103] したがって、この洩れこみ係数 P1にエコーレプリカ信号のフーリエ係数 Rを乗じた 値 Ρ2 (乗算器 707の出力信号に相当）がエコー成分の推定値となる。
P2 = P1 XR
= Ex[E] - -- (3)
ここで、 Εχ[·]は推定値を示す。
[0104] この Ρ2を Sから減じた値 Ρ3 (減算器 706の出力信号に相当：近端信号）は、
P3 = S -P2
=S— P1 XR
=A+E + N-Ex[E]
Figure imgf000019_0001
となる。すなわち、減算器 706の出力は、エコー成分 Εが除去された近端音声のフー リエ係数成分 Αと雑音成分 Νの和の推定値となる。
[0105] 次に、エコー経路内のスピーカ等で歪が発生した場合に図 8に示した第 1実施例の エコー抑圧装置がどのように動作するかについて説明する。
[0106] エコー経路で歪が発生した場合、第 1実施例のエコー抑圧装置では、スペクトルサ ブトラタシヨン部 6における周波数領域の非線形演算によってエコーにおける歪成分 を除去している。第 1実施例のエコー抑圧装置は、周波数領域の非線形演算におい て重要な信号成分の時間変化を線形エコーキャンセラ 3により調整することでエコー に含まれる歪成分を効果的に除去して 、る。
[0107] マイクロホン 1の出力信号には、遠端信号に加えて遠端信号の歪に起因して発生 するエコーが含まれて 、る。このエコーは遠端信号の高調波成分と考えることができ る。 [0108] 以下、説明を簡単にするためにエコー成分 Eが歪による高調波成分のみである場 合を考える。
[0109] 上述した式（3)から分力るように、スペクトルサブトラクシヨン部 6は、遠端信号のフ 一リエ変換係数 Rがゼロでない限り、エコー成分 Eを除去することが原理的に可能で ある。ここで、エコー成分 Eを除去するのに重要なのはエコー経路におけるエコーの ゲインに相当する洩れこみ係数 P 1の精度である。
[0110] 第 3従来例のエコー抑圧装置では、音声検出結果に基づきマイクロホンの出力信 号力も近端音声が検出されないときにエコーの洩れこみ量を推定しているが、近端 騒音が大きい環境では音声検出を正確に行うことは困難である。音声検出結果に誤 りがある場合、洩れこみ係数 P1が異常に大きな値となり、誤った洩れこみ係数 P1に 基づいて算出される近端信号 P3も劣化する。すなわち、近端信号 P3に含まれるェコ 一が十分に抑圧されず、近端音声に大きな歪が生じる。このような問題を避けるため に洩れこみ係数 P1を更新しないように制御した場合、エコーの洩れこみ量が変動す ると、洩れこみ係数 P1の誤差が大きくなり、洩れこみ係数 P1に基づいて算出される 近端信号 P3も劣化する。
[0111] 例えば、ハンズフリー電話器が折り畳み型の携帯電話装置である場合や使用する スピーカを切り替えることができる場合、折り畳み用のヒンジ部の角度や使用するスピ 一力等によってエコーの洩れこみ量が変動する。近端騒音が大きい環境では、話者 は音がよく聞こえるようにヒンジ部の角度を変えたり、使用するスピーカを切り替える 等の使用状況を変更することがよく行われる。その場合、第 1の信号の補正後の信号 が劣化することになる。
[0112] 一方、本実施例では、洩れこみ係数 P1として、使用状況に応じて予め設定した定 数を用いている。そのため、ヒンジ部の角度や使用するスピーカを検出すれば、近端 信号に含まれる雑音の影響を受けることなく洩れこみ係数 P1を得ることができる。
[0113] 本発明者が携帯電話装置を用いて行った実験によると、誤差の大きい推定値を洩 れこみ係数 P1として用いるよりは、使用状況に応じて予め設定した定数を洩れこみ 係数 P1として用いる方が、エコー及び近端音声の歪音の除去に良好な結果が得ら [0114] また、第 1実施例のエコー抑圧装置では、図 8に示した線形エコーキャンセラ 3が誤 つたエコー経路推定を行った場合でも、残留したエコーを除去できる効果がある。
[0115] 上述した説明では、エコー成分 Eが歪による高調波成分のみである場合を考えた 力 歪に起因しない遠端信号のエコー成分、すなわち高調波成分を除いたエコー成 分も本実施例のエコー抑圧装置は抑圧できる。
[0116] 例えば線形エコーキャンセラ 3でエコー経路の推定を誤った場合、図 8に示した減 算器 4においてエコーを除去せずに逆に付加してしまう場合がありうる。しかしながら 、そのような場合でも、スペクトルサブトラクシヨン部 6によって遠端信号の成分が除去 されるため、エコーが十分に抑圧される。
[0117] また、本実施例のエコー抑圧装置は、スペクトルサブトラクシヨン部 6によるエコーの 抑圧効果を備えることで、線形エコーキャンセラ 3のタップ数 (適応フィルタのタップ数 )を低減することによる演算量の削減も可能である。
[0118] 図 1に示した第 1従来例のエコー抑圧装置では、線形エコーキャンセラ 3のみ備え た構成であるため、線形エコーキャンセラ 3が備える適応フィルタのタップ数を低減す るとエコーの除去能力が低減する。し力しながら、図 8に示した第 1実施例のエコー抑 圧装置では、スペクトルサブトラクシヨン部 6を備えることで適応フィルタのタップ数を 低減してもエコーの除去能力の低減が補われるため、十分なエコーの除去能力を備 えたエコー抑圧装置が得られる。
[0119] 第 1実施例のエコー抑圧装置は、線形エコーキャンセラ 3と、スペクトルサブトラクシ ヨン部 6による周波数領域の非線形演算とを備え、互いの不得手な処理を補うことで 十分なエコーの除去能力を得て 、る。
[0120] すなわち、エコー経路に歪がある場合や線形エコーキャンセラ 3でエコー経路推定 を誤った場合等、線形エコーキャンセラ 3だけではエコーを十分に抑圧できな 、場合 でもスペクトルサブトラクシヨン部 6によってエコーを抑圧できる。
[0121] また、線形エコーキャンセラ 3の出力信号を用いてマイクロホンの出力信号を補正 することで、スペクトルサブトラクシヨン部 6による周波数領域の非線形演算だけでは 対応できない時間的なずれを考慮することなぐ振幅値だけを用いた簡単な推定処 理により歪の原因となる高調波成分を抑圧できる。 [0122] また、スペクトルサブトラクシヨン部 6で用いる洩れこみ係数 PIを使用状況に応じて 予め設定した定数を用いることで、例えば近端騒音が大きい環境等において使用状 況を変更した場合でも、エコーを十分に抑圧して、歪の少ない近端音声を得ることが できる。
[0123] さらに、第 1実施例のエコー抑圧装置は、第 3従来例のエコー抑圧装置のように、ェ コ一の洩れこみ量を推定するための複雑な演算処理が不要であるため、演算量が低 減する。
[第 2実施例]
図 13は本発明のエコー抑圧装置の第 2実施例の構成を示すブロック図である。
[0124] 第 2実施例のエコー抑圧装置は、スペクトルサブトラクシヨン部 6に減算器 4の出力 信号ではなくマイクロホン 1の出力信号を入力する点で第 1実施例のエコー抑圧装置 と異なっている。
[0125] 第 1実施例のエコー抑圧装置では線形エコーキャンセラ 3によってエコーの主要成 分を除去していた力 第 2実施例のエコー抑圧装置ではスペクトルサブトラクシヨン部 6によってエコーの主要成分を除去する。その他の構成及び動作は第 1実施例と同 様であり、第 1実施例と同様に歪に起因するエコーの除去効果についても同様に得 られる。
[0126] したがって、第 2実施例のエコー抑圧装置も、第 1実施例と同様に音響伝達系に歪 がある場合や線形エコーキャンセラ 3でエコー経路推定を誤ったときのように線形ェ コーキャンセラ 3だけではエコーを十分に抑圧できない場合でも、スペクトルサブトラ クシヨン部 6によってエコーを十分に抑圧できる。
[0127] また、スペクトルサブトラクシヨン部 6で用いる洩れこみ係数 P1として、使用状況に応 じて予め設定した定数を用いることで、近端騒音が大きい環境において使用状況を 変更した場合でも、エコーを十分に抑圧して、歪の少ない近端音声を得ることができ る。
[0128] なお、スペクトルサブトラクシヨン部 6は、第 1実施例及び第 2実施例で示した構成以 外に、例えば非特許文献 2 (Xiao jian Lu、 Benoit Champagneによる餘文" Acoustical EchoCancellation Over A Non-Linear Channel", International Workshop on Acoustic Echo and Noise Control 2001)に記載されたスぺクトラルサブトラクシ ヨン（Spectral Subtraction)、あるいは非特許文献 3 (A. Alvarez等による" A Speech
Enhancement system Based On Negative Beamrorming And spectral bubtra ction", International Workshop on Acoustic Echo and Noise Control 2001) に記載されたスぺクトラルサブトラクシヨン（Spectral Subtraction)を用いることも可能 である。
[第 3実施例]
図 14は本発明のエコー抑圧装置の第 3実施例の構成を示すブロック図である。
[0129] 第 3実施例のエコー抑圧装置は、図 8に示したスペクトルサブトラクシヨン部 6に代わ つてスペクトルサブレッシヨン部 7を用いる点で第 1実施例のエコー抑圧装置と異なつ ている。その他の構成及び動作は第 1実施例と同様であるため、その詳細な説明は 省略する。
[0130] 以下、図 14に示したスペクトルサブレッシヨン部 7について図面を用いて説明する。
[0131] 図 15は図 14に示したスペクトルサブレッシヨン部の一構成例を示すブロック図であ る。
[0132] 図 15に示すように、スペクトルサブレッシヨン部 7は、フーリエ変換器 70、フーリエ変 翻 71、フーリエ係数乗算器 76m (m= l〜M)及び逆フィーリエ変翻 74を備えた 構成である。
[0133] フーリエ変換器 70は、端子 72を介して入力される、図 14に示した減算器 4の出力 信号に対して M点フーリエ変換処理を実施し、処理結果 (振幅と位相）を第 1のフーリ ェ係数として各周波数領域に対応するフーリエ係数乗算器 76m (m= l〜M)へ出 力する。
[0134] フーリエ変換器 71は、端子 73を介して入力される、図 14に示した線形エコーキヤ ンセラ 3の出力信号 (エコーレプリカ信号）に対して M点フーリエ変換処理を実施し、 処理結果 (振幅と位相）を第 2のフーリエ係数として各周波数領域に対応するフーリ ェ係数乗算器 76mへ出力する。
[0135] フーリエ係数乗算器 76mは、フーリエ変 70から出力された第 1のフーリエ係数 と、フーリエ変 71から出力された第 2のフーリエ係数と、端子 67を介して入力さ れる、図 14に示した係数発生部 200から出力された洩れこみ係数とを受け取り、それ らの振幅成分を用いた乗算処理を実施することでフーリエ係数を算出し、算出結果（ 振幅と位相）を逆フーリエ変翻74へ出力する。
[0136] 逆フーリエ変翻 74は、フーリエ係数乗算器 76m (m= l〜M)から出力されたフ 一リエ係数群の逆フーリエ変換処理を実施し、処理結果の実数部を端子 75から出力 する。図 15に示す構成では、フーリエ係数乗算器 76m (m= l〜M)によってエコー 成分が抑圧された近端信号が得られる。
[0137] 次に、フーリエ係数乗算器 76m (m= l〜M)の構成及び動作について図 16を用 いて説明する。
[0138] 図 16は図 15に示したフーリエ係数乗算器の第 1構成例を示すブロック図である。
[0139] 図 16に示すように、第 1構成例のフーリエ係数乗算器は、絶対値計算部 731、絶 対値計算部 734、乗算器 737、割算器 745、乗算器 746、平滑部 747及び減算器 7 44を備えた構成である。
[0140] 図 15に示したフーリエ変 から出力された周波数領域毎の第 1のフーリエ係 数は端子 730を介して絶対値計算部 731及び乗算器 737へ出力される。また、図 15 に示したフーリエ変 から出力された第 2のフーリエ係数は端子 733を介して絶 対値計算部 734へ出力される。
[0141] 絶対値計算部 731は、第 1のフーリエ係数の絶対値を計算し、その計算結果を割 算器 745へ出力する。また、絶対値計算部 734は、第 2のフーリエ係数の絶対値を 計算し、その計算結果を割算器 745へ出力する。割算器 745は、絶対値計算部 734 の計算結果を絶対値計算部 731の計算結果で除算し、その計算結果を乗算器 746 へ出力する。
[0142] 乗算器 746は、端子 167から入力される、係数発生部 200で生成された洩れこみ 係数と割算器 745の出力信号とを乗じ、その計算結果を平滑部 747へ出力する。平 滑部 747は、乗算器 746の出力信号を平滑ィ匕して減算器 744へ出力する。
[0143] 減算器 744は、値「1. 0」から平滑部 747の出力値を減じ、その計算結果を乗算器 737へ出力する。乗算器 737は、減算器 744の出力値とフーリエ変翻 70から出力 された第 1のフーリエ係数とを乗じ、その乗算結果を出力する。乗算器 737の出力信 号は、端子 789を介して図 15に示した逆フーリエ変翻74へ出力される。
[0144] 図 17は図 16に示した平滑部の一構成例を示すブロック図である。
[0145] 図 17に示す平滑部 747は、減算器 801、乗算器 802、加算器 803、リミッタ 807及 び遅延器 804を備えた構成である。
[0146] 平滑部 747の入力信号 (乗算器 746の出力信号）は端子 800を介して減算器 801 へ供給される。減算器 801は、入力信号から 1サンプル時間だけ遅延させる遅延器 8
04の出力信号 (平滑部の出力信号)を減じ、その計算結果を乗算器 802へ出力する
[0147] 乗算器 802は、減算器 801の出力信号と端子 806を介して入力された平滑化係数 とを乗じ、その演算結果を加算器 803へ出力する。加算器 803は、乗算器 802の出 力信号と遅延器 804の出力信号とを加算し、その演算結果をリミッタ 807へ出力する 。リミッタ 807は、加算器 803の出力信号の振幅を所定の上限値及び下限値内に制 限し、制限後の信号を出力端子 899及び遅延器 804へ出力する。遅延器 804は、リ ミッタ 807の出力信号を 1サンプル時間だけ遅延させ、その遅延後の信号を減算器 8 01及び加算器 803へ出力する。
[0148] 図 17に示す平滑部 747は、いわゆるリーク積分器、または一次 IIR型低域フィルタ と呼ばれる構成である。図 17に示す平滑部 747では、入力する平滑化係数と平滑ィ匕 処理の時定数とが反比例の関係にある。平滑部 747には、図 17に示した構成だけで なぐ高次 IIR型フィルタ等の平滑効果がある任意の構成を採用してもよ 、。
[0149] 図 18は図 16に示した平滑部の他の構成例を示すブロック図である。
[0150] 図 18に示す平滑部 747は、図 17に示した平滑部にカ卩えて、平滑化係数を生成す る平滑化係数決定部 810を備えた構成である。平滑化係数決定部 810は、減算器 8 01の出力信号力も平滑化係数を生成し、乗算器 802へ出力する。このような構成で は、平滑部 747の出力信号の立ち上がり時の速度と立ち下がり時の速度を異なる値 に設定できる。
[0151] 平滑化係数決定部 810は、減算器 801の出力信号が正である場合、すなわち減算 器 801の出力信号が増加するときは比較的小さな係数、例えば 0. 001を出力し、減 算器 801の出力値が負である場合、すなわち減算器 801の出力信号が減少するとき は比較的大きな係数、例えば 0. 01を出力する。
[0152] このように平滑化係数を設定すると、平滑部 747の出力信号が増大する速度、すな わち立ち上がり速度が遅くなり、平滑部 747の出力信号が減少する速度、すなわち 立ち下がり速度が速くなる。そのため、図 16に示した減算器 744の出力信号、すな わち近端信号に含まれる近端音声及び近端騒音の割合の推定値の立ち上がり時の 速度が速くなり、立ち下がり時の速度が遅くなる。
[0153] 一般に、音声や音楽の振幅変化、すなわち包絡線特性は、立ち上がり時が速ぐ 立ち下がり時が遅い場合が多い。図 18に示した平滑部では、このような包絡線特性 を備えることが可能であり、近端信号に含まれる近端音声及び近端騒音の割合の推 定精度を改善できる。
[0154] ここで、図 16に示した減算器 744の動作について数式を用いて説明する。
[0155] 上述した式 (4)の第 2行目を Sで除算することで平滑した値 P4は下記式（5)で表す ことができる。この式（5)の右辺は図 16に示した減算器 744の出力値に相当する。
P4=Av[P3/S]
=Av[l - { (R/S) XAv[ (E + N) /R]}]
= l -Av[{ (R/S) XAv[ (E + N) /R]}] · '· (5)
また、値 P4は、式 (4)の第 3行目を Sで除算することで平滑した値として、
P4=Av[{ (A+E + N) -Ex[E + N]}/S]
=Av[Ex[A]/S]
= Ex[A/S] - -- (6)
と表すこともできる。式 (6)と式 (5)を比較すると、減算器 744の出力値 P4が近端信 号に含まれる近端音声の割合の推定値となることが分力る。
[0156] したがって、図 16に示した乗算器 737を用いて、減算器 744の出力値と図 14に示 した減算器 4の出力信号とを乗ずることで、近端信号に含まれるエコー以外の信号、 すなわちエコーを抑圧した近端音声のフーリエ係数の推定値が得られる。その推定 値を図 15に示した逆フーリエ変 にて周波数合成することでエコーが抑圧され た近端信号が得られる。
[0157] 次に、エコー経路のスピーカ 2等で歪が発生した場合に第 3実施例のエコー抑圧装 置がどのように動作するかにっ 、て説明する。
[0158] 式（5)及び式 (6)で示したように、図 16に示した減算器 744の出力値 P4は近端信 号に含まれる近端音声の割合の推定値である。
[0159] この値 P4は式（5)で示したように第 1実施例で示した P3を用いて計算している。第 1実施例で説明したように、 P3は近端音声のフーリエ係数成分の推定値であり、ェコ 一成分や雑音成分だけでなく歪により発生した高調波成分のエコーも取り除かれて いる。したがって、上記 P4も歪により発生した高調波成分のエコーが取り除かれた値 であり、この P4を乗ずることで得られるフーリエ係数も歪のエコー成分が抑圧されて いる。
[0160] 上述したように、マイクロホン 1の出力信号には、遠端信号 (エコー成分)だけでなく
、遠端信号の歪によるエコーも含まれている。この歪によるエコーは、遠端信号の高 調波成分と考えることができる。
[0161] 第 3実施例のエコー抑圧装置によれば、スペクトルサブレッシヨン部 7を備えることで
、遠端信号に含まれる高調波成分を用いて、遠端信号の歪により発生するエコーを 抑圧できる。
[0162] すなわち、第 3実施例のエコー抑圧装置においても、エコー経路に歪がある場合や 線形エコーキャンセラ 3にてエコー経路推定を誤った場合等、線形エコーキャンセラ 3だけではエコーを十分に抑圧できな 、場合でも、スペクトルサブレッシヨン部 7によ つてエコーを十分に抑圧できる。
[0163] さらに、使用状況に応じて予め設定した定数を洩れこみ係数として用いることで、例 えば近端騒音が大きい環境等において使用状況を変更した場合でも、エコーを十分 に抑圧して、歪の少な!/、近端音声を得ることができる。
[0164] 図 19は図 15に示したフーリエ係数乗算器の第 2構成例を示すブロック図である。
[0165] 第 2構成例のフーリエ係数乗算器 76mは、絶対値計算部 731から割算器 745の信 号経路に平滑部 740が挿入され、絶対値計算部 734から割算器 745の信号経路に 平滑部 741が挿入された点で図 16に示した第 1構成例と異なっている。
[0166] 平滑部 740及び平滑部 741には、平滑化係数が異なることを除けば平滑部 747と 同様の構成を用いればよい。したがって、ここではその詳細な説明は省略する。 [0167] 図 19に示すフーリエ係数乗算器 76mでは、平滑部 740及び平滑部 741によって 割算器 745の入力値が平滑化されるため、割算器 745から乗算器 746を介して平滑 部 747に供給される値も平滑ィ匕されている。したがって、平滑部 747からは図 16に示 した第 1構成例のフーリエ係数乗算器 76mよりも安定した出力値が得られる。
[0168] 第 1構成例及び第 2構成例のフーリエ係数乗算器 76mでは、減算器 744から近端 信号に含まれる近端音声の割合の推定値が得られる構成である点に変わりはない。
[0169] したがって、図 19に示した第 2構成例のフーリエ係数乗算器 76mを用いた場合も、 図 16に示した第 1構成例のフーリエ係数乗算器 76mを用いた場合と同様に、上述し た本発明の効果を得ることができる。
[0170] 図 20は図 15に示したフーリエ係数乗算器の第 3構成例を示すブロック図である。
[0171] 第 3構成例のフーリエ係数乗算器 76mは、平滑部 740及び平滑部 741から乗算器 737に至る経路の処理の順序が異なる点で図 19に示した第 2構成例と異なっている
[0172] 第 3構成例のフーリエ係数乗算器 76mでは、平滑部 740の出力値が減算器 744及 び割算器 745へ出力され、平滑部 741の出力値が乗算器 746へ出力される。
[0173] 乗算器 746は、平滑部 741の出力値に係数発生部 200で生成された洩れこみ係 数を乗じ、その演算結果を減算器 744へ出力する。減算器 744は、平滑部 740の出 力値力も乗算器 746の出力値を減じ、その演算結果を割算器 745へ出力する。割算 器 745は、減算器 744の出力値を平滑部 740の出力値で除算し、その演算結果を 平滑部 748へ出力する。平滑部 748は、割算器 745の出力値を平滑し、その処理結 果を乗算器 737へ出力する。
[0174] 平滑部 748には、平滑化係数が異なることを除けば平滑部 747と同様の構成を用 いればよい。
[0175] ここで、平滑部 748に図 18に示した構成を採用すると、立ち上がり時で速ぐ立ち 下り時で遅い包絡線特性を備えることが可能であり、近端信号に含まれる近端音声 及び近端騒音の割合の推定精度を改善できる。
[0176] 平滑部 748の出力値 P5を式で示すと下記式（7)のようになる。
P5=Av[ (Av[S]— PI X Av[R] (S) /Av[S]) ] = Av[ (Av[ ( ( A + Ε + Ν) S— Εχ[Ε] ) ) /Av[S]]
Figure imgf000029_0001
= Ex[ (A+N) /S] - (7)
式（7)から平滑部 748の出力値 P5は、上記 P4と同様に近端信号に含まれる近端 音声の割合の推定値であることが分かる。
[0177] したがって、図 20に示す第 3構成例のフーリエ係数乗算器 76mも図 19に示した第 2構成例と同様の機能を備えており、図 16に示した第 1構成例のフーリエ係数乗算 器 76mを用いた場合と同様に、上述した本発明の効果を得ることができる。
[第 4実施例]
図 21は本発明のエコー抑圧装置の第 4実施例の構成を示すブロック図である。
[0178] 第 4実施例のエコー抑圧装置は、スペクトルサブレッシヨン部 7に減算器 4の出力信 号ではなくマイクロホン 1の出力信号を入力する点で図 14に示した第 3実施例のェコ 一抑圧装置と異なって 、る。
[0179] そのため、第 3実施例のエコー抑圧装置では線形エコーキャンセラ 3によってェコ 一の主要成分を除去して 、るが、第 4実施例のエコー抑圧装置ではスペクトルサブレ ッシヨン部 7によってエコーの主要成分を除去して 、る。
[0180] その他の構成及び動作は第 3実施例と同様であり、第 3実施例と同様に歪に起因 するエコーの除去効果についても同様に得られる。
[0181] したがって、第 4実施例のエコー抑圧装置も、第 3実施例と同様に音響伝達系に歪 がある場合や線形エコーキャンセラ 3でエコー経路推定を誤った場合のように線形ェ コーキャンセラ 3だけではエコーを十分に抑圧できない場合でも、スペクトルサプレツ シヨン部 7によってエコーを十分に抑圧できる。
[0182] さらに、スペクトルサブレッシヨン部 7で使用する洩れこみ係数として、使用状況に応 じて予め設定した値を用いることにより、近端騒音が大きい環境において使用状況を 変更した場合でも、エコーを十分に抑圧して、歪の少ない近端音声を得ることができ る。
[0183] 以上、本発明の実施例について説明したが、本発明は上述した第 1実施例〜第 4 実施例に限らず、以下に示すような各種の変更も可能である。 [0184] 例えば第 1従来例〜第 4従来例では、スペクトルサブトラクシヨン部 6及びスペクトル サブレッシヨン部 7にお 、て、所定のサンプル周期毎にフーリエ変換を行う例で説明 したが、所定のサンプル周期毎に限らず、一定間隔のフレーム単位で処理することも 可能である。
[0185] また、フレームをオーバーラップさせて処理することも可能である。その際、オーバ 一ラップセーブやオーバーラップアドなどの手法を用いて、演算量を削減することも 可能である。オーバーラップセーブやオーバーラップアドについては、例えば非特許 文献 4 (John J. Shynkに る論文 requency- Domain and Multirate Adaptive Pi Itering", IEEE Signal Processing Magazine, 1992年 1月、 pp.14- 37)に記載されて いる。
[0186] また、第 1従来例〜第 4従来例では、スペクトルサブトラクシヨン部 6及びスペクトル サブレッシヨン部 7においてフーリエ変換を行う例で説明した力 フーリエ変換以外に 、コサイン変換やフィルタバンク等の線形変換を用いることも可能であり、サブバンド 領域に変換して後、処理を行うことも可能である。その場合、フーリエ係数用の減算 器や乗算器は、それらの線形変換に対応して変更すればよい。例えばコサイン変換 を用いる場合は、コサイン係数用の減算器、コサイン係数用の乗算器を用いればよ V、。それら各種の演算器の動作は上述した第 1従来例〜第 4従来例で示した線形変 換にフーリエ変換を用いる場合と同様である。
[第 5実施例]
第 1実施例〜第 4実施例では線形エコーキャンセラ 3を用いる例を示したが、エコー の抑圧には変換領域エコーキャンセラを用いることも可能である。その場合、変換領 域エコーキャンセラの変換領域を上述したスペクトルサブトラクシヨン部 6やスペクトル サブレッシヨン部 7と同一の変換領域とすれば、エコー抑圧装置全体の演算量の削 減及び演算に伴う遅延時間を短縮できる。
[0187] なお、変換領域エコーキャンセラとは、線形変換によって展開された変換領域にお V、てエコーの抑圧処理を行、、逆線形変換によって元の領域に再合成するエコーキ ヤンセラを旨す。
[0188] 以下、変換領域エコーキャンセラとして、例えば上記非特許文献 4に記載されたフ 一リエ変換領域エコーキャンセラを用いる例で説明する。
[0189] 図 22は本発明のエコー抑圧装置の第 5実施例の構成を示すブロック図である。
[0190] 第 5実施例のエコー抑圧装置は、エコーキャンセラ 13及びスペクトルサブトラクショ ン部 16がフーリエ変換領域にぉ 、て処理を行う構成である。ェコ一キャンセラ 13は 変換領域信号群 1及び変換領域信号群 2をスペクトルサブトラクシヨン部 16に出力す る。
[0191] 図 23は図 22に示したエコーキャンセラの一構成例を示すブロック図である。
[0192] 図 23に示すエコーキャンセラ 13は、フーリエ変換器 35、適応フィルタ群 38、逆フ 一リエ変換器 36、フーリエ変換器 37及び乗算器 39m (m= l〜M)を備えた構成で ある。
[0193] 端子 31より入力された遠端信号は、フーリエ変翻35によってフーリエ変換領域 に展開され、周波数領域毎に適応フィルタ群 38へ出力される。また、図 22に示した 減算器 4力も端子 33を経由して入力された減算結果は、フーリエ変 によりフ 一リエ変換領域に展開され、周波数領域毎にそれぞれ乗算器 39m (m= l〜M)へ 出力される。
[0194] 乗算器 39m(m= l〜M)は、フーリエ変 37から受信した信号に端子 34を介し て受信した音声検出結果を乗じ、その演算結果を適応フィルタ群 38へ出力する。
[0195] 適応フィルタ群 38は、 M個の適応フィルタを備え、フーリエ変換器 35から出力され た信号群 2と乗算器 39m (m= l〜M)から出力された信号群 1とを受信し、対応する 信号を用いて適応フィルタによる処理を行う。適応フィルタの処理によって得られたフ ィルタ出力は逆フーリエ変翻 36へ出力される。
[0196] 逆フーリエ変翻 36は、適応フィルタ群 38で処理されたフィルタ出力の逆フーリエ 変換処理を実施し、その処理結果を端子 32から出力する。端子 32から出力される信 号がエコーキャンセラとしての出力信号となる。
[0197] また、エコーキャンセラ 13は、スペクトルサブトラクシヨン部 16で用いる、フーリエ変 翻 37の出力信号を変換領域信号群 1としてべ外ル型出力端子 41から出力し、適 応フィルタ群 38の出力を変換領域信号群 2としてベクトル型出力端子 42から出力す る。 [0198] 変換領域信号群 1は、図 22に示した減算器 4の出力信号をフーリエ変換した信号 であり、変換領域信号群 2は、図 22に示したエコーキャンセラ 13から減算器 4へ出力 される信号をフーリエ変換した信号と解釈できる。
[0199] 次に、図 22に示したスペクトルサブトラクシヨン部 16の構成及び動作について図面 を用いて説明する。
[0200] 図 24は図 22に示したスペクトルサブトラクシヨン部の一構成例を示すブロック図で ある。
[0201] 図 24に示すスペクトルサブトラクシヨン部 16は、図 11に示したフーリエ変 60及 びフーリエ変 61が削除され、変換領域信号群 1及び変換領域信号群 2が入力さ れる点で第 1実施例のエコー抑圧装置で用いたスペクトルサブトラクシヨン部 6と異な つている。
[0202] 上述したように、変換領域信号群 1は、図 22に示した減算器 4の出力信号をフーリ ェ変換した信号であり、変換領域信号群 2は、図 22に示したエコーキャンセラ 13から 減算器 4へ出力される信号をフーリエ変換した信号と解釈できる。これらの信号群は 、図 11に示したスペクトルサブトラクシヨン部 6が備えるフーリエ係数減算器 66m (m = 1〜M)に入力される 2つの信号と全く同一である。そのため、図 24に示すスぺタト ルサブトラクシヨン部 16は、図 11に示したスペクトルサブトラクシヨン部 6と全く同一の 信号を出力する。したがって、図 22に示した第 5実施例のエコー抑圧装置も本発明 の第 1実施例のエコー抑圧装置と同様の効果を備えている。
[0203] 第 5実施例のエコー抑圧装置では、スペクトルサブトラクシヨン部 16へエコーキャン セラ 13から出力された変換領域信号群 1及び変換領域信号群 2を供給することで、 スペクトルサブトラクシヨン部 16のフーリエ変換処理を低減できる。
[0204] このような構成は、第 2実施例〜第 4実施例で示したエコー抑圧装置にも適用可能 である。また、フーリエ変換領域以外にコサイン変換領域等を用いることも可能である
[第 6の実施例]
第 1実施例〜第 4実施例では線形エコーキャンセラ 3を用いる例を示したが、エコー の抑圧には、例えば非特許文献 4に記載されたサブバンド領域ェコ一キャンセラを用 いることも可能である。その場合、スペクトルサブトラクシヨン部 6やスペクトルサプレツ シヨン部 7の処理をサブバンド領域で処理を行えば、サブバンド領域に変換するため のフィルタを省略できる。
[0205] 図 25は本発明のエコー抑圧装置の第 6実施例の構成を示すブロック図である。
[0206] 第 6実施例のエコー抑圧装置は、サブバンド領域においてエコーキャンセラ及びス ベクトルサブトラクシヨン部による処理を行う。
[0207] 図 25に示すように、第 6実施例のエコー抑圧装置では、マイクロホン 1の出力信号 がサブバンド分析フィルタバンク 91によって N個の周波数帯域に展開され、遠端信 号がサブバンド分析フィルタバンク 92によって N個の周波数帯域に展開される。
[0208] エコーキャンセラ部 93n、減算器 94n、音声検出部 95η及びスペクトルサブトラクシ ヨン部 96η (ここで η= 1〜Ν)は、サブバンド分析フィルタバンク 91及びサブバンド分 析フィルタバンク 92によって展開された周波数帯域に対応して備えている。
[0209] スペクトルサブトラクシヨン部 96ηの出力信号は、サブバンド合成フィルタバンク 99 によって元の信号領域へ逆変換され、近端信号として出力される。
[0210] 各周波数帯域における、減算器 94η、音声検出部 95η及びスペクトルサブトラクシ ヨン部 96η (ここで η= 1〜Ν)の処理は、エコーキャンセラのタップ数や、スペクトルサ ブトラタシヨン部のフーリエ変翻の規模が異なる点を除けば、図 8に示した第 1実施 例のエコー抑圧装置と同様に動作する。したがって、これらの装置の構成や動作に ついての説明は省略する。
[0211] 第 6実施例のエコー抑圧装置では、全ての処理がサブバンド領域に展開されて行 われるため、線形エコーキャンセラ 3における合成フィルタバンク、及びスペクトルサ ブトラタシヨン部におけるサブバンド分析フィルタバンクを省略できる。そのため、サブ バンド分析フィルタバンク及びサブバンド合成フィルタバンクに相当する演算量を削 減でき、さらにその演算に相当する遅延時間を短縮できる。
[0212] 図 25に示した第 6実施例の構成は、第 2実施例〜第 4実施例で示したエコー抑圧 装置にも適用可能である。また、フーリエ変換領域以外にコサイン変換領域等を用い ることち可會である。
[第 7実施例] 図 26は本発明のエコー抑圧装置の第 7実施例の構成を示すブロック図である。
[0213] 第 7実施例のエコー抑圧装置は、エコーキャンセラ及びスペクトルサブトラクシヨン の処理をフーリエ変換領域で行う。
[0214] 図 26に示すように、第 7実施例のエコー抑圧装置では、マイクロホン 1の出力信号 力 Sフーリエ変^^ 191によって M個の周波数帯域に展開され、遠端信号がフーリエ 変 192によって M個の周波数帯域に展開される。
[0215] エコーキャンセラ部 193m、減算器 194m、音声検出部 195m及びフーリエ係数減 算器 66m(m= l〜M)は、フーリエ変翻 191及びフーリエ変翻 192によって展 開された周波数帯域に対応して備えて 、る。
[0216] 周波数帯域毎のフーリエ係数減算器 66mの出力信号は、逆フーリエ変換器 199に よって元の信号領域へ逆変換され、近端信号として出力される。
[0217] 各周波数帯域における、減算器 194m、音声検出部 195mの処理は、エコーキャン セラのタップ数が異なる点を除けば、図 8に示した第 1実施例のェコ一抑圧装置と同 様に動作する。したがって、これらの装置の構成や動作についての説明は省略する
[0218] 第 7実施例のエコー抑圧装置は、第 6実施例と同様にエコーキャンセラ及びスぺク トルサブトラクシヨン部の処理を変換領域にぉ 、て行って!/、るが、フーリエ変換領域 で処理を行うために周波数帯域の数 Mが第 6実施例よりも多くなり、スペクトルサブト ラタシヨン部に代わってフーリエ係数減算器 66mを用いる点で第 6実施例のエコー抑 圧装置と異なっている。
[0219] 第 7実施例のエコー抑圧装置では、フーリエ変換領域に展開して処理するため、ス ベクトルサブトラクシヨンの処理のためにフーリエ変換を行う必要がない。そのため、 第 7実施例では、スペクトルサブトラクシヨン部が備えるフーリエ変 及び逆フーリ ェ変^^が不要となり、フーリエ係数減算器 66mのみでスペクトルサブトラクシヨンの 処理に必要な動作を行って!/、る。
[0220] 第 7実施例のエコー抑圧装置では、省略したフーリエ変換器及び逆フーリエ変換 器に相当する演算量を削減できる。
[0221] 図 26に示した第 7実施例の構成は、第 2実施例〜第 4実施例で示したエコー抑圧 装置にも適用可能である。また、フーリエ変換領域以外にコサイン変換領域等を用い ることち可會である。
[0222] なお、第 7実施例では線形エコーキャンセラを用いる例を示したが、エコーの抑圧 には非線形エコーキャンセラを用いることも可能である。その場合もスペクトルサブト ラタシヨン部やスペクトルサブレッシヨン部の処理をフーリエ変換領域で行えば、上記 と同様の効果が得られる。
[0223] 以上、本発明のエコー抑圧装置をノヽンズフリー電話器を例にして説明したが、本発 明は、スピーカ力 音楽が拡声されている状態で収音する場合や、ハンドセットが備 えるレシーノくからのエコーが問題となるような場合等、スピーカによる拡声とマイクロ ホンによる収音とが同時に行われる各種の装置に適用可能である。

Claims

請求の範囲
[1] 収音器と拡声器間の音響結合により発生するエコーを抑圧するためのエコー抑圧 方法であって、
前記収音器の出力信号または前記収音器の出力信号力 エコーキャンセラの出力 信号を減じた信号の何れか一方を第 1の信号とし、前記エコーキャンセラの出力信号 を第 2の信号としたとき、
前記第 1の信号へ洩れこむ前記第 2の信号の洩れこみ量の算出に用いる、予め設 定された値である洩れこみ係数を用 、て前記第 1の信号を補正するェコ一抑圧方法
[2] 前記第 1の信号を所定の周波数領域毎に分割し、
各周波数領域に対応する前記洩れこみ係数を用いて前記第 1の信号を補正する 請求項 1記載のエコー抑圧方法。
[3] 予め設定された複数の洩れこみ係数のうち、前記第 1の信号の補正に用いる洩れ こみ係数を所定の使用状況に応じて選択する請求項 1または 2記載のェコ一抑圧方 法。
[4] 前記使用状況は、
前記エコーキャンセラの出力信号の電力または振幅、遠端信号の電力または振幅
、前記遠端信号の特定の周波数成分の電力または振幅の 、ずれかである請求項 3 記載のエコー抑圧方法。
[5] 前記使用状況は、
前記拡声器の音量設定値である請求項 3記載のエコー抑圧方法。
[6] 前記使用状況は、
前記収音器と前記拡声器との相対的な位置関係である請求項 3記載のエコー抑圧 方法。
[7] 前記使用状況は、
前記収音器または前記拡声器の少なくとも一方が複数存在するとき、使用する収 音器または拡声器である請求項 3記載のエコー抑圧方法。
[8] 前記係数と前記第 2の信号から前記第 1の信号に含まれるエコーの量を推定し、該 推定したエコーの量を前記第 1の信号から減ずることで前記第 1の信号を補正する請 求項 1乃至 7のいずれ力 1項記載のエコー抑圧方法。
[9] 前記洩れこみ係数、前記第 1の信号及び前記第 2の信号から前記第 1の信号に含 まれる近端音声の割合を推定し、該推定した割合を前記第 1の信号に乗ずることで 前記第 1の信号を補正する請求項 1乃至 7のいずれか 1項記載のエコー抑圧方法。
[10] 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置で あって、
前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、 前記収音器の出力信号または前記収音器の出力信号力 前記エコーキャンセラの 出力信号を減じた信号の何れか一方を第 1の信号とし、前記エコーキャンセラの出力 信号を第 2の信号としたとき、前記第 1の信号へ洩れこむ前記第 2の信号の洩れこみ 量の算出に用いる、予め設定された値である洩れこみ係数を生成する係数発生部と 前記係数発生部で生成した前記洩れこみ係数を用いて前記第 1の信号を補正する 補正部と、
を有するエコー抑圧装置。
[11] 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置で あって、
前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、 前記収音器の出力信号または前記収音器の出力信号力 前記エコーキャンセラの 出力信号を減じた信号の何れか一方を第 1の信号とし、前記エコーキャンセラの出力 信号を第 2の信号としたとき、前記第 1の信号を所定の周波数領域毎に分割する周 波数分割部と、
前記分割された前記第 1の信号の周波数領域毎に、前記第 1の信号へ洩れこむ前 記第 2の信号の洩れこみ量の算出に用いる、予め設定された値である洩れこみ係数 を生成する係数発生部と、
前記第 1の信号の周波数領域毎に前記係数発生部で生成した前記洩れこみ係数 を用いて前記第 1の信号を補正する補正部と、 前記周波数領域毎に補正された第 1の信号を合成する周波数合成部と、 を有するエコー抑圧装置。
[12] 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置で あって、
前記エコーを模擬したエコーレプリカ信号を生成する変換領域エコーキャンセラと、 前記収音器の出力信号力 前記変換領域エコーキャンセラの出力信号を減じた信 号を前記変換領域エコーキャンセラ内で所定の周波数領域毎に分割した信号を第 1 の信号とし、前記変換領域エコーキャンセラ内における逆線形変換前の周波数領域 毎の信号を第 2の信号とするとき、前記第 1の信号の周波数領域毎に、前記第 1の信 号へ洩れこむ前記第 2の信号の洩れこみ量の算出に用いる、予め設定された値であ る洩れこみ係数を生成する係数発生部と、
該係数発生部により周波数領域毎に生成した前記洩れこみ係数を用いて前記周 波数領域毎に前記第 1の信号を補正する補正部と、
前記周波数領域毎に補正された第 1の信号を合成する周波数合成部と、 を有するエコー抑圧装置。
[13] 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置で あって、
前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、 前記収音器の出力信号と前記拡声器の出力信号を所定の周波数領域毎に展開 するサブバンド分析フィルタと、
前記周波数領域に展開された前記収音器の出力信号または前記周波数領域に展 開された前記収音器の出力信号力 前記エコーキャンセラの出力信号を減じた信号 のいずれか一方を第 1の信号とし、前記エコーキャンセラの出力信号を第 2の信号と したとき、前記第 1の信号の周波数領域毎に、前記第 1の信号へ洩れこむ前記第 2の 信号の洩れこみ量の算出に用いる、予め設定された値である洩れこみ係数を生成す る係数発生部と、
前記係数発生部により周波数領域毎に生成した前記洩れこみ係数を用いて前記 周波数領域毎に前記第 1の信号を補正する前記周波数領域に対応する複数の補正 部と、
前記補正部で補正された第 1の信号を合成するサブバンド合成フィルタと、 を有するエコー抑圧装置。
[14] 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置で あって、
前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、 前記収音器の出力信号と前記拡声器の出力信号を所定の周波数領域毎に展開 するフーリエ変^^と、
前記周波数領域に展開された前記収音器の出力信号または前記周波数領域に展 開された前記収音器の出力信号力 前記エコーキャンセラの出力信号を減じた信号 のいずれか一方を第 1の信号とし、前記エコーキャンセラの出力信号を第 2の信号と したとき、前記第 1の信号の周波数領域毎に、前記第 1の信号へ洩れこむ前記第 2の 信号の洩れこみ量の算出に用いる、予め設定された値である洩れこみ係数を生成す る係数発生部と、
前記係数発生部により周波数領域毎に生成した前記洩れこみ係数を用いて前記 周波数領域毎に前記第 1の信号を補正する前記周波数領域に対応する複数の補正 部と、
前記補正部で補正された第 1の信号を合成する逆フーリエ変換器と、
を有するエコー抑圧装置。
[15] 前記係数発生部は、
予め設定された複数の洩れこみ係数のうち、前記第 1の信号の補正に用いる洩れ こみ係数を所定の使用状況に応じて選択する請求項 10乃至 14のいずれか 1項記載 のエコー抑圧装置。
[16] 前記係数発生部は、
所定の使用状況を検出する検出部と、
予め設定された複数の前記洩れこみ係数を前記第 1の信号の周波数領域毎に、か つ前記使用状況に対応して保持し、前記検出部で検出された前記使用状況に対応 する洩れこみ係数を周波数領域毎に出力する記憶装置と、 を有する請求項 10乃至 14のいずれか 1項記載のエコー抑圧装置。
[17] 前記使用状況は、
前記エコーキャンセラの出力信号の電力または振幅、遠端信号の電力または振幅 、前記遠端信号の特定の周波数領域の電力または振幅のいずれかである請求項 15 または 16記載のエコー抑圧装置。
[18] 前記使用状況は、
前記拡声器の音量設定値である請求項 15または 16記載のエコー抑圧装置。
[19] 前記使用状況は、
前記収音器と前記拡声器との相対的な位置関係である請求項 15または 16記載の エコー抑圧装置。
[20] 前記使用状況は、
前記収音器または前記拡声器の少なくとも一方が複数存在するとき、使用する収 音器または拡声器である請求項 15または 16記載のエコー抑圧装置。
[21] 前記補正部は、
前記係数と前記第 2の信号から前記第 1の信号に含まれるエコーの量を推定し、該 推定したエコーの量を前記第 1の信号から減ずることで前記第 1の信号を補正する請 求項 10乃至 20の!、ずれか 1項記載のエコー抑圧装置。
[22] 前記補正部は、
前記洩れこみ係数、前記第 1の信号及び前記第 2の信号から前記第 1の信号に含 まれる近端信号の割合を推定し、該推定した割合を前記第 1の信号に乗ずることで 前記第 1の信号を補正する請求項 10乃至 20のいずれか 1項記載のエコー抑圧装置
[23] 前記補正部は、
前記第 1の信号の振幅または電力に応じた量を平滑する第 1の平滑部と、 前記第 2の信号の振幅または電力に応じた量を平滑する第 2の平滑部と、 前記第 2の平滑部で平滑された量に前記洩れこみ係数を乗ずる第 1の乗算器と、 前記第 1の平滑部で平滑された量から前記第 1の乗算器の乗算結果を減ずる減算 器と、 前記減算器の減算結果を前記第 1の平滑部で平滑された量で除算する割算器と、 該割算器の除算結果を平滑する第 3の平滑部と、
前記第 1の信号に前記第 3の平滑部で平滑された量を乗ずる第 2の乗算器と、 を有する請求項 22記載のエコー抑圧装置。
PCT/JP2006/321267 2005-10-26 2006-10-25 エコー抑圧方法及び装置 WO2007049643A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007542622A JP4702371B2 (ja) 2005-10-26 2006-10-25 エコー抑圧方法及び装置
US12/084,119 US8811627B2 (en) 2005-10-26 2006-10-25 Echo suppressing method and apparatus
CN2006800488146A CN101346895B (zh) 2005-10-26 2006-10-25 回声抑制方法及设备
EP06822244.7A EP1942582B1 (en) 2005-10-26 2006-10-25 Echo suppressing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005311180 2005-10-26
JP2005-311180 2005-10-26

Publications (1)

Publication Number Publication Date
WO2007049643A1 true WO2007049643A1 (ja) 2007-05-03

Family

ID=37967753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/321267 WO2007049643A1 (ja) 2005-10-26 2006-10-25 エコー抑圧方法及び装置

Country Status (6)

Country Link
US (1) US8811627B2 (ja)
EP (1) EP1942582B1 (ja)
JP (1) JP4702371B2 (ja)
KR (1) KR100974370B1 (ja)
CN (1) CN101346895B (ja)
WO (1) WO2007049643A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014937A (ja) * 2007-07-03 2009-01-22 Fujitsu Ltd エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
WO2009051197A1 (ja) * 2007-10-19 2009-04-23 Nec Corporation エコー抑圧方法及び装置
JP2010199809A (ja) * 2009-02-24 2010-09-09 Nippon Telegr & Teleph Corp <Ntt> 反響消去装置、反響消去方法、反響消去プログラム
JP2013017192A (ja) * 2012-08-15 2013-01-24 Nippon Telegr & Teleph Corp <Ntt> 反響消去装置、反響消去方法、反響消去プログラム
JP2014510452A (ja) * 2011-02-10 2014-04-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ノイズ、エコーおよびロケーション外（ｏｕｔ−ｏｆ−ｌｏｃａｔｉｏｎ）信号の合成された抑制
US9443528B2 (en) 2012-05-10 2016-09-13 Zte Corporation Method and device for eliminating echoes

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369511B2 (en) * 2006-12-26 2013-02-05 Huawei Technologies Co., Ltd. Robust method of echo suppressor
US8666091B2 (en) * 2008-06-13 2014-03-04 Sony Corporation Method for reducing a disturbance in an input signal caused by an output signal in a multi-port connector, multi-port connector, and mobile device
US8381043B2 (en) * 2009-02-27 2013-02-19 Kabushiki Kaisha Toshiba System for testing a hinge and a cable connecting the main body and the display of a device
US20120155665A1 (en) * 2009-08-24 2012-06-21 Udayan Kande Echo Canceller With Adaptive Non-Linearity
CN102739286B (zh) * 2011-04-01 2014-06-11 中国科学院声学研究所 一种用于通信***中的回声抵消方法
US8811602B2 (en) * 2011-06-30 2014-08-19 Broadcom Corporation Full duplex speakerphone design using acoustically compensated speaker distortion
CN105706468B (zh) 2013-09-17 2017-08-11 韦勒斯标准与技术协会公司 用于音频信号处理的方法和设备
KR101804744B1 (ko) 2013-10-22 2017-12-06 연세대학교 산학협력단 오디오 신호 처리 방법 및 장치
EP4246513A3 (en) 2013-12-23 2023-12-13 Wilus Institute of Standards and Technology Inc. Audio signal processing method and parameterization device for same
CN106105269B (zh) 2014-03-19 2018-06-19 韦勒斯标准与技术协会公司 音频信号处理方法和设备
WO2015152665A1 (ko) * 2014-04-02 2015-10-08 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
KR20220113833A (ko) * 2014-04-02 2022-08-16 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
JP6446893B2 (ja) * 2014-07-31 2019-01-09 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びエコー抑圧用コンピュータプログラム
US9628910B2 (en) * 2015-07-15 2017-04-18 Motorola Mobility Llc Method and apparatus for reducing acoustic feedback from a speaker to a microphone in a communication device
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
AU2017208909B2 (en) * 2016-01-18 2019-01-03 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
CN105657110B (zh) * 2016-02-26 2020-02-14 深圳Tcl数字技术有限公司 语音通信的回声消除方法及装置
US10764704B2 (en) 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
CN110675889A (zh) 2018-07-03 2020-01-10 阿里巴巴集团控股有限公司 音频信号处理方法、客户端和电子设备
US10984815B1 (en) * 2019-09-27 2021-04-20 Cypress Semiconductor Corporation Techniques for removing non-linear echo in acoustic echo cancellers
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
CN112992137B (zh) * 2021-01-29 2022-12-06 青岛海尔科技有限公司 语音交互方法和装置、存储介质及电子装置
US11336367B1 (en) * 2021-03-12 2022-05-17 Iena Corporation Low-power pre-compensation of linear and nonlinear transmitter effects in narrow-spectrum optical signals
CN113542980B (zh) * 2021-07-21 2023-03-31 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法
CN114584902B (zh) * 2022-03-17 2023-05-16 睿云联(厦门)网络通讯技术有限公司 一种基于音量控制的对讲设备非线性回音消除方法及装置
CN115604630A (zh) * 2022-09-29 2023-01-13 歌尔科技有限公司（Cn） 声场扩展方法、音频设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541681A (ja) * 1991-08-05 1993-02-19 Toshiba Corp エコーキヤンセラ
JPH089005A (ja) 1994-06-21 1996-01-12 Nec Corp 折りたたみ型携帯電話装置
JP2002009677A (ja) * 2000-06-23 2002-01-11 Matsushita Electric Ind Co Ltd 音響エコーキャンセラー装置
JP2004056453A (ja) 2002-07-19 2004-02-19 Nec Corp エコー抑圧方法及び装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08288894A (ja) * 1995-04-14 1996-11-01 Sony Corp エコー抑圧装置
EP0789476B1 (en) * 1996-02-09 2004-11-17 Texas Instruments Incorporated Noise reduction arrangement
JP3850290B2 (ja) 2001-12-27 2006-11-29 株式会社ケンウッド 移動体電話機
JP2005051744A (ja) * 2003-07-17 2005-02-24 Matsushita Electric Ind Co Ltd 通話装置
JP2008507522A (ja) * 2004-07-23 2008-03-13 ザ プロクター アンド ギャンブル カンパニー フラボノイドとビタミンｂ３を含有するスキンケア組成物

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541681A (ja) * 1991-08-05 1993-02-19 Toshiba Corp エコーキヤンセラ
JPH089005A (ja) 1994-06-21 1996-01-12 Nec Corp 折りたたみ型携帯電話装置
JP2002009677A (ja) * 2000-06-23 2002-01-11 Matsushita Electric Ind Co Ltd 音響エコーキャンセラー装置
JP2004056453A (ja) 2002-07-19 2004-02-19 Nec Corp エコー抑圧方法及び装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. ALVAREZ ET AL.: "A Speech Enhancement System Based On Negative Beamforming And Spectral Subtraction", INTERNATIONAL WORKSHOP ON ACOUSTIC ECHO AND NOISE CONTROL, 2001
EBERHARD HANSLER: "The hands-free telephone problem: an annotated bibliography update", ANNALS OF TELECOMMUNICATIONS, 1994, pages 360 - 367
JOHN J. SHYNK: "Frequency-Domain and Multirate Adaptive Filtering", IEEE SIGNAL PROCESSING MAGAZINE, January 1992 (1992-01-01), pages 14 - 37
See also references of EP1942582A4 *
XIAOJIAN LU; BENOIT CHAMPAGNE: "Acoustical Echo Cancellation Over A Non-Linear Channel", INTERNATIONAL WORKSHOP ON ACOUSTIC ECHO AND NOISE CONTROL, 2001

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014937A (ja) * 2007-07-03 2009-01-22 Fujitsu Ltd エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
WO2009051197A1 (ja) * 2007-10-19 2009-04-23 Nec Corporation エコー抑圧方法及び装置
US20100208908A1 (en) * 2007-10-19 2010-08-19 Nec Corporation Echo supressing method and apparatus
JPWO2009051197A1 (ja) * 2007-10-19 2011-03-03 日本電気株式会社 エコー抑圧方法及び装置
US8488776B2 (en) 2007-10-19 2013-07-16 Nec Corporation Echo suppressing method and apparatus
JP2010199809A (ja) * 2009-02-24 2010-09-09 Nippon Telegr & Teleph Corp <Ntt> 反響消去装置、反響消去方法、反響消去プログラム
JP2014510452A (ja) * 2011-02-10 2014-04-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ノイズ、エコーおよびロケーション外（ｏｕｔ−ｏｆ−ｌｏｃａｔｉｏｎ）信号の合成された抑制
US9443528B2 (en) 2012-05-10 2016-09-13 Zte Corporation Method and device for eliminating echoes
JP2013017192A (ja) * 2012-08-15 2013-01-24 Nippon Telegr & Teleph Corp <Ntt> 反響消去装置、反響消去方法、反響消去プログラム

Also Published As

Publication number Publication date
EP1942582A4 (en) 2011-11-02
EP1942582B1 (en) 2019-04-03
US20090041263A1 (en) 2009-02-12
KR20080066049A (ko) 2008-07-15
EP1942582A1 (en) 2008-07-09
JP4702371B2 (ja) 2011-06-15
JPWO2007049643A1 (ja) 2009-04-30
KR100974370B1 (ko) 2010-08-05
CN101346895B (zh) 2012-02-22
US8811627B2 (en) 2014-08-19
CN101346895A (zh) 2009-01-14

Similar Documents

Publication Publication Date Title
JP4702371B2 (ja) エコー抑圧方法及び装置
JP4702372B2 (ja) エコー抑圧方法及び装置
US8488776B2 (en) Echo suppressing method and apparatus
JP4161628B2 (ja) エコー抑圧方法及び装置
US9509854B2 (en) Echo cancellation
US8503687B2 (en) System identification device and system identification method
JP5057109B2 (ja) エコーキャンセラ装置
JP4700673B2 (ja) エコー消去方法、装置、プログラム、および記録媒体
US11197093B2 (en) Echo suppression device, echo suppression method, and non-transitory computer-readable recording medium which records echo suppression program
US10819858B2 (en) Method for improving echo cancellation effect and system thereof
JP3616341B2 (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体
JP4631933B2 (ja) エコー抑圧方法
JP6075783B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP2012205161A (ja) 音声通話装置
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
KR20030000347A (ko) 시변 적응알고리즘이 적용된 음향반향 제거장치 및 그 방법
JP2019220917A (ja) エコー消去装置、エコー消去方法、プログラム
JP2005175804A (ja) エコーキャンセラ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680048814.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2007542622

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12084119

Country of ref document: US

Ref document number: 2006822244

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087012372

Country of ref document: KR