WO2017064840A1 - 音源分離装置および音源分離方法 - Google Patents

音源分離装置および音源分離方法 Download PDF

Info

Publication number
WO2017064840A1
WO2017064840A1 PCT/JP2016/004391 JP2016004391W WO2017064840A1 WO 2017064840 A1 WO2017064840 A1 WO 2017064840A1 JP 2016004391 W JP2016004391 W JP 2016004391W WO 2017064840 A1 WO2017064840 A1 WO 2017064840A1
Authority
WO
WIPO (PCT)
Prior art keywords
crosstalk
signal
microphone
sound
transfer function
Prior art date
Application number
PCT/JP2016/004391
Other languages
English (en)
French (fr)
Inventor
良二 鈴木
宏正 大橋
田中　直也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16855097.8A priority Critical patent/EP3333850A4/en
Priority to JP2017545086A priority patent/JP6318376B2/ja
Publication of WO2017064840A1 publication Critical patent/WO2017064840A1/ja
Priority to US15/889,279 priority patent/US10290312B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • the present disclosure relates to a sound source separation device that performs signal processing to reduce crosstalk (crosstalk) on a plurality of audio signals collected from a plurality of microphones.
  • Patent Document 1 discloses a sound source separation device that restores a source signal from a mixture of a plurality of signals in a space.
  • This sound source separation device includes means for performing a short-time Fourier transform on an observation signal, means for obtaining a separation matrix at each frequency subjected to short-time Fourier transform by independent component analysis, and a signal extracted by each row of the separation matrix at each frequency.
  • Permutation replacement of the sound source at each frequency
  • those frequencies at which it is determined that the estimation of the arrival direction of the signal is sufficiently reliable Permutation is determined by aligning directions, and means for determining permutation so as to increase the similarity of a separated signal with a nearby frequency at other frequencies. Thereby, the source signal can be restored while solving the permutation.
  • the present disclosure reduces crosstalk for a plurality of audio signals collected from a plurality of microphones by using smaller hardware without calculating a separation matrix that requires a large amount of computation.
  • a sound source separation device that can separate individual audio signals is provided.
  • the sound source separation device includes a first microphone for inputting the first sound, a second microphone for inputting the second sound, and the second sound from the sound signal of the first microphone to the first microphone.
  • a first crosstalk canceller that removes input first crosstalk; a second crosstalk canceller that removes second crosstalk in which the first audio is input to the second microphone from the audio signal of the second microphone; Is provided.
  • the first crosstalk canceller estimates and calculates the first interference signal indicating the degree of the first crosstalk using the audio signal obtained by removing the second crosstalk from the audio signal of the second microphone.
  • One jamming signal is removed from the audio signal of the first microphone.
  • the second crosstalk canceller estimates and calculates the second interference signal indicating the degree of the second crosstalk using the audio signal obtained by removing the first crosstalk from the audio signal of the first microphone, Two interference signals are removed from the audio signal of the second microphone.
  • the sound source separation method in the present disclosure is a sound source separation method performed in a sound source separation device that separates the first sound and the second sound from the sound signal including the first sound and the second sound.
  • the sound source separation device includes a first microphone for inputting the first sound and a second microphone for inputting the second sound, and the sound source separation method uses the second sound from the sound signal of the first microphone. From the first crosstalk canceling step for removing the first crosstalk input to the first microphone and the second crosstalk for the first speaker's voice being input to the second microphone from the audio signal of the second microphone. A second crosstalk canceling step to be removed.
  • the first interference signal indicating the degree of the first crosstalk is estimated using the audio signal obtained by removing the second crosstalk from the audio signal of the second microphone in the second crosstalk cancellation step.
  • the calculated first disturbance signal is removed from the sound signal of the first microphone.
  • the second interference signal indicating the degree of the second crosstalk is estimated using the audio signal obtained by removing the first crosstalk from the audio signal of the first microphone in the first crosstalk cancellation step.
  • the calculated second disturbance signal is removed from the audio signal of the second microphone.
  • a smaller scale is used to separate individual audio signals from audio signals collected from a plurality of microphones without calculating a separation matrix that requires a large amount of calculation.
  • Crosstalk can be reduced using simple hardware.
  • FIG. 1 The figure which shows the example of application of the sound source separation apparatus in Embodiment 1.
  • FIG. 2 Block diagram showing a configuration of a sound source separation apparatus according to Embodiment 2
  • FIG. 1 is a diagram illustrating an application example of the sound source separation device 20 according to the first embodiment.
  • a device a vehicle interior conversation assist device that amplifies and assists bidirectional conversation in the vehicle 10.
  • the sound source separation device 20 is a device that amplifies and assists two-way conversation between the first speaker 11 (here, the driver) and the second speaker 12 (here, the rear passenger).
  • a first microphone 21 for inputting the voice (first voice) of the first speaker 11 is provided on the ceiling of the driver seat, and a first microphone for outputting the voice is provided on the inner side surface of the rear seat.
  • a speaker 22 is provided.
  • a second microphone 23 for inputting the voice of the second speaker 12 (second voice) is provided on the ceiling of the rear seat, and the voice is output on the inner side surfaces of the two front doors.
  • the second speaker 24 is provided.
  • Both the first speaker 11 and the second speaker 12 can remove acoustic noise including crosstalk (crosstalk) even in one narrow space in the car by using the sound source separation device 20. You can enjoy conversation.
  • Crosstalk refers to a phenomenon in which the voice of a certain speaker is input to a microphone for inputting the voice of another person.
  • a phenomenon in which the voice of the second speaker 12 is input to the first microphone 21.
  • the phenomenon in which the voice of the first speaker 11 is input to the second microphone 23.
  • FIG. 2 is a block diagram showing a configuration of the sound source separation device 20 shown in FIG.
  • the sound source separation device 20 includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first crosstalk canceller 50, and a second crosstalk canceller 70.
  • Each component of the sound source separation device 20 is connected by wire or wirelessly.
  • the first crosstalk canceller 50 and the second crosstalk canceller 70 are mounted as part of the head unit of the car 10, for example.
  • the first microphone 21 is a microphone for inputting the voice 36 of the first speaker, and is provided, for example, on the ceiling of the driver's seat of the car 10 as shown in FIG. Note that the audio signal output from the first microphone 21 is, for example, digital audio data generated by a built-in A / D converter.
  • the first speaker 22 is a speaker for outputting the voice 36 of the first speaker.
  • the first speaker 22 is provided on the inner side surfaces on both sides of the rear seat of the car 10.
  • the first speaker 22 converts input digital audio data, which is an audio signal from the first microphone 21, into an analog signal by a built-in D / A converter, and then outputs it as audio.
  • the second microphone 23 is a microphone for inputting the voice 37 of the second speaker, and is provided on the ceiling of the rear seat, for example, as shown in FIG. Note that the audio signal output from the second microphone 23 is, for example, digital audio data generated by a built-in A / D converter.
  • the second speaker 24 is a speaker for outputting the voice 37 of the second speaker, and is provided, for example, on the inner side surfaces of the two front doors of the car 10 as shown in FIG.
  • the first crosstalk canceller 50 uses the output signal of the second crosstalk canceller 70 and a first disturbance signal indicating the degree of the first crosstalk 32 in which the voice of the second speaker 12 is input to the first microphone 21. , And the calculated first disturbance signal is removed from the output signal of the first microphone 21, and the signal after the removal is output to the first speaker 22.
  • the first crosstalk canceller 50 is a digital signal processing circuit that processes digital audio data in the time axis region.
  • the first crosstalk canceller 50 includes a first transfer function storage circuit 54, a first storage circuit 52, a first convolution calculator 53, a first subtractor 51, and a first transfer function update circuit 55. .
  • the first transfer function storage circuit 54 stores the transfer function estimated as the transfer function of the first crosstalk 32.
  • the first storage circuit 52 stores the signal output from the second crosstalk canceller 70.
  • the first convolution calculator 53 generates a first disturbance signal by convolving the signal stored in the first storage circuit 52 and the transfer function stored in the first transfer function storage circuit 54.
  • the first convolution calculator 53 is an N-tap FIR (Finite Impulse Response) filter that performs the convolution calculation shown in the following Expression 1.
  • y1't is the first disturbance signal at time t.
  • N is the number of taps of the FIR filter.
  • H1 (i) t is the i-th transfer function among the N transfer functions stored in the first transfer function storage circuit 54 at time t.
  • x1 (ti) is the (ti) -th signal among the signals stored in the first memory circuit 52.
  • the first subtracter 51 removes the first interference signal output from the first convolution calculator 53 from the output signal of the first microphone 21 and outputs it as the output signal of the first crosstalk canceller 50.
  • the first subtracter 51 performs the subtraction shown in the following Expression 2.
  • e1t is an output signal of the first subtracter 51 at time t.
  • y1t is an output signal of the first microphone 21 at time t.
  • the first transfer function update circuit 55 updates the transfer function stored in the first transfer function storage circuit 54 based on the output signal of the first subtractor 51 and the signal stored in the first storage circuit 52.
  • the first transfer function update circuit 55 is based on the output signal of the first subtractor 51 and the signal stored in the first storage circuit 52 using independent component analysis as shown in the following Expression 3.
  • the transfer function stored in the first transfer function storage circuit 54 is updated so that the output signal of the first subtractor 51 and the signal stored in the first storage circuit 52 are independent of each other.
  • H1 (j) t + 1 is the j-th transfer function among the N transfer functions stored in the first transfer function storage circuit 54 at time t + 1 (that is, after the update).
  • H1 (j) t is the j-th transfer function among the N transfer functions stored in the first transfer function storage circuit 54 at time t (that is, before update).
  • ⁇ 1 is a step size parameter for controlling the learning speed in estimating the transfer function of the first crosstalk 32.
  • ⁇ 1 is a nonlinear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the first transfer function update circuit 55 performs nonlinear processing using the nonlinear function on the output signal of the first subtractor 51, and the obtained result is stored in the first storage circuit 52.
  • the first update coefficient is calculated by multiplying the signal by the first step size parameter for controlling the learning speed in estimating the transfer function of the first crosstalk 32. Then, the update is performed by adding the calculated first update coefficient to the transfer function stored in the first transfer function storage circuit 54.
  • the second crosstalk canceller 70 uses the output signal of the first crosstalk canceller 50 and a second interference signal indicating the degree of the second crosstalk 35 in which the voice of the first speaker 11 is input to the second microphone 23. , And the calculated second interference signal is removed from the output signal of the second microphone 23 and the signal after the removal is output to the second speaker 24.
  • the second crosstalk canceller 70 is a digital signal processing circuit that processes digital audio data in the time axis domain.
  • the second crosstalk canceller 70 includes a second transfer function storage circuit 74, a second storage circuit 72, a second convolution calculator 73, a second subtractor 71, and a second transfer function update circuit 75. .
  • the second transfer function storage circuit 74 stores the transfer function estimated as the transfer function of the second crosstalk 35.
  • the second storage circuit 72 stores the signal output from the first crosstalk canceller 50.
  • the second convolution calculator 73 generates a second interference signal by convolving the signal stored in the second storage circuit 72 and the transfer function stored in the second transfer function storage circuit 74.
  • the second convolution calculator 73 is an N-tap FIR filter that performs a convolution operation represented by the following Expression 4.
  • y2't is the second disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H2 (i) t is the i-th transfer function among the N transfer functions stored in the second transfer function storage circuit 74 at time t.
  • x2 (ti) is the (ti) -th signal among the signals stored in the second memory circuit 72.
  • the second subtracter 71 removes the second interference signal output from the second convolution calculator 73 from the output signal of the second microphone 23 and outputs it as the output signal of the second crosstalk canceller 70.
  • the second subtracter 71 performs the subtraction shown in the following Expression 5.
  • e2t is an output signal of the second subtracter 71 at time t.
  • y2t is an output signal of the second microphone 23 at time t.
  • the second transfer function update circuit 75 updates the transfer function stored in the second transfer function storage circuit 74 based on the output signal of the second subtracter 71 and the signal stored in the second storage circuit 72.
  • the second transfer function update circuit 75 is based on the output signal of the second subtractor 71 and the signal stored in the second storage circuit 72 using independent component analysis as shown in the following Expression 6.
  • the transfer function stored in the second transfer function storage circuit 74 is updated so that the output signal of the second subtracter 71 and the signal stored in the second storage circuit 72 are independent of each other.
  • H2 (j) t + 1 is the j-th transfer function among the N transfer functions stored in the second transfer function storage circuit 74 at time t + 1 (that is, after the update).
  • H2 (j) t is the j-th transfer function among the N transfer functions stored in the second transfer function storage circuit 74 at time t (that is, before update).
  • ⁇ 2 is a step size parameter for controlling the learning speed in estimating the transfer function of the second crosstalk 35.
  • ⁇ 2 is a nonlinear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the second transfer function update circuit 75 performs nonlinear processing using the nonlinear function on the output signal of the second subtractor 71, and the obtained result is stored in the second storage circuit 72.
  • the second update coefficient is calculated by multiplying the signal by the second step size parameter for controlling the learning speed in estimating the transfer function of the second crosstalk 35. Then, the update is performed by adding the calculated second update coefficient to the transfer function stored in the second transfer function storage circuit 74.
  • the time when the output signal of the second crosstalk canceller 70 is input to the first crosstalk canceller 50 for the voice of the second speaker 12 at the same time is the second time. It is designed to be the same as or earlier than the time when the voice of the speaker 12 is input to the first microphone 21. That is, the causality is maintained so that the first crosstalk canceller 50 can cancel the first crosstalk 32.
  • the time when the output signal of the first crosstalk canceller 50 is input to the second crosstalk canceller 70 for the voice of the first speaker 11 at the same time is the first time. It is designed to be the same as or earlier than the time when the voice of one speaker 11 is input to the second microphone 23. That is, the causality is maintained so that the second crosstalk canceller 70 can cancel the second crosstalk 35.
  • the voice 36 of the first speaker and the voice 37 of the second speaker are processed as follows.
  • the voice 36 of the first speaker is input to the first microphone 21.
  • the first interference signal is removed from the output signal of the first microphone 21 by the first crosstalk canceller 50.
  • the first disturbing signal is a signal indicating (estimating) the degree of the first crosstalk 32. Therefore, the output signal of the first crosstalk canceller 50 is a signal indicating the sound in which the influence of the first crosstalk 32 is removed from the sound input to the first microphone 21.
  • This audio signal is output as audio from the first speaker 22. That is, the output signal of the first crosstalk canceller 50 is an audio signal of the first microphone 21 from which the first crosstalk 32 has been removed and an input signal of the first speaker 22 as shown in FIG.
  • the sound output from the first speaker 22 is the sound from which the influence of the first crosstalk 32 is removed from the sound input to the first microphone 21, that is, the sound 36 of the separated first speaker. It becomes only.
  • the second speaker's voice 37 is input to the second microphone 23.
  • the second interference signal is removed from the output signal of the second microphone 23 by the second crosstalk canceller 70.
  • the second interference signal is a signal indicating (estimated) the degree of the second crosstalk 35. Therefore, the output signal of the second crosstalk canceller 70 is a signal indicating the sound in which the influence of the second crosstalk 35 is removed from the sound input to the second microphone 23.
  • This audio signal is output as audio from the second speaker 24. That is, the output signal of the second crosstalk canceller 70 is an audio signal of the second microphone 23 from which the second crosstalk 35 has been removed and an input signal of the second speaker 24, as shown in FIG.
  • the sound output from the second speaker 24 is the sound from which the influence of the second crosstalk 35 is removed from the sound input to the second microphone 23, that is, the separated second speaker's sound 37. It becomes only.
  • the degree to which the voice 36 of the first speaker and the voice 37 of the second speaker are separated is the accuracy of the transfer function held in the first crosstalk canceller 50 and the second crosstalk canceller 70, and the above equation 3 Needless to say, it depends on parameters and the like in the transfer function update equation shown in equation (6).
  • the sound source separation device 20 includes the first microphone 21 and the first crosstalk canceller 50.
  • the voice of the second speaker 12 is input to the first microphone 21 at the time when the signal is input to the first crosstalk canceller 50 for the voice of the second speaker 12 at the same time. It is designed to be the same as or earlier than the starting time. Therefore, the first crosstalk canceller 50 estimates the first crosstalk 32 in which the voice of the second speaker 12 is input to the first microphone 21 and removes it from the output signal of the first microphone 21.
  • the first speaker's voice 36 and the second speaker's 12 voice input to the first microphone 21 using the first crosstalk canceller 50 that is an adaptive filter. Since only the first speaker's voice 36 is extracted by separation, it is possible to suppress the voice from the first crosstalk 32 from being amplified from the first speaker 22 by relatively small hardware.
  • the sound source separation device 20 in the present embodiment includes a second microphone 23 and a second crosstalk canceller 70.
  • the voice of the first speaker 11 is input to the second microphone 23 at the time when the signal is input to the second crosstalk canceller 70 for the voice of the first speaker 11 at the same time. It is designed to be the same as or earlier than the starting time. Accordingly, the second crosstalk canceller 70 estimates the second crosstalk 35 in which the voice of the first speaker 11 is input to the second microphone 23 and removes it from the output signal of the second microphone 23.
  • the second speaker's voice 37 and the first speaker's 11 voice (second crosstalk 35) input to the second microphone 23 are used using the second crosstalk canceller 70, which is an adaptive filter. Since only the second speaker's voice 37 is extracted in isolation, the voice from the second crosstalk 35 is prevented from being amplified from the second speaker 24 without increasing hardware.
  • the first transfer function update circuit 55 updates the transfer function according to the above equation 3, but updates the transfer function according to the normalized equation as shown in the following equation 7 or 8. May be.
  • N is the number of transfer functions stored in the first transfer function storage circuit 54.
  • is the absolute value of x1 (t ⁇ i).
  • the update of the estimated transfer function by the first transfer function update circuit 55 is stably performed without depending on the amplitude of the input signal x1 (tj).
  • the second transfer function update circuit 75 updates the transfer function according to the above equation 6, but may update the transfer function according to the normalized equation as shown in the following equation 9 or 10. .
  • N is the number of transfer functions stored in the second transfer function storage circuit 74.
  • the update of the estimated transfer function by the second transfer function update circuit 75 is stably performed without depending on the amplitude of the input signal x2 (tj).
  • the above embodiment is an application example of the sound source separation device to the vehicle interior conversation assist device, but the sound source separation device is not limited to the vehicle interior conversation assist device, and may be applied to a voice recognition device. More specifically, the speech signal of each speaker is separated by the above sound source separation device, and the speech signal of each separated speaker is processed by the speech recognition device, so that speech recognition with higher accuracy can be performed. It can be carried out.
  • a speaker when applying a sound source separation apparatus to a speech recognition apparatus, a speaker is not essential unlike the case where it applies to a vehicle interior conversation assistance apparatus.
  • the above embodiment may be realized as a sound source separation method as follows. That is, the sound source separation method separates the first speaker's voice 36 and the second speaker's voice 37 in the sound source separation device.
  • the sound source separation device includes a first microphone 21 for inputting the first speaker's voice 36 and a second microphone 23 for inputting the second speaker's voice 37.
  • the sound source separation method includes a first crosstalk cancellation step and a second crosstalk cancellation step.
  • the calculated first disturbance signal is removed from the output signal of the first microphone 21.
  • the output signal of the first crosstalk cancellation step may be output from the speaker as a voice signal from which only the voice 36 of the first speaker is separated, or may be processed by a voice recognition device.
  • the calculated second interference signal is removed from the output signal of the second microphone 23.
  • the output signal of the second crosstalk cancellation step may be output from the speaker as a voice signal from which only the second speaker's voice 37 is separated, or may be processed by a voice recognition device.
  • Such a sound source separation method is performed by, for example, a processor that executes a program. That is, the first crosstalk canceller 50 and the second crosstalk canceller 70 in the above embodiment may be realized by a processor that executes a program.
  • Such a sound source separation method may be realized by a program recorded on a computer-readable recording medium such as a CD-ROM.
  • the sound source separation apparatus according to the present embodiment is applied to an apparatus that amplifies and assists a bidirectional conversation between a first speaker and a second speaker, similarly to the sound source separation apparatus according to the first embodiment.
  • the indirect first cross in which the voice of the second speaker 12 output from the second speaker 24 is input to the first microphone 21 in addition to the first crosstalk 32 and the second crosstalk 35 in the first embodiment, the indirect first cross in which the voice of the second speaker 12 output from the second speaker 24 is input to the first microphone 21.
  • a device suitable for the case where the sound coupling of the talk 32a and the first speaker 11 output from the first speaker 22 is so large that the indirect second crosstalk 35a input to the second microphone 23 cannot be ignored. It is.
  • FIG. 3 is a block diagram illustrating a configuration of the sound source separation device 20a according to the second embodiment.
  • the configuration of the sound source separation device 20a is substantially the same as the configuration of the sound source separation device 20 in the first embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.
  • the sound source separation device 20a includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first crosstalk canceller 50, and a second crosstalk canceller 70. All the constituent elements are substantially equivalent to the corresponding constituent elements of the sound source separation apparatus 20 in the first embodiment. However, the sound source separation apparatus 20a has a first transfer function storage circuit as compared with the sound source separation apparatus 20. 54 and the transfer functions stored in the second transfer function storage circuit 74 are different.
  • the first transfer function storage circuit 54 stores a transfer function estimated as a transfer function in which the first crosstalk 32 and the indirect first crosstalk 32a are combined.
  • the first crosstalk canceller 50 estimates the first interference signal indicating the degree of the combination of the first crosstalk 32 and the indirect first crosstalk 32a using the output signal of the second crosstalk canceller 70.
  • the calculated first disturbance signal is removed from the output signal of the first microphone 21, and the signal after removal is output to the first speaker 22.
  • the second transfer function storage circuit 74 stores a transfer function estimated as a transfer function that combines the second crosstalk 35 and the indirect second crosstalk 35a.
  • the second crosstalk canceller 70 estimates the second interference signal indicating the degree to which the second crosstalk 35 and the indirect second crosstalk 35a are combined, using the output signal of the first crosstalk canceller 50.
  • the calculated second interference signal is removed from the output signal of the second microphone 23, and the signal after removal is output to the second speaker 24.
  • the first microphone 21 and the second speaker 24 are the first indirect first crosstalk in which the voice of the second speaker 12 output from the second speaker 24 is input to the first microphone 21. It is installed in an environment where acoustic coupling is so large that 32a cannot be ignored.
  • the second speaker 24 is provided at a position for outputting sound toward the direction in which the first microphone 21 is present (or has such directivity characteristics of sound output).
  • the second microphone 23 and the first speaker 22 are such that the indirect second crosstalk 35a in which the voice of the first speaker 11 output from the first speaker 22 is input to the second microphone 23 cannot be ignored.
  • the first speaker 22 is provided at a position for outputting sound toward the direction in which the second microphone 23 is present (or has such directivity characteristics of sound output).
  • the voice 36 of the first speaker and the voice 37 of the second speaker are processed as follows.
  • the voice 36 of the first speaker is input to the first microphone 21.
  • the first interference signal is removed from the output signal of the first microphone 21 by the first crosstalk canceller 50.
  • the first disturbing signal is a signal indicating (estimated) the degree to which the first crosstalk 32 and the indirect first crosstalk 32a are combined. Therefore, the output signal of the first crosstalk canceller 50 is a signal indicating the sound in which the influence of the first crosstalk 32 and the indirect first crosstalk 32a is removed from the sound input to the first microphone 21.
  • This audio signal is output as audio from the first speaker 22. That is, the output signal of the first crosstalk canceller 50 is an audio signal of the first microphone 21 from which the first crosstalk 32 and the indirect first crosstalk 32a are removed, as shown in FIG. Is an input signal.
  • the sound output from the first speaker 22 is the sound from which the influence of the first crosstalk 32 and the indirect first crosstalk 32a is removed from the sound input to the first microphone 21, that is, separated. Only the voice 36 of the first speaker is obtained.
  • the second speaker's voice 37 is input to the second microphone 23.
  • the second interference signal is removed from the output signal of the second microphone 23 by the second crosstalk canceller 70.
  • the second interference signal is a signal indicating (estimated) the degree to which the second crosstalk 35 and the indirect second crosstalk 35a are combined. Therefore, the output signal of the second crosstalk canceller 70 is a signal indicating the sound in which the influence of the second crosstalk 35 and the indirect second crosstalk 35a is removed from the sound input to the second microphone 23.
  • This audio signal is output as audio from the second speaker 24. That is, the output signal of the second crosstalk canceller 70 is an audio signal of the second microphone 23 from which the second crosstalk 35 and the indirect second crosstalk 35a are removed, as shown in FIG. Is an input signal.
  • the sound output from the second speaker 24 is the sound from which the influence of the second crosstalk 35 and the indirect second crosstalk 35a is removed from the sound input to the second microphone 23, that is, separated. Only the voice 37 of the second speaker is provided.
  • the sound source separation device 20a in the present embodiment is in addition to the first crosstalk 32 and the second crosstalk 35 removal function of the sound source separation device 20 in the first embodiment, and the indirect first crosstalk 32a and indirect second crosstalk 32a. 2 has a function of removing the crosstalk 35a. Therefore, as in the first embodiment, the indirect first crosstalk 32a and the indirect second crosstalk 35a can be removed with relatively small hardware that does not use the conventional separation matrix.
  • the function of removing the indirect first crosstalk 32a is necessary when the first microphone 21 and the second speaker 24 are installed in an environment where the acoustic coupling is large enough that the indirect first crosstalk 32a cannot be ignored.
  • the function of removing the two crosstalk 35a is necessary when the second microphone 23 and the first speaker 22 are installed in an environment where acoustic coupling is large enough that the indirect second crosstalk 35a cannot be ignored.
  • the above embodiment is a sound source separation device, it may be realized as the following sound source separation method. That is, the sound source separation method separates the voice of the first speaker 11 and the voice of the second speaker 12 in the sound source separation device.
  • the sound source separation device inputs a first microphone 21 for inputting the first speaker's voice 36, a first speaker 22 for outputting the first speaker's voice 36, and a second speaker's voice 37. And a second speaker 24 for outputting the voice 37 of the second speaker.
  • the sound source separation method includes a first crosstalk cancellation step and a second crosstalk cancellation step.
  • the output of the second crosstalk cancellation step is used to output the voice of the second speaker 12 from the first microphone 21 and the second speaker 24.
  • the first disturbing signal indicating the degree to which the voice of the second speaker 12 is combined with the indirect first crosstalk 32a input to the first microphone 21 is estimated and calculated. Then, the calculated first disturbance signal is removed from the output signal of the first microphone 21, and the signal after removal is output to the first speaker 22.
  • the output of the first crosstalk cancellation step is used to output the voice of the first speaker 11 from the first speaker 22 and the second crosstalk 35 input to the second microphone 23.
  • the second disturbing signal indicating the degree to which the voice of the first speaker 11 is combined with the indirect second crosstalk 35a input to the second microphone 23 is estimated and calculated. Then, the calculated second disturbance signal is removed from the output signal of the second microphone 23, and the signal after the removal is output to the second speaker 24.
  • Such a sound source separation method is performed by, for example, a processor that executes a program. That is, the first crosstalk canceller 50 and the second crosstalk canceller 70 in the above embodiment may be realized by a processor that executes a program.
  • Such a sound source separation method may be realized by a program recorded on a computer-readable recording medium such as a CD-ROM.
  • the sound source separation apparatus according to Embodiment 3 will be described.
  • the sound source separation device in the present embodiment is used when the conversation in which the third speaker participates in addition to the first speaker and the second speaker is assisted. This is a device suitable for separating the voices of individual speakers.
  • FIG. 4 is a block diagram illustrating a configuration of the sound source separation device 20b according to the third embodiment.
  • the sound source separation device 20b includes the third microphone 25, the third speaker 26, the third crosstalk canceller 80, the fourth crosstalk canceller 150, the fifth crosstalk canceller 170, and the sound source separation device 20 according to the first embodiment.
  • a sixth crosstalk canceller 180 is added.
  • the first microphone 21, the second microphone 23, the first speaker 22, the second speaker 24, the first crosstalk canceller 50, and the second crosstalk canceller 70 correspond to the corresponding components of the sound source separation device 20 according to the first embodiment. Is substantially equivalent.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.
  • the third microphone 25 is a microphone for inputting the voice (third voice) of the third speaker 13, and is provided, for example, on the ceiling of the rear seat (not shown). Note that the audio signal output from the third microphone 25 is, for example, digital audio data generated by a built-in A / D converter.
  • the third speaker 26 is a speaker for outputting the voice 38 of the third speaker, and is provided, for example, on the inner side surfaces of the two front doors of the car 10 (not shown).
  • the third speaker 26 converts the input digital audio data into an analog signal by a built-in D / A converter, and then outputs it as audio.
  • the third crosstalk canceller 80 uses the output signal of the fifth crosstalk canceller 170 to provide a third interference signal indicating the degree of the third crosstalk 131 in which the voice of the second speaker 12 is input to the third microphone 25.
  • the third interference signal thus calculated is removed from the output signal of the third microphone 25, and the signal after the removal is output to the sixth crosstalk canceller 180.
  • the third crosstalk canceller 80 is a digital signal processing circuit that processes digital audio data in the time axis region.
  • the third crosstalk canceller 80 includes a third transfer function storage circuit 84, a third storage circuit 82, a third convolution calculator 83, a third subtractor 81, and a third transfer function update circuit 85. .
  • the third transfer function storage circuit 84 stores the transfer function estimated as the transfer function of the third crosstalk 131.
  • the third crosstalk canceller 80 is substantially the same in configuration and basic operation of signal processing as compared with the first crosstalk canceller 50, and uses the transfer function stored in the third transfer function storage circuit 84. Signal processing.
  • the fourth crosstalk canceller 150 uses the output signal of the sixth crosstalk canceller 180 and a fourth interference signal indicating the degree of the fourth crosstalk 132 in which the voice of the third speaker 13 is input to the first microphone 21. , And the calculated fourth interference signal is removed from the output signal of the first crosstalk canceller 50, and the signal after removal is output to the first speaker 22.
  • the fourth crosstalk canceller 150 is a digital signal processing circuit that processes digital audio data in the time axis domain.
  • the fourth crosstalk canceller 150 includes a fourth transfer function storage circuit 154, a fourth storage circuit 152, a fourth convolution calculator 153, a fourth subtractor 151, and a fourth transfer function update circuit 155. .
  • the fourth transfer function storage circuit 154 stores the transfer function estimated as the transfer function of the fourth crosstalk 132.
  • the fourth crosstalk canceller 150 is substantially the same in configuration and basic operation of signal processing as compared with the first crosstalk canceller 50, and uses the transfer function stored in the fourth transfer function storage circuit 154. Signal processing.
  • the fifth crosstalk canceller 170 uses the output signal of the sixth crosstalk canceller 180 and a fifth interference signal indicating the degree of the fifth crosstalk 133 in which the voice of the third speaker 13 is input to the second microphone 23. , And the calculated fifth interference signal is removed from the output signal of the second crosstalk canceller 70, and the signal after the removal is output to the second speaker 24.
  • the fifth crosstalk canceller 170 is a digital signal processing circuit that processes digital audio data in the time axis domain.
  • the fifth crosstalk canceller 170 includes a fifth transfer function storage circuit 174, a fifth storage circuit 172, a fifth convolution calculator 173, a fifth subtractor 171, and a fifth transfer function update circuit 175. .
  • the fifth transfer function storage circuit 174 stores the transfer function estimated as the transfer function of the fifth crosstalk 133.
  • the fifth crosstalk canceller 170 is substantially the same in configuration and basic operation of signal processing as compared with the first crosstalk canceller 50, and uses the transfer function stored in the fifth transfer function storage circuit 174. Signal processing.
  • the sixth crosstalk canceller 180 uses the output signal of the fourth crosstalk canceller 150 and uses the output signal of the fourth crosstalk canceller 150 to indicate a sixth interference signal indicating the degree of the sixth crosstalk 134 that is input to the third microphone 25. , And the calculated sixth interference signal is removed from the output signal of the third crosstalk canceller 80, and the signal after the removal is output to the third speaker 26.
  • the sixth crosstalk canceller 180 is a digital signal processing circuit that processes digital audio data in the time axis region.
  • the sixth crosstalk canceller 180 includes a sixth transfer function storage circuit 184, a sixth storage circuit 182, a sixth convolution calculator 183, a sixth subtractor 181, and a sixth transfer function update circuit 185. .
  • the sixth transfer function storage circuit 184 stores the transfer function estimated as the transfer function of the sixth crosstalk 134.
  • the sixth crosstalk canceller 180 is substantially the same in configuration and basic operation of signal processing as compared with the first crosstalk canceller 50, and uses the transfer function stored in the sixth transfer function storage circuit 184. Signal processing.
  • the first speaker's voice 36, the second speaker's voice 37, and the third speaker's voice 38 are processed as follows.
  • the voice 36 of the first speaker is input to the first microphone 21.
  • the first interference signal is removed from the output signal of the first microphone 21 by the first crosstalk canceller 50.
  • the first disturbing signal is a signal indicating (estimating) the degree of the first crosstalk 32. Therefore, the output signal of the first crosstalk canceller 50 is a signal indicating the sound in which the influence of the first crosstalk 32 is removed from the sound input to the first microphone 21.
  • This audio signal is input to the fourth crosstalk canceller 150. That is, the output signal of the first crosstalk canceller 50 is an audio signal of the first microphone 21 from which the first crosstalk 32 has been removed, and is an input signal of the fourth crosstalk canceller 150, as shown in FIG. .
  • the fourth interference signal is removed by the fourth crosstalk canceller 150.
  • the fourth interference signal is a signal indicating (estimated) the degree of the fourth crosstalk 132. Therefore, the output signal of the fourth crosstalk canceller 150 is a signal indicating the sound in which the influence of the fourth crosstalk 132 is removed from the output signal of the first crosstalk canceller 50. This signal is output as sound from the first speaker 22. That is, the output signal of the fourth crosstalk canceller 150 is an audio signal of the first microphone 21 from which the first crosstalk 32 and the fourth crosstalk 132 are removed, as shown in FIG. Input signal.
  • the sound output from the first speaker 22 is the sound from which the influence of the first crosstalk 32 and the fourth crosstalk 132 is removed from the sound input to the first microphone 21, that is, substantially separated. Only the first speaker's voice 36 is given.
  • the second speaker's voice 37 is input to the second microphone 23.
  • the second interference signal is removed from the output signal of the second microphone 23 by the second crosstalk canceller 70.
  • the second interference signal is a signal indicating (estimated) the degree of the second crosstalk 35. Therefore, the output signal of the second crosstalk canceller 70 is a signal indicating the sound in which the influence of the second crosstalk 35 is removed from the sound input to the second microphone 23.
  • This audio signal is input to the fifth crosstalk canceller 170. That is, the output signal of the second crosstalk canceller 70 is an audio signal of the second microphone 23 from which the second crosstalk 35 has been removed and an input signal of the fifth crosstalk canceller 170, as shown in FIG. .
  • the fifth interference signal is removed by the fifth crosstalk canceller 170.
  • the fifth interference signal is a signal indicating (estimated) the degree of the fifth crosstalk 133. Therefore, the output signal of the fifth crosstalk canceller 170 is a signal indicating the sound in which the influence of the fifth crosstalk 133 is removed from the output signal of the second crosstalk canceller 70. This signal is output as sound from the second speaker 24. That is, the output signal of the fifth crosstalk canceller 170 is an audio signal of the second microphone 23 from which the second crosstalk 35 and the fifth crosstalk 133 are removed, as shown in FIG. Input signal.
  • the sound output from the second speaker 24 is the sound from which the influence of the second crosstalk 35 and the fifth crosstalk 133 is removed from the sound input to the second microphone 23, that is, substantially separated. Only the second speaker's voice 37 is obtained.
  • the voice 38 of the third speaker is input to the third microphone 25.
  • the third interference signal is removed from the output signal of the third microphone 25 by the third crosstalk canceller 80.
  • the third interference signal is a signal indicating (estimated) the degree of the third crosstalk 131. Therefore, the output signal of the third crosstalk canceller 80 is a signal indicating the sound in which the influence of the third crosstalk 131 is removed from the sound input to the third microphone 25.
  • This audio signal is input to the sixth crosstalk canceller 180. That is, the output signal of the third crosstalk canceller 80 is an audio signal of the third microphone 25 from which the third crosstalk 131 has been removed and an input signal of the sixth crosstalk canceller 180, as shown in FIG. .
  • the sixth interference signal is removed from the output signal of the third crosstalk canceller 80 by the sixth crosstalk canceller 180.
  • the sixth disturbing signal is a signal indicating (estimated) the degree of the sixth crosstalk 134. Therefore, the output signal of the sixth crosstalk canceller 180 becomes a signal indicating the sound in which the influence of the sixth crosstalk 134 is removed from the output signal of the third crosstalk canceller 80. This signal is output as sound from the third speaker 26. That is, the output signal of the sixth crosstalk canceller 180 is an audio signal of the third microphone 25 from which the third crosstalk 131 and the sixth crosstalk 134 are removed, as shown in FIG. Input signal.
  • the sound output from the third speaker 26 is the sound from which the influence of the third crosstalk 131 and the sixth crosstalk 134 is removed from the sound input to the third microphone 25, that is, substantially separated. Only the voice 38 of the third speaker who has been made is obtained.
  • the sound source separation device 20b in the present embodiment is in addition to the first crosstalk 32 and second crosstalk 35 removal function of the sound source separation device 20 in the first embodiment, and the first speaker 11 and the second story.
  • the above embodiment is an application example of the sound source separation device to the vehicle interior conversation assist device, but the sound source separation device is not limited to the vehicle interior conversation assist device, and may be applied to a voice recognition device. More specifically, the speech signal of each speaker is separated by the above sound source separation device, and the speech signal of each separated speaker is processed by the speech recognition device, so that speech recognition with higher accuracy can be performed. It can be carried out.
  • a speaker when applying a sound source separation apparatus to a speech recognition apparatus, a speaker is not essential unlike the case where it applies to a vehicle interior conversation assistance apparatus.
  • the above embodiment is a sound source separation device, it may be realized as the following sound source separation method. That is, this is a sound source separation method for separating the sound of the first speaker 11, the sound of the second speaker 12, and the sound of the third speaker 13 in the sound source separation device.
  • the sound source separation device inputs the first microphone 21 for inputting the first speaker's voice 36, the second microphone 23 for inputting the second speaker's voice 37, and the third speaker's voice 38. And a third microphone 25.
  • the sound source separation method includes a first crosstalk cancel step, a second crosstalk cancel step, a third crosstalk cancel step, a fourth crosstalk cancel step, a fifth crosstalk cancel step, and a sixth crosstalk cancel. Steps.
  • the calculated first disturbance signal is removed from the output signal of the first microphone 21, and the signal after removal is output.
  • the calculated second interference signal is removed from the output signal of the second microphone 23, and the signal after removal is output.
  • the calculated third interference signal is removed from the output signal of the third microphone 25, and the signal after the removal is output.
  • the calculated fourth interference signal is removed from the output signal of the first crosstalk cancellation step, and the signal after removal is output.
  • the calculated fifth interference signal is removed from the output signal of the second crosstalk cancellation step, and the signal after removal is output.
  • the calculated sixth interference signal is removed from the output signal of the third crosstalk cancellation step, and the signal after removal is output.
  • Such a sound source separation method is performed by, for example, a processor that executes a program. That is, the first crosstalk canceller 50, the second crosstalk canceller 70, the third crosstalk canceller 80, the fourth crosstalk canceller 150, the fifth crosstalk canceller 170, and the sixth crosstalk canceller 180 in the above embodiment are It may be realized by a processor that executes a program.
  • Such a sound source separation method may be realized by a program recorded on a computer-readable recording medium such as a CD-ROM.
  • the order of the first crosstalk cancellation step executed in the first crosstalk canceller 50 and the fourth crosstalk cancellation step executed in the fourth crosstalk canceller 150 may be switched. . That is, the output signal of the first microphone 21 is input to the fourth crosstalk canceller 150, and the fourth interference signal is removed.
  • the output signal of the fourth crosstalk canceller 150 becomes an audio signal of the first microphone 21 from which the fourth interference signal has been removed, and is input to the first crosstalk canceller 50, where the first interference signal is removed.
  • the output signal of the first crosstalk canceller 50 is an audio signal of the first microphone 21 from which the fourth interference signal and the first interference signal have been removed, and is input to the first speaker 22.
  • the order of the second crosstalk cancellation step executed in the second crosstalk canceller 70 and the fifth crosstalk cancellation step executed in the fifth crosstalk canceller 170 may be interchanged. That is, the output signal of the second microphone 23 is input to the fifth crosstalk canceller 170, and the fifth interference signal is removed.
  • the output signal of the fifth crosstalk canceller 170 becomes an audio signal of the second microphone 23 from which the fifth interference signal has been removed, and is input to the second crosstalk canceller 70, where the second interference signal is removed.
  • the output signal of the second crosstalk canceller 70 is input to the second speaker 24 as an audio signal of the second microphone 23 from which the fifth jamming signal and the second jamming signal have been removed.
  • the order of the third crosstalk cancellation step executed in the third crosstalk canceller 80 and the sixth crosstalk cancellation step executed in the sixth crosstalk canceller 180 may be interchanged. That is, the output signal of the third microphone 25 is input to the sixth crosstalk canceller 180, and the sixth interference signal is removed.
  • the output signal of the sixth crosstalk canceller 180 becomes an audio signal of the third microphone 25 from which the sixth interference signal has been removed, and is input to the third crosstalk canceller 80, where the third interference signal is removed.
  • the output signal of the third crosstalk canceller 80 is an audio signal of the third microphone 25 from which the sixth disturbance signal and the third disturbance signal have been removed, and is input to the third speaker 26.
  • Embodiments 1 to 3 and modifications have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to these, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • each of the convolution calculators included in the first crosstalk canceller 50 and the second crosstalk canceller 70 performs a convolution operation using an N-tap FIR filter as an example.
  • Each may be a different type of digital filter with a different number of taps.
  • what kind of digital filter is used may be appropriately designed independently depending on the transfer function of the acoustic noise to be canceled.
  • the transfer function update algorithms by the transfer function update circuits included in the first crosstalk canceller 50 and the second crosstalk canceller 70 are as shown in the above formulas 3 and 6.
  • the same algorithm may be used, or the same algorithm may be used, but the step size parameter may be different, or different algorithms may be used. That is, the transfer function update algorithm may be designed independently as appropriate depending on the magnitude of the acoustic noise to be canceled.
  • the type incorporated in the car, the type attached to the car, etc. were mentioned as an example of the microphone and the speaker with which the sound source separation device is provided, it is not limited to these, and a portable type such as a smartphone.
  • the microphone and / or speaker which an information terminal has may be sufficient.
  • the voice of a rear occupant in a car is picked up by a smartphone as the second microphone 23 (rear microphone), wirelessly transmitted to the head unit (sound source separation device), and crossed from the front speaker as the second speaker 24 Loudspeak while suppressing talk.
  • the driver's voice collected by the front microphone as the first microphone 21 is wirelessly transmitted to the rear passenger's smartphone, and crosstalk is suppressed from the speaker of the smartphone as the first speaker 22 (rear speaker). Amplify in state. As a result, the rear occupant can smoothly talk with the driver using the smartphone, and the rear microphone and the rear speaker in the vehicle are not necessary.
  • a sound source separation device using a microphone and / or a speaker included in such a portable information terminal such as a smartphone is also useful as a PA (Public Address) system used in a lecture or the like.
  • PA Public Address
  • the voice of the questioner in the lecture can be picked up by his / her smartphone and transferred to the PA system wirelessly, and can be amplified with crosstalk suppressed.
  • the time required for handing over the microphone to the questioner is reduced, and the question-and-answer session is carried out smoothly and the lecture can proceed smoothly.
  • the present disclosure can be applied to a sound source separation device that performs signal processing to reduce crosstalk (crosstalk) on audio signals collected from a plurality of microphones.
  • the present disclosure can be applied to a voice recognition device, a hands-free phone, a conversation assistance device, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

音源分離装置は、第１音声を入力するための第１マイクと、第２音声を入力するための第２マイクと、第１マイクの音声信号から、第２音声が第１マイクに入力される第１クロストークを除去する第１クロストークキャンセラと、第２マイクの音声信号から、第１音声が第２マイクに入力される第２クロストークを除去する第２クロストークキャンセラと、を備える。第１クロストークキャンセラは、第２マイクの音声信号から第２クロストークが除去された音声信号を用いて、第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を第１マイクの音声信号から除去する。第２クロストークキャンセラは、第１マイクの音声信号から第１クロストークが除去された音声信号を用いて、第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を第２マイクの音声信号から除去する。

Description

音源分離装置および音源分離方法
　本開示は、複数のマイクから収音された複数の音声信号に対してクロストーク（漏話）を減らす信号処理を施す音源分離装置に関する。
　特許文献１は、複数の信号が空間内で混合されたものから、源信号を復元する音源分離装置を開示する。この音源分離装置は、観測信号を短時間フーリエ変換する手段と、独立成分分析により短時間フーリエ変換した各周波数での分離行列を求める手段と、各周波数での分離行列の各行により取り出される信号の到来方向を推定する手段と、その推定値が十分に信頼できるかどうかを判定する手段と、短時間フーリエ変換した周波数間での分離信号の類似度を計算する手段と、を備える。そして、さらに、各周波数で分離行列を求めた後でパーミュテーション（各周波数における音源の置換）を解決する際に、信号の到来方向の推定が十分に信頼できると判定された周波数ではそれらの方向を揃えることでパーミュテーションを決定し、その他の周波数では近傍の周波数との分離信号の類似度を高めるようにパーミュテーションを決定していく手段を備える。これにより、パーミュテーションを解決しながら源信号を復元することができる。
特開２００４－１４５１７２号公報
　本開示は、大きな演算量が必要となる分離行列の算出を行うことなく、より小規模なハードウェアを用いて、複数のマイクから収音された複数の音声信号に対してクロストークを減らすことにより個別の音声信号を分離できる音源分離装置を提供する。
　本開示における音源分離装置は、第１音声を入力するための第１マイクと、第２音声を入力するための第２マイクと、第１マイクの音声信号から、第２音声が第１マイクに入力される第１クロストークを除去する第１クロストークキャンセラと、第２マイクの音声信号から、第１音声が第２マイクに入力される第２クロストークを除去する第２クロストークキャンセラと、を備える。第１クロストークキャンセラは、第２マイクの音声信号から第２クロストークが除去された音声信号を用いて、第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの音声信号から除去する。第２クロストークキャンセラは、第１マイクの音声信号から第１クロストークが除去された音声信号を用いて、第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイクの音声信号から除去する。
　本開示における音源分離方法は、第１音声と第２音声とを含む音声信号から第１音声と第２音声とを分離する音源分離装置において行われる音源分離方法である。音源分離装置は、第１音声を入力するための第１マイクと、第２音声を入力するための第２マイクと、を備え、音源分離方法は、第１マイクの音声信号から、第２音声が第１マイクに入力される第１クロストークを除去する第１クロストークキャンセルステップと、第２マイクの音声信号から、第１話者の音声が第２マイクに入力される第２クロストークを除去する第２クロストークキャンセルステップと、を含む。第１クロストークキャンセルステップでは、第２クロストークキャンセルステップにおいて第２マイクの音声信号から第２クロストークが除去された音声信号を用いて、第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの音声信号から除去する。第２クロストークキャンセルステップでは、第１クロストークキャンセルステップにおいて第１マイクの音声信号から第１クロストークが除去された音声信号を用いて、第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイクの音声信号から除去する。
　本開示における音源分離装置によれば、大きな演算量が必要となる分離行列の算出を行うことなく、複数のマイクから収音された音声信号から個別の音声信号を分離するために、より小規模なハードウェアを用いてクロストークを軽減できる。
実施の形態１における音源分離装置の適用例を示す図 図１に示された音源分離装置の構成を示すブロック図 実施の形態２における音源分離装置の構成を示すブロック図 実施の形態３における音源分離装置の構成を示すブロック図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　以下、図１及び図２を用いて、実施の形態１を説明する。
　［１－１．適用例］
　図１は、実施の形態１における音源分離装置２０の適用例を示す図である。ここでは、音源分離装置２０を車１０における双方向の会話を拡声して補助する装置（車室内会話補助装置）に適用した例が示されている。
　音源分離装置２０は、第１話者１１（ここでは、運転者）と第２話者１２（ここでは、後部乗員）による双方向の会話を拡声して補助する装置である。運転席の天井には、第１話者１１の音声（第１音声）を入力するための第１マイク２１が設けられ、後部座席横の内側面には、その音声を出力するための第１スピーカ２２が設けられている。また、後部座席の天井には、第２話者１２の音声（第２音声）を入力するための第２マイク２３が設けられ、２つの前扉の内側面には、その音声を出力するための第２スピーカ２４が設けられている。
　第１話者１１と第２話者１２とは、この音源分離装置２０を用いることで、車における一つの狭い空間であっても、クロストーク（漏話）を含む音響的雑音が除去された双方向会話を楽しむことができる。なお、クロストークとは、ある話者の音声が他人の音声を入力するためのマイクに入力される現象をいい、ここでは、第２話者１２の音声が第１マイク２１に入力される現象、及び、第１話者１１の音声が第２マイク２３に入力される現象である。
　［１－２．構成］
　図２は、図１に示された音源分離装置２０の構成を示すブロック図である。この音源分離装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１クロストークキャンセラ５０、及び、第２クロストークキャンセラ７０を備える。なお、音源分離装置２０の各構成要素は、有線又は無線で接続されている。また、第１クロストークキャンセラ５０、及び、第２クロストークキャンセラ７０は、例えば、車１０のヘッドユニットの一部として実装される。
　第１マイク２１は、第１話者の音声３６を入力するためのマイクであり、例えば、図１に示されるように、車１０の運転席の天井に設けられる。なお、第１マイク２１から出力される音声信号は、例えば、内蔵のＡ／Ｄ変換器で生成されるデジタル音声データである。
　第１スピーカ２２は、第１話者の音声３６を出力するためのスピーカであり、例えば、図１に示されるように、車１０の後部座席横の両側の内側面に設けられる。なお、第１スピーカ２２は、例えば、第１マイク２１からの音声信号である入力されたデジタル音声データを内蔵のＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　第２マイク２３は、第２話者の音声３７を入力するためのマイクであり、例えば、図１に示されるように、後部座席の天井に設けられる。なお、第２マイク２３から出力される音声信号は、例えば、内蔵のＡ／Ｄ変換器で生成されるデジタル音声データである。
　第２スピーカ２４は、第２話者の音声３７を出力するためのスピーカであり、例えば、図１に示されるように、車１０の２つの前扉の内側面に設けられる。なお、第２スピーカ２４は、例えば、第２マイク２３からの音声信号である入力されたデジタル音声データを内蔵のＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　［１－２－１．第１クロストークキャンセラ５０］
　第１クロストークキャンセラ５０は、第２クロストークキャンセラ７０の出力信号を用いて、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去し、除去後の信号を第１スピーカ２２に出力する。第１クロストークキャンセラ５０は、本実施の形態では、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第１クロストークキャンセラ５０は、第１伝達関数記憶回路５４、第１記憶回路５２、第１畳み込み演算器５３、第１減算器５１、及び、第１伝達関数更新回路５５を有する。
　第１伝達関数記憶回路５４は、第１クロストーク３２の伝達関数として推定された伝達関数を記憶する。
　第１記憶回路５２は、第２クロストークキャンセラ７０から出力された信号を記憶する。
　第１畳み込み演算器５３は、第１記憶回路５２に記憶された信号と第１伝達関数記憶回路５４に記憶された伝達関数とを畳み込むことで第１妨害信号を生成する。例えば、第１畳み込み演算器５３は、以下の式１に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタである。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｙ１’ｔは、時刻ｔにおける第１妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ１（ｉ）ｔは、時刻ｔにおいて第１伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ１（ｔ－ｉ）は、第１記憶回路５２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第１減算器５１は、第１マイク２１の出力信号から、第１畳み込み演算器５３から出力された第１妨害信号を除去し、第１クロストークキャンセラ５０の出力信号として出力する。例えば、第１減算器５１は、以下の式２に示される減算を行う。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｅ１ｔは、時刻ｔにおける第１減算器５１の出力信号である。ｙ１ｔは、時刻ｔにおける第１マイク２１の出力信号である。
　第１伝達関数更新回路５５は、第１減算器５１の出力信号と第１記憶回路５２に記憶された信号とに基づいて第１伝達関数記憶回路５４に記憶された伝達関数を更新する。例えば、第１伝達関数更新回路５５は、以下の式３に示されるように、独立成分分析を用いて、第１減算器５１の出力信号と第１記憶回路５２に記憶された信号とに基づいて、第１減算器５１の出力信号と第１記憶回路５２に記憶された信号とが相互に独立となるように、第１伝達関数記憶回路５４に記憶された伝達関数を更新する。
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｈ１（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第１伝達関数記憶回路５４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ１（ｊ）ｔは、時刻ｔ（つまり、更新前の）第１伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α１は、第１クロストーク３２の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ１は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第１伝達関数更新回路５５は、第１減算器５１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第１記憶回路５２に記憶された信号と、第１クロストーク３２の伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出する。そして、算出した第１更新係数を第１伝達関数記憶回路５４に記憶された伝達関数に加算することで更新を行う。
　［１－２－２．第２クロストークキャンセラ７０］
　第２クロストークキャンセラ７０は、第１クロストークキャンセラ５０の出力信号を用いて、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去し、除去後の信号を第２スピーカ２４に出力する。第２クロストークキャンセラ７０は、本実施の形態では、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第２クロストークキャンセラ７０は、第２伝達関数記憶回路７４、第２記憶回路７２、第２畳み込み演算器７３、第２減算器７１、及び、第２伝達関数更新回路７５を有する。
　第２伝達関数記憶回路７４は、第２クロストーク３５の伝達関数として推定された伝達関数を記憶する。
　第２記憶回路７２は、第１クロストークキャンセラ５０から出力された信号を記憶する。
　第２畳み込み演算器７３は、第２記憶回路７２に記憶された信号と第２伝達関数記憶回路７４に記憶された伝達関数とを畳み込むことで第２妨害信号を生成する。例えば、第２畳み込み演算器７３は、以下の式４に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｙ２’ｔは、時刻ｔにおける第２妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ２（ｉ）ｔは、時刻ｔにおいて第２伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ２（ｔ－ｉ）は、第２記憶回路７２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第２減算器７１は、第２マイク２３の出力信号から、第２畳み込み演算器７３から出力された第２妨害信号を除去し、第２クロストークキャンセラ７０の出力信号として出力する。例えば、第２減算器７１は、以下の式５に示される減算を行う。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｅ２ｔは、時刻ｔにおける第２減算器７１の出力信号である。ｙ２ｔは、時刻ｔにおける第２マイク２３の出力信号である。
　第２伝達関数更新回路７５は、第２減算器７１の出力信号と第２記憶回路７２に記憶された信号とに基づいて第２伝達関数記憶回路７４に記憶された伝達関数を更新する。例えば、第２伝達関数更新回路７５は、以下の式６に示されるように、独立成分分析を用いて、第２減算器７１の出力信号と第２記憶回路７２に記憶された信号とに基づいて、第２減算器７１の出力信号と第２記憶回路７２に記憶された信号とが相互に独立となるように、第２伝達関数記憶回路７４に記憶された伝達関数を更新する。
Figure JPOXMLDOC01-appb-M000006
　ここで、Ｈ２（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第２伝達関数記憶回路７４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ２（ｊ）ｔは、時刻ｔ（つまり、更新前の）第２伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α２は、第２クロストーク３５の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ２は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第２伝達関数更新回路７５は、第２減算器７１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第２記憶回路７２に記憶された信号と、第２クロストーク３５の伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出する。そして、算出した第２更新係数を第２伝達関数記憶回路７４に記憶された伝達関数に加算することで更新を行う。
　なお、本実施の形態における音源分離装置２０では、第２話者１２の同一時刻における音声について、第２クロストークキャンセラ７０の出力信号が第１クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第１クロストークキャンセラ５０が第１クロストーク３２をキャンセルできるように、因果律が保持されている。これは、第２クロストークキャンセラ７０の出力信号が第１クロストークキャンセラ５０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１クロストークキャンセラ５０での処理速度、第２クロストークキャンセラ７０での処理速度等）と、第２話者１２の音声が第１マイク２１に入力される時刻を決定づける要因（第２話者１２と第１マイク２１との位置関係等）とを考慮することで適宜、実現し得る。
　同様に、本実施の形態における音源分離装置２０では、第１話者１１の同一時刻における音声について、第１クロストークキャンセラ５０の出力信号が第２クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第２クロストークキャンセラ７０が第２クロストーク３５をキャンセルできるように、因果律が保持されている。これは、第１クロストークキャンセラ５０の出力信号が第２クロストークキャンセラ７０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１クロストークキャンセラ５０での処理速度、第２クロストークキャンセラ７０での処理速度等）と、第１話者１１の音声が第２マイク２３に入力される時刻を決定づける要因（第１話者１１と第２マイク２３との位置関係等）とを考慮することで適宜、実現し得る。
　［１－３．動作］
　以上のように構成された本実施の形態における音源分離装置２０では、第１話者の音声３６及び第２話者の音声３７は、次のように処理される。
　第１話者の音声３６は、第１マイク２１に入力される。第１マイク２１の出力信号は、第１クロストークキャンセラ５０において、第１妨害信号が除去される。第１妨害信号は、第１クロストーク３２の程度を示す（推定された）信号である。よって、第１クロストークキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第１クロストーク３２の影響が除去された音声を示す信号となる。この音声信号が第１スピーカ２２から音声となって出力される。即ち、第１クロストークキャンセラ５０の出力信号は、図２に示すように、第１クロストーク３２が除去された第１マイク２１の音声信号であり、第１スピーカ２２の入力信号である。
　よって、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１クロストーク３２の影響が除去された音声、つまり、分離された第１話者の音声３６だけとなる。
　同様に、第２話者の音声３７は、第２マイク２３に入力される。第２マイク２３の出力信号は、第２クロストークキャンセラ７０において、第２妨害信号が除去される。第２妨害信号は、第２クロストーク３５の程度を示す（推定された）信号である。よって、第２クロストークキャンセラ７０の出力信号は、第２マイク２３に入力された音声から、第２クロストーク３５の影響が除去された音声を示す信号となる。この音声信号が第２スピーカ２４から音声となって出力される。即ち、第２クロストークキャンセラ７０の出力信号は、図２に示すように、第２クロストーク３５が除去された第２マイク２３の音声信号であり、第２スピーカ２４の入力信号である。
　よって、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２クロストーク３５の影響が除去された音声、つまり、分離された第２話者の音声３７だけとなる。
　なお、第１話者の音声３６及び第２話者の音声３７がそれぞれ分離される程度は、第１クロストークキャンセラ５０及び第２クロストークキャンセラ７０に保持された伝達関数の精度、上記式３及び式６に示される伝達関数の更新式におけるパラメータ等に依存するのは言うまでもない。
　［１－４．効果等］
　以上のように、本実施の形態における音源分離装置２０は、第１マイク２１及び第１クロストークキャンセラ５０を備える。そして、音源分離装置２０では、第２話者１２の同一時刻における音声について、信号が第１クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第１クロストークキャンセラ５０は、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２を推定して、第１マイク２１の出力信号から除去する。
　これにより、適応型フィルタである第１クロストークキャンセラ５０を用いて、第１マイク２１に入力される第１話者の音声３６と第２話者１２の音声（第１クロストーク３２）とを分離して第１話者の音声３６だけを抽出するので、比較的小規模なハードウェアにより、第１クロストーク３２による音声が第１スピーカ２２から拡声されてしまうことが抑制される。
　同様に、本実施の形態における音源分離装置２０は、第２マイク２３及び第２クロストークキャンセラ７０を備える。そして、音源分離装置２０では、第１話者１１の同一時刻における音声について、信号が第２クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第２クロストークキャンセラ７０は、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５を推定して、第２マイク２３の出力信号から除去する。
　これにより、適応型フィルタである第２クロストークキャンセラ７０を用いて、第２マイク２３に入力される第２話者の音声３７と第１話者１１の音声（第２クロストーク３５）とを分離して第２話者の音声３７だけを抽出するので、ハードウェアを増加することなく、第２クロストーク３５による音声が第２スピーカ２４から拡声されてしまうことが抑制される。
　［１－５．変形例］
　上記実施の形態では、第１伝達関数更新回路５５は、上記式３に従って伝達関数を更新したが、以下の式７又は式８に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｎは、第１伝達関数記憶回路５４に記憶される伝達関数の個数である。｜ｘ１（ｔ－ｉ）｜は、ｘ１（ｔ－ｉ）の絶対値である。
Figure JPOXMLDOC01-appb-M000008
　これにより、第１伝達関数更新回路５５による推定伝達関数の更新が、入力信号ｘ１（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　同様に、第２伝達関数更新回路７５は、上記式６に従って伝達関数を更新したが、以下の式９又は式１０に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000009
　ここで、Ｎは、第２伝達関数記憶回路７４に記憶される伝達関数の個数である。｜ｘ２（ｔ－ｉ）｜は、ｘ２（ｔ－ｉ）の絶対値である。
Figure JPOXMLDOC01-appb-M000010
　これにより、第２伝達関数更新回路７５による推定伝達関数の更新が、入力信号ｘ２（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　また、上記実施の形態は、音源分離装置の車室内会話補助装置への適用例であったが、音源分離装置は、車室内会話補助装置に限らず、音声認識装置に適用してもよい。より詳しくは、上記の音源分離装置にて個々の話者の音声信号を分離し、分離された個々の話者の音声信号を音声認識装置で処理することにより、より高い精度での音声認識を行うことができる。なお、音源分離装置を音声認識装置に適用する場合、車室内会話補助装置に適用する場合とは異なり、スピーカは必須ではない。
　また、上記の実施の形態は、以下のような音源分離方法として実現されてもよい。つまり、音源分離装置において第１話者の音声３６と第２話者の音声３７とを分離する音源分離方法である。音源分離装置は、第１話者の音声３６を入力するための第１マイク２１と、第２話者の音声３７を入力するための第２マイク２３とを備える。音源分離方法は、第１クロストークキャンセルステップと、第２クロストークキャンセルステップとを含む。
　第１クロストークキャンセルステップでは、第２クロストークキャンセルステップの出力信号を用いて、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する。第１クロストークキャンセルステップの出力信号は、第１話者の音声３６のみが分離された音声信号として、スピーカから出力されてもよく、また、音声認識装置にて処理されてもよい。
　第２クロストークキャンセルステップでは、第１クロストークキャンセルステップの出力信号を用いて、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する。第２クロストークキャンセルステップの出力信号は、第２話者の音声３７のみが分離された音声信号として、スピーカから出力されてもよく、また、音声認識装置にて処理されてもよい。
　このような音源分離方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１クロストークキャンセラ５０及び第２クロストークキャンセラ７０は、プログラムを実行するプロセッサによって実現されてもよい。
　また、このような音源分離方法は、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラムで実現されてもよい。
　（実施の形態２）
　次に、実施の形態２における音源分離装置について説明する。本実施の形態における音源分離装置は、実施の形態１における音源分離装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置に適用される。ただし、実施の形態１における第１クロストーク３２及び第２クロストーク３５に加えて、第２スピーカ２４から出力される第２話者１２の音声が第１マイク２１に入力される間接第１クロストーク３２ａ、及び、第１スピーカ２２から出力される第１話者１１の音声が第２マイク２３に入力される間接第２クロストーク３５ａが無視できない程度に音響結合が大きい場合に、好適な装置である。
　［２－１．構成］
　図３は、実施の形態２における音源分離装置２０ａの構成を示すブロック図である。この音源分離装置２０ａの構成は、実施の形態１における音源分離装置２０の構成と実質的に同等である。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
　この音源分離装置２０ａは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１クロストークキャンセラ５０及び第２クロストークキャンセラ７０を備える。いずれの構成要素も、実施の形態１における音源分離装置２０の対応する構成要素と実質的に同等であるが、音源分離装置２０ａでは、音源分離装置２０と比較して、第１伝達関数記憶回路５４及び第２伝達関数記憶回路７４に記憶される伝達関数が異なる。
　第１伝達関数記憶回路５４は、第１クロストーク３２と間接第１クロストーク３２ａとを合わせた伝達関数として推定された伝達関数を記憶する。
　これにより、第１クロストークキャンセラ５０は、第２クロストークキャンセラ７０の出力信号を用いて、第１クロストーク３２と間接第１クロストーク３２ａとを合わせた程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去し、除去後の信号を第１スピーカ２２に出力する。
　第２伝達関数記憶回路７４は、第２クロストーク３５と間接第２クロストーク３５ａとを合わせた伝達関数として推定された伝達関数を記憶する。
　これにより、第２クロストークキャンセラ７０は、第１クロストークキャンセラ５０の出力信号を用いて、第２クロストーク３５と間接第２クロストーク３５ａとを合わせた程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去し、除去後の信号を第２スピーカ２４に出力する。
　なお、この音源分離装置２０ａでは、第１マイク２１と第２スピーカ２４とは、第２スピーカ２４から出力された第２話者１２の音声が第１マイク２１に入力される間接第１クロストーク３２ａが無視できない程度に音響結合が大きい環境に設置されている。例えば、第２スピーカ２４は、第１マイク２１が存在する方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
　同様に、第２マイク２３と第１スピーカ２２とは、第１スピーカ２２から出力された第１話者１１の音声が第２マイク２３に入力される間接第２クロストーク３５ａが無視できない程度に音響結合が大きい環境に設置されている。例えば、第１スピーカ２２は、第２マイク２３が存在する方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
　［２－２．動作］
　以上のように構成された本実施の形態における音源分離装置２０ａでは、第１話者の音声３６及び第２話者の音声３７は、次のように処理される。
　第１話者の音声３６は、第１マイク２１に入力される。第１マイク２１の出力信号は、第１クロストークキャンセラ５０において、第１妨害信号が除去される。第１妨害信号は、第１クロストーク３２と間接第１クロストーク３２ａとを合わせた程度を示す（推定された）信号である。よって、第１クロストークキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第１クロストーク３２及び間接第１クロストーク３２ａの影響が除去された音声を示す信号となる。この音声信号が第１スピーカ２２から音声となって出力される。即ち、第１クロストークキャンセラ５０の出力信号は、図３に示すように、第１クロストーク３２及び間接第１クロストーク３２ａが除去された第１マイク２１の音声信号であり、第１スピーカ２２への入力信号である。
　よって、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１クロストーク３２及び間接第１クロストーク３２ａの影響が除去された音声、つまり、分離された第１話者の音声３６だけとなる。
　同様に、第２話者の音声３７は、第２マイク２３に入力される。第２マイク２３の出力信号は、第２クロストークキャンセラ７０において、第２妨害信号が除去される。第２妨害信号は、第２クロストーク３５と間接第２クロストーク３５ａとを合わせた程度を示す（推定された）信号である。よって、第２クロストークキャンセラ７０の出力信号は、第２マイク２３に入力された音声から、第２クロストーク３５及び間接第２クロストーク３５ａの影響が除去された音声を示す信号となる。この音声信号が第２スピーカ２４から音声となって出力される。即ち、第２クロストークキャンセラ７０の出力信号は、図３に示すように、第２クロストーク３５及び間接第２クロストーク３５ａが除去された第２マイク２３の音声信号であり、第２スピーカ２４への入力信号である。
　よって、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２クロストーク３５及び間接第２クロストーク３５ａの影響が除去された音声、つまり、分離された第２話者の音声３７だけとなる。
　［２－３．効果等］
　本実施の形態における音源分離装置２０ａは、実施の形態１における音源分離装置２０が有する第１クロストーク３２及び第２クロストーク３５の除去機能に追加して、間接第１クロストーク３２ａ及び間接第２クロストーク３５ａの除去機能を有する。そのため、実施の形態１と同様、従来の分離行列を用いない比較的小規模なハードウェアにより、間接第１クロストーク３２ａ及び間接第２クロストーク３５ａをも除去することができる。間接第１クロストーク３２ａの除去機能は、第１マイク２１と第２スピーカ２４とが間接第１クロストーク３２ａが無視できない程度に音響結合が大きい環境に設置されている場合に必要となり、間接第２クロストーク３５ａの除去機能は、第２マイク２３と第１スピーカ２２とが間接第２クロストーク３５ａが無視できない程度に音響結合が大きい環境に設置されている場合に必要となる。
　また、上記実施の形態は、音源分離装置であったが、以下のような音源分離方法として実現されてもよい。つまり、音源分離装置において第１話者１１の音声と第２話者１２の音声とを分離する音源分離方法である。音源分離装置は、第１話者の音声３６を入力するための第１マイク２１と、第１話者の音声３６を出力するための第１スピーカ２２と、第２話者の音声３７を入力するための第２マイク２３と、第２話者の音声３７を出力するための第２スピーカ２４とを備える。音源分離方法は、第１クロストークキャンセルステップと、第２クロストークキャンセルステップとを含む。
　第１クロストークキャンセルステップでは、第２クロストークキャンセルステップの出力信号を用いて、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２と、第２スピーカ２４から出力された第２話者１２の音声が第１マイク２１に入力される間接第１クロストーク３２ａとを合わせた程度を示す第１妨害信号を推定して算出する。そして、算出した第１妨害信号を、第１マイク２１の出力信号から除去し、除去後の信号を第１スピーカ２２に出力する。
　第２クロストークキャンセルステップでは、第１クロストークキャンセルステップの出力信号を用いて、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５と、第１スピーカ２２から出力された第１話者１１の音声が第２マイク２３に入力される間接第２クロストーク３５ａとを合わせた程度を示す第２妨害信号を推定して算出する。そして、算出した第２妨害信号を、第２マイク２３の出力信号から除去し、除去後の信号を第２スピーカ２４に出力する。
　このような音源分離方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１クロストークキャンセラ５０及び第２クロストークキャンセラ７０は、プログラムを実行するプロセッサによって実現されてもよい。
　また、このような音源分離方法は、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラムで実現されてもよい。
　（実施の形態３）
　次に、実施の形態３における音源分離装置について説明する。本実施の形態における音源分離装置は、実施の形態１における音源分離装置と比べて、第１話者及び第２話者に加えて第３話者が参加する会話を拡声して補助する場合に、個々の話者の音声を分離するために好適な装置である。
　［３－１．構成］
　図４は、実施の形態３における音源分離装置２０ｂの構成を示すブロック図である。この音源分離装置２０ｂは、実施の形態１における音源分離装置２０に、第３マイク２５、第３スピーカ２６、第３クロストークキャンセラ８０、第４クロストークキャンセラ１５０、第５クロストークキャンセラ１７０、及び第６クロストークキャンセラ１８０を追加して構成される。第１マイク２１、第２マイク２３、第１スピーカ２２、第２スピーカ２４、第１クロストークキャンセラ５０、及び第２クロストークキャンセラ７０は、実施の形態１における音源分離装置２０の対応する構成要素と実質的に同等である。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
　第３マイク２５は、第３話者１３の音声（第３音声）を入力するためのマイクであり、例えば、後部座席の天井に設けられる（図示せず）。なお、第３マイク２５から出力される音声信号は、例えば、内蔵のＡ／Ｄ変換器で生成されるデジタル音声データである。
　第３スピーカ２６は、第３話者の音声３８を出力するためのスピーカであり、例えば、車１０の２つの前扉の内側面に設けられる（図示せず）。なお、第３スピーカ２６は、例えば、入力されたデジタル音声データを内蔵のＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　第３クロストークキャンセラ８０は、第５クロストークキャンセラ１７０の出力信号を用いて、第２話者１２の音声が第３マイク２５に入力される第３クロストーク１３１の程度を示す第３妨害信号を推定して算出し、算出した第３妨害信号を、第３マイク２５の出力信号から除去し、除去後の信号を第６クロストークキャンセラ１８０に出力する。第３クロストークキャンセラ８０は、本実施の形態では、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第３クロストークキャンセラ８０は、第３伝達関数記憶回路８４、第３記憶回路８２、第３畳み込み演算器８３、第３減算器８１、及び、第３伝達関数更新回路８５を有する。
　第３伝達関数記憶回路８４は、第３クロストーク１３１の伝達関数として推定された伝達関数を記憶する。
　第３クロストークキャンセラ８０は、第１クロストークキャンセラ５０と比較して、構成及び信号処理の基本的な動作において実質的に同一であり、第３伝達関数記憶回路８４に記憶した伝達関数を用いて信号処理を行う。
　第４クロストークキャンセラ１５０は、第６クロストークキャンセラ１８０の出力信号を用いて、第３話者１３の音声が第１マイク２１に入力される第４クロストーク１３２の程度を示す第４妨害信号を推定して算出し、算出した第４妨害信号を、第１クロストークキャンセラ５０の出力信号から除去し、除去後の信号を第１スピーカ２２に出力する。第４クロストークキャンセラ１５０は、本実施の形態では、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第４クロストークキャンセラ１５０は、第４伝達関数記憶回路１５４、第４記憶回路１５２、第４畳み込み演算器１５３、第４減算器１５１、及び、第４伝達関数更新回路１５５を有する。
　第４伝達関数記憶回路１５４は、第４クロストーク１３２の伝達関数として推定された伝達関数を記憶する。
　第４クロストークキャンセラ１５０は、第１クロストークキャンセラ５０と比較して、構成及び信号処理の基本的な動作において実質的に同一であり、第４伝達関数記憶回路１５４に記憶した伝達関数を用いて信号処理を行う。
　第５クロストークキャンセラ１７０は、第６クロストークキャンセラ１８０の出力信号を用いて、第３話者１３の音声が第２マイク２３に入力される第５クロストーク１３３の程度を示す第５妨害信号を推定して算出し、算出した第５妨害信号を、第２クロストークキャンセラ７０の出力信号から除去し、除去後の信号を第２スピーカ２４に出力する。第５クロストークキャンセラ１７０は、本実施の形態では、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第５クロストークキャンセラ１７０は、第５伝達関数記憶回路１７４、第５記憶回路１７２、第５畳み込み演算器１７３、第５減算器１７１、及び、第５伝達関数更新回路１７５を有する。
　第５伝達関数記憶回路１７４は、第５クロストーク１３３の伝達関数として推定された伝達関数を記憶する。
　第５クロストークキャンセラ１７０は、第１クロストークキャンセラ５０と比較して、構成及び信号処理の基本的な動作において実質的に同一であり、第５伝達関数記憶回路１７４に記憶した伝達関数を用いて信号処理を行う。
　第６クロストークキャンセラ１８０は、第４クロストークキャンセラ１５０の出力信号を用いて、第１話者１１の音声が第３マイク２５に入力される第６クロストーク１３４の程度を示す第６妨害信号を推定して算出し、算出した第６妨害信号を、第３クロストークキャンセラ８０の出力信号から除去し、除去後の信号を第３スピーカ２６に出力する。第６クロストークキャンセラ１８０は、本実施の形態では、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第６クロストークキャンセラ１８０は、第６伝達関数記憶回路１８４、第６記憶回路１８２、第６畳み込み演算器１８３、第６減算器１８１、及び、第６伝達関数更新回路１８５を有する。
　第６伝達関数記憶回路１８４は、第６クロストーク１３４の伝達関数として推定された伝達関数を記憶する。
　第６クロストークキャンセラ１８０は、第１クロストークキャンセラ５０と比較して、構成及び信号処理の基本的な動作において実質的に同一であり、第６伝達関数記憶回路１８４に記憶した伝達関数を用いて信号処理を行う。
　［３－２．動作］
　以上のように構成された本実施の形態における音源分離装置２０ｂでは、第１話者の音声３６、第２話者の音声３７、及び第３話者の音声３８は、次のように処理される。
　第１話者の音声３６は、第１マイク２１に入力される。第１マイク２１の出力信号は、第１クロストークキャンセラ５０において第１妨害信号が除去される。第１妨害信号は、第１クロストーク３２の程度を示す（推定された）信号である。よって、第１クロストークキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第１クロストーク３２の影響が除去された音声を示す信号となる。この音声信号が、第４クロストークキャンセラ１５０に入力される。即ち、第１クロストークキャンセラ５０の出力信号は、図４に示すように、第１クロストーク３２が除去された第１マイク２１の音声信号であり、第４クロストークキャンセラ１５０の入力信号である。
　第１クロストークキャンセラ５０の出力信号は、第４クロストークキャンセラ１５０において第４妨害信号が除去される。第４妨害信号は、第４クロストーク１３２の程度を示す（推定された）信号である。よって、第４クロストークキャンセラ１５０の出力信号は、第１クロストークキャンセラ５０の出力信号から、第４クロストーク１３２の影響が除去された音声を示す信号となる。この信号が第１スピーカ２２から音声となって出力される。即ち、第４クロストークキャンセラ１５０の出力信号は、図４に示すように、第１クロストーク３２及び第４クロストーク１３２が除去された第１マイク２１の音声信号であり、第１スピーカ２２の入力信号である。
　よって、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１クロストーク３２及び第４クロストーク１３２の影響が除去された音声、つまり、実質的に分離された第１話者の音声３６だけとなる。
　同様に、第２話者の音声３７は、第２マイク２３に入力される。第２マイク２３の出力信号は、第２クロストークキャンセラ７０において第２妨害信号が除去される。第２妨害信号は、第２クロストーク３５の程度を示す（推定された）信号である。よって、第２クロストークキャンセラ７０の出力信号は、第２マイク２３に入力された音声から、第２クロストーク３５の影響が除去された音声を示す信号となる。この音声信号が第５クロストークキャンセラ１７０に入力される。即ち、第２クロストークキャンセラ７０の出力信号は、図４に示すように、第２クロストーク３５が除去された第２マイク２３の音声信号であり、第５クロストークキャンセラ１７０の入力信号である。
　第２クロストークキャンセラ７０の出力信号は、第５クロストークキャンセラ１７０において第５妨害信号が除去される。第５妨害信号は、第５クロストーク１３３の程度を示す（推定された）信号である。よって、第５クロストークキャンセラ１７０の出力信号は、第２クロストークキャンセラ７０の出力信号から、第５クロストーク１３３の影響が除去された音声を示す信号となる。この信号が第２スピーカ２４から音声となって出力される。即ち、第５クロストークキャンセラ１７０の出力信号は、図４に示すように、第２クロストーク３５及び第５クロストーク１３３が除去された第２マイク２３の音声信号であり、第２スピーカ２４の入力信号である。
　よって、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２クロストーク３５及び第５クロストーク１３３の影響が除去された音声、つまり、実質的に分離された第２話者の音声３７だけとなる。
　同様に、第３話者の音声３８は、第３マイク２５に入力される。第３マイク２５の出力信号は、第３クロストークキャンセラ８０において、第３妨害信号が除去される。第３妨害信号は、第３クロストーク１３１の程度を示す（推定された）信号である。よって、第３クロストークキャンセラ８０の出力信号は、第３マイク２５に入力された音声から、第３クロストーク１３１の影響が除去された音声を示す信号となる。この音声信号が第６クロストークキャンセラ１８０に入力される。即ち、第３クロストークキャンセラ８０の出力信号は、図４に示すように、第３クロストーク１３１が除去された第３マイク２５の音声信号であり、第６クロストークキャンセラ１８０の入力信号である。
　第３クロストークキャンセラ８０の出力信号は、第６クロストークキャンセラ１８０において第６妨害信号が除去される。第６妨害信号は、第６クロストーク１３４の程度を示す（推定された）信号である。よって、第６クロストークキャンセラ１８０の出力信号は、第３クロストークキャンセラ８０の出力信号から、第６クロストーク１３４の影響が除去された音声を示す信号となる。この信号が第３スピーカ２６から音声となって出力される。即ち、第６クロストークキャンセラ１８０の出力信号は、図４に示すように、第３クロストーク１３１及び第６クロストーク１３４が除去された第３マイク２５の音声信号であり、第３スピーカ２６の入力信号である。
　よって、第３スピーカ２６から出力される音声は、第３マイク２５に入力された音声のうち、第３クロストーク１３１及び第６クロストーク１３４の影響が除去された音声、つまり、実質的に分離された第３話者の音声３８だけとなる。
　［３－３．効果等］
　本実施の形態における音源分離装置２０ｂは、実施の形態１における音源分離装置２０が有する第１クロストーク３２及び第２クロストーク３５の除去機能に追加して、第１話者１１及び第２話者１２に加えて第３話者１３が会話に参加する場合に必要となる、第３クロストーク１３１、第４クロストーク１３２、第５クロストーク１３３、及び第６クロストーク１３４の除去機能を有する。そのため、実施の形態１と同様、比較的小規模なハードウェアにより、第１クロストーク３２及び第２クロストーク３５に加えて、第３クロストーク１３１、第４クロストーク１３２、第５クロストーク１３３、及び第６クロストーク１３４をも除去することができる。
　また、上記実施の形態は、音源分離装置の車室内会話補助装置への適用例であったが、音源分離装置は、車室内会話補助装置に限らず、音声認識装置に適用してもよい。より詳しくは、上記の音源分離装置にて個々の話者の音声信号を分離し、分離された個々の話者の音声信号を音声認識装置で処理することにより、より高い精度での音声認識を行うことができる。なお、音源分離装置を音声認識装置に適用する場合、車室内会話補助装置に適用する場合とは異なり、スピーカは必須ではない。
　また、上記実施の形態は、音源分離装置であったが、以下のような音源分離方法として実現されてもよい。つまり、音源分離装置おいて第１話者１１の音声と第２話者１２の音声と第３話者１３の音声とを分離する音源分離方法である。音源分離装置は、第１話者の音声３６を入力するための第１マイク２１と、第２話者の音声３７を入力するための第２マイク２３と、第３話者の音声３８を入力するための第３マイク２５とを備える。音源分離方法は、第１クロストークキャンセルステップと、第２クロストークキャンセルステップと、第３クロストークキャンセルステップと、第４クロストークキャンセルステップと、第５クロストークキャンセルステップと、第６クロストークキャンセルステップとを含む。
　第１クロストークキャンセルステップでは、第５クロストークキャンセルステップの出力信号を用いて、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去し、除去後の信号を出力する。
　第２クロストークキャンセルステップでは、第４クロストークキャンセルステップの出力信号を用いて、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去し、除去後の信号を出力する。
　第３クロストークキャンセルステップでは、第５クロストークキャンセルステップの出力信号を用いて、第２話者１２の音声が第３マイク２５に入力される第３クロストーク１３１の程度を示す第３妨害信号を推定して算出し、算出した第３妨害信号を、第３マイク２５の出力信号から除去し、除去後の信号を出力する。
　第４クロストークキャンセルステップでは、第６クロストークキャンセルステップの出力信号を用いて、第３話者１３の音声が第１マイク２１に入力される第４クロストーク１３２の程度を示す第４妨害信号を推定して算出し、算出した第４妨害信号を、第１クロストークキャンセルステップの出力信号から除去し、除去後の信号を出力する。
　第５クロストークキャンセルステップでは、第６クロストークキャンセルステップの出力信号を用いて、第３話者１３の音声が第２マイク２３に入力される第５クロストーク１３３の程度を示す第５妨害信号を推定して算出し、算出した第５妨害信号を、第２クロストークキャンセルステップの出力信号から除去し、除去後の信号を出力する。
　第６クロストークキャンセルステップでは、第４クロストークキャンセルステップの出力信号を用いて、第１話者１１の音声が第３マイク２５に入力される第６クロストーク１３４の程度を示す第６妨害信号を推定して算出し、算出した第６妨害信号を、第３クロストークキャンセルステップの出力信号から除去し、除去後の信号を出力する。
　このような音源分離方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１クロストークキャンセラ５０、第２クロストークキャンセラ７０、第３クロストークキャンセラ８０、第４クロストークキャンセラ１５０、第５クロストークキャンセラ１７０、及び第６クロストークキャンセラ１８０は、プログラムを実行するプロセッサによって実現されてもよい。
　また、このような音源分離方法は、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラムで実現されてもよい。
　なお、本実施の形態において、第１クロストークキャンセラ５０において実行される第１クロストークキャンセルステップと第４クロストークキャンセラ１５０において実行される第４クロストークキャンセルステップとの順序は入れ替えられてもよい。即ち、第１マイク２１の出力信号は、第４クロストークキャンセラ１５０に入力されて、第４妨害信号が除去される。第４クロストークキャンセラ１５０の出力信号は、第４妨害信号が除去された第１マイク２１の音声信号となって、第１クロストークキャンセラ５０に入力され、第１妨害信号が除去される。第１クロストークキャンセラ５０の出力信号は、第４妨害信号及び第１妨害信号が除去された第１マイク２１の音声信号となって、第１スピーカ２２に入力される。
　同様に、第２クロストークキャンセラ７０において実行される第２クロストークキャンセルステップと第５クロストークキャンセラ１７０において実行される第５クロストークキャンセルステップとの順序は入れ替えられてもよい。即ち、第２マイク２３の出力信号は、第５クロストークキャンセラ１７０に入力されて、第５妨害信号が除去される。第５クロストークキャンセラ１７０の出力信号は、第５妨害信号が除去された第２マイク２３の音声信号となって、第２クロストークキャンセラ７０に入力され、第２妨害信号が除去される。第２クロストークキャンセラ７０の出力信号は、第５妨害信号及び第２妨害信号が除去された第２マイク２３の音声信号となって、第２スピーカ２４に入力される。
　さらに、同様に、第３クロストークキャンセラ８０において実行される第３クロストークキャンセルステップと第６クロストークキャンセラ１８０において実行される第６クロストークキャンセルステップとの順序は入れ替えられてもよい。即ち、第３マイク２５の出力信号は、第６クロストークキャンセラ１８０に入力されて、第６妨害信号が除去される。第６クロストークキャンセラ１８０の出力信号は、第６妨害信号が除去された第３マイク２５の音声信号となって、第３クロストークキャンセラ８０に入力され、第３妨害信号が除去される。第３クロストークキャンセラ８０の出力信号は、第６妨害信号及び第３妨害信号が除去された第３マイク２５の音声信号となって、第３スピーカ２６に入力される。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～３及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～３及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
　例えば、実施の形態１～３では、第１クロストークキャンセラ５０、及び、第２クロストークキャンセラ７０が有する畳み込み演算器は、いずれも、ＮタップのＦＩＲフィルタを例として、畳み込み演算を行ったが、それぞれが異なるタップ数の異なるタイプのデジタルフィルタであってもよい。つまり、いかなる種類のデジタルフィルタにするかは、キャンセルする音響的雑音の伝達関数等に依存して適宜、独立して設計してもよい。
　また、実施の形態１～３では、第１クロストークキャンセラ５０、及び、第２クロストークキャンセラ７０が有する伝達関数更新回路による伝達関数の更新アルゴリズムは、上記式３、式６に示されるように、同一のアルゴリズムであってもよいし、同一のアルゴリズムであるがステップサイズパラメータが異なってもよいし、異なるアルゴリズムであってもよい。つまり、伝達関数の更新アルゴリズムは、キャンセルする音響的雑音の大きさ等に依存して適宜、独立して設計してもよい。
　また、上記実施の形態では、音源分離装置が備えるマイク及びスピーカの例として、車に組み込まれたタイプ、車に取り付けられたタイプ等が挙げられたが、これらに限られず、スマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカであってもよい。例えば、車における後部乗員の音声を第２マイク２３（後部マイク）としてのスマートフォンで収音し、無線でヘッドユニット（音源分離装置）に送信し、第２スピーカ２４としての前部スピーカから、クロストークを抑制した状態で拡声する。また、第１マイク２１としての前部マイクで収音した運転者の音声を無線で後部乗員のスマートフォンに送信し、第１スピーカ２２（後部スピーカ）としてのスマートフォンのスピーカから、クロストークを抑制した状態で拡声する。これにより、後部乗員がスマートフォンを用いて運転者と円滑に会話できるとともに、車における後部マイク及び後部スピーカが不要となる。
　また、このようなスマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカを用いた音源分離装置は、講演会等で用いられるＰＡ（Ｐｕｂｌｉｃ　Ａｄｄｒｅｓｓ）システムとしても有用である。講演会における質問者の声を自身のスマートフォンで収音して無線でＰＡシステムに転送し、クロストークを抑制した状態で拡声することができる。これにより、講演会において、質問者にマイクを手渡すのに要する時間が短縮され、質疑応答がスムーズに実施されて手際良い講演会の進行が可能になる。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、複数のマイクから収音された音声信号に対してクロストーク（漏話）を減らす信号処理を施す音源分離装置に適用可能である。具体的には、音声認識装置、ハンズフリー電話、会話補助装置などに、本開示は適用可能である。
　１０　車
　１１　第１話者
　１２　第２話者
　１３　第３話者
　２０，２０ａ，２０ｂ　音源分離装置
　２１　第１マイク
　２２　第１スピーカ
　２３　第２マイク
　２４　第２スピーカ
　２５　第３マイク
　２６　第３スピーカ
　３２　第１クロストーク
　３２ａ　間接第１クロストーク
　３５　第２クロストーク
　３５ａ　間接第２クロストーク
　３６　第１話者の音声
　３７　第２話者の音声
　３８　第３話者の音声
　５０　第１クロストークキャンセラ
　５１　第１減算器
　５２　第１記憶回路
　５３　第１畳み込み演算器
　５４　第１伝達関数記憶回路
　５５　第１伝達関数更新回路
　７０　第２クロストークキャンセラ
　７１　第２減算器
　７２　第２記憶回路
　７３　第２畳み込み演算器
　７４　第２伝達関数記憶回路
　７５　第２伝達関数更新回路
　８０　第３クロストークキャンセラ
　８１　第３減算器
　８２　第３記憶回路
　８３　第３畳み込み演算器
　８４　第３伝達関数記憶回路
　８５　第３伝達関数更新回路
　１３１　第３クロストーク
　１３２　第４クロストーク
　１３３　第５クロストーク
　１３４　第６クロストーク
　１５０　第４クロストークキャンセラ
　１５１　第４減算器
　１５２　第４記憶回路
　１５３　第４畳み込み演算器
　１５４　第４伝達関数記憶回路
　１５５　第４伝達関数更新回路
　１７０　第５クロストークキャンセラ
　１７１　第５減算器
　１７２　第５記憶回路
　１７３　第５畳み込み演算器
　１７４　第５伝達関数記憶回路
　１７５　第５伝達関数更新回路
　１８０　第６クロストークキャンセラ
　１８１　第６減算器
　１８２　第６記憶回路
　１８３　第６畳み込み演算器
　１８４　第６伝達関数記憶回路
　１８５　第６伝達関数更新回路

Claims (9)

  1. 　第１音声を入力するための第１マイクと、
    　第２音声を入力するための第２マイクと、
    　前記第１マイクの音声信号から、前記第２音声が前記第１マイクに入力される第１クロストークを除去する第１クロストークキャンセラと、
    　前記第２マイクの音声信号から、前記第１音声が前記第２マイクに入力される第２クロストークを除去する第２クロストークキャンセラと、を備え、
    　前記第１クロストークキャンセラは、前記第２マイクの前記音声信号から前記第２クロストークが除去された音声信号を用いて、前記第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの前記音声信号から除去し、
    　前記第２クロストークキャンセラは、前記第１マイクの前記音声信号から前記第１クロストークが除去された音声信号を用いて、前記第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記音声信号から除去する、
    音源分離装置。
  2. 　同一時刻における前記第２音声について、前記第２マイクの前記音声信号が前記第１クロストークキャンセラに入力される時刻は、前記第２音声が前記第１マイクに入力される時刻と同一、又は、より早く、
    　同一時刻における前記第１音声について、前記第１マイクの前記音声信号が前記第２クロストークキャンセラに入力される時刻は、前記第１音声が前記第２マイクに入力される時刻と同一、又は、より早い、
    請求項１記載の音源分離装置。
  3. 　さらに、
    　前記第１音声を出力するための第１スピーカと、
    　前記第２音声を出力するための第２スピーカと、を備え、
    　前記第１クロストークキャンセラは、さらに、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される間接第１クロストークを除去し、前記第１妨害信号は、前記第１クロストーク、及び、前記間接第１クロストークの程度を示し、
    　前記第２クロストークキャンセラは、さらに、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される間接第２クロストークを除去し、前記第２妨害信号は、前記第２クロストーク、及び、前記間接第２クロストークの程度を示す、
    請求項２記載の音源分離装置。
  4. 　前記第１クロストークキャンセラは、
    　前記第１クロストークの伝達関数として推定された前記伝達関数を記憶する第１伝達関数記憶回路と、
    　前記第２クロストークキャンセラの前記出力信号を記憶する第１記憶回路と、
    　前記第１記憶回路に記憶された前記出力信号と前記第１伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１妨害信号を生成する第１畳み込み演算器と、
    　前記第１マイクの前記出力信号から、前記第１畳み込み演算器から出力された前記第１妨害信号を除去し、当該第１クロストークキャンセラの前記出力信号として出力する第１減算器と、
    　前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記出力信号とに基づいて前記第１伝達関数記憶回路に記憶された前記伝達関数を更新する第１伝達関数更新回路と、を有し、
    　前記第２クロストークキャンセラは、
    　前記第２クロストークの伝達関数として推定された前記伝達関数を記憶する第２伝達関数記憶回路と、
    　前記第１クロストークキャンセラの前記出力信号を記憶する第２記憶回路と、
    　前記第２記憶回路に記憶された前記出力信号と前記第２伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２妨害信号を生成する第２畳み込み演算器と、
    　前記第２マイクの前記出力信号から、前記第２畳み込み演算器から出力された前記第２妨害信号を除去し、当該第２クロストークキャンセラの前記出力信号として出力する第２減算器と、
    　前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて前記第２伝達関数記憶回路に記憶された前記伝達関数を更新する第２伝達関数更新回路と、を有する、
    請求項１記載の音源分離装置。
  5. 　前記第１伝達関数更新回路は、独立成分分析を用いて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記出力信号とに基づいて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第１伝達関数記憶回路に記憶された前記伝達関数を更新し、
    　前記第２伝達関数更新回路は、独立成分分析を用いて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第２伝達関数記憶回路に記憶された前記伝達関数を更新する、
    請求項４記載の音源分離装置。
  6. 　前記第１伝達関数更新回路は、前記第１減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第１記憶回路に記憶された前記出力信号と、前記第１クロストークの前記伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出し、算出した前記第１更新係数を前記第１伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    　前記第２伝達関数更新回路は、前記第２減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第２記憶回路に記憶された前記出力信号と、前記第２クロストークの前記伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出し、算出した前記第２更新係数を前記第２伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行う、
    請求項５記載の音源分離装置。
  7. 　前記第１伝達関数更新回路、及び前記第２伝達関数更新回路が用いる前記非線形関数は、シグモイド関数、双曲線正接関数、正規化線形関数又は符号関数である、
    請求項６記載の音源分離装置。
  8. 　さらに、
    　第３音声を入力するための第３マイクと、
    　前記第３マイクの音声信号から、前記第２音声が前記第３マイクに入力される第３クロストークを除去する第３クロストークキャンセラと、
    　前記第１マイクの音声信号から、前記第３音声が前記第１マイクに入力される第４クロストークを除去する第４クロストークキャンセラと、
    　前記第２マイクの音声信号から、前記第３音声が前記第２マイクに入力される第５クロストークを除去する第５クロストークキャンセラと、
    　前記第３マイクの音声信号から、前記第１音声が前記第３マイクに入力される第６クロストークを除去する第６クロストークキャンセラと、を備え、
    　前記第１クロストークキャンセラは、前記第１妨害信号を推定するにあたり、前記第２マイクの前記音声信号から前記第２クロストーク及び前記第５クロストークが除去された音声信号を用い、
    　前記第２クロストークキャンセラは、前記第２妨害信号を推定するにあたり、前記第１マイクの前記音声信号から前記第１クロストーク及び前記第４クロストークが除去された音声信号を用い、
    　前記第３クロストークキャンセラは、前記第２マイクの前記音声信号から前記第２クロストーク及び前記第５クロストークが除去された音声信号を用いて、前記第３クロストークの程度を示す第３妨害信号を推定して算出し、算出した前記第３妨害信号を、前記第３マイクの前記音声信号から除去し、
    　前記第４クロストークキャンセラは、前記第３マイクの前記音声信号から前記第３クロストーク及び前記第６クロストークが除去された音声信号を用いて、前記第４クロストークの程度を示す第４妨害信号を推定して算出し、算出した前記第４妨害信号を、前記第１マイクの前記音声信号から除去し、
    　前記第５クロストークキャンセラは、前記第３マイクの前記音声信号から前記第３クロストーク及び前記第６クロストークが除去された音声信号を用いて、前記第５クロストークの程度を示す第５妨害信号を推定して算出し、算出した前記第５妨害信号を、前記第２マイクの前記音声信号から除去し、
    　前記第６クロストークキャンセラは、前記第１マイクの前記音声信号から前記第１クロストーク及び前記第４クロストークが除去された音声信号を用いて、前記第６クロストークの程度を示す第６妨害信号を推定して算出し、算出した前記第６妨害信号を、前記第３マイクの前記音声信号から除去する、
    請求項１記載の音源分離装置。
  9. 　第１音声と第２音声とを含む音声信号から前記第１音声と前記第２音声とを分離する音源分離装置において行われる音源分離方法であって、
    　前記音源分離装置は、
    　前記第１音声を入力するための第１マイクと、
    　前記第２音声を入力するための第２マイクと、を備え、
    　前記音源分離方法は、
    　前記第１マイクの音声信号から、前記第２音声が前記第１マイクに入力される第１クロストークを除去する第１クロストークキャンセルステップと、
    　前記第２マイクの音声信号から、前記第１音声が前記第２マイクに入力される第２クロストークを除去する第２クロストークキャンセルステップと、を含み、
    　前記第１クロストークキャンセルステップでは、前記第２クロストークキャンセルステップにおいて前記第２マイクの前記音声信号から前記第２クロストークが除去された音声信号を用いて、前記第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの前記音声信号から除去し、
    　前記第２クロストークキャンセルステップでは、前記第１クロストークキャンセルステップにおいて前記第１マイクの前記音声信号から前記第１クロストークが除去された音声信号を用いて、前記第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記音声信号から除去する、
    音源分離方法。
PCT/JP2016/004391 2015-10-16 2016-09-29 音源分離装置および音源分離方法 WO2017064840A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16855097.8A EP3333850A4 (en) 2015-10-16 2016-09-29 Sound source separating device and sound source separating method
JP2017545086A JP6318376B2 (ja) 2015-10-16 2016-09-29 音源分離装置および音源分離方法
US15/889,279 US10290312B2 (en) 2015-10-16 2018-02-06 Sound source separation device and sound source separation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-205023 2015-10-16
JP2015205023 2015-10-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/889,279 Continuation US10290312B2 (en) 2015-10-16 2018-02-06 Sound source separation device and sound source separation method

Publications (1)

Publication Number Publication Date
WO2017064840A1 true WO2017064840A1 (ja) 2017-04-20

Family

ID=58517489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004391 WO2017064840A1 (ja) 2015-10-16 2016-09-29 音源分離装置および音源分離方法

Country Status (4)

Country Link
US (1) US10290312B2 (ja)
EP (1) EP3333850A4 (ja)
JP (1) JP6318376B2 (ja)
WO (1) WO2017064840A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312839A4 (en) * 2015-10-16 2018-05-09 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation
WO2020011085A1 (zh) * 2018-07-12 2020-01-16 阿里巴巴集团控股有限公司 串音数据检测方法和电子设备
WO2021100670A1 (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
WO2021100671A1 (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
US11089404B2 (en) 2019-01-29 2021-08-10 Panasonic Intellectual Property Management Co., Ltd. Sound processing apparatus and sound processing method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6809936B2 (ja) * 2017-02-28 2021-01-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 雑音抽出装置およびマイクロホン装置
CN110675889A (zh) * 2018-07-03 2020-01-10 阿里巴巴集团控股有限公司 音频信号处理方法、客户端和电子设备
JP7163876B2 (ja) * 2019-07-02 2022-11-01 トヨタ車体株式会社 車内会話支援装置
US11270712B2 (en) 2019-08-28 2022-03-08 Insoundz Ltd. System and method for separation of audio sources that interfere with each other using a microphone array
US11546689B2 (en) * 2020-10-02 2023-01-03 Ford Global Technologies, Llc Systems and methods for audio processing
US20230319488A1 (en) * 2022-03-29 2023-10-05 The Board Of Trustees Of The University Of Illinois Crosstalk cancellation and adaptive binaural filtering for listening system using remote signal sources and on-ear microphones

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508105A (ja) * 1995-09-18 1999-07-13 インターヴァル リサーチ コーポレイション 信号処理のための適応フィルタおよびその方法
JP2010163054A (ja) * 2009-01-15 2010-07-29 Fujitsu Ten Ltd 会話支援装置及び会話支援方法
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10217778A1 (de) * 2002-04-18 2003-11-06 Volkswagen Ag Kommunikationseinrichtung zur Übertragung akustischer Signale in einem Kraftfahrzeug
US6496581B1 (en) * 1997-09-11 2002-12-17 Digisonix, Inc. Coupled acoustic echo cancellation system
US6505057B1 (en) * 1998-01-23 2003-01-07 Digisonix Llc Integrated vehicle voice enhancement system and hands-free cellular telephone system
US6549629B2 (en) * 2001-02-21 2003-04-15 Digisonix Llc DVE system with normalized selection
JP3975153B2 (ja) 2002-10-28 2007-09-12 日本電信電話株式会社 ブラインド信号分離方法及び装置、ブラインド信号分離プログラム並びにそのプログラムを記録した記録媒体
US20090055180A1 (en) * 2007-08-23 2009-02-26 Coon Bradley S System and method for optimizing speech recognition in a vehicle
CN102549660B (zh) 2009-10-01 2014-09-10 日本电气株式会社 信号处理方法和信号处理装置
WO2012046582A1 (ja) * 2010-10-08 2012-04-12 日本電気株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
WO2012054750A1 (en) 2010-10-20 2012-04-26 Srs Labs, Inc. Stereo image widening system
US20120294446A1 (en) 2011-05-16 2012-11-22 Qualcomm Incorporated Blind source separation based spatial filtering
US9641934B2 (en) * 2012-01-10 2017-05-02 Nuance Communications, Inc. In-car communication system for multiple acoustic zones
US20160039356A1 (en) * 2014-08-08 2016-02-11 General Motors Llc Establishing microphone zones in a vehicle
US9947334B2 (en) * 2014-12-12 2018-04-17 Qualcomm Incorporated Enhanced conversational communications in shared acoustic space
US9672805B2 (en) * 2014-12-12 2017-06-06 Qualcomm Incorporated Feedback cancelation for enhanced conversational communications in shared acoustic space
US10542154B2 (en) * 2015-10-16 2020-01-21 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508105A (ja) * 1995-09-18 1999-07-13 インターヴァル リサーチ コーポレイション 信号処理のための適応フィルタおよびその方法
JP2010163054A (ja) * 2009-01-15 2010-07-29 Fujitsu Ten Ltd 会話支援装置及び会話支援方法
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3333850A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312839A4 (en) * 2015-10-16 2018-05-09 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation
US10542154B2 (en) 2015-10-16 2020-01-21 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation
WO2020011085A1 (zh) * 2018-07-12 2020-01-16 阿里巴巴集团控股有限公司 串音数据检测方法和电子设备
US11551706B2 (en) 2018-07-12 2023-01-10 Alibaba Group Holding Limited Crosstalk data detection method and electronic device
US11089404B2 (en) 2019-01-29 2021-08-10 Panasonic Intellectual Property Management Co., Ltd. Sound processing apparatus and sound processing method
WO2021100670A1 (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
JP2021081654A (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
WO2021100671A1 (ja) * 2019-11-21 2021-05-27 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
JP7437650B2 (ja) 2019-11-21 2024-02-26 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法
JP7486145B2 (ja) 2019-11-21 2024-05-17 パナソニックＩｐマネジメント株式会社 音響クロストーク抑圧装置および音響クロストーク抑圧方法

Also Published As

Publication number Publication date
US20180158467A1 (en) 2018-06-07
JP6318376B2 (ja) 2018-05-09
EP3333850A4 (en) 2018-06-27
EP3333850A1 (en) 2018-06-13
US10290312B2 (en) 2019-05-14
JPWO2017064840A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
JP6318376B2 (ja) 音源分離装置および音源分離方法
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
JP4283212B2 (ja) 雑音除去装置、雑音除去プログラム、及び雑音除去方法
EP1848243B1 (en) Multi-channel echo compensation system and method
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
EP1718103B1 (en) Compensation of reverberation and feedback
CN1719516B (zh) 自适应滤波装置以及自适应滤波方法
Djendi et al. Analysis of two-sensors forward BSS structure with post-filters in the presence of coherent and incoherent noise
WO2016103709A1 (ja) 音声処理装置
JP5738488B2 (ja) ビームフォーミング装置
JP2013546247A (ja) マルチビーム音響システム
KR20100003530A (ko) 전자기기에서 음성 신호의 잡음 제거 장치 및 방법
US20080152157A1 (en) Method and system for eliminating noises in voice signals
JP2007180896A (ja) 音声信号処理装置および音声信号処理方法
JP2012195801A (ja) 会話支援装置
JP2024026716A (ja) 信号処理装置及び信号処理方法
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
CN1180602C (zh) 用于时空回声消除的方法和装置
JP7194900B2 (ja) 翻訳装置及び翻訳方法
JP2008033307A (ja) マルチチャンネルエコーキャンセラ
JP2012049715A (ja) 音源分離装置、音源分離方法、及び、プログラム
Saremi Spatial audio signal processing for speech telecommunication inside vehicles
CN113519169B (zh) 用于音频啸叫衰减的方法和装置
EP4057275B1 (en) Active noise control system
Park et al. DTD-free nonlinear acoustic echo cancellation based on independent component analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16855097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017545086

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016855097

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE