WO2020017517A1 - 音声信号処理システム、及び音声信号処理装置 - Google Patents
音声信号処理システム、及び音声信号処理装置 Download PDFInfo
- Publication number
- WO2020017517A1 WO2020017517A1 PCT/JP2019/027982 JP2019027982W WO2020017517A1 WO 2020017517 A1 WO2020017517 A1 WO 2020017517A1 JP 2019027982 W JP2019027982 W JP 2019027982W WO 2020017517 A1 WO2020017517 A1 WO 2020017517A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- audio signal
- signal processing
- execution
- processing device
- unit
- Prior art date
Links
- 230000010365 information processing Effects 0.000 claims abstract description 63
- 230000005236 sound signal Effects 0.000 claims description 274
- 238000000034 method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 57
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 22
- 238000003379 elimination reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008030 elimination Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002411 adverse Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02163—Only one microphone
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Definitions
- the present invention relates to an audio signal processing system for processing an audio signal collected by a microphone, an audio signal processing device, an information processing device, and an audio signal processing method.
- An audio signal processing system including a microphone that collects audio is known. Such an audio signal processing system executes an audio recognition process on an audio signal collected by a microphone, or transmits the audio signal to another communication device for external reproduction.
- Speech signal processing such as echo removal processing may be applied to a sound signal obtained by a microphone.
- the accuracy of the audio recognition processing may be adversely affected.
- the present invention has been made in consideration of the above circumstances, and one of its objects is to provide an audio signal processing system capable of applying necessary audio signal processing while avoiding an adverse effect on audio recognition processing.
- An object of the present invention is to provide an audio signal processing device, an information processing device, and an audio signal processing method.
- An audio signal processing system is an audio signal processing system that includes an audio signal processing device and an information processing device that are communicatively connected to each other, wherein the audio signal processing device includes a collected sound collected by a microphone.
- a signal processing unit that performs non-linear signal processing on a signal, and transmits both the pre-execution audio signal before executing the non-linear signal processing and the post-execution audio signal after execution to the information processing apparatus.
- a receiving unit that receives the pre-execution audio signal and the post-execution audio signal from the audio signal processing device, and performs a first processing on the pre-execution audio signal.
- a processing unit that executes a process and executes a second process different from the first process on the post-execution audio signal.
- An audio signal processing device is an audio signal processing device communicatively connected to an information processing device, and a signal processing unit that performs non-linear signal processing on a collected sound signal collected by a microphone. And a transmission unit that transmits both the pre-execution audio signal before the execution of the nonlinear signal processing and the post-execution audio signal after the execution to the information processing apparatus.
- An information processing apparatus is an information processing apparatus communicatively connected to an audio signal processing apparatus, wherein a pre-execution sound before executing a non-linear signal processing on a sound collection sound signal collected by a microphone.
- An audio signal processing method includes the steps of: performing a non-linear signal processing on a collected audio signal collected by a microphone; and a pre-execution audio signal before performing the non-linear signal processing; and Transmitting both of the post-execution audio signal after the execution to the information processing apparatus.
- FIG. 1 is an overall configuration diagram of an audio signal processing system including an audio signal processing device according to an embodiment of the present invention.
- 1 is a configuration block diagram of an audio signal processing device according to an embodiment of the present invention.
- FIG. 2 is a functional block diagram of the audio signal processing device according to the embodiment of the present invention.
- FIG. 3 is a diagram illustrating a noise removal process performed by the audio signal processing device according to the embodiment of the present invention. It is a figure explaining processing which the audio signal processing unit concerning an embodiment of the invention transmits two kinds of audio signals.
- FIG. 1 is an overall configuration diagram of an audio signal processing system 1 including an audio signal processing device 10 according to an embodiment of the present invention.
- the audio signal processing system 1 includes an audio signal processing device 10 and an information processing device 50.
- the audio signal processing device 10 and the information processing device 50 transmit and receive data by wireless communication such as Bluetooth (registered trademark) standard.
- wireless communication such as Bluetooth (registered trademark) standard.
- data transmission and reception are performed by wireless communication.
- the present invention is not limited to this, and the audio signal processing device 10 and the information processing device 50 may be connected to each other by wire according to a standard such as USB.
- FIG. 2 is a configuration block diagram illustrating a schematic hardware configuration of the audio signal processing device 10.
- the audio signal processing device 10 is, for example, a controller for a home game machine, and as shown in FIG. 2, an audio input / output circuit 11, a microcontroller 12, a speaker 13, a headphone terminal 14, a microphone 15, and a plurality of It is configured to include an operation button 16.
- the audio input / output circuit 11 is an integrated circuit for controlling audio input / output, and includes a digital signal processor (DSP) 11a for executing audio signal processing.
- DSP digital signal processor
- the sound input / output circuit 11 sounds sound from one of the headphone connected to the headphone terminal 14 and the speaker 13 based on the sound signal received by the microcontroller 12 from the information processing device 50.
- the audio input / output circuit 11 performs necessary audio signal processing on an audio signal obtained by the microphone 15 collecting the sound, and outputs the result to the microcontroller 12.
- the voice input / output circuit 11 receives an operation signal indicating the content of the operation from the microcontroller 12 for a noise removal process described later. The details of the audio signal processing realized by the audio input / output circuit 11 will be described later.
- the microcontroller 12 is an integrated circuit for controlling each unit of the audio signal processing device 10.
- the microcontroller 12 has a built-in communication circuit 12a.
- the communication circuit 12a is connected to the antenna 12b, and controls wireless communication for exchanging information with the information processing device 50 via the antenna 12b.
- the communication circuit 12a receives, from the information processing device 50, an audio signal to be reproduced from a speaker 13 or headphones described later.
- an audio signal obtained by applying audio signal processing, which will be described later, to an audio signal collected by the microphone 15, an operation signal indicating the content of a user operation on the operation button 16, and the like are transmitted to the information processing device 50.
- the microcontroller 12 may include a communication interface based on a standard such as I2S (Inter-IC @ Sound) as an interface for transmitting and receiving an audio signal to and from the audio input / output circuit 11.
- I2S Inter-IC @ Sound
- the speaker 13 reproduces the sound based on the sound signal received from the information processing device 50 in monaural. Both headphone compatible with monaural playback and headphones compatible with stereo playback can be connected to the headphone terminal 14. When the headphones are connected to the headphone terminal 14, the audio input / output circuit 11 receives from the information processing device 50. The sound based on the sound signal thus obtained can be reproduced from the headphones instead of the speaker 13.
- the microphone 15 is a microphone array composed of two microphone elements 15a and 15b, and collects voice uttered by a user using the audio signal processing device 10.
- an audio signal transmitted from the information processing device 50 to the audio signal processing device 10 for reproduction from the speaker 13 or the headphones is referred to as a reproduced audio signal.
- a sound signal obtained by the microphone 15 collecting a sound is referred to as a collected sound signal.
- the information processing device 50 is, for example, a home game machine or a personal computer, and includes a control unit 51, a storage unit 52, and a communication unit 53.
- the control unit 51 includes at least one processor, and executes various types of information processing according to a program stored in the storage unit 52.
- the storage unit 52 includes at least one storage element, and stores a program executed by the control unit 51 and data to be processed by the program.
- the communication unit 53 includes a communication interface for exchanging information with the audio signal processing device 10.
- the communication unit 53 may include a communication interface for transmitting and receiving data to and from another information processing device via a communication line such as the Internet.
- the information processing device 50 performs a voice recognition process on the collected voice signal received from the voice signal processing device 10. Further, it transmits the collected sound signal received from the sound signal processing device 10 to another information processing device in order to reproduce it at another place. Thereby, the information processing apparatus 50 can specify the language content spoken by the user toward the microphone 15 of the audio signal processing apparatus 10 or can make the voice heard by another user at a remote place.
- the transmission path of the digital audio signal is indicated by a solid line
- the transmission path of an analog audio signal is indicated by a broken line.
- the audio input / output circuit 11 includes two signal input units 21a and 21b, a speaker sound quality adjustment unit 22, a selector 23, two D / A converters 24a and 24b, and two A / D converters. It is configured to include converters 26a and 26b, a beam forming processing unit 27, an echo removing unit 28, a noise removing unit 29, an operation input receiving unit 30, a delay processing unit 31, and two signal output units 32a and 32b. Further, three amplifiers (amplifiers) 25a, 25b, and 25c are connected to the audio input / output circuit 11.
- the functions of the speaker sound quality adjusting unit 22, the selector 23, the beam forming processing unit 27, the echo removing unit 28, the noise removing unit 29, the operation input receiving unit 30, and the delay processing unit 31 are realized by the DSP 11a which is an audio signal processing circuit. You.
- the information processing device 50 transmits stereo (two-channel) digital data to the audio signal processing device 1 as a reproduced audio signal. These digital data are received by the communication circuit 12a, and the data of the L (left) channel is input to the signal input unit 21a, and the data of the R (right) channel is input to the signal input unit 21b.
- the L-channel reproduced audio signal input to the signal input unit 21a is input directly to the D / A converter 24a.
- the reproduced audio signal of the R channel input to the signal input unit 21b is input to the selector 23 and the speaker sound quality adjustment unit 22.
- the speaker sound quality adjustment unit 22 executes a process for improving the sound quality of the sound reproduced from the speaker 13 when no headphones are connected to the headphone terminal 14 (that is, when sound is reproduced from the speaker 13). .
- the speaker sound quality adjustment unit 22 performs a predetermined equalizer process, a compressor process, and the like on the reproduced audio signal.
- the reproduced audio signal adjusted by the speaker sound quality adjusting unit 22 is input to each of the selector 23 and an echo removing unit 28 described later.
- the selector 23 selects a reproduced audio signal to be supplied to the D / A converter 24b. Specifically, when headphones are connected to the headphone terminal 14, the selector 23 inputs the R-channel reproduced audio signal input to the signal input unit 21b to the D / A converter 24b as it is. On the other hand, when headphones are not connected to the headphone terminal 14, the selector 23 inputs the reproduced audio signal adjusted for reproduction by the speaker 13 by the speaker sound quality adjustment unit 22 to the D / A converter 24b.
- the D / A converters 24a and 24b convert the input digital reproduced audio signals into analog signals and supply the analog signals to the corresponding amplifiers. Specifically, the analog audio signal output from the D / A converter 24a is amplified by the amplifier 25a and is reproduced from the headphones connected to the headphone terminal 14. When headphones are connected to the headphone terminal 14, the analog audio signal output from the D / A converter 24b is amplified by the amplifier 25b and reproduced from the headphones. When headphones are not connected to the headphone terminal 14, the analog audio signal output from the D / A converter 24b is amplified by the amplifier 25c and reproduced from the speaker 13.
- the playback audio signal of the L channel may be played back from the headphones, and the playback audio signal of the R channel may be played back from the speaker 13 at the same time.
- the selector 23 selects the reproduced audio signal adjusted by the speaker sound quality adjustment unit 22 as an input.
- the reproduced audio signal input to the signal input unit 21a is always reproduced from the headphones connected to the headphone terminal 14 via the D / A converter 24a and the amplifier 25a.
- the reproduced audio signal input to the signal input unit 21b is processed along one of the following two routes. That is, when headphones compatible with stereo playback are connected to the headphone terminal 14, the playback audio signal input to the signal input unit 21b is played back from the headphones via the selector 23, the D / A converter 24b, and the amplifier 25b. Is done.
- the reproduced audio signal input to the signal input unit 21 b is transmitted to the speaker 13 through the speaker sound quality adjustment unit 22, the selector 23, the D / A converter 24 b, and the amplifier 25 c. 13 is reproduced.
- the analog collected sound signals output from the microphone elements 15a and 15b are converted into digital data by A / D converters 26a and 26b.
- the beamforming processing unit 27 generates data of a collected sound signal having directivity based on data of the collected sound signal output from each of the A / D converters 26a and 26b. In the subsequent processing, the data of the collected sound signal generated by the beam forming processing unit 27 is used as the data of the sound collected by the microphone 15.
- the echo removing unit 28 performs an echo removing process on the data of the collected voice signal generated by the beam forming processing unit 27. This is a process of removing an acoustic echo generated by the microphone 15 collecting the sound reproduced from the speaker 13 from the collected sound signal.
- the echo removing unit 28 receives the reproduced audio signal for speaker reproduction output from the speaker sound quality adjusting unit 22 and executes an echo removing process on the collected audio signal.
- the collected sound signal subjected to the echo removal processing by the echo removal unit 28 is input to each of the noise removal unit 29 and the delay processing unit 31.
- the echo elimination unit 28 executes the echo elimination processing only when audio is being reproduced from the speaker 13, and when the reproduced audio signal output from the D / A converter 24b is being reproduced from the headphones. Does not need to execute the echo removal processing.
- the echo removing unit 28 performs the echo removing process by using the audio signal after the adjustment as an input only while the speaker sound quality adjusting unit 22 is performing the adjusting process.
- the sound / audio signal may be output as it is.
- the audio signal processing for the collected audio signal described above (that is, the audio signal processing performed by the beam forming processing unit 27 and the echo removing unit 28) is a linear signal processing.
- the noise removal processing described below is a non-linear signal processing.
- the noise removing unit 29 performs a noise removing process for removing noise on the collected voice signal output from the echo removing unit 28 after the echo removal.
- the noise elimination unit 29 performs the noise elimination process by using the presence or absence of the user's operation input to the operation button 16 as an input.
- the microcontroller 12 inputs an operation signal indicating that the operation input has been performed to the voice input / output circuit 11.
- the operation input receiving unit 30 receives the operation signal, and notifies the noise removing unit 29 that the operation input has been received.
- the noise removing unit 29 executes a process of removing the noise on the assumption that the audio signal collected at that timing contains noise. I do.
- the noise removing unit 29 may not apply the noise removing process to the audio signal collected at such a timing.
- the collected sound signal may include noise other than the operation sound for the operation button 16. Therefore, it is desirable that the noise removing unit 29 applies a noise removal process having a different content from that when the operation input is received, to the collected sound signal when the operation input is not received. That is, the noise elimination unit 29 changes the content of the noise elimination processing depending on whether the operation input to the operation button 16 is received or not.
- FIG. 4 is a diagram illustrating the types of noise removal processing performed by the noise removal unit 29.
- the noise removing unit 29 divides a collected sound signal into unit times (frames) and performs noise removal processing on the divided sound signals of the unit time.
- the content of the noise removal processing changes depending on whether an operation input has been received within the corresponding unit time.
- the timing at which the operation input to the operation button 16 is received is indicated by a star.
- a noise removal process (herein referred to as process A) on the premise of an operation input is performed on the sound-collected audio signals of frames 1, 3, 4, and 7 corresponding to this timing.
- a noise removal process (herein referred to as process B) when there is no operation input is performed on the collected sound signals of frames 2, 5, and 6.
- the noise removing unit 29 may perform the noise removing process using a filter algorithm optimized based on mutually different input data in accordance with the presence or absence of an operation input.
- the values of one or a plurality of parameters that determine the processing content of the above-described process A are adjusted using the collected sound signal acquired at the timing when the operation input is received as an input.
- the value of one or more parameters that determine the processing content of the processing B is adjusted. Since the inputs are different, the parameters used for the process A and the parameters used for the process B are adjusted to different values.
- the noise elimination unit 29 performs the noise elimination process using the parameters adjusted for each process in this manner. In this way, by performing the noise elimination processing using the result of optimization based on the past collected sound signals independently of each other according to the presence or absence of the operation input, noise suitable for each situation is obtained. Removal can be achieved.
- the noise removing unit 29 may change the content of the noise removing process according to the content of the operation input.
- the noise removing unit 29 may receive information for specifying which operation button of the plurality of operation buttons 16 has been operated, and may execute noise removal processing having different contents for each operation button.
- the noise removing unit 29 may classify the plurality of operation buttons 16 into a plurality of groups and change the content of the noise removal processing for each group.
- the generated operation sound may vary depending on the type and structure of the operation button. It is also assumed that the volume of the operation sound collected by the microphone 15 differs depending on whether the position of the operation button is close to or away from the microphone 15. Therefore, operation buttons with similar arrangement positions and structures should belong to the same group, and if any operation button belonging to that group is operated, apply noise removal processing of the content corresponding to that group. And On the other hand, when operation buttons belonging to different groups are operated, noise removal processing having different contents is executed.
- the noise removing unit 29 performs a noise removing process using one or a plurality of parameters optimized based on input data different for each group.
- the operation buttons are classified into a plurality of groups according to the arrangement position, the shape, and the like, and the noise removal processing having different contents is performed for each group, thereby improving the accuracy of the noise removal processing.
- the operation input receiving unit 30 receives only the operation input to the operation button 16, but an operation member of a different type (for example, a lever or the like) from the operation button is arranged in the audio signal processing device 10,
- the operation input receiving unit 30 may also receive operation inputs to such other types of operation members.
- the noise removing unit 29 may change the content of the noise removing process according to the type of the operation member. This makes it possible to execute a noise removal process suitable for noise generated by an operation on the operation member for each type of operation member.
- the operation input receiving unit 30 may receive information on the operation mode of the user on the operation member, and the noise removing unit 29 may change the content of the noise removal processing based on the information on the operating mode.
- the information on the operation mode includes an operation amount, an operation intensity, an operation speed, and the like.
- the operation input receiving unit 30 receives the detected amount of pressing as information on the operation mode. It is assumed that the manner in which the operation sound is generated also changes depending on the operation mode performed by the user. Therefore, by changing the content of the noise removal processing using the information on the operation mode, the accuracy of the noise removal processing can be improved.
- the operation input receiving unit 30 may receive not only the operation input to the operation member arranged on the surface of the housing of the audio signal processing device 10 but also information about another type of operation input. Specifically, the operation input receiving unit 30 may receive detection values detected by various sensors built in the audio signal processing device 10 as the contents of the operation input. As an example, when a motion sensor such as an acceleration sensor is built in the audio signal processing device 10, when the user performs an operation to move the audio signal processing device 10 itself, the operation content is detected by the motion sensor. become. In particular, when the user brings the audio signal processing device 10 into contact with any object, an impact caused by the contact is detected by the motion sensor, and an impact sound is collected by the microphone 15.
- a motion sensor such as an acceleration sensor
- the operation input receiving unit 30 receives the content as information on the operation input.
- the noise removal unit 29 changes the content of the noise removal processing according to the input. Thus, noise generated by an operation other than the operation on the operation member can be effectively removed.
- the noise removing unit 29 performs a noise removing process based on not only the information on the content of the operation input received by the operation input receiving unit 30 but also the information on the usage status of the audio signal processing device 10 received from the information processing device 50. May be changed.
- the information processing device 50 may execute an authentication process for identifying who the user is.
- the information processing device 50 transmits the user identification information obtained as a result of the authentication process to the audio signal processing device 10.
- the audio signal processing device 10 performs a noise removal process using one or a plurality of parameters stored in association with the user identification information, and adjusts the values of the stored parameters based on the result. . This makes it possible to execute a noise removal process reflecting the tendency of the user's operation for each user.
- the noise removing unit 29 receives information for specifying the type of the application program that is being executed by the information processing device 50 as information on the usage status of the audio signal processing device 10, and performs the content of the noise removing process in accordance with the content. May be changed.
- the information processing device 50 executes an application program such as a game
- the user plays the game by operating the operation buttons 16 arranged on the audio signal processing device 10.
- the tendency of the operation input by the user changes depending on the type of the game (for example, the action game or the adventure game). Therefore, by changing the content of the noise removal processing according to the type of the application program being executed, the noise removal processing can be realized in accordance with the operation tendency of the application program.
- the noise removing unit 29 removes various noises including the operation sound from the collected voice signal, thereby obtaining a voice signal that is easy for a person to hear.
- the noise removal processing in the present embodiment corresponds to the non-linear signal processing as described above, and may cause a discontinuous change in the signal waveform.
- a voice signal to which such non-linear signal processing is applied may cause voice distortion or adversely affect the accuracy of voice recognition processing.
- the audio signal processing device 10 is configured to perform the processing of the collected sound signal before the nonlinear signal processing (here, the noise removal processing by the noise removing unit 29) is applied and the method of the collected sound signal after the nonlinear signal processing is applied. Both are transmitted to the information processing device 50.
- the information processing apparatus 50 uses the audio signal to which the non-linear signal processing has been applied for a purpose of listening to a person such as a voice chat, and converts the audio signal to which the non-linear signal processing has not been applied into the audio signal. It can be used for mechanical processing such as recognition processing.
- the collected sound signal after the nonlinear signal processing (executed sound signal) is referred to as a listening sound signal, and the collected sound signal before the non-linear signal processing is performed ( The pre-execution voice signal) is called a recognition voice signal.
- the pre-execution voice signal is called a recognition voice signal.
- the information processing device 50 may use these audio signals for applications other than the applications described here.
- the non-linear signal processing applied here only to the audio signal for listening is not limited to the noise removal processing, and may include other signal processing.
- the listening voice signal and the recognition voice signal may be transmitted to the information processing device 50 independently and at different timings.
- the audio signal processing device 10 collectively transmits these two types of audio signals to the information processing device 50.
- the audio input / output circuit 11 includes two signal output units 32a and 32b, and the signal output unit 32a can output a listening audio signal and the signal output unit 32b can output a recognition audio signal in parallel with each other. Have been.
- the audio input / output circuit 11 can output two types of audio signals at the same time. These two types of audio signals are collectively transmitted to the information processing device 50 as one audio signal by the communication circuit 12a of the microcontroller 12.
- the communication circuit 12a transmits two types of audio signals to the information processing device 50 as multi-channel audio signal data, one of which is stored in the L channel and the other of which is stored in the R channel.
- the microcontroller 12 can be realized by using a known module that supports standards such as I2S, and transmits two types of audio signals in parallel in the same manner as in the case of transmitting a normal stereo audio signal. can do.
- the audio signal processing apparatus 10 when transmitting two types of audio signals in parallel, performs adjustment so that the audio signals transmitted at the same time become audio signals collected at close timing. I do.
- the recognition voice signal is a voice signal after the echo removal processing performed by the echo removal unit 28 is applied and before the noise removal processing performed by the noise removal unit 29 is provided. Therefore, at the timing when the noise removal processing is started, the voice signal for recognition is already in a transmittable state. However, the noise removal processing requires a certain amount of time, and the listening audio signal is not generated until the noise removal processing is completed. Therefore, in the present embodiment, the delay processing unit 31 temporarily buffers the speech signal for recognition until the time assumed to be required for the noise removal processing elapses, and delays the transmission start. .
- FIG. 5 is a diagram for explaining this control content, and shows a time chart of a process executed on an audio signal collected in a certain time section T1.
- the delay processing unit 31 delays the start of transmission of the recognition voice signal by the time ⁇ T required for the noise removal processing, so that two types of voice signals corresponding to the same time section are transmitted together. It is shown.
- the microcontroller 12 compresses and encodes the audio signal based on a predetermined audio codec.
- the microcontroller 12 performs encoding using a stereo audio codec.
- the compression efficiency at the time of encoding can be increased.
- a stereo audio codec operates under the assumption that an L-channel audio signal and an R-channel audio signal are close data. Therefore, by making the audio signal for listening and the audio signal for recognition corresponding to the same time section into a stereo audio signal, the correlation between the audio signal and the audio signal for recognition can be enhanced, and encoding can be performed efficiently.
- the communication unit 53 of the information processing device 50 receives the audio signal transmitted from the audio signal processing device 10 according to the procedure described above.
- the control unit 51 performs different processing on each of the two received audio signals. Specifically, the control unit 51 executes a voice recognition process for analyzing a content of a word spoken by a user by extracting a voice signal for recognition from one channel of the received stereo voice signal and inputting the voice signal to a voice recognition engine. I do. At this time, since the speech signal for recognition is a signal to which non-linear signal processing is not applied, the accuracy of speech recognition can be improved as compared with the signal after application.
- the information processing device 50 executes a transmission process of extracting a listening audio signal from the other channel of the same stereo audio signal and transmitting the audio signal to another information processing device via a communication network.
- Another information processing apparatus that has received the listening audio signal reproduces the audio from a speaker or the like.
- the content spoken by the user of the audio signal processing device 10 can be transmitted in real time to another user at a remote place, and a voice call such as a voice chat can be realized.
- the voice heard by another user is a voice to which noise removal processing has been applied, so that noise such as operation sounds has been removed and the voice is easy for humans to hear.
- the audio signal processing device 10 always transmits two types of audio signals to the information processing device 50.
- the present invention is not limited thereto, and the audio signal processing device 10 May be switched in response to the request.
- the information processing device 50 requests only a voice signal for recognition when performing a voice recognition process, and performs a listening process when performing only a voice chat without performing the voice recognition process. Only the audio signal may be requested.
- the audio signal processing device 10 switches between a mode for transmitting two types of audio signals in parallel, a mode for transmitting only the audio signal for recognition, and a mode for transmitting only the audio signal for listening. It shall be.
- transmission efficiency can be improved as compared with the case where two types of audio signals are transmitted in parallel.
- the accuracy of the noise elimination process can be improved by changing the content of the noise elimination process according to the presence or absence of an operation input.
- the audio signal processing device 10 by transmitting both the recognition audio signal and the listening audio signal based on the same collected audio signal to the information processing device 50,
- the device 50 can perform an external transmission process or a voice recognition process for making a person listen by using the audio signal on which the appropriate signal processing is performed.
- information indicating the presence or absence of an operation input received by the operation input receiving unit 30 is used for noise removal processing. For this reason, it is desirable that the noise removal processing is performed not by the information processing device 50 but by the audio signal processing device 10. If there is a difference between the timing at which the user actually performs the operation input and the operation sound is generated and the timing at which the information processing device 50 receives the operation input, it is difficult to accurately perform the process of removing the noise due to the operation sound. That's why.
- the audio signal processing device 10 is assumed to be a controller of a home game machine.
- the present invention is not limited to this, and various devices such as a microphone, an electronic device having a speaker and operation buttons in the same housing, and the like may be used. May be.
- the processing to be executed by the information processing apparatus 50 in the above description may be executed by being distributed to a plurality of computers.
- the information processing device 50 may be configured to include a client device and a server device connected to each other via a communication network.
- the client device is directly connected to the audio signal processing device 10 to receive two types of audio signals from the audio signal processing device 10, and the server device transmits one or both of these two types of audio signals to the client.
- a predetermined process is performed on the received audio signal received from the device.
- the processing executed by the server device here may be further executed in a distributed manner by a plurality of computers.
- the echo removing unit 28 may execute an echo removing process on a collected sound signal collected by a single microphone element.
- the beam forming process may be performed after the echo removal process is performed on each of the plurality of collected sound signals obtained by the plurality of microphone elements.
- audio signal processing such as downsampling may be performed on the audio signal as needed.
- the noise removal processing is additionally performed on the recognition voice signal to generate the listening voice signal, and the noise removal processing is not performed on the recognition voice signal.
- the signal may be transmitted to the information processing device 50 after signal processing that has a relatively small influence on the voice recognition processing is applied to the voice signal.
- the functions that the audio input / output circuit 11 has realized in the above description may be realized outside the audio input / output circuit 11.
- the functions of the D / A converters 24a and 24b and the A / D converters 26a and 26b, which are realized by the audio input / output circuit 11 in the above description are different from those provided outside the audio input / output circuit 11. It may be realized by a circuit element.
- a part of the audio signal processing to be executed by the DSP 11a of the audio input / output circuit 11 may be executed in the microcontroller 12.
- at least a part of the processing to be executed by the microcontroller 12 in the above description such as the audio signal encoding processing, may be executed by the audio input / output circuit 11.
- the audio input / output circuit 11 and the microcontroller 12 are each a single integrated circuit. However, each of them may be implemented by a plurality of integrated circuits. Further, the functions of the audio input / output circuit 11 and the microcontroller 12 may be realized by one integrated circuit.
- 1 audio signal processing system 10 audio signal processing device, 11 audio input / output circuit, 11a DSP, 12 microcontroller, 12a communication circuit, 12b antenna, 13 speaker, 14 headphone terminal, 15 microphone, 15a, 15b microphone element, 16 operation Button, 21a, 21b signal input section, 22 speaker quality control section, 23 selector, 24a, 24b D / A converter, 25a, 25b, 25c amplifier, 26a, 26b A / D converter, 27 beam forming processing section, 28 echo cancellation Unit, 29 noise removing unit, 30 operation input accepting unit, 31 delay processing unit, 32a, 32b signal output unit, 50 information processing device, 51 control unit, 52 storage unit, 53 communication unit.
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
音声信号処理装置が、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行し、非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信し、情報処理装置が、当該実行前音声信号、及び実行後音声信号を音声信号処理装置から受信し、実行前音声信号に対して第1の処理を実行し、実行後音声信号に対して第1の処理とは異なる第2の処理を実行する音声信号処理システムである。
Description
本発明は、マイクロホンによって集音された音声信号を処理する音声信号処理システム、音声信号処理装置、情報処理装置、及び音声信号処理方法に関する。
音声を集音するマイクロホンを備える音声信号処理システムが知られている。このような音声信号処理システムは、マイクロホンによって集音された音声信号に対して音声認識処理を実行したり、外部での再生用に他の通信機器に送信したりする。
マイクロホンによって得られる音声信号に対して、エコー除去処理などの音声信号処理を適用したい場合がある。しかしながら、適用する音声信号処理の種類によっては、音声認識処理の精度に悪影響を及ぼすことがある。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、必要な音声信号処理を適用しつつ、音声認識処理への悪影響を回避することのできる音声信号処理システム、音声信号処理装置、情報処理装置、及び音声信号処理方法を提供することにある。
本発明に係る音声信号処理システムは、互いに通信接続される音声信号処理装置と情報処理装置とを含む音声信号処理システムであって、前記音声信号処理装置は、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、を含み、前記情報処理装置は、前記実行前音声信号、及び前記実行後音声信号を前記音声信号処理装置から受信する受信部と、前記実行前音声信号に対して第1の処理を実行し、前記実行後音声信号に対して前記第1の処理とは異なる第2の処理を実行する処理部と、を含むことを特徴とする。
本発明に係る音声信号処理装置は、情報処理装置と通信接続される音声信号処理装置であって、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、を含むことを特徴とする。
本発明に係る情報処理装置は、音声信号処理装置と通信接続される情報処理装置であって、マイクロホンにより集音された集音音声信号に対して非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を、前記音声信号処理装置から受信する受信部と、前記実行前音声信号に対して第1の処理を実行し、前記実行後音声信号に対して前記第1の処理とは異なる第2の処理を実行する処理部と、を含むことを特徴とする。
本発明に係る音声信号処理方法は、マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行するステップと、前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信するステップと、を含むことを特徴とする。
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る音声信号処理装置10を含む音声信号処理システム1の全体構成図である。同図に示されるように、音声信号処理システム1は、音声信号処理装置10と情報処理装置50とを含んで構成されている。本実施形態において音声信号処理装置10と情報処理装置50とは、Bluetooth(登録商標)規格などの無線通信によってデータを送受信することとする。なお、ここでは無線通信によってデータの送受信を行うこととしているが、これに限らず音声信号処理装置10と情報処理装置50とは例えばUSB等の規格により有線で通信接続されることとしてもよい。
図2は、音声信号処理装置10の概略のハードウェア構成を示す構成ブロック図である。音声信号処理装置10は、例えば家庭用ゲーム機用のコントローラ等であって、図2に示すように、音声入出力回路11、マイクロコントローラ12、スピーカー13、ヘッドホン端子14、マイクロホン15、及び複数の操作ボタン16を含んで構成されている。
音声入出力回路11は、音声の入出力を制御するための集積回路であって、音声信号処理を実行するデジタルシグナルプロセッサ(DSP)11aを内蔵している。音声入出力回路11は、情報処理装置50からマイクロコントローラ12が受信した音声信号に基づいて、ヘッドホン端子14に接続されたヘッドホン、及びスピーカー13のいずれかから音声を鳴動させる。また、音声入出力回路11は、マイクロホン15が集音して得られる音声信号に対して必要な音声信号処理を実行したうえで、マイクロコントローラ12に対して出力する。また、音声入出力回路11は、各操作ボタン16がユーザーによって操作された場合に、その操作内容を示す操作信号を後述するノイズ除去処理のためにマイクロコントローラ12から受け付ける。音声入出力回路11が実現する音声信号処理の詳細については、後述する。
マイクロコントローラ12は、音声信号処理装置10の各部を制御するための集積回路である。マイクロコントローラ12は、通信回路12aを内蔵している。通信回路12aはアンテナ12bに接続されており、このアンテナ12bを介して情報処理装置50との間で情報を授受するための無線通信を制御する。具体的に通信回路12aは、後述するスピーカー13またはヘッドホンから再生するための音声信号を、情報処理装置50から受信する。また、マイクロホン15によって集音された音声信号に対して後述する音声信号処理を適用して得られる音声信号や、操作ボタン16に対するユーザーの操作内容を示す操作信号などを、情報処理装置50に対して送信する。なお、マイクロコントローラ12は、音声入出力回路11との間で音声信号を送受信するためのインタフェースとして、I2S(Inter-IC Sound)などの規格に基づく通信インタフェースを備えてよい。
スピーカー13は、情報処理装置50から受信した音声信号に基づく音声をモノラルで再生する。ヘッドホン端子14には、モノラル再生対応のヘッドホン、及びステレオ再生対応のヘッドホンの双方が接続可能であって、ヘッドホン端子14にヘッドホンが接続された場合、音声入出力回路11は情報処理装置50から受信した音声信号に基づく音声をスピーカー13の代わりにそのヘッドホンから再生させることもできる。マイクロホン15は、2個のマイクロホン素子15a及び15bから構成されるマイクロホンアレイであることとし、音声信号処理装置10を使用するユーザーが発話した音声を集音する。以下では、スピーカー13、又はヘッドホンから再生させるために情報処理装置50から音声信号処理装置10に送信される音声信号を、再生音声信号という。これに対して、マイクロホン15が集音して得られる音声信号を、集音音声信号という。
情報処理装置50は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、制御部51と、記憶部52と、通信部53と、を含んで構成されている。
制御部51は、少なくとも一つのプロセッサを含み、記憶部52に格納されているプログラムに従って各種の情報処理を実行する。記憶部52は、少なくとも一つの記憶素子を含み、制御部51が実行するプログラム、及びそのプログラムによる処理の対象となるデータを記憶する。通信部53は、音声信号処理装置10との間で情報を授受するための通信インタフェースを含んでいる。また、通信部53は、インターネット等の通信回線を介して他の情報処理装置との間でデータを送受信するための通信インタフェースを含んでよい。
本実施形態において情報処理装置50は、音声信号処理装置10から受信した集音音声信号に対して、音声認識処理を実行する。また、音声信号処理装置10から受信した集音音声信号を他の場所で再生させるために他の情報処理装置に対して送信する。これにより情報処理装置50は、ユーザーが音声信号処理装置10のマイクロホン15に向かって発話した言語内容を特定したり、その音声を離れた場所にいる他のユーザーに聞かせたりすることができる。
以下、特に音声信号処理の観点で音声信号処理装置10が実現する機能について、図3の機能ブロック図を用いて説明する。図3では、デジタル音声信号の伝送路を実線で、アナログの音声信号の伝送路を破線で、それぞれ示している。
図3に示すように、音声入出力回路11は、2個の信号入力部21a及び21b、スピーカー音質調整部22、セレクター23、2個のD/Aコンバータ24a及び24b、2個のA/Dコンバータ26a及び26b、ビームフォーミング処理部27、エコー除去部28、ノイズ除去部29、操作入力受付部30、遅延処理部31、並びに2個の信号出力部32a及び32bを含んで構成されている。また、音声入出力回路11には3個のアンプ(増幅器)25a、25b、及び25cが接続される。スピーカー音質調整部22、セレクター23、ビームフォーミング処理部27、エコー除去部28、ノイズ除去部29、操作入力受付部30、及び遅延処理部31の機能は、音声信号処理回路であるDSP11aによって実現される。
まず、音声信号処理装置10がヘッドホン、又はスピーカー13から音声を再生するための信号処理の内容について、説明する。情報処理装置50は、再生音声信号として、ステレオ(2チャンネル)のデジタルデータを音声信号処理装置1に対して送信する。これらのデジタルデータは通信回路12aによって受信され、L(左)チャンネルのデータは信号入力部21aに、R(右)チャンネルのデータは信号入力部21bに、それぞれ入力される。
信号入力部21aに入力されたLチャンネルの再生音声信号は、そのままD/Aコンバータ24aに入力される。一方、信号入力部21bに入力されたRチャンネルの再生音声信号は、セレクター23、及びスピーカー音質調整部22に入力される。スピーカー音質調整部22は、ヘッドホン端子14にヘッドホンが接続されていない場合(すなわち、音声をスピーカー13から再生する場合)に、スピーカー13から再生される音声の音質を向上させるための処理を実行する。具体的にスピーカー音質調整部22は、再生音声信号に対して所定のイコライザー処理やコンプレッサー処理等を実行する。スピーカー音質調整部22によって調整された再生音声信号は、セレクター23、及び後述するエコー除去部28のそれぞれに入力される。
セレクター23は、D/Aコンバータ24bに供給する再生音声信号を選択する。具体的に、ヘッドホン端子14にヘッドホンが接続されている場合、セレクター23は信号入力部21bに入力されたRチャンネルの再生音声信号を、そのままD/Aコンバータ24bに入力する。一方、ヘッドホン端子14にヘッドホンが接続されていない場合、セレクター23はスピーカー音質調整部22によってスピーカー13による再生用に調整された再生音声信号を、D/Aコンバータ24bに入力する。
D/Aコンバータ24a及び24bは、それぞれ入力されたデジタルの再生音声信号をアナログ信号に変換し、対応するアンプに供給する。具体的に、D/Aコンバータ24aから出力されるアナログ音声信号は、アンプ25aによって増幅されてヘッドホン端子14に接続されたヘッドホンから再生される。また、D/Aコンバータ24bから出力されるアナログ音声信号は、ヘッドホン端子14にヘッドホンが接続されている場合、アンプ25bによって増幅されてヘッドホンから再生される。ヘッドホン端子14にヘッドホンが接続されていない場合には、D/Aコンバータ24bから出力されるアナログ音声信号は、アンプ25cによって増幅されてスピーカー13から再生される。
なお、ヘッドホン端子14に接続されているのがモノラル再生対応のヘッドホンの場合、Lチャンネルの再生音声信号をこのヘッドホンから再生し、同時にRチャンネルの再生音声信号をスピーカー13から再生してもよい。この場合、ヘッドホン端子14にヘッドホンが接続されていても、セレクター23はスピーカー音質調整部22によって調整された再生音声信号を入力として選択する。
まとめると、信号入力部21aに入力された再生音声信号は、常にD/Aコンバータ24a、アンプ25aを経由してヘッドホン端子14に接続されたヘッドホンから再生される。一方、信号入力部21bに入力された再生音声信号は、以下の2通りの経路のいずれかに沿って処理される。すなわち、ヘッドホン端子14にステレオ再生対応のヘッドホンが接続されている場合、信号入力部21bに入力された再生音声信号は、セレクター23、D/Aコンバータ24b、及びアンプ25bを経由してヘッドホンから再生される。これに対して、スピーカー13から音声を再生する場合、信号入力部21bに入力された再生音声信号は、スピーカー音質調整部22、セレクター23、D/Aコンバータ24b、及びアンプ25cを経由してスピーカー13から再生される。
次に、マイクロホン15によって集音された集音音声信号の処理について、説明する。マイクロホン素子15a及び15bのそれぞれが出力するアナログの集音音声信号は、A/Dコンバータ26a及び26bによってデジタルデータに変換される。ビームフォーミング処理部27は、A/Dコンバータ26a及び26bのそれぞれが出力する集音音声信号のデータに基づいて、指向性を持った集音音声信号のデータを生成する。以降の処理では、このビームフォーミング処理部27によって生成された集音音声信号のデータが、マイクロホン15によって集音された音声のデータとして使用される。
さらに、ビームフォーミング処理部27によって生成された集音音声信号のデータに対して、エコー除去部28がエコー除去処理を実行する。これは、スピーカー13から再生される音声をマイクロホン15が集音することによって生じる音響エコーを、集音音声信号から除去する処理である。エコー除去部28は、スピーカー音質調整部22が出力するスピーカー再生用の再生音声信号を入力として、集音音声信号に対するエコー除去処理を実行する。エコー除去部28によってエコー除去処理がなされた集音音声信号は、ノイズ除去部29、及び遅延処理部31のそれぞれに入力される。
なお、エコー除去部28がエコー除去処理を実行するのは、スピーカー13から音声が再生されている場合だけでよく、D/Aコンバータ24bから出力される再生音声信号がヘッドホンから再生されている場合には、エコー除去処理を実行する必要はない。スピーカー13から音声が再生される場合、その音声は必ずスピーカー音質調整部22による調整がされたものになる。そのため、エコー除去部28は、スピーカー音質調整部22が調整処理を実行している間だけ、その調整後の音声信号を入力としてエコー除去処理を実行し、それ以外の場合には入力された集音音声信号をそのまま出力してもよい。
これまでに説明した集音音声信号に対する音声信号処理(すなわち、ビームフォーミング処理部27及びエコー除去部28が実行する音声信号処理)は、いずれも線形な信号処理となっている。これに対して、以下に説明するノイズ除去処理は、非線形な信号処理である。
ノイズ除去部29は、エコー除去部28が出力するエコー除去後の集音音声信号に対して、ノイズを除去するノイズ除去処理を実行する。特に本実施形態において、ノイズ除去部29は、操作ボタン16に対するユーザーの操作入力の有無を入力として、ノイズ除去処理を行う。操作ボタン16に対する操作入力が行われると、ボタンの操作音が発生し、その操作音が集音音声信号にノイズとして含まれてしまうおそれがある。そこで本実施形態では、操作ボタン16に対してユーザーが操作入力を行った場合、マイクロコントローラ12が、その操作入力があったことを示す操作信号を音声入出力回路11に入力する。操作入力受付部30は、その操作信号を受け付けて、ノイズ除去部29に操作入力が受け付けられたことを通知する。ノイズ除去部29は、操作入力受付部30からの通知が受け付けられた際には、そのタイミングで集音された音声信号にノイズが含まれているという想定で、そのノイズを除去する処理を実行する。
これに対して操作入力が受け付けられていないタイミングでは、操作ボタンの操作に起因するノイズは生じていないと想定される。そのためノイズ除去部29は、このようなタイミングで集音された音声信号に対しては、ノイズ除去処理を適用しないこととしてもよい。ただし、集音音声信号には、操作ボタン16に対する操作音以外のノイズが含まれる可能性もある。そのためノイズ除去部29は、操作入力が受け付けられていない場合の集音音声信号に対しても、操作入力が受け付けられた場合とは異なる内容のノイズ除去処理を適用することが望ましい。すなわち、ノイズ除去部29は、操作ボタン16に対する操作入力が受け付けられた場合と受け付けられていない場合とで、ノイズ除去処理の内容を変化させることとする。
図4は、ノイズ除去部29が実行するノイズ除去処理の種類について説明する図である。この図に示すように、ノイズ除去部29は、集音音声信号を単位時間(フレーム)に分割し、分割された各単位時間の音声信号に対してノイズ除去処理を実行する。このとき、対応する単位時間内に操作入力が受け付けられたか否かに応じて、ノイズ除去処理の内容が変化する。この図の例では、操作ボタン16に対する操作入力が受け付けられたタイミングが星印で示されている。このタイミングに対応するフレーム1,3,4,7の集音音声信号に対しては、操作入力を前提としたノイズ除去処理(ここでは処理Aと表記している)が行われる。これに対してフレーム2,5,6の集音音声信号に対しては、操作入力がない場合のノイズ除去処理(ここでは処理Bと表記している)が行われる。
具体例として、ノイズ除去部29は、操作入力の有無に応じて、互いに異なる入力データに基づいて最適化されたフィルタアルゴリズムを用いてノイズ除去処理を行ってもよい。この例では、操作入力が受け付けられたタイミングに取得された集音音声信号を入力として用いて、前述した処理Aの処理内容を決定づける1又は複数のパラメータの値を調整する。一方、操作入力が受け付けられていないタイミングに取得された集音音声信号を入力として用いて、処理Bの処理内容を決定づける1又は複数のパラメータの値を調整する。入力が異なるため、処理Aに用いられるパラメータと処理Bに用いられるパラメータとは、互いに異なる値に調整されることになる。ノイズ除去部29はこのようにして各処理用に調整されたパラメータを用いて、ノイズ除去処理を行うこととする。このように、操作入力の有無に応じて互いに独立に、過去の集音音声信号に基づいて最適化を行った結果を用いて、ノイズ除去処理を行うことにより、それぞれの状況に適したノイズの除去が実現できる。
なお、ここでは複数の操作ボタン16のうち、どの操作ボタンが操作されたかは特定せずに、単にいずれかの操作ボタン16に対する操作入力の有無だけに基づいて、処理の内容を変化させることとした。しかしながらこれに限らず、ノイズ除去部29は、操作入力の内容に応じてノイズ除去処理の内容を変化させてもよい。一例として、ノイズ除去部29は、複数の操作ボタン16のうちどの操作ボタンが操作されたかを特定する情報を受け付けて、操作ボタンごとに異なる内容のノイズ除去処理を実行してもよい。
また、ノイズ除去部29は、複数の操作ボタン16を複数のグループに分類し、グループごとにノイズ除去処理の内容を変化させてもよい。例えば操作ボタンの種類や構造によって、発生する操作音が異なる場合がある。また、操作ボタンの配置位置がマイクロホン15に近い位置か離れた位置かに応じて、マイクロホン15に集音される操作音の音量などが異なることが想定される。そこで、配置位置や構造が近い操作ボタンについては同じグループに属することとし、そのグループに属するいずれかの操作ボタンが操作された場合には、そのグループに対応する内容のノイズ除去処理を適用することとする。これに対して、互いに異なるグループに属する操作ボタンが操作された場合には、異なる内容のノイズ除去処理を実行することとする。具体的に、例えばノイズ除去部29は、グループごとに異なる入力データに基づいて最適化された1又は複数のパラメータを用いてノイズ除去処理を行う。このように操作ボタンを配置位置や形状等によって複数のグループに分類し、グループごとに互いに異なる内容のノイズ除去処理を実行することで、ノイズ除去処理の精度を高めることができる。
また、ここでは操作入力受付部30は操作ボタン16に対する操作入力だけを受け付けることとしたが、音声信号処理装置10には操作ボタンとは別の種類(例えばレバーなど)の操作部材が配置され、操作入力受付部30はこのような他の種類の操作部材に対する操作入力も受け付けることとしてもよい。さらにこの場合、ノイズ除去部29は、操作部材の種類に応じてノイズ除去処理の内容を変化させてもよい。これにより、操作部材の種類ごとに、その操作部材に対する操作によって発生するノイズに適したノイズ除去処理を実行することができる。
さらに、操作入力受付部30は、操作部材に対するユーザーの操作態様に関する情報を受け付けることとし、ノイズ除去部29はこの操作態様に関する情報に基づいてノイズ除去処理の内容を変化させてもよい。操作態様に関する情報としては、操作量や操作の強さ、操作速度などが挙げられる。例えば操作ボタン16が押し込み量を検出可能なボタンである場合、操作入力受付部30は、検出された押し込み量を操作態様に関する情報として受け付ける。ユーザーが行った操作態様によって、操作音の発生の仕方にも変化があることが想定される。そのため、操作態様に関する情報を用いてノイズ除去処理の内容を変化させることにより、ノイズ除去処理の精度を高めることができる。
さらに、操作入力受付部30は、音声信号処理装置10の筐体表面に配置された操作部材に対する操作入力に限らず、その他の種類の操作入力に関する情報を受け付けてもよい。具体的に操作入力受付部30は、音声信号処理装置10に内蔵される各種のセンサーによって検出される検出値を、操作入力の内容として受け付けてもよい。一例として、音声信号処理装置10に加速度センサー等のモーションセンサーが内蔵されている場合、ユーザーが音声信号処理装置10自体を動かしたりする操作を行うと、その操作内容がモーションセンサーによって検出されることになる。特にユーザーが音声信号処理装置10を何らかの物体に接触させたりした際には、その接触によって生じる衝撃がモーションセンサーによって検出されるとともに、衝撃音がマイクロホン15によって集音される。そこで操作入力受付部30は、モーションセンサーによって所定の強さの衝撃が検出された場合に、その内容を操作入力に関する情報として受け付ける。ノイズ除去部29は、その入力に応じて、ノイズ除去処理の内容を変化させる。これにより、操作部材に対する操作以外の操作によって生じるノイズを効果的に除去することができる。
また、ノイズ除去部29は、操作入力受付部30が受け付けた操作入力の内容に関する情報だけでなく、情報処理装置50から受信した音声信号処理装置10の利用状況に関する情報に基づいて、ノイズ除去処理の内容を変化させてもよい。例えば情報処理装置50は、ユーザーが音声信号処理装置10の利用を開始する際に、そのユーザーが誰なのかを特定する認証処理を実行する場合がある。情報処理装置50はこの認証処理の結果得られるユーザー識別情報を音声信号処理装置10に送信する。その後、音声信号処理装置10は、ユーザー識別情報に関連づけて記憶されている1又は複数のパラメータを用いてノイズ除去処理を行うとともに、その結果に基づいて記憶されている各パラメータの値を調整する。これにより、ユーザーごとにそのユーザーの操作の傾向を反映したノイズ除去処理を実行することができる。
また、ノイズ除去部29は、音声信号処理装置10の利用状況に関する情報として、情報処理装置50が実行中のアプリケーションプログラムの種類を特定する情報を受け付けて、その内容に応じてノイズ除去処理の内容を変化させてもよい。例えば情報処理装置50がゲームなどのアプリケーションプログラムを実行する場合、ユーザーは音声信号処理装置10に配置された操作ボタン16に対する操作によってそのゲームをプレイすることになる。このとき、ユーザーによる操作入力の傾向は、ゲームの種類(例えばアクションゲームかアドベンチャーゲームか)などによって変化することとなる。そこで、実行中のアプリケーションプログラムの種類に応じてノイズ除去処理の内容を変化させることで、そのアプリケーションプログラムの操作傾向に合わせたノイズ除去処理を実現できる。
以上説明したように、ノイズ除去部29が操作音を始めとした各種のノイズを集音音声信号から除去することで、人が聞き取りやすい音声信号が得られる。しかしながら、本実施形態におけるノイズ除去処理は前述したように非線形な信号処理に該当し、信号波形に不連続な変化を生じさせる場合がある。このような非線形な信号処理が適用された音声信号は、音声歪みが生じたりして、音声認識処理の精度に悪影響を及ぼすおそれがある。
そこで本実施形態では、音声信号処理装置10は、非線形な信号処理(ここではノイズ除去部29によるノイズ除去処理)が適用される前の集音音声信号と適用された後の集音音声信号の双方を情報処理装置50に対して送信することとする。こうすれば、情報処理装置50は、非線形な信号処理を適用済みの音声信号をボイスチャットなどの人が聴取する用途に利用する一方で、非線形な信号処理が適用されていない音声信号を、音声認識処理などの機械的処理に利用することができる。以下では説明の便宜のために、非線形な信号処理を実行した後の集音音声信号(実行後音声信号)を聴取用音声信号といい、非線形な信号処理を実行する前の集音音声信号(実行前音声信号)を認識用音声信号という。ただし、情報処理装置50はこれらの音声信号をここで説明した用途以外の用途に利用してもよい。また、ここで聴取用音声信号のみに適用されることとした非線形な信号処理は、ノイズ除去処理に限らず、その他の信号処理を含んでもよい。
聴取用音声信号と認識用音声信号は、互いに独立に別のタイミングで情報処理装置50に送信されてもよい。しかしながら本実施形態では、音声信号処理装置10はこれら2種の音声信号をまとめて情報処理装置50に対して送信することとする。具体的に、音声入出力回路11は二つの信号出力部32a及び32bを備え、信号出力部32aが聴取用音声信号を、信号出力部32bが認識用音声信号を、互いに並列に出力可能に構成されている。これにより音声入出力回路11は、同時期に2種の音声信号を出力することができる。これら2種の音声信号は、マイクロコントローラ12の通信回路12aによって、まとめて一つの音声信号として情報処理装置50に送信される。すなわち、通信回路12aは、2種の音声信号を、一方がLチャンネル、他方がRチャンネルに格納されたマルチチャンネルの音声信号データとして、情報処理装置50に対して送信する。こうすれば、マイクロコントローラ12は、I2Sなどの規格に対応した公知のモジュールを利用して実現でき、通常のステレオ音声信号を送信する場合と同様の手法で2種の音声信号を並行して送信することができる。
さらに本実施形態において音声信号処理装置10は、2種の音声信号を並行して送信する場合に、同時に送信する音声信号が近いタイミングで集音された音声信号となるような調整を行うこととする。具体的に、認識用音声信号は、エコー除去部28が実行するエコー除去処理が適用された後、ノイズ除去部29が実行するノイズ除去処理が提供される前の音声信号である。そのため、ノイズ除去処理が開始されるタイミングで認識用音声信号は既に送信が可能な状態となっている。しかし、ノイズ除去処理にはある程度の時間が必要であって、このノイズ除去処理が完了するまで聴取用音声信号は生成されないことになる。そこで本実施形態では、遅延処理部31が、ノイズ除去処理に要すると想定される時間が経過するまでの間、認識用音声信号を一時的にバッファリングし、その送信開始を遅延させることとする。
このような制御によれば、同時期に送信される2種の音声信号が、ほぼ同じ時間に集音された音声信号となるようにすることができる。図5はこの制御内容を説明する図であって、ある時間区間T1に集音された音声信号に対して実行される処理のタイムチャートを示している。この図の例では、ノイズ除去処理に要する時間ΔTだけ遅延処理部31が認識用音声信号の送信開始を遅延させることによって、同じ時間区間に対応する2種の音声信号がまとめて送信されることが示されている。
このように同じ時間区間に対応する聴取用音声信号と認識用音声信号を同時期に送信することによって、音声信号処理装置10から情報処理装置50に音声信号を送信する際の伝送効率を高めることができる。具体的に、無線で音声信号を送信する際に、マイクロコントローラ12は、所定の音声コーデックに基づいて音声信号の圧縮や符号化を行う。ここで、前述したように聴取用音声信号と認識用音声信号の2種の音声信号をステレオ音声信号として送信する場合、マイクロコントローラ12はステレオ音声用のコーデックによって符号化を行うことになる。このとき、Lチャンネルの音声信号とRチャンネルの音声信号の相関が高いほど(つまり、両者が似ているほど)、符号化の際の圧縮効率を高めることができる。また、一般的に、ステレオ音声用のコーデックは、Lチャンネルの音声信号とRチャンネルの音声信号が近いデータである想定の元で動作する。そのため、同じ時間区間に対応する聴取用音声信号と認識用音声信号をステレオ音声信号とすることで、両者の相関を高め、効率的に符号化を行うことができるようになる。
情報処理装置50の通信部53は、以上説明した手順で音声信号処理装置10から送信された音声信号を受信する。制御部51は、受信した2種の音声信号のそれぞれに対して、互いに異なる処理を実行する。具体的に制御部51は、受信したステレオ音声信号の一方のチャンネルから認識用音声信号を取り出して、音声認識エンジンに入力することによって、ユーザーが発話した言葉の内容を解析する音声認識処理を実行する。このとき認識用音声信号は非線形な信号処理が適用されていない信号なので、適用後の信号と比較して、音声認識の精度を高めることができる。
また、情報処理装置50は、同じステレオ音声信号の他方のチャンネルから聴取用音声信号を取り出して、通信ネットワークを介して別の情報処理装置に送信する送信処理を実行する。この聴取用音声信号を受信した別の情報処理装置は、その音声をスピーカー等から再生させる。これにより、音声信号処理装置10のユーザーが話した内容を、離れた場所にいる別のユーザーにリアルタイムで伝達することができ、ボイスチャット等の音声通話を実現することができる。このとき、別のユーザーが聴取する音声はノイズ除去処理が適用された音声なので、操作音等のノイズが除去され人が聞き取りやすい音声になっている。
なお、ここまでの説明では音声信号処理装置10は常に2種の音声信号を情報処理装置50に対して送信することとしたが、これに限らず、音声信号処理装置10は情報処理装置50からの要求に応じて送信する音声信号の種類を切り替えてもよい。具体的に、情報処理装置50は、音声認識処理を実行しようとしている場合には、認識用音声信号のみを要求し、音声認識処理の必要がなくボイスチャットだけを実行する場合には、聴取用音声信号のみを要求してもよい。このような要求に応じて、音声信号処理装置10は、2種の音声信号を並行して送信するモード、認識用音声信号だけを送信するモード、及び聴取用音声信号だけを送信するモードを切り替えることとする。特に一種類の音声信号だけを送信する場合、2種の音声信号を並行して送信する場合と比較して、伝送効率を向上させることができる。
以上説明した本発明の実施の形態に係る音声信号処理装置10によれば、操作入力の有無に応じてノイズ除去処理の内容を変化させることにより、ノイズ除去処理の精度を高めることができる。
また、本発明の実施の形態に係る音声信号処理装置10によれば、同じ集音音声信号に基づく認識用音声信号と聴取用音声信号の双方を情報処理装置50に送信することにより、情報処理装置50はそれぞれ適切な信号処理がなされた音声信号を用いて、人に聴取させるための外部への送信処理や音声認識処理などを行うことができる。
なお、本実施形態では操作入力受付部30が受け付けた操作入力の有無を示す情報がノイズ除去処理に利用される。そのため、ノイズ除去処理は情報処理装置50ではなく音声信号処理装置10で実施することが望ましい。実際にユーザーが操作入力を行って操作音が生じるタイミングと情報処理装置50が操作入力を受け付けるタイミングとの間にずれが生じると、操作音によるノイズを除去する処理を精度よく行うことが難しくなるためである。
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では音声信号処理装置10は家庭用ゲーム機のコントローラであることとしたが、これに限らず、マイクロホン、及びスピーカーや操作ボタンを同一筐体内に有する電子機器など、各種の機器であってよい。また、以上の説明において情報処理装置50が実行することとした処理は、複数のコンピュータに分散されて実行されることとしてもよい。一例として、情報処理装置50は、互いに通信ネットワークを介して接続されたクライアント装置とサーバ装置とを含んで構成されてもよい。この例では、クライアント装置が音声信号処理装置10と直接接続されて2種の音声信号を音声信号処理装置10から受信し、サーバ装置はこれら2種の音声信号のいずれか一方、又は双方をクライアント装置から受信して、受信した音声信号に対して所定の処理を実行する。また、ここでサーバ装置が実行することとした処理は、さらに複数のコンピュータによって分散されて実行されてもよい。
また、以上説明した音声信号処理装置10のハードウェア構成や回路構成は一例に過ぎず、信号処理の流れは以上説明したものとは異なってもよい。例えばエコー除去部28は、単一のマイクロホン素子によって集音された集音音声信号に対して、エコー除去処理を実行してもよい。また、複数のマイクロホン素子によって得られる複数の集音音声信号のそれぞれに対して、エコー除去処理を実行してから、ビームフォーミング処理を実行してもよい。また、必要に応じて音声信号に対してダウンサンプリング等の音声信号処理を実施してもよい。さらに、本実施形態では認識用音声信号に対して追加的にノイズ除去処理を実行して聴取用音声信号を生成し、認識用音声信号にはノイズ除去処理を実行しないこととしたが、認識用音声信号に対しても音声認識処理に影響を及ぼすおそれが比較的少ない信号処理を適用してから、情報処理装置50に対して送信してもよい。
また、以上の説明において音声入出力回路11が実現することとした機能の一部は、音声入出力回路11の外部で実現されてもよい。例えば以上の説明において音声入出力回路11によって実現されることとしたD/Aコンバータ24a,24bやA/Dコンバータ26a,26bなどの機能は、音声入出力回路11の外部に設けられた別の回路素子によって実現されてもよい。また、音声入出力回路11のDSP11aが実行することとした音声信号処理の一部は、マイクロコントローラ12内で実行されてもよい。逆に、音声信号の符号化処理など、以上の説明においてマイクロコントローラ12が実行することとした処理の少なくとも一部は、音声入出力回路11で実行されてもよい。また、以上の説明において音声入出力回路11、及びマイクロコントローラ12はそれぞれ単一の集積回路であることとしたが、いずれも複数の集積回路によって実現されてもよい。また、音声入出力回路11、及びマイクロコントローラ12の機能は一つの集積回路によって実現されてもよい。
1 音声信号処理システム、10 音声信号処理装置、11 音声入出力回路、11a DSP、12 マイクロコントローラ、12a 通信回路、12b アンテナ、13 スピーカー、14 ヘッドホン端子、15 マイクロホン、15a,15b マイクロホン素子、16 操作ボタン、21a,21b 信号入力部、22 スピーカー音質調整部、23 セレクター、24a,24b D/Aコンバータ、25a,25b,25c アンプ、26a,26b A/Dコンバータ、27 ビームフォーミング処理部、28 エコー除去部、29 ノイズ除去部、30 操作入力受付部、31 遅延処理部、32a,32b 信号出力部、50 情報処理装置、51 制御部、52 記憶部、53 通信部。
Claims (7)
- 互いに通信接続される音声信号処理装置と情報処理装置とを含む音声信号処理システムであって、
前記音声信号処理装置は、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含み、
前記情報処理装置は、
前記実行前音声信号、及び前記実行後音声信号を前記音声信号処理装置から受信する受信部と、
前記実行前音声信号に対して第1の処理を実行し、前記実行後音声信号に対して前記第1の処理とは異なる第2の処理を実行する処理部と、
を含むことを特徴とする音声信号処理システム。 - 請求項1に記載の音声信号処理システムにおいて、
前記非線形な信号処理は、前記集音音声信号に含まれるノイズを除去するノイズ除去処理である
ことを特徴とする音声信号処理システム。 - 請求項1又は2に記載の音声信号処理システムにおいて、
前記信号処理部は、前記非線形な信号処理に先立って前記集音音声信号に対して線形な信号処理を実行し、
前記送信部は、前記線形な信号処理を実行した後の音声信号を前記実行前音声信号として送信し、前記線形な信号処理を実行した後の音声信号に対してさらに前記非線形な信号処理を実行した後の音声信号を前記実行後音声信号として送信する
ことを特徴とする音声信号処理システム。 - 請求項1から3のいずれか一項に記載の音声信号処理システムにおいて、
前記信号処理部は、前記非線形な信号処理を実行する前の実行前音声信号を、前記非線形な信号処理の所要時間に対応する所定時間だけ経過してから前記送信部に対して出力し、
前記送信部は、前記所定時間の経過後に出力された前記実行前音声信号と、前記実行後音声信号とを、並行して前記情報処理装置に送信する
ことを特徴とする音声信号処理システム。 - 情報処理装置と通信接続される音声信号処理装置であって、
マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行する信号処理部と、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を前記情報処理装置に送信する送信部と、
を含むことを特徴とする音声信号処理装置。 - 音声信号処理装置と通信接続される情報処理装置であって、
マイクロホンにより集音された集音音声信号に対して非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を、前記音声信号処理装置から受信する受信部と、
前記実行前音声信号に対して第1の処理を実行し、前記実行後音声信号に対して前記第1の処理とは異なる第2の処理を実行する処理部と、
を含むことを特徴とする情報処理装置。 - マイクロホンにより集音された集音音声信号に対して、非線形な信号処理を実行するステップと、
前記非線形な信号処理を実行する前の実行前音声信号、及び実行した後の実行後音声信号の双方を情報処理装置に送信するステップと、
を含むことを特徴とする音声信号処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/261,126 US11694705B2 (en) | 2018-07-20 | 2019-07-16 | Sound signal processing system apparatus for avoiding adverse effects on speech recognition |
CN201980054439.3A CN112585993B (zh) | 2018-07-20 | 2019-07-16 | 声音信号处理***和声音信号处理装置 |
JP2020531321A JP7158480B2 (ja) | 2018-07-20 | 2019-07-16 | 音声信号処理システム、及び音声信号処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-136886 | 2018-07-20 | ||
JP2018136886 | 2018-07-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020017517A1 true WO2020017517A1 (ja) | 2020-01-23 |
Family
ID=69163713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/027982 WO2020017517A1 (ja) | 2018-07-20 | 2019-07-16 | 音声信号処理システム、及び音声信号処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11694705B2 (ja) |
JP (1) | JP7158480B2 (ja) |
CN (1) | CN112585993B (ja) |
WO (1) | WO2020017517A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177723A (zh) * | 2011-12-20 | 2013-06-26 | 上海博泰悦臻电子设备制造有限公司 | 语音处理装置、车载终端设备及语音处理方法 |
WO2014141574A1 (ja) * | 2013-03-14 | 2014-09-18 | 日本電気株式会社 | 音声制御システム、音声制御方法、音声制御用プログラムおよび耐雑音音声出力用プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5648660A (en) * | 1996-01-05 | 1997-07-15 | Sterling Diagnostic Imaging, Inc. | Method and apparatus for reducing noise in a radiation capture device |
JP5192901B2 (ja) * | 2007-10-29 | 2013-05-08 | 株式会社オーディオテクニカ | ノイズキャンセルヘッドホン |
US20090326939A1 (en) * | 2008-06-25 | 2009-12-31 | Embarq Holdings Company, Llc | System and method for transcribing and displaying speech during a telephone call |
US8767035B2 (en) * | 2011-12-06 | 2014-07-01 | At&T Intellectual Property I, L.P. | In-call command control |
US8886524B1 (en) * | 2012-05-01 | 2014-11-11 | Amazon Technologies, Inc. | Signal processing based on audio context |
JP6090120B2 (ja) * | 2012-11-12 | 2017-03-08 | ヤマハ株式会社 | 信号処理システムおよび信号処理方法 |
US9117457B2 (en) * | 2013-02-28 | 2015-08-25 | Signal Processing, Inc. | Compact plug-in noise cancellation device |
US10206032B2 (en) * | 2013-04-10 | 2019-02-12 | Cirrus Logic, Inc. | Systems and methods for multi-mode adaptive noise cancellation for audio headsets |
US9712266B2 (en) * | 2013-05-21 | 2017-07-18 | Apple Inc. | Synchronization of multi-channel audio communicated over bluetooth low energy |
CN104599675A (zh) * | 2015-02-09 | 2015-05-06 | 宇龙计算机通信科技(深圳)有限公司 | 语音处理方法、语音处理装置和终端 |
US9672821B2 (en) * | 2015-06-05 | 2017-06-06 | Apple Inc. | Robust speech recognition in the presence of echo and noise using multiple signals for discrimination |
KR101696595B1 (ko) * | 2015-07-22 | 2017-01-16 | 현대자동차주식회사 | 차량, 및 그 제어방법 |
WO2017056288A1 (ja) * | 2015-10-01 | 2017-04-06 | 三菱電機株式会社 | 音響信号処理装置、音響処理方法、監視装置および監視方法 |
US10165361B2 (en) * | 2016-05-31 | 2018-12-25 | Avago Technologies International Sales Pte. Limited | System and method for loudspeaker protection |
-
2019
- 2019-07-16 CN CN201980054439.3A patent/CN112585993B/zh active Active
- 2019-07-16 WO PCT/JP2019/027982 patent/WO2020017517A1/ja active Application Filing
- 2019-07-16 US US17/261,126 patent/US11694705B2/en active Active
- 2019-07-16 JP JP2020531321A patent/JP7158480B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177723A (zh) * | 2011-12-20 | 2013-06-26 | 上海博泰悦臻电子设备制造有限公司 | 语音处理装置、车载终端设备及语音处理方法 |
WO2014141574A1 (ja) * | 2013-03-14 | 2014-09-18 | 日本電気株式会社 | 音声制御システム、音声制御方法、音声制御用プログラムおよび耐雑音音声出力用プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020017517A1 (ja) | 2021-08-02 |
CN112585993B (zh) | 2022-11-08 |
US20210264933A1 (en) | 2021-08-26 |
CN112585993A (zh) | 2021-03-30 |
US11694705B2 (en) | 2023-07-04 |
JP7158480B2 (ja) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI672693B (zh) | 用於聲學迴聲消除的組合參考信號 | |
CN106664473B (zh) | 信息处理装置、信息处理方法和程序 | |
JP5526042B2 (ja) | 音響システム及びサウンドを提供する方法 | |
US9071900B2 (en) | Multi-channel recording | |
JP5499633B2 (ja) | 再生装置、ヘッドホン及び再生方法 | |
JP4792156B2 (ja) | マイクロホンアレイを有するボイス制御システム | |
US7889872B2 (en) | Device and method for integrating sound effect processing and active noise control | |
WO2020017518A1 (ja) | 音声信号処理装置 | |
US10510361B2 (en) | Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user | |
KR20110132245A (ko) | 음성 신호 처리 장치 및 음성 신호 처리 방법 | |
CN114640938B (zh) | 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机 | |
TW202209901A (zh) | 用於聲學透通的系統、裝置和方法 | |
WO2012114155A1 (en) | A transducer apparatus with in-ear microphone | |
JP2010506526A (ja) | 補聴器の動作方法、および補聴器 | |
TW201118719A (en) | System and method for modifying an audio signal | |
WO2020017517A1 (ja) | 音声信号処理システム、及び音声信号処理装置 | |
JP6904255B2 (ja) | 情報処理システム及びプログラム | |
JP6936860B2 (ja) | 音声信号処理装置 | |
TWI736122B (zh) | 用於聲學回聲消除的時間延遲校準方法及電視裝置 | |
US20240029755A1 (en) | Intelligent speech or dialogue enhancement | |
JP7515128B2 (ja) | 耳装着型デバイス、及び、再生方法 | |
CN115550775A (zh) | 从来自麦克风的声音信号中去除噪声的方法和设备 | |
JP2015111955A (ja) | ヘッドホン、ヘッドホンのノイズ低減方法、ノイズ低減処理用プログラム | |
CN113630675A (zh) | 智能设备和音频处理方法 | |
CN112804608A (zh) | 带助听功能tws耳机的使用方法、***、主机及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19837456 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020531321 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19837456 Country of ref document: EP Kind code of ref document: A1 |