WO2020026726A1 - 集音拡声装置、その方法、およびプログラム - Google Patents
集音拡声装置、その方法、およびプログラム Download PDFInfo
- Publication number
- WO2020026726A1 WO2020026726A1 PCT/JP2019/027246 JP2019027246W WO2020026726A1 WO 2020026726 A1 WO2020026726 A1 WO 2020026726A1 JP 2019027246 W JP2019027246 W JP 2019027246W WO 2020026726 A1 WO2020026726 A1 WO 2020026726A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- gain
- loudspeaker
- seat
- target sound
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000000694 effects Effects 0.000 claims abstract description 20
- 230000003111 delayed effect Effects 0.000 claims abstract description 9
- 210000005069 ears Anatomy 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000035807 sensation Effects 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 21
- 230000005236 sound signal Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000001629 suppression Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000003623 enhancer Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G2201/00—Indexing scheme relating to subclass H03G
- H03G2201/10—Gain control characterised by the type of controlled element
- H03G2201/103—Gain control characterised by the type of controlled element being an amplifying element
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
Definitions
- the present invention relates to a sound collection and sound enhancement technology for smoothly communicating in a vehicle using a microphone and a speaker.
- the object of the present invention is to provide a sound-collecting loudspeaker, a method thereof, and a program for suppressing the influence of howling due to the addition of a speaker, while reducing the discomfort of a sound image.
- a sound collecting and loudspeaker mounted on a vehicle.
- the sound-collecting loudspeaker collects a target sound emitted from the first seat in the vehicle, and from a second loudspeaker arranged in a direction different from the first seat as viewed from a listener sitting on the second seat in the vehicle.
- the target sound collected for the listener is reproduced, and the target sound collected for the listener is reproduced from the first loudspeaker arranged in the same direction as the first seat as viewed from the listener.
- a second gain adjustment unit that reduces the first gain.
- the second gain adjustment section adjusts a large value of the second gain.
- a sound collecting and loudspeaker mounted on a vehicle.
- the sound-collecting loudspeaker collects a target sound emitted from the first seat in the vehicle, and from a second loudspeaker arranged in a direction different from the first seat as viewed from a listener sitting on the second seat in the vehicle.
- the target sound collected for the listener is reproduced, and the target sound collected for the listener is reproduced from the first loudspeaker arranged in the same direction as the first seat as viewed from the listener.
- a first gain adjustment unit that multiplies the target sound by the first gain and outputs the result to the first loudspeaker; a target sound emphasis unit that emphasizes the target sound from a signal collected by one or more microphones; Multiplied by a second gain, and outputs to the second loudspeaker.
- the emphasized target sound has a delay with respect to the non-emphasized target sound. Adjust the gain to a small value, and the second gain adjustment unit increases the second gain Adjust to a value.
- a sound collecting and loudspeaker mounted on a vehicle.
- the sound collection and loudspeaker system assumes that two or more sound collection and loudspeaker positions are assumed in the vehicle, and the sound emitted from the first subject located at the first sound collection and loudspeaker position is used as another sound collection and loudspeaker.
- the first microphone installed at a position that is easier to collect sound than the sound emitted from the subject located at the position, and the second microphone located at the second sound collection loudspeaker position at another sound collection loudspeaker position
- the second speaker installed in a position that is easier to reach than the subject and that is in a direction different from the first subject based on the second subject, and the direction of the first subject based on the second subject
- the sound emitted from the first speaker reaches the ears of the second subject first. Sound.
- a sound collecting and loudspeaker mounted on a vehicle.
- the sound collection and loudspeaker outputs an acoustic signal collected using a microphone that mainly collects sound emitted by a first user who is seated in a first seat in the vehicle, and transmits the sound signal to a second seat in the vehicle.
- Controlling such that sound does not occur from the first speaker installed in the direction of the first seat as a reference and sound is emitted at an intensity that can be heard by a second user seated on the second seat, Strength that does not cause howling from the second speaker installed in a direction different from the direction of the first seat with respect to the first seat and closer to the second seat than the first speaker, and is easy for the second user to hear And at a time after the start of the sound emission of the first speaker.
- FIG. 3 is a diagram illustrating an example of arrangement of a microphone and a speaker according to the first embodiment.
- FIG. 2 is a functional block diagram of the sound collection and loudspeaker according to the first embodiment.
- FIG. 4 is a diagram showing an example of a processing flow of the sound collection and loudspeaker according to the first embodiment.
- FIG. 3 is a functional block diagram of a target sound emphasizing unit according to the first embodiment.
- FIG. 3 is a functional block diagram of an echo canceller unit according to the first embodiment.
- FIG. 3 is a functional block diagram of a target sound emphasizing unit according to the first embodiment.
- FIG. 3 is a functional block diagram of an echo canceller unit according to the first embodiment.
- FIG. 10 is a functional block diagram of a sound collection and loudspeaker according to a third modification of the first embodiment.
- FIG. 6 is a functional block diagram of a sound collection and loudspeaker according to a second embodiment. The figure which shows the example of the processing flow of the sound collection loudspeaker which concerns on 2nd embodiment.
- FIG. 9 is a functional block diagram of a target sound emphasizing unit according to the second embodiment.
- FIG. 9 is a functional block diagram of an echo canceller unit according to the second embodiment.
- FIG. 13 is a functional block diagram in a case where the second embodiment and a third modification of the first embodiment are combined.
- the precedence effect is a phenomenon in which when sounds of the same nature are heard almost simultaneously, a sound image is perceived only in the direction of the sound that was heard earlier.
- a configuration for utilizing this effect is as shown in FIG.
- simply arranging the loudspeaker 92R-1 aiming at the preceding sound effect does not change the situation where the howling easily occurs. For this reason, a means of gain adjustment that does not cause howling is also proposed.
- FIG. 4 is a functional block diagram of the sound collection and loudspeaker according to the first embodiment, and FIG. 5 shows a processing flow thereof.
- the sound collection and loudspeaker includes target sound emphasizing units 110-1 and 110-2, a delay unit 130, and gain adjusting units 120 and 140.
- the vehicle on which the sound collection and loudspeaker system is mounted has a structure as shown in FIG. 3 and includes three rows of seats.
- the vehicle of the present embodiment includes a microphone 91F that mainly collects the voice of the speaker in the first row, and a microphone 91R that mainly collects the voice of the speaker in the third row.
- the microphones 91F and 91R are each composed of M microphones. Note that F and R are indices indicating forward and backward with respect to the traveling direction of the vehicle, respectively.
- the vehicle of the present embodiment has a speaker 92F for reproducing sound to a listener in the first row of seats, and speakers 92R-1 and 92R- for reproducing sound to a listener in the third row of seats.
- the speaker 92R-1 is arranged in the same direction (forward) as the first row of seats as viewed by a listener sitting in the third row of seats, and the speaker 92R-2 is one in the same direction as a listener sitting in the third row of seats.
- the seats are arranged in a different direction (rear) from the seats in the row. Note that the same direction does not mean exactly the same direction, but means a direction in which a sense of discomfort of the sound image is not easily felt. Similarly, a different direction means a direction in which a sense of discomfort is likely to occur in the sound image.
- Each of the speakers 92F, 92R-1, and 92R-2 is composed of N speakers.
- N is any integer of 1 or more, and represents the number of channels of the reproduction signal.
- Y R1 [Y R1,1 , ..., Y R1, N ]
- Y R2 [Y R2,1 , ..., Y R2, N ]
- the sound collection and loudspeaker device is, for example, a special program in which a special program is read by a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. Device.
- the sound collection and loudspeaker executes each process under the control of a central processing unit, for example.
- the data input to the sound pickup device and the data obtained in each process are stored in, for example, a main storage device, and the data stored in the main storage device is read out to a central processing unit as necessary. Used for other processing.
- At least a part of each processing unit of the sound collection and loudspeaker may be configured by hardware such as an integrated circuit.
- Each storage unit included in the sound collection and loudspeaker can be configured by, for example, a main storage device such as a RAM (Random Access Memory) or a middleware such as a relational database or a key-value store.
- a main storage device such as a RAM (Random Access Memory) or a middleware such as a relational database or a key-value store.
- each storage unit does not necessarily need to be provided in the sound collection and loudspeaker device, and is constituted by an auxiliary storage device constituted by a hard disk, an optical disk, or a semiconductor memory device such as a flash memory.
- a configuration may be provided outside the loudspeaker.
- the reproduced signal Y F [Y F, 1 ,..., Y F, N ] reproduced by the speaker 92F of the seat in the first row generated by the unit 110-2 and reproduced by the speaker 93 of the vehicle-mounted acoustic device.
- X C [X C, 1 ,..., X C, S ]
- a reproduction signal Y R [which emphasizes the target sound (sound emitted from the front seat) from the collected sound signal X F Y R, 1 , ..., Y R, N ] and output.
- FIG. 6 is a functional block diagram of the target sound emphasizing unit 110-1.
- the target sound emphasis unit 110-1 includes a directional sound collection unit 110-1-1, an echo canceller unit 110-1-2, and a howling suppression unit 110-1-3. Hereinafter, each unit will be described.
- the enhancement signal may be obtained by any method.
- the emphasis technology of JP-A-2004-078021 can be used.
- Echo canceller 110-1-2 Echo canceller unit 110-1-2 highlight signal X 'and F, and the reproduction signal Y F, as input and playback signals X C, enhanced signal X' sound components and speakers to be reproduced by the speaker 93 included in the F
- the sound component reproduced at 92F is deleted, and an emphasis signal X " F from which the echo component is deleted is obtained (S110-1-2) and output.
- FIG. 7 shows a functional block diagram of the echo canceller unit 110-1-2.
- the echo canceller unit 110-1-2 includes a first adaptive filter unit 110-1-2-1, a first subtraction unit 110-1-2-2, and a second adaptive filter unit 110-1-2-3. , A second subtraction unit 110-1-2-4.
- First adaptive filter 110-1-2-1 inputs the reproduced signal X C, filtering the reproduced signal X C using a first adaptive filter to generate a first pseudo echo Y 1, and outputs.
- the first subtraction unit 110-1-2-2 is' as input F and the first pseudo echo Y 1, emphasis signal X 'enhanced signal X by subtracting the first pseudo echo Y 1 from F, emphasis signal X' Obtain and output F, 1 .
- all the channels may be subtracted, or the sum of all the channels may be subtracted.
- Y 1, N ] may be subtracted from the enhanced signal X ′ F , or the sum of the first pseudo echoes Y 1, n of the N channels may be subtracted from the enhanced signal X ′ F.
- Second adaptive filter 110-1-2-3 inputs the reproduced signal Y F, using a second adaptive filter filters the reproduced signal Y F, generates a second pseudo echo Y 2, and outputs.
- the second subtracting unit 110-1-2-4 is 'as input F, 1 and a second echo replica Y 2, emphasis signal X' emphasis signal X and the second pseudo echo Y 2 is subtracted from F, 1, An enhancement signal X " F is obtained and output.
- all channels may be subtracted, or the sum of all channels may be subtracted.
- the first adaptive filter section 110-1-2-1 receives the emphasizing signal X " F (corresponding to an error signal) from which the echo component has been eliminated, and uses the reproduced signal X C and the emphasizing signal X" F to generate a second signal. Update one adaptive filter.
- the second adaptive filter unit 110-1-2-3 is "as input F, enhancement signal X and the reproduced signal Y F" enhancement signal X updates the second adaptive filter using F.
- the filter can be updated using the NLMS algorithm described in Reference 2.
- Reference 2 Toshiro Oga, Yoshio Yamazaki, Yutaka Kaneda, "Acoustic System and Digital Processing", edited by IEICE, Corona, 1995, p140,141
- the echo component may be canceled by any method, not limited to the above-described echo canceling method.
- the echo cancellation technology disclosed in Japanese Patent Application Laid-Open No. 2010-187086 can be used.
- Howling suppression section 110-1-3 Howling suppression unit 110-1-3 inputs the enhancement signal X "F, suppress howling component (S110-1-3), and outputs the signal after the howling component suppressing the reproduction signal Y R.
- the howling component may be suppressed by any method.
- a howling suppression technique disclosed in Japanese Patent Application Laid-Open No. 2007-221219 can be used.
- FIG. 8 is a functional block diagram of the target sound emphasizing unit 110-2.
- the target sound emphasis unit 110-2 includes a directional sound collection unit 110-2-1, an echo canceller unit 110-2-2, and a howling suppression unit 110-2-3. Hereinafter, each unit will be described.
- the sound component reproduced by the speaker 93 and the sound component reproduced by the speakers 92R-1 and 92R-2 included in R are deleted, and an emphasis signal X " R in which the echo component is deleted is obtained (S110-2-2). ,Output.
- FIG. 9 shows a functional block diagram of the echo canceller unit 110-2-2.
- the echo canceller unit 110-2-2 includes a first adaptive filter unit 110-2-2-1, a first subtraction unit 110-2-2-2, and a second adaptive filter unit 110-2-2-3. , And a second subtraction unit 110-2-2-4.
- First adaptive filter 110-2-2-1 inputs the reproduced signal X C, using a first adaptive filter filters the reproduced signal X C, to generate a first pseudo echo Y '1, outputs .
- the first subtraction unit 110-2-2-2 is enhanced signal X and 'R and the first pseudo echo Y' Type 1 and, one subtracts 'first echo replica Y from R' enhancement signal X, enhanced signal X ' R, 1 is obtained and output.
- Second adaptive filter 110-2-2-3 inputs the reproduced signal Y R, using the second adaptive filter filtering the reproduced signal Y R, generates a second pseudo echo Y '2, outputs .
- the second subtracting unit 110-2-2-4 as input enhancement signal X 'R, 1 and the second pseudo echo Y' and 2, enhanced signal X 'R, 1 from the second pseudo echo Y' subtract 2 Then, an emphasis signal X " R is obtained and output.
- the first adaptive filter unit 110-2-2-1 is "as input R (corresponding to the error signal), enhancement signal X and the reproduced signal X C" enhancement signal X erasing the echo component first with R Update one adaptive filter.
- the second adaptive filter portion 110-2-2-3 is "as input R, enhancement signal X and the reproduced signal Y R" enhancement signal X updates the second adaptive filter using R.
- the adaptive filter may be updated by a method similar to that of the first adaptive filter unit 110-1-2-1 or the like.
- Howling suppression section 110-2-3 inputs the enhancement signal X "R, suppress howling component (S110-2-3), and outputs the signal after the howling component suppressing the reproduction signal Y F.
- Howling suppressing section Howling components may be suppressed by a method similar to that of 110-1-3.
- the reproduced signal Y R [Y R, 1 ,..., Y R, N ] is delayed by the time obtained by adding the time for obtaining the preceding sound effect to the delay time of the speaker 92R-1 with respect to the speaker 92R-2. (S130), and outputs a reproduced signal Y 'R delayed. Assuming that a reproduction signal input at a certain time t is Y R (t), a reproduction signal Y ′ R (t) delayed by the following equation is obtained.
- Y ' R (t) Y R (t- ⁇ )
- v is the speed of sound.
- the first term is for compensating for the delay in air propagation, and the second term is for the precedence effect. Since generally 1ms subsequent sound in precedence effect that a sound image is felt in the direction of delay and the preceding sound is known, [delta] 0 is a value of about 1ms ⁇ 2 ms.
- the gain adjustment unit 120 adjusts the gain alpha 1 at a small value
- the gain adjustment unit 140 adjusts the gain alpha 2 to a large value.
- the gain adjustment unit 120 changes the gain alpha 1
- the minimum gain human rear seat audibly the loudspeaker voice ⁇ 1L
- ⁇ 1 min when the maximum gain range without howling was ⁇ 1H ( ⁇ 1L ⁇ ⁇ 1L , ⁇ 1H ⁇ ⁇ 1H)
- min () is a function that returns the minimum value
- ⁇ 1L and ⁇ 1H are margin values, respectively
- ⁇ 1L is a margin of volume so that you can hear even when noise occurs (even if running noise is added).
- -6 dB ( ⁇ 1H 0.5).
- ⁇ 2 min ( ⁇ 2L ⁇ ⁇ 2L , ⁇ 2H ⁇ ⁇ 2H ) Determined as follows. ⁇ 2L and ⁇ 2H are margin values, respectively, and ⁇ 2L is an amount for checking the volume allowance so that the user can hear even when noise occurs (even when running noise is added).
- ⁇ 2L is a value larger than ⁇ 1L of the above (1) (to such an extent that howling does not occur).
- (1) differs from, alpha 1 is as small as possible the gain, alpha 2 is that as far as possible the gain is increased. With such a configuration, the volume is increased within a range where no howling occurs.
- the adjustment of the gains ⁇ 1 and ⁇ 2 is performed in advance before the sound collection and loudspeaker processing.
- the target sound is reproduced with a small sound (a volume at which a person in the rear seat can hear the loudspeaker) by the speaker 92R-1 installed in front of the rear seat, and a delay that can produce a preceding sound effect is given. Then, the target sound is reproduced with a loud sound (however, a volume that does not cause howling) from the speaker 92R-2 installed behind the rear seat. Since a small sound is reproduced by the speaker 92R-1 near the microphone 91R, it is easy to suppress howling.
- the target sound is reproduced with a loud sound (a volume that is easy to hear) from the speaker 92R-2 far from the microphone 91R, the listener sitting in the rear seat can easily hear the target sound and sits in the front seat due to the preceding sound effect. Since sound is perceived from the direction of the speaker 92R-1 installed in the same direction as the speaker, the sense of discomfort of the sound image can be reduced.
- ⁇ Modification 1> In the present embodiment, the example in which the speaker is provided at the position of the headrest is shown, but the speaker may be installed on the ceiling of the car as shown in FIG.
- the right seat (driver's seat) and the left seat (passenger seat) in the first row are front seats without distinction, but may be distinguished.
- the speaker 92R1-R is placed in the same direction as the right seat in the first row and the speaker 92R1 is placed in the same direction as the left seat in the first row when viewed from the listener sitting in the left seat in the third row.
- -Place L is placed in the same direction as the right seat in the first row.
- FIG. 3 of the present embodiment a three-row seat car is described, but if there is no space for installing microphones in two places in a two-row seat car or the like, the microphones are installed in one place and all seats are seated. It is also conceivable to collect sound. In this case, the same processing is performed using one microphone array, such as a microphone 91C, as shown in FIG.
- the target sound enhancers 110-1 and 110-2 are provided.
- the target sound emitted from the seat is emphasized using a directional microphone having directivity with respect to the seat to be collected. If an emphasis signal can be obtained, the output value of the directional microphone may be output to the delay unit 130, the gain adjustment unit 120, and the speaker 92F without using the target sound emphasis units 110-1 and 110-2. Further, the output value of the directional microphone may be output to the echo canceller units 110-1-2 and 110-2-2 without using the directional sound collection units 110-1-1 and 110-2-1.
- the three-row sheet has a configuration in which the microphones and the speakers are provided in the first and third rows. This is because the first and second row seats and the third and second row seats are easy to reach, and in many cases do not require in-vehicle communication.
- the configuration including the microphone and the speaker in the second row is not excluded, and may be provided as needed.
- the present embodiment is not limited to a three-row seat, and may be applied to a vehicle including a two-row seat, a four-row seat or more. In other words, in a common sound field in a vehicle, the sound volume at the time of general conversation due to running sounds, car audio reproduction sounds, and other outside noises, etc., makes it difficult to hear each other's voice. It may be applied in some cases.
- the sound collection and loudspeaker device does not include a speaker and a microphone, but the present invention will be described below as a sound collection and sound emission device including a speaker and a microphone.
- the sound collection and sound emission device is mounted on a vehicle. In the vehicle, two or more sound collection positions (for example, front seats and rear seats) are assumed.
- the microphone 91F corresponds to the front seat, and is installed at a position where sounds emitted from a passenger sitting in the front seat are more likely to be collected than sounds emitted from passengers sitting in other seats.
- the speaker 92R-2 corresponds to the rear seat, and is easier to reach the passenger sitting in the rear seat than the passenger sitting in the other seat, and is defined as a passenger sitting in the front seat based on the passenger sitting in the rear seat. Installed in different directions.
- the speaker 92R-1 is installed in the direction of the front seat occupant with respect to the rear seat occupant.
- the speakers 92R-1 and 92R-2 emit the sound collected by the microphone 91F and emitted from the occupant sitting in the front seat from the speaker 92R-1 more than the sound emitted from the speaker 92R-2. The sound is emitted so that the sound reaches the ears of the passenger sitting in the rear seat first.
- the sound collection and loudspeaker controls the sound reproduced by the speakers 92R-1 and 92R-2 as described below.
- the sound collecting and loudspeaker device seats the acoustic signal collected by the microphone 91F on the rear seat without causing howling from the speaker 92R-1 installed toward the front seat with respect to the rear seat in the vehicle. The sound is controlled so that the user can hear the sound. Further, the sound collection and loudspeaker system does not cause howling from the speaker 92R-2 installed in a direction different from the direction of the front seat with respect to the rear seat and closer to the rear seat than the speaker 92R-1, and is provided in the rear seat.
- the control is performed so that the sound of the sound signal collected by the microphone 91F is started at a time after the start of the sound emission of the speaker 92R-1 with a strength that is easy for the seated user to hear.
- collecting sound means “collecting sound”
- collecting sound means “receiving sound with a microphone and storing it as an electric signal”.
- FIG. 14 is a functional block diagram of the sound collection and loudspeaker according to the first embodiment, and FIG. 15 shows a processing flow thereof.
- the sound collection and loudspeaker includes target sound enhancers 110-1 and 110-2 and gain adjusters 120 and 140.
- the sound collection and loudspeaker of the present embodiment may not include the delay unit 130.
- the target sound emphasizing unit 110-1 requires a delay of several ms due to signal processing, a delay difference can be provided between a signal passing through this portion and a signal not passing through this portion. Further, since no additional delay is added as in the first embodiment, the time from signal collection until emission from the speaker 92R-2 can be shorter than in the first embodiment. However, howling is easier because the target sound is not emphasized.
- the reproduced signal X C [X C, 1 , ..., X C, S] as input
- collected sound signal X R [X F, 1 , ..., X F, M] target sound from reproduced signal was emphasized (sound emitted from the rear of the seat)
- Y F [Y F, 1, ..., Y F, N] calculated and outputs.
- FIG. 16 is a functional block diagram of the target sound emphasizing unit 110-2.
- the target sound emphasis unit 110-2 includes a directional sound collection unit 110-2-1, an echo canceller unit 110-2-2, and a howling suppression unit 110-2-3.
- the processes of the directional sound collection unit 110-2-1 and the howling suppression unit 110-2-3 are the same as those described in the first embodiment, and a description thereof will be omitted.
- FIG. 17 shows a functional block diagram of the echo canceller unit 110-2-2.
- the echo canceller unit 110-2-2 includes a first adaptive filter unit 110-2-2-1, a first subtraction unit 110-2-2-2, and a second adaptive filter unit 110-2-2-3. , A second subtraction unit 110-2-2-4, a third adaptive filter unit 110-2-2-5, and a third subtraction unit 110-2-2-6.
- the first adaptive filter section 110-2-2-1, the first subtraction section 110-2-2-2, the second adaptive filter section 110-2-2-3, and the second subtraction section 110-2-2-4-4 The processing content is the same as in the first embodiment.
- Third adaptive filter 110-2-2-5 inputs the collected sound signal X F, filtering the reproduced signal Y R2 with a third adaptive filter, generating a third pseudo echo Y '3, the output I do.
- the third subtraction unit 110-2-2-6 receives the enhancement signal X ′ R, 2 (the output value of the second subtraction unit 110-2-2-4) and the third pseudo echo Y ′ 3 and performs enhancement. subtracts the signal X 'R, 2 from the third pseudo echo Y' 3, to give an enhanced signal X "R, and outputs.
- the third adaptive filter portion 110-2-2-5 is "as input R, collected sound signal X F and enhancement signal X" enhancement signal X updates the third adaptive filter using R.
- the adaptive filter may be updated by a method similar to that of the first adaptive filter unit 110-1-2-1 or the like.
- FIG. 18 shows a functional block diagram when the present embodiment and Modification 3 of the first embodiment are combined.
- a program describing this processing content can be recorded on a computer-readable recording medium.
- a computer-readable recording medium for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
- This program is distributed by selling, transferring, lending, or the like, a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
- the computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage unit. Then, when executing the processing, the computer reads the program stored in its own storage unit and executes the processing according to the read program.
- a computer may directly read the program from a portable recording medium and execute processing according to the program. Further, each time a program is transferred from the server computer to the computer, processing according to the received program may be sequentially performed.
- ASP Application ⁇ Service ⁇ Provider
- the program includes information to be used for processing by the computer and which is similar to the program (such as data that is not a direct command to the computer but has properties that define the processing of the computer).
- each device is configured by executing a predetermined program on a computer, at least a part of the processing contents may be realized by hardware.
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置を提供する。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力し、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させ、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力し、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
Description
本発明は、マイクロホンとスピーカを用いて車両内の会話を円滑に行う集音拡声技術に関する。
インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献1参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。インカーコミュニケーションにおいては、図1のように話者音声の拡声用のスピーカ92F,92Rを座席に座る聴取者の耳元に設置するのが、少ない音量で音声を提示できるため効果的である。
"「インテリジェントマイク for car」の技術について"、[online]、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
しかしながら、図1の場合、後席の人にとっては、前席の声が自分の頭の後ろから聞こえることになり、位置関係に違和感が生じる。この違和感を解消するためには音像を後席の人よりも前に出す必要があり、そのためには、スピーカ92Rを後席の人よりも前に設置する方法が考えられる(図2参照)。しかしながら、後席の人の耳からスピーカ92Rが遠くなるのでその分スピーカ92Rから大きな音を出さなくてはならず、後席近くのマイク91Rに音が入ってハウリングの原因となってしまう。
本発明は、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置、その方法、およびプログラムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、第一拡声装置と、第二拡声装置と、聴取者との位置関係から得られる、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させる遅延部と、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、1以上のマイクロホンで集音された信号から目的音を強調する目的音強調部と、強調した目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、強調した目的音は、強調していない目的音に対して遅延を伴い、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には2つ以上の集音拡声位置が想定されるものとし、第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、第二対象者を基準として第一対象者とは異なる方向である位置に設置された第二スピーカと、第二対象者を基準として第一対象者の方向に設置された第一スピーカと、を含み、第一スピーカと第二スピーカは、第一マイクロホンにより集音された第一対象者から発せられた音を、第二スピーカから放音された音よりも第一スピーカから放音された音が先に第二対象者の耳に到達するよう放音する。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、車両内の第二の座席を基準として第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、第二の座席を基準として第一の座席の方向とは異なる方向かつ第一スピーカよりも第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ第二のユーザが聞き取りやすい強さでかつ第一スピーカの放音開始よりも後の時間に音響信号の放音を開始するよう制御する。
本発明によれば、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができるという効果を奏する。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態のポイント>
本実施形態では、音像を前方に出すために先行音効果を利用する(参考文献1参照)。
(参考文献1)日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29
本実施形態では、音像を前方に出すために先行音効果を利用する(参考文献1参照)。
(参考文献1)日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29
先行音効果とは、同じ性質の音をほぼ同時に聞いた場合に、先に聞こえた音の方向のみに音像を知覚するという現象である。この効果を利用するための構成は図3のようになる。ただし、単純に先行音効果を狙ったスピーカ92R-1を配置するだけでは、ハウリングが起きやすい状況に変わりはない。そのため、ハウリングが起きないようなゲイン調整の手段も提案する。
<第一実施形態>
図4は第一実施形態に係る集音拡声装置の機能ブロック図を、図5はその処理フローを示す。
図4は第一実施形態に係る集音拡声装置の機能ブロック図を、図5はその処理フローを示す。
集音拡声装置は、目的音強調部110-1,110-2と、遅延部130と、ゲイン調整部120,140とを含む。
本実施形態では、集音拡声装置が搭載される車両は、図3のような構造とし、3列シートを備える。さらに、本実施形態の車両は、主に1列目の話者の音声を集音するマイク91Fと、主に3列目の話者の音声を集音するマイク91Rとを備える。マイク91F、91Rは、それぞれM個のマイクロホンで構成される。なお、F,Rはそれぞれ車両の進行方向に対して前方、後方を示すインデックスである。さらに、本実施形態の車両は、1列目の座席の聴取者に対して音を再生するスピーカ92Fと、3列目の座席の聴取者に対して音を再生するスピーカ92R-1,92R-2とを備える。スピーカ92R-1は3列目の座席に座る聴取者からみて1列目の座席と同じ方向(前方)に配置されており、スピーカ92R-2は3列目の座席に座る聴取者からみて1列目の座席とは異なる方向(後方)に配置されている。なお、同じ方向とは、厳密に同じ方向を意味するのではなく、音像の違和感を感じずらい方向を意味する。同様に、異なる方向とは、音像の違和感を生じやすい方向を意味する。各スピーカ92F,92R-1,92R-2はそれぞれN個のスピーカで構成される。ただし、Nは1以上の整数の何れかであり、再生信号のチャネル数を表す。
集音拡声装置は、車両内に設置された2つのマイク91F,91Rで集音して得られる集音信号XF=[XF,1,…,XF,M],XR=[XR,1,…,XR,M]と、車載用音響装置(例えば、カーオーディオ等)のスピーカ93で再生される再生信号(例えば、オーディオ信号)XC=[XC,1,…,XC,S]とを入力とし、車両内に設置された3つのスピーカ92F,92R-1,92R-2で再生される再生信号YF=[YF,1,…,YF,N],YR1=[YR1,1,…,YR1,N],YR2=[YR2,1,…,YR2,N]を生成し、出力する。なお、Sは、車載用音響装置のスピーカ93で再生される再生信号のチャネル数を表す。
集音拡声装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音拡声装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音拡声装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音拡声装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音拡声装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音拡声装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置により構成し、集音拡声装置の外部に備える構成としてもよい。
以下、各部について説明する。
<目的音強調部110-1>
目的音強調部110-1は、マイク91Fで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、目的音強調部110-2で生成された1列目の座席のスピーカ92Fで再生される再生信号YF=[YF,1,…,YF,N]と、車載用音響装置のスピーカ93で再生される再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XFから目的音(前方の座席から発せられる音)を強調した再生信号YR=[YR,1,…,YR,N]を求め、出力する。
目的音強調部110-1は、マイク91Fで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、目的音強調部110-2で生成された1列目の座席のスピーカ92Fで再生される再生信号YF=[YF,1,…,YF,N]と、車載用音響装置のスピーカ93で再生される再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XFから目的音(前方の座席から発せられる音)を強調した再生信号YR=[YR,1,…,YR,N]を求め、出力する。
図6は目的音強調部110-1の機能ブロック図を示す。
目的音強調部110-1は、指向性集音部110-1-1と、エコーキャンセラ部110-1-2と、ハウリング抑圧部110-1-3とを含む。以下、各部について説明する。
(指向性集音部110-1-1)
指向性集音部110-1-1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から目的音(前方の座席から発せられる音)を強調した強調信号X'Fを求め(S110-1-1)、出力する。
指向性集音部110-1-1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から目的音(前方の座席から発せられる音)を強調した強調信号X'Fを求め(S110-1-1)、出力する。
なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。
(エコーキャンセラ部110-1-2)
エコーキャンセラ部110-1-2は、強調信号X'Fと、再生信号YFと、再生信号XCとを入力とし、強調信号X'Fに含まれるスピーカ93で再生される音成分やスピーカ92Fで再生される音成分を消去し、エコー成分を消去した強調信号X"Fを求め(S110-1-2)、出力する。
エコーキャンセラ部110-1-2は、強調信号X'Fと、再生信号YFと、再生信号XCとを入力とし、強調信号X'Fに含まれるスピーカ93で再生される音成分やスピーカ92Fで再生される音成分を消去し、エコー成分を消去した強調信号X"Fを求め(S110-1-2)、出力する。
図7は、エコーキャンセラ部110-1-2の機能ブロック図を示す。
エコーキャンセラ部110-1-2は、第一適応フィルタ部110-1-2-1と、第一減算部110-1-2-2と、第二適応フィルタ部110-1-2-3と、第二減算部110-1-2-4とを含む。
第一適応フィルタ部110-1-2-1は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY1を生成し、出力する。
第一減算部110-1-2-2は、強調信号X'Fと第一擬似エコーY1とを入力とし、強調信号X'Fから第一擬似エコーY1を減算し、強調信号X'F,1を得、出力する。なお、全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。例えば、Nチャネルの再生信号XC,n(n=1,2,…,N)をそれぞれフィルタリングしたNチャネルの第一擬似エコーY1,n(ただしY1=[Y1,1,…,Y1,N])をそれぞれ強調信号X'Fから減算してもよいし、Nチャネルの第一擬似エコーY1,nの総和を強調信号X'Fから減算してもよい。
第二適応フィルタ部110-1-2-3は、再生信号YFを入力とし、第二適応フィルタを用いて再生信号YFをフィルタリングし、第二擬似エコーY2を生成し、出力する。
第二減算部110-1-2-4は、強調信号X'F,1と第二擬似エコーY2とを入力とし、強調信号X'F,1から第二擬似エコーY2を減算し、強調信号X"Fを得、出力する。第一減算部110-1-2-2と同様に全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。
さらに、第一適応フィルタ部110-1-2-1は、エコー成分を消去した強調信号X"F(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Fを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部110-1-2-3は、強調信号X"Fを入力とし、再生信号YFと強調信号X"Fを用いて第二適応フィルタを更新する。
適応フィルタの更新方法としては様々な方法がある。例えば、参考文献2記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
(参考文献2)大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
(参考文献2)大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
なお、上述のエコー消去方法に限らず、どのような方法によりエコー成分を消去してもよい。例えば、特開2010-187086号公報のエコー消去技術を用いることができる。
(ハウリング抑圧部110-1-3)
ハウリング抑圧部110-1-3は、強調信号X"Fを入力とし、ハウリング成分を抑圧し(S110-1-3)、ハウリング成分抑圧後の信号を再生信号YRとして出力する。
ハウリング抑圧部110-1-3は、強調信号X"Fを入力とし、ハウリング成分を抑圧し(S110-1-3)、ハウリング成分抑圧後の信号を再生信号YRとして出力する。
なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。
<目的音強調部110-2>
目的音強調部110-2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
目的音強調部110-2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
図8は目的音強調部110-2の機能ブロック図を示す。
目的音強調部110-2は、指向性集音部110-2-1と、エコーキャンセラ部110-2-2と、ハウリング抑圧部110-2-3とを含む。以下、各部について説明する。
(指向性集音部110-2-1)
指向性集音部110-2-1は、集音信号XR=[XR,1,…,XR,M]を入力とし、集音信号XR=[XR,1,…,XR,M]から目的音(後方の座席から発せられる音)を強調した強調信号X'Rを求め(S110-2-1)、出力する。指向性集音部110-1-1と同様の方法により強調信号を求めればよい。
指向性集音部110-2-1は、集音信号XR=[XR,1,…,XR,M]を入力とし、集音信号XR=[XR,1,…,XR,M]から目的音(後方の座席から発せられる音)を強調した強調信号X'Rを求め(S110-2-1)、出力する。指向性集音部110-1-1と同様の方法により強調信号を求めればよい。
(エコーキャンセラ部110-2-2)
エコーキャンセラ部110-2-2は、強調信号X'Rと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R-1,92R-2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110-2-2)、出力する。
エコーキャンセラ部110-2-2は、強調信号X'Rと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R-1,92R-2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110-2-2)、出力する。
図9は、エコーキャンセラ部110-2-2の機能ブロック図を示す。
エコーキャンセラ部110-2-2は、第一適応フィルタ部110-2-2-1と、第一減算部110-2-2-2と、第二適応フィルタ部110-2-2-3と、第二減算部110-2-2-4とを含む。
第一適応フィルタ部110-2-2-1は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY'1を生成し、出力する。
第一減算部110-2-2-2は、強調信号X'Rと第一擬似エコーY'1とを入力とし、強調信号X'Rから第一擬似エコーY'1を減算し、強調信号X'R,1を得、出力する。
第二適応フィルタ部110-2-2-3は、再生信号YRを入力とし、第二適応フィルタを用いて再生信号YRをフィルタリングし、第二擬似エコーY'2を生成し、出力する。
第二減算部110-2-2-4は、強調信号X'R,1と第二擬似エコーY'2とを入力とし、強調信号X'R,1から第二擬似エコーY'2を減算し、強調信号X"Rを得、出力する。
さらに、第一適応フィルタ部110-2-2-1は、エコー成分を消去した強調信号X"R(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Rを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部110-2-2-3は強調信号X"Rを入力とし、再生信号YRと強調信号X"Rを用いて第二適応フィルタを更新する。第一適応フィルタ部110-1-2-1等と同様の方法により適応フィルタの更新すればよい。
(ハウリング抑圧部110-2-3)
ハウリング抑圧部110-2-3は、強調信号X"Rを入力とし、ハウリング成分を抑圧し(S110-2-3)、ハウリング成分抑圧後の信号を再生信号YFとして出力する。ハウリング抑圧部110-1-3と同様の方法によりハウリング成分を抑圧すればよい。
ハウリング抑圧部110-2-3は、強調信号X"Rを入力とし、ハウリング成分を抑圧し(S110-2-3)、ハウリング成分抑圧後の信号を再生信号YFとして出力する。ハウリング抑圧部110-1-3と同様の方法によりハウリング成分を抑圧すればよい。
<遅延部130>
遅延部130は、再生信号YR=[YR,1,…,YR,N]を入力とし、スピーカ92R-1とスピーカ92R-2と、後部座席に座る聴取者との位置関係から得られる、スピーカ92R-2に対するスピーカ92R-1の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号YR=[YR,1,…,YR,N]を遅延させ(S130)、遅延させた再生信号Y'Rを出力する。ある時刻tに入力された再生信号をYR(t)とすると、次式により遅延させた再生信号Y'R(t)を求める。
Y'R(t)=YR(t-δ)
遅延の値δはスピーカ92R-1とスピーカ92R-2と、後部座席に座る聴取者の位置関係から計算される。仮に図10のような位置関係の場合、
δ=(d1-d2)/v+δ0
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ0は1ms~2ms程度の値とする。
遅延部130は、再生信号YR=[YR,1,…,YR,N]を入力とし、スピーカ92R-1とスピーカ92R-2と、後部座席に座る聴取者との位置関係から得られる、スピーカ92R-2に対するスピーカ92R-1の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号YR=[YR,1,…,YR,N]を遅延させ(S130)、遅延させた再生信号Y'Rを出力する。ある時刻tに入力された再生信号をYR(t)とすると、次式により遅延させた再生信号Y'R(t)を求める。
Y'R(t)=YR(t-δ)
遅延の値δはスピーカ92R-1とスピーカ92R-2と、後部座席に座る聴取者の位置関係から計算される。仮に図10のような位置関係の場合、
δ=(d1-d2)/v+δ0
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ0は1ms~2ms程度の値とする。
<ゲイン調整部120,140>
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R-1は、ゲインα1を乗じた再生信号YR1(=α1YR)を再生する。
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R-1は、ゲインα1を乗じた再生信号YR1(=α1YR)を再生する。
ゲイン調整部140は、遅延させた再生信号Y'R=[Y'R,1,…,Y'R,N]を入力とし、ゲインα2を乗じ(S140)、出力する。スピーカ92R-2は、ゲインα2を乗じた再生信号YR2(=α2Y'R)を再生する。
なお、ゲイン調整部120はゲインα1を小さな値に調整し、ゲイン調整部140はゲインα2を大きな値に調整する。先行音効果を狙うスピーカ92R-1の音量は、音の定位さえ引っ張れればよいので 音の中身がわかるほど大音量である必要はなく、受聴位置に近いスピーカ92R-2で「聞き取りやすい」音量を実現する。もちろん先行音も大きいほうが聞き取りやすいが、スピーカ92R-1は受聴位置から遠い(=相対的には受聴位置寄りのスピーカ92R-2よりマイク91Rに近いことに相当)ので、その音量を抑えた方がハウリングを抑圧する効果が高い。以下、調整方法を説明する。
(1)まず、ゲイン調整部140は、ミュート(ゲインα2=0)とし、ゲイン調整部120は、ゲインα1を変化させ、調整用目的音にゲインα1を乗じてスピーカ92R-1で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα1L、ハウリングしない範囲の最大のゲインをα1Hとしたときに
α1=min(α1L・β1L,α1H・β1H)
のように定める。min()は最小値を返す関数であり、β1L,β1Hはそれぞれマージンの値であり、β1Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β1L=2.0)などであり、β1Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す(先行音の効果のみを狙う)とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。
α1=min(α1L・β1L,α1H・β1H)
のように定める。min()は最小値を返す関数であり、β1L,β1Hはそれぞれマージンの値であり、β1Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β1L=2.0)などであり、β1Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す(先行音の効果のみを狙う)とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。
(2)次に、ゲイン調整部120は、ミュート(ゲインα1=0)とし、ゲイン調整部140は、ゲインα2を変化させ、調整用目的音にゲインα2を乗じてスピーカ92R-2で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα2L、ハウリングしない範囲の最大のゲインをα2Hとしたときに
α2=min(α2L・β2L,α2H・β2H)
のように定める。β2L,β2Hはそれぞれマージンの値であり、β2Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β2L=2.0)などであり、β2Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β2H=0.5)などである。なお、β2Lは上述の(1)のβ1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α1はなるべくゲインを小さく、α2はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。
α2=min(α2L・β2L,α2H・β2H)
のように定める。β2L,β2Hはそれぞれマージンの値であり、β2Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β2L=2.0)などであり、β2Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β2H=0.5)などである。なお、β2Lは上述の(1)のβ1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α1はなるべくゲインを小さく、α2はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。
(3)上述の(1)(2)で求めたα1,α2を両方ONにした系でハウリングしないかを確認する。言い換えると、α1,α2を用いてスピーカ92R-1,92R-2から調整用目的音を再生し、ハウリングしないかを確認する。ハウリングが発生する場合には、β1H,β2Hに0より大きく1より小さい所定の値γ(たとえば-3dB、γ=0.70)を乗じて、新たなマージンβ1H←γβ1H,β2H←γβ2Hを用いて、α1,α2を調整し、ハウリングが発生しなくなるまで調整を繰り返す。上述の(1)と(2)の両方を満たすようにα1,α2を定めた場合であって、足し算すると(二つの再生信号を同時に再生すると)ハウリングすることがある。(3)の構成により、二つの再生信号を同時に再生したときに生じるハウリングも防ぐことができる。
なお、ゲインα1,α2の調整は、集音拡声処理に先立ち予め行う。
<効果>
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。
先行音効果は、後に聞こえた方の音が10dBほど大きくても生じる。そこで、まず、後席に対して前方に設置されたスピーカ92R-1で小さな音(後席の人が拡声音声を聞き取れる音量)で目的音を再生し、先行音効果を生じうる遅延を付与して、後席に対して後方に設置されたスピーカ92R-2で大きな音(ただしハウリングを生じない音量)で目的音を再生する。マイク91Rに近いスピーカ92R-1で小さな音で再生するため、ハウリングを発生を抑制しやすい。一方で、マイク91Rから遠いスピーカ92R-2で大きな音(聞き取りやすい音量)で目的音を再生するため、後席に座る聴取者は目的音を聞き取りやすく、かつ、先行音効果により前席に座る発話者と同じ方向に設置されたスピーカ92R-1の方向から音を知覚するため、音像の違和感を低減することができる。
<変形例1>
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図11のように車の天井などにスピーカを設置してもよい。
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図11のように車の天井などにスピーカを設置してもよい。
<変形例2>
本実施形態では、1列目の右側座席(運転席)と左側座席(助手席)とを区別せずに前席としたが、区別してもよい。例えば、図12に示すように、3列目の左側座席に座る聴取者から見て1列目の右側座席と同じ方向にスピーカ92R1-Rを、1列目の左側座席と同じ方向にスピーカ92R1-Lを配置する。
本実施形態では、1列目の右側座席(運転席)と左側座席(助手席)とを区別せずに前席としたが、区別してもよい。例えば、図12に示すように、3列目の左側座席に座る聴取者から見て1列目の右側座席と同じ方向にスピーカ92R1-Rを、1列目の左側座席と同じ方向にスピーカ92R1-Lを配置する。
この場合、指向性集音部110-1-1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から1列目の右側座席から発せられる目的音を強調した強調信号X'FRと、1列目の左側座席から発せられる目的音を強調した強調信号X'FLと求め(例えば、特開2013-179388号公報の技術を用いる)、出力する。スピーカ92R1-Rはゲインα1を乗じた、強調信号X'FRに対応する再生信号YRR=[YRR,1,…,YRR,N]を再生し、スピーカ92R1-Lはゲインα1を乗じた、強調信号X'FLに対応する再生信号YRL=[YRL,1,…,YRL,N]を再生する。さらに、スピーカ92R-2は、遅延させた再生信号Y'RR,Y'RLにゲインα2を乗じた信号を再生する。
このような構成とすることで、より一層音像の違和感を低減することができる。
<変形例3>
また、本実施形態の図3では、3列シート車を記載したが、2列シート車などでマイクを2か所に設置するスペースがない場合、マイクを1か所に設置しすべての座席の集音を行うことも考えられる。この場合、図13のようにマイク91Cという1か所のマイクロホンアレイを用いて同様に処理を行う。
また、本実施形態の図3では、3列シート車を記載したが、2列シート車などでマイクを2か所に設置するスペースがない場合、マイクを1か所に設置しすべての座席の集音を行うことも考えられる。この場合、図13のようにマイク91Cという1か所のマイクロホンアレイを用いて同様に処理を行う。
<その他の変形例>
本実施形態では、目的音強調部110-1、110-2を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部110-1、110-2を用いずに指向性マイクの出力値を遅延部130、ゲイン調整部120、スピーカ92Fに出力してもよい。また、指向性集音部110-1-1,110-2-1を用いずに指向性マイクの出力値をエコーキャンセラ部110-1-2,110-2-2に出力してもよい。
本実施形態では、目的音強調部110-1、110-2を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部110-1、110-2を用いずに指向性マイクの出力値を遅延部130、ゲイン調整部120、スピーカ92Fに出力してもよい。また、指向性集音部110-1-1,110-2-1を用いずに指向性マイクの出力値をエコーキャンセラ部110-1-2,110-2-2に出力してもよい。
本実施形態では、3列シートで、1列目と3列目にマイクロホンとスピーカを備えた構成としている。これは、1列目と2列目の座席、3列目と2列目の座席の場合、声が届きやすいため、多くの場合、車両内通話を必要としないためである。しかしながら、2列目にマイクロホンとスピーカを備える構成を排除するものではなく、必要に応じて備えてもよい。また、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえずらい位置関係にある場合に適用すればよい。
本実施形態では、集音拡声装置は、スピーカとマイクロホンを含まない構成としているが、以下では、スピーカとマイクとを含む集音放音装置として本発明を説明する。集音放音装置は、車両に搭載される。車両内には、2つ以上の集音拡声位置(例えば、前席,後席)が想定される。マイク91Fは、前席に対応し、前席に座る搭乗者から発せられた音を他の座席に座る搭乗者から発せられた音よりも集音しやすい位置に設置される。スピーカ92R-2は、後席に対応し、後席に座る搭乗者に他の座席に座る搭乗者よりも届きやすい、かつ、後席に座る搭乗者を基準として前席に座る搭乗者とは異なる方向である位置に設置される。スピーカ92R-1は、後席に座る搭乗者を基準として前席に座る搭乗者の方向に設置される。スピーカ92R-1,92R-2は、マイク91Fにより集音された前席に座る搭乗者から発せられた音を、スピーカ92R-2から放音された音よりもスピーカ92R-1から放音された音が先に後席に座る搭乗者の耳に到達するよう放音する。
また、集音拡声装置は、以下のように、スピーカ92R-1,92R-2で再生される音を制御しているとも言える。集音拡声装置は、マイク91Fを用いて収音された音響信号を、車両内の後席を基準として前席の方向に設置されたスピーカ92R-1からハウリングを起こさないかつ後席に着席したユーザが聞きとることができる強さで放音するよう制御する。また、集音拡声装置は、後席を基準として前席の方向とは異なる方向かつスピーカ92R-1よりも後席に近い位置に設置されたスピーカ92R-2からハウリングを起こさないかつ後席に座るユーザが聞き取りやすい強さで、かつ、スピーカ92R-1の放音開始よりも後の時間にマイク91Fを用いて収音された音響信号の放音を開始するよう制御する。なお、「集音」とは「音を集めること」を意味し、「収音」とは「音をマイクで受けて電気信号として収めること」を意味する。
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
第一実施形態と異なる部分を中心に説明する。
図14は第一実施形態に係る集音拡声装置の機能ブロック図を、図15はその処理フローを示す。
集音拡声装置は、目的音強調部110-1,110-2と、ゲイン調整部120,140とを含む。本実施形態の集音拡声装置は、遅延部130を含まなくともよい。
<ゲイン調整部120>
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]ではなく集音信号XF=[XF,1,…,XF,M]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R-1は、ゲインα1を乗じた集音信号XF(=再生信号YR)を再生する。
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]ではなく集音信号XF=[XF,1,…,XF,M]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R-1は、ゲインα1を乗じた集音信号XF(=再生信号YR)を再生する。
目的音強調部110-1は信号処理により数msの遅延を必要とするため、この部分を通る信号と通らない信号でも遅延差をつけることができる。また第一実施形態のように追加の遅延を入れていないため、信号を集音してからスピーカ92R-2から放射するまでの時間は第一実施形態よりも短くて済む。ただし、目的音強調をしていない分ハウリングしやすくなる。
<目的音強調部110-2>
目的音強調部110-2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、マイク91Rで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
目的音強調部110-2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、マイク91Rで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
図16は目的音強調部110-2の機能ブロック図を示す。
目的音強調部110-2は、指向性集音部110-2-1と、エコーキャンセラ部110-2-2と、ハウリング抑圧部110-2-3とを含む。指向性集音部110-2-1と、ハウリング抑圧部110-2-3の処理は第一実施形態で説明した通りなので省略する。
(エコーキャンセラ部110-2-2)
エコーキャンセラ部110-2-2は、強調信号X'Rと、集音信号XFと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R-1,92R-2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110-2-2)、出力する。
エコーキャンセラ部110-2-2は、強調信号X'Rと、集音信号XFと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R-1,92R-2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110-2-2)、出力する。
図17は、エコーキャンセラ部110-2-2の機能ブロック図を示す。
エコーキャンセラ部110-2-2は、第一適応フィルタ部110-2-2-1と、第一減算部110-2-2-2と、第二適応フィルタ部110-2-2-3と、第二減算部110-2-2-4と、第三適応フィルタ部110-2-2-5と、第三減算部110-2-2-6とを含む。
第一適応フィルタ部110-2-2-1、第一減算部110-2-2-2、第二適応フィルタ部110-2-2-3、第二減算部110-2-2-4の処理内容は、第一実施形態と同様である。
第三適応フィルタ部110-2-2-5は、集音信号XFを入力とし、第三適応フィルタを用いて再生信号YR2をフィルタリングし、第三擬似エコーY'3を生成し、出力する。
第三減算部110-2-2-6は、強調信号X'R,2(第二減算部110-2-2-4の出力値)と第三擬似エコーY'3とを入力とし、強調信号X'R,2から第三擬似エコーY'3を減算し、強調信号X"Rを得、出力する。
さらに、第三適応フィルタ部110-2-2-5は強調信号X"Rを入力とし、集音信号XFと強調信号X"Rを用いて第三適応フィルタを更新する。なお、第一適応フィルタ部110-1-2-1等と同様の方法により適応フィルタの更新すればよい。
なお、本実施形態と第一実施形態の変形例とを組み合わせてもよい。例えば、図18は本実施形態と第一実施形態の変形例3を組合せた場合の機能ブロック図を示す。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
Claims (9)
- 車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延部と、
遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。 - 車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調部と、
強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。 - 請求項1または請求項2の集音拡声装置であって、
前記車両内の第一座席から発せられる調整用目的音を集音し、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第一ゲインとし、
前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第二ゲインとする、
集音拡声装置。 - 請求項3の集音拡声装置であって、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ1Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ1Hとの積との何れか小さい値を前記第一ゲインとし、
β2L>β1Lとし、前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ2Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ2Hとの積との何れか小さい値を前記第二ゲインとし、
前記第一ゲイン調整部で調整した前記第一ゲインと前記第二ゲイン調整部で調整した前記第二ゲインとを用いて前記第一拡声装置と前記第二拡声装置から前記調整用目的音を再生し、ハウリングが発生する場合には、前記マージンβ1H,β2Hそれぞれに0より大きく1より小さい所定の値γを乗じた値を新たなマージンβ1H,β2Hとして、前記第一ゲイン調整部と前記第二ゲイン調整部においてそれぞれ前記第一ゲインと前記第二ゲインとを調整し、ハウリングが発生しなくなるまで調整を繰り返す、
集音拡声装置。 - 車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延ステップと、
前記集音拡声装置が、遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。 - 車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調ステップと、
前記集音拡声装置が、強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。 - 請求項1から請求項4の何れかの集音拡声装置としてコンピュータを機能させるためのプログラム。
- 車両に搭載される集音拡声装置であって、
車両内には2つ以上の集音拡声位置が想定されるものとし、
前記第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、
前記第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、前記第二対象者を基準として前記第一対象者とは異なる方向である位置に設置された第二スピーカと、
前記第二対象者を基準として前記第一対象者の方向に設置された第一スピーカと、を含み、
前記第一スピーカと前記第二スピーカは、前記第一マイクロホンにより集音された前記第一対象者から発せられた音を、前記第二スピーカから放音された音よりも前記第一スピーカから放音された音が先に前記第二対象者の耳に到達するよう放音する、
集音拡声装置。 - 車両に搭載される集音拡声装置であって、
前記車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、
前記車両内の第二の座席を基準として前記第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ前記第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、
前記第二の座席を基準として前記第一の座席の方向とは異なる方向かつ前記第一スピーカよりも前記第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ前記第二のユーザが聞き取りやすい強さで、かつ、前記第一スピーカの放音開始よりも後の時間に前記音響信号の放音を開始するよう制御する、
集音拡声装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/263,860 US11516584B2 (en) | 2018-08-02 | 2019-07-10 | Sound collection loudspeaker apparatus, method and program for the same |
EP19843267.6A EP3833046A4 (en) | 2018-08-02 | 2019-07-10 | SOUND COLLECTION/AMPLIFICATION DEVICE, ASSOCIATED METHOD, AND PROGRAM |
CN201980051002.4A CN112514416B (zh) | 2018-08-02 | 2019-07-10 | 拾音扩音装置、其方法以及记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-145953 | 2018-08-02 | ||
JP2018145953A JP6984559B2 (ja) | 2018-08-02 | 2018-08-02 | 集音拡声装置、その方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020026726A1 true WO2020026726A1 (ja) | 2020-02-06 |
Family
ID=69231719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/027246 WO2020026726A1 (ja) | 2018-08-02 | 2019-07-10 | 集音拡声装置、その方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11516584B2 (ja) |
EP (1) | EP3833046A4 (ja) |
JP (1) | JP6984559B2 (ja) |
CN (1) | CN112514416B (ja) |
WO (1) | WO2020026726A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114071315A (zh) * | 2021-11-04 | 2022-02-18 | 深圳Tcl新技术有限公司 | 音频处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078021A (ja) | 2002-08-21 | 2004-03-11 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法、収音装置、および収音プログラム |
JP2005051324A (ja) * | 2003-07-29 | 2005-02-24 | Fujitsu Ten Ltd | スピーカ装置 |
JP2007221219A (ja) | 2006-02-14 | 2007-08-30 | Nippon Telegr & Teleph Corp <Ntt> | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 |
JP2008042390A (ja) * | 2006-08-03 | 2008-02-21 | National Univ Corp Shizuoka Univ | 車内会話支援システム |
JP2010187086A (ja) | 2009-02-10 | 2010-08-26 | Nippon Telegr & Teleph Corp <Ntt> | エコー消去装置とその方法と、プログラム |
JP2013179388A (ja) | 2012-02-28 | 2013-09-09 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4105303A1 (de) | 1991-02-20 | 1992-08-27 | Nokia Unterhaltungselektronik | Beschallungsanordnung eines pkw |
JP4264686B2 (ja) * | 2000-09-14 | 2009-05-20 | ソニー株式会社 | 車載用音響再生装置 |
US20060013407A1 (en) | 2004-07-19 | 2006-01-19 | Peavey Hartley D | Methods and apparatus for sound compensation in an acoustic environment |
JP2006279548A (ja) | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | 車載用スピーカシステム及びオーディオ装置 |
JP4848151B2 (ja) * | 2005-08-03 | 2011-12-28 | ソニー株式会社 | 音場計測装置及び音場計測方法 |
DE602006007322D1 (de) * | 2006-04-25 | 2009-07-30 | Harman Becker Automotive Sys | Fahrzeugkommunikationssystem |
EP1860911A1 (en) * | 2006-05-24 | 2007-11-28 | Harman/Becker Automotive Systems GmbH | System and method for improving communication in a room |
US9641934B2 (en) * | 2012-01-10 | 2017-05-02 | Nuance Communications, Inc. | In-car communication system for multiple acoustic zones |
EP3133831A1 (en) * | 2015-08-20 | 2017-02-22 | Harman Becker Automotive Systems GmbH | System and method for in-car communication |
CN106535050A (zh) * | 2016-08-20 | 2017-03-22 | 中声科技(北京)有限公司 | 一种消除汽车噪音的主动降噪模块 |
US10390136B2 (en) * | 2016-12-13 | 2019-08-20 | Yamaha Corporation | Howling suppression device and howling suppression method |
US20180190306A1 (en) * | 2017-01-04 | 2018-07-05 | 2236008 Ontario Inc. | Voice interface and vocal entertainment system |
US9881632B1 (en) * | 2017-01-04 | 2018-01-30 | 2236008 Ontario Inc. | System and method for echo suppression for in-car communications |
US10110997B2 (en) * | 2017-02-17 | 2018-10-23 | 2236008 Ontario, Inc. | System and method for feedback control for in-car communications |
JP7037305B2 (ja) * | 2017-09-13 | 2022-03-16 | フォルシアクラリオン・エレクトロニクス株式会社 | 信号遅延調整装置、信号遅延調整方法及び信号処理装置 |
-
2018
- 2018-08-02 JP JP2018145953A patent/JP6984559B2/ja active Active
-
2019
- 2019-07-10 EP EP19843267.6A patent/EP3833046A4/en not_active Ceased
- 2019-07-10 CN CN201980051002.4A patent/CN112514416B/zh active Active
- 2019-07-10 WO PCT/JP2019/027246 patent/WO2020026726A1/ja unknown
- 2019-07-10 US US17/263,860 patent/US11516584B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078021A (ja) | 2002-08-21 | 2004-03-11 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法、収音装置、および収音プログラム |
JP2005051324A (ja) * | 2003-07-29 | 2005-02-24 | Fujitsu Ten Ltd | スピーカ装置 |
JP2007221219A (ja) | 2006-02-14 | 2007-08-30 | Nippon Telegr & Teleph Corp <Ntt> | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 |
JP2008042390A (ja) * | 2006-08-03 | 2008-02-21 | National Univ Corp Shizuoka Univ | 車内会話支援システム |
JP2010187086A (ja) | 2009-02-10 | 2010-08-26 | Nippon Telegr & Teleph Corp <Ntt> | エコー消去装置とその方法と、プログラム |
JP2013179388A (ja) | 2012-02-28 | 2013-09-09 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム |
Non-Patent Citations (3)
Title |
---|
NIPPON TELEGRAPH AND TELEPHONE CORPORATION, INTELLIGENT MIC FOR CAR NO GIJUTU NI TUITE (ABOUT 'INTELLIGENT MICROPHONE' TECHNOLOGY FOR CARS, 24 May 2018 (2018-05-24) |
OHGA, J.YAMAZAKI, Y.KANEDA, Y.: "Corona", 1995, article "Onkyou Sisutemu to Dijitaru Syori (Acoustic Systems and Digital Processing", pages: 140,141 - 29 |
See also references of EP3833046A4 |
Also Published As
Publication number | Publication date |
---|---|
CN112514416A (zh) | 2021-03-16 |
EP3833046A1 (en) | 2021-06-09 |
US11516584B2 (en) | 2022-11-29 |
JP2020022114A (ja) | 2020-02-06 |
CN112514416B (zh) | 2022-06-07 |
JP6984559B2 (ja) | 2021-12-22 |
US20210235191A1 (en) | 2021-07-29 |
EP3833046A4 (en) | 2022-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6580758B2 (ja) | 車両の音声プラットホームにおける電話および娯楽オーディオの管理 | |
JP5694063B2 (ja) | 車両用キャビンのための屋内通信システム | |
US8705753B2 (en) | System for processing sound signals in a vehicle multimedia system | |
JP2016126335A (ja) | 区画別音声抑制を有する音区画設備 | |
Schmidt et al. | Signal processing for in-car communication systems | |
JP2007003994A (ja) | 音響システム | |
JP2011128617A (ja) | 信号処理装置及び方法 | |
JP2010163054A (ja) | 会話支援装置及び会話支援方法 | |
JP2021517985A (ja) | フィードバック補償を用いたアクティブノイズコントロール | |
WO2020017284A1 (ja) | 集音拡声装置、その方法、およびプログラム | |
WO2020026726A1 (ja) | 集音拡声装置、その方法、およびプログラム | |
EP3833045B1 (en) | Conversation assistance system, method therefor, and program | |
JP2017030671A (ja) | 騒音低減装置、騒音低減方法、及び車載システム | |
JP7520458B2 (ja) | 能動型騒音制御システム及び車載システム | |
US20230410783A1 (en) | Active noise control system | |
US11462203B2 (en) | In-vehicle communication support system | |
JP7211498B2 (ja) | 音響処理装置、音響処理方法、およびプログラム | |
WO2020027062A1 (ja) | 集音拡声装置、その方法、およびプログラム | |
JP2023036332A (ja) | 音響システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19843267 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019843267 Country of ref document: EP Effective date: 20210302 |