WO2021131385A1 - 音響装置、音響処理方法及び記録媒体 - Google Patents

音響装置、音響処理方法及び記録媒体 Download PDF

Info

Publication number
WO2021131385A1
WO2021131385A1 PCT/JP2020/042351 JP2020042351W WO2021131385A1 WO 2021131385 A1 WO2021131385 A1 WO 2021131385A1 JP 2020042351 W JP2020042351 W JP 2020042351W WO 2021131385 A1 WO2021131385 A1 WO 2021131385A1
Authority
WO
WIPO (PCT)
Prior art keywords
impulse response
sound
speaker
observer
head
Prior art date
Application number
PCT/JP2020/042351
Other languages
English (en)
French (fr)
Inventor
良次 宮原
僚太 山口
孝司 大杉
Original Assignee
日本電気株式会社
Ｎｅｃプラットフォームズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃプラットフォームズ株式会社 filed Critical 日本電気株式会社
Priority to JP2021566902A priority Critical patent/JP7440174B2/ja
Publication of WO2021131385A1 publication Critical patent/WO2021131385A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • the present invention relates to an acoustic device, an acoustic processing method, and a recording medium.
  • Patent Document 1 discloses a technique related to virtual surround sound as a related technique.
  • the technique described in Patent Document 2 is a head-related transfer function (Head-Related Transfer) calculated by Fourier expansion using a head-related transfer response (HRIR) recorded by a speaker having a limited orientation.
  • This is a method of generating a comprehensive head-related transfer function from (Function, HRTF) and applying the HRIR calculated by inverse Fourier expansion from the generated head-related transfer function. Since the reproducibility of the generated head-related transfer response depends on the original number of orientations, it is necessary to increase the number of head-related transfer response orientations to be acquired, that is, to increase the number of speakers in order to obtain a high stereoscopic effect. There is.
  • An example of an object of each aspect of the present invention is to provide an acoustic device, an acoustic processing method, and a recording medium capable of solving the above problems.
  • the acoustic device includes a signal output control means for sequentially outputting impulse signals from speakers arranged concentrically around the observer, and the observation.
  • a head impulse response acquisition means that acquires a person's head impulse response in advance, a sound pressure coefficient of the speaker when an impulse sound is generated from a virtual sound source arranged at an arbitrary angle from the center, and the head impulse. It includes a multiplication means for multiplying the response and a storage means for storing the multiplication result multiplied by the multiplication means as an impulse response at an arbitrary position.
  • the sound processing method is to output impulse signals in order from speakers arranged concentrically around the observer, and the observer.
  • the head impulse response of the speaker is obtained in advance, and the sound pressure coefficient of the speaker when the impulse sound is generated from a virtual sound source arranged at an arbitrary angle from the center is multiplied by the head impulse response. And storing the multiplication result as an impulse response at an arbitrary position.
  • the recording medium causes the computer of the sound device to output impulse signals in order from the speakers arranged concentrically around the observer. And, the head impulse response of the observer is acquired in advance, the sound pressure coefficient of the speaker when the impulse sound is generated from the virtual sound source arranged at an arbitrary angle from the center, and the head impulse response.
  • a program for multiplying and storing the multiplied multiplication result as an impulse response at an arbitrary position is recorded.
  • an impulse response that easily reproduces a three-dimensional sound with respect to a comprehensive orientation is generated from the recorded head impulse response information regardless of the number of speakers. can do.
  • the acoustic device 1 according to each embodiment of the present invention is a device that utilizes multi-channel sound technology to produce a three-dimensional sound by a head impulse response, but it does not depend on the number of speakers and is a convolution calculation for each speaker. Is a device that only needs to be performed once.
  • the multi-channel sound technology is a general term for an audio system using three or more speakers.
  • the sound device 1 according to each embodiment of the present invention utilizes a sound image localization technique called panning among the multi-channel sound techniques.
  • the acoustic device 1 In the acoustic device 1 according to each embodiment of the present invention, first, speakers actually arranged concentrically around the observer (at least three in two dimensions and at least four in three dimensions are assumed). ), For example, the technique described in Japanese Patent Application Laid-Open No. 2018-191208 is used to obtain the head impulse response of the individual observer. The head impulse response is also different for the observer's left and right ears. Therefore, for each observer, two left and right head impulse responses are acquired in each speaker.
  • a virtual sound source is arranged at an arbitrary angle from the center, and the sound pressure coefficient of each speaker when an impulse sound is generated from the sound source is obtained in advance. Since the arrangement of the virtual sound source and the sound pressure coefficient of each speaker have no correlation with the head impulse response, they can be obtained separately.
  • FIG. 1 when a virtual sound source is arranged using two speakers, the sound that reaches the observer's ear at the center of the audio system is modeled.
  • S (t) the number of sound pressure coefficient of the sound to play in right and left speakers in the case of placing the virtual sound source angle ⁇ G L ( ⁇ ), G R Let it be ( ⁇ ). In the examples shown in FIGS. 1 and 2, the angle ⁇ is 15 degrees.
  • the sounds S (t) and GL ( ⁇ ) reproduced from the left speaker convolve the head impulse response HRIR LL and the head impulse response HRIR LR, which depend on the transmission path to the observer's left and right ears. As a sound, it arrives at the observer's ear. Therefore, the sound S (t) ⁇ GL ( ⁇ ) * HRIR LL reaches the observer's left ear from the left speaker, and the sound S (t) ⁇ G reaches the observer's right ear from the left speaker. L ( ⁇ ) * HRIR LR arrives. Note that "*" is a convolution operator.
  • the sound that reaches the observer's left ear is S (t) ⁇ GL ( ⁇ ) * HRIR LL + S (t) ⁇ GL ( ⁇ ) * HRIR LR
  • the sound that reaches the observer's right ear is the S (t) ⁇ G R ( ⁇ ) * HRIR RL + S (t) ⁇ G R ( ⁇ ) * HRIR RR. Therefore, the waveform of the sound actually observed by the observer is given by the following equation (1).
  • the waveform of the sound reaching the left ear of the observer can be transformed as shown in the following equation (2).
  • the waveform of the sound reaching the observer's right ear can be transformed as shown in the following equation (3).
  • the sound pressure coefficient for each arbitrary angle ⁇ obtained in advance is multiplied by the head impulse response to obtain ( GL ( ⁇ ) in the equation (2).
  • HRIR LL + G R ( ⁇ ) ⁇ HRIR RL and calculates expression (3 in) (G L ( ⁇ ) ⁇ HRIR LR + G R ( ⁇ ) ⁇ HRIR RR), simple operations that there convolving S (t)
  • the number of convolutions is one for each of the left and right sides, and this number does not change even if the number of speakers increases.
  • the sound device 1 of the present invention is a device capable of easily reproducing a sound source at an arbitrary location without depending on the number of speakers as long as it has three or more speakers.
  • the sound device 1 includes speakers 10a, 10b, 10c, 10d, a signal output control unit 20, a head impulse response acquisition unit 30, and an impulse response generation unit 40 (multiplication).
  • An example of means an example of recording means
  • an impulse response storage unit 50 an example of storage means
  • an impulse response selection unit 60 an example of selection means
  • a convolution processing unit 70 an example of calculation means
  • a sound reproduction unit 80 Be prepared.
  • the speakers 10a, 10b, 10c, and 10d are fixedly arranged concentrically around the observer.
  • the speakers 10a, 10b, 10c, and 10d are arranged at 45 degrees, 135 degrees, 225 degrees, and 315 degrees, respectively, with the front direction of the observer as 0 degrees.
  • the speakers 10a, 10b, 10c, and 10d are collectively referred to as the speaker 10.
  • the speaker 10 outputs the impulse signal itself or a signal for which an impulse response is obtained by calculation in the order of the speakers 10a, 10b, 10c, and 10d.
  • the signal for which an impulse response is obtained by calculation is, for example, an M-sequence signal, a TSP (Time Stretched Pulse) signal, or the like.
  • the head impulse response at the left and right ear canal entrances of the observer is measured by the sound corresponding to the signal output by each of the speakers 10.
  • the signal output control unit 20 outputs the impulse signal itself or a signal for which a head impulse response is required by calculation from the speaker 10.
  • the head impulse response acquisition unit 30 acquires the observer's head impulse response.
  • the head impulse response acquisition unit 30 includes an outward microphone for acquiring the observer's head impulse response.
  • the head impulse response acquisition unit 30 is an earphone having a microphone.
  • the impulse response generation unit 40 is based on the head-related transfer function for the impulse signal output from the speaker 10 (for example, applying the VBAP (Vector Based Amplifier Panning) method to the head-related transfer function) in any direction. Generates an impulse response of.
  • VBAP Vector Based Amplifier Panning
  • the impulse response storage unit 50 stores the impulse response in any direction generated by the impulse response generation unit 40.
  • the impulse response selection unit 60 selects the impulse response corresponding to the position closest to the position where the sound is to be reproduced among the impulse responses stored in the impulse response storage unit 50.
  • the convolution processing unit 70 performs a convolution process (an example of calculation) for the impulse response selected by the impulse response selection unit 60. Specifically, the operation of convolving the selected impulse response HRIR with respect to the sound S (t) reproduced from the speaker which is the sound source to be reproduced is performed.
  • the sound reproduction unit 80 reproduces the sound using the impulse response signal that has undergone the convolution process.
  • the speakers 10a, 10b, 10c, and 10d are fixedly arranged concentrically around the observer.
  • the observer wears the head impulse response acquisition unit 30 and sits at a central position equidistant from each of the speakers 10.
  • the speaker 10 outputs the impulse signal itself or a signal for which an impulse response is required by calculation (for example, M-sequence signal, TSP signal, etc.) based on the control by the signal output control unit 20 (step S1).
  • a signal for which an impulse response is required by calculation for example, M-sequence signal, TSP signal, etc.
  • the head impulse response acquisition unit 30 acquires the signal output by the speaker 10. This is performed in the order of the speakers 10a, 10b, 10c, and 10d.
  • the head impulse response acquisition unit 30 identifies the head impulse response based on the acquired signal (step S2). For example, when the acquired signal is other than the impulse signal, the head impulse response acquisition unit 30 generates a head impulse response for each of the speakers 10 from the acquired signal. Further, when the acquired signal is an impulse signal, the head impulse response acquisition unit 30 uses the acquired signal itself as the head impulse response.
  • the impulse response generation unit 40 utilizes multi-channel sound technology in a multi-channel audio system, arranges a virtual sound source at an arbitrary angle from the center, and generates an impulse sound from the virtual sound source. Obtain the pressure coefficient (step S3).
  • the impulse response generation unit 40 generates an impulse response in an arbitrary direction by multiplying the sound pressure coefficient of each speaker 10 by the head impulse response (step S4).
  • the resolution of the orientation can be made as fine as possible, but a resolution of about 5 degrees is appropriate from the relationship between the amount of data and the stereoscopic effect of the sound.
  • the sound pressure coefficient obtained in a multi-channel audio system is, for example, when using the VBAP method used in 5.1ch stored on a DVD (Digital Versaille Disc) or a Blue-Ray disc, for example, for two speakers.
  • variable ⁇ is the angle from the center of the multi-channel speaker.
  • the variable ⁇ is the angle from the center of the virtual sound source.
  • the impulse response generation unit 40 records the generated impulse response in any direction in the impulse response storage unit 50 (step S5).
  • the impulse response selection unit 60 reads an impulse response in an arbitrary direction from the impulse response storage unit 50 (step S11). The impulse response selection unit 60 selects the impulse response corresponding to the position closest to the position where the sound is to be reproduced from the read impulse responses (step S12).
  • the convolution processing unit 70 performs a convolution process (an example of calculation) for the impulse response selected by the impulse response selection unit 60 (step S13). Specifically, the operation of convolving the signal S (t) of the sound to be reproduced into the impulse response obtained by multiplying the sound pressure coefficient for each arbitrary angle ⁇ by the head impulse response is performed.
  • the sound reproduction unit 80 reproduces the sound using the impulse response signal that has been folded by the convolution processing unit 70 (step S14).
  • the acoustic device 1 has been described above.
  • the signal output control unit 20 outputs an impulse signal from the speakers 10 arranged concentrically around the observer.
  • the head impulse response acquisition unit 30 acquires the observer's head impulse response.
  • the impulse response generation unit 40 multiplies the sound pressure coefficient of the speaker 10 when an impulse sound is generated from a virtual sound source arranged at an arbitrary angle from the center thereof and the head impulse response.
  • the impulse response generation unit 40 records the multiplication result in the impulse response storage unit 50 as an impulse response at an arbitrary position.
  • the sound device 1 according to the second embodiment of the present invention is the same as the sound device 1 according to the first embodiment of the present invention, the speakers 10a, 10b, 10c, 10d, the signal output control unit 20, the head impulse response acquisition unit 30.
  • the impulse response generation unit 40, the impulse response storage unit 50, the impulse response selection unit 60, the convolution processing unit 70, and the sound reproduction unit 80 are provided.
  • the audio device 1 according to the second embodiment of the present invention further includes speakers 10e, 10f, 10g, and 10h.
  • Speakers 10a, 10b, 10c, 10d, 10e, 10f, 10g, and 10h are fixedly arranged in a concentric sphere centered on the observer.
  • the speakers 10a, 10b, 10c, 10d, 10e, 10f, 10g, and 10h have ( ⁇ , ⁇ ) of (45,45), (45,135) in the polar coordinate system centered on the speakers. ), (45,225), (45,315), (315,45), (315,135), (315,225), (315,315).
  • the radius r of the sphere is 1.
  • Speakers 10a, 10b, 10c, 10d, 10e, 10f, 10g, and 10h are collectively referred to as the speaker 10.
  • the speaker 10 When generating an impulse response, the speaker 10 outputs the impulse signal itself in the order of the speakers 10a, 10b, 10c, 10d, 10e, 10f, 10g, and 10h, or a signal for which an impulse response is obtained by calculation.
  • the head impulse response acquisition unit 30 acquires the signal output by the speaker 10. This is performed in the order of speakers 10a, 10b, 10c, 10d, 10e, 10f, 10g, and 10h.
  • the head impulse response acquisition unit 30 identifies the head impulse response based on the acquired signal.
  • the impulse response generation unit 40 utilizes multi-channel sound technology in a multi-channel audio system, arranges a virtual sound source at an arbitrary angle from the center, and generates an impulse sound from the virtual sound source. Find the pressure coefficient.
  • the impulse response generation unit 40 generates an impulse response in an arbitrary direction by multiplying the sound pressure coefficient of each speaker 10 by the head impulse response.
  • the impulse response generation unit 40 records the generated impulse response in any direction in the impulse response storage unit 50.
  • the arrangement of the speakers 10 is two-dimensional, and the sound pressure coefficients obtained for the two speakers in the multi-channel audio system are expressed by the equation (4).
  • the arrangement of the speaker 10 is three-dimensional.
  • the sound pressure coefficient of the speaker 10 obtained for the three speakers in the multi-channel audio system is expressed by the following equation (5).
  • D_t, D 1 , D 2 , and D 3 in the formula (5) are expressed as the following formulas (6), (7), (8), and (9), respectively.
  • the coordinates of the multi-speaker are ( ⁇ n_t , ⁇ n_t ).
  • n is 3.
  • the coordinates of the virtual sound source are ( ⁇ , ⁇ ).
  • ⁇ is 45 degrees
  • 315 degrees ⁇ is 45 degrees
  • 135 degrees 225 degrees
  • the coordinates of the multi-speaker are determined by the combination of ⁇ and ⁇ . , Eight coordinates.
  • the impulse response selection unit 60 reads out the impulse response in an arbitrary direction from the impulse response storage unit 50.
  • the impulse response selection unit 60 selects the impulse response corresponding to the position closest to the position where the sound is to be reproduced from the read impulse responses.
  • the convolution processing unit 70 performs convolution processing on the impulse response selected by the impulse response selection unit 60.
  • the sound reproduction unit 80 reproduces the sound using the impulse response signal that has been folded by the convolution processing unit 70.
  • the acoustic device 1 according to the second embodiment of the present invention has been described above. By doing so, even when the speakers 10 are arranged three-dimensionally, the sound device 1 can produce a three-dimensional sound with respect to the comprehensive orientation from the information of the head impulse response recorded by using a small number of speakers. It is possible to generate an impulse response to reproduce.
  • the sound device 1 according to the third embodiment of the present invention includes a speaker 10a, a signal output control unit 20, a head impulse response acquisition unit 30, an impulse response generation unit 40, an impulse response storage unit 50, an impulse response selection unit 60, and a convolution process.
  • a unit 70 and a sound reproduction unit 80 are provided.
  • the acoustic device 1 according to the third embodiment of the present invention includes a chair that rotates the observer by 90 degrees.
  • the sound device 1 according to the third embodiment of the present invention is a device in which the speaker 10 in the sound device 1 according to the first embodiment of the present invention is one of the speakers 10a, and a chair that rotates the observer by 90 degrees is added. It is a device that has been used.
  • the difference between the acoustic device 1 according to the third embodiment of the present invention and the acoustic device 1 according to the first embodiment of the present invention is a method in which the head impulse response acquisition unit 30 acquires a signal output from the speaker 10.
  • the speaker 10a outputs the impulse signal itself or a signal for which an impulse response is obtained by calculation (for example, M-sequence signal, TSP signal, etc.) based on the control by the signal output control unit 20. As shown in FIG. 9, the observer is seated in a chair and the chair is rotated by 90 degrees.
  • the head impulse response acquisition unit 30 acquires the signal output by the speaker 10 with the left and right microphones worn by the observer. Do this four times (ie, until the chair makes one lap). The head impulse response acquisition unit 30 identifies the head impulse response based on the acquired signal.
  • the impulse response generation unit 40 utilizes multi-channel sound technology in a multi-channel audio system, arranges a virtual sound source at an arbitrary angle from the center, and generates an impulse sound from the virtual sound source. Find the pressure coefficient.
  • the impulse response generation unit 40 generates an impulse response in an arbitrary direction by multiplying the sound pressure coefficient of each speaker 10 by the head impulse response.
  • the acoustic device 1 according to the third embodiment of the present invention has been described above. By doing so, the acoustic device 1 need only include one speaker 10a, and can generate an impulse response in any direction.
  • the sound device 1 according to the fourth embodiment of the present invention includes a speaker 10a, a speaker 10b, a signal output control unit 20, a head impulse response acquisition unit 30, an impulse response generation unit 40, an impulse response storage unit 50, and an impulse response selection unit 60. , A convolution processing unit 70, and a sound reproduction unit 80 are provided. Further, the acoustic device 1 according to the fourth embodiment of the present invention includes a chair that rotates the observer by 90 degrees. As shown in FIG. 10, the speaker 10a and the speaker 10b have a shape in which they are connected to each other by, for example, a rod-shaped member B.
  • the audio device 1 according to the fourth embodiment of the present invention is a device in which the speakers 10a in the audio device 1 according to the third embodiment of the present invention are the speakers 10a and the speakers 10b connected to each other.
  • the difference between the acoustic device 1 according to the fourth embodiment of the present invention and the acoustic device 1 according to the third embodiment of the present invention is a method in which the head impulse response acquisition unit 30 acquires a signal output from the speaker 10.
  • the speaker 10a outputs the impulse signal itself or a signal for which an impulse response is obtained by calculation (for example, M-sequence signal, TSP signal, etc.) based on the control by the signal output control unit 20. As shown in FIG. 9, the observer is seated in a chair and the chair is rotated by 90 degrees.
  • the head impulse response acquisition unit 30 acquires the signal output by the speaker 10 with the left and right microphones worn by the observer. Do this four times (ie, until the chair makes one lap). The head impulse response acquisition unit 30 identifies the head impulse response based on the acquired signal.
  • the impulse response generation unit 40 utilizes multi-channel sound technology in a multi-channel audio system, arranges a virtual sound source at an arbitrary angle from the center, and generates an impulse sound from the virtual sound source. Find the pressure coefficient.
  • the impulse response generation unit 40 generates an impulse response in an arbitrary direction by multiplying the sound pressure coefficient of each speaker 10 by the head impulse response.
  • the acoustic device 1 according to the fourth embodiment of the present invention has been described above.
  • the acoustic device can reproduce only the sound in the two-dimensional plane direction because it only acquires the impul response from the four speakers.
  • the sound device 1 according to the fourth embodiment of the present invention can acquire information from eight speakers when the two connected speakers are arranged at four locations on a flat surface, and is three-dimensional (three-dimensional). A concentric spherical signal can be acquired. As a result, the audio device 1 according to the fourth embodiment of the present invention can reproduce three-dimensional sound.
  • the sound device 1 includes speakers 10a, 10b, 10c, 10d, a signal output control unit 20, a head impulse response acquisition unit 30, an impulse response generation unit 40, and an impulse. It includes a response storage unit 50, a sound reproduction unit 80, an impulse response selection unit 90 for surround sound, and a convolution processing unit 100 for surround sound.
  • the surround impulse response selection unit 90 selects an impulse response close to the position of the speaker 10 that realizes each channel of the surround channels (for example, 5.1ch, 7.1ch, etc.).
  • the position of the speaker 10 that realizes each channel of the surround channels is often fixed. Therefore, the surround impulse response selection unit 90 can select in advance the impulse response corresponding to each channel of the surround channel.
  • the surround convolution processing unit 100 convolves the impulse response into a multi-channel sound source.
  • the acoustic device 1 has been described above.
  • the surround convolution processing unit 100 can reproduce the sound in surround by performing the convolution processing of the impulse response selected by the surround impulse response selection unit 90 into the sound source for the multi-channel.
  • the minimum configuration audio device 1 includes a signal output control unit 20, a head impulse response acquisition unit 30, a multiplication unit 40a, and a recording unit 40b.
  • the signal output control unit 20 outputs an impulse signal from speakers arranged concentrically around the observer.
  • the head impulse response acquisition unit 30 acquires the observer's head impulse response.
  • the multiplication unit 40a multiplies the sound pressure coefficient of the speaker when an impulse sound is generated from a virtual sound source arranged at an arbitrary angle from the center and the head impulse response.
  • the recording unit 40b records the multiplication result multiplied by the multiplication unit 40a in the storage unit as an impulse response at an arbitrary position. By doing so, the sound device 1 reproduces a three-dimensional sound with respect to the comprehensive orientation from the information of the head impulse response recorded by using a small number of speakers even when the speakers are arranged three-dimensionally. Impulse response can be generated.
  • the signal output control unit 20 outputs an impulse signal from speakers arranged concentrically around the observer (step S21).
  • the head impulse response acquisition unit 30 acquires the observer's head impulse response (step S22).
  • the multiplication unit 40a multiplies the sound pressure coefficient of the speaker when an impulse sound is generated from a virtual sound source arranged at an arbitrary angle from the center and the head impulse response (step S23).
  • the recording unit 40b records the multiplication result multiplied by the multiplication unit 40a in the storage unit as an impulse response at an arbitrary position (step S24).
  • the minimum configuration audio device 1 has been described above. With this sound device 1, if there are three or more speakers, it is possible to generate an impulse response that easily reproduces a three-dimensional sound in a comprehensive direction from the recorded head impulse response information regardless of the number of speakers. it can.
  • the acoustic device 1 is a device provided in a multi-audio system.
  • the audio device 1 is not limited to one having one housing, and may be divided into a plurality of housings.
  • the speaker included in the audio device 1 may be divided into a plurality of housings.
  • the order of the processing may be changed as long as the appropriate processing is performed.
  • FIG. 14 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 5 includes a CPU 6 (including a vector processor), a main memory 7, a storage 8, and an interface 9.
  • a CPU 6 including a vector processor
  • main memory 7 for example, main memory 7 and storage 8
  • interface 9 for example, each of the above-mentioned acoustic device 1 and other control devices is mounted on the computer 5.
  • each processing unit described above is stored in the storage 8 in the form of a program.
  • the CPU 6 reads a program from the storage 8, expands it into the main memory 7, and executes the above processing according to the program. Further, the CPU 6 secures a storage area corresponding to each of the above-mentioned storage units in the main memory 7 according to the program.
  • the storage 8 examples include HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic disk, optical magnetic disk, CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk) , Semiconductor memory and the like.
  • the storage 8 may be internal media directly connected to the bus of computer 5, or external media connected to computer 5 via an interface 9 or a communication line. When this program is distributed to the computer 5 via a communication line, the distributed computer 5 may expand the program in the main memory 7 and execute the above processing.
  • the storage 8 is a non-temporary tangible storage medium.
  • the above program may realize a part of the above-mentioned functions.
  • the program may be a file that can realize the above-mentioned functions in combination with a program already recorded in the computer device, that is, a so-called difference file (difference program).
  • Each aspect of the present invention may be applied to an acoustic device, an acoustic processing method, and a recording medium.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

音響装置は、観測者を中心とした同心球状に配置されたスピーカから順番にインパルス信号を出力させる信号出力制御部と、前記観測者の頭部インパルス応答を予め取得する頭部インパルス応答取得部と、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する乗算部と、乗算部が乗算した乗算結果を、任意の位置のインパルス応答として記憶する記憶部と、を備える。

Description

音響装置、音響処理方法及び記録媒体
　本発明は、音響装置、音響処理方法及び記録媒体に関する。
　コンサートホールや映画館など、様々な場所で立体感のある音の再現が求められている。
　特許文献１には、関連する技術として、仮想サラウンドサウンドに関する技術が開示されている。
日本国特許第５９６０８５１号公報
　ところで、特許文献２に記載の技術は、限定された方位のスピーカで録音した頭部インパルス応答（Ｈｅａｄ－Ｒｅｌａｔｅｄ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ、ＨＲＩＲ）を用いてフーリエ展開で算出した頭部伝達関数（Ｈｅａｄ－Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）から網羅的な方位の頭部伝達関数を生成し、生成した頭部伝達関数から逆フーリエ展開で算出したＨＲＩＲを適用する手法であるが、本来の頭部インパルス応答と比較して生成された頭部インパルス応答の再現度は元になった方位数に依存するため、高い立体感を得るためには取得する頭部インパルス応答の方位数を増やす、すなわち、スピーカの数を増やす必要がある。
　しかしながら、スピーカ数を増やして録音した場合、再現度の高い頭部インパルス応答を実現するための演算が一般的に複雑になる。そのため、３つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することのできる技術が求められている。
　本発明の各態様の目的の一例は、上記の課題を解決することのできる音響装置、音響処理方法及び記録媒体を提供することである。
　上記目的を達成するために、本発明の一態様によれば、音響装置は、観測者を中心とした同心球状に配置されたスピーカから順番にインパルス信号を出力させる信号出力制御手段と、前記観測者の頭部インパルス応答を予め取得する頭部インパルス応答取得手段と、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する乗算手段と、乗算手段が乗算した乗算結果を、任意の位置のインパルス応答として記憶する記憶手段と、を備える。
　上記目的を達成するために、本発明の別の態様によれば、音響処理方法は、観測者を中心とした同心球状に配置されたスピーカから順番にインパルス信号を出力させることと、前記観測者の頭部インパルス応答を予め取得することと、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、乗算した乗算結果を、任意の位置のインパルス応答として記憶することと、を含む。
　上記目的を達成するために、本発明の別の態様によれば、記録媒体は、音響装置のコンピュータに、観測者を中心とした同心球状に配置されたスピーカから順番にインパルス信号を出力させることと、前記観測者の頭部インパルス応答を予め取得することと、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、乗算した乗算結果を、任意の位置のインパルス応答として記憶することと、を実行させるためのプログラムを記録する。
　本発明の各態様によれば、３つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することができる。
本発明の各実施形態において共通の技術を説明するための第１の図である。 本発明の各実施形態において共通の技術を説明するための第２の図である。 本発明の第１実施形態による音響装置の構成の一例を示す図である。 本発明の第１実施形態におけるスピーカの配置の一例を示す図である。 本発明の第１実施形態による音響装置の第１の処理フローの一例を示す図である。 本発明の第１実施形態による音響装置の第２の処理フローの一例を示す図である。 本発明の第１実施形態による音響装置が行う処理を説明するための図である。 本発明の第２実施形態におけるスピーカの配置の一例を示す図である。 本発明の第３実施形態による音響装置が行う処理を説明するための図である。 本発明の第４実施形態におけるスピーカを説明するための図である。 本発明の第１実施形態による音響装置の構成の一例を示す図である。 本発明の実施形態による最小構成の音響装置を示す図である。 本発明の実施形態による最小構成の音響装置の処理フローの一例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、図面を参照しながら実施形態について詳しく説明する。
＜各実施形態に共通の考え方＞
　本発明の各実施形態による音響装置１は、マルチチャンネルサウンド技術を活用し、頭部インパルス応答で立体感のある音を作り出す装置でありながらも、スピーカ数に依存することなくスピーカごとに畳み込み演算が１回で済む装置である。なお、マルチチャンネルサウンド技術とは、３つ以上のスピーカを用いたオーディオシステムの技術総称である。本発明の各実施形態による音響装置１は、マルチチャンネルサウンド技術のうち、パンニングと呼ばれる音像定位技術を活用する。
　本発明の各実施形態による音響装置１では、まず、観測者を中心とした同心球状に実際に配置されたスピーカ（二次元であれば最低３つ、三次元であれば最低４つが想定される）を用いて、例えば、特開２０１８－１９１２０８号公報に記載されている技術を用いて、観測者個人の頭部インパルス応答を取得する。頭部インパルス応答は、観測者の左右の耳でも異なる。そのため、観測者ごとに、各スピーカにおいて左右二つの頭部インパルス応答を取得する。
　次に、マルチチャンネルオーディオシステムにおいて、中心から任意の角度に仮想音源を配置し、その音源からインパルス音を発生させる場合の各スピーカの音圧係数を予め求める。なお、仮想音源の配置及び各スピーカの音圧係数は、頭部インパルス応答との相関関係がないため、別途独立して求めることができる。
　例えば、図１に示すように、２つのスピーカを用いて仮想音源を配置した場合には、オーディオシステムの中心にいる観測者の耳に届く音を摸式化する。図２に示すように、再生する音の信号をＳ（ｔ）とし、角度θに仮想音源を配置する場合に左右それぞれのスピーカで再生する音の音圧係数をＧＬ（θ）、ＧＲ（θ）とする。なお、図１～図２に示す例では、角度θは１５度である。
　左のスピーカから再生された音Ｓ（ｔ）・ＧＬ（θ）は、観測者の左右の耳までの伝達経路に依存する頭部インパルス応答ＨＲＩＲＬＬ及び頭部インパルス応答ＨＲＩＲＬＲを畳み込んだ音として、観測者の耳元に到着する。よって、左のスピーカから観測者の左耳には、音Ｓ（ｔ）・ＧＬ（θ）＊ＨＲＩＲＬＬが届き、左のスピーカから観測者の右耳には、音Ｓ（ｔ）・ＧＬ（θ）＊ＨＲＩＲＬＲが届く。なお、“＊”は、畳み込み演算子である。
　また、同様に、右のスピーカから再生された音Ｓ（ｔ）・ＧＲ（θ）は、観測者の左右の耳までの伝達経路に依存する頭部インパルス応答ＨＲＩＲＲＬ及び頭部インパルス応答ＨＲＩＲＲＲを畳み込んだ音として、観測者の耳元に到着する。よって、右のスピーカから観測者の左耳には、音Ｓ（ｔ）・ＧＲ（θ）＊ＨＲＩＲＲＬが届き、右のスピーカから観測者の右耳には、音Ｓ（ｔ）・ＧＲ（θ）＊ＨＲＩＲＲＲが届く。
　したがって、観測者が実際に観測する波形は、これらの音の合成として表現される。つまり、観測者の左耳に届く音は、Ｓ（ｔ）・ＧＬ（θ）＊ＨＲＩＲＬＬ＋Ｓ（ｔ）・ＧＬ（θ）＊ＨＲＩＲＬＲとなり、観測者の右耳に届く音は、Ｓ（ｔ）・ＧＲ（θ）＊ＨＲＩＲＲＬ＋Ｓ（ｔ）・ＧＲ（θ）＊ＨＲＩＲＲＲとなる。
　よって、観測者が実際に観測する音の波形は、次の式（１）となる。
Figure JPOXMLDOC01-appb-M000001
　ここで、簡略化するために観測者の左耳に届く音の波形のみを考えると、観測者の左耳に届く音の波形は、次の式（２）のように変形することができる。
Figure JPOXMLDOC01-appb-M000002
　また、同様に観測者の右耳に届く音の波形のみを考えると、観測者の右耳に届く音の波形は、次の式（３）のように変形することができる。
Figure JPOXMLDOC01-appb-M000003
　本発明の各実施形態による音響装置１では、予め求められた任意の角度θごとの音圧係数と、頭部インパルス応答とを乗算することによって、式（２）における（ＧＬ（θ）・ＨＲＩＲＬＬ＋ＧＲ（θ）・ＨＲＩＲＲＬ）及び式（３）における（ＧＬ（θ）・ＨＲＩＲＬＲ＋ＧＲ（θ）・ＨＲＩＲＲＲ）を算出し、そこにＳ（ｔ）を畳み込む単純な演算を行うだけで立体的な音源を作ることができる。なお、畳み込み回数は、左右それぞれ１回ずつであり、スピーカの数が増えてもこの回数は変わらない。
　以下、本発明の各実施形態による音響装置１について説明するが、各実施形態におけるスピーカ数は一例である。本発明の音響装置１は、３つ以上のスピーカであればスピーカ数に依存せずに任意の場所の音源を容易に再現することのできる装置である。
＜第１実施形態＞
　本発明の第１実施形態による音響装置１は、図３に示すように、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、信号出力制御部２０、頭部インパルス応答取得部３０、インパルス応答生成部４０（乗算手段の一例、記録手段の一例）、インパルス応答記憶部５０（記憶手段の一例）、インパルス応答選択部６０（選択手段の一例）、畳み込み処理部７０（演算手段の一例）、音再生部８０を備える。
　スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄは、図４に示すように、観測者を中心とした同心円状に固定されて配置される。例えば、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄは、観測者の正面方向を０度として、それぞれ、４５度、１３５度、２２５度、３１５度の方位に配置される。スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄを総称して、スピーカ１０と呼ぶ。
　スピーカ１０は、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄの順番にインパルス信号そのもの、または、演算によってインパルス応答を求められる信号を出力する。演算によってインパルス応答を求められる信号とは、例えば、Ｍ系列信号、ＴＳＰ（Ｔｉｍｅ　Ｓｔｒｅｔｃｈｅｄ　Ｐｕｌｓｅ）信号などである。スピーカ１０それぞれが出力する信号に対応する音によって、観測者の左右の外耳道入り口の頭部インパルス応答が測定される。
　信号出力制御部２０は、インパルス信号そのもの、または、演算によって頭部インパルス応答を求められる信号をスピーカ１０から出力させる。
　頭部インパルス応答取得部３０は、観測者の頭部インパルス応答を取得する。頭部インパルス応答取得部３０は、観測者の頭部インパルス応答を取得するための外向きマイクを備える。例えば、頭部インパルス応答取得部３０は、マイクを有するイヤホンである。
　インパルス応答生成部４０は、スピーカ１０から出力されるインパルス信号についての頭部伝達関数に基づいて（例えば、その頭部伝達関数にＶＢＡＰ（Ｖｅｃｔｏｒ　Ｂａｓｅｄ　Ａｍｐｌｉｔｕｄｅ　Ｐａｎｎｉｎｇ）法を適用して）、任意の方向のインパルス応答を生成する。
　インパルス応答記憶部５０は、インパルス応答生成部４０が生成した任意の方向のインパルス応答を記憶する。
　インパルス応答選択部６０は、インパルス応答記憶部５０が記憶するインパルス応答のうち、音を再現したい位置に最も近い位置に該当するインパルス応答を選択する。
　畳み込み処理部７０は、インパルス応答選択部６０が選択したインパルス応答について畳み込み処理（演算の一例）を行う。
　具体的には、再生する音源であるスピーカから再生された音Ｓ（ｔ）に対して選択したインパルス応答ＨＲＩＲを畳み込む演算を行う。
　音再生部８０は、畳み込み処理が行われたインパルス応答の信号を用いて音を再生する。
　次に、第１実施形態による音響装置１が行う処理について説明する。
　ここでは、図５～図６に示す音響装置１の処理フローについて説明する。
　まず、図５に示す音響装置１がインパルス応答を生成する処理について説明する。
　スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄは、観測者を中心とした同心円状に固定されて配置される。観測者は、頭部インパルス応答取得部３０を装着して、スピーカ１０のそれぞれから等距離なる中心位置に着席する。
　スピーカ１０は、信号出力制御部２０による制御に基づいて、インパルス信号そのもの、または、演算によってインパルス応答を求められる信号（例えば、Ｍ系列信号、ＴＳＰ信号など）を出力する（ステップＳ１）。
　頭部インパルス応答取得部３０は、スピーカ１０が出力する信号を取得する。これをスピーカ１０ａ、１０ｂ、１０ｃ、１０ｄの順番に実施する。
　頭部インパルス応答取得部３０は、取得した信号に基づいて頭部インパルス応答を特定する（ステップＳ２）。
　例えば、頭部インパルス応答取得部３０は、取得した信号がインパルス信号以外である場合、取得した信号からスピーカ１０それぞれについて頭部インパルス応答を生成する。また、頭部インパルス応答取得部３０は、取得した信号がインパルス信号の場合は、取得した信号そのものが頭部インパルス応答となる。
　インパルス応答生成部４０は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ１０それぞれの音圧係数を求める（ステップＳ３）。
　インパルス応答生成部４０は、スピーカ１０それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する（ステップＳ４）。
　なお、方位の分解能は、どこまでも細かくすることが可能であるが、データ量と音の立体感との関係から、５度程度の分解能が妥当である。マルチチャンネルオーディオシステムにおいて得られる音圧係数は、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）やＢｌｕｅ－Ｒａｙディスクに保存されている５．１ｃｈで利用しているＶＢＡＰ方式を用いた場合、例えば、２つのスピーカについての次に示す式（４）を５つのスピーカに対応する式に拡張し、５つのスピーカに対応する音圧係数をＧ１＝Ｄ１／Ｄ＿ｔ、Ｇ２＝Ｄ２／Ｄ＿ｔ、Ｇ３＝Ｄ３／Ｄ＿ｔ、Ｇ４＝Ｄ４／Ｄ＿ｔ、及び、Ｇ５＝Ｄ５／Ｄ＿ｔのそれぞれをその拡張した式に代入することによって計算される。また、７．１ｃｈで利用しているＶＢＡＰ方式を用いた場合についても同様に、式（４）を６つのスピーカに対応する式にさらに拡張し、７つのスピーカに対応する音圧係数をＧ１＝Ｄ１／Ｄ＿ｔ、Ｇ２＝Ｄ２／Ｄ＿ｔ、Ｇ３＝Ｄ３／Ｄ＿ｔ、Ｇ４＝Ｄ４／Ｄ＿ｔ、Ｇ５＝Ｄ５／Ｄ＿ｔ、Ｇ６＝Ｄ６／Ｄ＿ｔ、及び、Ｇ７＝Ｄ７／Ｄ＿ｔのそれぞれをその拡張した式に代入することによって計算される。
Figure JPOXMLDOC01-appb-M000004
　ここで、図７に示すように、変数θはマルチチャンネルスピーカの中心からの角度である。また、変数φは仮想音源の中心からの角度である。
　インパルス応答生成部４０は、生成した任意の方位のインパルス応答をインパルス応答記憶部５０に記録する（ステップＳ５）。
　次に、図６に示す音響装置１がインパルス応答に基づいて音を再生する処理について説明する。
　インパルス応答選択部６０は、インパルス応答記憶部５０から任意の方位のインパルス応答を読み出す(ステップＳ１１)。
　インパルス応答選択部６０は、読み出したインパルス応答のうち、音を再現したい位置に最も近い位置に該当するインパルス応答を選択する（ステップＳ１２）。
　畳み込み処理部７０は、インパルス応答選択部６０が選択したインパルス応答について畳み込み処理（演算の一例）を行う（ステップＳ１３）。
　具体的には、任意の角度θごとの音圧係数と、頭部インパルス応答とを乗算したインパルス応答に、再生する音の信号Ｓ（ｔ）を畳み込む演算を行う。
　音再生部８０は、畳み込み処理部７０によって折り畳み処理が行われたインパルス応答の信号を用いて音を再生する（ステップＳ１４）。
　以上、本発明の第１実施形態による音響装置１について説明した。
　音響装置１において、信号出力制御部２０は、観測者を中心とした同心円状に配置されたスピーカ１０からインパルス信号を出力させる。頭部インパルス応答取得部３０は、観測者の頭部インパルス応答を取得する。インパルス応答生成部４０は、その中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合のスピーカ１０の音圧係数と、頭部インパルス応答とを乗算する。インパルス応答生成部４０は、乗算結果を、任意の位置のインパルス応答としてインパルス応答記憶部５０に記録する。
　こうすることにより、音響装置１は、３つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することができる。
＜第２実施形態＞
　本発明の第２実施形態による音響装置１は、本発明の第１実施形態による音響装置１と同様に、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、信号出力制御部２０、頭部インパルス応答取得部３０、インパルス応答生成部４０、インパルス応答記憶部５０、インパルス応答選択部６０、畳み込み処理部７０、音再生部８０を備える。また、本発明の第２実施形態による音響装置１は、さらに、スピーカ１０ｅ、１０ｆ、１０ｇ、１０ｈを備える。
　スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈは、観測者を中心とした同心球状に固定されて配置される。例えば、図８に示すように、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈは、を中心とした極座標系において（θ，φ）が（４５，４５）、（４５，１３５）、（４５，２２５）、（４５，３１５）、（３１５，４５）、（３１５，１３５）、（３１５，２２５）、（３１５，３１５）の位置に配置される。なお、球の半径ｒは１である。スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈを総称して、スピーカ１０と呼ぶ。
　インパルス応答を生成する場合、スピーカ１０は、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈの順番にインパルス信号そのもの、または、演算によってインパルス応答を求められる信号を出力する。
　頭部インパルス応答取得部３０は、スピーカ１０が出力する信号を取得する。これをスピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈの順番に実施する。
　頭部インパルス応答取得部３０は、取得した信号に基づいて頭部インパルス応答を特定する。
　インパルス応答生成部４０は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ１０それぞれの音圧係数を求める。
　インパルス応答生成部４０は、スピーカ１０それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する。
　インパルス応答生成部４０は、生成した任意の方位のインパルス応答をインパルス応答記憶部５０に記録する。
　なお、本発明の第１実施形態では、スピーカ１０の配置が二次元であり、マルチチャンネルオーディオシステムにおいて２つのスピーカについて得られる音圧係数は、式（４）によって表された。それに対して、本発明の第２実施形態では、スピーカ１０の配置が三次元である。マルチチャンネルオーディオシステムにおいて３つのスピーカについて得られるスピーカ１０の音圧係数は、次の式（５）のように表される。
Figure JPOXMLDOC01-appb-M000005
　式（５）におけるＤ＿ｔ、Ｄ１、Ｄ２、Ｄ３は、それぞれ、次の式（６）、（７）、（８）、（９）のように表される。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　ただし、式（６）～（９）において、次の式（１０）が成り立つ。
Figure JPOXMLDOC01-appb-M000010
　そして、半径ｒが１の極座標系の場合、マルチスピーカの座標は、（θn_t，φn_t）となる。なお、スピーカが３つの場合、ｎは３である。また、仮想音源の座標は、（θ，φ）となる。
　そのため、スピーカが８つの場合、マルチチャンネルオーディオシステムにおいて８つのスピーカについて得られるスピーカ１０の音圧係数を、Ｇ１＝Ｄ１／Ｄ＿ｔ、Ｇ２＝Ｄ２／Ｄ＿ｔ、Ｇ３＝Ｄ３／Ｄ＿ｔ、Ｇ４＝Ｄ４／Ｄ＿ｔ、Ｇ５＝Ｄ５／Ｄ＿ｔ、Ｇ６＝Ｄ６／Ｄ＿ｔ、Ｇ７＝Ｄ７／Ｄ＿ｔ、Ｇ８＝Ｄ８／Ｄ＿ｔとし、式（６）～（１０）を８つのスピーカに対応する式に拡張して、３つのスピーカの場合と同様に考えればよい。なお、ｎは８である。
　例えば、スピーカが８つの場合、θが４５度、３１５度の２つ、φが４５度、１３５度、２２５度、３１５度の４つであり、マルチスピーカの座標は、θとφの組み合わせによって、８つの座標となる。
　また、音を再生する場合、インパルス応答選択部６０は、インパルス応答記憶部５０から任意の方位のインパルス応答を読み出す。
　インパルス応答選択部６０は、読み出したインパルス応答のうち、音を再現したい位置に最も近い位置に該当するインパルス応答を選択する。
　畳み込み処理部７０は、インパルス応答選択部６０が選択したインパルス応答について畳み込み処理を行う。
　音再生部８０は、畳み込み処理部７０によって折り畳み処理が行われたインパルス応答の信号を用いて音を再生する。
　以上、本発明の第２実施形態による音響装置１について説明した。
　こうすることにより、音響装置１は、スピーカ１０を三次元に配置した場合であっても、少数のスピーカを用いて録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を再現するインパルス応答を生成することができる。
＜第３実施形態＞
　本発明の第３実施形態による音響装置１は、スピーカ１０ａ、信号出力制御部２０、頭部インパルス応答取得部３０、インパルス応答生成部４０、インパルス応答記憶部５０、インパルス応答選択部６０、畳み込み処理部７０、音再生部８０を備える。また、本発明の第３実施形態による音響装置１は、観測者を９０度ずつ回転させる椅子を備える。本発明の第３実施形態による音響装置１は、本発明の第１実施形態による音響装置１におけるスピーカ１０をスピーカ１０ａの１つにした装置であり、観測者を９０度ずつ回転させる椅子を追加した装置である。
　本発明の第３実施形態による音響装置１と本発明の第１実施形態による音響装置１との違いは、頭部インパルス応答取得部３０がスピーカ１０から出力される信号を取得する方法である。
　スピーカ１０ａは、信号出力制御部２０による制御に基づいて、インパルス信号そのもの、または、演算によってインパルス応答を求められる信号（例えば、Ｍ系列信号、ＴＳＰ信号など）を出力する。
　図９に示すように、観測者を椅子に座らせて、椅子を９０度ずつ回転させる。
　椅子が９０度回転する度に、頭部インパルス応答取得部３０は、観測者が装着した左右それぞれのマイクで、スピーカ１０が出力する信号を取得する。これを４回（すなわち、椅子が１周するまで）実施する。
　頭部インパルス応答取得部３０は、取得した信号に基づいて頭部インパルス応答を特定する。
　インパルス応答生成部４０は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ１０それぞれの音圧係数を求める。
　インパルス応答生成部４０は、スピーカ１０それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する。
　以上、本発明の第３実施形態による音響装置１について説明した。
　こうすることで、音響装置１は、１つのスピーカ１０ａのみを備えればよく、任意の方位のインパルス応答を生成することができる。
＜第４実施形態＞
　本発明の第４実施形態による音響装置１は、スピーカ１０ａ、スピーカ１０ｂ、信号出力制御部２０、頭部インパルス応答取得部３０、インパルス応答生成部４０、インパルス応答記憶部５０、インパルス応答選択部６０、畳み込み処理部７０、音再生部８０を備える。また、本発明の第４実施形態による音響装置１は、観測者を９０度ずつ回転させる椅子を備える。スピーカ１０ａとスピーカ１０ｂは、図１０に示すように、例えば棒状の部材Ｂによって互いに接続された形状となっている。
　本発明の第４実施形態による音響装置１は、本発明の第３実施形態による音響装置１におけるスピーカ１０ａを、互いに接続されたスピーカ１０ａとスピーカ１０ｂとした装置である。
　本発明の第４実施形態による音響装置１と本発明の第３実施形態による音響装置１との違いは、頭部インパルス応答取得部３０がスピーカ１０から出力される信号を取得する方法である。
　スピーカ１０ａは、信号出力制御部２０による制御に基づいて、インパルス信号そのもの、または、演算によってインパルス応答を求められる信号（例えば、Ｍ系列信号、ＴＳＰ信号など）を出力する。
　図９に示すように、観測者を椅子に座らせて、椅子を９０度ずつ回転させる。
　椅子が９０度回転する度に、頭部インパルス応答取得部３０は、観測者が装着した左右それぞれのマイクで、スピーカ１０が出力する信号を取得する。これを４回（すなわち、椅子が１周するまで）実施する。
　頭部インパルス応答取得部３０は、取得した信号に基づいて頭部インパルス応答を特定する。
　インパルス応答生成部４０は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ１０それぞれの音圧係数を求める。
　インパルス応答生成部４０は、スピーカ１０それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する。
　以上、本発明の第４実施形態による音響装置１について説明した。
　接続されていない単体のスピーカを平面の４か所に配置した場合、４つのスピーカからのインパル応答を取得するのみであるため、音響装置は、二次元平面方向の音のみしか再現できない。それに対して、本発明の第４実施形態による音響装置１は、２つが接続されたスピーカを平面の４か所に配置した場合に８つのスピーカからの情報を取得することができ、三次元（同心球状）の信号を取得できる。その結果、本発明の第４実施形態による音響装置１は、三次元の音を再生することができる。
＜第５実施形態＞
　本発明の第５実施形態による音響装置１は、図１１に示すように、スピーカ１０ａ、１０ｂ、１０ｃ、１０ｄ、信号出力制御部２０、頭部インパルス応答取得部３０、インパルス応答生成部４０、インパルス応答記憶部５０、音再生部８０、サラウンド用インパルス応答選択部９０、サラウンド用畳み込み処理部１００を備える。
　サラウンド用インパルス応答選択部９０は、サラウンドのチャンネル（例えば、５．１ｃｈ、７．１ｃｈなど）の各チャンネルを実現するスピーカ１０の位置に近いインパルス応答を選択する。サラウンドのチャンネルの各チャンネルを実現するスピーカ１０の位置は、多くの場合固定である。そのため、サラウンド用インパルス応答選択部９０は、サラウンドのチャンネルの各チャンネルに対応するインパルス応答を予め選択することができる。
　サラウンド用畳み込み処理部１００は、インパルス応答をマルチチャンネル分の音源に畳み込み処理を行う。
　以上、本発明の第５実施形態による音響装置１について説明した。
　こうすることで、サラウンド用畳み込み処理部１００は、サラウンド用インパルス応答選択部９０が選択したインパルス応答をマルチチャンネル分の音源に畳み込み処理を行うことにより、サラウンドで音を再現することができる。
　本発明の実施形態による最小構成の音響装置１について説明する。
　本発明の実施形態による最小構成の音響装置１は、図１２に示すように、信号出力制御部２０、頭部インパルス応答取得部３０、乗算部４０ａ、記録部４０ｂを備える。
　信号出力制御部２０は、観測者を中心とした同心円状に配置されたスピーカからインパルス信号を出力させる。
　頭部インパルス応答取得部３０は、観測者の頭部インパルス応答を取得する。
　乗算部４０ａは、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する。
　記録部４０ｂは、乗算部４０ａが乗算した乗算結果を、任意の位置のインパルス応答として記憶部に記録する。
　こうすることにより、音響装置１は、スピーカを三次元に配置した場合であっても、少数のスピーカを用いて録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を再現するインパルス応答を生成することができる。
　次に、本発明の実施形態による最小構成の音響装置１による処理について説明する。
　ここでは、図１３に示す処理フローについて説明する。
　信号出力制御部２０は、観測者を中心とした同心円状に配置されたスピーカからインパルス信号を出力させる（ステップＳ２１）。
　頭部インパルス応答取得部３０は、前記観測者の頭部インパルス応答を取得する（ステップＳ２２）。
　乗算部４０ａは、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する（ステップＳ２３）。
　記録部４０ｂは、乗算部４０ａが乗算した乗算結果を、任意の位置のインパルス応答として記憶部に記録する（ステップＳ２４）。
　以上、本発明の実施形態による最小構成の音響装置１について説明した。
　この音響装置１により、３つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することができる。
　なお、本発明の実施形態による音響装置１は、マルチオーディオシステムに備えられる装置である。音響装置１は、１つの筐体から成るものに限定されるものではなく、複数の筐体にわかれて構成されるものであってもよい。例えば、音響装置１が備えるスピーカは、複数の筐体にわかれて存在するものであってもよい。
　なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。
　本発明の実施形態について説明したが、上述の音響装置１、その他の制御装置は内部に、コンピュータ装置を有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
　図１４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　コンピュータ５は、図１４に示すように、ＣＰＵ６（ベクトルプロセッサを含む）、メインメモリ７、ストレージ８、インターフェース９を備える。
　例えば、上述の音響装置１、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。
　ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。
　また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータ装置にすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。
　この出願は、２０１９年１２月２７日に出願された日本国特願特願２０１９－２３７７４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明の各態様は、音響装置、音響処理方法及び記録媒体に適用してもよい。
１・・・音響装置
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０、１０ａ、１０ｂ、１０ｃ、１０ｄ・・・スピーカ
２０・・・信号出力制御部（信号出力制御手段）
３０・・・頭部インパルス応答取得部（頭部インパルス応答取得手段）
４０・・・インパルス応答生成部（インパルス応答生成手段）
４０ａ・・・乗算部（乗算手段）
４０ｂ・・・記録部（記録手段）
５０・・・インパルス応答記憶部（インパルス応答記憶手段）
６０・・・インパルス応答選択部（インパルス応答選択手段）
７０・・・畳み込み処理部（畳み込み処理手段）
８０・・・音再生部（音再生手段）
９０・・・サラウンド用インパルス応答選択部（サラウンド用インパルス応答選択手段）
１００・・・サラウンド用畳み込み処理部（サラウンド用畳み込み処理手段）

Claims (9)

  1. 　観測者を中心とした同心球状に配置されたスピーカからインパルス信号を出力させる信号出力制御手段と、
    　前記観測者の頭部インパルス応答を取得する頭部インパルス応答取得手段と、
    　前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する乗算手段と、
    　乗算手段が乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録する記録手段と、
    　を備える音響装置。
  2. 　前記記憶手段が記憶するインパルス応答のうち、音を再現したい位置と最も近い位置に対応するインパルス応答を選択する選択手段と、
    　前記選択手段が選択した前記インパルス応答について畳み込みの演算を行う演算手段と、
    　を備える請求項１に記載の音響装置。
  3. 　前記演算手段が行う畳み込み演算は、前記スピーカごとに１回である、
    　請求項２に記載の音響装置。
  4. 　前記スピーカは、
    　前記同心球において等間隔に配置される、
    　請求項１から請求項３の何れか一項に記載の音響装置。
  5. 　前記スピーカは、
    　観測者を中心とした同心球に含まれる同心円状に配置される、
    　請求項１から請求項４の何れか一項に記載の音響装置。
  6. 　前記同心球状に配置されたスピーカは、
    　前記スピーカが固定され、前記観測者が１つの位置で回転することによって実現される、
    　請求項１から請求項５の何れか一項に記載の音響装置。
  7. 　前記スピーカを備える、請求項１から請求項６の何れか一項に記載の音響装置。
  8. 　観測者を中心とした同心球状に配置されたスピーカからインパルス信号を出力させることと、
    　前記観測者の頭部インパルス応答を取得することと、
    　前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、
    　乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録することと、
    　を含む音響処理方法。
  9. 　音響装置のコンピュータに、
    　観測者を中心とした同心球状に配置されたスピーカからインパルス信号を出力させることと、
    　前記観測者の頭部インパルス応答を取得することと、
    　前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、
    　乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録することと、
    　を実行させるプログラムを記録した記録媒体。
PCT/JP2020/042351 2019-12-27 2020-11-13 音響装置、音響処理方法及び記録媒体 WO2021131385A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021566902A JP7440174B2 (ja) 2019-12-27 2020-11-13 音響装置、音響処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-237741 2019-12-27
JP2019237741 2019-12-27

Publications (1)

Publication Number Publication Date
WO2021131385A1 true WO2021131385A1 (ja) 2021-07-01

Family

ID=76575338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042351 WO2021131385A1 (ja) 2019-12-27 2020-11-13 音響装置、音響処理方法及び記録媒体

Country Status (2)

Country Link
JP (1) JP7440174B2 (ja)
WO (1) WO2021131385A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228526A (ja) * 2006-02-27 2007-09-06 Mitsubishi Electric Corp 音像定位装置
WO2019225192A1 (ja) * 2018-05-24 2019-11-28 ソニー株式会社 情報処理装置及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228526A (ja) * 2006-02-27 2007-09-06 Mitsubishi Electric Corp 音像定位装置
WO2019225192A1 (ja) * 2018-05-24 2019-11-28 ソニー株式会社 情報処理装置及び情報処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FREELAND, FA'BIO P. ET AL.: "Efficient HRTF Interpolation in 3D Moving Sound", PROC. AUDIO ENGINEERING SOCIETY 22ND INTERNATIONAL CONFERENCE ON VIRTUAL, SYNTHETIC, AND ENTERTAINMENT AUDIO, AUDIO ENGINEERING SOCIETY, 1 June 2002 (2002-06-01), pages 1 - 9, XP055837965, Retrieved from the Internet <URL:URL:http://www.aes.org/e-lib/browse.cfm?elib=11146> [retrieved on 20201125] *
MOELLER, HENRIK ET AL.: "Head-Related Transfer Functions of Human Subjects", JOURNAL OF THE AUDIO ENGINEERING SOCIETY, AUDIO ENGINEERING SOCIETY, vol. 43, no. 5, 1 May 1995 (1995-05-01), pages 300 - 321, XP000765271, Retrieved from the Internet <URL:URL:http://www.aes.org/e-lib/browse.cfm?elib=7949> [retrieved on 20201125] *
SAVIOJA, LAURI ET AL.: "Creating Interactive Virtual Acoustic Environments, Journal of the Audio Engineering Society", AUDIO ENGINEERING SOCIETY, vol. 47, no. 9, 1 September 1999 (1999-09-01), pages 675 - 705, XP000927390, Retrieved from the Internet <URL:URL:http://www.aes.org/e-lib/browse.cfm?elib=12095> [retrieved on 20201125] *

Also Published As

Publication number Publication date
JP7440174B2 (ja) 2024-02-28
JPWO2021131385A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
EP3509327B1 (en) Method for generating customized spatial audio with head tracking
KR101202368B1 (ko) 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수
JP4343845B2 (ja) オーディオデータ処理方法及びこの方法を実現する集音装置
JP2019146160A5 (ja)
JP4681464B2 (ja) 三次元立体音響生成方法、三次元立体音響生成装置及び移動端末機
EP3320692A1 (en) Spatial audio processing apparatus
JP2008512015A (ja) 個人化されたヘッドフォン仮想化処理
JP2009194682A (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009077379A (ja) 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
JPWO2019116890A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022108494A1 (en) Improved modeling and/or determination of binaural room impulse responses for audio applications
JP6834985B2 (ja) 音声処理装置および方法、並びにプログラム
Otani et al. Binaural Ambisonics: Its optimization and applications for auralization
WO2017119320A1 (ja) 音声処理装置および方法、並びにプログラム
WO2017119321A1 (ja) 音声処理装置および方法、並びにプログラム
JP2005198251A (ja) 球体を用いた３次元オーディオ信号処理システム及びその方法
US11076257B1 (en) Converting ambisonic audio to binaural audio
WO2021131385A1 (ja) 音響装置、音響処理方法及び記録媒体
JP2014045282A (ja) 残響付加装置、残響付加プログラム
JP4407467B2 (ja) 音響シミュレーション装置、音響シミュレーション方法、および音響シミュレーションプログラム
JP5163685B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JPWO2020100670A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022249594A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
DK180449B1 (en) A method and system for real-time implementation of head-related transfer functions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20906946

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021566902

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20906946

Country of ref document: EP

Kind code of ref document: A1