WO2022038931A1 - 情報処理方法、プログラム、及び、音響再生装置 - Google Patents

情報処理方法、プログラム、及び、音響再生装置 Download PDF

Info

Publication number
WO2022038931A1
WO2022038931A1 PCT/JP2021/026589 JP2021026589W WO2022038931A1 WO 2022038931 A1 WO2022038931 A1 WO 2022038931A1 JP 2021026589 W JP2021026589 W JP 2021026589W WO 2022038931 A1 WO2022038931 A1 WO 2022038931A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
predetermined
arrival direction
external
type
Prior art date
Application number
PCT/JP2021/026589
Other languages
English (en)
French (fr)
Inventor
耕 水野
智一 石川
成悟 榎本
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to EP21858080.1A priority Critical patent/EP4203521A4/en
Priority to JP2022543321A priority patent/JPWO2022038931A1/ja
Priority to CN202180056218.7A priority patent/CN116018637A/zh
Publication of WO2022038931A1 publication Critical patent/WO2022038931A1/ja
Priority to US18/108,910 priority patent/US20230199428A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/111—Directivity control or beam pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • This disclosure relates to an audio reproduction device and an information processing method and program related to the sound reproduction device.
  • the information processing method uses the predetermined sound as a sound arriving from the arrival direction on the three-dimensional sound field corresponding to the predetermined direction from the sound information including the information regarding the predetermined sound and the information regarding the predetermined direction.
  • An information processing method for generating an output sound signal to be perceived by the user, the first analysis step of analyzing the type of the predetermined sound and the type of the external sound heard by the user as an external sound are analyzed.
  • the second analysis step, the third analysis step of analyzing the arrival direction of the external sound, and the type of the analyzed predetermined sound and the type of the analyzed external sound the predetermined sound of the predetermined sound is compared.
  • the predetermined sound of the predetermined sound Based on the second determination step of determining whether or not the arrival direction and the arrival direction of the external sound overlap, and the determination results of the first determination step and the second determination step, (a) the predetermined sound and the said It includes adjusting the sound pressure of at least one of the external sounds, and (b) adjusting at least one of adjusting the arrival direction of the predetermined sound.
  • the sound reproduction device is the predetermined sound coming from the arrival direction on the three-dimensional sound field corresponding to the predetermined direction from the sound information including the information regarding the predetermined sound and the information regarding the predetermined direction.
  • An acoustic reproduction device that generates and reproduces an output sound signal for making the user perceive the sound, and is an acquisition unit that acquires the sound information, a first analysis unit that analyzes the type of the predetermined sound, and an external device.
  • the second analysis unit that analyzes the type of external sound heard by the user as the sound of the above
  • the third analysis unit that analyzes the arrival direction of the external sound, and the analyzed type of the predetermined sound and the analysis.
  • the first determination unit for determining whether or not the type of the predetermined sound and the type of the external sound match, and the external analyzed with the arrival direction of the predetermined sound.
  • a second determination unit that determines whether or not the arrival direction of the predetermined sound and the arrival direction of the external sound overlap by comparing with the arrival direction of the sound, and the first determination step and the second determination step. Based on the determination result of, (a) adjusting the sound pressure of at least one of the predetermined sound and the external sound, and (b) adjusting the arrival direction of the predetermined sound.
  • an output unit that outputs a sound by the output sound signal generated by the adjustment.
  • one aspect of the present disclosure can also be realized as a program for causing a computer to execute the sound reproduction method described above.
  • FIG. 1 is a schematic diagram showing a use case of the sound reproduction device according to the embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the sound reproduction device according to the embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of the acquisition unit according to the embodiment.
  • FIG. 4 is a block diagram showing a functional configuration of the filter selection unit according to the embodiment.
  • FIG. 5 is a block diagram showing a functional configuration of the output sound generation unit according to the embodiment.
  • FIG. 6 is a flowchart showing the operation of the sound reproduction device according to the embodiment.
  • FIG. 7 is a flowchart showing the operation of the first analysis unit and the second analysis unit according to the embodiment.
  • FIG. 8 is a diagram illustrating the arrival direction of a predetermined sound by the selected stereophonic filter according to the embodiment.
  • FIG. 9 is a second diagram illustrating an arrival direction of a predetermined sound by the selected stereophonic filter according to the embodiment.
  • FIG. 10 is a third diagram illustrating an arrival direction of a predetermined sound by the selected stereophonic filter according to the embodiment.
  • a process of convolving a head-related transfer function for perceiving it as a sound arriving from a predetermined direction with a signal of a target sound is known.
  • the realistic sensation experienced by the user is improved.
  • the sound becomes difficult to hear due to the duplication of external sounds coming from the outside and being heard by the user 99.
  • the information processing method is a sound arriving from the arrival direction on the three-dimensional sound field corresponding to the predetermined direction from the sound information including the information regarding the predetermined sound and the information regarding the predetermined direction.
  • This is an information processing method for generating an output sound signal for the user to perceive a predetermined sound, and is a first analysis step for analyzing the type of the predetermined sound and the type of the external sound heard by the user as an external sound.
  • the third analysis step for analyzing the arrival direction of the external sound, and the type of the analyzed predetermined sound and the type of the analyzed external sound the type of the predetermined sound and the type of the predetermined sound are compared.
  • the sound pressure of at least one of the predetermined sound and the external sound is adjusted. This includes, and (b) an adjustment step of adjusting at least one of adjusting the arrival direction of a predetermined sound.
  • the external sound and the predetermined sound are mutually caused by at least one of the overlapping directions of the external sound and the predetermined sound and the matching of the types of the external sound and the predetermined sound.
  • both of them affect each other and it becomes difficult for the user to hear them, by adjusting at least one of (a) and (b), it is easy to hear at least one of the external sound and the predetermined sound. It is possible to make the user perceive a three-dimensional sound more appropriately.
  • the adjustment step it is determined in the determination in the first determination step that the type of the predetermined sound and the type of the external sound match, and in the determination in the second determination step, the predetermined sound has arrived.
  • the direction and the arrival direction of the external sound overlap at least one of (a) and (b) may be performed.
  • the sound pressure of the external sound may be attenuated by generating and superimposing the superimposed sound having the opposite phase to the external sound.
  • the sound pressure of the external sound can be attenuated and the user can more appropriately perceive the predetermined sound.
  • the arrival direction of the predetermined sound may be changed by a preset angle in a direction far from the arrival direction of the external sound.
  • the arrival direction of the predetermined sound and the arrival direction of the external sound do not overlap, so that at least one of the external sound and the predetermined sound can be easily heard, and the user can more appropriately obtain a three-dimensional sound. Can be perceived.
  • the information regarding the predetermined direction may be corrected so as to change the arrival direction of the predetermined sound by a preset angle in a direction far from the arrival direction of the external sound. ..
  • the arrival direction of the predetermined sound and the arrival direction of the external sound do not overlap, so that at least one of the external sound and the predetermined sound can be easily heard, and the user can more appropriately obtain a three-dimensional sound. Can be perceived.
  • the stereophonic filter selected thereafter is a stereophonic filter for preventing the arrival direction of the predetermined sound and the arrival direction of the external sound from overlapping. Can be made to. As a result, it is possible to facilitate listening to at least one of the external sound and the predetermined sound, and to make the user perceive a three-dimensional sound more appropriately.
  • the sound to be analyzed is divided into unit times in the time region, and the divided sound is input to the machine learning model in advance.
  • the likelihood for each of the plurality of types may be calculated, and an analysis result indicating that the input sound type corresponds to the type with the highest calculated probability may be output.
  • the type of the predetermined sound and the type of the external sound may be composed of two types, that is, voice and voice.
  • whether or not the arrival direction of the predetermined sound and the arrival direction of the external sound overlap is determined depending on whether or not the angle difference between the arrival direction of the predetermined sound and the arrival direction of the external sound is smaller than the threshold value.
  • the first threshold value which is the threshold value when the arrival direction of the predetermined sound and the arrival direction of the external sound are on the rear surface side of the boundary surface with respect to the virtual boundary surface that divides the user's head into front and back, is the predetermined sound.
  • the arrival direction of the sound and the arrival direction of the external sound may be larger than the second threshold value which is the threshold value when the arrival direction of the external sound is on the front side of the boundary surface.
  • the external sound and the predetermined sound are based on a larger reference than the front side of the boundary surface. It is possible to determine whether or not the arrival directions of and are overlapped.
  • program according to one aspect of the present disclosure is a program for causing a computer to execute the information processing method described above.
  • the sound reproduction device obtains a predetermined sound as a sound arriving from the arrival direction on the three-dimensional sound field corresponding to the predetermined direction from the sound information including the information regarding the predetermined sound and the information regarding the predetermined direction.
  • An acoustic reproduction device that generates and reproduces an output sound signal for the user to perceive, such as an acquisition unit that acquires sound information, a first analysis unit that analyzes a predetermined sound type, and a user as external sound.
  • the second analysis unit that analyzes the type of external sound heard in, the third analysis unit that analyzes the arrival direction of the external sound, and the type of the analyzed predetermined sound and the type of the analyzed external sound are compared.
  • the first determination unit that determines whether or not the type of the predetermined sound and the type of the external sound match is compared with the arrival direction of the predetermined sound and the arrival direction of the analyzed external sound. Based on the second determination unit that determines whether the arrival direction of the sound and the arrival direction of the external sound overlap, and the determination results of the first determination step and the second determination step, (a) the predetermined sound and the external sound.
  • An adjustment unit that adjusts at least one sound pressure and (b) adjusts the arrival direction of a predetermined sound, and an output unit that outputs sound by an output sound signal generated by the adjustment.
  • ordinal numbers such as 1, 2, and 3 may be attached to the elements. These ordsinal numbers are attached to the elements to identify them and do not necessarily correspond to a meaningful order. These ordinals may be replaced, newly added, or removed as appropriate.
  • FIG. 1 is a schematic diagram showing a use case of the sound reproduction device according to the embodiment.
  • FIG. 1 shows a user 99 who uses the sound reproduction device 100.
  • the sound reproduction device 100 shown in FIG. 1 is used at the same time as the stereoscopic image reproduction device 200.
  • the image enhances the auditory sense of presence and the sound enhances the visual sense of presence, as if you were in the scene where the image and sound were taken. You can experience it.
  • the user 99 is emitted from the person's mouth even when the localization of the sound image of the conversation sound is deviated from the person's mouth. It is known to be perceived as a conversational sound.
  • the visual information corrects the position of the sound image, and the image and the sound may be combined to enhance the sense of presence.
  • the stereoscopic image reproduction device 200 is an image display device mounted on the head of the user 99. Therefore, the stereoscopic image reproduction device 200 moves integrally with the head of the user 99.
  • the stereoscopic image reproduction device 200 is a glasses-type device supported by the user 99's ears and nose, as shown in the figure.
  • the stereoscopic image reproduction device 200 changes the image to be displayed according to the movement of the head of the user 99, so that the user 99 is perceived as moving the head in the three-dimensional image space. That is, when an object in the three-dimensional image space is located in front of the user 99, when the user 99 turns to the right, the object moves to the left of the user 99, and when the user 99 turns to the left, the object moves to the left. Moves to the right of the user. In this way, the stereoscopic image reproduction device 200 moves the three-dimensional image space in the direction opposite to the movement of the user 99 with respect to the movement of the user 99.
  • the stereoscopic image reproduction device 200 displays two images in which a difference in visual difference occurs in each of the left and right eyes of the user 99.
  • the user 99 can perceive the three-dimensional position of the object on the image based on the deviation of the visual difference of the displayed image.
  • the stereoscopic image reproduction device 200 is not an essential component of the present disclosure.
  • the sound reproduction device 100 is a sound presentation device mounted on the head of the user 99. Therefore, the sound reproduction device 100 moves integrally with the head of the user 99.
  • the sound reproduction device 100 in the present embodiment is a so-called over-ear headphone type device.
  • the form of the sound reproduction device 100 is not particularly limited, and may be, for example, two earplug-type devices that are independently attached to the left and right ears of the user 99. By communicating with each other, these two devices simultaneously present the sound for the right ear and the sound for the left ear.
  • the sound reproduction device 100 changes the sound presented according to the movement of the head of the user 99, so that the user 99 perceives that the user 99 is moving the head in the three-dimensional sound field. Therefore, as described above, the sound reproduction device 100 moves the three-dimensional sound field in the direction opposite to the movement of the user with respect to the movement of the user 99.
  • the sound reproduction device 100 can make the user 99 perceive at least one of the sound image and the external sound by correcting the sound presented by the information processing so as to avoid this phenomenon. That is, the sound reproduction device 100 operates so as to detect the overlap between the sound image and the external sound and eliminate the overlap, so that the user 99 perceives at least one of the sound image and the external sound.
  • FIG. 2 is a block diagram showing a functional configuration of the sound reproduction device according to the embodiment.
  • the sound reproduction device 100 includes a processing module 101, a communication module 102, a detector 103, and a driver 104.
  • the processing module 101 is an arithmetic unit for performing various signal processing in the sound reproduction device 100.
  • the processing module 101 includes, for example, a processor and a memory, and a program stored in the memory is executed by the processor. So, it exerts various functions.
  • the processing module 101 has an acquisition unit 111, a filter selection unit 121, an output sound generation unit 131, and a signal output unit 141.
  • the details of each functional unit of the processing module 101 will be described below together with the details of the configurations other than the processing module 101.
  • the communication module 102 is an interface device for receiving input of sound information to the sound reproduction device 100.
  • the communication module 102 includes, for example, an antenna and a signal converter, and receives sound information from an external device by wireless communication. More specifically, the communication module 102 receives a radio signal indicating sound information converted into a format for wireless communication by using an antenna, and reconverts the wireless signal into sound information by a signal converter. ..
  • the sound reproduction device 100 acquires sound information from an external device by wireless communication.
  • the sound information acquired by the communication module 102 is acquired by the acquisition unit 111. In this way, the sound information is input to the processing module 101.
  • the communication between the sound reproduction device 100 and the external device may be performed by wire communication.
  • the sound information acquired by the sound reproduction device 100 is encoded in a predetermined format such as MPEG-H 3D Audio (ISO / IEC 23008-3).
  • a predetermined format such as MPEG-H 3D Audio (ISO / IEC 23008-3).
  • information about a predetermined sound reproduced by the sound reproduction device 100 and a sound image of the sound are localized at a predetermined position in a three-dimensional sound field (that is, a sound arriving from a predetermined direction).
  • Information on the localization position at the time of (perceived as), that is, information on a predetermined direction is included.
  • the sound information includes information on a plurality of sounds including the first predetermined sound and the second predetermined sound, and the sound image when each sound is reproduced is a sound arriving from different directions in the three-dimensional sound field. The sound image is localized so that it is perceived as.
  • the sound information may include only information about a predetermined sound. In this case, information regarding a predetermined direction may be acquired separately. Further, as described above, the sound information includes the first sound information regarding the first predetermined sound and the second sound information regarding the second predetermined sound, but a plurality of sound information including these separately is acquired. However, the sound image may be localized at different positions in the three-dimensional sound field by simultaneously reproducing the sound. As described above, the form of the input sound information is not particularly limited, and the sound reproduction device 100 may be provided with the acquisition unit 111 corresponding to various forms of sound information.
  • FIG. 3 is a block diagram showing a functional configuration of the acquisition unit according to the embodiment.
  • the acquisition unit 111 in the present embodiment includes, for example, an encoded sound information input unit 112, a decoding processing unit 113, and a sensing information input unit 114.
  • the encoded sound information input unit 112 is a processing unit for inputting encoded (in other words, encoded) sound information acquired by the acquisition unit 111.
  • the encoded sound information input unit 112 outputs the input sound information to the decoding processing unit 113.
  • the decoding processing unit 113 decodes (in other words, decodes) the sound information output from the encoded sound information input unit 112, thereby processing the information regarding the predetermined sound included in the sound information and the information regarding the predetermined direction in the subsequent processing. It is a processing unit generated in the format used for.
  • the sensing information input unit 114 will be described below together with the functions of the detector 103.
  • the detector 103 is a device for detecting the movement speed of the head of the user 99.
  • the detector 103 is configured by combining various sensors used for motion detection such as a gyro sensor and an acceleration sensor.
  • the detector 103 is built in the sound reproduction device 100, and for example, a stereoscopic image reproduction device 200 or the like that operates according to the movement of the head of the user 99 like the sound reproduction device 100. It may be built in an external device. In this case, the detector 103 does not have to be included in the sound reproduction device 100.
  • the movement of the head of the user 99 may be captured by using an external image pickup device or the like, and the movement of the user 99 may be detected by processing the captured image.
  • the detector 103 is integrally fixed to the housing of the sound reproduction device 100, for example, and detects the speed of movement of the housing. Since the sound reproduction device 100 including the above housing moves integrally with the head of the user 99 after being worn by the user 99, the detector 103 detects the speed of movement of the head of the user 99 as a result. can do.
  • the detector 103 may detect, for example, as the amount of movement of the head of the user 99, the amount of rotation having at least one of the three axes orthogonal to each other in the three-dimensional space as the rotation axis, or the above three axes.
  • the amount of displacement may be detected with at least one of the above as the displacement direction. Further, the detector 103 may detect both the rotation amount and the displacement amount as the amount of movement of the head of the user 99.
  • the sensing information input unit 114 acquires the movement speed of the head of the user 99 from the detector 103. More specifically, the sensing information input unit 114 acquires the amount of movement of the head of the user 99 detected by the detector 103 per unit time as the speed of movement. In this way, the sensing information input unit 114 acquires at least one of the rotation speed and the displacement speed from the detector 103.
  • the amount of movement of the user 99's head acquired here is used to determine the coordinates and orientation of the user 99 in the three-dimensional sound field.
  • the relative position of the sound image is determined based on the determined coordinates and orientation of the user 99, and the sound is reproduced. Specifically, the above function is realized by the filter selection unit 121 and the output sound generation unit 131.
  • the filter selection unit 121 determines from which direction in the three-dimensional sound field the user 99 perceives the predetermined sound as the sound arriving from the predetermined sound, and determines with respect to the predetermined sound. It is a processing unit that selects the stereophonic filter to be applied.
  • the stereophonic filter is a function that causes the user 99 to perceive the above-mentioned predetermined sound as a sound arriving from a predetermined direction based on the specific head-related transfer function by convolving a specific head-related transfer function into the input predetermined sound. It is a filter.
  • a sound pressure difference, a time difference, a phase difference, etc. are generated in the left and right sound signals of the predetermined sound, and the arrival direction is controlled. It is possible to output a sound signal capable of reproducing the predetermined sound.
  • a plurality of stereophonic filters that are candidates for selection are, for example, adjusted and prepared in advance for each user 99.
  • the plurality of stereophonic filters are calculated and generated for each direction of arrival, and are stored in a storage device (not shown) for storing the plurality of stereophonic filters.
  • FIG. 4 is a block diagram showing a functional configuration of the filter selection unit according to the embodiment.
  • the filter selection unit 121 in the present embodiment includes, for example, the first analysis unit 122, the second analysis unit 123, the third analysis unit 124, the first determination unit 125, and the second determination unit 126. It also includes an adjusting unit 127.
  • the first analysis unit 122 is a processing unit that analyzes the type of predetermined sound included in the sound information. As an analysis result, the first analysis unit 122 outputs information as to which of the plurality of preset types the predetermined sound corresponds to.
  • the type of predetermined sound may be, for example, whether or not it is a human voice, that is, two types other than voice and voice, and is classified by frequency characteristics from the source of sound and the like. It may be a type that does not require a specific object such as the first type, the second type, and the like. Further, the number of types is not particularly limited, and the number may be set according to the type of predetermined sound included in the sound information and the type of external sound assumed from the environment in which the sound reproduction device 100 is used. The description regarding the type of the predetermined sound is similarly applied to the type of the external sound.
  • the second analysis unit 123 is a processing unit that comes from the outside of the sound reproduction device 100 and analyzes the type of external sound heard by the user 99.
  • the second analysis unit 123 outputs, as an analysis result, information as to which of the plurality of preset types the predetermined sound corresponds to. Further, the analysis result of the type of external sound by the second analysis unit 123 is used for comparison with the above-mentioned predetermined sound type. Therefore, as the external sound, a sound that is expected to make it difficult to hear at least one of the predetermined sound and the external sound when overlapping with the predetermined sound is used, and the other sounds may be deleted.
  • the sound pressure of a predetermined sound is determined in advance by sound information and a volume set by the user 99 of the sound reproduction device 100. Therefore, a threshold value for whether or not to use as an external sound may be provided depending on whether or not the sound is within a sound pressure range that can sufficiently interfere with the predetermined sound being reproduced.
  • the third analysis unit 124 is a processing unit that analyzes the arrival direction of the external sound.
  • the third analysis unit 124 acquires the external sound picked up by each of the two or more sound collecting devices as the respective external sound information, and is the same as the external sound by the external sound information between these two or more sound collecting devices.
  • One external sound is specified, and the arrival direction of the external sound is analyzed by calculation based on the arrival time difference, sound pressure difference, phase difference, and the like.
  • the third analysis unit 124 outputs information from which direction the external sound arrives at the user 99.
  • the first determination unit 125 is a processing unit that determines whether or not the type of the predetermined sound and the type of the external sound match. Therefore, the first determination unit 125 acquires the analysis results of the first analysis unit 122 and the second analysis unit 123. Based on these analysis results, the first determination unit 125 determines whether or not the arrival directions of the predetermined sound and the external sound match. As a determination result, the first determination unit 125 outputs information indicating whether or not the type of the predetermined sound and the type of the external sound match. When a plurality of predetermined sounds and a plurality of external sounds are present, the first determination unit 125 may determine all combinations of the predetermined sound and the external sound, or only within the predetermined range as seen from the user 99. Judgment may be made for all combinations of predetermined sounds and external sounds.
  • the second determination unit 126 is a processing unit that determines whether or not the arrival direction of the predetermined sound and the arrival direction of the external sound based on the analysis result of the third analysis unit 124 overlap.
  • the second determination unit 126 calculates the arrival direction of the predetermined sound based on the predetermined direction included in the sound information and the coordinates and direction of the user 99, and determines the arrival direction of the predetermined sound and the arrival direction of the external sound after the calculation. It is determined whether or not these are duplicated by comparing. In the determination of the second determination unit 126, the arrival direction of the predetermined sound and the arrival direction of the external sound do not have to be completely the same.
  • a threshold value of such an angle range is provided. May be done. Since this threshold value is affected by the sound pressure of a predetermined sound, the sound pressure of an external sound, the minimum discrimination angle of the user 99, etc., it may be set for each user 99, or is set on average among a plurality of users 99. It may be set as a fixed value such as 5 degrees, 10 degrees, 15 degrees, and 20 degrees.
  • the adjustment unit 127 Based on the determination result of the first determination unit 125 and the determination result of the second determination unit 126, the adjustment unit 127 makes adjustments for improving the distinctiveness of at least one of the predetermined sound and the external sound, and makes a stereophonic filter. It is a processing unit that selects. The user 99 can set in advance whether the adjusting unit 127 improves the distinction between the predetermined sound and the external sound. The adjusting unit 127 reads this set value and performs adjustment for improving the distinctiveness of at least one of the predetermined sound and the external sound according to the set value. The adjustment by the adjustment unit 127 will be described later together with the operation of the sound reproduction device 100.
  • the sound adjustment by the adjustment unit 127 is performed by changing the stereophonic filter from the stereophonic filter based on the predetermined direction on the original sound information to the stereophonic filter in the direction of arrival of the sound for realizing the adjustment. That is, the adjustment of the sound by the adjustment unit 127 can be regarded as the determination of the stereophonic filter after the change. As a result, the changed stereophonic filter obtained by changing the stereophonic filter as the initial value is selected and output from the filter selection unit 121. The direction of arrival of the sound in the output sound signal at this time is a direction different from the predetermined direction on the sound information.
  • stereophonic filter may be directly determined without setting the initial value of the stereophonic filter as described above. That is, the modification of the stereophonic filter is an expression used for convenience for explanation, and the present disclosure also includes directly selecting and outputting the stereophonic filter without using the initial value.
  • the output sound generation unit 131 generates an output sound signal by inputting information about a predetermined sound included in the sound information to the selected stereophonic filter by using the stereophonic filter selected by the filter selection unit 121. It is a processing unit.
  • FIG. 5 is a block diagram showing a functional configuration of the output sound generation unit according to the embodiment.
  • the output sound generation unit 131 in the present embodiment includes, for example, a filter processing unit 132.
  • the filter processing unit 132 sequentially reads the filters continuously selected by the filter selection unit 121, and inputs information about the corresponding predetermined sound on the time axis, so that the predetermined sound arrives on the three-dimensional sound field. Continuously outputs the controlled sound signal.
  • the sound information divided for each time of the processing unit on the time axis is output as a continuous sound signal (output sound signal) on the time axis.
  • the signal output unit 141 is a functional unit that outputs the generated output sound signal to the driver 104.
  • the signal output unit 141 generates a waveform signal by performing signal conversion from a digital signal to an analog signal based on the output sound signal, generates a sound wave in the driver 104 based on the waveform signal, and makes a sound to the user 99.
  • the driver 104 has, for example, a diaphragm and a drive mechanism such as a magnet and a voice coil.
  • the driver 104 operates the drive mechanism in response to the waveform signal, and the drive mechanism vibrates the diaphragm. In this way, the driver 104 generates a sound wave by the vibration of the diaphragm in response to the output sound signal, the sound wave propagates through the air and is transmitted to the user 99's ear, and the user 99 perceives the sound.
  • FIG. 6 is a flowchart showing the operation of the sound reproduction device according to the embodiment.
  • FIG. 7 is a flowchart showing the operation of the first analysis unit and the second analysis unit according to the embodiment.
  • a stereophonic filter that reproduces a predetermined sound so as to be in the arrival direction preset in the content is read from a storage device or the like.
  • the sound reproduction device 100 selects and applies a stereophonic filter so that a predetermined sound arrives from the arrival direction, and reproduces the sound.
  • the first analysis unit 122 analyzes the type of the predetermined sound being reproduced (S101) and continuously outputs the analysis result so as to be parallel to the reproduction of the sound.
  • the analysis of the predetermined sound type by the first analysis unit 122 is performed as shown in FIG. 7.
  • the first analysis unit 122 divides a predetermined sound into a predetermined processing unit time and generates divided data (S201).
  • the first analysis unit 122 inputs the divided data into a machine learning model such as a neural network constructed for clustering into the classes associated with the types, and causes the likelihood to be calculated for each class. (S202).
  • the first analysis unit 122 outputs an analysis result indicating that the input divided data corresponds to the type having the highest likelihood as the type corresponding to the class having the highest likelihood (S203). ).
  • the sound collecting device for collecting the external sound starts collecting the external sound at the same time as the operation of the sound reproducing device 100 starts, and the external sound information is sequentially output to the second analysis unit 123. is doing.
  • the second analysis unit 123 analyzes the type of external sound for the acquired external sound information in the same manner as the first analysis unit 122 (S102), and continuously outputs the analysis result.
  • the third analysis unit 124 analyzes the arrival direction of the external sound with respect to the acquired external sound information and continuously outputs the analysis result. Since the analysis by the first analysis unit 122, the second analysis unit 123, and the third analysis unit 124 is performed in parallel, the order of steps S101 and S102 in the figure may be changed.
  • the first determination unit 125 determines whether or not the type of the predetermined sound and the type of the external sound match (S103).
  • the second determination unit 126 further determines whether or not the arrival direction of the predetermined sound and the arrival direction of the external sound overlap. Is determined (S104).
  • the adjusting unit 127 adjusts the stereophonic filter so as to improve the distinctiveness of the sound (S105).
  • the adjusting unit 127 changes the stereophonic filter of the change destination in order to change from the stereophonic filter of the initial value in which the predetermined direction and the arrival direction match to the stereophonic filter in which the predetermined direction and the arrival direction are different. decide.
  • the filter selection unit 121 ends the processing and outputs the initial value stereophonic filter as the selected stereophonic filter.
  • FIG. 8 is a diagram illustrating the arrival direction of a predetermined sound by the selected stereophonic filter according to the embodiment.
  • FIG. 9 is a second diagram illustrating an arrival direction of a predetermined sound by the selected stereophonic filter according to the embodiment.
  • FIG. 10 is a third diagram illustrating an arrival direction of a predetermined sound by the selected stereophonic filter according to the embodiment. 8 to 10 schematically show a user 99 in a posture with the paper surface facing forward in a circular shape with a "U", and the user 99 is in an upright posture in a direction perpendicular to the paper surface. There is.
  • FIGS. 8 to 10 the position where the predetermined sound is localized is shown as a black circle, and the icon of the virtual sound source according to the type of sound is also shown.
  • the position where the first predetermined sound at a certain time point is localized is the first position S1.
  • the first external sound arrives from the second position S2.
  • the same speaker icon is attached to the first predetermined sound and the first external sound, and it can be seen that they are of the same type. Therefore, the determination result by the first determination unit 125 indicates the matching of the types.
  • the range with dot hatching in the figure is a range that spreads around the arrival direction of the first predetermined sound and can be regarded as an arrival direction overlapping with the first predetermined sound. be. Since the arrival direction of the first external sound is within this range, it can be seen that the first predetermined sound and the first external sound overlap.
  • the determination result by the second determination unit 126 indicates the overlap in the arrival direction.
  • the stereophonic filter is changed so as to lower the sound pressure of the first external sound and improve the distinctiveness of the first predetermined sound.
  • the adjusting unit 127 changes the stereophonic filter so as to generate a signal having the opposite phase of the first external sound from the external sound information of the first external sound and superimpose the signal.
  • the output sound signal obtained by inputting information about a predetermined sound to the three-dimensional acoustic filter is a signal to which a signal having the opposite phase of the first external sound is added, and is a signal with the incoming first external sound. By canceling out, the sound pressure of the first external sound is lowered.
  • the alternate long and short dash line extending to the left and right of the user 99 indicates a virtual boundary surface that divides the head of the user 99 into front and back.
  • This boundary surface may be a surface along the ear canal of the user 99, a surface passing through the last point of the auricle of the user 99, or simply a surface passing through the center of gravity of the head of the user 99. May be. It is known that there is a difference in the ease of hearing the sound before and after such a boundary surface, that is, before and after the user 99. Therefore, it is effective to make the changing characteristics of the stereophonic filter different between the front surface side and the rear surface side with the boundary surface as a boundary.
  • the position where the second predetermined sound at a certain point in time is localized is the third position S3.
  • the second external sound arrives from the fourth position S4.
  • the same speaker icon is attached to the second predetermined sound and the second external sound, and it can be seen that they are of the same type. Therefore, the determination result by the first determination unit 125 indicates the matching of the types.
  • the range with dot hatching in the figure is a range that spreads around the arrival direction of the second predetermined sound and can be regarded as an arrival direction overlapping with the second predetermined sound. be. Since the arrival direction of the second external sound is within this range, it can be seen that the second predetermined sound and the second external sound overlap. Therefore, the determination result by the second determination unit 126 indicates the overlap in the arrival direction.
  • the stereophonic filter is changed so as to lower the sound pressure of the second external sound and improve the distinctiveness of the second predetermined sound.
  • the first predetermined sound and the second predetermined sound are the same sound different only in the arrival direction, and the first external sound and the second external sound are the same sound different only in the arrival direction.
  • the range in which the arrival directions of the second predetermined sound and the second external sound on the rear side of the boundary surface can be considered to overlap is the range of the first predetermined sound and the first external sound on the front side of the boundary surface.
  • the direction of arrival is set to be larger than the range that can be considered to overlap. In this way, a configuration corresponding to a wide minimum discrimination angle with respect to the arrival direction of the sound arriving from the rear surface side (that is, behind the user 99) as compared with the front surface side may be provided.
  • the stereophonic filter that rotates the arrival direction is changed so that the localization position of the first predetermined sound is the fifth position S1a.
  • the arrival direction of the first predetermined sound is rotationally changed in a direction far from the arrival direction of the first external sound until the range with dot hatching does not overlap with the arrival direction of the external sound.
  • both the first predetermined sound and the first external sound have improved distinguishability and can be heard by the user 99.
  • the adjusting unit 127 may simply lower the sound pressure of the first predetermined sound to improve the distinctiveness of the first external sound and make it audible.
  • the adjusting unit 127 does not have to change the stereophonic filter in particular.
  • the third external sound arrives from the sixth position S5, and the fourth external sound arrives from the seventh position S6.
  • the first predetermined sound and the third external sound are different types of sounds with different icons, it is possible to identify and listen even if the arrival directions overlap. Is.
  • the first predetermined sound and the fourth predetermined sound are the same type of sounds with the same speaker icon, the arrival directions are sufficiently different, so that they can be identified and listened to. Is.
  • the determination result of the first determination unit 125 shows that the identification unit 127 is of a different type
  • the determination result of the second determination unit 126 it is shown that the arrival directions do not overlap. If so, it is not necessary to change the stereophonic filter.
  • the predetermined sound and the external sound it is difficult to distinguish between the predetermined sound and the external sound because the types of the predetermined sound and the external sound match and the arrival directions of the predetermined sound and the external sound overlap.
  • at least one of (a) adjusting the sound pressure of at least one of the predetermined sound and the external sound and (b) adjusting the arrival direction of the predetermined sound is performed, whereby the predetermined sound and the external sound are performed. Since it is possible to improve the distinctiveness of at least one of the above and facilitate listening to the one with the improved distinctiveness, it is possible to make the user 99 more appropriately perceive a three-dimensional sound.
  • the content of the present disclosure is also effective when the sound follows the movement of the user's head. That is, in the operation of causing the user to perceive a predetermined sound as a sound arriving from the first position that moves relatively with the movement of the user's head, the types of the predetermined sound and the external sound match, and the arrival directions overlap.
  • the stereophonic filter may be changed to improve the distinctiveness of at least one of them.
  • the sound reproduction device described in the above embodiment may be realized as one device including all the components, or each function is assigned to a plurality of devices, and the plurality of devices cooperate with each other. It may be realized by.
  • an information processing device such as a smartphone, a tablet terminal, or a PC may be used as the device corresponding to the processing module.
  • the modified stereophonic filter can be selected by correcting the original sound information by the decoding processing unit.
  • the decoding processing unit in this example is a processing unit that generates information about a predetermined direction included in the sound information and corrects the original sound information.
  • the decoding processing unit performs the same operations as the first analysis unit, the second analysis unit, the third analysis unit, the first determination unit, and the second determination unit, and then, if necessary, sets the arrival direction of the predetermined sound to the outside.
  • the information about the predetermined direction is corrected so as to fluctuate by a preset angle in the direction far from the arrival direction of the sound.
  • the stereophonic filter that defines the arrival direction in which the predetermined sound arrives is selected based on the corrected predetermined direction information output from the decoding processing unit, and the modified stereophonic filter in the above embodiment is selected.
  • a stereophonic filter will be applied.
  • the information processing method and the like disclosed in the present application may be realized by correcting the information regarding the predetermined direction in the original sound information.
  • the decoding processing unit as described above can be inserted in place of the processing unit that performs the decoding processing of the conventional stereophonic sound reproduction device, thereby realizing an sound reproduction device capable of achieving the same effect as that disclosed in the present application. Can be done.
  • the sound reproduction device of the present disclosure is connected to a reproduction device provided with only a driver, and outputs an output sound signal to the reproduction device using a stereophonic filter selected based on the acquired sound information. It can also be realized as an acoustic processing device that only does.
  • the sound processing device may be realized as hardware provided with a dedicated circuit, or may be realized as software for causing a general-purpose processor to execute a specific process.
  • another processing unit may execute the processing executed by the specific processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be realized by hardware.
  • each component may be a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized by a recording medium such as an apparatus, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the general or specific aspects of the present disclosure may be realized by any combination of devices, devices, methods, integrated circuits, computer programs and recording media.
  • the present disclosure may be realized as an audio signal reproduction method executed by a computer, or may be realized as a program for causing an audio signal reproduction method computer to execute.
  • the present disclosure may be realized as a computer-readable non-temporary recording medium in which such a program is recorded.
  • This disclosure is useful for acoustic reproduction such as making a user perceive a three-dimensional sound.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

情報処理方法は、所定音の種別及び外部音の種別が一致しているか否かを判定する第１判定ステップと、所定音の到来方向と分析された外部音の到来方向とを比較することで、所定音の到来方向及び外部音の到来方向が重複するか否かを判定する第２判定ステップと、第１判定ステップ及び第２判定ステップの判定結果に基づいて、（ａ）所定音及び外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）所定音の到来方向を調整することの少なくとも一方を行う調整ステップと、を含む。

Description

情報処理方法、プログラム、及び、音響再生装置
　本開示は、音響再生装置、ならびに、当該音響再生装置に係る情報処理方法及びプログラムに関する。
　従来、仮想的な三次元空間内で、感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている（例えば、特許文献１参照）。
特開２０２０－１８６２０号公報
　一方で、音を三次元音場内の立体的な音としてユーザに知覚させる際に、ユーザによって知覚されにくい音が発生する場合がある。従来の音響再生装置などにおける情報処理方法では、このような知覚されにくい音に対して、適切な処理がなされていない場合があった。
　上記に鑑みて、本開示は、より適切に立体的な音をユーザに知覚させる情報処理方法等を提供することを目的とする。
　本開示の一態様に係る情報処理方法は、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音をユーザに知覚させるための出力音信号を生成する情報処理方法であって、前記所定音の種別を分析する第１分析ステップと、外部からの音として前記ユーザに聴取される外部音の種別を分析する第２分析ステップと、前記外部音の到来方向を分析する第３分析ステップと、分析された前記所定音の種別と分析された前記外部音の種別とを比較することで、前記所定音の種別及び前記外部音の種別が一致しているか否かを判定する第１判定ステップと、前記所定音の到来方向と分析された前記外部音の到来方向とを比較することで、前記所定音の到来方向及び前記外部音の到来方向が重複するか否かを判定する第２判定ステップと、前記第１判定ステップ及び前記第２判定ステップの判定結果に基づいて、（ａ）前記所定音及び前記外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）前記所定音の到来方向を調整することの少なくとも一方を行う調整ステップと、を含む。
　また、本開示の一態様に係る音響再生装置は、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音をユーザに知覚させるための出力音信号を生成して再生する音響再生装置であって、前記音情報を取得する取得部と、前記所定音の種別を分析する第１分析部と、外部からの音として前記ユーザに聴取される外部音の種別を分析する第２分析部と、前記外部音の到来方向を分析する第３分析部と、分析された前記所定音の種別と分析された前記外部音の種別とを比較することで、前記所定音の種別及び前記外部音の種別が一致しているか否かを判定する第１判定部と、前記所定音の到来方向と分析された前記外部音の到来方向とを比較することで、前記所定音の到来方向及び前記外部音の到来方向が重複するか否かを判定する第２判定部と、前記第１判定ステップ及び前記第２判定ステップの判定結果に基づいて、（ａ）前記所定音及び前記外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）前記所定音の到来方向を調整することの少なくとも一方を行う調整部と、調整によって生成された前記出力音信号により音を出力する出力部と、を備える。
　また、本開示の一態様は、上記に記載の音響再生方法をコンピュータに実行させるためのプログラムとして実現することもできる。
　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、より適切に立体的な音をユーザに知覚させることが可能となる。
図１は、実施の形態に係る音響再生装置の使用事例を示す概略図である。 図２は、実施の形態に係る音響再生装置の機能構成を示すブロック図である。 図３は、実施の形態に係る取得部の機能構成を示すブロック図である。 図４は、実施の形態に係るフィルタ選択部の機能構成を示すブロック図である。 図５は、実施の形態に係る出力音生成部の機能構成を示すブロック図である。 図６は、実施の形態に係る音響再生装置の動作を示すフローチャートである。 図７は、実施の形態に係る第１分析部及び第２分析部の動作を示すフローチャートである。 図８は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第１図である。 図９は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第２図である。 図１０は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第３図である。
　（開示の基礎となった知見）
　従来、仮想的な三次元空間内（以下、三次元音場という場合がある）で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている（例えば、特許文献１参照）。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置とユーザとを結ぶ直線に平行な方向（すなわち所定方向）から到来する音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到来時間差、及び、両耳間での音のレベル差（又は音圧差）などを生じさせる計算処理が必要となる。
　このような計算処理の一例として、所定方向から到来する音として知覚させるための頭部伝達関数を目的の音の信号に対して畳み込む処理が知られている。この頭部伝達関数の畳み込みの処理を、より高解像度に実施することで、ユーザが体感する臨場感が向上される。一方で、このような音の聴取環境において、外部から到来してユーザ９９に聴取される外部音が重複することによって音が聞き取りにくくなる現象が知られている。特に、再生される所定音と、同じ種別かつ同じ方向から到来する外部音が存在する状況では、所定音及び外部音のいずれも識別することが困難になる場合がある。
　また、近年、仮想現実（VR：Virtual Reality）に関する技術の開発が盛んに行われている。仮想現実では、ユーザの動きに対して仮想的な三次元空間の位置が追従せず、あたかもユーザが仮想空間内を移動しているように体感できることが主眼に置かれている。特に、この仮想現実の技術において視覚的な要素に聴覚的な要素を取り入れることで、より臨場感を高めるといった試みが行われている。例えば、ユーザの正面に音像が定位しているときに、ユーザが右を向くと当該音像がユーザの左方向に移動し、ユーザが左を向くと当該音像がユーザの右方向に移動する。このように、ユーザの動きに対して、仮想空間内の音像の定位位置をユーザの動きとは逆方向に移動させる必要が生じる。このような処理は、元の音情報に対して立体音響フィルタを適用することで行われる。
　本開示では、上記に鑑みて、三次元音場内の所定方向からの音としてユーザに知覚させるための立体音響フィルタを利用しながら、再生される所定音及び外部から到来する外部音が重複する場合の識別性を改善するというより適切な計算処理を実施する。本開示では、この適切な計算処理により立体的な音をユーザに知覚させる情報処理方法等を提供することを目的とする。
　より具体的には、本開示の一態様に係る情報処理方法は、所定音に関する情報及び所定方向に関する情報を含む音情報から、所定方向に対応する三次元音場上の到来方向から到来する音として所定音をユーザに知覚させるための出力音信号を生成する情報処理方法であって、所定音の種別を分析する第１分析ステップと、外部からの音としてユーザに聴取される外部音の種別を分析する第２分析ステップと、外部音の到来方向を分析する第３分析ステップと、分析された所定音の種別と分析された外部音の種別とを比較することで、所定音の種別及び外部音の種別が一致しているか否かを判定する第１判定ステップと、所定音の到来方向と分析された外部音の到来方向とを比較することで、所定音の到来方向及び外部音の到来方向が重複するか否かを判定する第２判定ステップと、第１判定ステップ及び第２判定ステップの判定結果に基づいて、（ａ）所定音及び外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）所定音の到来方向を調整することの少なくとも一方を行う調整ステップと、を含む。
　このような情報処理方法によれば、外部音と所定音との到来方向が重複すること、及び、外部音と所定音の種別が一致することの少なくとも一方により、外部音と所定音とが互いに影響しあい、このいずれもユーザによって聴取することが困難となる場合に、（ａ）及び（ｂ）の少なくとも一方の調整を行うことで、外部音と所定音との少なくともいずれかの聴取を容易にさせ、より適切に立体的な音をユーザに知覚させることができる。
　また、例えば、調整ステップでは、第１判定ステップでの判定において、所定音の種別及び外部音の種別が一致していると判定され、かつ、第２判定ステップでの判定において、所定音の到来方向及び外部音の到来方向が重複すると判定された場合に、（ａ）及び（ｂ）の少なくとも一方を行ってもよい。
　これによれば、外部音と所定音との到来方向が重複し、外部音と所定音の種別が一致することにより、外部音と所定音とが互いに影響しあい、このいずれもユーザによって聴取することが困難となる場合に、（ａ）及び（ｂ）の少なくとも一方の調整を行うことで、外部音と所定音との少なくともいずれかの聴取を容易にさせ、より適切に立体的な音をユーザに知覚させることができる。
　また、例えば、調整ステップでは、（ａ）として、外部音と逆位相の重畳音を生成して重畳することにより、外部音の音圧を減衰してもよい。
　これによれば、重畳音を外部音と重畳してユーザに聴取させることで、外部音の音圧を減衰させて、より適切に所定音をユーザに知覚させることができる。
　また、例えば、調整ステップでは、（ｂ）として、所定音の到来方向を外部音の到来方向から遠くなる方向にあらかじめ設定された角度だけ変動させてもよい。
　これによれば、所定音の到来方向及び外部音の到来方向が重複しないようにして、外部音と所定音との少なくともいずれかの聴取を容易にさせ、より適切に立体的な音をユーザに知覚させることができる。
　また、例えば、調整ステップでは、（ｂ）として、所定音の到来方向を外部音の到来方向から遠くなる方向にあらかじめ設定された角度だけ変動させるように、所定方向に関する情報を補正してもよい。
　これによれば、所定音の到来方向及び外部音の到来方向が重複しないようにして、外部音と所定音との少なくともいずれかの聴取を容易にさせ、より適切に立体的な音をユーザに知覚させることができる。このために、音情報に含まれる所定方向に関する情報を補正することで、その後に選択される立体音響フィルタを、所定音の到来方向及び外部音の到来方向が重複しないようするための立体音響フィルタにさせることができる。この結果、外部音と所定音との少なくともいずれかの聴取を容易にさせ、より適切に立体的な音をユーザに知覚させることができる。
　また、例えば、所定音の種別の分析及び外部音の種別の分析では、分析対象の音を時間領域における単位時間ごとに分割し、分割後の音を機械学習モデルに入力することで、あらかじめ設定された複数種別のそれぞれに対する尤度を算出し、入力された音の種別が、算出された尤度が最も高い種別に相当することを示す分析結果を出力してもよい。
　これによれば、機械学習モデルを用いて、分析対象の音をあらかじめ設定された複数種別の中で最も尤度の高い種別に相当することを分析結果として出力することができる。
　また、例えば、所定音の種別及び外部音の種別は、音声及び音声以外の２つからなってもよい。
　これによれば、外部音と所定音との種別が音声及び音声以外の２つのどちらかであるかに基づいて、外部音と所定音の種別が一致するか否かを判定できる。
　また、例えば、所定音の到来方向及び外部音の到来方向が重複するか否かの判定は、所定音の到来方向と外部音の到来方向との角度差が閾値よりも小さいか否かによって行われ、ユーザの頭部を前後に分ける仮想的な境界面に対して、所定音の到来方向及び外部音の到来方向が境界面の後面側にある場合の閾値である第１閾値は、所定音の到来方向及び外部音の到来方向が境界面の前面側にある場合の閾値である第２閾値よりも大きくてもよい。
　これによれば、到来方向の最小弁別角度が大きいことで到来方向が重複していると知覚しやすい境界面の後面側において、境界面の前面側よりも拡大された基準で外部音と所定音との到来方向が重複するか否かを判定することができる。
　また、本開示の一態様に係るプログラムは、上記に記載の情報処理方法をコンピュータに実行させるためのプログラムである。
　これによれば、コンピュータを用いて上記に記載の情報処理方法と同様の効果を奏することができる。
　また、本開示の一態様に係る音響再生装置は、所定音に関する情報及び所定方向に関する情報を含む音情報から、所定方向に対応する三次元音場上の到来方向から到来する音として所定音をユーザに知覚させるための出力音信号を生成して再生する音響再生装置であって、音情報を取得する取得部と、所定音の種別を分析する第１分析部と、外部からの音としてユーザに聴取される外部音の種別を分析する第２分析部と、外部音の到来方向を分析する第３分析部と、分析された所定音の種別と分析された外部音の種別とを比較することで、所定音の種別及び外部音の種別が一致しているか否かを判定する第１判定部と、所定音の到来方向と分析された外部音の到来方向とを比較することで、所定音の到来方向及び外部音の到来方向が重複するか否かを判定する第２判定部と、第１判定ステップ及び第２判定ステップの判定結果に基づいて、（ａ）所定音及び外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）所定音の到来方向を調整することの少なくとも一方を行う調整部と、調整によって生成された出力音信号により音を出力する出力部と、を備える。
　これによれば、上記に記載の情報処理方法と同様の効果を奏することができる。
　さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。
　また、以下の説明において、第１、第２及び第３等の序数が要素に付けられている場合がある。これらの序数は、要素を識別するため、要素に付けられており、意味のある順序に必ずしも対応しない。これらの序数は、適宜、入れ替えられてもよいし、新たに付与されてもよいし、取り除かれてもよい。
　（実施の形態）
　［概要］
　はじめに、実施の形態に係る音響再生装置の概要について説明する。図１は、実施の形態に係る音響再生装置の使用事例を示す概略図である。図１では、音響再生装置１００を使用するユーザ９９が示されている。
　図１に示す音響再生装置１００は、立体映像再生装置２００と同時に使用されている。立体的な画像及び立体的な音を同時に視聴することで、画像が聴覚的な臨場感を、音が視覚的な臨場感をそれぞれ高め合い、画像及び音が撮られた現場に居るかのように体感することができる。例えば、人が会話をする画像（動画像）が表示されている場合に、会話音の音像の定位が当該人の口元とずれている場合にも、ユーザ９９が、当該人の口から発せられた会話音として知覚することが知られている。このように視覚情報によって、音像の位置が補正されるなど、画像と音とが併せられることで臨場感が高められることがある。
　立体映像再生装置２００は、ユーザ９９の頭部に装着される画像表示デバイスである。したがって、立体映像再生装置２００は、ユーザ９９の頭部と一体的に移動する。例えば、立体映像再生装置２００は、図示するように、ユーザ９９の耳と鼻とで支持するメガネ型のデバイスである。
　立体映像再生装置２００は、ユーザ９９の頭部の動きに応じて表示する画像を変化させることで、ユーザ９９が三次元画像空間内で頭部を動かしているように知覚させる。つまり、ユーザ９９の正面に三次元画像空間内の物体が位置しているときに、ユーザ９９が右を向くと当該物体がユーザ９９の左方向に移動し、ユーザ９９が左を向くと当該物体がユーザの右方向に移動する。このように、立体映像再生装置２００は、ユーザ９９の動きに対して、三次元画像空間をユーザ９９の動きとは逆方向に移動させる。
　立体映像再生装置２００は、ユーザ９９の左右の目それぞれに視差分のずれが生じた２つの画像を表示する。ユーザ９９は、表示される画像の視差分のずれに基づき、画像上の物体の三次元的な位置を知覚することができる。なお、音響再生装置１００を睡眠誘導用のヒーリング音の再生に使用する等、ユーザ９９が目を閉じて使用する場合等には、立体映像再生装置２００が同時に使用される必要はない。つまり、立体映像再生装置２００は、本開示の必須の構成要素ではない。
　音響再生装置１００は、ユーザ９９の頭部に装着される音提示デバイスである。したがって、音響再生装置１００は、ユーザ９９の頭部と一体的に移動する。例えば、本実施の形態における音響再生装置１００は、いわゆるオーバーイヤーヘッドホン型のデバイスである。なお、音響再生装置１００の形態に特に限定はなく、例えば、ユーザ９９の左右の耳にそれぞれ独立して装着される２つの耳栓型のデバイスであってもよい。この２つのデバイスは、互いに通信することで、右耳用の音と左耳用の音とを同期して提示する。
　音響再生装置１００は、ユーザ９９の頭部の動きに応じて提示する音を変化させることで、ユーザ９９が三次元音場内で頭部を動かしているようにユーザ９９に知覚させる。このため、上記したように、音響再生装置１００は、ユーザ９９の動きに対して三次元音場をユーザの動きとは逆方向に移動させる。
　ここで、ユーザに提示される音像と外部から到来し、ユーザに聴取される外部音とが重複すると、ユーザ９９は、これらの音をいずれも識別することが難しくなることが知られている。本実施の形態に係る音響再生装置１００は、この現象を回避するように情報処理によって提示される音を補正することで音像及び外部音の少なくとも一方をユーザ９９に知覚させることができる。すなわち、音響再生装置１００は、音像と、外部音との重複を検知してこれを解消するように動作することで、音像及び外部音の少なくとも一方をユーザ９９に知覚させる。
　［構成］
　次に、図２を参照して、本実施の形態に係る音響再生装置１００の構成について説明する。図２は、実施の形態に係る音響再生装置の機能構成を示すブロック図である。
　図２に示すように、本実施の形態に係る音響再生装置１００は、処理モジュール１０１と、通信モジュール１０２と、検知器１０３と、ドライバ１０４と、を備える。
　処理モジュール１０１は、音響再生装置１００における各種の信号処理を行うための演算装置である、処理モジュール１０１は、例えば、プロセッサとメモリとを備え、メモリに記憶されたプログラムがプロセッサによって実行されることで、各種の機能を発揮する。
　処理モジュール１０１は、取得部１１１、フィルタ選択部１２１、出力音生成部１３１、及び、信号出力部１４１を有する。処理モジュール１０１が有する各機能部の詳細は、処理モジュール１０１以外の構成の詳細と併せて以下に説明する。
　通信モジュール１０２は、音響再生装置１００への音情報の入力を受け付けるためのインタフェース装置である。通信モジュール１０２は、例えば、アンテナと信号変換器とを備え、無線通信により外部の装置から音情報を受信する。より詳しくは、通信モジュール１０２は、無線通信のための形式に変換された音情報を示す無線信号を、アンテナを用いて受波し、信号変換器により無線信号から音情報への再変換を行う。これにより、音響再生装置１００は、外部の装置から無線通信により音情報を取得する。通信モジュール１０２によって取得された音情報は、取得部１１１によって取得される。このようにして音情報は、処理モジュール１０１に入力される。なお、音響再生装置１００と外部の装置との通信は、有線通信によって行われてもよい。
　音響再生装置１００が取得する音情報は、例えば、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ　２３００８－３）等の所定の形式で符号化されている。一例として、符号化された音情報には、音響再生装置１００によって再生される所定音についての情報と、当該音の音像を三次元音場内において所定位置に定位させる（つまり所定方向から到来する音として知覚させる）際の定位位置に関する情報、すなわち所定方向に関する情報とが含まれる。例えば、音情報には第１の所定音及び第２の所定音を含む複数の音に関する情報が含まれ、それぞれの音が再生された際の音像を三次元音場内における異なる方向から到来する音として知覚させるように音像を定位させる。
　この立体的な音によって、例えば、立体映像再生装置２００を用いて視認される画像と併せて、視聴されるコンテンツなどの臨場感を向上することができる。なお、音情報には、所定音についての情報のみが含まれていてもよい。この場合、所定方向に関する情報を別途取得してもよい。また、上記したように、音情報は、第１の所定音に関する第１音情報、及び、第２の所定音に関する第２音情報を含むが、これらを別個に含む複数の音情報をそれぞれ取得し、同時に再生することで三次元音場内における異なる位置に音像を定位させてもよい。このように、入力される音情報の形態に特に限定はなく、音響再生装置１００に各種の形態の音情報に応じた取得部１１１が備えられればよい。
　ここで、取得部１１１の一例を、図３を用いて説明する。図３は、実施の形態に係る取得部の機能構成を示すブロック図である。図３に示すように、本実施の形態における取得部１１１は、例えば、エンコード音情報入力部１１２、デコード処理部１１３、及び、センシング情報入力部１１４を備える。
　エンコード音情報入力部１１２は、取得部１１１が取得した、符号化された（言い換えるとエンコードされている）音情報が入力される処理部である。エンコード音情報入力部１１２は、入力された音情報をデコード処理部１１３へと出力する。デコード処理部１１３は、エンコード音情報入力部１１２から出力された音情報を復号する（言い換えるとデコードする）ことにより音情報に含まれる所定音に関する情報と、所定方向に関する情報とを、以降の処理に用いられる形式で生成する処理部である。センシング情報入力部１１４については、検知器１０３の機能とともに、以下に説明する。
　検知器１０３は、ユーザ９９の頭部の動き速度を検知するための装置である。検知器１０３は、ジャイロセンサ、加速度センサなど動きの検知に使用される各種のセンサを組み合わせて構成される。本実施の形態では、検知器１０３は、音響再生装置１００に内蔵されているが、例えば、音響再生装置１００と同様にユーザ９９の頭部の動きに応じて動作する立体映像再生装置２００等、外部の装置に内蔵されていてもよい。この場合、検知器１０３は、音響再生装置１００に含まれなくてもよい。また、検知器１０３として、外部の撮像装置などを用いて、ユーザ９９の頭部の動きを撮像し、撮像された画像を処理することでユーザ９９の動きを検知してもよい。
　検知器１０３は、例えば、音響再生装置１００の筐体に一体的に固定され、筐体の動きの速度を検知する。上記の筐体を含む音響再生装置１００は、ユーザ９９が装着した後、ユーザ９９の頭部と一体的に移動するため、検知器１０３は、結果としてユーザ９９の頭部の動きの速度を検知することができる。
　検知器１０３は、例えば、ユーザ９９の頭部の動きの量として、三次元空間内で互いに直交する３軸の少なくとも一つを回転軸とする回転量を検知してもよいし、上記３軸の少なくとも一つを変位方向とする変位量を検知してもよい。また、検知器１０３は、ユーザ９９の頭部の動きの量として、回転量及び変位量の両方を検知してもよい。
　センシング情報入力部１１４は、検知器１０３からユーザ９９の頭部の動き速度を取得する。より具体的には、センシング情報入力部１１４は、単位時間あたりに検知器１０３が検知したユーザ９９の頭部の動きの量を動きの速度として取得する。このようにしてセンシング情報入力部１１４は、検知器１０３から回転速度及び変位速度の少なくとも一方を取得する。ここで取得されるユーザ９９の頭部の動きの量は、三次元音場内のユーザ９９の座標及び向きを決定するために用いられる。音響再生装置１００では、決定されたユーザ９９の座標及び向きに基づいて、音像の相対的な位置を決定して音が再生される。具体的には、フィルタ選択部１２１、及び、出力音生成部１３１によって、上記の機能が実現されている。
　フィルタ選択部１２１は、決定されたユーザ９９の座標及び向きに基づいて、所定音について、三次元音場内のいずれの方向から到来する音としてユーザ９９に知覚させるかを決定し、所定音に対して適用される立体音響フィルタを選択する処理部である。立体音響フィルタは、入力された所定音に特定の頭部伝達関数を畳み込むことにより、当該特定の頭部伝達関数に基づく所定方向から到来する音として、上記の所定音をユーザ９９に知覚させる関数フィルタである。言い換えると、立体音響フィルタに所定音（又は、所定音に関する情報）が入力されることにより、所定音の左右の音信号に音圧差、時間差、及び、位相差などを発生させ、到来方向が制御された所定音を再生できる音信号を出力することができる。
　選択の候補となる複数の立体音響フィルタは、例えば、ユーザ９９ごとに調整されてあらかじめ準備されている。この複数の立体音響フィルタは、それぞれ到来方向ごとに計算して生成されており、複数の立体音響フィルタを記憶するための記憶装置（不図示）等に記憶されている。
　ここで、フィルタ選択部１２１の一例を、図４を用いて説明する。図４は、実施の形態に係るフィルタ選択部の機能構成を示すブロック図である。図４に示すように、本実施の形態におけるフィルタ選択部１２１は、例えば、第１分析部１２２、第２分析部１２３、第３分析部１２４、第１判定部１２５、第２判定部１２６、及び、調整部１２７を備える。
　第１分析部１２２は、音情報に含まれる所定音の種別を分析する処理部である。第１分析部１２２は、分析結果として、所定音があらかじめ設定された複数の種別うちのいずれに該当するかの情報を出力する。
　なお、所定音の種別とは、例えば、ヒトの声である音声か否か、すなわち、音声及び音声以外の２つの種別からなってもよいし、音の発生源等から周波数特性で分類される第１種別、第２種別・・・などの特定の対象物を必要としない種別であってもよい。また、種別の数に特に限定はなく、音情報に含まれる所定音、及び、音響再生装置１００を使用する環境から想定される外部音の種別によって、その数が設定されてもよい。この所定音の種別に関する記述は、外部音の種別についても同様に適用される。
　第２分析部１２３は、音響再生装置１００の外部から到来し、ユーザ９９によって聴取される外部音の種別を分析する処理部である。第２分析部１２３は、分析結果として、所定音があらかじめ設定された複数の種別うちのいずれに該当するかの情報を出力する。また、第２分析部１２３による外部音の種別の分析結果は、上記の所定音の種別との比較に用いられる。したがって、外部音としては、所定音と重複したときに所定音及び外部音の少なくとも一方の聴取が困難になることが想定される音が用いられ、その他は削除されてもよい。例えば、所定音の音圧は、あらかじめ音情報と、ユーザ９９による音響再生装置１００の設定音量とによって決められている。したがって、再生されている所定音と十分に干渉しうる音圧範囲内であるかによって外部音として用いるか否かの閾値が設けられていてもよい。
　第１分析部１２２による所定音の種別の分析の説明と、第２分析部１２３による外部音の種別の分析の説明とは、図７を用いてさらに後述する。
　第３分析部１２４は、外部音の到来方向を分析する処理部である。第３分析部１２４は、２以上の収音装置のそれぞれにおいて収音された外部音をそれぞれの外部音情報として取得し、これらの２以上の収音装置間で外部音情報による外部音と同じ１つの外部音を特定し、その到来時間差、音圧差、位相差等によって当該外部音の到来方向を計算によって分析する。第３分析部１２４は、分析結果として、外部音がユーザ９９に対してどの方向から到来したかの情報を出力する。
　第１判定部１２５は、所定音の種別及び外部音の種別が一致しているか否かを判定する処理部である。このため、第１判定部１２５は、第１分析部１２２及び第２分析部１２３の分析結果を取得する。これらの分析結果に基づいて、第１判定部１２５は、所定音と外部音との到来方向が一致しているか否かを判定する。第１判定部１２５は、判定結果として、所定音の種別と外部音の種別とが一致しているか否かを示す情報を出力する。なお、所定音及び外部音がそれぞれ複数存在する場合、第１判定部１２５は、全ての組み合わせの所定音と外部音とについて判定を行ってもよいし、ユーザ９９から見た所定範囲内だけで全ての組み合わせの所定音と外部音とについて判定を行ってもよい。
　第２判定部１２６は、所定音の到来方向と、第３分析部１２４の分析結果による外部音の到来方向とが重複するか否かを判定する処理部である。第２判定部１２６は、音情報に含まれる所定方向と、ユーザ９９の座標及び向きとに基づいて所定音の到来方向を計算し、計算後の所定音の到来方向と外部音の到来方向とを比較することでこれらが重複しているか否かを判定する。第２判定部１２６の判定においては、所定音の到来方向と外部音の到来方向とは、完全に一致している必要はない。例えば、所定音の到来方向と外部音の到来方向とが、ある角度範囲内であれば、互いに干渉してユーザ９９による識別を困難にさせることがわかる場合、このような角度範囲の閾値が設けられてもよい。この閾値は、所定音の音圧、外部音の音圧、ユーザ９９の最小弁別角度などが影響するため、ユーザ９９ごとに設定されてもよいし、複数のユーザ９９において平均的に定められた５度、１０度、１５度、２０度等の固定値として設定されてもよい。
　調整部１２７は、第１判定部１２５の判定結果及び第２判定部１２６の判定結果に基づいて、所定音及び外部音の少なくとも一方の識別性を向上させるための調整をして、立体音響フィルタを選択する処理部である。調整部１２７が所定音及び外部音のいずれの音の識別性を向上させるかについては、ユーザ９９があらかじめ設定しておくことができる。調整部１２７は、この設定値を読み込み、設定値に従って、所定音及び外部音の少なくとも一方の識別性を向上させるための調整を実行する。調整部１２７による調整については、音響再生装置１００の動作とともに後述する。
　調整部１２７による音の調整は、立体音響フィルタをもとの音情報上の所定方向に基づく立体音響フィルタから調整を実現するための音の到来方向の立体音響フィルタへの変更によって行われる。つまり、調整部１２７による音の調整は、変更後の立体音響フィルタの決定とみなすこともできる。この結果、フィルタ選択部１２１からは初期値としての立体音響フィルタを変更した、変更後の立体音響フィルタが選択されて出力される。このときの出力音信号における音の到来方向は、音情報上の所定方向と異なる方向である。
　なお、上記のような立体音響フィルタの初期値を設定することなく、直接的に立体音響フィルタを決定してもよい。つまり、立体音響フィルタの変更とは、説明のために便宜的に用いられる表現であり、初期値を用いることなく直接的に立体音響フィルタを選択して出力することも本開示に含まれる。
　出力音生成部１３１は、フィルタ選択部１２１において選択された立体音響フィルタを用いて、音情報に含まれる所定音に関する情報を当該選択された立体音響フィルタに入力することで、出力音信号を生成する処理部である。
　ここで、出力音生成部１３１の一例を、図５を用いて説明する。図５は、実施の形態に係る出力音生成部の機能構成を示すブロック図である。図５に示すように、本実施の形態における出力音生成部１３１は、例えば、フィルタ処理部１３２を備える。フィルタ処理部１３２は、フィルタ選択部１２１が連続的に選択するフィルタを逐次読み込み、時間軸上の対応する所定音に関する情報を入力することで、三次元音場上で所定音が到来する到来方向が制御された音信号を連続的に出力する。このようにして、時間軸上で処理単位の時間ごとに区切られた音情報が、時間軸上で連続的な音信号（出力音信号）として出力される。
　信号出力部１４１は、生成された出力音信号をドライバ１０４へと出力する機能部である。信号出力部１４１は、出力音信号に基づいてデジタル信号からアナログ信号への信号変換などを行うことで、波形信号を生成し、波形信号に基づいてドライバ１０４に音波を発生させ、ユーザ９９に音を提示する。ドライバ１０４は、例えば、振動板とマグネット及びボイスコイルなどの駆動機構とを有する。ドライバ１０４は、波形信号に応じて駆動機構を動作させ、駆動機構によって振動板を振動させる。このようにして、ドライバ１０４は、出力音信号に応じた振動板の振動により、音波を発生させ、音波が空気を伝播してユーザ９９の耳に伝達し、ユーザ９９が音を知覚する。
　［動作］
　次に、図６及び図７を参照して、上記に説明した音響再生装置１００の動作について説明する。図６は、実施の形態に係る音響再生装置の動作を示すフローチャートである。また、図７は、実施の形態に係る第１分析部及び第２分析部の動作を示すフローチャートである。まず、音響再生装置１００の動作が開始されると、取得部１１１が通信モジュール１０２を介して音情報を取得する。音情報は、デコード処理部１１３によって所定音に関する情報と、所定方向に関する情報とにデコードされ、フィルタ選択が開始される。
　フィルタ選択部１２１では、初期値として、コンテンツにあらかじめ設定された到来方向となるように所定音を再生させる立体音響フィルタが記憶装置等から読み出される。
　音響再生装置１００は、所定音が到来方向から到来するように立体音響フィルタを選択しては適用して音の再生を行う。音の再生と並行するように、第１分析部１２２は、再生している所定音の種別を分析し（Ｓ１０１）分析結果を連続的に出力する。第１分析部１２２による所定音の種別の分析は、図７のようにして行われる。まず、第１分析部１２２は、所定音を所定の処理単位時間に分割し、分割データを生成する（Ｓ２０１）。次に、第１分析部１２２は、分割データを、種別に対応付けられたクラスにクラスタリングするために構築されたニューラルネットワーク等の機械学習モデルに入力して、それぞれのクラスに対する尤度を算出させる（Ｓ２０２）。この結果、第１分析部１２２は、入力した分割データが、最も尤度が高いクラスに対応する種別であるとして、当該最も尤度が高い種別に相当することを示す分析結果を出力する（Ｓ２０３）。
　図６に戻り、外部音を収音するための収音装置は、音響再生装置１００の動作開始とともに外部音の収音を開始しており、外部音情報を逐次第２分析部１２３へと出力している。第２分析部１２３は、第１分析部１２２と同様にして、取得した外部音情報について、外部音の種別を分析し（Ｓ１０２）分析結果を連続的に出力する。
　また、第３分析部１２４は、取得した外部音情報について、外部音の到来方向を分析し分析結果を連続的に出力する。これらの第１分析部１２２、第２分析部１２３、及び、第３分析部１２４による分析は、並行して行われるので、図中のステップＳ１０１及びＳ１０２の順序が入れ替えられてもよい。
　次に、第１判定部１２５は、所定音の種別と外部音の種別とが一致しているか否かを判定する（Ｓ１０３）。所定音の種別と外部音の種別とが一致している場合（Ｓ１０３でＹｅｓ）、さらに、第２判定部１２６は、所定音の到来方向と外部音の到来方向とが重複しているか否かを判定する（Ｓ１０４）。所定音の到来方向と外部音の到来方向とが重複している場合（Ｓ１０４でＹｅｓ）、調整部１２７は、立体音響フィルタを、音の識別性が向上されるように調整する（Ｓ１０５）。例えば、調整部１２７は、所定方向と到来方向とが一致する初期値の立体音響フィルタから、所定方向と到来方向とが異なる立体音響フィルタへの変更を行うために、変更先の立体音響フィルタを決定する。一方で、所定音の種別と外部音の種別とが一致していない場合（Ｓ１０３でＮｏ）、及び、所定音の到来方向と外部音の到来方向とが重複していない場合（Ｓ１０４でＮｏ）、フィルタ選択部１２１は処理を終了し、初期値の立体音響フィルタを選択された立体音響フィルタとして出力する。
　以下、調整部１２７による立体音響フィルタの決定（言い換えると立体音響フィルタの変更）について、図８～図１０を参照して説明する。図８は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第１図である。また、図９は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第２図である。また、図１０は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第３図である。図８～図１０では、紙面上方向を正面とした姿勢のユーザ９９を「Ｕ」が付された円形で模式的に示しており、このユーザ９９は、紙面に垂直な方向に直立の姿勢でいる。
　さらに、図８～図１０では、所定音が定位されている位置を、黒丸印として示しており、音の種別に応じた仮想的な音の発生源のアイコンが併せて示されている。
　図７に示すように、ある時点の第１の所定音が定位されている位置は、第１位置Ｓ１である。同じ時点で、第１の外部音が第２位置Ｓ２から到来している。第１の所定音と第１の外部音とについては、同じスピーカのアイコンが付されており、同じ種別であることがわかる。したがって、第１判定部１２５による判定結果は種別の一致を示すものである。また、図中にドットハッチングを付した範囲（図中の前面側）は、第１の所定音の到来方向を中心に広がる、第１の所定音と重複する到来方向であると見なしうる範囲である。第１の外部音の到来方向は、この範囲内であることから、第１の所定音と第１の外部音とが重複していることがわかる。
　したがって、第２判定部１２６による判定結果は到来方向の重複を示すものである。この結果、図８の例では、第１の外部音の音圧を下げ、第１の所定音の識別性を向上させるように立体音響フィルタが変更されている。このために、調整部１２７は、第１の外部音の外部音情報から第１の外部音の逆位相の信号を生成してこれを重畳するように立体音響フィルタを変更している。これにより、立体音響フィルタに所定音に関する情報を入力して得られた出力音信号には、第１の外部音の逆位相の信号が付加された信号であり、到来する第１の外部音と相殺することにより第１の外部音の音圧を低下させる。
　また、図８において、ユーザ９９の左右に延びる１点鎖線は、ユーザ９９の頭部を前後に分ける仮想的な境界面を示している。この境界面は、ユーザ９９の外耳道に沿う面であってもよいし、ユーザ９９の耳殻の最後端の点を通る面であってもよいし、単にユーザ９９の頭部の重心を通る面であってもよい。このような境界面の前後において、つまり、ユーザ９９の前後で音の聞き取りやすさに差があることが知られる。したがって、境界面を境に、前面側と後面側とで、立体音響フィルタの変更の特性を異ならせることが有効である。
　図８では、上記と同じある時点の第２の所定音の定位されている位置は、第３位置Ｓ３である。同じ時点で、第２の外部音が第４位置Ｓ４から到来している。第２の所定音と第２の外部音とについては、同じスピーカのアイコンが付されており、同じ種別であることがわかる。したがって、第１判定部１２５による判定結果は種別の一致を示すものである。また、図中にドットハッチングを付した範囲（図中の後面側）は、第２の所定音の到来方向を中心に広がる、第２の所定音と重複する到来方向であると見なしうる範囲である。第２の外部音の到来方向は、この範囲内であることから、第２の所定音と第２の外部音とが重複していることがわかる。したがって、第２判定部１２６による判定結果は到来方向の重複を示すものである。この結果、図８の例では、第２の外部音の音圧を下げ、第２の所定音の識別性を向上させるように立体音響フィルタが変更されている。
　第１の所定音と第２の所定音とは、到来方向のみが異なる同じ音であり、第１の外部音と第２の外部音とは、到来方向のみが異なる同じ音であるとする。しかしながら、境界面よりも後面側における第２の所定音と第２の外部音との到来方向が重複すると見なしうる範囲は、境界面よりも前面側における第１の所定音と第１の外部音との到来方向が重複すると見なしうる範囲よりも大きく設定されている。このようにして、前面側に比べて、後面側（つまりユーザ９９の背後）から到達する音の到来方向に対する最小弁別角度の広さに対応する構成が備えられてもよい。
　また、調整部１２７による調整の別の例として、図９に示すように、第１の所定音の定位位置を第５位置Ｓ１ａとするように、到来方向を回転させる立体音響フィルタの変更を行ってもよい。ここでは、ドットハッチングを付した範囲が外部音の到来方向と重複しないようになるまで第１の外部音の到来方向から遠くなる方向に第１の所定音の到来方向を回転変動させている。この例では、第１の所定音及び第１の外部音のいずれも識別性が向上され、ユーザ９９によって聴取可能となる。また、調整部１２７は、単に第１の所定音の音圧を低下させて、第１の外部音の識別性を向上させて、聴取可能とすることもできる。
　また図１０に示すような場合には、調整部１２７は、特に立体音響フィルタの変更を行わなくてもよい。図１０に示すように、第１の所定音に対して、第３の外部音が第６位置Ｓ５から到来し、第４の外部音が第７位置Ｓ６から到来している。図中に示すように、第１の所定音と第３の外部音とは異なるアイコンが付された、異なる種別の音であるので到来方向が重複していても識別して聴取することが可能である。また、第１の所定音と第４の所定音とは、同じスピーカのアイコンが付された同じ種別の音であるものの、到来方向が十分に異なっているので、識別して聴取することが可能である。このように、識別部１２７は、第１判定部１２５の判定結果において異なる種別であることが示されている場合、及び、第２判定部１２６の判定結果において、到来方向が重複しないことが示されている場合には、立体音響フィルタの変更を行わなくてもよい。
　ただし、音の種別が異なっていても到来方向が完全に一致している場合や、到来方向が重複していなくても、音圧によって互いに影響が及ぶ場合などには、立体音響フィルタの変更を行ってもよい。
　このようにして、本実施の形態では、所定音及び外部音の種別が一致し、所定音及び外部音の到来方向が重複しているなどによって所定音と外部音とをそれぞれ識別することが困難な場合に、（ａ）所定音及び外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）所定音の到来方向を調整することの少なくとも一方を行うこれにより、所定音及び外部音の少なくとも一方の識別性を向上させて、当該識別性が向上された一方の聴取を容易にすることができるので、より適切に立体的な音をユーザ９９に知覚させることが可能となる。
　（その他の実施の形態）
　以上、実施の形態について説明したが、本開示は、上記の実施の形態に限定されるものではない。
　例えば、上記の実施の形態では、ユーザの頭部の動きに音が追従しない例を説明したが、本開示の内容は、ユーザの頭部の動きに音が追従する場合においても有効である。つまり、ユーザの頭部の動きとともに相対的に移動する第１位置から到達する音として所定音をユーザに知覚させる動作の中で、所定音と外部音との種別が一致し、到来方向が重複するなどする場合に、立体音響フィルタを変更して、少なくとも一方の識別性を向上してもよい。
　また、例えば、上記の実施の形態に説明した音響再生装置は、構成要素をすべて備える一つの装置として実現されてもよいし、複数の装置に各機能が割り振られ、この複数の装置が連携することで実現されてもよい。後者の場合には、処理モジュールに該当する装置として、スマートフォン、タブレット端末、又は、ＰＣなどの情報処理装置が用いられてもよい。
　上記実施の形態の説明と異なる構成として例えば、デコード処理部によって、元の音情報を補正することにより、変更された立体音響フィルタを選択させることもできる。具体的には、本例におけるデコード処理部は、音情報に含まれる所定方向に関する情報を生成するとともに、元の音情報の補正を行う処理部である。デコード処理部は、第１分析部、第２分析部、第３分析部、第１判定部及び第２判定部と同様の動作を行った後、必要に応じて所定音の到来方向を前記外部音の到来方向から遠くなる方向にあらかじめ設定された角度だけ変動させるように、所定方向に関する情報を補正する。これにより、デコード処理部から出力された補正後の所定方向に関する情報に基づいて、所定音が到来する到来方向を規定する立体音響フィルタが選択されるだけで、上記の実施の形態における変更後の立体音響フィルタが適用されることとなる。
　このように、本願開示の情報処理方法等を、元の音情報における所定方向に関する情報を補正することによって実現してもよい。上記のようなデコード処理部は、例えば、従来の立体音響再生装置のデコード処理を行う処理部と入れ替えて挿入するだけで、本願開示と同様の効果を奏することができる音響再生装置を実現することができる。
　また、本開示の音響再生装置は、ドライバのみを備える再生装置に接続され、当該再生装置に対して、取得した音情報に基づいて選択が行われた立体音響フィルタを用いて出力音信号を出力するのみの音響処理装置として実現することもできる。この場合、音響処理装置は、専用の回路を備えるハードウェアとして実現してもよいし、汎用のプロセッサに特定の処理を実行させるためのソフトウェアとして実現してもよい。
　また、上記の実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記の実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的又は具体的な態様は、装置、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的又は具体的な態様は、装置、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、コンピュータによって実行される音声信号再生方法として実現されてもよいし、音声信号再生方法コンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、立体的な音をユーザに知覚させる等の音響再生の際に有用である。
　　　９９　ユーザ
　　１００　音響再生装置
　　１０１　処理モジュール
　　１０２　通信モジュール
　　１０３　検知器
　　１０４　ドライバ
　　１１１　取得部
　　１１２　エンコード音情報入力部
　　１１３　デコード処理部
　　１１４　センシング情報入力部
　　１２１　フィルタ選択部
　　１２２　第１分析部
　　１２３　第２分析部
　　１２４　第３分析部
　　１２５　第１判定部
　　１２６　第２判定部
　　１２７　調整部
　　１３１　出力音生成部
　　１３２　フィルタ処理部
　　１４１　信号出力部
　　２００　立体映像再生装置
　　　Ｓ１　第１位置
　　　Ｓ１ａ　第５位置
　　　Ｓ２　第２位置
　　　Ｓ３　第３位置
　　　Ｓ４　第４位置
　　　Ｓ５　第６位置
　　　Ｓ６　第７位置

Claims (10)

  1. 　所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音をユーザに知覚させるための出力音信号を生成する情報処理方法であって、
    　前記所定音の種別を分析する第１分析ステップと、
    　外部からの音として前記ユーザに聴取される外部音の種別を分析する第２分析ステップと、
    　前記外部音の到来方向を分析する第３分析ステップと、
    　分析された前記所定音の種別と分析された前記外部音の種別とを比較することで、前記所定音の種別及び前記外部音の種別が一致しているか否かを判定する第１判定ステップと、
    　前記所定音の到来方向と分析された前記外部音の到来方向とを比較することで、前記所定音の到来方向及び前記外部音の到来方向が重複するか否かを判定する第２判定ステップと、
    　前記第１判定ステップ及び前記第２判定ステップの判定結果に基づいて、（ａ）前記所定音及び前記外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）前記所定音の到来方向を調整することの少なくとも一方を行う調整ステップと、を含む
    　情報処理方法。
  2. 　前記調整ステップでは、前記第１判定ステップでの判定において、前記所定音の種別及び前記外部音の種別が一致していると判定され、かつ、前記第２判定ステップでの判定において、前記所定音の到来方向及び前記外部音の到来方向が重複すると判定された場合に、前記（ａ）及び前記（ｂ）の少なくとも一方を行う
    　請求項１に記載の情報処理方法。
  3. 　前記調整ステップでは、前記（ａ）として、前記外部音と逆位相の重畳音を生成して重畳することにより、前記外部音の音圧を減衰する
    　請求項１又は２に記載の情報処理方法。
  4. 　前記調整ステップでは、前記（ｂ）として、前記所定音の到来方向を前記外部音の到来方向から遠くなる方向にあらかじめ設定された角度だけ変動させる
    　請求項１～３のいずれか１項に記載の情報処理方法。
  5. 　前記調整ステップでは、前記（ｂ）として、前記所定音の到来方向を前記外部音の到来方向から遠くなる方向にあらかじめ設定された角度だけ変動させるように、前記所定方向に関する情報を補正する
    　請求項４に記載の情報処理方法。
  6. 　前記所定音の種別の分析及び前記外部音の種別の分析では、
    　　分析対象の音を時間領域における単位時間ごとに分割し、
    　　分割後の音を機械学習モデルに入力することで、あらかじめ設定された複数種別のそれぞれに対する尤度を算出し、
    　　入力された音の種別が、算出された前記尤度が最も高い種別に相当することを示す分析結果を出力する
    　請求項１～５のいずれか１項に記載の情報処理方法。
  7. 　前記所定音の種別及び前記外部音の種別は、音声及び音声以外の２つからなる
    　請求項１～６のいずれか１項に記載の情報処理方法。
  8. 　前記所定音の到来方向及び前記外部音の到来方向が重複するか否かの判定は、前記所定音の到来方向と前記外部音の到来方向との角度差が閾値よりも小さいか否かによって行われ、
    　前記ユーザの頭部を前後に分ける仮想的な境界面に対して、前記所定音の到来方向及び前記外部音の到来方向が前記境界面の後面側にある場合の前記閾値である第１閾値は、前記所定音の到来方向及び前記外部音の到来方向が前記境界面の前面側にある場合の前記閾値である第２閾値よりも大きい
    　請求項１～７のいずれか１項に記載の情報処理方法。
  9. 　請求項１～８のいずれか１項に記載の情報処理方法をコンピュータに実行させるための
    　プログラム。
  10. 　所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音をユーザに知覚させるための出力音信号を生成して再生する音響再生装置であって、
    　前記音情報を取得する取得部と、
    　前記所定音の種別を分析する第１分析部と、
    　外部からの音として前記ユーザに聴取される外部音の種別を分析する第２分析部と、
    　前記外部音の到来方向を分析する第３分析部と、
    　分析された前記所定音の種別と分析された前記外部音の種別とを比較することで、前記所定音の種別及び前記外部音の種別が一致しているか否かを判定する第１判定部と、
    　前記所定音の到来方向と分析された前記外部音の到来方向とを比較することで、前記所定音の到来方向及び前記外部音の到来方向が重複するか否かを判定する第２判定部と、
    　前記第１判定ステップ及び前記第２判定ステップの判定結果に基づいて、（ａ）前記所定音及び前記外部音の少なくとも一方の音圧を調整すること、及び、（ｂ）前記所定音の到来方向を調整することの少なくとも一方を行う調整部と、
    　調整によって生成された前記出力音信号により音を出力する出力部と、を備える
    　音響再生装置。
PCT/JP2021/026589 2020-08-20 2021-07-15 情報処理方法、プログラム、及び、音響再生装置 WO2022038931A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21858080.1A EP4203521A4 (en) 2020-08-20 2021-07-15 INFORMATION PROCESSING METHOD, PROGRAM AND ACOUSTIC PLAYBACK DEVICE
JP2022543321A JPWO2022038931A1 (ja) 2020-08-20 2021-07-15
CN202180056218.7A CN116018637A (zh) 2020-08-20 2021-07-15 信息处理方法、程序及音响再现装置
US18/108,910 US20230199428A1 (en) 2020-08-20 2023-02-13 Information processing method, recording medium, and sound reproduction device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063068103P 2020-08-20 2020-08-20
US63/068,103 2020-08-20
JP2021090992 2021-05-31
JP2021-090992 2021-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/108,910 Continuation US20230199428A1 (en) 2020-08-20 2023-02-13 Information processing method, recording medium, and sound reproduction device

Publications (1)

Publication Number Publication Date
WO2022038931A1 true WO2022038931A1 (ja) 2022-02-24

Family

ID=80350296

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026589 WO2022038931A1 (ja) 2020-08-20 2021-07-15 情報処理方法、プログラム、及び、音響再生装置

Country Status (5)

Country Link
US (1) US20230199428A1 (ja)
EP (1) EP4203521A4 (ja)
JP (1) JPWO2022038931A1 (ja)
CN (1) CN116018637A (ja)
WO (1) WO2022038931A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036610A (ja) * 2005-07-26 2007-02-08 Yamaha Corp 発音装置
JP2018528485A (ja) * 2015-07-24 2018-09-27 オロサウンド 能動型雑音制御装置
JP2020018620A (ja) 2018-08-01 2020-02-06 株式会社カプコン 仮想空間における音声生成プログラム、四分木の生成方法、および音声生成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984356B1 (ko) * 2013-05-31 2019-12-02 노키아 테크놀로지스 오와이 오디오 장면 장치
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
US10638248B1 (en) * 2019-01-29 2020-04-28 Facebook Technologies, Llc Generating a modified audio experience for an audio system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036610A (ja) * 2005-07-26 2007-02-08 Yamaha Corp 発音装置
JP2018528485A (ja) * 2015-07-24 2018-09-27 オロサウンド 能動型雑音制御装置
JP2020018620A (ja) 2018-08-01 2020-02-06 株式会社カプコン 仮想空間における音声生成プログラム、四分木の生成方法、および音声生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4203521A4

Also Published As

Publication number Publication date
JPWO2022038931A1 (ja) 2022-02-24
US20230199428A1 (en) 2023-06-22
EP4203521A4 (en) 2024-01-24
CN116018637A (zh) 2023-04-25
EP4203521A1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
US8787584B2 (en) Audio metrics for head-related transfer function (HRTF) selection or adaptation
JP6446068B2 (ja) ルーム最適化された伝達関数の決定および使用
JP7165215B2 (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
JP2020532914A (ja) 仮想オーディオのスイートスポット適応法
US11523244B1 (en) Own voice reinforcement using extra-aural speakers
US20220417697A1 (en) Acoustic reproduction method, recording medium, and acoustic reproduction system
WO2016167007A1 (ja) 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
JP2003032776A (ja) 再生システム
CN111372167B (zh) 音效优化方法及装置、电子设备、存储介质
CN111492342A (zh) 音频场景处理
KR20220031058A (ko) 불일치 오디오 비주얼 캡쳐 시스템
US20230179938A1 (en) Information processing method, recording medium, and sound reproduction device
WO2022038931A1 (ja) 情報処理方法、プログラム、及び、音響再生装置
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置
US12003954B2 (en) Audio system and method of determining audio filter based on device position
EP4007299A1 (en) Audio output using multiple different transducers
WO2023106070A1 (ja) 音響処理装置、音響処理方法、及び、プログラム
WO2023058162A1 (ja) 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法
US20240031757A1 (en) Information processing method, recording medium, and information processing system
WO2023166721A1 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US20240056756A1 (en) Method for Generating a Personalised HRTF
JP2024056580A (ja) 情報処理装置及びその制御方法及びプログラム
JP2023049852A (ja) 音声出力装置、制御システムおよびキャリブレーション方法
JP2007318188A (ja) 音像提示方法および音像提示装置
CN117063489A (zh) 信息处理方法、程序和信息处理***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858080

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022543321

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021858080

Country of ref document: EP

Effective date: 20230320