WO2002052897A1 - Dispositif de localisation d'image sonore virtuelle, procede de localisation d'image sonore virtuelle, et moyen de stockage - Google Patents
Dispositif de localisation d'image sonore virtuelle, procede de localisation d'image sonore virtuelle, et moyen de stockage Download PDFInfo
- Publication number
- WO2002052897A1 WO2002052897A1 PCT/JP2001/011379 JP0111379W WO02052897A1 WO 2002052897 A1 WO2002052897 A1 WO 2002052897A1 JP 0111379 W JP0111379 W JP 0111379W WO 02052897 A1 WO02052897 A1 WO 02052897A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound image
- image localization
- sound
- information
- processing device
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Definitions
- Virtual sound image localization processing device virtual sound image localization processing method, and recording medium
- the present invention relates to a virtual sound image localization processing device suitable for use in, for example, reproducing music information and video information.
- DVDs DigitalVersatti1eDisc
- C3 digital surround sound system
- the front center channel (C), the front left and right channels (LZR), and the rear left and right channels (S LZS R) have a full range of 5 channels, and It consists of only auxiliary channels (SW), and the speed corresponding to each channel is arranged around the listener to provide an effective surround sound.
- multi-angle This is a function that allows the user to switch between up to 9 angles of the camera according to the user's preference ⁇ Angle or view angle, recording movies, sports, live, etc. images on a recording medium with multiple cameras and angles I
- this multi-angle function is used, for example, in the case of music video, the playback video in the normal viewing mode
- the playback video in the normal viewing mode
- the present invention has been made in view of such a point, and it is an object of the present invention to provide a virtual sound image localization processing device capable of localizing a reproduced sound image at an arbitrary position according to a reproduction situation. .
- a direction in which a listener faces a sound image formed by localizing a sound source or a sound source group or a relative positional relationship between the sound source position and the listener position is referred to as an “angle” for convenience.
- the sound image localization processing device of the present invention is a sound image localization processing device that receives an acoustic signal of a sound source and processes the sound image to be localized at the sound image localization position of the sound source. Means to change the sound image localization information indicating the direction, and the sound image localization position of the sound source is changed based on the sound image localization information specified by the sound image change means for the sound signal of the sound source. And a sound image localization processing means for obtaining a reproduced output by performing a process for causing the sound image to be reproduced.
- the reproduced signal reproduced from the sound source by the reproducing means is decoded by the decoder. It decodes and outputs the sound image localization selection information and the reproduced sound signal of each channel.
- the sound image localization position changing means synthesizes the reproduced sound signals of each channel and outputs a synthesized sound signal of each channel ⁇
- the sound image change specifying means supplies changed sound image localization selection information designating angle selection to the sound image localization selection information.
- the changed sound image localization selection information is supplied to the sound image localization position changing means, and the reproduced sound signal of each channel supplied from the sound image localization position changing means is supplied to the listener according to the reproduced sound image localization information.
- the composite audio signal of each channel is output by changing the synthesis ratio of the reproduced audio signal of each channel so that each audio signal is obtained.
- the loudspeaker of each channel emits a reproduced sound based on the synthesized acoustic signal of each channel whose localization position of the reproduced sound image has been changed according to the video signal.
- the listener can hear the reproduced sound due to the change in the localization position or direction of the reproduced sound image.
- each sound image localization position is appropriately set in accordance with the angle mode selected by the listener, and the reproduced sound is reproduced.
- the effect is that it is possible to reproduce sound that is more realistic than ever.
- the change processing by the localization information changing means changes the synthesis ratio of each reproduction channel of the reproduction audio signal, so that the sound source image position on the screen is changed.
- the sound image localization position is changed so that the sound image localization position is left, center, and right for each of the left, center, and right channels from the listener position, and the sound image is located radially closer to the sound image from the listener position. Or the direction of movement away from, hour This has the effect that the synthesis processing can be performed so that the sound image position is moved in the direction of the clockwise or counterclockwise rotation, or in the direction of the left and right.
- the change processing by the sound image localization processing means is performed on the reproduced sound signal based on a virtual sound source position and a head sound transfer function from the speaker to both ears of the listener.
- the former performs the process of changing the transfer function, so that the listener responds to the image by the screen and as if the multi-channel by the speed of the repositioning of the reproduced sound image was changed.
- the sound image localization information changed and designated by the localization information changing means is edited and recorded together with the reproduction time information of the reproduced audio signal, and the recorded sound image is recorded. Since the playback audio signal is played back based on the localization information and the playback time information, the listener can create a camera angle scene composed of itself, and can enjoy it repeatedly. At that time, the reproduced sound also has a sense of localization of the sound image localization position as if the listener moves and faces the sound source image position projected on the screen according to the camera angle. It has the effect of being able to.
- the sound image localization processing means includes: The listener is changed so that it is located at the sound image position, and the sound image localization position is changed based on the changed sound image localization information.Therefore, the listener responds to the sound source position of the video by the screen, Localization position of playback sound image Thus, it is possible to listen to the reproduced sound from the speaker in which is specified or the localization position of the reproduced sound image is changed.
- the sound image localization information indicating the reproduced sound image localization position of the supplied sound image with respect to the listener's listening position is changed, and the sound signal of this sound source is specified.
- the sound image localization position of this sound source is changed to obtain a playback output, and the sound image is localized at an arbitrary position.
- Each sound image localization position is also set appropriately according to the selected angle mode, and the reproduced sound is reproduced, so that more realistic sound reproduction can be performed that matches the reproduced sound source video position. This has the effect.
- the sound image localization information indicating the reproduced sound image localization position of the sound source with respect to the position of the listener is recorded in association with the reproduction time information changed to the sound image localization information. Therefore, when this recording medium is mounted on the above-described sound image localization processing apparatus and a reproduced audio signal is supplied, reproduction time information associated with the reproduced audio signal and reproduction time information recorded on the recording medium are obtained. At the specified timing, the sound image localization processing based on the sound image localization information is performed, so that an effect that the sound image localization different from the default sound image localization can be enjoyed in accordance with the reproduced sound signal.
- FIG. 1 is a block diagram showing a configuration of a sound image localization processing device applied to the present embodiment.
- FIG. 2 is a block diagram showing a configuration of another sound image localization processing device.
- FIG. 3 is a block diagram showing the configuration of another sound image localization processing device.
- FIG. 4 is a block diagram showing the configuration of another sound image localization processing device.
- FIG. 5 is a diagram showing the movement of the sound image position.
- FIG. 6 is a diagram showing the localization of a sound image with respect to a sound source.
- the sound image localization processing apparatus synthesizes the reproduced sound signals of the respective channels in correspondence with the multi-angle function of the DVD disc, so that the listener can obtain a sound image localization feeling suitable for the angle of the reproduced screen. It can be.
- FIG. 1 is a block diagram showing a configuration of a sound image localization processing device applied to the present embodiment.
- the sound image localization processing device 1 decodes the reproduction signal read from the DVD disc 2 by an optical pick-up (not shown) to decode the video signal SV, the angle selection signal S A, and the reproduction sound signal C of each channel.
- a remote controller (remote commander) 5 for supplying an angle selection designation signal SA 'for designating an angle selection to the camera 3 and the synthesizing circuit 4; a screen 6 for projecting an image based on the video signal SV;
- SW speakers are not shown
- a listener 9 that listens to the sound reproduced by the speakers 7 and 8 and watches the image displayed on the screen.
- Headphones may be used instead of forces 7 and 8.
- the DVD disc 2 specifies the angle selection for the andal selection signal SA, which is the localization information of the reproduced sound image, by the angle selection specifying signal SA 'specified by the listener 9 It is configured so that an arbitrary angle mode can be set for a desired video signal SV.
- the above-described localization information of the reproduced sound image can be simply expressed as position information or direction information.
- the synthesis circuit 4 sends the reproduced sound signals C, L, R, SL, SR, and SW of each channel to the listener 9 in the angle mode specified by the angle selection by the angle selection specifying signal SA '.
- the synthesized sound signals C ', L', R,, SL obtained by changing the synthesis ratio or channel allocation to each output channel so that the sound image localization position is relatively changed.
- ', SR', and SW are connected to the speakers of each channel C, L, R, SL, SR, and SW arranged around the listener 9.
- a screen 6 or a monitor is arranged in front of the listener 9 and speakers 7 of the L / RZC channel are arranged in front of the left, right, and center thereof.
- S / L / SR channel speakers are arranged on the left and right behind the listener 9. Since the signal of the SW channel is a signal of only the low frequency range that does not produce a clear sense of localization, the speaker of the SW channel may be arranged at any position in the room to be viewed.
- the localization information of the reproduced sound image for the listener 9 is set based on the relative positional relationship such as the listening position of the listener 9 and the speed 7 of the LZR channel in the normal mode.
- the sound image localization position of each virtual sound source is calculated according to the angle of the sound source, and the signal is processed to localize the sound image at that position. This calculation is performed by, for example, coordinate transformation calculation.
- the localization information of the reproduced sound image be expressed by the azimuth and distance indicated by polar coordinates or the rectangular coordinate values in order to determine the more accurate sound image localization position. Because it is difficult to know the listening position of each speaker, it is difficult to estimate the arrangement conditions of each power based on the average listening environment, for example, the average listening environment using household equipment. Is also good. Alternatively, the virtual sound image direction may be controlled based on only the azimuth information, omitting the distance information.
- the decoder 3 decodes the playback signal read from the DVD disc 2 by an optical pickup (not shown) and decodes the video signal SV, the end selection signal SA, and the playback audio signals C, L, R, SL, and SR of each channel. , SW output.
- the synthesis circuit 4 synthesizes the reproduced audio signals C, L, R, SL, SR, and SW of each channel by the angle selection signal SA, and synthesizes the synthesized audio signals C ', L', R ', SL', SL of each channel. SR 'and SW are output.
- the decoder 3 is operated by the listener 9 to control the remote controller.
- (Remote commander 1) 5 supplies an angle selection designation signal S A 'for designating the angle selection.
- an angle selection designating signal SA 'indicating the angle mode selected by the listener 9 is supplied to the decoder 3, and the video signal SV of the force camera and the angle corresponding to the angle mode is supplied to the decoder 3.
- Output Since a DVD disc compatible with the angle mode records a plurality of video signals corresponding to a plurality of camera 'angles (views' angles), one of the plurality of video signals is recorded. Select one and output it as video signal SV.
- an angle selection signal SA indicating the angle mode selected corresponding to the angle selection designation signal SA ' is supplied to the synthesizing circuit 4, and supplied from the decoder 3 to the reproduced sound signals C and C of the respective channels.
- the reproduced sound signals C, L, R, SL, and SR to each output channel are set so that L, R, SL, SR, and SW become the sound signals corresponding to the localization information of the reproduced sound image to the listener 9.
- the composite sound signals C ', L', R ', SL', SR ', and SW of each channel are output by changing the composite ratio of SW and SW or the channel allocation.
- the screen 6 displays an image based on the video signal SV, and the speeds 7, 8 of the respective channels C, L, R, SL, SR, and SW are reproduced sound images according to the video signal SV.
- the sound reproduced by the synthesized sound signals C ', L', R ', SL', SR ', and SW of each channel whose localization position has been changed is emitted.
- the listener 9 can use the speakers 7 and 8 to listen to the reproduced sound in which the localization position of the reproduced sound image has been changed in accordance with the screen image.
- the sound signals C, L, R, SL, SR, and SW of each channel are synchronized with the video of the camera and folders recorded as the default angle mode on the DVD disc. Is recorded. Therefore, when the mode is not changed from this mode, the synthesizing circuit 4 described above outputs the reproduced sound signals C, L, R, SL, SR, and SW of the input channels without performing any processing.
- the reproduction sound signals C, L, R, SL, SR, and SW of each channel are assigned to the speeds 7 and 8 of the corresponding channels C, L, R, SL, SR, and SW, respectively. Supply as is.
- listener 9 has another angle
- the synthesizing circuit 4 synthesizes the reproduced sound signals C, L, R, SL, SR, and SW of each channel.
- FIG. 5 is a diagram showing the movement of the sound image position
- FIG. 6 is a diagram showing the localization of the sound image with respect to the sound source.
- the synthesizing circuit 4 compares the center of the stage projected on the screen 6 to the center of the loudspeaker 7 (C) to produce a baud sound, etc. As shown in the moving direction N1 of the sound image position 5 in the forward direction, the volume of the reproduced sound signal C of the channel with respect to the front center (C) is increased so as to approach the front as shown in the direction N1, and the synthesized sound signal C 'is obtained. After applying the appropriate delay processing to the reproduced sound signal C of the channel for the front center (C) to attenuate the level, the synthesized sound signal is added to the reproduced sound signal (LZR) of the channel for the front left and right (LZR). (L '/ R').
- the signal is added to the channel sound signal (SL / SR) for the rear left and right (SL / SR). You may make it output as a synthetic sound signal (SL'ZSR ').
- the level of the sound signal (S LZS R) may be attenuated.
- the sound image localization position 62 of the sound source remains at the center S2, but the sound image localization position of the sound source located at the left and right sound source image positions is changed to a position that spreads more to the left and right. .
- the loudness may be corrected according to the volume of the reproduced sound signal (C ').
- the reproduced sound signal (L / R) of the channel with respect to the front left and right (LZR) is, for example, L which is arranged at an opening angle of 30 ° on the left and right soils in the normal default angle mode.
- / Plays from channel 7 of the R channel.
- the level of the sound signal (L / R) is attenuated in the opposite phase to that of the channel's playback sound signal (R / L) for the front right and left (R / L), which are opposite to each other.
- the signal (L / R) it is supplied as a synthetic sound signal (L'ZR ').
- the synthesized sound signal (R) of the guitar player on the stage is slightly increased by the synthesizing circuit 4, and the synthesized sound signal of the channel with respect to the front center (C) is increased.
- the reproduced sound signal (C) of the central porch is slightly reduced in volume and output as the channel's synthesized sound signal (L') for the left front (L).
- the player's playback sound signal (L) is further reduced in volume than the center vocal playback sound signal, and is output as the channel's composite sound signal (L ') for the front left (L).
- a part of the reproduced sound signal (S L / S R) of the surround channel may be output as a combined sound signal (R ') of the channel for the right front (R).
- the sound image localization position is set by the synthesizing circuit 4 such that the sound image localization position 62 of the sound source whose sound source image position 61 on the screen 6 in FIG. Be changed.
- the performance sound localized to the player on the stage projected on the screen 6 faces up from the position of the listener 9 to the front right side as shown in N6 of FIG.
- sound signals can be effectively reproduced.
- a guitar player who is good at the stage is projected on the center of the screen 6, and the player is reproduced with the sound image localized in front of the listener 9.
- I will explain the angle mode in which the entire stage is viewed from the back of the venue on screen 6.
- the synthesis circuit 4 outputs the reproduced sound signal (c) of the channel for the front center (C) as it is to the synthesized sound signal (C ') of the front center channel, and outputs the front left and right (LZR) signals.
- the reproduced sound signal (L / R) of the channel for The signal is output to the synthesized sound signal (L '/ R') of the channel and, after attenuating the level, is also output to the synthesized sound signal (C ') of the front center channel.
- the synthesis circuit 4 makes the volume of the reproduced sound signal (SL / SR) of the surround channel slightly larger and outputs it to the synthesized sound signal (SL '/ SR') of the surround channel for the rear left and right. However, a part of it may be output as a synthetic sound signal (L, ZR ') of the left and right channels.
- the sound source whose sound source image position 61 on the screen 6 in FIG. 6 is the center V 2 by the synthesis circuit 4 has the sound image localization position 62 left at the center S 2, but the left and right sound source image positions The sound source located in is changed to the sound image localization position closer to the center.
- the performer of the entire stage projected on the screen 6 is moved from the position of the listener 9 to the center of the sound image shown in FIG.
- the sound image localization is changed and the sound signal is effectively reproduced so that the entire stage can be seen from the back of the performance hall as shown in the moving direction Nl, N2, and N6 of the sound image. It can be performed.
- FIG. 2 is a block diagram showing the configuration of another sound image localization processing device.
- the difference between the sound image localization processing device 11 of FIG. 2 and the sound image localization processing device 1 of FIG. 1 is that a virtual sound image localization processing circuit 12 is provided after the synthesizing circuit 4 and the speaker 7 is connected to the front left / right L / R 2. It is a channel.
- a virtual sound image localization processing circuit 12 is provided after the synthesizing circuit 4 and the speaker 7 is connected to the front left / right L / R 2. It is a channel.
- Other configurations are the same as those in FIG. In FIG. 2, parts corresponding to FIG. 1 are denoted by the same reference numerals. Note that, instead of the speaker 7, playback may be performed using headphones mounted on a listener.
- the decoder 3 decodes the playback signal read from the DVD disc 2 by an optical pickup (not shown) and decodes the video signal SV, angle selection signal SA, and playback audio signals C, L, R, SL, and SR for each channel. , Output SW.
- the synthesizing circuit 4 synthesizes the reproduced audio signals C, L, R, SL, SR, and SW of the respective channels by the end-angle selection signal SA, and synthesizes the synthesized audio signals C ', L', R ', SL' of the respective channels. , SR 'and SW are output.
- the virtual sound image localization processing circuit 12 uses the end selection signal S A to cause the synthesized sound signals C ′, L ′, R ′, S L ′, S
- R 'and SW are reproduced by speakers 7 arranged in front and left (L / R) of listener 9 as if they were C, L, R, SL, SR.
- the sound processing is performed so as to reproduce a realistic sound reproduction sound field as if it were reproduced by a 5.1 channel virtual speaker of the SW.
- the virtual sound image localization processing circuit 12 is composed of a head acoustic transfer function (HRT F) from the sound image localization position of the sound source to be reproduced to the listener's both ears, and a squishy force 7 (L / R) and a sound image localization process performed based on the head acoustic transfer function from the listener's both ears to each synthesized acoustic signal.
- HRT F head acoustic transfer function
- L / R squishy force 7
- ⁇ Playback sound with sound image localization corresponding to the mode is obtained.
- This signal processing is performed, for example, by a set of FIR filters having an impulse response corresponding to each head-related acoustic transfer function. By changing the coefficients of these filters, a desired transfer function is obtained. Get.
- the remote controller is operated by the operation of the listener 9 for the decoder 3.
- (Remote commander) 5 supplies an angle selection specifying signal SA 'for specifying the angle selection.
- the decoder 3 outputs a corresponding angle mode video signal SV based on the supplied angle selection designating signal SA ', and also outputs the corresponding angle selection signal SA to the synthesis circuit 4 and the virtual sound image localization processing circuit. 1 to 2 Note that the end selection signal SA and the under selection selection signal S ⁇ ′ have substantially the same function, and are transmitted from the remote control 5 to the decoder 3, the synthesis circuit 4, and the virtual sound image localization processing circuit 12. On the other hand, it goes without saying that the angle selection designating signal SA 'may be supplied directly.
- the angle selection designation signal SA ' indicating the angle mode selected by the listener 9 is supplied to the decoder 3, and the video signal SV of the camera andal corresponding to the angle mode is supplied to the decoder 3. Output.
- the angle selection signal S ⁇ is supplied to the synthesizing circuit 4, and the reproduced sound signals C,
- the reproduced audio signals C, L, R, SL, SR, and SW of each channel are set so that L, R, SL, SR, and SW become the audio signals corresponding to the localization information of the reproduced sound image to the listener 9.
- the synthesized sound signals C ', L', R ', SL', SR ', and SW' of each channel are output.
- the virtual sound image localization processing circuit 12 performs sound image localization processing on the synthesized acoustic signals C ′, L ′, R ′, SL ′, SR ′, and SW of each channel supplied from the synthesis circuit 4. Then, virtual sound signals VL and VR are reproduced to reproduce a realistic sound reproduction sound field as if reproduced by the 5.1 channel virtual speaker described above.
- the screen 6 projects an image based on the video signal SV, and the speakers 7 of the respective channels L and R output the video signal SV.
- the listener 9 responds to the image on the screen 6 as if it were reproduced by the 5.1-channel virtual speaker described above by the speaker 7 whose localization position of the reproduced sound image was changed. You can listen to the sound of the surround sound field that is rich in realism.
- the sound image localization processing device 1 After changing the synthesis ratio of each reproduced sound signal in accordance with the angle mode selected by the end-angle selection designation signal SA ', the sound image localization processing device 1 Although only the sound image localization processing is performed on each of the synthesized acoustic signals supplied to 1, the present invention is not limited to this, and the synthesis processing in the synthesis circuit 4 and the sound image localization processing in the sound image localization processing device 11 may be performed simultaneously. Good. In this case, the angle selection signal S A is supplied to the virtual sound image localization processing circuit 12, and the virtual sound image localization processing circuit 12
- the block comprises a block for calculating a reproduced sound image position of each reproduced sound signal supplied from the decoder, and a block for performing sound image localization processing based on the obtained sound image localization position.
- FIG. 3 is a block diagram showing the configuration of another sound image localization processing device.
- the difference between the sound image localization processor 21 shown in FIG. 3 and the sound image localization processor 1 shown in FIG. 1 is that the angle mode selected by the angle selection designation signal SA 'and the time information when the angle mode is selected. (Timing information)
- the point is that a recording medium 22 for recording the ST is provided.
- Other configurations are the same as those in FIG. In FIG. 3, parts corresponding to FIG. 1 are denoted by the same reference numerals.
- the playback signal read from the DVD disc 2 by an optical pickup is decoded by the decoder 3, and the video signal SV, the angle selection signal SA, and the playback audio signals C, L, R, SL, SR of each channel are decoded. , Output SW.
- the combining circuit 4 combines the reproduced sound signals C, L, R, SL, SR, and SW of the respective channels by the angle selection signal SA, and synthesizes the combined sound signals C ′, L ′, R ′, SL ′, and SL ′ of the respective channels.
- SR 'and SW are output.
- the remote controller (remote commander 1) 5 supplies an angle selection designation signal S A ′ for designating an andal selection to the decoder 3 by operating the listener 9.
- the angle selection designation signal S A ′ indicating the angle mode selected by the listener 9 is supplied to the decoder 3, and the video signal SV of the camera 'andal corresponding to the angle mode is output.
- the angle selection signal S A is supplied to the synthesizing circuit 4, and the reproduced sound signals C,
- the reproduced sound signals C, L, R, S to each output channel are set so that L, R, SL, SR, and SW become the respective sound signals corresponding to the localization information of the reproduced sound image to the liner 9.
- Combination ratio of SR and SW or channel The channel assignment is changed and the synthesized sound signals C ', L', R ', SL', SR ', and SW of each channel are output.
- the angle selection designation signal SA ' is supplied to the recording medium 22, and the angle mode selected by the angle selection designation signal SA' and the time information ST for selecting the angle mode are recorded.
- the time information ST is read out and used as it is when the decoder 2 decodes the evening code recorded on the DVD 2 disc.
- the synthesis circuit 4 A sound image localization process is performed.
- the screen 6 displays an image based on the video signal SV, and the speakers 7 of the respective channels L and R change the localization position of the reproduced sound image in accordance with the video signal SV.
- the synthesized sound signals C ', L', R ', SL', SR ', and SW reproduce sound.
- the listener 9 can listen to the reproduced sound by the speed 7, 8 in which the localization position of the reproduced sound image has been changed corresponding to the image by the screen 6.
- the time information ST indicating the transition of the scene and the angle mode selected by the changed angle selection designation signal SA' are recorded on this recording medium 22.
- the time information ST provided on the DVD disc 2 is compared with the time information ST recorded on this recording medium 22, and if they match, the corresponding time is recorded.
- the decoder 3 and the synthesizing circuit 4 are automatically changed to the angle mode selected by the angle selection designation signal SA 'recorded on the medium 22.
- each of the reproduced sound signals is changed in the synthesis ratio by the synthesis circuit 4 according to the camera angle, similarly to the sound image localization processing device 1 shown in FIG. Channels are allocated, and composite sound signals are supplied to speakers 7 and 8 corresponding to each channel.
- Listener 9 can create a camera-and-and-car scene composed of itself, which can be viewed repeatedly, and at the same time, the playback audio is also powerful. In response to the
- the recording medium 22 is not limited to a semiconductor memory, and may be, for example, a VTR (Video Tape Reorder) tape or a CD-R (Compact Disc Recodable). If at least a part of the DVD disc 2 that provides the DVD can be recorded, it may be recorded on the DVD disc 2 itself.
- VTR Video Tape Reorder
- CD-R Compact Disc Recodable
- the time information ST and the corresponding angle selection designation signal SA ′ are numbers corresponding to the number of times the angle is to be changed.
- the recording medium 22 may have a small recording capacity, as long as the recording can be performed as long as it is possible to use only a part of the memory provided in the sound image localization processing device.
- a character string such as a code or a title for identifying the DVD disc 2 on the recording medium 22 in the same manner, so that a DVD disc having a plurality of titles can be recorded. It can be recorded in one recording medium. Furthermore, if a code for identifying a recording operation is also recorded, a single DVD disc can be recorded with a plurality of angle selection patterns, so-called “take 1” and “take 2”. You can do trial and error and enjoy yourself o
- the synthesized sound signal of each channel is output from the synthesizing circuit 4 to each of the speakers 7 and 8, but the present invention is not limited to this.
- the virtual sound image localization processing circuit 12 may be added to perform reproduction using a speaker of a smaller number of channels than the reproduced sound signal of each channel.
- FIG. 4 is a block diagram showing the configuration of another sound image localization processing device.
- the sound image localization processing device 31 in FIG. 4 differs from the sound image localization processing device 1 in FIG. 1 in that the sound source position information is provided from the DVD disc 2 and the angle selection designation signal SA ′ shown in FIG. This is a point that a recording medium 22 for recording the time information ST in which the angle mode and the angle mode selected by the above is selected is provided.
- Other configurations are the same as those in FIG. In FIG. 4, the same reference numerals are given to portions corresponding to FIG. 1 or FIG.
- the decoder 3 decodes the playback signal read out from the DVD disc 2 by an optical pickup (not shown) and decodes the video signal SV and sound. It outputs source position information SP, angle selection signal SA, and reproduced sound signals C, L, R, SL, SR, and SW for each channel.
- the synthesizing circuit 4 Based on the sound source position information SP and the angle selection signal SA, the synthesizing circuit 4 synthesizes the reproduced audio signals C, L, R, SL, SR, and SW of each channel, and synthesizes the synthesized audio signals C ′, L ′, R of each channel. ', SL
- each sound source recorded on the DVD disc 2 has sound source position information SP, and the decoder 3 outputs the sound source position to the reproduced sound signals C, L, R, SL, S, SW of each channel.
- Information SP is retrieved.
- the sound source position information SP may be provided only for at least the main sound source among all the sound sources. For example, a speaker that reproduces the reproduced acoustic signal SW may be placed anywhere in the room, and thus the position information that is turned on for this signal may be omitted. If the sound reproduced by the signals SL and SR is a surround sound, it is interpreted as being implicitly placed diagonally behind the listener. In this case, the sound source position information can be omitted.
- the predetermined position information may be applied for the sound source of the channel from which the sound source position information is omitted.
- the sound source position information SP includes a relative coordinate value indicated by a sound image localization position 62 from a reference position such as a sound source image position 61 on the screen 6 shown in FIG. 6 and a sound image position shown in FIG. Movement information and the like may be included.
- the sound source image position 61 on the screen 6 in Fig. 6 is the left V1, the center V2, and the right V
- the sound image localization position is changed so that the sound image localization position 62 is left S 1, center S 2, and right S 3 with respect to 3.
- the moving directions N1 to N6 that move radially toward or away from the sound image from the position of the listener 9 in Fig. 5, the moving directions of rotation in the clockwise or counterclockwise direction R1 to R4, and the left and right directions Moving direction L 1 to L 5 Sound image position Is moved.
- remote controller (remote commander 1) 5 supplies an angle selection designation signal S A ′ to the decoder 3 by operating the listener 9.
- the angle selection designation signal SA ' indicating the angle and mode selected by the listener 9 is supplied to the decoder 3, and the video signal SV of the camera and round corresponding to the angle mode is output. .
- the sound source position information SP and the angle selection signal SA are supplied to the synthesizing circuit 4, and the reproduced sound signals C, L, R, SL, SR, and SW of each channel supplied from the decoder 3 are sent to the listener 9.
- the synthesized sound signal C ′ of each channel is changed. , L ', R', SL ', SR', and SW.
- the synthesis circuit 4 uses the sound source position information SP corresponding to each reproduced sound signal and the angle selection designation signal SA 'indicating the angle mode selected by the listener 9 to obtain each of the signals viewed from the listener 9.
- the relative position of the sound source is calculated, and the synthesized sound signal is output to each of the speakers 7 and 8 so as to reproduce the reproduced sound signal corresponding to the relative position.
- Listener 9 specifies the localization position of the reproduced sound image in accordance with the sound source position of the image on screen 6, or listens to the reproduced sound with speeds 7 and 8 in which the localized position of the reproduced sound image has been changed. You can do it.
- the angle selection designating signal SA ' is supplied to the recording medium 22 to change the angle mode and the angle mode selected by the angle selection designating signal SA'.
- the selected time information (timing information) ST is recorded.
- the time information ST represents the time code recorded on the DVD disc 2 by the decoder 2. Read and use it as it is when decoding with.
- each of the synthesizing circuits 4 A sound image localization process is performed on the acoustic signal.
- the screen 6 displays an image based on the video signal SV, and the speeds 7, 8 of the respective channels C, L, R, SL, SR, and SW are reproduced according to the video signal SV.
- the sound reproduced by the synthesized sound signals C ', L', R ', SL', SR ', and SW of each channel whose sound image localization position has been changed is emitted.
- the listener 9 can listen to the reproduced sound from the speakers 7 and 8 whose localization position of the reproduced sound image has been changed in response to the image from the screen 6.
- the listener 9 when the listener 9 is watching a DVD disc 2 that supports a multi-angle, for example, a movie, and is watching in the normal angle mode. If it is desired to select another angle mode for the scene at, the change point of that scene is read out, the angle mode selected by the angle selection designation signal SA 'is changed, and the changed angle selection is performed.
- the designation signal SA ' is instructed to be recorded, the time information ST indicating the change of the scene and the angle selected by the changed angle selection designation signal SA' are recorded on the recording medium 22.
- the time information ST provided from the DVD disc 2 is compared with the time information ST recorded on the recording medium 2, and when they match, the time information ST is recorded on the recording medium 22 correspondingly.
- the decoder 3 and the synthesizing circuit 4 are automatically changed based on the Andal mode selected by the recorded andal selection designation signal SA 'and the sound source position information SP provided from the DVD disc 2. It is done.
- the synthesis ratio of each audio signal is changed by the synthesis circuit 4 according to the camera angle, and the channel is divided. After being shaken, the reproduced sound signal is supplied to the speakers 7 and 8 corresponding to each channel.
- the listener 9 can create a self-contained ⁇ ⁇ and ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
- the recording medium 22 is not limited to a semiconductor memory, but may be, for example, a VTR tape or a CD-R.
- a DVD disc 2 that provides video can be recorded. In such a case, the information may be recorded on the DVD disc 2 itself.
- the recording medium 2 in the sound source localization processing device shown in FIG. 3 since the amount of information to be recorded is small, a part of the memory provided in the sound image localization processing device may be used. Further, similarly to the above-described example, the disc ID code / recording operation ID code may be recorded on the recording medium 22.
- the reproduced sound signal of each channel is output from the synthesis circuit 4 to each of the speakers 7 and 8, but the present invention is not limited to this.
- the virtual sound image localization processing circuit 12 may be added to perform reproduction using speakers of channels smaller in number than the reproduced sound signal of each channel.
- the end-angle selection designation signal SA ′ indicating the angle mode selected by the listener 9 is synthesized via the decoder 3. An example in which the signal is supplied to the circuit 4 or the virtual sound image localization processing circuit 12 has been described.
- the present invention is not limited thereto, and the signal may be directly supplied to the synthesis circuit 4 or the virtual sound image localization processing circuit 12.
- the sound image localization processing device of the present embodiment will use the angle selection designation signal SA ′ selected by operating the listener 9. May be supplied to the synthesis circuit 4 or the virtual sound image localization processing circuit 12.
- the angle selection designation signal SA ' is supplied to the decoder 3 built in the DVD player or the AV receiver in order to select the video signal corresponding to the selected angle mode.
- the configuration may be such that the angle selection designating signal SA 'is supplied to the means for generating the video signal SV and the reproduced audio signal changed by the angle mode selected by the listener 9. .
- angle selection designation signal SA ' is supplied from the remote control 5
- the angle selection designation signal SA' is generated by input means such as an operation key provided in the sound image localization processing device and supplied. Of course, it is also good.
- MDI MusicalInststruementDtiitalintInterfacce
- the extended code in the control change information The control number # 10 indicating panning of the sound specifies the localization of the sound image in stereo output.
- the value of this control number # 10 is 0 on the left, 64 on the center, 127 on the right, and you can freely specify the localization of the sound image between left and right. That is, music data is supplied with this information, and by changing this value, the sound source localization position can be changed.
- the synthesizing circuit 4 when reproducing the MIDI data, changes the value according to the listener's preference and the listener's listening position, and the sound source is changed from the changed sound source localization position. The synthesis processing is performed so that the reproduction sound of is reproduced.
- the change information may be recorded on a recording medium and used again at the next reproduction.
- the recording medium on which the change information is recorded may be distributed separately from the recording medium of the MIDI sound source.
- the information is reproduced with the speed placed on the front and left of the listener 9, but this information is expanded by an expansion code by the synthesizing circuit 4 described above, and the surroundings of the listener 9 are expanded.
- the synthesis processing may be performed so that the sound image can be localized over a range of degrees.
- the value of the control number # 10 is 64 in the center by the synthesizing circuit 4 using the angle selection designating signal SA ′ indicating the angle mode selected by the listener 9. Redefine the C channel, such that the value 48 is the left L channel, the value 76 is the right R channel, the value 21 is the rear left SL channel, the value 10 SR is the rear right SR channel, and so on.
- the table for converting each value of the control information # 10, which is the position information, into each channel of the sound source localization position corresponding to this value may be obtained by the synthesizing circuit 4 and the virtual sound image localization processing circuit described above. 1 2 or a system consisting of a microcomputer (not shown). These conversion processes may be performed.
- the reproduction signal includes the information indicating the sound source image position 61 shown in FIG. 6 and the information indicating the sound image localization position 62 shown in FIG. 6 for the character appearing in the scene.
- This position information is changed according to an instruction given by a pointing device such as a game controller of the player to change the position of the main character.
- the sound image localization position of the character is determined based on the changed position information and the angle selection designation signal SA ′ indicating the selected angle mode, and the synthesis circuit 4 and the virtual sound image localization processing described above are performed.
- the circuit 12 reproduces the reproduction sound indicated by the sound image localization position 62 from the localization position indicated by the appropriate sound source image position 61 according to the position and movement of the character on the screen 6.
- the present embodiment can be applied to a video conference system.
- a multipoint video conferencing system showing a two-way two-way conference the face of the other party was displayed at an arbitrary sound source image position 61 on the screen of the screen 6 shown in Fig. 6.
- the synthesis circuit 4 described above adds change information using the angle selection designation signal SA ′ indicating the angle mode selected by the speaker, and the sound image localization position shown in FIG. 6 of each speaker.
- the reproduced sound is reproduced by appropriately setting each sound image localization position according to the angle mode (view mode) selected by the listener. Is played It is possible to reproduce more realistic sound that matches the sound source video position.
- listeners can play back mainly the performers and sound sources they want to watch, and the range of use can be expanded.
- each sound source is localized at the intended sound image localization position, and the affinity of the reproduced image is further improved. Can be.
- the changed angle mode and the changed time information are recorded on the recording medium in association with the time information of the reproduced image, and the reproduced signal is reproduced at the next reproduction based on the changed information.
- the present invention is not limited to the above-described application examples, and can be applied to other electronic devices that can change the position information of the reproduced sound.
- Industrial applicability is not limited to the above-described application examples, and can be applied to other electronic devices that can change the position information of the reproduced sound.
- the present invention relates to a sound image localization processing device that synthesizes a reproduced sound signal of each channel in correspondence with a multi-angle function of a DVD disc and enables a listener to obtain a sound image localized feeling suitable for a play screen. Can be applied to
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
明 細 書
仮想音像定位処理装置、 仮想音像定位処理方法および 記録媒体 技術分野
本発明は、 例えば、 音楽情報や映像情報の再生に用いて好適な 仮想音像定位処理装置に関するものである。 背景技術
近年、 ドルビー ' デジタル ( D 0 L B Y D I G I TA L (A
C 3 ) ) や d t sなどのマルチ · チャ ンネルのデジタル · サラウ ン ド方式で記録された DVD (D i g i t a l V e r s a t i 1 e D i s c ) ビデオディ スクが広く知られるようになつてき ている。
例えば、 前者の A C 3方式では、 前方中央チヤ ンネル ( C ) 、 前方左右チヤ ンネル (LZR) 、 後方左右サラゥン ド ' チャ ンネ ノレ (S LZS R) のフルレンジの 5チャ ンネルと、 低音効果用の みの補助チャ ンネル ( S W ) からなり、 それぞれのチャ ンネルに 対応するスピ一力を聴取者の周囲に配置して効果的なサラウン ド 再生音を提供するようにしている。
ところで、 この D V Dビデオディ スクの特徴的機能の 1つに、 " マルチ · アングル" と呼ばれるものがある。 これは、 ユーザ一 の好みに応じて最大 9アングルまでカメラ ♦ アングルまたはビュ 一 · ァングルを切り替えることが可能な機能で、 映画やスポーツ 、 ライブ等の映像を複数のカメラ · アングルで記録媒体に記録し
、 ユーザーがァングルを自由に選択して楽しめる機能である。
このマルチ . アングルの機能を利用すれば、 例えば、 ミ ュージ ック · ビデオにおいて、 通常の鑑賞モ一 ドにおける再生映像とは
異なり、 より注目したいギタ リ ス トや ドラマ一などの演奏者の演 奏シーンを中心に鑑賞することもできるものである。
しかし、 上述した従来の D V Dビデオディスクの再生において は、 上述したマルチ · アングル機能によつて、 カメラ ' アングル (ビュー · アングル) が選択されたとしても、 それに付随する音 響信号や映像信号などは、 これとは無関係に通常の鑑賞モ一 ドに 合わせて再生されるだけであるため、 聴取者にとっては鑑賞した い映像と不適合な音像定位感となり、 非常に違和感があり、 再生 品質が低下するという不都合があった。 発明の開示
そこで、 本発明は、 かかる点に鑑みてなされたものであり、 再 生音の音像を再生状況に応じて任意の位置に定位させることがで きる仮想音像定位処理装置を提供することを課題とする。
なお、 本発明において、 音源または音源群が定位して形成され る音像に対してリスナが臨む方向またはその音源位置と リ スナ位 置との相対的な位置関係を便宜上 "アングル" と称するものとす
^ o
本発明の音像定位処理装置は、 音源の音響信号が供給されて、 音源の音像定位位置に定位するように処理する音像定位処理装置 において、 聴取者の聴取位置に対する音源の再生音像定位位置ま たは方向を示す音像定位情報を変更させるように指定をする定位 情報変更手段と、 音源の音響信号に対して、 音像変更手段により 変更指定された音像定位情報に基づいて音源の音像定位位置を変 更させる処理を施して再生出力を得る音像定位処理手段とを備え る ものである。
従って本発明によれば、 以下の作用をする。
音源から再生手段により再生された再生信号をデコーダにより
デコー ドして、 音像定位選択情報、 各'チャ ンネルの再生音響信号 を出力する。
音像定位選択情報により音像定位位置変更手段は各チヤ ンネル の再生音響信号を合成して各チヤ ンネルの合成音響信号を出力す る ο
ここで、 音像定位位置変更手段に対して、 リ スナの操作により 音像変更指定手段は、 音像定位選択情報に対してアングル選択を 指定する変更音像定位選択情報を供給する。
これによ り、 変更音像定位選択情報は音像定位位置変更手段に 供給され、 音像定位位置変更手段から供給された各チャ ンネルの 再生音響信号が、 リスナに対して再生音像の定位情報に応じた各 '音響信号となるように各チヤ ンネルの再生音響信号の合成比を変 更して各チヤ ンネルの合成音響信号を出力する。
これによ り、 各チャ ンネルのスピーカは、 映像信号に応じて再 生音像の定位位置が変更された各チヤ ンネルの合成音響信号によ る再生音を放出する。 リ スナは、 再生音像の定位位置または方向 が変更されたスピー力による再生音を聴取することができる。
従って、 この発明の音像定位処理装置によれば、 リスナが選択 したァングル · モー ドに応じて、 各音像定位位置も適切に設定さ れて再生音が再生されるため、 再生された音源映像位置と適合し たより臨場感にあふれる音響再生をすることができるという効果 を奏する。
また、 この発明の音像定位処理装置は、 上述において、 定位情 報変更手段による変更処理は、 再生音響信号の各再生チヤ ンネル の合成比率を変更するので、 スク リ ーン上の音源映像位置がリ ス ナの位置から左、 中央、 右の各チャ ンネルに対して音像定位位置 が左、 中央、 右となるように音像定位位置が変更され、 また、 リ スナの位置から音像の放射状に近接または離隔する移動方向、 時
計方向または反時計方向への回転の移動方向、 左右方向への移動 方向へ音像位置が移動されるように合成処理することができると いう効果を奏する。
また、 この発明の音像定位処理装置は、 上述において、 音像定 位処理手段による変更処理は、 再生音響信号に対して、 仮想音源 位置およびスピーカからリ スナの両耳までの頭部音響伝達関数に 基づく音像定位処理において、 前者の伝達関数を変更させる処理 をするので、 リ スナはスク リ ーンによる映像に対応して、 再生音 像の定位位置が変更されたスピ一力によるあたかも多チャンネル の仮想スピーカにより再生されるかのような臨場感豊かなサラゥ ン ド再生音場による再生音を聴取することができるという効果を 奏する。
また、 この発明の音像定位処理装置は、 上述において、 定位情 報変更手段により変更指定された音像定位情報を再生音響信号の 再生時間情報に対応させて編集して共に記録し、 記録された音像 定位情報および再生時間情報に基づいて再生音響信号の再生を行 うので、 リ スナは自身で構成するカメ ラ · アングルのシーンの構 成を作るこ とができ、 それを繰り返して鑑賞することができ、 そ のとき再生音声もカメ ラ · アングルに応じて、 あたかもリスナが 移動してスク リ 一ン上に映出される音源映像位置に向き合うかの ような音像定位位置の定位感を得ることができるという効果を奏 する。
また、 この発明の音像定位処理装置は、 上述において、 音像定 位処理手段は、 音源信号にともなつて供給されるこの音源信号の 音像定位置または方向を表す音像定位情報に対して、 他の音像位 置に定位するように変更を加え、 この変更された音像定位情報に 基づいて音像定位位置を変更させる処理をするので、 リスナはス ク リ ーンによる映像の音源位置に対応して、 再生音像の定位位置
が指定され、 または再生音像の定位位置が変更されたスピーカに よる再生音を聴取するこ とができるという効果を奏する。
また、 この発明の音像定位処理方法によれば、 リ スナの聴取位 置に対する供給された音像の再生音像定位位置を示す音像定位情 報を変更させるように指定をし、 この音源の音響信号に対して、 この変更指定された音像定位情報に基づいてこの音源の音像定位 位置を変更させる処理を施して再生出力を得て、 任意の位置に音 像を定位させるようにしたので、 リスナが選択したアングル · モ ― ドに応じて、 各音像定位位置も適切に設定されて再生音が再生 されるため、 再生された音源映像位置と適合したより臨場感にあ ふれる音響再生をすることができるという効果を奏する。
また、 この発明の記録媒体によれば、 リスナの聰取位置に対す る音源の再生音像定位位置を示す音像定位情報と、 この音像定位 情報に変更する再生時間情報とを対応づけて記録ずるようにした ので、 この記録媒体を上述の音像定位処理装置に装着して、 再生 音響信号が供給されたときに、 再生音響信号にともなう再生時間 情報とこの記録媒体に記録される再生時間情報とがー致したタイ ミ ングでその音像定位情報に基づく音像定位処理が行われ、 デフ ォルトの音像定位感と異なる音像定位感を再生音響信号に合わせ て享受することができるという効果を奏する。 図面の簡単な説明
図 1 は、 本実施の形態に適用される音像定位処理装置の構成を 示すブロ ック図である。
図 2 は、 他の音像定位処理装置の構成を示すプロック図である o
図 3 は、 他の音像定位処理装置の構成を示すプロック図である
図 4 は、 他の音像定位処理装置の構成を示すブロック図である o
図 5 は、 音像位置の移動を示す図である。
図 6 は、 音源に対する音像の定位を示す図である。 発明を実施するための最良の形態 .
本実施の形態の音像定位処理装置は、 D V Dディ スクのマルチ ♦ ァングル機能に対応させて各チヤンネルの再生音響信号を合成 して、 聴取者が再生画面のァングルに適合した音像定位感を得る こ とができる ものである。
図 1 は、 本実施の形態に適用される音像定位処理装置の構成を 示すプロッ ク図である。
音像定位処理装置 1 は、 D V Dディ スク 2から図示しない光学 ピックァッブにより読み出された再生信号をデコ一 ドして映像信 号 S V、 アングル選択信号 S A、 各チャ ンネルの再生音響信号 C
(中央) , L (左) , R (右) , S L (後方左) , S R (後方右 ) , S W (サブウーハ一) を出力するデコーダ 3 と、 アングル選 択信号 S Aにより各チャ ンネルの再生音響信号 C, L, R, S L , S R, S Wを合成して各チャ ンネルの合成音響信号 C ' , L ' , R' , S L ' , S R ' , S W を出力する合成回路 4 と、 デコ
—ダ 3および合成回路 4に対してァングル選択を指定するァング ル選択指定信号 S A' を供給する リモコン (リ モー トコマンダ— ) 5 と、 映像信号 S Vによる画像を映出するスク リーン 6 と、 各 チャ ンネルの合成音響信号 C ' , し' , R' , S L ' , S R' , S W による再生音を放出する各チャ ンネル C, L , R, S L ,
S R, S Wのスピーカ 7、 8 ( S W用スピーカは図示しない) と 、 スピーカ 7、 8による再生音を聴取すると共にスク リーンに表 示された画像を観る リ スナ 9 とを有して構成される。 また、 スピ
—力 7、 8に替えて、 ヘッ ドホンを用いてもよい。
ここで、 D V Dディ スク 2は、 リ スナ 9力 リ モコ ン 5により指 定したアングル選択指定信号 S A' により、 再生音像の定位情報 であるアンダル選択信号 S Aに対してアングル選択を指定して、 所望の映像信号 S Vに対して任意のァングル · モー ドにすること ができるように構成されている。 上述した再生音像の定位情報は 単に位置情報または方向情報と表すこともできる。
また、 合成回路 4は、 各チャ ンネルの再生音響信号 C, L, R , S L, S R, SWが、 アングル選択指定信号 S A' によりアン グル選択による指定されたアングル · モー ドによって、 リスナ 9 に対して音像定位位置が相対的に変更されるように、 各出力チヤ ンネルへの合成比あるいはチャ ンネル割り振り ( c h a n n e l a l l o c a t i o n) を変更して得られた合成音響信号 C ' , L ' , R, , S L ' , S R' , S W を、 リ スナ 9の周囲に配 置される各チャ ンネル C, L, R, S L, S R, SWのスピーカ
7、 8へ供給する機能を有している。
なお、 通常は、 ノーマル ' モー ドにおいて視聴した場合にリス ナ 9の前方にスク リ ーン 6またはモニタが配置され、 その前方左 右及び中央に L/RZCチャ ンネルのスピーカ 7が配置され、 リ スナ 9の後方左右に S. L / S Rチヤ ンネルのスピーカが配置され る。 S Wチヤ ンネルの信号は明確な定位感を奏しない低音域のみ の信号であるため、 S Wチヤ ンネルのスピーカは視聴する部屋の いずれの位置に配置されても良い。 リスナ 9に対する再生音像の 定位情報と しては、 リ スナ 9の聴取位置とそのノ一マル ' モー ド における L ZRチヤ ンネルのスピ一力 7などの相対的な位置関係 を基準として、 設定されるアングルに応じて仮想的な各音源の音 像定位位置を計算し、 その位置に音像を定位するように信号を処 理する。 この計算は、 例えば座標変換計算などによって行われれ
ばよい o
また、 再生音像の定位情報は、 極座標で示される方位と距離あ るいは直交座標値で表現することがより正確な音像定位位置を定 める上で望ま しいが、 各スピーカの配置位置ゃリスナの聴取位置 を正確に知ることは難しいので、 平均的な聴取環境、 例えば、 家 庭用機器を使用した平均的なリスニング環境などから各スピー力 の配置条件を想定し、 その条件を使用しても良い。 あるいは、 距 離情報を省略して方位情報のみから仮想音像方向の制御を行うよ うにしても良い。
このように構成された音像定位処理装置の動作を以下に説明す る。
D V Dディ スク 2から図示しない光学ピックアップにより読み 出された再生信号をデコーダ 3がデコー ドして映像信号 S V、 了 ングル選択信号 S A、 各チャ ンネルの再生音響信号 C, L, R, S L, S R, S Wを出力する。
ァングル選択信号 S Aにより合成回路 4 は各チヤ ンネルの再生 音響信号 C, L , R, S L , S R, S Wを合成して各チャ ンネル の合成音響信号 C ' , L ' , R ' , S L ' , S R ' , S W を出 力する。
ここで、 デコーダ 3 に対して、 リスナ 9 の操作により リ モコン
(リモ一 ト コマンダ一) 5 は、 ァングル選択を指定するァングル 選択指定信号 S A ' を供給する。
これにより、 リ スナ 9 により選択されたアングル . モー ドを示 すアングル選択指定信号 S A ' がデコーダ 3に供給されて、 その 了ングル · モー ドに対応する力メ ラ · ァンダルの映像信号 S Vを 出力する。 アングル · モー ドに対応した D V Dディ スクには、 複 数のカメ ラ ' アングル (ビュー ' アングル) に対応した複数の映 像信号が記録されているので、 これらの複数の映像信号のうち 1
つを選択して映像信号 S Vと して出力する。 同時に、 アングル選 択指定信号 S A' に対応して選択されたアングル · モー ドを示す ァングル選択信号 S Aが合成回路 4に供給され、 デコーダ 3から 供給,された各チャ ンネルの再生音響信号 C, L , R, S L , S R , S Wが、 リ スナ 9 に対して再生音像の定位情報に応じた各音響 信号となるように各出力チャ ンネルへの再生音響信号 C , L , R , S L , S R, S Wの合成比あるいはチャ ンネル割り振りを変更 して各チャ ンネルの合成音響信号 C ' , L' , R' , S L ' , S R' , S W を出力する。
これにより、 スク リ ーン 6 は映像信号 S Vによる画像を映出す る と共に、 各チャ ンネル C, L, R, S L , S R, SWのスピー 力 7、 8 は、 映像信号 S Vに応じて再生音像の定位位置が変更さ れた各チャ ンネルの合成音響信号 C ' , L ' , R' , S L ' , S R' , S W による再生音を放出する。 リ スナ 9 は、 スク リ ーン による映像に対応して、 再生音像の定位位置が変更された再生音 をスピーカ 7、 8 により聴取することができる。
なお、 通常は、 D V Dディ スクにデフォル トのアングル · モ一 ドと して記録されるカメ ラ · ァンダルの映像に合わせて、 各チヤ ンネルの音響信号 C, L , R, S L , S R, S Wが記録されてい る。 従って、 このモー ドから変更しないときには、 上述した合成 回路 4 は入力される各チャ ンネルの再生音響信号 C, L, R, S L , S R, S Wに対して実質的に何等処理を加えずに出力し、 そ れぞれ対応する各チャ ンネル C, L , R, S L , S R, S Wのス ピ一力 7、 8 に各チャ ンネルの再生音響信号 C, L , R, S L, S R, S Wをそのまま供給する。 一方、 リ スナ 9が別のアングル
• モー ドを選択したときには、 そのアングルで撮影したカメラが 音源または音源群に向き合う位置や方向に、 あたかもリスナ 9が 移動して音源または音源群に向き合うかのような定位感を得るよ
うに、 合成回路 4は各チャ ンネルの再生音響信号 C, L, R, S L, S R, S Wを合成する。
次に、 具体的な各ァングル · モ一 ドを説明する。
図 5は、 音像位置の移動を示す図であり、 図 6は、 音源に対す る音像の定位を示す図である。
まず、 第 1に、 ライブ演奏を収録した映像 ·音声信号の場合を 例として、 スク リーン 6上に映出されるステージ中央に近づく よ うなアングル · モ一 ドについて説明する。
この場合、 合成回路 4により、 スク リ ーン 6上に映出されるス テージ中央に対して、 スピーカ 7の中央位置 (C) に定位される ボー力ル音声などにリ スナ 9の位置から図 5の音像位置の前方へ の移動方向 N 1に示すように前方に近づく ように、 前方中央 (C ) に対するチヤ ンネルの再生音響信号 Cの音量を大きく して合成 音響信号 C' とすると共に、 前方中央 (C) に対するチャ ンネル の再生音響信号 Cに適切な遅延処理を加えてそのレベルを減衰さ せた後に前方左右 (LZR) に対するチャ ンネルの再生音響信号 (LZR) に加えて合成音響信号 (L' /R' ) と して出力する 。 また、 前方左右 (LZR) に対するチヤ ンネルの音響信号 (L ZR) のレベルを減衰させた後に、 後方左右 (S L/S R) に対 するチヤンネルの音響信号 ( S L / S R) にそれぞれ加えて、 合 成音響信号 (S L' ZS R' ) と して出力するようにしても良い 。 さ らに、 音響信号 (S LZS R) のレベルを減衰させても良い このとき、'合成回路 4により、 図 6のスク リ ーン 6上の音源映 像位置 6 1が中央 V 2である音源の音像定位位置 6 2は中央 S 2 のままであるが、 左右の音源映像位置にあつた音源はより左右に 広がった位置に音像定位位置が変更される。 .
これにより、 スク リーン 6上に映出されるステージ中央に対し
て、 スピーカ 7の中央位置 (C) に定位されるボーカル音声など にリ スナ 9の位置から図 5の N 1に示すように前方中央に近づく ように、 音像定位感を変更して効果的に音響信号の再生を行うこ とができる。
もちろん、 この場合に、 合成回路 4により、 より実在感を高め るために、 前方中央 (C) に対するチャ ンネルの再生音響信号 ( C ' ) の中音域をやや強調する処理を合わせて施しても良い。 あ るいは、 再生音響信号 (C' ) の音量に応じたラウ ドネス補正を 施しても良い。
ここで、 前方左右 (LZR) に対するチャ ンネルの再生音響信 号 ( L / R) は、 通常のデフォル トのアングル · モー ドでは、 例 えば、 左右土 3 0 ° の開き角で配置される L / Rチャ ンネルのス ピ一力 7から再生されるが、 このアングル♦ モー ドのときは、 よ り開いた定位感とするために、 例えば、 前方左右 (LZR) に対 するチヤ ンネルの再生音響信号 (L/R) を、 互いに逆の前方右 左 (R/L) に対するチャ ンネルの再生音響信号 (R/L) に対 して逆相でそのレベルを減衰させて、 元の再生音響信号 (L/R ) に加え合わせて合成音響信号 (L' ZR' ) として供給する。
第 2に、 スク リーン 6上に映出されるステージ上手の演奏者を アップで臨むようなアングル ' モー ドについて説明する。
例えば、 スク リ ーン 6上に映出されるステージに対して、 上手 (客席の観客 ( a u d i e n c e ) から見て、 舞台の右側をいう ) にギター奏者がいて、 中央にボーカル、 下手にベース奏者がい るような場合に、 上述したカメ ラ · アンダルで撮影する。 この場 合、 通常のアングル . モー ドに合わせて各チャ ンネルの音響信号 は D V Dディ スクに記録されているので、 ステージ上手のギ夕一 奏者は前方右 (R) に対するチャ ンネルの音響信号 (R) に、 中 央のボ一カルは前方中央 (C) に対するチャ ンネルの音響信号 (
C ) に、 下手のベース奏者は前方左 (L) に対するチャ ンネルの 音響信号 (L) にそれぞれ記録されている。
このアングル ' モー ドが選択された塲合、 合成回路 4により、 ステージ上手のギター奏者の再生音響信号 (R) はやや音量を大 き く されて前方中央 (C) に対するチヤ ンネルの合成音響信号 (
C ' ) に出力され、 中央のポ一カルの再生音響信号 (C) はやや 音量を小さ く されて前方左 (L) に対するチヤ ンネルの合成音響 信号 (L' ) に出力され、 下手のベース奏者の再生音響信号 (L ) は中央のボーカルの再生音響信号よりさらに音量を小さ く され て前方左 (L) に対するチャ ンネルの合成音響信号 (L' ) にそ れぞれ出力される。 また、 サラウン ドチャ ンネルの再生音響信号 (S L/S R) の一部を前方右 (R) に対するチャ ンネルの合成 音響信号 (R' ) に出力してもよい。
このとき、 合成回路 4により、 図 6のスク リ ーン 6上の音源映 像位置 6 1が右 V 3であつた音源の音像定位位置 6 2は中央 S 2 となるように音像定位位置が変更される。
これにより、 スク リ ーン 6上に映出されるステージ上手の演奏 者に定位される演奏音を、 リ スナ 9の位置から図 5の N 6に示す ように前方右側にァップで臨むように、 音像定位感を変更して効 果的に音響信号の再生を行う こ とができる。 すなわち、 ステージ 上手のギタ一奏者がスク リーン 6上の中央に映出されると共に、 その演奏者はリスナ 9の正面方向に音像定位して再生される。 第 3に、 スク リ ーン 6上に映出される会場後方よりステージ全 体を眺めるようなァングル · モ一 ドを説明する。
この場合には、 合成回路 4により、 前方中央 (C) に対するチ ヤ ンネルの再生音響信号 (c) はそのまま前方中央のチャ ンネル の合成音響信号 (C' ) に出力し、 前方左右 (LZR) に対する チャ ンネルの再生音響信号 (L/R) はそれぞれ前方左右のチヤ
ンネルの合成音響信号 (L ' / R ' ) に出力すると共にそのレべ ルを減衰させた後に前方中央のチヤ ンネルの合成音響信号 (C ' ) にも出力する。
また、 合成回路 4 により、 サラウン ドチャ ンネルの再生音響信 号 (S L / S R ) の音量をやや大きめにして後方左右に対するサ ラウン ドチヤ ンネルの合成音響信号 (S L ' / S R ' ) に出力す ると共に、 その一部を前方左右のチャ ンネルの合成音響信号 (L , Z R ' ) に出力してもよい。
このとき、 合成回路 4により、 図 6のスク リーン 6上の音源映 像位置 6 1が中央 V 2 である音源は音像定位位置 6 2が中央 S 2 のままであるが、 左右の音源映像位置にあった音源はより中央に 寄った位置に音像定位位置が変更される。
これにより、 スク リ一ン 6上に映出されるステージ全体の演奏 者を、 リ スナ 9 の位置から見て図 5の音像の中央への移動方向 L 1, L 3 に示すように演奏者の広がりを抑えることにより、 音像 の後方への移動方向 N l , N 2 , N 6に示すように演奏会場後方 よりステージ全体を眺めるように、 音像定位感を変更して効果的 に音響信号の再生を行う ことができる。
図 2 は他の音像定位処理装置の構成を示すプロック図である。 図 2 の音像定位処理装置 1 1が図 1の音像定位処理装置 1 と異 なる点は、 合成回路 4 の後段に仮想音像定位処理回路 1 2を設け 、 スピーカ 7を前方左右 L / Rの 2 チャ ンネルにした点である。 他の構成は図 1 と同様であるのでその説明を省略する。 図 2にお いて、 図 1 に対応する部分には同一の符号を付してある。 なお、 スピーカ 7 に替えて、 リ スナが装着するヘッ ドホンにより再生し ても良い。
このように構成された他の音像定位処理装置の動作を以下に説 明する。
DVDディ スク 2から図示しない光学ピックアップにより読み 出された再生信号をデコーダ 3がデコー ドして映像信号 S V、 ァ ングル選択信号 S A、 各チャ ンネルの再生音響信号 C, L , R, S L, S R, S Wを出力する。
了ングル選択信号 S Aにより合成回路 4は各チヤ ンネルの再生 音響信号 C, L , R, S L, S R, S Wを合成して各チャ ンネル の合成音響信号 C' , L' , R' , S L ' , S R' , S W を出 力する。
さ らに、 了ングル選択信号 S Aにより仮想音像定位処理回路 1 2は各チャ ンネルの合成音響信号 C ' , L' , R' , S L' , S
R' , S W を、 例えばリスナ 9の前方左右 (L/R) に配置さ れたスピーカ 7で再生された場合にあたかもリスナ 9の周囲に配 置された C, L, R, S L, S R, SWの 5. 1チャンネルの仮 想スピーカにより再生されるかのような臨場感豊かなサラゥン ド 再生音場を再生するように処理する。
仮想音像定位処理回路 1 2は、 再生する音源の音像定位位置か ら聴取者の両耳までの頭部音響伝達関数 (HRT F : H e a d R e l a t e d T r a n s f e r F u n c t i o n) とスヒ 一力 7 (L/R) から聴取者の両耳までの頭部音響伝達関数とに 基づいて行われる音像定位処理を、 各合成音響信号に対して行う 。 アングル . モー ドが変更されると、 リ スナ 9 とこれらの音像定 位位置との相対位置関係が変化するので、 この前者の頭部音響伝 達関数を変更して処理を行う ことにより、 アングル · モー ドに対 応した音像定位感をもつ再生音が得られる。 この信号処理は、 例 えば、 各頭部音響伝達関数に対応するイ ンパルス · レスポンスを 有する 1組の F I Rフィ ル夕で行われるが、 これらのフィルタの 係数を変更するこ とにより所望の伝達関数を得る。
ここで、 デコーダ 3に対して、 リ スナ 9の操作により リ モコン
(リ モ一 ト コマンダ一) 5 は、 アングル選択を指定するアングル 選択指定信号 S A' を供給する。
デコーダ 3 は、 供給されたアングル選択指定信号 S A' に基づ き、 対応するアングル · モー ドの映像信号 S Vを出力すると共に 、 対応するアングル選択信号 S Aを合成回路 4および仮想音像定 位処理回路 1 2 に供給する。 なお、 了ングル選択信号 S Aとアン ダル選択指定信号 S Α' とは実質的に同じ作用をするものであり 、 リ モコ ン 5からデコーダ 3、 合成回路 4および仮想音像定位処 理回路 1 2 に対して、 直接にアングル選択指定信号 S A' を供給 するようにしても良いことはもちろんである。
これにより、 リ スナ 9 により選択されたアングル · モー ドを示 すアングル選択指定信号 S A' がデコーダ 3に供給されて、 その 了ンダル · モ一ドに対応するカメ ラ · アンダルの映像信号 S Vを 出力する。 同時に、 アングル選択信号 S Αは合成回路 4に供給さ れ、 デコーダ 3から供給された各チャ ンネルの再生音響信号 C,
L , R, S L , S R, S Wが、 リ スナ 9 に対して再生音像の定位 情報に応じた各音響信号となるように各チヤ ンネルの再生音響信 号 C, L , R, S L, S R, S Wの合成比を変更して各チャ ンネ ルの合成音響信号 C ' , L ' , R' , S L ' , S R' , S W' を 出力する。
さ らに、 仮想音像定位処理回路 1 2 は、 合成回路 4から供給さ れた各チャ ンネルの合成音響信号 C ' , L ' , R' , S L ' , S R' , S W に対して音像定位処理を行って上述した 5. 1チヤ ンネルの仮想スピーカにより再生されるかのような臨場感豊かな サラウ ン ド再生音場を再生する仮想音響信号 V L, VRを出力す る。
これにより、 スク リ ーン 6 は映像信号 S Vによる画像を映出す る と共に、 各チャ ンネル L, Rのスピーカ 7は、 映像信号 S Vに
応じて再生音像の定位位置が変更された各チヤンネルの合成音響 信号 C' , L ' , R' , S L ' , S R' , S W に対して、 さら に、 音像定位処理を行った音響信号 V L, VRによる再生音を放 出する。 リ スナ 9はスク リ ーン 6による映像に対応して、 再生音 像の定位位置が変更されたス-ピ一力 7による上述した 5. 1チヤ ンネルの仮想スピーカにより再生されるかのような臨場感豊かな サラウン ド再生音場による再生音を聴取することができる。
上述した図 2に示した音像定位処理装置 1 1では、 了ングル選 択指定信号 S A' により選択されたアングル · モー ドによって各 再生音響信号の合成比を変更した後に、 この音像定位処理装置 1 1に供給され こ各合成音響信号に対して音像定位処理のみを施し たが、 これに限らず、 この合成回路 4における合成処理および音 像定位処理装置 1 1における音像定位処理を同時に行っても良い 。 この場合は、 アングル選択信号 S Aは仮想音像定位処理回路 1 2に供給され、 仮想音像定位処理回路 1 2は選択されたァングル
• モー ドに対応した再生音像定位感が得られるように、 各再生音 響信号に対して音像定位処理を施す。 つまり、 アングル選択信号 S Aに基づいて各再生音響信号 C, L , R, S L, S R, SWの 再生音像の定位位置を計算して求め、 その定位位置から聴取者の 両耳までの頭部音響伝達関数に基づいて音像定位処理を行う。 こ の場合には、 デコーダから供給された各再生音響信号の再生音像 位置の計算をするプロック と、 この求められた音像定位位置に基 づいて音像定位処理を行うプロックとから構成される。 なお、 こ の頭部音響伝達関数は聴取者の正面から所定の角度ごとのデータ を予めメ モリ内に格納しておき、 求められた角度に応じて読み出 すようにすればよい。 これらの信号処理は D S P (D i g i t a 1 S i n a l P r o c e s s o r ) などによりソフ トゥェ ァで実現される場合には、 不可分の構成となる。
図 3 は他の音像定位処理装置の構成を示すプロック図である。 図 3の音像定位処理装置 2 1が図 1 の音像定位処理装置 1 と異 なる点は、 アングル選択指定信号 S A ' により選択されたアング ル ' モー ドとアングル . モ一 ドを選択した時間情報 (タイ ミ ング 情報) S Tを記録する記録媒体 2 2を設けた点である。 他の構成 は図 1 と同様であるのでぞの説明を省略する。 図 3において、 図 1 に対応する部分には同一の符号を付してある。
このよ うに構成された他の音像定位処理装置の動作を以下に説 明する。
D V Dディ スク 2から図示しない光学ピックァップにより読み 出された再生信号をデコーダ 3がデコー ドして映像信号 S V、 ァ ングル選択信号 S A、 各チャ ンネルの再生音響信号 C, L , R , S L, S R , S Wを出力する。
ァングル選択信号 S Aにより合成回路 4 は各チヤ ンネルの再生 音響信号 C, L , R , S L , S R , S Wを合成して各チャ ンネル の合成音響信号 C ' , L ' , R ' , S L ' , S R ' , S W を出 力する。
ここで、 デコーダ 3 に対して、 リ スナ 9 の操作により リモコン (リ モー トコマンダ一) 5 は、 アンダル選択を指定するァングル 選択指定信号 S A ' を供給する。
これにより、 リスナ 9 により選択されたアングル · モ一 ドを示 すアングル選択指定信号 S A ' がデコーダ 3 に供給されて、 その アングル . モー ドに対応するカメラ ' アンダルの映像信号 S Vを 出力する。 同時に、 アングル選択信号 S Aは合成回路 4に供給さ れ、 デコーダ 3から供給された各チャ ンネルの再生音響信号 C,
L , R, S L, S R , S Wが、 リ ナ 9に対して再生音像の定位 情報に応じた各音響信号となるように各出力チヤ ンネルへの再生 音響信号 C, L , R, S し, S R, S Wの合成比あるいはチャ ン
ネル割り振りを変更して各チャ ンネルの合成音響信号 C ' , L ' , R' , S L ' , S R' , S W を出力する。
さらに、 アングル選択指定信号 S A' は記録媒体 2 2 に供給さ れて、 アングル選択指定信号 S A' により選択されたアングル · モー ドとそのァングル · モ一 ドを選択した時間情報 S Tが記録さ れる。 ここで、 時間情報 S Tは D V Dディ スク 2 に記録される夕 ィムコー ドをデコーダ 2でデコー ドする際に読み出してそのまま 禾' J用する。
このとき、 アングル選択指定信号 S A' により選択されたアン ダル · モー ドによつて相対的に変更される リスナ 9からの音像定 位指定情報に基づいて、 この合成回路 4において各再生音響信号 に対する音像定位処理が行われる。
これにより、 スク リ ーン 6 は映像信号 S Vによる画像を映出す る と共に、 各チャ ンネル L, Rのスピーカ 7は、 映像信号 S Vに 応じて再生音像の定位位置が変更された各チヤ ンネルの合成音響 信号 C ' , L ' , R' , S L ' , S R' , S W による再生音を 放出する。 リ スナ 9 はスク リ ーン 6 による映像に対応して、 再生 音像の定位位置が変更されたスピー力 7、 8による再生音を聴取 するこ とができる。
ここで、 さ らに、 リ スナ 9力 、 マルチ · アングルに対応した、 例えば映画が記録された D V Dディ スク 2を鑑賞している場合に 、 通常のアングル♦ モー ドで視聴しているときにあるシーンでは 別のァングル · モ一 ドを選択したいとすると、 そのシ一ンの変わ り目を読み出し、 アングル選択指定信号 S A' により選択された アングル · モー ドを変更し、 その変更したアングル選択指定信号
S A' を記録するように指示すると、 そのシーンの変わり目を示 す時間情報 S Tおよび変更されたアングル選択指定信号 S A' に より選択されたァングル · モ一 ドをこの記録媒体 2 2に記録する
この D V Dディ スク.2 の再生時には、 D V Dディ スク 2力、ら提 供される時間情報 S Tと この記録媒体 2 2 に記録された時間情報 S Tとを比較し、 一致するとこれに対応して記録媒体 2 2に記録 されるアングル選択指定信号 S A' により選択されたアングル · モ一 ドにデコーダ 3および合成回路 4が自動的に変更されるよう になされる。
もちろん、 アングル · モー ドが変更されると、 図 1に示した音 像定位処理装置 1 と同様にそのカメラ · アングルに応じて各再生 音響信号が合成回路 4によつて合成比を変更されてチヤ ンネル割 り振りを施されて、 各チャ ンネルに対応するスピーカ 7、 8に合 成音響信号が供給される。
このようにすることで、 リ スナ 9 は自身で構成するカメラ ♦ ァ ンダルのシ一ンの構成を作ることができ、 それを繰り返して鑑賞 することができ、 そのとき再生音声も力メラ · アングルに応じて
、 あたかも リ スナ 9が移動して図 6で示すスク リーン 6上に映出 される音源映像位置 6 1 に向き合うかのような音像定位位置 6 2 の定位感を得ることができる。
なお、 記録媒体 2 2への記録は何度も可能とすれば、 そのアン ダル構成に不満であった場合にやり直すことが可能である。 記録 媒体 2 2 と しては、 半導体メモリ に限らず、 例えば V T R (V i d e o T a p e R e c o r d e r ) テープや C D— R (C o m p a c t D i s c R e c o r d a b l e ) などを用いても 良く、 さ らに、 映像を提供する D V Dディ スク 2の少なく とも一 部が記録可能とされる場合に、 その D V Dディ スク 2 自身に記録 するようにしても良い。
記録媒体 2 2 には、 時間情報 S Tとこれに対応するァングル選 択指定信号 S A' とがァングルを変更したい回数に相当する数だ
け記録できればよいので、 記録媒体 2 2 の記録容量は小さいもの でよく、 この音像定位処理装置に備わるメモリの一部を使用して も良い。
また、 記録媒体 2 2 には、 D V Dディ スク 2を識別するコー ド またはタイ トルなどの文字列も同様に記録することが望ましく、 こうすることにより、 複数のタイ トルの D V Dディ スクに対して 1つの記録媒体中に記録することができる。 さ らには、 記録操作 を識別するコ一ドも記録するようにすれば、 1つの D V Dデイ ス クに対して複数のアングル選択パターンで記録でき、 いわゆる " テイク 1 " 、 "テイク 2 " といつた試行錯誤や楽しみ方ができる o
なお、 図 3 に示した音像定位処理装置 2 1では、 合成回路 4か ら各スピーカ 7、 8 に各チヤ ンネルの合成音響信号を出力するよ うにしたが、 これに限らず、 図 2 に示したように、 仮想音像定位 処理回路 1 2 を付加して各チヤ ンネルの再生音響信号より も少な いチヤ ンネルのスピーカによる再生を行つて良い。
図 4 は他の音像定位処理装置の構成を示すプロック図である。 図 4 の音像定位処理装置 3 1が図 1の音像定位処理装置 1 と異 なる点は、 D V Dディ スク 2 より音源位置情報が提供される点と 、 図 3 に示したアングル選択指定信号 S A ' により選択されたァ ングル · モー ドとアングル · モー ドを選択した時間情報 S Tを記 録する記録媒体 2 2を設けた点である。 他の構成は図 1 と同様で あるのでその説明を省略する。 図 4において、 図 1 または図 3に 対応する部分には同一の符号を付してある。
このよ うに構成された他の音像定位処理装置の動作を以下に説 明する。
D V Dディ スク 2から図示しない光学ピックァップにより読み 出された再生信号をデコーダ 3がデコ— ドして映像信号 S V、 音
源位置情報 S P、 アングル選択信号 S A、 各チヤ ンネルの再生音 響信号 C, L, R, S L, S R , S Wを出力する。
音源位置情報 S Pおよびアングル選択信号 S Aにより合成回路 4 は各チャ ンネルの再生音響信号 C, L , R , S L , S R , S W を合成して各チャ ンネルの合成音響信号 C ' , L ' , R ' , S L
, , S R ' , S W ' を出力する。
ここで、 D V Dディ スク 2 に記録される各音源は音源位置情報 S Pを有していて、 デコーダ 3 によつて各チヤ ンネルの再生音響 信号 C , L , R , S L , S , S Wに対する音源位置情報 S Pが 取り出される。 また、 音源位置情報 S Pは、 全音源のうち少なく とも主要な音源にのみ設けられるようにしてもよい。 例えば、 再 生音響信号 S Wを再生するスピーカは、 部屋のどこに配置されて もよいので、 この信号に対してはォンした位置情報を省略しても 良い。 また、 信号 S L , S Rで再生される音がサラウン ド音であ る場合には、 暗黙的にリ スナの斜め後方に配置されると解釈され 、 この場合には、 音源位置情報は省略できる。 換言すれば、 音源 位置情報が省略されたチヤ ンネルの音源は、 既定の位置情報を適 用されるようにしても良い。 また、 音源位置情報 S Pは、 図 6 に 示すスク リ ーン 6上の音源映像位置 6 1 などの基準位置からの音 像定位位置 6 2で示す相対座標値や、 図 5に示す音像位置の移動 情報などが含まれてもよい。
この場合、 各音源に設けられた音源位置情報 S Pに応じて、 図 6 のスク リ ーン 6上の音源映像位置 6 1がリスナ 9 の位置から見 て左 V 1、 中央 V 2、 右 V 3に対して音像定位位置 6 2が左 S 1 、 中央 S 2、 右 S 3 となるように音像定位位置が変更される。 ま た、 図 5のリスナ 9 の位置から音像の放射状に近接または離隔す る移動方向 N 1〜N 6、 時計方向または反時計方向への回転の移 動方向 R 1〜R 4、 左右方向への移動方向 L 1〜L 5へ音像位置
が移動される。
また、 デコーダ 3に対して、 リスナ 9 の操作により リ モコン ( リ モー トコマンダ一) 5 は、 アングル選択を指定するアングル選 択指定信号 S A' を供給する。
これにより、 リ スナ 9 により選択されたアングル,モー ドを示 すアングル選択指定信号 S A' がデコーダ 3 に供給されて、 その アングル · モー ドに対応するカメ ラ · ァンダルの映像信号 S Vを 出力する。 同時に、 音源位置情報 S Pおよびアングル選択信号 S Aは合成回路 4に供給され、 デコーダ 3から供給された各チャ ン ネルの再生音響信号 C, L , R, S L , S R, S Wが、 リスナ 9 に対して再生音像の定位情報に応じた各音響信号となるように各 チャ ンネルの再生音響信号 C, L , R, S L , S R, S Wの合成 比を変更して各チャ ンネルの合成音響信号 C ' , L ' , R' , S L ' , S R' , S W を出力する。
これにより、 合成回路 4 により、 各再生音響信号に対応する音 源位置情報 S Pおよびリ スナ 9 により選択されたアングル · モ一 ドを示すアングル選択指定信号 S A' によって、 リ スナ 9から見 た各音源の相対位置が計算され、 この相対位置に対応する再生音 響信号を再生するように、 各スピーカ 7、 8 に合成音響信号が出 力される。 リ スナ 9 はスク リ ーン 6 による映像の音源位置に対応 して、 再生音像の定位位置が指定され、 または再生音像の定位位 置が変更されたスピ一力 7、 8による再生音を聴取することがで さる。
さ らに、 上述した図 3 と同様に、 アングル選択指定信号 S A' は記録媒体 2 2 に供給されて、 アングル選択指定信号 S A' によ り選択されたアングル · モー ドとアングル . モー ドを選択した時 間情報 (タイ ミ ング情報) S Tが記録される。 ここで、 時間情報 S Tは D V Dディ スク 2 に記録されるタイムコ一 ドをデコーダ 2
でデコー ドする際に読み出してそのまま利用する。
このとき、 アングル選択指定信号 S A' により選択されたアン ダル · モ一 ドおよび音源位置情報 S Pによって相対的に変更され る リ スナ 9からの音像定位指定情報に基づいて、 この合成回路 4 において各音響信号に対する音像定位処理が行われる。
これにより、 スク リ ーン 6 は映像信号 S Vによる画像を映出す ると共に、 各チャ ンネル C, L, R, S L, S R, S Wのスピ一 力 7、 8 は、 映像信号 S Vに応じて再生音像の定位位置が変更さ れた各チャ ンネルの合成音響信号 C ' , L ' , R' , S L ' , S R' , S W による再生音を放出する。 リ スナ 9 はスク リ ーン 6 による映像に対応して、 再生音像の定位位置が変更されたスピ一 力 7、 8 による再生音を聴取することができる。
こ こで、 さ らに、 リ スナ 9 が、 マルチ ' アングルに対応した、 例えば映画が記録された D V Dディ スク 2を鑑賞している場合に 、 通常のアングル . モー ドで視聴しているときにあるシーンでは 別のアングル · モ一 ドを選択したいとすると、 そのシーンの変わ り 目を読み出し、 アングル選択指定信号 S A' により選択された ァングル · モ一 ドを変更し、 その変更したアングル選択指定信号 S A' を記録するように指示すると、 そのシーンの変わり目を示 す時間情報 S Tおよび変更されたアングル選択指定信号 S A' に より選択されたァングル ♦ モー ドをこの記録媒体 2 2に記録する o
この D V Dディ スク 2 の再生時には、 D V Dディ スク 2から提 供される時間情報 S Tとこの記録媒体 2 に記録された時間情報 S Tとを比較し、 一致するとこれに対応して記録媒体 2 2 に記録 されるアンダル選択指定信号 S A' により選択されたァンダル · モー ドおよび D V Dディ スク 2から提供される音源位置情報 S P に基づいてデコーダ 3および合成回路 4が自動的に変更されるよ
うになされる。
もちろん、 アングル ' モー ドが変更されると、 図 1に示した音 像定位処理装置 1 と同様にそのカメラ · アングルに応じて各音響 信号が合成回路 4 によって合成比が変更されてチヤ ンネル割り振 りを施されて、 各チャ ンネルに対応するスピーカ 7、 8 に再生音 響信号を供給する。
このようにすることで、 リ スナ 9 は自身で構成する力メラ ♦ ァ ンダルのシ一ンの構成を作ることができ、 それを繰り返して鑑賞 することができ、 そのとき再生音声もカメラ · アングルに応じて 、 あたかも リ スナ 9が移動して図 6で示すスク リーン 6上に映出 される音源映像位置 6 1 に向き合うかのような音像定位位置 6 2 の定位感を得るこ とができる。
なお、 記録媒体 2 2への記録は何度も可能とすれば、 そのアン グル構成に不満であつた場合にやり直すことが可能である。 記録 媒体 2 2 と しては、 半導体メモリに限らず、 例えば V T Rテープ や C D— Rなどを用いても良く、 さ らに、 映像を提供する D V D ディ スク 2 の少なく と も一部が記録可能とされる場合に、 その D V Dディ スク 2 自身に記録するようにしても良い。
また、 図 3 に示した音源定位処理装置における記録媒体 2 と 同様に、 記録する情報量は小さいので、 音像定位処理装置に備わ るメモリ の一部を使用しても良い。 さ らに、 前述の例と同様に、 記録媒体 2 2 にディ スク I Dコ一 ドゃ記録操作 I Dコ— ドを記録 するようにしても良い。
なお、 図 4 に示した音像定位処理装置 3 1では、 合成回路 4か ら各スピーカ 7、 8 に各チャ ンネルの再生音響信号を出力するよ うにしたが、 これに限らず、 図 2に示したように、 仮想音像定位 処理回路 1 2 を付加して各チヤンネルの再生音響信号より も少な いチヤ ンネルのスピーカによる再生を行つて良い。
なお、 上述した本実施の形態の図 1〜図 4に示した音像定位処 理装置では、 リスナ 9により選択されたアングル · モー ドを示す 了ングル選択指定信号 S A' をデコーダ 3を介して合成回路 4ま たは仮想音像定位処理回路 1 2に供給する例を示したが、 これに 限らず、 直接に、 合成回路 4または仮想音像定位処理回路 1 2に 供給するようにしても良い。 例えば、 別体である DVDプレイヤ —あるいは A Vレシーバにデコ一ダ 3が内蔵されている場合には 、 本実施の形態の音像定位処理装置はリスナ 9の操作により選択 されたアングル選択指定信号 S A' を合成回路 4または仮想音像 定位処理回路 1 2に供給するようにしても良い。 この場合でも、 選択されたアングル · モー ドに対応する映像信号を選択するため に D V Dプレイヤーあるいは A Vレシーバに内蔵されるデコーダ 3に、 このアングル選択指定信号 S A' が供給されるようにする 。 いずれも、 リスナ 9により選択されたアングル · モー ドによつ て変更される映像信号 S Vおよび再生音響信号を生成する手段に 対して、 アングル選択指定信号 S A' が供給される構成であれば よい。
また、 アングル選択指定信号 S A' はリ モコ ン 5より供給され る例を示したが、 これに限らず、 音像定位処理装置に備わる操作 キ一などの入力手段により発生され、 供給するようにしても良い ことはもちろんである。
以下に、 他の適用例を説明する。
位置情報を有する音源を供給する記録媒体としては、 他に楽曲 データを供給する M I D I (M u s i c a l I n s t r u m e n t D i i t a l I n t e r f a c e ) 音源、 ビデオ · ゲ
—ムなどがあり、 上述した D V Dビデオディ スクに限らず、 これ らにも適用することができる。
M I D I音源では、 コン トロールチヱンジ情報のうち拡張コー
ドのパンを示すコン ト ロール番号 # 1 0がステレオ出力時の音像 の定位を指定する。 このコ ン トロール番号 # 1 0 の値は 0が左、 6 4が中央、 1 2 7が右となり、 左右の間で自由に音像の定位を 指定できる。 つまり、 この情報を伴って楽曲データが供給され、 この値を変更する こ とで音源定位位置を変更することができる。 本実施の形態に適用した場合、 この M I D I データを再生する 際に、 上述した合成回路 4により、 リ スナの好みやリスナの聴取 位置により この値を変更して、 変更された音源定位位置より音源 の再生音が再生されるように合成処理する。
もちろん、 上述した本実施の形態のように、 この変更情報を記 録媒体に記録して、 次回再生時に再口一 ドして用いるようにして ね良い。
また、 この変更情報を記録した記録媒体を M I D I音源の記録 媒体とは別に配布するようにしても良い。
通常の M I D I音源では、 リ スナ 9 の前方左右に配置されたス ピー力で再生されるが、 上述した合成回路 4により、 この情報を 拡張コ一 ドにより拡張してリ スナの周囲 3 6 0 ° にわたつて音像 が定位できるように合成処理するようにしても良い。
この場合、 例えば、 リ スナ 9 により選択されたアングル · モ一 ドを示すアングル選択指定信号 S A ' を用いて上述した合成回路 4 により、 コ ン ト ロール番号 # 1 0 の値は 6 4が中央 Cチャ ンネ ル、 値 4 8が左 Lチャ ンネル、 値 7 6が右 Rチャ ンネル、 値 2 1 が後方左 S Lチャ ンネル、 値 1 0 Ίが後方右 S Rチャ ンネルなど のように再定義するようにしても良いし、 あるいはこの位置情報 であるコ ン トロール番号 # 1 0 の各値と対応した音源定位位置の 各チャ ンネルに変換するテーブルを、 上述した合成回路 4、 仮想 音像定位処理回路 1 2 または図示しないマイクロコンピュータで 構成されるシステム . コン トローラに設けるように構成してこれ
らの変換処理を行うようにしても良い。
また、 ビデオ · ゲーム機の場合は、 再生信号に、 そのシーンに 登場するキャラクタに対して上述した図 6 に示す音源映像位置 6 1を示す情報と音像定位位置 6 2を示す情報が含まれる。 この位 置情報は、 プレーヤのゲーム . コン トローラなどのポインティ ン グデバイスにより主要なキヤラク夕の位置を変更するように与え られた指示に従って変更される。 この変更された位置情報と、 選 択されたアングル · モ一 ドを示すアングル選択指定信号 S A ' と に基づいて、 キャラクタの音像定位位置が決定され、 上述した合 成回路 4や仮想音像定位処理回路 1 2 により、 スク リ ーン 6上の キャラクタの位置や動きに合わせて適切な音源映像位置 6 1で示 す定位位置より音像定位位置 6 2で示す再生音が再生される。 上 述したビデオ · ゲーム機は、 ィ ンターネッ トを介してインタラク ティ ブに操作を行うゲームソフ トにも適用できることはいうまで もない。 また、 これらの処理をプログラムと して記述したゲ一ム ソフ ト と して配布するこ と もできる。
さ らに、 本実施の形態をテレビ会議システムにも適用すること ができる。 特に、 多地点の双方向会議を示すマルチポイ ン トにお けるテレビ会議システムにおいて、 図 6 に示したスク リ 一ン 6上 の画面の任意の音源映像位置 6 1 に話し相手の顔を表示させた場 合、 上述した合成回路 4により、 話し手により選択されたアング ノレ · モー ドを示すアングル選択指定信号 S A ' を用いて変更情報 を加えて、 それぞれの話者の図 6 に示した音像定位位置 6 2がそ れぞれの顔の音源映像位置 6 1 に対応する位置に定位できるよう にすることにより、 違和感無く会議に集中することができる。 上述した本実施の形態の音像定位処理装置によれば、 リスナが 選択したァングル ' モー ド (ビュー · モー ド) に応じて、 各音像 定位位置も適切に設定されて再生音が再生されるため、 再生され
た音源映像位置と適合したより臨場感にあふれる音響再生をする ことができる。 また、 リ スナが視聴したい出演者や音源を主体に - して再生をすることができ、 利用の幅を広げることができる。
さ らに、 再設定された各音源についての新たな音源位置情報に 応じて音像定位処理を行うので、 意図された音像定位位置に各音 源が定位され、 より再生画像の親和感を図ることができる。
また、 変更したアングル ' モー ドと、 それを変更した時間情報 を再生画像の時間情報と対応つけて記録媒体に記録し、 次回の再 生時にこの変更した情報に基づいて再生信号を再生することがで きるので、 自分の好みに応じた再生パターンを作ることができる 。 もちろん、 これは何度でも作り直すことができるため、 記録媒 体を交換可能とすれば複数の再生パターンを作ることができる。
さ らに、 音源の位置情報も取り出すことができる音源供給源と なる記録媒体の場合には、 音源位置情報も含めて希望のァングル • モー ドにおける各音源の定位情報を再構成することにより、 再 生画像と最も適合する音響再生を行うことができる。
さ らに、 上述した適用例に限らず、 再生音声の位置情報を変更 することができる他の電子機器に適用することができる。 産業上の利用の可能性
本発明は、 D V Dディ スクのマルチ · アングル機能に対応させ て各チヤ ンネルの再生音響信号を合成して、 聴取者が再生画面の ァンダルに適合した音像定位感を得ることができる音像定位処理 装置に適用することができる。
Claims
1 . 音源信号に対し予め定められた再生音像定位位置または方向 を示す音像定位情報に対して、 変更を加えて新たな音像定位情 報を提供する定位情報変更手段と、
上記音源信号に対して、 上記定位情報変更手段により提供さ れる音像定位情報に基づいて、 再生音像定位位置または方向を 変更させる処理を施す音像定位処理手段と
を備える音像定位処理装置。
2 . 請求項 1記載の音像定位処理装置において、
上記定位情報変更手段は、 上記予め定められた再生音像定位 位置または方向に定位された音源に対してリスナが臨むァング ルを変更するこ とにより、 リ スナから見た上記音源の再生音像 定位位置または方向を変更するようにした
音像定位処理装置。
3 . 請求項 1.記載の音像定位処理装置において、
上記音像定位処理手段は、 上記音源信号の、 少なく とも 2以 上の出力チヤ ンネルへの合成比率またはチヤ ンネル割り振りを 変更する合成回路である
ことを特徴とする音像定位処理装置。
4 . 請求項 1記載の音像定位処理装置において、
上記音像定位処理手段は、 上記定位情報変更手段により提供 される上記音源の再生音像定位位置からリスナの両耳までの頭 部音響伝達関数に基づいて音像定位処理を施す
ことを特徴とする音像定位処理装置。
5 . 請求項 1記載の音像定位処理装置において、
上記音像定位処理手段は、
上記音源信号の、 少なく とも 2以上の出力チヤンネルへの合 成比率またはチヤ ンネル割り振りを変更する合成手段と、
上記合成手段により新たに定められた再生音像定位位置から リ スナの両耳までの頭部音響伝達関数に基づいて音像定位処理 を施す信号処理手段と
を備える音像定位処理装置。
6 . 請求項 1記載の音像定位処理装置において、
記録手段をさ らに備え、
上記定位情報変更手段により変更された音像定位情報と、 こ の音像定位情報が変更された再生時間情報とを、 対応させて上 記記録手段に記録し、
この記録手段に記録された上記音像定位情報および上記再生 時間情報に基づいて上記音源信号の処理および再生を行う ことを特徴とする音像定位処理装置。
7 . 請求項 6記載の音像定位処理装置において、
上記記録手段に、 上記音像定位情報および上記再生時間情報 と共に、 さ らに音源を識別するための音源識別情報を記録する 音像定位処理装置。
8 . 請求項 6記載の音像定位処理装置において、
上記記録手段に、 上記音像定位情報および上記再生時間情報 と共に、 さ らに記録操作を識別する情報を記録する
音像定位処理装置。
9 . 音源信号にともなって供給され、 この音源信号の再生音像定 位位置または方向を示す音像定位情報に対して、 変更を加えて 新たな音像定位情報を提供する定位情報変更手段と、
上記音源信号に対して、 上記定位情報変更手段により提供さ れる音像定位情報に基づいて、 再生音像定位位置または方向を 変更させる処理を施す音像定位処理手段と
を備える音像定位処理装置。
1 0 . 請求項 9記載の音像定位処理装置において、
上記定位情報変更手段は、 上記予め定められた再生音像定位 位置または方向に定位された音源に対してリスナが臨むァング ルを変更するこ とにより、 リスナから見た上記音源の再生音像 定位位置または方向を変更するようにした
音像定位処理装置。
1 . 請求項 9記載の音像定位処理装置において、
上記音像定位処理手段は、 上記音源信号の、 少なく とも 2以 上の出力チヤ ンネルへの合成比率またはチヤ ンネル割り振りを 変更する合成回路である
ことを特等とする音像定位処理装置。
2 . 請求項 9記載の音像定位処理装置において、
上記音像定位処理手段は、 上記定位情報変更手段により提供 される上記音源の再生音像定位位置からリスナの両耳までの頭 部音響伝達関数に基づいて音像定位処理を施す
ことを特徵とする音像定位処理装置。
3 . 請求項 9記載の音像定位処理装置において、
上記音像定位処理手段は、
上記音源信号の、 少なく とも 2以上の出力チヤ ンネルへの合 成比率またはチャ ンネル割り振りを変更する合成手段と、
上記合成手段により新たに定められた再生音像定位位置から リ スナの両耳までの頭部音響伝達関数に基づいて音像定位処理 を施す信号処理手段と
を備える音像定位処理装置。
4 . 請求項 9記載の音像定位処理装置において、
記録手段をさ らに備え、
上記定位情報変更手段により変更された音像定位情報と、 こ の音像定位情報が変更された再生時間情報とを、 対応させて上 記記録手段に記録し、
この記録手段に記録された上記音像定位情報および上記再生 時間情報に基づいて上記音源信号の処理および再生を行う ことを特徵とする音像定位処理装置。
1 5 . 請求項 1 4記載の音像定位処理装置において、
上記記録手段に、 上記音像定位情報および上記再生時間情報 と共に、 さ らに音源を識別するための音源識別情報を記録する 音像定位処理装置。
1 6 . 請求項 1 4記載の音像定位処理装置において、
上記記録手段に、 上記音像定位情報および上記再生時間情報 と共に、 さ らに記録操作を識別する情報を記録する
音像定位処理装置。 ''
1 7 . 複数の映像信号のうち 1つを選択して再生映像出力を得る 映像選択手段と、
上記映像信号に関連付けられて供給される音源信号に対し予 め定められた再生音像定位位置または方向を示す音像定位情報 に対して、 変更を加えて新たな音像定位情報を提供する定位情 報変更手段と、
上記映像選択手段における映像信号の選択、 および上記定位 情報変更手段における音像定位情報の変更を制御する制御手段 と、
上記音源信号に対して、 上記定位情報変更手段により提供さ れる音像定位情報に基づいて、 再生音像定位位置または方向を 変更させる処理を施す音像定位処理手段と
を備える音像定位処理装置。
1 8 . 音源信号に対し予め定められた再生音像定位位置または方 向を示す音像定位情報に対して、 変更を加えて新たな音像定位 情報を提供するステップと、
上記音源信号に対して、 上記提供された音像定位情報に基づ
いて、 再生音像定位位置または方向を変更させる処理を施すス テツプと
を備える音像定位処理方法。
9 . 請求項 1 8記載の音像定位処理方法において、
上記音像定位情報を変更するステップは、 上記予め定められ た再生音像定位位置または方向に定位された音源に対してリス ナが臨むァングルを変更することにより、 リ スナから見た上記 音源の再生音像定位位置または方向を変更するようにした 音像定位処理方法。
0 . 音源信号にともなって供給され、 この音源信号の再生音像 定位位置または方向を示す音像定位情報に対して、 変更を加え て新たな音像定位情報を提供するステップと、
上記音源信号に対して、 上記提供された音像定位情報に基づ いて、 再生音像定位位置または方向を変更させる処理を施すス テツプと
を備える音像定位処理方法。
1 . 請求項 2 0記載の音像定位処理方法において、
上記音像定位情報を変更するステツプは、 上記予め定められ た再生音像定位位置または方向に定位された音源に対してリス ナが臨むアングルを変更することにより、 リスナから見た上記 音源の再生音像定位位置または方向を変更するようにした 音像定位処理方法。
2 . 音源信号の予め定められた再生音像定位位置に対して変更 された音像定位情報と、 この音像定位情報が変更された再生時 間情報とを、 対応させて記録されたことを特徼とする記録媒体
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN018071333A CN1419796B (zh) | 2000-12-25 | 2001-12-25 | 音像定位处理装置和音像定位处理方法 |
US10/204,567 US7336792B2 (en) | 2000-12-25 | 2001-12-25 | Virtual acoustic image localization processing device, virtual acoustic image localization processing method, and recording media |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-392874 | 2000-12-25 | ||
JP2000392874A JP2002199500A (ja) | 2000-12-25 | 2000-12-25 | 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2002052897A1 true WO2002052897A1 (fr) | 2002-07-04 |
Family
ID=18858791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2001/011379 WO2002052897A1 (fr) | 2000-12-25 | 2001-12-25 | Dispositif de localisation d'image sonore virtuelle, procede de localisation d'image sonore virtuelle, et moyen de stockage |
Country Status (5)
Country | Link |
---|---|
US (1) | US7336792B2 (ja) |
JP (1) | JP2002199500A (ja) |
KR (1) | KR100854122B1 (ja) |
CN (1) | CN1419796B (ja) |
WO (1) | WO2002052897A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004073352A1 (de) * | 2003-02-12 | 2004-08-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum bestimmen einer wiedergabeposition |
US7606372B2 (en) | 2003-02-12 | 2009-10-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining a reproduction position |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004144912A (ja) * | 2002-10-23 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 音声情報変換方法、音声情報変換プログラム、および音声情報変換装置 |
JP2004151229A (ja) * | 2002-10-29 | 2004-05-27 | Matsushita Electric Ind Co Ltd | 音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置 |
JP4134794B2 (ja) * | 2003-04-07 | 2008-08-20 | ヤマハ株式会社 | 音場制御装置 |
JP4551652B2 (ja) * | 2003-12-02 | 2010-09-29 | ソニー株式会社 | 音場再生装置及び音場空間再生システム |
JP2005191668A (ja) * | 2003-12-24 | 2005-07-14 | Pioneer Electronic Corp | 発音制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
WO2006006642A1 (ja) * | 2004-07-13 | 2006-01-19 | Yugenkaisha Azu Geijyutu Kagaku Kenkyusho | 映像演出システム及び映像演出方法 |
KR100725818B1 (ko) * | 2004-07-14 | 2007-06-11 | 삼성전자주식회사 | 최적 가상음원을 제공하는 음향재생장치 및 음향재생방법 |
CN100348020C (zh) * | 2004-09-14 | 2007-11-07 | 南京Lg新港显示有限公司 | 根据画面上说话人的位置控制音量的图像显示设备及方法 |
JP2006086921A (ja) * | 2004-09-17 | 2006-03-30 | Sony Corp | オーディオ信号の再生方法およびその再生装置 |
US7928311B2 (en) * | 2004-12-01 | 2011-04-19 | Creative Technology Ltd | System and method for forming and rendering 3D MIDI messages |
DE102005008343A1 (de) | 2005-02-23 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System |
DE102005008342A1 (de) | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Speichern von Audiodateien |
DE102005008366A1 (de) | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
DE102005008369A1 (de) | 2005-02-23 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems |
JP4935091B2 (ja) | 2005-05-13 | 2012-05-23 | ソニー株式会社 | 音響再生方法および音響再生システム |
KR100630826B1 (ko) * | 2005-06-21 | 2006-10-02 | 주식회사 현대오토넷 | 차량의 대칭 음향 시스템 및 그 제어 방법 |
KR100601729B1 (ko) | 2005-06-24 | 2006-07-18 | 블루텍 주식회사 | 인간의 인지적 측면을 고려한 공간 역 필터링 장치 및방법과 이 장치를 제어하는 컴퓨터 프로그램을 저장하는컴퓨터로 읽을 수 있는 기록 매체 |
EP1897012B1 (en) * | 2005-06-24 | 2019-07-17 | Dolby Laboratories Licensing Corporation | Immersive audio communication |
JP4821250B2 (ja) * | 2005-10-11 | 2011-11-24 | ヤマハ株式会社 | 音像定位装置 |
JP5067595B2 (ja) * | 2005-10-17 | 2012-11-07 | ソニー株式会社 | 画像表示装置および方法、並びにプログラム |
JP4359779B2 (ja) * | 2006-01-23 | 2009-11-04 | ソニー株式会社 | 音響再生装置および音響再生方法 |
JP4946305B2 (ja) | 2006-09-22 | 2012-06-06 | ソニー株式会社 | 音響再生システム、音響再生装置および音響再生方法 |
US8428434B2 (en) | 2006-10-23 | 2013-04-23 | Pioneer Corporation | Video reproducing apparatus, video display system and record medium |
KR100912075B1 (ko) * | 2006-12-11 | 2009-08-12 | 한국전자통신연구원 | 가상현실을 위한 오디오 음상 제어 장치 및 그 방법 |
KR100873639B1 (ko) * | 2007-01-23 | 2008-12-12 | 삼성전자주식회사 | 헤드폰에서 출력되는 음상을 외재화하는 장치 및 방법. |
US20090017910A1 (en) * | 2007-06-22 | 2009-01-15 | Broadcom Corporation | Position and motion tracking of an object |
JP4841495B2 (ja) | 2007-04-16 | 2011-12-21 | ソニー株式会社 | 音響再生システムおよびスピーカ装置 |
WO2009051132A1 (ja) * | 2007-10-19 | 2009-04-23 | Nec Corporation | 信号処理システムと、その装置、方法及びそのプログラム |
KR100954385B1 (ko) * | 2007-12-18 | 2010-04-26 | 한국전자통신연구원 | 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 |
US8430750B2 (en) * | 2008-05-22 | 2013-04-30 | Broadcom Corporation | Video gaming device with image identification |
WO2010025343A1 (en) * | 2008-08-28 | 2010-03-04 | Jonas Lawrence A | System for integrating multiple im networks and social networking websites |
JP2010282294A (ja) * | 2009-06-02 | 2010-12-16 | Canon Inc | 情報処理装置、情報処理方法及びプログラム |
CN102045497A (zh) * | 2009-10-26 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 实现声音事件监控的影像摄录设备及方法 |
JP5499633B2 (ja) | 2009-10-28 | 2014-05-21 | ソニー株式会社 | 再生装置、ヘッドホン及び再生方法 |
WO2012042905A1 (ja) * | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | 音響再生装置および音響再生方法 |
JP6035702B2 (ja) | 2010-10-28 | 2016-11-30 | ヤマハ株式会社 | 音響処理装置および音響処理方法 |
EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
US9264812B2 (en) | 2012-06-15 | 2016-02-16 | Kabushiki Kaisha Toshiba | Apparatus and method for localizing a sound image, and a non-transitory computer readable medium |
EP3136713A4 (en) * | 2014-04-22 | 2017-12-06 | Sony Corporation | Information reproduction device, information reproduction method, information recording device, and information recording method |
CN105740029B (zh) * | 2016-03-03 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 一种内容呈现的方法、用户设备及*** |
CN106162206A (zh) * | 2016-08-03 | 2016-11-23 | 北京疯景科技有限公司 | 全景录制、播放方法及装置 |
CN106507006A (zh) * | 2016-11-15 | 2017-03-15 | 四川长虹电器股份有限公司 | 智能电视定向传声的***与方法 |
US10592199B2 (en) * | 2017-01-24 | 2020-03-17 | International Business Machines Corporation | Perspective-based dynamic audio volume adjustment |
JP2021153292A (ja) * | 2020-03-24 | 2021-09-30 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301390A (ja) * | 1993-04-12 | 1994-10-28 | Sanyo Electric Co Ltd | 立体音像制御装置 |
JPH0721742A (ja) * | 1993-06-21 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 音響編集システム及び音響再生システム |
WO1995022235A1 (fr) * | 1994-02-14 | 1995-08-17 | Sony Corporation | Systeme de reproduction visuelle et sonore |
JPH07222299A (ja) * | 1994-01-31 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 音像移動処理編集装置 |
JPH10191264A (ja) * | 1996-09-16 | 1998-07-21 | Samsung Electron Co Ltd | 多重角再生のためのデータの同期再生装置 |
JPH1132398A (ja) * | 1997-05-16 | 1999-02-02 | Victor Co Of Japan Ltd | デュプリケーションシステム、編集システム及び記録媒体の作成方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69609154T2 (de) * | 1995-08-21 | 2000-12-14 | Matsushita Electric Industrial Co., Ltd. | Multimedia optische platte, die ein dynamisches schalten zwischen wiedergabeausgangen und wiedergabegeraten ermoglicht |
US5999698A (en) * | 1996-09-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Multiangle block reproduction system |
DE19646055A1 (de) * | 1996-11-07 | 1998-05-14 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher |
KR100238668B1 (ko) * | 1996-11-28 | 2000-01-15 | 윤종용 | 디지털 비디오 재생장치 |
JP2001028799A (ja) * | 1999-05-10 | 2001-01-30 | Sony Corp | 車載用音響再生装置 |
-
2000
- 2000-12-25 JP JP2000392874A patent/JP2002199500A/ja active Pending
-
2001
- 2001-12-25 KR KR1020027011084A patent/KR100854122B1/ko not_active IP Right Cessation
- 2001-12-25 CN CN018071333A patent/CN1419796B/zh not_active Expired - Fee Related
- 2001-12-25 US US10/204,567 patent/US7336792B2/en not_active Expired - Fee Related
- 2001-12-25 WO PCT/JP2001/011379 patent/WO2002052897A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301390A (ja) * | 1993-04-12 | 1994-10-28 | Sanyo Electric Co Ltd | 立体音像制御装置 |
JPH0721742A (ja) * | 1993-06-21 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 音響編集システム及び音響再生システム |
JPH07222299A (ja) * | 1994-01-31 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 音像移動処理編集装置 |
WO1995022235A1 (fr) * | 1994-02-14 | 1995-08-17 | Sony Corporation | Systeme de reproduction visuelle et sonore |
JPH10191264A (ja) * | 1996-09-16 | 1998-07-21 | Samsung Electron Co Ltd | 多重角再生のためのデータの同期再生装置 |
JPH1132398A (ja) * | 1997-05-16 | 1999-02-02 | Victor Co Of Japan Ltd | デュプリケーションシステム、編集システム及び記録媒体の作成方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004073352A1 (de) * | 2003-02-12 | 2004-08-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum bestimmen einer wiedergabeposition |
US7606372B2 (en) | 2003-02-12 | 2009-10-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining a reproduction position |
Also Published As
Publication number | Publication date |
---|---|
KR20020079903A (ko) | 2002-10-19 |
CN1419796B (zh) | 2012-05-30 |
US20030118192A1 (en) | 2003-06-26 |
KR100854122B1 (ko) | 2008-08-26 |
CN1419796A (zh) | 2003-05-21 |
JP2002199500A (ja) | 2002-07-12 |
US7336792B2 (en) | 2008-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2002052897A1 (fr) | Dispositif de localisation d'image sonore virtuelle, procede de localisation d'image sonore virtuelle, et moyen de stockage | |
JP5702599B2 (ja) | 音声データを処理するデバイス及び方法 | |
JP5688030B2 (ja) | 三次元音場の符号化および最適な再現の方法および装置 | |
US8108220B2 (en) | Techniques for accommodating primary content (pure voice) audio and secondary content remaining audio capability in the digital audio production process | |
TW396713B (en) | Multi-channel audio enhancement system for use in recording and playback and methods for providing same | |
JP2897586B2 (ja) | 音場制御装置 | |
JP5050721B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPH07325591A (ja) | 疑似音楽演奏環境生成方法および装置 | |
US5222059A (en) | Surround-sound system with motion picture soundtrack timbre correction, surround sound channel timbre correction, defined loudspeaker directionality, and reduced comb-filter effects | |
JPS63183495A (ja) | 音場制御装置 | |
WO2003079724A1 (fr) | Appareil de traitement d'un signal de localisation d'image sonore et procede de traitement dudit signal | |
JP2002345097A (ja) | サラウンド音場再生システム | |
JP2007158527A (ja) | 信号処理装置、信号処理方法、再生装置、記録装置 | |
JP2009260458A (ja) | 音響再生装置、および、これを含む映像音声視聴システム | |
Fisher | Instant surround sound | |
JPH0415693A (ja) | 音源情報制御装置 | |
JPH10268888A (ja) | カラオケ室 | |
TWI699122B (zh) | 多聲道音訊控制系統 | |
JP3572165B2 (ja) | 映像音響信号再生装置及び映像音響信号再生方法 | |
JPH09163500A (ja) | バイノーラル音声信号生成方法及びバイノーラル音声信号生成装置 | |
JP2004287362A (ja) | カラオケ装置 | |
Brandenburg et al. | Audio Codecs: Listening pleasure from the digital world | |
Barbour | Applying aural research: the aesthetics of 5.1 surround | |
Amyes | The Mix | |
Norlén | The potential of 5.1 home surround system to create a wide listening area for music production |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AK | Designated states |
Kind code of ref document: A1 Designated state(s): CN KR US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 1020027011084 Country of ref document: KR |
|
WWE | Wipo information: entry into national phase |
Ref document number: 018071333 Country of ref document: CN |
|
WWP | Wipo information: published in national office |
Ref document number: 1020027011084 Country of ref document: KR |
|
WWE | Wipo information: entry into national phase |
Ref document number: 10204567 Country of ref document: US |