WO1995022235A1 - Systeme de reproduction visuelle et sonore - Google Patents

Systeme de reproduction visuelle et sonore Download PDF

Info

Publication number
WO1995022235A1
WO1995022235A1 PCT/JP1995/000197 JP9500197W WO9522235A1 WO 1995022235 A1 WO1995022235 A1 WO 1995022235A1 JP 9500197 W JP9500197 W JP 9500197W WO 9522235 A1 WO9522235 A1 WO 9522235A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
sound
listener
video
video signal
Prior art date
Application number
PCT/JP1995/000197
Other languages
English (en)
French (fr)
Inventor
Kiyofumi Inanaga
Yuji Yamada
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to JP52111795A priority Critical patent/JP3687099B2/ja
Priority to US08/513,806 priority patent/US5796843A/en
Priority to EP95907878A priority patent/EP0695109B1/en
Priority to MX9504157A priority patent/MX9504157A/es
Publication of WO1995022235A1 publication Critical patent/WO1995022235A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones

Definitions

  • the present invention relates to a video signal and audio signal reproducing device [E] for reproducing an audio signal by a headphone while watching a video, for example.
  • the binaural sound pickup W raw method means the following method.
  • the left and right sides of the dummy head assuming the head of the listener ⁇ Mountain j
  • a microphone called “micro head-microphone” is provided in the hole of the ear.
  • the dummy head microphone picks up the acoustic signal from the signal source.
  • the listener picks up the headphones and reproduces the sound signal collected in this way, the listener can feel as if he / she is listening to the sound from the signal source.
  • a headphone can be used to obtain a reproduction effect in which the general stereo signal is localized outside the head (speaker location hidden) in the same way as speaker reproduction.
  • the same effect as speaker playback can be obtained with headphones, and the effect of not having a sound from the outside by the headphone can also be obtained.
  • the absolute direction and position of the sound image do not change even if the listener changes the head (face) direction, and the relative sound image sensed by the listener is not changed. The direction and position change.
  • the following binaural playback method using headphones has been considered. That is, the sense of direction and the sense of localization of the sound image are determined by the volume difference, time difference, phase difference, etc. of the sounds heard by the left ear and the right If.
  • a level control circuit and a variable delay circuit are provided for each audio signal line, and the direction of the listener's head is detected. Based on the detected signal, the audio signal level control circuit and variable circuits for each channel are detected. This is to control the delay circuit.
  • the motor is driven by the detection signal itself of the direction of the listener, and the level control circuit and the motor are driven by this motor.
  • the variable resistor and capacitor of the variable S circuit ⁇ , ⁇ ⁇ , ⁇ , ⁇ , ⁇ , ⁇ , ⁇ , ⁇ , ⁇ ⁇ , ⁇ , ⁇ ⁇ , ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇ , ⁇ ⁇
  • the change characteristics are relative to the sound source and the listener. It must be determined based on the proper positional relationship, the shape of the listener's head and the shape of the pinna. In other words, if a certain change characteristic is used, the positional relationship between the sound source and the listener is fixed, and the sense of distance and the sound source 10 distance cannot be changed. Since the shape of the head and pinna differ depending on the type of snare, the degree of effectiveness may vary.
  • a virtual or sound source-specific characteristic when measuring a transfer function from the sound source position to the binaural ears, or a means for correcting characteristics specific to a headphone used.
  • the characteristics vary greatly depending on the headphone used, and the playback state changes.
  • the reproduction of an audio signal accompanied by a video signal is not described, and according to the stereoscopic reproduction method described in Japanese Patent Publication No. 54-192422, the head direction and head of the listener are described. It describes that the relationship between the volume difference and the time difference of the talent signal of each channel supplied to the horn can be continuously obtained.
  • the O-audio player described in Japanese Patent Application Laid-Open No. H01-112900 filed by the same applicant as the present invention has an amount of change in volume difference and time difference between these audio signals. It describes a device that processes audio signals by obtaining data in a discrete manner, rather than continuously, with each other.
  • the above-described conventional headphone playback method, stand-alone playback method, audio playback device, and sound M-code generation device require a large amount of memory for signal processing. Although it cannot be implemented without digital signal processing, it does not show concrete means and methods for efficient signal processing and actual riverization, so it is difficult to put it into practical use. There was an inconvenience.
  • the production method, the stereoscopic reproduction method, the audio reproduction device, and the audio signal reproduction / concealment had the disadvantage that it was difficult to localize the reproduced sound image in an arbitrary direction, especially in front of the listener.
  • the audio signal is recognized as a sound source, and despite the visual information affecting the localization of the sound image, the conventional headphone playback method, stand-by playback method, audio playback device, and sound signal Reproduction and concealment was performed only for audio signals, and there was an inconvenience that nothing was described about the reproduction of audio signals accompanied by video signals. Disclosure of the invention
  • the present invention has been made in view of the above point, and a first object of the present invention is to provide a video signal and an audio signal reproducing apparatus for localizing the position of a reproduced sound image of an audio signal so as to correspond to an image.
  • the present invention has been made in view of such a point, and a second object of the present invention is to provide a sound signal reproducing apparatus for localizing the position of a reproduced sound image of an acoustic signal so as to correspond to a virtual sound source.
  • a video signal and audio signal re-developing device is characterized in that an address signal generation unit generates a video signal and an audio signal based on a signal corresponding to the cuticle from an angle detection unit and an output signal from the detection unit.
  • the impulse response or control signal stored in the storage means is read out by specifying the address of the storage means by the read address signal, and the impulse response or control signal read from the storage means is read out.
  • the audio signal is shifted relative to the virtual sound source by the listener's video signal reproducing means based on S! By correcting the movement of J and the listener's head in real time, the video reproduced by the video signal reproducing means can be corrected.
  • Control means for correcting the acoustic signal from the signal source so that the plurality of reproduced sound images are localized in the corresponding directions, and positioning the plurality of reproduced sound images at positions corresponding to the video reproduced by the video signal reproducing means. It is possible to reproduce the sound signal corrected by.
  • a video signal and audio signal reproducing apparatus wherein the detecting means includes a squirting means for squirting position information output together with the video signal and the sound signal from the signal source. Is output to the control means.
  • the output signal from the squirting means for extracting the position information is supplied to the control means, and based on the position information previously supplied from the signal source together with the video signal and the audio signal, the end signal signal generation means
  • the impulse response or control signal stored in the storage means is read out by specifying the address of the storage means by the address signal generated by the storage means, and the impulse read out from the storage means.
  • the audio signal is corrected in real time with respect to the relative movement of the listener's video signal reproducing means with respect to the virtual sound source and the movement of the listener's head, thereby realizing the video signal reproducing means.
  • Acoustic signal from the signal source so that a few reproduced sound images are localized in the direction corresponding to the video reproduced based on the position information supplied from the signal source Sleeve correct, it is possible to reproduce the sound 1H word No. plurality of reproducing sound at a position corresponding to the images that are reproduced corrected by a constant-ordinating manner, the control unit by a video signal reproducing means.
  • the detecting means comprises a position detecting means f attached to the listener's head and detecting relative movement of the listener with respect to the video signal reproducing means
  • the detection signal from the position detecting means is supplied to the control means.
  • the detection signal from the location detection means for detecting the relative movement of the listener with respect to the video signal reproducing means is supplied to the control means, and the listener's video signal is reproduced.
  • the address of the storage means is designated by the address signal generated by the address signal generation means based on the detection signal of the relative movement with respect to the generation means, and thus the address is stored in the storage means.
  • the listener reads out the impulse response or the control signal and reads the sound signal based on the impulse response or the control signal extracted from the memory stage.
  • the video signal reproducing means corresponds to the video reproduced based on the detection signal of the relative movement of the listener with respect to the video signal reproducing means.
  • the audio signal from the signal source is corrected so that multiple reproduced sound images are localized in the direction, and multiple reproduced sound images are located at positions corresponding to the video reproduced by the video signal reproducing means. Sound corrected by the control means! 5 signals can be played.
  • the position detecting means is provided in the sound M code reproducing means. According to this, the relative movement of the listener with respect to the video signal reproducing means is easily detected, and the reproduction is performed by the video signal reproducing means based on the detection signal of the relative movement of the listener with respect to the video signal reproducing means.
  • the sound signal from the signal source is corrected so that the multiple reproduced sound images are localized in the direction corresponding to the video, and the multiple reproduced sound images are localized at the position corresponding to the video reproduced by the video signal reproducing means.
  • the sound signal corrected by the control means can be reproduced.
  • the playback device for the video signal and the audio signal of the m5 generated sound, the position detection stage is at least the rotation of the listener's head relative to the S reference direction 1 'report and the listener's head relative to the reference position
  • the target of the information from the angle detecting means is changed based on S report of approach or separation of the part.
  • the coordinates of the angle information from the angle detection means are changed based on the
  • the sound signal from the signal source is corrected so that a plurality of reproduced sound images are localized in the direction of ⁇ , and control is performed so that a plurality of ⁇ raw sound images are localized at positions corresponding to the video reproduced by the video signal reproducing means.
  • the sound signal corrected by the means can be reproduced.
  • the position detection means detects angle information of at least information on the rotation of the listener's head in the S reference direction and information on approach or separation from the reference position.
  • the angle information from the angle detecting means is changed by adding to the angle information from the means. According to this, angle detection is performed by adding rotation information of the listener's head in the s sub-direction and information on the approach or separation of the listener's head from the reference position to the angle information from the angle detection means.
  • the coordinates of the angle information from the means are changed, the sound signal from the signal source is corrected so that multiple reproduced sound images are localized in the direction corresponding to the reproduced video, and the video reproduced by the video signal reproduction stage
  • the sound signal corrected by the control means can be reproduced so that a plurality of reproduced sound images are localized at positions corresponding to the sound signals.
  • the playback device IS for reproducing the video signal and the echo signal of the seventh generation has an angle detection ⁇ stage equipped with a reset switch, and the angle detection means has a reset switch turned on.
  • the reference direction is set in the direction that the listener faces when operated. According to this, when the reset switch is turned on, the angle detection ⁇ stage sets the S reference direction to the direction in which the listener faces, and the listener's direction with respect to this reference direction is set. Based on the signal corresponding to the angle from the angle detection procedure and the output signal from the detection] in response to the movement of the head, the address generated by the address signal generation means is determined.
  • the impulse response or control signal written on the Lfi means is read out and read out from the tS means.
  • Acoustic signal based on the received impulse response or control signal s Video signal of the listener 3 ⁇ 4 M relative to the virtual sound source of the live means and excitation of the listener's head in real time
  • the audio signal from the signal source is corrected by M so that a plurality of reproduced sound images are localized in the direction corresponding to the video reproduced by the video signal generator, and the video signal is reproduced by the video signal reproducer.
  • the sound signal corrected by the control means can be reproduced so that 3 ⁇ 4 (number of reproduced sound images are positioned at the position.
  • a plurality of images can be recorded in the direction corresponding to the image reproduced by the image signal reproducing means.
  • the sound signal from the signal source was corrected so that the live sound image was localized, and the control signal was corrected so that multiple reproduced sound images were localized at positions corresponding to the video reproduced by the video signal reproducing method. Sound signals can be reproduced.
  • ⁇ video signal and old I signals invention m 9 is an acoustic signal 15 generation means comprises a re set Sui Tutsi, listener sound 3 ⁇ 4 Shin - 3 ⁇ 4 reproducing means
  • the reset switch is operated, and the angle detection means is set so that the front of the screen of the video signal reproduction means is in the reference direction.
  • the sound signal S generating means is provided with a reset switch, and when the listener wears the sound signal reproducing means, the reset switch is operated, and the video signal is reproduced by the angle detecting means.
  • a reference direction is set in the front direction of the screen of the means, and in accordance with iij of the listener's head with respect to this reference direction, a signal corresponding to the angle from the angle detection means and an output signal from the detection means are obtained. Then, by specifying the address of the storage means by the address signal generated by the end address signal generation means, the impulse response or control signal recorded in the storage means is read out and read from the storage means. Based on the read impulse response or control signal, the sound 1M code is used for the relative movement of the video signal reproducing means of the listener to the virtual sound source and the movement of the listener's head.
  • the control means can reproduce the sound signal whose sleeve has been corrected so that a plurality of reproduced sound images are localized at positions corresponding to the reproduced video.
  • a video signal and audio signal reproducing apparatus further comprising: input means for converting a signal based on the size of a display unit of the video signal reproducing means into data; Is supplied to the address signal generating means, and the address signal generating means converts the signal corresponding to the angle from the angle detection means, the output signal from the detection signal ⁇ , and the data input by the input means. It generates a corresponding address signal.
  • the address is determined based on the signal corresponding to the degree from the angle detection means and the output signal from the detection three-throw.
  • ⁇ means by the signal corresponding to the angle from the angle detecting means, the output signal from the detecting means, and the address signal corresponding to the data input by the input means.
  • the impulse response or the control signal stored in the storage means is read, and the sound signal is compared with the virtual sound source of the video signal reproducing means of the listener based on the impulse response or the control signal read from the storage means.
  • the video reproduced by the video signal reproducing means can be signaled so that a plurality of reproduced sound images are localized in the corresponding direction by correcting the movement of the listener and the movement of the listener's head in real time.
  • the sound signal from the source is corrected, and the control means corrects so that multiple reproduced sound images are localized at positions corresponding to the video reproduced by the video signal reproducing means.
  • An acoustic signal can be reproduced that.
  • the angle detection means detects the upper and lower rotation angles of the listener with respect to the reference direction
  • the audio signal reproduction means detects the angle. (I) by reproducing the sound signal corrected by the control means based on the impulse response or the control signal read from the storage device in accordance with the vertical rotation angle detected by the control means. Any of a plurality of reproduced sound images is localized in a direction corresponding to the video reproduced by the video signal reproducing means. According to this, according to the movement of the listener's head in the S sub-direction, the signals from the angle detection means corresponding to the upward and downward rotation angles of the listener with respect to the S sub-direction and the signals from the detection means are used.
  • the impulse response or control stored in the storage means is specified by designating the address of the storage means with the address signal generated by the address signal generation means based on the output signal. Reads the signal and sounds based on the impulse response or control signal read from the storage means! Reproduction of the listener's video signal relative to the virtual sound source and the movement of the listener's head ⁇ corrects the audio signal from the signal source in multiple directions in the direction corresponding to the video signal reproduced by the video signal generator in real time.
  • the sound signal corrected by the control means can be reproduced so that a plurality of reproduced sound images are localized at positions corresponding to the image reproduced by the video signal reproduction ⁇ ⁇ .
  • the signal and the audio signal can be reproduced and hidden.
  • the video signal reproducing means can be mounted on the listener's head, is provided to both eyes of the listener, and is located at a predetermined distance from both eyes of the listener. The reproduced image is projected at the position.
  • the address of the I means is designated by the address signal of the end address signal generation means, and the impulse recorded in the step is designated.
  • the response or control signal is read out, the sound signal is corrected by the impulse response or control signal in the control means, and the sound signal is corrected in real time with respect to the listener's head movement, and the speech is corrected.
  • the sound I signal corrected by the control means by the signal reproduction means is converted into a video signal by the video signal reproduction means in the direction corresponding to the reproduced video projected a predetermined distance from the left and right of the listener by the generation of the video signal. Playback can be performed so that multiple playback sound images are localized.
  • the reproduction and concealment of the video signal and the audio signal of the 13th generation are as follows.
  • the video signal reproduction means is provided for the head mounted on the listener's head and the eyes of the listener wearing the head mounted. It is provided with a pair of display portions respectively arranged at corresponding positions.
  • the video signal reproducing stage f causes the pair of left display unit and right display unit to be positioned at positions corresponding to the left and right eyes of the listener, so that the left display unit and the right display unit
  • the live image can be projected at a position that is a predetermined distance away from both left and right clothes of the user.
  • the reproducing means further comprises a pair of rectangular non-spherical lenses disposed between the listener's end and the pair of display units. According to this, since the video signal reproducing means has the left display unit and the right display unit via the rectangular aspherical left and right eyepieces at positions corresponding to the ft and the left and right eyes of the taker, It is possible to magnify the images shown on the display section and the right display section, and to project the reproduced image at a position in front of the left display section and the right display section and at a predetermined distance from the left and right eyes of the listener.
  • the video signal and audio signal reproducing device S is characterized in that the video signal reproducing means corresponds to a head mounted body mounted on the listener's head, and to both eyes of the listener of the head mounted body It has a pair of virtual image display units arranged at different positions. According to this, the video signal reproducing means has a pair of left virtual image type display unit and right virtual image type display unit at positions corresponding to the left and right eyes of the listener, so that the left virtual image type display unit and the right virtual image type display unit are provided. With the virtual image display unit, it is possible to project a reproduced image at a position separated from the listener's left and right eyes by a predetermined distance.
  • a sound signal reproducing apparatus is a sound signal reproducing apparatus, comprising: an address signal generated by an address signal generating means based on a signal corresponding to an angle from an angle detecting means and an output signal from the detecting means.
  • an address signal generated by an address signal generating means based on a signal corresponding to an angle from an angle detecting means and an output signal from the detecting means.
  • a sound signal reproducing device is the sound signal reproducing device, wherein the detection means includes extraction means for extracting position information output together with the sound signal from the signal source, and the output signal from the extraction means is transmitted to the control means. Supplied. According to this, the output signal from the mystery stage extracting the hidden information is supplied to the control means, and the video signal and the sound! ?
  • the impulse recorded in the storage means is specified.
  • the response or control signal is read out, and the sound signal is read out based on the impulse response or control signal read out from the response means or the control signal.
  • the sound signal from the signal source is sleeved so that multiple reproduced sound images are localized in the direction of the virtual sound source based on the position information supplied from the signal source.
  • the sound signal corrected by the control means can be reproduced so that a plurality of reproduced sound images are localized in the direction of the virtual sound source.
  • the sound signal reproducing device IS according to the invention of the eighteenth aspect, wherein the detecting means comprises a position iS detecting means which is attached to the listener's head and detects relative movement of the listener with respect to the position of the virtual sound source.
  • the detection signal from the means is supplied to the control means.
  • the detection signal from the position detecting means for detecting the relative movement of the listener with respect to the position of the virtual sound source is supplied to the control means, and the detection signal of the relative movement of the listener with respect to the position of the virtual sound source is provided.
  • the address of the 1: ⁇ means is designated by the end signal generated by the address signal generating means, thereby the impulse response recorded in the ⁇ ⁇ ⁇ stage is designated.
  • the sound signal or the control signal is read out, and the sound signal is heard based on the impulse response or the control signal read from the means i.
  • the position of the virtual sound source is determined based on the detection signal of the relative movement of the listener with respect to the position of the virtual sound source.
  • Control means so that the acoustic signal from the signal source is corrected so that a plurality of reproduced sound images are localized in a direction corresponding to the position of the virtual sound source, and a small number of reproduced sound images are localized in a location corresponding to the position of the virtual sound source.
  • the sound signal corrected with can be played back.o
  • the position detecting means is provided in the audio signal reproducing means. According to this, the relative movement of the listener with respect to the position of the virtual sound source is easily detected, and a plurality of reproductions are performed in a direction corresponding to the position of the virtual sound source based on the detection signal of the relative movement with respect to the position of the virtual sound source.
  • the sound signal from the signal source is corrected so that the sound image is localized, and the sound signal corrected by the control means can be reproduced so that a plurality of reproduced sound images are localized at positions corresponding to the virtual sound source.
  • the position detecting means includes at least information on the rotation of the listener's head with respect to the reference direction and information on the approach or separation of the listener's head with respect to the S reference position. Based on the above, the coordinates of the angle information from the angle detecting means are changed.
  • the coordinates of the angle information from the angle detecting means are changed based on the rotation information of the listener's head with respect to the reference direction and the information on the approach or separation of the listener's head with respect to the reference position,
  • the sound signal from the signal source is corrected so that a plurality of reproduced sound images are localized in the direction corresponding to the position of the virtual sound source, and the control means adjusts the sleeve so that the plurality of reproduced sound images are localized at the position corresponding to the virtual sound source.
  • the reproduced sound signal can be reproduced.
  • the sound signal of the first generation! is provided with at least the 1 'information of the listener's head relative to the reference direction and the level ⁇
  • the angle information from the angle detecting means is changed by adding information of approach or separation to the angle information from the angle detecting means. According to this, the rotation information of the listener's head with respect to the S reference direction and the I report of the approach or separation of the listener's head with respect to the S reference position are added to the one angle report from the angle detection means to obtain the angle.
  • the coordinates of the angle information from the detection means are changed, and the sound signals from the signal source are corrected so that the live sound image is localized in the direction corresponding to the position ⁇ of the virtual sound source, and the position is changed to the position corresponding to the virtual sound source. It is possible to reproduce the sound signal drawn by illill control so that the number of reconstructed sound images is localized.
  • the angle detection means is based on a reset switch; and the angle detection means is a reset switch.
  • the quasi-direction is set in the direction in which the listener faces when the operation is performed.
  • the angle detecting means sets the s quasi direction in the direction in which the listener faces when the reset switch is turned on, and responds to the movement of the listener's head with respect to this reference direction. Then, based on the signal corresponding to the angle from the angle detecting means and the output signal from the detecting means, the address of the i-th means is designated by the end-dress signal generated by the end-dress signal generating means.
  • the impulse response or the control signal written in the tS means is read out, and the listener hears the sound signal based on the impulse response or the control signal read out from the recording means.
  • Sound source position By adjusting the relative movement with respect to the SI and the listener's partial movement in real time, the reproduced sound image can be localized in the direction corresponding to the position of the virtual sound source.
  • a sound signal reproducing apparatus is characterized in that the angle detecting means sets the direction to a standard direction when the listener faces a predetermined reference direction. .
  • the angle detection means sets the direction to the reference direction when the listener faces a predetermined reference direction, and responds to the movement of the M section of the listener with respect to this reference direction.
  • the address of the storage means is specified by the address signal generated by the address signal generation means based on the signal corresponding to the angle from the angle detection means and the output signal from the detection means. In this way, the impulse response or the control signal recorded in the 't' means is read out and the acoustic signal is heard based on the impulse response or the control signal read out from the storage means.
  • the sound signal corrected by the control means can be reproduced so that the sound signal from the source is corrected and the reproduced sound image of the number r is localized at the position corresponding to the virtual sound source.
  • the sound signal reproducing device is provided with a reset switch, and the reset switch is operated when a listener wears the sound signal reproducing device. Then, the front direction of the position of the temporary one sound source is set to the reference direction in the degree-of-exemption detection.
  • the sound signal reproducing means has a reset switch, and when the listener wears the sound signal reproducing means, the reset switch is operated, and the virtual sound source is transmitted to the angle detecting means.
  • the reference direction is set in the front direction of the position of, and in accordance with the movement of the listener's head in the S reference direction, based on the signal corresponding to the angle from the angle detecting means and the output signal from the detecting means.
  • the impulse response or the control signal stored in the recording means is obtained by designating the end of the recording by the address signal generated by the address signal generating means.
  • broth Based on the impulse response or control signal read from the storage means, the acoustic signal is corrected relative to the position of the virtual sound source of the listener and the movement of the listener's head in real time.
  • the sound signal from the signal source is corrected so that a plurality of reproduced sound images are localized in a direction corresponding to the position ⁇ of the virtual sound source, and a plurality of reproduced sound images are provided at positions corresponding to the position of the virtual sound source.
  • the sound signal corrected by the control means can be reproduced so as to be localized.
  • the angle detecting means detects the upper and lower rotation angles of the listener with respect to the reference direction
  • the sound signal reproducing means detects the angle by the angle detecting means.
  • a virtual sound source is supported by reproducing the sound signal corrected by the control means based on the impulse response or control signal read out from the storage means in accordance with the vertical rotation angle thus set.
  • a plurality of reproduced sound images are localized in the direction. According to this, in response to the listener's head movement with respect to the reference direction, the signal corresponding to the upper and lower rotation angles of the listener with respect to the reference direction from the angle detection means and the output signal from the detection means are compared with the output signal from the detection means.
  • the address of the storage means is designated by the address signal generated by the address signal generation means, whereby the impulse response or control signal recorded in the storage means is specified.
  • the sound I signal is read based on the impulse response or control signal read from the storage means, and the sound I signal is rearranged with respect to the relative movement of the listener with respect to the position of the virtual sound source and the movement of the listener's head.
  • the sound from the signal source is corrected so that the reproduced sound image is localized in the direction corresponding to the position of the virtual sound source!
  • the sound signal corrected by the control means can be reproduced so that the five signals are corrected and a plurality of W raw sound images are localized at a position corresponding to the virtual I sound source.
  • the video signal and sound signal W Based on the listener's angle information from the means, the correction data is selectively read from the storage means to correct the acoustic signal from the signal source, and based on the detection signal from the detection means, the correction data is read from the angle detection means.
  • the correction data protruding from the IS level is changed based on the listener's angle information, and the control is performed so that a plurality of reproduced sound images are localized in a position corresponding to the video reproduced by the video signal reproducing means. A sound signal corrected by hand can be reproduced.
  • the storage means may include a storage device that extends from the virtual sound source position in the S-reference direction of the listener's head to both ears corresponding to the movement of the listener's head. Measure the impulse response and fall in love with the impulse response, or at an angle i at which the listener can identify, from the virtual sound source location with respect to the reference direction of the listener's head to both ears of the listener A time difference and a level difference between the sound signals are measured, and a control signal representing a time difference R1] and a level difference of the sound signal from the signal source is stored based on the measured result.
  • the control signal is selectively read from the storage means to correct the sound signal from the signal source, and the detection signal from the detection means is corrected.
  • the control signal read from the recording means is changed based on the listener's angle information from the degree detecting means, and a plurality of reproduced sound images are provided at positions corresponding to the video reproduced by the video signal reproducing means.
  • the sound signal corrected by the control means can be reproduced so that the sound is localized.
  • the address detection means x supplies the address signal from the address signal generation means to the means t based on the frequency lit information of the listeners, etc., and outputs the address signal from the means.
  • the impulse response or control signal is selectively read out to correct the sound MS from the signal source, and based on the detection signal from the detection means, the listener from the angle detection means: 3 ⁇ 4degree ⁇ report
  • the impulse response or control signal read from the storage means is changed based on S, and the video signal is reproduced by the playback means!
  • An acoustic signal corrected by the control means can be generated so that a plurality of reproduced sound images are localized at the corresponding positions.
  • the ffl raw ⁇ iS of the video signal and the audio signal of the twentieth aspect of the invention is obtained by extracting the position m report output together with the video signal and the audio signal from the signal source.
  • the output signal from 3 ⁇ 4 is supplied to; iiU control means.
  • the correction data is selectively read out from the recording means to correct the acoustic signal from the source, and the detecting means
  • the position information is read out from the storage means based on the listener's angle information from the degree of freedom detection means.
  • the sound signal corrected by the control means can be generated so that a plurality of reproduced sound images are localized at the positions corresponding to the video signals reproduced by the reproduction means.
  • the detecting device for reproducing the video signal and the audio signal of the three-dimensional image is a detector that is mounted on the listener's head and detects the relative movement of the listener with respect to the video signal reproducing device.
  • the detection signal from the stage is supplied to the control device. According to this, based on the listener's angle information from the angle detection means, a positive M data is selectively extracted from the appropriate means to correct the acoustic signal from the ⁇ source, and the detection is performed.
  • the correction data read from the storage means is changed based on the video signal and the sound corrected by the control means so that a plurality of W raw sound images are localized in a manner corresponding to the video reproduced by the video signal reproduction ⁇ Signals can be provoked.
  • the playback device for video and audio signals according to the thirty-first invention is characterized in that the position detecting means is a sound! 5 Signal generation means are provided. According to this, it is easy to detect the listener's movement of the video signal W with respect to the video source, and selectively read the correct data from the storage means based on the listener's angle information from the angle detection unit. To correct the acoustic signal from the signal source and attach it to the u part of the listener from the detection hand.
  • the listener's video signal playback means-1 Based on the detection signal from the position detection means that detects the religious transfer, it is stored ⁇ based on the angle information of the listener from the angle detection means.
  • the sound data corrected by the control means can be reproduced so that the corrected data read from the means is changed and the reproduced sound image is localized at a position corresponding to the video reproduced by the video signal reproducing means.
  • FIG. 1 is a block diagram of an embodiment of a reproducing apparatus for video and audio signals according to the present invention.
  • FIG. 2 is a diagram showing a configuration of a digital angle detector according to an embodiment of the present invention, where: pj is a video signal and a sound II signal.
  • FIG. 3 is a diagram showing the configuration of an analog angle detector according to an embodiment of the video and audio signal reproducing device according to the present invention.
  • FIG. 4 shows an embodiment of the video signal and speech signal reproducing apparatus according to the present invention. It is a figure which shows the table of Luz Response.
  • FIG. 5 is a diagram for explaining the measurement of the impulse response of the embodiment of the video signal and sound reproduction device IS of this embodiment.
  • FIG. 6 is a diagram showing table data of control data of an embodiment of the video signal and audio signal reproducing device El of the present invention.
  • FIG. 7 is a block diagram of another embodiment of the reproducing apparatus of the video and audio signals of the present invention.
  • FIG. m8 is a block diagram of another embodiment of the reproducing apparatus for video and audio signals of the present invention.
  • FIG. 9 is a diagram showing a simulation of speaker concealment of the embodiment of the reproducing apparatus I for reproducing video signals and audio signals of the present invention.
  • FIG. 4 is a block diagram showing recording and production of a sound M word and a video ⁇ in an example of the ⁇ ⁇ ⁇ 1 project.
  • FIG. 11 is a diagram for explaining the position of the reproduced sound image in the embodiment of the reproducing apparatus for reproducing a video signal and an acoustic signal of the present invention.
  • FIG. 12 is a block diagram of another embodiment of the video signal and audio signal reproducing apparatus according to the present invention.
  • FIG. 13 is a block diagram of another embodiment of a video signal and an audio signal according to the present invention.
  • FIG. 14 is a block diagram of another embodiment of the video signal and audio signal reproducing apparatus according to the present invention.
  • FIG. 15 is a block diagram of another embodiment of the apparatus for generating a video signal and an audio signal according to the present invention.
  • FIG. 16 is a block diagram of another embodiment of the video and audio signal generating apparatus according to the present invention.
  • FIG. 17 is a block diagram of another embodiment of the image signal and sound f signal reproducing apparatus of the present invention.
  • FIG. 18 is a diagram showing an image display and acoustic signal generation of this image generation and an image display display of another embodiment.
  • FIG. 19 shows another example of the generation of the video signal and the audio signal.
  • FIG. 3 is a diagram showing an appearance of a virtual image type 7 "display of the embodiment.
  • FIG. 20 is a diagram showing a simulation of the arrangement of the speed force of another embodiment of the playback apparatus for the video ⁇ and the audio signal of the present invention.
  • FIG. 21 is a diagram showing a simulation of a speed distribution for one-channel monaural reproduction of another embodiment of a reproduction apparatus of a video signal and an audio signal of the present invention.
  • Fig. 2 is a schematic diagram of a speaker arrangement for two channel stereo live of another embodiment of reproducing and concealing the video signal and the audio signal of this development.
  • FIG. 1 A first figure.
  • FIG. 23 is a diagram showing a simulation of a speed arrangement for three-channel reproduction according to another embodiment of the video signal and audio signal i-generation apparatus of the present invention.
  • FIG. 24 is a diagram showing a simulation of a speaker arrangement for four-channel reproduction according to another embodiment of the present invention, which hides and reproduces video and audio signals.
  • Fig. II 25 is a diagram showing a simulation of a speaker arrangement for 5-channel reproduction of another embodiment of the W signal producing apparatus for producing a video signal and an audio signal of this appearance.
  • Fig. 26 shows a simulation of the video signal of the original image and the ffi of the old-fashioned sound signal. It is a figure which shows a shot. I3 ⁇ 4 form to carry out the investigation
  • the playback device for the video and audio signals in the embodiment of the present invention is: ⁇ : Raw sound image position! ! Predetermined when the headphone reproduces the video signal and the sound signal that cause the information to be reproduced by the headphone while watching the video.
  • the same localization feeling and sound field feeling as the sound is reproduced from the speed at which the sound should be placed at the assigned position can be reproduced by the headphone.
  • a plurality of reproduced sound images are fixed based on the reproduced sound image position information in the direction corresponding to the video, and the position of the reproduced sound image i £ 2 information is changed.
  • the video signal and sound signal generating device of the embodiment of the present invention is a multi-channel picked up by stereo or the like, and the position of the mark and / or the source at the time of sound pickup is used.
  • a video signal having a reproduced sound image position S information indicating one of the positions and a sound 1H code are used in a system 4 for reproducing a video image with a headphone while being ⁇ .
  • the reproduced sound image of several channels is used to determine the microphone position and sound source at the time of sound collection.
  • the position corresponding to the video based on the It signal or the reproduced sound image position indicating either one of the positions! ; And the deer ⁇ of the position information of the reproduced sound image is changed.
  • FIG. 1 shows an example of the video signal and sound I "device according to the present invention.
  • a video signal and an audio signal are input from an input terminal 60, and an audio signal is input to a separation circuit 61.
  • the video signal is supplied to the video signal reproducing device 62.
  • Reference numeral 1 denotes a multi-channel digital stereo signal source such as a digital audio disc (for example, an optical video disc) including a video, a digital satellite broadcast, and the like.
  • Reference numeral 2 denotes an analog stereo signal source such as an analog record or an analog broadcast.
  • the acoustic signal supplied from the separation 0 path 6 1 is a digital sound signal, it is supplied to the digital stereo signal 1; if the acoustic signal is an analog ⁇ sound IN 3 ⁇ 4, the acoustic signal is supplied to the analog signal source 2.
  • Di Digitale Leo Signal source 1 and analog stereo signal source 2 separate L and R 2 channel digital and analog audio signals from the supplied audio signal, or 4 to 7 channel audio signals. Generate digital and analog audio signals.
  • the digital sound signal and the analog sound signal supplied from the digital stereo signal source 1 and the analog stereo signal source 2 are all separated from the video signal having the reproduced sound image position information.
  • the video signal indicates the position of the microphone and / or the position of the sound source at the time of sound collection: ⁇ It has raw sound image position information.
  • Reference numeral 3 denotes an AZD converter for converting these analog audio signals into digital audio signals.
  • the microphone 1 ⁇ 4 that picks up this sound with respect to 1 sound source 100, and the positions and positions of microphone 104 It has a position information detection device 103 that indicates the position of either or one of the sound source positions! 2 of the first sound source 100.
  • the microphone ⁇ horn 106 that picks up this sound for the second sound source 1 ⁇ i, the position of the microphone 1 106 and the sound source position of the second sound source 101 Or, it has a position detecting device 105 that indicates one of the positions iS.
  • the signal and the signal are converted to multiple IEs by the multiplexers 1 ⁇ 9 and 110, respectively, and the corresponding acoustic signal and position S signal are recorded on the same channel as the multiple IEs.
  • the multi-IE conversion of the sound H signal and the position signal can be performed by using the [3 ⁇ 4] multi-wave number IE, multiplying the time and minutes, or using other multiplexing methods.
  • microphone u-phones 107 and 108 for collecting this sound with respect to other sound sources 102 are provided.
  • the outputs of the multiplexers 109 and 110 and the outputs of the microphones 110 and 108 are supplied to the recording signal processing and storage concealment unit 112.
  • the acoustic signal and the position signal are recorded in a multiplexed state on the same audio channel.
  • microphones are individually set for each of the sound sources, for example, ⁇ , which are to be picked up, and one position information is required among the microphones.
  • the position information of microphones (where ⁇ > ⁇ ) may be output simultaneously to a channel independent of the audio signal channel.
  • the position information in this case may be absolute position information or, for example, religion position information for a predetermined a-level i in the sound. Furthermore, this information is not in the S-coordinate system, for example, in the polar coordinate 3 ⁇ 4.
  • this ZD converter 3 is provided with only a channel effect in the case of multi-channels.
  • the sign is a switch, Both the signal input with the analog input and the signal input with the analog input are treated as a digital signal represented by a constant sampling frequency and a fixed number of quantization bits.
  • a digital signal represented by a constant sampling frequency and a fixed number of quantization bits.
  • the switching of two channels is shown. However, in the case of multiple channels, the same number of channels are provided.
  • the left digital signal L in these digital signal sequences is supplied to the convolution integrator 5.
  • the memory 6 attached to the convolution integrator 5 includes a fixed distance from the virtual sound source position to both ears with respect to the reference direction of the head, which is the direction in which the current head of the listener 23 is facing.
  • a set of digitally recorded impulse responses represented by the sampling frequency and the number of quantization bits are stored.
  • the digital signal sequence is convolved and integrated by the convolution integrator 5 using the impulse response read out from the memory 6 and the real time.
  • the immersion rice separator 7 and the memory 8 supply a crosstalk component of the digital signal R on the right.
  • the digital signal R on the right is supplied to the convolution separator 11.
  • the memory 12 attached to the integrator 11 has a memory 12 from the virtual sound source position with respect to the reference direction of the head in the direction in which the current head of the listener 23 is facing. Constant sampling to both ears Digital notation expressed by m-wave number and S-bit number! ⁇ The set of impulse responses is written.
  • the digital signal sequence is convolved by the impulse response read out from the memory 12 and the real Thai person in the convolution ffi divider 11, and the S convolution divider 9 and Memory 1 ⁇ supplies the ⁇ -stalk component of the left digital signal L.
  • the convolution demultiplexer 7 the memory 8, the convolution ⁇ min ⁇ 11, and the memory 12, the impulse response and:! Incorporation is performed.
  • the digital signal sequence on which the loss response and convolution integration have been performed is supplied to the adders 15 and 16, respectively.
  • the digital signals of the two channels added by the adders 15 and 16 are corrected by the i-positive circuits 17 and 18 so as to remove the sound source and the characteristic peculiar to the headphone. After being converted into analog signals by the DZA converters 19 and 2 () and amplified by the power amplifiers 21 and 22, they are supplied to the headphone 24.
  • the example in which the impulse responses are stored in the memories 6, 8, 10, and 12 is shown, but the configuration may be as shown in FIG.
  • the virtual sound source of the head fixed to the K sub-direction is attached to the memory 6, 8, 10, 0, and 12 attached to the iS integrators 5, 7, 9, and 11.
  • ⁇ T ' a pair of digitally recorded impulse responses from the ear to the ears.
  • the digital signal sequence is separated by this impulse response and real time:
  • a control signal indicating a time difference and a level difference from the virtual sound source position ⁇ to the reference direction of the head is stored.
  • the detected head movement in the S sub-direction is further changed by a constant unit of 3 ⁇ 4 degrees or a predetermined angle.
  • a digital address signal representing the size including the direction
  • a control signal preliminarily written in the memory 35 is read by the address signal, and the control device 50, In 51, 52, and 53, the result may be corrected and changed in real time, and the result may be supplied to the adder S15, 1 [;.
  • the impulse response and the end time are as follows: ⁇
  • the interpolated digital signal sequence is 1 ⁇ 15, 16 to the digital signal of two channels from the adders 15 and 16, and furthermore, the head movement in the detected S sub-direction is performed at a fixed unit angle 3 ⁇ 4 or a predetermined value.
  • the angle ⁇ is converted into a digital address signal representing the magnitude including the direction, and the address signal is used to read the!] Control signal previously recorded in the memory 35 and read the control signal from the control device 5.
  • steps 4 and 5 corrections may be made in real time to make changes.
  • the processing of the audio signal is shown, but the processing of the video signal is the same as that shown in FIG. 1, and the description thereof will be omitted.
  • the control devices 50, 51, 52, 53, 54, 56 are variable S-rollers and variable level controllers or multi-band controllers. It can be constructed by linking with a level controller in the frequency w range ⁇ such as a graphic equalizer divided into two.
  • the information described in the memory 35 indicates that the binaural Rfl from the virtual sound source position to the binaural direction in the direction in which the head of the listener 23 is facing, or in the extreme direction of the head. ⁇ 3 ⁇ 4]
  • the impulse response representing the difference and level difference is acceptable.
  • the control device described above is an IIR or? 1 It is not possible to use an IR variable digital filter.
  • the space information is given by the control device.
  • the fixed characteristics of the sound source and the headphone used are corrected by the sleeve correction circuits 17 and 18, and the movement of the head is controlled.
  • the changed digital signal is converted into an analog signal by the DZA converters 19 and 20, amplified by the power amplifiers 21 and 22, and then supplied to the headphone 24.
  • the positive circuits 17 and 18 can be used for both analog signal processing and digital signal processing. In the case of an earphone type headphone, it may be provided on the headphone main body. Also, this correction time
  • the channels 17 and 18 need not necessarily be provided in the headphone main body, for example, may be provided in the headphone code. May be provided in any part of the connector after the connector for connecting the terminal. Furthermore, it may be provided after the control device inside the main body.
  • the digital angle detector 28 detects the movement of the head of the listener 23, and FIG. 2 shows the detailed configuration of the digital angle detector 28. I have.
  • FIG. 2 shows a case where the horizontal component force of geomagnetism is used as the digital angle detector 28.
  • Fig. 2 shows an example in which the angle detection signal is extracted as a digital signal.
  • the rotary encoder 3 is provided so that its input shaft is vertical, and a magnetic needle 29 is provided on the input shaft. Therefore, an output indicating the head movement matching the direction of the listener 23 with respect to the north-south direction indicated by the magnetic needle 29 is taken out from the rotary encoder-30.
  • This rotary encoder 30 was attached to the headphone 27 of the headphone 24, but the headband 2? It may be installed on a stand separate from the computer.
  • the output of the digital encoder 30 is supplied to the detection circuit 3132, and the output of the digital encoder 28 is supplied to the detection circuit 31.
  • the direction signal cl S cl that changes to “0” or “ ⁇ ” when the head 3 turns the head clockwise and when it turns counterclockwise is extracted, and from the detection circuit 32,
  • a number of pulses proportional to the changed angle are output as Pa, for example, one pulse Pa is output every 2 degrees.
  • the signal Sd is supplied to the input direction input UZD of the up-down counter 33, and the pulse Pa is supplied to the up-down counter 33.
  • the count output is supplied to CK, and the count output is converted to a digital end-dress signal indicating the head direction and size of the listener '23, and the end-end control circuit 3 It is supplied as an address signal to memories 6, 8, 10, and 12 through 4.
  • reference numeral 38 denotes an analog angle detector, and its detailed configuration is shown in FIG. Fig. 3 shows an example in which the angle detection output is extracted as an analog signal.
  • a light receiver 41 composed of a light receiving element whose resistance value changes according to the light intensity, such as a CDS photo diode, is mounted.
  • a light-emitting device 39 such as a light bulb or a light-emitting diode is provided opposite to the light-receiving device 41, and the light-emitting device 39 irradiates light of a certain intensity toward the light-receiving device 41. It has become.
  • a movable shutter 40 which rotates between the paths of the light emitted from the light emitters 39 so that the transmittance of the projected light changes depending on the angle. 4 ⁇ rotates with the magnetic needle 29. Therefore, when a constant flow of 2 is applied to the photodetector 41, the pressure at both ends of the photodetector of the photodetector 41 includes the direction of the listener 23, with the north-south direction indicated by the magnetic needle 29 as the S-reference. Analog output indicating movement Be sent out.
  • the analog angle detector 38 is attached to the headband 27 of the headphone 24, but may be provided on a device independent from the headband 7.
  • the analog output of the analog angle detector 38 is amplified by the 3 ⁇ 4M unit 42 and then applied to the AZD converter 43.This digital output is passed through the switch 44. Supplied to Addressless In Roads 3-4.
  • the address control circuit 3 4 has a listener 2 for the direction.
  • Fig. 4 shows the table data in memories 6, 8, 10, and 12. That is, as shown in Fig. 5, when left front and right front speaker forces 45 L and 45 R are arranged in front of the listener 23, the left and right speakers 45 L , As the impulse response from the installation position 2 of the 45R to both ears of the listener 23
  • h m ⁇ ( ⁇ ) is the impulse response from the m speaker position to the ⁇ ear
  • II m ⁇ ( ⁇ ) is the transmission from the m speaker position EH to n! 3 ⁇ 4 is the angular frequency 27 ⁇
  • f is the frequency.
  • the KG diagram shows an example of the control data of the control signal of the table in the memory 35.
  • control devices 50 to 54 and 56 include a variable delay device and a variable level controller, or a level controller in the frequency w range such as a graphic equalizer divided into multiple bands. It can be composed of a combination of
  • the information that is recorded in memory 35 1; G is the information that the head of listener 23 is directed to the reference direction of the head. In the case of fi j, it can be an impulse response that represents the I-difference and level difference.
  • the content described in the memory 35 has a data structure corresponding to the control devices 50 to 54 and 56.
  • the above-described control device may be constituted by an IIR or FIR variable digital filter.
  • a speaker may be used as a sound source to measure the control signal representing the time difference between the two ears Hi and the level difference between the two ears.
  • the position can be any position from [3 ⁇ 4] from the external ear entrance to the eardrum.
  • this position is required to be equal to the position for obtaining the sleeve positive characteristic for canceling the characteristic characteristic or the like of the headphone of the ffl described later.
  • the angle: is changed to ij3 ⁇ 4position angle ⁇ , for example, 2.
  • the impulse response recorded digitally when the value is changed step by step is entered into the memory 3 ⁇ ) table for each location.
  • This angle is an angle ⁇ ⁇ ⁇ that can identify the angle of rotation of the head with both left and right ears when listener 23 rotates the head%.
  • a position detector 63 for detection is provided.
  • the position detector 63 includes, for example, three detection coils arranged three-dimensionally for detecting magnetic flux leakage from the screen of the video signal TO generator 62, and speed or acceleration. There can be big rivers.
  • the position information is detected by, for example, a method using the output of a gyroscope that performs three-dimensional position detection calibrated at an extremely high level, using satellite waves such as (GPS).
  • GPS satellite waves
  • a method may be used in which the distance from a plurality of ultrasonic sound sources is measured.
  • the position detection 5 signal from the position detector 63 is supplied to the detection circuit ⁇ .
  • the detection circuit 64 supplies a control signal for switching the address of the address control circuit 34 to the switch 36 based on the location detection signal from the position detector # 3.
  • a switching signal based on the screen size of the screen of the video signal generating device 62 is also supplied from the input terminal 65 to the switching device 36.
  • the set 45 includes, for example, the distance between the screen of the video signal reproducing device 62 and the listener 23;
  • the data values are made different according to the relative concealment of the video signal and the screen size of the screen of the video signal generator 62.
  • the most appropriate one of the three sets of tables is selected according to the switching of the address by switching the switch 3G of the address control circuit 34.
  • reference numeral 37 denotes a center reset switch.
  • the value of the up counter 33 is " It is reset to "all 0"
  • Center reset switch 3 7 is off Then, the direction in which the listener 23 is currently facing is set as the front direction of the sound source.
  • the video signal and sound 5 signal reproducing device of this embodiment is configured as described above, and operates as follows.
  • the video signal and the audio signal are input from the input terminal 60, and the audio signal and the video signal are separated by the separation circuit 61.
  • the video signal is supplied to the video signal reproducing device 62. If the sound signal separated by the separation circuit 61 is a digital sound signal, it is supplied to the digital stereo signal source 1; if it is a long-lasting sound signal, it is supplied to the analog stereo signal source 2.
  • the AZD converter 3 converts the digital audio signal from the multi-channel digital stereo signal source 1 or the analog audio signal input to the multi-channel analog stereo signal source 2 by the AZD converter 3. ⁇
  • the audio signal of each channel converted to “3” is selected by switch 4.
  • the digital audio signal and the analog audio signal are separated from the video signal respectively.
  • the sound signal has a reproduced sound image position ⁇ information indicating the position of the microphone and the position of the sound source at the time of sound collection, or one of the positions iS.
  • the digital signal train is generated by the convolutional demultiplexers 5, 7, 9 and 11 from the impulse responses generated from the memories G, 8, 1 and 12 And the real time This is supplied to the adders 15 and 16. The same applies to FIGS.
  • the S penetration type with the impulse response was previously performed using the S penetration separators 5, 7, 9, 11 and memories 6, 8, 10, 10 and 12.
  • the digitized sound signal of each channel is corrected by the control signal extracted from the memory 35 in the control concealment 50, 51, 52, 53, and changed. And supplied to the adder 15. 16.
  • the digital signals of the two channels from the adders 15 and 16 are corrected by the control signals read from the memory 35 in the control devices 54 and 56. Be changed.
  • the digital signals of these two channels are converted into analog signals by DZA converters 19 and 20 and amplified by power amplifiers 21 and 22 before being supplied to headphone 24. Supplied.
  • the listener 23 equipped with the headphone 24 can hear the acoustic signal.
  • the digital angle detector 28 and the analog angle detector 38 detect the head movement of the listener 23 with respect to the S sub-direction at a fixed angle or a predetermined angle, and the The control circuit 34 converts the signal into a digital address signal representing the size including the direction.
  • the convolutional integrators 5, 7, 9, 11; memory 6, 8, 10, 12; or control devices 50, 51, 52, 53, 54, 56, adder 1 5 and 16 are converted into two-channel digital signals to both ears having spatial information as a sound field, and the correction circuits 17 and 18 are used to convert the sound source and headphones used.
  • the characteristics and the like are corrected, the power is amplified by the power amplifiers 21 and 22, and then supplied to the headphone 24. As a result, the playback sound is heard from the speaker located at that virtual sound source position! ] i] It can have a regenerative effect that can be surprising.
  • the position detection signal from the position detector 63 that detects the relative position such as the distance and angle between the screen of the video signal reproducing device 62 and the listener 23 is a detection circuit. Supplied to 4.
  • the detection circuit 64 supplies a control signal for switching the address of the address control circuit 34 to the switch 36 based on the position detection signal from the position detector 63.
  • a switching signal based on the screen size of the screen of the video signal reproducing device 62 is also supplied from the input terminal 65 to the switching device 36.
  • three sets of the above-mentioned tables are provided for the memory 35, and at the same time, the distance between the screen of the video signal reproducing device G2 and the listener 23 is determined.
  • the value of the data differs depending on the relative position such as the angle, the screen size of the screen of the video signal reproducing unit G2, and the like. Then, the most suitable one of the three sets of tables is selected according to the switching of the address by switching the switch 36 of the end address control circuit 3.
  • the address of the address control circuit 34 is switched in accordance with the relative position and concealment of the distance and angle between the screen of the video signal reproducing device 62 and the listener 23. Then, a suitable table is selected, and the position of the reproduced sound image is determined by, for example, the position of the microphone and the position of the sound source at the time of sound collection on the screen of 62 Either of the positions [
  • the address of the address control circuit 34 is switched in accordance with the screen size of the screen of the video signal reproducing device G2, an appropriate table is selected, and the reproduced image is reproduced.
  • the position is changed, for example, when the screen size of the video signal reproducing device G2 is changed, the position of the microphone at the time of sound collection on the screen of the switched meta size and the position of the sound source W Or one of the two positions can be made to correspond to IS.
  • the switch 36 of the address control circuit 34 is switched based on the position 1 'information from the position i detector G3, and the table in the memory is read.
  • Fig. 1 and Fig. 7 and Fig. 8 in the above example, only the case where the number of listeners 23 is singular is shown, but when there are multiple listeners 23, the convolution of Fig. 7 ⁇
  • the terminals 5, 7, 9, 11 and after may be branched by terminals, or the adders 15 and 1 in FIG. 8 may be branched by terminals.
  • the digital angle detector 28 or the analog signal is output by the digital angle detector 28 or the analog signal.
  • the signal has a value according to the direction of 3 ⁇ 4 of the listener 23.
  • This 3 ⁇ 4 is supplied to the memory 35 as an address signal via the address control circuit 34.
  • a control signal indicating the time difference between the impaired response or the i3 ⁇ 4 ear shown in Fig. 6 and the level difference between both ears is taken out.
  • this output is amplified by the amplifier 42 and then converted by the A / D converter 33 into a digital signal according to the direction of the head of the listener 23. After being converted, the signal is supplied to the memory 35 via the address control circuit 34 as an address signal, and the same as the combination of the digital brightness detector 28 is used.
  • a control signal representing the level difference between the two ears is extracted, and this data is used as a convolution integrator 5, ⁇ , 9, 11, memory 6, 8, 1 ⁇ , 12 or control device IS: 50, 5 1, 5 2, 5 3, 5 4, 5 6.
  • the sleeve positive circuits 17 and 18 are used to select one or a combination or all of the sound source, the sound 3 ⁇ 4, and the sleeve positive characteristic peculiar to the headphones used. Therefore, since the digital signal processing including these sleeves is performed at once, the signals can be picked up in real time.
  • the one-year-old signals L and R supplied to the headphone 24 are generated by the virtual sound source position ⁇ in the standard direction of a part corresponding to the head direction of the listener 23.
  • 3 ⁇ 4] and the control signal representing the level difference between the binaural R1J are corrected.
  • Speed is virtual The sound field feel can be obtained as if it were placed at the sound source position and played with speed.
  • control signals representing the interrogation time difference and the level difference between the two ears, which are digitally recorded in the memory 35 table, are taken out, and this data is convolution integrator 5, ⁇ 9, Digital signals pre-convolved by 11 and memories 6, 8, 1, and 12 are corrected by controllers 50, 51, 52, and 53 so as to correct the digital signals. Since it is supplied electronically, there is no delay in changing the characteristics of the audio signal with respect to the head direction of the listener 23, and no unnaturalness occurs.
  • the reverberation signal from the reverberation circuit 13. 1 is also supplied to the headphone 24, so that a feeling of spaciousness in the listening room and the concert hall is added, and an excellent stereo sound field is provided. I can feel it.
  • the headphone 24 is connected to the headphone 24 via a signal line.However, the modulator and the convolution calculator 5 and 7.9.11.1 and later in FIG.
  • a transmitter is provided, a receiver and a modulator are provided on the headphone 24 side, and reception is performed by the receiver and the modulator, or a modulator and a modulator are provided after the heaters 15 and 16 in FIG.
  • a transmitter may be provided, a receiver and a modulator may be provided on the headphone 24 side, and the signal may be received by the receiver and the modulator and reproduced wirelessly.
  • control signal representing the time difference between the two ears and the level difference between the two ears from the virtual sound source position to the both ears in the S quasi-direction of the head of the listener 2 with respect to the change in the angle ⁇
  • the change fi is larger or smaller than the standard value depending on the table
  • the amount of change in the position of the sound image with respect to the head direction of the listener 23 is different. It is possible to change the distance from 3 to the sound image, etc., and to adapt to the size of the image.
  • this reverberation signal sounds like reflections and reverberations from hall walls, etc., so it is as if a famous concert hall Sound !! You can get a sense of presence as if you were playing.
  • Figure 11 shows the position of the raw sound image.
  • the directivity of the sound image is controlled by the microphone position information and sound source position information by the position information detectors 103 and 1-5 shown in Fig. 1 and the corresponding sound is displayed on the V monitor 115.
  • the direction is controlled so as to direct the sound source.
  • the real sound image concealment is defined at the position where the beam at the position corresponding to the sound source position ⁇ on the screen 1 16 of the V monitor 1 15 is directed.
  • a real sound image can be formed on the TV monitor i 15 so that the sound is emitted from the image position of the sound source displayed on l 16.
  • the switch is turned on.
  • the switch is turned on and the listener 23 rotates with respect to the S reference direction or approaches or moves away from the reference position [S, the position shown in FIG.
  • the coordinates of the microphone position information and the sound source position information by the information detection devices 103 and 105 can be changed. In other words, in Fig.
  • the actual sound image position is defined at the position where the beam at the position corresponding to the changed sound source position on the screen 1 16 of the TV monitor 1 15 is set, and the image of the TV monitor 1 1
  • An image can be formed on the TV monitor 115 so that the sound is emitted from the image position of the changed sound source displayed on the surface 116.
  • ⁇ Headphone 2 shown in Fig. 9 and Fig. 11 The position information changer 93 provided inside 4 corresponds to the position detector 63 and the detection circuit 64 shown in FIG. 1, FIG. 7 and FIG.
  • the ⁇ V monitors 92 and 115 shown in FIGS. 9 and 11 correspond to the video signal reproducing device G2 shown in FIGS. 1, 7 and 8. Is what you do.
  • the reference direction and the reference position may correspond to the V monitor 92 or may be changed at will.
  • This position ecology changer 93 can be used for simple input, for example, with a computer.
  • the position 1 information transformer 93 is used to specify a specific one of the coordinates of the microphone position information and the sound source position information by the position information detection devices SI 0 and SI 5 shown in
  • the address signal converting means is used.
  • the address of the memory 6, 8, 10, 10, or 12 as the storage means is designated by the address signal of the address control circuit 34 as the address, and the address is written.
  • '' Read the impulse response or control signal stored in memory 6, 8, 10, 12, or 35 as I means, and convolve the acoustic signal as control means. In the device 7, 7, 9, 11 or the control device 0.1, 52, 53, 54, 56, the sound signal is corrected by the impulse response or the control signal.
  • the sound signal is reproduced, and the position of the W 23 sound image position concealment information changing means is changed by the position information changer 93 to change the coordinates of the sound image position information according to the movement of the listener 23 head.
  • the reproduced sound image can be localized in both directions.
  • the position changer 93 serving as the reproduced sound image position information changing means can provide at least rotation information in the ⁇ sub-direction and (1) one report of close or distant from level hiding. Therefore, the coordinates of the reproduced sound image position 1 mm are changed, so that the coordinates of the reproduced sound image can be moved by the listener's transfer.
  • the position information changer 93 serving as the reproduced sound image position information changing means outputs at least the rotation information with respect to the reference direction and the I information of the approach or separation with respect to the ⁇
  • Direction of the sound image is controlled by the microphone position S 1 report and sound source position concealment information by information detection and concealment 103.105, and the corresponding sound is displayed on the TV monitor 115
  • the positions of the subjects 1 1 1, 1 1 8 and 1 1 9 reproduced on 11 G a plurality of reproduced sound images are placed one-on-one at the positions of the subjects 1 1 1 1 1 1 and 1 1 You may make it localize correspondingly.
  • the position of the beam directed at the position corresponding to the sound source position of the image 1 16 of the TV monitor 1 15 is defined as the eagle image position-concealment.
  • a sudden sound image can be formed on the TV monitor 115 so that the sound is emitted from the displayed image position of the light source.
  • headphone 24 has multiple microphones at the time of sound pickup. 104, 106, 107, 108 and the reproduced sound image position information indicating the position of one or more of the sound sources 100, 101, 102. Therefore, a plurality of reproduced sound images are localized in a one-to-one manner at the positions of a plurality of subjects 1117, 118, and 119 of the video reproduced by the TV monitors 92, 115.
  • the integrators 5, 7, 9, 11 and the controller 50, 51, 52, 53, 54, 56 play the sound signal corrected by the controller. By concealing the subjects 117, 118, and 119, a real sound image can be formed as if the sound were emitted.
  • the image based on the video signal includes sound sources 100, 101, and 102.
  • the directivity of the sound image is controlled, and the corresponding sound is displayed on the screen 1 16 as the display unit of the TV monitor 115.
  • a plurality of reproduced sound images may be localized at the positions of the subjects 1 1 1 7 and 1 1 8 1 1 9.
  • the sound image position is defined at the position where the beam at the position corresponding to the sound source position of the screen 11G of the TV monitor 115 is set, and the sound source displayed on the image 1 16 of the TV monitor 115 is defined.
  • a real sound image can be formed on the TV monitor 115 so that the sound is emitted from the image position.
  • the image based on the video signal includes the sound sources 100, 101, and 102, and the headphone 24 is the sound source 10 at the time of sound collection.
  • the sound source of the video generated by T5 by the TV monitor 92, 115 is 10 ⁇ , 1
  • the control unit 50 5, 9, 5 11
  • the sound signal corrected in 4, 5 and 6 is played, so the sound source of the played video From the positions of 100, 101, and 102, it is possible to form a sudden sound image as if the sound were emitted.
  • the position I- of the microphones 104, 106, and 107.108 changes depending on the image plane of the video signal.
  • the directivity of the sound image is controlled based on the microphone position information from the device H 103 and 105, and the corresponding sound is reproduced on the screen 1 16 as the display unit of the TV monitor 115. 1 7, 1 1 8 and 1 1 9 everyone!
  • a plurality of reproduced sound images may be localized corresponding to the positions IS of the subjects 1 17, 1 18, and 1 19.
  • the position of the beam at the position corresponding to the microphone position of the TV monitor 1 15] is the sudden sound image position iS, and the TV monitor 1 15 screen 11
  • An actual sound image can be formed on the TV monitor 115 as if the sound were emitted from the microphone position of the sound source displayed in (5).
  • the positions iS of the microphones 104, 10G, 107, and 1 ⁇ 8 are changed depending on the scene of the image by the video signal, and the headphone 2 4 is based on the playback sound image position information indicating the positions of the microphones 104, 106, 107, and 1 ⁇ 8 at the time of sound pickup, and the V monitor 92, 115 Microphones 104, 1106.107, 1 () of the generated video Convolutions 5, 7, 9, 1 1 so that the reproduced sound image is localized in the direction of 8 , Control IS 50.5 1, 52, 53, 54, 56 sound corrected! ? Because playing the signal? From the direction of the microphone ⁇ -phone 1 ⁇ 4, 106, 107, 108 of the displayed image, it is possible to form an image as if the sound is emitted.
  • the reset switch 30 is connected to the headphone 24, and the listener 23 presses the reset switch 30.
  • the headphone 24 A reset switch 91 may be provided on the inside, and when the headphone 24 is mounted on the head, the reset may be applied to a fixed period of time when the headphone 24 is mounted.
  • the digital angle detector 28 and the analog angle detector 38 have the reset switch 90, and when the reset switch 90 is turned on, Since the direction in which the listener 23 faces is set to the S sub-direction, an arbitrary direction can be set to a metaphysical state by operating the reset switch 90.
  • the digital degree detector 28 and the analog angle detector 38 change the direction when the listener 23 is directed to the predetermined S reference direction to the a reference direction.
  • the direction set in advance can be dynamically set in the s sub-direction.
  • the headphone 24 has the reset switch 91, and when the listener 23 wears the headphone 24, the digital angle detector 2 8 ⁇
  • the analog aperture detector 38 sets the direction of the screen of the TV monitor 92 to the reference direction. Metaphors can be made metaphysical.
  • the TV monitors 92 and 115 may be, for example, movie screens. In this case, it has multiple screen sizes such as cinemas scope size, Vista sizes, etc., and is based on the reproduced sound image position IS information indicating the position of the microphone and / or the position of the sound source at the time of sound pickup. According to the size of the leverage, the 3 ⁇ 4: raw sound image may be localized, respectively. In this case, if the input terminal 65 shown in FIGS. 1, 7, and 3 ⁇ 48 is provided at the position m ⁇ 933, and switching according to the screen size is input to the input terminal G5. Good.
  • the screen has ⁇ i number of screen sizes and the head The phone 24 corresponds to the screen size, and the one corresponding to the image reproduced by the screen
  • uj has the position of the microphone and the position of the sound source at the time of sound pickup.
  • the TV monitors 92, 115 and the screen are arranged, for example, toward and behind the listener 23, left and right.
  • the position of the microphone at the time of sound pickup and the position of the sound source or one of the positions of the sound source are reproduced.
  • the sound image may be localized.
  • the position of the microphone and / or the position of the sound source are displayed in response to the movement of the image from the direction in which the image is encouraged.
  • Sound image position This is the most suitable for the purpose of localizing the sound image based on IS information.
  • the position of the reproduced sound image can be localized in both directions.
  • the data in FIG. 4 can be obtained as follows.
  • the impulse source and the dummy head microphone of the required number of channels were set in an appropriate room so that the desired playback sound would be obtained when 15 headphone 24 were produced.
  • Place in [ this -A speaker may be used as a sound source to measure the combined impulse.
  • each ear of the dummy head may be any position from the entrance of the outside road to the position of the drum, but in order to cancel the inherent characteristics of the headphone used. It is required to be equal to the location that requires the positive property of
  • the control signal is measured by radiating an impulse sound from the speed position of each channel and using a microphone attached to each ear of the head at a fixed angle: ⁇ ⁇ 9 ⁇ . Obtained by collecting sound. Therefore, at a certain angle: ⁇ 1, one impulse response is obtained for each channel, so if a signal source of 5 channels is used, one angle Each time, five sets, that is, 10 kinds of control signals are provided. Therefore, these responses generate a control signal representing on_ ⁇ and the level difference between the left and right ears.
  • a method of obtaining a correction characteristic for canceling a sound source, a sound field, a characteristic characteristic of a headphone used, and the like may be as follows. Inno of the sound. Ffl Use the same microphone as the microphone that collected the sound response, attach the headphone to be used to the dummy head, and attach it to the headphone. From the input, the microphones at each ear of the dummy head are calculated by calculating the inno and the pulse response that have the inverse characteristic of the impulse response of the u-phone lie.
  • an adaptive process such as an LMS algorithm may be used to directly obtain a headphone specific positive tt: so as to approach the target value.
  • the specific characteristic of the headphone E! Is Mi which corresponds to the part from the time the audio input signal is applied to the time the signal is applied to the headphone.
  • the processing of the domain is performed by interpolating with the impulse response that represents the obtained fi 3 ⁇ 4 correctness, and in analogy, after analog-to-digital conversion, the analog- Through the filter And can be realized by:
  • the table in the memory 35 is a single set, and the address control for the table is changed in the address control circuit 34 to obtain control data in the same manner as in the case where there are a plurality of tables. come.
  • the input audio ⁇ is either a digitally recorded signal collected by multi-channel stereo or the like or a signal recorded by analog recording.
  • Angle detection that detects the movement of the head of the listener 23 can be performed by digital signals or by a digital signal. Suitable for both of them.
  • the digitally recorded time of both ears] difference and both! The characteristic represented by the control signal indicating the level difference of [fill] is:!
  • the impulse response is pre-set at the embedding integrators 5, 7, 9, 11 and at the memories 6, 8, 10, 10 and 12: Since the characteristic is reduced and the control is carried out in a pure-silicon manner, there is little deterioration in the characteristics, and there is no delay in the change in the characteristics of the audio signal with respect to the movement of the listener 23. It does not create the unnaturalness of the stem.
  • the change ⁇ of the control signal representing the level difference of ⁇ lli] i of both ears 0 and the two ears] with respect to the change of the ft degree ⁇ may be made larger or smaller depending on the table.
  • the amount of change in the position 11 of the sound image with respect to the head direction of the listener 23 differs, so that it is possible to change the sense of distance from the listener 23 to the sound image, and to respond to the screen size. be able to.
  • the reverberation circuits 13 and 14 add appropriate reverberation signals as needed, it is possible to obtain the sensation of listening to music in a famous concert hall.
  • a plurality of listeners 23 perform the sleeve correction by the control signal representing the time difference between both ears and the level difference between both ears according to the head rotation of each listener.
  • a vibrating gyroscope may be supplied to the “n” th detector.
  • the partial rotation detector can be made compact. Light weight and low consumption ⁇ Long life with ⁇ power, easy to handle and inexpensive.
  • the vibrating gyroscope since the vibrating gyroscope is operated by using the power of the coil without using the regenerative force, it must be installed near the center of the circuit of the head of the listener 23. Since there is no 3 ⁇ 4 'and it can be attached to any part of the rotation detecting section, drawing and assembly can be made to fii.
  • FIG. 12 illustrates one sharp examples of the video signal and the sound signal of the present invention.
  • Video signal and sound according to the embodiment of the present invention! 5 Playback of the signal ⁇ 11 is performed by comparing the video signal and the audio signal having the reproduced sound image position information indicating the position of the microphone at the time of sound pickup and the position of the sound source or one of the positions, while viewing the image.
  • the audio signal having the reproduced sound image position information indicating the position of the microphone at the time of sound pickup and the position of the sound source or one of the positions, while viewing the image.
  • the reproduction device of the video signal and the audio signal according to the embodiment of the present invention is a multi-channel picked up by stereo or the like, and the position g of the microphone and the position of the sound source at the time of sound pickup.
  • the video signal and the audio signal having the reproduced sound image position information indicating one of the positions are output to a headphone system while watching the video.
  • the reproduced sound image of the double channel is collected at a predetermined time. Indicates the position of the microphone and the position of the sound source or the position of the sound source: The position corresponding to the image is determined based on the ⁇ raw sound position 'information.
  • FIG. 12 shows an example of a video signal and audio signal reproducing apparatus according to the present invention.
  • Figures 12 to 14 correspond to Figure 1, m7 and Figure 8, where Figures 12 to 14 correspond to Figures 1 and 7. And points different from those in FIG. 8;; explanation of the configuration and operation of common points is omitted.
  • the video signal is supplied to the video signal generation device 62 and the position information Supplied to The location! Information extraction circuit 66 is a circuit that detects the reproduced sound image placement information supplied in advance together with the video signal.
  • the reproduction sound image position information for example, yield in the video signal reproducing apparatus 6 2 of disk rie down on -: a position ⁇ and position or any one of the position of the sound source microphone when.
  • the position information from the position information extraction ⁇ 66 is supplied to a switch 36 for switching the address of the address control circuit 34. Further, a switching signal based on the size of the screen of the video signal W generator 62 is also supplied from the input terminal 65 to the switch 36.
  • the above-mentioned table is provided, for example, in three sets for the memory 35, and for each set, a table of a predetermined video signal reproducing device 62 and a set of the listener 23 are provided.
  • the values of the data are made different according to the relative position such as distance and angle, and the screen size of the screen of the video signal reproducing device G2. Then, an optimal one of the three sets of tables is selected according to the switching of the address by switching the switch 36 of the address control circuit 34.
  • the reproduction device S2 of the image signal and the audio signal of this embodiment is drawn as described above, and operates as follows.
  • the video signal and the audio signal are input from the input terminal ⁇ (), and the audio signal and the video signal are separated by the separation circuit 61.
  • the video signal is supplied to the video 3 ⁇ 4 generator H62. Minute If the audio signal separated by the separation circuit 61 is a digital audio signal, it is supplied to the digital stereo signal source 1, and if it is an analog sound M, it is supplied to the analog stereo signal source 2.
  • the digital audio signal and the analog audio signal are the video credits having the reproduced sound image position E fl information indicating the microphone position iS and the source position S or one of the positions S at the time of sound pickup, respectively.
  • the sound separated from is P 1 ⁇ ⁇ 3 ⁇ 4 ⁇ .
  • the relative reproduced sound image information such as the distance and angle between the screen of the predetermined video signal reproducing device iG2 and the listener 23 is obtained from the position 1 signal extracting circuit S6. It is supplied to the address control circuit 4. Also, the switching signal S based on the screen size of the screen of the video signal reproducing device 62 is ⁇ !; The address control circuit 3 switches the address by switching the switch 3G.
  • the set ⁇ includes a predetermined screen of the video signal generator G2 and a listener 23.
  • the value of the data is different according to the relative position such as the distance and angle of the image and the screen size of the screen of the video signal reproduction i! G2.
  • the address control is performed so that one appropriate table among the three sets of tables changes the position IS of the reproduced sound image in response to the change of the reproduced sound image information or the screen size.
  • the selection is made according to the switching of the address by switching of the switch 36 of the circuit 34.
  • the address of the dress control circuit 34 is switched according to the relative position [fi!], Such as the distance and the angle between the screen 2 and the listener 23.
  • the table is selected, and the reproduced sound ⁇ & position E is set to, for example, the microphone position IS and the sound position IS on the screen of the video signal TO Can correspond to any one of the positions.
  • the address of the address control circuit 34 is switched in accordance with the screen size of the screen of the video signal generator 62, an iS suitable table is selected, and the W raw sound image is formed.
  • the Sii size of the video signal is changed, the position of the microphone at the time of sound collection on the screen of the switched screen size [and the position of the sound source are also changed. Or one of the positions:
  • the audio signals L and R supplied to the headphone 24 are the virtual sound source positions 112 with respect to the head S direction corresponding to the head direction of the listener 23. From the digitally recorded impulse response or the time difference between the two ears and the M control signal representing the level difference between the two ears liij. Then, by localizing the raw sound image, it is possible to give a sense of sound as if multiple sound powers were placed in the virtual sound source position and the sound was reproduced with the power.
  • the signal IS is used to reproduce sound signals with headphones while playing the video, while the sound signals are originally played at a predetermined speed.
  • the headphone provides the same sense of localization and sound field as the sound is reproduced from the headphone.
  • a plurality of reproduced sound images are localized in a direction corresponding to the reproduced image projected at a distance away from the image signal.
  • Regeneration is a system that uses a headphone to generate multi-channel sound collected by stereo, etc., using a headphone while producing images.
  • a predetermined position eg, right, forward left, middle Central and others.
  • the raw sound image of the i-th channel is localized in the direction corresponding to the reproduced video that is cast away at a distance.
  • FIG. 15 shows an example of a video signal and audio signal reproducing apparatus according to the present invention.
  • FIGS. 15 to 17 correspond to FIGS. 3 to 12, FIGS. 13 and 14, and FIGS. 15 to 17 correspond to FIGS.
  • the differences from FIG. 12, FIG. 13, and FIG. 14 are described, and the description of the configuration and operation of the common points is omitted.
  • the video signal is supplied to the position information transmission circuit 66.
  • the position information extracting circuit 66 is a circuit for extracting reproduced sound image position information supplied in advance together with the video signal.
  • the reproduced sound image position information is, for example, the position of the microphone and / or the position of the sound source at the time of sound collection on the screen of the virtual image display 1993.
  • the video signal is supplied to an i-image display 193 mounted on the listener 23 after a predetermined W pre-processing of the video signal in the video signal reproducing circuit G7.
  • the playback device for the video signal and the sound IF signal of this embodiment is as follows.
  • the video signal and the audio signal are input from the input terminal 60, and the audio signal and the video signal are separated by the separation circuit G1.
  • the video signal is supplied to a video signal reproducing circuit 67. If the sound M separated by the separation circuit 61 is a digital audio signal, it is supplied to the digital stereo signal source 1, and if it is an analog audio signal, it is supplied to the analog stereo signal source 2.
  • the screen of the predetermined virtual image type display 193 and the listener 23 are connected.
  • the position-related information iS information such as distance and angle is supplied from the position information disclosure circuit 66 to the address control circuit 3.
  • a switching signal based on the size of the screen of the virtual image display 1993 is also supplied from the input terminal 65 to the switch 3G.
  • the address control circuit 3 switches the address by switching the switch 3 ⁇ .
  • the above-mentioned tables are provided, for example, in three sets for the memory 35, and for each set, the distance and angle between the screen of the virtual image type display 193 and the listener 23 are set.
  • the value of the data is made different depending on the relative position, the screen size of the virtual image display 1993 screen, and the like.
  • an optimal one of the three strings is selected according to the switching of the address by the switching of the switch 36 of the address control circuit 34.
  • the address of the address control circuit 34 corresponding to the predetermined relative position 1 such as the distance and angle between the screen of the virtual image display 19 3 and the listener 23 is determined.
  • the dress is switched, the appropriate table is selected, and the position of the live sound image is set to, for example, a virtual image display.
  • the talent signals L and R supplied to the headphone 24 are obtained from the temporary sound source position in the ⁇ quasi-direction of the head corresponding to the head orientation of the listener 23.
  • the digitally recorded impulse response to the both ears or the control signal representing the difference between the i! Ears and the level difference between the two IF PrlJs is performed. It is possible to obtain the sound sensation as if the individual speakers were playing the speakers with the virtual sound source position S2.
  • the ⁇ image display 1993 contains information on the head movement of the listener 23 with respect to the ⁇ reference direction by the digital detector 28 or the degree detector 38. Supplied. Therefore, when the listener 23 sets the upper part to 0, based on this M report, the image projected at a distance IS from the left and right eyes of the listener 23 by a predetermined distance is as if it is also possible to change the temperature to make it look like it and change it.
  • FIG. 18 shows the operating principle of the virtual image display of another embodiment of the video and audio signals of this generation.
  • the virtual image display 193 has a liquid crystal display (hereinafter, referred to as “LCD”) 184 via a lens 182 in front of the right eye 180 of the listener 233.
  • the LCD 185 is hidden via the lens 18 3 in front of the left iiU 18 1, and the playback images displayed on the LCDs 18 4 and 18 5 are displayed on the lenses 18 2 and 18 3.
  • the image is reproduced in such a manner that a virtual image 187 is projected in front of the LCDs 184 and 185.
  • LCD liquid crystal display
  • the image information projected on the LCDs 18 and 18 becomes virtual images by intercepting the lenses 18 2 and 18 3 as the eyepiece lenses, and becomes a virtual image, and the right eye 180 and the left eye From 181, they enter the brain as separate information, where they are superimposed to form an image.
  • the angle between the eyes is set to the angle of the eye so that a virtual image 187 is shown at a distance of 1 to 1.5 meters from both eyes so that the eyes can be placed in a physiologically quiet position.
  • the axis angle 1 86 is given.
  • the LCDs 184 and 185 were originally developed by the assignee of the present invention, and are small, high-density, 0.7 inch, 1 inch, which reproduce fine-grained images. It is an LCD of 0.30 million pictures Qin.
  • the large screen can be used as a virtual image 187.
  • Distortion when enlarging the images shown in 184 and 185 can be suppressed, and sharp images can be played everywhere.
  • FIG. 13 shows the outside of the virtual image display of another embodiment of the reproducing apparatus for the video signal and the audio signal of the source Ijij.
  • the virtual image type display 1993 has a scope 194 that connects the lenses 18 2 and 18 3 and LCDs 18 4 and 18 5 so that the left and right eyes of the listener 23 are S1.
  • the arm 19G attaches to the head of the listener 23.
  • the pad 195 supports the section of the listener 23, and the strength of the mounting can be adjusted with the Asia star 197.
  • the virtual image display 193 is An example is shown in which the headphone 24 is separate from the headphone 24, but the arm 1996 of the virtual image display 193 and the headband 27 of the headphone 24 are fixed. Even if they are formed as a single unit, it is immature.
  • the virtual image type display 193 as the image reproducing means includes the LCD 185 as the left liquid product display unit and the LCD 185 corresponding to the left and right eyes of the listener 23. Since it has an LCD184 as the right part display, the LCD185 as the left liquid crystal display and the LCD184 as the right liquid part display, 3 ⁇ 4: The live image can be projected at a position separated by a predetermined distance from both the left and right URs.
  • the image-type display 1993 as a video playback device is provided with a rectangular aspherical surface at the left and right tangents at positions corresponding to the left and right eyes of the listener 23.
  • the LCD 1885 as the left liquid product display and the LCD 184 as the right liquid product display are connected via the lenses 18 2 and 18 3. Enlarge the image on the LCD 1 85 as the liquid product display and the LCD i 8 4 as the right liquid product display, and use it as the left liquid product display.
  • the W raw image is projected in front of the LCD 185 and the LCD 184 as the right liquid product display, and a predetermined distance away from the left and right eyes of the listener 23. Can be.
  • FIGS. 20 to 26 show simulations of the arrangement of the speed force of another embodiment of the reproducing apparatus 11 for reproducing the video and audio signals of the present invention.
  • the direction i′j of the virtual image position 192 that displays the image based on the video signal accompanying the audio signal is the front.
  • the simulation of the placement of the speed is as follows. First, the sound image is localized as if the speakers were placed in the range of ⁇ of the front force from the straight line connecting the left and right ears 23 L and 23 R of the listener 23. Next, the listener
  • the sound image is localized as if the force were placed in the range B on the straight line connecting the left and right binoculars 2 3 L and 2 3 R _ 1.
  • the sound image is localized as if the force was distributed in the range of C behind the straight line connecting the left and right ears 23 L and 23 R of the listener 23.
  • the headphone 24 as the sound reproducing means is connected to both the left and right sides of the listener 23 by the reproduction of the virtual image type display 193 as the means for reproducing the video signal.
  • the position IE of the virtual image position iS! L2 is forward, it is forward, if it is backward, it is backward, if it is left, it is left, and if it is right, it is right.
  • the localization of the W raw sound image If the video progresses, move the live sound image according to the progress of the video. Then, it is localized to the predetermined position S.
  • the virtual image display 193 contains one report of the head ⁇ excitation in the standard direction of the listener 23 by the digital: angle detector 28 or analog angle detector 38. Supplied. Therefore, when the head of the listener 23 is rotated, based on this one report, based on this S, the image projected at the virtual image position 192 which is a predetermined distance from the left and right limits of the listener 23 is obtained. As if: You could change the angle and make it change as if you were a child.
  • a reset switch 190 is provided on the headphone 24 and the listener 23 presses the reset switch 190 to set the S level S of rotation. Also, it is possible to provide a reset switch 191 inside the headphone 24 so that the headphone 24 is reset when the headphone 24 is attached. Further, when the listener 23 faces the predetermined S reference direction, the direction may be set to the S reference direction.
  • the digital angle detector 28 and the analog angle detector 38 have the reset switch 190, and when the reset switch 190 is turned on. Since the direction in which the listener 23 faces is set to the reference direction, any direction can be set to the front by activating the reset switch 190.
  • the digital angle detector 28 and the analog angle detector 38 set the direction to the S reference direction when the listener 23 is directed to the preset reference direction. : Since it does £, it is possible to dynamically set the predetermined direction to S direction.
  • the headphone 24 has the reset switch 191, and when the listener 23 wears the headphone 24, the digital The angle detection 2 8 and the analog angle detection 3 8 set the direction of the image of the iiii image 2 ⁇ 9 2 —
  • the screen of the video can always be set as a metaphor by the winding of the headphones 24.
  • the reset switches 19 ⁇ and 191 are provided on the headphone 24, but it is also possible to provide them on the J image display 1993.
  • the simulation of the speaker arrangement is as shown in Figs. 21 to 26.
  • the simulation of one channel for monaural reproduction is as shown in Fig. 21.
  • a virtual image position 211 for displaying an image is arranged in front of the passenger seat 211 where the listener 23 is located.
  • the sound ⁇ is reproduced so that the sound image is localized as if the center speaker C was arranged at the center of the virtual image position 11.
  • FIG. 1 The simulation of the 5 raw if] speaker arrangement is as shown in FIG.
  • a virtual image position 2 21 for projecting an image is arranged on the ilij side of the audience seat 2 2 ⁇ ⁇ where the listener 2 3 is located.
  • the live sound image is localized so that the left and right speeds L and R are located to the left and right of the virtual image position 2 21 in front of the audience seat 220. Play acoustic Pi.
  • FIG. 23 shows a simulation of a speed distribution for three-channel reproduction. That is, in front of the audience seat 230 where the listener 23 is placed [S], a virtual image place E ′ 23 1 for displaying an image is arranged S. At this time, the center speaker C is placed in the center of the virtual image position 231 in front of the audience seat 230, and the left speed force is on the left and right of the virtual image position 231. L and right speed R are arranged, and the reproduced sound image is generated as if the sub-single force W is arranged near the center-speaker: dl.
  • a simulation of the speed distribution of W raw flj on four channels is as shown in Fig. 2 '.
  • the image position ⁇ 2 1 that projects the image is placed toward the audience seat 2 ⁇ ⁇ where the listener 23 is located ⁇ ⁇ 3 Is done.
  • the center speaker C is located in the center of the virtual image position E21, and the left speaker L and the right speaker are located to the left and right of the virtual image position 241.
  • the rear speaker S is concealed at the right, left, right and rear liii of the passenger seat 24, and the sub speaker near the center speaker C. The sound is reproduced so that the live image is localized as if by Peaker W.
  • FIG. 1 a simulation of the speaker distribution IS for reproducing the five channels is as shown in FIG.
  • the image position IS 21 is located near the audience seat 250 where the listener 23 is located.
  • a center speaker C is placed 12 in the center of the virtual image position 4 25 1 in front of the audience seat 250, and a left and right side is located to the left and right of the virtual image position IS 21.
  • the speaker L and the right speaker R are arranged JS, and the surround left speaker S is placed on the front left and rear left sides of the passenger seat 250, and the passenger seat 25 behind the front right and rear right side
  • Sarah window down Dohidarisu speaker S tt is yes! : The sound is reproduced so that the reproduced sound image is localized as if the subwoofer speaker W was placed near the center speaker C.
  • the headphone 24 as the sound reproducing means is connected to both the left and right of the listener 23 by reproducing the video signal of the virtual image display 193 as the video reproducing means.
  • the video signal of the virtual image display 193 is connected to both the left and right of the listener 23 by reproducing the video signal of the virtual image display 193 as the video reproducing means.
  • five channels of playback sound are located at the front center, front right, front left, back right, and back left of the listener 23.
  • control means 8 8, 1 ⁇ , 12, convolution separator 5, 7, 9, 11, control 3 ⁇ 4 S 50, 51, 52, 53 Since the sound signal corrected by,, and is played back, the left and right limits of the listener's left and right sound images of the five channels of the center, right, left, rear, and rear left Projected at a predetermined distance from It can be localized in the direction corresponding to the raw video that was removed. Further, as a subwoofer channel, a channel for generating only low-frequency reproduced sound W may be provided, for example, near a center speed. Also, it can be more than 8 channels.
  • a virtual image concealer 261 which displays an image, is arranged in front of the audience seat 2 ⁇ ⁇ 0 where the listener 23 is located.
  • a center speaker C is disposed at the center of the virtual image position 261
  • a left speaker L and a left speaker L are provided at the left and right of the virtual image position 261, respectively.
  • Migisu peak force R is coordinating II, to be et al., cell pointer 5 over speaker and C and Hidarisu speaker L and the (10 distribution left extract preparative la speaker L E to E, cell pointer over speaker C and 13 ⁇ 4 distribution right extract trusses speaker R E on the Migisu speaker R - anonymous and, Sarah window down Dohidarisu speaker SL is disposed on the rear left side of the customer's seat 2 6 0, behind the seats 2 6 0 . Play sound as Sarah window down Dohidarisu speaker S R is play located on the right side to the sound reproduction to localization Additionally, service Buu - Hacha N'ne 'as the Le, low-pass: ⁇ ]! : A subwoofer W of the channel for reproducing only the raw sound may be provided, for example, near the center speaker C. Also, the 8 channel Be provided with a speaker X ⁇ Ku, it may be a further 8 switch turbocharger tunnel or more.
  • the headphone 24 as a sound reproducing means is connected to the listener 23 by reproducing the video signal of the virtual image display 193 as a video reproducing means.
  • This is the direction corresponding to the playback image projected a predetermined distance from both the left and right clothes, and is the front center, front right, front left, and c of listener 23: right center, left center, ⁇ of 7 channels to the rear right and rear left: Memory G, 8, 10 and 12 as control so that the raw sound image is localized 1 1, control ⁇ IS 5 ⁇ , sound corrected with 5 1, 5 2, 5 3, 5 4, 5 6-3 ⁇ 4
  • the center of the front, the right front, the left side of i, the right center of the front, the center of the front left, the right back, and the right and back left channels are played from the left and right eyes of the listener 23.
  • a channel for reproducing only low-frequency reproduction sound may be provided, for example, near the center of the center. Also, it is ⁇ even for 8 channels or more.
  • the positions of virtual images ⁇ 19 2, 21 1, 22 1, 23 1, 24 1, 25 1, 26 1 are, for example, optical systems
  • the number of screen sizes such as the cinema scope size, the Vista size, etc. can be changed to correspond to this meta-size.
  • a switching signal based on the screen size is input to the input terminal 65 in FIG. 5, FIG. 16 and FIG.
  • the virtual image display 1993 is supplied with information of the head excitation in the S quasi-direction of the listener 23 by the digital intensity detector 28 or the analog angle detector 38. Therefore, when the listener 23 rotates his / her head, based on this I report, the listener 23 is separated from the left and right sides of the listener 23 by a predetermined distance in FIGS. 21 to 26.
  • the position of the virtual image ⁇ 2 1 1, 2 2 1, 2 3 1, 2 4 1, 2 5 1 and 0 1 changes the image projected as if by changing the angle. You may make it visible.
  • the positions of the images IS 1 3 2, 2 1 1, 2 2 1, 2 3 1, 2 4 1.25 1 .2 61 have a meta-size of ⁇ number
  • 9 3 places a number of ffl raw images in the direction from the left and right sides of listener 23 to a distance i ⁇ i away from the TO raw image projected on S.
  • the virtual image type display 1993 is disposed, for example, in front of and behind the listener 23, leftward and rightward, and the position of the virtual image is hidden.
  • the reproduced sound images may be localized so as to correspond to the images on the screens of 192, 211, 221, 231, 241, 251, and 261, respectively.
  • the virtual image type display 193 covers the listener 23 so as to cover the front and rear, left and right, upper and lower sides of the listener 23.
  • the reproduced sound image may be localized.
  • the virtual image type display 19 3 as a video playback means is arranged at least in front of and behind the listener 23, rightward and leftward so as to display the listener 23.
  • the headphone 24 as a sound reproducing means is placed on the left and right eyes of the listener 23 due to the generation of the video signal of the virtual image type display 193 as a video player.
  • the rear, right, and left prone sound images can be localized from the left and right eyes of Listener 23 in a direction that corresponds to the raw image projected at a distance of £ distance S. it can.
  • the digital three-degree detector 28 and the anatomy angle detector 38 as the angle detecting means are the upper and lower rotations of the listener 23 with respect to the S () direction;
  • the virtual image display 193 as a video image generating means is configured to follow the listener 23 at least in front of and behind the listener 23, right and left,
  • the headphone 24 is disposed above and below, and the headphone 24 as sound reproduction means is a listener 23 3
  • the memories 6, 8, 1 as control means such that a plurality of reproduced sound images are positioned in a direction corresponding to the reproduced image projected at a predetermined distance from the left and right eyes of the subject.
  • Control device 50, 51, 52, 5'3, 54, 56 Reproduce sound signal corrected by The direction corresponding to the reproduced image projected forward and backward, right and left, upper and lower, and a predetermined distance from both the left and right limits of the listener 23
  • the raw video and audio signals of the present invention! Indicates the position of the microphone and / or the position of the sound source in the game machine, in particular, corresponding to the movement of the image from the moving direction of the image. This is suitable for applications where the reproduced sound image is localized based on the reproduced sound image position information. In addition, the position of this reproduced sound image can be localized in both directions.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Description

明 細 書
発明の名称 映像信号及び音響信号の再生装 技術分野
本発叨は、 例えば、 映像を見ながらへッ ドホ ンによる音響信号 の再生を行う映像信号及び音響信号の再生装 [Eに関する。 背景技術
従来から、 リ スナの両耳を稷うようにして頭部にへッ ドホ ンを 装着して、 両耳から音響信号を聴取するへッ ドホ ンによる音響信 号の再生方法がある。 このへッ ドホ ンによる音響信号の再生方法 は、 信号源からの信号が仮にステ レオ信号であっても、 再生され る音像がリ スナの頭の中にこ もる、 いわゆる頭内定位の現象が生 しる。
一方へッ ドホンによる音響信号の再生方式の一つにバイ ノ ーラ ル収音再生方式がある。 このバイ ノ ーラル収音 W生方式とは、 以 下のような方式をいう。 リ スナの頭部を想定したダミ一へッ ドの 左右 ϊ山 j耳の穴にダミ 一ヘ ッ ド - マイ ク ロホ ンと呼ばれるマイ ク ロ ホ ンを設ける。 このダミ ー へ ッ ドマイ ク ロ ホ ンによ り信号源から の音響信号を収音する。 このよ う に して収音された音響信号を、 実際に リ スナがへッ ドホンを装着して再生すると、 信号源からの 音声をそのまま聞いているような臨場感が得られる。 このような バイ ノ ーラ ル収音 ^生方式によれば、 収音再生音像の方向感、 ¾ 位感及び臨場感などを向上させることができる。 しかしながらこ のようなバイ ノ ー ラ ル^生を行うためには、 音源信号と してダミ 一ヘッ ド · マイ ク ロホンで収音した、 ス ピーカ苒生 fflとは異なる 特殊なソ ース と しての信号源が必要とされた。
そこで上述のバイ ノ ーラ ル収 ' · ϊί生方式を応用 して、 例えば一 般のステ レオ信号をへッ ドホ ンにより、 ス ピーカ再生と同じよう な頭部外 （ス ピーカ位匿） に定位させた再生効果を得ることが考 えられ、 これにより、 へッ ドホ ンでもス ピーカ再生と同じ効架が 得られ、 しかもへッ ドホ ンによる外部に音をもらさない効朵も得 られるようになった。 しかし、 ス ピーカによるステレオ再生の場 合には、 リ スナが頭 （顔） の方向を変えても、 音像の絶対的な方 向及び位置は変化せず、 リ スナの感じる音像の相対的な方向及び 位置が変化する。 これに対し、 ヘッ ドホ ンによるバイ ノ ーラ ル再 生の場合には、 リ スナが頭 （顔） の方向を変えても、 リ スナの感 じる音像の相対的な方向及び位置は変化しない。 このためバイ ノ 一ラ ル再生であっても、 リ スナが頭 （顔） の方向を変える場合に は音場はリ スナの頭の中に形成されてしまい、 特に、 音像をリ ス ナの前方に定位させる、 いわゆる前方定位させることが難しかつ た。 しかも、 この場合には音像が頭部上方に上昇し、 特に不自然 なものになりがちであった。
これに対して、 特公昭 4 2— 2 2 7号公報記載のへッ ドホン再 生方法によれば、 次のようなへッ ドホンによるバイ ノ ーラル再生 方法が考えられている。 すなわち、 音像の方向感及び定位感は、 左耳及び右 Ifの聴取する音の音量差、 時間差、 位相差等により決 定されるので、 上記公報のシステムは、 左及び右チ ャ ンネルのォ 一ディ ォ信号ライ ンに、 レベル制御回路及び可変遅延回路をそれ ぞれ設けると共に、 リ スナの頭の向きを検出し、 その検出信号に より各チヤ ンネルのオーディ ォ信号のレベル制御回路及び可変遅 延回路を制御するようにしたものである。
しかし、 上記特公昭 4 2 - 2 2 7号公報記鉞のへッ ドホ ン再生 方法においては、 リ スナの の向きの検出信号そのものによりモ —タを駆動し、 このモータにより レベル制御回路及び可変 S延回 路の可変抵抗器及び可変コ ンデンサをアナ口グ信号により に制御しているので、 リ スナが頭の向きを変えてからへッ ドホン に供給される各チ ヤ ンネルのオーディ ォ信号の音量差及び時 ]差 を変化させるまでに Β · Ρ の遅れを生じてしまい、 リ スナの頭の動 きに充分に対応できなかった。
また、 上 d特公昭 4 2 - 2 2 7号公報記載のへッ ドホ ン再生方 法においては、 音量差及び時間差を変化させるとき、 その変化特 性は、 音源と リ スナとの相対的な位置関係や、 リ スナの頭部の形 状及び耳介の形状などに基づいて決定しなければならない。 すな わち、 ある一つの変化特性にした場合には、 音源と リ スナとの位 置関係が固定されてしまい、 距離感、 音源 1 0距離を変化させるこ とが出来ず、 また、 リ スナにより頭部及び耳介の形状が異なるの で、 効架の程度がばらついてしまう ことがあった。 しかも、 仮想、 音源位置から両耳に至る伝達関数を測定する際の音源固 の特性 、 および用いるへッ ドホ ン固有の特性の補正を施す手段について は述べられていなかった。 特に、 用いるへッ ドホ ンによって特性 が大き く違ってしま うので、 再生状態が変化してしま う。 また、 映像信号を伴う音響信号の再生については、 述べられていなかつ 更に、 特公昭 5 4 — 1 9 2 4 2号公報記載の立体再生方式によ れば、 リ スナの頭の向きとヘッ ドホ ンに供給される各チ ャ ンネル の才一ディ 才信号の音量差及び時間差相互の変化量の関係を連続 的に求められることが記載されている。
しかし、 上記特公昭 5 4 - 1 9 2 4 2号公報記載の立休再生方 式においては、 オーディ ォ信号の音量差及び時間差相互の変化量 の関係を連続的に求めて、 これを記憶させるためには膨大な容量 のメ モ リを設けなく てはならず、 実 が極めて困難であった。 し かも、 仮想音源位- Ξから両耳に至る伝達閲数を測定する際の音源 固有の特性、 および用いるへッ ドホン固有の特性の補正を施す手 段については述べられていなかった。 また、 映像信号を伴う音 5 信号の再生については、 述べられていなかった。
またさ らに、 本発明と同一出願人による特開平 0 1— 1 1 2 9 0 0号公報記載 Oオーディ 才再生装置には、 これらオーディ オ信 号の音量差及び時問差相互の変化量の相互の IM1係を連 的ではな く離散的にデータを求めて、 オーディ ォ信号を処理する装置が記 載されている。
しかし、 上記特開平 0 1 — 1 1 2 9 0 0号公報記载のオーディ ォ再生装置では、 アナログ、 ディ ジタ ル信号処理のどちらにも適 用できるような原理的な概念が示されているのみで、 アナ口グま たはディ ジタ ル信号処 S1を /1]い、 突際の商品に適 fflする際の具体 性に欠けている。 しかも、 仮想音源位置から両耳に至る伝達 [¾数 を測定する際の音源固有の特性、 および用いるへッ ドホン固^の 特性の础正を施す手段については述べられていなかった。 また、 映像信号を伴う音響信号の再生については、 述べられていなかつ た。
またさ らに、 本発明と同一出願人による特開平 0 3— 2 1 4 8 9 7号公報記載の音響信号再生装置には、 各仮想音源位置から両 耳に至る伝達閲数を固定し、 信号処理した後に、 各 ΙΠこ供給され る信号のレベル及び遅延時 [I を頭の回 角に応じて ij御すること により、 構成が 単になり、 大幅なメ モ リ の節約ができることが 述べられている。 また、 映像信号を伴う音響信号の再生について は、 述べられていなかった。
このよう に上述した従来のへッ ドホ ン再生方法、 立化再生方式 、 オーディ オ再生装 および音 M言号 ¾生装置は、 信号処理に大 容量のメ モ リを必¾と し、 ディ ジタル信号処理でなければ実施で きないにもかかわらず、 その具休的な信号処理、 実川化のための 具体的手段、 方法が示されていないので、 実用化するのが困難で あるという不都合があつた。
また、 従来のへッ ドホン？？生方法、 立体再生方式、 オーディ ォ 再生装置および音響信号再生装匿は、 任意の方向、 特に リ スナの 正面に再生音像を定位させることが難しいという不都合があつた また、 人間は、 視覚情報を ®にして音響信号を認識し、 この視 覚情報により音像の定位が影饗されるにもかかわらず、 従来のへ ッ ドホ ン再生方法、 立休再生方式、 オーディ オ再生装置および音 響信号再生装匿は、 音響信号のみを対象にしていて、 映像信号を 伴う音響信号の再生については何も述べれていないという不都合 があった。 発明の開示
本発明は、 かかる点に鑑みてなされたものであり、 映像に対応 するように音響信号の再生音像の位置を定位させる映像信号及び 音響信号の再生装置の提供を第 1 の目的とする。
本発明は、 かかる点に鑑みてなされたものであり、 仮想音源に 対応するように音響信号の再生音像の位置を定位させる音響信号 の再生装置の KH共を第 2の目的とする。
第 1 の発明の映像信号及び音響信号の再 装置は、 角度検出手 段からの角皮に対応した信号と検出手设からの出力信号とに基づ いて、 ァ ドレス信号生成手段によつて生成されたァ ドレス信号に より記憶手段のァ ドレスを指定することによって、 記憶手段に記 憶されたィ ンパルス レスポンスまたは制御信号を読み出し、 記惊 手段から読み出されたィ ンパルス レス ポ ンスまたは制御信号に S づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する 相対的移！ J及び聴取者の頭部の運動に対してリ アルタィ ムで础正 することによって、 映像信号再生手段により再生された映像に対 応する方向に複数の再生音像が定位するように信号源からの音響 信号を補正し、 映像信号再生手段により再生された映像に対応す る位置に複数の再生音像が定位するように、 制御手段で補正され た音響信号を再生することができる。
第 2の発明の映像信号及び音響信号の再生装置は、 検出手段は 、 信号源からの映像信号及び音^信号とともに出力される位置情 報を杣出する杣出手段を備え、 ί 出手段からの出力信号が制御手 段に供給されるものである。 これによれば、 位置情報を抽出する 杣出手段からの出力信号が制御手段に供給され、 予め映像信号及 び音響信号とともに信号源から供給された位置情報に基づいて、 了 ド レス信号生成手段によつて生成されたァ ド レス信号により記 憶手段のァ ドレスを指定することによって、 記 手段に記憶され たィ ンパルス レス ポ ンスまたは制御信号を読み出し、 記憶手段か ら読み出されたィ ンパルス レスポンスまたは制御信号に基づいて 音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的 移動及び聴取者の頭部の運動に対してリ アルタイ ムで祯正するこ とによって、 映像信号再生手段により信号源から供給された位置 情報に ¾づいて再生された映像に対応する方向に ¾数の再生音像 が定位するように信号源からの音響信号を袖正し、 映像信号再生 手段により再生された映像に対応する位置に複数の再生音像が定 位するように、 制御手段で補正された音 1H言号を再生することが できる。
3の発叨の映像信号及び音響信号の再生装置は、 検出手段は 、 聴取者の頭部に装着されて聴取者の映像信号再生手段に対する 相対的移動を検出する位置検出手 f殳を備え、 位置検出手段からの 検出信号が制御手段に供給されるものである。 これによれば、 聴 取者の映像信号再生手段に対する相対的移動を検出する位匿検出 手段からの検出信号が制御手段に供給され、 聴取者の映像信号再 生手段に対する相対的移動の検出信号に基づいて、 ァ ド レス信号 生成手段によつて生成された了 ドレス信号により記憶手段のァ ド レスを指定することによって、 記 1'意手段に記 I されたィ ンパルス レスポ ンスまたは制御信号を読み出し、 記憶芋段から み出され たイ ンパルス レスポ ンスまたは制御信号に ¾づいて音響信号を聴 取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取 者の頭部の運動に対してリ アルタ ィ ムで M正することによって、 映像信号再生手段により聴取者の映像信号再生手段に対する相対 的移動の検出信号に Sづいて再生された映像に対応する方向に複 数の再生音像が定位するように信号源からの音響信号を補正し、 映像信号再生手段により再生された映像に対応する位置に複数の 再生音像が定位するように、 制御手段で铺正された音！5信号を再 生することができる。
第 4の発明の映像信号及び音響信号の再生装置は、 位置検出手 段は、 音 M言号再生手段に設けられているものである。 これによ れば、 容易に聴取者の映像信号再生手段に対する相対的移動を検 出し、 映像信号再生手段により聴取者の映像信号再生手段に対す る相対的移動の検出信号に基づいて再生された映像に対応する方 向に複数の再生音像が定位するように信号源からの音響信号を補 正し、 映像信号再生手段により再生された映像に対 する位置に 複数の再生音像が定位するように、 制御手段で祯正された音響信 号を再生することができる。
m 5の発叨の映像信号及び音 言号の再生装置は、 位匿検出乎 段は、 少なく とも S準方向に対する聴取者の頭部の回転 1' ί報及び 基準位 Εに対する聴取者の頭部の接近または離隔の 1?ί報に Sづぃ て、 角度検出手段からの 情報の跑標を変更するようにしたも のである。 これによれば、 S準方向に対する聴取者の頭部の回転 情報及び S準位 i に対する聴取者の頭部の接近または離隔の情報 に基づいて、 角度検出手段からの ¾度情報の座標を変更し、 再生 された映像に対！ぉする方向に複数の再生音像が定位するように信 号源からの音響信号を補正し、 映像信号再生手段により再生され た映像に対応する位置に複数の^生音像が定位するように、 制御 手段で 正された音響信号を再生することができる。
6の発明の映像信号及び音響信号の再生装 Ξは、 位匿検出手 段は、 少なく と も S準方向に対する聴取者の頭部の回転情報及び 基準位置に対する接近または離隔の情報を、 角度検出手段からの 角度情報に付加することによつて角度検出手段からの角度情報を 変更するようにしたものである。 これによれば、 s準方向に対す る聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の 接近または離隔の情報を角度検出手段からの角度情報に付加する ことにより、 角度検出手段からの角度情報の座標を変更し、 再生 された映像に対応する方向に複数の再生音像が定位するように信 号源からの音響信号を補正し、 映像信号再生^段により再生され た映像に対応する位置に複数の再生音像が定位するように、 制御 手段で補正された音響信号を再生することができる。
第 7の発叨の映像信号及び '-響信号の再生装 ISは、 角度検出^ 段は、 リ セッ ト スイ ッチを Diiiえているとともに、 角度検出手段は リ セ ッ ト スイ ツチがォ ン操作されたときに聴取者が向いている方 向に基準方向が設定されるようにしたものである。 これによれば 、 角度検出^段はリ セ ッ ト ス ィ ッチがォ ン操作されたときに聴取 者が向いている方向に S準方向が設定され、 この基準方向に対す る聴取者の頭部の動きに対応して、 角度検出手设からの ½度に対 応した信号と検出 ]¾からの出力 号とに Sづいて、 ア ド レス信 号生成手段によつて生成されたア ド レス信号により記^手 i¾のァ ド レスを指定することによって、 記' Lfi手段に記 されたィ ンパル ス レスポンスまたは制御信号を^み出し、 記 tS手段から み出さ れたィ ンパルス レス ポ ンスまたは制御信号に sづいて音響信号を 聴取者の映像信号 ¾生手段の仮想音源に対する相対的移動及び聴 取者の頭部の運励に対して リ アルタイ ムで M正することによって
、 映像信号 生手段により再生された映像に対応する方向に複数 の再生音像が定位するように信号源からの音響信号を M正し、 映 像信号再生手 ]¾により 生された映像に対応する位置に ¾ (数の再 生音像が 位するように、 制御手段で補正された音響信号を再生 することができる。
m 8の発叨の映像信号及び音響信号の再生装置は、 角度検出手 段には、 聴取者が予め定められた基準方向に向いたときに、 その 方向を基準方向に設定するようにしたものである。 これによれば 、 角度検出手段は聴取者が予め定められた基準方向に向いたとき に、 その方向が基準方向に設定され、 この a準方向に対する聴取 者の頭部の動きに対応して、 角度検出手段からの角度に対応した 信号と検出手段からの出力信号とに基づいて、 ア ド レス信号生成 手段によって生成されたア ド レス信号により記惊乎段のァ ド レス を指定することによって、 記憶手段に記憶されたィ ンパルス レス ポ ンスまたは制御信号を読み出し、 記憶手段から読み出されたィ ンパルス レスポンスまたは制御信号に基づいて音響信号を聴取者 の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の 頭部の 動に対して リ アルタ イ ムで Μ正することによって、 映像 信号再生手段により再生された映像に対応する方向に複数の再生 音像が定位するように信号源からの音響信号を袖正し、 映像信号 再生手设により再生された映像に対応する位置に複数の再生音像 が定位するように、 制御手投で補正された音響信号を再生するこ とができる。
m 9の発明の映像信号及び昔 I信号の诃生 は、 音響信号 15 生手段は、 リ セッ ト スイ ツチを備え、 聴取者が音 ¾信- ¾再生手段 を装着したときに リ セッ トスィ ッチが操作されて、 角度検出手段 に映像信号再生手段の画面の正面方 を基準方向に設定されるも のである。 これによれば、 音響信号 S生手段は リ セッ ト スイ ッチ を備え、 聴取者が音響信号再生手段を装着したときに リ セッ ト ス ィ ツチが操作されて、 角度検出手段に映像信号再生手段の画面の 正面方向に基準方向が設定され、 この基準方向に対する聴取者の 頭部の iijきに対応して、 ¾度検出手段からの角度に対応した信号 と検出手段からの出力信号とに づいて、 了 ドレス信号生成手段 によって生成されたァ ド レス信号により記憶手段のァ ドレスを指 定することによって、 記憶手段に記 1:なされたィ ンパルス レスポン スまたは制御信号を読み出し、 記憶手段から読み出されたィ ンパ ルス レスポンスまたは制御信号に基づいて音 1M言号を聴取者の映 像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部 の運動に対して リ アルタイ ムで補正することによつて、 映像信号 再生手段により再生された映像に対応する方向に複数の再生音像 が定位するように信号源からの音響信号を i正し、 映像信号再生 手段により再生された映像に対応する位置に複数の再生音像が定 位するように、 制御手段で袖正された音響信号を再生することが できる。
第 1 0の発明の映像信号及び音響信号の再生装 は、 この装置 は、 更に映像信号再生手段の表示部の大きさに基づく信号をデ一 タとする入力手段を備え、 入力手段からの信号は、 ア ド レス信号 生成手段に供給され、 ア ド レス信号生成手段は、 ¾度検出手段か らの角度に対応した信号、 検出 -设からの出力信号及び入力手 ¾ によって入力されたデータに対応する了 ドレス信号を生成するも のである。 これによれば、 準方向に対する聴取者の頭部の動き に対応して、 角 検出手段からの 度に対応した信 ¾-と検出 3 投 からの出力信号とに Sづぃて、 ア ド レス信号生成乎段によって生
1 ϋ 成された角度検出手段からの角度に対応した信号、 検出手段から の出力信号及び入力手段によって入力されたデータに対応するァ ドレス信号により記 'ι:δ手段のァ ドレスを指定することによって、 記憶手段に記憶されたィ ンパルス レスポンスまたは制御信号を読 み出し、 記憶手段から読み出されたイ ンパルス レス ポ ンスまたは 制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想 音源に対する相対的移動及び聴取者の頭部の運動に対して リ アル タィ ムで^正することによって、 映像信号再生手段により再生さ れた映像 iこ対応する方向に複数の再生音像が定位するように信号 源からの音響信号を補正し、 映像信号再生手段により再生された 映像に対応する位置に複数の再生音像が定位するように、 制御手 段で補正された音響信号を再生することができる。
第 1 1 の発叨の映像信号及び音響信号の再生装置は、 角度検出 手段は、 聴取者の基準方向に対する上方及び下方の回転角度をあ わせて検出するとともに、 音響信号再生手段は、 角度検出手段に よつて検出された上下方向の回転角度にあわせて [i憶手投から読 み出されたィ ンパルス レスポ ンスまたは制御信号に sづいて制御 手段によって補正された音響信号を再生することにより、 映像信 号再生手段により再生された映像に対応する方向に任意の複数の 再生音像が定位するものである。 これによれぱ、 S準方向に対す る聴取者の頭部の動きに対応して、 角度検出手段からの聴取者の S準方向に対する上方及び下方の回転角度に対応した信号と検出 手段からの出力信号とに Sづぃて、 了 ドレス信号生成手段によつ て生成されたァ ドレス信号により記憶手段のァ ドレスを指定する ことによって、 記憶手段に記憶されたイ ンパルス レス ポ ンスまた は制御信号を読み出し、 記憶手段から読み出されたィ ンパルス レ ス ポ ンスまたは制御信号に基づいて音！?信号を聴取者の映像信号 再生 ϊ·段の仮想音源に対する相対的移動及び聴取者の頭部の遝動 に対してリ アルタ イ ムで補正することによって、 映像信号 生手 段により再生された映像に対応する方向に複数の； ΡΪ生音像が ^位 するように信号源からの音響信号を ili正し、 映像信号再生^设に より再生された映像に対応する位置に複数の再生音像が定位する ように、 制御手段で M正された音^信号を再生することができる 第 1 2の発明の映像信号及び音響信号の再生装匿は、 映像信号 再生手段は、 聴取者の頭部に装着可能であり、 聴取者の両眼に対 向して設けられ、 聴取者の両眼から所定距離離れた位置に再生映 像が投影されるものである。 これによれば、 角度検出乎段からの 角度に対応した信号に基づいて、 了 ドレス信号生成手段のァ ドレ ス信号により記 I 手段のァ ドレスを指定し、 記 段に記 1¾され たイ ンパルス レス ポ ンスまたは制御信号を読み出し、 音響信号を 制御手段においてィ ンパルス レス ポ ンスまたは制御信号により補 正し、 音響信号を聴取者の頭部運動に対して リ アルタィ ムで祯正 し、 音 言号再生手段により制御手段で ·Μ正した音 I信号を映像 信号再生手段の映像信号の 生により聴取者の左右 ϊ¾Ί から所定 距離だ ίナ離れた位置に投影された再生映像に対応する方向に複数 の再生音像が定位するように再生することができる。
第 1 3の発叨の映像信号及び音響信号の再生装匿は、 映像信号 再生手段は、 聴取者の頭部に装着される頭部装 体と、 頭部装着 体の聴取者の両眼に対応する位置に各々配される一対の ¾示部を 備えているものである。 これによれば、 映像信号再生^段は、 聴 取'者の左右両眼に対応する位置に一対の左表示部および右表示部 · を fするので、 左表示部および右表示部により、 聴取者の左右両 服から所定距離だけ離れた位 に^生映像を投影することができ る。
m 1 4の発叨の映像 ¾及び音^信号の再生 ^は、 映像信 再生手段は、 更に聴取者の ί¾限と一対の表示部との間に各々配さ れた一対の矩形状の非球 ffi]のレンズを備えているものである。 こ れによれば、 映像信号再生手¾は、 ft、取者の左右両眼に対応する 位置に矩形非球面の左右の接眼レンズを介して左表示部および右 表示部を有するので、 左表示部および右表示部に写る画像を拡大 して、 左表示部および右表示部の前方であって、 聴取者の左右両 眼から所定距離だけ離れた位置に再生映像を投影することができ 。
第 1 5の発明の映像信号及び音響信号の再生装 Sは、 映像信号 再生手段は、 聴取者の頭部に装着される頭部装着体と、 頭部装着 体の聴取者の両眼に対応する位置に各々配される一対の虚像式デ イ スプレイュニッ トを脇えているものである。 これによれば、 映 像信号再生手段は、 聴取者の左右両眼に対応する位置に一対の左 虚像式デイ スプレイュニッ トおよび右虚像式デイ スプレイュニッ トを有するので、 左虚像式ディ スプレイュニッ トおよび右虚像式 ディ スプレイュニッ ト により、 聴取者の左右両眼から所定距離だ け離れた位置に再生映像を投影することができる。
第 1 6の発明の音響信号の再生装置は、 角度検出手段からの角 度に対応した信号と検出手段からの出力信号とに基づいて、 ァ ド レス信号生成手段によって生成されたア ドレス信号により上記記 憶手段のァ ドレスを指定することによって、 記憶手段に記 1 され たィ ンパルス レス ポ ンスまたは制御信号を読み出し、 記憶手段か ら読み出されたィ ンパルス レス ポ ンスまたは制御信号に基づいて 音響信号を聴取者の仮想咅源の位置に対する相対的移動及び聴取 者の ΰϊΐ部の逑動に対して リ アルタ ィ ムで Μ正することによつて、 仮想音源の方向に複数の再生音像が定位するように信号源からの 音響信号を Μ正し、 仮想音源の方向に複数の 生音像が定位する ように、 制御手段で Μ正された音 信号を再生することができる 第 1 7の発明の音響信号の再生装置は、 検出手设は、 信号源か らの音響信号とともに出力される位置情報を杣出する抽出手段を 備え、 抽出手段からの出力信号が制御手段に供給されるものであ る。 これによれば、 位匿情報を抽出する拙出芋段からの出力信号 が制御手段に供給され、 予め映像信号及び音！？信号とともに信号 源から供給された位置情報に基づいて、 了 ド レス信号生成手段に よつて生成された了 ドレス信号により記憶手段のァ ドレスを指定 することによって、 記憶手段に記 tSされたィ ンパルス レスポ ンス または制御信号を読み出し、 記 1:β手段から読み出されたイ ンパル ス レスポンスまたは制御信号に Sづいて音 信号を聴取者の仮想 音源の位匿に対する相対的移励及び聴取者の頭部の運動に対して リ アルタイ ムで袖正することによって、 信号源から供給された位 置情報に基づいて仮想音源の方向に複数の再生音像が定位するよ うに信号源からの音響信号を袖正し、 仮想音源の方向に複数の再 生音像が定位するように、 制御手段で袖正された音響信号を再生 することができる。
1 8の発明の音響信号の再生装 ISは、 検出手投は、 聴取者の 頭部に装着されて聴取者の仮想音源の位置に対する相対的移動を 検出する位 iS検出手段を え、 位置検出手段からの検出信号が制 御手段に供給されるものである。 これによれば、 聴取者の仮想音 源の位 ϋに対する相対的移動を検出する位置検出手段からの検出 信号が制御手段に供給され、 聴取者の仮想音源の位置に対する相 対的移動の検出信号に Sづいて、 ァ ドレス信号生成手段によつて 生成された了 ド レス信号により記 1:β手段のァ ド レスを指定するこ とによって、 記 ΐδ ^段に記 tfiされたィ ンパルス レス ポ ンスまたは 制御信号を^み出し、 記 i 手段から読み出されたィ ンパルス レス ポ ンスまたは制御信号に sづいて音響信号を聴取 ¾の仮想音源の 位置に対する相対的移動及び聴取者の頭部の運動に対して リ アル タィ ムで M正することによって、 聴取者の仮想音源の位置に対す る相対的移動の検出信号に基づいて仮想音源の位置に対応する方 向に複数の再生音像が定位するように信号源からの音響信号を補 正し、 仮想音源の位置に対応する位匿に ¾数の再生音像が定位す るように、 制御手段で補正された音響信号を再生することができ る o
第 1 9の発明の音響信号の再生装置は、 位置検出手段は、 音響 信号再生手段に設けられているものである。 これによれば、 容易 に聴取者の仮想音源の位置に対する相対的移動を検出し、 仮想音 源の位置に対する相対的移動の検出信号に基づいて仮想音源の位 置に対応する方向に複数の再生音像が定位するように信号源から の音響信号を袖正し、 仮想音源に対応する位置に複数の再生音像 が定位するように、 制御手段で袖正された音響信号を再生するこ とができる。
m 2 0の発明の音響信号の再生装匿は、 位置検出手段は、 少な く とも基準方向に対する聴取者の頭部の回転情報及び S準位置に 対する聴取者の頭部の接近または離隔の情報に基づいて、 角度検 出手段からの角度情報の座標を変更するようにしたものである。 これによれば、 基準方向に対する聴取者の頭部の回転情報及び基 準位置に対する聴取者の頭部の接近または離隔の情報に ¾づいて 、 角度検出手段からの角度情報の座標を変更し、 仮想音源の位置 に対応する方向に複数の再生音像が定位するように信号源からの 音響信号を補正し、 仮想音源に対応する位置に複数の再生音像が 定位するように、 制御手段で袖正された音響信号を再生すること ができる。
1 の発叨の音響信号の 生装！:は、 位置検出 段は、 少な く とも基準方向に対する聴取者の頭部の回転 1' 報及び 準位^に 対する接近または離隔の情報を、 角度検出手段からの负度情報に 付加することによつて角度検出手段からの角度情報を変更するよ うにしたものである。 これによれば、 S準方向に対する聴取者の 頭部の回転情報及び S準位置に対する聴取者の頭部の接近または 離隔の I 報を角度検出手段からの角度 1 報に付加することにより 、 角度検出手段からの角度情報の座標を変更し、 仮想音源の位^ に対応する方向に複数の ϊ¾:生音像が定位するように信号源からの 音響信号を補正し、 仮想音源に対応する位置に 数の再.生音像が 定位するように、 ilill御手段で描正された音響信号を再生すること ができる。
第 2 2の究叨の音響信号の再生 G iaは、 ¾度検出手段は、 リ セ ッ ト スイ ッチを倫えているとともに、 ； ¾度検出手段はリ セ ッ ト ス ィ ッチがォ ン操作されたときに聴取者が向いている方向に a準方 向が設定されるようにしたものである。 これによれば、 角度検出 手段は リセッ ト スイ ツチがォ ン操作されたときに聴取者が向いて いる方向に s準方向が設定され、 この基準方向に対する聴取者の 頭部の動きに対応して、 ¾度検出手段からの角度に対応した信号 と検出手投からの出力信号とに sづいて、 了 ドレス信号生成手段 によつて生成された了 ドレス信号により記 i 手段のァ ドレスを指 定することによって、 記 tS手段に記 されたイ ンパルス レスポ ン スまたは制御信号を読み出し、 記惊手段から読み出されたィ ンパ ルス レスポ ンスまたは制御信号に基づいて音 信号を聴取者の仮 想音源の位 SIに対する相対的移動及び聴取者の ΗΠ部の運動に対し て リ アルタ ィ ムで Mi正することによって、 仮想音源の位匿に対応 する方向に ¾2数の再生音像が定位するように信号源からの音響信 号を ^正し、 仮想音源に対応する位 11に複数の再生音像が定位す るように、 制御手设で補正された咅響信号を W生することができ る。 第 2 3の発明の音響信号の再生装置は、 角度検出手段には、 聴 取者が予め定められた基準方向に向いたときに、 その方向を ¾準 方向に設定するようにしたものである。 これによれば、 ；¾度検出 手段は聴取者が予め定められた基準方向に向いたときに、 その方 向が基準方向に設定され、 この基準方向に対する聴取者の M部の 動きに対応して、 角度検出手段からの角度に対応した信号と検出 手段からの出力信号とに基づいて、 ア ド レス信号生成手段によつ て生成されたァ ド レス信号により記憶手段のァ ド レスを指定する ことによって、 記 t' 手段に記 'Ι',δされたィ ンパルス レス ポ ンスまた は制御信 を読み出し、 記憶手段から読み出されたイ ンパルス レ スポンスまたは制御信号に基づいて音響信号を聴取者の仮想音源 の位置に対する相対的移動及び聴取者の頭部の運勁に対して リ 了 ルタィ ムで補正することによつて、 仮想音源の位-匿に対応する方 向に複数の再生音像が定位するように信号源からの音響信号を袖 正し、 仮想音源に対応する位置に ¾r数の再生音像が定位するよう に、 制御手段で補正された音響信号を再生することができる。
% 2 4の発明の音響信号の再生装 Ξは、 音響信号 ¾ 手设は、 リ セッ ト スイ ツチを備え、 聴取者が音響信号再生竽段を装着した ときに リ セッ ト スイ ッチが操作されて、 免度検出芋投に仮 1音源 の位置の正面方向を基準方向に設定されるものである。 これによ れば、 音 ¾信号再生手段はリ セッ ト スイ ツチを備え、 聴取者が音 響信号再生手段を装着したときに リ セ ッ ト スイ ツチが操作されて 、 角度検出手段に仮想音源の位置の正面方向に基準方向が設定さ れ、 この S準方向に対する聴取者の頭部の動きに対応して、 角度 検出手段からの角度に対応した信号と検出手段からの出力信号と に づいて、 ァ ドレス信号生成手-段によつて生成されたァ ドレス 信号により記惚 设の了 ドレスを指定することによって、 記 ta手 段に記憶されたイ ンパルス レス ポ ンスまたは制御信号を^み出し 、 記憶手段から読み出されたィ ンパルス レスポ ンスまたは制御信 号に基づいて音響信号を聴取者の仮想音源の位置に対する相対的 移勖及び聴取者の頭部の運動に対してリ アルタィ ムで補正するこ とによつて、 仮想音源の位^に対応する方向に複数の再生音像が 定位するように信号源からの音響信号を補正し、 仮想音源の位置 に対応する位置に複数の再生音像が定位するように、 制御手段で fiii正された音響信号を再生することができる。
第 2 5の発明の音響信号の再生 置は、 角度検出手段は、 聴取 者の基準方向に対する上方及び下方の回転角度をあわせて検出す るとともに、 音響信号再生手段は、 ί¾度検出手段によって検出さ れた上下方向の回転角度にあわせて記憶手段から読み出されたィ ンパルス レスポンスまたは制御信号に越づいて制御手段によつて 袖正された音響信号を再生することにより、 仮想音源に対応する 方向に任葸の複数の再生音像が定位するものである。 これによれ ば、 基準方向に対する聴取者の頭邰の動きに対応して、 ¾度検出 手段からの聴取者の基準方向に対する上方及び下方の回転角度に 対応した信号と検出手段からの出力信号とに Sづいて、 ア ド レス 信号生成手段によつて生成されたァ ド レス信号により記憶手段の ァ ド レスを指定することによって、 記憶手段に記 tfiされたィ ンパ ルス レス ポ ンスまたは制御信号を読み出し、 記憶手段から読み出 されたイ ンパルス レスポ ンスまたは制御信号に ¾づいて音 I信号 を聴取者の仮想音源の位置に対する相対的移動及び聴取者の頭部 の遝動に対してリ アルタ イ ムで ϋ正することによって、 仮想音源 の位置に対応する方向に ¾数の再生音像が定位するように信号源 からの音！5信号を 正し、 仮想 I音源に対応する位 ίΗに複数の W生 音像が定位するように、 制御手段で補正された音響信号を再生す ることができる。
2 6の発明の映像^号及び音響信号の W生装^は、 ½度検出 手段からの聴取者の角度情報に δづいて、 記憶手段から選択的に 補正データを読み出して信号源からの音響信号を補正するととも に、 検出手段からの検出信号に基づいて角度検出手段からの聴取 者の角度情報に Sづいて記 IS乎段から^み出される補正データを 変更し、 映像信号再生手段により再生された映像に対応する位匿 に複数の再生音像が定位するように、 制御手役で補正された音響 信号を再生することができる。
m 2 7の発明の映像信号及び音響信号の再生装置は、 記憶手段 には、 聴取者の頭部の S準方向に対する仮想音源位置から聴取者 の頭部の動きに対応した両耳に至るィ ンパルス レス ポ ンスを測定 し、 イ ンパルス レス ポ ンスを記惚 9 し、 または聴取者が識別できる 角度 iに、 聴取者の頭部の基準方向に対する仮想音源位匿から聴 取者の両耳に至る音響信号の時間差及びレベル差を測定し、 測定 した結 ¾に基づいて信号源からの音響信号の時 R1]差及びレベル差 を表す制御信号が記憶されている。 これによれば、 角度検出手段 からの聴取者の: ¾度情報に基づいて、 記憶手段から選択的に制御 信号を読み出して信号源からの音響信号を補正するとともに、 検 出手段からの検出信号に ¾づいて; ¾度検出手段からの聴取者の角 度情報に越づいて記 手段から読み出される制御信号を変更し、 映像信号再生手段により再生された映像に対応する位置に複数の 再生音像が定位するように、 制御手段で袖正された音響信号を再 生することができる。
2 8の発明の映像信号及び音，信号の再生装置は、 この装匿 は、 更に記 手段に記憶されたィ ンパルス レスポンスまたは制御 号を読み出すために記 1:δ乎段に供給するァ ドレス信号を生成す る丁 ドレス信 生成乎段を倫えているものである。 これによれば
、 ½度検出手段 x、らの聴取者の ¾度 lit報に基づいて、 ア ド レス信 号生成竽段から記 t 手段にァ ド レス信 ¾を供給し、 記 手段から 選択的にィ ンパルス レス ポ ンスまたは制御信号を読み出して信号 源からの音 MS号を袖正するとともに、 検出手段からの検出信号 に基づいて角度検出手段からの聴収者の: ¾度 ^報に Sづいて記憶 手段から読み出されるィ ンパルス レスポンスまたは制御信号を変 31し、 映像信号 ¾生手段により再生された映像！こ対応する位 に 複数の再生音像が定位するように、 制御手段で Mi正された咅響信 号を 生することができる。
第 2 9の発叨の映像信号及び音響信号の ffl生 ^ iSは、 検出手设 は、 信号源からの映像信号及び音響信号とともに出力される位置 m報を抽出する拙出手 ί¾を ijiiiえ、 杣出手] ¾からの出力信号が ;iiU御 手段に供給されるものである。 これによれば、 角皮検出 ΐ段から の聴取者の角度情報に ¾づいて、 記 竽段から選択的に Μ正デー タを読み出して信 源からの音響信号を Μ正するとともに、 検出 手段からの信号源の映像信号及び音響信号とともに出力される位 置情報を抽出する拙出手段からの出力信号に基づいて免度検出手 段からの聴取者の角度情報に ®づいて記憶手段から読み出される 補正データを変更し、 映像信号 Κ生手段により再生された映像に 対応する位置に複数の再生音像が定位するように、 制御手段で補 正された音響信号を :生することができる。
3 ϋの発叨の映像信号及び音響信号の再生装 は、 検出手段 は、 聴取者の頭部に装着されて聴取者の映像信号再生手段に対す る相対的移動を検出する位 ' 検出手-殳を え、 位 検出 - 段から の検出信号が制御 -手 J¾に供給されるものである。 これによれば、 角度検出手段からの聴取者の角度情報に aづいて、 記 tな手段から 選択的に M正データを^み出して β号源からの音響信号を補正す るとともに、 検出手 からの聴取者の ^部に ;^されて聴取者の 映像信¾再^宇 Κに対する ¾J対的移動を検出する位 S検出 か らの検出信号に基づいて角度検出手设からの聴取者の^度怙報に 基づいて記憶手段から読み出される補正データを変更し、 映像信 号再生 ^段により再生された映像に対応する位匿に複数の W生音 像が定位するように、 制御手段で M正された音^信号を苒生する ことができる。
第 3 1 の発明の映像信号及び音響信号の再生装 ϋは、 位置検出 手段は、 音！5信号 生手段に設けられているものである。 これに よれば、 容易に聴取者の映像信号 W生手段に対する扣対的移動を 検出し、 角度検出竽段からの聴取者の角度情報に づいて、 記憶 手段から選択的に ιΐί正データを読み出して信号源からの音響信号 を袖正するとともに、 検出手 からの聴取者の u 部に装着されて
2
聴取者の映像信号再生手段に対す - 1 る祀対的移励を検出する位置検 出手段からの検出信号に δづ'いて ¾度検出手段からの 取者の角 度情報に Sづいて記憶手段から読み出される Μ正データを変更し 、 映像信号再生手段により再生された映像に対応する位置に^数 の再生音像が定位するように、 制御手段で補正された音響信号を 再生することができる。 図面の簡単な説叨
第 1 図はこの発明の映像信号及び音響信号の再生 置の一突施 例のブロ ッ ク図である。
第 2図はこの発明の映像信号及び音 II信号の: pj:生 置の一実施 例のディ ジタル角度検出器の構成を示す図である。
3図はこの発叨の映像信号及び音響信号の再^装置の一実施 例のアナ πグ角度検出器の構成を示す図である。
第 4図はこの発明の映像信号及び音 言号の再生装置のー实施 例のィ ンノ、。ルス レスポ ンスのテ一ブルデ一夕を示す図である。
5図はこの究叨の映像信号及び音 号の再生装 ISの一 施 例のィ ンパルス レス ポ ンスの測定を説明する図である。 6図はこの発明の映像信号及び音響信号の再生装 Elの一実施 例の制御データのテーブルデータを示す図である。
第 7図はこの発叨の映像信号及び音響信号の再生装置の他の実 施例のブ口 ッ ク図である。
m 8図はこの発叨の映像信号及び音響信号の再生装置の他の ¾ 施例のブロ ッ ク図である。
第 9図はこの発叨の映像信号及び音響信号の再生装 I の一実施 例のス ピーカ配匿のシ ミ ユ レーショ ンを示す図である。
m 1 0図はこの発叨の映像信号及び音響信号の？ ΐί生^ 1 の一突 施例の音 M言号および映像^号の収録および 生を示すプロ ッ ク 図である。
% 1 1 図はこの発叨の映像信号及び音響信号の再生装置の一実 施例の再生音像の位置を説明する図である。
第 1 2図はこの発明の映像信号及び音響信号の再生装置の他の 実施例のプロ ッ ク図である。
第 1 3図はこの発明の映像信号及び音響信 ¾の 15生装^の他の 実施例のプロ ッ ク図である。
第 1 4図はこの発明の映像信号及び音響信号の再生装置の他の 実施例のブロ ッ ク図である。
% 1 5図はこの発明の映像信号及び音響信号の ¾生 置の他の 実施例のプロ ッ ク図である。
m 1 6図はこの発叨の映像信号及び音響信号の 生装置の他の 実施例のブロ ッ ク図である。
1 7図はこの発明の炚像信号及び音 f信号の再生装置の他の 実施例のプロ ッ ク図である。
第 1 8図はこの発叨の映像 ¾及び音響信号の ¾生¾ ^の他の ¾'施例の虑像式ディ スプレイの励作 1Ι」Ί Ifを示す図である。
第 1 9図はこの発叨の映像信号及び音響信号の 生 ϋの他の 実施例の虚像式 7"イ スプレイ の外観を示す図である。
2 0図はこの発明の映像 β号及び音響信号の再生装置の他の 突施例のス ピー力の配置のシ ミ ュ レーショ ンを示す図である。
2 1 図はこの発叨の映像信号及び音響信号の再生装置の他の 実施例の 1 チ ャ ンネルモノ ラル再生用のス ピー力配； aのシ ミ ュ レ ー シ ョ ンを示す図である。
2 2図はこの発叨の映像信号及び音響信号の再生装匿の他の 実施例の 2 チ ヤ ンネルス テ レオ 生用のス ピーカ配置のシ ミ ユ レ
—ショ ンを示す図である。
m 2 3図はこの発明の映像信号及び音響信号の i生装置の他の 実施例の 3 チ ャ ンネル再生用のス ピー力配置のシ ミ ュ レー シ ョ ン を示す図である。
第 2 4図はこの発明の映像信号及び音響信号の再生装匿の他の 実施例の 4 チ ャ ンネル再生用のス ピーカ配置のシ ミ ユ レー シ ョ ン を示す図である。
II 2 5図はこの発叨の映像信号及び音響信号の W生装置の他の 実施例の 5 チ ャ ンネル再生用のス ピーカ配置のシ ミ ユ レー シ ョ ン を示す図である。
2 6図はこの発叨の映像信号及び昔響信 の ffi:生装 Eの他の 実施例の前方 5 チ ヤ ンネル、 後方 2 チ ャ ンネル再生用のス ピ一力 配置のシ ミ ュ レー シ ョ ンを示す図である。 究明を実施するための i¾の形態
以下本発叨に係る映像信号及び音響信号の再生装^の一実施例 について、 筇 1 図から第 1 1 図に従い詳細に説明する。
本発叨の実施例の映像信号及び音響信号の再生装^は、 罚:生音 像位！!情報を苻する映像信 及び ¾響信号を映像を見ながらへッ ドホ ンで再生する際に、 本 ¾ス ビーカで ί5生する ¾合に予め定め られた位置 ϋ]係に置かれるべきス ピー力から音が再生されるのと 同等の定位感、 音場感等を、 へッ ドホ ンで再生しても^られるよ うにしたものであり、 特に、 映像に対応する方向に、 再生音像位 情報に基づいて複数の再生音像が定'位するようにし、 しかも、 この再生音像の位 i£2情報の座^を変更するようにしたものである o
すなわち、 本発叨の実施例の映像信号及び音 信号の 生装置 は、 ステ レオ等で収音された多チ ャ ンネルであって、 収音時のマ ィ クの位置および 源の位置またはいずれか一方の位置を示す再 生音像位 S情報を有する映像信号及び音 1H言号を、 映像を βなが らへッ ドホンで再生する システム 4 に用いるものである。 特に各チ ヤ ンネルに記録あるいは伝送されるディ ジタル化された音響信号 をへッ ドホ ン で再生する際に、 ¾数チ ャ ンネルの再生音像を、 収音時のマイ クの位置および音源の位置またはいずれか一方の位 置を示す再生音像位匿 It報に基づいて映像に対応する位！;に定位 させるようにし、 しかも、 この再生音像の位置情報の鹿 βを変更 するようにしたものである。
m 1図において、 この発明の映像信号及び音 I "号の苒生装置 の例を示す。 なお、 こ こでは入力端子 6 0から映像信号及び音響 信号が入力され、 分離回路 6 1 で音響信号と映像信号とが分離さ れる。 映像 号は映像信号再生装置 6 2 に供給される。
符号 1 は映像を含むデイ ジタ ルオーディ オディ スク （例えば光 学ビデォディ スク） ゃディ ジタル衞 S放送等の多チャ ンネルのデ イ ジタ ルステ レオ信号源を示す。 符号 2 はアナログレコ ー ド、 ァ ナ πグ放送等のアナログステ レオ信号源を示す。 ここで、 分離 0 路 6 1 から供給される音響信 がディ ジタル音 ΙΗ 号であればデ ィ ジタルステ レチ信 1 に供給され、 アナ ηグ音 IN ¾であれ ばアナ uグステ レオ信号源 2 に供 される。 ディ ジタルステ レオ 信号源 1 およびアナロ グステレオ信号源 2 は、 供給される音響信 号からそれぞれ L， R 2 チ ヤ ンネルのディ ジタ ル音響信号および アナ口グ音響信号に分離するか、 または 4〜 7 チヤ ンネルのディ ジタル音響信号および了ナログ音響信号を生成する。
ディ ジタルステレオ信号源 1 およびアナログステレオ信号源 2 から供給されるディ ジタル音響信号および了ナログ^響信号は、 いずれも再生音像位置情報を有する映像信号から分離されたもの である。 映像信号は収音時のマイ クの位置および音源の位置また はいずれか一方の位 を示す: ΡΪ生音像位 情報を有するものであ る。 符号 3 はこれらアナロ グ音響信号をディ ジタ ル音響信号に変 換するための A Z D変換器である。
このような、 収音時のマイ クの位置および音源の位置またはい ずれか一方の位匿を示す再生音像位 ϋ情報を有する音響信号を生 成する手段と しては、 例えば、 本出願人と同一出願人および同一 発明者による平成 3年 1 1 月 2 6 曰特許出願の 「収録方式および 再生方式」 がある。
その描成は、 ίϊί 1 ϋ図において示すように、 1 の音源 1 0 0 に対してこの音を収音するマイ ク ロ ホ ン 1 ϋ 4 と、 マイ ク ロ ホ ン 1 0 4 の位置および第 1 の音源 1 0 0 の音源位 !2またはいずれか 一方の位置を示す位置情報検出装置 1 0 3を有する。'また、 第 2 の音源 1 ϋ i に対してこの音を収音するマイ ク σ ホ ン 1 0 6 と、 マイ ク ロ ホ ン 1 0 6 の位 Εおよび第 の音源 1 0 1 の音源位置ま たはいずれか一方の位 iSを示す位 検出装^ 1 0 5を有する 。 これらの音響信号と対応する位;！信号とをそれぞれマルチプレ クサ 1 ϋ 9、 1 1 0 において多 IE化し、 それぞれ対応する音響 号と位 S信号と ^同じチ ヤ ネルに多 IE化記録する。 この の音 H 信号と位 ϋ信号との多 IE化は、 /¾]波数多 IE化、 時分剖多 31化、 あ るいはその他の多重化方式を用いても iiiい。 さ らに、 他の音源 1 0 2 に対してこの音を収音するマイ ク uホ ン 1 0 7、 1 0 8が設けられている。 マルチプレク サ 1 0 9、 1 1 0の出力およびマイ ク ロ ホ ン 1 0 Ί、 1 0 8の出力は、 収録信 号処现記憶装匿 1 1 2 に供給される。 この収^信号処迎記 装置 1 1 2 において、 音響信号と位置信号とが同じ音声チ ャ ンネルに マルチプレク シングされた状態で記録される。
また、 マイ ク ロ ホ ン 1 ◦ 4、 1 0 6、 1 0 7、 1 0 8による収 音と同時に、 カメ ラ 1 1 1 により音源 1 0 0、 1 0 1、 1 0 2を 含む風景を揾像し、 この映像信号も収録信号処理記憶装置 1 1 2 において記録する。 収録信号処理記憶装 S 1 1 2 に記 t された各 信号は、 編染装^ 1 1 3を介して、 音および映像再生装 ϋ ΐ 1 4 により再生される。 このように、 位置情報をも音響信号と対応し て同じチ ャ ンネルに多重化記録するので、 再生時において、 再生 装置により位置を考慮した再生が可能となり、 ^生画像内の音源 位置に実音像を生成する。 なお、 第 1 0図に示す音および映像再 生装置 1 1 4 は、 第 1 図に示す映像信号及び音響信号の再生装置 に対応する。
また、 第 1 0図において、 収音したい個々の、 例えば Ν個の音 源に対して独立にマイ ク ロホ ンを設 Ϊ!し、 そのマイ ク ロホ ンの内 、 位置 1 報が必要な Μ個 （ただし、 Ν > Μとする。 ） のマイ ク ロ ホ ンの位置情報を、 音声信号チ ャ ンネルとは独立のチ ヤ ンネルに 同時出力するように しても良い。
また、 この場合の位置' Γ ί報は、 絶対位 ΪΕ情報であっても、 ある いは、 例えば、 音 ¾における予め定めた a準 i ,に対する祀対位 置情報であっても^い。 更に、 この位 情報は、 S ¾座 系では なく、 例えば、 極座標 ¾でも Hiい。
第 1 図において、 この Λ Z D変換器 3は多チ ヤ ンネルの ¾合に はチャ ンネル效だけ設けられる。 符号 は切替器であり、 デイ ジ タルで入力された信号もアナ口グで入力された信号も同等に、 か つ一定のサンプリ ング周波数および量子化ビッ ト数で表されるデ ィ ジタル信号と して扱われる。 こ こでは、 2 チ ャ ンネルの切り替 えのみを示したが、 多チヤ ンネルの -合にも同様にチヤ ンネル数 だけ設けられる。
これらのディ ジタル信号列のうち左のディ ジタル信号 Lは、 畳 み込み積分器 5 に供給される。 こ こでは、 畳み込み積分器 5 に付 厲するメ モ リ 6 には、 リ スナ 2 3の現在頭部が向いている方向の 、 頭部の基準方向に対する、 仮想音源位置から両耳に至る一定の サ ンプ リ ング周波数および量子化ビ ッ ト数で表されるディ ジタ ル 記録された一組のィ ンパルス レス ポ ンスが記憶されている。 ディ ジタル信号列は、 畳み込み積分器 5 において、 このメ モ リ 6より 読み出されたィ ンパルス レスポ ンス と リ アルタ イ ムで畳み込み積 分される。 また、 ^み込み稻分器 7およびメ モ リ 8 は右のディ ジ タル信号 Rのク ロ ス ト ーク成分を供給する。
上記と同様に右のディ ジタ ル信 ¾ Rは、 畳み込み ¾分器 1 1 に 供給される。 こ こでは、 ； み込み^分器 1 1 に付厲するメ モ リ 1 2 には、 リ スナ 2 3の現在頭部が向いている方向の、 頭部の基準 方向に対する、 仮想音源位置から両耳に至る一定のサンプリ ング m波数および S子化ビッ ト数で表されるディ ジタル記！ ¾されたー 組のィ ンパルス レスポンスが記 ISされている。 ディ ジタル信号列 は、 畳み込み ffi分器 1 1 において、 このメ モ リ 1 2より読み出さ れたィ ンパルス レス ポ ンス と リ アルタ イ 人で畳み込み ¾ 分される Ό また、 Sみ込み 分器 9およびメ モ リ 1 ϋ は左のディ ジタ ル信 号 Lのク π ス ト ー ク成分を供給する。
また、 畳み込み ¾分器 7 、 メ モ リ 8、 畳み込み ^分^ 1 1 、 メ モ リ 1 2 においても上述と同様にィ ンパルス レス ポ ンス と :！み込 み ¾分が行なわれる。 このように、 畳み込み «分器 5、 7、 9、 1 1 、 メ モ リ G、 8、 1 0、 1 2 においてイ ンノ、。ルス レスポ ンス と畳み込み積分が行なわれたディ ジタ ル信号列は、 加 ί 器 1 5、 1 6 にそれぞれ供給される。 加算器 1 5、 1 6で加^された 2チ ャ ンネルのディ ジタル信号は i正回路 1 7、 1 8 により、 川いる 音源およびへッ ドホ ン固有の特性等を除く ように補正され、 D Z A変換器 1 9、 2 ()でアナ πグ信号に変換され、 力増幅器 2 1 、 2 2で増幅された後に、 へッ ドホ ン 2 4 に供給される。
上例では、 メ モ リ 6、 8、 1 0、 1 2 にイ ンパルス レスポ ンス が記憶されている例を示したが、 7図に示すように構成しても 良い。 なお、 こ こでは音響信号の処理のみを示すが、 映像信号の 処理は第 1 図に示したものと同^であるので、 その説明を省略す る。 つま り、 iSみ込み積分器 5、 7、 9、 1 1 に付 Eするメ モ リ 6、 8、 1 0、 1 2 に、 K準方向に対して固定された頭部の、 仮 想音源位 ϋから両耳に至る一対のディ ジタル記玆されたイ ンパル ス レス ポ ンスを ^ t' させる。 ディ ジタ ル信号列はこのィ ンパルス レスポ ンス と リ アルタイ 厶で: gみ込み ¾分される。 メ モ リ 3 5 に は、 頭部の 準方向に対する仮想音源位 ©から ¾ ΙΠこ至る の時 ΠΠ差、 レベル差を丧す制御信号を記憶させる。
そして、 この gみ込み稻分された各チヤ ンネルのディ ジタ ル信 号の各々に対して、 更に検出された S準方向に対する頭部運動を 、 一定単位 ¾度毎あるいは予め定められた角度 ·に、 方 |ή]を含む 大きさを表すデイ ジタ ルア ドレス 号に変換し、 このア ド レス信 号により予めメ モ リ 3 5 に記^された制御信号を読みだし、 制御 装置 5 0、 5 1 、 5 2、 5 3において、 リ アルタ イ ムで Μ正し、 変更するようにして、 その結 ¾を加^ S 1 5、 1 [； に供給するよ うにしても い。
また、 ¾ 8図に示すように、 このィ ンパルス レス ポ ンス と リ 了 ルタイ ムで： ^み込み ¾分されたディ ジタル信号列を 1 ^ 1 5、 1 6 に供給し、 加算器 1 5、 1 6からの 2 チ ャ ンネルのディ ジタ ル信号に対して、 更に検出された S準方向に対する頭部運動を、 一定単位角度 ¾あるいは予め定められた角度 ίに、 方向を含む大 きさを表すディ ジタルア ド レス信号に変換し、 このア ド レス信号 により予めメ モ リ 3 5 に記 tSされた !]御信号を読みだし、 制御装 置 5 4、 5 6 において、 リ アルタ イ ムで補正し、 変 11 するように しても良い。 なお、 こ こでも音響信号の処理のみを示すが、 映像 信号の処理は第 1図に示したものと同様であるので、 その説明を 省略する。
こ こで、 笫 7図及び笾 8図において、 制御装 5 0、 5 1、 5 2、 5 3、 5 4、 5 6 と しては、 可変 S延 と可変レベル制御 器、 あるいは多バン ドに分割されたグラ フ ィ ッ クィ コ ライザ等の 周波数 w域^のレベル制御器との紐み合わせで 成することがで きる。 また、 メ モ リ 3 5 に記^されている情報は、 リ スナ 2 3の 頭部が向いている方向の、 頭部の甚準方向に対する、 仮想音源位 置から両耳に至る両耳 Rflの時 ί¾]差及びレベル差等を表すィ ンパル ス レスポ ンスでも^い。 この場合には、 上述の制御装置は、 I I R、 あるいは？1 I Rの可変デイ ジタ ルフ ィ ルタ ーで嵇成すれは'ェ い。 このようにして制御装置により、 空間1 報が与えられる。 第 1 図、 第 7図及び 8図において、 袖正回路 1 7、 1 8 によ り、 用いる音源及びへッ ドホ ンの固冇の特性が Mi正され、 かつ頭 部の動きに対して変化の与えられたディ ジタル信号は D Z A変換 器 1 9、 2 0でアナログ信号に変換され、 ^力増幅器 2 1、 2 2 で増幅された後に、 へッ ドホ ン 2 4 に供給される。
この ¾合、 /Πいる音源及びへッ ドホ ンの固 -の特性を i正する ^正回路 1 7、 1 8 は、 アナログ信号処理、 ディ ジタ ル信号処 ΪΠ のいずれでも J¾く 、 ワ イ ヤ レスタイ プのへッ ドホンの ¾合にはへ ッ ドホン本体內部に設けるようにしてもよい。 また、 この補正回 路 1 7、 1 8 は、 必ずしもへッ ドホ ン本体に設けなく とも良く、 例えば、 へッ ドホ ンのコ ー ド.に設けても良く、 装置本体とへッ ド ホンのコ一 ドとを接続するコネクタ一部以降のいずれに設けても 良い。 さ らに、 本体内部の制御装置以降に設けても]^い。
こ こで、 ディ ジタル角度検出器 2 8はリ スナ 2 3の頭部の動き を検出するものであり、 第 2図において、 ディ ジタ ル ½度検出器 2 8の詳細な構成が示されている。 第 2図では、 そのディ ジタル 角度検出器 2 8 と して地磁気の水平分力を利用する場合が示され ている。 笾 2図においては、 角度検出信号をディ ジタル信号と し て取り出す例が示されている。
3
まず、 基準方向に対する リ スナ ϋ 2 3の頭部運動を、 一定単位角 度毎あるいは、 予め定められた ½度毎に離散的情報と して取り出 す例と して、 ¾部中央位置にロータ リ 一エンコーダー 3 ϋ力く、 そ の入力軸が垂直となるように設けられていると共に、 その入力軸 に、 磁針 2 9が設けられている。 従って、 ロータ リ ーエンコ ーダ - 3 0からは、 磁針 2 9の示す南北方向を基準と して、 リ スナ 2 3の方向を合む頭の動きを示す出力が取り出される。 このロータ リ 一エ ンコーダー 3 0 はへッ ドホ ン 2 4のへッ ド ン ド 2 7 に取 り付けたが、 へッ ドバン ド 2 ？から独立した取り付け^置上に設 けても良い。
そして、 第 1 図において、 このディ ジタル ¾度検出器 2 8の口 一夕 リ 一エ ンコ ーダー 3 0の出力が検出回路 3 1 3 2 に供給さ れ、 検出回路 3 1 からは、 リ スナ 2 3が頭を時計方向に回したと きと、 反時計方向に回したときで、 「 0 」 または 「 丄 」 に変化す る方向信 ¾ S clが取り出され、 検出回路 3 2からは、 リ スナ 2 3 が頭の向きを変えたとき、 その変えた角度に比例した数のパルス が P a、 例えば、 2度変化する に 1つのパルス P aが出力され る。 そ して、 信号 S dが、 ア ッ プダウ ンカ ウ ンタ 3 3の力 ゥ ン ト方 向入力 U Z Dに供 ¾されると共に、 パルス P aが了ップダゥ ンカ ゥ ンタ 3 3のク ッ ク入力 （カ ウ ン ト入力） C Kに供給され、 そ のカ ウ ン ト出力がリ スナ '2 3の頭の向きと大きさを表すディ ジタ ル了 ド レス信号に変換され、 了 ド レス制御回路 3 4を通じてメ モ リ 6、 8、 1 0、 1 2 にア ド レス信号と して供給される。
そしてメ モ リ 6、 8、 1 0、 1 2 I人:！のテーブルの該当するア ド レスから、 予め、 メ モ リ 6、 8、 1 ϋ、 1 2 に記憶されている リ スナ 2 3の頭部の基準方向に対する仮想音源位置から リ スナ 2 3 の両耳に至るディ ジタ ル記 されたィ ンパルス レスポ ンスが み 出され、 同時に^み込み積分器 5、 7、 9、 1 1 において、 各チ ヤ ンネルのディ ジタ ル化された音 ;信号と このィ ンパルス レスポ ンスとの: み込み嵇分が行われ、 ¾在、 リ スナ 2 3の ϋΠ、部が向い ている方向の補正がリ アルタィ 厶で行われる。
一方、 符号 3 8 はアナログ角度検出器を示すものであり、 その 詳細な構成は筇 3図に示されている。 ί¾ 3図では、 角度検出出力 をアナ口グ信号と して取り出す例が示されている。 リ スナ 2 3の 頭部中央に C D Sゃフ ォ ト ダィ ォー ド等の光の強さにより抵抗値 が変化する受光素子からなる受光器 4 1 が取り付けられている。 この受光器 4 1 と対向して電球や発光ダイ ォ一 ド等の発光器 3 9 が設けられていて、 この発光器 3 9 により一定の強さの光を受光 器 4 1 に向けて照射するようになっている。
その際、 この発光器 3 9の投 ¾光の通路間に回転； ¾度により投 射光の透過度が変化するような可勖シャ ッ ター 4 0が設けられて おり、 この可動シャ ッ タ ー 4 ϋ は磁針 2 9 と共に回転するように なっている。 従って、 受光器 4 1 に一定の ¾2流を流すとき、 受光 器 4 1 の受光尜子両端の 圧は磁針 2 9の示す南北方向を S準と して、 リ スナ 2 3の方向を含む の動きを示すアナ口グ出力が取 り出される。 このアナログ角度検出器 3 8は、 へッ ドホ ン 2 4の へ ッ ドバン ド 2 7 に取り付けたが、 へ ッ ドバン ド 7から独立し た装置上に設けても J¾い。
第 1 図において、 アナ口グ角度検出器 3 8のアナ グ出力は ¾ M器 4 2で増幅された後に、 A Z D変換器 4 3 に加えられ、 この ディ ジタル出力は切替器 4 4を介してァ ドレス制 In]路 3 4 に供 給される。 ア ドレス制御回路 3 4では 方向に対する リ スナ 2
3の頭部運動をー 角度あるいは予め定められた ½度^の方向を む大きさを表すディ ジタルア ドレス信号を生成し、 メ モ リ 6、 8、 1 0、 1 2 にア ド レス信号と して供給される。
そ して、 '5 1図においては、 メ 2 モ リ 6、 8、 1 ()、 1 2内のテ 一ブルの該当するア ド レスから、 予めメ モ リ [； 、 8、 1 ϋ、 1 に記憶されている リ スナ 2 3の頭部の 準方向に対する仮姐音源 位置から リ スナ 2 3の両耳に至るディ ジタ ル記録されたィ ンパル ス レスポ ンスが^みだされ、 Sみ込み稻分器 5、 Ί、 9、 1 1 に より各チヤ ンネルのディ ジタル化された音響信号と置'み込み積分 され、 現在、 リ スナ 2 3の頭部が向いている方向の Μ正がリ ァル タィ ムで行なわれる。
また、 ^ 7図においては、 メ モ リ 3 5 内のテーブルの該当する ア ドレスから、 予めメ モ リ 3 5 に記 t' されている リ スナ 2 3の頭 部の s準方向に対する仮想音源位 iaから リ スナ 2 3の両： ITに至る ディ ジタ ル記 された ϊ¾耳 i¾]の時! 1 差 ¾びレベル差等を ¾す制御 信号が読みだされ、 畳み込み嵇分器 5、 7、 9、 1 1 および付屈 するメ モ リ 6、 8、 1 0、 1 2 によりイ ンパルス レスポ ンス との み込み ^分がおこなわれた各チ ヤ ンネルのディ ジタ ル化された 音響信号と、 制御 ^ 5 0、 5 1、 5 2、 5 3において、 現在、 リ スナ 2 3の 11部が向いている方向の M正がリ アルタ イ ムで行な われる。 ： ¾ 8図にお (/ゝては、 加 ,ϊ器 1 5、 1 6 により加 %%された 2チヤ ンネルのデイ ジタル音響信号と、 制御装置 5 4、 5 6 にお いて、 現在、 リ スナ 2 3の ΠΠ部が向いている方向の袖正がリ 了ル タ イ ムで行なわれる。 この場合、 制御信号は上述と同様である。 今、 第 4図にメ モ リ 6、 8、 1 0、 1 2 内のテープルデ一タを 示す。 すなわち^ 5図に示すように、 リ スナ 2 3の前方に左前方 及び右前方のス ピー力 4 5 L、 4 5 Rが配置されている場合、 こ の左および右のス ピーカ 4 5 L、 4 5 Rの設置位 2から、 リ スナ 2 3の両耳に至るィ ンパルス レス ポ ンスと して
数 1 h i t , 0 ) = \ / {2 π ) II L L ( ω , 0 ) - e x p ( j ω 1 ) d ω 数 2 h { t , 0 ) = I / {2 π ) S H L R (ω , <9 ) · e x p ( j ω t ) d ω 数 3 h R L ( t , 0 ) = 1 X ( 2 π ) S II R L (ω , 0 ) - c x P ( j ω t ) d ω 数 4 h ( t , 0 ) ^ I / {2 π ) S H R R ( ω , 0 ) - e x p ( j ω t ) d ω を考えるとき、 メ モ リ 6、 8、 1 0、 1 2 にはこれらを表すィ ン ノ、ルス レス ポ ンスがディ ジタ ル記録されている。
こ こで、 h m η ( ί ) は mス ピーカ位置から、 η耳に至るイ ンパ ルス レス ポ ンスであ り 、 II m η ( ω ) は mス ピーカ位 EHから、 n に 至る伝達！ ¾数であり、 ωは角周波数 2 7Γ Γ であり、 f は周波数で ¾>る。
—方、 ！K G図に、 メ モ リ 3 5 内のテーブルの制御信号の制御デ —タの一例を示す。 この制御デ一タは、 7図および ' 8図に示 した制御装置に供給されるものである。 すなわち、 メ モ リ 3 5 に 記^された制御信号のテーブルには、 両耳 の時 1¾]差 ： Δ T ( 0 ) 及び両耳 Fillのレベル差 ： △ L u ( 0 ) が記 1 Tされている （た だし、 I J = L L， L R , R L， R R , · · ♦ ) 。 これらの制御 信号は上述した制御装置 5 0〜 5 4、 5 6 に供給される。
これらの制御装置 5 0〜 5 4、 5 6 は可変遅延装置と可変レべ ル制御器、 あるいは多バン ドに分割されたグラ フ ィ ッ クィ コ ライ ザ等の周波数 w域 のレベル制御器との組み合わせで構成するこ とができる。 また、 メ モ リ 3 5 に 1;Gされている情報は、 リ スナ 2 3の頭部が向いている方向の、 頭 の ®準方向に対する、 仮 ¾ 音源位匿から両耳に至る両 If fi jの時 I出差及びレベル差等を表すィ ンパルス レス ポ ンスでも^い。 メ モ リ 3 5 に記 t ' される內容は、 制御装置 5 0 ~ 5 4、 5 6 に対応したデータ構造を有している。 この場合には、 上述の制御装置は、 I I R、 あるいは F I Rの可 変ディ ジタルフ ィ ルタ ーで構成すれば^い。
この場合の両耳 Hi]の時間差及び両 ¾「 のレベル差を表す制御信 号を測定する音源と してはス ピーカを用いてもよい。 また リ スナ 2 3の各耳の収音位置に閲しては、 外耳迫入り口から鼓膜位置ま での [¾]の何れの位置でもよい。
だだし、 この位置は、 後で述べる、 fflいるへッ ドホ ンの固有の 特性等を打ち消すための袖正特性を求める位置と等しいことが耍 求される。
このようなイ ンパルス レス ポ ンスを考えたとき、 角度 ： を ij¾ 位角度^に、 例えば 2 。 ずつ変化させたときのディ ジタル記録し たィ ンパルス レス ポ ンスがメ モ リ 3 Γ) のテーブルの 1 ¾地毎に Φ き込まれている。 この角度は、 リ スナ 2 3が頭 %を回転させたと きに、 左右両耳で頭部の回転した角度を識別できる角度 ¾ίにする また、 へッ ドホ ン 2 4のへッ ドバン ド 2 7上には、 映像信号再 生装置 6 2 のス ク リ ーンと リ スナ 2 3 との距離や角度等の相対的 な位置を検出する位置検出器 6 3が設けられている。 この位置検 出器 6 3 は、 例えば、 映像信号 TO生装置 6 2 のス ク リ ー ンからの 漏洩磁束を検出する三次元的に配された 3つの検出コ イ ルや、 速 度または加速度ビッ クァップ等を川いることができる。 また、 位 情報の検出は、 例えば、 甚準位置で校正された三次元の位匿検 出を行う ジ ャ イ ロ ス コ ープの出力を用いる方法、 ( G P S ) 等の衛星^波を用いる方法、 複数個の超音波発音源からの距離を 測定する方法を用いても良い。 3
位置検出器 6 3からの位 il検出 5信号は検出回路 ΰ に供給され る。 検出回路 6 4 は位置検出器 ΰ 3からの位匿検出信号に Sづぃ て、 ア ド レス制御回路 3 4 のァ ド レスを切り替える制御信号を切 替器 3 6 に供給する。 また、 映像信号 ΡΪ生装置 6 2のス ク リ ー ン の画面サィ ズに基づく切り替え信号も入力端子 6 5から切替器 3 6 に供給される。
上述したテーブルは、 メ モ リ 3 5 に対して例えば 3組設けられ ると共に、 その組45に、 映像信号再生装置 6 2 のス ク リ ー ンと リ スナ 2 3 との距離や; ¾度等の ¾対的な位匿、 また映像信号 ΡΪ生装 置 6 2のスク リ ーンの画面サイ ズ等に対応してデータの値が異な るようになされている。 そ して、 その 3組のテーブルのうちの最 適な 1つのテープルが、 ア ド レス制御回路 3 4の切替器 3 Gの切 り替えによるア ド レスの切り替えに従って選択される。
なお第 1 図、 ¾ 7図および 8図において、 符号 3 7 はセ ンタ 一 リ セ ッ ト スィ ッ チであり、 これをオ ン したとき、 ア ッ プダゥ ン カ ウ ンタ 3 3 の値は "オ ール 0 " に リ セ ッ ト され、 このときメ モ リ ΰ、 8、 1 0、 1 2、 3 5 のテーブルは （9 = 0 のア ド レスが選 択される。 つま り、 このセ ンタ ー リ セ ッ ト ス ィ ッ チ 3 7 がォ ンさ れると、 リ スナ 2 3が現在向いている方向が音源の正面方向とさ れる。
この実施例の映像信号及び音 5信号の再生装 ϋはこのように構 成され、 以下のような動作をする。 入力端子 6 0から映像信号及 び音響信号が入力され、 分離回路 6 1 で音響信号と映像信号とが 分離される。 映像信号は映像信号再生装置 6 2 に供給される。 分 離回路 6 1 で分 された音響信号がディ ジタル音響信号であれば ディ ジタ ルステ レオ信号源 1 に供給され、 了ナ Γ グ昔響信号であ ればアナ口グステレオ信号源 2 に供給される。 多チャ ンネルディ ジタ ルステ レオ信号源 1 からのディ ジタルオーディ ォ信号、 ある いは多チ ヤ ンネルアナログステ レォ信号源 2 に入力されたアナ口 グ才一ディ ォ信号を A Z D変換器 3 によりディ ジタル ·ί3" ¾に変換 した各チ ヤ ンネルのオーディ オ信号が、 切替器 4で選択される。 この ¾合、 ディ ジタルオーディ 才信号およびアナ口グ才一ディ ォ信号は、 それぞれ映像信号から分離された音！!信号である。 ま た、 音響信号は収音時のマイ クの位置および音源の位匿または 、 ずれか一方の位 iSを示す再生音像位 ^情報を有する。 こ こで、 第 1 図の場合は、 ディ ジタ ル信号列は、 畳み込み ¾分器 5、 7、 9 、 1 1 において、 メ モ リ G、 8、 1 ϋ、 1 2より ^み出されたィ ンパルス レスポ ンスと リ アルタ イ ムで畳み込み積分され、 加算器 1 5、 1 6 に供給される。 以下、 第 7図、 第 8図においても同様 とする。
第 7図の i 合は、 Sみ込み 分器 5、 7、 9、 1 1 、 メ モ リ 6 、 8、 1 0、 1 2 により予めイ ンパルス レスポ ンスとの Sみ込み 種分を行なった各チ ヤ ンネルのディ ジタル化された音響信号は、 制御装匿 5 0、 5 1、 5 2、 5 3 において、 メ モ リ 3 5より ^み 出された制御信- により M正され、 変更され、 加^器 1 5 . 1 6 に供給される。 8図の場合は、 加算器 1 5、 1 6からの 2 チ ャ ンネルのディ ジタル信号は制御装置 5 4、 5 6 において、 メ モ リ 3 5 より読み 出された制御信号により祯正され、 変更される。 この 2 チ ャ ンネ ルのディ ジタル信号は D Z A変換器 1 9、 2 0でアナ口グ信号に 変換され、 ¾カ増幅器 2 1、 2 2で増幅された後に、 へッ ドホ ン 2 4 に供給される。
このようにしてへッ ドホン 2 4を装着した リ スナ 2 3 は音響信 号を聴取することができる。 そして、 ディ ジタル角度検出器 2 8 およびアナ口グ^度検出器 3 8においてリ スナ 2 3の S準方向に 対する頭部運動を一定角度あるいは予め定められた角度^に検出 し、 了 ド レス制御回路 3 4 において方向を含む大きさを表すディ ジタ ルァ ドレス信号に変換する。
このァ ド レス信号により予めメ モ リ 3 5 に-記 tなされている頭部 の S準方向に対する仮想音源位置から両耳に至るディ ジタ ル記録 されたイ ンパレス レスポンスまたは制御信号を読み出す。 畳み込 み積分器 5、 Ί 9、 1 1 、 メ モ リ 6、 8、 1 0、 1 2または制 御装置 5 0、 5 1 、 5 2、 5 3、 5 4、 5 6 において、 このイ ン ノ、。レス レスポ ンスまたは制御信号と音響信号とをリ アルタ イ ムで 補正し変更する。
この畳み込み積分器 5、 7、 9、 1 1 、 メ モ リ 6、 8、 1 0、 1 2または制御装置 5 0、 5 1、 5 2、 5 3、 5 4、 5 6、 加 ίϊ 器 1 5、 1 6 により、 音場と しての空間情報を持った両耳への 2 チ ャ ンネルのディ ジタル信号に変換され、 補正回路 1 7、 1 8に より、 用いる音源及びへッ ドホンの特性等が袖正され、 電力増幅 器 2 1、 2 2で電力増幅された後、 へッ ドホ ン 2 4 に供 される 。 これにより、 あたかもその仮想音源位置に置かれたス ピーカか ら再生音が！] i]こえるような再生効 ¾を突現することができるもの である。 上例では特に、 映像信号再生装置 6 2のスク リ ーンと リ スナ 2 3 との距離や角度等の相対的な位置を検出する位置検出器 6 3か らの位置検出信号が検出回路 ΰ 4 に供給される。 検出回路 6 4 は 位置検出器 6 3からの位置検出信号に Sづいて、 ア ド レス制御回 路 3 4のア ド レスを切り替える制御信号を切替器 3 6 に供給する 。 また、 映像信 ¾再生装置 6 2 のス ク リ ー ンの画面サイ ズに ®づ く切り替え信号も入力端子 6 5から切替器 3 6 に供給される。 上述したテーブルは、 メ モ リ 3 5 に対して例えば 3組設けられ ると共に、 その；;;; ί に、 映像信号再生装置 G 2のス ク リ ー ンと リ スナ 2 3 との距離や角度等の相対的な位置、 また映像信号再生^ 置 G 2 のス ク リ ーンの画面サィ ズ等に対応してデータの値が異な るようになされている。 そして、 その 3組のテーブルのうちの最 適な 1つのテ一ブルが、 了 ドレス制御回路 3 の切替器 3 6の切 り替えによるァ ドレスの切り替えに従って選択される。
これにより、 映像信号再生装置 6 2 のス ク リ ー ンと リ スナ 2 3 との距離や角度等の相対的な位隠に対応して、 ァ ド レス制御回路 3 4のア ド レスが切り替えられ、 S適なテ一ブルが選択され、 再 生音像の位匿を例えば映像信号再生装匿 6 2 のス ク リ ーン上にお ける収音時のマイ クの位置および音源の位置またはいずれか一方 の位 [ に対応させることができる。
また映像信号再生装置 G 2 のス ク リ ーンの画面サィ ズに対応し て、 ア ド レス制御回路 3 4のア ド レスが切り替えられ、 適なテ 一ブルが選択され、 再生 ΪΪ像の位置を例えば映像信号再生装置 G 2の画面サイ ズが切り替えられたときにも、 切り替えられた画而 サイ ズのス ク リ ー ン上における収音時のマイ クの位 :および音源 の位 W.またはいずれか一方の位 ISに対応させることができる。 上例では、 位 i 検出器 G 3からの位匿1' 報によりア ドレス制御 回路 3 4の切替器 3 6を切り替え、 メ モ リ 内のテ一ブルを読み出 す相対ァ ドレスを変えることにより、 音場位置を動かすようにす る例を示したが、 メ モ リ 内のテーブルを予め複数個用意しておき
、 位置検出器 6 3からの位置情報により位置情報が変更されたと きのィ ンパルス レス ポ ンスまたは制御信号を読み出し、 時 !]と レ ベルを変えることにより、 あたかも位置が変わつたように リ スナ 2 3 に認識させるようにしても い。
上例の第 1図、 ί!ί 7図および 8図ではリ スナ 2 3が単数の場 合のみを示したが、 リ スナ 2 3が複数人いる場合には、 第 7図の 畳み込み演^器 5、 7、 9、 1 1以降を端子により分岐し、 また は、 第 8図の加算器 1 5、 1 ΰ以降を端子により分岐するように しても良い。
この場合、 畳み込み積分器 5、 7、 9、 1 1 、 メ モ リ 6、 8、 1 0、 1 2 において空 [¾]情報を持ったディ ジタル信号に補正され た後で、 個々のリ スナの頭部回転に応じて信号処理を行えば良く 、 高価な A Z D変換器 3や:！み込み稻分器 5、 7、 9、 1 1 を人 数分 fflいる必要がない。
これにより、 へッ ドホ ン 2 4、 ディ ジタル角度検出器 2 8、 お よび角度検出の信号処理のための検出回路 3 1、 3 2、 アップダ ゥ ンカ ウ ンタ 3 3 、 ア ド レス制御回路 3 4 、 メ モ リ 3 5、 制御装 置 5 0 〜 ： 3、 5 4、 5 6をリ スナの数だけ用意すれば良く、 安 価に複数のリ スナに対して同時に音響信号を供給することができ る。
そして、 この場合、 リ スナ 2 3が頭を動かすと、 ディ ジタル角 度検出器 2 8またはアナ口グ; ¾度検出器 3 8 により、 その向きに 従つたディ ジタル信号、 またはアナ口グ信号が得られ、 これによ りその信号はリ スナ 2 3の ¾の向きに従った値となる。 この ¾が ア ド レス制御回路 3 4を迎じてメ モ リ 3 5 にア ド レス信号と して 供給される。 メ モ リ 3 5からは、 4図のテーブルに対応したデ一タのうち 、 リ スナ 2 3の頭の向きに対応した頭部の ¾準方向に対する仮想 音 位置から両耳に至るディ ジタル記録されたィ ンパレス レスポ ンスまたは笫 6図に示した i¾耳「 の時^差及び両耳問のレベル差 を表す制御信号が取りだされ、 このデータが:！み込み積分器 5、 7、 9、 1 1 、 メ モ リ 6、 8、 1 0、 1 2または制御装 ϋ 5 0、 5 1、 5 2、 5 3、 5 4、 5 6 に供給される。
アナログ ¾度検出器 3 8を /|]いた場合では、 この出力が増幅器 4 2で増幅された後、 A / D変換器 3 3により リ スナ 2 3の頭の 向きに従つたディ ジタル信号に変換され、 了 ドレス制御回路 3 4 を迎じてメ モ リ 3 5 にア ドレス信号と して供給され、 ディ ジタル ½度 ½出器 2 8の ¾合と同 ¾にして リ スナ 2 3の頭の向きに対応 した頭部の ¾準方向に対する仮想音源位匿から両 Πこ至るディ ジ タ ル記録されたィ ンパレス レス ポ ンスまたは第 6図に示した両耳 Oilの時 RI]差及び両耳間のレベル差を表す制御信号が取りだされ、 このデータが畳み込み積分器 5、 Ί、 9、 1 1 、 メ モ リ 6、 8、 1 ϋ、 1 2 または制御装 IS: 5 0、 5 1、 5 2、 5 3、 5 4、 5 6 に供給される。
こ こで、 袖正回路 1 7、 1 8は、 音源、 音 ¾および用いるへッ ドホン特有の袖正特性のいずれか一つまたは複数の組み合わせ、 またはすベてを 'するものである。 従って、 これらの袖正を含む ディ ジタル信 - 処现を一度で実行するので、 リ アルタイ ムで信号 処迎をすることができる。
このようにして、 へッ ドホ ン 2 4 に供給されるォ一ディ 才信号 L， Rは、 リ スナ 2 3の頭の向きに対応した ϊΤΐ部の ¾準方向に対 する仮想音源位^から両耳に至るディ ジタ ル記 されたィ ンパレ ス レス ポ ンスまたは両耳 |¾]の ¾及び両耳 R1Jのレベル差を表す 制御信号との拖正が行なわれれるので、 ϋ数個のス ピー力が仮想 音源位置に置かれてス ピー力で再生しているような音場感を得る ことが出来る。
更にメ モ リ 3 5のテーブルにディ ジタル記録された両耳問の時 問差及び両耳間のレベル差を表す制御信号が取りだされ、 このデ —タが畳み込み積分器 5、 Ί 9、 1 1 および.メ モ リ 6、 8、 1 ◦、 1 2 により予め畳み込まれたディ ジタ ル信号に対して、 制御 装置 5 0、 5 1、 5 2、 5 3で補正するように、 純電子的に供給 されるので、 リ スナ 2 3の頭の向きに対するォ一ディ ォ信号の特 性の変化に遅れを生じることがなく、 不自然さを生じることはな い。
なおこの時、 残響回路 1 3 . 1 による残響信号もへッ ドホ ン 2 4 に供給されるので、 リ スニ ングルームやコ ンサー トホ一ルに おける広がり感が付加され、 優れたステ レオ音場感を^ることが できる。
また、 上例では、 へッ ドホ ン 2 4 に信号線を介して 接接続す る例を示したが、 第 7図の畳み込み浪算器 5、 7 . 9 . 1 1 以降 に変調器および送信機を設け、 へッ ドホ ン 2 4側に受信機および 変調器を設け、 受信機および変調器により受信し、 または、 第 8 図の加 ίϊ器 1 5、 1 6以降に変調器および送信機を設け、 ヘッ ド ホ ン 2 4側に受信機および変調器を設け、 受信機および変調器に より受信して、 ワイヤレスで再生するようにしても良い。
更に、 角度 ^の変化に対する リ スナ 2 の頭部の S準方向に対 する仮想音源位置から両耳に至るディ ジタル記録された両耳間の 時間差及び両^ ΠίΙのレベル差を表す制御信号の変化 fiを、 テーブ ルにより標準値より も大き く、 あるいは小さ く なるようにしてお く ことにより、 リ スナ 2 3の頭の向きに対する音像の位置の変化 量が異なるので、 これにより リ スナ 2 3から音像までの距離 な どを変更したり、 画而サイ ズに対応することが出来る。 また、 残響回路 1 3、 1 4 による残響信号を付加していると共 に、 この残響信号はホールの壁などによる反射音や残響音の様に 聞こえるので、 あたかも有名なコ ンサー トホ一ルで音栾を！ ¾いて いるかの様な臨場感を得ることが出来る。
第 1 1 図において 生音像の位置を示す。 第 1 ϋ図において示 した位置情報検出装置 1 0 3、 1 ϋ 5 によるマイ ク位置情報およ び音源位置情報により音像の指向性が制御され、 対応する音が Τ Vモニタ 1 1 5の表示部と しての画面 1 1 6 に再生された被5了-休 1 1 7、 1 1 8、 1 1 9 の各位置にこの被写体 1 1 7、 1 1 8、 1 1 9 に対応す 各音源を指向するように方向制御される。 これ により、 Τ Vモニタ 1 1 5の画面 1 1 6の音源位 Εに対応する位 置のビ一ムが指向した位置に実音像位匿が規定'され、 Τ Vモニタ 1 1 5の画 iffi l 1 6 に表示された音源の画像位置からあたかもそ の音が発するように、 T Vモニタ i 1 5 において实音像を形成す る こ とができ る。
このとき、 第 9図に示すように、 例えば、 へッ ドホ ン 2 4の内 側に位置情報変更器 9 3を設け、 へッ ドホ ン 2 4をリ スナ 2 3が 装着すると、 スィ ッ チがオ ンになり、 リ スナ 2 3が、 S準方向に 対して回転し、 または基準位 [Sに対して近づいたり離れたりする と、 これに伴い、 第 1 0図において示した位置情報検出装置 1 0 3、 1 0 5 によるマイ ク位置情報および音源位 Ξ情報の座標を変 更することができる。 つまり、 第 1 1 図において、 T Vモニタ 1 1 5の画面 1 1 6の変更された音源位置に対応する位置のビーム が指向した位置に実音像位置が規定され、 T Vモニタ 1 1 Γ)の画 面 1 1 6 に表示された変更された音源の画像位 からあたかもそ の音が発するように、 T Vモニタ 1 1 5 において荬苦像を形成す ることができる。
こ こで、 笫 9図および第 1 1 図において示した、 へッ ドホン 2 4の内側に設けられた位置情報変更器 9 3は、 1図、 笫 7図お よび 8図において示した位置検出器 6 3および検出回路 6 4に 対応するものである。 また、 笫 9図おょび笫 1 1図において示し た Τ Vモニタ 9 2、 1 1 5は、 第 1図、 第 7図および笫 8図にお いて示した映像信号再生装置 G 2に対応するものである。
上述において、 Κ準方向および基準位置は Τ Vモニタ 9 2に対 応させても良く、 任怠に変更しても良い。 この位置怙報変更器 9 3は、 簡単な入力 、 例えばバソ コ ンでも 1¾い。
また、 位置 1 報変 92器 9 3は、 |g 1 ()図において示した位 ίΞ情 報検出装 S I 0 、 1 ϋ 5によるマ イ ク位置情報および音源位置 情報の座標のうちの特定の一部を変更して、 変更した位置情報を 元の位置情報に付加するようにしても^い。
上例によれば、 角^検出手^と してのディ ジタル¾度検出器 2 8およびアナ口グ角度検出器 3 8からの角度に対応した信号に基 づいて、 ア ド レス信号変換手段と してのァ ド レス制御回路 3 4の ア ド レス 号により記憶手段と してのメ モ リ 6、 8、 1 0、 1 2 またはメ モ リ 3 5のア ド レスを指定し、 記' I 手段と してのメ モ リ 6、 8、 1 0、 1 2またはメ モ リ 3 5に記憶されたイ ンパルス レ スポンスまたは制御信号を読み出し、 音響信号を制御手段と して の畳み込み 分器∑ 、 7、 9、 1 1、 または制御装 0. 1 、 5 2、 5 3、 5 4、 5 6においてイ ンパルス レス ポ ンスまたは 制御信号により iii正し、 音響信号を上記一人またほ II数の聴取者 2 3の Sfi部運動に対して リ アルタ イ ムで Mi正し、 音 5再生手段と してのへッ ドホン 2 4において映像再生手段と しての映像信号再 生装 IS 6 2、 T Vモニタ 9 2、 1 1 5により再生された映像に対 応する位置に、 収音時のマイ ク ロホ ン 1 0 4、 1 0 6、 1 0 7、 1 0 8の位置および音源 1 0 0、 1 0 1、 1 0 2の tii またはい ずれか一方の位置を示す再生音像位置情報に基づいて複数の :生 音像が定位するように、 制御手段と しての畳み込み 分器 5、 7 、 9、 1 1、 または制御装 E 5 0、 5 1、 5 2、 5 3、 5 4、 5 6で M正した音響信号を再生し、 W生音像位匿情報変更手段と し ての位置'情報変更器 9 3 により聴取者 2 3の頭部の動きに対応し て、 苒生音像位置情報の座標を変えるようにして、 双方向で再生 音像を定位させることができる。
また、 上例によれば、 再生音像位置情報変更手段と しての位置 惜報変更器 9 3 は、 少なく とも δ準方向に対する回転情報および ®準位隠に対する ½近または離隔の 1¾報に ¾づいて、 再生音像位 置 1 ¾の座標を変更するようにしたので、 聴取者が移励すること によって、 再生音像の座標を移動させることができる。
また、 上例によれば、 再生音像位置情報変更手段と しての位置 情報変更器 9 3は、 少なく とも基準方向に対する回転情報および ¾|準位置に対する接近または離隔の I 報を、 再生音像位置情報の 座標に付加して変更するようにしたので、 聴取者が移動すること によって、 一部の再生音像の座標を移動させることができる。 また、 第 1 0図において示した位！:情報検出装匿 1 0 3 . 1 0 5 によるマイ ク位 S 1¾報および音源位匿情報により音像の指向性 を制御し、 対応する音が T Vモニタ 1 1 5の表示部と しての画而 1 1 G に再生された被写体 1 1 7、 1 1 8、 1 1 9の各位置にこ の被写体 1 1 7、 1 1 8、 1 1 9の位匿に複数の再生音像が一対 一に対応して定位するようにしてもよい。
これにより、 T Vモニタ 1 1 5の画而 1 1 6の音源位置に対応 する位置のビームが指向した位匿に奕音像位 -匿が規定され、 T V モニタ 1 1 5の函面 1 1 6 に表示された ΪΪ源の画像位置からあた かもその音が発するように、 T Vモニタ 1 1 5 において突音像を 形成することができる。
上例によれば、 へッ ドホ ン 2 4 は、 収音時の複数のマイ ク ロホ ン 1 0 4、 1 0 6、 1 0 7、 1 0 8の位匿および複数の音源 1 0 0、 1 0 1、 1 0 2の位置またはいずれか一方の位置を示す再生 音像位置情報に基づいて、 T Vモニタ 9 2、 1 1 5により再生さ れた映像の複数の被写体 1 1 7、 1 1 8、 1 1 9の位置に複数の 再生音像が一対一に対応して定位するように、 み込み積分器 5 、 7、 9、 1 1、 制御装置 5 0、 5 1、 5 2、 5 3、 5 4、 5 6 で補正した音響信号を再生するので、 S生された映像の複数の被 写体 1 1 7、 1 1 8、 1 1 9の位匿から、 あたかもその音が発せ られるように実音像を形成することができる。
また、 第 1 0図において、 映像信号による映像は、 音源 1 0 0 、 1 0 1、 1 0 2を含むものであり、 位置怙報検出装 il l 0 3、 1 0 5による音源位置情報により音像の指向性を制御し、 対応す る音が TVモニタ 1 1 5の表示部と しての画面 1 1 6に再生され た被写体 1 1 7、 1 1 8、 1 1 9の各位置にこの被写体 1 1 7、 1 1 8. 1 1 9の位置に複数の再生音像が対応して定位するよう にしてもよい。
これにより、 T Vモニタ 1 1 5の画面 1 1 Gの音源位置に対応 する位置のビームが指向した位置に荬音像位置が規定され、 T V モニタ 1 1 5の画而 1 1 6に表示された音源の画像位置からあた かもその音が発するように、 T Vモニタ 1 1 5において実音像を 形成することができる。
上例によれば、 映像信号による映像は、 音源 1 0 0、 1 0 1、 1 0 2を含むものであり、 へッ ドホ ン 2 4は、 収音時の音源 1 0
0、 1 0 1、 1 0 2の位置を示す再生音像位置情報に基づいて、 T Vモニタ 9 2、 1 1 5により T5生された映像の音源 1 0 ϋ、 1
0 1、 1 ϋ 2の位 iSに ΡΪ生音像が定位するように、 ^み込み稹分 器 5、 7、 9、 1 1、 制御装隠 5 0、 5 1、 5 2、 5 3、 5 4、 5 6で補正した音響信号を再生するので、 再生された映像の音源 1 0 0、 1 0 1、 1 0 2の位 ϋから、 あたかもその音が発せられ るように突音像を形成することができる。
また、 第 1 0図において、 マイ ク ロホ ン 1 0 4、 1 0 6、 1 0 7. 1 0 8の位 I -は、 映像信号による映像の ¾面によって変える ものであり、 位 12情報検出装 H 1 0 3、 1 0 5によるマイ ク位置 情報により音像の指向性を制御し、 対応する音が T Vモニタ 1 1 5の表示部と しての画面 1 1 6に再生された被写 1 1 7、 1 1 8、 1 1 9の各位;！にこの被写体 1 1 7、 1 1 8、 1 1 9の位 IS に複数の再生音像が対応して定位するようにしてもよい。
これにより、 T Vモニタ 1 1 5の画 ΪΠ] 1 1 6のマイ ク位置に対 応する位^のビームが指向した位 {Siに突音像位 iSが^ され、 T Vモニタ 1 1 5 画面 1 1 ΰに表示された音源のマイ ク位置から あたかもその が発するように、 T Vモニタ 1 1 5において实音 像を形成することができる。
また、 上例によれば、 マイ ク ロホ ン 1 0 4、 1 0 G、 1 0 7、 1 ϋ 8の位 iSは、 映像信号による映像の場面によって変えるもの であり、 へッ ドホ ン 2 4 は、 収音時のマイ ク ロホ ン 1 0 4、 1 0 6、 1 0 7、 1 ϋ 8の位置を示す再生音像位 情報に iSづいて、 丁 Vモニタ 9 2、 1 1 5により ^生された映像のマイ ク ロホン 1 0 4、 1 0 6. 1 0 7、 1 () 8の位置の方向に再生音像が定位す るように、 畳み込み ¾分器 5、 7、 9、 1 1、 制御 IS 5 0. 5 1、 5 2、 5 3、 5 4、 5 6で補正した音！？信号を再生するので 、 ？ ΐίΐΐされた映像のマイ ク πホ ン 1 ◦ 4、 1 0 6、 1 0 7、 1 0 8の位 ϋの方向から、 あたかもその音が発せられるように实^像 を形成することができる。
また、 このとき、 3¾ 9図において示すように、 へッ ドホン 2 4 に リ セ ッ トスィ ッチ 3 0を ¾け、 リ スナ 2 3がこれを押すことに より、 頭部回転の 準位 [£!を¾定する。 また、 ヘッ ドホ ン 2 4の 内側に リ セッ ト スィ ツチ 9 1 を設け、 頭部にへッ ドホ ン 2 4を装 着したとき、 装着した一定期 Ιί に リセッ 卜がかかるようにしても 良い。
上例によれば、 ディ ジタル角度検出器 2 8、 アナログ ¾度検出 器 3 8は リ セ ッ ト スイ ッチ 9 0を有し、 リ セ ッ ト スイ ッチ 9 0を オ ンしたときに リ スナ 2 3が向いている方向を S準方向に設定す るようにしたので、 リ セッ ト スイ ッチ 9 0の作動により任意の方 向を正而に設定することができる。
また、 上例によれば、 ディ ジタル 度検出器 2 8、 アナ口グ角 度検出器 3 8は リ スナ 2 3が予め定められた S準方向に向いたと きにその方向を a準方向に設定するようにしたので、 予め^めら れた方向を s準方向に白動的に設^することができる。
また、 上例によれば、 へッ ドホン 2 4 は リ セ ッ トス ィ ッ チ 9 1 を有し、 リ スナ 2 3がへッ ドホ ン 2 4を装着したとき、 ディ ジタ ル角度検出器 2 8、 アナ口グ½度検出器 3 8 は T Vモニタ 9 2の 画面の正而の方向を基準方向に設定するようにしたので、 へッ ド ホン 2 4の^着により、 ¾に映像の画而を正而に; することが できる。
また、 第 9図、 第 1 1 図において、 T Vモニタ 9 2、 1 1 5 は 、 例えば、 映画用ス ク リ ー ンと しても良い。 この 合、 シネマス コープサィ ズ、 ビスタサィ ズ等の複数の画面サィ ズを有し、 収音 時のマイ クの位證および音源の位置またはいずれか一方の位 1 を 示す再生音像位 IS情報に Sづぃてこの画而サイ ズに対応して、 そ れぞれ、 ¾:生音像を定位させるようにしても^い。 この場合、 位 m ^ ^ 9 3 に第 1 図、 7図および ¾ 8図に示した入力端 子 6 5を設け、 入力端子 G 5 に画面サイ ズに ¾づく 切り替え を入力するようにすればよい。
上例によれば、 ス ク リ ー ンは ¾i数の画面サィ ズを有し、 へッ ド ホ ン 2 4 は画面サイ ズに対応するよ う に して、 スク リ ー ンによ り 再生された映像に対応する方 |ujに、 収音時のマイ クの位置および 音源の位^またはいずれか一方の位置を示す再生音像位置情報に Sづいてメ モ リ 3 5あるいはメ モ リ 6、 8、 1 0、 1 2のテープ ルの種類、 も しく は読み出す変化 を変えることにより、 複数の 再生音像が定位するように、 ： ΪΜ'み込み積分器 5、 7、 9、 1 1、 制御装置 5 0、 5 1、 5 2、 5 3、 5 4、 5 6で fiii正した音 1 言 号を再生するので、 ス ク リ ー ンの画而サイ ズが変わっても、 映像 に対応する方向に複数の 生音像を ¾1位させるようにすることが できる。
また、 笾 9図、 笫 1 1 図において、 T Vモニタ 9 2、 1 1 5 ま たはス ク リ ー ンは、 例えば、 リ スナ 2 3の 方および後方、 左方 および右方に配 ίώ!するようにして、 収音時のマイ クの位 および 音源の位匿またはいずれか一方の位 Sを示す再生音像位 Ϊ情報に Sづぃてこの画面の映像に対応するように、 それぞれ、 再生音像 を定位させるようにしても良い。
上例の埸合には、 特にゲーム機において、 映像の励く方向から 映像の移動に対応して、 収音 のマイ クの位置および ¾源の位- ： またはいずれか一方の位置を示す再生音像位 IS 報に基づいて苒 生音像を定位させる用途に最適なものである。 また、 この再生音 像の位置を双方向で定位させることができる。
更に、 上述においては、 リ スナ 2 3の ΰΠの水平 ϊίϊί内における向 きについてのみ考 したが垂直面內および、 これらと .交する而 内における向きについても同様に処理することも出来る。
さ らに、 第 4図のデータは、 次にようにして ることができる 。 すなわちへッ ドホ ン 2 4で 15生したときに好ま しい再生音 と なるよう、 適当な室内に、 必要なチ ャ ンネル数のイ ンパルス ¾源 とダミ ーへッ ドマイ ク ロホンを定められた位 [ に配^する。 この -合のィ ンパルスを測定する音源と してはス ピーカを用いてもよ い。
またダミ ーへッ ドの各耳の収音位置に閲しては、 外 道入り口 から鼓胶位置までの問の何れの位置でもよいが、 用いるへッ ドホ ンの固有の特性を打ち消すための 正特性を求める位匿と等しい ことが要求される。
また制御信号の測定は、 各チ ヤ ンネルのス ピー力位置よりィ ン パルス音を放射し、 一定角度 ： Δ <9钲にダミ —へつ ドの各耳に設 けられたマイ ク ロホンで収音することにより得られる。 従ってあ る角度 ： ^ 1 においては、 1つのチ ャ ンネル毎に 1 紐のイ ンパル ス レス ポ ンスが得られることになるから、 仮に 5 チ ャ ンネルの信 号源の場合は、 1つの角度毎に 5組、 すなわち 1 0種の制御信号 が られることになる。 従って、 これらのレス ポ ンスにより、 左 右両耳間の on _ώ及びレベル差を表す制御信号が られる。
また音源、 音場、 用いるへッ ドホ ンの固有の特性等を打ち消す ための補正特性を求める方法は以下のようにしても良い。 音埸の ィ ンノ、。ルス レスポ ンスの収音を行なつたダ ミ ーへッ ドマイ ク ロ ホ ンと同一のものを fflい、 用いるへッ ドホ ンをダ ミ ーへ ッ ドに装着 し、 へッ ドホ ン入力からダミ 一へッ ドの各耳のマイ ク u ホ ン lieの イ ンパルス レスポ ンスの逆特性となるようなィ ンノ、 °ルス レスボ ン スを計算で求める。
あるいは L M S アルゴリズ厶等の適応処理を用いてへッ ドホン 固有の 正 tt:と しての目標値に近づく ように直接求めてもよい。 具体的なへッ ドホ ン E!有の特性の Mi正は、 オーディ オ入力信号が 加えられてから、 ヘ ッ ドホ ンに信号が加えられるまでの ]の任 の部分で、 時 RPj i域の処理と しては求めた fi¾正 ' 性を表すィ ンパ ルス レス ポ ンス との^み込み 分を行なう ことにより、 またァナ 口グ的には D / A変換後、 逆特性のァナログフ ィ ルタ一を通すこ とにより実現できる。
またメ モ リ 3 5 におけるテーブルは 1組と し、 了 ドレス制御回 路 3 4 においてそのテーブルに対するァ ドレスの指定を変更して 複数組のテーブルがある場合と同様に制御データを得ることも出 来る。
更に、 テ一ブルのデータは、 リ スナ 2 3の一般的な頭の向きの 範 1 に限ってもよく、 また、 ]度 ^は、 例えば、 = ϋ ° 付近で は◦ . 5 ° おきに設定しておき、 I (9≥ 4 5 ° I では 3 ° おきに 設; 31するというように、 向きによって角度 ^の | |¾5を異ならせて もよい。 上述したように、 リ スナが πη部回転の角度を; ¾別できる 角度毎でよい。 更に、 へッ ドホン 2 4 の代わりに、 リ スナ 2 3の 両耳の近く に配 1ώしたス ビーカでもよい。
上述したいずれの例においても、 入力されるォ—ディ ォ β ¾は 、 多チャ ンネルのステ レオ等で収音されたディ ジタル記綠された 信号、 およびアナ口グ記録された信 ¾のどちらに対しても適応で き、 また リ スナ 2 3の頭の動きを検出する角度検出 ΐ段に IIして は、 ディ ジタル信号で出力されるもの、 および了ナ口グ信号で出 力されるもののどちらに対しても適 fflできる。
また、 リ スナ 2 3の の動きに同期させてへッ ドホン 2 4 に供 給されるォ一ディ ォ信号の特性を変更するとき、 リ スナ 2 3の ϊ¾ の動きに対し連 的にではなく、 人 I¾jの聴^ ^性に合わせ、 人 1] の識別できる必要十分な適当な一定単位角度 ^あるいは予め定め られた: ¾度毎にメ モ リ 3 5のテーブルから みだして行なってい るので、 リ スナ 2 3の ΠΠの向きに対して必要十分な変 "3 内容につ いてのみ淀^を行なえば、 連続的に変更をしたのと同じ効¾を^ ることが出来る。 従って、 メ モ リ 3 5の容 の節約が図れ、 かつ ^ の処理速度に しても必¾以上に高速 の必! ^がなく なる また、 リ スナ 2 3の頭の回転に左右されず、 に一定方向の固 定された音源からのバイ ノ 一ラ ル特性が J.られるので、 極めて ΰ 然な頭外定位感が得られる。
また、 メ モ リ 3 5のテーブルに従って、 ディ ジタル記録された 両耳 の時 ]差及び両！ fill]のレベル差を表す制御信号で表される 特性を、 ：！み込み積分器 5、 7、 9、 1 1およびメ モ リ 6、 8、 1 0、 1 2において予めイ ンパルス レス ポ ンスが: ¾み込まれたデ ィ ジ夕ル ^号に対して、 純 子式に ιΐί正を行なし、制御しているの で特性劣化が少なく、 かつリ スナ 2 3の の動きに対するォーデ ィ ォ信号の特性の変化に遅れを生じることがないので、 従来のシ ステムにおけるような不自然さを生じさせることはない。
また、 ft度 ^の変化に対する両耳 0の阽 lli] i及び両耳 ]のレベ ル差を表す制御信号の変化^を、 テーブルによつて 準监ょり も 大き く、 あるいは小さ く なるようにしておく ことにより、 リ スナ 2 3の頭の向きに対する音像の位 11の変化量が異なるので、 これ により リ スナ 2 3から音像までの距離感などを変更したり、 画面 サィ ズに対応することができる。
また、 残響回路 1 3、 1 4により必要に応じ適切な残響信号が 付加されるので、 あたかも有名なコ ンサー ト ホールで音楽を聞い ているような臨 感を得ることが出来る。
上^した例によれば、 複数のリ スナ 2 3の個々の頭部回転に応 じて両耳 の時 ?\差及び両耳 のレベル差を表す制御信号による 袖正を行う ことにより複数のへッ ドホン 2 4で同時に：i生するこ とがで.き、 高価な AZD変換器 3や、 畳み込み嵇分 5、 7、 9 、 1 1を ¾!数のリ スナ 2 3の数だけ川 ¾する必耍がなく 、 極めて 安価に構成することができる。
さ らに、 上例において、 ¾n¾回 ' 検出器に振動ジ ャ イ ロを川い てもよい。 このようにすることにより、 部回転検出器を小型で 軽量、 かつ低消費 ΐβ力で長^命、 しかも収扱いが簡便で安価に構 成することができる。
さ らに、 振動ジャ イ ロは、 ¾Ί生力を利用せず、 コ リ 才 リ力によ つて動作しているので、 リ スナ 2 3の頭部の回 ¾中心近傍に設 ϋ する必 ·¾'がなく、 回転検出部のいずれの 所に取り付けてもよい ので、 描成および組み立てを f iiにすることができる。
以下本発叨に係る映像信号及び音 信¾の ：生 置の他の尖施 例について、 第 1 2図から第 1 4図に従い詳細に説明する。
本発明の実施例の映像信号及び音！5信号の再生^ 11は、 収音時 のマイ クの位置および音源の位匿またはいずれか一方の位置を示 す再生音像位 情報を有する映像信号及び音 ?信号を映像を見な がらへッ ドホンで再生する際に、 本来ス ピー力で: Ρϊ生する場合に 予め定められた位 ϋ関係に置かれるべきス ピーカから音が再生さ れるのと同等の定位感、 音¾感等を、 へッ ドホ ンで再生しても られるようにしたものであり、 特に、 映像に対応する方向に、 収 音時のマィ クの位 および音源の位置またはいずれか一方の位置 を示す 生音像位匿情報に菽づいて複数の再生音像が定位するよ うにしたものである。
すなわち、 本発明の実施例の映像信号及び音響信号の: ΡΪ生装置 は、 ステ レオ等で収音された多チャ ンネルであって、 収音時のマ ィ クの位 gおよび音源の位 Εまたはいずれか一方の位置を示す再 生音像位置情報を有する映像信号及び音響信号を、 映像を見なが らへッ ドホンで:^生するシステムに川いるものである。 特に各チ ャ ンネルに記録あるいは伝送されるディ ジタ ル化された音 信号 をへッ ドホ ン等で W生する際に、 複致チ ヤ ンネルの再生音像を、 予め定められた収音時のマイ クの位 および音源の位 またはレ、 ずれか一方の位 1 を示す: Ρί生音 位 ' 報に sづいて映像に対応 する位 ϋに定位させるようにしたものである。 第 1 2図において、 この発明の映像信号及び音響信号の再生装 置の例を示す。 なお、 第 1 2図から^ 1 4図は、 笫 1 図、 m 7図 および 8図に対応するものであり、 こ こでは第 1 2図から第 1 4図が、 1 図、 第 7図および^ 8図と異なる点を ；;叨し、 共通 する点の構成及び動作の説明を省略する。
この例においては、 第 1 2図、 第 1 3図及び第 1 4図のいずれ においても、 映像信号は映像信号 ¾生装置 6 2 に供給されると共 に、 位置情報杣出回 5 6 6 に供給される。 位 Β!情報抽出回路 6 6 は、 予め映像信号と共に供給される再生音像泣置情報を ίώ出する 回路である。 この再生音像位置情報は、 例えば映像信号再生装置 6 2のスク リ ーン上における収 - :時のマイ クの位^および音源の 位置またはいずれか一方の位置である。
位置情報抽出 ^ 6 6からの位置情報は、 ア ド 'ノ ス制御回路 3 4のア ドレスを切り替える切替器 3 6 に供給される。 また、 映像 信号 W生装置 6 2 のスク リ 一ンの画而サィ ズに Sづく切り替え信 号も入力端子 6 5から切替器 3 6 に供給される。
上述したテーブルは、 メ モ リ 3 5 に対して例えば 3組設けられ ると共に、 その組毎 'に、 予め定められた映像信号再生装置 6 2の ス ク リ ーンと リ スナ 2 3 との距離や角度等の相対的な.位 Ξ、 また 映像信号再生装置 G 2 のス ク リ ーンの画面サィ ズ等に対応してデ 一夕の値が異なるようになされている。 そして、 その 3組のテ一 ブルのうちの最適な 1つのテ一ブルが、 ア ドレス制御回路 3 4の 切替器 3 6の切り えによるァ ド レスの切り替えに従って選択さ れる。
この実施例の! 像信号及び音響信号の再生装 S2はこのように描 成され、 以下のような動作をする。 入力端子 ΰ ()から映像信 及 び音 号が入力され、 分^回路 6 1 で音響信号と映像 号とが 分離される。 映像信号は映像 ¾ 生装 H 6 2 に供給される。 分 離回路 6 1 で分離された音響信号がディ ジタ ル音響信号であれば ディ ジタ ルステ レオ信号源 1 に供 され、 アナ口グ音 M言 ·であ ればアナログステレオ信号源 2 に供給される。 この場合、 デイ ジ タルオーディ ォ信号およびアナログオーディ オ信号は、 それぞれ 収音時のマイ ク 位 iSおよび ΐί源の位 Sまたはいずれか一方の位 Sを示す再生音像位 E fl報を有する映像借号から分離された音 P 1≤■¾·である。
上例では特に、 予め定められた映像信号再生装 i G 2のス ク リ ーンと リ スナ 2 3 との距離や角度等の相対的な再生音像位 報 が位置 1 報抽出回路 S 6からァ ドレス制御回路 4 に供給される 。 また、 映像信号再生装 6 2のスク リ ーンの画 Ιίϊίサイ ズに Sづ く 切り替え信 Sも入力端子 ΰ 5から切 3 ΰ に {!!； される。 了 ド レス制御回路 3 は切替器 3 Gの切り替えによりァ ド レスを切 り替えるようにする。
上述したテ一ブルは、 メ モ リ 3 5 に対して例えば 3組設けられ ると共に、 その組^に、 予め定められた映像信号 生装 G 2の ス ク リ ー ンと リ スナ 2 3 との距離や角度等の相対的な位置、 また 映像信号再生 i! G 2 のス ク リ ー ンの画面サイズ等に対応してデ 一夕の値が異なるようになされている。 そして、 その 3組のテ一 ブルのうちの齩適な 1 つのテーブルが、 再生音像位 ^ Ι' 報または 画面サイ ズの変更に対応して再生音像の位 ISを変えるように、 ァ ドレス制御回路 3 4の切替器 3 6の切り替えによるァ ドレスの切 り替えに従って選択される。
これにより、 予め定められた映像信号再生装！ 2 のス ク リ ー ンと リ スナ 2 3 との距^や ¾度等の相対的な位 [fi!に対応して、 了 ド レス制御回路 3 4のア ド レスが切り替えられ、 適なテーブル が選択され、 再生音 ί&の位 Eを例えば映像信号 TO生^ Π 2 のス ク リ ー ン上における収音 のマイ クの位 ISおよび音 の位 ISまた はいずれか一方の位置に対応させることができる。
また映像信号 生装置 6 2 のス ク リ ーンの画面サィ ズに対応し て、 ア ド レス制御回路 3 4のァ ドレスが切り替えられ、 iS適なテ —ブルが選択され、 W生音像の位 を例えば映像信 " Ρί生装置 ΰ 2の ΐίϋϊ Siiサイ ズが切り替えられたときにも、 切り替えられた画面 サイ ズのスク リ ー ン上における収音時のマイ クの位 [ および音源 の位置またはいずれか一方の位 :に対応させることができる。
このようにして、 へッ ドホ ン 2 4 に供給されるォ一ディ ォ信号 L , Rは、 リ スナ 2 3の頭の向きに対応した頭部の S準方向に対 する仮想音源位 112から両 ITに至るディ ジタ ル 録されたィ ンパレ ス レスポ ンスまたは両耳間の時^差及び両耳 liijのレベル差を表す M御信号との袖正が行なわれれるので、 映像に対応して ¾生音像 を定位させて、 複数個のス ピー力が仮想音源位 に かれてス ピ —力で再生しているような音 i 感を^ることが出来る。
以下本発明に係る映像信号及び音 言号の再生装置の他の実施 例について、 第 1 5図から笫 2 6図に従い詳細に説叨する。
本発叨の実施例の映像信号及び音！?信号の苒生装 ISは、 音響信 号を映像を ϋながらへッ ドホンで再生する際に、 本来ス ピ一力で 再生する場合に予め定められた位置 [11係に置かれるべきス ピーカ から音が再生されるのと同等の定位感、 音場感等を、 へッ ドホ ン で再生しても^られるようにしたものであり、 特に、 リ スナ 2 3 の左右両^から所定距離だけ離れた位 に投影された再生映像に 対応する方向に ¾数の再生音像が定位するようにしたものである すなわち、 本発明の実施例の映像信号及び音響信 の？ ί生 は、 ステ レオ等で収音された多チ ヤ ンネルの音 号を映像を Ji ながらへッ ドホ ンで 生するシステムに川 0、るものである。 特に 予め定められた位 1¾係 （例えば、 リ スナの 方右、 前方左、 中 央、 その他である。 ） に各音像を定位させる目的で各チ ヤ ンネル に記録あるいは伝送されるディ ジタル化された音響信号をへッ ド ホ ン等で ¾生する際に、 リ スナ 2 3の左右両眼から所定距離だけ 離れた位匿に投^された再生映像に対応する方向に ¾i数チヤ ンネ ルの^生音像を定位させるようにしたものである。
第 1 5図において、 この発明の映像信号及び音響信号の再生装 置の例を示す。 なお、 第 1 5図から第 1 7図は、 3¾ 1 2図、 ϊ¾ 1 3図および第 1 4図に対応するものであり、 こ こでは第 1 5図か ら第 1 7図が、 ' 1 2図、 第 1 3図および ίΐ'ί 1 4図と異なる点を 説明し、 共通する点の構成及び動作の説明を省略する。
入力端子 6 0から映像信号及び音響信号が入力され、 分離回路 6 1 で音 言号と映像信号とが分離される。 映像信号は映像信号 再生回路 6 7 に供給される。 映像 号再生回路 6 7 は映像信号の 所定の再生前処理を行い、 虚像式ディ スプレイ 1 9 3に映像信号 を供給する。 分離回路 6 1 で分離された音響信号がディ ジタ ル音 信号であればディ ジタルステ レオ ^号源 1 に供 され、 アナ口 グ音饗信号であればアナロ グステ レオ信号源 2 に供給される。
ここで、 この例においては、 第 1 5図、 第 1 6図及び笫 1 7図 のいずれにおいても、 映像信号は位 [S 報杣出回路 6 6 に供給さ れる。 位置情報抽出回路 6 6 は、 予め映像信号と共に供給される 再生音像位置情報を抽出する回路である。 この再生音像位置情報 は、 例えば虚像式デイ スプレイ 1 9 3 のスク リ 一ン上における収 音時のマイ クの位 Ξおよび音源の位 Ξまたはいずれか一方の位置 である。
そして、 映像信号は映像信号再生回路 G 7 において映像信号の 所定の W生前処理を経た後に、 リ スナ 2 3 に装 ©された i 像式デ イ スプレイ 1 9 3 に供給される。
この実施例の映像信号及び音 IF信号の再生装 はこのように榀
;1 6 成され、 以下のような動作をする。 入力端子 6 0から映像信号及 び音響信号が入力され、 分離回路 G 1 で音響信号と映像信号とが 分離される。 映像信号は映像信号再生回路 6 7 に供給される。 分 離回路 6 1 で分 された音 M言号がディ ジタル音響信号であれば ディ ジタルステ レオ信号源 1 に供給され、 アナログ音響信号であ ればアナログステ レオ信号源 2 に供給される。
上例では特に、 第 1 5図、 ： 1 6図及び第 1 7図のいずれにお いても、 予め定められた虚像式ディ スプレイ 1 9 3 のス ク リ ー ン と リ スナ 2 3 との距離や角度等の扣対的な位 iS† 報が位置情報拙 出回路 6 6からァ ドレス制御回路 3 に供給される。 また、 虚像 式ディ スプレイ 1 9 3のスク リ ーンの画而サイ ズに ¾づく切り替 え信号も入力端子 6 5から切替器 3 G に供給される。 ア ドレス制 御回路 3 は切替器 3 ΰの切り えによりァ ド レスを切り替える ようにする。
上述したテーブルは、 メ モ リ 3 5 に対して例えば 3組設けられ ると共に、 その組毎に、 虚像式デイ スプレイ 1 9 3のスク リ ーン と リ スナ 2 3 との距離や角度等の相対的な位置、 また虚像式ディ スプレイ 1 9 3のスク リ ーンの画面サイ ズ等に対応してデータの 値が異なるようになされている。 そして、 その 3紐のテーブルの うちの最適な 1 つのテーブルが、 了 ドレス制御回路 3 4の切替器 3 6の切り替えによるア ド レスの切り替えに従って選択される。 これにより、 予め定められた虚像式ディ スプレイ 1 9 3のス ク リ ー ンと リ スナ 2 3 との距離や角度等の相対的な位 1 に対応して 、 了 ドレス制御回路 3 4のア ドレスが切り替えられ、 S適なテ一 ブルが選択され、 Ϊ 生音像の位^を例えば虚像式ディ スプレイ 1
9 3 のス ク リ ー ン上における収音時のマイ クの位 および音源の 位置またはいずれか一方の位 ϋに対応させることができる。
また虚像式デイ スプレイ 1 9 3のスグ リ ーンの画面サィ ズに対 応して、 ア ド レス制御回路 3 4のア ド レスが切り替えられ、 S適 なテーブルが選択され、 生 ¾像の位^を例えば虚像式ディ スプ レイ 1 3 3の画而サィ ズが切り替えられたときにも、 切り替えら れた画面サイ ズのスク リ ー ン上における収音時のマイ クの位 1 お よび 源の位 iSまたはいずれか一方の位置に対応させることがで きる。
このようにして、 へッ ドホ ン 2 4 に供給される才一ディ 才信号 L , Rは、 リ スナ 2 3の頭の向きに対応した頭部の ^準方向に対 する仮 音源位 から両耳に至るディ ジタ ル ΰ録されたィ ンパレ ス レス ポ ンスまたは i¾耳 [ の 1 [l!J差及び両 IF PrlJのレベル差を表す 制御 号との ili正が行なわれれるので、 数個のス ピー力が仮想 音源位 S2に^かれてス ピーカで再生しているような音¾感を得る ことが出来る。
このとき、 ^像式デイ スプレイ 1 9 3には、 ディ ジタル¼ ^検 出器 2 8または了ナ口グ ]度検出器 3 8による リ スナ 2 3の β準 方向に対する頭部運動の情報が供給されている。 従って、 リ スナ 2 3が、 ϊ¾部を 0 させたときに、 この M報に ;づいて、 リ スナ 2 3の左右^眼から所定距 だけ離れた位 ISに投 ¾された画像を 、 あたかも; ί 度を変えて ϋているようにして逃^して変化して见 えるようにしても良い。
更に、 角度 の変化に対する リ スナ 2 3の頭部の S準方向に対 する仮 fi音源位匿から ϊ¾ ΙΠこ至るディ ジタ ル記 された両: Ιί ίίί!の 時 ^差及び両！ Πΐϋのレベル差を表す i!iij御信号の変化 を、 テープ ルにより ^準値より も大き く、 あるいは小さ く なるようにしてお く ことにより、 リ スナ 2 3の の向きに対する ^像の位 ISの変化 が^なるので、 これにより リ スナ 2 3から音像までの距^感な どを変^することが出来る。 そして映像信号及び音 号の ^生 装 IIに川いる虚像式デイ スプレイ の、 聴取者 2 3の左右両眼から 所定距離だけ離れた位 ϋに投影された ¾生映像の画面サイ ズに合 わせた変更も、 この変化量で対応可能となる。
% 1 8図において、 この発叨の映像信 および音響信号の： Ρί生 装置の他の実施例の虚像式ディ スプレイ の動作原理を示す。 虚像 式デイ スプレイ 1 9 3は、 リ スナ 2 3の右眼 1 8 0の前方にレ ン ズ 1 8 2を介して液晶表示装 Ξ (以下 「 L C D」 とい ό。 ） 1 8 4を配置し、 左 iiU 1 8 1 の前方にレ ンズ 1 8 3を介して L C D 1 8 5を配匿し、 L C D 1 8 4および 1 8 5 に表示された再生画像 をレ ンズ 1 8 2および 1 8 3 により拡大し、 L C D 1 8 4および 1 8 5の前方に虚像 1 8 7が映し出されるようにして再生される ものである。
つまり、 L C D 1 8 4および 1 8 5 に映し出された画像情報が 、 接眼レ ンズと してのレ ンズ 1 8 2および 1 8 3を迎して虚像と なり、 右眼 1 8 0および左眼 1 8 1 から別々の情報と して脳に入 り、 そこで重ね合わせて一つの像となる。 ここで、 両眼の生理的 に安静な位匿になるように両眼から 1 〜 1 . 5 メ ー ト ル先に虚像 1 8 7を写すように、 装置に眼のより角と しての 軸角 1 8 6を 与えている。
この場合、 L C D 1 8 4および 1 8 5 は、 この発明の出願人が 独自に開発したものであり、 きめの細かい精細な画像を再現する 、 小型で高密度な、 0 . 7 イ ンチ、 1 0 . 3万画秦の L C Dであ る。 この L C Dを右眼 1 8 0および左眼 1 8 1 に対して各 1枚ず つ、 2枚の L C D 1 8 4および 1 8 5を採用することにより、 大 画面を虚像 1 8 7 と して再生することができる。 また、 立休画像 と しての 3 Dモニタ一と しての使用も可能である。 2 Dは L C D 1 8 4および 1 8 5 に映し出された同じ画像、 3 0は¾差を持つ た画像とすることにより实現することができる。
また、 本体の小型、 輕量化を図るために、 レ ンズ 1 8 2および 1 8 3 には、 この発叨の出願人が独自に開発した小型、 高倍率な 矩形非球而プラ スチッ ク レ ンズを採川した。 これにより、 L C D
1 8 4および 1 8 5 に写る画像を拡大する際の歪みを抑え、 すみ ずみまでシャ一プな映像を再生することができる。
第 1 3図において、 この発 Ijijの映像信号及び音響信号の再生装 置の他の実施例の虚像式ディ スプレイの外 を示す。 虚像式ディ スプレイ 1 9 3 は、 レ ンズ 1 8 2および 1 8 3、 L C D 1 8 4お よび 1 8 5を^するス コープ 1 9 4をリ スナ 2 3の左右両眼を S1 うようにして配 IS:し、 アーム 1 9 Gでリ スナ 2 3の ΗΠ部に^着す るものである。 この場合、 额パッ ド 1 9 5 は リ スナ 2 3の節を支 持し、 アジヤ スター 1 9 7で装着の強度を調節することができる 上例では、 虚像式デイ スプレイ 1 9 3は、 へッ ドホ ン 2 4 とは 別体である例を示したが、 虚像式ディ スプレイ 1 9 3のアーム 1 9 6 とヘ ッ ドホ ン 2 4のへッ ドバン ド 2 7 とが固定され、 一体と して嵇成するようにしても i¾い。
上例によれば、 映像再生手段と しての虚像式ディ スプレイ 1 9 3は、 リ スナ 2 3の左右両眼に対応する位匿に左液品表示部と し ての L C D 1 8 5および右故品表示部と しての L C D 1 8 4を有 するので、 左液晶表示部と しての L C D 1 8 5および'右液品表示 部と しての L C D 1 8 4 により、 リ スナ 2 3の左-右両 URから所定 距離だけ離れた位置に ¾:生映 を投影することができる。
また、 上例によれば、 映像再生手 と しての^像式ディ スプレ ィ 1 9 3は、 リ スナ 2 3の左右両眼に対応する位 ΕΪに矩形非球面 の左右の接 [Rレ ンズ 1 8 2、 1 8 3を介して左液品表示部と して の L C D 1 8 5および右液品 示部と しての L C D 1 8 4 を- す るので、 左液品表示部と しての L C D 1 8 5および右液品表示部 と しての L C D i 8 4 に^る画像を拡大して、 左液品表示部と し
G 0 ての L C D 1 8 5および右液品表示部と しての L C D 1 8 4の前 方であって、 リ スナ 2 3の左右両眼から所定距離だけ離れた位置 に W生映像を投影することができる。
第 2 0図から笫 2 6図にこの発叨の映像信号および音響信号の 再生装 11の他の突施例のス ピー力の配置のシ ミ ユ レーショ ンを示 す。 第 2 0図において、 音響信号に伴う映像信号による映像を映 し出す虚像の位置 1 9 2の方 i'jを正面とする。 このとき、 ス ピ一 力の配置のシ ミ ュ レーシ ョ ンは、 以下のようになる。 まず、 リ ス ナ 2 3の左右の両耳 2 3 L , 2 3 Rを結ぶ直線より前力の Λの範 囲にス ピーカが配 Eされたように音像が定位する。 次に、 リ スナ
6
2 3の左右の両耳 2 3 L , 2 3 R _ 1 を結ぶ直線上の Bの範囲にス ピ ―力が配置されたように音像が定位する。 さ らに、 リ スナ 2 3の 左右の両耳 2 3 L , 2 3 Rを結ぶ直線より後方の Cの範困にス ピ 一力が配 ϋされたように音像が定位する。
上例によれば、 音響再生手段と してのへッ ドホ ン 2 4 は映像信 号苒生手段と しての虚像式デイスプレイ 1 9 3の映像信号の再生 により リ スナ 2 3の左右両眼から所定距離だけ離れた位 Sに投影 された再生映像に対応する方向であって、 リ スナ 2 3の前方およ び後方に複数の再生音像が定位するように、 制御手段と してのメ モ リ 6、 8、 1 0、 1 2、 畳み込み嵇分器 5、 ？、 9、 1 1 、 制 御装置 5 0、 5 1、 5 2、 5 3、 5 4、 5 6で補正した音響信号 を再生するので、 複数の再生音像をリ スナ 2 3の左右両眼から所 定距離だけ離れた位置に投影された 生映像に対応する方向に定 位させるようにすることができる。
つま り、 この ¾合、 虚像の位 iS! l 2 の映像の位 IEが前方であ れば前方に、 後方であれば後方に、 左方であれば左方に、 右方で あれば右方に W生音像を定位させるようにするのである。 また、 映像が進行する場合には、 映像の進行に対応して ^生音像を移動 させて、 所定位 Sに定位させるようにするのである。
このとき、 虚像式デイ スプレイ 1 9 3には、 ディ ジタル: ¾度検 出器 2 8またはアナ口グ角度検出器 3 8による リ スナ 2 3の¾準 方向に対する頭部 ^励の 1 報が供給されている。 従って、 リ スナ 2 3力 頭部を回転させたときに、 この 1 報に Sづいて、 リ スナ 2 3の左右 ϊ¾Ι限から所定距離だけ離れた虚像の位置 1 9 2 に投影 された画像を、 あたかも: ¾度を変えて兒ているようにして連続し て変化して えるようにしても^い。
また、 このとき、 へッ ドホ ン 2 4 に リ セ ッ ト スィ ッ チ 1 9 0 を 設け、 リ スナ 2 3がこれを押すことにより、 回転の S準位 ϋ を設定する。 また、 へッ ドホン 2 4の内側に リ セッ ト スイ ッチ 1 9 1 を設け、 頭部にへッ ドホ ン 2 4を装着したとき、 リ セ ッ トが かかるようにしても i¾い。 また、 リ スナ 2 3が予め定められた S 準方向に向いたときにその方向を S準方向に設定するようにして も良い。
上例によれば、 ディ ジタル角度検出器 2 8、 アナ口グ角度検出 器 3 8は リ セッ ト スイ ッチ 1 9 0を有し、 リ セッ トスイ ッチ 1 9 0をオ ンしたときに リ スナ 2 3が向いている方向を^準方向に設 定するようにしたので、 リ セッ 卜スィ ッチ 1 9 0の作励により任 意の方向を正面に設定することができる。
また、 上例によれば、 ディ ジタル角度検出器 2 8、 アナログ ½ 度検出器 3 8 は リ スナ 2 3が予め ¾1められた基準方向に向いたと きにその方向を S準方向に設: £するようにしたので、 予め定めら れた方向を S 方向に 動的に設定することができる。
また、 上例によれば、 へッ ドホ ン 2 4 はリ セッ ト スィ ッチ 1 9 1 を有し、 リ スナ 2 3がへッ ドホ ン 2 4を装若したとき、 デイ ジ タル角度検出 2 8、 アナログ ¾度検出 3 8 は iiii像の位 Ει 9 2の画— ώの正而の ¾"向を 準方向に設定するようにしたので、 へ
G 2 ッ ドホン 2 4の装卷により、 常に映像の画面を正而に設定するこ とができる。 上例では、 へッ ドホ ン 2 4 に リ セ ッ トスィ ッ チ 1 9 ◦、 1 9 1 を設ける例を示したが、 J 像式デイ スプレイ 1 9 3に 設けるようにしても 1¾い。
ス ピーカ配置のシ ミ ュ レーシ ョ ンは、 具休的には、 第 2 1 図〜 2 6図に示すようになる。 1 チ ャ ンネルのモノ ラル再生用のス ピ一力 Si! iSのシ ミ ュ レー シ ョ ンは、 ：Ϊ 2 1 図に示すようになる。 つま り、 リ スナ 2 3が位置する客席 2 1 ϋの前方に、 映像を映し 出す虚像の位置 2 1 1 が配 ϋされる。 このとき、 客席 2 1 0の前 方で、 虚像の位 1 1 の中央にセ ンタ 一ス ピーカ Cが配置され たように苒生音像が定位するように音^の再生をする。
また、 2 チ ヤ ンネルのステ レオ？5生 if]のス ピーカ配置のシ ミ ュ レーシヨ ンは、 第 2 2図に示すようになる。 つま り、 リ スナ 2 3 が位置する客席 2 2 ϋの ilij方に、 映像を映し出す虚像の位置 2 2 1 が配置される。 このとき、 客席 2 2 0の前方で、 虚像の位置 2 2 1 の左方および右方に左ス ピ一力 Lおよび右ス ピ一力 Rが配置 されたように 生音像が定位するように音響の Pi生をする。
また、 3 チ ヤ ンネルの再生用のス ピ一力配 .のシ ミ ユ レーシ ョ ンは、 第 2 3図に示すようになる。 つま り、 リ スナ 2 3が位 [Sす る客席 2 3 0の前方に、 映像を映し出す虚像の位 E' 2 3 1 が配 S される。 このとき、 客席 2 3 0の前方で、 虚像の位 2 3 1 の中 央にセ ンタ ース ピーカ Cが配置され、 虚像の位匿 2 3 1 の左方お よび右方に左ス ピー力 Lおよび右ス ピー力 Rが配 され、 セ ンタ —ス ビーカ の付近にサブゥ一ハス ピー力 Wが配 i されたように 再生音像が: dl位するように音響の 生をする。
また、 4 チ ャ ンネルの W生 fljのス ピー力配 のシ ミ ュ レー シ ョ ンは、 ίϊί 2 ' 図に示すようになる。 つま り、 リ スナ 2 3が位 す る客席 2 Α ϋの 方に、 映像を映し出す ^像の位^ 2 1 が配^ ίϊ 3 される。 このとき、 ？ 席 2 4 0の 方で、 虚像の位 E 2 1 の中 央にセ ンタ ース ピーカ Cが配置され、 虚像の位 2 4 1 の左方お よび右方に左ス ピーカ Lおよび右ス ピー力 Rが配 i され、 さ らに 、 客席 2 4 ϋの後方正 左右および、 後方左右両 liiiにサラ ウ ン ドス ピーカ Sが配匿-され、 セ ンタ ース ピーカ Cの付近にサブゥ一 ハス ピーカ Wが配 Ξされたように ¾生咅像が定位するように音響 の再生をする。
また、 5 チ ャ ンネルの再生用のス ピーカ配 ISのシ ミ ユ レ一ショ ンは、 第 2 5図に示すようになる。 つま り、 リ スナ 2 3が位置す る客席 2 5 0の ¾方に、 映像を映し出す ^像の位 IS 2 1 が配置
6
される。 このとき、 客席 2 5 0の 4前方で、 虚像の位 ϋ 2 5 1 の中 央にセ ンタ ース ピーカ Cが配 12され、 虚像の位 IS 2 1 の左方お よび右方に左ス ピー力 Lおよび右ス ピーカ Rが配 JSされ、 さ らに 、 客席 2 5 0の後方正面左および後方左側面にサラ ウ ン ド左ス ピ 一力 Sし が配置され、 客席 2 5 ϋの後方正面右および後方右側而 にサラ ウ ン ド左ス ピーカ S tt が配！:され、 セ ンタ ース ピーカ Cの 付近にサブウーハス ピーカ Wが配 されたように再生音像が定位 するように音響の再生をする。
上例によれば、 音響再生≡ 段と してのへッ ドホン 2 4 は映像再 生手段と しての虚像式ディ スプレイ 1 9 3の映像信号の再生によ り リ スナ 2 3の左右両眼から所定 ¾離だけ離れた位 に投影され た再生映像に対応する方向であって、 リスナ 2 3の前方中央、 前 方右、 前方左、 後方右および後方左に 5 チャ ンネルの再生音 が 定位するように、 制御手段と してのメ モ リ ΰ、 8、 1 ϋ、 1 2、 畳み込み 分器 5、 7、 9、 1 1 、 制御 ¾ S 5 0、 5 1 、 5 2、 5 3、 5 4、 5 で袖正した音響信 を再生するので、 ί¾方中央 、 fjTj方右、 ί 力左、 後方おおよび後方左の 5チャ ンネルの ί生音 像を リ スナ 2 3の左右両限から所定距離だけ離れた位置に投影さ れた 生映像に対応する方向に定位させるようにすることができ る。 また、 更に、 サブウーハチヤ ンネルと して、 低域再生音のみ を W生するチャ ンネルを、 例えばセ ンタ ース ピー力付近に設けて も J¾い。 また、 8 チ ャ ンネル以上でも^い。
また、 前方 5 チ ヤ ンネル、 後方 2 チ ャ ンネルの再生用のス ピ一 力配 [ のシ ミ ュ レーシ ョ ンは、 2 6図に示すようになる。 つま り、 リ スナ 2 3が位置する客席 2 ΰ 0の前方に、 映像を映し出す 虚像の位匿 2 6 1 が配置される。 このとき、 客席 2 6 0の前方で 、 虚像の位 2 6 1 の中央にセ ンタ ース ピーカ Cが配 ϋされ、 虚 像の位置 2 6 1 の左方および右方に左ス ピーカ Lおよび右ス ピー 力 Rが配 IIされ、 さ らに、 セ ンタ 5ース ピーカ Cと左ス ピーカ Lと の (10に左エキス ト ラ ス ピーカ L Ε を配 Εし、 セ ンタ ース ピーカ C と右ス ピーカ Rとの 1¾に右エキス ト ラス ピーカ R Ε を配 -匿し、 客 席 2 6 0の後方左側面にサラ ウ ン ド左ス ピーカ S L が配置され、 客席 2 6 0の後方右側面にサラ ウ ン ド左ス ピーカ S R が配置ざれ たように再生音像が定位するように音響の再生をする。 更に、 サ ブゥ—ハチャ ンネ'ルと して、 低域: {!]：生音のみを再生するチャ ンネ ルのサブゥ 一ハス ピ一力 Wを、 例えばセ ンタ ース ピーカ C付近に 設けても良い。 また、 8 チ ャ ンネルス ピーカ Xを設けても^く 、 更に 8 チ ャ ンネル以上でも良い。
上例によれば、 音響再生手设と してのへッ ドホ ン 2 4 は映像再 生手段と しての虚像式ディ スプレイ 1 9 3の映像信号の再生によ り リ スナ 2 3の左右両服から所定距 だけ離れた位 ϋに投影され た再生映像に対応する方向であって、 リ スナ 2 3の前方中央、 前 方右、 前方左、 し:；右 央、 方左中央、 後方右および後方左に 7 チ ャ ンネルの ΐη:生音像が定位するように、 制御 と してのメ モ リ G、 8、 1 0、 1 2、 み込み ffi分器 5、 7、 9、 1 1 、 制 御^ IS 5 ϋ、 5 1 、 5 2、 5 3、 5 4、 5 6で補正した音響 - ¾ を 生するので、 前方中央、 前力右、 i 方左、 i¾—力右中央、 前方 左中央、 後方右および後方左の 7チ ャ ンネルの再生咅 ϊ を リ スナ 2 3の左右両眼から所定距離だけ離れた位 ϋに投¾された 生映 像に対応する方向に定位させるようにすることができる。 また、 更に、 サブウーハチヤ ンネルと して、 低域再生音のみを再生する チ ャ ンネルを、 例えばセ ンタ 一ス ピ一力付近に設けても βい。 ま た、 8チ ャ ンネ ル以上でも βい。
また、 筇 2 ϋ図〜第 2 6図において、 虚像の位^ 1 9 2、 2 1 1、 2 2 1、 2 3 1、 2 4 1、 2 5 1、 2 6 1 は、 例えば、 光 系と してのレ ンズ 1 8 2および 1 8 3を調整することにより、 シ ネマス コ 一プサィ ズ、 ビス タサイ ズ等の^数の画面サィ ズを冇し 、 この画而サイ ズに対応して、 それぞれ、 生音像を定位させる ようにしても βい。 このとき、 ' 5図、 第 1 6図及び 2 1 7図 において、 画面サイ ズに づく切り替え信号を入力端子 6 5に入 力するようにする。
また、 虚像式ディ スプレイ 1 9 3には、 ディ ジタ ル ½度検出器 2 8またはアナログ角度検出器 3 8による リ スナ 2 3の S準方向 に対する頭部迩励の情報が供給されている。 従って、 リ スナ 2 3 が、 頭部を回転させたときに、 この I 報に ¾づいて、 第 2 1図か ら第 2 6図において、 リスナ 2 3の左右両 から所定距離だけ離 れた虚像の位^ 2 1 1、 2 2 1、 2 3 1、 2 4 1、 2 5 1、 0 1 に投影された画像を、 あたかも角度を変えて兒ているようにし て迪続して変化して見えるようにしても良い。
上例によれば、 :像の位 IS 1 3 2、 2 1 1、 2 2 1 、 2 3 1 、 2 4 1. 2 5 1. 2 6 1 は^数の画而サイ ズを し、 ヘッ ドホン
2 u m而サィ ズに対応するようにして、 虚 式デイ スプレイ 1
9 3により リ スナ 2 3の左右両 から所^距 i¾iだけ離れた位 Sに 投影された TO生映像に対^する方向に、 ¾数の ffl生 ΐϊ像が: 位す
G G るように、 メ モ リおよび畳み込み積分器 5、 6、 7、 8、 9、 1 0、 1 1、 1 2、 制御装置 5 ϋ、 5 1、 5 2、 5 3、 5 4、 5 6 で袖正した音響信号を再生するので、 虚像の位 E! l 9 2、 2 1 1 、 2 2 1、 2 3 1、 2 4 1、 2 5 1、 2 6 1 の画而サィ ズが変わ つても、 リ スナ 2 3の左右両限から所定距離だけ離れた位置に投 影された再生映像 こ対応する方向に複数の W生音像を定位させる ようにすることができる。
また、 第 2 0図〜第 2 6図において、 虚像式ディ スプレイ 1 9 3は、 例えば、 リ スナ 2 3の前方および後方、 左方および右方に 配置するようにして、 この虚像の位隠 1 9 2、 2 1 1、 2 2 1、 2 3 1、 2 4 1、 2 5 1、 2 6 1 の画面の映像に対応するように 、 それぞれ、 再生音像を定位させるようにしても良い。
また、 第 2 0図〜第 2 6図において、 虚像式ディ スプレイ 1 9 3は、 リスナ 2 3を覆うようにして、 リ スナ 2 3の前方および後 方、 左方および右方、 上方および下方に E置するようにして、 こ のこの虚像の位置 1 9 2、 2 1 1、 2 2 1、 2 3 1、 2 4 1、 2 5 1、 2 6' 1 の画 βϊίの映像に対応するように、 それぞれ、 再生音 像を定位させるようにしても良い。
上例の場合には、 特にゲーム機において、 映像の励く方向から 映像の移動に対応して、 再生音像を定位させる用途に最適なもの である。
上例によれば、 映像再生手段と しての虚像式ディ スプレイ 1 9 3 はリ スナ 2 3を SIうように、 少なく とも リ スナ 2 3の前方およ び後方、 右方および左方に配置され、 音響再生手段と してのへッ ドホ ン 2 4 は映像^生手] ¾と しての虚像式デイ スプレイ 1 9 3の 映像信号の 生により リ スナ 2 3の左右両眼から所定距離だけ^ れた に投影された再生映像に対応する方向に任 の^数の: Ρ]: 生音像が定位するように、 制御手段と してのメ モ リ G、 8、 1 0 、 1 2、 畳み込み Si分器 5、 7、 9、 1 1 、 制御装置 5 ϋ、 5 1 、 5 2、 5 3、 5 4、 5 Gで i正した音響信号を ¾生するので、 前方および後方、 右方および左方の複数の苒生音像をリ スナ 2 3 の左右両眼から所: £距離だけ離れた位 Sに投影された 生映像に 対応する方向に定位させるようにすることができる。
更に、 上述においては、 リ スナ 2 3の頭の水平面内における向 きについてのみ考慮したが垂直面内および、 これらと直交する面 内における向きについても同様に処 ΗΓすることも出来る。
上例によれば、 角度検出手段と してのディ ジタル 3度検出器 2 8、 アナ口グ Λ度検出器 3 8 は、 リ スナ 2 3の S (』方向に対する 上方および下方の回 ; ί¾度を併せて検出し、 映像¾生手段と して の虚像式ディ スプレイ 1 9 3 はリ スナ 2 3を IIうように、 少なく とも リ スナ 2 3の前方および後方、 右方および左方、 上方および 下方に配置され、 音 再生手段と してのへッ ドホ ン 2 4 は映像再 生手段と しての虚像式ディ スプレイ 1 9 3の映像信号の苒生によ り リ スナ 2 3の左右両眼から所定距^だけ離れた位置に投影され た再生映像に対応する方向に任 の複数の再生音像が^位するよ うに、 制御手段と してのメ モ リ 6、 8、 1 0、 1 2、 畳み込み積 分器 5、 7、 9、 1 1 、 制御装置 5 0、 5 1 、 5 2、 5 '3、 5 4 、 5 6で Μ正した音響信号を再生するので、 前方および後方、 右 方および左方、 上方および下方の? 数の再生音像を リ スナ 2 3の 左右両限から所定距離だけ ί¾れた位 Ηに投影された再生映像に対 応する方向に定位させるようにすることができる。 産業上の利川の可能性
こ 発明の映像信号及び音響信号の^生 ！:は、 特に、 ゲーム 機において、 映像の動く方向から映像の移動に対応して、 収¾ のマイ クの位^および音源の位 またはいずれか一方の位 を示 ΰ 8 す再生音像位置情報に Sづいて再生音像を定位させる用途に通適 なものである。 また、 この再生音像の位 を双方向で定位させる Jfl途に適川することができる。

Claims

求 の ^
. 映像 号と^数チャ ンネルの音響信 とを供 する信号源と 聴取者の ilfi部の S準方向に対する仮 ΐί源位 Κから聴取者の 部の動きに対応した ϊ¾耳に至るィ ンパルス レス ポ ンスを測 し、 上記ィ ンパルス レス ポ ンスを記 tfiし、 または聴取者が識別 できる角度^に、 ¾取者の頭部の s準方向に対する仮 i音源位 置から聡取者の両 に至る音！5信号の 差及びレベル差を測 定し、 測定した結¾に ¾づいて上記信号源からの音響信 ¾の^ 間差及びレベル差を表す制御信 を記 isした ϊπηδ^设と、 上記 s準方向に対する少なく ともひとりの聪取者の ¾部の迎 勖を所定 ½度'? ¾に検出して を出力する少なく ともひとつの ;]度検出手段と、
上記記 1:S手段に記 tsされたイ ンパルス レス ポ ンスまたは制御 信号を読み出すために上記記 t 手段に供給するァ ドレス β号を 生成するァ ドレス信号生成手段と、
上記信号 から供給される映像信号を ¾生する映像信号: Pi生 手]:殳と、
上記映像信号再生^"段上の仮 音源と^取者の頭部との ffl対 的移動を検出する検出手段と、
上記角度検出手 ]¾からの ½度に対応した信号と上記検出手段 からの出力信号とに基づいて、 上記ア ド レス信号生成手段によ つて生成された了 ドレス信号により上記記 tな手] ¾の了 ド レスを 指定することによって、 上 記 ^竿段に記 tSされたイ ンバルス レス ポ ンスまたは制御信号を^み出し、 上記記 か.ら^み 出されたィ ンパルス レスポンスまたは制御信号に ¾づいて上記 音 0"号を聴取者の上記映像信号 W生 の仮 ( 源に対する 相対的移励及び聴取 ¾の頭部の^励に対して リ アルタイ ムで Μ 正することに，!： つて、 上記映像信号 ¾生手段により再生された 映像に対応する方^に複数の :生音像が定位するように上記信 号源からの音^信号を袖正する制御手段と、
聴取者の Si部に装着可能で、 上記制御手段で 正された音響 信号が供給され、 上記映像信号再生手段により ¾生された映像 に対応する位置に複数の再生音像が定位するように、 上記制御 手段で補正された音響信号を再生する音響信¾ ¾生芋段と を i えていることを特徴とする映像信号及び音響信号の再生 装 。
2 . 上記検出手段は、 上記信号源からの映像信号及び音 M言号と ともに出力される位 ϋ 報を拙出する illl出手段を備え、 上 M U\ 出手段からの出力信号が上記制御手段に供給されることを特徴 とする請求の範囲第 1 i記載の映像信号及び音響信号の再生装 置。
3 . 上記検出手段は、 聴取者の頭部に 着されて聴取者の上記映 像信号再生手段に対する相対的移動を検出する位 IS検出手段を ϋえ、 上記位置検出芋段からの検出信号が上記制御^ ¾に供給 されることを特徴とする諳求の範圆第 1 ¾記載の映像信号及び 音響信号の ¾生 置。
4 . 上記位置検出手段は、 上記音響信号再生手段に設けられてい ることを特徴とする請求の範图笾 3项記载の映像信号及び音！? 信号の再生装置。
5 . 上記位置検出手段は、 少なく とも上記 S準方向に対する ¾取 ' 者の頭部の回転情報及び上記基準位 に対する聴取者の頭部の 接近または離隔の情報に ¾づいて、 上記角皮検出 ^段からの角 度情報の座^を変更するようにしたことを特徴とする請求の範 mm 3项記載の映像信号及び音響信号の 生 ；。
6 . 上記位 is検出^段は、 少なく とも上記 a準方向に対する ¾取 者の頭部の回^ 1 報及び上記基準位^に対する接近または離隔 の' Ι7ί報を、 上記角度検出手役からの ¾度情報に付加することに よつて上記 ½度検出手 Κからの角度^ ¾を変 するようにした ことを特徴とする請求の範圆^ 3 ¾記載の映像信号及び音 If信 号の再生 置。
7 . 上記 ½度検出手段は、 リ セ ッ ト スイ ッチを備えているととも に、 上記 ¾度検出手段は上記リ セ ッ ト スィ ッチが才 ン 作され たときに聴取者が向いている方向に s準方向が設^されるよう にしたことを特徴とする^求の^ ΐϋ ΐ 1 项記載の映像 号及び 音響信号の再生 iS。
8 . 上記: ¾度検出芋设には、 聴取者が予め: £められた S準方向に 向いたときに、 その方向を ¾準方向に設定するようにしたこと を特徴とする請求の範囲^ 1 記載の映像信号及び音 ¥' 号の 再生装匿。 - 9 . 上記音響信号再生手段は、 リ セ ッ ト ス ィ ッ チを <1え、 聴取者 が上記音響信号再生手段を装着したときに上記リ セ ッ ト スイ ツ チが提作されて、 上記角度検出手段に上記映像信号再生手段の 画面の正 IE方向を基準方向に設定されることを特徴とする請求 の範 HE第 1 ¾5記載の映像信号及び音 M '号の W生装匿。
1 0 . 上記装置は、 更に上記映像信号 W生手段の表示部の大きさに Sづく信号をデータ とする入力手段を備え、 上記入力手段から の信号は、 上記ァ ドレス信号 成芋段に供給され、 上記ァ ドレ ス信号生成 段は、 上記 出手段からの免度に対応した信 号、 上記検出手段からの出力信号及び上記入力手段によつて入 力されたデータに対応するァ ドレス信号を生成することを特徴 とする^求の範图^ 1 项記載の映像 β号及び音響信 の Κ生^ IS。
1 1 . 上記； ¼度検出^设は、 聴取者の ϋ準方向に対する上方及び下 方の回 fe¾度をあわせて検出するとともに、 上 i!音 11信号再生 手段は、 上記角度検出手段によって検出された上下方向の回転 角度にあわせて上記記惊手段から読み出されたイ ンパルス レス ポンスまたは制御信 ¾に^づいて上記制御手段によつて 正さ れた音響信号を再生することにより、 上記映像信号 生手段に より？ ί生された映像に対応する方向に任意の ¾ 数の苒生音像が 定位することを特徴とする^求の範 1 ¾i記載の映像信号及 び音響信 ¾の可生装 E。 ·
2 . 、上記映像 号 1 生手] ¾は、 聴取者の頭部に装 ¾可能であり、 ¾取者の両眼に対向して設けられ、 聴取者の両 II から所定距離 離れた位^に 生映像が投^されるものであることを特徴とす る請求の範囲 1 ¾記^の映像信号及び咅 ϊΤ号の 生装置。 3 . 上記映像信 TO生手段は、 聴取者の頭部に装着される ¾部装 着体と、 上記頭部装着体の聴取者の両眼に対応する位置に各々 配される一対の表示部を儲えているこ とを特徴とする請求の範 HI第 1 2项記載の映像信号及び音響信号の再生装^。
4 . 上記映像信号再生手段は、 更に聴取者の両眼と上記一対の表 示部との問に各々配された一対の矩形状の非球面のレ ンズを備 えていることを 徴とする請求の範圆第 1 3 ¾記載の映像信号 及び音響信号の再生装置。
5 . 上記映像 号 生手段は、 ¾取者の頭部に装着される頭部装 着体と、 上記頭部 着体の聴取者の ^限に対応する位置に各々 ί される一対の虚像式ディ スプレイュニッ トを^えていること を特徴とする請求の範園^ 1 2项記 ϋの映像信号及び音饗信号 ' の再生装 IS。
G . チャ ンネ ルの音響信号を供給する信号源と、
聴取 ¾の 部の 準方^に対する仮想 ¾源の位 から聴取者 の 部の! ¾きに対応した両: に至るイ ンパルス レス ポ ンスを測 定し、 上記ィ ンパルス レス ポ ンスを記 I し、 または聴取 ¾が識 別できる ½度¾に、 1¾取者の 部の S準方向に対する仮想音源 の位置から聴取者の両 If に至る音 1 の時 ill]差及びレベル差 を測定し、 測定した に Sづいて上記信号源からの咅響信号 の時 ^差及びレベル差を衷す制御 号を記^した記 手段と、 上記 ¾準方向に対する少なく ともひとりの聴取者の頭部の迎 動を所定 ½度 ¾に検出して 号を出力する少なく ともひとつの 角度検出手 1¾と、
上記記 1: 手投に記 tSされたィ ンバルス レスポ ンスまたは制御 信号を読み出すために上記記憶 ^段に供給するァ ドレス信号を 生成する了 ドレス信号生成 ΐ ¾と、
上 己仮 ¾ 源の位 ISと聴取 ¾の 部との相対的移励を検出す る検出 段と、
上記角度検出手段からの; ¾度に対応した^号と上記検出 段 からの出力信号とに Sづぃて、 上記ア ド レス信号生成手段によ つて生成されたァ ド レス信号により上記記愆手设のア ド レスを 指定することによって、 上記記 ts手段に記 ΐ¾されたィ ンパルス レス ポ ンスまたは制御信号を読み出し、 上記記 手段から読み 出されたィ ンパルス レスポンスまたは制御信号に aづいて上記 音 信号を聴取者の上記仮愆音源の位置に対する相対的移動及 び聴取者の II部の 勁に対して リ アルタイ ムで Μ正することに よって、 上記仮想音¾の方向に^致の再生音像が定位するよう に上記信号源からの音 M3号を^正する制御手段と、
聴取者の ΠΠ部に装着可能で、 上記制御手 で i正された ¾響 信号が供 され、 上記仮 ΙΙ ΐϊ源の方向に ¾数の^生音像が定位 するように、 上記制御 ΐ设で補正された^響信 を: Ρΐ生する 響信号 TO生手 ¾と
を えていることを特 とする音 Mcl号の :生 ¾i i2。
1 7 . 上記検出手^は、 上記信号源からの音響信号とと もに出力さ れる位匿1 報を 出する拙出手段を備え、 上記抽出手] ¾からの 出力信号が上記制御 ^段に供給されることを特徴とする^求の mm i 6項記載の音響信号の 生装 。
1 8 . 上記検出芋段は、 聴取者の頭部に装著されて聴取者の上記仮 想音源の位置に対する相対的移動を検出する位 ia検出手段を備 え、 上記位 E検出手段からの検出信号が上記制御乎段に供給さ れることを特徴とする^求の範囲第 1 6 ¾3記載の昔響信号の再 生装 is：。
1 9 . 上記位 検出手段は、 上記音 M言号再生手段に設けられてい ることを特徴とする ¾求の^ 1 8项; 1載の音響信号の再生 装置。
2 0 . 上記位 ia検出手段は、 少なく とも上記 s準方向に対する聴取 者の頭部の回転 1' 報及び上記基準位^に対する ¾取者の頭部の 接近または離隔の情報に δづいて、 上記 ½度検出手段からの '角 度情報の座標を変更するようにしたことを特徴とする請求の範 m 1 8项記狨の音饗信号の w生装置。
2 1 . 上記位 E検出手段は、 少なく とも上記基準方向に対する聴取 者の頭部の回転情報及び上記 S準位 に対する接近または離隔 の 報を、 上記 ½度検出手设からの ½度 1 ί'ί報に付加するこ とに , よ つて上記角度検出手段からの角度情報を変更するようにした ことを特徴とする詰'求の範! II第 1 8项記載の音 号の再生装 置。
2 2 . 上記: ¾度検出手段は、 リ セ ッ ト ス ィ ッ チを えているととも に、 上記角度検出手段は上記リ セ ッ ト ス ィ ッチがォ ン操作され たときに聴取者が いている方向に 準方向が設定されるよう にしたことを特徴とする 求の $ 11第 1 6项記^の ΐί 号の 再生^ i 。
2 3 . 上記 ft度検出手段には、 聴取者が予め定められた S準方 1 に 向いたときに、 その方向を ¾準方向に設定するようにしたこと を特徴とする請求の範 1 第 1 6 ¾記載の音響 1 号の再生装置。
2 4 . 上記音響信号再生手段は、 リ セッ ト スィ ツチを倫え、 聴取者 が上記音 I 信号再生手段を装 ¾したときに上記リ セ ッ ト スイ ツ チが操作されて、 上記; ¾皮検出手 に上記仮想音源の位置の正 面方向を 準方向に設定されることを特徴とする請求の範 Ι ίβ 1 6项記載の音響信号の W生 {Ε。
2 5 . 上記 ft度検出手段は、 聴取者の ¾準方向に対する上方及び下 方の回転 ¾度をあわせて検出するとともに、 上記音 ΐ!信号？5生 手段は、 上記角皮検出手 ]¾によって検出された上下方向の回 ^ ；¾度にあわせて上記記^乎段から読み出されたィ ンパルス レス ポンスまたは制御信号に ¾づいて上：ΰ制御手段によつて袖正さ れた音響信号を苒生することにより、 上記仮想音源に対応する 方向に任意の 数の再生音像が定位することを特徴とする^求 の範囲 ί ΐ 6 ¾記載の音響信号の: ίΐί生装置。
2 6 . 映像信号と複数チ ヤ ンネルの音響信号とを供給する信号源と 仮想音源位 iSに対する少なく ともひとりの聴取者の頭部の運 動を所定角度 ffiに検出して信号を出力する少なく ともひとつの J度検出手段と、
上記信号源から供給される映像信号を W illする映像 ^号再生 手段と、
上記映像信号 生手段上の仮想音源と聴取者の頭部との相対 的移動を検出する検出^段と、
2準方向に対して聴取者の 部が回転したときに、 上記 号 源からの音 H i 号を再生された音像が上記仮 £1音源位置に^位 するように上記信号源からの音響信号を 正する^数の M正デ —タが記 1:Sされた記 ts手 J¾と、
上記 ½度検出手段からの聴取者の ¾度情報に基づいて、 上記 記憶手段から選択的に補正データを読み出して上記信号源から の音響信号を 正するとともに、 上記検出手段からの検出信号 に Sづいて上記角度検出手段からの聴取者の ft度 1 ¾Πこ基づい て上記記憶手段から読み出される袖正データを変更する制御手 段と、
聴取者の 1ΪΙ部に装着可能で、 上記制御手段で Μ正された音響 信号が供給され、 上記映像信号 W生手段により再生された映像 に対応する位置に複数の再生音像が定位するように、 上記制御 手段で 正された音響信号を ¾生する音響信号苒生手 と
を備えていることを特徴と Vる映像信号及び音響信号の再生 装置。
7 . 上記記憶手段には、 聴取者の頭部の基準方向に対する仮想音 源位置から聴取者の頭部の動きに対応した両耳に至るィ ンパル ス レスポ ンスを測定し、 上記ィ ンパルス レス ポ ンスを記憶し、 または聴取者が;^別できる角度毎に、 聴取者の頭部の基準方向 に対する仮想音源位 S!から聴取者の両耳に至る音響信号の時 1¾ 差及びレベル差を測定し、 測定した結 ¾に基づいて上記信号源 からの音響信号の時 η¾差及びレベル差を表す制御信号が記 tsさ れていることを特徴とする詰求の範囲笫 2 6 ¾記截の映像信号 及び音，信号の W生装 11。
8 . 上記装 は、 更に上記記 手段に記 されたイ ンパルス レス ポンスまたは制御信号を み出すために上記記 tS手段に供給す るア ドレス β号を生成する了 ドレス信号生成手段を えている ことを特徴とする^求の範图^ 2 7项記載の映像信号及び音響 信号の再生装 。
9 . 上記検出竽设は、 上記信号源からの映像信号及び音 I信号と
1- ともに出力される位-匿
5 m報を拙出する抽出手 を備え、 上記 ί山 出手段からの出力信号が上記制御手段に供給されることを特徴 とする 求の範囲^ 2 6项記^の映像信号及び音響信号の再生 装!！。
5 3 0 . 上記検出手段は、 聴取者の on部に装着されて 1 取者の上記映 像信号再生手段に対する祀対的移動を検出する位 [ 検出手段を 備え、 上記位 検出手段からの検出信号が上記制御手段に供給 されることを特徴とする^求の^ i OB ^ 2 G ¾Οΰ ϊ¾の映像信号及 び音^信号の W生装^。
10 3 1 . 上記位 ΙΞ検出 段は、 上記音 信号再生手设に設けられてい ることを特徴とする 求の 3 0项記載の映像信号及び 響信号の再生装 Ξ。
20
5
PCT/JP1995/000197 1994-02-14 1995-02-14 Systeme de reproduction visuelle et sonore WO1995022235A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP52111795A JP3687099B2 (ja) 1994-02-14 1995-02-14 映像信号及び音響信号の再生装置
US08/513,806 US5796843A (en) 1994-02-14 1995-02-14 Video signal and audio signal reproducing apparatus
EP95907878A EP0695109B1 (en) 1994-02-14 1995-02-14 Device for reproducing video signal and audio signal
MX9504157A MX9504157A (es) 1994-02-14 1995-02-14 Aparato reproductor de señal de video y de señal de audio.

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP6/17601 1994-02-14
JP1760294 1994-02-14
JP1760194 1994-02-14
JP6/17602 1994-02-14
JP3497594 1994-03-04
JP6/34975 1994-03-04
JP6/37254 1994-03-08
JP3725494 1994-03-08

Publications (1)

Publication Number Publication Date
WO1995022235A1 true WO1995022235A1 (fr) 1995-08-17

Family

ID=27456807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1995/000197 WO1995022235A1 (fr) 1994-02-14 1995-02-14 Systeme de reproduction visuelle et sonore

Country Status (4)

Country Link
US (1) US5796843A (ja)
EP (1) EP0695109B1 (ja)
JP (1) JP3687099B2 (ja)
WO (1) WO1995022235A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002052897A1 (fr) * 2000-12-25 2002-07-04 Sony Corporation Dispositif de localisation d'image sonore virtuelle, procede de localisation d'image sonore virtuelle, et moyen de stockage
JP2002263365A (ja) * 1996-10-01 2002-09-17 Sony Computer Entertainment Inc ゲーム装置
JP2010147529A (ja) * 2008-12-16 2010-07-01 Sony Corp 情報処理システムおよび情報処理方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051888A (ja) * 1996-05-28 1998-02-20 Sony Corp スピーカ装置および音声再生システム
US7085387B1 (en) 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
KR0185021B1 (ko) * 1996-11-20 1999-04-15 한국전기통신공사 다채널 음향시스템의 자동 조절장치 및 그 방법
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JPH11220797A (ja) * 1998-02-03 1999-08-10 Sony Corp ヘッドホン装置
GB2351425A (en) * 1999-01-20 2000-12-27 Canon Kk Video conferencing apparatus
US6239348B1 (en) * 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
JP4737804B2 (ja) * 2000-07-25 2011-08-03 ソニー株式会社 音声信号処理装置及び信号処理装置
JP4679699B2 (ja) * 2000-08-01 2011-04-27 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
EP1194006A3 (en) * 2000-09-26 2007-04-25 Matsushita Electric Industrial Co., Ltd. Signal processing device and recording medium
JP2002171460A (ja) * 2000-11-30 2002-06-14 Sony Corp 再生装置
WO2002052895A1 (de) * 2000-12-22 2002-07-04 Harman Audio Electronic Systems Gmbh Anordnung zur auralisation eines lautsprechers in einem abhörraum bei beliebigen eingangssignalen
AUPR333001A0 (en) * 2001-02-23 2001-03-22 Lake Technology Limited Sonic terrain and audio communicator
WO2004032351A1 (en) * 2002-09-30 2004-04-15 Electro Products Inc System and method for integral transference of acoustical events
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
US20070009120A1 (en) * 2002-10-18 2007-01-11 Algazi V R Dynamic binaural sound capture and reproduction in focused or frontal applications
US20040091120A1 (en) * 2002-11-12 2004-05-13 Kantor Kenneth L. Method and apparatus for improving corrective audio equalization
JP2006086921A (ja) * 2004-09-17 2006-03-30 Sony Corp オーディオ信号の再生方法およびその再生装置
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
EP1675432A1 (de) * 2004-12-27 2006-06-28 Siemens Aktiengesellschaft Mobiles Kommunikationsendgerät zum Erzeugen einer ortsfesten virtuellen Schallquelle
EP1851656A4 (en) * 2005-02-22 2009-09-23 Verax Technologies Inc SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA
US7612793B2 (en) * 2005-09-07 2009-11-03 Polycom, Inc. Spatially correlated audio in multipoint videoconferencing
JP5067595B2 (ja) * 2005-10-17 2012-11-07 ソニー株式会社 画像表示装置および方法、並びにプログラム
TW200717402A (en) * 2005-10-31 2007-05-01 Asustek Comp Inc Monitor with prompting sound effects
WO2007112756A2 (en) * 2006-04-04 2007-10-11 Aalborg Universitet System and method tracking the position of a listener and transmitting binaural audio data to the listener
GB2437399B (en) * 2006-04-19 2008-07-16 Big Bean Audio Ltd Processing audio input signals
US7792674B2 (en) * 2007-03-30 2010-09-07 Smith Micro Software, Inc. System and method for providing virtual spatial sound with an audio visual player
KR100947027B1 (ko) * 2007-12-28 2010-03-11 한국과학기술원 가상음장을 이용한 다자간 동시 통화 방법 및 그 기록매체
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
JP2011101229A (ja) * 2009-11-06 2011-05-19 Sony Corp 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
US10158958B2 (en) * 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
EP2550809B8 (en) * 2010-03-23 2016-12-14 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR101652401B1 (ko) * 2010-09-07 2016-08-31 삼성전자주식회사 입체 영상 디스플레이 장치 및 입체 영상 표시 방법
TWI453451B (zh) * 2011-06-15 2014-09-21 Dolby Lab Licensing Corp 擷取與播放源於多音源的聲音之方法
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
US10448161B2 (en) 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
WO2014161995A1 (en) 2013-04-05 2014-10-09 Dolby International Ab Audio encoder and decoder for interleaved waveform coding
KR101799294B1 (ko) 2013-05-10 2017-11-20 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9813837B2 (en) 2013-11-14 2017-11-07 Dolby Laboratories Licensing Corporation Screen-relative rendering of audio and encoding and decoding of audio for such rendering
KR102356246B1 (ko) * 2014-01-16 2022-02-08 소니그룹주식회사 음성 처리 장치 및 방법, 그리고 프로그램
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
JP6522105B2 (ja) * 2015-03-04 2019-05-29 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体
CN105260016B (zh) * 2015-09-24 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN105407443B (zh) 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
EP3322200A1 (en) * 2016-11-10 2018-05-16 Nokia Technologies OY Audio rendering in real time
CN110572760B (zh) * 2019-09-05 2021-04-02 Oppo广东移动通信有限公司 电子设备及其控制方法
CN114422935B (zh) * 2022-03-16 2022-09-23 荣耀终端有限公司 音频处理方法、终端及计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944198A (ja) * 1982-09-06 1984-03-12 Matsushita Electric Ind Co Ltd ヘツドホン装置
JPH01112900A (ja) * 1987-10-26 1989-05-01 Sony Corp ヘッドホン装置
EP0438281A2 (en) 1990-01-19 1991-07-24 Sony Corporation Acoustic signal reproducing apparatus
JPH0414999A (ja) * 1990-05-08 1992-01-20 Yamaha Corp 音像定位装置
EP0479605A2 (en) 1990-10-05 1992-04-08 Texas Instruments Incorporated Method and apparatus for providing a portable visual display
JPH04192066A (ja) * 1990-11-27 1992-07-10 Matsushita Electric Works Ltd 商品疑似体験ショウルームシステム
JPH04249500A (ja) * 1990-10-05 1992-09-04 Texas Instr Inc <Ti> オンラインで指向性音響を提供する方法並びに装置
JPH0591582A (ja) * 1991-09-30 1993-04-09 Sony Corp 映像表示装置
JPH05115099A (ja) * 1991-10-22 1993-05-07 Nippon Telegr & Teleph Corp <Ntt> 頭外定位ヘツドホン受聴装置
JPH05168097A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 頭外音像定位ステレオ受聴器受聴方法
JPH05252598A (ja) * 1992-03-06 1993-09-28 Nippon Telegr & Teleph Corp <Ntt> 頭外定位ヘッドホン受聴装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4952024A (en) * 1986-08-29 1990-08-28 Gale Thomas S Three-dimensional sight and sound reproduction apparatus for individual use
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5495534A (en) * 1990-01-19 1996-02-27 Sony Corporation Audio signal reproducing apparatus
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5526183A (en) * 1993-11-29 1996-06-11 Hughes Electronics Helmet visor display employing reflective, refractive and diffractive optical elements

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944198A (ja) * 1982-09-06 1984-03-12 Matsushita Electric Ind Co Ltd ヘツドホン装置
JPH01112900A (ja) * 1987-10-26 1989-05-01 Sony Corp ヘッドホン装置
EP0438281A2 (en) 1990-01-19 1991-07-24 Sony Corporation Acoustic signal reproducing apparatus
JPH0414999A (ja) * 1990-05-08 1992-01-20 Yamaha Corp 音像定位装置
EP0479605A2 (en) 1990-10-05 1992-04-08 Texas Instruments Incorporated Method and apparatus for providing a portable visual display
JPH04249500A (ja) * 1990-10-05 1992-09-04 Texas Instr Inc <Ti> オンラインで指向性音響を提供する方法並びに装置
JPH04192066A (ja) * 1990-11-27 1992-07-10 Matsushita Electric Works Ltd 商品疑似体験ショウルームシステム
JPH0591582A (ja) * 1991-09-30 1993-04-09 Sony Corp 映像表示装置
JPH05115099A (ja) * 1991-10-22 1993-05-07 Nippon Telegr & Teleph Corp <Ntt> 頭外定位ヘツドホン受聴装置
JPH05168097A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 頭外音像定位ステレオ受聴器受聴方法
JPH05252598A (ja) * 1992-03-06 1993-09-28 Nippon Telegr & Teleph Corp <Ntt> 頭外定位ヘッドホン受聴装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0695109A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002263365A (ja) * 1996-10-01 2002-09-17 Sony Computer Entertainment Inc ゲーム装置
WO2002052897A1 (fr) * 2000-12-25 2002-07-04 Sony Corporation Dispositif de localisation d'image sonore virtuelle, procede de localisation d'image sonore virtuelle, et moyen de stockage
JP2010147529A (ja) * 2008-12-16 2010-07-01 Sony Corp 情報処理システムおよび情報処理方法
US8644531B2 (en) 2008-12-16 2014-02-04 Sony Corporation Information processing system and information processing method

Also Published As

Publication number Publication date
EP0695109A1 (en) 1996-01-31
US5796843A (en) 1998-08-18
EP0695109A4 (en) 2004-12-22
EP0695109B1 (en) 2011-07-27
JP3687099B2 (ja) 2005-08-24

Similar Documents

Publication Publication Date Title
WO1995022235A1 (fr) Systeme de reproduction visuelle et sonore
US6741273B1 (en) Video camera controlled surround sound
JP3422026B2 (ja) オーディオ再生装置
US7602921B2 (en) Sound image localizer
US7333622B2 (en) Dynamic binaural sound capture and reproduction
JP3385725B2 (ja) 映像を伴うオーディオ再生装置
US20170127035A1 (en) Information reproducing apparatus and information reproducing method, and information recording apparatus and information recording method
US20070009120A1 (en) Dynamic binaural sound capture and reproduction in focused or frontal applications
US11877135B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
JP2009077379A (ja) 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
US20130243201A1 (en) Efficient control of sound field rotation in binaural spatial sound
Maempel The virtual concert hall—A research tool for the experimental investigation of audiovisual room perception
JP2671329B2 (ja) オーディオ再生装置
JP2005535217A (ja) オーディオ処理システム
JP2011188287A (ja) 映像音響装置
Malham Toward reality equivalence in spatial sound diffusion
US6718042B1 (en) Dithered binaural system
KR20100000991A (ko) 공연 관람을 위한 비디오 및 오디오 정보 전달 시스템
Klepko 5-channel microphone array with binaural-head for multichannel reproduction
JP2000209692A (ja) 音声空間の再生方法およびその装置
JPH08140200A (ja) 立体音像制御装置
Hoose Creating Immersive Listening Experiences with Binaural Recording Techniques
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
Kapralos Auditory perception and virtual environments
Benicek Methods and Techniques for Capturing Music Concerts for Virtual Reality Experiences

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP MX US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1995907878

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 08513806

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: PA/a/1995/004157

Country of ref document: MX

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1995907878

Country of ref document: EP