WO2006137400A1 - ミキシング装置及び方法並びにプログラム - Google Patents

ミキシング装置及び方法並びにプログラム Download PDF

Info

Publication number
WO2006137400A1
WO2006137400A1 PCT/JP2006/312332 JP2006312332W WO2006137400A1 WO 2006137400 A1 WO2006137400 A1 WO 2006137400A1 JP 2006312332 W JP2006312332 W JP 2006312332W WO 2006137400 A1 WO2006137400 A1 WO 2006137400A1
Authority
WO
WIPO (PCT)
Prior art keywords
azimuth angle
virtual sound
volume
elevation angle
angle difference
Prior art date
Application number
PCT/JP2006/312332
Other languages
English (en)
French (fr)
Inventor
Masatoshi Hamanaka
Yuuya Iketuki
Original Assignee
Japan Science And Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science And Technology Agency filed Critical Japan Science And Technology Agency
Priority to US11/993,153 priority Critical patent/US8023659B2/en
Priority to JP2007522295A priority patent/JP4295798B2/ja
Publication of WO2006137400A1 publication Critical patent/WO2006137400A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Definitions

  • the present invention relates to music mixing technology, and more particularly to a mixing apparatus, method, and program that make it possible to change listener power mixing.
  • Patent Document 1 Japanese Patent No. 3633459
  • a sound source can be arranged in a space, and the position of the sound source and the listener can be changed. Only however, with this technology, it is necessary to change the position of the sound source or the listener in order to control the volume. If you want to listen to it, it is difficult to place the parts far away and turn the volume down while listening to the performance.
  • Patent Document 3 a vibrating gyroscope is attached to a headphone worn by a listener, and the rotation of the listener's head is detected. It shows a technique to increase the sense of reality by adjusting the volume so that the sound source is fixed at one point in space even if the listener's head rotates.
  • Patent Laid-Open No. 8-9490 discloses a technique for detecting the rotation angle of the head using a microphone attached to the headphone body.
  • Patent Document 5 discloses a technology in which a sensor for detecting the head direction of a headphone is mounted on the headphone.
  • Patent Application Laid-Open No. 8-237790 Patent Document 6] discloses a technique for detecting information on the orientation and position of a listener by simply rotating the head.
  • Patent Document 1 Japanese Patent No. 3633459
  • Patent Document 2 Japanese Patent Laid-Open No. 2000-69600
  • Patent Document 3 Japanese Patent Laid-Open No. 2-25900
  • Patent Document 4 JP-A-8-9490
  • Patent Document 5 JP-A-9-205700
  • Patent Document 6 JP-A-8-237790 Disclosure of the invention
  • a specific object of the present invention is to provide a mixing apparatus and method capable of easily raising or lowering the volume of a sound source specified by a listener in a state where positions of a plurality of virtual sound sources are fixed, and To provide a program.
  • the mixing device of the present invention mixes a plurality of acoustic signals supplied from a plurality of acoustic signal channels corresponding to a plurality of virtual sound sources into an acoustic reproduction device that creates a plurality of virtual sound sources around a listener. Mixing means for outputting.
  • the mixing apparatus of the present invention includes an operation unit operated by a listener and an azimuth angle difference detection means provided in the operation unit.
  • the azimuth angle difference detection means is defined between a predetermined reference azimuth angle (reference azimuth angle) and a designated azimuth angle determined by a listener pointing in a virtual sound source space where a plurality of virtual sound sources exist using an operation unit. Detect azimuth an angle difference.
  • the mixing means adjusts the volume and phase of a plurality of sound signals supplied from a plurality of sound signal channels so as to realize the matters described later (for example, in the case of a stereo 'audio sound device, the sound emitted from the left and right speakers).
  • the signal is mixed and output.
  • the mixing means mixes and outputs a plurality of acoustic signals supplied from a plurality of acoustic signal channels as they are.
  • the mixing means creates a state in which the positions of a plurality of virtual sound sources are fixed with reference to the reference azimuth angle when the azimuth angle difference is other than 0 degrees, and more than one virtual sound source positioned in the direction of the indicated azimuth angle.
  • the volume should be larger than the volume of one or more virtual sound sources when the azimuth difference is 0 degrees.
  • the listener uses the operation unit to temporarily store a plurality of virtual sound sources.
  • the azimuth angle difference detecting means detects the azimuth angle difference between the designated azimuth angle and the reference azimuth angle.
  • the mixing means creates a state in which the positions of a plurality of virtual sound sources are fixed with reference to the reference azimuth angle.
  • the mixing means increases the volume of the one or more virtual sound sources located in the direction of the designated azimuth angle instructed using the operation unit to be larger than the volume of the one or more virtual sound sources when the azimuth angle difference is 0 degrees. .
  • the indicated azimuth angle indicated by the operation unit may be set to another direction (for example, the reference azimuth angle).
  • angle range setting means for setting a predetermined azimuth angle range around the indicated azimuth angle indicated by the operation unit may be further provided.
  • the volume of one or more virtual sound sources within the azimuth angle range is set to the volume of one or more virtual sound sources when the direction angle difference is 0 degrees.
  • the volume of other virtual sound sources that are larger than the volume and outside the azimuth angle range should be lower than the volume of one or more virtual sound sources that are within the azimuth angle range.
  • the volume of the plurality of sound signals supplied from the plurality of sound signal channel controllers is adjusted. In this way, the sound of a desired virtual sound source can be heard clearly by increasing only the volume of a specific virtual sound source that falls within a predetermined angular range and decreasing the volume of other virtual sound sources around it. Is possible.
  • the mixing means can be composed of a channel selection means and a mixing unit.
  • the channel selection means obtains the azimuth angle difference between the designated azimuth angle and the azimuth angles of the plurality of virtual sound sources. Then, the channel selection means selects one or more acoustic signal channels corresponding to one or more virtual sound sources within the azimuth angle range from the azimuth angle difference.
  • the mixing unit selects the volume of one or more sound signals of one or more sound signal channels selected by the channel selection means, and is larger than the volume of sound signals of other sound signal channels. As described above, the volume of the plurality of acoustic signals supplied to the plurality of acoustic signal channels is adjusted. If the mixing means is configured in this way, One or more virtual sound sources within the azimuth angle range can be easily selected based on the indicated azimuth angle.
  • the angle range setting means preferably includes a narrowing switch provided in the operation unit.
  • the angle range setting means is configured to reduce the azimuth angle range together when the narrowing switch is operated in the narrowing direction and to increase the azimuth angle range when the narrowing switch is operated in the open direction. It is preferable to do this.
  • This narrowing switch may have a structure that is automatically operated in the opening direction by a spring mechanism or the like. When such a spring mechanism is provided, the operation of the narrowing switch becomes easy.
  • the elevation angle of the operation unit when the reference azimuth angle is determined is the reference elevation angle
  • the difference between the reference elevation angle and the elevation angle of the operation unit is detected as the elevation angle difference.
  • Difference detection means can be provided. This elevation angle difference detection means also appears when the attitude force when the reference azimuth is determined is defined as a positive elevation angle difference that appears when the operation unit is directed upward and the operation unit is directed downward. Elevation angle difference is output as negative elevation angle difference.
  • the volume of sound signals of a plurality of sound signal channels corresponding to a plurality of virtual sound sources arranged in the direction of the indicated azimuth angle is adjusted, and the following is performed. Configure the mixing means to achieve this.
  • the mixing unit increases the sound volume of the plurality of virtual sound sources arranged in the direction of the indicated azimuth angle in proportion to the elevation angle difference when the elevation angle difference detection unit outputs a positive elevation angle difference. That is, the volume (amplification factor) of the virtual sound source increases in proportion to the distance between the operation unit and the virtual sound source. Further, the mixing means reduces the volume of the plurality of virtual sound sources arranged in the direction of the designated azimuth angle in proportion to the elevation angle difference when the elevation angle difference detection means outputs a negative elevation angle difference. That is, the volume (amplification factor) of the virtual sound source decreases in proportion to the distance between the operation unit and the virtual sound source.
  • the operation unit can be configured with a headphone worn by the listener on the head as the unit body.
  • at least an azimuth angle detection sensor used for the azimuth angle difference detection unit, an elevation angle detection sensor used for the elevation angle difference detection unit, and an operation unit of the angle range selection unit are mounted on the headphones.
  • the headphone When the headphone is the unit body, it can be specified by the rotation of the listener's head and the head's elevation angle, so the listener simply wants to listen to the virtual sound source that faces and turns the head up and down. Thus, the volume of the desired virtual sound source can be raised or lowered.
  • the volume can be increased by operating the narrowing switch by performing the same operation as holding the hand over the ear and listening to the sound well. Therefore, the volume can be adjusted with natural movement.
  • the operation unit may be configured as a unit main body by a remote controller that is operated by the listener in his / her hand.
  • a remote controller that is operated by the listener in his / her hand.
  • at least the azimuth angle detection sensor used for the azimuth angle difference detection means, the elevation angle detection sensor used for the elevation angle difference detection means, and the operation unit of the angle range selection means may be mounted on the remote controller.
  • the azimuth angle can be indicated with a remote controller or mixing can be performed by pointing the elevation angle, so that the listener can comfortably position the head without worrying about the position of the head. Can be mixed.
  • the azimuth angle detection sensor and the elevation angle detection sensor is arbitrary.
  • the azimuth angle detection sensor and elevation angle detection sensor can be configured with a single sensor, The score can be reduced.
  • the mixing method of the present invention includes the following two steps. First, in the first step, the azimuth angle difference between the predetermined reference azimuth angle and the designated azimuth angle pointing to the virtual sound source space where the virtual sound source exists by the listener using the operation unit is detected. The In the next mixing step, when the azimuth angle difference is 0 degree, a plurality of sound signals to which a plurality of sound signal channel forces are also supplied are mixed and output as they are.
  • multiple virtual sounds Create a state in which the position of the source is fixed, and the volume of one or more virtual sound sources whose force is also in the direction of the indicated azimuth is larger than the volume of one or more virtual sound sources when the azimuth angle difference is 0 degrees
  • volume adjustment and phase adjustment of a plurality of acoustic signals supplied from a plurality of acoustic signal channels are performed.
  • an angle range setting step for setting a predetermined azimuth angle range with the indicated azimuth angle as a center may be further performed.
  • volume adjustment of a plurality of sound signals supplied from a plurality of sound signal channels is performed to perform the following.
  • the azimuth angle range is set, the volume of one or more virtual sound sources within the azimuth angle range is made larger than the volume of one or more virtual sound sources when the azimuth angle difference is 0 degrees.
  • the volume of the remaining virtual sound sources outside the azimuth angle range is made smaller than the volume of one or more virtual sound sources within the azimuth angle range.
  • an elevation angle difference detection step can be added.
  • the elevation angle of the operation unit when determining the reference azimuth angle is used as the reference elevation angle, and the difference between the reference elevation angle and the elevation angle of the operation unit is detected as the elevation angle difference.
  • the posture force when the reference azimuth is determined is also defined as a positive elevation angle difference that appears when the operation unit is directed upward, and a negative elevation angle difference that appears when the operation unit is directed downward. Elevation angle difference.
  • the volume of sound signals of a plurality of sound signal channels corresponding to a plurality of virtual sound sources arranged in the direction of the indicated azimuth angle is adjusted to do the following.
  • the volumes of the plurality of virtual sound sources arranged in the direction of the designated direction angle are increased in proportion to the elevation angle difference.
  • the volume of the plurality of virtual sound sources arranged in the direction of the indicated azimuth angle is reduced in proportion to the elevation angle difference.
  • a program that is installed in a computer and implements the present invention is configured as follows. That is, a step of detecting a difference in azimuth angle between a predetermined reference azimuth angle and a designated azimuth angle in a virtual sound source space in which a listener uses a control unit and a plurality of virtual sound sources exist;
  • the angle range setting step for setting a predetermined azimuth angle range centered on the azimuth angle and the elevation angle of the operation unit when setting the reference azimuth angle as the reference elevation angle, and the difference between the reference elevation angle and the elevation angle of the operation unit as the elevation angle angle Detected as a difference, reference azimuth Postural force when set Elevation angle difference with the elevation angle difference appearing when the operation unit is turned upward as a positive elevation angle difference and the elevation angle difference appearing when the operation unit is turned down with a negative elevation angle difference
  • the angle difference detection step and the following mixing step are configured to be executed by a computer.
  • the mixing step when the azimuth angle difference is 0 degree, a plurality of acoustic signals supplied from a plurality of acoustic signal channels are mixed and output as they are. Create a state where the positions of multiple virtual sound sources are fixed with reference to, and the force is also positioned in the direction of the indicated azimuth angle.
  • the volume of one or more virtual sound sources is one or more virtual when the azimuth angle difference is 0 degrees.
  • Multiple acoustic signal channel forces are adjusted so that the volume is greater than the volume of the sound source.
  • volume adjustment and phase adjustment are performed for the multiple acoustic signals supplied, and the azimuth angle range is set, one or more within the azimuth angle range
  • the volume of the virtual sound source is larger than the volume of the virtual sound source of 1 or more when the azimuth angle difference is 0 degrees, and the volume of the remaining virtual sound sources that are outside the azimuth angle range are within the azimuth angle range.
  • 1 or more virtual sound sources Adjust the volume of the multiple audio signals supplied from the multiple audio signal channels so that the volume is lower than the volume, and when a positive elevation angle difference is detected, multiple audio signals are aligned in the direction of the indicated azimuth angle.
  • the volume of the multiple virtual sound sources arranged in the direction of the indicated azimuth is proportional to the elevation angle difference.
  • mixing is performed so as to adjust the volume of the plurality of acoustic signals of the plurality of acoustic signal channels corresponding to the plurality of virtual sound sources arranged in the direction of the designated azimuth angle.
  • FIG. 1 is a block diagram showing a schematic configuration of an example of a mixing apparatus that performs a mixing method of the present invention.
  • FIG. 2 is a diagram showing a sensor-equipped headphone that is actually used.
  • FIG. 3 is a flowchart showing an algorithm of a program installed in a computer to perform the method of the present invention and realize the mixing apparatus of the present invention.
  • Figure 4 Shows an example of the layout when the listener is in the position of a classical conductor.
  • FIG. 5 is a diagram showing an image of regularity.
  • (A) is a diagram showing the relationship between the positional relationship between the three virtual sound sources and the listener (operation unit) and the amplification factor when a positive elevation angle difference is detected
  • (B ) Is a graph showing the relationship between distance and amplification factor when a positive elevation angle difference is detected
  • [071 (A) is a diagram showing the relationship between the positional relationship between the three virtual sound sources and the listener (operation unit) and the amplification factor when a negative elevation angle difference is detected
  • (B) Is a graph showing the relationship between distance and amplification factor when a negative elevation angle difference is detected
  • FIG. 10 is a diagram showing a difference in amplification factor of each virtual sound source determined by equation (3).
  • FIG. 11 is a diagram showing an example of the volume ratio of each virtual sound source obtained based on equation (4).
  • FIG. 12 is a diagram showing a multiplication image of amplification factors executed by the mixing means.
  • FIG. 13] ( ⁇ ) to (C) show the change in volume of the virtual sound source when mixing is performed using the mixing device, and the amplification factor determination lever of the mixing device (the figure on the right side in each figure).
  • FIG. 6 is a diagram conceptually replacing this position.
  • FIG. 14 is a diagram showing a concept when the remote controller of the sound reproducing device is used as an operation unit.
  • FIG. 15 is a diagram showing a state in which a virtual sound source is pointed using a remote controller.
  • FIG. 16 is a diagram showing an example in which a portable terminal such as a PDA having a display screen / input screen is used as the main body of the operation unit.
  • FIG. 17 is a diagram showing a state when the mobile terminal is directed toward a certain virtual sound source.
  • FIG. 1 is a block diagram showing a schematic configuration of an example of a mixing apparatus that performs the mixing method of the present invention.
  • the mixing device 1 of the present embodiment is supplied to the sound reproduction device 3 that creates a plurality of virtual sound sources around the listener from a plurality of acoustic signal channels corresponding to the plurality of virtual sound sources.
  • a mixing means 5 for mixing and outputting a plurality of acoustic signals.
  • the sound reproducing device 3 is a so-called audio device, and is a known device having a function of generating a plurality of virtual sound sources in three dimensions around a listener.
  • the mixing apparatus 1 includes an operation unit 7 that is operated by a listener and an arithmetic unit 9.
  • the operation unit 7 is provided with at least a reference azimuth determination switch 13, an azimuth angle detection sensor 15, an elevation angle detection sensor 17, and a narrowing switch 19.
  • the arithmetic unit 9 is provided with an elevation angle difference calculation means 21, an azimuth angle difference calculation means 23, an angle range determination means 25, and an acoustic signal channel storage means 27 in addition to the mixing means 5 described above. Yes.
  • the mixing unit 5 includes a channel selection unit 29 and a mixing unit 31.
  • the main part of the arithmetic unit 9 is realized by a computer.
  • the unit body of the operation unit 7 is a headphone worn on the head of the listener.
  • the reference orientation determination switch 13 is a switch that is operated by the listener when the headphone is attached to the headphones and mixing is started. For example, when a certain music is being played by the sound reproducing device 3 and the reference azimuth determination switch 13 is operated, the angle detected by the azimuth angle detection sensor 15 at that time is the azimuth angle as the reference azimuth angle in the reference azimuth. Stored in the internal memory of the difference calculation means 23. When the reference azimuth determination switch 13 is operated, the elevation angle ⁇ detected by the elevation angle detection sensor 17 at that time is stored in the internal memory of the elevation angle difference calculation means 21 as the reference elevation angle in the reference azimuth.
  • the azimuth angle difference calculating means 23 is a difference between a predetermined reference azimuth angle and the output of the azimuth angle detection sensor 15 (detected pointing direction angle) that detects the head direction of the listener wearing the headphones, that is, the azimuth direction. Calculate the angle difference ⁇ d.
  • the reference azimuth determining switch 13, the azimuth angle detecting sensor 15, and the azimuth angle difference calculating means 23 constitute an azimuth angle difference detecting means 24.
  • This azimuth angle difference detecting means 24 is reproduced by the sound reproducing device 3 and indicated by the indicated azimuth angle ⁇ of the operation unit 7 for indicating the virtual sound source space constituted by a plurality of virtual sound sources that exist virtually in front of the listener.
  • azimuth Detect the azimuth angle difference ⁇ d With reference azimuth Detect the azimuth angle difference ⁇ d.
  • the elevation angle ⁇ detected by the elevation angle detection sensor 17 at a predetermined sampling period is input to the elevation angle difference calculation means 21.
  • the elevation angle difference calculating means 21 is a difference between a reference elevation angle of a predetermined reference azimuth and an output (detected elevation angle) of an elevation angle detection sensor 17 that detects an elevation angle of the head of a listener wearing a headphone, that is, an elevation angle. Calculate the angle difference ⁇ d.
  • the reference azimuth determining switch 13, the elevation angle detection sensor 17, and the elevation angle difference calculation means 21 constitute an elevation angle difference detection means 22.
  • the elevation angle difference detection means 22 uses the elevation angle of the operation unit 7 when the reference orientation angle is initially determined as the reference elevation angle, and the difference between the reference elevation angle and the elevation angle of the operation unit 7 is the elevation angle difference ⁇ d Detect as. Then, the elevation angle difference detection means 22 has a positive elevation angle difference that is an elevation angle difference that appears when the operation unit 7 is also directed upward when the reference azimuth is determined. The elevation angle difference that appears when turning is output as a negative elevation angle difference.
  • the output ⁇ d of the elevation angle difference calculation means 21 and the output ⁇ d of the azimuth angle difference calculation means 23 are input to the angle range determination means 25.
  • the angle range determining means 25 sets a predetermined azimuth angle range around the indicated azimuth angle ⁇ pointed to by the operation unit 7.
  • the angle range determining means 25 sets the azimuth angle range in accordance with a command from the narrowing switch 19 provided in the operation unit 7.
  • an angle range determining means 25, a narrowing switch 19, and an angle range setting means 26 are configured.
  • the angle range setting means 26 mixes the output ⁇ of the elevation angle difference calculating means 21 and the output ⁇ d of the azimuth angle difference calculating means 23 as they are. Output to channel selection means 29.
  • the mixing means 5 performs the acoustic signal channel storage means so as to realize the items described later. 27 multiple sound signal channel forces The volume and phase of the multiple sound signals supplied are adjusted, and these sound signals are mixed and output. For example, assuming that the elevation angle difference ⁇ d input from the elevation angle difference calculation means 21 is 0, the output ⁇ d of the azimuth angle difference calculation means 23 is input to the mixing means 5. The In this case, when the azimuth angle difference is 0 degree, the channel selection means 29 supplies all of the plurality of acoustic signals supplied with the plurality of acoustic signal channel forces to the mixing unit 31 as they are.
  • the mixing means 5 creates a state in which the positions of a plurality of virtual sound sources are fixed with reference to the reference azimuth angle.
  • a listener wearing headphones that is the operation unit 7 adjusts the balance of the left and right outputs of the headphones so that the position of the virtual sound source does not move even if the head rotates, so that multiple virtual sound sources are always present. Make sure they exist at the same location in the virtual space. Details of this fixing technique are described in a plurality of known documents such as Japanese Patent Laid-Open No. 2-25900 [Patent Document 3], and the description thereof will be omitted.
  • the channel selection means 29 selects one or more virtual sound sources located in the direction of the designated azimuth angle specified by the azimuth angle difference ⁇ d and designates the selected virtual sound source in the mixing unit 31. Command to output. Specifically, as described later, when the azimuth angle range is set, the channel selection unit 29 obtains the azimuth angle difference ⁇ between the designated azimuth angle and the direction angles ⁇ n of the plurality of virtual sound sources. Then, one or more acoustic signal channels corresponding to one or more virtual sound sources within the azimuth angle range are selected from the azimuth angle difference ⁇ .
  • the mixing unit 31 selects the volume of one or more acoustic signals of the one or more acoustic signal channels selected by the channel selection means 29, so that the volume of the acoustic signals of other acoustic signal channels is selected.
  • the volume of the plurality of sound signals supplied from the plurality of sound signal channels is adjusted.
  • the mixing unit 31 sets the volume of the acoustic signal of the one or more virtual sound sources selected by the channel selection means 29 to be larger than the volume of the acoustic signal of the one or more virtual sound sources when the azimuth angle difference ⁇ d is 0 degrees.
  • the amplification factor of the acoustic signal of the selected channel should be increased. The degree to which the gain is increased can be arbitrarily determined.
  • the azimuth angle difference detection unit 24 instructs the reference azimuth angle ⁇ Azimuth angle difference between is detected.
  • the mixing means 5 creates a state in which the positions of a plurality of virtual sound sources are fixed with reference to the reference azimuth angle.
  • the mixing means 5 The volume of one or more virtual sound sources located in the direction of the designated azimuth angle ⁇ pointed to using the cropping unit 7 is made larger than the volume of the one or more virtual sound sources when the azimuth angle difference is 0 degrees.
  • the direction indicated by the operation unit 7 may be directed to another direction (for example, a reference azimuth angle).
  • the elevation angle difference detection means 22 determines the posture angle force when the reference azimuth is determined, and the elevation angle difference that appears when the operation unit 7 is directed upward (when the listener's head is directed upward). When the angle difference is + ⁇ d and the control unit 7 is turned downward (when the listener's head is turned down), the elevation angle difference that appears is output as a negative elevation angle difference ⁇ d.
  • the channel selection means 29 selects the acoustic signal channels of a plurality of virtual sound sources arranged in the direction of the indicated azimuth angle ⁇ determined by the azimuth angle difference ⁇ d calculated by the azimuth angle calculation means 23 as described above. To do. Then, for example, when the elevation angle difference detection means outputs a positive elevation angle difference + ⁇ (1), the mixing unit 31 converts the volume of the plurality of virtual sound sources arranged in the direction of the indicated azimuth angle ⁇ to the elevation angle difference + ⁇ In proportion to d, the virtual sound source moving away from the operation unit 7 is made larger, and the mixing unit 31 is configured so that the elevation angle difference detector 22 outputs a negative elevation angle difference— ⁇ (1.
  • the volume of multiple virtual sound sources arranged in the direction of the indicated azimuth angle ⁇ is reduced in proportion to the elevation angle difference as the virtual sound source moving away from the operation unit 7 becomes smaller.
  • both the output ⁇ d of the elevation angle difference calculation means 21 and the output ⁇ d of the azimuth angle difference calculation means 23 are input to the angle range determination means 25.
  • the angle range determination means 25 When a command to set the angle range is input from the narrowing switch 19 to the angle range determination means 25, the angle range determination means 25 outputs the output ⁇ d of the elevation angle difference calculation means 21 and the azimuth angle difference calculation means 23. The angle range is narrowed down based on the output ⁇ d. Then, the mixing means 5 makes the volume of the one or more virtual sound sources in the set azimuth angle range larger than the volume of the one or more virtual sound sources when the azimuth angle difference is 0 degree. At the same time, the mixing means 5 is also supplied with a plurality of acoustic signal channel forces so that the volume of other virtual sound sources outside the azimuth angle range is smaller than the volume of one or more virtual sound sources within the azimuth angle range. Adjust the volume of multiple acoustic signals.
  • the angle range determining means 25 reduces the direction angle range when the narrowing switch 19 is operated in the narrowing direction, and increases the azimuth angle range when the narrowing switch 19 is operated in the opening direction. It is configured.
  • the ⁇ value of the azimuth angle difference ⁇ d operator a is set in proportion to the operation amount of the narrowing switch 19.
  • the refinement switch 19 is not operated, the OC is not set in particular, and the sound of all virtual sound source powers can be heard around the specified direction.
  • the narrow-down switch 19 is operated, the value of ⁇ is set to be small in proportion to the operation amount (in an inversely proportional relationship) from the state where all the sounds of the virtual sound source force can be heard. Then, only the volume of the sound signal of the virtual sound source falling within this angle range is increased, and the volume of the sound signal of the virtual sound source outside this angle range is decreased.
  • the value of ⁇ decreases and the volume of the virtual sound source at the position of the narrowed area determined by the azimuth angle difference ⁇ and the elevation angle difference ⁇ d Increases, and the volume of the surrounding virtual sound source decreases.
  • the narrowing switch 19 preferably has a structure that is automatically operated in the opening direction by a spring mechanism or the like. When such a spring mechanism is provided, when the narrowing switch 19 is opened, it is easy to perform an operation by simply releasing the hand.
  • the force ⁇ (operating force applied to the operated lever)
  • a force sensor or a bending sensor with a built-in bending sensor can be used.
  • it can be used in a switch detection unit using a sensor having a structure in which a variable resistor and an operation lever are combined to measure an operation amount at the position of a slider of the variable resistor.
  • the sensor for measuring the operation amount is not particularly limited, and various sensors can be used.
  • FIG. 2 shows a headphone with a sensor that is actually used.
  • reference numerals are attached to portions where the narrowing switch 19, the azimuth angle detection sensor 15, and the elevation angle detection sensor 17 are attached.
  • the sound source can be specified by the rotation of the listener's head and the head's elevation angle. Just turn your head and tilt your head up and down to raise or lower the volume of the desired virtual sound source.
  • the narrowing switch 19 is provided on the headphone, the volume can be increased by operating the narrowing switch 19 in the same manner as the operation of holding the hand over the ear and listening to the sound well. Therefore, the volume can be adjusted with natural operation.
  • the azimuth angle detection sensor 15 and the elevation angle detection sensor 17 are arbitrary.
  • the azimuth angle detection sensor 15 and the elevation angle detection sensor 17 can be configured by one sensor. .
  • the azimuth angle detection sensor 15 and the elevation angle detection sensor 17 are constituted by an electronic compass.
  • the angle difference (direction angle difference) between the position of the sound source (the position of the virtual sound source) and the front of the listener's head is measured with an electronic compass. Change the volume and phase (ratio of sound coming from the left and right).
  • the elevation angle of the listener's head is measured with an electronic compass, and the larger the elevation angle, the lower the mixing volume of the sound source arranged farther away, and the lower the mixing volume of the sound source arranged farther away.
  • a bending sensor (a sensor mounted on the aperture switch 19) mounted on the headphones measures the movement of the hand attached to the ear and changes the directivity.
  • the narrowing switch 19 When the narrowing switch 19 is bent, the sound mix placed in front is The volume of the mixing is increased, and the mixing volume of the sound placed sideways and behind is reduced.
  • FIG. 3 is a flowchart showing an algorithm of a program that is installed in a computer to perform the method of the present invention and realize the mixing apparatus of the present invention.
  • the outputs (analog signals) of the azimuth angle detection sensor 15 and the elevation angle detection sensor 17 configured by an electronic compass are A / D converted by an A / D converter and input to a computer.
  • the computer calculates the position of the virtual sound source, determines the volume and phase, and mixes and outputs the sound signal of the virtual sound source.
  • the electronic compass used can measure the azimuth angle and the elevation angle at the same time.
  • the values of the indicated azimuth angle ⁇ and the indicated elevation angle ⁇ are replaced with numerical values from 0 to 127 by the AZD converter. Captured by computer.
  • the unit of angle is radians, and is described as - ⁇ ⁇ , and - ⁇ ⁇ ⁇ .
  • the elevation angle ⁇ and the azimuth angle ⁇ are defined as 0 in which the listener is facing in the initial state. Therefore, in the following description, the designated elevation angle ⁇ and the designated azimuth angle ⁇ coincide with the elevation angle difference ⁇ d and the azimuth angle difference ⁇ d from the reference azimuth described above.
  • the output of the bending sensor used for the narrowing switch 19 is also replaced with a numerical value from 0 to 127 by the AZD converter and is taken into the computer.
  • the bending strength is normalized to a value between 0 and 1. In the following explanation, the bending strength is described as 0 ⁇ ⁇ 1 (when 0: lever is bent and in a state, when 1: lever is bent strongly and in a state).
  • the positions of the respective sound sources are arranged in a two-dimensional virtual space so that they can be visually confirmed.
  • several types of layout diagrams may be prepared and used by switching.
  • Figure 4 creates a situation where the listener is in the position of a classic conductor.
  • An example of the layout in the case of the case is shown.
  • the numbers shown in the circles indicate that they are virtual sound sources of the following instruments.
  • the black circle symbol ⁇ at the center indicates your position, and the direction in which the arrow is currently pointing (indicated azimuth).
  • Let In be the distance from each virtual sound source to the center (listener's position), and ⁇ n be the azimuth angle where each virtual sound source is placed. Note that ⁇ n is in degrees and In is a relative value, so there is no unit. Normalize the distance to the farthest sound source as 1 (0 ⁇ 1 ⁇ 1).
  • FIG. 5 is a diagram showing this normalization as an image. In Fig. 5, the notation with numbers 1, 2, and 3 in the circles indicates the position of the virtual sound source. The round shape at the center is the listener's position.
  • step ST1 the quality of the virtual sound source is affected by the quality of the mixing result.
  • This sound source is arranged when creating a plurality of sound signal channels to be prepared.
  • placement of sound source in step ST1 means that the sound reproduction device 3 reproduces the sound signal and places the sound source in front of or around the listener.
  • step ST2 of FIG. 3 it is determined whether or not the force with which the reference orientation determination switch 13 is pressed is determined. If the reference orientation determination switch 13 is pressed, in step ST3, the orientation in which the operation unit 7 is facing (the orientation in which the listener wearing the headphones is facing) is set as the force plane (ie, A reference azimuth and a reference elevation are determined). In the initial stage, step ST3 is always executed. It is possible to change the reference azimuth angle in the middle.
  • step ST4 it is detected whether or not the elevation angle of the operation unit 7 at the indicated azimuth angle ⁇ determined by pointing with the operation unit 7 has changed. If elevation angle ⁇ has changed, proceed to step ST5.
  • step ST5 the elevation angle of the operation unit 7 when setting the reference azimuth is used as the reference elevation angle, and the difference between the reference elevation angle and the elevation angle of the operation unit 7 is detected as the elevation angle difference ⁇ (1.
  • the posture force when the angle is determined is also the elevation angle difference ⁇ d that appears when the operation unit 7 is pointed upward.
  • the elevation angle difference that appears when facing downward is defined as a negative elevation angle difference ⁇ d.
  • the amplification factor of the sound sources by elevation step ST5 h [Phi is calculated.
  • the amplification factor that is, the amplification ratio (attenuation ratio) h * (0 ⁇ h ⁇ 1) of each sound source ⁇ is calculated according to the elevation angle ⁇ obtained from the electronic compass.
  • the calculation of the amplification factor h ⁇ can be determined, for example, according to the following equation (1).
  • This equation shows that when the elevation angle is positive (when the elevation angle is larger than the reference elevation angle), the sound source arranged far away has a large amplification factor, and the sound source arranged nearby has a large amplification factor power.
  • This function shows the correct value.
  • the elevation angle is negative (when the elevation angle is smaller than the reference elevation angle)
  • the amplification factor is small when the sound source is located far away, and the amplification factor is large when the sound source is located nearby. That is, when the positive elevation angle difference ⁇ (1 is detected, the volume of the plurality of virtual sound sources arranged in the direction of the designated azimuth angle ⁇ is increased in proportion to the elevation angle difference.
  • the volume (amplification factor) of the virtual sound source increases in proportion to the distance between the sound source and the virtual sound source. Also, when the negative elevation angle difference ⁇ (1 is detected, the direction of the indicated azimuth angle ⁇ Decrease the volume of multiple virtual sound sources arranged in proportion to the elevation angle difference ⁇ (in proportion to 1. That is, the volume (amplification factor) of the virtual sound source is proportional to the distance between the operation unit 7 and the virtual sound source. Get smaller.
  • FIG. 6A shows the relationship between the positional relationship between the three virtual sound sources and the listener (operation unit 7) and the amplification factor when a positive elevation angle difference is detected. It shows that the virtual sound source gain h ⁇ increases as the virtual sound source moves away from the control unit (0.63 ⁇ 0.93 ⁇ 1.37).
  • Fig. 6 (B) is a graph showing the relationship between the distance 1 and the amplification factor h ⁇ when a positive elevation angle difference is detected.
  • FIG. 7 (A) shows the relationship between the positional relationship between the three virtual sound sources and the listener (operation unit 7) and the amplification factor when a negative elevation angle difference is detected.
  • FIG. 7B is a graph showing the relationship between the distance 1 and the amplification factor h ⁇ when a negative elevation angle difference is detected.
  • step ST6 it is determined whether or not the azimuth designated by the operation unit 7 has been changed. If the azimuth angle has changed, the process proceeds to step ST8. If the azimuth angle has not changed, the process proceeds to step ST7.
  • step ST7 it is determined whether or not the narrowing operation has been performed by the narrowing switch 19 being operated. In step ST7, this determination is made based on whether or not the bending sensor of the narrowing switch 19 has been operated.
  • step ST7 the angle range of the narrowing is determined from the narrowing amount of the narrowing switch 19 (bending strength ⁇ of the bending sensor).
  • step ST7 when the narrowing switch 19 is operated to change the narrowing amount (change the bending strength ⁇ of the bending sensor), the bending sensor strength is proportional to the operating amount of the narrowing switch 19 ⁇ is measured.
  • step ST8 the amplification factor h ⁇ of each sound source is calculated according to the bending strength ⁇ , which receives the bending sensor strength ⁇ and also obtains the bending sensor force.
  • the amplification rate h ⁇ is a function that takes either 0 or 1.
  • the amplification factor h ⁇ is 1 for all sound sources.
  • the value of the amplification factor h ⁇ can be determined by the following equation (2), for example.
  • 0 one ⁇ ⁇ 0 and ⁇ is an angle difference between the azimuth angle ⁇ ⁇ and the indicated direction angle ⁇ of each sound source.
  • step ST9 to calculate the amplification factor h theta of each sound source in response to the instruction side position angle ⁇ obtained electronic compass force.
  • Amplification factor h theta is a large value in the sound source are arranged in the direction indicated azimuth ⁇ the listener is facing, is a function showing the smaller value is a sound source which is disposed in a direction not.
  • Such a function can be determined by, for example, the following equation (3).
  • the bending strength ⁇ of the bending sensor of the above-described narrowing switch 19 is taken into account, and the bending strength ⁇ increases, that is, the narrowing amount increases (the bending strength or the narrowing amount is reduced). In proportion), the directivity increases. As a result, the volume of the sound source arranged in the direction of the indicated azimuth angle ⁇ is increased.
  • FIG. 10 illustrates the difference in the amplification factor h ⁇ of each virtual sound source determined by the above equation (3). As can be seen from Fig. 10, the azimuth angle of the virtual sound source arranged in the direction of ⁇ is the largest.When the azimuth angle of ⁇ and the azimuth angle of the surrounding virtual sound source (In proportion to the azimuth angle difference), the amplification power is increasing.
  • the sound volume ratio ⁇ between the left and right volumes is calculated according to the azimuth angle difference ⁇ ⁇ with each sound source. That is, phase adjustment is performed.
  • the localization of each sound source that is, the volume ratio ⁇ (0 ⁇ 1), is calculated according to the indicated azimuth angle ⁇ that also provides the electronic connosca. Localization (volume ratio)
  • ⁇ the ratio between the right sound and left sound of the sound source
  • ⁇ the ratio between the right sound and left sound of the sound source
  • the localization (volume ratio) ⁇ is 0.5
  • the right sound and left sound of the sound source are The sound ratio is 1: 1
  • the localization (volume ratio) ⁇ is 1, the right sound and left sound ratio of the sound source is 1: 0.
  • This volume ratio is calculated by the following equation (4). Determine.
  • FIG. 11 is a diagram showing an example of the volume ratio of each virtual sound source obtained based on the above equation (4). As shown in FIG. 11, the volume ratio of the virtual sound source 2 in the direction of the indicated azimuth is 0.5.
  • step ST11 calculates the left and right volume of the headphones.
  • all the virtual sound source signals are added and output from the headphones.
  • each amplification factor obtained in step ST5, step ST8 and step ST9 is multiplied.
  • FIG. 12 is a diagram illustrating a multiplication image of amplification factors executed by the mixing means 5.
  • three “X hl” s arranged in three stages are the amplification factors of the virtual sound source 1 obtained in the above steps ST5, ST8, and ST9.
  • “X” and “X 1—” in the last stage mean that the left and right volume ratios in Step 10 are multiplied by the left and right output of the headphones.
  • the last “ ⁇ ” means adding the multiplication signal obtained by multiplying the sound signals of all virtual sound sources by the amplification factor and volume ratio.
  • FIGS. 13A to 13C show changes in volume of virtual sound sources 1 to 11 (the diagram on the left side in each figure) when mixing is performed using the above-described mixing apparatus. It is a figure which replaces with the position of the amplification factor determination lever (the figure on the right side in each figure), and shows a concept. In these figures, it is shown that the volume is higher as the gain determining lever is positioned higher.
  • the volume of the sound source placed on the right side can be heard louder, and when turned to the left side, the volume of the sound source placed on the left side is increased. It sounds louder.
  • the listener wearing a headphone swings his / her head to the left or right, it is possible to make one guitarist's performance louder. I can listen to it.
  • the listener wears headphones and looks upward the sound volume of a sound source placed far away can be heard loudly, and when turned down, the sound volume of a sound source placed nearby can be heard loudly.
  • the volume of the sound source arranged in the direction of the indicated azimuth increases, and the volume of the sound source arranged next to and behind the sound source is increased. Becomes smaller. Therefore, for example, even if the surroundings are troublesome, if you turn the direction of the sound you want to hear and hold your hand over the ear to operate the narrowing switch 19, you will hear the sound well. Specifically, when multiple virtual sound sources are placed around the listener, the following can be achieved. [0067] 'If the narrowing switch 19 (bending sensor) is not used, the sound of all 360 ° sound sources can be heard.
  • FIG. 14 is a diagram showing a concept when a remote controller 33 of a sound reproduction device such as a home stereo audio device is used as an operation unit.
  • An azimuth angle detection sensor and an elevation angle detection sensor are arranged inside the remote controller 33, and a part of the operation switch of the remote controller 33 is used as a reference azimuth determination switch and a narrowing switch.
  • left and right speakers 32L and 32R sounds are emitted, and a virtual sound source appears in front of the listener.
  • the remote controller 33 is pointed to the desired virtual sound source (keyboard), and the specified orientation is set by pressing the narrow-down switch strongly, and only the sound of the virtual sound source in the specified orientation is heard. Is possible.
  • FIG. 16 shows an example in which a portable terminal 41 such as a PDA having a display screen / input screen is used as the main body of the operation unit 7. Even when such a portable terminal 41 is used, an azimuth angle detection sensor 15 and an elevation angle detection sensor 17 are arranged therein. The presence of each virtual sound source is clearly shown on the screen of the mobile terminal 41. As shown in Fig. 17, when the mobile terminal 41 is pointed in the direction of a virtual sound source, the display of one or more virtual sound sources in the direction of the indicated azimuth angle is different from the display of other virtual sound sources. For example, it will blink or light up brightly. Then, narrowing down to a specific virtual sound source is performed by changing the amount of switch operation according to the number of times the narrowing down switch SW2 is pressed.
  • a portable terminal 41 such as a PDA having a display screen / input screen is used as the main body of the operation unit 7. Even when such a portable terminal 41 is used, an azimuth angle detection sensor 15 and an elevation angle detection sensor 17

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

　複数の仮想の音源の位置を固定した状態で、受聴者が指定する音源の音量を簡単に上げたり下げたりすることができるミキシング装置を提供する。方位角度差検出手段２４は、予め定めた基準方位角と、受聴者が操作ユニット７を用いて複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出する。ミキシング手段５は、方位角度差が０度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。またミキシング手段５は、方位角度差が０度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する１以上の仮想音源の音量が、方位角度差が０度のときの１以上の仮想音源の音量よりも大きくなるようにミキシングする。

Description

明 細 書
ミキシング装置及び方法並びにプログラム
技術分野
[0001] 本発明は、音楽のミキシング技術に関し、特に受聴者力 キシングを変更することを 可能にするミキシング装置及び方法並びにプログラムに関するものである。
背景技術
[0002] 人間は 2つの耳を使って、両耳間の音量差、両耳間の時間差、周波数特性の変化 など複数の要素をもとに音源の位置を知る能力を持っている。通常、コンパクトデイス クなどに録音されている音楽は、音楽用ミキサーで各音源 (楽器など)の音量と定位（ 両耳の音量比率)を調節して、複数の音源がうまく分離し、聴きやすいようにミックス ダウンされている。ミックスダウン後の音楽を再生した場合、複数の音源の音量と定位 は固定されており、ユーザがある特定の音源の音量を大きくしたいと感じた場合でも 、ユーザにより調整することはできな力つた。たとえばクラッシック曲で、ユーザが全体 の音量を変化させずに第一バイオリンの音量を上げたいと感じた場合でも、その実現 は困難であった。
[0003] ユーザが、音楽用ミキサーを手動で操作しながら音楽を聴くことができれば、対象と する音源の、音量および定位を変更することは可能であつたが、実際には音楽用ミキ サ一の操作は複雑でアマチュアのユーザが直感的に操作することは困難であった。 ちなみに特許第 3633459号公報 [特許文献 1]に示されるようなミキシング録音再生 装置は、操作が難しぐ一般のユーザ (受聴者)が、自分の聞きたいパートの音量を 上げたり、自分の聞きたくないパートの音量を下げることを演奏を聞きながら簡単に 行うことができない。
[0004] たとえば、バイオリンのソロが始まった瞬間に、バイオリンの音量を上げ、定位を中 央にもってきて (左右の比率を 1： 1にして）、さらにその他の楽器の音量を少し下げて その定位を調節するなど、一連の動作を瞬時に行うことは困難である。
[0005] また特開 2000— 69600号公報 [特許文献 2]に示された音楽的臨場感形成装置 の制御方法では、音源を空間上に配置し、音源や聴取者の位置を変更できる。しか しながらこの技術では、音量をコントロールするために音源若しくは聴取者の位置を 変化させる必要があり、一般のユーザ (受聴者)が自分の聴きた 、パートを近くに配 置して音量を上げたり、自分の聴きたくな 、パートを遠くに配置して音量を下げたりす る操作を、演奏を聴きながら行うことが困難である。
[0006] また従来、ヘッドフォンにジャイロセンサ (加速度センサ）を搭載した製品もあったが 、それらは、頭の傾きに合わせて音の方向を微調整することにより、頭を振ることによ る音場の乱れ (頭をある方向に動かすと、音源も同じ方向に動 、たように感じること） を防ぐことが目的であり、センサから得られる情報を用いて各音源の音量、定位を変 更しミキシングを行う本発明とは本質的に異なる。例えば、特開平 2— 25900号公報 [特許文献 3]等には振動ジャイロを受聴者が装着するヘッドフォンに装着して、受聴 者の頭部の回転を検出し、検出した回転に伴って左右の音量を調整することにより、 受聴者の頭部が回転しても音源が空間の一点に固定されるようにして、臨場感を増 大させる技術が示されて 、る。また特開平 8 - 9490号公報 [特許文献 4]等にはへッ ドフォン本体に取りつけたマイクロフォンにより頭部の回転角度を検出する技術が開 示されている。さらに特開平 9— 205700号公報 [特許文献 5]等にはヘッドフォンの 頭の向きを検出するセンサをヘッドフォンに搭載する技術が開示されている。さらに 特開平 8— 237790号公報 [特許文献 6]には、頭部の回転だけでなぐ受聴者の向 きや位置の情報を合わせて検出する技術が開示されている。
[0007] その他、左右の増幅率を独立に調節することの可能がアンプや、中央に定位する 音を消す装置 (ボーカルキャンセルマシン)では、ミックスダウン後の音楽の音量、定 位を部分的に変更することはできても、ある特定の音源の音量、定位を自由に調節 するという目的に使用することは困難であった。
特許文献 1：特許第 3633459号公報
特許文献 2 :特開 2000— 69600号公報
特許文献 3：特開平 2— 25900号公報
特許文献 4：特開平 8— 9490号公報
特許文献 5：特開平 9 - 205700号公報
特許文献 6：特開平 8 - 237790号公報 発明の開示
発明が解決しょうとする課題
[0008] 従来技術では、受聴者が聴きたい音源の音量をリアルタイムで大きくしたり、不要な 音源の音量を小さくしたり、また、その音量、定位の変化を連続的に行うことは困難で あった。すなわち従来の技術では、複数の仮想の音源の位置を固定した状態で、受 聴者が指定する音源 (パート）の音量を簡単な操作で上げたり下げたりするミキシング を行うことができな力 た。
[0009] 本発明の具体的な目的は、複数の仮想の音源の位置を固定した状態で、受聴者 が指定する音源の音量を簡単に上げたり下げたりすることができるミキシング装置及 び方法ならびにプログラムを提供することにある。
課題を解決するための手段
[0010] 本発明のミキシング装置は、受聴者の周囲に複数の仮想音源を作り出す音響再生 装置に、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複 数の音響信号をミキシングして出力するミキシング手段を有する。また本発明のミキシ ング装置は、受聴者により操作される操作ユニットと、操作ユニットに設けられる方位 角度差検出手段とを備えている。方位角度差検出手段は、予め定めた基準方位角（ reference azimuth angle)と受聴者が操作ユニットを用いて複数の仮想音源が存在す る仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差 (azimuth a ngle difference)を検出する。そしてミキシング手段は、後述する事項を実現するように 、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調 整 (例えばステレオ 'オーディオ音響装置の場合に左右のスピーカから出る音の割合 の調整）とを行い、これら信号をミキシングして出力する。まずミキシング手段は、方位 角度差が 0度のときには、複数の音響信号チャンネルから供給される複数の音響信 号をそのままミキシングして出力する。またミキシング手段は、方位角度差が 0度以外 のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り 、しかも指示方位角の方向に位置する 1以上の仮想音源の音量が、方位角度差が 0 度のときの 1以上の仮想音源の音量よりも大きくなるようにする。
[0011] 本発明によれば、受聴者が操作ユニットを用いて、複数の仮想音源が存在する仮 想音源空間内を指示すると、方位角度差検出手段が基準方位角に対する指示方位 角との方位角度差を検出する。ミキシング手段は、基準方位角を基準にして複数の 仮想音源の位置を固定した状態を作る。そしてミキシング手段は、操作ユニットを用 いて指示した指示方位角の方向に位置する 1以上の仮想音源の音量を、方位角度 差が 0度のときの該 1以上の仮想音源の音量よりも大きくする。このようにすることによ り、複数の仮想音源を移動させることなぐ受聴者が指示した方位にある仮想音源即 ち受聴者が聞きたいパート (楽器)の音量を簡単に大きくすることができる。したがつ て、複雑なミキシング技術を知らない受聴者でも、操作ユニットで方向を指し示すだ けで、所定のパートの音量を増減することができる。音量を下げる場合には、操作ュ ニットで指し示す指示方位角を別の方向（例えば基準方位角）にすればよい。
[0012] また操作ユニットが指している指示方位角を中心にして所定の方位角度範囲を設 定する角度範囲設定手段を更に設けてもよい。この場合には、ミキシング手段を、方 位角度範囲が設定されると、方位角度範囲内にある 1以上の仮想音源の音量を、方 位角度差が 0度のときの 1以上の仮想音源の音量よりも大きくし、しかも前記方位角 度範囲外にある他の仮想音源の音量を、方位角度範囲内にある 1以上の仮想音源 の音量よりも小さくするように (音量を 0にする場合を含む)、複数の音響信号チャンネ ルカゝら供給される複数の音響信号の音量調整を行うように構成する。このよう〖こすると 、所定の角度範囲に入る特定の仮想音源の音量だけを増大させて、その周囲の他 の仮想音源の音量を小さくすることにより、明瞭に所望の仮想音源の音を聞くことが できる。
[0013] ミシング手段は、チャンネル選択手段とミキシング部とから構成することができる。チ ヤンネル選択手段は、方位角度範囲が設定されると、指示方位角と複数の仮想音源 の方位角との方位角度差を求める。そして方位角度差から方位角度範囲内にある 1 以上の仮想音源に対応する 1以上の音響信号チャンネルを、チャンネル選択手段は 選択する。またミキシング部は、チャンネル選択手段により選択された 1以上の音響 信号チャンネルの 1以上の音響信号の音量を、選択されて!、な!、他の音響信号チヤ ンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネル力 供 給される複数の音響信号の音量調整を行う。ミキシング手段をこのように構成すると、 指示方位角を基準にして、方位角度範囲内にある 1以上の仮想音源を簡単に選択 することができる。
[0014] なお角度範囲設定手段は、操作ユニットに設けた絞り込みスィッチを備えているの が好ましい。この場合、角度範囲設定手段は、絞り込みスィッチが絞り込み方向に操 作されると、方位角度範囲を一緒に小さくし、絞り込みスィッチが開放方向に操作さ れると、方位角度範囲を大きくするように構成するのが好ましい。このような絞り込みス イッチを設けると、絞り込みスィッチの操作だけで、角度範囲を絞り込んで、特定の仮 想音源の音量だけを簡単に調整することができる。なおこの絞り込みスィッチは、ば ね機構などにより自動的に開放方向に操作される構造を有していてもい。このような ばね機構が設けられていると、絞り込みスィッチの操作が簡単になる。
[0015] また基準方位角を定めるときの操作ユニットの仰角を基準仰角（reference elevation angle)として、基準仰角と操作ユニットの仰角 (elevation angle)との差を仰角角度差と して検出する仰角角度差検出手段を設けることができる。この仰角角度差検出手段 は、基準方位角を定めたときの姿勢力も操作ユニットを上方に向けたときに現れる仰 角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角 角度差を負の仰角角度差として出力する。このような仰角角度差検出手段を設けた 場合には、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号 チャンネルの複数の音響信号の音量調整を行って、次のことを達成できるようにミキ シング手段を構成する。すなわちミキシング手段は、仰角角度差検出手段が正の仰 角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音 量を、仰角角度差に比例して大きくする。すなわち、操作ユニットと仮想音源との間の 距離に比例して、その仮想音源の音量 (増幅率)が大きくなる。またミキシング手段は 、仰角角度差検出手段が負の仰角角度差を出力しているときには、指示方位角の方 向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくする。すなわち、 操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量 (増幅率)が 小さくなる。このようにすると操作ユニットの仰角を変えることによって、指示方位角の 方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることがで きる。このようにしても特定の仮想音源に集中して音を聞くことが可能になる。 [0016] 操作ユニットは、受聴者が頭に装着するヘッドフォンをユニット本体として構成する ことができる。この場合には、ヘッドフォンに方位角度差検出手段に用いられる方位 角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度 範囲選定手段の操作部とを少なくとも実装する。ヘッドフォンをユニット本体とすると、 受聴者の頭の回転と頭の仰角によって、指定ができるため、受聴者が聞きたいと思う 仮想音源に向力つて顔を向け、頭を上下に傾ける動作をするだけで、所望の仮想音 源の音量を上げたり下げたりすることができる。またヘッドフォンに前述の絞り込みス イッチを設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作をして絞り込 みスィッチを操作することにより、音量を上げることができる。したがって自然な動作で 音量調整をすることができる。
[0017] また操作ユニットは、受聴者が手に持って操作するリモートコントローラをユニット本 体として構成してもよい。この場合には、リモートコントローラに方位角度差検出手段 に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度 検出センサと、角度範囲選定手段の操作部とを少なくとも実装すればよい。このよう な操作ユニットを用いると、リモートコントローラで方位角を指示したり、仰角を指示す ることによりミキシングすることができるので、受聴者は楽な姿勢で頭部の位置を気に せずにミキシングをすることができる。
[0018] 方位角度検出センサ及び仰角角度検出センサとしてどのようなセンサを用いるかは 任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出すること ができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ及び仰角 角度検出センサを 1つのセンサで構成することができて、部品点数を少なくすることが できる。
[0019] 本発明のミキシング方法は、次の 2つのステップにより構成される。まず最初のステ ップでは、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮想音源 が存在する仮想音源空間内を指している指示方位角との間の方位角度差を検出す る。そして次のミキシングするステップでは、方位角度差が 0度のときには、複数の音 響信号チャンネル力も供給される複数の音響信号をそのままミキシングして出力する 。そして方位角度差力^度以外のときには、基準方位角を基準にして複数の仮想音 源の位置を固定した状態を作り、し力も指示方位角の方向に位置する 1以上の仮想 音源の音量が、方位角度差が 0度のときの 1以上の仮想音源の音量よりも大きくなる ように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位 相調整とを行う。
[0020] また指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステツ プを更に実施することもできる。この場合、ミキシングするステップでは、複数の音響 信号チャンネルから供給される複数の音響信号の音量調整を行って次のことを行う。 すなわち、方位角度範囲が設定されると、方位角度範囲内にある 1以上の仮想音源 の音量を、方位角度差が 0度のときの 1以上の仮想音源の音量よりも大きくする。そし て方位角度範囲外にある残りの仮想音源の音量を、方位角度範囲内にある 1以上の 仮想音源の音量よりも小さくする。
[0021] 更に、本発明の方法では、仰角角度差検出ステップを加えることができる。このステ ップでは、基準方位角を定めるときの操作ユニットの仰角を基準仰角として、基準仰 角と操作ユニットの仰角との差を仰角角度差として検出する。この場合、基準方位角 を定めたときの姿勢力も操作ユニットを上方に向けたときに現れる仰角角度差を正の 仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰 角角度差とする。そしてミキシングするステップでは、指示方位角の方向に並ぶ複数 の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を 行って次のことをする。すなわち正の仰角角度差が検出されているときには、指示方 位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。ま た負の仰角角度差が検出されて 、るときには、指示方位角の方向に並ぶ複数の仮 想音源の音量を、仰角角度差に比例して小さくする。
[0022] コンピュータにインストールされて本発明を実施するプログラムは、次のように構成さ れる。すなわち、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮 想音源が存在する仮想音源空間内を指している指示方位角との間の方位角度差を 検出するステップと、指示方位角を中心にして所定の方位角度範囲を設定する角度 範囲設定ステップと、基準方位角を定めるときの操作ユニットの仰角を基準仰角とし て、基準仰角と操作ユニットの仰角との差を仰角角度差として検出し、基準方位角を 定めたときの姿勢力 操作ユニットを上方に向けたときに現れる仰角角度差を正の仰 角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角 角度差とする仰角角度差検出ステップと、以下のミキシングをするステップとをコンビ ユータで実行させるように構成されている。ミキシングするステップでは、方位角度差 が 0度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそ のままミキシングして出力し、方位角度差力^度以外のときには、基準方位角を基準 にして複数の仮想音源の位置を固定した状態を作り、し力も指示方位角の方向に位 置する 1以上の仮想音源の音量が、方位角度差が 0度のときの 1以上の仮想音源の 音量よりも大きくなるように、複数の音響信号チャンネル力 供給される複数の音響 信号の音量調整と位相調整とを行い、方位角度範囲が設定されると、方位角度範囲 内にある 1以上の仮想音源の音量を、方位角度差が 0度のときの 1以上の仮想音源 の音量よりも大きくし、し力も方位角度範囲外にある残りの仮想音源の音量を、方位 角度範囲内にある 1以上の仮想音源の音量よりも小さくするように、複数の音響信号 チャンネルカゝら供給される複数の音響信号の音量調整を行い、正の仰角角度差が 検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角 角度差に比例して大きくし、負の仰角角度差が検出されているときには、指示方位角 の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくするように、 指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネル の複数の音響信号の音量調整を行うようにミキシングする。
図面の簡単な説明
[図 1]本発明のミキシング方法を実施するミキシング装置の一例の構成の概略構成を 示すブロック図である。
[図 2]実際に使用するセンサ付きのヘッドフォンを示す図である。
[図 3]コンピュータにインストールされて本発明の方法を実施し且つ本発明のミキシン グ装置を実現するプログラムのアルゴリズムを示すフローチャートである。
[図 4]受聴者がクラシックの指揮者の位置にいる状況を作った場合の配置図の一例 を示している。
[図 5]正規ィ匕をイメージで示す図である。 [06] (A)は、正の仰角角度差が検出されている場合における、 3つの仮想音源と受 聴者 (操作ユニット)との位置関係と増幅率との関係を示す図であり、（B)は、正の仰 角角度差が検出されている場合における距離と増幅率との関係を示すグラフである
[071 (A)は、負の仰角角度差が検出されている場合における、 3つの仮想音源と受 聴者 (操作ユニット)との位置関係と増幅率との関係を示す図であり、（B)は、負の仰 角角度差が検出されている場合における距離と増幅率との関係を示すグラフである
[図 8] Θ =30° 、 δ =0.5の場合の音が聞こえる状態を示す図である。
[図 9]受聴者の周囲に 11個の仮想音源を配置した場合において、絞り込みスィッチ を強く押したときの（Θ =30° 、 δ =0.9)音が聞こえる領域を示す図である。
[図 10] (3)式により定まる各仮想音源の増幅率の違いを示す図である。
[図 11] (4)式に基づいて求めた各仮想音源の音量比の一例を示す図である。
[図 12]ミキシング手段で実行している増幅率の乗算イメージを示す図である。
[図 13] (Α)乃至 (C)は、ミキシング装置を用いてミキシングを行っているときの仮想音 源の音量の変化を、ミキシング装置の増幅率決定レバー（各図中の右側の図）の位 置に置き換えて概念的に示す図である。
[図 14]音響再生装置のリモートコントローラを操作ユニットとして用いる場合の概念を 示す図である。
[図 15]リモートコントローラを用いて仮想音源を指している状態を示す図である。
[図 16]表示画面兼入力画面を備えた PDA等の携帯端末を操作ユニットの本体として 用いる場合の例を示す図である。
[図 17]携帯端末をある仮想音源の方向に向けたときの状態を示す図である。
発明を実施するための最良の形態
以下図面を参照して本発明の実施の形態を詳細に説明する。図 1は、本発明のミ キシング方法を実施するミキシング装置の一例の概略構成を示すブロック図である。 本実施の形態のミキシング装置 1は、受聴者の周囲に複数の仮想音源を作り出す音 響再生装置 3に、複数の仮想音源に対応する複数の音響信号チャンネルから供給さ れる複数の音響信号をミキシングして出力するミキシング手段 5を備えて 、る。ここで 音響再生装置 3は、いわゆるオーディオ機器であって、受聴者の周囲に 3次元で複 数の仮想音源を作り出す機能を有する公知の装置である。またミキシング装置 1は、 受聴者により操作される操作ユニット 7と、演算ユニット 9とを備えている。操作ユニット 7には、基準方位決定スィッチ 13と、方位角度検出センサ 15と、仰角角度検出セン サ 17と、絞り込みスィッチ 19とが少なくとも設けられている。また演算ユニット 9には、 前述のミキシング手段 5に加えて、仰角角度差演算手段 21と、方位角度差演算手段 23と、角度範囲決定手段 25と、音響信号チャンネル記憶手段 27とが設けられている 。ミキシング手段 5は、チャンネル選択手段 29とミキシング部 31とから構成される。な お演算ユニット 9の主要部はコンピュータによって実現される。そして本実施の形態 では、操作ユニット 7のユニット本体は、受聴者の頭部に装着されるヘッドフォンであ る。
[0025] 基準方位決定スィッチ 13は、ヘッドフォンに装着されてミキシングを開始する際に 受聴者によって操作されるスィッチである。例えば、音響再生装置 3によってある音楽 が再生されているときに、基準方位決定スィッチ 13が操作されると、そのときに方位 角度検出センサ 15が検出する角度が基準方位における基準方位角として方位角度 差演算手段 23の内部メモリに保存される。また基準方位決定スィッチ 13が操作され ると、そのときに仰角角度検出センサ 17が検出する仰角 φが、基準方位における基 準仰角として、仰角角度差演算手段 21の内部メモリに保存される。
[0026] 基準方位決定スィッチ 13が操作された後は、所定のサンプリング周期で方位角度 検出センサ 15により検出された指示方位角 Θは、方位角度差演算手段 23に入力さ れる。方位角度差演算手段 23は、予め定めた基準方位角とヘッドフォンを装着した 受聴者の頭部の方位を検出する方位角度検出センサ 15の出力（検出された指示方 位角）との差すなわち方位角度差 Θ dを演算する。本実施の形態では、基準方位決 定スィッチ 13、方位角度検出センサ 15及び方位角度差演算手段 23により、方位角 度差検出手段 24が構成されている。この方位角度差検出手段 24は、音響再生装置 3によって再生されて受聴者の目前に仮想で存在する複数の仮想音源によって構成 される仮想音源空間内を指示する操作ユニット 7の指示方位角 Θと基準方位角との 間の方位角度差 Θ dを検出する。
[0027] また基準方位決定スィッチ 13が操作された後は、所定のサンプリング周期で仰角 角度検出センサ 17により検出された仰角 φは、仰角角度差演算手段 21に入力され る。仰角角度差演算手段 21は、予め定めた基準方位の基準仰角とヘッドフォンを装 着した受聴者の頭部の仰角を検出する仰角角度検出センサ 17の出力（検出された 仰角）との差すなわち仰角角度差 φ dを演算する。本実施の形態では、基準方位決 定スィッチ 13、仰角角度検出センサ 17及び仰角角度差演算手段 21により、仰角角 度差検出手段 22が構成されている。この仰角角度差検出手段 22は、最初に基準方 位角を定めるときの操作ユニット 7の仰角を基準仰角として、この基準仰角と操作ュ- ット 7の仰角との差を仰角角度差 φ dとして検出する。そしてし仰角角度差検出手段 2 2は、基準方位角を定めたときの姿勢力も操作ユニット 7を上方に向けたときに現れる 仰角角度差を正の仰角角度差とし、前記操作ユニット 7を下方に向けたときに現れる 仰角角度差を負の仰角角度差として出力する。
[0028] 仰角角度差演算手段 21の出力 φ dと方位角度差演算手段 23の出力 Θ dは、角度 範囲決定手段 25に入力される。角度範囲決定手段 25は、操作ユニット 7が指してい る指示方位角 Θを中心にして所定の方位角度範囲を設定する。角度範囲決定手段 25は、操作ユニット 7に設けられた絞り込みスィッチ 19からの指令に応じて方位角度 範囲を設定する。本実施の形態では、角度範囲決定手段 25と絞り込みスィッチ 19と 力ゝら角度範囲設定手段 26が構成されて ヽる。絞り込みスィッチ 19から積極的に絞り 込み指令が入力されていない場合、角度範囲設定手段 26は、仰角角度差演算手段 21の出力 φと方位角度差演算手段 23の出力 Θ dを、そのままミキシング手段 5のチ ヤンネル選択手段 29に出力する。
[0029] 仰角角度差演算手段 21の出力 φと方位角度差演算手段 23の出力 Θが、そのまま 入力された場合、ミキシング手段 5は、後述する事項を実現するように、音響信号チヤ ンネル記憶手段 27の複数の音響信号チャンネル力 供給される複数の音響信号の 音量調整と位相調整とを行い、これら複数の音響信号をミキシングして出力する。例 えば、仰角角度差演算手段 21から入力される仰角角度差 φ dが 0であると仮定して、 方位角度差演算手段 23の出力 Θ dがミキシング手段 5に入力されている場合を考え る。この場合において、方位角度差が 0度のときには、チャンネル選択手段 29は、複 数の音響信号チャンネル力 供給される複数の音響信号をすベてそのままミキシン グ部 31へと供給する。
[0030] また方位角度差 Θ dが 0度以外のときには、ミキシング手段 5は、基準方位角を基準 にして複数の仮想音源の位置を固定した状態を作る。すなわち操作ユニット 7である ヘッドフォンを装着した受聴者が、頭部を回転しても、仮想音源の位置が移動しない ように、ヘッドフォンの左右の出力のバランスを調整して、常に複数の仮想音源が仮 想空間内の同じ位置に存在するようにする。この固定技術の詳細は、特開平 2— 25 900号公報 [特許文献 3]等の複数の公知文献に記載されているので説明を省略する 。またこの場合には、チャンネル選択手段 29は、方位角度差 Θ dによって特定される 指示方位角の方向に位置する 1以上の仮想音源を選択して、ミキシング部 31に選択 された仮想音源を指定する指令を出力する。具体的には、後述するようにチャンネル 選択手段 29は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方 位角 θ nとの方位角度差 Θ を求める。そして方位角度差 Θ から方位角度範囲内 にある 1以上の仮想音源に対応する 1以上の音響信号チャンネルを選択する。そして ミキシング部 31は、チャンネル選択手段 29により選択された 1以上の音響信号チヤ ンネルの 1以上の音響信号の音量を、選択されて!ヽな 、他の音響信号チャンネルの 音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される 複数の音響信号の音量調整を行う。そしてミキシング部 31は、チャンネル選択手段 2 9により選択された 1以上の仮想音源の音響信号の音量を、方位角度差 Θ dが 0度の ときの 1以上の仮想音源の音響信号の音量よりも大きくし、他の仮想音源の音量はそ のまま維持して (または音量を 0にして)ミキシングを行う。仮想音源の音量を大きくす るためには、選択されたチャンネルの音響信号の増幅率を大きくすればよい。どの程 度増幅率を大きくするかは任意に定めればよい。
[0031] このよう〖こすると、受聴者が操作ユニット 7を用いて、複数の仮想音源が存在する仮 想音源空間内を指すと、方位角度差検出手段 24が基準方位角に対する指示方位 角 Θとの間の方位角度差を検出する。そしてミキシング手段 5は、基準方位角を基準 にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段 5は、操 作ユニット 7を用いて指した指示方位角 Θの方向に位置する 1以上の仮想音源の音 量を、方位角度差が 0度のときの該 1以上の仮想音源の音量よりも大きくする。このよ うにすることにより、複数の仮想音源を移動させることなぐ受聴者が指示した指示方 位角の方向にある仮想音源即ち受聴者が聞きたいパート (楽器)の音量を簡単に大 きくすることが実現できる。したがって複雑なミキシング技術を知らな ヽ受聴者でも、 操作ユニット 7で方向を指し示すだけで、所定のパート (仮想音源)の音量を増減する ことができる。なお音量を下げる場合には、操作ユニット 7で指し示す方向を別の方 向（例えば基準方位角）に向ければよい。
[0032] 次に、方位角度差演算手段 23から出力される方位角度差が変動しないと仮定して 、角度範囲決定手段 25に入力される仰角角度差演算手段 21が出力する仰角角度 差が変動する場合を考える。仰角角度差検出手段 22は、基準方位角を定めたとき の姿勢力も操作ユニット 7を上方に向けたときに (受聴者の頭を上に向けたときに)現 れる仰角角度差を正の仰角角度差 + φ dとし且つ操作ユニット 7を下方に向けたとき に（受聴者の頭を下に向けたときに）現れる仰角角度差を負の仰角角度差 φ dとし て出力する。この場合、チャンネル選択手段 29は、前述と同様に、方位角度演算手 段 23によって演算された方位角度差 Θ dにより定まる指示方位角 Θの方向に並ぶ複 数の仮想音源の音響信号チャンネルを選択する。そしてミキシング部 31は、例えば 仰角角度差検出手段が正の仰角角度差 + φ (1を出力しているときには、指示方位角 Θの方向に並ぶ複数の仮想音源の音量を、仰角角度差 + φ dに比例して、操作ュ ニット 7から離れる仮想音源ほど大きくなるようにする。またミキシング部 31は、仰角角 度差検出手段 22が負の仰角角度差— φ (1を出力しているときには、指示方位角 Θ の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して、操作ユニット 7か ら離れる仮想音源ほど小さくなるようにする。このようにすると操作ユニット 7の仰角を 変えること〖こよって、指示方位角 Θの方向に並ぶ複数の仮想音源の音量を選択的に 大きくしたり、小さくしたりすることができる。このようにしても特定の仮想音源に集中し て音を聞くことが可能になる。
[0033] 通常は、仰角角度差演算手段 21の出力 φ dと方位角度差演算手段 23の出力 Θ d の両方が角度範囲決定手段 25に入力されるため、これら二つの出力によって指示 方位角の方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりす る。
[0034] 角度範囲決定手段 25に絞り込みスィッチ 19から角度範囲を設定する指令が入力 されると、角度範囲決定手段 25は、仰角角度差演算手段 21の出力 φ dと方位角度 差演算手段 23の出力 Θ dを基準にして角度範囲の絞り込みを行う。そしてミキシング 手段 5は、設定された方位角度範囲内にある 1以上の仮想音源の音量を、方位角度 差が 0度のときの 1以上の仮想音源の音量よりも大きくする。また同時に、ミキシング 手段 5は、方位角度範囲外の他の仮想音源の音量を、方位角度範囲内にある 1以上 の仮想音源の音量よりも小さくするように、複数の音響信号チャンネル力も供給され る複数の音響信号の音量調整を行う。
[0035] 角度範囲決定手段 25は、絞り込みスィッチ 19が絞り込み方向に操作されると、方 位角度範囲を小さくし、絞り込みスィッチ 19が開放方向に操作されると、方位角度範 囲を大きくするように構成されている。例えば、絞り込みスィッチ 19の操作量に比例し て、方位角度差 Θ d士 aの α値を設定する。絞り込みスィッチ 19が操作されていな いときには、特に OCは設定されず、指定方位を中心にして全ての仮想音源力ゝらの音 が聞ける状態になっている。そして絞り込みスィッチ 19が操作されると、全ての仮想 音源力 の音が聞ける状態から、操作量に比例して (逆比例の関係で） αの値が小さ く設定される。そしてこの角度範囲内に入る仮想音源の音響信号の音量だけを大き し、この角度範囲外の仮想音源の音響信号の音量を小さくする。
[0036] 絞り込みスィッチ 19の絞り込み操作量が大きくなるほど、 αの値が小さくなつて方位 角差 Θ士 α及び仰角角度差 φ dで決まる絞り込まれた一領域の位置にある仮想音 源の音量だけが大きくなり、その周囲の仮想音源の音量は小さくなる。このような絞り 込みスィッチ 19を設けると、絞り込みスィッチ 19の操作だけで、角度範囲を絞り込ん で、特定の仮想音源の音量だけを簡単に調整することができる。なおこの絞り込みス イッチ 19は、ばね機構などにより自動的に開放方向に操作される構造を有している のが好ましい。このようなばね機構が設けられていると、絞り込みスィッチ 19を開放状 態にする際には、手を離すという動作だけを行えばよぐ操作が簡単になる。なおこ の種の絞り込みスィッチ 19としては、例えば、操作されるレバーに加わる力 δ (操作 用に比例する曲げ強さ）を測定する力センサまたは曲げセンサを内蔵したものを用い ることができる。また可変抵抗器と操作レバーとが組み合わされて構成され、可変抵 抗器のスライダの位置で操作量を測定する構造のセンサを用いたスィッチの検出部 に用いることもできる。操作量を測定するためのセンサは、特に限定されるものではな ぐ種々のセンサを利用することができるのは勿論である。
[0037] 図 2は実際に使用するセンサ付きのヘッドフォンである。図 2には、絞り込みスィッチ 19、方位角度検出センサ 15及び仰角角度検出センサ 17が取りつけられている部分 に符号を付してある。このようにヘッドフォンの本体を用いて操作ユニット 7のユニット 本体として利用すると、受聴者の頭の回転と頭の仰角によって、音源が指定できるた め、受聴者が聞きたいと思う仮想音源に向力 て顔を向け、頭を上下に傾ける動作 をするだけで、所望の仮想音源の音量を上げたり下げたりすることができる。またへッ ドフォンに絞り込みスィッチ 19を設けると、手を耳にかざして音を良く聞こうとする動作 と同じ動作をして絞り込みスィッチ 19を操作することにより、音量を上げることができる 。したがって自然な動作で音量調整をすることができる。
[0038] また方位角度検出センサ 15及び仰角角度検出センサ 17としてどのようなセンサを 用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を 検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出セン サ 15及び仰角角度検出センサ 17を 1つのセンサで構成することができる。
[0039] 次に上記実施の形態をパーソナル 'コンピュータを用いて具体的に実現する場合 の方法及びプログラムについて説明する。なお以下の説明では、方位角度検出セン サ 15及び仰角角度検出センサ 17を電子コンパスにより構成して 、る。以下に説明す る具体例では、音源の位置 (仮想音源の位置)と受聴者の頭の正面との角度差 (方 位角の差)を電子コンパスで測定し、その角度差によって、各音源の音量、位相 (左 右から出る音の割合)を変化させる。また受聴者の頭の仰角を電子コンパスで測定し 、仰角が大きいほど、遠くに配置した音源のミキシングの音量を大きぐ近くに配置し た音源のミキシングの音量を小さくする。そしてヘッドフォンに搭載されている曲げセ ンサ (絞り込みスィッチ 19に搭載されているセンサ）が耳元に添えた手の動きを測定 し、指向性を変化させる。絞り込みスィッチ 19を曲げると、正面に配置した音のミキシ ングの音量が大きくなり、正面に対して横、後に配置した音のミキシングの音量が小さ くなる。
[0040] 図 3は、コンピュータにインストールされて本発明の方法を実施し且つ本発明のミキ シング装置を実現するプログラムのアルゴリズムを示すフローチャートである。電子コ ンパスによって構成される方位角度検出センサ 15と仰角角度検出センサ 17の出力（ アナログ信号）は、 A/Dコンバータで A/D変換し、コンピュータに入力される。コン ピュータは、仮想音源の位置を算出し、音量、位相を決定し、仮想音源の音響信号 をミキシングして出力する。
[0041] 使用する電子コンパスは、方位角と、仰角を同時に測定することができるもので、指 示方位角 Θ、指示仰角 φの値は、 AZDコンバータで 0から 127の数値に置き換えら れてコンピュータに取り込まれる。以下の説明では、角度の単位はラジアンを用い、 - π≤ θく π、—π≤φく πとして説明する。ただし以下の説明では、仰角 φ、方位角 Θ は受聴者が初期状態で向いている方向を 0とするものである。したがって以下の説明 では、指示仰角 φ及び指示方位角 Θは、前述の基準方位角との間の仰角角度差 φ d及び方位角度差 Θ dと一致する。
[0042] また絞り込みスィッチ 19に用いられる曲げセンサの出力も AZDコンバータで 0から 127の数値に置き換えられてコンピュータに取り込まれる。コンピュータ上では、曲げ の強さを 0から 1までの値に正規ィ匕して用いる。以下の説明では、曲げ強さを 0≤ δ≤ 1 (0のとき：レバーが曲げられて ヽな 、状態、 1のとき：レバーが強く曲げられて 、る状 態)として説明する。
[0043] また音源としては、各パートの音を録音して得た複数の音響チャンネルの音響信号 を用いるものとする。以下の説明では、クラシックのパートごとの音を録音して音響チ ヤンネルとして使用するものとする。そして事前に、各音源の信号レベルは同じレべ ルに調節しておくものとする。そして以下の説明では、各音源の信号を Snとする。 n は何番目の信号であるかを示す。
[0044] 視覚により確認できるようにするために、この例ではそれぞれの音源の位置を 2次 元の仮想空間上に配置する。すなわちこの配置図は何種類か用意して切り替えて使 用してもよい。例えば図 4は、受聴者がクラシックの指揮者の位置にいる状況を作つ た場合の配置図の一例を示して 、る。図 4にお 、て〇の記号の中に示された数字は 、下記の楽器の仮想音源であることを示している。
[0045] 1 :第一バイオリン、 2 : 第二バイオリン、 3 : チェロ、 4:ビオラ、 5 : ハープ
6 :ホルン、 7 :クラリネット、 8 :オーボエ、 9 :コントラバス、 10 :パーカッション 11 :トランペット、 12 :トロンボーン、 13 :チューバ、 14:観客の声、拍手
図 4において、中心の黒い丸の記号參が自分の位置、そして矢印が現在向いてい る方向（指示方位角）を示す。各仮想音源から中心 (受聴者の位置)までの距離を In 、各仮想音源が配置されている方位角を θ nとする。なお θ nの単位は度、 Inは相対 的な値なので単位はない。一番遠くに配置した音源までの距離を 1として正規化する (0≤1η≤1)。図 5は、この正規化をイメージで示す図である。図 5において、〇の中 に数字 1, 2, 3が入った表記が仮想音源の位置を示している。そして中央の丸い図 形が受聴者の位置である。
[0046] 実際的には、図 4の配置図に示されるように、仮想音源の配置の良し悪しは、ミキシ ング結果の良し悪しに影響される。なおこの音源の配置は、準備する複数の音響信 号チャンネルを作成する際に行われている。図 3のフローチャートにおける、ステップ ST1の「音源の配置」は、音響再生装置 3で音響信号を再生して受聴者の前また周 囲に音源を配置することを意味する。
[0047] 図 3のステップ ST2では、基準方位決定スィッチ 13が押された力否かが判定される 。そして基準方位決定スィッチ 13が押されている場合には、ステップ ST3で、操作ュ ニット 7が向いている方位 (ヘッドフォンを装着した受聴者が向いている方位）力 正 面と設定される (即ち基準方位角及び基準仰角とが決定される)。初期段階では、必 ずステップ ST3が実行される。なお途中で基準方位角を変更することも可能である。
[0048] 次にステップ ST4で、操作ユニット 7により指すことにより定まる指示方位角 Θにお ける操作ユニット 7の仰角が変わっているか否かが検出される。仰角 φが変わってい れば、ステップ ST5へと進む。ステップ ST5では、基準方位を定めるときの操作ュ- ット 7の仰角を基準仰角として、基準仰角と操作ユニット 7の仰角との差を仰角角度差 φ (1として検出する。この場合、基準方位角を定めたときの姿勢力も操作ユニット 7を 上方に向けたときに現れる仰角角度差 φ dを正の仰角角度差とし且つ操作ユニットを 下方に向けたときに現れる仰角角度差を負の仰角角度差 φ dとする。そしてステップ ST5では仰角による各音源の増幅率 h Φが算出される。具体的には、電子コンパス から得られる仰角 φに応じて、各音源 ηの増幅率即ち増幅比 (減衰比) h *(0≤h ≤ 1)を算出する。増幅率 h Φの計算は、例えば下記の（1)式に従って定めることができ る。
[数 1]
ht =1 + ln sin ^ - - (i)
m
[0049] この式は、仰角が正の場合 (仰角が基準仰角よりも大きくなる場合)、遠くに配置し た音源では増幅率が大きな値を示し、近くに配置した音源では増幅率力 、さな値を 示す関数となる。また仰角が負の場合 (仰角が基準仰角よりも小さい場合）には、遠く に配置した音源では増幅率は小さな値となり、近くに配置した音源では増幅率が大 きな値となる。すなわちこれは正の仰角角度差 φ (1が検出されているときには、指示 方位角 Θの方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくす る。すなわち、操作ユニット 7と仮想音源との間の距離に比例して、その仮想音源の 音量 (増幅率)が大きくなる。また、負の仰角角度差 φ (1が検出されているときには、 指示方位角 Θの方向に並ぶ複数の仮想音源の音量を、仰角角度差 φ (1に比例して 小さくする。すなわち、操作ユニット 7と仮想音源との間の距離に比例して、その仮想 音源の音量 (増幅率)が小さくなる。
[0050] 図 6 (A)は、正の仰角角度差が検出されている場合における、 3つの仮想音源と受 聴者 (操作ユニット 7)との位置関係と増幅率との関係を示している。仮想音源の増幅 率 h Φが操作ユニットから離れる仮想音源ほど大きくなる（0. 63→0. 93→1. 37)こ とを示している。図 6 (B)は、正の仰角角度差が検出されている場合における距離 1と 増幅率 h Φとの関係を示すグラフである。図 7 (A)は、負の仰角角度差が検出されて いる場合における、 3つの仮想音源と受聴者 (操作ユニット 7)との位置関係と増幅率 との関係を示している。仮想音源の増幅率 h Φが操作ユニット 7から離れる仮想音源 ほど小さくなる（1. 37→0. 93→0. 63)ことを示している。図 7 (B)は、負の仰角角度 差が検出されている場合における距離 1と増幅率 h Φとの関係を示すグラフである。
[0051] 次にステップ ST6では、操作ユニット 7で指示している方位が変更されたか否かを 判定する。そして方位角が変化している場合にはステップ ST8へと進み、方位角が 変化していない場合にはステップ ST7へと進む。ステップ ST7では、絞り込みスイツ チ 19が操作されて絞り込み操作が行われたカゝ否かを判定する。ステップ ST7では絞 り込みスィッチ 19の曲げセンサが操作されたか否かでこの判定を行っている。ステツ プ ST7では、絞り込みの角度範囲を絞り込みスィッチ 19の絞り込み量（曲げセンサの 曲げ強さ δ )から判定する。
[0052] ステップ ST7で、絞り込みスィッチ 19が操作されて、絞り込み量の調整変更（曲げ センサの曲げ強さ δの変更）が行われると、絞り込みスィッチ 19の操作量に比例する 曲げセンサの強さ δが測定される。ステップ ST8では、曲げセンサの強さ δを受けて 、曲げセンサ力も得られる、曲げ強さ δに応じて各音源の増幅率 h δを算出する。増 幅率 h δは、 0または 1のいずれかの値をとる関数である。曲げセンサが曲がってない 状態では、すべての音源に対して増幅率 h δは 1を示すものとなる。そして曲げセン サが曲がると、絞り込み量に応じて、角度範囲が絞り込まれ (指向性が変化し)、増幅 率 h δ = 1を示す部分が次第に少なくなる。そして絞り込みスィッチを最も強く押すと、 受聴者が向いて定まる指示方位角の方向に配置した音源でのみ、増幅率 h δ = 1を 示すようになる。
[0053] 増幅率 h δの値は、例えば下記の式（2)で定めることができる。
[数 2]
Figure imgf000021_0001
[0054] ただし、上記式にぉ 、て 0 （一 π≤ 0 く π )は、各音源の方位角 θ ηと指示方 位角 Θとの間の角度差である。
[0055] たとえば、 Θ =30° 、 δ =0.5の場合では、図 8のように、そのとき受聴者が向いて いる方向の後ろ半分の領域に配置した音源で hn s =0、前半分に配置した音源で hn s
= 1となる。これにより不要な音を削除することができる。図 9は、受聴者の周囲に 11 個の仮想音源を配置した場合において、絞り込みスィッチ 19を強く押したときの（ Θ = 30° 、 δ =0.9)音が聞こえる領域を示している。この状態では、仮想音源 6の音だ けが聞こえ、その他の仮想音源からの音は不要な音として削除される。
[0056] 次にステップ ST9へと進む。ステップ ST9では、電子コンパス力 得られる指示方 位角 Θに応じて各音源の増幅率 h θを算出する。増幅率 h θは受聴者が向いている 指示方位角 Θの方向に並んで配置されている音源では大きな値を、そうでない方向 に配置されている音源では小さな値を示す関数である。このような関数は、例えば下 記の（3)式で定めることができる。
[数 3]
Figure imgf000022_0001
[0057] なお上記式においては、前述の絞り込みスィッチ 19の曲げセンサの曲げ強さ δが 考慮されており、曲げ強さ δが強くなるほど、すなわち絞込み量が多くなるほど（曲げ 強さ又は絞り込み量に比例して）、指向性が強まる。その結果、指示方位角 Θの方向 に配置されている音源の音量が大きくなるようになつている。図 10は、上記（3)式に より定まる各仮想音源の増幅率 h θの違いを図示している。図 10から判るように指示 方位角 Θの方向に並ぶ仮想音源の増幅率が一番大きぐ指示方位角 Θの方向から 離れるに従って (指示方位角 Θと周囲の仮想音源の方位角との間の方位角度差に 比例して）、増幅率力 、さくなつている。
[0058] 次にステップ ST10へと進み各音源との方位角度差 θ η に応じて左右の音量の音 量比 Ρηを算出する。すなわち位相調整が実施される。電子コンノ スカも得られる指 示方位角 Θに応じて、各音源の定位即ち音量比 Ρη (0≤Ρη≤1)を算出する。定位（ 音量比） Ρηが 0のとき、その音源の右の音と左の音の比率は 0 : 1、定位 (音量比） Ρη が 0. 5のとき、その音源の右の音と左の音の比率は 1 : 1、定位（音量比） Ρηが 1のと きその音源の右の音と左の音の比率は 1 : 0とする。この音量比は、下記の (4)式によ り定める。
画
p 一 1 "'
- ~ + (4)
z π
[0059] 上記 (4)式により各仮想音源の音量比を定めることにより位相調整がなされて、受 聴者が頭を回転しても、その回転と一緒に仮想音源が移動することはなくなる。図 11 は、上記 (4)式に基づいて求めた各仮想音源の音量比の一例を示す図である。図 1 1に示されるように、指示方位角の方向にある仮想音源 2の音量比が 0. 5となってい る。
[0060] 次にステップ ST11に進んで、ヘッドフォンの左右の音量を算出する。すなわちす ベての仮想音源の信号を加算しヘッドフォンから出力する。その際に、ステップ ST5 、ステップ ST8及びステップ ST9で求めた各増幅率を乗算する。
[0061] ヘッドフォンの右側の出力は以下のとおりに計算される。
[数 5]
° Right =∑Sn ' ht 'K 'K ' Pn (5)
η
[0062] またヘッドフォンの左側の出力は以下のとおりに計算される。
[数 6] sieft =∑Sn - h ' h · Ηη θ - (l - j (6)
η
[0063] 上記計算は、ミキシング手段 5によって実行される。図 12は、ミキシング手段 5で実 行して 、る増幅率の乗算イメージを図で示して 、る。図 12にお!/、て 3段階に並ぶ 3つ の「 X hl」は、仮想音源 1の上記各ステップ ST5、ステップ ST8及びステップ ST9で 求めた増幅率である。そして最終段の「X」及び「X 1—」は、上記ステップ 10におけ る左右の音量比をヘッドフォンの左右の出力に乗算することを意味して 、る。そして 最後の「∑」がすべての仮想音源の音響信号に増幅率及び音量比を乗算した乗算 信号を加算することを意味して 、る。
[0064] 図 13 (A)乃至（C)は、上記のミキシング装置を用いてミキシングを行っているときの 仮想音源 1〜11 (各図中の左側の図）の音量の変化を、ミキシング装置の増幅率決 定レバー（各図中の右側の図）の位置に置き換えて概念的に示す図である。これらの 図において、増幅率決定レバーが上に位置するほど音量が大きいことを示す。図 13 (A)に示すように、絞り込みスィッチ 19が押されていないとき（ δ =0)には、すべての 仮想音源 1〜11の音が聞こえている。そして図 13 (B)に示すように、絞り込みスイツ チ 19を弱く押したとき（ δ =0. 6)には、仮想音源 3の周辺の仮想音源の音が聞こえ ている。さらに図 13 (C)に示すように、絞り込みスィッチ 19を強く押すと、仮想音源 2 と仮想音源 3の音だけが聞こえるようになる。これらの図から判るように、本実施の形 態によれば、絞り込みスィッチ 19の操作量に応じて、任意の仮想音源の音だけを聞 くことが可能になる。
[0065] 上記実施の形態によれば、ヘッドフォンを着けた受聴者が右側を向くと右側に配置 した音源の音量が大きく聞こえるようになり、左側を向くと、左側に配置した音源の音 量が大きく聞こえるようになる。たとえば、 3人のギタリストによる演奏の場合には、通 常のヘッドフォンで聞くと、誰がどのパートを演奏している力判りにくい。しかしながら 、上記実施の形態によれば、ヘッドフォンを着けた受聴者の首を左右に振れば、一 人のギタリストの演奏を大きく聞こえるようにすることが可能になり、それぞれの演奏者 の演奏に注聴することができる。また受聴者がヘッドフォンを着けて上のほうを向くと 、遠くに配置した音源の音量が大きく聞こえるようになり、下を向くと、近くに配置した 音源の音量が大きく聞こえるようになる。
[0066] またヘッドフォンに搭載している絞り込みスィッチ 19を操作して操作量を大きくする と、指示方位角の方向に配置された音源の音量が大きくなり、横、後ろに配置された 音源の音量が小さくなる。したがって例えば、周囲が煩い場合でも、聴きたい音の方 向を向き、絞り込みスィッチ 19を操作するために耳に手をかざすと、その音が良く聞 こえるよう〖こなる。具体的には、受聴者の周囲に複数の仮想音源を配置した場合に は、以下のようなことが可能となる。 [0067] '絞り込みスィッチ 19 (曲げセンサ）を使わない場合には、 360° すべての音源の 音が聞こえる。
[0068] ·絞り込みスィッチ 19 (曲げセンサ）を弱く押すと、だんだん後ろの音が聞こえなくな る。たとえば、真横力 後ろの音が聞こえなくなる。
[0069] ·曲げセンサを強く押すと、指定方位 (受聴者の正面)の音だけが聞こえるようになる
[0070] 上記実施の形態では、操作ユニット 7の本体としてヘッドフォンを用いて 、る。しかし ながら、操作ユニット 7の本体としては、受聴者によって操作されるものであれば、ど のようなものでも利用できる。図 14は、家庭用のステレオ 'オーディオ機器等の音響 再生装置のリモートコントローラ 33を操作ユニットとして用いる場合の概念を示す図 である。リモートコントローラ 33の内部には、方位角度検出センサ及び仰角角度検出 センサが配置されており、リモートコントローラ 33の操作スィッチの一部が基準方位決 定スィッチと絞り込みスィッチとして用いられる。
[0071] この場合には、左右のスピーカ 32L及び 32R力 音が出されて、受聴者の前に仮 想音源が現れている。例えば図 15に示すように、リモートコントローラ 33を所望の仮 想音源 (キーボード）に向け、絞り込みスィッチを強く押すことによって指定方位が設 定されて、指定方位にある仮想音源の音だけを聞くことが可能になる。
[0072] また図 16は、表示画面兼入力画面を備えた PDA等の携帯端末 41を操作ユニット 7の本体として用いる場合の例を示して 、る。このような携帯端末 41を用いる場合に も、その内部には方位角度検出センサ 15及び仰角角度検出センサ 17が配置されて いる。そして携帯端末 41の画面上には、各仮想音源の存在が明示される。図 17〖こ 示すように携帯端末 41をある仮想音源の方向に向けると、その指示方位角の方向に ある 1以上の仮想音源の表示が他の仮想音源の表示とは変わる。例えば、点滅した り、明るく点灯することになる。そして絞り込みスィッチ SW2を押す回数によって、スィ ツチの操作量を変えることにより、特定の仮想音源への絞り込みが行われる。
産業上の利用可能性
[0073] 本発明によれば、複雑なミキシング技術を知らな!/ヽ受聴者でも、操作ユニットで方 向を指し示すだけで、所定のパートの音量を増減することができる。

Claims

請求の範囲
[1] 受聴者の周囲に複数の仮想音源を作り出す音響再生装置に対して、前記複数の 仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミ キシングして出力するミキシング手段を有するミキシング装置であって、
前記受聴者により操作される操作ユニットと、
前記操作ユニットに設けられて、予め定めた基準方位角と前記受聴者が前記操作 ユニットを用いて前記複数の仮想音源が存在する仮想音源空間内を指すことにより 定まる指示方位角との間の方位角度差を検出する方位角度差検出手段とを備え、 前記ミキシング手段は、
前記方位角度差が 0度のときには、前記複数の音響信号チャンネルから供給され る前記複数の音響信号をそのままミキシングして出力し、
前記方位角度差が 0度以外のときには、前記基準方位角を基準にして前記複数の 仮想音源の位置を固定した状態を作り、且つ前記指示方位角の方向に位置する 1以 上の前記仮想音源の音量が、前記方位角度差が 0度のときの前記 1以上の仮想音 源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前 記複数の音響信号の音量調整と位相調整とを行ってミキシングした後出力するように 構成されて!、るミキシング装置。
[2] 前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段 を更に備え、
前記ミキシング手段は、前記方位角度範囲が設定されると、前記方位角度範囲内 にある 1以上の前記仮想音源の音量を、前記方位角度差が 0度のときの前記 1以上 の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外の他の前記仮想音源 の音量を、前記方位角度範囲内にある前記 1以上の仮想音源の音量よりも小さくす るように、前記複数の音響信号チャンネル力も供給される前記複数の音響信号の音 量調整を行うように構成されて ヽる請求項 1に記載のミキシング装置。
[3] 前記ミシング手段は、前記方位角度範囲が設定されると、前記指示方位角と前記 複数の仮想音源の方位角との方位角度差を求め、前記方位角度差から前記方位角 度範囲内にある 1以上の前記仮想音源に対応する 1以上の前記音響信号チャンネ ルを選択するチャンネル選択手段と、
前記チャンネル選択手段により選択された前記 1以上の音響信号チャンネルの前 記 1以上の音響信号の音量を選択されていない他の音響信号チャンネルの前記音 響信号の音量よりも大きくするように、前記複数の音響信号チャンネル力も供給され る前記複数の音響信号の音量調整を行うミキシング部とからなることを特徴とする請 求項 2に記載のミキシング装置。
[4] 前記角度範囲設定手段は、前記操作ユニットに設けた絞り込みスィッチが絞り込み 方向に操作されると、前記方位角度範囲を小さくし、前記絞り込みスィッチが開放方 向に操作されると、前記方位角度範囲を大きくするように構成されて ヽる請求項 2〖こ 記載のミキシング装置。
[5] 前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基 準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位 角を定めたときの姿勢力 前記操作ユニットを上方に向けたときに現れる仰角角度差 を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度 差を負の仰角角度差として出力する仰角角度差検出手段を更に備えており、 前記ミキシング手段は、前記仰角角度差検出手段が前記正の仰角角度差を出力 しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前 記仰角角度差に比例して大きくし、前記仰角角度差検出手段が前記負の仰角角度 差を出力して!/、るときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の 音量を、前記仰角角度差に比例して小さくするように、前記指示方位角の方向に並 ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の 音響信号の音量調整を行うように構成されて ヽる請求項 1に記載のミキシング装置。
[6] 前記操作ユニットは、前記受聴者が頭に装着するヘッドフォンをユニット本体として 構成され、
前記ヘッドフォンに前記方位角度差検出手段に用いられる方位角度検出センサと 、前記仰角角度差検出手段に用いられる仰角角度検出センサと、前記角度範囲選 定手段の操作部とが少なくとも実装されている請求項 4に記載のミキシング装置。
[7] 前記絞り込みスィッチは、前記ヘッドフォンの左右のスピーカの少なくとも一方の外 側に装着され、前記受聴者の手を前記スピーカに近づける動きをすることにより前記 絞り込み方向への操作が行われ、前記受聴者の手を前記スピーカから離なすことに より自動的に前記開放方向への操作が行われる構造を有している請求項 6に記載の ミキシング装置。
[8] 前記操作ユニットは、前記受聴者が手に持って操作するリモートコントローラをュ- ット本体として構成され、
前記リモートコントローラに前記方位角度差検出手段に用いられる方位角度検出セ ンサと、前記仰角角度差検出手段に用いられる仰角角度検出センサと、前記角度範 囲選定手段の操作部とが少なくとも実装されている請求項 2に記載のミキシング装置
[9] 前記方位角度検出センサ及び前記仰角角度検出センサが、電子コンパスによって 構成されて 、る請求項 8に記載のミキシング装置。
[10] 受聴者の周囲に複数の仮想音源を作り出す音響再生装置に、前記複数の仮想音 源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシン グして出力するミキシング方法であって、
前記受聴者により操作される操作ユニットを用意するステップと、
予め定めた基準方位角と前記受聴者が前記操作ユニットを用いて前記複数の仮 想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位 角度差を検出するステップと、
前記方位角度差が 0度のときには、前記複数の音響信号チャンネルから供給され る前記複数の音響信号をそのままミキシングして出力し、前記方位角度差が 0度以外 のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状 態を作り、しかも前記指示方位角の方向に位置する 1以上の前記仮想音源の音量が 、前記方位角度差が 0度のときの前記 1以上の仮想音源の音量よりも大きくなるように 、前記複数の音響信号チャンネル力 供給される前記複数の音響信号の音量調整 と位相調整とを行ってミキシングするステップとからなることを特徴とするミキシング方 法。
[11] 前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステ ップを更に備え、
前記ミキシングするステップでは、前記方位角度範囲が設定されると、前記方位角 度範囲内にある 1以上の前記仮想音源の音量を、前記方位角度差が 0度のときの前 記 1以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外にある残りの 前記仮想音源の音量を、前記方位角度範囲内にある前記 1以上の仮想音源の音量 よりも小さくするように、前記複数の音響信号チャンネル力 供給される前記複数の 音響信号の音量調整を行うことを特徴とする請求項 10に記載のミキシング方法。
[12] 前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基 準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位 角を定めたときの姿勢力 前記操作ユニットを上方に向けたときに現れる仰角角度差 を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度 差を負の仰角角度差とする仰角角度差検出ステップを更に備え、
前記ミキシングするステップでは、前記正の仰角角度差が検出されているときには、 前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に 比例して大きくし、前記負の仰角角度差が検出されているときには、前記指示方位角 の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して小さくす るように、前記指示方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数 の音響信号チャンネルの前記複数の音響信号の音量調整を行うことを特徴とする請 求項 10に記載のミキシング方法。
[13] 受聴者の周囲に複数の仮想音源を作り出す音響再生装置に、前記複数の仮想音 源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシン グして出力するために、コンピュータに、
予め定めた基準方位角と前記受聴者が操作ユニットを用いて前記複数の仮想音 源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度 差を検出するステップと、
前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定する ステップと、
前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基 準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位 角を定めたときの姿勢力 前記操作ユニットを上方に向けたときに現れる仰角角度差 を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度 差を負の仰角角度差とする仰角角度差検出ステップと、
前記方位角度差が 0度のときには、前記複数の音響信号チャンネルから供給され る前記複数の音響信号をそのままミキシングして出力し;前記方位角度差が 0度以外 のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状 態を作り、しかも前記指示方位角の方向に位置する 1以上の前記仮想音源の音量が 、前記方位角度差が 0度のときの前記 1以上の仮想音源の音量よりも大きくなるように
、前記複数の音響信号チャンネル力 供給される前記複数の音響信号の音量調整 と位相調整とを行 ヽ；前記方位角度範囲が設定されると、前記方位角度範囲内にあ る 1以上の前記仮想音源の音量を、前記方位角度差が 0度のときの前記 1以上の仮 想音源の音量よりも大きくし、しかも前記方位角度範囲外にある残りの前記仮想音源 の音量を、前記方位角度範囲内にある前記 1以上の仮想音源の音量よりも小さくす るように、前記複数の音響信号チャンネル力も供給される前記複数の音響信号の音 量調整を行い；前記正の仰角角度差が検出されているときには、前記指示方位角の 方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して大きくし;前 記負の仰角角度差が検出されて 、るときには、前記指示方位角の方向に並ぶ複数 の前記仮想音源の音量を、前記仰角角度差に比例して小さくするように、前記指示 方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャン ネルの前記複数の音響信号の音量調整を行うようにミキシングするステップとを実行 させるためのプログラム。
PCT/JP2006/312332 2005-06-21 2006-06-20 ミキシング装置及び方法並びにプログラム WO2006137400A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/993,153 US8023659B2 (en) 2005-06-21 2006-06-20 Mixing system, method and program
JP2007522295A JP4295798B2 (ja) 2005-06-21 2006-06-20 ミキシング装置及び方法並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-180772 2005-06-21
JP2005180772 2005-06-21

Publications (1)

Publication Number Publication Date
WO2006137400A1 true WO2006137400A1 (ja) 2006-12-28

Family

ID=37570429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312332 WO2006137400A1 (ja) 2005-06-21 2006-06-20 ミキシング装置及び方法並びにプログラム

Country Status (4)

Country Link
US (1) US8023659B2 (ja)
JP (1) JP4295798B2 (ja)
TW (1) TW200708171A (ja)
WO (1) WO2006137400A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521909A (ja) * 2007-03-21 2010-06-24 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン 音声の再現を高めるための方法および装置
JP2012518313A (ja) * 2009-02-13 2012-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ モバイル用途のための頭部追跡
JP2012257076A (ja) * 2011-06-09 2012-12-27 Sony Corp 音制御装置、プログラム及び制御方法
JP2013207759A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 携帯端末、音源位置制御方法および音源位置制御プログラム
JP2013223098A (ja) * 2012-04-16 2013-10-28 Fujitsu Ltd 音声処理装置、音声処理方法および音声処理プログラム
US8908873B2 (en) 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US9015051B2 (en) 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
JP2015196036A (ja) * 2014-04-03 2015-11-09 株式会社藤商事 遊技機

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947471B1 (en) * 2007-01-16 2010-10-13 Harman Becker Automotive Systems GmbH System and method for tracking surround headphones using audio signals below the masked threshold of hearing
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US8515092B2 (en) * 2009-12-18 2013-08-20 Mattel, Inc. Interactive toy for audio output
US8653349B1 (en) * 2010-02-22 2014-02-18 Podscape Holdings Limited System and method for musical collaboration in virtual space
JP2013031145A (ja) 2011-06-24 2013-02-07 Toshiba Corp 音響制御装置
US11266919B2 (en) * 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US9288604B2 (en) * 2012-07-25 2016-03-15 Nokia Technologies Oy Downmixing control
US20140115468A1 (en) * 2012-10-24 2014-04-24 Benjamin Guerrero Graphical user interface for mixing audio using spatial and temporal organization
JP6553052B2 (ja) 2014-01-03 2019-07-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ジェスチャ相互作用式の装着可能な空間オーディオシステム
WO2015151561A1 (ja) * 2014-04-01 2015-10-08 本田技研工業株式会社 車両用パーキングロック装置
US9338552B2 (en) 2014-05-09 2016-05-10 Trifield Ip, Llc Coinciding low and high frequency localization panning
KR102226817B1 (ko) * 2014-10-01 2021-03-11 삼성전자주식회사 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
WO2016140058A1 (ja) * 2015-03-04 2016-09-09 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体
KR20170019649A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 사운드를 제공하는 전자 장치 및 방법
KR20170101629A (ko) * 2016-02-29 2017-09-06 한국전자통신연구원 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5023603A (ja) * 1973-06-22 1975-03-13
JPH07336793A (ja) * 1994-06-09 1995-12-22 Matsushita Electric Ind Co Ltd ビデオカメラ用マイクロホン
JPH0990963A (ja) * 1995-09-20 1997-04-04 Hitachi Ltd 音情報提供装置、及び音情報選択方法
JPH10172390A (ja) * 1996-12-13 1998-06-26 Harness Sogo Gijutsu Kenkyusho:Kk 車両用エアコンディショナーの操作装置
JP2001275197A (ja) * 2000-03-23 2001-10-05 Seiko Epson Corp 音源選択方法および音源選択装置並びに音源選択制御プログラムを記録した記録媒体
JP2003143683A (ja) * 2001-10-31 2003-05-16 Ntt Docomo Inc コマンド入力装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0225900A (ja) 1988-07-14 1990-01-29 Seiko Instr Inc 固体録音再生装置
JP3385725B2 (ja) * 1994-06-21 2003-03-10 ソニー株式会社 映像を伴うオーディオ再生装置
DE69632889T2 (de) 1995-05-22 2005-07-21 Victor Company of Japan, Ltd., Yokohama Wiedergabegerät mit Kopfhörer
JPH09205700A (ja) 1996-01-25 1997-08-05 Victor Co Of Japan Ltd ヘッドホン再生における音像定位装置
DE69841857D1 (de) * 1998-05-27 2010-10-07 Sony France Sa Musik-Raumklangeffekt-System und -Verfahren
JP3633459B2 (ja) * 2000-08-04 2005-03-30 ヤマハ株式会社 ミキシング録音再生装置、方法及び記憶媒体
EP2059072B1 (en) * 2007-11-12 2010-01-27 Harman Becker Automotive Systems GmbH Mixing first and second audio signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5023603A (ja) * 1973-06-22 1975-03-13
JPH07336793A (ja) * 1994-06-09 1995-12-22 Matsushita Electric Ind Co Ltd ビデオカメラ用マイクロホン
JPH0990963A (ja) * 1995-09-20 1997-04-04 Hitachi Ltd 音情報提供装置、及び音情報選択方法
JPH10172390A (ja) * 1996-12-13 1998-06-26 Harness Sogo Gijutsu Kenkyusho:Kk 車両用エアコンディショナーの操作装置
JP2001275197A (ja) * 2000-03-23 2001-10-05 Seiko Epson Corp 音源選択方法および音源選択装置並びに音源選択制御プログラムを記録した記録媒体
JP2003143683A (ja) * 2001-10-31 2003-05-16 Ntt Docomo Inc コマンド入力装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521909A (ja) * 2007-03-21 2010-06-24 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン 音声の再現を高めるための方法および装置
US8908873B2 (en) 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US9015051B2 (en) 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
JP2012518313A (ja) * 2009-02-13 2012-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ モバイル用途のための頭部追跡
JP2012257076A (ja) * 2011-06-09 2012-12-27 Sony Corp 音制御装置、プログラム及び制御方法
US9055157B2 (en) 2011-06-09 2015-06-09 Sony Corporation Sound control apparatus, program, and control method
US10542369B2 (en) 2011-06-09 2020-01-21 Sony Corporation Sound control apparatus, program, and control method
JP2013207759A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 携帯端末、音源位置制御方法および音源位置制御プログラム
JP2013223098A (ja) * 2012-04-16 2013-10-28 Fujitsu Ltd 音声処理装置、音声処理方法および音声処理プログラム
JP2015196036A (ja) * 2014-04-03 2015-11-09 株式会社藤商事 遊技機

Also Published As

Publication number Publication date
TW200708171A (en) 2007-02-16
US20090034766A1 (en) 2009-02-05
US8023659B2 (en) 2011-09-20
JPWO2006137400A1 (ja) 2009-01-22
JP4295798B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
JP4295798B2 (ja) ミキシング装置及び方法並びにプログラム
KR102487957B1 (ko) 개인화된 실시간 오디오 프로세싱
CN111326132B (zh) 音频处理方法、装置、存储介质及电子设备
US8767975B2 (en) Sound discrimination method and apparatus
JP5082327B2 (ja) 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4837512B2 (ja) 音源選択装置
JP2019535216A (ja) 空間オーディオシステムにおける利得制御
EP2736270B1 (en) System to control audio effect parameters of vocal signals
JP3624805B2 (ja) 音像定位装置
US9681212B2 (en) Headphones with multiple equalization presets for different genres of music
EP2736041A1 (en) System to selectively modify audio effect parameters of vocal signals
US8942385B1 (en) Headphones with multiple equalization presets for different genres of music
JP2010041190A (ja) 音響装置及びプログラム
US10484776B2 (en) Headphones with multiple equalization presets for different genres of music
JP4916005B2 (ja) カラオケシステム
EP3255905A1 (en) Distributed audio mixing
US20190313174A1 (en) Distributed Audio Capture and Mixing
JP3750198B2 (ja) 音像定位装置
JP2005051801A (ja) 音像定位装置
KR102650763B1 (ko) 오디오 소스 지향성에 기초한 심리음향 강화
WO2014125705A1 (ja) Ａｖ機器
JP6670521B2 (ja) パラメトリックイコライザ装置、オーディオ再生装置
CN115698936A (zh) 补充内容
Controller Products of Interest

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007522295

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11993153

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 06766993

Country of ref document: EP

Kind code of ref document: A1