WO2019097598A1 - 収音再生装置並びにプログラム及び記録媒体 - Google Patents

収音再生装置並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2019097598A1
WO2019097598A1 PCT/JP2017/041052 JP2017041052W WO2019097598A1 WO 2019097598 A1 WO2019097598 A1 WO 2019097598A1 JP 2017041052 W JP2017041052 W JP 2017041052W WO 2019097598 A1 WO2019097598 A1 WO 2019097598A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
signals
axis
microphone
microphones
Prior art date
Application number
PCT/JP2017/041052
Other languages
English (en)
French (fr)
Inventor
智治 粟野
木村　勝
訓 古田
仁 平野
敦仁 矢野
信秋 田中
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/643,654 priority Critical patent/US11245981B2/en
Priority to PCT/JP2017/041052 priority patent/WO2019097598A1/ja
Priority to JP2019554088A priority patent/JP6742535B2/ja
Publication of WO2019097598A1 publication Critical patent/WO2019097598A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Definitions

  • the present invention relates to a sound collection and reproduction apparatus.
  • the present invention generates, for example, bi-directional signals and omni-directional signals in a plurality of mutually different orthogonal directions from audio signals obtained by sound collection by a plurality of omnidirectional microphones, and reproduces a sound field.
  • a sound collecting and reproducing apparatus for Bidirectional components in different directions are used, for example, as X, Y, Z components of the ambisonic B-format, and omnidirectional components are used, for example, as the W component of the ambisonic B-format.
  • the present invention also relates to a program for causing a computer to execute processing of sound collection reproduction in a sound collection reproduction apparatus, and a recording medium recording the program.
  • the sound collection and reproduction apparatus is a technology for specifying the direction of arrival of sound and reproducing the sound according to the direction of arrival of sound.
  • Such a sound collection and reproduction apparatus is used, for example, to reproduce a change in the sound field when the listener's head rotates. For example, when a listener watching a sport on television rotates his head, the reproduced sound from the speaker is changed to reproduce a change in the direction of arrival of the sound accompanying the rotation.
  • Ambisonics is known as one of such three-dimensional sound techniques.
  • an Ambisonic A-format signal is generally acquired using a special microphone called an Ambisonics microphone, and then converted into an Ambisonic B-format signal (Non-Patent Document 1).
  • Examples of ambisonic microphones include TetraMic (Core Sound) and SPS 200 (SoundField).
  • Non-Patent Document 1 In order to carry out the method of Non-Patent Document 1, a special microphone is required, which is expensive. In addition, there is a problem that there is no freedom in the arrangement of the microphones.
  • the invention is capable of producing a plurality of different orthogonally directed bi-directional and omni-directional signals without the use of special microphones and without undue restrictions on the placement of the microphones. It aims at providing a reproduction device.
  • the sound pickup and reproduction apparatus is A microphone array, a processing circuit, and an audio output unit;
  • the microphone array includes first and second microphones disposed on the first of the first, second and third axes orthogonal to one another, and the first and second microphones being stretched on the first and second axes.
  • a third microphone disposed at a position other than the first axis and a position on the third axis other than the plane stretched by the first and second axes.
  • a fourth microphone and The processing circuit Based on the signals obtained by the first to fourth microphones, bi-directional signals in first, second and third directions orthogonal to each other and omnidirectional signals are generated.
  • the sound pickup and reproduction apparatus is A microphone array, a processing circuit, and an audio output unit;
  • the microphone array extends on a horizontal plane, and the first and second microphones disposed on the first of the first and second axes orthogonal to each other, and the microphone on the horizontal plane And a third microphone disposed at a position other than the first axis,
  • the processing circuit Bi-directional signals in first and second directions parallel to the horizontal plane and orthogonal to each other based on signals obtained by the first, second and third microphones, and omnidirectional Generate sexual signals and
  • a drive signal is generated from the generated bi-directional signal and the omnidirectional signal, and the audio output unit is driven by the drive signal.
  • the present invention it is possible to generate a plurality of mutually different orthogonally directed bi-directional and omni-directional signals without using special microphones and without excessive restriction on the arrangement of the microphones. .
  • FIG. 2 is a diagram showing an example of arrangement of a plurality of microphones constituting a microphone array used in the sound collection and reproduction apparatus according to the first embodiment.
  • FIG. 5 is a diagram showing a microphone used for generating a bi-directional signal in the x-axis direction and a bi-directional signal in the y-axis direction among the microphones shown in FIG. 3.
  • FIG. 3 is a diagram showing a microphone used for generating a bi-directional signal in the x-axis direction and a bi-directional signal in the y-axis direction among the microphones shown in FIG. 3.
  • FIG. 5 is a diagram showing a microphone used for generating a bi-directional signal in the z-axis direction among the microphones shown in FIG. 3. It is a figure which shows the bi-directionality which X signal of ambisonic B-format has. It is a figure which shows the bi-directionality which the Y signal of ambisonic B-format has. It is a figure which shows the bi-directionality which Z signal of ambisonic B-format has. It is a figure which shows the omnidirectionality which W signal of ambisonic B-format has. It is a block diagram which shows the structural example of the processing circuit of FIG. It is a block diagram which shows the structural example of the format conversion part of FIG.
  • FIG. 16 is a block diagram showing an example of configuration of a processing circuit of a sound collection and reproduction apparatus according to a third embodiment. It is a block diagram which shows the structural example of the format conversion part of FIG.
  • FIG. 18 is a block diagram showing an example of configuration of a processing circuit of a sound collection and reproduction apparatus according to a fourth embodiment.
  • (A) And (b) is a flowchart which shows the procedure of the process in the processing circuit of the sound collection reproducing apparatus of Embodiment 4.
  • FIG. 1 shows a configuration example of a sound collection and reproduction apparatus according to a first embodiment of the present invention.
  • the illustrated sound collection and reproduction apparatus has a microphone array 2, a processing circuit 4, a storage device 6, and an audio output unit 8.
  • the functions of the processing circuit 4 of FIG. 1 can be realized not only by hardware but also by using software.
  • a configuration example of the sound collection and reproduction apparatus in the case of software implementation is shown in FIG.
  • the processing circuit 4 of FIG. 1 is configured by the processor 401 and the program memory 402 of FIG. 2, and the processor 401 operates as the processing circuit 4 of FIG. 1 by performing operations according to the program stored in the program memory 402. Do.
  • the storage device 6 may be configured by an HDD (hard disk drive), an SSD (solid state drive), or the like.
  • the storage device 6 may be directly connected to the processing circuit 4 or may be connected via a network. .
  • voice is picked up by the microphone array 2, and a voice signal (pickup signal) outputted from the microphone array 2 is inputted to the processing circuit 4.
  • the processing circuit 4 performs signal processing on the input collected sound signal to convert it into a plurality of bi-directional signals and omni-directional signals.
  • the plurality of bi-directional signals are bi-directional signals in directions orthogonal to each other.
  • the processing circuit 4 records the signal (conversion signal) generated by the conversion.
  • the processing circuit 4 generates an audio signal (drive signal) suitable for the audio output unit 8 from the recorded conversion signal, and supplies the audio signal to the audio output unit 8.
  • the audio output unit 8 outputs an audio based on the supplied drive signal.
  • FIG. 3 shows an example of the arrangement of a plurality of microphones constituting the microphone array 2 in the present embodiment.
  • the microphone array 2 comprises four nondirectional microphones Ma to Md.
  • These microphones Ma to Md are arranged as follows. First, in a space in which the microphones Ma to Md are arranged, three axes orthogonal to one another are defined as an x axis, a y axis, and a z axis. These three axes form an xyz coordinate system whose origin is the intersection of these three axes. Of these axes, the x-axis and y-axis are horizontal axes, and the z-axis is a vertical axis.
  • two microphones Ma and Mb are disposed on one of the horizontal axes, for example, the x-axis.
  • one microphone Mc is disposed at a position other than the x axis on a plane (xy plane) stretched by the x axis and the y axis.
  • one microphone Md is disposed at a position other than the xy plane on the z axis.
  • the microphones Ma to Md being arranged in this manner, the microphones Ma, Mb and Mc are located on the xy plane as shown in FIG. 4 and the microphones Ma, Mb and Md are shown on FIG. , Will be located on the xz plane.
  • Voices are picked up by the microphones Ma to Md arranged in this way, and voice signals (pickup signals) Aa to Ad obtained by picking up the sound are inputted to the processing circuit 4.
  • the processing circuit 4 generates bi-directional signals in different directions and omnidirectional signals based on the input sound pickup signals Aa to Ad. These signals are sometimes referred to as converted signals for convenience. Bidirectional signals in different directions are used as, for example, X signals, Y signals and Z signals in ambisonic B-format, and omnidirectional signals are used as W signals in ambisonic B-format, for example. .
  • FIGS. 6, 7 and 8 show the bi-directionality of X signals, Y signals and Z signals of Ambisonic B-format.
  • FIG. 9 shows the omnidirectionality of the W signal of Ambisonic B-format.
  • the processing circuit 4 of FIG. 1 includes an input processing unit 10, a format conversion unit 20, a writing unit 30, a reading unit 40, and a reproduction processing unit 50.
  • the input processing unit 10 receives the audio signals Aa to Ad from the microphones Ma to Md of the microphone array 2 and performs processing such as amplification and A / D conversion, and as a result of these processing, corresponds to the signals Aa to Ad, respectively.
  • Signal (signal after input processing) Ba to Bd are generated and output.
  • the signal Aa and the signal Ba are both audio signals obtained by sound collection with the microphone Ma.
  • both the signal Ab and the signal Bb are audio signals obtained by sound collection by the microphone Mb.
  • both the signal Ac and the signal Bc are audio signals obtained by sound collection by the microphone Mc.
  • the signal Ad and the signal Bd are both audio signals obtained by sound collection by the microphone Md.
  • the format conversion unit 20 includes a bi-directionality generation unit 22 and an omnidirectionality generation unit 24.
  • Bidirectional generator 22 uses bi-directional signals (X signal) Cx in the x-axis direction and bi-directional signals in the y-axis direction using signals Ba to Bd obtained by sound collection by microphones Ma to Md.
  • X signal Cx in the x-axis direction
  • Y signal Cy
  • Z signal a bi-directional signal
  • the bi-directional X signal Cx in the x-axis direction may be generated using the signals Ba, Bb, and Bd obtained by sound collection by the microphones Ma, Mb, and Md located on the xz plane.
  • a bi-directional signal in the direction of a certain axis may be generated using a sound collection signal obtained by sound collection by a microphone located on a plane including the axis.
  • bi-directional signals are generated in the direction of the axis located on the plane. . If the microphone arrangement is arranged at the vertex of a regular tetrahedron, for example, it is impossible to generate bi-directional signals in directions orthogonal to each other.
  • the generation of the X signal Cx, the Y signal Cy and the Z signal Cz can be performed by beam forming.
  • the beamformer output when the beam direction is directed to the x-axis in beamforming is used as the X signal Cx
  • the beam is directed to the y-axis in beamforming
  • the output of the former is used as the Y signal Cy
  • the output of the beam former when the direction of the beam is directed to the z-axis in beam forming is used as the Z signal Cz.
  • the X signal Cx, the Y signal Cy, and the Z signal Cz obtained as described above are used as an X signal, an Y signal, and a Z signal in the ambisonic-B format, respectively.
  • the algorithm of the beamforming process may be any.
  • the method described in Non-Patent Document 2 may be used.
  • Non-Patent Document 2 shows that the coefficients of the filter at the time of beamforming may be determined according to equation (3.2) on page 12.
  • the direction of bi-directionality can be freely determined in the plane in which the three microphones are arranged, for example, two directions orthogonal to each other (for example, in the plane) Bi-directional signals can be generated with each of the x direction and the y direction) as the main axis direction. Two microphones can generate bi-directional signals, but only in one direction.
  • the omnidirectionality generation unit 24 uses any one of the signals Ba to Bd obtained by the sound collection by the four microphones Ma to Md, or a combination of two or more of the signals Ba to Bd. To generate an omnidirectional signal (W signal) Cw (FIG. 15). When any one of the signals Ba to Bd is used, the signal can be used as the W signal Cw as it is. When a combination of two or more of the signals Ba to Bd is used, for example, the output of the beamformer when the omnidirectionality is generated by the beamforming process using a combination of these signals can be used as the W signal Cw.
  • the W signal Cw obtained as described above is used as a W signal of ambisonic-B format.
  • the writing unit 30 records the X signal Cx, the Y signal Cy, the Z signal Cz, and the W signal Cw generated by the format conversion unit 20 in the storage device 6.
  • the storage unit 6 stores the recorded signal.
  • the recorded signals Cx, Cy, Cz and Cw are read out, and an audio signal (drive signal) suitable for the audio output unit 8 is generated.
  • the reading unit 40 reads the signals Cx, Cy, Cz and Cw stored in the storage device 6.
  • the reproduction processing unit 50 generates and outputs signals (drive signals) Da, Db, Dc,... Of a format suitable for the audio output unit 8 based on the read signals Cx, Cy, Cz and Cw.
  • the conversion into drive signals Da, Db, Dc,... Can be performed, for example, according to the general Ambisonic B-format reproduction method described in Non-Patent Document 1.
  • the signals Cx, Cy, Cz and Cw are used as X signals, Y signals, Z signals and W signals of Ambisonic B-format, respectively.
  • a signal used to drive each speaker is generated.
  • driving signals are generated by multiplying coefficients Cx, Cy, Cz and Cw of Ambisonic B-format X, Y, Z and W, and adding them to generate a driving signal, which is used for driving each speaker.
  • the X signal, Y signal, Z signal and W signal (conversion signal) Cx, Cy, Cz, Cw are generated and stored, and at the time of reproduction, the drive signal is generated from the stored conversion signal.
  • conversion signal conversion signal
  • step ST101 the microphones Ma to Md perform sound collection, and the sound collection signals Aa to Ad are supplied to the processing circuit 4.
  • step ST102 the processing circuit 4 performs an input process on the collected sound signals Aa to Ad, and generates signals Ba to Bd after the input process.
  • step ST103 the processing circuit 4 generates an X signal Cx, a Y signal Cy and a Z signal Cz from the signals Ba to Bd.
  • step ST104 the processing circuit 4 generates the W signal Cw from any one of the signals Ba to Bd or from a combination of two or more of the signals Ba to Bd.
  • step ST105 the processing circuit 4 writes the signals (conversion signals) Cx, Cy, Cz and Cw generated at steps ST103 and ST104 to the storage device 6 and stores them.
  • the processing circuit 4 reads the converted signals Cx, Cy, Cz and Cw stored in the storage device 6.
  • the processing circuit 4 generates drive signals Da, Db, Dc,... Using the read conversion signals Cx, Cy, Cz and Cw.
  • the processing circuit 4 drives the speaker of the audio output unit 8 with the generated drive signals Da, Db, Dc,.
  • the x axis and the y axis are axes in the horizontal direction
  • the z axis is an axis in the vertical direction
  • the microphones Ma and Mb are arranged on the x axis.
  • the microphone Mc is disposed at a position other than the x-axis
  • the microphone Md is disposed on the z-axis to form a bi-directional signal in the x-axis direction, the y-axis direction, and the z-axis direction.
  • the above x-axis, y-axis and z-axis can be interchanged.
  • the first and second microphones Ma and Mb are arranged on a first axis (for example, the x-axis) of the first, second and third axes (x-axis, y-axis and z-axis) orthogonal to each other.
  • the third microphone Mc is disposed at a position other than the first axis (x axis) on a plane (xy plane) stretched by the first and second axes (for example, y axis).
  • the fourth microphone Md may be disposed on the axis (z axis) of
  • a bi-directional signal in a first direction (x direction) and a second direction signals in the y direction) are generated, and audio signals obtained by sound collection by the first, second and fourth microphones Ma, Mb and Md are used to generate dual signals in the third direction (z direction). It is sufficient if directional signals are generated.
  • the axis on which the plurality of microphones are arranged may not coincide with the direction of the formed bi-directionality.
  • the axes used as the reference in the arrangement of the microphones are the first, second and third axes (f, g and h axes), and the direction of the formed bi-directionality is the first, second and third directions (the Assuming that x, y and z directions), the arrangement of the microphones and the microphones used to generate bi-directionality in each direction may satisfy the following relationship.
  • the first and second microphones (Ma and Mb) are disposed on the first axis (for example, the f axis) of the three axes (f, g and h axes) orthogonal to one another.
  • the third microphone (Mc) is disposed at a position other than the first axis (f axis) on a plane (fg plane) stretched by the second axis (for example, the f and g axes), and the third axis
  • the fourth microphone (Md) is disposed at a position on the h axis) and outside the plane (fg plane) stretched by the first and second axes.
  • A2 First, second, and third directions (for example, x, y, and z) orthogonal to one another by using audio signals obtained by collecting sound by the first to fourth microphones (Ma to Md) Bi-directional signals are generated.
  • one of the first, second, and third axes (f, g, and h axes) (for example, the h axis) is an axis in the vertical direction, and the first, second, and third directions
  • One of the (x, y and z directions) (for example, the z direction) is the vertical direction.
  • the third axis (h axis) is an axis in the vertical direction
  • the third direction (z direction) is the vertical direction. Therefore, the first and second axes (f and g axes) are axes extending on a horizontal plane, and the first and second directions (x and y directions) are parallel to the horizontal plane.
  • bi-directional signals in three directions orthogonal to each other can be generated by a combination of inexpensive nondirectional microphones.
  • the microphone arrangement only needs to satisfy the above conditions, and there is no restriction on the distance between the microphones. Therefore, it can be a compact microphone set, and can be attached to a small device (mobile phone, smart phone, wearable device, etc.).
  • the second embodiment is different from the first embodiment in the configuration of the microphone array and the configuration of the processing circuit. That is, in the second embodiment, the microphone array 2b shown in FIG. 17 is used instead of the microphone array 2 of the first embodiment, and the processing circuit 4b of FIG. 18 is used instead of the processing circuit 4 of the first embodiment. Is used.
  • FIG. 17 shows the arrangement of microphones constituting the microphone array 2b of the sound collection and reproduction apparatus of the second embodiment
  • FIG. 18 shows the processing circuit 4b of the sound collection and reproduction apparatus of the second embodiment.
  • FIGS. 17 and 18 the same reference numerals as in FIGS. 1 and 3 denote the same.
  • the microphone array 2b includes five microphones Ma to Me. Among them, the microphones Ma to Md are arranged as in the first embodiment.
  • the microphone Me is disposed at the intersection of the x axis, the y axis and the z axis, that is, at the origin of the xyz coordinate system, and is a nondirectional microphone like the microphones Ma to Md.
  • the processing circuit 4b used in the second embodiment has an input processing unit 10b, a format conversion unit 20b, a writing unit 30, a reading unit 40, and a reproduction processing unit 50, as shown in FIG.
  • the writing unit 30, the reading unit 40, and the reproduction processing unit 50 are the same as those described in the first embodiment.
  • the input processing unit 10b receives the collected sound signals Aa to Ae from the microphones Ma to Me of the microphone array 2b, performs processing such as amplification and A / D conversion, and as a result of these processing, the signals Aa to Ae are generated.
  • the corresponding signals Ba to Be after input processing are generated and output.
  • the signals Ba to Be after the input processing can also be said to be signals obtained by sound collection with the microphones Ma to Me as in the first embodiment.
  • the format conversion unit 20b includes a bi-directionality generation unit 22b and an omnidirectionality generation unit 24b.
  • the bi-directionality generation unit 22b uses the signals Ba, Bb, Bc, and Be obtained by sound collection with the microphones Ma, Mb, Mc, and Me (FIG. 17) to generate an X signal Cx (FIG. 12) and a Y signal Cy. (FIG. 13) is generated, and the signals Ba, Bb, Bd and Be obtained by the microphones Ma, Mb, Md and Me (FIG. 17) are used to generate the Z signal Cz (FIG. 14). Since the bi-directional signal is generated also using the microphone Me arranged at the origin, a sharper directional signal can be generated.
  • the omnidirectionality generation unit 24b outputs a signal Be obtained by sound collection by the microphone Me as a W signal Cw. Since the signal Be obtained by sound collection by the microphone Me disposed at the origin is used as it is as the W signal Cw, signal deterioration due to processing such as beam forming can be avoided.
  • the writing unit 30 b records the X signal Cx, the Y signal Cy, the Z signal Cz, and the W signal Cw generated by the format conversion unit 20 b in the storage device 6.
  • the storage device 6 stores the recorded X signal Cx, Y signal Cy, Z signal Cz and W signal Cw.
  • the process of reproducing the recorded sound is the same as that described in the first embodiment.
  • the x-axis, the y-axis and the z-axis can be interchanged.
  • the first and second microphones Ma and Mb are arranged on a first axis (for example, the x-axis) of the first, second and third axes (x-axis, y-axis and z-axis) orthogonal to each other.
  • the third microphone Mc is disposed at a position other than the first axis (x axis) on a plane (xy plane) stretched by the first and second axes (for example, y axis).
  • the fourth microphone Md may be disposed on the axis (z axis) of and the fourth microphone may be disposed at the intersection of the first, second, and third axes.
  • a bi-directional signal in the first direction (x direction) and A bi-directional signal in the second direction (y direction) is generated, and an audio signal obtained by collecting sound by the first, second, fourth and fifth microphones Ma, Mb, Md and Me is used.
  • a bi-directional signal in the third direction (z direction) may be generated.
  • the axis on which the plurality of microphones are arranged may not be the same as the direction of the bi-directionality to be formed.
  • the axes used as the reference in the arrangement of the microphones are the first, second and third axes (f, g and h axes), and the direction of the formed bi-directionality is the first, second and third directions (the Assuming that x, y and z directions), the arrangement of the microphones and the microphones used to generate bi-directionality in each direction may satisfy the following relationship.
  • the first and second microphones (Ma and Mb) are disposed on a first axis (for example, the f axis) of three axes (f, g and h axes) orthogonal to one another.
  • the third microphone (Mc) is disposed at a position other than the first axis (f axis) on a plane (fg plane) stretched by the second axis (for example, the f and g axes), and the third axis
  • the fourth microphone (Md) is disposed at a position on the h axis) and outside the plane (fg plane) stretched by the first and second axes, and the first, second and third microphones
  • a fifth microphone (Me) is arranged at the intersection of the axes.
  • B2 First, second, and third directions (for example, x, y, and z) orthogonal to one another by using audio signals obtained by the first to fifth microphones (Ma to Me). Bi-directional signals are generated.
  • the first and second directions are detected using the audio signals obtained by the first, second, third and fifth microphones (Ma, Mb, Mc and Me). And y) bi-directional signals are generated.
  • B2b Using the audio signal obtained by the first, second, fourth and fifth microphones (Ma, Mb, Md and Me) to pick up, the bi-directional in the third direction (z direction) Sexual signals are generated.
  • first, second, and third axes (f, g, and h axes) (for example, the h axis) is an axis in the vertical direction, and the first, second, and third directions (x , Y and z directions) (for example, the z direction) is the vertical direction.
  • the third axis (h axis) is an axis in the vertical direction
  • the third direction (z direction) is the vertical direction. Therefore, the first and second axes (f and g axes) are axes extending on a horizontal plane, and the first and second directions (x and y directions) are parallel to the horizontal plane.
  • the third embodiment is different from the first embodiment in the configuration of the microphone array and the configuration of the processing circuit. That is, in the third embodiment, the microphone array 2c shown in FIG. 20 is used instead of the microphone array 2 of the first embodiment, and the processing circuit 4c of FIG. 21 is used instead of the processing circuit 4 of the first embodiment. Is used.
  • FIG. 20 shows the arrangement of the microphones constituting the microphone array 2 of the sound collection and reproduction apparatus of the third embodiment, and FIG. 21 shows the processing circuit 4c of the sound collection and reproduction apparatus of the second embodiment.
  • FIGS. 20 and 21 the same reference numerals as in FIGS. 1 and 3 indicate the same.
  • the microphone array 2c includes three microphones Ma, Mb and Mc, and the microphone Md of the first embodiment is not used.
  • the x axis and the y axis are axes extending in the horizontal direction, and accordingly, the plane stretched by the x axis and the y axis is a horizontal plane.
  • Microphones Ma, Mb and Mc are arranged in the same manner as in the first embodiment. That is, two microphones Ma and Mb are disposed on the x-axis (FIG. 20). Also, one microphone Mc is disposed at a position other than the x-axis on the xy plane.
  • the processing circuit 4c used in the third embodiment has an input processing unit 10c, a format conversion unit 20c, a writing unit 30c, a reading unit 40c, and a reproduction processing unit 50c.
  • the input processing unit 10c receives the collected sound signals Aa to Ac from the microphones Ma to Mc of the microphone array 2c, performs processing such as amplification and A / D conversion, and as a result of these processing, the signals Aa to Ac are respectively generated. It generates and outputs the corresponding post-input processing signals Ba to Bc.
  • the format conversion unit 20c includes a bi-directionality generation unit 22c and an omnidirectionality generation unit 24c.
  • the bi-directionality generation unit 22c uses the signals Ba, Bb, Bc and Be obtained by the sound collection by the microphones Ma, Mb and Mc (FIG. 20) to generate an X signal Cx (FIG. 12) and a Y signal Cy (figure 13) Generate.
  • the omnidirectionality generation unit 24 c uses any one of the signals Ba, Bb, and Bc obtained by the sound collection by the three microphones Ma, Mb, and Mc, or uses one of the signals Ba, Bb, and Bc.
  • the W signal Cw is generated using two or more combinations of (1) (FIG. 15).
  • the signal can be used as it is as the W signal Cw.
  • the output of the beamformer when the omnidirectionality is generated by the beamforming process using the combination of signals can be used as the W signal Cw.
  • the Z signal Cz is not generated.
  • the writing unit 30 c records the X signal Cx, the Y signal Cy, and the W signal Cw generated by the format conversion unit 20 c in the storage device 6.
  • the storage unit 6 stores the recorded signal.
  • the recorded signals Cx, Cy and Cw are read out, and an audio signal (drive signal) suitable for the audio output unit 8 is generated.
  • the reading unit 40 reads the signals Cx, Cy and Cw stored in the storage device 6.
  • the reproduction processing unit 50 converts the read signals Cx, Cy and Cw into signals (drive signals) Da, Db, Dc,... Of a format suitable for the audio output unit 8 and outputs the signals.
  • the conversion into drive signals Da, Db, Dc,... Can be performed, for example, by the general Ambisonic B-format reproduction method described in Non-Patent Document 1.
  • the signals Cx, Cy and Cw are used as X signals, Y signals and W signals of the ambisonic B-format, respectively. Also, calculation is performed with Z signal of ambisonic B-format being zero.
  • a signal used to drive each speaker is generated.
  • a drive signal is generated by multiplying coefficients X, Y and W signals Cx, Cy and Cw of Ambisonic B-format and adding them, and used to drive each speaker.
  • a bi-directional signal in the vertical direction is not generated.
  • localization in the vertical direction can not be performed, and localization only in the azimuth direction is possible.
  • the configuration of the third embodiment can be used in such a case.
  • the third embodiment has the advantage that the microphone array is relatively small.
  • the x axis and the y axis are horizontal axes
  • the microphones Ma and Mb are arranged on the x axis
  • the microphone Mc is at a position other than the x axis on the xy plane. They are arranged to form bi-directional signals in the x-axis and y-axis directions.
  • the above x-axis and y-axis can be interchanged.
  • the first and second microphones Ma and Mb are disposed on the first axis (for example, the x-axis) of the first and second axes (x-axis and y-axis) orthogonal to each other.
  • the third microphone Mc may be disposed at a position other than the first axis (x axis) on a plane (xy plane) stretched by the second axis (for example, y axis).
  • the x axis and the y axis are axes extending in the horizontal direction.
  • the axis on which the plurality of microphones are arranged may not coincide with the direction of the bi-directionality to be formed.
  • the reference axes in the arrangement of the microphones are the first and second axes (f and g axes)
  • the directions of the formed bidirectivity are the first and second directions (x and y directions).
  • the arrangement of the microphones and the microphones used to generate bi-directionality in each direction may satisfy the following relationship.
  • the first and second microphones (Ma, Mb) are provided on a first axis (for example, the f-axis) of two axes (f-axis and g-axis) extending on a horizontal plane and orthogonal to each other
  • the third microphone (Mc) is disposed at a position other than the first axis (f axis) on the horizontal plane (fg plane).
  • C2 Using an audio signal obtained by sound collection by the first, second and third microphones (Ma, Mb and Mc), parallel to the horizontal plane on the horizontal plane (fg plane) and orthogonal to each other Bi-directional signals in first and second directions (e.g., x and y directions) are generated.
  • the microphone array may include the microphone (Me) disposed at the intersection of two axes.
  • an audio signal obtained by sound collection by the microphone (Me) arranged at the above intersection is also used to generate the bi-directionality in the first and second directions.
  • an audio signal obtained by sound collection by the microphone (Me) disposed at the intersection may be used as it is as the W signal Cw.
  • the X signal Cx, the Y signal Cy, the Z signal Cz, and the W signal Cw are generated at the time of sound collection and stored until the time of reproduction, but these signals may be generated at the time of reproduction.
  • the signals Ba to Bd obtained by sound collection are recorded, and at the time of reproduction, the X signal Cx, the Y signal Cy, the Z signal Cz and the W signal are extracted from the read out signals Ba to Bd.
  • Cw is generated, and drive signals Da, Db, Dc,... Are generated from these signals Cx, Cy, Cz and Cw.
  • FIG. 23 a configuration of processing circuit 4d shown in FIG. 23 is shown in FIG. 23 instead of processing circuit 4 of the first embodiment.
  • the processing circuit 4d shown in FIG. 23 includes an input processing unit 10, a writing unit 30d, a reading unit 40d, a format conversion unit 20, and a reproduction processing unit 50.
  • the same reference numerals as in FIG. 1 denote the same components.
  • the input processing unit 10 receives the audio signals Aa to Ad from the microphones Ma to Md of the microphone array 2 and performs processes such as amplification and A / D conversion, and the results of these processes. It generates and outputs signals (signals after input processing) Ba to Bd corresponding to the signals Aa to Ad, respectively.
  • the writing unit 30 d records the audio signals Ba to Bd from the input processing unit 10 in the storage device 6.
  • the storage unit 6 stores the recorded signals Ba to Bd.
  • the recorded signals Ba to Bd are read out, and an audio signal (drive signal) suitable for the audio output unit 8 is generated based on these signals.
  • the reading unit 40 d reads the signals Ba to Bd stored in the storage device 6.
  • the format converter 20 converts the read signals Ba to Bd into an X signal Cx, a Y signal Cy, a Z signal Cz, and a W signal Cw.
  • the internal configuration of the format conversion unit 20 is the same as that of the first embodiment.
  • the reproduction processing unit 50 converts the X signal Cx, the Y signal Cy, the Z signal Cz and the W signal Cw into signals (drive signals) Da, Db, Dc,... Of a format suitable for the audio output unit 8 and outputs them. .
  • step ST101 the microphones Ma to Md perform sound collection, and the sound collection signals Aa to Ad are supplied to the processing circuit 4d.
  • step ST102 the processing circuit 4d performs an input process on the collected sound signals Aa to Ad, and generates signals Ba to Bd after the input process.
  • step ST105 the processing circuit 4d writes and stores the signals Ba to Bd after the input processing in the storage device 6.
  • step ST201 the processing circuit 4d reads the signals Ba to Bd stored in the storage device 6.
  • step ST103 the processing circuit 4d generates an X signal Cx, a Y signal Cy and a Z signal Cz from the signals Ba to Bd.
  • step ST104 the processing circuit 4d generates the W signal Cw from any one of the signals Ba to Bd or from a combination of two or more of the signals Ba to Bd.
  • step ST202 the process of step ST202 is performed.
  • step ST202 the processing circuit 4d generates drive signals Da, Db, Dc,... Using the signals Cx, Cy, Cz and Cw generated at steps ST103 and ST104.
  • step ST203 the processing circuit 4d drives the speaker of the audio output unit 8 with the generated drive signals Da, Db, Dc,.
  • the processing circuit of the first embodiment can be configured by software, that is, a programmed computer, with reference to FIG. 2, the processing circuits of the second, third and fourth embodiments are also , I.e. on a programmed computer. Therefore, a program for causing a computer to execute part or all of the configuration of the sound collection and reproduction apparatus and a computer readable recording medium storing the program also form part of the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

マイクロホンアレイが、第１の軸（ｆ）上に配置された第１及び第２のマイクロホン（Ｍａ、Ｍｂ）と、第１及び第２の軸（ｇ）で張られる平面（ｆｇ）上の、第１の軸以外の位置に配置された第３のマイクロホン（Ｍｃ）と、第３の軸（ｈ）上であって、第１及び第２の軸で張られる平面以外の位置に配置された第４のマイクロホン（Ｍｄ）とを有し、処理回路が、第１乃至第４のマイクロホンでの収音で得られた信号（Ｂａ～Ｂｄ）に基づいて、互いに直交する第１、第２及び第３の方向（ｘ、ｙ、ｚ）の双指向性の信号（Ｃｘ、Ｃｙ、Ｃｚ）と、全指向性の信号（Ｃｗ）とを生成する。特殊なマイクロホンを用いることなく、またマイクロホンの配置に関し過度の制約なしに、互いに異なる直交する方向の双指向性の信号及び全指向性の信号を生成することができる。

Description

収音再生装置並びにプログラム及び記録媒体
　本発明は、収音再生装置に関する。本発明は例えば、複数の無指向性のマイクロホンによる収音で得られた音声信号から、複数の互いに異なる直交する方向の双指向性の信号及び全指向性の信号を生成し、音場の再現を行う収音再生装置に関する。異なる方向の双指向性成分は、例えば、アンビソニックＢ－フォーマットのＸ、Ｙ、Ｚ成分として用いられ、全指向性成分は例えば、アンビソニックＢ－フォーマットのＷ成分として用いられる。本発明はまた、収音再生装置における収音再生の処理をコンピュータに実行させるためのプログラム及び該プログラムを記録した記録媒体に関する。
　仮想現実（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）技術の普及に伴い、ＶＲ映像に連携した収音再生装置のニーズが高まっている。収音再生装置は、音の到来方向の特定を行い、音の到来方向に応じた音の再現を行うための技術である。このような収音再生装置は、例えば、聴取者の頭が回転した際の音場の変化を再現する場合に用いられる。例えば、テレビでスポーツ観戦をしている聴取者が頭を回転させると、この回転に伴う、音の到来方向の変化を再現するために、スピーカからの再生音を変化させる。そのような立体音響技術の一つとして、アンビソニックスが知られている。
　アンビソニックスにおいては、一般には、アンビソニックスマイクロホンと呼ばれる特殊なマイクロホンを用いてアンビソニックＡ－フォーマットの信号を取得した後、アンビソニックＢ－フォーマットの信号に変換する（非特許文献１）。アンビソニックマイクロホンの例としてＴｅｔｒａＭｉｃ（Ｃｏｒｅ　Ｓｏｕｎｄ）、ＳＰＳ２００（ＳｏｕｎｄＦｉｅｌｄ）等がある。
西村竜一「アンビソニックス」、映像情報メディア学会誌、Ｖｏｌ．６８、Ｎｏ．８、ｐ．６１６－６２０（２０１４）。 Ｂａｒｒｙ　Ｄ．　Ｖａｎ　Ｖｅｅｎ他，　"Ｂｅａｍｆｏｒｍｉｎｇ：　Ａ　ｖｅｒｓａｔｉｌｅ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｓｐａｔｉａｌ　Ｆｉｌｔｅｒｉｎｇ"　ＩＥＥＥ　ＡＳＳＰ　ＭＡＧＡＺＩＮＥ　ＡＰＲＩＬ　１９８８
　非特許文献１の方法を実施するには、マイクロホンとして、特殊なものが必要であり、高価である。また、マイクロホンの配置に自由度がないという問題がある。
　本発明は、特殊なマイクロホンを用いることなく、またマイクロホンの配置に関し過度の制約なしに、複数の互いに異なる直交する方向の双指向性の信号及び全指向性の信号を生成することができる収音再生装置を提供することを目的とする。
　本発明の一つの態様の収音再生装置は、
　マイクロホンアレイと、処理回路と、音声出力部とを備え、
　前記マイクロホンアレイは、互いに直交する第１、第２及び第３の軸のうちの前記第１の軸上に配置された第１及び第２のマイクロホンと、前記第１及び第２の軸で張られる平面上の、前記第１の軸以外の位置に配置された第３のマイクロホンと、前記第３の軸上であって、前記第１及び第２の軸で張られる平面以外の位置に配置された第４のマイクロホンとを有し、
　前記処理回路は、
　前記第１乃至第４のマイクロホンでの収音で得られた信号に基づいて、互いに直交する第１、第２及び第３の方向の双指向性の信号と、全指向性の信号とを生成し、
　前記生成した前記双指向性の信号及び前記全指向性の信号から、駆動信号を生成し、前記駆動信号で前記音声出力部を駆動する。
　本発明の他の態様の収音再生装置は、
　マイクロホンアレイと、処理回路と、音声出力部とを備え、
　前記マイクロホンアレイは、水平面上に延在し、互いに直交する第１及び第２の軸のうちの前記第１の軸上に配置された第１及び第２のマイクロホンと、前記水平面上の、前記第１の軸以外の位置に配置された第３のマイクロホンとを有し、
　前記処理回路は、
　前記第１、第２及び第３のマイクロホンでの収音で得られた信号に基づいて、前記水平面に平行で、互いに直交する第１及び第２の方向の双指向性の信号と、全指向性の信号とを生成し、
　前記生成した前記双指向性の信号及び前記全指向性の信号から、駆動信号を生成し、前記駆動信号で前記音声出力部を駆動する。
　本発明によれば、特殊なマイクロホンを用いることなく、またマイクロホンの配置に関し過度の制約なしに、複数の互いに異なる直交する方向の双指向性の信号及び全指向性の信号を生成することができる。
本発明の実施の形態１の収音再生装置の構成例を示すブロック図である。 図１の処理回路をソフトウェアで実現する場合の、収音再生装置の構成を示すブロック図である。 実施の形態１の収音再生装置で用いられるマイクロホンアレイを構成する複数のマイクロホンの配置の例を示す図である。 図３に示されるマイクロホンのうち、ｘ軸方向の双指向性の信号及びｙ軸方向の双指向性の信号の生成に用いられるマイクロホンを示す図である。 図３に示されるマイクロホンのうち、ｚ軸方向の双指向性の信号の生成に用いられるマイクロホンを示す図である。 アンビソニックＢ－フォーマットのＸ信号が持つ双指向性を示す図である。 アンビソニックＢ－フォーマットのＹ信号が持つ双指向性を示す図である。 アンビソニックＢ－フォーマットのＺ信号が持つ双指向性を示す図である。 アンビソニックＢ－フォーマットのＷ信号が持つ全指向性を示す図である。 図１の処理回路の構成例を示すブロック図である。 図１０のフォーマット変換部の構成例を示すブロック図である。 図１１のフォーマット変換部で生成されるＸ信号の指向性を示す図である。 図１１のフォーマット変換部で生成されるＹ信号の指向性を示す図である。 図１１のフォーマット変換部で生成されるＺ信号の指向性を示す図である。 図１１のフォーマット変換部で生成されるＷ信号の指向性を示す図である。 （ａ）及び（ｂ）は、実施の形態１の収音再生装置の処理回路における処理の手順を示すフローチャートである。 本発明の実施の形態２の収音再生装置のマイクロホンアレイを構成する複数のマイクロホンの配置を示す図である。 本発明の実施の形態２の収音再生装置の処理回路の構成例を示すブロック図である。 図１８のフォーマット変換部の構成例を示すブロック図である。 本発明の実施の形態３の収音再生装置のマイクロホンアレイを構成する複数のマイクロホンの配置を示す図である。 実施の形態３の収音再生装置の処理回路の構成例を示すブロック図である。 図２０のフォーマット変換部の構成例を示すブロック図である。 実施の形態４の収音再生装置の処理回路の構成例を示すブロック図である。 （ａ）及び（ｂ）は、実施の形態４の収音再生装置の処理回路における処理の手順を示すフローチャートである。
実施の形態１. 
　図１は、本発明の実施の形態１の収音再生装置の構成例を示す。
　図示の収音再生装置は、マイクロホンアレイ２と、処理回路４と、記憶装置６と、音声出力部８とを有する。
　図１の処理回路４の機能は、ハードウェアで実現することもできるが、ソフトウェアを用いて実現することもできる。ソフトウェアで実現する場合の収音再生装置の構成例を図２に示す。図２のプロセッサ４０１とプログラムメモリ４０２とで、図１の処理回路４が構成されており、プロセッサ４０１がプログラムメモリ４０２に記憶されたプログラムに従って動作を行うことで、図１の処理回路４として動作する。
　記憶装置６は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）等で構成されていても良く、例えば処理回路４に直接接続されていても良く、ネットワークを経由して接続されていても良い。
　図１において、音声はマイクロホンアレイ２で収音されて、マイクロホンアレイ２から出力される音声信号（収音信号）が、処理回路４に入力される。処理回路４は、入力された収音信号に対して信号処理を行って、複数の双指向性の信号及び全指向性の信号に変換する。複数の双指向性の信号は、互いに直交する方向の双指向性の信号である。処理回路４は、変換により生成された信号（変換信号）を記録する。再生時には、処理回路４は、記録されている変換信号から、音声出力部８に適した音声信号（駆動信号）を生成して、音声出力部８に供給する。音声出力部８は、供給された駆動信号に基づいて音声を出力する。
　図３に本実施の形態でのマイクロホンアレイ２を構成する複数のマイクロホンの配置の例を示す。図示の例では、マイクロホンアレイ２は４つの無指向性マイクロホンＭａ～Ｍｄから成る。これらのマイクロホンＭａ～Ｍｄは、以下のように配置されている。
　まず、マイクロホンＭａ～Ｍｄが配置される空間内に、互いに直交する３つの軸がｘ軸、ｙ軸、ｚ軸として定義される。これらの３つの軸は、これらの３つの軸の交点を原点とするｘｙｚ座標系を形成する。
　これらの軸のうち、ｘ軸及びｙ軸は水平方向の軸であり、ｚ軸は上下方向の軸である。
　そして、水平方向の軸のうちのいずれか、例えば、ｘ軸上に２個のマイクロホンＭａ及びＭｂが配置されている。また、ｘ軸及びｙ軸で張られる平面（ｘｙ平面）上のｘ軸上以外の位置に１個のマイクロホンＭｃが配置されている。さらに、ｚ軸上で、かつｘｙ平面以外の位置に１個のマイクロホンＭｄが配置されている。
　マイクロホンＭａ～Ｍｄがこのように配置されている結果、マイクロホンＭａ、Ｍｂ及びＭｃは、図４に示すように、ｘｙ平面上に位置し、マイクロホンＭａ、Ｍｂ及びＭｄは、図５に示すように、ｘｚ平面上に位置することになる。
　このように配置したマイクロホンＭａ～Ｍｄで音声を収音し、収音により得られた音声信号（収音信号）Ａａ～Ａｄを処理回路４に入力する。処理回路４は、入力された収音信号Ａａ～Ａｄに基づいて、互いに異なる方向の双指向性の信号と、全指向性の信号とを生成する。これらの信号を便宜上、変換信号と言うことがある。互いに異なる方向の双指向性の信号は、例えば、アンビソニックＢ－フォーマットのＸ信号、Ｙ信号及びＺ信号として用いられ、全指向性の信号は、例えばアンビソニックＢ－フォーマットのＷ信号として用いられる。
　図６、図７及び図８に、アンビソニックＢ－フォーマットのＸ信号、Ｙ信号及びＺ信号の双指向性を示す。図９にアンビソニックＢ－フォーマットのＷ信号が持つ全指向性を示す。
　図１の処理回路４は、図１０に示すように、入力処理部１０と、フォーマット変換部２０と、書込み部３０と、読出し部４０と、再生処理部５０とを有する。
　入力処理部１０は、マイクロホンアレイ２のマイクロホンＭａ～Ｍｄからの音声信号Ａａ～Ａｄを受けて、増幅、Ａ／Ｄ変換等の処理を行い、これらの処理の結果、それぞれ信号Ａａ～Ａｄに対応する信号（入力処理後の信号）Ｂａ～Ｂｄを生成して、出力する。
　信号Ａａ及び信号Ｂａはともに、マイクロホンＭａでの収音で得られた音声信号である。同様に、信号Ａｂ及び信号Ｂｂはともに、マイクロホンＭｂでの収音で得られた音声信号である。同様に、信号Ａｃ及び信号Ｂｃはともに、マイクロホンＭｃでの収音で得られた音声信号である。同様に、信号Ａｄ及び信号Ｂｄはともに、マイクロホンＭｄでの収音で得られた音声信号である。
　フォーマット変換部２０は、図１１に示すように、双指向性生成部２２と、全指向性生成部２４とを備えている。
　双指向性生成部２２は、マイクロホンＭａ～Ｍｄでの収音で得られた信号Ｂａ～Ｂｄを用いて、ｘ軸方向の双指向性の信号（Ｘ信号）Ｃｘ、ｙ軸方向の双指向性の信号（Ｙ信号）Ｃｙ及びｚ軸方向の双指向性の信号（Ｚ信号）Ｃｚを生成する。
　具体的には、図４に示されるように、ｘｙ平面上に位置するマイクロホンＭａ、Ｍｂ及びＭｃでの収音で得られた信号Ｂａ、Ｂｂ及びＢｃを用いて、ｘ軸方向の双指向性のＸ信号（図１２）Ｃｘ及びｙ軸方向の双指向性のＹ信号Ｃｙ（図１３）を生成し、図５に示されるように、ｘｚ平面上に位置するマイクロホンＭａ、Ｍｂ及びＭｄでの収音で得られた信号Ｂａ、Ｂｂ及びＢｄを用いてｚ軸方向の双指向性のＺ信号Ｃｚ（図１４）を生成する。
　なお、ｘｚ平面上に位置するマイクロホンＭａ、Ｍｂ及びＭｄでの収音で得られた信号Ｂａ、Ｂｂ及びＢｄを用いてｘ軸方向の双指向性のＸ信号Ｃｘを生成することとしても良い。
　要するに、ある軸の方向の双指向性の信号を、当該軸を含む平面上に位置するマイクロホンでの収音で得られた収音信号を用いて生成することとすれば良い。
　以上のように、本実施の形態では、同一平面上にある３つのマイクロホンでの収音で得られた信号から、当該平面上に位置する軸の方向に双指向性の信号を生成している。
　なお、マイクロホン配置を例えば正四面体の頂点に配置すると、互いに直交する方向の双指向性の信号を生成することはできない。
　上記のＸ信号Ｃｘ、Ｙ信号Ｃｙ及びＺ信号Ｃｚの生成は、ビームフォーミングにより行い得る。具体的には、ビームフォーミングにおいてビームの方向をｘ軸の方向に向けたときのビームフォーマの出力を、Ｘ信号Ｃｘとして用い、ビームフォーミングにおいてビームの方向をｙ軸の方向に向けたときのビームフォーマの出力を、Ｙ信号Ｃｙとして用い、ビームフォーミングにおいてビームの方向をｚ軸の方向に向けたときのビームフォーマの出力を、Ｚ信号Ｃｚとして用いる。
　上記のようにして得られるＸ信号Ｃｘ、Ｙ信号Ｃｙ及びＺ信号Ｃｚは、それぞれアンビソニック－ＢフォーマットのＸ信号、Ｙ信号及びＺ信号として用いられる。
　ビームフォーミング処理のアルゴリズムは如何なるものであっても良い。例えば、非特許文献２に記載の方法を用いても良い。非特許文献２には、ビームフォーミングを行う際のフィルタの係数を第１２頁の式（３．２）に従って定めれば良いことが示されている。非特許文献２の式（３．２）において、ｒｄは所望の指向性であり、双指向性は、
　ｒｄ＝ｃｏｓ（θ）
　で表される。
　上記の式で、θは双方向性の主軸の方向に対する角度である。
　マイクロホンの数を３つ以上とすることで、双指向性の方向を当該３つのマイクロホンが配置された平面内で自由に定めることができ、例えば上記平面内の、互いに直交する２つの方向（例えばｘ方向及びｙ方向）の各々を主軸の方向とする双指向性の信号を生成することができる。マイクロホンの数が２つであると、双指向性の信号を生成することができるが、一方向のみとなる。
　全指向性生成部２４は、４つのマイクロホンＭａ～Ｍｄでの収音で得られた信号Ｂａ～Ｂｄのうちのいずれか一つを用いて、或いは信号Ｂａ～Ｂｄのうちの２つ以上の組合せを用いて、全指向性の信号（Ｗ信号）Ｃｗを生成する（図１５）。
　信号Ｂａ～Ｂｄのうちのいずれか一つを用いる場合、当該信号をそのままＷ信号Ｃｗとして用いることができる。信号Ｂａ～Ｂｄのうち２つ以上の組合せを用いる場合、例えばこれらの信号の組合せを用いてビームフォーミング処理で全指向性を生成したときのビームフォーマの出力をＷ信号Ｃｗとして用いることができる。
　上記のようにして得られるＷ信号Ｃｗは、アンビソニック－ＢフォーマットのＷ信号として用いられる。
　書込み部３０は、フォーマット変換部２０で生成されたＸ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗを記憶装置６に記録する。
　記憶装置６は、記録された信号を保存する。
　立体音響実現のための再生に当たっては、記録されたこれらの信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗが読み出され、音声出力部８に適した音声信号（駆動信号）が生成される。
　具体的には、読出し部４０は、記憶装置６に保存されている信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗを読み出す。
　再生処理部５０は、読み出された信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗに基づいて、音声出力部８に適したフォーマットの信号（駆動信号）Ｄａ、Ｄｂ、Ｄｃ、…を生成して出力する。駆動信号Ｄａ、Ｄｂ、Ｄｃ、…への変換は、例えば、非特許文献１に記載の、一般的なアンビソニックＢ－フォーマットの再生方法により行い得る。この場合、信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗをそれぞれアンビソニックＢ－フォーマットのＸ信号、Ｙ信号、Ｚ信号及びＷ信号として用いる。
　例えば、音声出力部８を構成する複数のスピーカの配置に応じて、各スピーカの駆動に用いる信号を生成する。例えば、アンビソニックＢ－フォーマットのＸ、Ｙ、Ｚ及びＷの信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗに対して係数を掛けて加算することで駆動信号を生成して、各スピーカの駆動に用いる。
　以上のように、収音時に、Ｘ信号、Ｙ信号、Ｚ信号及びＷ信号（変換信号）Ｃｘ、Ｃｙ、Ｃｚ、Ｃｗを生成して保存し、再生時に、保存された変換信号から、駆動信号を生成する場合の処理の手順を、図１６（ａ）及び（ｂ）のフローチャートを参照して説明する。
　録音時には図１６（ａ）の処理が行われる。
　ステップＳＴ１０１では、マイクロホンＭａ～Ｍｄで収音が行われ、収音信号Ａａ～Ａｄが処理回路４に供給される。
　次にステップＳＴ１０２では、処理回路４が、収音信号Ａａ～Ａｄに対して入力処理を行って、入力処理後の信号Ｂａ～Ｂｄを生成する。
　次のステップＳＴ１０３及びＳＴ１０４の処理は互いに平行して行い得る。
　ステップＳＴ１０３では、処理回路４が、信号Ｂａ～Ｂｄから、Ｘ信号Ｃｘ、Ｙ信号Ｃｙ及びＺ信号Ｃｚを生成する。
　ステップＳＴ１０４では、処理回路４が、信号Ｂａ～Ｂｄのうちのいずれか１つから、又は信号Ｂａ～Ｂｄのうちの２つ以上の組合せから、Ｗ信号Ｃｗを生成する。
　ステップＳＴ１０３及びＳＴ１０４の次にステップＳＴ１０５の処理が行われる。
　ステップＳＴ１０５では、処理回路４が、ステップＳＴ１０３及びＳＴ１０４で生成された信号（変換信号）Ｃｘ、Ｃｙ、Ｃｚ及びＣｗを記憶装置６に書込み、保存させる。
　再生時には、図１６（ｂ）の処理が行われる。
　ステップＳＴ２０１では、処理回路４が、記憶装置６に保存されている変換信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗを読み出す。
　ステップＳＴ２０２では、処理回路４が、読み出した変換信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗを用いて、駆動信号Ｄａ、Ｄｂ、Ｄｃ、…を生成する。
　ステップＳＴ２０３では、処理回路４が、生成した駆動信号Ｄａ、Ｄｂ、Ｄｃ、…で、音声出力部８のスピーカを駆動する。
　以上のように、実施の形態１では、ｘ軸及びｙ軸は水平方向の軸であり、ｚ軸は上下方向の軸であり、ｘ軸上にマイクロホンＭａ及びＭｂが配置され、ｘｙ平面上のｘ軸上以外の位置にマイクロホンＭｃが配置され、ｚ軸上にマイクロホンＭｄが配置されており、ｘ軸方向、ｙ軸方向及びｚ軸方向の双指向性の信号を形成する。しかしながら、上記のｘ軸、ｙ軸及びｚ軸は入れ替え可能である。要するに、互いに直交する第１、第２及び第３の軸（ｘ軸、ｙ軸及びｚ軸）のうちの、第１の軸（例えばｘ軸）上に第１及び第２のマイクロホンＭａ及びＭｂが配置され、第１及び第２の軸（例えばｙ軸）で張られる平面（ｘｙ平面）上の第１の軸（ｘ軸）上以外の位置に第３のマイクロホンＭｃが配置され、第３の軸（ｚ軸）上に第４のマイクロホンＭｄが配置されていれば良い。
　そして、第１、第２及び第３のマイクロホンＭａ、Ｍｂ及びＭｃでの収音で得られる音声信号を用いて、第１の方向（ｘ方向）の双指向性の信号及び第２の方向（ｙ方向）の双指向性の信号が生成され、第１、第２及び第４マイクロホンＭａ、Ｍｂ及びＭｄでの収音で得られる音声信号を用いて、第３の方向（ｚ方向）の双指向性の信号が生成されれば良い。
　また、複数のマイクロホンが配置される軸と、形成される双指向性の方向とは一致しなくても良い。マイクロホンの配置において基準となる軸を、第１、第２及び第３の軸（ｆ、ｇ及びｈ軸）とし、形成される双指向性の方向を第１、第２及び第３の方向（ｘ、ｙ及びｚ方向）とすると、マイクロホンの配置及び各方向の双指向性の生成に用いられるマイクロホンとが以下の関係を満たせば良い。
（ａ１）　互いに直交する３つの軸（ｆ、ｇ及びｈ軸）のうちの第１の軸（例えばｆ軸）上に第１及び第２のマイクロホン（Ｍａ及びＭｂ）が配置され、第１及び第２の軸（例えばｆ及びｇ軸）で張られる平面（ｆｇ平面）上の、第１の軸（ｆ軸）以外の位置に第３のマイクロホン（Ｍｃ）が配置され、第３の軸（例えばｈ軸）上の、かつ上記第１及び第２の軸で張られる平面（ｆｇ平面）外の位置に、第４のマイクロホン（Ｍｄ）が配置されている。
（ａ２）　第１乃至第４のマイクロホン（Ｍａ～Ｍｄ）での収音で得られた音声信号を用いて、互いに直交する第１、第２及び第３の方向（例えば、ｘ、ｙ及びｚ方向）の双指向性の信号が生成される。
　より具体的には、
（ａ２ａ）　第１、第２及び第３のマイクロホン（Ｍａ、Ｍｂ及びＭｃ）での収音で得られた音声信号を用いて、第１及び第２の方向（例えば、ｘ方向及びｙ方向）の双指向性の信号が生成される。
（ａ２ｂ）　第１、第２及び第４のマイクロホン（Ｍａ、Ｍｂ及びＭｄ）での収音で得られた音声信号を用いて、第３の方向（ｚ方向）の双指向性の信号が生成される。
　例えば、上記第１、第２及び第３の軸（ｆ、ｇ及びｈ軸）のうちのいずれか（例えばｈ軸）が上下方向の軸であり、上記第１、第２及び第３の方向（ｘ、ｙ及びｚ方向）のうちのいずれか（例えばｚ方向）が上下方向である。
　上記の実施の形態１では、上記第３の軸（ｈ軸）が上下方向の軸であり、上記第３の方向（ｚ方向）が上下方向である。従って、上記第１及び第２の軸（ｆ及びｇ軸）が水平面上に延在する軸であり、上記第１及び第２の方向（ｘ方向ｙ方向）が水平面に平行な方向である。
　本実施の形態により、安価な無指向性マイクロホンの組み合わせで互いに直交する３つの方向の双指向性の信号を生成することができる。また、マイクロホン配置は上記の条件を満たしていれば良く、マイクロホン間距離についての制約が無い。従って、コンパクトなマイクロホンセットとすることができ、小型デバイス（携帯電話、スマートフォン、ウェアラブルデバイス等）に取り付けることができる。
実施の形態２．

　実施の形態２は、実施の形態１に対し、マイクロホンアレイの構成及び処理回路の構成が異なる。即ち、実施の形態２では、実施の形態１のマイクロホンアレイ２の代わりに、図１７に示されるマイクロホンアレイ２ｂが用いられ、実施の形態１の処理回路４の代わりに、図１８の処理回路４ｂが用いられる。
　図１７は、実施の形態２の収音再生装置の、マイクロホンアレイ２ｂを構成するマイクロホンの配置を示し、図１８は、実施の形態２の収音再生装置の処理回路４ｂを示す。
　図１７及び図１８で、図１及び図３と同じ符号は同様のものを示す。
　図１７に示されるように実施の形態２では、マイクロホンアレイ２ｂが５つのマイクロホンＭａ～Ｍｅから成る。このうち、マイクロホンＭａ～Ｍｄは、実施の形態１と同様に配置されている。
　マイクロホンＭｅは、ｘ軸、ｙ軸及びｚ軸の交点、即ちｘｙｚ座標系の原点に配置されており、マイクロホンＭａ～Ｍｄと同じく無指向性のマイクロホンである。
　実施の形態２で用いられる処理回路４ｂは、図１８に示すように、入力処理部１０ｂと、フォーマット変換部２０ｂと、書込み部３０と、読出し部４０と、再生処理部５０とを有する。
　書込み部３０、読出し部４０及び再生処理部５０は、実施の形態１で説明したのと同様のものである。
　入力処理部１０ｂは、マイクロホンアレイ２ｂのマイクロホンＭａ～Ｍｅからの収音信号Ａａ～Ａｅを受けて、増幅、Ａ／Ｄ変換等の処理を行い、これらの処理の結果、それぞれ信号Ａａ～Ａｅに対応する、入力処理後の信号Ｂａ～Ｂｅを生成して、出力する。入力処理後の信号Ｂａ～Ｂｅも、実施の形態１と同様にマイクロホンＭａ～Ｍｅでの収音で得られた信号と言うことができる。
　フォーマット変換部２０ｂは、図１９に示すように、双指向性生成部２２ｂと、全指向性生成部２４ｂを備えている。
　双指向性生成部２２ｂは、マイクロホンＭａ、Ｍｂ、Ｍｃ及びＭｅ（図１７）での収音で得られた信号Ｂａ、Ｂｂ、Ｂｃ及びＢｅを用いてＸ信号Ｃｘ（図１２）及びＹ信号Ｃｙ（図１３）を生成し、マイクロホンＭａ、Ｍｂ、Ｍｄ及びＭｅ（図１７）での収音で得られた信号Ｂａ、Ｂｂ、Ｂｄ及びＢｅを用いてＺ信号Ｃｚ（図１４）を生成する。
　原点に配置したマイクロホンＭｅをも利用して双指向性の信号を生成するので、より鋭い指向性の信号を生成することができる。
　全指向性生成部２４ｂは、マイクロホンＭｅでの収音で得られた信号Ｂｅを、Ｗ信号Ｃｗとして出力する。
　原点に配置したマイクロホンＭｅでの収音で得られた信号Ｂｅを、そのままＷ信号Ｃｗとして用いるので、ビームフォーミング等の処理による信号劣化を避けることができる。
　書込み部３０ｂは、フォーマット変換部２０ｂで生成された生成されたＸ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗを、記憶装置６に記録する。
　記憶装置６は、記録されたＸ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗを保存する。
　記録された音声の再生の処理は、実施の形態１で説明したのと同様である。
　実施の形態１と同様に、実施の形態２でも、上記のｘ軸、ｙ軸及びｚ軸は入れ替え可能である。要するに、互いに直交する第１、第２及び第３の軸（ｘ軸、ｙ軸及びｚ軸）のうちの、第１の軸（例えばｘ軸）上に第１及び第２のマイクロホンＭａ及びＭｂが配置され、第１及び第２の軸（例えばｙ軸）で張られる平面（ｘｙ平面）上の第１の軸（ｘ軸）上以外の位置に第３のマイクロホンＭｃが配置され、第３の軸（ｚ軸）上に第４のマイクロホンＭｄが配置され、第１、第２及び第３の軸の交点に、第４のマイクロホンが配置されていれば良い。
　そして、第１、第２、第３及び第５のマイクロホンＭａ、Ｍｂ及びＭｃ及びＭｅでの収音で得られる音声信号を用いて、第１の方向（ｘ方向）の双指向性の信号及び第２の方向（ｙ方向）の双指向性の信号が生成され、第１、第２、第４及び第５のマイクロホンＭａ、Ｍｂ、Ｍｄ及びＭｅでの収音で得られる音声信号を用いて、第３の方向（ｚ方向）の双指向性の信号が生成されれば良い。
　また、実施の形態１と同様に、複数のマイクロホンが配置される軸と、形成される双指向性の方向とは一致しなくても良い。マイクロホンの配置において基準となる軸を、第１、第２及び第３の軸（ｆ、ｇ及びｈ軸）とし、形成される双指向性の方向を第１、第２及び第３の方向（ｘ、ｙ及びｚ方向）とすると、マイクロホンの配置及び各方向の双指向性の生成に用いられるマイクロホンとが以下の関係を満たせば良い。
（ｂ１）　互いに直交する３つの軸（ｆ、ｇ及びｈ軸）のうちの第１の軸（例えばｆ軸）上に第１及び第２のマイクロホン（Ｍａ及びＭｂ）が配置され、第１及び第２の軸（例えばｆ及びｇ軸）で張られる平面（ｆｇ平面）上の、第１の軸（ｆ軸）以外の位置に第３のマイクロホン（Ｍｃ）が配置され、第３の軸（例えばｈ軸）上の、かつ上記第１及び第２の軸で張られる平面（ｆｇ平面）外の位置に、第４のマイクロホン（Ｍｄ）が配置され、上記第１、第２及び第３の軸の交点に第５のマイクロホン（Ｍｅ）が配置されている。
（ｂ２）　第１乃至第５のマイクロホン（Ｍａ～Ｍｅ）での収音で得られた音声信号を用いて、互いに直交する第１、第２及び第３の方向（例えば、ｘ、ｙ及びｚ方向）の双指向性の信号が生成される。
　より具体的には、
（ｂ２ａ）　第１、第２、第３及び第５のマイクロホン（Ｍａ、Ｍｂ、Ｍｃ及びＭｅ）での収音で得られた音声信号を用いて、第１及び第２の方向（例えば、ｘ及びｙ方向）の双指向性の信号が生成される。
（ｂ２ｂ）　第１、第２、第４及び第５のマイクロホン（Ｍａ、Ｍｂ、Ｍｄ及びＭｅ）での収音で得られた音声信号を用いて、第３の方向（ｚ方向）の双指向性の信号が生成される。
　上記第１、第２及び第３の軸（ｆ、ｇ及びｈ軸）のうちのいずれか（例えばｈ軸）が上下方向の軸であり、上記第１、第２及び第３の方向（ｘ、ｙ及びｚ方向）のうちのいずれか（例えばｚ方向）が上下方向である。
　上記の実施の形態２では、実施の形態１と同様に、上記第３の軸（ｈ軸）が上下方向の軸であり、上記第３の方向（ｚ方向）が上下方向である。従って、上記第１及び第２の軸（ｆ及びｇ軸）が水平面上に延在する軸であり、上記第１及び第２の方向（ｘ方向ｙ方向）が水平面に平行な方向である。
実施の形態３. 
　実施の形態３は、実施の形態１に対し、マイクロホンアレイの構成及び処理回路の構成が異なる。即ち、実施の形態３では、実施の形態１のマイクロホンアレイ２の代わりに、図２０に示されるマイクロホンアレイ２ｃが用いられ、実施の形態１の処理回路４の代わりに、図２１の処理回路４ｃが用いられる。
　図２０は、実施の形態３の収音再生装置の、マイクロホンアレイ２を構成するマイクロホンの配置を示し、図２１は、実施の形態２の収音再生装置の処理回路４ｃを示す。
　図２０及び図２１で、図１及び図３と同じ符号は同様のものを示す。
　図２０に示されるように、実施の形態３ではマイクロホンアレイ２ｃが３つのマイクロホンＭａ、Ｍｂ及びＭｃから成り、実施の形態１のマイクロホンＭｄは用いられていない。
　また、実施の形態３では、ｘ軸及びｙ軸が水平方向に延在する軸であり、従って、ｘ軸及びｙ軸で張られる平面が水平面である。マイクロホンＭａ、Ｍｂ及びＭｃは、実施の形態１と同様に配置されている。即ち、ｘ軸上に２個のマイクロホンＭａ及びＭｂが配置されている（図２０）。また、ｘｙ平面上のｘ軸上以外の位置に１個のマイクロホンＭｃが配置されている。
　実施の形態３で用いられる処理回路４ｃは、図２１に示すように、入力処理部１０ｃと、フォーマット変換部２０ｃと、書込み部３０ｃと、読出し部４０ｃと、再生処理部５０ｃとを有する。
　入力処理部１０ｃは、マイクロホンアレイ２ｃのマイクロホンＭａ～Ｍｃからの収音信号Ａａ～Ａｃを受けて、増幅、Ａ／Ｄ変換等の処理を行い、これらの処理の結果、それぞれ信号Ａａ～Ａｃに対応する、入力処理後の信号Ｂａ～Ｂｃを生成して、出力する。
　フォーマット変換部２０ｃは、図２２に示すように、双指向性生成部２２ｃと、全指向性生成部２４ｃとを備えている。
　双指向性生成部２２ｃは、マイクロホンＭａ、Ｍｂ及びＭｃ（図２０）での収音で得られた信号Ｂａ、Ｂｂ、Ｂｃ及びＢｅを用いてＸ信号Ｃｘ（図１２）及びＹ信号Ｃｙ（図１３）を生成する。
　全指向性生成部２４ｃは、３つのマイクロホンＭａ、Ｍｂ及びＭｃでの収音で得られた信号Ｂａ、Ｂｂ及びＢｃのうちのいずれか一つを用いて、或いは信号Ｂａ、Ｂｂ及びＢｃのうちの２つ以上の組合せを用いて、Ｗ信号Ｃｗを生成する（図１５）。
　信号Ｂａ、Ｂｂ及びＢｃのうちのいずれか一つを用いる場合、当該信号をそのままＷ信号Ｃｗとして用いることができる。信号Ｂａ、Ｂｂ及びＢｃのうち２つ以上の組合せを用いる場合、例えば信号の組合せを用いてビームフォーミング処理で全指向性を生成したときのビームフォーマの出力をＷ信号Ｃｗとして用いることができる。
　実施の形態３では、Ｚ信号Ｃｚを生成しない。
　書込み部３０ｃは、フォーマット変換部２０ｃで生成されたＸ信号Ｃｘ、Ｙ信号Ｃｙ及びＷ信号Ｃｗを記憶装置６に記録する。
　記憶装置６は、記録された信号を保存する。
　立体音響実現のための再生に当たっては、記録されたこれらの信号Ｃｘ、Ｃｙ及びＣｗが読み出され、音声出力部８に適した音声信号（駆動信号）が生成される。
　具体的には、読出し部４０は、記憶装置６に保存されている信号Ｃｘ、Ｃｙ及びＣｗを読み出す。
　再生処理部５０は、読み出された信号Ｃｘ、Ｃｙ及びＣｗを、音声出力部８に適したフォーマットの信号（駆動信号）Ｄａ、Ｄｂ、Ｄｃ、…に変換して出力する。駆動信号Ｄａ、Ｄｂ、Ｄｃ、…への変換は、例えば非特許文献１に記載の、一般的なアンビソニックＢ－フォーマット再生方法により行い得る。この場合、信号Ｃｘ、Ｃｙ及びＣｗをそれぞれアンビソニックＢ－フォーマットのＸ信号、Ｙ信号及びＷ信号として用いる。また、アンビソニックＢ－フォーマットのＺ信号をゼロであるとして計算を行う。
　例えば、音声出力部８を構成する複数のスピーカの配置に応じて、各スピーカの駆動に用いる信号を生成する。例えば、アンビソニックＢ－フォーマットのＸ、Ｙ及びＷの信号Ｃｘ、Ｃｙ及びＣｗに対して係数を掛けて加算することで駆動信号を生成して、各スピーカの駆動に用いる。
　以上のように、実施の形態３では、上下方向の双指向性の信号を生成しない。その結果、再生音からは、上下方向の定位はできず、方位方向の定位のみが可能である。用途によっては、上下方向の定位ができなくても良い場合があるので、そのような場合に実施の形態３の構成を用いることができる。実施の形態３は、マイクロホンアレイが比較的小さいと言う利点がある。
　以上のように、実施の形態３では、ｘ軸及びｙ軸は水平方向の軸であり、ｘ軸上にマイクロホンＭａ及びＭｂが配置され、ｘｙ平面上のｘ軸上以外の位置にマイクロホンＭｃが配置されており、ｘ軸方向及びｙ軸方向の双指向性の信号を形成する。しかしながら、上記のｘ軸及びｙ軸は入れ替え可能である。要するに、互いに直交する第１及び第２の軸（ｘ軸及びｙ軸）のうちの、第１の軸（例えばｘ軸）上に第１及び第２のマイクロホンＭａ及びＭｂが配置され、第１及び第２の軸（例えばｙ軸）で張られる平面（ｘｙ平面）上の第１の軸（ｘ軸）上以外の位置に第３のマイクロホンＭｃが配置されていれば良い。但し、ｘ軸及びｙ軸は水平方向に延在する軸である。
　そして、第１、第２及び第３のマイクロホンＭａ、Ｍｂ及びＭｃでの収音で得られる音声信号を用いて、第１の方向（ｘ方向）の双指向性の信号及び第２の方向（ｙ方向）の双指向性の信号が生成されれば良い。
　また実施の形態１及び２と同様に、複数のマイクロホンが配置される軸と、形成される双指向性の方向とは一致しなくても良い。マイクロホンの配置において基準となる軸を第１及び第２の軸（ｆ軸及びｇ軸）とし、形成される双指向性の方向を第１及び第２の方向（ｘ方向及びｙ方向）とすると、マイクロホンの配置及び各方向の双指向性の生成に用いられるマイクロホンとが以下の関係を満たせば良い。
（ｃ１）　水平面上に延在し、互いに直交する２つの軸（ｆ軸及びｇ軸）のうちの第１の軸（例えばｆ軸）上に第１及び第２のマイクロホン（Ｍａ、Ｍｂ）が配置され、上記水平面（ｆｇ平面）上の、第１の軸（ｆ軸）以外の位置に第３のマイクロホン（Ｍｃ）が配置されている。
（ｃ２）　第１、第２及び第３のマイクロホン（Ｍａ、Ｍｂ及びＭｃ）での収音で得られた音声信号を用いて、水平面（ｆｇ平面）上の、上記水平面に平行で、互いに直交する第１及び第２の方向（例えば、ｘ方向及びｙ方向）の双指向性の信号が生成される。
　なお、実施の形態３でも、実施の形態２と同様に、マイクロホンアレイが、２つの軸の交点に配置されたマイクロホン（Ｍｅ）を含んでいても良い。
　この場合には、上記の交点に配置されたマイクロホン（Ｍｅ）での収音で得られた音声信号も、上記第１及び第２の方向の双指向性の生成に利用される。
　また、実施の形態２と同様に、上記の交点に配置されたマイクロホン（Ｍｅ）での収音で得られた音声信号を、そのままＷ信号Ｃｗとして用いても良い。
実施の形態４．
　実施の形態１では、収音時にＸ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗを生成し、再生時まで保存しているが、これらの信号の生成を再生時に行っても良い。
　再生時に行う場合には、収音で得られた信号Ｂａ～Ｂｄを記録しておき、再生時に、読み出された信号Ｂａ～Ｂｄから、Ｘ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗを生成し、さらにこれらの信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗから駆動信号Ｄａ、Ｄｂ、Ｄｃ、…を生成する。
　この場合には、実施の形態１の処理回路４の代わりに、図２３に示される処理回路４ｄの構成を図２３に示す。
　図２３に示される処理回路４ｄは、入力処理部１０と、書込み部３０ｄと、読出し部４０ｄと、フォーマット変換部２０と、再生処理部５０とを有する。
　図２３で、図１と同じ符号は同様のものを示す。
　入力処理部１０は、実施の形態１と同様に、マイクロホンアレイ２のマイクロホンＭａ～Ｍｄからの音声信号Ａａ～Ａｄを受けて、増幅、Ａ／Ｄ変換等の処理を行い、これらの処理の結果、それぞれ信号Ａａ～Ａｄに対応する信号（入力処理後の信号）Ｂａ～Ｂｄを生成して、出力する。
　書込み部３０ｄは、入力処理部１０からの音声信号Ｂａ～Ｂｄを記憶装置６に記録する。
　記憶装置６は、記録された信号Ｂａ～Ｂｄを保存する。
　立体音響実現のための再生に当たっては、記録されたこれらの信号Ｂａ～Ｂｄが読み出され、これらの信号に基づいて音声出力部８に適した音声信号（駆動信号）が生成される。
　具体的には、読出し部４０ｄは、記憶装置６に保存されている信号Ｂａ～Ｂｄを読み出す。
　フォーマット変換部２０は、読み出された信号Ｂａ～ＢｄをＸ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗに変換する。
　フォーマット変換部２０の内部構成は、実施の形態１と同様である。
　再生処理部５０は、Ｘ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗを、音声出力部８に適したフォーマットの信号（駆動信号）Ｄａ、Ｄｂ、Ｄｃ、…に変換して出力する。
　この場合の処理の手順を、図２４（ａ）及び（ｂ）のフローチャートを参照して説明する。
　録音時には、図２４（ａ）の処理が行われる。
　ステップＳＴ１０１では、マイクロホンＭａ～Ｍｄで収音が行われ、収音信号Ａａ～Ａｄが処理回路４ｄに供給される。
　ステップＳＴ１０２では、処理回路４ｄが、収音信号Ａａ～Ａｄに対して入力処理を行って、入力処理後の信号Ｂａ～Ｂｄを生成する。
　ステップＳＴ１０５では、処理回路４ｄが、入力処理後の信号Ｂａ～Ｂｄを記憶装置６に書込み、保存させる。
　再生時には、図２４（ｂ）の処理が行われる。
　まず、ステップＳＴ２０１では、処理回路４ｄが、記憶装置６に保存されている信号Ｂａ～Ｂｄを読み出す。
　ステップＳＴ２０１の次にステップＳＴ１０３及びステップＳＴ１０４の処理が行われる。
　ステップＳＴ１０３では、処理回路４ｄが、信号Ｂａ～Ｂｄから、Ｘ信号Ｃｘ、Ｙ信号Ｃｙ及びＺ信号Ｃｚを生成する。
　ステップＳＴ１０４では、処理回路４ｄが、信号Ｂａ～Ｂｄのうちのいずれか１つから、又は信号Ｂａ～Ｂｄのうちの２つ以上の組合せから、Ｗ信号Ｃｗを生成する。
　ステップＳＴ１０３～ＳＴ１０４の次にステップＳＴ２０２の処理が行われる。
　ステップＳＴ２０２では、処理回路４ｄが、ステップＳＴ１０３及びＳＴ１０４で生成された信号Ｃｘ、Ｃｙ、Ｃｚ及びＣｗを用いて、駆動信号Ｄａ、Ｄｂ、Ｄｃ、…を生成する。
　ステップＳＴ２０３では、処理回路４ｄが、生成した駆動信号Ｄａ、Ｄｂ、Ｄｃ、…で、音声出力部８のスピーカを駆動する。
　以上、Ｘ信号Ｃｘ、Ｙ信号Ｃｙ、Ｚ信号Ｃｚ及びＷ信号Ｃｗへの変換を、再生時に行う構成を、実施の形態１に対する変形例として説明したが、実施の形態２及び実施の形態３についても同様の変形を加えることができる。
　図２を参照して実施の形態１の処理回路をソフトウェアで、即ちプログラムされたコンピュータ構成することが可能であると説明したが、実施の形態２、３及び４の処理回路も同様に、ソフトウェアで、即ちプログラムされたコンピュータで実現することができる。従って、コンピュータに上記の収音再生装置の構成の一部又は全部を実行させるためのプログラム及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
　２　マイクロホンアレイ、　４、４ｂ、４ｃ　処理回路、　６　記憶装置、　８　音声出力部、　１０、１０ｂ、１０ｃ　入力処理部、　２０、２０ｂ、２０ｃ　フォーマット変換部、　２２、２２ｂ、２２ｃ　双指向性生成部、　２４、２４ｂ、２４ｃ　全指向性生成部、　３０、３０ｃ、３０ｄ　書込み部、　４０、４０ｃ、４０ｄ　読出し部、　５０、５０ｃ　再生処理部、　４０１　プロセッサ、　４０２　プログラムメモリ。

Claims (16)

  1. 　マイクロホンアレイと、処理回路と、音声出力部とを備え、
    　前記マイクロホンアレイは、互いに直交する第１、第２及び第３の軸のうちの前記第１の軸上に配置された第１及び第２のマイクロホンと、前記第１及び第２の軸で張られる平面上の、前記第１の軸以外の位置に配置された第３のマイクロホンと、前記第３の軸上であって、前記第１及び第２の軸で張られる平面以外の位置に配置された第４のマイクロホンとを有し、
    　前記処理回路は、
    　前記第１乃至第４のマイクロホンでの収音で得られた信号に基づいて、互いに直交する第１、第２及び第３の方向の双指向性の信号と、全指向性の信号とを生成し、
    　前記生成した前記双指向性の信号及び前記全指向性の信号から、駆動信号を生成し、前記駆動信号で前記音声出力部を駆動する
    　収音再生装置。
  2. 　前記処理回路は、
    　前記第１、第２及び第３のマイクロホンでの収音で得られた音声信号を用いて、前記第１及び第２の方向の双指向性の信号を生成し、
    　前記第１、第２及び第４のマイクロホンでの収音で得られた音声信号を用いて、前記第３の方向の双指向性の信号を生成する
    　請求項１に記載の収音再生装置。
  3. 　前記マイクロホンアレイは、前記第１、第２及び第３の軸の交点に配置された第５のマイクロホンをさらに有し、
    　前記処理回路は、
    　前記第５のマイクロホンでの収音で得られた音声信号をも用いて、前記第１、第２及び第３の方向の双指向性の信号を生成する
    　請求項１又は２に記載の収音再生装置。
  4. 　前記処理回路は、
    　前記第５のマイクロホンでの収音で得られた信号を前記全指向性の信号として出力する請求項３に記載の収音再生装置。
  5. 　前記第１、第２及び第３の軸のうちのいずれかが上下方向の軸であり、
    　前記第１、第２及び第３の方向のうちのいずれかが上下方向である
    　請求項１から４のいずれか１項に記載の収音再生装置。
  6. 　前記第３の軸が上下方向の軸であり、
    　前記第３の方向が上下方向である
    　請求項５に記載の収音再生装置。
  7. 　前記第１の方向が前記第１の軸の方向であり、前記第２の方向が前記第２の軸の方向である請求項６に記載の収音再生装置。
  8. 　前記第１、第２及び第３の方向の双指向性の信号をアンビソニックＢ－フォーマットのＸ信号、Ｙ信号、Ｚ信号として用い、
    　前記全指向性の信号をアンビソニックＢ－フォーマットのＷ信号として用いる
    　請求項１から７のいずれか１項に記載の収音再生装置。
  9. 　前記処理回路は、ビームフォーミングを行うことで、前記双指向性の信号を生成する請求項１から８のいずれか１項に記載の収音再生装置。
  10. 　マイクロホンアレイと、処理回路と、音声出力部とを備え、
    　前記マイクロホンアレイは、水平面上に延在し、互いに直交する第１及び第２の軸のうちの前記第１の軸上に配置された第１及び第２のマイクロホンと、前記水平面上の、前記第１の軸以外の位置に配置された第３のマイクロホンとを有し、
    　前記処理回路は、
    　前記第１、第２及び第３のマイクロホンでの収音で得られた信号に基づいて、前記水平面に平行で、互いに直交する第１及び第２の方向の双指向性の信号と、全指向性の信号とを生成し、
    　前記生成した前記双指向性の信号及び前記全指向性の信号から、駆動信号を生成し、前記駆動信号で前記音声出力部を駆動する
    　収音再生装置。
  11. 　前記マイクロホンアレイは、前記第１及び第２の軸の交点に配置された第４のマイクロホンをさらに有し、
    　前記処理回路は、
    　前記第４のマイクロホンでの収音で得られた音声信号をも用いて、前記第１及び第２の方向の双指向性の信号を生成する
    　請求項１０に記載の収音再生装置。
  12. 　前記処理回路は、
    　前記第４のマイクロホンでの収音で得られた信号を前記全指向性の信号として出力する請求項１１に記載の収音再生装置。
  13. 　前記第１の方向が前記第１の軸の方向であり、前記第２の方向が前記第２の軸の方向である請求項１０から１２のいずれか１項に記載の収音再生装置。
  14. 　前記処理回路は、ビームフォーミングを行うことで、前記双指向性の信号を生成する請求項１０から１３のいずれか１項に記載の収音再生装置。
  15. 　請求項１から１４のいずれか１項に記載の収音再生装置における処理をコンピュータに実行させるためのプログラム。
  16. 　請求項１５に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
PCT/JP2017/041052 2017-11-15 2017-11-15 収音再生装置並びにプログラム及び記録媒体 WO2019097598A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/643,654 US11245981B2 (en) 2017-11-15 2017-11-15 Sound collection and playback apparatus, and recording medium
PCT/JP2017/041052 WO2019097598A1 (ja) 2017-11-15 2017-11-15 収音再生装置並びにプログラム及び記録媒体
JP2019554088A JP6742535B2 (ja) 2017-11-15 2017-11-15 収音再生装置並びにプログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041052 WO2019097598A1 (ja) 2017-11-15 2017-11-15 収音再生装置並びにプログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2019097598A1 true WO2019097598A1 (ja) 2019-05-23

Family

ID=66539401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041052 WO2019097598A1 (ja) 2017-11-15 2017-11-15 収音再生装置並びにプログラム及び記録媒体

Country Status (3)

Country Link
US (1) US11245981B2 (ja)
JP (1) JP6742535B2 (ja)
WO (1) WO2019097598A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197177A (ja) * 1998-12-24 2000-07-14 Victor Co Of Japan Ltd マイクロホン装置及び指向性制御装置
JP2008160588A (ja) * 2006-12-25 2008-07-10 Sony Corp 音声信号処理装置、音声信号処理方法及び撮像装置
JP2012004708A (ja) * 2010-06-15 2012-01-05 Yamaha Corp 音響処理装置
JP2013520858A (ja) * 2010-02-23 2013-06-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音源位置決め
JP2015213328A (ja) * 2010-10-25 2015-11-26 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチマイクロフォンを用いた３次元サウンド獲得及び再生
JP2017028557A (ja) * 2015-07-24 2017-02-02 株式会社オーディオテクニカ マイクロホン装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3175267B2 (ja) 1992-03-10 2001-06-11 松下電器産業株式会社 音場の方向情報抽出方法
JP2002232988A (ja) 2001-01-30 2002-08-16 Matsushita Electric Ind Co Ltd マルチチャンネル収音装置
JP2008154130A (ja) 2006-12-20 2008-07-03 Matsushita Electric Ind Co Ltd 音場測定装置
WO2011076290A1 (en) * 2009-12-24 2011-06-30 Nokia Corporation An apparatus
EP2375779A3 (en) * 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
JP6666276B2 (ja) 2017-01-23 2020-03-13 日本電信電話株式会社 音声信号変換装置、その方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197177A (ja) * 1998-12-24 2000-07-14 Victor Co Of Japan Ltd マイクロホン装置及び指向性制御装置
JP2008160588A (ja) * 2006-12-25 2008-07-10 Sony Corp 音声信号処理装置、音声信号処理方法及び撮像装置
JP2013520858A (ja) * 2010-02-23 2013-06-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音源位置決め
JP2012004708A (ja) * 2010-06-15 2012-01-05 Yamaha Corp 音響処理装置
JP2015213328A (ja) * 2010-10-25 2015-11-26 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチマイクロフォンを用いた３次元サウンド獲得及び再生
JP2017028557A (ja) * 2015-07-24 2017-02-02 株式会社オーディオテクニカ マイクロホン装置

Also Published As

Publication number Publication date
JPWO2019097598A1 (ja) 2020-02-27
JP6742535B2 (ja) 2020-08-19
US20200245064A1 (en) 2020-07-30
US11245981B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
US11838707B2 (en) Capturing sound
US20200053457A1 (en) Merging Audio Signals with Spatial Metadata
US10356514B2 (en) Spatial encoding directional microphone array
CN103181192B (zh) 利用多麦克风的三维声音捕获和再现
US10659873B2 (en) Spatial encoding directional microphone array
JP3232608B2 (ja) 収音装置、再生装置、収音方法および再生方法、および、音信号処理装置
US20070291949A1 (en) Sound image control apparatus and sound image control method
JP5679304B2 (ja) 多重極スピーカ群とその配置方法と、音響信号出力装置とその方法と、その方法を用いたアクティブノイズコントロール装置と音場再生装置と、それらの方法とプログラム
TW201536065A (zh) 增進多聲道之再生
WO2016080204A1 (ja) 信号処理装置、信号処理方法、およびプログラム
CN114173256B (zh) 一种还原声场空间及姿态追踪的方法、装置和设备
WO2019097598A1 (ja) 収音再生装置並びにプログラム及び記録媒体
US11076257B1 (en) Converting ambisonic audio to binaural audio
US11310616B2 (en) Method for outputting audio signal using scene orientation information in an audio decoder, and apparatus for outputting audio signal using the same
JP2018120007A (ja) 音声信号変換装置、その方法、及びプログラム
JP2011120028A (ja) 音声再生装置、及びその制御方法
EP4115626A1 (en) Sound field microphones
WO2018211984A1 (ja) スピーカアレイ、および信号処理装置
JP2000287295A (ja) 信号処理装置
US11546687B1 (en) Head-tracked spatial audio
US10659902B2 (en) Method and system of broadcasting a 360° audio signal
TWI840740B (zh) 麥克風、用以記錄聲學信號的方法、用於聲學信號的再現設備或用以再現聲學信號的方法
WO2021038782A1 (ja) 信号処理装置、信号処理方法および信号処理プログラム
JP2001086588A (ja) 音声信号処理装置及び方法、並びに電子機器
CN115226005A (zh) 捡拾信号的声重放方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932370

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019554088

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17932370

Country of ref document: EP

Kind code of ref document: A1