JP2010154549A - Sound signal processing method and sound field reproducing system - Google Patents
Sound signal processing method and sound field reproducing system Download PDFInfo
- Publication number
- JP2010154549A JP2010154549A JP2010030412A JP2010030412A JP2010154549A JP 2010154549 A JP2010154549 A JP 2010154549A JP 2010030412 A JP2010030412 A JP 2010030412A JP 2010030412 A JP2010030412 A JP 2010030412A JP 2010154549 A JP2010154549 A JP 2010154549A
- Authority
- JP
- Japan
- Prior art keywords
- transfer function
- measurement
- reproduction
- sound
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、或る環境の音場を別の環境にて再現するのに好適な音声信号処理方法に関する。また、記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムに関する。 The present invention relates to an audio signal processing method suitable for reproducing a sound field of one environment in another environment. Also, a sound comprising a recording device that records information on a recording medium, and an audio signal processing device that generates a reproduction audio signal for reproducing a sound field based on the information recorded on the recording medium. The field reproduction system.
例えば映画、音楽などのコンテンツを視聴する場合、再生音声に臨場感を与えるために、残響を付加することが行われている。
残響付加処理としては、いわゆるデジタルリバーブ方式が知られている。このデジタルリバーブ方式は、原音に対してランダムなディレイタイムとされるディレイ情報を多数発生させ、さらに、ディレイタイムが長くなるほど音量を小さくしたり、ディレイタイムの長い箇所でフィードバックを掛けて残響時間を長くとる等の信号処理を行うものである。これにより原音に対して人工的に残響効果を生成することができる。しかし、ディレイ情報を生成するためのパラメータは、そのパラメータの設定を行う作業者の聴感に基づいて設定されるので、この設定作業は繁雑なものとなる。また、人工的に残響を作り出すことから原音を定位させるという概念がなく、音場の再現に優れたものではない。
For example, when viewing contents such as movies and music, reverberation is added to give the reproduced sound a sense of reality.
As the reverberation adding process, a so-called digital reverb method is known. This digital reverb system generates a lot of delay information, which is a random delay time with respect to the original sound, and further reduces the volume as the delay time becomes longer, or applies feedback at places where the delay time is longer to reduce the reverberation time. Signal processing such as taking a long time is performed. As a result, a reverberation effect can be artificially generated for the original sound. However, since the parameters for generating the delay information are set based on the audibility of the operator who sets the parameters, this setting work is complicated. In addition, there is no concept of localizing the original sound because it artificially creates reverberation, and it is not excellent in reproducing the sound field.
これに対し、実際に音場空間においてインパルス応答の測定を行って、音源の定位などの空間情報に基づいて残響効果を得るための手法として、例えば上記特許文献1に記載の技術が知られている。
この特許文献1に記載の技術では、例えば図1に示されているように、ホールなどの測定環境(測定音場)1に、音源として測定用のスピーカ3を配置する。そして、この測定用スピーカ3にTSP(Time Stretched Pulse)信号などのインパルス応答測定用の音声信号を供給して、同じ音場内の所要の位置に配置された複数の測定用マイク4a〜4pに対して、測定用スピーカ3から出力される測定用音声を入力させる。この場合、例えば測定用マイク4aでは、図1に矢印で示されているように、測定用スピーカ3からの直接音、及び測定用スピーカ3から出力され測定環境としてのホール内で反射した反射音を検出することができる。図示は省略しているが、このことは他の測定用マイク4b、4c、4d、‥‥についても同様である。
そこで、各測定用マイク4a〜4pにより検出された音声信号に基づき、残響を含むインパルス応答を測定することで、測定用スピーカ3から各測定用マイク4までのそれぞれに対応した伝達関数を求めることができる。
On the other hand, as a technique for actually measuring an impulse response in a sound field space and obtaining a reverberation effect based on spatial information such as localization of a sound source, for example, the technique described in
In the technique described in
Therefore, the transfer function corresponding to each of the
このような伝達関数を用いれば、例えば図3に示されるようにして、図1の場合の各測定用マイク4と同じ位置関係によりスピーカ8a〜8pを配置した環境で、図1の測定環境での音場を再現することができる。
つまり、上記のようにして各測定用マイク4のそれぞれの配置位置までに対応した伝達関数が求まれば、再生したい音声信号をこれらの伝達関数を用いてそれぞれ畳み込むことで、各スピーカ8の配置位置から出力すべき音声信号が得られる。従ってそれらの音声信号を、対応する位置に配置したスピーカ8からそれぞれ出力することで、これらスピーカ8に囲まれた空間内にて図1の測定環境と同様の残響効果を得ることができる。
このような方式は、実際に測定した伝達関数を用いるので、再生時における音場の再現性に優れたものとなる。また同時に、再生音場における音像定位としてもより明確なものとなる。
If such a transfer function is used, for example, as shown in FIG. 3, in the environment where the
That is, when the transfer functions corresponding to the respective arrangement positions of the
Since such a method uses a transfer function actually measured, it has excellent sound field reproducibility during reproduction. At the same time, the sound image localization in the reproduction sound field becomes clearer.
なお、このとき重要なのは、図1の測定環境おける測定用マイク4a〜4pと、図3の再現環境におけるスピーカ8a〜8pとが幾何学的に同等の位置関係で配置されるようにすることである。このようにすることで、再現環境においてスピーカ8に囲まれた領域(閉曲面)内では、測定音場の音源の定位(音像定位)が明確に再現されるようになり、測定環境の音場を明確に再現することが可能となる。
At this time, what is important is that the
このようにして上記特許文献1に記載の手法によれば、ホールなどの測定環境での実際の音声測定結果に基づく音響再生を行うことで、測定環境とは別の空間において、その測定環境での特有の残響感や、仮想音像の定位感を与えることができる。
In this way, according to the method described in
ところで、オーディオ再生システムとしては、再生音声をユーザの好みの音質に調整可能であることで、より使い勝手のよいシステムとすることができる。例えば、従来のオーディオ再生システムでは、低音を強調したり、再生する楽曲のジャンル(ロックやJazzなど)に合わせた音質調整が可能となるように構成されているものがあり、ユーザは好みの音質を選択して楽曲を楽しむことができるようにされたものがある。
このことに鑑みれば、上記のような音場再現のためのシステムについても、このような音質調整として、例えば上記した残響感や音像の定位感などについて調整が可能となるようにすることで、ユーザの使い勝手を向上させることができ、その実現が要請される。
By the way, as an audio reproduction system, the reproduction sound can be adjusted to a user's favorite sound quality, so that the system can be made more convenient. For example, some conventional audio playback systems are designed to emphasize the bass or adjust the sound quality according to the genre of the music to be played (such as rock or Jazz). There is something that can be selected to enjoy the music.
In view of this, even for a system for reproducing the sound field as described above, by adjusting the sound quality as described above, for example, it is possible to adjust the reverberation feeling or the localization feeling of the sound image, for example. User convenience can be improved, and realization thereof is required.
そこで、本発明では以上のような問題点に鑑み、音声信号処理方法として以下のようにすることとした。
第一の閉曲面の外側における仮想音像位置から音声を有指向性スピーカにより発音する第一の発音工程と、前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより前記第一の発音工程で発音された音声を測定した結果に基づき、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した伝達関数としての、有指向性測定伝達関数群を生成する有指向性測定伝達関数生成工程と、前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求めた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成工程と、入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程と、所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程と、を備え、前記第一の発音工程では、前記有指向性スピーカによって、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に音声を発音するようにされ、前記有指向性測定伝達関数生成工程では、前記有指向性スピーカにより発音した前記複数方向ごとに音声を測定した結果に基づき、前記複数方向ごとに、前記有指向性測定伝達関数群を生成すると共に、前記第一の伝達関数生成工程では、前記有指向性測定伝達関数生成工程により生成した前記複数方向ごとの有指向性測定伝達関数群のそれぞれについて、前記補助伝達関数群を指示された割合で足し合わせることで、前記複数方向ごとの前記第一の伝達関数群を生成し、前記第一の再現用音声信号生成工程では、前記収録工程にて収録した音声信号をそれぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる。
Therefore, in the present invention, in view of the above-described problems, the audio signal processing method is as follows.
A first sound generation step of generating sound from a virtual sound image position outside the first closed curved surface by a directional speaker; and a directional microphone arranged outward at a plurality of positions on the first closed curved surface Directivity as a transfer function corresponding to each of the plurality of positions on the first closed curved surface from the virtual sound image position based on the result of measuring the sound produced in the first sound production step A directional measurement transfer function generation step for generating a measurement transfer function group, the directional measurement transfer function group, and the directional measurement transfer function group. The auxiliary transfer function group obtained based on the sound that reaches each of the plurality of positions on the curved surface is added together at the indicated ratio, so that from the virtual sound image position, A first transfer function generation step of generating a first transfer function group as a combined transfer function group corresponding to each of the number positions, and based on the first transfer function group with respect to the input speech signal A first reproduction audio signal generating step for obtaining a first reproduction audio signal corresponding to each of the plurality of positions on the first closed curved surface by performing arithmetic processing; and surrounding a required sound source. Recording the sound from the sound source from a plurality of directions with a directional microphone, and in the first sound generation step, the sound from the sound source is recorded in the recording step by the directional speaker. Sound is generated in a plurality of directions opposite to the recorded plurality of directions, and in the directional measurement transfer function generation step, sound is generated for each of the plurality of directions generated by the directional speaker. Based on the measurement result, the directional measurement transfer function group is generated for each of the plurality of directions, and the plurality of directions generated by the directional measurement transfer function generation step in the first transfer function generation step. For each of the directional measurement transfer function groups for each, the first transfer function group for each of the plurality of directions is generated by adding the auxiliary transfer function groups at a specified ratio, and the first reproduction is performed. In the audio signal generating step, the plurality of positions on the first closed curved surface are obtained by performing arithmetic processing based on the first transfer function group in the corresponding direction for the audio signal recorded in the recording step. As reproduction audio signals corresponding to each of the above, reproduction audio signals for the plurality of directions are obtained, and the reproduction audio signals are obtained for each of the plurality of positions on the first closed curved surface. By adding together, the first reproduction audio signal is obtained.
また、本発明は、記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムであって、前記記録装置は、第一の閉曲面の外側における仮想音像位置から発音した音声を前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより測定した結果に基づき生成された、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した有指向性測定伝達関数群と、所要の音源から収録した収録音声信号とを前記記録媒体に対して記録する記録手段を備え、前記音声信号処理装置は、前記記録媒体に記録された前記有指向性測定伝達関数群と前記収録音声信号とを入力する入力手段と、前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求められた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成手段と、入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成手段とを備え、前記記録装置において、前記記録手段は、前記記録媒体に対し、前記仮想音像位置から発音した音声を前記複数の位置で外向きに配置した無指向性マイクロフォンにより測定した結果に基づき生成された無指向性測定伝達関数群をさらに記録するようにされ、前記音声信号処理装置において、前記入力手段は、さらに前記記録媒体に記録された前記無指向性測定伝達関数群も入力するように構成され、前記第一の伝達関数生成手段は、前記有指向性測定伝達関数群の個々から、前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声についての前記第一の閉曲面上の前記複数の位置ごとの音声遅延時間及び音声レベルの情報を抽出すると共に、これら音声遅延時間及び音声レベルの情報と前記入力手段により入力された前記無指向性測定伝達関数群とを前記補助伝達関数として、前記有指向性測定伝達関数群に対して指示された割合でそれぞれ足し合わせることで、前記第一の伝達関数群を生成するように構成される。The present invention also includes a recording apparatus that records information on a recording medium, and an audio signal processing apparatus that generates a reproduction audio signal for reproducing a sound field based on information recorded on the recording medium. A sound field reproduction system configured, wherein the recording device is configured such that a sound generated from a virtual sound image position outside a first closed curved surface is arranged outward at a plurality of positions on the first closed curved surface. A directional measurement transfer function group corresponding to each of the plurality of positions on the first closed curved surface from the virtual sound image position, generated based on a result measured by a directional microphone, and a required sound source Recording means for recording the recorded audio signal recorded on the recording medium, and the audio signal processing device includes the directional measurement transfer function group recorded on the recording medium and the recording Input means for inputting a voice signal; the directional measurement transfer function group; and the plurality of positions on the first closed curved surface that are sounded from the virtual sound image position separately from the directional measurement transfer function group And the auxiliary transfer function groups obtained based on the voices reaching each of them, by adding them together at a specified ratio, a combined transfer function group corresponding to each of the plurality of positions from the virtual sound image position First transfer function generation means for generating a first transfer function group as the above, and applying an arithmetic processing based on the first transfer function group to the input speech signal, First reproduction audio signal generation means for obtaining a first reproduction audio signal corresponding to each of the plurality of positions of the recording apparatus, wherein the recording means Sound image A non-directional measurement transfer function group generated based on a result obtained by measuring a sound generated from a position by an omnidirectional microphone disposed outward at the plurality of positions; The input means is further configured to input the omnidirectional measurement transfer function group recorded on the recording medium, and the first transfer function generation means is configured to input each of the directional measurement transfer function groups. From the sound delay time and the sound level for each of the plurality of positions on the first closed surface of the sound that is generated from the virtual sound image position and reaches each of the plurality of positions on the first closed surface The information is extracted, and the information on the voice delay time and voice level and the omnidirectional measurement transfer function group input by the input means are used as the auxiliary transfer function. The first transfer function group is generated by adding the indicated directivity measurement transfer function group at the specified ratio.
このようにして本発明によれば、或る環境での音場を別の環境にて再現する場合において、再現音場の音質についての調整を行うことができ、この点でユーザの使い勝手の向上を図ることができる。 As described above, according to the present invention, when the sound field in one environment is reproduced in another environment, the sound quality of the reproduced sound field can be adjusted. In this respect, the user's usability is improved. Can be achieved.
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。なお、説明は以下の順序で行うものとする。
<1.基本的構成>
1−1.1つの音像位置の再現
1−2.複数の音像位置の再現
1−3.第二閉曲面での音場再現
<2.実施の形態としての音場再現>
2−1.無指向性測定伝達関数を用いた調整
2−2.音声遅延時間及び音声レベルの情報を用いた調整
<3.追加構成例>
3−1.音源の指向方向の再現
3−2.演奏形態のシミュレート
3−3.ステレオエフェクタの再現
3−4.音源の指向性と指向方向ごとの放音特性の再現
3−5.アンビエンスデータの追加
3−6.カメラ視点に応じた音場再現
<4.実施の形態としての音場再現システム>
4−1.システム構成例
Hereinafter, the best mode for carrying out the invention (hereinafter referred to as an embodiment) will be described. The description will be made in the following order.
<1. Basic configuration>
1-1. Reproduction of one sound image position 1-2. Reproduction of a plurality of sound image positions 1-3. Sound field reproduction on the second closed surface <2. Sound field reproduction as an embodiment>
2-1. Adjustment using omnidirectional measurement transfer function 2-2. Adjustment using audio delay time and audio level information <3. Additional configuration example>
3-1. Reproduction of directivity direction of sound source 3-2. Simulation of performance form 3-3. Reproduction of stereo effector 3-4. Reproduction of directivity of sound source and sound emission characteristics for each direction 3-5. Addition of ambience data 3-6. Sound field reproduction according to camera viewpoint <4. Sound field reproduction system as embodiment>
4-1. System configuration example
なお、本明細書において、特に断らなければ、音声信号に対する「伝達関数に基づく演算処理」とは、音声信号に対して伝達関数を畳み込み積分処理を施すことや、伝達関数をフィルタ係数として設定したFIR(Finite Impulse Response)フィルタによって音声信号にフィルタ処理を施すことを指すものとする。 In this specification, unless otherwise specified, “calculation processing based on a transfer function” for an audio signal means that the transfer function is subjected to convolution integration processing for the audio signal, or the transfer function is set as a filter coefficient. It means that the audio signal is filtered by an FIR (Finite Impulse Response) filter.
<1.基本的構成>
1−1.1つの音像位置の再現
図1は、音場再現にあたっての測定環境を模式的に示した図である。
なお、この「1.基本的構成」にて説明する音場再現技術は、後に説明する本実施の形態としての音場再現を実現するにあたってその基とする技術であり、この内容は本出願人の先の出願である「特開2002−186100号公報」にも記載されている。
<1. Basic configuration>
1-1. Reproduction of one sound image position FIG. 1 is a diagram schematically showing a measurement environment for sound field reproduction.
The sound field reproduction technique described in “1. Basic configuration” is a technique used as a basis for realizing the sound field reproduction as the present embodiment described later. It is also described in “JP-A-2002-186100”, which is an earlier application.
図1において、測定環境1は、後に説明する再生環境において再現しようとする音場であり、この場合は例えばコンサートホールやライブ会場などとして考えればよい。
この測定環境1には、例えば当該測定環境1の壁に近接しない位置に、半径R_bndとなる円周上に、測定用マイク(マイクロフォン)4a、4b、4c、4d、4e、4f、4g、4h、4i、4j、4k、4l、4m、4n、4o、4pを配置する。
なお、以下において、このような半径R_bndとなる円周のことを、第一閉曲面10と呼ぶ。
In FIG. 1, a
The
Hereinafter, the circumference having such a radius R_bnd is referred to as a first closed
各測定用マイク4a〜4pは、その指向性を第一閉曲面10の法線方向において外側に向けるものとする。なお、本明細書における以降の説明においてもマイクロフォンに示される矢印は、その指向性の主方向を示すものとする。
また、第一閉曲面10の中心から半径R_spとなる位置に、仮想音源として測定用スピーカ3を配置する。この測定用スピーカ3に対しては、測定用信号再生部2から測定用信号が供給される。この測定用信号としては、後述するインパルス応答測定のためのTSP(Time Stretched Pulse:時間引き延ばしパルス)信号を出力するようにされる。
なお、測定用スピーカ3は、後述する再生環境における仮想スピーカを再現するために備えられることから、その指向性や周波数特性は、再生環境における聴取者に対する聴感を想定したものとすることが望ましい。
Each of the
Further, the
Note that since the
この測定環境1における測定は、測定用スピーカ3に測定信号TSPを供給して、測定用スピーカ3から出力された測定用音声を各測定用マイク4a〜4p入力させるようにするが、図1においては、測定用スピーカ3から測定用マイク4aに至る音声の経路のみを模式的に示している。
各測定用マイク4a〜4pで検出された音声信号は、図示していないインパルス応答測定装置に供給され、ここでは各測定用マイク4で検出された音声の音圧に基づいて、測定用スピーカ3から各測定マイク4a〜4pに対応したインパルス応答が測定される。このインパルス応答は、大きなホールなどでは5〜10秒程度であることもあるが、小さなホールや響きの少ないホールなどではより短い時間長となることもある。この測定により、各インパルス応答に基づいた伝達関数を求めることができる。すなわち、図1には、測定用マイク4aに対応した伝達関数Haを求める場合の音声の経路が示されている。また、図示していないが、測定用マイク4b〜測定用マイク4pについても、同様にそれぞれに対応した伝達関数Hb〜Hpを求めることができる。
なお、インパルス応答の測定は、各測定用マイク毎に行ってもよいし、全ての測定用マイク4a〜4pに対して同時に行うようにしてもよい。また、測定用信号はTSP信号に限らず、擬似ランダム雑音や音楽信号などを用いてもよい。
また、以降の説明においても、測定環境1における測定用スピーカから測定用マイクまでの伝達関数は「H」により表す。
In the
The sound signals detected by the
The impulse response measurement may be performed for each measurement microphone or may be performed simultaneously for all the
In the following description, the transfer function from the measurement speaker to the measurement microphone in the
このようにして、測定環境1においては各測定用マイク4a、4b、4c、4d・・・4pに対応した伝達関数Ha、Hb、Hc、Hd・・・Hpを求めることができる。そして、これらの伝達関数Ha〜Hpを用いることにより、測定環境1とは別の環境(再現環境)で当該測定環境1の音場を再現することができるようになる。
In this way, in the
図2は、再現環境における再現音声の再生系(再現信号生成装置)の構成について示している。
再現信号生成装置5において、音声再生部6は、任意の音声信号Sを出力することができるようにされている。この音声再生部6から出力された音声信号Sは、演算部7a、7b、7c、7d・・・7n、7o、7pに供給される。個々の演算部7a〜7pには、それぞれ上記のようにして測定用マイク4a〜4p対応に測定された伝達関数Ha〜Hpのうち、同じ添え字(アルファベット)の付される伝達関数Hが設定されており、各演算部7は、供給された音声信号Sに対してそれぞれ設定された伝達関数Hに基づく演算処理を施す。これにより、各演算部7a〜7pからは、音声信号Sに対して伝達関数に対応するインパルス応答が畳み込まれた再現信号SHa、SHb、SHc、SHd・・・SHn、SHo、SHpが出力される。
なお、先にも述べたが、各演算部7の動作は、それぞれ設定された伝達関数(インパルス応答)をフィルタ係数として設定したFIRフィルタによっても実現することができる。このことは、後述する全ての「演算部」についても同様である。
FIG. 2 shows a configuration of a reproduction sound reproduction system (reproduction signal generation device) in a reproduction environment.
In the reproduction
As described above, the operation of each calculation unit 7 can also be realized by an FIR filter in which each set transfer function (impulse response) is set as a filter coefficient. The same applies to all “calculation units” described later.
各再現信号SHa〜SHpは、再生環境に配置されている再現用スピーカ8a、8b、8c、8d・・・8n、8o、8pに供給される。これにより、各再現用スピーカ8a〜8pからは、測定環境1における伝達関数Ha〜Hpに基づいた再現信号SHa〜SHpによる音声が出力される。
Each reproduction signal SHa to SHp is supplied to
図3は再現環境について説明する模式図である。
再現環境11は、例えば無響室や、残響の少ないスタジオなどとされる。
この再現環境11に、図2に示した再現用スピーカ8a〜8pを配置する。この場合、再現用スピーカ8a〜8pは、図1に示した測定用マイク4a〜4pの配置位置に対応させ、半径R_bndで形成される第一閉曲面10の外周上に内側に向けて配置される。つまり、再現用スピーカ8a〜8p、測定用マイク4a〜4pにおいて同一の添え字(アルファベット)を付したもの配置位置どうしが対応している。
なお、測定環境1における第一閉曲面10と再現環境11における第一閉曲面10とは、それぞれ別々の空間に存在する閉曲面ではあるが、ここでは同一半径により形成される幾何学的に同等の閉曲面ということで、便宜上同一の符号を付している。
FIG. 3 is a schematic diagram for explaining the reproduction environment.
The
The
The first closed
そして、これら再現用スピーカ8a〜8pから、先の図2に示したようにして上記再現信号SHa〜SHpを供給して出力することで、第一閉曲面12の内側に居る聴取者は、図1に示した測定用スピーカ3から音声信号Sを再生した場合の音場が第一閉曲面10の外側に擬似的に再現されているように感じることができる。
Then, by supplying and outputting the reproduction signals SHa to SHp as shown in FIG. 2 from the
ここで、或る閉曲面内に音源がない場合、その音場を別の場所で正確に再現するためには、原音場と再生音場とで閉曲面の外周の音圧と法線方向の粒子速度を一致させればよいということが知られている(公知文献:電子情報通信学会編「音響システムとディジタル処理」(コロナ杜)を参照)。具体的には、閉曲面上に双指向性マイクロフォンを無数個設置し、それぞれの設置点における音圧と粒子速度を測定する。このため、測定環境1における第一閉曲面10では無数個の測定用マイクを法線方向に外向きに設置し、再現環境11における第一閉曲面10においてはこれらの測定用マイクに対応した無数個の再現用スピーカを配置することで、再現環境11での第一閉曲面10の内側を視聴位置とした場合、聴取者は測定環境1の第一閉曲面10内に居る場合と同様の定位感や残響感を得ることができ、さらに、再現環境11にはない測定用スピーカ3の位置に仮想音像を知覚することができるようになる。つまり、再現環境11の第一閉曲面10の内側のいずれの聴取位置においても、その外側に測定環境1と同等の音場感を得ることができる。
しかし、上記のように、無数個のマイクロフォンと再現用スピーカを必要とすることは、実際にこれを実現することは困難である。そこで、本出願人は、指向性マイクロフォン、例えば単一指向性マイクロフォンの出力に音圧及び粒子速度成分が含まれることに着目して、有限個数の指向性マイクロフォンと、それに対応する数の再現用スピーカでほぼ同様な音響効果が得られることを実験により確かめた。
Here, when there is no sound source in a certain closed curved surface, in order to accurately reproduce the sound field in another place, the sound pressure and normal direction of the outer periphery of the closed curved surface are reproduced between the original sound field and the reproduced sound field. It is known that the particle velocities need to be matched (refer to “Literature: Electronic systems and digital processing” edited by the Institute of Electronics, Information and Communication Engineers (Corona)). Specifically, an infinite number of bidirectional microphones are installed on a closed curved surface, and the sound pressure and particle velocity at each installation point are measured. For this reason, innumerable measurement microphones are installed outward in the normal direction in the first closed
However, as described above, it is difficult to actually realize this because it requires an infinite number of microphones and reproduction speakers. Therefore, the present applicant pays attention to the fact that sound pressure and particle velocity components are included in the output of a directional microphone, for example, a unidirectional microphone, and for reproduction of a finite number of directional microphones and the corresponding number. It was confirmed by experiments that almost the same acoustic effect was obtained with the speaker.
このようにして、例えばホールなどの測定環境1における音場を、無響室などとされる再現環境11において再現することができる。
ここで、このことによれば、図1に示したように測定環境1におけるインパルス応答の測定を1回行っておけば、その後、これら測定データ(伝達関数)を用いることで、再現環境11など測定環境1以外の環境で、随時測定環境1の音場を擬似的に再現することができるようになる。
そして、この場合、先の図2の構成によれば、このように再現される音場で再生する音声としては任意の音声とすることができるので、測定を行ったホールで任意の音声が再生された(任意の演奏が行われた)ものとして再現することができる。
In this way, the sound field in the
Here, according to this, if the impulse response is measured once in the
In this case, according to the configuration shown in FIG. 2, since the sound reproduced in the sound field reproduced in this way can be any sound, any sound is reproduced in the measured hall. Can be reproduced as being performed (any performance was performed).
1−2.複数の音像位置の再現
上記説明では、測定環境1において1つの測定用スピーカ3から各測定用マイク4a〜4pまでのインパルス応答を測定した結果に基づき、再現環境11において1つの音像位置を再現するものとしたが、この技術を応用することで、次の図4に示されるようにして配置した複数の測定用スピーカ3、つまり複数の音像位置を再現することが可能となる。
1-2. Reproduction of a plurality of sound image positions In the above description, one sound image position is reproduced in the
図4において、先ずこの場合は、先の図1と同様の測定用マイク4a〜4pを配置した測定環境1において、図示するように複数の測定用スピーカ3−1、3−2、3−3、3−4を、第一閉曲面10の外側におけるそれぞれ別々の場所に配置する。ここでは、測定用スピーカ3−1の配置位置をPosition1とし、測定用スピーカ3−2の配置位置をPosition2と表している。同様に測定用スピーカ3−3、測定用スピーカ3−4の配置位置は、それぞれPosition3、Position4とする。
4, first, in this case, in the
この場合の測定環境1における測定は、測定用スピーカ3ごとに測定用信号TSPを供給して行う。このとき、各測定用マイク4a〜4pにおいては、各測定用スピーカ3ごとの出力音声信号について検出するようにされる。各測定用マイク4にて得られたこれら測定用スピーカ3ごとの音声信号は、この場合も図示しないインパルス応答測定装置に供給され、これによって各測定用スピーカ3(3−1〜3−4)から各測定マイク4a〜4pまでのそれぞれに対応したインパルス応答が測定され、その結果に基づき、各測定用スピーカ3から各測定マイク4までのそれぞれに対応した伝達関数を求めることができる。
例えば図4では、測定用スピーカ3−1から測定用マイク4aまでに対応した伝達関数Ha−1、測定用スピーカ3−1から測定用マイク4bまでに対応した伝達関数Hb−1を得る経路を模式的に示している。また、同じように測定用スピーカ3−3から測定用マイク4aまでに対応した伝達関数Ha−3、測定用スピーカ3−3から測定用マイク4oまでに対応した伝達関数Ho−3を求める経路についても模式的に示している。
The measurement in the
For example, in FIG. 4, a path for obtaining a transfer function Ha-1 corresponding to the measurement speaker 3-1 to the
このようにして、測定用スピーカ3ごとに出力した測定用信号TSPに応じて、測定用スピーカ3−1から各測定用マイク4a〜pまでに対応した伝達関数Ha−1〜Hp−1、測定用スピーカ3−2から各測定用マイク4a〜pに対応した伝達関数Ha−2〜Hp−2、測定用スピーカ3−3から各測定用マイク4a〜pまでに対応した伝達関数Ha−3〜Hp−3、測定用スピーカ3−4から各測定用マイク4a〜pまでに対応した伝達関数Ha−4〜Hp−4を求めることができる。
この場合のインパルス応答の測定は、異なるPositionの測定用スピーカ3からの音声が混在しないように、1つの測定用スピーカ3ごとに測定用信号TSPを出力して行うことが望ましい。また、複数の測定用スピーカ3を配置する以外にも、1つの測定用スピーカ3を順次各Positionに配置して行うようにすることもできる。
In this way, according to the measurement signal TSP output for each
The measurement of the impulse response in this case is preferably performed by outputting the measurement signal TSP for each
図5は、これら各伝達関数Ha−1〜Hp−1、Ha−2〜Hp−2、Ha−3〜Hp−3、Ha−4〜Hp−4に基づき、音場再現を行うための再現用音声信号(単に再現信号とも呼ぶ)を生成する再現信号生成装置15の構成を示している。
この再現信号生成装置15としては、例えば複数の音像位置(Position1〜Position4)ごとに、それぞれ異なる音声を出力する場合に対応した構成を採る。このために、各Positionに対応した音声再生部6−1、6−2、6−3、6−4の計4つの音声再生部を備えるようにされる。
この場合も各音声再生部6としては、任意の音声信号Sを出力することができるようにされている。ここでは、各音声再生部6から出力される音声信号Sを、それぞれのPositionの番号に対応させて音声信号S1、S2、S3、S4と示している。
FIG. 5 shows reproduction for performing sound field reproduction based on these transfer functions Ha-1 to Hp-1, Ha-2 to Hp-2, Ha-3 to Hp-3, Ha-4 to Hp-4. 2 shows a configuration of a reproduction
For example, the reproduction
Also in this case, each audio reproduction unit 6 can output an arbitrary audio signal S. Here, the audio signal S output from each audio reproduction unit 6 is shown as audio signals S1, S2, S3, and S4 corresponding to the respective Position numbers.
また、この場合の演算部7としては、Position1〜Position4のそれぞれに対応した4セットを設けるものとしている。すなわち、Position1に対応した演算部7a−1〜7p−1、Position2に対応した演算部7a−2〜7p−2、Position3に対応した演算部7a−3〜7p−3、Position4に対応した演算部7a−4〜7p−4が設けられる。
演算部7a−1〜7p−1に対しては、図示するように測定用スピーカ3−1(Position1)から各測定用マイク4への出力に応じて得られた伝達関数Ha−1〜Hp−1が設定される。これら演算部7a−1〜7p−1は、それぞれ音声再生部6−1から入力される音声信号S1に対し、設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−1〜SHp−1を出力する。これによって、先ずは測定用スピーカ3−1(Position1)の音像位置を再現するための再現信号が得られる。
また、演算部7a−2〜7p−2に対しては、測定用スピーカ3−2(Position2)から各測定用マイク4への出力に応じて得られた伝達関数Ha−2〜Hp−2が設定され、これら演算部7a−2〜7p−2は、それぞれ音声再生部6−2から入力される音声信号S2に対し設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−2〜SHp−2を出力する。これによって測定用スピーカ3−2(Position2)の音像位置を再現するための再現信号が得られる。
同様に、演算部7a−3〜7p−3は、測定用スピーカ3−3(Position3)に応じて得られた伝達関数Ha−3〜Hp−3が設定され、それぞれ音声再生部6−3から入力される音声信号S3に対し設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−3〜SHp−3を出力する。これにより測定用スピーカ3−3(Position3)の音像位置を再現するための再現信号が得られる。
さらに、演算部7a−4〜7p−4は、測定用スピーカ3−4(Position4)に応じて得られた伝達関数Ha−4〜Hp−4が設定され、それぞれ音声再生部6−4から入力される音声信号S4に対し設定された伝達関数Hに基づく演算処理を行って再現信号SHa−4〜SHp−4を出力する。これにより測定用スピーカ3−4(Position4)の音像位置を再現するための再現信号が得られる。
In this case, four sets corresponding to each of
For the
For the
Similarly, in the
Furthermore, the
加算器9a〜加算器9pは、再現用スピーカ8a〜8pと1対1の関係により設けられ、演算部7a−1〜7p−1、演算部7a−2〜7p−2、演算部7a−3〜7p−3、演算部7a−4〜7p−4のうち、対応する添え字(アルファベット)の付された演算部7からの出力を入力し、それらを加算して対応する添え字の付される再現用スピーカ8に供給する。
つまり、例えば加算器9aは、演算部7a−1、7a−2、7a−3、7a−4からの4つの再現信号SHa−1、SHa−2、SHa−3、SHa−4を入力し、これらを加算して再現用スピーカ8aに供給する。これによってスピーカ8aからは、図4に示した全てのPositionから測定用マイク4aまでの経路に対応した再現音声を出力することができる。
また、加算器9pは、演算部7p−1、7p−2、7p−3、7p−4からの4つの再現信号SHp−1、SHp−2、SHp−3、SHp−4を入力し、これらを加算して再現用スピーカ8pに供給する。これによりスピーカ8pからは、図4に示した全てのPositionから測定用マイク4pまでの経路に対応した再現音声を出力することができる。
このような再現信号SHの加算が加算器9b〜9oにおいて同様に行われることで、それぞれ対応するスピーカ8b〜8oにおいても、同様に全てのPositionから該当する測定用マイク4までの経路に対応した再現信号を出力することができる。
この結果、これら再現用スピーカ8a〜8pにより囲われる、再現環境11における第一閉曲面10の内側の聴取者は、図4に示した各測定用スピーカ4(Position1、Position2、Position3、Position4)のそれぞれから音声を再生した場合の音場が第一閉曲面10の外側に擬似的に再現されているように感じることができる。すなわち、これによってPosition1、Position2、Position3、Position4のそれぞれの位置に、音像を再現(定位、提示)することができる。
The
That is, for example, the
Further, the
By adding the reproduction signals SH in the same manner in the
As a result, the listener inside the first closed
図6は、この場合の再現環境11について模式的に示している。
先の図5に示した再現信号生成装置15では、Position1、Position2、Position3、Position4ごとに独立して別々の音声を入力できるように構成した。これによれば、各Positionごとに、例えばボーカル、ドラム、ギター、キーボード(鍵盤楽器)などといった異なるPlayerの音声を入力することで、この図6に示されているように、Position1にはボーカル(Player1)、Position2にはドラム(Player2)、Position3にはギター(Player3)、Position4にはキーボード(Player4)などというように、然るべきPositionに然るべきPlayerの音像を提示することができるようになる。
FIG. 6 schematically shows the
The reproduction
1−3.第二閉曲面での音場再現
ここで、これまでで説明したような音場再現の手法においては、測定用スピーカ4の配置数、再現環境11での再現用スピーカ8の配置数を増やすほど、音像の定位感(音場の再現度)は増すことができる。このことによれば、再現環境11としては、なるべく多くの再現用スピーカ8を配置できる環境が望ましいものとなるが、実際の再現環境としては、例えば一般の家庭の部屋などとされることも考えられる。
一般家庭の部屋などの環境では、スピーカの配置数は限られたものとなり、また、このように配置数が制限される以外にも、それぞれの家庭では各スピーカの配置関係が異なるものとなることが予想される。従って、一般家庭での音場再現を想定した場合は、それらの条件に応じて、ホールなどの測定環境において、それぞれの条件に応じた測定用マイク4の配置関係・配置数の別ごとに測定を行う必要がある。
しかし、このことによると、例えば新たなスピーカの個数・配置の条件に対応させるとした場合には、いちいち対象とするホールに出向き、その条件に応じた測定用マイクの配置により測定を行う必要がでてきてしまい、この点で多大な労力と費用を要するものとなってしまう。
1-3. Sound field reproduction on the second closed curved surface Here, in the sound field reproduction method as described above, the number of
In an environment such as a room in a general household, the number of speakers arranged is limited, and in addition to the limited number of speakers arranged in this way, the arrangement relationship of each speaker in each home is different. Is expected. Therefore, when sound field reproduction in a general home is assumed, measurement is performed for each of the arrangement relation / number of
However, according to this, for example, when it is necessary to correspond to the condition of the number and arrangement of new speakers, it is necessary to go to the target hole one by one and perform measurement with the arrangement of the measurement microphone according to the condition. In this respect, much labor and cost are required.
ここで、これまでの説明のようにして、再現環境11における第一閉曲面10の内側で測定環境1での音場を再現できるということは、この第一閉曲面10のさらに内側の第二閉曲面においても、第一閉曲面10上の各スピーカからの伝達関数を用いた演算処理を行えば、測定環境1の音場を再現するための再現信号を得ることができる。
つまり、これによって上記第二閉曲面内において、測定環境1の音場を再現することが可能となる。
これによれば、例えば対象とするホールなどでの測定を1度行っておけば、家庭の部屋などの実際の再現環境への適応のための測定は、いちいち対象とするホールなどに出向かずとも、再現環境11としての例えば実験施設などにおいて、第一閉曲面10上の再現用スピーカ8のそれぞれから第二閉曲面14上のそれぞれの測定用マイクまでについて行えばよいものとできる。
Here, as described above, the fact that the sound field in the
That is, this makes it possible to reproduce the sound field of the
According to this, for example, if measurement is performed once in a target hall or the like, the measurement for adaptation to an actual reproduction environment such as a room in a home does not have to go to the target hall or the like every time. For example, in a laboratory facility as the
なお、ここで確認のために述べておくと、再現環境11における第一閉曲面10での音場再現としては、上記した実験施設などで家庭の部屋などへの適応に供される以外にも多様な用途が想定できる。
例えば、ライブなどのイベントとしては、実際にその会場(ホール)でアーティストが演奏する形態以外にも、所謂フィルムライブなどとして行われるような、実際のライブ会場での映像を映し出すスクリーンを配置した会場においてライブ音声を流すことで行われるものもある。
このようなフィルムライブの会場であれば、比較的多数の再現用スピーカ8を配置することができる(つまり測定時に多数の測定用マイク4を配置できる)ので、実際のライブ会場で測定した情報に基づきこれらの再現用スピーカ8から再現音声を出力すれば、実際のライブ会場さながらの音場を再現することができる。また、このとき、PlayerごとのPositionが予め決まっているのであれば、予め実際の会場にてそのPositionごとに測定を行っておき、再現時にはそのPositionに該当するPlayerの音声をそのPositionでの測定結果(伝達関数)に基づいて演算処理を施すことで、各Playerの音像位置も的確に再現することができる。
For confirmation, the sound field reproduction on the first closed
For example, as a live event, in addition to the actual performance of the artist in the venue (hall), a venue where a screen for displaying images at an actual live venue, such as a so-called film live, is arranged. In some cases, live audio is played.
In such a film live venue, a relatively large number of
図7は、上記のようにして第一閉曲面10内の第二閉曲面において音場再現を行うにあたっての、インパルス応答の測定手法について説明するための模式図である。
なお、ここでは説明を簡略化するために、測定環境1において測定用スピーカ3を1つのみ配置し、1つの音像位置のみを再現する場合について例示する。
図7において、この場合は、再現環境11における第一閉曲面10の内側に、測定用マイク13A、13B、13C、13D、13Eを配置する。これらの測定用マイク13A〜13Eは、例えば家庭の部屋などとされる再現環境(後述する再現環境20)に配置される再現用スピーカに対応した配置状態をとるようにされればよく、その個数及び配置関係は図示するものに限定はされない。
この図では、これら測定用マイク13A〜13Eを外周として形成される閉曲面を、第二閉曲面14として表している。この第二閉曲面14の内側が、家庭の部屋などとされる再現環境における聴取位置になる。
なお、第二閉曲面14は、第一閉曲面10の内側に形成される必要があるため、測定環境1において測定を行う場合は、第二閉曲面14の広さを考慮して第一閉曲面10を形成することが望ましい。
またこの場合、ホールでの測定はなるべく多くの測定用マイク4を配置して、第一閉曲面10上のなるべく多くの点までについての伝達関数Hを求めておくことが好ましい。これによって測定環境1→再現環境11ではより高い再現度で対象とした音場を再現できる状態としておくことができ、家庭の部屋などの再現環境への適応としてもより高い再現度を実現できる。
FIG. 7 is a schematic diagram for explaining an impulse response measurement technique when reproducing the sound field on the second closed curved surface in the first closed
Here, for the sake of simplification of explanation, a case where only one
7, in this case,
In this figure, a closed curved surface formed with the
Since the second closed curved surface 14 needs to be formed inside the first closed
Further, in this case, it is preferable to arrange as
そして、この場合は、図示するように測定用信号再生装置2により、測定用信号TSPを第一平曲面10上に配置された各再現用スピーカ8ごとに出力して、各スピーカ8から各測定用マイク13までに対応したインパルス応答を測定する。これらのインパルス応答から、各スピーカ8→各測定用マイク13のそれぞれの経路での伝達関数を求めることができる。
In this instance, the measurement
このような第一閉曲面10上に配置された再現用スピーカから第二閉曲面14上に配置された測定用マイクまでの伝達関数は「E」により表すものとする。
例えば図7にも示されているように、測定用マイク13Aに対する再現用スピーカ8aからの伝達関数はEa−Aと表す。また、測定用マイク13Aに対する再現用スピーカ8bからの伝達関数はEb−Aとし、また再現用スピーカ8cからの伝達関数はEc−Aと表す。
また、図示は省略しているが、上記再現用スピーカ8aから、残りの測定用マイク13B〜13Eへの伝達関数をEa−B、Ea−C、Ea−D、Ea−E、さらに、上記再現用スピーカ8bから測定用マイク13B〜13Eへの伝達関数をEb−B、Eb−C、Eb−D、Eb−E、上記再現用スピーカ8cから測定用マイク13B〜13Eへの伝達関数をEc−B、Ec−C、Ec−D、Ec−Eと表す。以下も同様に、小文字アルファベットは測定用スピーカ8の別、ハイフン後の大文字アルファベットは測定用スピーカ13の別を示すものとして、スピーカ→マイクの対応を示すようにして伝達関数Eを表現する。
The transfer function from the reproduction speaker arranged on the first closed
For example, as shown in FIG. 7, the transfer function from the
Although not shown, transfer functions from the
ここで、上記のようにして求められた伝達関数Eを用いれば、第二閉曲面14内において、第一閉曲面10の内側で再現される音場を再現することができる。先にも述べたように、再現環境11における第一閉曲面10の内側では伝達関数Hを用いて測定環境1の音場を再現できるので、これによれば上記第二閉曲面14内においても、測定環境1の音場を再現できることになる。
Here, if the transfer function E obtained as described above is used, the sound field reproduced inside the first closed
図8は、このようにして第二閉曲面14内において測定環境1の音場を再現するための再現信号生成装置19の構成を示している。
なお、この図においては、家庭の部屋などとされる実際の再現環境20に配置される再現用スピーカを、図示するように再現用スピーカ18A、18B・・・18Eとしている。
先ず、音声再生部6からの音声信号Sは、先の図2に示したものと同様に伝達関数Ha〜Hpが設定された演算部7a〜7pのそれぞれに入力される。このように演算部7a〜7pにより音声信号Sがそれぞれ伝達関数Ha〜Hpに基づき演算処理されることで、再現用スピーカ8a〜8pのそれぞれに対応した再現信号SHa〜SHpが得られる。
FIG. 8 shows the configuration of the reproduction
In this figure, reproduction speakers arranged in an
First, the audio signal S from the audio reproduction unit 6 is input to each of the
ここで、先の図7を参照してわかるように、この場合の第一閉曲面10上の再現用スピーカ8からの出力音声は、第二閉曲面14上の各マイク13に対して入力される。そしてこれに伴い、伝達関数Eとしては、1つの測定用マイク13につき、第一閉曲面10上の再現用スピーカ8a〜8pに応じた数がそれぞれ得られる。すなわち、測定用マイク13Aに対応してはEa−A、Eb−A・・・Ep−A、測定用マイク13Bに対応してはEa−B、Eb−B・・・Ep−B、測定用マイク13Cに対応してはEa−C、Eb−C・・・Ep−Cが得られる。また、測定用マイク13Dに対応してはEa−D、Eb−D・・・Ep−D、測定用マイク13Eに対応してはEa−E、Eb−E・・・Ep−Eが得られるものである。
従って、第二閉曲面14上の各測定用マイク13(つまり実際の再現環境20における再現用スピーカ18)の位置ごとに対応する再現信号を得るにあたっては、図示するように測定用マイク13の位置(A〜E)ごとに、上述の各マイク13ごとのa〜pの伝達関数Eを設定した、演算部16A−a〜16A−p、16B−a〜16B−p・・・16E−a〜16E−pを設けるようにする。
そして、図示するように、これら演算部16A−a〜16A−p、16B−a〜16B−p・・・16E−a〜16E−pに対し、上記した演算部7a〜7pからの再現信号SHa〜SHpとして、それぞれ対応する添え字の付された再現信号SHを供給し、これにより各演算部16において、入力される再現信号SHを各々に設定された伝達関数Eに基づき演算処理を施すようにする。
Here, as can be seen with reference to FIG. 7, the output sound from the
Accordingly, in order to obtain a reproduction signal corresponding to each position of each measurement microphone 13 on the second closed curved surface 14 (that is, the reproduction speaker 18 in the actual reproduction environment 20), the position of the measurement microphone 13 as shown in FIG. The
Then, as shown in the figure, for these
このような構成により、測定用マイク13A〜13Eの配置位置(再現用スピーカ18A〜18Eの配置位置)ごとに、第一閉曲面10上の測定用スピーカ8a〜8pのそれぞれの経路からに応じた伝達関数Eにより演算処理された再現信号SHEを得ることができる。
つまり、例えば測定用マイク13A(再現用スピーカ18A)に対応しては、測定用マイク8a〜8pのそれぞれからの経路に応じた伝達関数Eにより演算処理された再現信号SHEA−a〜SHEA−pが得られる。同様に、測定用マイク13B(再現用スピーカ18B)に対応しては、測定用マイク8a〜8pからのそれぞれの経路に応じた伝達関数Eにより処理された再現信号SHEB−a〜SHEB−pが得られるといったものである。
以下同様に、演算部16C−a〜16C−p、16D−a〜16D−p、16E−a〜16E−pからの出力は、それぞれSHEC−a〜SHEC−p、SHED−a〜SHED−p、SHEE−a〜SHEE−pと表すものとする。
With such a configuration, the
That is, for example, for the
Similarly, outputs from the arithmetic units 16C-a to 16C-p , 16D-a to 16D-p, and 16E-a to 16E-p are respectively output from SHEC-a to SHEC-p and SHED-a to SHED-p. , SHEE-a to SHEE-p.
加算器17A、17B・・・17Eは、再現用スピーカ18A、18B・・・18Eと1対1の関係により設けられる。
図示するように加算器17A、17B・・・17Eは、演算部16a−A〜16p−AからのSHEA−a〜p、16a−B〜16p−BからのSHEB−a〜p・・・16a−E〜16p−EからのSHEE−a〜pを入力し、それらを加算して再現用スピーカ18A、18B・・・18Eのうちの対応するスピーカ18に供給する。
上記説明から理解されるように、加算器17の各々に入力される再現信号SHEAa〜SHEEpは、それぞれ伝達関数H及び伝達関数Eに基づき処理され、且つそれぞれの測定用マイク13(再現用スピーカ18)ごとに応じた再現信号となっている。
従って上記のように各加算器17でそれらを加算して対応する再現用スピーカ18に供給することで、各再現用スピーカ18からは、それぞれ測定環境1における音場を再現するための再現信号SHE(SHEA、SHEB・・・SHEE)が出力されることになる。すなわち、このような再現用スピーカ18を第二閉曲面14上での測定用マイク13と同様に配置した実際の再現環境20では、その第二閉曲面14内において、測定環境1の音場を再現することができるようになる。
As shown in the figure,
As understood from the above description, the reproduction signals SHEAa to SHEEp inputted to each of the adders 17 are processed based on the transfer function H and the transfer function E, respectively, and each measurement microphone 13 (reproduction speaker 18). ) Is a reproduction signal according to each.
Therefore, as described above, the adders 17 add them and supply them to the corresponding reproduction speakers 18, so that the reproduction signals SHE for reproducing the sound field in the
図9は、このように第二閉曲面14にて測定環境1の音場を再現する場合での、実際の再現環境20と、仮想音場としての測定環境1、及び第一閉曲面10を模式的に示している。
再生環境20における再現用スピーカ18A〜18Eは、先の図7に示した第二閉曲面14上と同じ半径を有する第二閉曲面14上において、図7の各測定用マイク13A〜13Eと同等の位置関係により配置される。つまり、この再現環境20における各再現用スピーカ18は、各測定用マイク13と幾何学的に同等の位置関係により配置される。
そして、図示するようにこれら再現用スピーカ18A〜18Eは、第二閉曲面14上において、その内側方向に向けて配置され、再現用スピーカ18Aからは再現信号SHEA、再現用スピーカ18Bからは再現信号SHEB、再現用スピーカ18Cからは再現信号SHEC、再現用スピーカ18Dからは再現信号SHED、再現用スピーカ18Eからは再現信号SHEEを出力することで、第二閉曲面14の内側にいる聴取者にとっては、破線で示す第一閉曲面10上に配された再現用スピーカ8a〜8pにより再現される音場と同等な音場を感じることができる。つまりは、破線で示す測定環境1の音場(残響・測定用スピーカ3の音像位置)を擬似的に知覚することができる。従って第二閉曲面14内を聴取位置とした場合、測定環境1内における残響音場、及び音像定位を得ることができるようになる。これにより、例えば家庭の部屋などに居ながら、例えばホールなどの残響音場及び音像定位により、コンテンツとしての音声を聴取することができるようになる。
FIG. 9 shows the
The
Then, as shown in the figure, these
なお、ここでは測定環境1において1つの測定用スピーカ3のみが配置されたものとして、1つのPositionのみを想定した場合を例示したが、複数のPositionを想定した場合は、増やしたPositionの数分、先の図8に示した各加算器17よりも前段の構成を追加すればよい。つまり、例えばPosition1とPosition2との2つのPositionを想定した場合、図8に示した構成に対し、さらにPosition2用の音声再生部6(6−2)、演算部7a〜7p(7a−2〜7p−2)、演算部16A−a〜16A−p、16B−a〜16B−p・・・16E−a〜16E−p(16A−a−2〜16A−p−2、16B−a−2〜16B−p−2・・・16E−a−2〜16E−p−2)を追加する。その上で、追加した演算部16A−a−2〜16A−p−2、16B−a−2〜16B−p−2・・・16E−a−2〜16E−p−2から出力される再現信号については、この場合も加算器17A〜17Eが、それぞれ同じ添え字(大文字アルファベット)の付されたものを入力・加算するように構成すればよい。
但しこの場合、測定環境1→第一閉曲面10での伝達関数Hに基づき再生信号Sを処理する演算部7a〜7pと演算部7a−2〜7p−2とでは、それぞれに設定される伝達関数H(a〜b)は異なるものとなる。つまり、例えば演算部7a〜7pで設定される伝達関数Hが、Position1から各測定用マイク8に対応したHa−1〜Hp−1だとすると、演算部7a−2〜7p−2で設定される伝達関数Hは、Position2から各測定用マイク8に対応したHa−2〜Hp−2を測定することになる。
上記構成により、加算器17A〜17Eの出力としては、測定環境1→第一閉曲面10の対応ではPosition1及びPosition2の音像位置がそれぞれ加味され、且つ第一閉曲面10→第二閉曲面14での対応では伝達関数Eにより適応が為された再現信号SHEA〜SHEEが得られる。これによって各再現用スピーカ18A〜18Eからは、Position1及びPosition2の音像位置を再現することのできる再現信号を出力することができ、これにより第二閉曲面14においても、その内側の聴取者は、仮想音場としての測定環境1におけるPosition1、Position2に、それぞれの音像を知覚することができるようになる。
Here, the case where only one position is assumed as an example in which only one
However, in this case, the
With the above configuration, the outputs of the
<2.実施の形態としての音場再現>
2−1.無指向性測定伝達関数を用いた調整
これまでで説明した音場再現の技術によれば、実際に測定環境1においてインパルス応答の測定を行った結果に基づく空間情報を用いて残響効果や音像定位効果を得るようにされているので、よりリアルな音場再現を行うことができる。
ところで、オーディオ再生システムとしては、このように音質のリアルさを追求する以外にも、再生音声をユーザの好みの音質に調整可能であることで、より使い勝手のよいシステムとすることができる。例えば、従来のオーディオ再生システムでは、低音を強調したり、再生する楽曲のジャンル(ロックやJazzなど)に合わせた音質調整が可能となるように構成されているものがあり、ユーザは好みの音質を選択して楽曲を楽しむことができるようにされたものがある。
このことに鑑みれば、本実施の形態のような音場再現のためのシステムについても、このような音質調整として、例えば上記した残響感や音像の定位感などについて調整が可能となるようにすることで、ユーザの使い勝手を向上させることができて好ましいものとなる。
<2. Sound field reproduction as an embodiment>
2-1. Adjustment using omnidirectional measurement transfer function According to the sound field reproduction technique described so far, reverberation effects and sound image localization are performed using spatial information based on the result of actual measurement of impulse response in
By the way, in addition to pursuing the realistic sound quality as described above, the audio reproduction system can be adjusted to the sound quality desired by the user so that the system can be made more convenient. For example, some conventional audio playback systems are designed to emphasize the bass or adjust the sound quality according to the genre of the music to be played (such as rock or Jazz). There is something that can be selected to enjoy the music.
In view of this, the sound field reproduction system as in the present embodiment can be adjusted, for example, for the above-mentioned reverberation feeling or sound image localization feeling as such sound quality adjustment. As a result, the usability of the user can be improved, which is preferable.
そこで、本実施の形態では、このような音場再現システムにおける再生音声の音質の調整の実現のために、以下のような技術を提案する。
先ずは、図10〜図12により、有指向性測定伝達関数を用いた音質調整について説明する。
なお、ここでは仮想音像位置としてPosition1の1つのみを想定するものとし、また測定環境1の音場の再現は、先の図3に示したようにして第一閉曲面10上に再現用スピーカ8a〜8pを配置した再現環境11にて行うものとして説明を続ける。
Therefore, in the present embodiment, the following technique is proposed in order to realize the adjustment of the sound quality of the reproduced sound in such a sound field reproduction system.
First, sound quality adjustment using a directional measurement transfer function will be described with reference to FIGS.
Here, it is assumed that only one
先ずこの場合は、先の図1にて説明したものと同様の手法により、測定環境1の第一閉曲面10上に配置した測定用マイク4a〜4pにより、測定用スピーカ3からの出力音声(測定用信号TSP)を測定した結果に基づき、これら測定用マイク4a〜4pのそれぞれまでに対応した伝達関数Ha〜Hpを求める。ここで確認のために述べておくと、測定用マイク4a〜4pとしては単一指向性(有指向性)マイクを用いるようにされる。これに応じ以下では、このようにして求められた伝達関数Ha〜Hpについては、有指向性測定伝達関数と呼ぶこともある。
First, in this case, the output sound from the measurement speaker 3 (by the
そして、このように図1にて説明した手法と同様の手法により有指向性測定伝達関数Ha〜Hpを求めた上で、次の図10に示される無指向性マイクによる測定結果に基づく無指向性測定伝達関数の生成を行う。
この図10に示される測定環境1では、測定用スピーカ3からの音声を入力させる測定用マイクとして、無指向性のマイクロフォン(マイク)を用いる。ここでの測定としては、有指向性測定伝達関数Ha〜Hpの生成の際に用いた測定用マイク4a〜4pと同数で且つ同じ配置関係で配置した無指向性マイクを用いる。この図では、これら無指向性マイクを無指向性測定用マイク24a〜24pとして示している。
そして、この場合としても、図示する測定用信号再生部2からの測定用信号TSPを、仮想音像位置に配置した測定用スピーカ3により出力して、各無指向性測定用マイク24a〜24pで測定された音声に基づき、各無指向性測定用マイク24のそれぞれまでに対応したインパルス応答としての伝達関数Ha〜Hpを求める。
ここでは、このようにして無指向性測定用マイク24の測定の結果得られた伝達関数Hのことを無指向性測定伝達関数omniH(或いは単に伝達関数omniH)と呼ぶ。つまり、上記のようにして各無指向性測定用マイク24a〜24p対応に得られたそれぞれの伝達関数Ha〜Hpについては、無指向性測定伝達関数omniHa〜omniHpとする。
Then, the directional measurement transfer functions Ha to Hp are obtained in the same manner as the method described in FIG. 1 in this way, and then the omnidirectional based on the measurement result by the omnidirectional microphone shown in FIG. Generate the sex measurement transfer function.
In the
Even in this case, the measurement signal TSP from the measurement
Here, the transfer function H obtained as a result of the measurement of the omnidirectional measurement microphone 24 in this way is referred to as an omnidirectional measurement transfer function omniH (or simply transfer function omniH). That is, the transfer functions Ha to Hp obtained for the
ここで、このようにしてインパルス応答の測定に無指向性による測定用マイク24を用いることによっては、単一指向性による測定用マイク4による測定を行う場合よりも、測定環境1での反響成分をより多く取り入れることができる。従って無指向性測定用マイク24の測定結果に基づき得られた伝達関数omniHの成分としては、より残響感を与えることができる成分であることになる。
そこで本実施の形態としては、通常の音場再現で用いる有指向性測定伝達関数Hに対し、適宜この無指向性測定伝達関数omniHを加算して残響成分を増すことで、再現音声の残響感を増す方向での音質調整を行うものとする。
Here, by using the non-directional measurement microphone 24 for the impulse response measurement in this way, the reverberation component in the
Accordingly, in this embodiment, the reverberation component of the reproduced speech is increased by appropriately adding the omnidirectional measurement transfer function omniH to the directional measurement transfer function H used in normal sound field reproduction to increase the reverberation component. The sound quality should be adjusted in the direction of increasing
図11は、このような無指向性測定伝達関数に基づく音質調整を行う場合での、音質調整系の構成について示した図である。
先ず、図示するようにして、無指向性測定伝達関数omniHa〜omniHpと、有指向性測定伝達関数Ha〜Hpとを、それぞれどの割合で加算するを設定するためのバランスパラメータ設定部21a〜21p、バランスパラメータ設定部22a〜22pが設けられる。
バランスパラメータ設定部21a〜21pのそれぞれは、無指向性測定伝達関数omniHa〜omniHpのうち、同じ添え字の付された伝達関数omniHを入力する。
また、バランスパラメータ設定部22a〜22pのそれぞれは、有指向性測定伝達関数Ha〜Hpのうち同じ添え字の付された伝達関数Hを入力する。
FIG. 11 is a diagram showing the configuration of the sound quality adjustment system in the case of performing sound quality adjustment based on such an omnidirectional measurement transfer function.
First, as shown in the figure, balance
Each of the balance
Further, each of the balance
そして、これらバランスパラメータ設定部21、22におけるバランスパラメータの調整は、図示するコントローラ25が、操作部26からの操作入力に応じて行うようにされる。
ここでは図示の都合上、コントローラ25と各バランスパラメータ設定部21、各バランスパラメータ設定部22とは、1つの制御線のみで接続されるものとして示しているが、コントローラ25は、各バランスパラメータ設定部21a〜21p、各バランスパラメータ設定部22a〜22pに対し、それぞれ独立してバランスパラメータの値を供給できるようにされている。
ユーザは、操作部26を操作することにより、設定部に設定すべきバランスパラメータの値を独立して指示入力することができるようにされている。コントローラ25はこの指示入力に基づき、各バランスパラメータ設定部21、各バランスパラメータ設定部22に設定されるべきバランスパラメータをそれぞれ供給する。
The balance parameters are adjusted in the balance parameter setting units 21 and 22 by the
Here, for convenience of illustration, the
By operating the
加算器23は、測定時に第一閉曲面10上に配置した測定用マイク4(測定用マイク24)と同数の23a〜23pが設けられ、これら加算器23a〜23pは、それぞれ同じ添え字の付されたバランスパラメータ設定部21、バランスパラメータ設定部22の出力を入力し、それらを加算するようにされる。
これにより、例えば加算器23aにおいては、バランスパラメータ設定部21aでバランスパラメータが与えられた無指向性測定伝達関数omniHaと、バランスパラメータ設定部22aでバランスパラメータが与えられた有指向性測定伝達関数Haとが合成された、合成伝達関数coefHaが得られる。同様に、加算器23bにおいては、バランスパラメータ設定部21bでバランスパラメータが与えられた無指向性測定伝達関数omniHbと、バランスパラメータ設定部22bでバランスパラメータが与えられた有指向性測定伝達関数Hbとが合成された、合成伝達関数coefHbが得られる。
同様に、他の加算器23c〜23pで得られる合成伝達関数coefHについては、合成伝達関数coefHc〜coefHpと呼ぶ。
The adder 23 is provided with the
Thereby, for example, in the
Similarly, the combined transfer functions coefH obtained by the
上記構成により、ユーザは有指向性測定伝達関数Hと無指向性測定伝達関数omniHについて、それぞれを加算する割合を調整することができる。これによれば、有指向性測定伝達関数Hについての割合を少なくし、無指向性測定伝達関数omniHについての割合を多く設定することで、残響感を増す方向に音質を調整することのできる合成伝達関数coefHを得ることができる。また、逆の設定を行うことで、残響感を少なくする方向に音質を調整することのできる合成伝達関数coefHを得ることができる。 With the above configuration, the user can adjust the ratio of adding the directional measurement transfer function H and the omnidirectional measurement transfer function omniH. According to this, by reducing the ratio for the directional measurement transfer function H and setting the ratio for the omnidirectional measurement transfer function omniH, it is possible to adjust the sound quality in the direction of increasing reverberation. A transfer function coefH can be obtained. Also, by performing the reverse setting, it is possible to obtain a combined transfer function coefH that can adjust the sound quality in a direction that reduces the feeling of reverberation.
図12は、このような調整系の構成を備えて無指向性測定伝達関数に基づく音質調整を行う場合に対応した再現信号生成装置28の構成を示している。なお、この場合としても再現用スピーカ8a〜8pは、再現環境11における第一閉曲面10上に配置されているものとする。
先ず、この場合の再現信号生成装置28には、先の図11に示した接続形態によるバランスパラメータ設定部21a〜21p、バランスパラメータ設定部22a〜22p、加算器23a〜23pとしての、coefH生成部27が備えられる。また、この場合も図11に示したコントローラ25と操作部26とが備えられている。
FIG. 12 shows the configuration of the reproduction
First, the reproduction
メモリ部29は、コントローラ25が備えるROMやRAM、ハードディスクなどの記憶装置を包括的に示している。先の図1、及び図10にて説明した手法による測定に基づき得られた有指向性測定伝達関数Ha〜Hp、及び無指向性測定伝達関数omniHa〜omniHpは、予めこのメモリ部29内に格納するようにされる。
この場合のコントローラ25は、メモリ部29内に格納された無指向性測定伝達関数omniHa〜omniHpを、coefH生成部27内の同じ添え字の付されるバランスパラメータ設定部21にそれぞれ供給する。また、有指向性測定伝達関数Ha〜Hpについては、同じ添え字の付されるバランスパラメータ設定部22に対しそれぞれ供給する。
そしてこの場合もコントローラ25は、操作部26からの操作入力に応じて、coefH生成部27内の各バランスパラメータ設定部21、各バランスパラメータ設定部22に設定されるべきバランスパラメータを供給する。
この場合、操作部26には、各バランスパラメータ設定部21及び各バランスパラメータ設定部22対応につまみ操作子(例えばスライド操作子など)などパラメータ設定のための操作子が設けられ、ユーザはこれらを操作することで各バランスパラメータ設定部21及び各バランスパラメータ設定部22対応に、それぞれ設定すべきバランスパラメータの値を指示することができるようにされる。
或いは、各バランスパラメータの調整は、図示されない表示ディスプレイの画面上に表示した操作パネルを用いて行うことも可能であり、その場合操作部26はマウスなどの操作子とされ、例えばユーザは画面上のカーソルをマウス操作によって上記操作パネル上に移動させ、この操作パネル上に設けられたパラメータ調整のためのつまみ操作子アイコンをドラッグ操作するなどして、各バランスパラメータ設定部21及び各バランスパラメータ設定部22対応にそれぞれ設定すべきバランスパラメータの値を指示することができるようにされる。
The
In this case, the
Also in this case, the
In this case, the
Alternatively, each balance parameter can be adjusted using an operation panel displayed on a display screen (not shown). In this case, the
coefH生成部27にて生成された合成伝達関数coefHa〜coefHpは、図示するようにして音声再生部6からの音声信号Sをそれぞれ入力する演算部7a〜7pのうちの対応するものに供給され、それぞれ設定される。つまり、演算部7aに対しては合成伝達関数coefHaが、また演算部7bに対しては合成伝達関数coefHbが、また演算部7pには合成伝達関数coefHpが設定されるというように、演算部7に対してはそれぞれ同じ添え字の付される合成伝達関数coefHがcoefH生成部27から供給され設定される。
そして、この場合も各演算部7(a〜p)は、設定された伝達関数に基づき音声信号Sに対する演算処理を施し、その結果得られた再現信号をそれぞれ同じ添え字の付される再現用スピーカ8に供給するようにされる。
The combined transfer functions coefHa to coefHp generated by the
In this case as well, each computation unit 7 (ap) performs a computation process on the audio signal S based on the set transfer function, and the reproduction signal obtained as a result is reproduced for each of the same subscripts. The power is supplied to the
このような構成により、ユーザ操作に基づく割合で足し合わされた有指向性測定伝達関数Hと無指向性測定伝達関数omniHとによる合成伝達関数coefHに基づく再現信号を得ることができる。つまり、これによって再現用スピーカ8から出力される再現信号によって再現される音場について、ユーザは再生音声の残響感についての調整を行うことができる。
With such a configuration, it is possible to obtain a reproduction signal based on the combined transfer function coefH by the directional measurement transfer function H and the omnidirectional measurement transfer function omniH added at a rate based on the user operation. That is, the user can adjust the feeling of reverberation of the reproduced sound for the sound field reproduced by the reproduction signal output from the
ここで確認のために述べておくと、この場合での音質(残響感)調整は、測定環境1において実測したインパルス応答に基づき行うものであるので、測定環境1に特有の残響感を増す(或いは減らす)ように調整を行うことができる。つまり、この点において、従来のデジタルエコーやデジタルリバーブ方式のような擬似的に残響を作り出す手法での調整を行う場合とは異なるものである。
Here, for confirmation, the sound quality (reverberation) adjustment in this case is performed based on the impulse response actually measured in the
2−2.音声遅延時間及び音声レベルの情報を用いた調整
上記のようにして無指向性測定伝達関数omniHを合成した伝達関数を用いることによっては、残響感についての調整を行うことができるが、この無指向性測定伝達関数omniHの成分の割合を多く設定して残響感を増す方向の調整を行った場合には、仮想音像位置の定位感が不明確になる可能性もある。
そこで、この点を考慮し、本実施の形態では、有指向性測定伝達関数Hに対して合成する伝達関数として、残響成分を含まない直接音に対応する成分についても調整可能とし、これによって音像位置の定位感をより明確にする(音像をよりシャープにする)方向にも調整ができるようにする。
2-2. Adjustment using information on voice delay time and voice level By using the transfer function obtained by synthesizing the non-directional measurement transfer function omniH as described above, the reverberation can be adjusted. If the ratio of the component of the sex measurement transfer function omniH is set to increase the reverberation feeling, the sense of localization of the virtual sound image position may become unclear.
Therefore, in consideration of this point, in the present embodiment, as a transfer function to be synthesized with respect to the directional measurement transfer function H, a component corresponding to a direct sound that does not include a reverberation component can be adjusted. It should be possible to adjust the direction of the position more clearly (to make the sound image sharper).
ここで、仮想音像の定位感は、測定環境1における測定用スピーカ3の配置位置から、第一閉曲面10上のそれぞれの測定用マイクに直接的に入力される音声(直接音)の成分によってもたらされるので、再生音声に対し畳み込む伝達関数の成分としてこの直接音の成分を増すことで、音像をよりシャープにすることができる。
このような各測定用マイクまでの直接音に対応する伝達関数は、測定用スピーカ3から発音され各測定用マイクに直接的に到達する音声についての遅延時間とその音声レベル(波形エネルギー)とによって表すことができる。ここでは、このような各測定用マイクまでの直接音に対応する伝達関数としての、各測定用マイクに直接的に到達する音声の遅延時間とそのレベルとの情報を、有指向性測定伝達関数Ha〜Hpよりそれぞれ抽出するものとする。
その手法を次の図13、図14を用いて説明する。
Here, the sense of orientation of the virtual sound image depends on the component of the sound (direct sound) that is directly input from the arrangement position of the
The transfer function corresponding to the direct sound up to each measurement microphone as described above depends on the delay time and the sound level (waveform energy) of the sound generated from the
The method will be described with reference to FIGS.
先ず図13(a)では、有指向性測定伝達関数Hとしてのインパルス応答の波形成分を模式的に示している。この図13(a)に示されるような各有指向性測定伝達関数Hの成分から、図13(b)に示されるようにして、音声遅延時間と音声レベルとの情報を抽出する。
ここでは、有指向性測定伝達関数Ha〜Hpのそれぞれから抽出した、それぞれの音声遅延時間・音声レベルの情報を、遅延ドライ系伝達関数dryHa〜dryHpと呼ぶ。
First, in FIG. 13A, the waveform component of the impulse response as the directional measurement transfer function H is schematically shown. Information on the audio delay time and the audio level is extracted from the components of each directional measurement transfer function H as shown in FIG. 13A as shown in FIG. 13B.
Here, the information of each sound delay time and sound level extracted from each of the directional measurement transfer functions Ha to Hp is referred to as delay dry system transfer functions dryHa to dryHp.
ここで、このような音声遅延時間と音声レベルの情報との抽出の手法としては、次の図14に示されるようにして行う。
図14(a)では、或る有指向性測定伝達関数Hとしての、インパルス応答の波形成分を模式的に示し、図14(b)ではこのインパルス応答に基づいて抽出される遅延ドライ系伝達関数dryHの波形成分を模式的に示している。
この場合、先ずは図14(a)に示されるように有指向性測定伝達関数Hとしてのインパルス応答について、その波形の立ち上がり地点T1を検出する。そして、この検出された波形立ち上がり地点T1から、別途設定されたプリディレイ分だけ時間的に前方にシフトさせた位置を求め、この位置を図14(b)に示される遅延ドライ系伝達関数dryHの波形立ち上がり位置に設定する。
その上で、図14(a)において、上記検出された波形立ち上がり地点T1を起点としたエネルギー換算窓EW(図では矩形)を設定し、この窓内でのエネルギー値を求め、次いで図14(b)において、このエネルギー値に対する一定比例量を先の遅延ドライ系伝達関数dryHの波形立ち上がり位置の波形振幅値として設定する(図中エネルギー比例量)。
このような手法により、各遅延ドライ系伝達関数dryH(a〜p)としては、各有指向性測定伝達関数H(a〜p)から直接音についての音声遅延時間と音声レベルの情報とを抽出した成分を得ることができる。
なお、このようにしてインパルス応答から音声遅延時間と音声レベルの情報とを得るための手法については、先に本出願人が提案した「特願2005−67413」にも記載されているので、詳しくはそちらを参照されたい。
Here, as a method of extracting such audio delay time and audio level information, it is performed as shown in FIG.
FIG. 14A schematically shows a waveform component of an impulse response as a certain directional measurement transfer function H, and FIG. 14B shows a delay dry system transfer function extracted based on the impulse response. The waveform component of dryH is typically shown.
In this case, first, as shown in FIG. 14A, for the impulse response as the directional measurement transfer function H, the rising point T1 of the waveform is detected. Then, a position shifted forward in time by a separately set pre-delay is obtained from the detected waveform rise point T1, and this position is obtained from the delay dry system transfer function dryH shown in FIG. Set to the waveform rising position.
Then, in FIG. 14A, an energy conversion window EW (rectangular in the figure) starting from the detected waveform rising point T1 is set, the energy value in this window is obtained, and then FIG. In b), a constant proportional amount to this energy value is set as the waveform amplitude value at the waveform rising position of the previous delay dry system transfer function dryH (energy proportional amount in the figure).
With such a method, each delay dry system transfer function dryH (ap) is extracted from each directional measurement transfer function H (ap) to the voice delay time and voice level information about the direct sound. Can be obtained.
The technique for obtaining the voice delay time and the voice level information from the impulse response in this way is also described in “Japanese Patent Application No. 2005-67413” previously proposed by the present applicant. Please refer to that.
なお、上記手法では、遅延ドライ系伝達関数dryHの波形成分の立ち上がりタイミングは別途設定したプリディレイ分だけシフトさせたタイミングとしたが、このようなプリディレイの期間は設けずに有指向性測定伝達関数Hとしてのインパルス応答波形の立ち上がり地点T1をそのまま波形立ち上がりタイミングとすることもできる。
但し、このようなプリディレイを設けて、その期間を可変設定できるように構成すれば、音質調整の幅が広がり好ましいものとなる。その場合、プリディレイの期間長は、例えば比較的短い0ms〜20ms程度の範囲内で可変設定できるようにすればよい。
In the above method, the rising timing of the waveform component of the delay dry system transfer function dryH is shifted by a separately set pre-delay timing. The rising point T1 of the impulse response waveform as the function H can be used as the waveform rising timing as it is.
However, if such a pre-delay is provided so that the period can be variably set, the range of sound quality adjustment is widened, which is preferable. In that case, the pre-delay period length may be variably set within a relatively short range of about 0 ms to 20 ms, for example.
図15は、このような遅延ドライ系伝達関数dryHを用いて音質調整を行う場合に対応した調整系の構成を示している。
先ずこの場合も、無指向性測定伝達関数omniHa〜omniHpを入力して、個々のバランスパラメータを設定するためのバランスパラメータ設定部21a〜21pが設けられる。また、同様に有指向性測定伝達関数Ha〜Hpを入力して個々のバランスパラメータを設定するためのバランスパラメータ設定部22a〜22pが設けられる。
但しこの場合、バランスパラメータ設定部22a〜22pに入力される有指向性測定伝達関数Ha〜Hpは、図示する波形エネルギー算出及び空間ディレイ検出部31に対しても分岐して供給される。
FIG. 15 shows the configuration of an adjustment system corresponding to the case where sound quality adjustment is performed using such a delay dry system transfer function dryH.
First, also in this case, balance
However, in this case, the directional measurement transfer functions Ha to Hp input to the balance
この波形エネルギー算出及び空間ディレイ検出部31は、先の図14に示した手法により各有指向性測定伝達関数Ha〜Hpからそれぞれ音声遅延時間・音声レベルの情報成分を抽出し、遅延ドライ系伝達関数dryHa〜dryHpを生成する。
そして、この場合は、これら遅延ドライ系伝達関数dryHa〜dryHpを入力して、個々のバランスパラメータを設定するためのバランスパラメータ設定部32a〜32pが設けられる。これらバランスパラメータ設定部32a〜32pには、それぞれ同じ添え字が付された遅延ドライ系伝達関数dryHa〜dryHpのうち、それぞれ同じ添え字が付された遅延ドライ系伝達関数dryHが入力される。各バランスパラメータ設定部32では、入力された遅延ドライ系伝達関数dryHに対し、図示するコントローラ25から供給されるバランスパラメータとしての係数を与える。
The waveform energy calculation and spatial
In this case, balance
この場合のコントローラ25は、操作部26からの操作入力に応じて、各バランスパラメータ設定部32a〜32pに設定すべきバランスパラメータの値を個別に供給することができるようにされる。
つまりこの場合、操作部26とコントローラ25とによっては、ユーザが、これらバランスパラメータ設定部32a〜32pに設定すべきバランスパラメータの値を個別に調整できるようにされている。そのためには、例えば先の図12にて説明した操作部26に対し、さらに各バランスパラメータ設定部32に設定すべきバランスパラメータの値を調整するためのつまみ操作子などが追加されればよい。或いは、先にも述べたように表示画面上に表示した操作パネルによる操作を可能とする場合には、この操作パネル上にこれらバランスパラメータ設定部32に設定すべきバランスパラメータの値を個別に調整するための操作つまみアイコンを追加表示して行えばよい。
なお、ここでも図示の都合上、コントローラ25と各バランスパラメータ設定部21、22、32とは、1つの制御線のみで接続されるものとして示しているが、これらバランスパラメータ設定部21、22、32の個々に対しては、この場合もそれぞれ独立してバランスパラメータの値を供給できるようにされている。
In this case, the
That is, in this case, depending on the
Here, for the sake of illustration, the
加算器33a〜加算器33pは、バランスパラメータ設定部21a〜21p、バランスパラメータ設定部22a〜22p、バランスパラメータ設定部32a〜32pから出力される無指向性測定伝達関数omniHa〜omniHp、有指向性測定伝達関数Ha〜Hp、遅延ドライ系伝達関数dryHa〜dryHpについて、それぞれ同じ添え字の付される無指向性測定伝達関数omniH、有指向性測定伝達関数H、遅延ドライ系伝達関数dryHを入力・加算する。
これによって例えば加算器33aにおいては、バランスパラメータ設定部21aでバランスパラメータが与えられた無指向性測定伝達関数omniHaと、バランスパラメータ設定部22aでバランスパラメータが与えられた有指向性測定伝達関数Haと、さらにバランスパラメータ設定部33aにてバランスパラメータが与えられた遅延ドライ系伝達関数dryHaとが合成された、合成伝達関数coefHaが得られる。同様に、加算器33bにおいては、バランスパラメータ設定部21bでバランスパラメータが与えられた無指向性測定伝達関数omniHbと、バランスパラメータ設定部22bでバランスパラメータが与えられた有指向性測定伝達関数Hbと、さらにバランスパラメータ設定部33bにてバランスパラメータが与えられた遅延ドライ系伝達関数dryHbとが合成された、合成伝達関数coefHbが得られる。
同様に、他の加算器33c〜33pで得られる合成伝達関数coefHについては、合成伝達関数coefHc〜coefHpと呼ぶ。
The adders 33a to 33p include balance
Accordingly, for example, in the adder 33a, the omnidirectional measurement transfer function omniHa to which the balance parameter is given by the balance
Similarly, the combined transfer functions coefH obtained by the
上記構成により、この場合は合成伝達関数coefHa〜coefHpとして、さらに遅延ドライ系伝達関数dryHa〜dryHpを足し合わせることができる。また、これと共に、このように足し合わせる遅延ドライ系伝達関数dryHa〜dryHpの割合についても調整することができる。
これによれば、無指向性測定伝達関数omniHについての割合を調整することで残響感についての調整が可能となると共に、さらにこのような遅延ドライ系伝達関数dryHの割合の調整による音像の定位感についての調整も行うことができる。
なお、図15にも示されているように、このようにして遅延ドライ系伝達関数dryHを用いた音質調整を行う場合に対応した、合成伝達関数coefH生成のための波形エネルギー算出及び空間ディレイ検出部31、バランスパラメータ設定部21a〜21p、バランスパラメータ設定部22a〜22p、バランスパラメータ設定部32a〜32p、及び加算器33a〜33pの構成については、coefH生成部30と呼ぶ。
With this configuration, in this case, the delayed dry system transfer functions dryHa to dryHp can be added together as the combined transfer functions coefHa to coefHp. In addition, the ratio of the delay dry system transfer functions dryHa to dryHp added in this way can also be adjusted.
According to this, reverberation feeling can be adjusted by adjusting the ratio of the omni-directional measurement transfer function omniH, and sound image localization feeling by adjusting the ratio of the delayed dry system transfer function dryH. Adjustments can also be made.
As shown in FIG. 15, the waveform energy calculation and the spatial delay detection for generating the combined transfer function coefH corresponding to the case where the sound quality adjustment using the delay dry system transfer function dryH is performed in this way. The configuration of the
ここで、図示は省略するが、このような遅延ドライ系伝達関数dryHを用いた音質調整を行う場合に対応した再現信号生成装置の構成としては、基本的には先の図12に示した構成において備えていたcoefH生成部27に代えて、図15に示したcoefH生成部30を設ければよい。但し、先にも述べたように、この場合のコントローラ25と操作部26としては、coefH生成部30内の各バランスパラメータ設定部32に設定されるべきバランスパラメータの値を個別に設定できるように構成されることになる。
なお、確認のために述べておくと、図15にも示されているように、遅延ドライ系伝達関数dryHは、有指向性測定伝達関数Hに基づき生成されるので、この場合の再現信号生成装置におけるコントローラ25としても、coefH生成部30に対して、メモリ部29内に格納された有指向性測定伝達関数Ha〜Hpと無指向性測定伝達関数omniHa〜omniHpのみを供給するように構成されていればよいことになる。
つまりは、遅延ドライ系伝達関数dryHとしては、有指向性測定伝達関数Hに基づき装置側で自動的に生成されるので、この場合の測定環境1における測定としても、有指向性測定伝達関数Hと無指向性測定伝達関数omniHとについてのみ行えばよいものである。
Although not shown here, the configuration of the reproduction signal generation apparatus corresponding to the case where the sound quality adjustment using the delay dry system transfer function dryH is performed is basically the configuration shown in FIG. In place of the
For confirmation, as shown in FIG. 15, the delayed dry system transfer function dryH is generated based on the directional measurement transfer function H. Therefore, the reproduction signal generation in this case is performed. The
In other words, the delay dry system transfer function dryH is automatically generated on the apparatus side based on the directional measurement transfer function H. Therefore, even in the
ここで確認のために、次の図16には音質調整のイメージを示しておく。
図示するように有指向性測定伝達関数Hの成分を増加させることによっては、通常方式(単一指向性の測定用マイク4により測定した通常の伝達関数を用いた方式)でのボリュームがアップするように調整することができる。
また、無指向性測定伝達関数omniHの成分を増加させることによっては、先にも説明したように残響成分を増加させる方向に調整を行うことができる。さらには、遅延ドライ系伝達関数dryHの成分を増加させることによっては、音像定位感を明確化して音像をシャープ化するように調整することができる。
For confirmation, an image of sound quality adjustment is shown in FIG.
As shown in the figure, increasing the component of the directional measurement transfer function H increases the volume in the normal method (method using the normal transfer function measured by the unidirectional measurement microphone 4). Can be adjusted as follows.
Further, by increasing the component of the omnidirectional measurement transfer function omniH, adjustment can be performed in the direction of increasing the reverberation component as described above. Furthermore, by increasing the component of the delay dry system transfer function dryH, it is possible to make adjustment so as to clarify the sound image localization and sharpen the sound image.
図17は、実際の調整として想定される各バランスパラメータの設定例について示している。
例えば図17(a)に示されるように、再現環境11において再現する仮想音像の位置が1つの側のみである場合などには、この仮想音像の位置(図中Position1)に近い側(前方側)では遅延ドライ系伝達関数dryH成分増加領域として音像の定位感を明確化し、逆に仮想音像の位置からは遠い側(後方側)となる領域は無指向性測定伝達関数omniH増加領域として、ホールなどでの残響感を多く響かせるといった調整を行うことが考えられる。
図17(b)は、この場合に対応した各バランスパラメータの設定例を示している。この場合、有指向性測定伝達関数Hの成分は全ての領域でフラットとすればよく、図示するように再現用スピーカ8a〜8pのすべてについて(つまり図15に示したバランスパラメータ設定部22a〜22pのすべてについて)例えばバランスパラメータ’1’を設定すればよい。
また、無指向性測定伝達関数omniHの成分としては、後方側の領域における再現用スピーカ8(例えば8f〜8l)、つまりバランスパラメータ設定部21f〜21lについて、最も後方側に位置する再現用スピーカ8i(バランスパラメータ設定部21i)でのバランスパラメータの値を最も高く(この場合は’2’に)設定し、この再現用スピーカ8iから領域両端の再現用スピーカ8f、再現用スピーカ8lにかけて徐々にバランスパラメータの値を低くしていくように設定する。それ以外の領域(バランスパラメータ設定部21m〜21e)について設定すべきバランスパラメータの値としては、図示するように例えば’0’を設定する。
さらに、遅延ドライ系伝達関数dryHの成分としては、上記した前方側の再現用スピーカ8(例えば8o〜8cまで)については、最も前方側となる再現用スピーカ8aについて最も高い値(例えば’2’)によるバランスパラメータを設定し、この再現用スピーカ8aから領域両側となる再現用スピーカ8o、再現用スピーカ8cにかけて徐々にバランスパラメータの値を低くしていくように設定する。すなわち、バランスパラメータ設定部32aのバランスパラメータを’2’とし、このバランスパラメータ設定部32aからバランスパラメータ設定部32o、バランスパラメータ設定部32cのそれぞれにかけては、設定する値を徐々に低くなるようにする。そして、他の領域(再現用スピーカ8d〜再現用スピーカ8n、つまりバランスパラメータ設定部32d〜32n)については、バランスパラメータの値として’0’を設定する。
FIG. 17 shows a setting example of each balance parameter assumed as actual adjustment.
For example, as shown in FIG. 17A, when the position of the virtual sound image to be reproduced in the
FIG. 17B shows a setting example of each balance parameter corresponding to this case. In this case, the components of the directional measurement transfer function H may be flat in all regions, and as shown in the drawing, all the
Further, as a component of the omnidirectional measurement transfer function omniH, the reproduction speaker 8 (for example, 8f to 8l) in the rear region, that is, the
Further, as the component of the delay dry system transfer function dryH, the above-described
ここで、先の図15にて説明したようにして、ここでは各バランスパラメータ設定部21a〜21p、各バランスパラメータ設定部22a〜22p、各バランスパラメータ設定部32a〜32pに対し、個別にバランスパラメータの値を供給できるように構成したことで、上記のようにして有指向性測定伝達関数H、無指向性測定伝達関数omniH、遅延ドライ系伝達関数dryHごとの、さらに各再現用スピーカ8a〜8pの配置位置ごとにそれぞれのバランスパラメータの値を調整することができる。
なお、このように各再現用スピーカ8の配置位置ごとに個別にバランスパラメータの値を調整できるように構成する以外にも、単に有指向性測定伝達関数H、無指向性測定伝達関数omniH、遅延ドライ系伝達関数dryHごとにバランスパラメータの値の調整ができるように構成することもできる。つまり、この場合のコントローラ25としては、バランスパラメータ設定部21a〜21p、バランスパラメータ設定部22a〜22p、バランスパラメータ設定部32a〜32pの区切りで、バランスパラメータを供給するように構成されるものである。
Here, as described above with reference to FIG. 15, here, the balance
In addition to the configuration in which the balance parameter value can be individually adjusted for each arrangement position of each
なお、ここでは仮想音像位置としてPosition1のみを想定した場合に対応する構成を説明したが、例えば複数のPositionに対応する場合としては、先の図4にて説明したものと同様の手法により、各Positionごとに、有指向性測定伝達関数Ha〜Hp及び無指向性測定伝達関数omniHa〜omniHpについて測定を行う。そして、再現信号生成装置としては、このように測定された各Positionごとの有指向性測定伝達関数H(a〜p)、無指向性測定伝達関数omniHa〜omniHpに基づき、各Positionごとに合成伝達関数coefHa〜coefHpを生成するように構成されればよい。
なお、このようにして複数のPositionに対応するとした場合の再現信号生成装置の構成については後述する。
また、この場合としても、第二閉曲面14への適応も可能である。なお、この場合の再現信号生成装置の構成についても後述する。
In addition, although the structure corresponding to the case where
Note that the configuration of the reproduction signal generation apparatus in the case where it corresponds to a plurality of Positions will be described later.
Also in this case, adaptation to the second closed curved surface 14 is possible. Note that the configuration of the reproduction signal generation device in this case will also be described later.
また、ここでは、音質調整にあたって通常の音場再現に用いる有指向性測定伝達関数Hに足し合わせる伝達関数として、無指向性測定伝達関数、及び遅延ドライ系伝達関数dryHを用いる場合を例示したが、他の伝達関数を足し合わせて音質調整を行うことも考えられる。
例えば、測定環境1において第一閉曲面10上に同様に配置した双指向性マイク(a〜p)での測定結果に基づく伝達関数を有指向性測定伝達関数Hに足し合わせれば、再現音場における再生音声として、残響感や音像の定位感についての調整を行うことができる。
つまりこの場合、有指向性測定伝達関数Hに対しては、この有指向性測定伝達関数Hと同様に第一閉曲面10のそれぞれの測定用マイクの配置位置対応で求めた別の伝達関数を足し合わせることで、再生音場での再生音声についての音質調整を行うことができ、従って音質調整のために通常の伝達関数Hに足し合わせる上記別の伝達関数(補助伝達関数)としては、無指向性測定伝達関数omniH、遅延ドライ系伝達関数dryHに限定されるものではない。
なお、確認のために述べておくと、遅延ドライ系伝達関数dryHa〜dryHpとしては、有指向性測定伝達関数Ha〜Hpのそれぞれから求めたものであるので、第一閉曲面10上のそれぞれの測定用マイクの配置位置対応に求めた伝達関数であることに変わりはない。
In addition, here, the case where the omnidirectional measurement transfer function and the delayed dry system transfer function dryH are used as the transfer function added to the directional measurement transfer function H used for normal sound field reproduction in the sound quality adjustment is illustrated. It is also conceivable to adjust the sound quality by adding other transfer functions.
For example, if the transfer function based on the measurement results of the bidirectional microphones (ap) similarly arranged on the first closed
That is, in this case, for the directional measurement transfer function H, similarly to the directional measurement transfer function H, another transfer function obtained in correspondence with the arrangement positions of the respective measurement microphones of the first closed
For confirmation, the delayed dry system transfer functions dryHa to dryHp are obtained from each of the directional measurement transfer functions Ha to Hp . There is no change in the transfer function determined to correspond to the arrangement position of the measurement microphone.
<3.追加構成例>
3−1.音源の指向方向の再現
ここで、これまでで説明した音場再現の手法では、測定環境1において測定用信号を出力する測定用スピーカ3としては無指向性のものとし、これによってある1点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報(測定環境1の空間情報)を測定するようにされていた。
しかしながら実際において、測定用スピーカ3の配置位置に仮想音像として再現しようとする音源としては、指向性を有するものも想定できる。このような場合において、上記のように無指向性による測定用スピーカ3を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。
<3. Additional configuration example>
3-1. Here, in the sound field reproduction method described so far, the
However, in reality, a sound source having a directivity can be assumed as a sound source to be reproduced as a virtual sound image at the position where the
そこで、本実施の形態としては、測定環境1において測定用信号を出力する測定用スピーカとして、有指向性のスピーカを用い、これを所要の方向に向けてインパルス応答を測定した結果に基づき、音場を再現する。
図18、図19は、この場合の音場再現として、先ずは音源の特定の指向方向を再現する場合における測定環境1での測定の様子を模式的に示している。
これら図18、図19からわかるように、この場合としても、有指向性測定伝達関数Hと、無指向性測定伝達関数omniHとの双方についての測定を行うようにされる。
先ず図18では、有指向性測定伝達関数Hについての測定の様子を示している。
この場合も測定環境1では、第一閉曲面10上においてそれぞれ外向きに測定用マイク4a〜4pを配置する。その上でこの場合は、有指向性の測定用スピーカとして、単一指向性の測定用スピーカ35を、図示するように或る特定の方向に向けた状態で測定用信号TSPの出力を行い、以降はこれまでと同様に測定用マイク4a〜4pまでに対応したインパルス応答の測定を行って伝達関数Hを求める。
ここで、図18において測定用スピーカ35が向けられた方向はDirection2とし、また測定用スピーカ35の配置位置はPosition1とする。
そして、このDirection2に向けた状態で上記のようにして各測定用マイク4a〜4pごとに得られた伝達関数Hは、測定用マイク4a、4b、4c・・・4pの順に、それぞれ伝達関数Ha-dir2、Hb-dir2、Hc-dir2・・・Hp-dir2と表す。
Therefore, in the present embodiment, a directional speaker is used as a measurement speaker that outputs a measurement signal in the
FIGS. 18 and 19 schematically show how the measurement is performed in the
As can be seen from FIGS. 18 and 19, even in this case, measurement is performed for both the directional measurement transfer function H and the omnidirectional measurement transfer function omniH.
First, FIG. 18 shows a state of measurement of the directional measurement transfer function H.
Also in this case, in the
Here, in FIG. 18, the direction in which the
Then, the transfer functions H obtained for each of the
また、図19では無指向性測定伝達関数omniHについての測定の様子を示しているが、この場合としても無指向性測定伝達関数omniHの測定は、有指向性測定伝達関数Hの測定の場合(図18の場合)と同様の配置関係で無指向性測定用マイク24a〜24pを配置して行う。すなわち、この場合もPosition1に配置した測定用スピーカ35をDirection2に向けた状態で測定用信号TSPを出力し、これを第一閉曲面10上のそれぞれの無指向性測定用マイク24a〜24pで測定した結果に基づき、無指向性測定伝達関数omniHを求める。
このようにしてDirection2に向けた状態で各測定用マイク24a〜24pごとに得られた無指向性測定伝達関数omniHについては、測定用マイク24a、24b、24c・・・24pの順に、それぞれ無指向性測定伝達関数omniHa-dir2、omniHb-dir2、omniHc-dir2・・・omniHp-dir2と表す。
FIG. 19 shows the state of measurement for the omnidirectional measurement transfer function omniH. Even in this case, the measurement of the omnidirectional measurement transfer function omniH is the case of the measurement of the directional measurement transfer function H ( The
This way, the omnidirectional measured transfer functions omniH obtained for each
図20は、このようにして得られた有指向性測定伝達関数H、無指向性測定伝達関数omniHに基づき、再現環境11にて測定環境1の音場を再現する様子を模式的に示している。
先ず、この図に示される合成伝達関数coefHa-dir2〜coefHp−dir2は、図18、図19の測定によりそれぞれ得られた有指向性測定伝達関数Ha-dir2〜Hp-dir2と無指向性測定伝達関数omniHa-dir2〜Hp-dir2と、さらに上記有指向性測定伝達関数Ha-dir2〜Hp-dir2のそれぞれから抽出した遅延ドライ系伝達関数dryHa-dir2〜dryHp-dir2とについて、それぞれ同じ添え字(a〜p)のものを足し合わせて生成したものである。
またこの場合、音源としては、図示するライン収録音源(Player1)36を想定している。このライン収録音源36とは、対象とするPlayerから直接的に収録した音源であり、例えばボーカルではマイクによって検出した電気信号を取り込んだものであり、またギターやキーボードなどの電気楽器では音声出力端子からの電気信号を直接的に取り込んだものとなる。
確認のために述べておくと、ここで言う「Player」とは、再現しようとする仮想音像位置(Position)の1つ1つに対応するものであり、先の図6にも示したように、例えばボーカル、ドラム、ギター、キーボードなどの各演奏者の別に対応するものとなる。ここでは、Player1はボーカルであるとして、その仮想音像を破線により示している。
FIG. 20 schematically shows how the sound field of the
First, the combined transfer functions coefHa-dir2 to coefHp-dir2 shown in this figure are the directional measurement transfer functions Ha-dir2 to Hp-dir2 obtained by the measurements of FIGS. 18 and 19, respectively, and the omnidirectional measurement transfer. The same subscripts for the functions omniHa-dir2 to Hp-dir2 and the delayed dry system transfer functions dryHa-dir2 to dryHp-dir2 extracted from each of the directional measurement transfer functions Ha-dir2 to Hp-dir2 a to p) are added together.
In this case, the illustrated line recording sound source (Player 1) 36 is assumed as the sound source. The line
For confirmation, “Player” here corresponds to each of the virtual sound image positions to be reproduced, as shown in FIG. For example, it corresponds to each performer such as vocals, drums, guitars and keyboards. Here, assuming that
そして、図示するようにこの場合も再現環境11においては、第一閉曲面10上に、測定環境1での測定用マイク4a〜4p(つまり測定用マイク24a〜24p)と同様の位置関係により再現用スピーカ8a〜8pが配置される。
そして、ライン収録音源36からのライン収録データとしての音声信号を、上述のようにして音源の指向方向が加味された合成伝達関数coefHa-dir2、coefHb-dir2、coefHc-dir2・・・coefHp-dir2の各々に基づき演算処理し、それらを対応する再現用スピーカ8からそれぞれ出力する。
これにより、第一閉曲面10内における聴取者は、測定環境1におけるPosition1の仮想音像位置において、Player1が図中の矢印により示した指向方向に向けて放音しているものとして知覚することができる。すなわち、これにより再現環境11において、測定環境1におけるPosition1の仮想音像位置から特定の指向方向に向けて放音した場合の音場を再現することができる。
なお、この場合の各スピーカ8a〜8pが出力すべき再現信号を生成する再現信号生成装置の構成としては、先の図12に示した構成について、メモリ部29に有指向性測定伝達関数Ha-dir2〜Hp-dir2と無指向性測定伝達関数omniHa〜omniHpを格納し、さらにcoefH生成部27に代え図15に示したcoefH生成部30を設けるようにすればよい。これによって演算部7a〜7pには、上記のように指向方向を加味した合成伝達関数coefHa-dir2〜coefHp-dir2が設定されるようになる。
Also in this case, as shown in the drawing, in the
Then, the audio signal as the line recording data from the line
As a result, the listener in the first closed
In this case, as a configuration of a reproduction signal generating device that generates a reproduction signal to be output by each of the
3−2.演奏形態のシミュレート
このようにして、特定の指向方向を表現できれば、例えばボーカルやギターなどのPlayerが演奏中に振り返る、また楽器を回すなどの演奏形態のシミュレートを行うことができる。以下、その手法について説明する。
図21は、このようにして演奏形態のシミュレートを実現するにあたっての測定環境1の様子を模式的に示した図である。
なお、以下の説明においても、測定環境1での測定は有指向性測定伝達関数Hと共に無指向性測定伝達関数omniHについても行うものである。これらの測定の違いは、第一閉曲面10上に配置する測定用マイクが単一指向性の測定用マイク4であるか無指向性の測定用マイク24であるかの違いだけであるので、以下では有指向性測定伝達関数Hについての測定の様子のみを示し、無指向性測定伝達関数Hについての測定については図示は省略する。
3-2. Simulating the performance form In this way, if a specific directivity direction can be expressed, for example, a player such as a vocal or a guitar can look back during the performance or turn the instrument. The method will be described below.
FIG. 21 is a diagram schematically showing the state of the
In the following description, measurement in the
先ずこの場合は、仮想音像位置を中心として各方向に測定用スピーカ35を向けてインパルス応答の測定を行う。ここでは、測定用スピーカ35として指向性60°のスピーカを用いて、音源の指向方向として6つの方向(Direction1、Direction2・・・Direction6)を定義する。
そして、図示するように第一閉曲面10上に配置された各測定用マイク4a〜4pにより、測定用スピーカ35を各Directionに向けたときのインパルス応答を測定し、測定用スピーカ35→各測定用マイク4に対応した伝達関数Hを各Directionごとに得る。
このとき、Direction1としたときの各測定用マイク4a〜4pまでの伝達関数Hは、「Ha-dir1、Hb-dir1・・・Hp-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク4a〜4pまでの伝達関数は、それぞれ「Ha-dir2、Hb-dir2・・・Hp-dir2」、「Ha-dir3、Hb-dir3・・・Hp-dir3」、「Ha-dir4、Hb-dir4・・・Hp-dir4」、「Ha-dir5、Hb-dir5・・・Hp-dir5」、「Ha-dir6、Hb-dir6・・・Hp-dir6」と表す。
First, in this case, the impulse response is measured by directing the
Then, the impulse response when the
At this time, the transfer function H to each of the
また、上記もしたように図示は省略するが、無指向性測定伝達関数omniHについては、Direction1としたときの各測定用マイク24a〜24pまでの伝達関数omniHは、「omniHa-dir1、omniHb-dir1・・・omniHp-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク24a〜24pまでの伝達関数omniHは、それぞれ「omniHa-dir2、omniHb-dir2・・・omniHp-dir2」、「omniHa-dir3、omniHb-dir3・・・omniHp-dir3」、「omniHa-dir4、omniHb-dir4・・・omniHp-dir4」、「omniHa-dir5、omniHb-dir5・・・omniHp-dir5」、「omniHa-dir6、omniHb-dir6・・・omniHp-dir6」と表す。
Although not shown in the drawing as described above, the omniH measurement transfer function omniH has the transfer functions omniH from the
また、上記のように各Directionごとの有指向性測定伝達関数Hが得られることで、この場合もそれぞれから遅延ドライ系伝達関数dryHを抽出することで、各Directionごとの遅延ドライ系伝達関数dryHを得ることができる。
上記に倣い、Direction1としたときの各測定用マイク4a〜4pまでに対応した遅延ドライ系伝達関数dryHは、「dryHa-dir1、dryHb-dir1・・・dryHp-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク4a〜4pまでに対応した伝達関数dryHは、それぞれ「dryHa-dir2、dryHb-dir2・・・dryHp-dir2」、「dryHa-dir3、dryHb-dir3・・・dryHp-dir3」、「dryHa-dir4、dryHb-dir4・・・dryHp-dir4」、「dryHa-dir5、dryHb-dir5・・・dryHp-dir5」、「dryHa-dir6、dryHb-dir6・・・dryHp-dir6」と表す。
In addition, since the directional measurement transfer function H for each direction is obtained as described above, the delay dry system transfer function dryH for each direction is extracted by extracting the delay dry system transfer function dryH from each direction. Can be obtained.
Following the above, the dry dry system transfer function dryH corresponding to each of the
このようにして各Directionごとの有指向性測定伝達関数H、無指向性測定伝達関数omniH、遅延ドライ系伝達関数dryHが得られることで、各Directionごとの合成伝達関数coefHを得ることができる。
つまり、Direction1に対応しては、合成伝達関数coefHa-dir1、coefHb-dir1・・・coefHp-dir1」が得られる。同様にDirection2、Direction3、Direction4、Direction5、Direction6に対応しては、それぞれ「coefHa-dir2、coefHb-dir2・・・coefHp-dir2」、「coefHa-dir3、coefHb-dir3・・・coefHp-dir3」、「coefHa-dir4、coefHb-dir4・・・coefHp-dir4」、「coefHa-dir5、coefHb-dir5・・・coefHp-dir5」、「coefHa-dir6、coefHb-dir6・・・coefHp-dir6」が得られる。
このことに応じ、入力音声信号に対する演算処理を、時間経過と共に異なるDirectionによる合成伝達関数coefHに変更しながら行うことで、音源から発せられる音声の指向方向が順次異なるようにすることができる。例えば、演算処理に用いる合成伝達関数coefHを順次Direction1→Direction2→Direction3・・・→Direction6に対応するものに変更してくことで、仮想音像位置におけるPlayerがDirection1→Direction2→Direction3・・・→Direction6の方向に回転しながら発音している状態を再現することができる。
In this way, the directional measurement transfer function H, the omnidirectional measurement transfer function omniH, and the delay dry system transfer function dryH for each direction are obtained, so that the combined transfer function coefH for each direction can be obtained.
That is, corresponding to
In response to this, by performing the arithmetic processing on the input audio signal while changing to the combined transfer function coefH based on the different Direction with time, the directivity direction of the sound emitted from the sound source can be sequentially changed. For example, by changing the composite transfer function coefH used for calculation processing to one corresponding to Direction1 → Direction2 → Direction3 ... → Direction6, the player at the virtual sound image position is Direction1 → Direction2 → Direction3 ... → Direction6. You can reproduce the state of sounding while rotating in the direction.
図22は、このような指向方向の制御を行う場合の再現信号生成装置37の構成を示している。
なお、この図では、先の図4〜図6にて説明したようにして測定環境1における複数のPosition(Position1〜Position4)を再現する場合に対応した構成を示す。
このようにPositionを複数想定したとき、伝達関数H、伝達関数omniHは、各Positionに配置した測定用スピーカ35(35−1〜35−4)について、先の図21にて説明したものと同様の手法によりインパルス応答の測定を行った結果に基づき求めることができる。
FIG. 22 shows a configuration of the reproduction
This figure shows a configuration corresponding to a case where a plurality of Positions (
As described above, when a plurality of Positions are assumed, the transfer function H and the transfer function omniH are the same as those described with reference to FIG. 21 for the measurement speakers 35 (35-1 to 35-4) arranged in each Position. It can be obtained based on the result of measuring the impulse response by the method.
図22において、先ずこの場合の再現信号生成装置37としては、このように複数のPosition(1〜4)に対応するものとしたことから、先の図5に示したものと同様に、各Positionごとの音声再生部(6−1〜6−4)と、各Positionごとの演算部とが設けられる。
この場合も各Position(各Player)に対応した音声再生部は、Position1から順に音声再生部6−1、6−2、6−3、6−4として示している。また、各Positionごとの演算部については、Position1から順に演算部46a−1〜46p−1、46a−2〜46p−2、46a−3〜46p−3、46a−4〜46p−4とする。
さらに、この場合としても再現用スピーカ8a〜8pと1対1の関係により設けられる加算器47a〜加算器47pが備えられる。これら加算器47a〜47pは、演算部46a−1〜46p−1、演算部46a−2〜46p−2、演算部46a−3〜46p−3、演算部46a−4〜46p−4のうち、対応する添え字(アルファベット)の付された演算部46からの出力を入力し、それらを加算して対応する再現用スピーカ8に供給する。これにより各再現用スピーカ8からは、各Positionの音像位置を表現する再現信号を出力することができる。
In FIG. 22, since the reproduction
Also in this case, the audio reproduction units corresponding to each Position (each Player) are shown as audio reproduction units 6-1, 6-2, 6-3, and 6-4 in order from
Furthermore, even in this case,
その上でこの場合には、上記のようにして各Directionごとに求められる合成伝達関数を逐次変更設定して指向方向を制御するための構成として、coefH生成部30−1、30−2、30−3、30−4、コントローラ40、メモリ部38、操作部39が設けられる。
In addition, in this case, as a configuration for sequentially changing and setting the combined transfer function obtained for each direction as described above to control the directing direction, coefH generation units 30-1, 30-2, 30 -3, 30-4, a
先ず、メモリ部38内には、予め測定環境1における測定の結果得られた、各Positionごと、及び各Directionごとの伝達関数の情報として、有指向性測定伝達関数HについてのDirection・伝達関数H対応情報38a、無指向性測定伝達関数omniHについてはDirection・伝達関数omniH対応情報38bが格納される。
図23は、メモリ部38内に格納される上記Direction・伝達関数H対応情報38aのデータ構造を示し、図24は、Direction・伝達関数omniH対応情報38bのデータ構造を示している。
これらの図に示されるように、この場合は各Positionごとに、測定用スピーカ35をそれぞれのDirectionに向けたときの伝達関数H、伝達関数omniHの情報がそれぞれ格納される。
図23では、各測定用マイク4a〜4pまでに対応した伝達関数Ha〜Hpについて、その直後に付す数字によりPositionの別を表している。さらに、その後に付す「-dir」の数字により各Directionを表している。例えば、Position1の測定用スピーカ21をDirection2の方向に向けたときの、測定用マイク4aへの伝達関数Hは、「Ha1-dir2」と表し、またPosition3の測定用スピーカ21をDirection6の方向に向けたときの、測定用マイク4bへの伝達関数Hは「Hb3-dir6」と表すといったものである。
また、図24では伝達関数omniHa〜omniHpについて、同様にその直後に付す数字によりPositionの別を表し、さらにその後に付す「-dir」の数字により各Directionを表している。
First, in the
FIG. 23 shows the data structure of the Direction / transfer function
As shown in these figures, in this case, for each Position, information on the transfer function H and the transfer function omniH when the
In FIG. 23, regarding the transfer functions Ha to Hp corresponding to the
Further, in FIG. 24, regarding the transfer functions omniHa to omniHp, similarly, the number added immediately after that indicates the position, and further, the “-dir” number added indicates each direction.
また、図22において、coefH生成部30−1、30−2、30−3、30−4は、それぞれ図15に示したcoefH生成部30と同様の構成とされる。この場合、coefH生成部30−1はコントローラ40によってメモリ部38内から読み出されたPosition1(Player1)についての伝達関数Hと伝達関数omniHが供給されて、Player1についての合成伝達関数coefHを生成するようにされる。また、coefH生成部30−2としては、コントローラ40によってメモリ部38内から読み出されたPosition2についての伝達関数Hと伝達関数omniHが供給されて、Player2についての合成伝達関数coefHを生成するようにされる。さらに、coefH生成部30−3、30−4は、コントローラ40によってメモリ部38内から読み出されたPosition3、Position4についての伝達関数Hと伝達関数omniHが供給されて、それぞれPlayer3、Player4についての合成伝達関数coefHを生成するようにされる。
coefH生成部30−1により生成されたPlayer1についての合成伝達関数coefHa〜coefHpは、Player1についての再生信号S1が供給される演算部46a−1〜46p−1のうち、同じ添え字の付される演算部46に対し供給されて設定される。
同様にcoefH生成部30−2により生成されたPlayer2についての合成伝達関数coefHa〜coefHpは、Player2についての再生信号S2が供給される演算部46a−2〜46p−2のうち同じ添え字の付される演算部46に対し供給されて設定される。さらにcoefH生成部30−3により生成されたPlayer3についての合成伝達関数coefHa〜coefHpは再生信号S3が供給される演算部46a−3〜46p−3のうち同じ添え字の付される演算部46に対し供給されて設定され、またcoefH生成部30−4により生成されたPlayer4についての合成伝達関数coefHa〜coefHpは再生信号S4が供給される演算部46a−4〜46p−4のうち同じ添え字の付される演算部46に対し供給されて設定される。
Further, in FIG. 22, the coefH generation units 30-1, 30-2, 30-3, and 30-4 have the same configuration as the
The combined transfer functions coefHa to coefHp for Player1 generated by the coefH generation unit 30-1 are given the same subscripts among the
Similarly, the combined transfer functions coefHa to coefHp for Player2 generated by the coefH generation unit 30-2 are given the same subscripts among the
そしてこの場合のコントローラ40は、上記coefH生成部30−1、30−2、30−3、30−4にそれぞれ供給する伝達関数Hと伝達関数omniHについて、メモリ部38内に格納される各Directionごとの伝達関数Hと伝達関数omniHのうちから選択的に供給することで、各演算部46に設定される合成伝達関数coefHが可変設定されるようにし、これによって各Positionから発せられる音声の指向方向を制御する。
例えば、Position1についての指向方向をDirection1→Direction2→Direction3方向に回転させるとした場合には、メモリ部38内に格納されるPosition1についての伝達関数H、伝達関数omniHのうちから、伝達関数Ha1-dir1〜Hp1-dir1→Ha1-dir2〜Hp1-dir2→Ha1-dir3〜Hp1-dir3、及び伝達関数omniHa1-dir1〜omniHp1-dir1→omniHa1-dir2〜omniHp1-dir2→omniHa1-dir3〜omniHp1-dir3を順次読み出し、これらをcoefH生成部30−1に対し順次供給する。これによってcoefH生成部30−1からは、合成伝達関数coefHとしてcoefHa1-dir1〜coefHp1-dir1→coefHa1-dir2〜coefHp1-dir2→coefHa1-dir3〜Hp1-dir3が順次出力され、これが演算部46a−1〜46p−1に対して順次設定される。これによりPosition1についての指向方向は、時間経過と共に順にDirection1→Direction2→Direction3へと回転させることができる。
また、例えばPosition4についての指向方向をDirection4→Direction3→Direction2方向に回転させるとした場合には、メモリ部38内に格納されるPosition4についての伝達関数H、伝達関数omniHのうちから、伝達関数Ha4-dir4〜Hp4-dir4→Ha4-dir3〜Hp4-dir3→Ha4-dir2〜Hp4-dir2、及び伝達関数omniHa4-dir4〜omniHp4-dir4→omniHa4-dir3〜omniHp4-dir3→omniHa4-dir2〜omniHp4-dir2を順次読み出し、これらをcoefH生成部30−4に対し順次供給する。これによってcoefH生成部30−4からは、合成伝達関数coefHとしてcoefHa4-dir4〜coefHp4-dir4→coefHa4-dir3〜coefHp4-dir3→coefHa4-dir2〜Hp4-dir2が順次出力され、これが演算部46a−4〜46p−4に対して順次設定される。これによりPosition4についての指向方向は、時間経過と共に順にDirection4→Direction3→Direction2へと回転させることができる。
In this case, the
For example, when the directivity direction for
For example, when the directivity direction for
ここで、よりスムーズな回転を表現するにあたっては、変更するDirectionの間隔を可能な限り短くすることが必要となる。このためには、さらに細かいDirectionの区切りを定義してより多くのDirectionについて伝達関数H及び伝達関数omniHを求めておくことが考えられる。
しかし、これは測定回数の増加を招き現実的ではないので、実際に回転を表現するにあたっては、隣接するDirection同士の伝達関数H及び伝達関数omniHを補間してさらに細かい区切りによるDirectionごとの伝達関数H及び伝達関数omniHを生成し、これらを時間経過に応じて順次変更設定していくようにする。これによれば、比較的少ないDirectionを定義した場合にもスムーズな回転を表現することができる。
Here, in order to express a smoother rotation, it is necessary to shorten the direction interval to be changed as much as possible. For this purpose, it is conceivable to define a finer division of the Direction and obtain the transfer function H and the transfer function omniH for more Direction.
However, this causes an increase in the number of measurements and is not realistic. Therefore, when actually expressing rotation, transfer functions H and transfer functions omniH between adjacent directions are interpolated to further transfer functions for each direction by further division. H and transfer function omniH are generated, and these are sequentially changed and set as time elapses. According to this, even when relatively few Direction are defined, smooth rotation can be expressed.
また、この場合のコントローラ40及び操作部39によっても、先の図15にて説明したコントローラ25と操作部26とによるものと同様に、各coefH生成部30における各バランスパラメータ設定部(21a〜21p、22a〜22p、32a〜32p)に対しては、個別にバランスパラメータの値を可変設定できるように構成される。これによって、この場合は各Playerごとの、さらに各再現用スピーカ8a〜8pの配置位置ごとに、伝達関数H/伝達関数omniH/遅延ドライ系伝達関数dryHの成分の調整を行うことができる。
なお、この場合の操作部39としては、Playerが4つに増えたことに応じて、その分のつまみ操作子を増やすようにされればよい。或いはコントローラ40は、画面上に表示する操作パネル上の操作つまみアイコンの表示数を増やせばよい。
In addition, the
In this case, as the
なお、ここでは、コントローラ40に対して指向方向の変化態様を指示するための構成については説明しなかったが、このような指向方向の変化態様の指示は、例えば操作部39に別途操作子を追加してユーザ操作に基づいて行うことや、音声信号の再生時間軸上のどのタイミングでどのDirectionを設定すべきかを指示するための指示情報を予め与えておくことにより行うことができる。
また、このことは、指向方向制御の対象とする音源(Position)の指定についても同様となる。
Here, the configuration for instructing the
This also applies to the designation of a sound source (Position) that is a target of directivity control.
ちなみに、この図22に示す構成において、音源の指向方向制御を行わないとした場合(つまり単に音場調整を行う場合において複数のPositionに対応させる場合)の構成としては、メモリ部38内には、無指向性の測定用スピーカ3を各Positionに配置したときの測定結果に基づく、各Positionごとの伝達関数H及び伝達関数omniHを格納しておき、コントローラ40は、これらの伝達関数H及び伝達関数omniHのうち、Position1の伝達関数H及び伝達関数omniHについてはcoefH生成部30−1、Position2の伝達関数H及び伝達関数omniHについてはcoefH生成部30−2、Position3の伝達関数H及び伝達関数omniHについてはcoefH生成部30−3、Position4の伝達関数H及び伝達関数omniHについてはcoefH生成部30−4にそれぞれ供給するように構成すればよい。
Incidentally, in the configuration shown in FIG. 22, the configuration in the case where the directivity direction control of the sound source is not performed (that is, in the case where only the sound field adjustment is performed and corresponding to a plurality of Positions) is included in the
3−3.ステレオエフェクタの再現
ところで、これまでの説明においては、入力音声信号がモノラル音声信号であることを前提としたが、入力音声信号としてはステレオ音声信号である場合もあり得る。例えば、エレキギターなどの電気楽器としては、その出力音声自体はモノラルであるが、これを演出加工するいわゆるエフェクタを通した場合、モノラル信号が加工されてステレオ信号として出力される場合がある。
このようなエフェクタによる演出効果をそのまま再現したいとした場合には、1つの仮想音像位置につき、Rch(チャンネル)とLchとの2つの音源を再現することが考えられる。ここでは、このようなRchとLchとの再現を、これまでで説明した音源の指向方向の概念を利用して行う例を挙げる。
3-3. By the way, in the description so far, it is assumed that the input audio signal is a monaural audio signal, but the input audio signal may be a stereo audio signal. For example, in an electric musical instrument such as an electric guitar, the output sound itself is monaural. However, when a so-called effector for effecting the sound is passed, the monaural signal may be processed and output as a stereo signal.
When it is desired to reproduce the effect by such an effector as it is, it is conceivable to reproduce two sound sources, Rch (channel) and Lch, for one virtual sound image position. Here, an example will be given in which such reproduction of Rch and Lch is performed using the concept of the directivity direction of the sound source described so far.
図25は、このように1つの仮想音像位置につきRchとLchとの2つの音源を再現する場合での、測定環境1の様子を模式的に示している。
ここで、それぞれの音源がRchとLchに基づくものであれば、これらの音源に対応する指向方向としては逆とするか、或いは少なくとも同方向とならないようにすればよい。そこでこの場合としては、図示するようにRch音源の指向方向についてはDirection6を定義し、Lch音源の指向方向についてはDirection2を定義する。
そして、これに対応して、この場合の測定としては、Rch音源に対応したDirection6方向に測定用スピーカ35を向けたときの各測定用マイク4(各測定用マイク24)へのインパルス応答と、Lch音源に対応したDirection2方向に測定用スピーカ21を向けたときの各測定用マイク4(各測定用マイク24)へのインパルス応答を測定し、これによってRch音源、Lch音源に対応したそれぞれの伝達関数H及び伝達関数omniHを求めるようにする。
この場合も、測定用スピーカ35の配置位置をPosition1であるとすると、上記のようにDirection6に向けたときに各マイク4ごとに得られる伝達関数Hは「Ha1-dir6、Hb1-dir6・・・Hp1-dir6」と示す。同様に、Direction2に向けたときに各マイク4ごとに得られる伝達関数Hは「Ha1-dir2、Hb1-dir2・・・Hp1-dir2」と示す。
また、Direction6に向けたときに各マイク24ごとに得られる伝達関数omniHは「omniHa1-dir6、omniHb1-dir6・・・omniHp1-dir6」と示す。同様に、Direction2に向けたときに各マイク24ごとに得られる伝達関数omniHは「omniHa1-dir2、omniHb1-dir2・・・omniHp1-dir2」と示す。
FIG. 25 schematically shows the state of the
Here, if each sound source is based on Rch and Lch, the directivity directions corresponding to these sound sources may be reversed, or at least not in the same direction. In this case, therefore, Direction 6 is defined for the directivity direction of the Rch sound source and
Correspondingly, the measurement in this case includes an impulse response to each measurement microphone 4 (each measurement microphone 24) when the
Also in this case, if the position of the
Further, the transfer function omniH obtained for each microphone 24 when directed to Direction 6 is expressed as “omniHa1-dir6, omniHb1-dir6... OmniHp1-dir6”. Similarly, the transfer function omniH obtained for each microphone 24 when directed to
図26は、このように1つの仮想音像位置につきRchとLchとの2つの音源を再現する場合に、再現環境11において各再現用スピーカ8a〜8pから出力すべき再現信号を生成するための再現信号生成装置50の構成を示している。
音声再生部6からの再生信号Sは、ステレオエフェクト処理部51に入力される。このステレオエフェクト処理部51は、入力されるモノラル音声信号に対し、いわゆるフランジャーやデジタルディレイなどといったデジタルエフェクト処理を施してRch、Lchによるステレオ音声信号を生成する。
なお、ここではステレオエフェクタを内蔵する構成を示しているが、外部のエフェクタにおいてステレオエフェクト処理されて得られたRch音声信号とLch音声信号とを直接入力する構成とすることもできる。
FIG. 26 shows a reproduction for generating a reproduction signal to be output from each
A reproduction signal S from the audio reproduction unit 6 is input to the stereo
Although a configuration in which a stereo effector is incorporated is shown here, an Rch audio signal and an Lch audio signal obtained by stereo effect processing in an external effector may be directly input.
演算部51a−L、51b−L・・・51p−Lは、それぞれ入力されるLch音声信号に対し設定された伝達関数Hに基づく演算処理を行う。同様に、演算部51a−R、51b−R・・・51p−Rとしては、それぞれ入力されるRch音声信号に対し、設定された合成伝達関数coefHに基づく演算処理を行う。
The
これら演算部51a−L、51b−L・・・51p−L、及び演算部51a−R、51b−R・・・51p−Rのそれぞれに設定される合成伝達関数coefHは、図示するcoefH生成部30−L、coefH生成部30−Rによって生成される。これらcoefH生成部30−L、coefH生成部30−Rとしても、その構成は図15に示したcoefH生成部30と同様である。この場合も各演算部に対して設定されるべき合成伝達関数coefHは、これらcoefH生成部30に対し、図示するコントローラ53が対応する伝達関数H及び伝達関数omniHを供給することで生成できる。
The combined transfer function coefH set in each of these
この場合、コントローラ53が備えるメモリ部55には、先に説明した測定環境1での測定結果に基づき得られた、Direction2に対応した伝達関数Ha1-dir2〜Hp-dir2及び伝達関数omniHa-dir2〜omniHp-dir2と、Direction6に対応した伝達関数Ha1-dir6〜Hp-dir6及び伝達関数omniHa-dir6〜omniHp-dir6とが格納される。コントローラ53は、メモリ部55に格納される伝達関数Ha1-dir2〜Hp-dir2及び伝達関数omniHa-dir2〜omniHp-dir2を読み出してこれをLchに対応するcoefH生成部30−Lに供給する。これによってcoefH生成部30−Lからは、Direction2に対応した合成伝達関数coefH(coefHa1-dir2〜coefHp-dir2)が生成され、これらが演算部51a−L〜51p−Lのうちの同一の添え字(a〜p)が付される演算部51に対してそれぞれ供給されて設定される。
また、コントローラ53は、メモリ部55に格納された伝達関数Ha1-dir6〜Hp-dir6及び伝達関数omniHa-dir6〜omniHp-dir6を読み出してこれをRchに対応するcoefH生成部30−Rに供給する。これによってcoefH生成部30−RからはDirection6に対応した合成伝達関数coefH(coefHa1-dir6〜coefHp-dir6)が生成され、これらが演算部51a−R〜51p−Rのうちの同一の添え字が付される演算部51に対してそれぞれ供給されて設定される。
これによって演算部51a−L、51b−L・・・51p−Lにおいては、Direction2の指向方向を有するLch音源を再現するために各再現用スピーカ8から出力すべき再現信号が得られる。
同様に、演算部51a−R、51b−R・・・51p−Rでは、Direction6の指向方向を有するRch音源を再現するために各再現用スピーカ8から出力すべき再現信号が得られる。
In this case, in the
Further, the
As a result, in the
Similarly, in the
なお、この場合のコントローラ53としても、coefH生成部30−L及びcoefH生成部30−R内の各バランスパラメータ設定部(21a〜21p、22a〜22p、32a〜32p)に対し、それぞれ個別にバランスパラメータの値を可変設定できるように構成される。この場合も操作部54は、これら個別のバランスパラメータの調整のために設けられる。
The
加算器52a〜52pは、それぞれ演算部51a−L〜51p−L、演算部51a−R〜51p−Rのうち、同じ添え字の付された演算部51からの再現信号を入力・加算して、その結果を同じく同一の添え字の付された再現用スピーカ8に供給する。
このようにして、Lch音源の指向方向を再現するための再現信号と、Rch音源の指向方向を再現するための再現信号とがそれぞれ加算されて対応する再現用スピーカ8から出力される。これにより、これら再現用スピーカ8が配置された再現環境11における第一閉曲面10内において、Rch音源の指向方向とLch音源の指向方向とを表現したかたちで測定環境1の音場を再現することができる。
The
In this way, the reproduction signal for reproducing the directivity direction of the Lch sound source and the reproduction signal for reproducing the directivity direction of the Rch sound source are added and output from the corresponding
3−4.音源の指向性と指向方向ごとの放音特性の再現
ここで、ピアノやバイオリン、ドラムなどといった電気楽器ではないいわゆるアコースティック楽器としては、それぞれの楽器で多少なりともその指向性と指向方向ごとの放音特性が異なるものとなる。厳密に言えば、このような楽器(音源)ごとの指向性や指向方向ごとの放音特性が、ホール等の音響空間全体に対して個別に影響を与えてその音源の音響特性を形づくるものとなるので、よりリアルにその音源としての仮想音像を再現するとした場合には、その指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うことが有効である。
3-4. Reproduction of directivity of sound source and sound emission characteristics for each direction Here, as so-called acoustic instruments that are not electric instruments such as pianos, violins, drums, etc. The sound characteristics will be different. Strictly speaking, the directivity of each musical instrument (sound source) and the sound emission characteristics of each directivity direction individually affect the entire acoustic space such as a hall and shape the sound characteristics of the sound source. Therefore, if the virtual sound image as the sound source is reproduced more realistically, it is effective to reproduce the sound field in consideration of the directivity and sound emission characteristics for each direction.
このように音源の指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うとした場合の手法を、次の図27〜図30を参照して説明する。
図27は、この場合の音源の収録の様子を模式的に示した図であり、図27(a)ではその斜視図を、また図27(b)ではその上視図を示している。
この場合、先ずは所要の音源56を或る平面上で円形状に囲う音源収録面SRを定義する。そして、この音源収録面SR上において、音源56を取り囲むようにして複数の収録用マイク57(有指向性マイク)を配置する。この場合も各マイク57に記した矢印の方向は指向性方向を示しており、これら矢印からわかるように各マイク57は音源56と向き合う方向に配置する。このように配置した複数の有指向性マイクごとに音源56からの音声を収録することで、それぞれの収録音声には、音源56の指向性と指向方向ごとの放音特性とを反映させることができる。
ここでは、音源収録面SR上においてそれぞれ指向性60°の収録用マイク57を6つ配置し、Direction1〜Direction6の6つのDirectionを定義する例を示している。図示するようにDirection1の収録用マイク57は収録用マイク57−1、Direction2の収録用マイク57は収録用マイク57−2というように、収録用マイク57の符号はハイフン以下の数字により配置されるDirectionの別を示す。
このように音源56を6方向から囲うことによって、この場合は音源56についての指向方向として6つの方向が定義されたことになる。さらには、このように6方向に配置した各収録用マイク57により音声を収録することで、これら各収録用マイク57ごとの収録音声としては、音源56の6つの指向方向ごとの放音特性をそれぞれ反映したものとすることができる。
A method in which sound field reproduction is performed in such a manner in consideration of the directivity of the sound source and the sound emission characteristics for each directivity direction will be described with reference to FIGS.
FIG. 27 is a diagram schematically showing the recording of the sound source in this case. FIG. 27A shows a perspective view thereof, and FIG. 27B shows a top view thereof.
In this case, first, a sound source recording surface SR that surrounds a required
Here, an example is shown in which six recording microphones 57 each having a directivity of 60 ° are arranged on the sound source recording surface SR, and six directions of
Thus, by enclosing the
このことによれば、この場合に各収録用マイク57で収録された音声を、それぞれのDirectionごとに外向きに放音すれば、音源56の指向性と指向方向ごとの放音特性とを再現することができる。
つまり、図27において各Directionごとに配置される各収録用マイク57の位置に同じ指向性60°の有指向性スピーカを外向きに配置し、これらのスピーカからそれぞれ対応する収録用マイク57による収録音声を出力することで、音源56の指向性と指向方向ごとの放音特性とを反映したかたちで音源56を再現することができる。
なお、この場合において、各収録用マイク57による音源56の収録は、収録現場での空間情報が含まれないようにするために、なるべく音源56に近接した状態(いわゆる「オン」の状態)で行われることが好ましい。
According to this, if the sound recorded by each recording microphone 57 in this case is emitted outward for each direction, the directivity of the
That is, in FIG. 27, a directional speaker having the same directivity of 60 ° is disposed outward at the position of each recording microphone 57 disposed for each direction, and recording is performed by the corresponding recording microphone 57 from these speakers. By outputting the sound, it is possible to reproduce the
In this case, the recording of the
このようにして、音源56を囲うようにして各Directionから音声を収録し、同じDirectionの関係となるように配置した有指向性スピーカによってそれぞれの収録音声を出力することで、音源56の指向性と指向方向ごとの放音特性を再現することができるが、本実施の形態としては、このような音源56が配置された測定環境1としての音場を、別の環境である再現環境11にて再現しようとするものである。
ここで、再現環境11において測定環境1に配置された音源56のDirection1〜Direction6の指向方向を表現するためには、先にも説明したように、これらDirectionごとに伝達関数H及び伝達関数omniH(つまり合成伝達関数coefH)を求めるようにすればよい。この場合には、音源56からの収録音声は各Directionごとに存在するので、これら各Directionの収録音声を、各Directionについて求めた合成伝達関数coefHのうちの同じDirectionの合成伝達関数coefHにより畳み込むことで、各Directionごとの再現信号を得ることができる。
In this way, sound is recorded from each direction so as to surround the
Here, in order to express the directivity directions of
なお、ここでは音源56についての指向方向として6つを定義しているので、各Directionごとの伝達関数H・伝達関数omniHを求める手法としては、この場合も先の図21において説明したように、測定環境1における測定用スピーカ35を各Direction(Direction1〜Direction6)に向けたときの、各測定用マイク4a〜4p(24a〜24p)までに対応したインパルス応答を測定して行えばよい。
すなわち、例えば音源56の測定環境1での配置位置を仮にPosition1(Player1)とした場合、Direction1に対応した伝達関数Hついては、伝達関数Ha1-dir1、Hb1-dir1・・・Hp1-dir1、Direction2については伝達関数Ha1-dir2、Hb1-dir2・・・Hp1-dir2を求める。同様に、Direction3については伝達関数Ha1-dir3、Hb1-dir3・・・Hp1-dir3、Direction4については伝達関数Ha1-dir4、Hb1-dir4・・・Hp1-dir4、Direction5については伝達関数Ha1-dir5、Hb1-dir5・・・Hp1-dir5、Direction6については伝達関数Ha1-dir6、Hb1-dir6・・・Hp1-dir6を求めるといったものである。
Here, since six directivity directions for the
That is, for example, if the position of the
図28は、音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応した、再現信号生成装置60の構成を示している。
なお、この図においては便宜上、各演算部61に設定されるべき合成伝達関数coefHを生成するための構成については図示を省略するものとする。この場合もその構成は、図22に示したもの(coefH生成部30−1〜30−4、コントローラ40、メモリ部38、操作部39)とほぼ同様となる。
FIG. 28 shows a configuration of a reproduction
In this figure, for the sake of convenience, the configuration for generating the combined transfer function coefH to be set in each arithmetic unit 61 is not shown. Also in this case, the configuration is substantially the same as that shown in FIG. 22 (coefH generation units 30-1 to 30-4,
但し、この場合は、対応するPosition数(Player数)が図22の場合の4つから6つに増えたものとして捉えることができるので、図28における演算部61−1−1a〜61−1−1p、演算部61−1−2a〜61−1−2p、演算部61−1−3a〜61−1−3p、演算部61−1−4a〜61−1−4p、演算部61−1−5a〜61−1−5p、演算部61−1−6a〜61−1−6pに、それぞれ対応する合成伝達関数coefHa〜coefHpを供給するcoefH生成部30としては、coefH生成部30−1、30−2、30−3、30−4に加え、さらにcoefH生成部30−5、30−6を設ける。
さらに、この場合のメモリ部38には、Direction・伝達関数H対応情報38a、Direction・伝達関数omniH対応情報38bとして、先の図23、図24に示したもののうちのPosition1の各Directionについての伝達関数H、伝達関数omniHとを格納しておけばよい。その上でこの場合のコントローラ40としては、Direction1についての伝達関数H及び伝達関数omniHをcoefH生成部30−1、Direction2についての伝達関数H及び伝達関数omniHをcoefH生成部30−2、Direction3についての伝達関数H及び伝達関数omniHをcoefH生成部30−3、Direction4についての伝達関数H及び伝達関数omniHをcoefH生成部30−4、Direction5についての伝達関数H及び伝達関数omniHをcoefH生成部30−5、Direction6についての伝達関数H及び伝達関数omniHをcoefH生成部30−6に供給するように構成される。
However, in this case, since the corresponding number of positions (number of players) can be regarded as increased from four in the case of FIG. 22 to six, the arithmetic units 61-1-1a to 61-1 in FIG. -1p, arithmetic units 61-1-2a to 61-1-2p, arithmetic units 61-1-3a to 61-1-3p, arithmetic units 61-1-4a to 61-1-4p, arithmetic units 61-1 As the
Further, in this case, the direction / transfer function
図28において、この場合、音声再生部6にて再生する音声は、各Directionごとに収録した音声信号である。ここでは、Direction1に配置された収録用マイク57−1て収録された音声を再生する音声再生部6を、音声再生部6−1−1とし、またDirection2に配置された収録用マイク57−2て収録された音声を再生する音声再生部6を音声再生部6−1−2と示している。同様に、収録用マイク57−3、57−4、57−5、57−6で収録された音声信号を再生する音声再生部6を、音声再生部6−1−3、6−1−4、6−1−5、6−1−6と示している。
なお、この場合の音声再生部に付した符号について、1つ目のハイフン後の数字は、音源56が仮にPosition1に配置されたPlayer1であると仮定した場合に対応させた数字であり、例えばPosition2に配置されたPlayer2である場合には「2」が付されるといったものである。また、このことは、以下で説明する各部の符号についても同様である。
In FIG. 28, in this case, the audio reproduced by the audio reproducing unit 6 is an audio signal recorded for each direction. Here, the audio reproduction unit 6 that reproduces the audio recorded by the recording microphone 57-1 arranged in
Note that the number after the first hyphen is the number associated with the case where it is assumed that the
そして、これら各Directionごとに収録した音声信号を、各Directionごとに生成した合成伝達関数coefHに基づきそれぞれ処理するための、演算部61−1−1a〜61−1−1p、演算部61−1−2a〜61−1−2p、演算部61−1−3a〜61−1−3p、演算部61−1−4a〜61−1−4p、演算部61−1−5a〜61−1−5p、演算部61−1−6a〜61−1−6pが備えられる。
演算部61−1−1a〜61−1−1pには、測定用スピーカ35をDirection1に向けたときの測定結果に応じた合成伝達関数coefH(coefHa1-dir1〜coefHp1-dir1)が設定されており、各々は、音声再生部6−1−1から供給される音声信号を、設定された合成伝達関数coefHに基づき処理する。これにより、先ずはDirection1の収録音声については、Direction1方向に放音されたものとして表現するために各再現用スピーカ8a〜8pから出力すべき再現信号を得ることができる。
また、演算部61−1−2a〜61−1−2pには、合成伝達関数coefHa1-dir2〜coefHp1-dir2が設定され、各々音声再生部6−1−2から再生されるDirection2の収録音声信号について上記設定された合成伝達関数coefHに基づき演算処理を行うことで、Direction2の収録音声がDirection2方向に放音されたものとして表現するために各再現用スピーカ8から出力すべき再現信号を得ることができる。
同様に、演算部61−1−3a〜61−1−3p、演算部61−1−4a〜61−1−4p、演算部61−1−5a〜61−1−5p、演算部61−1−6a〜61−1−6pには、合成伝達関数coefHa1-dir3〜coefHp1-dir3、合成伝達関数coefHa1-dir4〜coefHp1-dir4、合成伝達関数coefHa1-dir5〜coefHp1-dir5、合成伝達関数coefHa1-dir6〜coefHp1-dir6が設定され、それぞれ音声再生部6−1−3、6−1−4、6−1−5、6−1−6からの音声信号を、設定された合成伝達関数coefHに基づき処理する。これにより、演算部61−1−3a〜61−1−3pではDirection3の収録音声、演算部61−1−4a〜61−1−4pではDirection4の収録音声、演算部61−1−5a〜61−1−5pではDirection5の収録音声、演算部61−1−6a〜61−1−6pではDirection6の収録音声について、それぞれ各再現用スピーカ8a〜8pから出力すべき再現信号が得られる。
Then, the arithmetic units 61-1-1a to 61-1-1p and the arithmetic unit 61-1 for processing the audio signal recorded for each direction based on the combined transfer function coefH generated for each direction. -2a to 61-1-2p, arithmetic units 61-1-3a to 61-1-3p, arithmetic units 61-1-4a to 61-1-4p, arithmetic units 61-1-5a to 61-1-5p , Arithmetic units 61-1-6a to 61-1-6p are provided.
In the arithmetic units 61-1-1a to 61-1-1p, a combined transfer function coefH (coefHa1-dir1 to coefHp1-dir1) corresponding to the measurement result when the
In addition, composite transfer functions coefHa1-dir2-coefHp1-dir2 are set in the arithmetic units 61-1-2a to 61-1-2p, and the recorded audio signals of
Similarly, calculation units 61-1-3a to 61-1-3p, calculation units 61-1-4a to 61-1-4p, calculation units 61-1-5a to 61-1-5p, calculation units 61-1 −6a to 61-1-6p include a combined transfer function coefHa1-dir3 to coefHp1-dir3, a combined transfer function coefHa1-dir4 to coefHp1-dir4, a combined transfer function coefHa1-dir5 to coefHp1-dir5, and a combined transfer function coefHa1-dir6. ~ CoefHp1-dir6 are set, and the audio signals from the audio reproduction units 6-1-3, 6-1-4, 6-1-5, 6-1-6 are respectively set based on the set synthesis transfer function coefH. Process. As a result,
加算器62a、62b・・・62pは、再現用スピーカ8a、8b・・・8pと1対1の関係で設けられており、それぞれ対応する添え字の付された演算部61からの再現信号を入力・加算して、その結果を同一の添え字の付された再現用スピーカ8に供給する。
これにより、上記のようにして各Directionごとに得られた、各再現用スピーカ8ごとに出力すべき再現信号は、再現用スピーカ8ごとに加算されて対応する再現用スピーカ8から出力されるものとなる。
The
Thus, the reproduction signals to be output for each
このような再現信号生成装置60の構成により、例えばDirection1での収録音声は、測定環境1においてDirection1の指向方向で出力されたものとして再現でき、また同様にDirection2での収録音声は、測定環境1においてDirection2の指向方向で出力されたものとして再現環境11において再現することができる。また、他のDirectionでの収録音声についても、同様にそれぞれ対応するDirectionの指向方向により出力されたものとして再現することができる。
この結果、再現環境11の第一閉曲面10内において、音源の指向性と指向方向ごとの放音特性とを反映したかたちで、よりリアルに測定環境1における仮想音像を再現することができる。
With such a configuration of the reproduction
As a result, the virtual sound image in the
なお、ここでは指向性60°の収録用マイク57を6つ用いることで6つのDirectionを定義したとしたことから、合成伝達関数coefHとしては、先の図21と同様の6つのDirectionの測定結果を用いる例を挙げたが、例えば指向性20°の収録用マイク57により18のDirectionの指向方向を定義するなど異なる数の指向方向を定義した場合には、その定義した指向方向ごとに測定を行って伝達関数を求めるようにすればよい。或いは、実際に定義した全ての方向について伝達関数の測定を行わずとも、より少ない方向について測定を行って伝達関数を求めておき、それらのうち隣接するDirectionの伝達関数同士を補間することで、定義したDirectionに応じた伝達関数を求めるようにしてもよい。これによって測定回数を削減することができる。 In this case, since six directions are defined by using six recording microphones 57 having a directivity of 60 °, the combined transfer function coefH has the same six direction measurement results as in FIG. In the case where a different number of directivity directions are defined, for example, by defining a directivity direction of 18 directions with a recording microphone 57 having a directivity of 20 °, measurement is performed for each defined directivity direction. The transfer function may be obtained by going. Or, without measuring the transfer function for all the directions actually defined, by measuring for a smaller number of directions, the transfer function is obtained, and among them, the transfer functions of adjacent Direction are interpolated. You may make it obtain | require the transfer function according to the defined Direction. As a result, the number of measurements can be reduced.
また、ここでは、音源からの音声収録は平面的で行う場合を例示したが、例えば次の図29に示されるように、音源を立体的に囲んで音声収録を行うことも考えられる。
図29においては、音源を円筒状に囲む例を示してる。
この場合の音源の収録は、図のように円筒を上段、中段、下段の円形平面により区切り、それぞれの円形平面上に複数の収録用マイク71を配置して行う。
ここでは、上段、中段、下段の円形平面を、それぞれ円形平面70−1、円形平面70−2、円形平面70−3と示している。そして、上段の円形平面70−1の外周上に配置される収録用マイク71を71−1、中段の円形平面70−2の外周上に配置される収録用マイク71を71−2、下段の円形平面70−3の外周上に配置される収録用マイク71を71−3と表す。 この場合もそれぞれの円形平面上では、収録用マイク71は指向性60°のものを使用し、Direction1〜Direction6の6つのDirectionを定義する。この場合、各収録用マイク71のDirectionは、2番目のハイフン後の数字によって表す。例えば、上段のDirection2に配置された収録用マイク71は収録用マイク71−1−2、下段のDirection6に配置された収録用マイク71は71−3−6と表すといったものである。
In addition, here, the case where the sound recording from the sound source is performed in a planar manner is illustrated, but for example, as shown in FIG.
FIG. 29 shows an example in which the sound source is enclosed in a cylindrical shape.
Recording of the sound source in this case is performed by dividing the cylinder into upper, middle, and lower circular planes as shown in the figure and arranging a plurality of recording microphones 71 on each circular plane.
Here, the upper, middle, and lower circular planes are shown as a circular plane 70-1, a circular plane 70-2, and a circular plane 70-3, respectively. Then, the recording microphone 71 disposed on the outer periphery of the upper circular plane 70-1 is 71-1, the recording microphone 71 disposed on the outer periphery of the middle circular plane 70-2 is 71-2, and the lower microphone 71 is disposed on the outer periphery of the upper circular plane 70-1. The recording microphone 71 arranged on the outer periphery of the circular plane 70-3 is represented as 71-3. Also in this case, on each circular plane, the recording microphone 71 has a directivity of 60 °, and defines six directions from
このように音源を立体的に囲って各収録用マイク71により音声収録を行った場合には、例えば音源が人間である場合を想定すると、衣服が擦れる音、手のアクションで生じる音や足音など、声以外にも複数の音源をその指向性・指向方向ごとの放音特性を含めて収録することが可能となる。
つまりは、図29に示す収録用マイク71と幾何学的に同等の配置位置で、同じ指向性60°の再現用スピーカを外向きに配置し、それらから対応する収録用マイク71で収録された音声を出力することで、円形平面71−1〜71−3で囲まれる空間内に収録対象となった人間が存在するように知覚させることができるものである。
In this way, when the sound source is three-dimensionally surrounded and voice recording is performed by each recording microphone 71, for example, assuming that the sound source is a human being, a sound of rubbing clothes, a sound generated by a hand action, a footstep, etc. In addition to the voice, it is possible to record a plurality of sound sources including the directivity and sound emission characteristics for each direction.
That is, the reproduction microphones having the same directivity of 60 ° are arranged outwardly at the geometrically equivalent arrangement position as the recording microphone 71 shown in FIG. By outputting the sound, it is possible to perceive that the person who is the recording target exists in the space surrounded by the circular planes 71-1 to 71-3.
図30は、このように立体的に囲んだ音源を再現環境11にて再現するとしたときの、測定環境1の様子を模式的に示した図である。
先ず、この場合は立体的な再現を行うものとされることから、第一閉曲面10としても、立体的な空間を想定する。この場合は、第一閉曲面10としては直方体による空間を想定し、測定用マイクはこの直方体による第一閉曲面10を覆う所要の位置において外向きとなるように配置する。このように立体的に配置された測定用マイクについては、図示するように73a〜73xと示す。なお、このことは、必ずしもこれまでの平面による第一閉曲面10の場合と配置する測定用マイクの個数が異なることを意味するものではなく、測定用マイクとしてはa〜pまでとすることもできる。
なお、先の説明では第一閉曲面10は円形であるとしたが、ここでは便宜上、立体による閉曲面についても同一の符号を付した。
FIG. 30 is a diagram schematically illustrating the state of the
First, in this case, since three-dimensional reproduction is performed, a three-dimensional space is assumed as the first closed
In the above description, the first closed
そして、この場合の測定は、上記立体による第一閉曲面10の外側において、円形平面70−1、70−2、70−3を想定し、これら円形平面上に収録時と同じDirectionごとに測定用スピーカ72を配置して行う。つまり、先の図29に示した収録用マイク71と幾何学的に同等となる配置関係により測定用スピーカ72を配置して行う。
これら測定用スピーカ72としても指向性60°の有指向性スピーカを用いる。また、この場合としても各測定用スピーカ72の符号は、最初のハイフン後の数字は配置される円形平面70−1、70−2、70−3の別を示し、2番目のハイフン後の数字はDirection1からDirection6の別を表している。
その上で、各測定用スピーカ72ごとに、図示は省略した測定用信号再生装置2からの測定用信号TSPの出力を行い、このとき第一閉曲面10上に配置した各測定用マイク73a〜73xまでに対応して得られるインパルス応答(伝達関数H、伝達関数omniH)の測定を行う。
例えば、ここでは第一閉曲面10上の測定用マイク73はx個であり、また測定用スピーカ72は6×3=18個であるので、合計で18×x個の伝達関数(H及びomniH)が得られることになる。
And the measurement in this case assumes the circular planes 70-1, 70-2, 70-3 outside the first closed
As the measurement speakers 72, directional speakers having a directivity of 60 ° are used. Also in this case, the reference numerals of the respective measurement speakers 72 indicate the numbers after the first hyphen, indicating the different circular planes 70-1, 70-2, 70-3 on which the second hyphen is placed. Represents one of Direction1 to Direction6.
Then, for each measurement speaker 72, the measurement signal TSP is output from the measurement signal reproducing device 2 (not shown), and at this time, each
For example, here, the number of measurement microphones 73 on the first closed
図示は省略するが、この場合の再現環境11においては、測定環境1において第一閉曲面10を直方体として想定したことに応じて、同じ直方体による第一閉曲面10を想定し、この場合も測定環境1において配置した測定用マイク73と幾何学的に同等の配置関係により再現用スピーカ8a〜8xを配置する。
そして、これら再現用スピーカ8a〜8xにより出力すべき再現信号を生成するための再現信号生成装置の構成としては、基本的には先の図28において説明した構成と同様となる。つまり、この場合も1つの円形平面70について見れば、Direction1〜Direction6までの6つのDirectionについて、それぞれの収録音声を対応する合成伝達関数coefHで畳み込んで各再現用スピーカ8から出力すべき再現信号を得ることに変わりはないので、そのための構成(つまり6つの音声再生部6と6セットの演算部61(1a〜1p、2a〜2p・・・6a〜6p))をさらに2つ増やしたものとして捉えることができる。
但し、この場合は測定用マイク73をa〜xまでとしたので、測定用スピーカ72ごとに得られる合成伝達関数coefHは、coefHa〜coefHxまでとなる。つまり、各収録音声ごとに設けられる1セットの演算部61としては、それぞれcoefHa〜coefHxを設定したものを設けることになる。同様に、再現用スピーカ8としてもa〜xまでとなるので、加算器62としても各再現用スピーカ8対応にa〜xまで設けることになる。この場合も各加算器62は、同一の添え字の付された演算部61からの再現信号を入力・加算し、その結果を同一の添え字の付された再現用スピーカ8に供給するように構成する。
Although illustration is omitted, the
The configuration of the reproduction signal generation apparatus for generating the reproduction signal to be output by these
However, in this case, since the measurement microphone 73 is set to a to x, the combined transfer function coefH obtained for each measurement speaker 72 is from coefHa to coefHx. In other words, as a set of calculation units 61 provided for each recorded voice, those set with coefHa to coefHx are provided. Similarly, since the
このような構成により、各再現用スピーカ8からは、各収録用マイク71による収録音声が各円形平面70−1、70−2、70−3における各Directionごとに向けて放音されたものとして再現することのできる再現信号が出力される。
これによって、再現用スピーカ8が配置された再現環境11における第一閉曲面10内の聴取者は、測定環境1における仮想音像位置としての円筒空間内に、この場合の収録対象としての人間が存在するものとして感じることができるようになる。換言すれば、再現環境11の第一閉曲面10内において、測定環境1の仮想音像位置としての円筒空間内に収録対象としての人間が居るように再現することができる。
With such a configuration, it is assumed that the recording sound by each recording microphone 71 is emitted from each
Thus, the listener in the first closed
このような手法は、例えばアニメーションやCGなどのアフレコ(アフターレコーディング)の手法として採用して好適である。つまりは、声優を収録対象としてこれを円筒状に囲って収録を行うことで、声の他にも衣服の擦れる音や足音などの音声も含めた収録を行っておく。そして、用いる伝達関数としては、例えばそのシーンにおいてキャラクターが存在する位置とそれを取り囲む空間との関係に応じる等して、測定環境1の選定、さらにその中での仮想音像位置と第一閉曲面10との配置関係を選定して測定する。
これにより再現環境11において、想定した空間内の想定した仮想音像位置としての円筒空間内に、そのキャラクターが存在するかのように再現することができる。
Such a method is suitably employed as a method of after-recording (after-recording) such as animation or CG. In other words, by recording a voice actor as a subject of recording in a cylindrical shape, recording including voices such as rubbing sounds and footsteps in addition to voice is performed. As a transfer function to be used, for example, depending on the relationship between the position where the character exists in the scene and the space surrounding it, the
As a result, the
なお、ここでは音源を立体的に囲む例として円筒状に囲む例を示したが、例えば球形に囲むようにすることもできる。つまり、この場合は音源を囲む球面上において、任意に定義したDirectionごとに収録用マイク71を配置して音声収録を行う。
この際、測定環境1においては、同等の球面上に各収録用マイク71の配置位置と幾何学的に同等となる位置に測定用スピーカ72を配置して同様のインパルス応答の測定を行えばよい。
また、再現信号生成装置の構成としては、収録用マイク71と測定用マイク73(つまり測定用スピーカ72と再現用スピーカ8)とについての配置数を同じとした場合は、先に説明したものと同様の構成となる。
In addition, although the example enclosed in a cylindrical shape was shown here as an example which surrounds a sound source three-dimensionally, it can also be made to surround in a spherical shape, for example. That is, in this case, on the spherical surface surrounding the sound source, the recording microphone 71 is arranged for each arbitrarily defined direction, and audio recording is performed.
In this case, in the
In addition, as a configuration of the reproduction signal generation device, when the number of arrangements for the recording microphone 71 and the measurement microphone 73 (that is, the measurement speaker 72 and the reproduction speaker 8) is the same, the configuration described above is used. It becomes the same composition.
また、ここでは測定用スピーカ72を複数配置してインパルス応答の測定を行う場合を例示したが、測定環境1でのインパルス応答の測定は実際に測定用スピーカ72を複数配置しなくとも、1つの測定用スピーカ72を順次各円形平面70の外周上の各位置で各Directionに向けて行うことも可能である。
なお、この場合も隣接するDirectionでの伝達関数を補間することで、測定回数を減らすことも可能である。
Further, here, the case where a plurality of measurement speakers 72 are arranged and the impulse response is measured is illustrated, but the measurement of the impulse response in the
In this case as well, the number of measurements can be reduced by interpolating the transfer function in the adjacent direction.
3−5.アンビエンスデータの追加
ここで、ライブなどのイベントでの臨場感をよりリアルに再現するにあたっては、観客の声援や拍手などの、その会場で生じる演奏音以外の音(アンビエンス)を付加することが有効である。ここでは、このようなアンビエンスを追加してより臨場感のある音場再現を行う場合の手法について説明する。
3-5. Adding ambience data Here, it is effective to add sounds (ambience) other than the performance sound that occurs at the venue, such as the cheering and applause of the audience, in order to more realistically reproduce the sense of presence in live events. It is. Here, a method for reproducing such a realistic sound field by adding such ambience will be described.
図31は、このようなアンビエンスについて収録する場合の測定環境1の様子を模式的に示している。
先ず、この場合は、第一閉曲面10上において、インパルス応答の測定を行ったときと同数・同位置に収録用マイク84a〜84pを配置する。これら収録用マイク84a〜84pとしても、有指向性マイクを使用する。
なお、同じ測定環境1の第一閉曲面10上の同位置に配置するマイクとして、この収録用マイク84と測定用マイク4とでは異なる符号を付しているが、同一のマイクを使用するものとしてもよい。
FIG. 31 schematically shows the state of the
First, in this case, the
Note that the recording microphone 84 and the
その上で、図示するようにして第一閉曲面10外の所要位置に、複数のエキストラとしての人物を複数配置して、歓声や拍手などのアンビエンスとしての所定の音声を発しさせ、各収録用マイク84によりその音声の収録を行う。これによって、各収録用マイク84a〜84pでは、測定環境1の空間情報を含んだかたちでアンビエンスの収録を行うことができる。ここでは、各収録用マイク84a、84b・・84pでそれぞれ得られたアンビエンスの収録音声信号は、アンビエンス−a、アンビエンス−b・・・アンビエンス−pと呼ぶ。
In addition, as shown in the figure, a plurality of persons as extras are arranged at required positions outside the first closed
再現環境11においては、第一閉曲面10上に配置した再現用スピーカ8a、8b・・・8pにより、アンビエンス−a、アンビエンス−b・・・アンビエンス−pを音声出力することで、第一閉曲面10の内側に居る聴取者は、測定環境1における第一閉曲面10の外側に観客が居るものとして感じることができる。
In the
図32は、このようなアンビエンスを付加する場合の再現信号生成装置80の構成を示している。
なお、この図では、先の図28に示した音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応させた再現信号生成装置の構成について示している。
この図に示されるようにして、測定環境1にて収録されたアンビエンス−a、アンビエンス−b・・・アンビエンス−pについては、それぞれ再生部81a、81b・・・81pにより再生出力する。この場合は、各再現用スピーカ8a〜8pと1対1の関係で設けられた加算器62a〜62pの後段に対して、さらに加算器82a〜82pが設けられ、上記再生部81a、81b・・・81pは、これら加算器82a、82b・・・82pに対し、アンビエンス−a、アンビエンス−b・・・アンビエンス−pを供給する。
FIG. 32 shows a configuration of the reproduction
This figure shows the configuration of a reproduction signal generation apparatus corresponding to a case where sound field reproduction is performed in consideration of the directivity of the sound source and the sound emission characteristics for each directivity direction shown in FIG.
As shown in this figure, the ambience-a, ambience-b... Ambience-p recorded in the
このようにしてアンビエンス−a、アンビエンス−b・・・アンビエンス−pは、各再現用スピーカ8a、8b・・・8pの再現信号の供給ラインに対して加算されて出力される。つまり、測定環境1において収録用マイク84a、84b・・・84pにより収録されたアンビエンス−a、アンビエンス−b・・・アンビエンス−pは、再現環境11における幾何学的に同等の位置に配置された再現用スピーカ8a、8b・・・8pにより第一閉曲面10内側にそれぞれ出力されるものとなる。
これにより、再現環境11における第一閉曲面10の内側に居る聴取者は、第一閉曲面10の外側に測定環境1における観客が居るものとして感じることができ、よりリアルな臨場感を与えることができる。
In this way, ambience-a, ambience-b... Ambience-p are added to the reproduction signal supply lines of the
Accordingly, a listener who is inside the first closed
なお、ここではアンビエンスデータの追加を、先の図28に示したような音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う再現信号生成装置に適用した場合の構成を例示したが、このようなアンビエンスデータの追加は、先の図12に示したような単に音質調整を行うとした場合の再現信号生成装置に対しても好適に適用できる。その場合としても各アンビエンス(a〜p)は、各再現用スピーカ8a、8b・・・8pの再現信号の供給ラインに対して加算されるようにすればよい。
Here, the configuration in the case where the addition of the ambience data is applied to a reproduction signal generation device that reproduces the sound field in consideration of the directivity of the sound source and the sound emission characteristics for each directivity direction as shown in FIG. However, the addition of such ambience data can also be suitably applied to a reproduction signal generating apparatus in the case where the sound quality adjustment is simply performed as shown in FIG. Even in this case, each ambience (ap) may be added to the reproduction signal supply line of each
3−6.カメラ視点に応じた音場再現
これまでは、再現環境11において主に音声のみを再生する場合について述べてきたが、例えば或るアーティストのライブイベントを収録したコンテンツとしては、AV(Audio and Video)コンテンツとすることも考えられる。つまり、これに応じて再現環境11においては、ライブの収録音声とこれと同期した収録映像とを再生するといったものである。
ここで、ライブ映像を収録したAVコンテンツとしては、終始1つの視点(1アングル)のみで被写体(アーティスト)を捉えるのではなく、多数のアングルから捉えるようにされたものがある。このように複数のアングルから被写体を捉える映像がある場合においては、そのアングルごとに応じた音場再現を行うようにすることで、カメラアングルごとに応じた臨場感を与えることができる。
3-6. Sound field reproduction according to camera viewpoint Up to now, the case where only the sound was reproduced in the
Here, as AV contents recorded with live video, there are those which are not captured from only one viewpoint (one angle) from the beginning but captured from many angles. In this way, when there is an image that captures a subject from a plurality of angles, it is possible to give a sense of reality corresponding to each camera angle by performing sound field reproduction corresponding to each angle.
図33は、その手法について模式的に示した図である。
この図33では、実際にライブなどのイベントが行われるホールとしての測定環境1の様子を示しており、図33(a)は実際にライブが行われているときのカメラ85による映像収録の様子を模式的に示し、図33(b)ではカメラアングルに応じた測定の様子について模式的に示している。なお、ここではステージ86上のPlayerは複数居る場合を想定し、その位置を図示するPosition1〜Position4により示している。
例えば図33(a)に示すようにカメラ85がステージ86上のアーティストを捉えた場合に対応しては、図23(b)に示す同じ測定環境1としてのホール内において、同じアングルでステージ86を捉えるようにして配置した測定用マイク88a〜88xにより、ステージ86上の各Positionごとでのインパルス応答の測定を行う。
図33(b)において、この場合の測定環境1における第一閉曲面10としては、先の図30と同様に立体空間を想定し、また図30の場合と同様のa〜xの測定用マイク88を配置している。そして、このような第一閉曲面10による立体空間をステージ86に対して図33(a)でのカメラアングルと同等の角度に傾けた状態となるようにして、それぞれのPositionごとに配置した測定用スピーカ87(87−1〜87−4)ごとに出力した測定用信号TSPについて、各測定用マイク88ごとのインパルス応答の測定を行う。
これによって、各測定用スピーカ87から各測定用マイク88までに対応したx×4個の伝達関数H及び伝達関数omniHを求めるようにする。
FIG. 33 is a diagram schematically showing the method.
FIG. 33 shows a state of the
For example, as shown in FIG. 33A, when the camera 85 captures an artist on the
In FIG. 33 (b), as the first closed
Thereby to obtain each
そして、再現環境11における再現時には、そのアングルのシーンに対応させて、これらの伝達関数H及び伝達関数omniHから生成した合成伝達関数coefHを使用して再生音声信号を畳み込み、これによって得られた再現信号を、測定環境1において、測定用マイク88a〜88xと幾何学的に同等の位置関係となるように配置した再現用スピーカ8a〜8xにより出力すればよい。
これによって再現環境11における上記再現用スピーカ8a〜8xで囲まれた第一閉曲面10内の視聴者は、図33に示したアングルでステージ86上を捉えた映像が再生されるときに、同じアングルでステージ86を見た場合での音場を感じることができるようになる。
Then, at the time of reproduction in the
Thus, the viewer in the first closed
さらに、このような手法による音場再現を、想定される複数のカメラアングルについて行うことで、カメラアングルごとにそれぞれのアングルでステージ86を見た場合での音場を知覚させるようにすることができる。
つまり、この場合には、想定される複数のアングルについて、図33(b)にて説明したものと同様の手法により伝達関数H・伝達関数omniHについての測定を行っておき、カメラアングルと伝達関数Hとの対応情報、カメラアングルと伝達関数omniHとの対応情報を作成しておく。
このとき、映像信号については、シーンごとのカメラアングルの情報を例えばメタデータなどとして埋め込んでおく。
そして、収録した映像と音声との再生時においては、上記映像信号中に埋め込まれたアングル情報に基づき、上記アングル・伝達関数Hの対応情報、上記アングル・伝達関数omniHの対応情報のそれぞれから、該当する伝達関数H及び伝達関数omniHを選択して合成伝達関数coefHを生成し、これを随時演算部に対して設定して再生音声信号を演算処理して再現用スピーカ8a〜8xから出力する。これにより、映像中の複数のカメラアングルごとに、そのアングルでステージ86を見た場合での音場を知覚させるようにすることができる。
このようなカメラアングルごとに応じた音場再現を行うことができれば、娯楽性を増すことができて好ましい。
Furthermore, by reproducing the sound field by such a method for a plurality of assumed camera angles, it is possible to perceive the sound field when the
That is, in this case, the transfer function H and the transfer function omniH are measured for a plurality of assumed angles by the same method as that described with reference to FIG. The correspondence information between H and the correspondence information between the camera angle and the transfer function omniH are created.
At this time, for the video signal, information of the camera angle for each scene is embedded as, for example, metadata.
At the time of reproduction of the recorded video and audio, based on the angle information embedded in the video signal, from the correspondence information of the angle / transfer function H and the correspondence information of the angle / transfer function omniH, A corresponding transfer function H and transfer function omniH are selected to generate a combined transfer function coefH, which is set in the calculation unit as needed to calculate the reproduced audio signal and output it from the
If such a sound field reproduction corresponding to each camera angle can be performed, it is preferable because entertainment can be increased.
なお、ここではカメラアングルごとの伝達関数H及び伝達関数omniHについての測定にあたり、第一閉曲面10として立体を想定したが、これに代えて平面とすることもできる。
また、図33(b)では、測定用信号TSPを出力する測定用スピーカ、及び第一閉曲面10上に配置される測定用マイクはそれぞれ測定用スピーカ87、測定用マイク88と符号を付したが、これらはそれぞれ測定用スピーカ35、測定用マイク4(又は測定用マイク24)と同等のものである。
Here, in measuring the transfer function H and the transfer function omniH for each camera angle, a solid is assumed as the first closed
In FIG. 33 (b), the measurement speaker that outputs the measurement signal TSP and the measurement microphone arranged on the first closed
<4.実施の形態としての音場再現システム>
4−1.システム構成例
以上では、本実施の形態の音場再現システムとしての個々の機能を実現するための方法及び構成について説明してきたが、これらの機能を実現するための手法及び再現システム全体の構成について以下で説明する。
なお、ここでは説明の便宜上、先の図27〜図30にて説明したような音源の指向性と指向方向ごとの放音特性については考慮せず、また図25〜図26で説明したステレオエフェクタには対応しない場合の構成について説明する。これらにも対応するとした場合の追加構成については後述する。
また、ここでは、実際に音場の再現を行う再現環境としては家庭の部屋などとしての再現環境20を想定し、第二閉曲面14での音場再現を行う場合での構成について説明する。
さらにこの場合、仮想音像位置として提示するPlayer(Position)はPlayer1〜Player3の3つとし、また、各Positionでの音源の指向方向としては6つのDirectionを定義するものとする。
<4. Sound field reproduction system as embodiment>
4-1. System Configuration Example In the above, the method and configuration for realizing the individual functions as the sound field reproduction system of the present embodiment have been described, but the method for realizing these functions and the configuration of the entire reproduction system This will be described below.
Here, for convenience of explanation, the directivity of the sound source and the sound emission characteristics for each direction as described in FIGS. 27 to 30 are not considered, and the stereo effector described in FIGS. 25 to 26 is used. A configuration in the case of not corresponding to will be described. An additional configuration in a case where these are also handled will be described later.
Further, here, the
Further, in this case, there are three Players (Positions) to be presented as virtual sound image positions, Player1 to Player3, and six Direction are defined as the direction of sound source in each Position.
先ず、前提として、本実施の形態の音場再現システムとしては、ライブ映像とその音声とを含むAVコンテンツ作成のために各種音声・映像の収録を行うと共に、仮想音像位置を再現するための伝達関数についての測定などを行う制作側と、実際に再現環境11において音場を再現する側としてのユーザ側とに分けられる。
この場合、上記制作側は、収録した映像・音声、及び伝達関数などを所要のメディアに記録し、ユーザ側では、後述する再現信号生成装置により、そのメディアに記録された情報に基づいて音場再現が行われるものとする。
First, as a premise, the sound field reproduction system according to the present embodiment records various audio / videos for the production of AV contents including live video and its audio, and transmits for reproducing the virtual sound image position. There are a production side for measuring functions and the like, and a user side for actually reproducing the sound field in the
In this case, the production side records the recorded video / audio, transfer function, and the like on a required medium, and the user side uses a reproduction signal generation device (to be described later) to generate a sound field based on the information recorded on the medium. It is assumed that reproduction is performed.
図34は、この場合の制作側において行われるべき作業工程と、これらの作業工程により得られた情報をメディア98に対して記録するための記録装置90の構成とについて示した図である。
先ず、この場合の記録装置90は、図中の作業工程S1〜S5によって得られた情報からそれぞれアングル/Direction・伝達関数H対応情報、アングル/Direction・伝達関数omniH対応情報、再生環境・伝達関数対応情報、アンビエンスデータ、各Playerのライン収録データを生成する、アングル/Direction・伝達関数H対応情報生成部91、アングル/Direction・伝達関数omniH対応情報生成部92、再生環境・伝達関数対応情報生成部93、アンビエンスデータ生成部94、各Playerのライン収録データ生成部95を備える。また、図中作業工程S6により得られる収録映像に対してアングル情報・Direction指示情報を追加するアングル情報・Direction指示情報追加部96を備える。
さらには、これらアングル/Direction・伝達関数H対応情報生成部91、アングル/Direction・伝達関数omniH対応情報生成部92、再生環境・伝達関数対応情報生成部93、アンビエンスデータ生成部94、各Playerのライン収録データ生成部95により得られた各データと、上記アングル情報・Direction指示情報追加部96によりアングル情報・Direction指示情報が追加された映像データとを、例えば光ディスク記録媒体などとされるメディア98に記録する記録部97を備えている。
この記録装置90としては、例えばパーソナルコンピュータにより実現される。
FIG. 34 is a diagram showing work processes to be performed on the production side in this case and a configuration of a recording apparatus 90 for recording information obtained by these work processes on the medium 98.
First of all, the recording apparatus 90 in this case, from the information obtained by the work steps S1 to S5 in the figure, respectively, the angle / Direction / transfer function H correspondence information, the angle / Direction / transfer function omniH correspondence information, the reproduction environment / transfer function. Corresponding information, ambience data, and line recording data of each player are generated. Angle / Direction / transfer function H compatible
Furthermore, the angle / direction / transfer function H correspondence
The recording device 90 is realized by a personal computer, for example.
図34において、先ず作業工程S1では、アングル/Directionを変えながら各Positionごとに伝達関数Hについての測定を行う。これは、先の図21〜図24にて説明した仮想音像の指向性方向の制御と、図33にて説明したカメラアングルに応じた音場再現を実現するために必要な作業となる。
この作業工程S1では、ホールなどの測定環境1において、仮想音像位置として想定する各Position(この場合はPosition1〜Position3の3位置)にそれぞれ有指向性の測定用スピーカ35を配置すると共に、第一閉曲面10上に所定数の測定用マイク88(測定用マイク4)を所定の配置関係により配置する。
このとき、各測定用スピーカ35からの測定用信号TSPの出力は、1つのPositionごとに、測定用スピーカ35の向きをDirection1、Direction2・・・Direction6と変えながら行う。一方、各測定用マイク88による上記測定用信号TSPの検出結果に基づくインパルス応答の測定は、想定されるカメラアングルの1つ1つに対応させて、先の図33(b)に示したように測定用マイク88を配置した第一閉曲面10の角度(アングル)を変化させながら行う。
これによって、各測定用マイク88までに対応した伝達関数Hとしては、それぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数が求められる。つまりこの場合、Position数×Direction数×想定したアングル数の分、各測定用マイク88までに対応した伝達関数Hが得られる。
In FIG. 34, first, in work step S1, the transfer function H is measured for each Position while changing the angle / Direction. This is a work necessary to realize the control of the directivity direction of the virtual sound image described with reference to FIGS. 21 to 24 and the sound field reproduction according to the camera angle described with reference to FIG.
In this work process S1, in the
At this time, the measurement signal TSP is output from each
As a result, a plurality of transfer functions H corresponding to the respective measurement microphones 88 can be obtained for each Position and each Direction / Angle. That is, in this case, the transfer function H corresponding to each measurement microphone 88 is obtained by the number of Positions × Direction Numbers × the assumed number of angles.
なお、ここでは説明の便宜上、測定環境1の第一閉曲面10上に配置する測定用マイク88(測定用マイク4)の数は図33で示したa〜xではなく、a〜pまでであるとする。
また、この場合も測定用スピーカ35は各Positionごとに1つずつ配置するものとしたが、1つの測定用スピーカ35を順次各Positionに配置して測定用信号TSPの出力を行ってもよい。
Here, for convenience of explanation, the number of measurement microphones 88 (measurement microphones 4) arranged on the first closed
In this case as well, one
記録装置90において、アングル/Direction・伝達関数H対応情報生成部91は、このような作業工程S1により得られた各伝達関数Hの情報に基づき、次の図36に示すようなアングル/Direction・伝達関数H対応情報を生成する。
つまり、この図36に示されるようにして、仮想音像位置として想定した各Positionごとに、各アングル及び各Directionとしたときに各測定用マイク88対応に得られた伝達関数Hの情報を格納したものである。
ここでも、伝達関数Hの添え字(a〜p)は、測定用マイク88a〜88pの何れに対応するかを示している。また、この添え字に続く数字により、Positionの別を表している。さらに、続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。
In the recording apparatus 90, the angle / Direction / transfer function H correspondence
That is, as shown in FIG. 36, for each Position assumed as the virtual sound image position, information on the transfer function H obtained for each measurement microphone 88 when each angle and each Direction is set is stored. Is.
Here again, the subscripts (ap) of the transfer function H indicate which of the
また、図34において、作業工程S2では、アングル/Directionを変えながら各Positionごとに伝達関数omniHについての測定を行う。この作業工程S2としては、上記した作業工程S1とは測定用マイク88として用いるマイクを無指向性測定用マイク24とする以外は同等の測定を行う。これによってそれぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数の伝達関数omniHが得られる。 In FIG. 34, in work step S2, the transfer function omniH is measured for each position while changing the angle / direction. As the work step S2, the same measurement as that in the work step S1 is performed except that the microphone used as the measurement microphone 88 is the omnidirectional measurement microphone 24. As a result, for each Position, a plurality of transfer functions omniH with each Direction and angle are obtained.
記録装置90のアングル/Direction・伝達関数omniH対応情報生成部92は、この作業工程S2により得られた各伝達関数omniHに基づき、図37に示すようなアングル/Direction・伝達関数omniH対応情報を生成する。この場合も伝達関数omniHの添え字(a〜p)は、測定用マイク24a〜24pの何れに対応するかを示し、またこの添え字に続く数字によりPositionの別を示している。さらに続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。
The angle / Direction / transfer function omniH correspondence
また、図34において、作業工程S3では、第二閉曲面14の測定用マイク13の個数/配置を変えながら、伝達関数Eについての測定を行う。
この作業工程S3では、先の図7にて示したようにして、再現環境11における第一閉曲面10上において、測定環境1での第一閉曲面10で配置した各測定用マイク88(4又は24)と幾何学的に同じ配置関係が得られるようにして再現用スピーカ8を配置する。そして、この再現環境11における第一閉曲面10内において、実際の再現環境(再現環境20)での再現用スピーカ18の配置数・配置関係として想定したそれぞれの配置数・配置関係となるように、第二閉曲面14上に配置する測定用マイク13の配置数・配置関係を変えながら、各再現用スピーカ8ごとに出力した測定用信号TSPについてのインパルス応答の測定を行う。これによって、各配置数・配置関係のパターンごとに、各測定用マイク13までに対応した伝達関数Eを求める。
なお、この作業工程S3としても、測定用マイク13としては1つのみを用い、これを第二閉曲面14上の想定される配置位置に順次配置してインパルス応答の測定を行うこともできる。
In FIG. 34, in work step S3, the transfer function E is measured while changing the number / arrangement of the measurement microphones 13 on the second closed curved surface 14.
In this work process S3, as shown in FIG. 7, the measurement microphones 88 (4) arranged on the first closed
In this operation step S3 as well, only one measurement microphone 13 can be used, and this can be sequentially arranged at an assumed arrangement position on the second closed curved surface 14 to measure the impulse response.
再生環境・伝達関数対応情報生成部93は、この作業工程S3により得られた測定用マイク13の各配置数・配置関係ごとの伝達関数Eの情報を、それぞれの配置数・配置関係の情報と対応づけた再生環境・伝達関数対応情報を生成する。
The reproduction environment / transfer function correspondence
続いて、作業工程S4では、アンビエンス収録を行う。すなわち、先の図31に示したように、測定環境1における第一閉曲面10の外側にエキストラとしての人物を配置して、歓声や拍手などといったアンビエンスとしての所定の音声を発しさせる。この音声を、先の作業工程S1で第一閉曲面10上に配置した各測定用スピーカ88と同じ位置に配置した各収録用マイク84により収録する。
つまり、先にも説明したように各アンビエンスはインパルス応答の測定時に配置した各測定用マイク88の位置で収録する必要があるもので、従って上記収録用マイク84としては測定用マイク88と同数を用い、且つそれぞれの収録用マイク84は、測定時に配置したそれぞれの測定用マイク88と同じ位置に配置する必要がある。
この場合、測定用マイク88としては、先にも述べたように測定用マイク88a〜88pを用いるので、収録用マイク84としても収録用マイク84a〜84pを用いる。なお、測定用マイク88と収録用マイク84とはそれぞれ異なる符号を付しているが、同一のマイクを用いることもできる。
Subsequently, in the work process S4, ambience recording is performed. That is, as shown in FIG. 31 above, a person as an extra is arranged outside the first closed
That is, as described above, each ambience needs to be recorded at the position of each measurement microphone 88 arranged at the time of measuring the impulse response. Each of the recording microphones 84 used needs to be arranged at the same position as each of the measuring microphones 88 arranged at the time of measurement.
In this case, since the
アンビエンスデータ生成部94は、この作業工程S4で収録した各アンビエンスの収録音声信号に基づき、アンビエンスデータを生成する。つまり、この場合は収録用マイク84a〜84pによりそれぞれ収録されたアンビエンス−a〜アンビエンス−pがそれぞれ個別のデータとして管理されたアンビエンスデータを生成する。
The ambience
作業工程S5では、各Playerのライン収録を行う。つまり、例えばPlayerが演奏する楽器が電気楽器であれば、電気的に出力される音声信号を収録する。或いは、ボーカル、ドラムなどの電気楽器以外の場合には、音源に近接して配置したマイクによって音声収録を行えばよい。 In work process S5, line recording of each player is performed. That is, for example, if the musical instrument played by the player is an electric musical instrument, an audio signal that is electrically output is recorded. Alternatively, in the case other than electric instruments such as vocals and drums, sound recording may be performed with a microphone arranged close to the sound source.
各Playerのライン収録データ生成部95は、この作業工程S5での各収録音声に基づき、各Playerごとのライン収録データを生成する。つまり、この場合はPlayer1〜Player3のライン収録音声信号が、それぞれ個別のデータとして管理される各Playerごとのライン収録データを生成する。
The line recording
作業工程S6では、映像収録を行う。すなわち、実際に測定対象としたホールなどの測定環境1において行われるイベントを、ビデオカメラによって映像収録する。
アングル情報・Direction指示情報追加部96は、作業工程S6で得られた収録映像データに対し、伝達関数H及び伝達関数omniHとしてどのアングルに対応したものを選択すべきかを示すためのアングル情報と、同じく伝達関数H及び伝達関数omniHとして、PlayerごとにどのDirectionに対応したものを選択すべきかについて指示するためのDirection指示情報とを、メタデータとして追加する。
この場合、アングル情報は、実際には収録映像を再生してみて、各シーンがどのカメラアングルに該当するかを制作側の人間が判断して決定する。上記アングル情報・Direction指示情報追加部96は、このようにして決定された各シーンとそれに対応するアングルの情報とに基づき、収録映像データに対するアングル情報の追加を行う。同様にDirection指示情報としても、実際に収録映像を再生してみてPlayerが振り返えるシーンなどがあった場合に、制作側の人間がそのPlayerの動きに応じた指向方向が表現されるようなDirectionを判断して決定する。そしてアングル情報・Direction指示情報追加部96では、このようにして決定されたDirection指示情報が指定されたシーンに追加されるようにして、収録映像データに対するDirection指示情報の追加を行う。
In work process S6, video recording is performed. That is, the video camera records an event that occurs in the
The angle information / direction instruction
In this case, the angle information is determined by a person on the production side who determines which camera angle corresponds to each scene by actually reproducing the recorded video. The angle information / direction instruction
記録部97は、アングル/Direction・伝達関数H対応情報生成部91、アングル/Direction・伝達関数omniH対応情報生成部92、再生環境・伝達関数対応情報生成部93、アンビエンスデータ生成部94、各Playerのライン収録データ生成部95により得られた各データと、上記アングル情報・Direction指示情報追加部96によりアングル情報・Direction指示情報が追加された映像データとを、メディア98に対して記録する。
この際、アンビエンスデータとしては、アンビエンス−a〜アンビエンス−pまでの複数の音声信号が存在するので、これらがそれぞれ別々のトラックに分かれて収録されるようにメディア98に記録する。同様に、各Playerのライン収録データについても、Playerごとのライン収録音声信号がそれぞれ別々のトラックに収録されるようにする。
The
At this time, since there are a plurality of audio signals from ambience-a to ambience-p as ambience data, they are recorded on the medium 98 so that they are recorded separately on separate tracks. Similarly, for the line recording data of each player, the line recording audio signal for each player is recorded on a separate track.
なお、ここで確認のために述べておくと、この図34において各作業工程に付した工程番号は必ずしも各工程を行うべき順序を示したものではない。 For confirmation, the process numbers given to the work steps in FIG. 34 do not necessarily indicate the order in which the steps should be performed.
図35は、ユーザ側の再現環境20において音場再現に用いる再現信号生成装置100の構成について示している。
なお、図示は省略するが、この場合の再現環境20としては、先の図9に示した再現環境20において第二閉曲面14上において5つ配置されていた再現用スピーカ18を、再現用スピーカ18A、18B、18Cの3つにしたものと考えればよい。また、この場合、仮想音像位置としてはPosition1〜Position3の3つを想定しているので、図9においては破線による測定用スピーカ3として示した1つの仮想音像位置は3つとなる。
さらにこの場合は、メディア98に記録されたAVコンテンツを再生して映像出力を行うので、そのためのディスプレイ装置を再現環境20において配置することになるが、このディスプレイ装置は第二閉曲面14の内側、或いは外側において、第二閉曲面14内の視聴者(聴取者)から見て仮想音像位置側となる位置に配置すればよい。このように仮想音像位置側に配置すれば、画面上で各Playerが表示される位置と仮想音像位置との方向を一致させることができ、各Playerの表示位置と再現される仮想音像位置との一体感を増すことができる。
なお、図35においては、上記ディスプレイ装置の図示は省略している。
FIG. 35 shows the configuration of the reproduction
Although not shown, the
Further, in this case, since the AV content recorded on the medium 98 is reproduced and the video is output, a display device for that is arranged in the
In FIG. 35, the display device is not shown.
図35において、この場合の再現信号生成装置100には、先の図22にて説明したものと同様の演算部46a−1〜46p−1、演算部46a−2〜46p−2、演算部46a−3〜46p−3が設けられる。ここではPlayer1〜Player3までを想定しているため、図22ではPlayer4までの4セット備えられていたうちの、Player3までの3セットが備えられている。
そして、これら演算部46a−1〜46p−1、演算部46a−2〜46p−2、演算部46a−3〜46p−3に対し、合成伝達関数coefHを設定するためのcoefH生成部30−1、coefH生成部30−2、coefH生成部30−3が設けられる。このcoefH生成部30としても、図22ではPlayer4までの4セット備えられていたうちの、Player3までの3セットを備えるようにしている。
この場合もcoefH生成部30−1、30−2、30−2に対しては、後述するコントローラ103からそれぞれのPositionに対応した伝達関数H及び伝達関数omniHが供給され、これに応じて伝達関数H、伝達関数omniH、及び遅延ドライ系伝達関数dryHが足し合わされた合成伝達関数coefHを生成する。
この場合もcoefH30としては、ハイフン後の符号が各Positionの別を示しており、coefH30−1はPosition1に対応した伝達関数H及びomniHの供給を受けてPosition1に対応した合成伝達関数coefHを生成するようにされる。そして、これを演算部46a−1〜46p−1に対して設定するようにされる。
また、coefH生成部30−2はPosition2に対応した伝達関数H及びomniHの供給を受けてPosition2に対応した合成伝達関数coefHを生成するようにされ、これを演算部46a−2〜46p−2に対して設定するようにされる。さらに、coefH生成部30−3はPosition3に対応した伝達関数H及びomniHの供給を受けてPosition3に対応した合成伝達関数coefHを生成し、これを演算部46a−3〜46p−3に対して設定するようにされる。
35, the reproduction
Then, a coefH generating unit 30-1 for setting a composite transfer function coefH for these calculating
Also in this case, the coefH generators 30-1, 30-2, and 30-2 are supplied with a transfer function H and a transfer function omniH corresponding to the respective positions from the
Also in this case, as the coef H30, the code after the hyphen indicates that each Position, and the coef H30-1 receives the supply of the transfer function H and omniH corresponding to Position1 and generates the combined transfer function coefH corresponding to Position1. To be done. And this is set with respect to the calculating
The coefH generation unit 30-2 receives the supply of the transfer function H and omniH corresponding to Position2 and generates a combined transfer function coefH corresponding to Position2, which is then sent to the
そして、このようにしてそれぞれ対応する合成伝達関数coefHが設定される演算部46a−1〜46p−1、演算部46a−2〜46p−2、演算部46a−3〜46p−3の後段には、加算器47a〜47pが設けられる。これら加算器47a〜47pとしては、先の図22にて説明したものと同様に、上記各演算部46のうちの同じ添え字の付された演算部46からの出力を加算するようにされ、これによって第一閉曲面10上の再現用スピーカ8a〜8pのそれぞれの配置位置に対応した再現信号を得るようにされている。
Then, in the subsequent stages of the
さらに、これら加算器47a〜47pと1対1の関係となるようにして設けた加算器82a〜82pが設けられる。これら加算器82a〜82pは、先の図32にて示したものと同様のものであり、それぞれ対応するアンビエンスとしての音声信号を加算するために設けられる。
Furthermore,
そして、その後段には、演算部106A−a〜106A−p、演算部106B−a〜106B−p、演算部106C−a〜106C−pが設けられる。
これら演算部106は、基本的には先の図8に示したものと同様に、第一閉曲面10上に配置した再現用スピーカ8a〜8pの各々から、第二閉曲面14上に配置した各々の測定用マイク13までに対応して得られた伝達関数Eが設定されるものであるが、ここでは再生環境整合処理として実際の第二閉曲面14上の再現用スピーカ18の配置数・配置関係に対応させるために、各演算部106には後述するコントローラ103からそれぞれ対応する伝達関数Eが設定されるものとなる。
In the subsequent stage,
These calculation units 106 are arranged on the second closed curved surface 14 from the
演算部106A−a〜106A−p、演算部106B−a〜106B−p、演算部106C−a〜106C−pは、上記した加算器82a〜82pのうち、同じ添え字(a〜p)の付された加算器82からの出力を入力し、これを設定された伝達関数Eに基づき処理する。
これによって演算部106A−a〜106A−pでは、再現環境11における第一閉曲面10上の再現用スピーカ8a〜8pのそれぞれから第二閉曲面14上の測定用マイク13A(再現用スピーカ18A)までに対応した再現信号(SHEA-a〜SHEA-p)が得られ、演算部106B−a〜106B−pでは再現用スピーカ8a〜8pのそれぞれから再現用スピーカ18Bまでに対応した再現信号(SHEB-a〜SHEB-p)が得られる。また、演算部106C−a〜106C−pでは、再現用スピーカ8a〜8pのそれぞれから再現用スピーカ18Cまでに対応した再現信号(SHEC-a〜SHEC-p)が得られる。
The
As a result, in the
加算器17A、17B、17Cは、先の図8に示したものと同様に第二閉曲面14上に配置される再現用スピーカ18(この場合は18A、18B、18C)と1対1の関係となるようにして設けられる。加算器17Aは、演算部106A−a〜106A−pのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ18Aに供給する。また、加算器17Bは演算部106B−a〜106B−pのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ18Bに供給し、さらに加算器17Cは演算部106C−a〜106C−pのそれぞれからの出力を入力・加算してその結果を再現用スピーカ18Cに供給する。
The
そして、この場合の再現信号生成装置100に対しては、メディア98に記録された各種情報を再生し、これに基づく制御を行うための構成として、メディア読出部101、バッファメモリ102、コントローラ103、メモリ部104、映像再生系105、操作部107を備えている。
メディア読出部101は、当該再現信号生成装置100に装填されたメディア98に記録された各種情報の読み出しを行い、これをバッファメモリ102に供給する。バッファメモリ102は、コントローラ103の制御に基づき、読み出しデータのバッファリング及びバッファリングデータの読み出しを行う。
In this case, the reproduction
The
コントローラ103はマイクロコンピュータにより構成され、当該再現信号生成装置100の全体制御を行う。メモリ部104はコントローラ103が備えるROM、RAM、ハードディスクなどの記憶装置を包括的に示しており、図示は省略したがここには各種の制御プログラムが格納され、コントローラ103はこの制御プログラムに基づいて各部の制御を実行するようにされている。
ここで、先の図34にて説明したように、メディア98に対しては、アングル/Direction・伝達関数H対応情報、アングル/Direction・伝達関数omniH対応情報、再生環境・伝達関数対応情報、アンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データが記録されている。
コントローラ103は、メディア読出部101によってこれらの情報のうちからアングル/Direction・伝達関数H対応情報、アングル/Direction・伝達関数omniH対応情報、再生環境・伝達関数対応情報の読み出しを実行させ、これらを図示するようにメモリ部104内にアングル/Direction・伝達関数H対応情報104a、アングル/Direction・伝達関数omniH対応情報104b、再生環境・伝達関数対応情報104cとして格納する。
The
Here, as described above with reference to FIG. 34, for the
The
さらにコントローラ103は、同じくメディア読出部101にアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データの読み出しを実行させ、これをバッファメモリ102にバッファリングさせる。
図示するようにして、このバッファメモリ102からは、アンビエンス収録データとしてのアンビエンス−a、アンビエンス−b・・・アンビエンス−pが、上記した加算器82a、82b・・・82pに供給されるようになっている。
同様に、各Playerのライン収録データについても、Player1の収録音声信号、Player2の収録音声信号、Player3の収録音声信号が、演算部46a−1〜46p−1、演算部46a−2〜46p−2、演算部46a−3〜46p−3に供給されるようになっている。
さらに、アングル情報とDirection指示情報とが埋め込まれた映像データについては、映像再生系105に供給されるようになっている。
Further, the
As shown in the figure, the
Similarly, with respect to the line recording data of each player, the recording audio signal of Player1, the recording audio signal of Player2, and the recording audio signal of Player3 are calculated by the
Further, the video data in which the angle information and the direction instruction information are embedded is supplied to the
ここで、バッファメモリ102に対しては、メディア98に記録されている全てのアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データを読み出してバッファリングするものとし、コントローラ103は、バッファリングされたこれらのデータが連続的に対応する各部に供給されるようにバッファメモリ102の読み出し動作を制御することも考えられる。
しかしながら、実際において、このようにメディア98から全てのデータを読み出してバッファリングするのには非常に多くの時間を要するので、各データは時分割的に必要なデータ量だけをメディア98から逐次読み出し、これを順次各部に供給するようにバッファメモリ102の読み出し動作を制御するように構成することもできる。
Here, to the
However, in practice, since it takes a very long time to read and buffer all data from the medium 98 in this way, each data is sequentially read out from the medium 98 only in a necessary amount of data in a time division manner. Also, the read operation of the
映像再生系105は、映像データについての圧縮伸張デコーダやエラー訂正処理部などの再生系の構成を包括的に示している。この映像再生系105は、バッファメモリ102から供給される映像データについて上記圧縮伸張デコーダやエラー訂正処理部などによる再生処理を施すことで、再現環境20において配置される図示されないディスプレイ装置にて映像表示を行うための映像信号を生成し、これを図示する映像出力としてディスプレイ装置に供給する。
また、この場合の映像再生系105としては、映像データに対してメタデータとして付加されているアングル情報とDirection指示情報とを抽出し、これらをコントローラ103に対して供給するようにされている。
The
In this case, the
コントローラ103は、このようにして映像再生系105から供給されるアングル情報、Direction指示情報に基づき、先に説明したようにメモリ部104内に格納したアングル/Direction・伝達関数H対応情報104a及びアングル/Direction・伝達関数omniH対応情報104bのうちから、上記したcoefH生成部30−1、30−2、30−3に供給すべき伝達関数H、伝達関数omniHを変更するアングル・Direction変更部103aを備えている。
このアングル・Direction変更部103aとしては、入力されるアングル情報とDirection指示情報とによって特定される伝達関数H・伝達関数omniHを、メモリ部104内のアングル/Direction・伝達関数H対応情報104a・アングル/Direction・伝達関数omniH対応情報104bから読み出し、これを対応するcoefH生成部30に対して設定する。
例えば、アングル情報が「アングル1」を示すものであり、Direction指示情報としてはPlayer1(Position1)がDirection1、Player2(Position2)がDirection2、Player3(Position3)がDirection6を指示するものであった場合には、アングル/Direction・伝達関数H対応情報104a・アングル/Direction・伝達関数omniH対応情報104bから、Player1については「Ha1-ang1-dir1〜Hp1-ang1-dir1及びomniHa1-ang1-dir1〜omniHp1-ang1-dir1」、Player2については「Ha2-ang1-dir2〜Hp2-ang1-dir2及びomniHa2-ang1-dir2〜omniHp2-ang1-dir2」、Player3については「Ha3-ang1-dir6〜Hp3-ang1-dir6及びomniHa3-ang1-dir6〜omniHp3-ang1-dir6」を読み出す。そして、上記「Ha1-ang1-dir1〜Hp1-ang1-dir1及びomniHa1-ang1-dir1〜omniHp1-ang1-dir1」についてはcoefH生成部30−1に供給し、「Ha2-ang1-dir2〜Hp2-ang1-dir2及びomniHa2-ang1-dir2〜omniHp2-ang1-dir2」についてはcoefH生成部30−2に供給し、さらに「Ha3-ang1-dir6〜Hp3-ang1-dir6及びomniHa3-ang1-dir6〜omniHp3-ang1-dir6」についてはcoefH生成部30−3に供給する、といったものである。
このようなアングル・Direction変更部103の動作により、演算部46a−1〜46p−1、演算部46a−2〜46p−2、演算部46a−3〜46p−3のそれぞれには、アングル情報、Direction指示情報として新たなアングル・Directionが指示されるごとにそれらアングル・Directionに応じた合成伝達関数coefHが逐次設定されるようになる。これによってアングルの変更に応じた音場再現、及び指定されたPlayerの指向性方向の制御を行うことができる。
As described above, the
As the angle /
For example, if the angle information indicates “
Due to the operation of the angle /
なお、確認のために述べておくと、上記アングル・Direction変更部103aとしてはコントローラ103の機能をブロック化して示すもので、実際にはコントローラ103のソフトウエア処理により実現されるものである。このことは、次に説明するパラメータ調整部103b、再生環境整合処理部103cについても同様である。
For confirmation, the angle /
また、コントローラ103は、図示するパラメータ調整部103bを備え、図示する操作部107からの操作入力に応じて、coefH生成部30−1、30−2、30−3内の各バランスパラメータ設定部(21a〜21p、22a〜22p、32a〜32p)に設定されるべきバランスパラメータの値を個別に調整する。
この場合としても上記操作部107には、各バランスパラメータ設定部対応につまみ操作子などパラメータ調整のための操作子が設けられ、ユーザはこれらを操作することで各バランスパラメータ対応に、それぞれ設定すべきバランスパラメータの値を指示することができるようにされる。或いは、各バランスパラメータの調整は、図示されない表示ディスプレイの画面上に表示した操作パネルを用いて行うことも可能であり、その場合操作部107はマウスなどの操作子とされ、例えばユーザは画面上のカーソルをマウス操作によって上記操作パネル上に移動させ、この操作パネル上に設けられたパラメータ調整のためのつまみ操作子アイコンをドラッグ操作するなどして、各バランスパラメータ設定部対応にそれぞれ設定すべきバランスパラメータの値を指示することができるようにされる。
パラメータ調整部103bは、このような操作部107からの操作入力に基づく指示に応じて、各バランスパラメータ設定部対応に設定されるべきバランスパラメータの値を調整する。
なお、ここでも図示の都合上、コントローラ103から各coefH生成部30への制御線は1つのみで示したが、実際には各coefH生成部30ごとの各バランスパラメータ設定部(21a〜21p、22a〜22p、32a〜32p)対応にそれぞれ独立してバランスパラメータの値を供給できるようにされている。
Further, the
Even in this case, the
The
Here, for convenience of illustration, only one control line from the
このようなパラメータ調整部103bの調整動作によれば、先の図17においても説明したように、第一閉曲面10上の各スピーカ8の配置位置の段階では、伝達関数dryH系増加領域としての音像をシャープ化する領域と、伝達関数omniH系増加領域として残響感を増大させる領域とに分けるといった音質調整が可能となる。そして、この場合には、第二閉曲面14上に配置した各再現用スピーカ18に囲まれた音場においても、このような第一閉曲面10上の各スピーカ8の配置位置の段階での音場が再現されるので、第二閉曲面14内においても、聴取者は同様の音質調整が行われたものとして知覚することができる。つまり、例えば図17(b)の調整を例に挙げれば、第二閉曲面14内においても、前方側で音像がシャープ化し、後方側で残響感が増しているように知覚することができる。
According to the adjustment operation of the
また、コントローラ103は、メモリ部104に格納した再生環境・伝達関数対応情報104cと、同じメモリ部104に対して予め格納された配置パターン情報104dとに基づき、実際の再現用スピーカ18の配置数と配置関係とに適合した伝達関数Eの設定を行う再生環境整合処理を行うための再生環境整合処理部103cを備える。
ここで、上記配置パターン情報104dは、当該再現信号生成装置100が対応するとして予め設定された再現用スピーカ18の配置数・配置関係のパターンを示す情報である。再生環境整合処理部103cでは、このような配置パターン情報104dに示される配置数・配置関係のパターン情報に基づき、再生環境・伝達関数対応情報104c中から該当するパターンに対応づけれて格納される伝達関数E(Ea−A〜Ep−A、Ea−B〜Ep−B、Ea−C〜Ep−C)を読み出し、これらをそれぞれ対応する演算部106に設定する。
これによって各演算部106には、実際の再現環境20における再現用スピーカ18の配置数・配置関係に応じた伝達関数Eが設定され、この結果実際の再現環境20における再現用スピーカ18の配置数・配置関係に応じた適正な音場再現を行うことができる。
The
Here, the
As a result, a transfer function E corresponding to the number of arrangements / relationships of the reproduction speakers 18 in the
なお、再現信号生成装置100が複数パターンの配置数・配置関係に対応可能な場合には、操作部107に対して別途操作子を設け、それらのパターンの中から該当するパターンをユーザが選択できるように構成することもできる。
When the reproduction
ここで、先にも述べたように、上記音場再現システムの構成は、音源の指向性と指向方向ごとの放音特性は考慮せず、またステレオエフェクタについては対応しない場合の構成を説明したものであるが、これらに対応した構成とする場合は、記録装置90、再現信号生成装置100として以下のように構成すればよい。
なお、ここでは一例として、Player1のみについて音源の指向性と指向方向ごとの放音特性について考慮した音場再現を行うものとし、また、Player2のライン収録データをステレオエフェクタを介したものとする場合を例示する。
Here, as described above, the configuration of the sound field reproduction system described above is a configuration in which the directivity of the sound source and the sound emission characteristics for each directivity direction are not considered, and the stereo effector is not supported. However, in the case of a configuration corresponding to these, the recording device 90 and the reproduction
As an example here, the sound field reproduction that considers the directivity of the sound source and the sound emission characteristics in each direction only for
この場合、制作側においては、作業工程S5において、Player1については先の図27に示したようにして例えばDirection1〜Direction6の6方向から囲むように配置した収録用マイク57で音声を収録する。また、Player2については、ライン収録データをステレオエフェクタに通したものを記録装置90に入力する。
つまりこの場合、各Playerのライン収録データ生成部95では、Player1についてはDirection1〜Direction6の6つの収録データを生成するようにされ、Player2についてはLchとRchとによる2つの収録データを生成するようにされる。そして記録部97は、これらの収録データをメディア98に対して記録するようにされる。
In this case, on the production side, in the work step S5, as for Player1, the sound is recorded by the recording microphone 57 arranged so as to surround from the six directions of Direction1 to Direction6 as shown in FIG. As for Player2, line recording data passed through a stereo effector is input to the recording device 90.
That is, in this case, the line recording
再現信号生成装置100としては、この場合はPlayer1の収録データがDirection1〜Direction6に対応した6つが存在することに応じて、演算部46としては、Player1のDirection1に応じた収録データをそれぞれ入力する演算部46a−1−1〜46p−1−1と、同じくDirection2に応じた収録データをそれぞれ入力する演算部46a−1−2〜46p−1−2を追加する。また、同様にDirection3、Direction4、Direction5、Direction6の収録データについても、演算部46a−1−3〜46p−1−3、演算部46a−1−4〜46p−1−4、演算部46a−1−5〜46p−1−5、演算部46a−1−6〜46p−1−6を追加する。
さらに、これら演算部46a−1−1〜46p−1−1、演算部46a−1−2〜46p−1−2、演算部46a−1−3〜46p−1−3、演算部46a−1−4〜46p−1−4、演算部46a−1−5〜46p−1−5、演算部46a−1−6〜46p−1−6に対し、それぞれ対応する合成伝達関数coefHを設定するために、Player1に対応したcoefH生成部30−1としては、coefH生成部30−1−1、30−1−2、30−1−3、30−1−4、30−1−5、30−1−6の6つを設ける。
In this case, the reproduction
Further, these
この場合、上記演算部46a−1−1〜46p−1−1、演算部46a−1−2〜46p−1−2、演算部46a−1−3〜46p−1−3、演算部46a−1−4〜46p−1−4、演算部46a−1−5〜46p−1−5、演算部46a−1−6〜46p−1−6に対しては、アングル情報に応じてのみ、設定する合成伝達関数coefHを変更するように構成する。換言すれば、演算部46a−1−1〜46p−1−1には「-dir1」、演算部46a−1−2〜46p−1−2には「-dir2」、演算部46a−1−3〜46p−1−3には「-dir3」、演算部46a−1−4〜46p−1−4には「-dir4」、演算部46a−1−5〜46p−1−5には「-dir5」、演算部46a−1−6〜46p−1−6には「-dir6」による合成伝達関数coefHを常に設定するようにされるものである。
このために、コントローラ103内のアングル・Direction変更部103aとしては、上記したcoefH生成部30−1−1、30−1−2、30−1−3、30−1−4、30−1−5、30−1−6に対しては、「-dir1」、「-dir2」、「-dir3」、「-dir4」、「-dir5」、「-dir6」の伝達関数H・伝達関数omniHのうち、アングル情報により指示されたアングルによる伝達関数H・伝達関数omniHを逐次供給するようにされる。
In this case, the
For this reason, as the angle /
演算部46a−1−1〜46p−1−1、演算部46a−1−2〜46p−1−2、演算部46a−1−3〜46p−1−3、演算部46a−1−4〜46p−1−4、演算部46a−1−5〜46p−1−5、演算部46a−1−6〜46p−1−6の出力としても、それぞれ同じ添え字(a〜p)が付された加算器47に供給されるように構成する。
また、Player2の収録データをそれぞれ入力する演算部46としては、LchとRchに対応した2セットの演算部46(a〜p)を設けるようにする。つまり、演算部46a−2−L〜46p−2−L、演算部46a−2−R〜46p−2−Rを設ける。さらに、これら演算部46a−2−L〜46p−2−L、演算部46a−2−R〜46p−2−Rのそれぞれに対応する合成伝達関数coefHを設定するためのPlayer2に対応したcoefH生成部30−2としては、coefH生成部30−2−L、30−2−Rを設ける。
これらcoefH生成部30−2−L、30−2−Rに対しても、アングル・Direction変更部103aは、アングル情報のみに応じて伝達関数H・伝達関数omniHを設定変更する。例えば先の図25に示したようにLchとしてDirection2、RchとしてDirection6を定義した場合、coefH生成部30−2−Lには「-dir2」、coefH生成部30−2−Rには「-dir6」による伝達関数H・伝達関数omniHが常に設定されるようにするものである。これに応じ演算部46a−2−L〜46p−2−L、演算部46a−2−R〜46p−2−Rに設定される合成伝達関数coefHとしては、それぞれ「-dir2」、「-dir6」とされた上で、アングル情報に応じた合成伝達関数coefHが可変設定されるようになる。
これら演算部46a−2−L〜46p−2−L、演算部46a−2−R〜46p−2−Rからの出力としても、それぞれ同じ添え字(a〜p)が付された加算器47に供給されるように構成する。
In addition, two sets of calculation units 46 (ap) corresponding to Lch and Rch are provided as the calculation units 46 for inputting the recorded data of Player2. That is,
Also for these coefH generating units 30-2-L and 30-2-R, the angle /
Also as outputs from these
なお、これまでの図34〜図37の説明では、本実施の形態の音場再現システムの前提として、制作側は音場再現のために必要な各種情報を記録したメディア98を販売し、このメディア98を基にユーザ側で音場再現を行うものとした。
しかしながら音場再現のために必要な各種の情報は、メディア98を介してユーザ側に提供する以外にも、例えばネットワーク経由で提供するようにもできる。
この場合、制作側では、上記音場再現に必要な各種情報を所要の記録媒体に記録・保持すると共に、保持された上記各種情報をネットワークを介して外部装置に送信することが可能に構成された情報処理装置を備えるようにする。一方、ユーザ側の再現信号生成装置100としては、上記ネットワークを介したデータ通信が可能となるように構成する。
このようにネットワークを介して音場再現のための各種情報の提供が可能となることで、制作側からユーザ側にリアルタイムで上記各種情報の提供を行うことができ、これによれば再現環境20においてリアルタイムに測定環境1での音場を再現することも可能となる。
In the description of FIGS. 34 to 37 so far, as a premise of the sound field reproduction system of the present embodiment, the production side sells a medium 98 on which various information necessary for sound field reproduction is recorded. The sound field is reproduced on the user side based on the
However, various kinds of information necessary for reproducing the sound field can be provided not only to the user via the
In this case, the production side is configured to record and hold various information necessary for reproducing the sound field on a required recording medium, and to transmit the held various information to an external device via a network. An information processing apparatus is provided. On the other hand, the reproduction
As described above, by providing various information for reproducing the sound field via the network, the various types of information can be provided in real time from the production side to the user side. It is also possible to reproduce the sound field in the
また、上記説明では、ユーザ側(再現信号生成装置100側)において、各再現用スピーカ18から出力すべき再現信号を生成するものとしたが、これに代え、制作側(記録装置90側)で図35に示す再現信号生成のための構成を備えるようにすることで、メディア98には各再現用スピーカ18から出力すべき再現信号を記録するものとし、ユーザ側では、メディア98からこれらの再現信号を再生するだけで音場再現が行えるように構成することもできる。
これによれば、ユーザ側で備える装置の構成を簡易化することができる。しかしながら、一方で制作側では、実際の再現環境20で想定される再現用スピーカ18の配置数・配置関係のパターンに応じた分の複数種類のメディア98を作成・販売しなければならなくなってしまうことになる。
これに対し、上記により説明した本例の音場再現システムによれば、制作側で作成するメディア98は1種のみとでき、この点での効率化が図られることになる。
In the above description, the reproduction signal to be output from each reproduction speaker 18 is generated on the user side (reproduction
According to this, the configuration of the device provided on the user side can be simplified. However, on the other hand, on the production side, it is necessary to create and sell a plurality of types of
On the other hand, according to the sound field reproduction system of this example described above, only one type of
また、図34、図35の説明では、メディア98に対しPlayerごとの収録データ及び映像データと共に、各アングル/Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報を記録するものとしたが、メディア98にはPlayerごとの収録データ及び映像データのみを記録し、各アングル/Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報についてはネットワーク経由で提供するなど、音場再現に必要な情報のうちの一部をネットワーク経由で提供するように構成することもできる。
特に、再生環境・伝達関数対応情報については、演算部106に設定する以外の情報は全て不要な情報となる。そこで、例えばネットワーク上の所要のサーバ装置に再生環境・伝達関数対応情報を保持させておき、ユーザ側は、音場再現にあたって先ずはこのサーバ装置にアクセスするようにしておき、該当する再現用スピーカ18の配置数・配置関係のパターンに応じた伝達関数Eをダウンロードするように構成する。
これによってメディア98の記録情報量を削減できると共に、再現信号生成装置100においても不要な情報を保持する必要がなくなることで、無駄な読み出し動作の省略及びコントローラ103の処理負担の軽減などが図られる。
34 and FIG. 35, each angle / Direction / transfer function correspondence information and reproduction environment / transfer function correspondence information are recorded on the
In particular, regarding the reproduction environment / transfer function correspondence information, all information other than that set in the calculation unit 106 is unnecessary information. Therefore, for example, a required server device on the network holds the reproduction environment / transfer function correspondence information, and the user side first accesses the server device to reproduce the sound field, and the corresponding reproduction speaker. The transfer function E corresponding to the 18 arrangement number / pattern-related pattern is downloaded.
As a result, the amount of recorded information on the medium 98 can be reduced, and unnecessary information is not held in the reproduction
また、図35では、演算部46、coefH生成部30、加算器47、加算器82、演算部106、加算器17をハードウエアにより構成するものとして示したが、これら各部の機能をコントローラ103のソフトウエア処理により実現するように構成することもできる。
In FIG. 35, the calculation unit 46, the
また、図35では、再現信号生成装置100がメディア98の読出部を備える構成とした場合を例示したが、再現信号生成装置100としては、外部においてメディア98から読み出された各情報を入力し、以降はこの各情報に基づいて同様の動作を行うAVアンプとして構成することもできる。
In addition, FIG. 35 illustrates the case where the reproduction
また、上記説明では、メディア98は光ディスク記録媒体としたが、他のディスクメディア(ハードディスクなどの磁気ディスクや光磁気ディスク)とすることもできる。或いは、半導体メモリを使用した記録媒体など、ディスクメディア以外とすることもできる。 In the above description, the medium 98 is an optical disk recording medium, but may be another disk medium (a magnetic disk such as a hard disk or a magneto-optical disk). Alternatively, it may be other than a disk medium such as a recording medium using a semiconductor memory.
また、これまでの説明では、再現信号生成装置において、それぞれの伝達関数(H、omniH、dryH)を足し合わせた合成伝達関数coefHを生成した上で、この合成伝達関数coefHに基づいて再生信号に演算処理を施すものとしたが、これに代え、それぞれの伝達関数(H、omniH、dryH)で個別に再生信号を畳み込み、それらにバランスパラメータを付与したものを再現用スピーカ8a〜8pごとに加算することによっても同様の音場再現を実現できる。
なお本発明では、このようにそれぞれの伝達関数で個別に再生信号を畳み込んだものを再現用スピーカ8a〜8pごとに加算する手法としても、同様の結果が得られることから合成伝達関数で畳み込んだものとして見なす。
Further, in the description so far, the reproduction signal generation device generates a combined transfer function coefH obtained by adding the respective transfer functions (H, omniH, dryH), and then generates a reproduction signal based on the combined transfer function coefH. Instead of this, instead of this, the playback signals are individually convolved with the respective transfer functions (H, omniH, dryH), and those with balance parameters added are added to the
In the present invention, the same result can be obtained as a method of adding the reproduction signals individually convolved with the respective transfer functions for each of the
以上、本発明の実施の形態について説明したが、本発明としてはこれに限定されるべきものではない。
例えば実施の形態では、フィルムライブの会場や家庭の部屋などにおいて音声を再生する場合の音場再現に本発明を適用する場合を例示したが、例えばカーオーディオシステムにおいて音声の再生を行う場合にも適用することができる。或いは、例えば臨場感、没入感を与えるアミューズメント、ゲームのようなバーチャルリアリティー産業機器に対しても好適に適用することができる。
Although the embodiment of the present invention has been described above, the present invention should not be limited to this.
For example, in the embodiment, the case where the present invention is applied to sound field reproduction in the case of reproducing sound in a film live venue, a home room, or the like has been exemplified, but also in the case of reproducing sound in a car audio system, for example Can be applied. Alternatively, the present invention can also be suitably applied to virtual reality industrial equipment such as an amusement or game that gives a sense of reality or immersion.
1 測定環境、2 測定用信号再生部、3、35、72、87 測定用スピーカ、4、13、24、73、88 測定用マイク、5、15、19、28、37、50、60、80、100 再現信号生成装置、6 音声再生部、7、16、46、51、61、106 演算部、8、18 再現用スピーカ、9、17、23、33、47、52、62、82 加算器、10 第一閉曲面、11、20 再現環境、14 第二閉曲面、21、22、32 バランスパラメータ設定部、25、40、53、103 コントローラ、26、39、54、107 操作部、27、30 coefH生成部、29、38、55、104 メモリ部、31 波形エネルギー算出及び空間ディレイ検出部、38a Direction・伝達関数H対応情報、38b Direction・伝達関数omniH対応情報、51 ステレオエフェクト処理部、SR 音源収録面、56 音源、57、71、84 収録用マイク、70 円形平面、81a〜81p 再生部、85 カメラ、86 ステージ、90 記録装置、91 アングル/Direction・伝達関数H対応情報生成部、92 アングル/Direction・伝達関数omniH対応情報生成部、93 再生環境・伝達関数対応情報生成部、94 アンビエンスデータ生成部、95 各Playerのライン収録データ生成部、96 アングル情報・Direction指示情報付加部、97 記録部、98 メディア、101 メディア読出部、102 バッファメモリ、103 コントローラ、103a アングル・Direction変更部、103b パラメータ調整部、103c 再生環境整合処理部、104 メモリ部、104a アングル/Direction・伝達関数H対応情報、104b アングル/Direction・伝達関数omniH対応情報、104c 再生環境・伝達関数対応情報、104d 配置パターン情報、105 映像再生系 DESCRIPTION OF SYMBOLS 1 Measurement environment, 2 Measurement signal reproduction | regeneration part, 3, 35, 72, 87 Measurement speaker 4, 13, 24, 73, 88 Measurement microphone 5, 15, 19, 28, 37, 50, 60, 80 , 100 Reproduction signal generator, 6 Audio reproduction unit, 7, 16, 46, 51, 61, 106 Calculation unit, 8, 18 Reproduction speaker, 9, 17, 23, 33, 47, 52, 62, 82 Adder 10 First closed surface, 11, 20 Reproduction environment, 14 Second closed surface, 21, 22, 32 Balance parameter setting unit, 25, 40, 53, 103 Controller, 26, 39, 54, 107 Operation unit, 27, 30 coefH generation unit, 29, 38, 55, 104 memory unit, 31 waveform energy calculation and spatial delay detection unit, 38a Direction / transfer function H correspondence information, 38b Direction / transfer function omniH pair Information, 51 Stereo effect processing unit, SR sound source recording surface, 56 sound source, 57, 71, 84 recording microphone, 70 circular plane, 81a-81p playback unit, 85 camera, 86 stage, 90 recording device, 91 angle / Direction Transfer function H correspondence information generation unit, 92 angle / Direction / transfer function omniH correspondence information generation unit, 93 playback environment / transfer function correspondence information generation unit, 94 ambience data generation unit, 95 line recording data generation unit of each player, 96 angle Information / Direction instruction information adding unit, 97 recording unit, 98 media, 101 media reading unit, 102 buffer memory, 103 controller, 103a angle / direction changing unit, 103b parameter adjusting unit, 103c reproduction environment matching processing unit, 104 memory unit, 104a Angle / Direction Function H correspondence information, 104b Angle / Direction-transfer function omniH correspondence information, 104c reproduction environment and the transfer function correspondence information, 104d arrangement pattern information, 105 a video reproduction system
Claims (4)
前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより前記第一の発音工程で発音された音声を測定した結果に基づき、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した伝達関数としての、有指向性測定伝達関数群を生成する有指向性測定伝達関数生成工程と、
前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求めた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成工程と、
入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程と、
所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程と、
を備え、
前記第一の発音工程では、
前記有指向性スピーカによって、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に音声を発音するようにされ、
前記有指向性測定伝達関数生成工程では、
前記有指向性スピーカにより発音した前記複数方向ごとに音声を測定した結果に基づき、前記複数方向ごとに、前記有指向性測定伝達関数群を生成すると共に、
前記第一の伝達関数生成工程では、
前記有指向性測定伝達関数生成工程により生成した前記複数方向ごとの有指向性測定伝達関数群のそれぞれについて、前記補助伝達関数群を指示された割合で足し合わせることで、前記複数方向ごとの前記第一の伝達関数群を生成し、
前記第一の再現用音声信号生成工程では、
前記収録工程にて収録した音声信号をそれぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる
音声信号処理方法。 A first sound generation step of generating sound from a virtual sound image position outside the first closed curved surface by a directional speaker ;
Based on the result of measuring the sound produced in the first sound production step by the directional microphones arranged outward at a plurality of positions on the first closed curved surface, from the virtual sound image position, the first sound image is obtained. A directional measurement transfer function generation step for generating a directional measurement transfer function group as a transfer function corresponding to each of the plurality of positions on the closed curved surface;
Separately from the directional measurement transfer function group and the directional measurement transfer function group, the sound is generated from the virtual sound image position and obtained based on the sound reaching each of the plurality of positions on the first closed curved surface. The first transfer function group as a combined transfer function group corresponding to each of the plurality of positions from the virtual sound image position is generated by adding the auxiliary transfer function groups at a specified ratio. A first transfer function generation step;
A first reproduction audio signal corresponding to each of the plurality of positions on the first closed curved surface is obtained by performing arithmetic processing based on the first transfer function group on the input audio signal. An audio signal generation process for reproduction,
Recording process of recording sound from the sound source with a directional microphone from multiple directions so as to surround the required sound source,
Equipped with a,
In the first pronunciation process,
The directional speaker is adapted to generate sound in a plurality of directions opposite to the plurality of directions in which the sound from the sound source is recorded in the recording step.
In the directional measurement transfer function generation step,
Based on the result of measuring the sound for each of the plurality of directions sounded by the directional speaker, generating the directional measurement transfer function group for each of the plurality of directions,
In the first transfer function generation step,
For each of the directional measurement transfer function groups for each of the plurality of directions generated by the directional measurement transfer function generation step, by adding the auxiliary transfer function groups at a specified ratio, Generate the first transfer function group,
In the first reproduction audio signal generation step,
Reproduction corresponding to each of the plurality of positions on the first closed curved surface by performing arithmetic processing on the audio signal recorded in the recording step based on the first transfer function group in the corresponding direction. As the audio signal, reproduction audio signals for the plurality of directions are obtained, and by adding the reproduction audio signals for each of the plurality of positions on the first closed curved surface, An audio signal processing method for obtaining an audio signal for reproduction .
前記音源を前記有指向性マイクロフォンにより平面的に囲うようにして音声を収録することを特徴とする請求項1に記載の音声信号処理方法。 In the recording process,
The audio signal processing method according to claim 1 , wherein audio is recorded so that the sound source is surrounded by the directional microphone in a plane.
前記音源を前記有指向性マイクロフォンにより立体的に囲うようにして音声を収録することを特徴とする請求項1に記載の音声信号処理方法。 In the recording process,
The audio signal processing method according to claim 1 , wherein audio is recorded so that the sound source is three-dimensionally surrounded by the directional microphone.
前記記録装置は、
第一の閉曲面の外側における仮想音像位置から発音した音声を前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより測定した結果に基づき生成された、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した有指向性測定伝達関数群と、所要の音源から収録した収録音声信号とを前記記録媒体に対して記録する記録手段を備え、
前記音声信号処理装置は、
前記記録媒体に記録された前記有指向性測定伝達関数群と前記収録音声信号とを入力する入力手段と、
前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求められた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成手段と、
入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成手段とを備え、
前記記録装置において、
前記記録手段は、
前記記録媒体に対し、前記仮想音像位置から発音した音声を前記複数の位置で外向きに配置した無指向性マイクロフォンにより測定した結果に基づき生成された無指向性測定伝達関数群をさらに記録するようにされ、
前記音声信号処理装置において、
前記入力手段は、
さらに前記記録媒体に記録された前記無指向性測定伝達関数群も入力するように構成され、
前記第一の伝達関数生成手段は、
前記有指向性測定伝達関数群の個々から、前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声についての前記第一の閉曲面上の前記複数の位置ごとの音声遅延時間及び音声レベルの情報を抽出すると共に、これら音声遅延時間及び音声レベルの情報と前記入力手段により入力された前記無指向性測定伝達関数群とを前記補助伝達関数として、前記有指向性測定伝達関数群に対して指示された割合でそれぞれ足し合わせることで、前記第一の伝達関数群を生成するように構成される
音場再現システム。 Sound field reproduction comprising a recording device for recording information on a recording medium, and an audio signal processing device for generating a reproduction audio signal for reproducing the sound field based on the information recorded on the recording medium A system,
The recording device includes:
The virtual sound generated based on a result of measuring a sound generated from a virtual sound image position outside the first closed curved surface by a directional microphone arranged outward at a plurality of positions on the first closed curved surface. Recording for recording on a recording medium a directional measurement transfer function group corresponding to each of the plurality of positions on the first closed curved surface from a sound image position and a recorded audio signal recorded from a required sound source With means,
The audio signal processing device includes:
Input means for inputting the directional measurement transfer function group recorded on the recording medium and the recorded audio signal;
Separately from the directional measurement transfer function group and the directional measurement transfer function group, the sound is generated from the virtual sound image position and obtained based on the sound reaching each of the plurality of positions on the first closed curved surface. The first transfer function group as a combined transfer function group corresponding to each of the plurality of positions from the virtual sound image position is generated by adding the auxiliary transfer function groups to the plurality of positions. First transfer function generating means for
A first reproduction audio signal corresponding to each of the plurality of positions on the first closed curved surface is obtained by performing arithmetic processing based on the first transfer function group on the input audio signal. An audio signal generation means for reproduction ,
In the recording apparatus,
The recording means includes
An omnidirectional measurement transfer function group generated based on a result obtained by measuring a sound generated from the virtual sound image position with an omnidirectional microphone arranged outward at the plurality of positions is further recorded on the recording medium. And
In the audio signal processing device,
The input means includes
Further, the omnidirectional measurement transfer function group recorded on the recording medium is also input,
The first transfer function generating means includes:
From each of the directional measurement transfer function groups, the plurality of the sound on the first closed surface for the sound that is generated from the virtual sound image position and reaches each of the plurality of positions on the first closed surface. Extracting voice delay time and voice level information for each position, the voice delay time and voice level information and the omnidirectional measurement transfer function group input by the input means as the auxiliary transfer function, A sound field reproduction system configured to generate the first transfer function group by adding each of the directional measurement transfer function groups at a specified ratio .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010030412A JP4883197B2 (en) | 2010-02-15 | 2010-02-15 | Audio signal processing method, sound field reproduction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010030412A JP4883197B2 (en) | 2010-02-15 | 2010-02-15 | Audio signal processing method, sound field reproduction system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005223437A Division JP4674505B2 (en) | 2005-08-01 | 2005-08-01 | Audio signal processing method, sound field reproduction system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010154549A true JP2010154549A (en) | 2010-07-08 |
JP4883197B2 JP4883197B2 (en) | 2012-02-22 |
Family
ID=42573002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010030412A Expired - Fee Related JP4883197B2 (en) | 2010-02-15 | 2010-02-15 | Audio signal processing method, sound field reproduction system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4883197B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014112767A (en) * | 2012-12-05 | 2014-06-19 | Nippon Hoso Kyokai <Nhk> | Impulse response generation apparatus, impulse response generation system, and impulse response generation program |
JP2014529251A (en) * | 2011-09-07 | 2014-10-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus, method and electroacoustic system for reverberation time extension |
JPWO2014069112A1 (en) * | 2012-11-02 | 2016-09-08 | ソニー株式会社 | Signal processing apparatus and signal processing method |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602916B2 (en) | 2012-11-02 | 2017-03-21 | Sony Corporation | Signal processing device, signal processing method, measurement method, and measurement device |
CN110226200A (en) | 2017-01-31 | 2019-09-10 | 索尼公司 | Signal processing apparatus, signal processing method and computer program |
-
2010
- 2010-02-15 JP JP2010030412A patent/JP4883197B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014529251A (en) * | 2011-09-07 | 2014-10-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus, method and electroacoustic system for reverberation time extension |
US9355632B2 (en) | 2011-09-07 | 2016-05-31 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and electroacoustic system for reverberation time extension |
JPWO2014069112A1 (en) * | 2012-11-02 | 2016-09-08 | ソニー株式会社 | Signal processing apparatus and signal processing method |
JP2014112767A (en) * | 2012-12-05 | 2014-06-19 | Nippon Hoso Kyokai <Nhk> | Impulse response generation apparatus, impulse response generation system, and impulse response generation program |
Also Published As
Publication number | Publication date |
---|---|
JP4883197B2 (en) | 2012-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4674505B2 (en) | Audio signal processing method, sound field reproduction system | |
JP7367785B2 (en) | Audio processing device and method, and program | |
JP4735108B2 (en) | Audio signal processing method, sound field reproduction system | |
JP4913140B2 (en) | Apparatus and method for controlling multiple speakers using a graphical user interface | |
US10924875B2 (en) | Augmented reality platform for navigable, immersive audio experience | |
JP5168373B2 (en) | Audio signal processing method, sound field reproduction system | |
JP2019512952A (en) | Sound reproduction system | |
JP6246922B2 (en) | Acoustic signal processing method | |
Zotter et al. | A beamformer to play with wall reflections: The icosahedral loudspeaker | |
JP4883197B2 (en) | Audio signal processing method, sound field reproduction system | |
JP4780057B2 (en) | Sound field generator | |
JP2003316371A (en) | Device, method, and program for giving echo, device, method, and program for generating impulse response, and recording medium | |
Réveillac | Musical sound effects: Analog and digital sound processing | |
JP4775487B2 (en) | Audio signal processing method and audio signal processing apparatus | |
JP2006086921A (en) | Reproduction method of audio signal and reproducing device | |
JP4725234B2 (en) | Sound field reproduction method, sound signal processing method, sound signal processing apparatus | |
Bartlett | Stereo microphone techniques | |
JP4465870B2 (en) | Audio signal processing device | |
KR100955328B1 (en) | Apparatus and method for surround soundfield reproductioin for reproducing reflection | |
JP2005157278A (en) | Apparatus, method, and program for creating all-around acoustic field | |
JP2007124023A (en) | Method of reproducing sound field, and method and device for processing sound signal | |
JP6970366B2 (en) | Sound image reproduction device, sound image reproduction method and sound image reproduction program | |
JP2956125B2 (en) | Sound source information control device | |
CA3044260A1 (en) | Augmented reality platform for navigable, immersive audio experience | |
JP4426159B2 (en) | Mixing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4883197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |