JP5168373B2 - 音声信号処理方法、音場再現システム - Google Patents
音声信号処理方法、音場再現システム Download PDFInfo
- Publication number
- JP5168373B2 JP5168373B2 JP2011029409A JP2011029409A JP5168373B2 JP 5168373 B2 JP5168373 B2 JP 5168373B2 JP 2011029409 A JP2011029409 A JP 2011029409A JP 2011029409 A JP2011029409 A JP 2011029409A JP 5168373 B2 JP5168373 B2 JP 5168373B2
- Authority
- JP
- Japan
- Prior art keywords
- reproduction
- sound
- audio signal
- measurement
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
残響付加処理としては、いわゆるデジタルリバーブ方式が知られている。このデジタルリバーブ方式は、原音に対してランダムなディレイタイムとされるディレイ情報を多数発生させ、さらに、ディレイタイムが長くなるほど音量を小さくしたり、ディレイタイムの長い箇所でフィードバックを掛けて残響時間を長くとる等の信号処理を行うものである。これにより原音に対して人工的に残響効果を生成することができる。しかし、ディレイ情報を生成するためのパラメータは、そのパラメータの設定を行う作業者の聴感に基づいて設定されるので、この設定作業は繁雑なものとなる。また、人工的に残響を作り出すことから原音を定位させるという概念がなく、音場の再現に優れたものではない。
この特許文献1に記載の技術では、例えば図1に示されているように、ホールなどの測定環境(測定音場)1に、音源として測定用のスピーカ3を配置する。そして、この測定用スピーカ3にTSP(Time Streched Pulse)信号などとされるインパルス応答測定用の音声信号を供給して、同じ音場内の所要の位置に配置された複数の測定用マイク4(a〜p)に対して、測定用スピーカ3から出力される測定用音声を入力させる。この場合、例えば測定用マイク4aでは、図1に矢印で示されているように、測定用スピーカ3からの直接音、及び測定用スピーカ3から出力され測定環境としてのホール内で反射した反射音を検出することができる。図示は省略しているが、このことは他の測定用マイク4b、4c、4dについても同様である。
そこで、各測定用マイク4(a〜d)により検出された音声信号に基づき、残響を含むインパルス応答を測定することで、測定用スピーカ3から各測定用マイク4までのそれぞれに対応した伝達関数を求めることができる。
つまり、上記のようにして各測定用マイク4のそれぞれの配置位置までに対応した伝達関数が求まれば、再生したい音声信号をこれらの伝達関数を用いてそれぞれ畳み込むことで、各スピーカ8の配置位置から出力すべき音声信号が得られる。従ってそれらの音声信号を、対応する位置に配置したスピーカ8からそれぞれ出力することで、これらスピーカ8に囲まれた空間内にて図1の測定環境と同様の残響効果を得ることができる。
このような方式は、実際に測定した伝達関数を用いるので、再生時における音場の再現性に優れたものとなる。また同時に、再生音場における音像定位としてもより明確なものとなる。
しかしながら実際において、測定用スピーカ3の配置位置に仮想音像として再現しようとする音源については、その指向性も再現するということが想定できる。このような場合において、上記のように無指向性による測定用スピーカ3を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。
すなわち、先ず所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程を有する。
また、第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカを、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数の方向に向けて音声を発音する第一の発音工程を有する。
また、前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された前記複数の方向ごとの音声を測定する第一の測定工程を有する。
また、前記第一の測定工程によって測定された音声に基づいて、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した第一の伝達関数群を前記複数の方向ごとに生成する第一の伝達関数生成工程を有する。
さらに、前記収録工程にて収録し入力した音声信号に対しそれぞれ対応する方向の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号としてそれぞれ前記複数方向分の再現用音声信号を得ると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程を有するようにした。
従って、これら第一の再現用音声信号を、例えば上記第一の閉曲面上の複数の位置と幾何学的に同等の位置関係により配置した再現用スピーカからそれぞれ出力すれば、これら再現用スピーカにより囲われた空間内において、仮想音源の指向性を表現したかたちで測定環境の音場(残響や音像定位)を再現することができる。
<1.基本的構成>
1−1.1つの音像位置の再現
1−2.複数の音像位置の再現
1−3.第二閉曲面での音場再現
<2.実施の形態としての音場再現>
2−1.音源の指向方向の再現
2−2.演奏形態のシミュレート
2−3.ステレオエフェクタの再現
2−4.音源の指向性と指向方向ごとの放音特性の再現
2−5.アンビエンスデータの追加
2−6.カメラ視点に応じた音場再現
2−7.音場再現システムの構成例
1−1.1つの音像位置の再現
図1は、音場再現にあたっての測定環境を模式的に示した図である。
なお、この「1.基本的構成」にて説明する音場再現技術は、後に説明する本実施の形態としての音場再現を実現するにあたってその基とする技術であり、この内容は本出願人の先の出願である「特開2002−186100号公報」にも記載されている。
この測定環境1には、例えば当該測定環境1の壁に近接しない位置に、半径R_bndとなる円周上に、測定用マイク(マイクロフォン)4a、4b、4c、4d、4e、4f、4g、4h、4i、4j、4k、4l、4m、4n、4o、4pを配置する。
なお、以下において、このような半径R_bndとなる円周のことを、第一閉曲面10と呼ぶ。
また、第一閉曲面10の中心から半径R_spとなる位置に、仮想音源として測定用スピーカ3を配置する。この測定用スピーカ3に対しては、測定用信号再生部2から測定用信号が供給される。この測定用信号としては、後述するインパルス応答測定のためのTSP(Time Streched Pulse:時間引き延ばしパルス)信号を出力するようにされる。
なお、測定用スピーカ3は、後述する再生環境における仮想スピーカを再現するために備えられることから、その指向性や周波数特性は、再生環境における聴取者に対する聴感を想定したものとすることが望ましい。
各測定用マイク4(a〜p)で検出された音声信号は、図示していないインパルス応答測定装置に供給され、ここでは各測定用マイク4で検出された音声の音圧に基づいて、測定用スピーカ3から各測定マイク4(a〜p)に対応したインパルス応答が測定される。このインパルス応答は、大きなホールなどでは5〜10秒程度であることもあるが、小さなホールや響きの少ないホールなどではより短い時間長となることもある。この測定により、各インパルス応答に基づいた伝達関数を求めることができる。すなわち、図1には、測定用マイク4aに対応した伝達関数Haを求める場合の音声の経路が示されている。また、図示していないが、測定用マイク4b〜測定用マイク4pについても、同様にそれぞれに対応した伝達関数Hb〜Hpを求めることができる。
なお、インパルス応答の測定は、各測定用マイク毎に行ってもよいし、全ての測定用マイク4(a〜p)に対して同時に行うようにしてもよい。また、測定用信号はTSP信号に限らず、擬似ランダム雑音や音楽信号などを用いてもよい。
また、以降の説明においても、測定環境1における測定用スピーカから測定用マイクまでの伝達関数は「H」により表す。
再現信号生成装置5において、音声再生部6は、任意の音声信号Sを出力することができるようにされている。この音声再生部6から出力された音声信号Sは、演算部7a、7b、7c、7d・・・7n、7o、7pに供給される。個々の演算部7(a〜p)には、それぞれ上記のようにして測定用マイク4a〜4p対応に測定された伝達関数Ha〜Hpのうち、同じ添え字(アルファベット)の付される伝達関数Hが設定されており、各演算部7は、供給された音声信号Sに対してそれぞれ設定された伝達関数Hに基づく演算処理を施す。これにより、各演算部7(a〜p)からは、音声信号Sに対して伝達関数に対応するインパルス応答が畳み込まれた再現信号SHa、SHb、SHc、SHd・・・SHn、SHo、SHpが出力される。
なお、先にも述べたが、各演算部7の動作は、それぞれ設定された伝達関数(インパルス応答)をフィルタ係数として設定したFIRフィルタによっても実現することができる。このことは、後述する全ての「演算部」についても同様である。
再現環境11は、例えば無響室や、残響の少ないスタジオなどとされる。
この再現環境11に、図2に示した再現用スピーカ8(a〜p)を配置する。この場合、再現用スピーカ8(a〜p)は、図1に示した測定用マイク4(a〜p)の配置位置に対応させ、半径R_bndで形成される第一閉曲面10の外周上に内側に向けて配置される。つまり、再現用スピーカ8(a〜p)、測定用マイク4(a〜p)において同一の添え字(アルファベット)を付したもの配置位置どうしが対応している。
なお、測定環境1における第一閉曲面10と再現環境11における第一閉曲面10とは、それぞれ別々の空間に存在する閉曲面ではあるが、ここでは同一半径により形成される幾何学的に同等の閉曲面ということで、便宜上同一の符号を付している。
しかし、上記のように、無数個のマイクロフォンと再現用スピーカを必要とすることは、実際にこれを実現することは困難である。そこで、本出願人は、指向性マイクロフォン、例えば単一指向性マイクロフォンの出力に音圧及び粒子速度成分が含まれることに着目して、有限個数の指向性マイクロフォンと、それに対応する数の再現用スピーカでほぼ同様な音響効果が得られることを実験により確かめた。
ここで、このことによれば、図1に示したように測定環境1におけるインパルス応答の測定を1回行っておけば、その後、これら測定データ(伝達関数)を用いることで、再現環境11など測定環境1以外の環境で、随時測定環境1の音場を擬似的に再現することができるようになる。
そして、この場合、先の図2の構成によれば、このように再現される音場で再生する音声としては任意の音声とすることができるので、測定を行ったホールで任意の音声が再生された(任意の演奏が行われた)ものとして再現することができる。
上記説明では、測定環境1において1つの測定用スピーカ3から各測定用マイク4(a〜4p)までのインパルス応答を測定した結果に基づき、再現環境11において1つの音像位置を再現するものとしたが、この技術を応用することで、次の図4に示されるようにして配置した複数の測定用スピーカ3、つまり複数の音像位置を再現することが可能となる。
例えば図4では、測定用スピーカ3−1から測定用マイク4aまでに対応した伝達関数Ha−1、測定用スピーカ3−1から測定用マイク4bまでに対応した伝達関数Hb−1を得る経路を模式的に示している。また、同じように測定用スピーカ3−3から測定用マイク4aまでに対応した伝達関数Ha−3、測定用スピーカ3−3から測定用マイク4oまでに対応した伝達関数Ho−3を求める経路についても模式的に示している。
この場合のインパルス応答の測定は、異なるPositionの測定用スピーカ3からの音声が混在しないように、1つの測定用スピーカ3ごとに測定用信号TSPを出力して行うことが望ましい。また、複数の測定用スピーカ3を配置する以外にも、1つの測定用スピーカ3を順次各Positionに配置して行うようにすることもできる。
この再現信号生成装置15としては、例えば複数の音像位置(Position1〜Position4)ごとに、それぞれ異なる音声を出力する場合に対応した構成を採る。このために、各Positionに対応した音声再生部6−1、6−2、6−3、6−4の計4つの音声再生部を備えるようにされる。
この場合も各音声再生部6としては、任意の音声信号Sを出力することができるようにされている。ここでは、各音声再生部6から出力される音声信号Sを、それぞれのPositionの番号に対応させて音声信号S1、S2、S3、S4と示している。
演算部7a−1〜7p−1に対しては、図示するように測定用スピーカ3−1(Position1)から各測定用マイク4への出力に応じて得られた伝達関数Ha−1〜Hp−1が設定される。これら演算部7a−1〜7p−1は、それぞれ音声再生部6−1から入力される音声信号S1に対し、設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−1〜SHp−1を出力する。これによって、先ずは測定用スピーカ3−1(Position1)の音像位置を再現するための再現信号が得られる。
また、演算部7a−2〜7p−2に対しては、測定用スピーカ3−2(Position2)から各測定用マイク4への出力に応じて得られた伝達関数Ha−2〜Hp−2が設定され、これら演算部7a−2〜7p−2は、それぞれ音声再生部6−2から入力される音声信号S2に対し設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−2〜SHp−2を出力する。これによって測定用スピーカ3−2(Position2)の音像位置を再現するための再現信号が得られる。
同様に、演算部7a−3〜7p−3は、測定用スピーカ3−3(Position3)に応じて得られた伝達関数Ha−3〜Hp−3が設定され、それぞれ音声再生部6−3から入力される音声信号S3に対し設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−3〜SHp−3を出力する。これにより測定用スピーカ3−3(Position3)の音像位置を再現するための再現信号が得られる。
さらに、演算部7a−4〜7p−4は、測定用スピーカ3−4(Position4)に応じて得られた伝達関数Ha−4〜Hp−4が設定され、それぞれ音声再生部6−4から入力される音声信号S4に対し設定された伝達関数Hに基づく演算処理を行って再現信号SHa−4〜SHp−4を出力する。これにより測定用スピーカ3−4(Position4)の音像位置を再現するための再現信号が得られる。
つまり、例えば加算器9aは、演算部7a−1、7a−2、7a−3、7a−4からの4つの再現信号SHa−1、SHa−2、SHa−3、SHa−4を入力し、これらを加算して再現用スピーカ8aに供給する。これによってスピーカ8aからは、図4に示した全てのPositionから測定用マイク4aまでの経路に対応した再現音声を出力することができる。
また、加算器9pは、演算部7p−1、7p−2、7p−3、7p−4からの4つの再現信号SHp−1、SHp−2、SHp−3、SHp−4を入力し、これらを加算して再現用スピーカ8pに供給する。これによりスピーカ8pからは、図4に示した全てのPositionから測定用マイク4pまでの経路に対応した再現音声を出力することができる。
このような再現信号SHの加算が加算器9b〜9oにおいて同様に行われることで、それぞれ対応するスピーカ8b〜8oにおいても、同様に全てのPositionから該当する測定用マイク4までの経路に対応した再現信号を出力することができる。
この結果、これら再現用スピーカ8a〜8pにより囲われる、再現環境11における第一閉曲面10の内側の聴取者は、図4に示した各測定用スピーカ4(Position1、Position2、Position3、Position4)のそれぞれから音声を再生した場合の音場が第一閉曲面10の外側に擬似的に再現されているように感じることができる。すなわち、これによってPosition1、Position2、Position3、Position4のそれぞれの位置に、音像を再現(定位、提示)することができる。
先の図5に示した再現信号生成装置15では、Position1、Position2、Position3、Position4ごとに独立して別々の音声を入力できるように構成した。これによれば、各Positionごとに、例えばボーカル、ドラム、ギター、キーボード(鍵盤楽器)などといった異なるPlayerの音声を入力することで、この図6に示されているように、Position1にはボーカル(Player1)、Position2にはドラム(Player2)、Position3にはギター(Player3)、Position4にはキーボード(Player4)などというように、然るべきPositionに然るべきPlayerの音像を提示することができるようになる。
ここで、これまでで説明したような音場再現の手法においては、測定用スピーカ4の配置数、再現環境11での再現用スピーカ8の配置数を増やすほど、音像の定位感(音場の再現度)は増すことができる。このことによれば、再現環境11としては、なるべく多くの再現用スピーカ8を配置できる環境が望ましいものとなるが、実際の再現環境としては、例えば一般の家庭の部屋などとされることも考えられる。
一般家庭の部屋などの環境では、スピーカの配置数は限られたものとなり、また、このように配置数が制限される以外にも、それぞれの家庭では各スピーカの配置関係が異なるものとなることが予想される。従って、一般家庭での音場再現を想定した場合は、それらの条件に応じて、ホールなどの測定環境において、それぞれの条件に応じた測定用マイク4の配置関係・配置数の別ごとに測定を行う必要がある。
しかし、このことによると、例えば新たなスピーカの個数・配置の条件に対応させるとした場合には、いちいち対象とするホールに出向き、その条件に応じた測定用マイクの配置により測定を行う必要がでてきてしまい、この点で多大な労力と費用を要するものとなってしまう。
つまり、これによって上記第二閉曲面内において、測定環境1の音場を再現することが可能となる。
これによれば、例えば対象とするホールなどでの測定を1度行っておけば、家庭の部屋などの実際の再現環境への適応のための測定は、いちいち対象とするホールなどに出向かずとも、再現環境11としての例えば実験施設などにおいて、第一閉曲面10上の再現用スピーカ8のそれぞれから第二閉曲面14上のそれぞれの測定用マイクまでについて行えばよいものとできる。
例えば、ライブなどのイベントとしては、実際にその会場(ホール)でアーティストが演奏する形態以外にも、所謂フィルムライブなどとして行われるような、実際のライブ会場での映像を映し出すスクリーンを配置した会場においてライブ音声を流すことで行われるものもある。
このようなフィルムライブの会場であれば、比較的多数の再現用スピーカ8を配置することができる(つまり測定時に多数の測定用マイク4を配置できる)ので、実際のライブ会場で測定した情報に基づきこれらの再現用スピーカ8から再現音声を出力すれば、実際のライブ会場さながらの音場を再現することができる。また、このとき、PlayerごとのPositionが予め決まっているのであれば、予め実際の会場にてそのPositionごとに測定を行っておき、再現時にはそのPositionに該当するPlayerの音声をそのPositionでの測定結果(伝達関数)に基づいて演算処理を施すことで、各Playerの音像位置も的確に再現することができる。
なお、ここでは説明を簡略化するために、測定環境1において測定用スピーカ3を1つのみ配置し、1つの音像位置のみを再現する場合について例示する。
図7において、この場合は、再現環境11における第一閉曲面10の内側に、測定用マイク13A、13B、13C、13D、13Eを配置する。これらの測定用マイク13(A〜E)は、例えば家庭の部屋などとされる再現環境(後述する再現環境20)に配置される再現用スピーカに対応した配置状態をとるようにされればよく、その個数及び配置関係は図示するものに限定はされない。
この図では、これら測定用マイク13(A〜E)を外周として形成される閉曲面を、第二閉曲面14として表している。この第二閉曲面14の内側が、家庭の部屋などとされる再現環境における聴取位置になる。
なお、第二閉曲面14は、第一閉曲面10の内側に形成される必要があるため、測定環境1において測定を行う場合は、第二閉曲面14の広さを考慮して第一閉曲面10を形成することが望ましい。
またこの場合、ホールでの測定はなるべく多くの測定用マイク4を配置して、第一閉曲面10上のなるべく多くの点までについての伝達関数Hを求めておくことが好ましい。これによって測定環境1→再現環境11ではより高い再現度で対象とした音場を再現できる状態としておくことができ、家庭の部屋などの再現環境への適応としてもより高い再現度を実現できる。
例えば図7にも示されているように、測定用マイク13Aに対する再現用スピーカ8aからの伝達関数はEa−Aと表す。また、測定用マイク13Aに対する再現用スピーカ8bからの伝達関数はEb−Aとし、また再現用スピーカ8cからの伝達関数はEc−Aと表す。
また、図示は省略しているが、上記再現用スピーカ8aから、残りの測定用マイク13B〜13Eへの伝達関数をEa−B、Ea−C、Ea−D、Ea−E、さらに、上記再現用スピーカ8bから測定用マイク13B〜13Eへの伝達関数をEb−B、Eb−C、Eb−D、Eb−E、上記再現用スピーカ8cから測定用マイク13B〜13Eへの伝達関数をEc−B、Ec−C、Ec−D、Ec−Eと表す。以下も同様に、小文字アルファベットは測定用スピーカ8の別、ハイフン後の大文字アルファベットは測定用スピーカ13の別を示すものとして、スピーカ→マイクの対応を示すようにして伝達関数Eを表現する。
なお、この図においては、家庭の部屋などとされる実際の再現環境20に配置される再現用スピーカを、図示するように再現用スピーカ18A、18B・・・18Eとしている。
先ず、音声再生部6からの音声信号Sは、先の図2に示したものと同様に伝達関数Ha〜Hpが設定された演算部7a〜7pのそれぞれに入力される。このように演算部7a〜7pにより音声信号Sがそれぞれ伝達関数Ha〜Hpに基づき演算処理されることで、再現用スピーカ8a〜8pのそれぞれに対応した再現信号SHa〜SHpが得られる。
従って、第二閉曲面14上の各測定用マイク13(つまり実際の再現環境20における再現用スピーカ18)の位置ごとに対応する再現信号を得るにあたっては、図示するように測定用マイク13の位置(A〜E)ごとに、上述の各マイク13ごとのa〜pの伝達関数Eを設定した、演算部16a−A〜16p−A、16B−a〜16B−p・・・16E−a〜16E−pを設けるようにする。
そして、図示するように、これら演算部16a−A〜16p−A、16B−a〜16B−p・・・16E−a〜16E−pに対し、上記した演算部7a〜7pからの再現信号SHa〜SHpとして、それぞれ対応する添え字の付された再現信号SHを供給し、これにより各演算部16において、入力される再現信号SHを各々に設定された伝達関数Eに基づき演算処理を施すようにする。
つまり、例えば測定用マイク13A(再現用スピーカ18A)に対応しては、測定用マイク8a〜8pのそれぞれからの経路に応じた伝達関数Eにより演算処理された再現信号SHEA−a〜SHEA−pが得られる。同様に、測定用マイク13B(再現用スピーカ18B)に対応しては、測定用マイク8a〜8pからのそれぞれの経路に応じた伝達関数Eにより処理された再現信号SHEB−a〜SHEB−pが得られるといったものである。
以下同様に、演算部16a−C〜16p−C、16D−a〜16D−p、16E−a〜16E−pからの出力は、それぞれSHEC−a〜SHEC−p、SHED−a〜SHED−p、SHEE−a〜SHEE−pと表すものとする。
図示するように加算器17A、17B・・・17Eは、演算部16a−A〜16p−AからのSHEA−a〜p、16a−B〜16p−BからのSHEB−a〜p・・・16a−E〜16p−EからのSHEE−a〜pを入力し、それらを加算して再現用スピーカ18A、18B・・・18Eのうちの対応するスピーカ18に供給する。
上記説明から理解されるように、加算器17の各々に入力される再現信号SHE(a〜p)は、それぞれ伝達関数H及び伝達関数Eに基づき処理され、且つそれぞれの測定用マイク13(再現用スピーカ18)ごとに応じた再現信号となっている。
従って上記のように各加算器17でそれらを加算して対応する再現用スピーカ18に供給することで、各再現用スピーカ18からは、それぞれ測定環境1における音場を再現するための再現信号SHE(SHEA、SHEB・・・SHEE)が出力されることになる。すなわち、このような再現用スピーカ18を第二閉曲面14上での測定用マイク13と同様に配置した実際の再現環境20では、その第二閉曲面14内において、測定環境1の音場を再現することができるようになる。
再生環境20における再現用スピーカ18(A〜E)は、先の図7に示した第二閉曲面14上と同じ半径を有する第二閉曲面14上において、図7の各測定用マイク13(A〜E)と同等の位置関係により配置される。つまり、この再現環境20における各再現用スピーカ18は、各測定用マイク13と幾何学的に同等の位置関係により配置される。
そして、図示するようにこれら再現用スピーカ18(A〜E)は、第二閉曲面14上において、その内側方向に向けて配置され、再現用スピーカ18Aからは再現信号SHEA、再現用スピーカ18Bからは再現信号SHEB、再現用スピーカ18Cからは再現信号SHEC、再現用スピーカ18Dからは再現信号SHED、再現用スピーカ18Eからは再現信号SHEEを出力することで、第二閉曲面14の内側にいる聴取者にとっては、破線で示す第一閉曲面10上に配された再現用スピーカ8(a〜p)により再現される音場と同等な音場を感じることができる。つまりは、破線で示す測定環境1の音場(残響・測定用スピーカ3の音像位置)を擬似的に知覚することができる。従って第二閉曲面14内を聴取位置とした場合、測定環境1内における残響音場、及び音像定位を得ることができるようになる。これにより、例えば家庭の部屋などに居ながら、例えばホールなどの残響音場及び音像定位により、コンテンツとしての音声を聴取することができるようになる。
但しこの場合、測定環境1→第一閉曲面10での伝達関数Hに基づき再生信号Sを処理する演算部7a〜7pと演算部7a−2〜7p−2とでは、それぞれに設定される伝達関数H(a〜b)は異なるもとなる。つまり、例えば演算部7a〜7pで設定される伝達関数Hが、Position1から各測定用マイク8に対応したHa−1〜Hp−1だとすると、演算部7a−2〜7p−2で設定される伝達関数Hは、Position2から各測定用マイク8に対応したHa−2〜Hp−2を測定することになる。
上記構成により、加算器17A〜17Eの出力としては、測定環境1→第一閉曲面10の対応ではPosition1及びPosition2の音像位置がそれぞれ加味され、且つ第一閉曲面10→第二閉曲面14での対応では伝達関数Eにより適応が為された再現信号SHE(A〜E)が得られる。これによって各再現用スピーカ18(A〜E)からは、Position1及びPosition2の音像位置を再現することのできる再現信号を出力することができ、これにより第二閉曲面14においても、その内側の聴取者は、仮想音場としての測定環境1におけるPosition1、Position2に、それぞれの音像を知覚することができるようになる。
2−1.音源の指向方向の再現
ここで、これまでで説明した音場再現の手法では、測定環境1において測定用信号を出力する測定用スピーカ3としては無指向性のものとし、これによってある1点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報(測定環境1の空間情報)を測定するようにされていた。
しかしながら実際において、測定用スピーカ3の配置位置に仮想音像として再現しようとする音源としては、指向性を有するものも想定できる。このような場合において、上記のように無指向性による測定用スピーカ3を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。
図10は、本実施の形態としての音場再現として、先ずは音源の特定の指向方向を再現する場合における測定環境1の模式図を示している。
図10において、この場合も測定環境1では、第一閉曲面10上においてそれぞれ外向きに測定用マイク4a〜4pを配置する。その上でこの場合は、有指向性の測定用スピーカとして、単一指向性の測定用スピーカ21を、図示するように或る特定の方向に向けた状態で測定用信号TSPの出力を行い、以降はこれまでと同様に測定用マイク4a〜4pまでに対応したインパルス応答の測定を行って伝達関数Hを求める。
ここで、図10において測定用スピーカ21が向けられた方向はDirection2とし、また測定用スピーカ21の配置位置はPosition1とする。
そして、このDirection2に向けた状態で上記のようにして各測定用マイク4(a〜p)ごとに得られた伝達関数Hは、測定用マイク4a、4b・・・4pの順に、それぞれ伝達関数Ha-dir2、Hb-dir2、Hc-dir2・・・Hp-dir2と表す。
先ずこの場合、音源としては、ライン収録音源(Player1)22を想定している。このライン収録音源22とは、対象とするPlayerから直接的に収録した音源であり、例えばボーカルではマイクによって検出した電気信号を取り込んだものであり、またギターやキーボードなどの電気楽器では音声出力端子からの電気信号を直接的に取り込んだものとなる。
確認のために述べておくと、ここで言う「Player」とは、再現しようとする仮想音像位置(Position)の1つ1つに対応するものであり、先の図6にも示したように、例えばボーカル、ドラム、ギター、キーボードなどの各演奏者の別に対応するものとなる。ここでは、Player1はボーカルであるとして、その仮想音像を破線により示している。
そして、ライン収録音源22からのライン収録データとしての音声信号を、上述のようにして音源の指向方向が加味された伝達関数Ha-dir2、Hb-dir2、Hc-dir2・・・Hp-dir2の各々に基づき演算処理し、それらを対応する再現用スピーカ8からそれぞれ出力する。
これにより、第一閉曲面10内における聴取者は、測定環境1におけるPosition1の仮想音像位置において、Player1が図中の矢印により示した指向方向に向けて放音しているものとして知覚することができる。すなわち、これにより再現環境11において、測定環境1におけるPosition1の仮想音像位置から特定の指向方向に向けて放音した場合の音場を再現することができる。
なお、この場合の各スピーカ8a〜8pが出力すべき再現信号を生成する再現信号生成装置の構成としては、先の図2に示したものと各演算部7に設定される伝達関数Hが異なる以外は同等の構成となる。
このようにして、特定の指向方向を表現できれば、例えばボーカルやギターなどのPlayerが演奏中に振り返る、また楽器を回すなどの演奏形態のシミュレートを行うことができる。以下、その手法について説明する。
図12は、このようにして演奏形態のシミュレートを実現するにあたっての測定環境1の様子を模式的に示した図である。
先ずこの場合は、仮想音像位置を中心として各方向に測定用スピーカ21を向けてインパルス応答の測定を行う。ここでは、測定用スピーカ21として指向性60°のスピーカを用いて、音源の指向方向として6つの方向(Direction1、Direction2・・・Direction6)を定義する。
そして、図示するように第一閉曲面10上に配置された各測定用マイク4(a〜p)により、測定用スピーカ21を各Directionに向けたときのインパルス応答を測定し、測定用スピーカ21→各測定用マイク4に対応した伝達関数Hを各Directionごとに得る。
このとき、Direction1としたときの各測定用マイク4(a〜p)までの伝達関数Hは、「Ha-dir1、Hb-dir1・・・Hp-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク4(a〜p)までの伝達関数は、それぞれ「Ha-dir2、Hb-dir2・・・Hp-dir2」、「Ha-dir3、Hb-dir3・・・Hp-dir3」、「Ha-dir4、Hb-dir4・・・Hp-dir4」、「Ha-dir5、Hb-dir5・・・Hp-dir5」、「Ha-dir6、Hb-dir6・・・Hp-dir6」と表す。
なお、この図では、先の図4〜図6にて説明したようにして測定環境1における複数のPosition(Position1〜Position4)を再現する場合に対応した構成を示す。
このようにPositionを複数想定したとき、伝達関数Hは、各Positionに配置した測定用スピーカ21(21−1〜21−4)について、図12にて説明したものと同様の手法によりインパルス応答の測定を行った結果に基づき求めることができる。
この場合も各Position(各Player)に対応した音声再生部は、Position1から順に音声再生部6−1、6−2、6−3、6−4として示している。また、各Positionごとの演算部については、Position1から順に演算部26a−1〜26p−1、26a−2〜26p−2、26a−3〜26p−3、26a−4〜26p−4とする。
さらに、この場合としても再現用スピーカ8a〜8pと1対1の関係により設けられる加算器27a〜加算器27pが備えられる。これら加算器27a〜27pは、演算部26a−1〜26p−1、演算部26a−2〜26p−2、演算部26a−3〜26p−3、演算部26a−4〜26p−4のうち、対応する添え字(アルファベット)の付された演算部26からの出力を入力し、それらを加算して対応する再現用スピーカ8に供給する。これにより各再現用スピーカ8からは、各Positionの音像位置を表現する再現信号を出力することができる。
ROM29内には、予め測定環境1における測定の結果得られた、各Positionごと、及び各Directionごとの伝達関数Hの情報が、Direction対応情報29aとして格納されている。
図14は、ROM29に格納される上記Direction対応情報29aのデータ構造を示している。この図に示すように、この場合は各Positionごとに、測定用スピーカ21をそれぞれのDirectionに向けたときの伝達関数Hの情報が得られることになる。
ここでは、各測定用マイク4(a〜p)までに対応した伝達関数Ha〜Hpについて、その直後に付す数字によりPositionの別を表している。さらに、その後に付す「-dir」の数字により各Directionを表している。例えば、Position1の測定用スピーカ21をDirection2の方向に向けたときの、測定用マイク4aへの伝達関数Hは、「Ha1-dir2」と表し、またPosition3の測定用スピーカ21をDirection6の方向に向けたときの、測定用マイク4bへの伝達関数Hは「Hb3-dir6」と表すといったものである。
例えば、Position1についての指向方向をDirection1→Direction2→Direction3方向に回転させるとした場合には、ROM29から伝達関数Ha1-dir1〜Hp1-dir1→Ha1-dir2〜Hp1-dir2→Ha1-dir3〜Hp1-dir3を順次読み出し、これらを演算部26a−1〜26p−1に対し順次設定する。これによりPosition1についての指向方向は時間経過と共に順にDirection1→Direction2→Direction3へと回転させることができる。
しかし、これは測定回数の増加を招き現実的ではないので、実際に回転を表現するにあたっては、隣接するDirection同士の伝達関数Hを補間してさらに細かい区切りによるDirectionごとの伝達関数Hを生成し、これらを時間経過に応じて順次変更設定していくようにする。これによれば、比較的少ないDirectionを定義した場合にもスムーズな回転を表現することができる。
また、このことは、指向方向制御の対象とする音源(Position)の指定についても同様となる。
ところで、これまでの説明においては、入力音声信号がモノラル音声信号であることを前提としたが、入力音声信号としてはステレオ音声信号である場合もあり得る。例えば、エレキギターなどの電気楽器としては、その出力音声自体はモノラルであるが、これを演出加工するいわゆるエフェクタを通した場合、モノラル信号が加工されてステレオ信号として出力される場合がある。
このようなエフェクタによる演出効果をそのまま再現したいとした場合には、1つの仮想音像位置につき、Rch(チャンネル)とLchとの2つの音源を再現することが考えられる。ここでは、このようなRchとLchとの再現を、これまでで説明した音源の指向方向の概念を利用して行う例を挙げる。
ここで、それぞれの音源がRchとLchに基づくものであれば、これらの音源に対応する指向方向としては逆とするか、或いは少なくとも同方向とならないようにすればよい。そこでこの場合としては、図示するようにRch音源の指向方向についてはDirection6を定義し、Lch音源の指向方向についてはDirection2を定義する。
そして、これに対応して、この場合の測定としては、Rch音源に対応したDirection6方向に測定用スピーカ21を向けたときの各測定用マイク4へのインパルス応答と、Lch音源に対応したDirection2方向に測定用スピーカ21を向けたときの各測定用マイク4へのインパルス応答を測定し、これによってRch音源、Lch音源に対応したそれぞれの伝達関数Hを求めるようにする。
この場合も、測定用スピーカ21の配置位置をPosition1であるとすると、上記のようにDirection6に向けたときに各マイク4ごとに得られる伝達関数Hは「Ha1-dir6、Hb1-dir6・・・Hp1-dir6」と示す。同様に、Direction2に向けたときに各マイク4ごとに得られる伝達関数Hは「Ha1-dir2、Hb1-dir2・・・Hp1-dir2」と示す。
音声再生部6からの再生信号Sは、ステレオエフェクト処理部31に入力される。このステレオエフェクト処理部31は、入力されるモノラル音声信号に対し、いわゆるフランジャーやデジタルディレイなどといったデジタルエフェクト処理を施してRch、Lchによるステレオ音声信号を生成する。
なお、ここではステレオエフェクタを内蔵する構成を示しているが、外部のエフェクタにおいてステレオエフェクト処理されて得られたRch音声信号とLch音声信号とを直接入力する構成とすることもできる。
演算部31a−R、31b−R・・・31p−Rは、それぞれ入力されるRch音声信号に対し設定された伝達関数Hに基づく演算処理を行う。これによってDirection6の指向方向を有するRch音源を再現するために各再現用スピーカ8から出力すべき再現信号が得られる。
同様に、演算部31a−L、31b−L・・・31p−Lとしては、それぞれ入力されるLch音声信号に対し設定された伝達関数Hに基づく演算処理を行うようにされ、これによりDirection2の指向方向を有するLch音源を再現するために各再現用スピーカ8から出力すべき再現信号を得ることができる。
このようにして、Rch音源の指向方向を再現するための再現信号と、Lch音源の指向方向を再現するための再現信号とがそれぞれ加算されて対応する再現用スピーカ8から出力されることで、これら再現用スピーカ8が配置された再現環境11における第一閉曲面10内において、Rch音源の指向方向とLch音源の指向方向とを表現したかたちで測定環境1の音場を再現することができる。
ここで、ピアノやバイオリン、ドラムなどといった電気楽器ではないいわゆるアコースティック楽器としては、それぞれの楽器で多少なりともその指向性と指向方向ごとの放音特性が異なるものとなる。厳密に言えば、このような楽器(音源)ごとの指向性や指向方向ごとの放音特性が、ホール等の音響空間全体に対して個別に影響を与えてその音源の音響特性を形づくるものとなるので、よりリアルにその音源としての仮想音像を再現するとした場合には、その指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うことが有効である。
図17は、この場合の音源の収録の様子を模式的に示した図であり、図17(a)ではその斜視図を、また図17(b)ではその上視図を示している。
この場合、先ずは所要の音源36を或る平面上で円形状に囲う音源収録面35を定義する。そして、この音源収録面35上において、音源36を取り囲むようにして複数の収録用マイク37(有指向性マイク)を配置する。この場合も各マイク37に記した矢印の方向は指向性方向を示しており、これら矢印からわかるように各マイク37は音源36と向き合う方向に配置する。このように配置した複数の有指向性マイクごとに音源36からの音声を収録することで、それぞれの収録音声には、音源36の指向性と指向方向ごとの放音特性とを反映させることができる。
ここでは、音源収録面35上においてそれぞれ指向性60°の収録用マイク37を6つ配置し、Direction1〜Direction6の6つのDirectionを定義する例を示している。図示するようにDirection1の収録用マイク37は収録用マイク37−1、Direction2の収録用マイク37は収録用マイク37−2というように、収録用マイク37の符号はハイフン以下の数字により配置されるDirectionの別を示す。
このように音源36を6方向から囲うことによって、この場合は音源36についての指向方向として6つの方向が定義されたことになる。さらには、このように6方向に配置した各収録用マイク37により音声を収録することで、これら各収録用マイク37ごとの収録音声としては、音源36の6つの指向方向ごとの放音特性をそれぞれ反映したものとすることができる。
つまり、図17において各Directionごとに配置される各収録用マイク37の位置に同じ指向性60°の有指向性スピーカを外向きに配置し、これらのスピーカからそれぞれ対応する収録用マイク37による収録音声を出力することで、音源36の指向性と指向方向ごとの放音特性とを反映したかたちで音源36を再現することができる。
なお、この場合において、各収録用マイク37による音源36の収録は、収録現場での空間情報が含まれないようにするために、なるべく音源36に近接した状態(いわゆる「オン」の状態)で行われることが好ましい。
ここで、再現環境11において測定環境1に配置された音源36のDirection1〜Direction6の指向方向を表現するためには、先にも説明したように、これらDirectionごとに伝達関数Hを求めるようにすればよい。この場合には、音源36からの収録音声は各Directionごとに存在するので、これら各Directionの収録音声を、各Directionについて求めた伝達関数Hのうちの同じDirectionの伝達関数Hにより畳み込むことで、各Directionごとの再現信号を得ることができる。
すなわち、例えば音源36の測定環境1での配置位置を仮にPosition1(Player1)とした場合、Direction1については、伝達関数Ha1-dir1、Hb1-dir1・・・Hp1-dir1、Direction2については伝達関数Ha1-dir2、Hb1-dir2・・・Hp1-dir2を求める。同様に、Direction3については伝達関数Ha1-dir3、Hb1-dir3・・・Hp1-dir3、Direction4については伝達関数Ha1-dir4、Hb1-dir4・・・Hp1-dir4、Direction5については伝達関数Ha1-dir5、Hb1-dir5・・・Hp1-dir5、Direction6については伝達関数Ha1-dir6、Hb1-dir6・・・Hp1-dir6を求めるものである。
この場合、音声再生部6にて再生する音声は、各Directionごとに収録した音声信号である。ここでは、Direction1に配置された収録用マイク37−1で収録された音声を再生する音声再生部6を、音声再生部6−1−1とし、またDirection2に配置された収録用マイク37−2で収録された音声を再生する音声再生部6を音声再生部6−1−2と示している。同様に、収録用マイク37−3、37−4、37−5、37−6で収録された音声信号を再生する音声再生部6を、音声再生部6−1−3、6−1−4、6−1−5、6−1−6と示している。
なお、この場合の音声再生部に付した符号について、1つ目のハイフン後の数字は、音源36が仮にPosition1に配置されたPlayer1であると仮定した場合に対応させた数字であり、例えばPosition2に配置されたPlayer2である場合には「2」が付されるといったものである。また、このことは、以下で説明する各部の符号についても同様である。
演算部41−1−1a〜41−1−1pには、測定用スピーカ21をDirection1に向けたときの各測定用マイク4(a〜p)までに対応した伝達関数H(Ha1-dir1〜Hp1-dir1)が設定されており、各々は、音声再生部6−1−1から供給される音声信号を、設定された伝達関数Hに基づき処理する。これにより、先ずはDirection1の収録音声については、Direction1方向に放音されたものとして表現するために各再現用スピーカ8(a〜p)から出力すべき再現信号を得ることができる。
また、演算部41−1−2a〜41−1−2pには、伝達関数Ha1-dir2〜Hp1-dir2が設定され、各々音声再生部6−1−2から再生されるDirection2の収録音声信号について設定された伝達関数Hに基づき演算処理を行うことで、Direction2の収録音声がDirection2方向に放音されたものとして表現するために各再現用スピーカ8から出力すべき再現信号を得ることができる。
同様に、演算部41−1−3a〜41−1−3p、演算部41−1−4a〜41−1−4p、演算部41−1−5a〜41−1−5p、演算部41−1−6a〜41−1−6pには、伝達関数Ha1-dir3〜Hp1-dir3、伝達関数Ha1-dir4〜Hp1-dir4、伝達関数Ha1-dir5〜Hp1-dir5、伝達関数Ha1-dir6〜Hp1-dir6が設定され、それぞれ音声再生部6−1−3、6−1−4、6−1−5、6−1−6からの音声信号を、設定された伝達関数Hに基づき処理する。これにより、演算部41−1−3a〜41−1−3pではDirection3の収録音声、演算部41−1−4a〜41−1−4pではDirection4の収録音声、演算部41−1−5a〜41−1−5pではDirection5の収録音声、演算部41−1−6a〜41−1−6pではDirection6の収録音声について、それぞれ各再現用スピーカ8(a〜p)から出力すべき再現信号が得られる。
これにより、上記のようにして各Directionごとに得られた、各再現用スピーカ8ごとに出力すべき再現信号は、再現用スピーカ8ごとに加算されて対応する再現用スピーカ8から出力されるものとなる。
この結果、再現環境11の第一閉曲面10内において、音源の指向性と指向方向ごとの放音特性とを反映したかたちで、よりリアルに測定環境1における仮想音像を再現することができる。
図19においては、音源を円筒状に囲む例を示している。
この場合の音源の収録は、図のように円筒を上段、中段、下段の円形平面により区切り、それぞれの円形平面上に複数の収録用マイク51を配置して行う。
ここでは、上段、中段、下段の円形平面を、それぞれ円形平面50−1、円形平面50−2、円形平面50−3と示している。そして、上段の円形平面50−1の外周上に配置される収録用マイク51を51−1、中段の円形平面50−2の外周上に配置される収録用マイク51を51−2、下段の円形平面50−3の外周上に配置される収録用マイク51を51−3と表す。 この場合もそれぞれの円形平面上では、収録用マイク51は指向性60°のものを使用し、Direction1〜Direction6の6つのDirectionを定義する。この場合、各収録用マイク51のDirectionは、2番目のハイフン後の数字によって表す。例えば、上段のDirection2に配置された収録用マイク51は収録用マイク51−1−2、下段のDirection6に配置された収録用マイク51は51−3−6と表すといったものである。
つまりは、図19に示す収録用マイク51と幾何学的に同等の配置位置で、同じ指向性60°の再現用スピーカを外向きに配置し、それらから対応する収録用マイク51で収録された音声を出力することで、円形平面51−1〜51−3で囲まれる空間内に収録対象となった人間が存在するように知覚させることができるものである。
先ず、この場合は立体的な再現を行うものとされることから、第一閉曲面10としても、立体的な空間を想定する。この場合は、第一閉曲面10としては直方体による空間を想定し、測定用マイクはこの直方体による第一閉曲面10を覆う所要の位置において外向きとなるように配置する。このように立体的に配置された測定用マイクについては、図示するように53a〜53xと示す。なお、このことは、必ずしもこれまでの平面による第一閉曲面10の場合と配置する測定用マイク4の個数が異なることを意味するものではなく、測定用マイク53としてはa〜pまでとすることもできる。
なお、先の説明では第一閉曲面10は円形であるとしたが、ここでは便宜上、立体による閉曲面についても同一の符号を付した。
これら測定用スピーカ52としても指向性60°の有指向性スピーカを用いる。また、この場合としても各測定用スピーカ52の符号は、最初のハイフン後の数字は配置される円形平面50−1、50−2、50−3の別を示し、2番目のハイフン後の数字はDirection1からDirection6の別を表している。
その上で、各測定用スピーカ52ごとに、図示は省略した測定用信号再生装置2からの測定用信号TSPの出力を行い、このとき第一閉曲面10上に配置した各測定用マイク53a〜53xまでに対応して得られるインパルス応答(伝達関数H)の測定を行う。
例えば、ここでは第一閉曲面10上の測定用マイク53はx個であり、また測定用スピーカ52は6×3=18個であるので、合計で18×x個の伝達関数Hが得られることになる。
そして、これら再現用スピーカ8a〜8xにより出力すべき再現信号を生成するための再現信号生成装置の構成としては、基本的には先の図18に示した構成と同様となる。つまり、この場合も1つの円形平面50について見れば、Direction1〜Direction6までの6つのDirectionについて、それぞれの収録音声を対応する伝達関数Hで畳み込んで各再現用スピーカ8から出力すべき再現信号を得ることに変わりはないので、そのための構成(つまり6つの音声再生部6と6セットの演算部41(1a〜1p、2a〜2p・・・6a〜6p))をさらに2つ増やしたものとして捉えることができる。
但し、この場合は測定用マイク53をa〜xまでとしたので、測定用スピーカ52ごとに得られる伝達関数Hは、Ha〜Hxまでとなる。つまり、各収録音声ごとに設けられる1セットの演算部41としては、それぞれHa〜Hxを設定したものを設けることになる。同様に、再現用スピーカ8としてもa〜xまでとなるので、加算器42としても各再現用スピーカ8対応にa〜xまで設けることになる。この場合も各加算器42は、同一の添え字の付された演算部41からの再現信号を入力・加算し、その結果を同一の添え字の付された再現用スピーカ8に供給するように構成する。
これによって、再現用スピーカ8が配置された再現環境11における第一閉曲面10内の聴取者は、測定環境1における仮想音像位置としての円筒空間内に、この場合の収録対象としての人間が存在するものとして感じることができるようになる。換言すれば、再現環境11の第一閉曲面10内において、測定環境1の仮想音像位置としての円筒空間内に収録対象としての人間が居るように再現することができる。
これにより再現環境11において、想定した空間内の想定した仮想音像位置としての円筒空間内に、そのキャラクターが存在するかのように再現することができる。
この際、測定環境1においては、同等の球面上に各収録用マイク51の配置位置と幾何学的に同等となる位置に測定用スピーカ52を配置して同様のインパルス応答の測定を行えばよい。
また、再現信号生成装置の構成としては、収録用マイク51と測定用マイク53(つまり測定用スピーカ52と再現用スピーカ8)の配置数を同じとした場合は、先に説明したものと同様の構成となる。
なお、この場合も隣接するDirectionでの伝達関数Hを補間することで、測定回数を減らすことも可能である。
ここで、ライブなどのイベントでの臨場感をよりリアルに再現するにあたっては、観客の声援や拍手などの、その会場で生じる演奏音以外の音(アンビエンス)を付加することが有効である。ここでは、このようなアンビエンスを追加してより臨場感のある音場再現を行う場合の手法について説明する。
先ず、この場合は、第一閉曲面10上において、インパルス応答の測定を行ったときと同数・同位置に収録用マイク64a〜64pを配置する。これら収録用マイク64a〜64pとしても、有指向性マイクを使用する。
なお、同じ測定環境1の第一閉曲面10上の同位置に配置するマイクとして、この収録用マイク64と測定用マイク4とでは異なる符号を付しているが、同一のマイクを使用するものとしてもよい。
なお、この図では、先の図18に示した音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応させた再現信号生成装置の構成について示している。
この図に示されるようにして、測定環境1にて収録されたアンビエンス−a、アンビエンス−b・・・アンビエンス−pについては、それぞれ再生部61a、61b・・・61pにより再生出力する。この場合は、各再現用スピーカ8a〜8pと1対1の関係で設けられた加算器42a〜42pの後段に対して、さらに加算器62a〜62pが設けられ、上記再生部61a、61b・・・61pは、これら加算器62a、62b・・・62pに対し、アンビエンス−a、アンビエンス−b・・・アンビエンス−pを供給する。
これにより、再現環境11における第一閉曲面10の内側に居る聴取者は、第一閉曲面10の外側に測定環境1における観客が居るものとして感じることができ、よりリアルな臨場感を与えることができる。
これまでは、再現環境11において主に音声のみを再生する場合について述べてきたが、例えば或るアーティストのライブイベントを収録したコンテンツとしては、AV(Audeo and Video)コンテンツとすることも考えられる。つまり、これに応じて再現環境11においては、ライブの収録音声とこれと同期した収録映像とを再生するといったものである。
ここで、ライブ映像を収録したAVコンテンツとしては、終始1つの視点(1アングル)のみで被写体(アーティスト)を捉えるのではなく、多数のアングルから捉えるようにされたものがある。このように複数のアングルから被写体を捉える映像がある場合においては、そのアングルごとに応じた音場再現を行うようにすることで、カメラアングルごとに応じた臨場感を与えることができる。
この図23では、実際にライブなどのイベントが行われるホールとしての測定環境1の様子を示しており、図23(a)は実際にライブが行われているときのカメラ65による映像収録の様子を模式的に示し、図23(b)ではカメラアングルに応じた測定の様子について模式的に示している。なお、ここではステージ66上のPlayerは複数居る場合を想定し、その位置を図示するPosition1〜Position4により示している。
例えば図23(a)に示すようにカメラ65がステージ66上のアーティストを捉えた場合に対応しては、図23(b)に示す同じ測定環境1としてのホール内において、同じアングルでステージ66を捉えるようにして配置した測定用マイク68a〜68xにより、ステージ66上の各Positionごとでのインパルス応答の測定を行う。
図23(b)において、この場合の測定環境1における第一閉曲面10としては、先の図20と同様に立体空間を想定し、また図20の場合と同様のa〜xの測定用マイク68を配置している。そして、このような第一閉曲面10による立体空間をステージ66に対して図23(a)でのカメラアングルと同等の角度に傾けた状態となるようにして、それぞれのPosition(1〜4)ごとに配置した測定用スピーカ67(67−1〜67−4)ごとに出力した測定用信号TSPについて、各測定用マイク68(a〜x)ごとのインパルス応答の測定を行う。
これによって、各測定用スピーカ67(1〜4)から各測定用マイク68(a〜x)までに対応したx×4個の伝達関数Hを求めるようにする。
これによって再現環境11における上記再現用スピーカ8(a〜x)で囲まれた第一閉曲面10内の視聴者は、図23に示したアングルでステージ66上を捉えた映像が再生されるときに、同じアングルでステージ66を見た場合での音場を感じることができるようになる。
つまり、この場合には、想定される複数のアングルについて、図23(b)にて説明したものと同様の手法により伝達関数Hの測定を行っておき、カメラアングルと伝達関数Hとの対応情報を作成しておく。
このとき、映像信号については、シーンごとのカメラアングルの情報を例えばメタデータなどとして埋め込んでおく。
そして、収録した映像と音声との再生時においては、上記映像信号中に埋め込まれたアングル情報に基づき、上記アングル・伝達関数Hの対応情報から該当する伝達関数Hを選択し、これを随時演算部に対して設定して再生音声信号を演算処理して再現用スピーカ8(a〜x)から出力する。これにより、映像中の複数のカメラアングルごとに、そのアングルでステージ66を見た場合での音場を知覚させるようにすることができる。
このようなカメラアングルごとに応じた音場再現を行うことができれば、娯楽性を増すことができて好ましい。
また、図23(b)では、測定用信号TSPを出力する測定用スピーカ、及び第一閉曲面10上に配置される測定用マイクはそれぞれ測定用スピーカ67、測定用マイク68と符号を付したが、これらはそれぞれ測定用スピーカ21、測定用マイク4と同等のものである。
以上では、本実施の形態の音場再現システムとしての個々の機能を実現するための方法及び構成について説明してきたが、これらの機能を実現するための手法及び再現システム全体の構成について以下で説明する。
なお、ここでは説明の便宜上、先の図17〜図20にて説明したような音源の指向性と指向方向ごとの放音特性については考慮せず、また図15〜図16で説明したステレオエフェクタには対応しない場合の構成について説明する。これらにも対応するとした場合の追加構成については後述する。
また、ここでは、実際に音場の再現を行う再現環境としては家庭の部屋などとしての再現環境20を想定し、第二閉曲面14での音場再現を行う場合での構成について説明する。
さらにこの場合、仮想音像位置として提示するPlayer(Position)はPlayer1〜Player3の3つとし、また、各Positionでの音源の指向方向としては6つのDirectionを定義するものとする。
この場合、上記制作側は、収録した映像・音声、及び伝達関数などを所要のメディアに記録し、ユーザ側では、後述する再現信号生成装置により、そのメディアに記録された情報に基づいて音場再現が行われるものとする。
先ず、この場合の記録装置70は、図中の作業工程S1〜S4によって得られた情報からそれぞれアングル/Direction・伝達関数対応情報、再生環境・伝達関数対応情報、アンビエンスデータ、各Playerのライン収録データを生成する、アングル/Direction・伝達関数対応情報生成部71、再生環境・伝達関数対応情報生成部72、アンビエンスデータ生成部73、各Playerのライン収録データ生成部74を備える。また、図中作業工程S5により得られる収録映像に対してアングル情報・Direction指示情報を追加するアングル情報・Direction指示情報追加部75を備える。
さらには、これらアングル/Direction・伝達関数対応情報生成部71、再生環境・伝達関数対応情報生成部72、アンビエンスデータ生成部73、各Playerのライン収録データ生成部74により得られた各データと、上記アングル情報・Direction指示情報追加部75によりアングル情報・Direction指示情報が追加された映像データとを、例えば光ディスク記録媒体などとされるメディア77に記録する記録部76を備えている。
この記録装置70としては、例えばパーソナルコンピュータにより実現される。
この作業工程S1では、ホールなどの測定環境1において、仮想音像位置として想定する各Position(この場合はPosition1〜Position3の3位置)にそれぞれ有指向性の測定用スピーカ21を配置すると共に、第一閉曲面10上に所定数の測定用マイク68(測定用マイク4)を所定の配置関係により配置する。
このとき、各測定用スピーカ21からの測定用信号TSPの出力は、1つのPositionごとに、測定用スピーカ21の向きをDirection1、Direction2・・・Direction6と変えながら行う。一方、各測定用マイク68による上記測定用信号TSPの検出結果に基づくインパルス応答の測定は、想定されるカメラアングルの1つ1つに対応させて、先の図23(b)に示したように測定用マイク68を配置した第一閉曲面10の角度(アングル)を変化させながら行う。
これによって、各測定用マイク68までに対応した伝達関数Hとしては、それぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数が求められる。つまりこの場合、Position数×Direction数×想定したアングル数の分、各測定用マイク68までに対応した伝達関数Hが得られる。
また、この場合も測定用スピーカ21は各Positionごとに1つずつ配置するものとしたが、1つの測定用スピーカ21を順次各Positionに配置して測定用信号TSPの出力を行ってもよい。
つまり、この図26に示されるようにして、仮想音像位置として想定した各Positionごとに、各アングル及び各Directionとしたときに各測定用マイク68対応に得られた伝達関数Hの情報を格納したものである。
ここでも、伝達関数Hの添え字(a〜p)は、測定用マイク68(a〜p)の何れに対応するかを示している。また、この添え字に続く数字により、Positionの別を表している。さらに、続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。
この作業工程S2では、先の図7にて示したようにして、再現環境11における第一閉曲面10上において、測定環境1での第一閉曲面10で配置した各測定用マイク68(4)と幾何学的に同じ配置関係が得られるようにして再現用スピーカ8を配置する。そして、この再現環境11における第一閉曲面10内において、実際の再現環境(再現環境20)での再現用スピーカ18の配置数・配置関係として想定したそれぞれの配置数・配置関係となるように、第二閉曲面14上に配置する測定用マイク13の配置数・配置関係を変えながら、各再現用スピーカ8ごとに出力した測定用信号TSPについてのインパルス応答の測定を行う。これによって、各配置数・配置関係のパターンごとに、各測定用マイク13までに対応した伝達関数Eを求める。
なお、この作業工程S2としても、測定マイク13としては1つのみを用い、これを第二閉曲面14上の想定される配置位置に順次配置してインパルス応答の測定を行うこともできる。
つまり、先にも説明したように各アンビエンスはインパルス応答の測定時に配置した各測定用マイク68の位置で収録する必要があるもので、従って上記収録用マイク64としては測定用マイク68と同数を用い、且つそれぞれの収録用マイク64は、測定時に配置したそれぞれの測定用マイク68と同じ位置に配置する必要がある。
この場合、測定用マイク68としては、先にも述べたように測定用マイク68a〜68pを用いるので、収録用マイク64としても収録用マイク64a〜64pを用いる。なお、測定用マイク68と収録用マイク64とはそれぞれ異なる符号を付しているが、同一のマイクを用いることもできる。
アングル情報・Direction指示情報追加部75は、作業工程S5で得られた収録映像データに対し、伝達関数Hとしてどのアングルに対応したものを選択すべきかを示すためのアングル情報と、同じく伝達関数HとしてPlayerごとにどのDirectionに対応したものを選択すべきかについて指示するためのDirection指示情報とを、メタデータとして追加する。
この場合、アングル情報は、実際には収録映像を再生してみて、各シーンがどのカメラアングルに該当するかを制作側の人間が判断して決定する。上記アングル情報・Direction指示情報追加部75は、このようにして決定された各シーンとそれに対応するアングルの情報とに基づき、収録映像データに対するアングル情報の追加を行う。同様にDirection指示情報としても、実際に収録映像を再生してみてPlayerが振り返えるシーンなどがあった場合に、制作側の人間がそのPlayerの動きに応じた指向方向が表現されるようなDirectionを判断して決定する。そしてアングル情報・Direction指示情報追加部75では、このようにして決定されたDirection指示情報が指定されたシーンに追加されるようにして、収録映像データに対するDirection指示情報の追加を行う。
この際、アンビエンスデータとしては、アンビエンス−a〜アンビエンス−pまでの複数の音声信号が存在するので、これらがそれぞれ別々のトラックに分かれて収録されるようにメディア77に記録する。同様に、各Playerのライン収録データについても、Playerごとのライン収録音声信号がそれぞれ別々のトラックに収録されるようにする。
なお、図示は省略するが、この場合の再現環境20としては、先の図9に示した再現環境20において第二閉曲面14上において5つ配置されていた再現用スピーカ18を、再現用スピーカ18A、18B、18Cの3つにしたものと考えればよい。また、この場合、仮想音像位置としてはPosition1〜Position3の3つを想定しているので、図9においては破線による測定用スピーカ3として示した1つの仮想音像位置は3つとなる。
さらにこの場合は、メディア77に記録されたAVコンテンツを再生して映像出力を行うので、そのためのディスプレイ装置を再現環境20において配置することになるが、このディスプレイ装置は第二閉曲面14の内側、或いは外側において、第二閉曲面14内の視聴者(聴取者)から見て仮想音像位置側となる位置に配置すればよい。このように仮想音像位置側に配置すれば、画面上で各Playerが表示される位置と仮想音像位置との方向を一致させることができ、各Playerの表示位置と再現される仮想音像位置との一体感を増すことができる。
なお、図25においては、上記ディスプレイ装置の図示は省略している。
そして、これら各演算部26のうち、対応する添え字の付された演算部26からの出力を加算して、第一閉曲面10上の各再現用スピーカ8(a〜p)に対応した再現信号を得るための加算器27a〜27pが設けられる。
さらに、これら加算器27a〜27pと1対1の関係となるようにして設けた加算器62a〜62pが設けられる。これら加算器62a〜62pは、先の図22にて示したものと同様のものであり、それぞれ対応するアンビエンスとしての音声信号を加算するために設けられる。
これら演算部86は、基本的には先の図8に示したものと同様に、第一閉曲面10上に配置した再現用スピーカ8(a〜p)の各々から、第二閉曲面14上に配置した各々の測定用マイク13までに対応して得られた伝達関数Eが設定されるものであるが、ここでは再生環境整合処理として実際の第二閉曲面14上の再現用スピーカ18の配置数・配置関係に対応させるために、各演算部86には後述するコントローラ83からそれぞれ対応する伝達関数Eが設定されるものとなる。
これによって演算部86A−a〜86A−pでは、再現環境11における第一閉曲面10上の再現用スピーカ8(a〜p)のそれぞれから第二閉曲面14上の測定用マイク13A(再現用スピーカ18A)までに対応した再現信号(SHEA-a〜SHEA-p)が得られ、演算部86B−a〜86B−pでは再現用スピーカ8(a〜p)のそれぞれから再現用スピーカ18Bまでに対応した再現信号(SHEB-a〜SHEB-p)が得られる。また、演算部86C−a〜86C−pでは、再現用スピーカ8(a〜p)のそれぞれから再現用スピーカ18Cまでに対応した再現信号(SHEC-a〜SHEC-p)が得られる。
メディア読出部81は、当該再現信号生成装置80に装填されたメディア77に記録された各種情報の読み出しを行い、これをバッファメモリ82に供給する。バッファメモリ82は、コントローラ83の制御に基づき、読み出しデータのバッファリング及びバッファリングデータの読み出しを行う。
ここで、先の図24にて説明したように、メディア77に対しては、アングル/Direction・伝達関数対応情報、再生環境・伝達関数対応情報、アンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データが記録されている。
コントローラ83は、メディア読出部81によってこれらの情報のうちからアングル/Direction・伝達関数対応情報、再生環境・伝達関数対応情報の読み出しを実行させ、これらを図示するようにメモリ84内にアングル/Direction・伝達関数対応情報84a、再生環境・伝達関数対応情報84bとして格納する。
図示するようにして、このバッファメモリ82からは、アンビエンス収録データとしてのアンビエンス−a、アンビエンス−b・・・アンビエンス−pが、加算器62a、62b・・・62pに供給されるようになっている。
同様に、各Playerのライン収録データについても、Player1の収録音声信号、Player2の収録音声信号、Player3の収録音声信号が、演算部26a−1〜26p−1、演算部26a−2〜26p−2、演算部26a−3〜26p−3に供給されるようになっている。
さらに、アングル情報とDirection指示情報とが埋め込まれた映像データについては、映像再生系85に供給されるようになっている。
しかしながら、実際において、このようにメディア77から全てのデータを読み出してバッファリングするのには非常に多くの時間を要するので、各データは時分割的に必要なデータ量だけをメディア77から逐次読み出し、これを順次各部に供給するようにバッファメモリ82の読み出し動作を制御するように構成することもできる。
また、この場合の映像再生系85としては、映像データに対してメタデータとして付加されているアングル情報とDirection指示情報とを抽出し、これらをコントローラ83に対して供給するようにされている。
このアングル・Direction変更部83aとしては、入力されるアングル情報とDirection指示情報とによって特定される伝達関数Hを、メモリ部84内のアングル/Direction・伝達関数対応情報84aから読み出し、これをそれぞれの演算部26に対して設定する。
例えば、アングル情報が「アングル1」を示すものであり、Direction指示情報としてはPlayer1(Position1)がDirection1、Player2(Position2)がDirection2、Player3(Position3)がDirection6を指示するものであった場合には、図26に示したようなアングル/Direction・伝達関数対応情報64aから、Player1については「Ha1-ang1-dir1〜Hp1-ang1-dir1」、Player2については「Ha2-ang1-dir2〜Hp2-ang1-dir2」、Player3については「Ha3-ang1-dir6〜Hp3-ang1-dir6」を読み出す。そして、上記「Ha1-ang1-dir1〜Hp1-ang1-dir1」については演算部26a−1〜26p−1、「Ha2-ang1-dir2〜Hp2-ang1-dir2」については演算部26a−2〜26p−2、「Ha3-ang1-dir6〜Hp3-ang1-dir6」については演算部26a−3〜26p−3に設定するといったものである。
このようなアングル・Direction変更部83の動作により、各演算部26には、アングル情報、Direction指示情報として新たなアングル・Directionが指示されるごとにそれらアングル・Directionに応じた伝達関数Hが逐次設定される。これによってアングルの変更に応じた音場再現、及び指定されたPlayerの指向性方向の制御を行うことができる。
ここで、上記配置パターン情報84cは、当該再現信号生成装置80が対応するとして予め設定された再現用スピーカ18の配置数・配置関係のパターンを示す情報である。再生環境整合処理部83bでは、このような配置パターン情報84cに示される配置数・配置関係のパターン情報に基づき、再生環境・伝達関数対応情報84b中から該当するパターンに対応づけられて格納される伝達関数E(Ea−A〜Ep−A、Ea−B〜Ep−B、Ea−C〜Ep−C)を読み出し、これらをそれぞれ対応する演算部86に設定する。
これによって各演算部86には、実際の再現環境20における再現用スピーカ18の配置数・配置関係に応じた伝達関数Eが設定され、この結果実際の再現環境20における再現用スピーカ18の配置数・配置関係に応じた適正な音場再現を行うことができる。
なお、ここでは一例として、Player1のみについて音源の指向性と指向方向ごとの放音特性について考慮した音場再現を行うものとし、また、Player2のライン収録データをステレオエフェクタを介したものとする場合を例示する。
この場合、制作側においては、作業工程S4において、Player1については先の図17に示したようにして例えばDirection1〜Direction6の6方向から囲むように配置した収録用マイク37で音声を収録する。また、Player2については、ライン収録データをステレオエフェクタに通したものを記録装置70に入力する。
つまりこの場合、各Playerのライン収録データ生成部74では、Player1についてはDirection1〜Direction6の6つの収録データを生成するようにされ、Player2についてはLchとRchとによる2つの収録データを生成するようにされる。そして記録部76は、これらの収録データをメディア77に対して記録するようにされる。
この場合、アングル・Direction変更部83aは、これら演算部26a−1−1〜26p−1−1、演算部26a−1−2〜26p−1−2、演算部26a−1−3〜26p−1−3、演算部26a−1−4〜26p−1−4、演算部26a−1−5〜26p−1−5、演算部26a−1−6〜26p−1−6に対しては、アングル情報に応じてのみ設定する伝達関数Hを変更する。換言すれば、演算部26a−1−1〜26p−1−1には「-dir1」、演算部26a−1−2〜26p−1−2には「-dir2」、演算部26a−1−3〜26p−1−3には「-dir3」、演算部26a−1−4〜26p−1−4には「-dir4」、演算部26a−1−5〜26p−1−5には「-dir5」、演算部26a−1−6〜26p−1−6には「-dir6」による伝達関数Hを常に設定するようにされるものである。
これら演算部26a−1−1〜26p−1−1、演算部26a−1−2〜26p−1−2、演算部26a−1−3〜26p−1−3、演算部26a−1−4〜26p−1−4、演算部26a−1−5〜26p−1−5、演算部26a−1−6〜26p−1−6の出力としても、それぞれ同じ添え字(a〜p)が付された加算器27に供給されるように構成する。
これら演算部26a−L〜26p−L、演算部26a−R〜26p−Rに対しても、アングル・Direction変更部83aは、アングル情報のみに応じて伝達関数Hを設定変更する。例えば先の図15に示したようにLchとしてDirection2、RchとしてDirection6を定義した場合、演算部26a−L〜26p−Lには「-dir2」、演算部26a−R〜26p−Rには「-dir6」による伝達関数Hが常に設定されるようにするものである。
これら演算部26a−L〜26p−L、演算部26a−R〜26p−Rからの出力としても、それぞれ同じ添え字(a〜p)が付された加算器27に供給されるように構成する。
しかしながら音場再現のために必要な各種の情報は、メディア77を介してユーザ側に提供する以外にも、例えばネットワーク経由で提供するようにもできる。
この場合、制作側では、上記音場再現に必要な各種情報を所要の記録媒体に記録・保持すると共に、保持された上記各種情報をネットワークを介して外部装置に送信することが可能に構成された情報処理装置を備えるようにする。一方、ユーザ側の再現信号生成装置80としては、上記ネットワークを介したデータ通信が可能となるように構成する。
このようにネットワークを介して音場再現のための各種情報の提供が可能となることで、制作側からユーザ側にリアルタイムで上記各種情報の提供を行うことができ、これによれば再現環境20においてリアルタイムに測定環境1での音場を再現することも可能となる。
これによれば、ユーザ側で備える装置の構成を簡易化することができる。しかしながら、一方で制作側では、実際の再現環境20で想定される再現用スピーカ18の配置数・配置関係のパターンに応じた分の複数種類のメディア77を作成・販売しなければならなくなってしまうことになる。
これに対し、上記により説明した本例の音場再現システムによれば、制作側で作成するメディア77は1種のみとでき、この点での効率化が図られることになる。
特に、再生環境・伝達関数対応情報については、演算部86に設定する以外の情報は全て不要な情報となる。そこで、例えばネットワーク上の所要のサーバ装置に再生環境・伝達関数対応情報を保持させておき、ユーザ側は、音場再現にあたって先ずはこのサーバ装置にアクセスするようにしておき、該当する再現用スピーカ18の配置数・配置関係のパターンに応じた伝達関数Eをダウンロードするように構成する。
これによってメディア77の記録情報量を削減できると共に、再現信号生成装置80においても不要な情報を保持する必要がなくなることで、無駄な読み出し動作の省略及びコントローラ83の処理負担の軽減などが図られる。
具体的に、例えば図25に示したPlayer1についてのこの場合の再現信号生成系を説明すると、伝達関数H−1(a〜p)+伝達関数E−A(a〜p)、伝達関数H−1(a〜p)+伝達関数E−B(a〜p)、伝達関数H−1(a〜p)+伝達関数E−C(a〜p)による合成伝達関数を設定した3セットの演算部を設け、これらの各々にPlayer1の収録音声信号を供給する。これにより、伝達関数H−1(a〜p)+伝達関数E−A(a〜p)を設定した演算部からは再現用スピーカ18Aから出力すべき再現信号(a〜p)が得られるので、これらを加算器17Aで加算して再現用スピーカ18Aに供給する。
また、伝達関数H−1(a〜p)+伝達関数E−B(a〜p)を設定した演算部からは再現用スピーカ18Bから出力すべき再現信号(a〜p)が得られるので、これらを加算器17Bで加算して再現用スピーカ18Bに供給する。
さらに伝達関数H−1(a〜p)+伝達関数E−C(a〜p)を設定した演算部からは再現用スピーカ18Cから出力すべき再現信号(a〜p)が得られるので、これらを加算器17Cで加算して再現用スピーカ18Cに供給する。
他のPlayerについても、同様の構成が採られることで、結果的に図25に示した構成と同様の音場再現を行うことができる。
なお、この場合のアングル・Directionごとの伝達関数Hの可変は、上記した各演算部内でそれぞれ伝達関数Eに足し合わせる伝達関数Hを可変設定するように構成すればよい。
ところで、上記構成によると、アンビエンスについては図25に示したようにして再生信号を伝達関数H(a〜p)で畳み込んだ後に加算することはできないものとなる。この場合の構成に対応してアンビエンスの追加を行うとした場合は、上記の再現信号生成系の構成とは別途に、アンビエンスa〜pをそれぞれ入力する演算部86A-a〜86A-p、演算部86B-a〜86B-p、演算部86C-a〜86C-pを設け、これらの出力を同様に同じ添え字(A、B、C)の付される加算器17A、17B、17Cにそれぞれ入力して加算するように構成すればよい。これによって、上記した再現信号生成系で生成された各再現用スピーカ18A、B、Cから出力すべきそれぞれの再現信号に対し、第一閉曲面10→第二閉曲面14への伝達関数Eを畳み込んだアンビエンスを加算することができ、図25に示す構成と同様にアンビエンスを再現することができる。
なお、このようにして伝達関数Hと伝達関数Eとを足し合わせた合成の伝達関数によって再生音声信号を畳み込んだ場合としても、結果的に再生音声信号を伝達関数Hに基づき演算処理した再現信号を伝達関数Eで演算処理した場合と同じ効果が得られるので、このような合成の伝達関数で再生信号を演算処理する場合も、再生音声信号を伝達関数Hに基づき演算処理した再現信号を伝達関数Eで演算処理したものであるとしてみなす。
例えば実施の形態では、フィルムライブの会場や家庭の部屋などにおいて音声を再生する場合の音場再現に本発明を適用する場合を例示したが、例えばカーオーディオシステムにおいて音声の再生を行う場合にも適用することができる。或いは、例えば臨場感、没入感を与えるアミューズメント、ゲームのようなバーチャルリアリティー産業機器に対しても好適に適用することができる。
Claims (14)
- 所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程と、
第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカを、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数の方向に向けて音声を発音する第一の発音工程と、
前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された前記複数の方向ごとの音声を測定する第一の測定工程と、
前記第一の測定工程によって測定された音声に基づいて、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した第一の伝達関数群を前記複数の方向ごとに生成する第一の伝達関数生成工程と、
前記収録工程にて収録した音声信号を入力し、該入力した音声信号に対しそれぞれ対応する方向の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号としてそれぞれ前記複数方向分の再現用音声信号を得ると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程と
を有する音声信号処理方法。 - 前記収録工程では、
前記音源を前記有指向性マイクロフォンにより平面的に囲うようにして音声を収録する請求項1に記載の音声信号処理方法。 - 前記収録工程では、
前記音源を前記有指向性マイクロフォンにより立体的に囲うようにして音声を収録する請求項1に記載の音声信号処理方法。 - さらに、前記第一の再現用音声信号のそれぞれを、前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した再現用スピーカから出力する第一の音声信号出力工程を有する
請求項1に記載の音声信号処理方法。 - さらに、前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した音源から音声を発音する第二の発音工程と、
前記第一の閉曲面の内側に形成される第二の閉曲面上における複数の位置で、前記第二の発音工程によって発音された音声を測定する第二の測定工程と、
前記第二の測定工程によって測定された音声に基づいて、前記複数の音源のそれぞれから、前記第二の閉曲面上における前記複数の位置のそれぞれまでに対応した第二の伝達関数群を生成する第二の伝達関数生成工程と、を有すると共に、
前記第一の再現用音声信号生成工程により得られた前記第一の再現用音声信号に対して、前記第二の伝達関数群に基づいた演算処理を施すことで、前記第二の閉曲面上の前記複数の位置のそれぞれに対応した第二の再現用音声信号を得る第二の再現用音声信号生成工程を有する
請求項1に記載の音声信号処理方法。 - 前記第二の再現用音声信号のそれぞれを、前記第二の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した再現用スピーカから出力する第二の音声信号出力工程をさらに有する
請求項5に記載の音声信号処理方法。 - 前記第一の発音工程又は前記第二の発音工程では、前記音声として時間引き延ばしパルスに基づいた音声を発音する請求項1又は請求項5何れかに記載の音声信号処理方法。
- さらに、前記第一の閉曲面上の複数の位置で、有指向性マイクロフォンにより前記第一の閉曲面の外側に生じる音声を収録するアンビエンス収録工程を有すると共に、
前記第一の再現用音声信号生成工程では、
入力した音声信号に対して前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得た上で、それら第一の再現用音声信号ごとに、前記アンビエンス収録工程により収録した前記複数の位置ごとの音声信号のうちの対応する音声信号をそれぞれ加算する
請求項1に記載の音声信号処理方法。 - 前記第一の測定工程では、
前記有指向性スピーカに対する前記第一の閉曲面の角度を変えながら、前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定し、
前記第一の伝達関数生成工程では、
前記第一の測定工程によって前記角度ごとに測定された音声ごとに、前記第一の伝達関数群を生成すると共に、
前記第一の再現用音声信号生成工程では、
入力した音声信号に対して、前記角度ごとに得られた前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得る
請求項1に記載の音声信号処理方法。 - 前記第一の再現用音声信号生成工程では、
前記入力した音声信号と同期して表示される映像の視点情報に応じて、前記1つの第一の伝達関数群を選択する
請求項9に記載の音声信号処理方法。 - 記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムであって、
前記記録装置は、
所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程で収録した収録音声信号と、第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカを前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数の方向に向けて発音した音声を、前記第一の閉曲面上における複数の位置で前記複数の方向ごとに測定した結果に基づき得られた、前記複数の方向ごとの第一の伝達関数群とを前記記録媒体に対して記録する記録手段を備え、
前記音声信号処理装置は、
前記記録媒体に記録された前記複数の方向ごとの前記第一の伝達関数群と前記収録音声信号とを入力する入力手段と、
前記収録音声信号に対しそれぞれ対応する方向の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号としてそれぞれ前記複数方向分の再現用音声信号を得ると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再生用音声信号生成手段とを備える
音場再現システム。 - 前記記録装置における前記記録手段は、
前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した音源から発音した音声を、前記第一の閉曲面の内側に形成される第二の閉曲面上における複数の位置で測定した結果に基づき得られた、前記複数の音源のそれぞれから前記第二の閉曲面上における前記複数の位置のそれぞれまでに対応した第二の伝達関数群をさらに記録し、
前記音声信号処理装置は、さらに、
前記第一の再現用音声信号生成手段により得られた前記第一の再現用音声信号に対して、前記第二の伝達関数群に基づいた演算処理を施すことで、前記第二の閉曲面上の前記複数の位置のそれぞれに対応した第二の再現用音声信号を得る第二の再現用音声信号生成手段を備える
請求項11に記載の音場再現システム。 - 前記記録装置における前記記録手段は、
前記記録媒体に対し、前記第一の閉曲面上の複数の位置で有指向性マイクロフォンにより前記第一の閉曲面の外側に生じる音声を収録したアンビエンス音声信号をさらに記録し、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記収録音声信号に対して前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得た上で、それら第一の再現用音声信号ごとに、前記アンビエンス音声信号のうちの対応する音声信号を加算する
請求項11に記載の音場再現システム。 - 前記記録装置における前記記録手段は、
前記第一の伝達関数群として、前記有指向性スピーカに対する前記第一の閉曲面の角度を変えながら前記第一の閉曲面上における複数の位置で前記有指向性スピーカから発音された音声を測定した結果に基づき得られた、前記角度ごとの第一の伝達関数群を記録し、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記収録音声信号に対して、前記角度ごとの前記第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得る
請求項11に記載の音場再現システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011029409A JP5168373B2 (ja) | 2011-02-15 | 2011-02-15 | 音声信号処理方法、音場再現システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011029409A JP5168373B2 (ja) | 2011-02-15 | 2011-02-15 | 音声信号処理方法、音場再現システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005223436A Division JP4735108B2 (ja) | 2005-08-01 | 2005-08-01 | 音声信号処理方法、音場再現システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011138151A JP2011138151A (ja) | 2011-07-14 |
JP5168373B2 true JP5168373B2 (ja) | 2013-03-21 |
Family
ID=44349579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011029409A Expired - Fee Related JP5168373B2 (ja) | 2011-02-15 | 2011-02-15 | 音声信号処理方法、音場再現システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5168373B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602916B2 (en) | 2012-11-02 | 2017-03-21 | Sony Corporation | Signal processing device, signal processing method, measurement method, and measurement device |
JP6202003B2 (ja) * | 2012-11-02 | 2017-09-27 | ソニー株式会社 | 信号処理装置、信号処理方法 |
JP5907488B2 (ja) * | 2012-11-06 | 2016-04-26 | 日本電信電話株式会社 | 再生信号生成方法、収音再生方法、再生信号生成装置、収音再生システム及びそのプログラム |
CN104199708A (zh) * | 2014-09-09 | 2014-12-10 | 厦门美图移动科技有限公司 | 一种***清理方法、设备和移动终端 |
CN105630359B (zh) * | 2015-12-28 | 2018-12-28 | 魅族科技(中国)有限公司 | 数据删除方法及装置 |
EP4322551A3 (en) * | 2016-11-25 | 2024-04-17 | Sony Group Corporation | Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program |
CN110226200A (zh) | 2017-01-31 | 2019-09-10 | 索尼公司 | 信号处理装置、信号处理方法和计算机程序 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04278799A (ja) * | 1991-03-07 | 1992-10-05 | Fujitsu Ten Ltd | 音場制御装置 |
JPH08272380A (ja) * | 1995-03-30 | 1996-10-18 | Taimuuea:Kk | 仮想3次元空間音響の再生方法および装置 |
JP3584800B2 (ja) * | 1999-08-17 | 2004-11-04 | ヤマハ株式会社 | 音場再現方法およびその装置 |
JP4465870B2 (ja) * | 2000-12-11 | 2010-05-26 | ソニー株式会社 | 音声信号処理装置 |
JP2003323179A (ja) * | 2002-02-27 | 2003-11-14 | Yamaha Corp | インパルス応答測定方法、音場再生方法、インパルス応答測定装置および音場再生装置 |
-
2011
- 2011-02-15 JP JP2011029409A patent/JP5168373B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011138151A (ja) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4674505B2 (ja) | 音声信号処理方法、音場再現システム | |
JP4735108B2 (ja) | 音声信号処理方法、音場再現システム | |
JP5168373B2 (ja) | 音声信号処理方法、音場再現システム | |
JP7367785B2 (ja) | 音声処理装置および方法、並びにプログラム | |
US10924875B2 (en) | Augmented reality platform for navigable, immersive audio experience | |
Sterne | Space within Space: Artificial Reverb and the Detachable Echo. | |
JP3578783B2 (ja) | 電子楽器の音像定位装置 | |
WO2000018112A1 (en) | Apparatus and method for presenting sound and image | |
JP2003316371A (ja) | 残響付与装置、残響付与方法、インパルス応答生成装置、インパルス応答生成方法、残響付与プログラム、インパルス応答生成プログラムおよび記録媒体 | |
JP4883197B2 (ja) | 音声信号処理方法、音場再現システム | |
Réveillac | Musical sound effects: Analog and digital sound processing | |
WO1997030564A1 (fr) | Dispositif electronique acoustique | |
JP4775487B2 (ja) | 音声信号処理方法、音声信号処理装置 | |
Bartlett | Stereo microphone techniques | |
JP4465870B2 (ja) | 音声信号処理装置 | |
KR100955328B1 (ko) | 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법 | |
JP2007124023A (ja) | 音場再現方法、音声信号処理方法、音声信号処理装置 | |
CA3044260A1 (en) | Augmented reality platform for navigable, immersive audio experience | |
Barboza et al. | Towards Best Practices in Spatial Audio Post Production: A Case Study of Brazilian Popular Music | |
JP3552244B2 (ja) | 音場再生装置 | |
Piquet et al. | TWO DATASETS OF ROOM IMPULSE RESPONSES FOR NAVIGATION IN SIX DEGREES-OF-FREEDOM: A SYMPHONIC CONCERT HALL AND A FORMER PLANETARIUM | |
JP2006030443A (ja) | 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法 | |
JP2002152897A (ja) | 音声信号処理方法、音声信号処理装置 | |
Bouillot et al. | Rendering of Heterogeneous Spatial Audio Scenes | |
US20240163624A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5168373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |