JP2005278125A - マルチチャンネルオーディオ信号処理装置 - Google Patents

Abstract

【課題】 従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができるマルチチャンネルオーディオ信号処理装置を提供する。
【解決手段】 ホール室内の響きや大きさを表す全反射音をスピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルから選択した２チャンネルから再生されるよう音像定位処理する音像定位処理手段４と、音像定位処理されたオーディオ信号とスピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号とを合成する加算手段５ａ、５ｂとを備え、合成されたオーディオ信号を再生する。
【選択図】 図１

Description

本発明は、例えば、ＤＶＤ（Digital Versatile Disc）ビデオの音声フォーマットであるＡＣ−３（Audio Code Number 3）や、ｄｔｓ（digital theater system）、ＤＶＤ−Ａｕｄｉｏなどのマルチチャンネルサラウンドのオーディオ信号を再生・記録するためのマルチチャンネルオーディオ信号処理装置に関する。

従来より、マルチチャンネルオーディオとして、ＡＣ−３やｄｔｓ、ＤＶＤ−Ａｕｄｉｏなどの５．１チャンネル、７．１チャンネルがよく知られている。例えば、５．１チャンネルのマルチチャンネルサラウンドシステムは、フロント左右の２チャンネル、フロントセンタの１チャンネル、リア左右の２チャンネルの合計５チャンネルと、サブウーハーとが、スピーカ配置として規定されている。通常、このスピーカ配置で再生すれば、いわゆるサラウンド音場が再現され、図１４に示すように、スピーカの高さにおける水平面において音に取り囲まれた印象を持つことができる。

しかしながら、マルチチャンネルの音楽コンテンツにおいては、コンサートホールで音楽を聴けばあらゆる方向から反射音が聞こえてくるのが自然であるのに、従来の方式ではスピーカの高さにおける水平面での音場再生でしかなかった。このため、図１５に示すように、スピーカが配置された高さ以外、つまり、聴取者に向かってあらゆる方向からの音を再現する球の音場再生も強く望まれていた。

また、映画などの再生の場合に飛行機が頭上を飛ぶといった場面では音は頭上に聞こえず、スピーカの高さで音が鳴り、悪くすれば鳴っているスピーカが切り替わっているだけという聞こえ方であった。このため、図１６に示すように、スピーカが配置された高さ以外の音場再生も強く望まれていた。

一方、スピーカの無いところから音が鳴っているように聞こえさせる方法として、いわゆる音像定位技術が確立している。例えば、リアスピーカが無い場合に、左右一対のリアサラウンド信号の各チャンネルごとに頭部伝達関数に基づいたフィルタ係数が設定されたコンボルバを有する音像定位手段を備え、この音像定位手段を介した左右一対のリアサラウンド信号を左右一対の前面ステレオ信号に加算し、聴取者に対して略左右対称な後方位置にそれぞれ音像定位させるサラウンド信号処理装置及び映像音声再生装置が開示されている（例えば、下記の特許文献１参照）。

また、マルチチャンネルサラウンドのチャンネル数を増加しても、ハードウエアを変更せずに対応することができるオーディオ再生装置が開示されている。このオーディオ再生装置は、対応するスピーカが配置されていないと判定される入力チャンネルのデコード部の出力は、対応するスピーカが配置されている他の入力チャンネルのデコード出力に混合し、かつ、対応するスピーカが配置されている入力チャンネルのデコード部の出力は、前記スピーカの配置の設定情報に応じた出力チャンネルとなるように信号処理部を制御することを特徴としている（例えば、下記の特許文献２参照）。
特開平８−２６５８９９号公報（要約書、図１） 特開２００１−３５２５９９号公報（要約書、図１）

しかしながら、これらの特徴は、５．１チャンネルあるいは７．１チャンネルに対応すべきスピーカが配置されていないときに、いかにも配置されているかのような音響再生ができるという点にあるのであって、５．１あるいは７．１チャンネルに対応するスピーカ以外の場所からの音響再生については何ら記述されていない。

出願人は、あらゆる方向からの音の到来を実現する方法として、特願２００３−３００９３５号で「音響シミュレーション装置、音響シミュレーション方法、及び音響シミュレーションプログラム」を提示している。この方法は、全周囲方向の頭部伝達関数データベースを持ち、コンサートホールなどの全反射音を左右２チャンネルの頭部伝達関数に置き換え、スピーカ２個でコンサートホールそのままの音場を再現しようとするものである。しかしながら、スピーカを５．１チャンネル方式に合わせて多数持っているユーザからマルチチャンネルで再生したいとの要望があった。すなわち、現在の５．１チャンネルのサラウンド方式と互換性を持たせておく必要があった。なお、特願２００３−３００９３５号は未公開であり、従来技術を構成するものではない。

また、来たる将来、マルチチャンネルサラウンド方式が５．１チャンネル、７．１チャンネルにとどまらず、１０チャンネル、１２チャンネルなどさらにチャンネル数が増えることが予測される。その場合に、コンテンツ提供側は現在の５．１チャンネルのサラウンド方式と互換性を持たせておくことは大変有効である。

本発明は上述した点に鑑みてなされたもので、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができるマルチチャンネルオーディオ信号処理装置を提供することを目的とする。

上記の目的を達成するために、本発明に係るマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を再生するマルチチャンネルオーディオ信号処理装置であって、前記マルチチャンネルオーディオ信号の任意の１チャンネルの信号に基づいてホール室内の響きや大きさを表す全反射音を、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号から選択した２チャンネルから再生されるよう音像定位処理する音像定位処理手段と、音像定位処理された前記オーディオ信号と前記スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号とを合成する加算手段とを備え、合成されたオーディオ信号を再生するものである。

この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音をマルチチャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生することにより、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にし、全周囲から音に包まれ、空間を感じさせることができる。

また、本発明に係るマルチチャンネルオーディオ信号処理装置は、前記マルチチャンネルオーディオ信号に対し、ホール室内の響きや大きさを表す全反射音の到来方向別に反射音の到達遅れ時間分だけ遅延し、周波数特性を加味して元の信号にそれぞれ加算する遅延加算手段をさらに備えたものである。

この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音の到来方向データからスピーカの高さ方向又はスピーカの高さに近い方向から到来する反射音は前記チャンネルのオーディオ信号に遅延加算され、それ以外の方向から到来する反射音は前記チャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生することにより、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にし、全周囲から音に包まれ、空間を感じさせることができる。

また、本発明に係るマルチチャンネルオーディオ信号処理装置の他の態様は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するマルチチャンネルオーディオ信号処理装置であって、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成する加算手段を備え、合成された前記オーディオ信号を記録媒体に記録するものである。

この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号とスピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成し、合成されたオーディオ信号を記録媒体に記録することにより、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からの音場再生を可能にし、全周囲から音に包まれ、空間を感じさせることができる。

さらに、本発明に係るマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するマルチチャンネルオーディオ信号処理装置であって、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを、記録媒体に記録する記録手段を備えたものである。

この構成により、スピーカの高さにおける水平面上の音場再生のためのマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを記録媒体に記録することにより、すべての定位情報を記録側に含めることで水平面のサラウンド再生に加えて、スピーカの高さ以外の方向からの自然で臨場感のある音場が再現でき、全周囲から音に包まれ、空間を感じさせることができる。

本発明は、従来のスピーカの高さにおけるサラウンド音場に加えて、スピーカの高さ以外の方向の音場再生を可能とするので、聴取者が全周囲から音に包まれ、空間を感じられるという大きな効果がある。また、従来のマルチチャンネルオーディオ装置で再生しても何ら支障なく従来のサラウンド再生ができ、従来のサラウンド再生に加えて、スピーカの高さ以外の方向の音場再生をも可能とする。したがって、従来の方法と互換性があるという点でユーザが持っているシステムを余すことなく有効利用できるという効果がある。

以下、添付図面を参照して本発明の実施の形態を説明する。
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図１に示すマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を再生するもので、ＤＶＤオーディオのディスクリート５．１チャンネルをデコード出力するデコード手段１と、ホール室内の響きや大きさを表す全反射音を音像定位処理する音像定位処理手段４と、音像定位処理手段４の出力をクロストークキャンセル処理するクロストークキャンセル処理手段３と、クロストークキャンセル処理された音像定位処理信号をスピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号であるディスクリート５．１チャンネルから選択した２チャンネルから再生されるように合成する加算手段５ａ、５ｂと、加算手段５ａ、５ｂを介したディスクリート５．１チャンネルの信号を振幅増幅してスピーカから再生するための振幅増幅手段２とを備えている。

図１において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネル（ｃｈ）はＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。音像定位処理手段４は、５．１チャンネルの、例えばセンタチャンネルＣｃｈの信号に基づいて後述するような方法でホールや映画館などの全反射音を音像定位処理したＶＬ、ＶＲ信号（ｃｈ）を出力する。音像定位処理信号ＶＬ、ＶＲは、聴取者の左耳、右耳に再生されるべき信号であり、クロストークキャンセル処理手段３でクロストークキャンセル処理された後、加算手段５ａ、５ｂによりそれぞれＦＬ、ＦＲ信号に加算される。このクロストークキャンセル処理は、スピーカ再生において、しかるべき信号を左右の耳元に正確に再生する場合に必要であり、既に周知の技術となっている。そして、振幅増幅手段２で信号が増幅され、各スピーカで再生される。

次に、音像定位処理手段４による音像定位処理について図２〜図５を参照して説明する。図２は、本発明の基本的考え方を示したものである。今、図２（ａ）に示す点ｐに水平角α、仰角β（仰角方向についての図示は省略した）から音が到来してきたとする。図２（ｂ）に示すように、点ｐに頭の中心を置いて受音点とし、頭部伝達関数ＨＲＴＦを測定すれば、頭部伝達関数ＨＲＴＦは水平角α、仰角βに定位するための伝達関数として得られる。このように、受音点に入ってくる反射音の１つ１つを、図２（ｂ）で説明したように、頭部伝達関数ＨＲＴＦに置き換えていく。その際、反射音の到達遅れ時間と周波数特性を加味する。すなわち、頭部伝達関数ＨＲＴＦをイコライジングし、到達遅れ時間だけ遅らせながら全反射音のＨＲＴＦを加算すれば、その位置でのコンサートホールにおける両耳のインパルス応答となるはずである。このインパルス応答こそがコンサートホールの響きや大きさを表すものである。

図３は、音像定位処理手段４の内部構成を示すブロック図である。音像定位処理手段４は、図３に示すように、コンサートホールの室形、音源、受音点の情報を入力する入出力手段４１と、コンサートホールの全反射音を算出する反射音算出手段４２と、反射音の水平角、仰角のデータに対応する左右ペアの頭部伝達関数をあらかじめ記憶した全方向頭部伝達関数記憶部４３と、インパルス応答を作成するインパルス応答作成手段４４と、これら構成要素を制御する制御手段４５とを有している。

この音像定位処理手段４の処理内容を図４に示すフローチャートを参照して説明する。まず、コンサートホールの室形、音源、受音点の情報を入出力手段４１により入力する（Ｓ１）。次に、反射音算出手段４２において、コンサートホールの全反射音を算出する。一般的に、幾何音響シミュレーションで求める。

このとき、次の３種類のデータ（音場解析データ）を算出しておく（Ｓ２）。
・受音点に到来する直接音及び反射音の到来方向、すなわち水平角と仰角のデータ。
・受音点に到来する直接音及び反射音の、壁面材料の吸音率や空気吸収を反映した周波数特性データ。
・受音点に到来する直接音及び反射音の、音源から受音点に到達するまでの到達遅れ時間データ。

反射音算出手段４２により全反射音の３種類のデータが算出されると、インパルス応答作成手段４４によるインパルス応答作成に移る。インパルス応答作成手段４４は、初めに、処理の回数ｉ＝０とし（Ｓ３）、一番目の反射音（一般的には直接音）の水平角、仰角のデータから対応する左右ペアの頭部伝達関数を全方向頭部伝達関数記憶部４３より取得する（Ｓ４、Ｓ５）。

そして、取得した左右ペアの頭部伝達関数を、周波数特性データを用いて各々の帯域ごとにイコライジングする（Ｓ６）。イコライジングはどんな方法でもよく、例えば７０ｄＢを基準として、ＦＩＲフィルタ処理をしてもよい。そして、イコライジングされた左右ペアの頭部伝達関数に、到達遅れ時間データに基づき、遅れ時間分遅延をかける（Ｓ７）。そして、左右ペアの頭部伝達関数を保持しておく（Ｓ８）。

次に、処理の回数ｉを１増加し（Ｓ９）、２番目の反射音（一般的には最初の反射音）の処理に移る（Ｓ１０→Ｙ）。先と同様に、対応する頭部伝達関数を選択し（Ｓ４、Ｓ５）、イコライジングする（Ｓ６）。このとき、先ほど７０ｄＢを基準としたので、同じ基準を用いる。遅延をかけた後（Ｓ７）、前回生成した左右ペアの頭部伝達関数左右各々に、２番目の反射音の頭部伝達関数を加算する（Ｓ８）。

このようにして、全反射音分（全音線本数分）の頭部伝達関数を累積加算していき、左右ペアのインパルス応答を作成する。全反射音分の処理が終わると（Ｓ１０→Ｎ）、この段階で作成された左右ペアのインパルス応答は、受音点に人の頭を置いた場合の両耳におけるインパルス応答である。

そして、５．１チャンネルの、例えば、センタチャンネルの信号と、先に計算された左右のインパルス応答とを各々畳み込む（Ｓ１１）ことによって、音像定位処理信号ＶＬ、ＶＲが完成される。又は直接音に近い信号が他のチャンネルにあれば、それと畳み込んでもよい。

この音像定位処理信号ＶＬ、ＶＲをフロントＬ、Ｒチャンネルで再生する場合は、クロストークキャンセル処理手段３により、図５に示すｈｌｒ、ｈｒｌのいわゆるクロストークをキャンセルする処理を行い、フロントＬ、Ｒチャンネルに各々加算し、振幅増幅手段２を介してスピーカから再生すれば、従来どおりのサラウンド音場に加えてコンサートホールの反射音があらゆる方向から再生され、ホール室内の響きや大きさまでもが表現できる。

したがって、第１の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音をマルチチャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生するようにしたので、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができ、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。

＜第２の実施の形態＞
図６は、本発明の第２の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図６に示す第２の実施の形態に係るマルチチャンネルオーディオ信号処理装置は、図１に示す第１の実施の形態に係るマルチチャンネルオーディオ信号処理装置の構成に、マルチチャンネルオーディオ信号に対し、ホール室内の響きや大きさを表す全反射音の到来方向別に反射音の到達遅れ時間分だけ遅延し周波数特性を加味して元の信号にそれぞれ加算する、遅延手段６とイコライザ７及び加算手段８とで構成される遅延加算手段をさらに備えている。

図６において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネルはＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。音像定位処理手段４は、５．１チャンネルの、例えばセンタチャンネルの信号に基づいて後述するような方法でホールや映画館などの全反射音を音像定位処理したＶＬ、ＶＲ信号を出力する。音像定位処理信号ＶＬ、ＶＲは、聴取者の左耳、右耳に再生されるべき信号であり、クロストークキャンセル処理手段３でクロストークキャンセル処理された後、加算手段５ａ、５ｂによりそれぞれＦＬ、ＦＲ信号に加算される。このクロストークキャンセル処理は、スピーカ再生において、しかるべき信号を左右の耳元に正確に再生する場合に必要であり、既に周知の技術となっている。そして、振幅増幅手段２で信号が増幅され、各スピーカで再生される。

この第２の実施の形態においては、コンサートホールの反射音を第１の実施の形態と同じような手法で算出するが、全反射音の到来方向のうち、スピーカの高さ又はスピーカの高さに近い方向から到来する反射音については従来のマルチチャンネルスピーカで再生し、他の方向から到来する反射音は音像定位処理をして再生するところが第１の実施の形態と相違する点である。

いわゆるドルビー・プロロジック方式、ドルビー・ＡＣ３方式、ＭＰＥＧマルチチャンネル方式などの場合には、フロントスピーカの開き角は６０度、リアスピーカの開き角は、１１０度を推奨値としている。そこで、図７（ａ）、（ｂ）に示すように、各スピーカの水平角の担当角度範囲を、センタスピーカは聴取者を中心に３０度、フロントＬ、Ｒスピーカはセンタスピーカの外側から７５度、リアスピーカは聴取者の後ろを９０度ずつ、また仰角の担当角度範囲をスピーカのツイータの高さを中心に±１０度と設定しておく。そして、全反射音を到来方向別に、センタスピーカ、フロントＬ、Ｒスピーカ、リアＬ、Ｒスピーカ、その他の６種類に振り分ける。各スピーカの担当範囲内に収まる反射音は各スピーカから、その他に属する反射音はフロントＬ、Ｒスピーカから仮想音源で再生するものである。

各スピーカの担当範囲内に収まる反射音の作成方法を、ＦＬチャンネルを例に説明する。ＦＬチャンネルの信号に遅延手段６により反射音の到達遅れ時間分だけ遅延をかけ、イコライザ７により周波数特性を加味して加算手段８により元の信号に加算する。これを反射音数分繰り返す。他のチャンネルも同様に行う。この遅延処理により水平方向における反射音の処理を行う。それ以外の反射音については、第１の実施の形態と同様に、両耳のインパルス応答に置き換え、例えば、デコードされたセンタチャンネルの信号と畳み込むことによって音像定位処理信号ＶＬ、ＶＲを作成する。この音像定位処理信号ＶＬ、ＶＲをフロントＬ、Ｒチャンネルで再生する場合は、図５に示すｈｌｒ、ｈｒｌのいわゆるクロストークをキャンセルする処理を行い、フロントＬ、Ｒチャンネルに各々加算し、再生する。これにより、従来どおりのサラウンド音場に加えてコンサートホールの反射音があらゆる方向から再生され、ホール室内の響きや大きさまでもが表現できる。

したがって、第２の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、ホール室内の響きや大きさを表す全反射音の到来方向データからスピーカの高さ方向又はスピーカの高さに近い方向から到来する反射音は、前記チャンネルのオーディオ信号に遅延加算され、それ以外の方向から到来する反射音は前記チャンネルから選択した２チャンネルから再生されるよう音像定位処理したオーディオ信号とを合成し、再生するようにしたので、従来のマルチチャンネルサラウンド再生システムとの互換性を持たせた上で、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からも音場再生を可能にすることができ、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。

＜第３の実施の形態＞
図８は、本発明の第３の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図８に示すマルチチャンネルオーディオ信号処理装置は、３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するもので、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とをクロストークキャンセル処理手段９を介して合成する加算手段１０ａ、１０ｂと、合成されたオーディオ信号を記録媒体（例えば光ディスク）（不図示）に記録する記録手段１１とを備えている。

図８において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネルはＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。ＶＬ、ＶＲ信号は後述する音像定位処理した信号である。ＶＬ、ＶＲ信号は聴取者の左耳、右耳に再生されるべき信号であり、クロストークキャンセル処理手段９でクロストークキャンセル処理された後、それぞれ加算手段１０ａ、１０ｂによりＦＬ、ＦＲ信号に加算される。このクロストークキャンセル処理は、スピーカ再生において、しかるべき信号を左右の耳元に正確に再生する場合に必要であり、既に周知の技術となっている。そして、記録手段１１で光ディスクに６チャンネルが記録される。

ここで、ＶＬ、ＶＲ信号と音像定位処理について図９と図１０を用いて説明する。今、映画のシーンで、飛行機が前から後ろに頭上を飛んでいくシーンを考える。図９は、頭上にスピーカなどの音源があった場合の左右の耳に届く伝達関数を示している。スピーカＳＰ１に入来するオーディオ信号ｓ（ｔ）と伝達関数ｈ１ｌ（ｔ）とを畳み込んだ音ＶＬ（ｔ）を左耳に、スピーカＳＰ１に入来するオーディオ信号ｓ（ｔ）と伝達関数ｈ１ｒ（ｔ）とを畳み込んだ音ＶＲ（ｔ）を右耳に、それぞれ再生することでスピーカＳＰ１から音が鳴っているように聞こえる。音ＶＬ（ｔ）とＶＲ（ｔ）は、下式（１）で示される。
ＶＬ（ｔ）＝ｓ（ｔ）×ｈ１ｌ（ｔ）
ＶＲ（ｔ）＝ｓ（ｔ）×ｈ１ｒ（ｔ） ・・・（１）

次に、スピーカＳＰ１からＳＰ２への音源移動を再現するためには、下式（２）に示すように重み係数αを用いてクロスフェードさせる。
ＶＬ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈ１ｌ（ｔ））
＋（１−α（ｔ））（ｓ（ｔ）×ｈ２ｌ（ｔ））
ＶＲ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈｌｒ（ｔ））
＋（１−α（ｔ））（ｓ（ｔ）×ｈ２ｒ（ｔ）） ・・・（２）
ただし、０＜＝α（ｔ）＜＝１．０
すなわち、時間の経過に伴い、スピーカＳＰ１からスピーカＳＰ２の伝達関数に切り替えていく。

このようにして、ＳＰ１→ＳＰ２→ＳＰ３→ＳＰ４へとスピーカを切り替えていくことで、音源が頭上を前後に動いているように聞こえさせることができる。このとき、入来信号ｓ（ｔ）を飛行機の効果音とすれば、ＶＬ（ｔ）、ＶＲ（ｔ）は、飛行機があたかも頭上を飛んでいるかのように聞こえる音像定位処理された信号となる。

これをフロントスピーカＬＲ再生で実現するためには、周知のクロストークキャンセル処理が必要となる。したがって、再生環境におけるフロントスピーカからの伝達関数を図１０のように表現し、ＳＰ１→ＳＰ２→ＳＰ３→ＳＰ４へと切り替えた信号を、ＶＬ（ｔ）、ＶＲ（ｔ）とすれば、式（３）を得る。
ＶＬ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈ１ｌ（ｔ））
＋β（ｔ）（ｓ（ｔ）×ｈ２ｌ（ｔ））
＋γ（ｔ）（ｓ（ｔ）×ｈ３ｌ（ｔ））
＋△（ｔ）（ｓ（ｔ）×ｈ４ｌ（ｔ））
ＶＲ（ｔ）＝α（ｔ）（ｓ（ｔ）×ｈｌｒ（ｔ））
＋β（ｔ）（ｓ（ｔ）×ｈ２ｒ（ｔ））
＋γ（ｔ）（ｓ（ｔ）×ｈ３ｒ（ｔ））
＋△（ｔ）（ｓ（ｔ）×ｈ４ｒ（ｔ）） ・・・（３）
ただし、０＜＝α（ｔ）＜＝１．０、０＜＝β（ｔ）＜＝１．０、
０＜＝γ（ｔ）＜＝１．０、０＜＝△（ｔ）＜＝１．０であり、
α（ｔ）＋β（ｔ）＋γ（ｔ）＋△（ｔ）＝１．０
α（ｔ）＋β（ｔ）＝１．０のとき、γ（ｔ）＝△（ｔ）＝０
β（ｔ）＋γ（ｔ）＝１．０のとき、α（ｔ）＝△（ｔ）＝０
γ（ｔ）＋△（ｔ）＝１．０のとき、α（ｔ）＝β（ｔ）＝０

そして、フロントＬ、Ｒに入力すべき信号は、式（４）に示すものとなる。
ＦＶＬ（ｔ）＝ｄ（ｔ）×（ｈｒｒ（ｔ）×ＶＬ（ｔ）−ｈｌｒ（ｔ）×ＶＲ（ｔ））
ＦＶＲ（ｔ）＝ｄ（ｔ）×（ｈｌｌ（ｔ）×ＶＲ（ｔ）−ｈｒｌ（ｔ）×ＶＬ（ｔ））
ただし、ｄ（ｔ）＝１/（ｈｌｌ（ｔ）×ｈｒｒ（ｔ）
−ｈｒｌ（ｔ）×ｈｌｒ（ｔ）） ・・・（４）

このため、図８に示すように、この信号を従来の５．１チャンネル方式のＦＬ、ＦＲチャンネルの信号に加算手段１０ａ、１０ｂによりそれぞれ加算して、記録手段１１により記録することにより、再生側では特別な処理なしに従来どおりのサラウンド再生に加えて、飛行機が頭上を飛んでいく音場を再生できる。

したがって、第３の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号とスピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成し、合成されたオーディオ信号を記録媒体に記録するようにしたので、従来のサラウンド再生に加えて、スピーカの高さ以外の方向からの音場再生を可能にすることができ、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。

＜第４の実施の形態＞
図１１は、本発明の第４の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図１１に示す第４の実施の形態に係るマルチチャンネルオーディオ信号処理装置は、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを記録媒体（光ディスク）に記録する記録手段１１を備えたものである。

図１１において、信号ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷの各チャンネルはＤＶＤオーディオのディスクリート５．１チャンネルであり、従来の５．１チャンネルサラウンド方式の各オーディオ信号である。Ｖ信号は音像定位処理すべき信号である。また、方向データは信号Ｖが本来定位すべき方向の頭部伝達関数データ群及び重み係数である。さらに、クロストークキャンセル用データは、詳しくは図１０に示すｈｌｌ、ｈｌｒ、ｈｒｌ、ｈｒｒ及び、式（４）のｄ（ｔ）である。

本マルチチャンネルオーディオ信号処理装置は、再生される際、従来の信号の再生に加えて、Ｖ信号と方向データを用いて音像定位処理され、本来定位すべき方向にスピーカが配置されていなくとも仮想音源によって再生できることをねらいとしたものである。Ｖ信号及び方向データはいくつあってもよく、必ずペアで記録するか、または方向データが重複する場合は識別記号をつけておき、Ｖ信号と識別記号のペアで記録しておけばデータ容量を減らすことができる。Ｖ信号が２つの場合の記録例を図１２に示す。

このように、本来定位すべき方向の頭部伝達関数データを一緒に記録することでコンテンツ制作者の意図どおりの音場表現ができる。特許文献２（特開２００１−３５２５９９号公報）に開示された技術は、従来の５．１チャンネル、７．１チャンネルというスピーカセッティングが決められたマルチチャンネル再生であるからこそ少ないスピーカでマルチチャンネル再生ができるのであって、すべての音はスピーカから出るもの、という視点に立って考えられている。特許文献１（特開平８−２６５８９９号公報）に開示された技術も特許文献２のものと同じ考え方である。すなわち、決められたスピーカ配置の定位情報を再生装置側に用意している。これに対し、本発明は、音はあらゆる方向から聞こえるものであり、それを忠実に再現しようというものである。このため、幾つかの決められた定位情報だけでは全周囲方向からの音を表現することができない。すべての定位情報を記録媒体に記録されたデータ側に含めることで、自然で臨場感のある音場が再現できるようになる。

したがって、第４の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを記録媒体に記録することにより、すべての定位情報を記録媒体に記録されたデータ側に含めることで、水平面のサラウンド再生に加えてスピーカの高さ以外の方向からの自然で臨場感のある音場が再現でき、聴取者が全周囲から音に包まれ、空間を感じられるという大きな効果がある。

＜第５の実施の形態＞
次に、第４の実施の形態で説明したマルチチャンネルオーディオ信号処理装置によって記録されたメディアを再生する場合について説明する。図１３は、本発明の第５の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。図１３において、ＦＬ、Ｃ、ＦＲ、ＳＬ、ＳＲ、ＳＷ、Ｖチャンネルの信号は従来の方法によりデコード手段１にてデコードされる。デコードされたＶチャンネルの信号はメディアから読み込まれた方向データを用いて音像定位処理手段４にて音像定位処理される。

方向データは、具体的には図９に示すｈ１ｌ、ｈ１ｒ、ｈ２ｌ、ｈ２ｒ、ｈ３ｌ、ｈ３ｒ、ｈ４ｌ、ｈ４ｒと式（３）で示した重み係数α、β、γ、△である。音像定位処理は式（３）によって示されている。すなわち、出力信号はＶＬ、ＶＲの２系統である。この信号と、メディアから読み込まれたクロストークキャンセル用データとを用いてクロストークキャンセル処理手段３でクロストークキャンセルの処理を行う。クロストークキャンセル用データは、具体的には図１０に示すｈｌｌ、ｈｌｒ、ｈｒｌ、ｈｒｒ及び、式（４）のｄ（ｔ）である。クロストークキャンセル処理は式（４）によって示されている。処理後の信号ＦＶＬ、ＦＶＲを、デコードされたＦＬ、ＦＲチャンネルの信号にそれぞれ加算する。そして、全チャンネルの信号を振幅増幅手段２で増幅し、各スピーカで再生すれば、従来どおりの水平面のサラウンド再生に加えて、スピーカの高さ以外の方向からの音を再生できる。

したがって、第５の実施の形態によれば、スピーカの高さにおける水平面上の音場再生のための通常のマルチチャンネルオーディオ信号と、スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及びオーディオ信号とをメディアから読み出すことにより、従来の水平面のサラウンド再生に加えて、スピーカの高さ以外の方向からの音場を再現でき、全周囲から音に包まれ、空間を感じさせるという大きな効果がある。

以上のように、本発明に係るマルチチャンネルオーディオ信号処理装置は、従来のスピーカの高さにおけるサラウンド音場に加えて、スピーカの高さ以外の方向の音場再生が可能となるので、全周囲から音に包まれ、空間を感じさせるという大きな効果を有し、また従来のサラウンド方式と互換性があるという点でユーザが持っているシステムを余すことなく有効利用でき有用である。

本発明の第１の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。 本発明の第１の実施の形態を説明するもので、図１の音像定位処理手段による音像定位処理を説明し、本発明の基本的考え方を示した説明図である。 本発明の第１の実施の形態を説明するもので、図１の音像定位処理手段の内部構成を示すブロック図である。 本発明の第１の実施の形態を説明するもので、図１の音像定位処理手段の動作を説明するフローチャートである。 本発明の第１の実施の形態を説明するもので、図１のクロストークキャンセル処理手段によるクロストークキャンセル処理の説明図である。 本発明の第２の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。 本発明の第２の実施の形態に係るマルチチャンネルオーディオ信号処理装置の音場再生の概念を示すための説明図である。 本発明の第３の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。 本発明の第３の実施の形態を説明するもので、頭上から音が鳴る場合の伝達関数を示した図である。 本発明の第３の実施の形態を説明するもので、再生環境での伝達関数を示した図である。 本発明の第４の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。 本発明の第４の実施の形態に係るマルチチャンネルオーディオ信号処理装置によって記録されたメディアの内容を示した図である。 本発明の第５の実施の形態に係るマルチチャンネルオーディオ信号処理装置を概念的に示すブロック図である。 従来の音場再生を概念的に示した図である。 本発明における音場再生を概念的に示した図である。 本発明における音場再生を概念的に示した図である。

符号の説明

１ デコード手段
２ 振幅増幅手段
３、９ クロストークキャンセル処理手段
４ 音像定位処理手段
５ａ、５ｂ、８、１０ａ、１０ｂ 加算手段
６ 遅延手段
７ イコライザ
１１ 記録手段
４１ 入出力手段
４２ 反射音算出手段
４３ 全方向頭部伝達関数記憶部
４４ インパルス応答作成手段
４５ 制御手段
ＳＰ１〜ＳＰ４ スピーカ

Claims (4)

1. ３以上のチャンネル数を持つマルチチャンネルオーディオ信号を再生するマルチチャンネルオーディオ信号処理装置であって、
   前記マルチチャンネルオーディオ信号の任意の１チャンネルの信号に基づいてホール室内の響きや大きさを表す全反射音を、スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号から選択した２チャンネルから再生されるよう音像定位処理する音像定位処理手段と、
   音像定位処理された前記オーディオ信号と前記スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号とを合成する加算手段とを備え、合成されたオーディオ信号を再生するよう構成されたマルチチャンネルオーディオ信号処理装置。
2. 前記マルチチャンネルオーディオ信号に対し、ホール室内の響きや大きさを表す全反射音の到来方向別に反射音の到達遅れ時間分だけ遅延し、周波数特性を加味して元の信号にそれぞれ加算する遅延加算手段をさらに備えた請求項１に記載のマルチチャンネルオーディオ信号処理装置。
3. ３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するマルチチャンネルオーディオ信号処理装置であって、
   スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生されるよう音像定位処理されたオーディオ信号とを合成する加算手段を備え、合成された前記オーディオ信号を記録媒体に記録するよう構成されたマルチチャンネルオーディオ信号処理装置。
4. ３以上のチャンネル数を持つマルチチャンネルオーディオ信号を記録媒体に記録するマルチチャンネルオーディオ信号処理装置であって、
   スピーカの高さにおける水平面上の音場再生のための前記マルチチャンネルオーディオ信号と、前記スピーカの高さ以外の上下方向の音場再生のための仮想音源として再生するための信号処理に必要なデータ及び音像定位処理すべき信号とを、記録媒体に記録する記録手段を備えたマルチチャンネルオーディオ信号処理装置。
   

Images