JPWO2017183462A1 - 信号処理装置 - Google Patents

Abstract

信号処理装置（１）は、Ｘ側およびＹ側（Ｘは左および右の一方、Ｙは左および右の他方）の２つのスピーカ（１１１、１１２）が配置された歪な音響空間内で入力の音声信号に対するクロストークキャンセル処理を行う信号処理装置（１）であって、リスナーのＹ側の耳で該音声信号が概ね打ち消されるように２つのスピーカ（１１１、１１２）からの出音を制御する制御部（１０３）を有し、Ｙ側のスピーカとＹ側の耳との間の伝達関数をＧＹＹ、Ｘ側のスピーカとＹ側の耳との間の伝達関数をＧＸＹ、ＧＹＹをＧＸＹで除して得られる伝達関数をＧＣＹとしたとき、制御部（１０３）は、Ｙ側のスピーカから該音声信号を出音するように制御し、Ｘ側のスピーカから該音声信号を伝達関数ＧＣＹで処理した信号を出音するように制御する。

Description

本開示は、クロストークキャンセラを搭載した信号処理装置に関する。

映画や音楽のみでなく、ゲームにおいても、５．１ｃｈや７．１ｃｈなどのマルチチャネルのオーディオ信号が普及している。受聴者を取り囲む所定の位置に配置されたマルチチャネルスピーカを用いて再生すると、臨場感あるオーディオ再生が実現される。しかし、一般的な家庭では５．１ｃｈや７．１ｃｈのマルチチャネルスピーカを設置することが場所的に困難な場合も多い。そこで、従来のステレオスピーカで疑似的にマルチチャネルオーディオ再生と同様な効果を実現する３Ｄ音響技術が開発されている。

たとえば、特許文献１は、立体音場処理により任意の位置に音像を定位させる音像定位装置を開示している。また、特許文献２は、音像を広げて再生する音響信号再生装置を開示している。

特開平８−１８２１００号公報 特開２００６−３０３７９９号公報

ところで、特許文献１に記載されているようなクロストークキャンセル処理は、歪な音響空間では、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象が起こり得るという問題がある。

ここで、クロストークキャンセル処理とは、リスナーの一方の耳で音声信号が概ね打ち消されるように２つのスピーカからの出音を制御することをいう。また、歪な音響空間とは、例えば２つのスピーカの配置がリスナーに対して対称でないような音響空間をいう。具体的には、車室の左右のドアに埋め込まれた２つスピーカと運転席（または助手席）のリスナーとの関係は、歪な音響空間の一例である。

本開示は、歪な音響空間でも適切なクロストークキャンセル処理を実現する信号処理装置を提供することを目的とする。

上記の課題を解決するために、本開示の一形態における信号処理装置は、Ｘ側およびＹ側（Ｘは左および右の一方、Ｙは左および右の他方）の２つのスピーカが配置された左右が歪な音響空間内で入力の音声信号Ａに対するクロストークキャンセル処理を行う信号処理装置であって、リスナーのＹ側の耳で該音声信号Ａが概ね打ち消されるように前記２つのスピーカからの出音を制御する制御部を有し、Ｙ側のスピーカとＹ側の耳との間の伝達関数をＧＹＹ、Ｘ側のスピーカとＹ側の耳との間の伝達関数をＧＸＹ、前記ＧＹＹを前記ＧＸＹで除して得られる伝達関数をＧＣＹとしたとき、前記制御部は、Ｙ側のスピーカから該音声信号Ａを出音するように制御し、Ｘ側のスピーカから該音声信号ＡをＧＣＹで処理した信号を出音するように制御する。

この構成によれば、歪な音響空間内において、クロストークキャンセラのゲインを大きくせずにクロストークをキャンセルすることが可能となる。従って、歪な音響空間においても、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象を低減することができる。つまり、適切なクロストークキャンセル処理を実現することができる。

また、前記制御部は、さらに音声信号を複数の周波数帯域信号Ｆ（ｎ）に変換し（ｎは周波数帯域を示すインデックス）、前記ｎごとに、Ｙ側のスピーカとＹ側の耳の間の伝達関数をＧＹＹ（ｎ）、Ｘ側のスピーカとＹ側の耳の間の伝達関数をＧＸＹ（ｎ）、前記ＧＹＹ（ｎ）を前記ＧＸＹ（ｎ）で除して得られる伝達関数をＧＣＹ（ｎ）、前記ＧＸＹ（ｎ）を前記ＧＹＹ（ｎ）で除して得られる伝達関数をＧＣＸ（ｎ）、としたとき、前記制御部は、前記ｎごとに前記ＧＹＹ（ｎ）と前記ＧＸＹ（ｎ）とのゲインを比較し、前記ＧＸＹ（ｎ）のゲインが前記ＧＹＹ（ｎ）のゲインより大きい場合には、Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御し、前記ＧＹＹ（ｎ）のゲインが前記ＧＸＹ（ｎ）のゲインより大きい場合には、Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御する。

これにより、音響空間の歪さを周波数帯ごとに判定し、音声信号とそのキャンセル音をどちらのスピーカから再生するか、周波数帯ごとに最適に設定する（つまり、周波数帯ごとに小さいゲインに対応するスピーカを選択する）ことができるため、さまざまな音響空間の特性に最適なクロストークキャンセラを適用することが可能となる。

また、前記信号処理装置は、さらに入力した音声信号を遅延する遅延部を備え、前記遅延部の遅延時間は、Ｘ側スピーカからの出音とＹ側スピーカからの出音との間の因果性を満たすよう遅延時間を設定できることを特徴とする。

これにより、設計された伝達関数が時間進み成分を持つ因果性を満たさないものであったとしても、遅延部の遅延時間により因果性をたすことが可能となる。

本開示によれば、音響的に歪な音響空間においても、クロストークをキャンセルするための制御音のゲインを小さく抑えることができ、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象をより確実に低減し、音響特性の変動に強いクロストークキャンセルを実現することができる。

図１は、実施の形態１における信号処理装置の構成例およびスピーカと、受聴者とを示す図である。 図２Ａは、左右非対称のスピーカ配置における音響特性のインパルス応答計測例を示す図である。 図２Ｂは、図２Ａのインパルス応答計測例の周波数特性を示す図である。 図２Ｃは、設計したクロストークキャンセラの周波数特性例を示す図である。 図３Ａは、実施の形態２における信号処理装置の構成例およびスピーカと、受聴者とを示す図である。 図３Ｂは、実施の形態２におけるクロストークキャンセラの詳細設計例を示す説明図である。 図４Ａは、実施の形態２における左右非対称のスピーカ配置におけるインパルス応答計測例を示す図である。 図４Ｂは、実施の形態２における図４Ａのインパルス応答計測例の周波数特性を示す図である。 図４Ｃは、実施の形態２において設計したクロストークキャンセラの周波数特性例を示す図である。 図５は、実施の形態２における遅延処理部を設けた信号処理装置の構成例およびスピーカと、受聴者とを示す図である。 図６Ａは、実施の形態２において設計したクロストークキャンセラのインパルス応答例を示す図である。 図６Ｂは、実施の形態２において時間進みを考慮して設計したクロストークキャンセラのインパルス応答例を示す図である。 図７は、実施の形態３における信号処理装置の構成例およびスピーカと、受聴者とを示す図である。 図８は、比較例におけるクロストークキャンセラを含む信号処理装置およびスピーカの構成例と、受聴者とを示す図である。 図９Ａは、図８のような左右対称のスピーカ配置におけるインパルス応答の計測例を示す図である。 図９Ｂは、図９Ａのインパルス応答の周波数特性を示す図である。 図９Ｃは、設計したクロストークキャンセラの周波数特性例を示す図である。 図１０は、車室内に設置されたクロストークキャンセラを含む信号処理装置およびスピーカ周辺の構成例と、受聴者とを示す図である。 図１１Ａは、図１０のような左右非対称のスピーカ配置におけるインパルス応答の計測例を示す図である。 図１１Ｂは、図１１Ａのインパルス応答の周波数特性を示す図である。 図１１Ｃは、設計したクロストークキャンセラの周波数特性例を示す図である。 図１２Ａは、実施の形態４において、ｎごとに設計した伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）の一例を示す図である。 図１２Ｂは、実施の形態４の変形例において、拡張バンドごとに設計した伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）の一例を示す図である。 図１３は、クリティカルバンドの一例を示す図である。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、クロストークキャンセル処理に関し、以下の問題が生じることを見出した。この点について、比較例を示す図８〜図１１Ｃを用いて説明する。

ステレオスピーカを用いた３Ｄ音響技術においては、クロストークキャンセラを用いることが一般的である。クロストークキャンセラとは、受聴者の左に設置されたスピーカから受聴者の右耳に到達する音を、受聴者の右に設置されたスピーカから発せられる制御音によってキャンセルする（もしくは、逆に、右に設置されたスピーカから左耳に到達する音をキャンセルする）ように設計された信号処理装置である。

まず、図８を用いてステレオスピーカを用いたクロストークキャンセラの原理を説明する。図８は、比較例におけるクロストークキャンセラ８０１を含む信号処理装置８およびスピーカの構成例と受聴者１００とを示す図である。この信号処理装置８は、クロストークキャンセラ８０１を備え、スピーカ１１１およびスピーカ１１２に接続される。なお、本明細書の説明で特に記載のない場合、変数は全て周波数領域に変換された値とする。また、左のスピーカ１１１から受聴者１００の左耳元１０１、右耳元１０２への伝達関数をＧＬＬ、ＧＬＲ、右のスピーカ１１２から受聴者１００の左耳元１０１、右耳元１０２への伝達関数をＧＲＬ、ＧＲＲと呼ぶこととする。また、受聴者１００とは、実際に再生された音を聞く人であるが、より平均的な頭部形状をもつ音響計測用マネキン（ダミーヘッド）などでもよい。また、左のスピーカ１１１、右のスピーカ１１２は、受聴者１００の耳元を含む水平面上に、受聴者１００の正面に対して左側、右側に設置されているスピーカのことを呼ぶが、必ずしもそれに限らず、前記水平面上になくてもよい。

図８において、ステレオスピーカであるスピーカ１１１およびスピーカ１１２を用いて受聴者１００の左耳元１０１および右耳元１０２で得られる信号を制御する。なお、耳元とは受聴者の外耳道入口付近を示すが、鼓膜位置など、音響特性を収録する耳付近のどこでもよい。

ここでは信号Ａを入力し、左耳元１０１には音が到達し、右耳元１０２には０（つまり音が到達しない状態）を実現する。つまり、スピーカ１１１から右耳元１０２への音漏れ（クロストーク）をキャンセルする。これを、クロストークキャンセラ８０１を用いて実現する。クロストークキャンセラ８０１の伝達関数をＸＣとする。スピーカ１１１およびスピーカ１１２から左耳元１０１および右耳元１０２までの音響伝達関数をそれぞれＧＬＬ、ＧＬＲ、ＧＲＬ、ＧＲＲとすると、右耳元１０２にて０を得るためには、（式１）を満たす必要がある。

（ＧＬＲ＋ＸＣ＊ＧＲＲ）＊Ａ＝０・・・（式１）

つまり、クロストークキャンセラ８０１の伝達関数ＸＣは（式２）で実現される。

ＸＣ＝−ＧＬＲ／ＧＲＲ・・・（式２）

このように設計されたクロストークキャンセラ８０１を用いて処理された信号をスピーカ１１１、１１２で再生することで、受聴者１００の左耳元１０１にのみ信号Ａの音が到達し、右耳元１０２には音が到達しない状態が実現される。

ここで、図８のように、受聴者に対して、スピーカ１１１およびスピーカ１１２が左右対称の配置にある場合、左のスピーカ１１１と右耳元１０２の間の距離が、右のスピーカ１１２と右耳元１０２との間の距離より長い。また、右耳元１０２から右のスピーカ１１２は見通せるが左のスピーカ１１１は見通せない位置にあり左のスピーカ１１１から右耳元１０２への音は回り込んだ音となる。これらのことから、ＧＬＲとＧＲＲとのゲインを比較すると｜ＧＬＲ｜＜｜ＧＲＲ｜となる。クロストークキャンセラ８０１の伝達関数ＸＣのゲインも｜ＸＣ｜＜１となる。つまり、本来聞かせたい左のスピーカ１１１から再生される音より、右のスピーカ１１２から再生されるキャンセル音（つまり制御音）の方のゲインが小さくなり、特に問題は生じない。言い換えれば、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象が起こらない。

受聴者に対して、スピーカ１１１およびスピーカ１１２が左右対称の配置にある場合の、伝達関数に関する具体的な計測例を図９Ａ〜図９Ｃに示す。図９Ａは、図８のような左右対称のスピーカ配置におけるインパルス応答の計測例を示す図である。図９Ａの上段は右のスピーカ１１２と右耳元１０２との間のインパルス応答で、下段が左のスピーカ１１１と右耳元１０２との間のインパルス応答を示す。グラフの横軸は時刻に相当するサンプル数で、縦軸は振幅を示す。図９Ａをみるとわかるように、右のスピーカ１１２−右耳元１０２間のインパルス応答のほうが左のスピーカ１１１−右耳元１０２間のインパルス応答より振幅が大きくなっている。これは、右のスピーカ１１２−右耳元１０２間のほうが、左のスピーカ１１１−右耳元１０２間より距離も短く、かつ、右耳元１０２から右のスピーカ１１２を見通すことができるからであると思われる。図９Ｂは、図９Ａのインパルス応答の周波数特性を示す図である。つまり、図９Ａの上段および下段のインパルス応答特性曲線のそれぞれをフーリエ変換で周波数領域に変換したものを図９Ｂに示す。横軸は周波数、縦軸はゲインをｄＢで表示したものである。実線がＧＲＲ、点線がＧＬＲを示す。周波数ごとにみても、ＧＲＲのほうがＧＬＲより大きくなっていることがわかる。このＧＬＲ、ＧＲＲから、周波数ごとにクロストークキャンセラ８０１の伝達関数ＸＣを算出したものが図９Ｃの実線である。つまり、図９Ｃは、設計したクロストークキャンセラ８０１の周波数特性例を示す図である。すべての周波数においてクロストークキャンセラ８０１の伝達関数ＸＣのゲインは点線で示した０ｄＢの値（ＳＰＬ(Sound Pressure Level)出力）より小さな値をとっている。左のスピーカ１１１出力より右のスピーカ１１２出力のほうが小さな制御音を出力することがわかる。つまり、聞かせたい耳側のスピーカから聞かせたい音を再生し、聞かせたくない耳側のスピーカからクロストークをキャンセルする制御音を再生しており、クロストークをキャンセルする信号は聞かせたい信号より小さな音でよいことがわかる。したがって、左右対称なスピーカ配置の場合は、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象が起こらない。

以上が図８のような左右対称なスピーカ配置の場合であったが、例えば車室内などのような、受聴者からみてスピーカ配置が左右対称ではない音環境においては状況が異なる。図１０に車室内を模した図を示す。図１０は、車室内に設置されたクロストークキャンセラ１０３０を含む信号処理装置８およびスピーカ周辺の構成例と、受聴者１０００とを示す図である。ここでは、受聴者１０００は右側の運転席に座っており、左右のスピーカ１０１１およびスピーカ１０１２で音を受聴する場合を例として取り上げる。図１０に記載したとおり、車室内には、窓ガラスやドアなどで構成される左右の壁１０２１、１０２２が存在し、この壁１０２１、１０２２のなかにスピーカ１０１１、１０１２が設置されることが多い。また、スピーカ１０１１、１０１２は壁１０２１、１０２２中の受聴者１０００の足元付近に設置される場合が多く、右耳元１００２から右のスピーカ１０１２は見通すことができない場合がある。また、左のスピーカ１０１１から発せられた音は、右耳元１００２に回り込んで到達するが、ガラス面などで構成される壁１０２２にて反射して右耳元１００２に到達する経路もあり、図８のような環境とは異なった特性が得られることが予想される。特にガラス面は音の反射率が高いため、音を減衰させることなくよく反射させることから、距離の遠い左のスピーカ１０１１から右耳元１００２への音のほうが、右のスピーカ１０１２から右耳元１００２への音より大きく伝わる、つまり、｜ＧＬＲ｜＞｜ＧＲＲ｜となる場合がある。このような音響系で、図１０で構成されるクロストークキャンセラ１０３０の伝達関数ＸＣを設計すると、そのゲインは｜ＸＣ｜＞１となる。また、右のスピーカ１０１２から右耳元１００２が見通せないことから、その間の音響特性を示す伝達関数ＧＲＲは、直接音成分が弱く、相対的に反射音成分が多く存在することになる。このような場合、｜ＧＲＲ｜が非常に小さくなる周波数特性のディップが生じるが、これもクロストークキャンセラ１０３０のゲインである｜ＸＣ｜が１より大きくなる要因である。

このように設計されたフィルタで入力信号を処理してクロストークキャンセル処理を実現するには、一般的には、設計したクロストークキャンセラ１０３０の伝達関数ＸＣを逆フーリエ変換で時間領域に変換し、ＦＩＲフィルタなどで入力信号を処理することで実現する。この際、クロストークキャンセラ１０３０の伝達関数ＸＣのゲイン｜ＸＣ｜がある周波数で大きな値をとるなど、周波数によってＸＣが急峻な変化をする場合、時間領域では非常に多くのタップ長が必要となり、演算量が大きくなるという課題がある。また、場合によってはタップ長を増やしても収束しない状態（発散する状態）となってしまうこともあり、このような場合、この特性をもつフィルタでの処理を実現することができない。

また、｜ＸＣ｜＞１の場合、左のスピーカ１０１１から再生される本来聞かせたい音と比較して、右のスピーカ１０１２から、より大きな制御音が再生されることになる。以下ではこのことが制御に及ぼす影響について説明する。左のスピーカ１０１１、右のスピーカ１０１２と受聴者の左耳元１００１、右耳元１００２との間の音響特性は、さまざまな要因で変動する。例えば、左のスピーカ１０１１、右のスピーカ１０１２と左耳元１００１、右耳元１００２との間の音響伝達関数の計測位置と、受聴者１０００が受聴する位置とが異なる場合がある。その際、クロストークキャンセラ１０３０のゲイン｜ＸＣ｜が大きいと、右のスピーカ１０１２と右耳元１００２間の音響特性が微小に変化した場合の耳元で得られる信号への影響が大きく、右耳元１００２で得られる音が０から大きく異なってしまうことが予想される。特に反射音が多く存在する車室内などでは、例えば受聴者の頭部の少しの移動などで反射音の影響で容易に変化するため、右のスピーカ１０１２と右耳元１００２間の音響特性のゲインが小さな値を取る周波数が変化しやすく、その結果、うまく制御できなくなるということになる。

図１１Ａ〜図１１Ｃに実際の車室内での伝達関数の計測例を示す。図１１Ａは、図１０のような左右非対称のスピーカ配置（ここでは車室内）におけるインパルス応答の計測例を示す図である。図１１Ａの上段は右のスピーカ１０１２から右耳元１００２へのインパルス応答、図１１Ａの下段は左のスピーカ１０１１から右耳元１００２へのインパルス応答を示す。右のスピーカ１０１２−右耳元１００２間と左のスピーカ１０１１−右耳元１００２間のインパルス応答の振幅差に着目すると、図９Ａにおける上段と下段の振幅差は大きかったのに対して、図１１Ａの上段と下段ではほぼ同じくらいの振幅となっていることがわかる。図１１Ｂは、図１１Ａのインパルス応答の周波数特性を示す図である。つまり、図１１Ｂは、図１１Ａの上段および下段のそれぞれのインパルス応答特性曲線を周波数領域に変換したものを示す。実線が右のスピーカ１０１２から右耳元１００２へのインパルス応答の周波数特性を示す伝達関数ＧＲＲ、点線が左のスピーカ１０１１から右耳元１００２へのインパルス応答の周波数特性を示す伝達関数ＧＬＲを示す。図９Ｂでは全ての周波数にわたって｜ＧＲＲ｜＞｜ＧＬＲ｜であったが、図１１Ｂでは、周波数によっては｜ＧＲＲ｜＜｜ＧＬＲ｜となっていることがわかる。これらの計測結果からクロストークキャンセラ１０３０の伝達関数ＸＣを算出した。クロストークキャンセラ１０３０の伝達関数ＸＣの周波数特性例を図１１Ｃの実線で示す。クロストークキャンセラ１０３０の伝達関数ＸＣのゲインは０ｄＢを超える周波数が多く、このような例においては、クロストークキャンセルのための出力である右のスピーカ１０１２のほうが左のスピーカ１０１１より大きな音として出力されることがわかる。

このように、左右非対称なスピーカ配置の場合は、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象が起こり得る。図１０の車室内などのように、受聴者１０００からみて２つのスピーカが歪な位置にある場合、スピーカ１０１２から出力される制御音の振幅が、本来聞かせたい音よりも大きくなり得る。その結果、クロストークをキャンセルする機能は、受聴者１０００の受聴位置の変動（例えば頭部の前後左右の動きや向きの変動）による音響特性の変化に対して非常に弱く、適切なクロストークキャンセル処理ができなくなる。

この問題を解決するために、本開示の一態様に係る信号処理装置は、Ｘ側およびＹ側（Ｘは左および右の一方、Ｙは左および右の他方）の２つのスピーカが配置された左右が歪な音響空間内で入力の音声信号に対するクロストークキャンセル処理を行う信号処理装置であって、受聴者のＹ側の耳で該音声信号が概ね打ち消されるように前記２つのスピーカからの出音を制御する制御部を有し、Ｙ側のスピーカとＹ側の耳との間の伝達関数をＧＹＹ、Ｘ側のスピーカとＹ側の耳との間の伝達関数をＧＸＹ、前記ＧＹＹを前記ＧＸＹで除して得られる伝達関数をＧＣＹとしたとき、前記制御部は、Ｙ側のスピーカから該音声信号を出音するように制御し、Ｘ側のスピーカから該音声信号をＧＣＹで処理した信号を出音するように制御する。

これにより、Ｙ側のスピーカではなくＸ側のスピーカから該音声信号をＧＣＹで処理した信号を出音（つまり制御音を出力）するので、歪な音響空間内においてもクロストークキャンセラのゲインを大きくせずにクロストークをキャンセルすることが可能となる。従って、歪な音響空間においても、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象を低減することができる。つまり、適切なクロストークキャンセル処理を実現することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る信号処理装置の実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも一包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は本実施の形態における信号処理装置１の構成例およびスピーカと、受聴者１００とを示す図である。図中、信号処理装置１は、制御部１０３、クロストークキャンセラ１１０、入力部１２０、出力部１２１および出力部１２２を備える。信号処理装置１は、入力部１２０から入力した音信号を制御部１０３の制御下でクロストークキャンセラ１１０を用いるなどして処理し、信号処理装置１の外部にある左のスピーカ１１１から出音するための出力用音信号を出力部１２１から出力し、信号処理装置１の外部にある右のスピーカ１１２から出音するための出力用音信号を出力部１２２から出力する。

ここでは、制御部１０３は、再生したい音声信号Ａを入力し、受聴者１００の左耳元１０１にのみ音が到達し、右耳元１０２には音が到達しない状態を実現するようにクロストークキャンセラ１１０、出力部１２１および出力部１２２を制御する。図１に記載のようにクロストークキャンセラ１１０（この伝達関数をＸＣとする）は、図８および図１０とは逆に、すなわち、右のスピーカ１１２用の出力部１２２への経路上ではなく、左のスピーカ１１１用の出力部１２１への経路上に設置してある。つまり、聞かせたい音を左のスピーカ１１１でなく右のスピーカ１１２から再生し、クロストークキャンセラ１１０を左のスピーカ１１１側に設置する。

この場合、受聴者１００の右耳元１０２で０を実現するには、右のスピーカ１１２−右耳元１０２間、左のスピーカ１１１−右耳元１０２間の伝達関数をそれぞれＧＲＲ、ＧＬＲ、クロストークキャンセラ１１０の伝達関数をＸＣとすると、右耳元１０２にて０を得るためには（つまり音を打ち消すためには）、（式３）を満たす必要がある。

ＧＲＲ＋ＧＬＲ＊ＸＣ＝０ ・・・（式３）

（式３）よりクロストークキャンセラ１１０の伝達関数ＸＣは、（式４）で得られる。

ＸＣ＝−ＧＲＲ／ＧＬＲ ・・・（式４）

（式４）から｜ＧＲＲ｜＜｜ＧＬＲ｜の場合でもクロストークキャンセラ１１０の伝達関数ＸＣのゲイン｜ＸＣ｜を１より小さくすることができ、歪な音響空間における前述のような時間領域で実現する際のタップ長増大の課題や、音響特性の変動による制御性能の大幅な劣化、すなわち本来聞かせたい音よりも大きい音が聞こえるという不適切な現象を低減できる。

図１１Ａおよび図１１Ｂでの計測結果を用いて図１のクロストークキャンセラ１１０を設計した結果を図２Ａ〜図２Ｃに示す。図２Ａは左右非対称のスピーカ配置における音響特性のインパルス応答計測例を示す図である。図２Ａ上段は、右のスピーカ１１２から右耳元１０２への、図２Ａ下段は左のスピーカ１１１から右耳元１０２へのインパルス応答を示す。図２Ｂは、図２Ａのインパルス応答計測例の周波数特性を示す図である。つまり、図２Ｂは、図２Ａの上段および下段のそれぞれのインパルス応答特性曲線を周波数領域に変換したものを示す。実線が右のスピーカ１０１２から右耳元１００２へのインパルス応答の周波数特性を示す伝達関数ＧＲＲ、点線が左のスピーカ１０１１から右耳元１００２へのインパルス応答の周波数特性を示す伝達関数ＧＬＲを示す。図２Ａおよび図２Ｂは、比較のため、図１１Ａおよび図１１Ｂと同じものとする。

これらを用いて図１の構成でクロストークキャンセラ１１０伝達関数ＸＣの周波数特性を算出すると、図２Ｃのようになる。つまり、図２Ｃは、設計したクロストークキャンセラ１１０の周波数特性例を示す図である。比較例の図１１Ｃと比較すると、図１の構成でクロストークキャンセラ１１０を設計した場合、約５ｋＨｚ以下においては、クロストークキャンセラ１１０の伝達関数ＸＣのゲイン｜ＸＣ｜が０ｄＢより小さい値をとる周波数が多くなっていることがわかる。

これは、約５ｋＨｚ以下の帯域に置いて、右のスピーカ１１２と右耳元１０２間の周波数特性のゲイン｜ＧＲＲ｜より、左のスピーカ１１１と右耳元１０２間の周波数特性のゲイン｜ＧＬＲ｜が大きい周波数が多かったからである。この帯域では、再生したい音よりクロストークキャンセルのための制御音を小さな音とすることができ、前述のような課題、を解決、すなわち、左右非対称なスピーカ配置の場合に本来聞かせたい音よりも大きい音が聞こえるという不適切な現象が起こりにくくすることができることがわかる。

なお、ここでは左耳元１０１にのみ音が到達し、右耳元１０２には音が到達しない状態を実現する場合について説明したが、右耳元１０２にのみ音が到達し、左耳元１０１に音が到達しない状態を実現する場合についても同様である。

以上説明してきたように、本実施の形態における信号処理装置１は、Ｘ側およびＹ側（Ｘは左および右の一方、Ｙは左および右の他方）の２つのスピーカが配置された左右が歪な音響空間内で入力の音声信号に対するクロストークキャンセル処理を行う信号処理装置であって、受聴者のＹ側の耳で該音声信号が概ね打ち消されるように前記２つのスピーカからの出音を制御する制御部１０３を有し、Ｙ側のスピーカとＹ側の耳との間の伝達関数をＧＹＹ、Ｘ側のスピーカとＹ側の耳との間の伝達関数をＧＸＹ、前記ＧＹＹを前記ＧＸＹで除して得られる伝達関数をＧＣＹとしたとき、前記制御部１０３は、Ｙ側のスピーカから該音声信号を出音するように制御し、Ｘ側のスピーカから該音声信号をＧＣＹで処理した信号を出音するように制御する。

たとえば、Ｘが左、Ｙが右である場合は、図１に示したように、Ｘ側スピーカは左のスピーカ１１１、Ｙ側スピーカは右のスピーカ１１２が該当する。また、伝達関数ＧＹＹ、ＧＸＹは、図２Ｂに示した伝達関数ＧＲＲ、ＧＬＲに該当する。伝達関数ＧＣＹは、図２Ｃに示した伝達関数ＸＣに該当する。

また、例えば、Ｘが右、Ｙが左である場合は、図１のクロストークキャンセラ１１０の代わりに入力部１２０と右側の出力部１２２の間にクロストークキャンセラを備える構成例に該当する。そして、Ｘ側スピーカは右のスピーカ１１２に、Ｙ側スピーカは左のスピーカ１１１に該当する。また、伝達関数ＧＹＹ、ＧＸＹは、伝達関数ＧＬＬ、ＧＲＬに該当する。伝達関数ＧＣＹは、（−ＧＬＬ／ＧＲＬ）に該当する。

この構成によれば、Ｙ側のスピーカではなくＸ側のスピーカから該音声信号をＧＣＹで処理した信号を出音（つまり打ち消すための制御音を出力）するので、歪な音響空間内においてもクロストークキャンセラのゲインを大きくせずにクロストークをキャンセルすることが可能となる。従って、歪な音響空間においても、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象を低減することができる。つまり、適切なクロストークキャンセル処理を実現することができる。

ここで、前記制御部１０３は、Ｘ側のスピーカから該音声信号に、−ＧＣＹを乗じた信号を出音するように制御してもよい。

また、本実施の形態における信号処理装置１は、入力した音声信号を処理し、出力する信号処理装置１であって、第１の音声信号を入力する入力部１２０と、上記第１の音声信号を処理し、第２の音声信号と第３の音声信号を出力する制御部１０３と、前記第２の音声信号を外部に出力する第１の出力部と、前記第３の音声信号を外部に出力する第２の出力部とを備える。前記第２の音声信号を音として出力する第１のスピーカと受聴者の片側の耳との間の伝達関数をＧＹＹ、前記第３の音声信号を音として出力する第２のスピーカと受聴者の前記片側の耳との間の伝達関数をＧＸＹ、前記ＧＹＹを前記ＧＸＹで除して得られる伝達関数をＧＣＹとするとき、前記制御部１０３は、前記第１の音声信号を前記第２の音声信号として出力し、前記第１の音声信号に−ＧＣＹを乗じることにより前記第３の音声信号として出力する。

例えば、第１の出力部、第２の出力部は、図１の構成例では左の出力部１２１、右の出力部１２２に該当し、上記の片側の耳は右耳元１０２に該当する。また、伝達関数ＧＹＹ、ＧＸＹは、図２Ｂに示した伝達関数ＧＲＲ、ＧＬＲに該当する。伝達関数ＧＣＹは、図２Ｃに示した伝達関数ＸＣに該当する。

また、例えば、第１の出力部、第２の出力部は、右の出力部１２２、左の出力部１２１に該当し、上記の片側の耳は左耳元１０１に該当する。この場合、図１のクロストークキャンセラ１１０の代わりに入力部１２０と右側の出力部１２２の間にクロストークキャンセラを備える構成例に該当する。そして、伝達関数ＧＹＹ、ＧＸＹは、伝達関数ＧＬＬ、ＧＲＬに該当する。伝達関数ＧＣＹは、（−ＧＬＬ／ＧＲＬ）に該当する。

この構成によっても、上記と同様に、歪な音響空間においても、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象を低減することができる。つまり、適切なクロストークキャンセル処理を実現することができる。

（実施の形態２）
実施の形態１における図２Ｃに示したとおり、実際に計測した音響特性においては、全ての周波数に置いて｜ＧＲＲ｜＜｜ＧＬＲ｜を満たすとは限らず、｜ＧＲＲ｜＞｜ＧＬＲ｜となる周波数も含まれる場合がある。

このような場合、図１の構成とすると、｜ＧＲＲ｜＞｜ＧＬＲ｜を満たす周波数においては、（式５）より、クロストークキャンセラ１１０のゲイン｜ＸＣ｜が１より大きくなってしまうことがわかる。

ＸＣ＝−ＧＲＲ／ＧＬＲ・・・（式５）

図２Ｃでは、５ｋＨｚ以上の帯域において｜ＸＣ｜＞１となる周波数が多く含まれているが、これは該当周波数で｜ＧＲＲ｜＞｜ＧＬＲ｜であるからである。

そこで、図３Ａのような構成とすることで、より最適な制御を実現する。図３Ａは、実施の形態２における信号処理装置３の構成例およびスピーカ１１１、１１２と、受聴者１００とを示す図である。図３Ａでは、スピーカ１１１、１１２それぞれの入力信号にクロストークキャンセラ２０１、２０２で処理を行う。クロストークキャンセラ２０１、２０２の伝達関数をそれぞれＸＣＬ、ＸＣＲとする。この伝達関数ＸＣＬ、ＸＣＲは下記のように設計する。

ＸＣＬ（ｎ）＝１ ・・（式６Ａ）
ＸＣＲ（ｎ）＝Ｒ（ｎ）＝−ＧＬＲ（ｎ）／ＧＲＲ（ｎ）・・（式６Ｂ）
ただし｜ＧＲＲ（ｎ）｜＞＝｜ＧＬＲ（ｎ）｜の場合。

ＸＣＬ（ｎ）＝Ｌ（ｎ）＝−ＧＲＲ（ｎ）／ＧＬＲ（ｎ）・・（式７Ａ）
ＸＣＲ（ｎ）＝１ ・・（式７Ｂ）
ただし｜ＧＲＲ（ｎ）｜＜｜ＧＬＲ（ｎ）｜の場合。

ただし、ｎは周波数領域に変換された際の周波数サンプルポイントを示し、例えば、０からＮ−１のＮ個のサンプルポイントの何れか示す。あるいは、ｎは、音声信号をＮ分割した周波数帯域を示すインデックスであってよい。ＸＣＬ（ｎ）等は、サンプルポイントｎにおけるサンプル値またはインデックスｎに対応する周波数帯域のサンプル値（伝達関数）を示す。

上式では、周波数ごとに｜ＧＬＲ（ｎ）｜と｜ＧＲＲ（ｎ）｜の大きさを比較し、その結果によってクロストークキャンセラ２０１、２０２の伝達関数を周波数ごとに設計している。その概略図を図３Ｂに示す。図３Ｂは、実施の形態２におけるクロストークキャンセラの詳細設計例を示す説明図である。

右のスピーカ１１２と右耳元１０２間の周波数特性を示す伝達関数ＧＲＲ、左のスピーカ１１１と右耳元１０２間の周波数特性を示す伝達関数ＧＬＲとも、Ｎサンプルでフーリエ変換され、周波数サンプルポイントｎは、０からＮ−１の値を持つ。周波数サンプルポイントｎにおける伝達関数のゲイン｜ＧＲＲ（ｎ）｜と｜ＧＬＲ（ｎ）｜を比較し、その大小によってクロストークキャンセラ２０１、２０２の伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）が決定される。例えば、｜ＧＲＲ（０）｜＞｜ＧＬＲ（０）｜であるため、ＸＣＬ（０）、ＸＣＲ（０）はそれぞれ１、Ｒ（０）＝−ＧＬＲ（０）／ＧＲＲ（０）と決定される。これを周波数サンプル０からＮ−１までの全てにおいて実施し、ＸＣＬ、ＸＣＲの周波数特性を決定する。

これにより、クロストークキャンセラ２０１、２０２とも、ゲインが１よりも大きくなることを避けることができ、より最適な制御を実現することができる。

図１１Ａ、図１１Ｂの例で用いた計測結果を示す図４Ａ、図４Ｂを元に、上記アルゴリズムにてクロストークキャンセラ２０１、２０２を設計した結果を図４Ｃに示す。図４Ａ、図４Ｂは、それぞれ図２Ａ、２Ｂと同様に、左右非対称のスピーカ配置におけるインパルス応答計測例、周波数特性を示す図である。図４Ｃは、実施の形態２において設計したクロストークキャンセラの周波数特性例を示す図である。

図４Ｃのグラフを見てわかるように、伝達関数ＸＣＬ、ＸＣＲのゲインをすべての周波数において０ｄＢ以下とすることができる。

ここで、上記のようにして設計したフィルタを時間領域に変換する際の注意点について説明する。例えば図４Ａの２つのインパルス応答を比較すると、ＧＲＲのほうがＧＬＲより早くピークが立ち上がり、遅延時間が短い可能性がある。この場合、例えばある周波数サンプルにおいてクロストークキャンセラ２０１の伝達関数ＸＣＬ（ｎ）＝−ＧＲＲ（ｎ）／ＧＬＲ（ｎ）で算出すると、フィルタ自体が時間進み成分を持つ可能性があることになる。時間を進ませることは、一方のスピーカからの出音と他方のスピーカからの出音との間の因果性を満たさないことになり、このままでは実現することができない。しかし、この時間進み成分は左のスピーカ１１１出力と右のスピーカ１１２出力との相対的な時間進み成分であればよいため、全体を遅延させることで因果性を満たすものとして実現することができる。具体的には、図５のように遅延部５０３を設ける。この遅延部５０３はクロストークキャンセラ２０１、２０２それぞれの時間進み成分の最大値より大きな遅延時間を持つものである。例えば、クロストークキャンセラ２０１、２０２の時間進み成分がそれぞれｚＮＬ、ｚＮＲで、Ｌ＞Ｒ（ただし、Ｌ、Ｒは０以上の整数である）のとき、遅延部５０３は入力信号自体を少なくともＬサンプル遅延させる。これにより、入出力での左のスピーカ１１１出力における時間進み成分は０になる。これにより、左のスピーカ１１１出力と右のスピーカ１１２出力の相対的な遅延時間差は保たれたまま、因果性を満たす処理として実現可能となる。この遅延時間の調整については、周波数領域でも実現可能である。図６Ａは、図４Ｃで設計したクロストークキャンセラＸＣＬを逆フーリエ変換で時間領域に変換したインパルス応答例を示す図である。この係数を見ると、時間サンプル０付近でピークをもつものの、時間サンプルの終端（２０００サンプル付近）でも振幅が大きな値を取っている。フーリエ変換の性質として、時間進み成分については時間サンプルの終端に回り込んで現れることから、これは設計したクロストークキャンセラＸＣＬが時間進み成分を含んでいることを意味する。そこで、この時間進み成分をなくすため、周波数領域で遅延させる。具体的には、遅延させるサンプル数をｄとすると、係数の終端から時間サンプル０に向かってｄサンプルを切り出し、時間サンプル０の前に移動させる。これにより、全体をｄサンプル遅延させたことになる。ｄ＝１０２４として遅延させたものを図６Ｂに示す。図６Ｂは、実施の形態２において時間進みを考慮して設計したクロストークキャンセラのインパルス応答例を示す図である。右のスピーカ側のクロストークキャンセラＸＣＲに対しても同様にこの処理を施すことで、左右のクロストークキャンセラＸＣＬとＸＣＲの相対的な時間遅延を変化させずにフィルタとしての因果性を満たすことができる。このようにして生成した係数にハニング窓などをかけ、時間サンプル０、および終端付近で収束させて用いてもよい。

なお、ここでは遅延時間を整数のサンプル数で説明したが、整数でない場合についても適用可能である。

以上説明してきたように本実施の形態における信号処理装置３において前記制御部２０３は、音声信号を複数の周波数帯域信号Ｆ（ｎ）に変換（ｎは周波数帯域を示すインデックス）する。ここで、前記ｎごとに、Ｙ側のスピーカとＹ側の耳の間の伝達関数をＧＹＹ（ｎ）、Ｘ側のスピーカとＹ側の耳の間の伝達関数をＧＸＹ（ｎ）、前記ＧＹＹ（ｎ）を前記ＧＸＹ（ｎ）で除して得られる伝達関数をＧＣＹ（ｎ）、前記ＧＸＹ（ｎ）を前記ＧＹＹ（ｎ）で除して得られる伝達関数をＧＣＸ（ｎ）とする。

前記制御部１０３は、前記ｎごとに前記ＧＹＹ（ｎ）と前記ＧＸＹ（ｎ）とのゲインを比較し、前記ＧＸＹ（ｎ）のゲインが前記ＧＹＹ（ｎ）のゲインより大きい場合には、Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御し、前記ＧＹＹ（ｎ）のゲインが前記ＧＸＹ（ｎ）のゲインより大きい場合には、Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御する。

これによれば、上記のｎごとに、クロストークキャンセルするための制御音のゲインが１よりも大きくなることを避けることができ、より最適な制御を実現することができる。つまり、歪な音響空間においても、本来聞かせたい音よりも大きい音が聞こえるという不適切な現象をより確実に低減することができ、より、適切なクロストークキャンセル処理を実現することができる。ここで、信号処理装置５は、さらに入力した音声信号を遅延する遅延部５０３を備え、前記遅延部５０３の遅延時間は、Ｘ側スピーカからの出音とＹ側スピーカからの出音との間の因果性を満たすよう設定される。

（実施の形態３）
これまで説明してきた制御装置は設計したクロストークキャンセラで入力信号を処理し、スピーカから再生して制御するものであったが、クロストークキャンセラで処理された信号をメモリやハードディスクドライブなどの記録装置に記録しておき、再生の必要に応じて処理された信号を再生する、という利用方法も有効である。

図７にそのブロック図を示す。図７は、実施の形態３における信号処理装置７の構成例およびスピーカ１１１、１１２と、受聴者１００とを示す図である。音声信号Ａは前述のような方法で設計されたクロストークキャンセラ２０１（ＸＣＬ）、２０２（ＸＣＲ）で信号処理され、出力信号として記録装置７０１に記録される。記録装置７０１に記録された出力信号は、所定のタイミングで記録装置７０１から読みだされ、左のスピーカ１１１、右のスピーカ１１２から再生される。再生タイミングは、例えばユーザ操作などのイベントやタイムスタンプなどをトリガとして設定することができる。

ここで、クロストークキャンセラ２０１（ＸＣＬ）、２０２（ＸＣＲ）で信号処理された出力信号を生成するのは、リアルタイム処理でもオフライン処理でもよい。２０１、２０２において施される信号処理は固定であるため、同じ信号を何度も処理して再生する場合には、一度生成された出力信号を記録装置７０１に記録しておき、次回以降再生する際には記録された出力信号を再生すると、クロストークキャンセラ２０１、２０２で必要な演算量の負荷を抑えるためには有効である。また、記録装置７０１に記録する出力信号の生成をＰＣなど、再生機とは別の機器で実施することも可能であり、その場合には、再生機にはクロストークキャンセラ２０１（ＸＣＬ）、２０２（ＸＣＲ）でのフィルタ処理を実現するためのＤＳＰなどの信号処理装置は不要となり、再生機の簡略化が可能となる。さらにこの利用形態においては、このフィルタ処理に必要な演算時間の制限がないため、長いタップ長で設計したフィルタを利用することができる。

以上説明してきたように本実施の形態における信号処理装置７は、Ｘ側のスピーカから出音すべき音声信号と、Ｙ側のスピーカから出音すべき音声信号とを記録する記録装置を備える。

この構成によれば、信号処理装置７は、リアルタイム処理だけでなくオフライン処理することも可能になる。オフライン処理では、演算時間の制限がないため、長いタップ長で設計したフィルタ処理（クロストークキャンセル処理）を利用することができる。

なお、記録装置７０１は、インターネットに接続されたサーバ上にあってもよい。再生機はインターネットを経由して前記サーバにアクセスし、フィルタ処理された信号を再生することで、所望の効果を得ることができる。フィルタ処理された信号は、車種などの再生機ごとに最適化されたものであってもよく、あるいは、複数のタイプの再生機をグルーピングしたものに対して最適化されたものでもよい。さらに、ユーザの指示により、所望の音声に対して、再生機に応じたフィルタ処理を施したものを提供してもよい。

（実施の形態４）
クロストークキャンセルは、片方の耳に到達する音声信号を０にする技術であるので、言い換えれば、逆側の耳にのみ音声が到達する状態を作り出すものである。その場合リスナーは、耳元で音が聴こえる、と感じる。

片方の耳元でのみ音が聴こえる状況は、様々な心理状態を引き起こす。例えば、蚊が耳元に纏わりつく煩わしさ、異性が耳元で囁くドキドキ感、ゾンビが耳元に現れる不気味さ、銃弾が耳元を掠め飛ぶ驚き、などである。

本発明者らは、このような聴覚心理現象を、ゲームの楽しさの向上や、爽やかな覚醒、のために応用しようと考えている。

前記の実施の形態２は、片方の耳に到達する音声信号を効果的に０にすることを意図するものであった。

本実施の形態４では、片方の耳に到達する音声信号を０にするための選択肢において、その効果の差が小さい場合は、逆の耳元に到達する音声信号が大きくなる方の選択肢を選択することで耳元感を強くするという意図で構成された技術を述べる。

前記の実施の形態２では、周波数帯域信号Ｆ（ｎ）の周波数帯域を示すインデックスｎごとに｜ＧＬＲ（ｎ）｜と｜ＧＲＲ（ｎ）｜の大きさを比較し、その結果によってクロストークキャンセラ２０１、２０２の伝達関数ＸＣＬ、ＸＣＲを周波数ごとに設計していた。

すなわち、次のように表される。

｜ＧＲＲ（ｎ）｜＞＝｜ＧＬＲ（ｎ）｜の場合、
ＸＣＬ（ｎ）＝１ ・・（式６Ａ）
ＸＣＲ（ｎ）＝Ｒ（ｎ）＝−ＧＬＲ（ｎ）／ＧＲＲ（ｎ）・・（式６Ｂ）

｜ＧＲＲ（ｎ）｜＜｜ＧＬＲ（ｎ）｜の場合、
ＸＣＬ（ｎ）＝Ｌ（ｎ）＝−ＧＲＲ（ｎ）／ＧＬＲ（ｎ）・・（式７Ａ）
ＸＣＲ（ｎ）＝１ ・・（式７Ｂ）

ここでもし、｜ＧＲＲ（ｎ）｜と｜ＧＬＲ（ｎ）｜とが概ね同じである場合、意図している方の耳に到達する音声信号を０にする効果がどちらの選択肢でも同じであるので、逆側の耳元に到達する音声信号が大きくなる方の選択肢を選択するように制御部２０３が制御する。

図３Ａを用いてその制御方法を説明する。

インデックスｎごとに、右のスピーカ１１２と右耳元１０２間の周波数特性を示す伝達関数をＧＲＲ（ｎ）、左のスピーカ１１１と右耳元１０２間の周波数特性を示す伝達関数をＧＬＲ（ｎ）、ＸＣＲ（ｎ）＝−ＧＬＲ（ｎ）／ＧＲＲ（ｎ）、ＸＣＬ（ｎ）＝−ＧＲＲ（ｎ）／ＧＬＲ（ｎ）、右のスピーカ１１２と左耳元１０１間の周波数特性を示す伝達関数をＧＲＬ（ｎ）、左のスピーカ１１１と左耳元１０１間の周波数特性を示す伝達関数をＧＬＬ（ｎ）とする。

まず、制御部２０３は、｜ＧＲＲ（ｎ）｜と｜ＧＬＲ（ｎ）｜とが概ね同じである場合、｜ＸＣＲ（ｎ）*ＧＲＬ（ｎ）＋ＧＬＬ（ｎ）｜と、｜ＸＣＬ（ｎ）*ＧＬＬ（ｎ）＋ＧＲＬ（ｎ）｜とを比較する。例えば、｜ＧＲＲ（ｎ）｜と｜ＧＬＲ（ｎ）｜の比が−２ｄＢから＋２ｄＢの範囲に入る場合は、｜ＧＲＲ（ｎ）｜と｜ＧＬＲ（ｎ）｜とは概ね同じである。なお、この範囲についてはこれに限るものではない。

さらに、制御部２０３は、前者が大きい場合、クロストークキャンセラ２０１の伝達関数を「１」とし、クロストークキャンセラ２０２の伝達関数をＸＣＲ（ｎ）とする。

また、制御部２０３は、後者が大きい場合、クロストークキャンセラ２０１の伝達関数をＸＣＬ（ｎ）とし、クロストークキャンセラ２０２の伝達関数を「１」とする。

｜ＧＲＲ（ｎ）｜と｜ＧＬＲ（ｎ）｜とが概ね同じではない場合は、｜ＧＲＲ（ｎ）｜＞｜ＧＬＲ（ｎ）｜の場合には、クロストークキャンセラ２０１の伝達関数を「１」とし、クロストークキャンセラ２０２の伝達関数をＸＣＲ（ｎ）とし、｜ＧＲＲ（ｎ）｜＜｜ＧＬＲ（ｎ）｜の場合には、クロストークキャンセラ２０１の伝達関数をＸＣＬ（ｎ）とし、クロストークキャンセラ２０２の伝達関数を「１」とする。

制御部２０３は、このように制御することによって、周波数帯域信号Ｆ（ｎ）ごとに、片方の耳に到達する音声信号を０にする効果が大きい方法を優先的に選択しつつも、その効果が同等である周波数帯域については、逆側の耳に到達する音声信号が大きくなる方法を選択することができるので、耳元で音声が聴こえる効果をより際立たせることができる。

次に、実施の形態４の変形例について説明する。この変形例は実施の形態２にも適用できる。

実施の形態２においても、実施の形態４においても、周波数帯域信号Ｆ（ｎ）の帯域を示すインデックスｎは、ＦＦＴ分析における各周波数を暗に示しているので、各周波数帯域信号Ｆ（ｎ）の帯域幅は同じである。実施の形態２および実施の形態４では、制御部２０３は、周波数帯域信号Ｆ（ｎ）ごとに、伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）を設計（選択または判定）していた。この変形例では、複数本の周波数帯域信号Ｆ（ｎ）を束ねた拡張バンドを複数設定し、拡張バンドごとに伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）の設計（選択または判定）を同じする例について説明する。

具体的には、制御部２０３は、周波数帯域信号Ｆ（ｎ）の複数本を束ねることで帯域幅を拡張した複数の拡張バンドを設定、つまり、隣接する複数本の周波数帯域信号Ｆ（ｎ）を括った拡張バンドを設定する。

さらに、制御部２０３は、同じ拡張バンド内の複数の周波数帯域信号Ｆ（ｎ）では、クロストークキャンセラ２０１の伝達関数ＸＣＬ（ｎ）の設計（選択または判定）を同じにし、クロストークキャンセラ２０２の伝達関数ＸＣＲ（ｎ）の設計（選択または判定）を同じにする。

拡張バンドを適用しない例と適用した例とを図１２Ａ、図１２Ｂに示す。

図１２Ａは、実施の形態４において、上記ｎごとに設計した伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）の一例を示す図である。図１２Ｂは、実施の形態４の変形例において、拡張バンドごとに設計した伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）の一例を示す図である。図１２Ａ、図１２ＢにおけるＣＢａ〜ＣＢｇは、それぞれ拡張バンドの例を示している。

図１２Ａでは、周波数帯域信号Ｆ（ｎ）ごとに、伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）を設計しているので、拡張バンドＣＢａ〜ＣＢｇは無関係である。破線で囲った各拡張バンドＣＢａ〜ＣＢｇ内で伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）を設計（選択または判定）が同じになるとは限らない。

これに対して、図１２Ｂでは、実線で囲った各拡張バンドＣＢａ〜ＣＢｇ内で、伝達関数ＸＣＬ（ｎ）、ＸＣＲ（ｎ）を設計（選択または判定）した結果が同じに揃っている。変形例において、例えば、制御部２０３は、一旦図１２Ａのような設計をした後、周波数帯域信号ごとの設計結果の多数決によって、拡張バンドごとの設計結果を定めるようにしてもよい。そのようにすることによって、隣接する周波数帯域信号Ｆ（ｎ）ごとにフィルタの設計方法が目まぐるしく変わる不自然さを回避できる。

この際の、拡張バンドを設定するための周波数帯域信号Ｆ（ｎ）の括り方は、クリティカルバンドと呼ばれる、周波数軸における人間の聴覚の知覚単位に沿って決めてもよい。

因みにクリティカルバンドは、ＭＰＥＧオーディオ規格ＩＳＯ／ＩＥＣ １３８１８−３においては、人間の耳の周波数選択特性に対応する周波数領域における心理音響的な尺度と定義されている。

図１３は、クリティカルバンドの一例を示す図である。同図は、同規格のＴａｂｌｅ Ｄ．２ａ．の一部の抜粋であり、クリティカルバンドの番号（no）とリティカルバンドの上端の周波数とを示す。同図は、１６kHzのサンプリングレートでレイヤIの符号化に対して有効である。なお、この定義は絶対的なものではないので、この定義に限定されるものではない。

以上説明してきたように本実施の形態における信号処理装置において制御部２０３は、前記ＧＸＹ（ｎ）のゲインと前記ＧＹＹ（ｎ）のゲインとが同じである場合、Ｙ側のスピーカとＸ側の耳の間の伝達関数をＧＹＸ（ｎ）、Ｘ側のスピーカとＸ側の耳の間の伝達関数をＧＸＸ（ｎ）とし、ＧＣＸ（ｎ）にＧＹＸ（ｎ）を乗じＧＸＸを加算した伝達関数をＡＸＧＣＹ（ｎ）にＧＸＸ（ｎ）を乗じＧＹＸを加算した伝達関数をＡＹとしたとき、ＡＸがＡＹより大きい場合は、Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御し、ＡＹがＡＸより大きい場合は、Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御する。

ここで、前記制御部２０３は、前記周波数帯域信号Ｆ（ｎ）の複数本を束ねた複数の拡張バンドを定め、前記拡張バンド内の複数本の前記周波数帯域信号Ｆ（ｎ）では、Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御するか、Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御するかの判定を同じにしてもよい。

ここで、前記制御部２０３は、前記複数の拡張バンドを、人間の聴覚のクリティカルバンドに応じて定めてもよい。

なお、実施の形態１から実施の形態４において説明したスピーカ１１１、１１２、１０１１、１０１２は、特にその構成を限定していなかったが、例えば、通常のスピーカ、すなわち、入力信号の全周波数帯域を再生することを意図したスピーカである。しかし、これはこの構成に限らないのは言うまでもない。例えば、ツイータ、スコーカ、ウーハなど、周波数ごとに異なるユニットから構成されるマルチウェイのスピーカでもよい。その際、例えば、ユニットごとに別筐体でそれぞれが離れた位置に配置されていてもよい。また、通常の可聴帯域を超える周波数の信号を再生することで、鋭い指向性を実現することができるパラメトリックスピーカや、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）信号を再生することができるサブウーハ、アクチュエータなどを含んでもよい。

また、本明細書において、モノラル成分の信号Ａを用いて説明しているが、複数の信号処理装置を組み合わせることで、２ｃｈ以上の信号に対してクロストークキャンセル処理を行ってもよい。その際、必要に応じて、信号を出力するスピーカは共通にし、出力信号をミックスして再生してもよい。

また、本明細書において、クロストークキャンセラは固定のＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタでの実現する例を記載したが、これに限定されない。ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタで実現してもよく、固定ではなく適応フィルタで実現してもよい。

また、実施の形態に記載の処理に加え、周波数特性を調整するイコライザやフィルタ、出力振幅を調整するゲインや、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）のほか、ディレイやリバーブ、エコーなどのエフェクト処理をクロストークキャンセラの前段、もしくは後段に設けてもよい。その際、左右のスピーカ出力に対して同等の特性が乗算されることが望ましい。

さらに、本開示に記載の信号処理装置は、クロストークキャンセル処理を含まない、信号再生機と組み合わせて使用してもよいのは言うまでもない。

以上、本開示において、信号処理装置について実施の形態に基づいて説明したが、本開示はこの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される携帯も、本開示の範囲内に含まれる。

なお、本開示において、信号処理装置における各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ、またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読みだして実行することによって実現されてもよい。また、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）や、専用回路、汎用プロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィグラブル・プロセッサで実現してもよい。

なお、本開示において、簡略化のため、ディジタル信号をアナログに変換するＤ／Ａ変換機、スピーカから出力する際に信号を増幅するアンプ部などの記載は省略したが、これらをソフトウェア、ハードウェアで実現し、スピーカから出力して、本開示の効果は変わらないのはいうまでもない。

本開示にかかる信号処理装置は、スピーカと、クロストークキャンセラと、を備えており、スピーカと受聴者の間の音響空間が歪である場合においても、クロストークキャンセル信号の振幅を小さく抑えることができるので、音響特性の変動に強いクロストークキャンセル処理が実現できるので、幅広く信号処理装置に応用できる。

１、３、５、７、８ 信号処理装置
１００、１０００ 受聴者
１０１、１００１ 左耳元
１０２、１００２ 右耳元
１０３ 制御部
１１０、２０１、２０２、８０１、１０３０ クロストークキャンセラ
１１１、１１２、１０１１、１０１２ スピーカ
１２０ 入力部
１２１、１２２ 出力部
５０３ 遅延部
７０１ 記録装置

Claims (9)

1. Ｘ側およびＹ側（Ｘは左および右の一方、Ｙは左および右の他方）の２つのスピーカが配置された歪な音響空間内で入力の音声信号に対するクロストークキャンセル処理を行う信号処理装置であって、
   リスナーのＹ側の耳で該音声信号が概ね打ち消されるように前記２つのスピーカからの出音を制御する制御部を有し、
   Ｙ側のスピーカとＹ側の耳との間の伝達関数をＧＹＹ、Ｘ側のスピーカとＹ側の耳との間の伝達関数をＧＸＹ、前記ＧＹＹを前記ＧＸＹで除して得られる伝達関数をＧＣＹとしたとき、
   前記制御部は、Ｙ側のスピーカから該音声信号を出音するように制御し、Ｘ側のスピーカから該音声信号を伝達関数ＧＣＹで処理した信号を出音するように制御する
   信号処理装置。
2. 前記制御部は、Ｘ側のスピーカから該音声信号に−ＧＣＹを乗じた信号を出音するように制御する
   請求項１記載の信号処理装置。
3. 入力した音声信号を処理し、出力する信号処理装置であって、
   第１の音声信号を入力する入力部と、
   上記第１の音声信号を処理し、第２の音声信号と第３の音声信号を出力する制御部と、
   前記第２の音声信号を外部に出力する第１の出力部と、
   前記第３の音声信号を外部に出力する第２の出力部と、
   を備え、
   前記第２の音声信号を音として出力する第１のスピーカと受聴者の片側の耳との間の伝達関数をＧＹＹ、前記第３の音声信号を音として出力する第２のスピーカと受聴者の前記片側の耳との間の伝達関数をＧＸＹ、前記ＧＹＹを前記ＧＸＹで除して得られる伝達関数をＧＣＹとするとき、
   前記制御部は、前記第１の音声信号を前記第２の音声信号として出力し、前記第１の音声信号に−ＧＣＹを乗じることにより前記第３の音声信号として出力する
   信号処理装置。
4. 前記制御部は、さらに音声信号を複数の周波数帯域信号Ｆ（ｎ）に変換し（ｎは周波数帯域を示すインデックス）、
   前記ｎごとに、
   Ｙ側のスピーカとＹ側の耳の間の伝達関数をＧＹＹ（ｎ）、
   Ｘ側のスピーカとＹ側の耳の間の伝達関数をＧＸＹ（ｎ）、
   前記ＧＹＹ（ｎ）を前記ＧＸＹ（ｎ）で除して得られる伝達関数をＧＣＹ（ｎ）、
   前記ＧＸＹ（ｎ）を前記ＧＹＹ（ｎ）で除して得られる伝達関数をＧＣＸ（ｎ）、
   としたとき、
   前記制御部は、
   前記ｎごとに前記ＧＹＹ（ｎ）と前記ＧＸＹ（ｎ）とのゲインを比較し、
   前記ＧＸＹ（ｎ）のゲインが前記ＧＹＹ（ｎ）のゲインより大きい場合には、
   Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御し、
   前記ＧＹＹ（ｎ）のゲインが前記ＧＸＹ（ｎ）のゲインより大きい場合には、
   Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御する
   請求項１記載の信号処理装置。
5. 前記信号処理装置は、さらに入力した音声信号を遅延する遅延部を備え、前記遅延部の遅延時間は、Ｘ側スピーカからの出音とＹ側スピーカからの出音の間の因果性を満たすよう設定される
   請求項１から請求項４のいずれか１項に記載の信号処理装置。
6. 前記信号処理装置は、さらに、
   Ｘ側のスピーカから出音すべき音声信号と、Ｙ側のスピーカから出音すべき音声信号とを記録する記録装置を備える
   請求項１から請求項５のいずれか１項に記載の信号処理装置。
7. 前記制御部は、さらに音声信号を複数の周波数帯域信号Ｆ（ｎ）に変換し（ｎは周波数帯域を示すインデックス）、
   前記ｎごとに、
   Ｙ側のスピーカとＹ側の耳の間の伝達関数をＧＹＹ（ｎ）、
   Ｘ側のスピーカとＹ側の耳の間の伝達関数をＧＸＹ（ｎ）、
   Ｙ側のスピーカとＸ側の耳の間の伝達関数をＧＹＸ（ｎ）、
   Ｘ側のスピーカとＸ側の耳の間の伝達関数をＧＸＸ（ｎ）とし、
   前記ＧＹＹ（ｎ）を前記ＧＸＹ（ｎ）で除して得られる伝達関数をＧＣＹ（ｎ）、
   前記ＧＸＹ（ｎ）を前記ＧＹＹ（ｎ）で除して得られる伝達関数をＧＣＸ（ｎ）、
   としたとき、
   前記制御部は、
   前記ｎごとに前記ＧＹＹ（ｎ）と前記ＧＸＹ（ｎ）とのゲインを比較し、
   前記ＧＸＹ（ｎ）のゲインと前記ＧＹＹ（ｎ）のゲインとが概ね同じである場合、
   ＧＣＸ（ｎ）にＧＹＸ（ｎ）を乗じＧＸＸを加算した伝達関数をＡＸ、
   ＧＣＹ（ｎ）にＧＸＸ（ｎ）を乗じＧＹＸを加算した伝達関数をＡＹ、
   としたとき、
   ＡＸがＡＹより大きい場合は、
   Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御し、
   ＡＹがＡＸより大きい場合は、
   Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御し、
   前記ＧＸＹ（ｎ）のゲインと前記ＧＹＹ（ｎ）のゲインとが概ね同じではなく、かつ、
   前記ＧＸＹ（ｎ）のゲインが前記ＧＹＹ（ｎ）のゲインより大きい場合には、
   Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御し、
   前記ＧＸＹ（ｎ）のゲインと前記ＧＹＹ（ｎ）のゲインとが概ね同じではなく、かつ、
   前記ＧＹＹ（ｎ）のゲインが前記ＧＸＹ（ｎ）のゲインより大きい場合には、
   Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御する
   請求項１に記載の信号処理装置。
8. 前記制御部は、
   前記周波数帯域信号Ｆ（ｎ）の複数本を束ねた複数の拡張バンドを定め、
   前記拡張バンド内の複数本の前記周波数帯域信号Ｆ（ｎ）では、
   Ｙ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｘ側のスピーカから該Ｆ（ｎ）を前記ＧＣＹ（ｎ）で処理した信号を出音するように制御するか、
   Ｘ側のスピーカから前記Ｆ（ｎ）を出音するように制御し、Ｙ側のスピーカから該Ｆ（ｎ）を前記ＧＣＸ（ｎ）で処理した信号を出音するように制御するかの判定を同じにする
   請求項４または７に記載の信号処理装置。
9. 前記制御部は、前記複数の拡張バンドを、人間の聴覚のクリティカルバンドに応じて定める
   請求項８に記載の信号処理装置。

Images