JP5540581B2 - 音声信号処理装置および音声信号処理方法 - Google Patents

Description

この発明は、多チャンネルサラウンド方式などの２チャンネル以上の音声信号を、リスナの両耳近傍に配置される２チャンネル用の電気音響再生手段により音響再生させるようにするための音声信号処理を行う音声信号処理装置および音声信号処理方法に関する。特に、リスナの耳の近傍に配置される、例えばヘッドホンの音響再生用ドライバーなどの電気音響変換手段により音響再生したときに、リスナの前方位置など、予め想定された位置に音源が仮想的に存在するように聴取できるようにする発明に関する。

例えば、リスナがヘッドホンを頭部に装着して、両耳で音響再生信号を聴取する場合において、ヘッドホンで再生する音声信号が、リスナの前方左右に設置されるスピーカに供給される通常の音声信号である場合が多々ある。このような場合、ヘッドホンで再生される音像がリスナの頭の中にこもる、いわゆる頭内定位の現象が生じることが知られている。

この頭内定位の現象の問題を解決したものとして、例えば特許文献１（ＷＯ９５／１３６９０号公報）や特許文献２（特開平０３−２１４８９７号公報）には、仮想音像定位と呼ばれる技術が開示されている。

この仮想音像定位は、ヘッドホンなどで再生したときに、あたかもリスナの前方の左右位置など、予め想定された位置に音源、例えばスピーカが存在するように再生される（仮想的に当該位置に音像を定位させる）ようにするもので、次のようにして実現される。

図２９は、左右２チャンネルステレオ信号を、例えば２チャンネルステレオ用ヘッドホンで再生する場合における仮想音像定位の手法を説明するための図である。

図２９に示すように、例えば２チャンネルステレオ用ヘッドホンなどの２個の音響再生用ドライバーが設置されると想定されるリスナの両耳の近傍の位置（測定点位置）に、マイクロホンＭＬおよびＭＲを設置する。また、仮想音像定位させたい位置にスピーカＳＰＬおよびＳＰＲを配置する。ここで、音響再生用ドライバーおよびスピーカは、電気音響変換手段の例であり、マイクロホンは、音響電気変換手段の例である。

そして、ダミーヘッド１（または人間つまりリスナ自体でもよい）が存在する状態で、先ず、一方のチャンネル、例えば左チャンネルのスピーカＳＰＬで、例えばインパルスを音響再生する。そして、その音響再生により発せられたインパルスを前記マイクロホンＭＬおよびＭＲのそれぞれでピックアップして、左チャンネル用の頭部伝達関数を測定する。この例の場合、頭部伝達関数は、インパルスレスポンスとして測定する。

この場合、この左チャンネル用の頭部伝達関数としてのインパルスレスポンスには、図２９に示すように、マイクロホンＭＬでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左主成分のインパルスレスポンスという）ＨＬｄと、マイクロホンＭＲでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左クロストーク成分のインパルスレスポンスという）ＨＬｃとを含む。

次に、右チャネルのスピーカＳＰＲで同様にインパルスを音響再生し、その再生により発せられたインパルスを前記マイクロホンＭＬおよびＭＲのそれぞれでピックアップする。そして、右チャンネル用の頭部伝達関数、つまり、右チャンネル用のインパルスレスポンスを測定する。

この場合、右チャンネル用の頭部伝達関数としてのインパルスレスポンスには、マイクロホンＭＲでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右主成分のインパルスレスポンスという）ＨＲｄと、マイクロホンＭＬでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右クロストーク成分のインパルスレスポンスという）ＨＲｃとを含む。

そして、測定して得た、左チャンネル用の頭部伝達関数および右チャネル用の頭部伝達関数のインパルスレスポンスを、ヘッドホンの左右チャンネル用の音響再生用ドライバーのそれぞれに供給する音声信号に、そのまま畳み込むようにする。すなわち、左チャンネルの音声信号に対して、測定して得た左チャンネル用の頭部伝達関数としての左主成分のインパルスレスポンスおよび左クロストーク成分のインパルスレスポンスを、そのまま畳み込む。また、右チャンネルの音声信号に対して、測定して得た右チャンネル用の頭部伝達関数としての右主成分のインパルスレスポンスおよび右クロストーク成分のインパルスレスポンスを、そのまま畳み込む。

このようにすると、ヘッドホンの２個の音響再生用ドライバーなどで、リスナの耳の近傍で音響再生されているにもかかわらず、例えば左右２チャンネルステレオ音声の場合であれば、あたかもリスナの前方に設置された左右のスピーカで音響再生されているように音像定位（仮想音像定位）させることができる。

以上は、２チャンネルの場合であるが、３チャンネル以上の多チャンネルの場合には、同様にして、それぞれのチャンネルの仮想音像定位位置にスピーカを配置して、例えばインパルスを再生し、それぞれのチャンネル用の頭部伝達関数を測定する。そして、測定して得た頭部伝達関数のインパルスレスポンスを、ヘッドホンの左右２チャンネルの音響再生用のドライバに供給する音声信号に畳み込むようにすればよい。

ところで、最近は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の映像再生に伴う音響再生などにおいて、５．１チャンネル、７．１チャンネルなど、多チャンネルサラウンド方式が賞用されている。

このマルチサラウンド方式の音声信号を２チャンネルのヘッドホンで音響再生する場合においても、上述の仮想音像定位の手法を用いて、各チャンネルに応じた音像定位（仮想音像定位）させるようにすることも提案されている。

ＷＯ９５／１３６９０号公報 特開平０３−２１４８９７号公報

ヘッドホンが、周波数特性や位相特性において、フラットな特性を備える場合には、上述のような仮想音像定位の手法により、理論的には、理想的なサラウンド効果を作り出すことができる筈である。

ところが、実際的には、上述のような仮想音像定位の手法を用いて作成した音声信号をヘッドホンで再生し、その再生音を聴取したときに、所期のサラウンド感が得られず、独特の音色を生じたりしてしまう場合があることが判明した。これは、次のような理由によるものと考えられる。

ヘッドホンなどの音響再生装置は、できるだけ、リスナの左右前方に置かれたスピーカで聴取したときと、聴感上の周波数バランスや音色などが違和感がないように、音質チューニングされることが多い。特に、高級のヘッドホンなどでは、その傾向が大である。

このような音質チューニングが行われると、意識的なものか、無意識的なものかに関わらず、ヘッドホンを用いて再生音を聴取する耳の近傍または耳穴位置の周波数特性や位相特性は、結果的に頭部伝達関数に類似した特性を持ってしまうと考えられる。

このため、このように音質チューニングされたヘッドホンで、仮想音像定位処理により頭部伝達関数を埋め込んだサラウンド音声を音響再生した場合、ヘッドホンでは、頭部伝達関数が２重にかかってしまうような効果を発生すると考えられる。これにより、ヘッドホンでの音響再生音は、所期のサラウンド感が得られず、独特の音色を生じたりしてしまうと推察される。

この発明は、以上のような問題点を改善することができる音声信号処理装置および音声信号処理方法を提供することを目的とする。

上記の課題を解決するために、この発明は、
リスナの両耳の近傍の位置に設置される２個の電気音響変換手段により音響再生する２チャンネルの音声信号を出力する音声信号処理装置であって、
前記２個の電気音響変換手段で音響再生したときに、２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理部と、
前記頭部伝達関数畳み込み処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換手段に供給するための２チャンネルの音声信号を生成する手段と、
を備え、
前記頭部伝達関数畳み込み処理部では、前記複数チャンネルのうちの、少なくとも、左および右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数は、畳み込まない一方、前記仮想音像定位位置からリスナの両耳への反射波に関する頭部伝達関数は畳み込むようにする
ことを特徴とする音声信号処理装置を提供する。

上述の構成のこの発明によれば、２個の電気音響変換手段により音響再生されるチャンネルのうち、左右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数は、畳み込まれない。このため、２個の電気音響変換手段が音質チューニングにより、頭部伝達特性と類似する特性を持ったとしても、２重に頭部伝達関数がかかったような特性となるのを防止することができる。

この発明によれば、２個の電気音響変換手段が音質チューニングにより、頭部伝達特性と類似する特性を持ったとしても、２重に頭部伝達関数がかかったような特性となるのを防止することができる。これにより、２個の電気音響変換手段からの音響再生音の劣化を防止することができる。

この発明による音声信号処理装置の実施形態に用いる頭部伝達関数の算出装置を説明するシステム構成例を示すブロック図である。 この発明による音声信号処理装置の実施形態に用いる頭部伝達関数を算出する際の測定位置を説明するための図である。 この発明による音声信号処理装置の実施形態に用いる頭部伝達関数を算出する際の測定位置を説明するための図である。 この発明による音声信号処理装置の実施形態に用いる頭部伝達関数を算出する際の測定位置を説明するための図である。 この発明の実施形態において、頭部伝達関数測定手段および素の状態の伝達特性測定手段で得られる測定結果データの特性例を示す図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性の例を示す図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。 従来の一般的な頭部伝達関数の畳み込みプロセス区間を説明するための図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第１の例を説明するための図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第１の例を実施するためのハードウエア構成例を示すブロック図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第２の例を説明するための図である。 この発明の実施形態における正規化頭部伝達関数の畳み込みプロセスの第２の例を実施するためのハードウエア構成例を示すブロック図である。 ７．１チャンネルマルチサラウンドの一例を説明するための図である。 この発明の実施形態の音声信号処理方法を適用した音響再生システムの一部を示すブロック図である。 この発明の実施形態の音声信号処理方法を適用した音響再生システムの一部を示すブロック図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数の畳み込み開始タイミングの例を説明するための図である。 この発明の実施形態の音声信号処理方法において、正規化頭部伝達関数を畳み込む音波の方向の例を説明するための図である。 この発明の実施形態の音声信号処理装置の要部の比較例を示すブロック図である。 この発明の実施形態の音声信号処理装置の要部の構成例を示すブロック図である。 この発明の実施形態により得られる正規化頭部伝達関数の特性の例を示す図である。 頭部伝達関数を説明するために用いる図である。

この発明の実施形態を説明する前に、この発明の実施形態で用いる頭部伝達関数の生成および取得方法について説明する。

［実施形態で用いる頭部伝達関数］
頭部伝達関数の測定を行う場所が反射のない無響室ではないときには、測定された頭部伝達関数には、想定された音源位置（仮想音像定位位置に対応）からの直接波のみではなく、図２９において点線で示したような反射波の成分も、分離できずに含まれる。このため、測定した従来の頭部伝達関数は、反射波による成分のため、測定を行った部屋や場所などの形状や、音波を反射する壁や天井、床などの材質に応じた当該測定場所の特性が含まれたものとなっている。

部屋や場所の特性を除去するためには、床、天井、壁面などからの音波の反射のない無響室で、頭部伝達関数を測定することが考えられる。

しかし、無響室で測定した頭部伝達関数をそのまま音声信号に畳み込んで、仮想音像定位させようとした場合、反射波が存在しないため、仮想音像定位位置や方向性がぼけるという問題がある。

そのため、従来は、音声信号にそのまま畳み込む頭部伝達関数の測定は、無響室では行わず、ある程度の響きが存在するが、特性が良いとされている部屋や場所で行うようにしているのである。そして、例えば、スタジオ、ホール、ラージルームなど、頭部伝達関数を測定した部屋や場所のメニューを提示して、ユーザに、好みの部屋や場所の頭部伝達関数を、前記メニューの中から選択してもらうなどの方策が採られたりしていた。

しかしながら、上述したように、従来は、想定された音源位置の音源からの直接波のみではなく、必ず、反射波を伴うものとして、直接波と反射波のインパルスレスポンスを分離できずに両者を含む頭部伝達関数を測定して得るようにしている。このため、測定された場所や部屋に応じた頭部伝達関数のみしか得られず、望む周囲環境や部屋環境に応じた頭部伝達関数を得て、それを音声信号に畳み込むということが困難であった。

例えば、周囲に壁や障害物がない大平原において、前方にスピーカが配置されたように想定された視聴環境に応じた頭部伝達関数を音声信号に畳み込むことは困難であった。

また、想定された所定の形状や容積、所定の吸音率（音波の減衰率に対応）の壁を備える部屋における頭部伝達関数を得ようとする場合には、従来は、そのような部屋を探したり、作製したりして、その部屋で頭部伝達関数を測定して得るしか方策がなかった。しかし、実際的には、そのような所望の視聴環境や部屋を探し出したり、作製したりすることは困難であり、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数を、音声信号に畳み込むことはできないというのが現状である。

以下に説明する実施形態では、以上の点にかんがみ、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数であって、所望の仮想音像定位感が得られるようにした頭部伝達関数を音声信号に畳み込むようにしている。

［実施形態の頭部伝達関数の畳み込み方法の概要］
上述したように、従来の頭部伝達関数の畳み込み方法においては、仮想音像定位させたいとして想定された音源位置にスピーカを設置して、直接波と反射波とのインパルスレスポンスを分離できずに両者を含むものとして頭部伝達関数を測定している。そして、当該測定して得た頭部伝達関数をそのまま音声信号に畳み込むようにしていた。

すなわち、従来は、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定してはおらず、両者が含まれる総合的な頭部伝達関数として測定していた。

これに対して、この発明の実施形態においては、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定しておくようにする。

このため、この実施形態では、測定点位置から見て、特定の方向に想定される想定音源方向位置からの直接波（つまり、反射波を含まない直接に測定点位置に到達する音波）についての頭部伝達関数を得るようにする。

反射波の頭部伝達関数は、壁などで反射した後の音波の方向を音源方向として、その音源方向からの直接波として測定するようにする。すなわち、所定の壁に反射して測定点位置に入射する反射波を考えた場合、壁で反射した後の壁からの反射音波は、当該壁での反射位置方向に想定した音源からの音波の直接波として考えることができるからである。

この実施形態では、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数を測定するときには、当該仮想音像定位させたいとして想定された音源位置に測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置する。また、仮想音像定位させたいとして想定された音源位置からの反射波の頭部伝達関数を測定するときには、測定しようとする反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するようにする。

したがって、種々の方向からの反射波についての頭部伝達関数は、それぞれの反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器を設置して測定するようにする。

そして、この実施形態では、以上のようにして測定した直接波および反射波についての頭部伝達関数を音声信号に畳み込むことにより、目的とする再生音響空間における仮想音像定位を得るようにする。ただし、この場合において、反射波の頭部伝達関数は、目的とする再生音響空間に応じて選択した方向の反射波についてのみ、音声信号に畳み込むようにする。

また、この実施形態では、直接波および反射波についての頭部伝達関数は、測定用音源位置から測定点位置までの音波の経路長に応じた伝播遅延分は、除去して測定するようにする。そして、音声信号に、それぞれの頭部伝達関数を畳み込み処理する際に、測定用音源位置（仮想音像定位位置）から測定点位置（再生用音響再生手段位置）までの音波の経路長に応じた伝播遅延分を考慮するようにする。

これにより、部屋の大きさなどに応じて任意に設定した仮想音像定位位置についての頭部伝達関数を、音声信号に畳み込むことが可能となる。

そして、反射音波の減衰率に関連する壁の材質などによる反射率あるいは吸音率などの特性は、当該壁からの直接波の利得として想定するようにする。すなわち、この実施形態では、例えば想定音源方向位置からの測定点位置への直接波による頭部伝達関数を、減衰無しで、音声信号に畳み込む。また、壁からの反射音波成分については、その壁の反射位置方向に想定された音源からの直接波による頭部伝達関数を、壁の特性に応じた反射率あるいは吸音率に応じた減衰率（利得）で畳み込むようにする。

このように頭部伝達関数を畳み込んだ音声信号の再生音を聴取するようにすれば、壁の特性に応じた反射率あるいは吸音率により、どのような仮想音像定位の状態になるかを検証することができる。

また、直接波の頭部伝達関数と、選択した反射波についての頭部伝達関数とを、減衰率を考慮しつつ、音声信号に畳み込んで音響再生することで、様々な部屋環境、場所環境における仮想音像定位をシミュレーションすることもできる。これは、想定音源方向位置からの直接波と、反射波とを分離して、頭部伝達関数として測定することにより実現が可能となったものである。

［スピーカやマイクロホンの特性の影響の除去について：第１の正規化］
前述したように、特定の音源からの、反射波成分を除く直接波のみについての頭部伝達関数は、例えば無響室で測定することで得ることができる。そこで、無響室において、希望する仮想音像定位位置からの直接波と、想定される複数の反射波について、頭部伝達関数を測定して、畳み込みに用いるようにする。

すなわち、無響室において、リスナの両耳近傍の測定点位置に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置する。また、前記直接波および前記複数の反射波の方向の位置に測定用音波を発生する音源を設置して、頭部伝達関数の測定をするようにする。

ところで、無響室で頭部伝達関数を得たとしても、頭部伝達関数を測定する測定系のスピーカとマイクロホンの特性は排除することはできない。そのため、測定して得た頭部伝達関数は、測定に用いたスピーカやマイクロホンの特性の影響を受けてしまうという問題がある。

マイクロホンやスピーカの特性の影響を除去するためには、頭部伝達関数の測定に用いるマイクロホンおよびスピーカとして、周波数特性が平坦な、特性の良い高価なマイクロホンおよびスピーカを用いることが考えられる。

しかしながら、高価なマイクロホンやスピーカであっても、理想的な平坦な周波数特性は得られず、これらマイクロホンやスピーカの特性の影響を完全に除去することができず、再生音声の音質の劣化を招いてしまうことがあった。

また、測定系のマイクロホンやスピーカの逆特性を用いて、頭部伝達関数を畳み込んだ後の音声信号に対して補正をすることで、マイクロホンやスピーカの特性の影響を除去するようにすることも考えられる。しかし、その場合には、音声信号再生回路に、当該補正回路を設けなければならず、構成が複雑になると共に、測定系の影響を完全に除去する補正は困難であるという問題がある。

以上の問題点を考慮して、測定する部屋や場所の影響を取り除くために、この実施形態では、測定に用いるマイクロホンやスピーカの特性の影響を除去するために、以下に説明するような正規化処理を、測定して得た頭部伝達関数に施すようにする。最初に、この実施形態における頭部伝達関数測定方法の実施形態を、図を参照しながら説明する。

図１は、この発明の実施形態における頭部伝達関数測定方法に用いる正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成例を示すブロック図である。

頭部伝達関数測定手段１０では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段１０においては、無響室において、前述した図２９のように、リスナ位置にダミーヘッドまたはリスナとしての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍であって、頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が配置される位置（測定点位置）に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置する。

頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が、例えば左右２チャンネルのヘッドホンである場合には、左チャンネルのヘッドホンドライバーの位置に左チャンネル用のマイクロホンが、右チャンネルのヘッドホンドライバーの位置に右チャンネル用のマイクロホンが、それぞれ設置される。

そして、リスナあるいは測定点位置であるマイクロホン位置を基点として、頭部伝達関数を測定しようとする方向に、測定用音波を発生する音源の例としてのスピーカを設置する。この状態で、このスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。なお、測定用音源としてのスピーカが設置される、頭部伝達関数を測定したい方向の位置を、以下の説明においては、想定音源方向位置と称することにする。

この頭部伝達関数測定手段１０において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。

素の状態の伝達特性測定手段２０においては、頭部伝達関数測定手段１０と同一環境において、リスナ位置に前記ダミーヘッドまたは前記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。

すなわち、素の状態の伝達特性測定手段２０においては、無響室において、頭部伝達関数測定手段１０では設置されていたダミーヘッドまたは人間を除去して、想定音源方向位置のスピーカとマイクロホンとの間に障害物がない素の状態にする。

そして、想定音源方向位置のスピーカやマイクロホンの配置は、頭部伝達関数測定手段１０における状態と全く同じ状態として、その状態で、想定音源方向位置のスピーカにより測定用音波、この例ではインパルスを再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。

この素の状態の伝達特性測定手段２０で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。

なお、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０においては、直接波について、２個のマイクロホンのそれぞれから前述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。

以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。

頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で取得したインパルスレスポンスは、この例では、サンプリング周波数が９６ｋＨｚで、８１９２サンプルのデジタルデータとして、出力される。

ここで、頭部伝達関数測定手段１０から得られる頭部伝達関数のデータは、Ｘ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。また、素の状態の伝達特性測定手段２０から得られる素の状態の伝達特性のデータは、Ｘｒｅｆ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。

頭部伝達関数測定手段１０からの頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性測定手段２０からの素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれ遅延除去頭詰め部３１および３２に供給される。

遅延除去頭詰め部３１および３２では、想定音源方向位置のスピーカからの音波の、インパルスレスポンス取得用のマイクロホンへの到達時間に相当する遅延時間分だけ、前記スピーカでインパルスが再生開始された時点からの頭の部分のデータが除去される。遅延除去頭詰め部３１および３２では、また、次段（次工程）での時間軸データから周波数軸データへの直交変換の処理が可能なように、データ数が、２のべき乗のデータ数に削減される。

次に、遅延頭詰め部３１および３２でデータ数が削減された頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれＦＦＴ（Fast Fourier Transform）部３３および３４に供給される。ＦＦＴ部３３および３４では、時間軸データから周波数軸データに変換される。なお、この実施形態では、ＦＦＴ部３３および３４においては、位相を考慮した複素高速フーリエ変換（複素ＦＦＴ）処理を行うものである。

ＦＦＴ部３３での複素ＦＦＴ処理により、頭部伝達関数のデータＸ（ｍ）は、実部Ｒ（ｍ）および虚部ｊＩ（ｍ）からなるＦＦＴデータ、すなわち、Ｒ（ｍ）＋ｊＩ（ｍ）に変換される。

また、ＦＦＴ部３４での複素ＦＦＴ処理により、素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、実部Ｒｒｅｆ（ｍ）および虚部ｊＩｒｅｆ（ｍ）からなるＦＦＴデータ、すなわち、Ｒｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）に変換される。

ＦＦＴ部３３および３４で得られるＦＦＴデータは、Ｘ−Ｙ座標データであるが、この実施形態では、このＦＦＴデータは、さらに、極座標変換部３５および３６において、極座標のデータに変換される。すなわち、頭部伝達関数のＦＦＴデータＲ（ｍ）＋ｊＩ（ｍ）は、極座標変換部３５により、大きさ成分である動径γ（ｍ）と、角度成分である偏角θ（ｍ）とに変換される。そして、この極座標データである動径γ（ｍ）と、偏角θ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。

また、素の状態の伝達特性のＦＦＴデータＲｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）は、極座標変換部３５により、動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とに変換される。そして、この極座標データである動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。

正規化およびＸ−Ｙ座標変換部３７では、先ず、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。ここで、正規化処理の具体的な演算は、次の通りである。

すなわち、正規化処理後の動径をγｎ（ｍ）、正規化処理後の偏角をθｎ（ｍ）とすると、
γｎ（ｍ）＝γ（ｍ）／γｒｅｆ（ｍ）
θｎ（ｍ）＝θ（ｍ）−θｒｅｆ（ｍ）
・・・（式１）
となる。

そして、正規化およびＸ−Ｙ座標変換部３７では、正規化処理後の極座標系のデータ動径γｎ（ｍ）および偏角θｎ（ｍ）を、Ｘ−Ｙ座標系の実部Ｒｎ（ｍ）および虚部ｊＩｎ（ｍ）（ｍ＝０，１・・・Ｍ／４−１）からなる周波数軸データに変換する。変換後の周波数軸データは正規化頭部伝達関数データである。

このＸ−Ｙ座標系の周波数軸データの正規化頭部伝達関数データは、逆ＦＦＴ部３８で、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）に変換する。この逆ＦＦＴ部３８では、複素逆高速フーリエ変換（複素逆ＦＦＴ）処理を行う。

すなわち、
Ｘｎ（ｍ）＝ＩＦＦＴ（Ｒｎ（ｍ）＋ｊＩｎ（ｍ））
ただし、ｍ＝０，１，２・・・，Ｍ／２−１
なる演算が逆ＦＦＴ（ＩＦＦＴ（Inverse Fast Fourier Transform））部３８で行われる。こうして、逆ＦＦＴ部３８からは、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）が得られる。

この逆ＦＦＴ部３８からの正規化頭部伝達関数のデータＸｎ（ｍ）は、ＩＲ（インパルスレスポンス）簡略化部３９において、処理可能（後述する畳み込み可能）なインパルス特性のタップ長に簡略化する。この実施形態では、６００タップ（逆ＦＦＴ部３８からのデータの頭から６００個のデータ）に簡略化する。

このＩＲ簡略化部３９で簡略化された正規化頭部伝達関数のデータＸｎ（ｍ）（ｍ＝０，１・・・５９９）は、後述する畳み込み処理のために、正規化頭部伝達関数メモリ４０に書き込まれる。なお、この正規化頭部伝達関数メモリ４０に書き込まれる正規化頭部伝達関数は、各想定音源方向位置（仮想音像定位位置）毎のそれぞれにおいて、主成分の正規化頭部伝達関数と、クロストーク成分の正規化頭部伝達関数とを含むことは前述した通りである。

以上の説明は、リスナ位置に対して特定の１方向において、測定点位置（マイクロホン位置）から所定距離だけ離れた１箇所の想定音源方向位置に、測定用音波（例えばインパルス）を再生するスピーカを設置し、当該スピーカ設置位置に対する正規化頭部伝達関数を取得する処理の説明である。

この実施形態では、測定用音波の例としてのインパルスを再生するスピーカの設置位置である想定音源方向位置を、測定点位置に対して異なる方向に種々変更して、以上と同様にして、各想定音源方向位置に対する正規化頭部伝達関数を取得するようにする。

すなわち、この実施形態では、仮想音像定位位置からの直接波のみではなく、反射波についての頭部伝達関数を取得するため、反射波の測定点位置への入射方向を考慮して、複数個の位置に想定音源方向位置を設定して、その正規化頭部伝達関数を求める。

ここで、スピーカ設置位置である想定音源方向位置は、水平面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした３６０度または１８０度の角範囲を、例えば１０度角間隔毎に変化させて設定するようにする。この設定は、リスナの左右の壁からの反射波についての正規化頭部伝達関数を求めるために、得ようとする反射波の方向についての必要な分解能を考慮したものである。

同様に、スピーカ設置位置である想定音源方向位置は、垂直面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした３６０度または１８０度の角範囲を、例えば１０度角間隔毎に変化させて設定するようにする。この設定は、天井または床からの反射波についての正規化頭部伝達関数を求めるために、得ようとする反射波の方向についての必要な分解能を考慮したものである。

３６０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの後方にも存在する、例えば５，１チャンネル，６．１チャンネル，７．１チャンネルなどのマルチチャンネルサラウンド音声を再生する場合を想定した場合である。また、リスナの後方の壁からの反射波を考慮する場合にも３６０度の角範囲を考慮する必要がある。

１８０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの前方にのみ存在し、また、リスナの後方の壁からの反射波を考慮しなくて良い状態を想定した場合である。

また、この実施形態では、リスナに実際に再生音を供給するヘッドホンのドライバーなどの音響再生ドライバーの位置に応じて、頭部伝達関数および素の状態の伝達特性の測定手段１０および２０におけるマイクロホンの設置位置を変えるようにする。

図２は、リスナに実際に再生音を供給する電気音響変換手段（音響再生手段）がインナーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性の測定位置（想定音源方向位置）と、測定点位置としてのマイクロホン設置位置を説明するための図である。

図２（Ａ）は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における頭部伝達関数測定手段１０での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間ＯＢを配置する。そして、想定音源方向位置においてインパルスを再生するスピーカは、図２（Ａ）で丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すような位置に配置する。すなわち、この例では、スピーカは、リスナ位置またはインナーヘッドホンの２個のドライバー位置の中心位置を中心にして、１０度角間隔毎の、頭部伝達関数を測定したい方向の所定位置に配置する。

また、このインナーヘッドホンの場合の例においては、２個のマイクロホンＭＬ，ＭＲは、図２（Ａ）に示すように、ダミーヘッドまたは人間の耳の耳殻内位置に設置するようにする。

図２（Ｂ）は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における素の状態の伝達特性測定手段２０での測定状態を示すもので、図２（Ａ）におけるダミーヘッドまたは人間ＯＢを除去した測定環境の状態を示している。

上述の正規化処理は、図２（Ａ）において、丸印Ｐ１、Ｐ２、・・・で示す想定音源方向位置のそれぞれにおいて測定した頭部伝達関数を、図２（Ｂ）において、同じ想定音源方向位置Ｐ１、Ｐ２、・・・のそれぞれにおいて測定した素の状態の伝達特性で、それぞれ正規化することによりなされる。つまり、例えば、想定音源方向位置Ｐ１で測定した頭部伝達関数は、同じ想定音源方向位置Ｐ１で測定した素の状態の伝達特性で正規化するようにする。

次に、図３は、リスナに実際に再生音を供給する音響再生手段がオーバーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源方向位置およびマイクロホン設置位置を説明するためのものである。この図３の例のオーバーヘッドホンでは、左右の耳用としてそれぞれヘッドホンドライバーが１個ずつとされている。

すなわち、図３は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンである場合における頭部伝達関数測定手段１０での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間ＯＢを配置する。そして、インパルスを再生するスピーカは、丸印Ｐ１、Ｐ２、・・・で示すように、リスナ位置またはオーバーヘッドホンの２個のドライバー位置の中心位置を中心にして、例えば１０度角間隔毎の、頭部伝達関数を測定したい方向の想定音源方向位置に配置する。

また、２個のマイクロホンＭＬ，ＭＲは、図３に示すように、ダミーヘッドまたは人間の耳の耳殻に対向した耳の近傍位置に設置するようにする。

この音響再生手段がオーバーヘッドホンの場合における素の状態の伝達特性の測定手段２０での測定状態は、図３におけるダミーヘッドまたは人間ＯＢを除去した測定環境となる。図示は省略するが、この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図２の場合と同様にしてなされるのは言うまでもない。

以上は、音響再生手段がヘッドホンの場合であるが、この発明は、例えば特開２００６−３４５４８０号公報に開示されているような、リスナの両耳の近傍に配されるスピーカを音響再生手段として使用する場合にも適用可能である。このように、リスナの両耳の近傍に配置されるスピーカは、ヘッドホンの場合と同様に、リスナの左右前方に置かれたときと、聴感上の周波数バランスや音色などが違和感がないように音質チューニングされる場合が多いと考えられるからである。

この場合のスピーカは、例えばリスナが座る椅子のヘッドレスト部分に取り付けられて、図４に示すように、リスナの耳の近傍となるように配置される。図４は、このように音響再生手段としてのスピーカが配置される場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源方向位置およびマイクロホン設置位置を説明する図である。

図４の例では、リスナの頭部後方の左右に２個のスピーカを配置して音響再生する場合における頭部伝達関数および素の状態の伝達特性を測定するようにする。

すなわち、図４は、リスナに再生音を供給する音響再生手段が、椅子のヘッドレスト部分の左右に設置された２個のスピーカである場合における頭部伝達関数測定手段１０での測定状態を示すものである。リスナ位置にはダミーヘッドまたは人間ＯＢを配置する。そして、インパルスを再生するスピーカは、丸印Ｐ１、Ｐ２、・・・で示すように、リスナ位置または椅子のヘッドレスト部分に設置された２個スピーカ位置の中心位置を中心にして、例えば１０度角間隔毎の想定音源方向位置に配置する。

また、２個のマイクロホンＭＬ，ＭＲは、図４に示すように、椅子のヘッドレストに取り付けられる２個のスピーカの設置位置に相当する、ダミーヘッドまたは人間の頭部後方にであってリスナの耳の近傍位置に設置するようにする。

この音響再生手段が、椅子のヘッドレストに取り付けられる電気音響変換ドライバーの場合における素の状態の伝達特性の測定手段２０での測定状態は、図４におけるダミーヘッドまたは人間ＯＢを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図２の場合と同様にしてなされるのは言うまでもない。

以上により、正規化頭部伝達関数メモリ４０に書き込まれた正規化頭部伝達関数としては、例えば１０度角間隔ずつ離れた仮想音源位置からの、反射波を除く直接波のみについての頭部伝達関数を得ることができる。

そして、取得された正規化頭部伝達関数は、インパルスを発生したスピーカの特性や、インパルスをピックアップしたマイクロホンの特性が、正規化処理により、排除されたものとなる。

さらに、取得された正規化頭部伝達関数は、この例では、遅延除去頭詰め部３１，３２において、インパルスを発生するスピーカ位置（想定音源方向位置）と、インパルスをピックアップするマイクロホン位置（想定ドライバー位置）との距離に対応する遅延が除去されたものである。したがって、取得された正規化頭部伝達関数は、この例では、インパルスを発生するスピーカ位置（想定音源方向位置）と、インパルスをピックアップするマイクロホン位置（想定ドライバー位置）との距離に無関係となる。つまり、取得された正規化頭部伝達関数は、インパルスをピックアップするマイクロホン位置（想定ドライバー位置）から見て、インパルスを発生するスピーカ位置（想定音源方向位置）の方向のみに応じた頭部伝達関数となる。

そして、直接波について、正規化頭部伝達関数を、音声信号に畳み込むときには、音声信号に対して、仮想音像定位位置と想定ドライバー位置との距離に応じた遅延を付与するようにする。すると、この付与された遅延により、想定ドライバー位置に対する想定音源方向位置の方向の、前記遅延に応じた距離位置を、仮想音像定位位置として音響再生させることができる。

また、想定音源方向位置方向からの反射波については、仮想音像定位させたい位置から壁などの反射部で反射された後に想定ドライバー位置に入射する方向を、反射波についての想定音源方向位置の方向と考える。そして、想定音源方向位置方向から想定ドライバー位置に入射するまでの、反射波についての音波の経路長に応じた遅延を音声信号に施して、正規化頭部伝達関数を畳み込むようにする。

つまり、直接波および反射波について、正規化頭部伝達関数を音声信号に畳み込むときには、音声信号に対して、仮想音像定位させたい位置から、想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施すようにするものである。

なお、頭部伝達関数測定方法の実施形態を説明するための図１のブロック図における信号処理は、全てＤＳＰ（Digital Signal Processor）で行うことができる。その場合において、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０における頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）の取得部と、遅延除去頭詰め部３１，３２、ＦＦＴ部３３，３４、極座標変換部３５，３６、正規化およびＸ−Ｙ座標変換部３７、逆ＦＦＴ部３８およびＩＲ簡略部３９は、それぞれをＤＳＰで構成しても良いし、全体の信号処理を、まとめて１個あるいは複数個のＤＳＰで構成するようにしてもよい。

なお、上述の図１の例では、正規化頭部伝達関数や素の状態での伝達特性のデータについては、遅延除去頭詰め部３１，３２で、想定音源方向位置とマイクロホン位置との間の距離に対応する遅延時間分の先頭データを除去して、頭詰めするようにしている。これは、頭部伝達関数の後述する畳み込みの処理量を削減するためであるが、この遅延除去頭詰め部３１，３２でのデータの除去処理を、例えばＤＳＰの内部メモリを用いて行うようにする。しかし、この遅延除去頭詰め処理は行わなくても良い場合は、ＤＳＰでは、元のデータを、そのまま、８１９２サンプルのデータで処理を行うようにする。

また、ＩＲ簡略部３９は、頭部伝達関数を後述する畳み込みの処理する際における畳み込み処理量を削減するためのもので、これは、省略することもできる。

さらに、上述の実施形態において、ＦＦＴ部３３，３４からのＸ−Ｙ座標系の周波数軸データを、極座標系の周波数データに変換したのは、Ｘ−Ｙ座標系の周波数データのままでは、正規化処理ができなかった場合があることを考慮したものである。しかし、理想的な構成であれば、Ｘ−Ｙ座標系の周波数データのままでも正規化処理は可能である。

なお、上述の例では、種々の仮想音像定位位置およびその反射波の想定ドライバー位置への入射方向を想定して、多数の想定音源方向位置についての正規化頭部伝達関数を求めるようにした。このように多数の想定音源方向位置についての正規化頭部伝達関数を求めたのは、後で、必要な想定音源方向位置の方向の頭部伝達関数を、その中から選択することができるようにするためである。

しかし、予め、仮想音像定位位置が固定されており、かつ、反射波の入射方向も定まっている場合には、その固定された仮想音像定位位置や反射波の入射方向の想定音源方向位置のみに対する正規化頭部伝達関数を求めるようにしても勿論良い。

なお、複数の想定音源方向位置からの直接波のみについての頭部伝達関数および素の状態の伝達特性を測定するために、上述の実施形態では、無響室において測定を行うようにした。しかし、無響室ではなく、反射波が含まれる部屋や場所であっても、当該反射波が直接波に対して大きく遅延している場合には、直接波成分のみを時間ウインドーを掛けて、抽出するようにすることもできる。

また、想定音源方向位置でスピーカで発生する頭部伝達関数の測定用音波を、インパルスではなく、ＴＳＰ（Time Stretched Pulse）信号としてもよい。ＴＳＰ信号を用いる場合には、無響室ではなくても、反射波を除去して、直接波のみについての頭部伝達関数および素の状態の伝達特性を測定することができる。

［正規化頭部伝達関数を用いることによる効果の検証］
実際に頭部伝達関数の測定に用いたスピーカおよびマイクロホンを含む測定系の特性を、図５に示す。すなわち、図５（Ａ）は、ダミーヘッドや人間などの障害物を入れない状態で、スピーカにより、０から２０ｋＨｚまでの周波数信号の音を、同じ一定レベルで再生し、マイクロホンでピックアップしたときの、当該マイクロホンからの出力信号の周波数特性である。

ここで使用したスピーカは、業務用のかなり特性の良いとされるスピーカであるが、それでも、図５（Ａ）に示すような特性を有し、平坦な周波数特性とならない。また、実際にも、この図５（Ａ）の特性は一般的なスピーカの中ではかなりフラットな部類に属される優秀な特性とされている。

従来は、このスピーカおよびマイクロホンの系の特性が、頭部伝達関数に付加された状態であり、それが除去されないので、頭部伝達関数を畳み込んで得られる音の特性や音質が、そのスピーカおよびマイクロホンの系の特性に左右されてしまうことになる。

図５（Ｂ）は、同じ条件で、ダミーヘッドや人間などの障害物を入れた状態におけるマイクロホンからの出力信号の周波数特性である。１２００Ｈｚ付近や１０ｋＨｚ付近で大きなディップが生じ、かなり変動する周波数特性となることが分かる。

図６（Ａ）は、図５（Ａ）の周波数特性と、図５（Ｂ）の周波数特性とを重ねて示した周波数特性図である。

これに対して図６（Ｂ）は、上述したような実施形態により、正規化した頭部伝達関数の特性を示すものである。この図６（Ｂ）から、正規化した頭部伝達関数の特性においては、低域においても、ゲインは下がらない特性となっていることが分かる。

上述した実施形態においては、複素ＦＦＴ処理を行い、位相成分を考慮した正規化頭部伝達関数を用いるようにしている。このため、位相を考慮せずに、振幅成分のみを用いて正規化した頭部伝達関数を用いた場合に比べて、正規化頭部伝達関数の忠実度が高いという特徴がある。

すなわち、位相を考慮せずに振幅のみを正規化する処理を行い、最終的に用いるインパルス特性を再度ＦＦＴして特性を取ったものを、図７に示す。

この図７と、この実施形態の正規化頭部伝達関数の特性である図６（Ｂ）とを比較参照すると、次のようなことが分かる。すなわち、頭部伝達関数Ｘ（ｍ）と、素の状態の伝達特性Ｘｒｅｆ（ｍ）との特性の差分が、この実施形態の複素ＦＦＴでは、図６（Ｂ）に示すように正しく得られるが、位相を考慮しない場合は、図７に示すように、本来のものからずれてしまう。

また、上述の図１の処理手順においては、ＩＲ簡略化部３９により、正規化頭部伝達関数の簡略化を最後に行っているので、最初からデータ数を少なくして処理する場合に比べて、特性のずれが少ないという特徴がある。

すなわち、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で得られたデータについて、最初に、データ数を少なくする簡略化を行った場合（最終的に必要なインパルス数以降を０として正規化を行う場合）には、正規化頭部伝達関数の特性は、図８に示すようなものとなり、特に、低域の特性にずれが出てきてしまう。これに対して、上述した実施形態の構成で得た正規化頭部伝達関数の特性は、図６（Ｂ）のようになり、低域においても特性のずれが少ない。

［正規化頭部伝達関数畳み込み方法の例］
図９は、従来の測定方法により求められた頭部伝達関数の例としてのインパルスレスポンスを示すもので、直接波のみではなく、全ての反射波の成分を含んだ総合的なものとなっている。従来は、図９に示すように、この直接波および反射波の全てを含む総合的なインパルスレスポンスの全体を、１つの畳み込みプロセス区間で、音声信号に畳み込むようにする。

反射波として高次のものをも含み、また、仮想音像定位位置から測定点位置までの経路長が長い反射波を含むため、従来の畳み込みプロセス区間は、図９に示すように、比較的長い区間となる。なお、畳み込みプロセス区間の先頭の区間ＤＬ０は、仮想音像定位位置からの直接波が測定点位置まで到達する時間に相当する遅延分を示している。

図９のような従来の頭部伝達関数畳み込み方法に対して、この実施形態では、上述のようにして求めた直接波の正規化頭部伝達関数と、選択された反射波の正規化頭部伝達関数とを、音声信号に畳み込むようにする。

ここで、この実施形態では、仮想音像定位位置を定めたとき、測定点位置（音響再生ドライバー設置位置）との間における直接波の正規化頭部伝達関数は、必ず、音声信号に畳み込む。しかし、反射波の正規化頭部伝達関数については、想定した聴取環境や部屋構造などに応じて選択したもののみを音声信号に畳み込むようにする。

例えば、前述した大平原のような聴取環境を想定した場合には、反射波としては、仮想音像定位位置から地面（床）での反射波のみを選択し、当該選択した反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を音声信号に畳み込むようにする。

また、例えば、通常の直方体形状の部屋の場合には、天井、床、リスナの左右の壁、リスナの前方および後方の壁の全てからの反射波を選択して、それらの反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を畳み込むようにする。

また、後者の部屋のような場合、反射波としては、一次反射のみではなく、二次反射、三次反射などが生じるが、例えば一次反射のみを選択する。実験によれば、一次反射波のみについての正規化頭部伝達関数を畳み込んだ音声信号であっても、その音声信号を音響再生することにより、良好な仮想音像定位感が得られている。なお、２次以降の反射波についての正規化頭部伝達関数をさらに音声信号に畳み込むようにすれば、その音声信号を音響再生したときには、さらに良好な仮想音像定位感が得られる場合もある。

直接波についての正規化頭部伝達関数は、基本的には、そのままの利得（ゲイン）で音声信号に畳み込むようにする。反射波については、一次反射であるか、二次反射であるか、さらに高次の反射であるかに応じた利得で、正規化頭部伝達関数を音声信号に畳み込むようにする。

これは、この例で得られる正規化頭部伝達関数は、それぞれ所定の方向に設定した想定音源方向位置からの直接波について測定したものであり、当該所定の方向からの反射波についての正規化頭部伝達関数は、直接波に対して減衰したものとなるからである。なお、反射波についての正規化頭部伝達関数の直接波に対する減衰量は、高次になるほど大きくなる。

また、前述もしたように、反射波の頭部伝達関数については、この実施形態では、さらに、想定する反射部位の表面形状、表面構造、材質などに応じた吸音率（音波の減衰率）を考慮した利得を設定することができるようにしている。

以上のように、この実施形態では、頭部伝達関数を畳み込む反射波を選択し、また、それぞれの反射波の頭部伝達関数の利得を調整するようにするので、任意の想定した部屋環境や聴取環境に応じた頭部伝達関数の音声信号に対する畳み込みが可能となる。つまり、従来のように、良好な音場空間を提供する部屋やスペースにおいて、頭部伝達関数の測定を行うことなく、良好な音場空間を提供すると想定される部屋やスペースにおける頭部伝達関数を音声信号に畳み込むことが可能となる。

［畳み込み方法の第１の例（複数処理）；図１０、図１１］
この実施形態では、直接波の正規化頭部伝達関数（直接波方向頭部伝達関数）と、それぞれの反射波の正規化頭部伝達関数（反射波方向頭部伝達関数）とは、上述したように、それぞれ独立に求められる。そこで、第１の例では、直接波および選択したそれぞれの反射波の正規化頭部伝達関数は、音声信号に対して、独立に畳み込み処理するようにする。

例えば、直接波（直接波の方向）のほかに、３個の反射波（反射波の方向）が選択されて、それぞれに対応する正規化頭部伝達関数（直接波方向頭部伝達関数および反射波方向頭部伝達関数）が畳み込まれる場合について説明する。

直接波および反射波のそれぞれに対しては、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間が予め求められる。この遅延時間は、測定点位置（音響再生ドライバー位置）と仮想音像定位位置が定まり、反射部位が定まれば、計算により求められる。そして、反射波については、正規化頭部伝達関数に対する減衰量（ゲイン）も予め定められる。

図１０に、直接波および３個の反射波についての遅延時間およびゲイン、さらに、畳み込み処理区間の例を示す。

図１０の例においては、直接波の正規化頭部伝達関数（直接波方向頭部伝達関数）については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する時間に相当する遅延ＤＬ０が考慮される。すなわち、直接波の正規化頭部伝達関数の畳み込み開始時点は、図１０の最下欄に示すように、前記遅延ＤＬ０だけ音声信号を遅延した時点ｔ０となる。

そして、前述したようにして求められている当該直接波の方向についての正規化頭部伝達関数が、前記時点ｔ０から開始する、当該正規化頭部伝達関数のデータ長分（上述の例では、６００個のデータ分）の畳み込みプロセス区間ＣＰ０で、音声信号に対して畳み込み処理がなされる。

次に、３個の反射波のうち、第１の反射波１の正規化頭部伝達関数（反射波方向頭部伝達関数）については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延ＤＬ１が考慮される。すなわち、第１の反射波１の正規化頭部伝達関数の畳み込み開始時点は、図１０の最下欄に示す、前記遅延ＤＬ１だけ音声信号を遅延した時点ｔ１となる。

そして、前述したようにして求められている第１の反射波１の方向についての正規化頭部伝達関数が、前記時点ｔ１から開始する、当該正規化頭部伝達関数のデータ長の畳み込みプロセス区間ＣＰ１で、音声信号に対して畳み込み処理される。ここで、時点ｔ１から開始する、正規化頭部伝達関数（反射波方向頭部伝達関数）のデータ長は、上述の例では、６００個のデータ分とされている。後述する第２の反射波および第３の反射波についても同様である。

この畳み込み処理に際して、前記正規化頭部伝達関数は、第１の反射波１が第何次の反射波であるかと、反射部位における吸音率（または反射率）とが考慮されたゲインＧ１（Ｇ１＜１）倍される。

また、同様にして、第２の反射波２および第３の反射波３の正規化頭部伝達関数（反射波方向頭部伝達関数）については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延ＤＬ２およびＤＬ３がそれぞれ考慮される。すなわち、図１０の最下欄に示すように、第２の反射波２の正規化頭部伝達関数の畳み込み開始時点は、前記遅延ＤＬ２だけ音声信号を遅延した時点ｔ２となる。また、第３の反射波３の正規化頭部伝達関数の畳み込み開始時点は、前記遅延ＤＬ３だけ音声信号を遅延した時点ｔ３となる。

そして、前述したようにして求められている第２の反射波２の方向についての正規化頭部伝達関数が、前記時点ｔ２から開始する、当該正規化頭部伝達関数のデータ長の畳み込みプロセス区間ＣＰ２で、音声信号に対して畳み込み処理がなされる。また、第３の反射波３の方向についての正規化頭部伝達関数が、前記時点ｔ３から開始する、当該正規化頭部伝達関数のデータ長の畳み込みプロセス区間ＣＰ３で、音声信号に対して畳み込み処理がなされる。

この畳み込み処理に際して、前記正規化頭部伝達関数は、第２の反射波２および第３の反射波３のそれぞれが第何次の反射波であるかと、反射部位における吸音率（または反射率）とが考慮されたゲインＧ２およびＧ３（Ｇ２＜１およびＧ３＜１）倍される。

以上説明した図１０の例の畳み込み処理を実行する正規化頭部伝達関数畳み込み部のハードウエア構成例を、図１１に示す。

この図１１の例は、直接波用の畳み込み処理部５１と、第１〜第３の反射波１，２，３用の畳み込み処理部５２，５３，５４と、加算部５５とからなる。

これらの畳み込み処理部５１〜５４のそれぞれは、全く同一の構成を備える。すなわち、この例においては、畳み込み処理部５１〜５４のそれぞれは、遅延部５１１，５２１，５３１，５４１と、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２と、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３とを備える。また、畳み込み処理部５１〜５４のそれぞれは、ゲイン調整部５１４，５２４，５３４，５４４と、ゲインメモリ５１５，５２５，５３５，５４５とを備える。

この例においては、遅延部５１１，５２１，５３１，５４１のそれぞれには、頭部伝達関数を畳み込むべき入力音声信号Ｓｉが供給される。遅延部５１１，５２１，５３１，５４１のそれぞれは、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３まで、頭部伝達関数を畳み込むべき入力音声信号Ｓｉを遅延させるものである。したがって、この例では、図示のように、遅延部５１１，５２１，５３１，５４１のそれぞれの遅延量は、ＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３とされる。

頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれは、正規化頭部伝達関数を音声信号に畳み込む処理を実行する部分である。この例では、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれは、例えば６００タップのＩＩＲ（Infinite Impulse Response）フィルタあるいはＦＩＲ（Finite Impulse Response）フィルタで構成される。

正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３は、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれで畳み込む正規化頭部伝達関数を記憶保持するものである。正規化頭部伝達関数メモリ５１３には、直接波の方向の正規化頭部伝達関数が記憶保持される。正規化頭部伝達関数メモリ５２３には、第１の反射波の方向の正規化頭部伝達関数が記憶保持される。正規化頭部伝達関数メモリ５３３には、第２の反射波の方向の正規化頭部伝達関数が記憶保持される。正規化頭部伝達関数メモリ５４３には、第３の反射波の方向の正規化頭部伝達関数が記憶保持される。

ここで、記憶保持される直接波の方向の正規化頭部伝達関数、第１の反射波の方向の正規化頭部伝達関数、第２の反射波の方向の正規化頭部伝達関数、および第３の反射波の方向の正規化頭部伝達関数は、例えば、前述の正規化頭部伝達関数メモリ４１から選択されて読み出されて、対応する正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３のそれぞれに書き込まれる。

ゲイン調整部５１４，５２４，５３４，５４４は、畳み込む正規化頭部伝達関数のゲインを調整するためのものである。このゲイン調整部５１４，５２４，５３４，５４４は、ゲインメモリ５１５，５２５，５３５，５４５に記憶されているゲイン値（＜１）を、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３からの正規化頭部伝達関数に乗算する。そして、このゲイン調整部５１４，５２４，５３４，５４４は、その乗算結果を頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２に供給する。

この例では、ゲインメモリ５１５には、直接波についてのゲイン値Ｇ０（≦１）が記憶される。また、ゲインメモリ５２５には、第１の反射波についてのゲイン値Ｇ１（＜１）が記憶される。また、ゲインメモリ５３５には、第２の反射波についてのゲイン値Ｇ２（＜１）が記憶される。また、ゲインメモリ５４５には、第３の反射波についてのゲイン値Ｇ３（＜１）が記憶される。

加算部５５は、直接波用の畳み込み処理部５１と、第１〜第３の反射波１，２，３用の畳み込み処理部５２，５３，５４からの、それぞれ正規化頭部伝達関数が畳み込まれた音声信号を加算して合成し、出力音声信号Ｓｏを出力する。

以上のような構成において、頭部伝達関数を畳み込むべき入力音声信号Ｓｉが、遅延部５１１，５２１，５３１，５４１のそれぞれに供給される。遅延部５１１，５２１，５３１，５４１のそれぞれにおいては、入力音声信号Ｓｉは、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３まで、遅延させられる。遅延部５１１，５２１，５３１，５４１のそれぞれで、正規化頭部伝達関数の畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３まで、遅延させられた入力音声信号Ｓｉは、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２に供給される。

一方、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３のそれぞれからは、それぞれ畳み込みの開始時点ｔ０，ｔ１，ｔ２，ｔ３から、順次に、記憶保持されている正規化頭部伝達関数データが読み出される。正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３のそれぞれからの正規化頭部伝達関数データの読み出しタイミング制御に関しては、ここでは省略する。

読み出された正規化頭部伝達関数データは、ゲイン調整部５１４，５２４，５３４，５４４のそれぞれにおいて、ゲインメモリ５１５，５２５，５３５，５４５からのゲインＧ０，Ｇ１，Ｇ２，Ｇ３倍されて、ゲイン調整される。ゲイン調整された正規化頭部伝達関数データは、頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれに供給される。

頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれでは、図１０に示した畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３のそれぞれにおいて、ゲイン調整された正規化頭部伝達関数データを畳み込み処理する。

そして、これら頭部伝達関数畳み込み回路５１２，５２２，５３２，５４２のそれぞれでの正規化頭部伝達関数データの畳み込み処理結果が加算部５５で加算され、その加算結果が、出力音声信号Ｓｏとして出力される。

この第１の例の場合においては、直接波および複数の反射波についての正規化頭部伝達関数のそれぞれを、音声信号に独立に畳み込み処理することができる。このため、遅延部５１１，５２１，５３１，５４１における遅延量およびゲインメモリ５１５，５２５，５３５，５４５に記憶するゲインを調整することにより、さらに、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３に記憶して畳み込む正規化頭部伝達関数を変えることにより、屋内や屋外などの聴取環境スペースの種類の違いや、部屋の形状、大きさ、反射部位の材質（吸音率や反射率）の違いなど、聴取環境の違いに応じた頭部伝達関数の畳み込みが容易にできる。

遅延部５１１，５２１，５３１，５４１を、外部からのオペレータなどの操作入力に応じて遅延量を可変できる可変遅延手段で構成してもよい。また、正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３に対して、オペレータが正規化頭部伝達関数メモリ４０から選択した任意の正規化頭部伝達関数を書き込むようにする手段を設けても良い。さらに、ゲインメモリ５１５，５２５，５３５，５４５に対して、オペレータが任意のゲインを入力して記憶することができる手段を設けても良い。そのように構成した場合には、オペレータが任意に設定した聴取環境スペースや部屋環境などの聴取環境に応じた頭部伝達関数の畳み込みができる。

例えば、部屋形状が全く同じ聴取環境において、壁の材質（吸音率や反射率）に応じてゲインを変更することが容易にでき、壁の材質を種々変更して状況における仮想音像定位状態をシミュレートすることができる。

なお、図１０の例の構成においては、直接波用の畳み込み処理部５１および第１〜第３の反射波１，２，３用の畳み込み処理部５２，５３，５４のそれぞれに正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３を設けた。その代わりに、それらの畳み込み処理部５１〜５４に共通に正規化頭部伝達関数メモリ４０を設けると共に、畳み込み処理部５１〜５４のそれぞれに、正規化頭部伝達関数メモリ４０から、畳み込み処理部５１〜５４のそれぞれで必要とする正規化頭部伝達関数を選択的に読み出す手段を設けるように構成しても良い。

なお、上述の第１の例は、直接波の他に、３個の反射波を選択して、それらの正規化頭部伝達関数を音声信号に畳み込むようにした場合についての説明である。しかし、選択される反射波の正規化頭部伝達関数が３個以上であってもよい。３個以上の場合には、図１１の構成において、反射波用の畳み込み処理部５２，５３，５４と同様の畳み込み処理部を、必要な数だけ設けることにより、全く同様にして、それらの正規化頭部伝達関数の畳み込みを行うことができる。

なお、図１０の例では、遅延部５１１，５２１，５３１，５４１は、それぞれ入力音声信号Ｓｉを、畳み込み開始時点まで遅延するように構成したので、それぞれの遅延量は、ＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３とされている。しかし、遅延部５１１の出力端を遅延部５２１の入力端に接続し、遅延部５２１の出力端を遅延部５３１の入力端に接続し、遅延部５３１の出力端を遅延部５４１の入力端に接続するように構成するようにしても良い。そのように構成すれば、遅延部５２１，５３２，５４２での遅延量は、それぞれＤＬ１−ＤＬ０、ＤＬ２−ＤＬ１、ＤＬ３−ＤＬ２とすることできて、小さくすることができる。

また、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３が互いに重ならない場合には、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３の時間長を考慮しながら、直列的に、遅延回路と畳み込み回路とを接続構成することもできる。その場合には、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３の時間長をＴＰ０，ＴＰ１，ＴＰ２，ＴＰ３とすれば、遅延部５２１，５３１，５４１での遅延量は、それぞれＤＬ１−ＤＬ０−ＴＰ０、ＤＬ２−ＤＬ１−ＴＰ１、ＤＬ３−ＤＬ２−ＴＰ２とすることできて、さらに小さくすることができる。

［畳み込み方法の第２の例（係数合成処理）；図１２、図１３］
この第２の例は、予め定まった聴取環境についての頭部伝達関数を畳み込み処理する場合に用いられる。すなわち、聴取環境スペースの種類や、部屋の形状、大きさ、反射部位の材質（吸音率や反射率）など、聴取環境が予め定まっている場合には、直接波および選択される反射波の正規化頭部伝達関数の畳み込みの開始時点は定まったものとなる。また、その場合には、それぞれの正規化頭部伝達関数を畳み込む際の減衰量（ゲイン）も定まったものとなる。

例えば前述した直接波および３個の反射波の頭部伝達関数を例に取ると、図１２に示すように、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込みの開始時点は、それぞれ前述した開始時点ｔ０，ｔ１，ｔ２，ｔ３となる。

そして、音声信号に対する遅延量は、ＤＬ０，ＤＬ１，ＤＬ２，ＤＬ３となる。そして、直接波および第１〜第３の反射波の正規化頭部伝達関数の畳み込み時のゲインは、それぞれＧ０，Ｇ１，Ｇ２，Ｇ３と定めることができる。

そこで、第２の例においては、図１２に示すように、これらの正規化頭部伝達関数を時系列的に合成して合成正規化頭部伝達関数とし、畳み込みプロセス区間を、音声信号に対して、これらの複数個の正規化頭部伝達関数の畳み込みを完了するまでの期間とする。

ここで、図１２に示すように、それぞれの正規化頭部伝達関数の実質的な畳み込み区間は、ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３であって、これらの畳み込み区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３以外の区間では、頭部伝達関数のデータは存在しない。そこで、その畳み込み区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３以外の区間では、データ０（ゼロ）を頭部伝達関数として用いるようにする。

この第２の例の場合には、正規化頭部伝達関数畳み込み部のハードウエア構成例は、図１３に示すようなものとなる。

すなわち、この第２の例においては、頭部伝達関数を畳み込むべき入力音声信号Ｓｉは、直接波の頭部伝達関数についての遅延部６１にて、直接波についての所定の遅延量ＤＬ０だけ遅延された後、頭部伝達関数畳み込み回路６２に供給される。

この頭部伝達関数畳み込み回路６２には、合成正規化頭部伝達関数メモリ６３からの合成正規化頭部伝達関数が供給されて、音声信号に畳み込まれる。合成正規化頭部伝達関数メモリ６３に記憶される合成正規化頭部伝達関数は、前述の図１２を用いて説明した合成正規化頭部伝達関数である。

この第２の例は、遅延量を変更したり、ゲインを変更したりする場合にも、合成正規化頭部伝達関数の全てを書き換える必要がある。しかし、図１３に示すように、正規化頭部伝達関数を畳み込む回路のハードウエア構成を簡単にすることができるというメリットがある。

［畳み込み方法の他の例］
上述した第１および第２の例では、直接波および選択した反射波については、畳み込みプロセス区間ＣＰ０，ＣＰ１，ＣＰ２，ＣＰ３のそれぞれにおいて、予め測定しておいた対応する方向についての正規化頭部伝達関数を音声信号に畳み込むようにした。

しかし、重要なのは、選択した反射波についての頭部伝達関数の畳み込み開始時点および畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３であり、実際に畳み込む信号は、対応する頭部伝達関数ではなくても良い。

すなわち、例えば、上述した第１および第２の例と同様に、直接波の畳み込みプロセス区間ＣＰ０においては、直接波についての正規化頭部伝達関数（直接波方向頭部伝達関数）を畳み込むようにする。しかし、反射波の畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３においては、簡易的に、畳み込みプロセス区間ＣＰ０と同じ直接波方向頭部伝達関数を、必要なゲインＧ１，Ｇ２，Ｇ３倍することで減衰させたものを、それぞれ畳み込むようにしても良い。

すなわち、第１の例の場合であれば、正規化頭部伝達関数メモリ５２３，５３３，５４３には、正規化頭部伝達関数メモリ５１３と同じ直接波についての正規化頭部伝達関数を記憶しておくようにする。あるいは、正規化頭部伝達関数メモリ５２３，５３３，５４３は省略して、正規化頭部伝達関数メモリ５１３のみを設ける。そして、当該正規化頭部伝達関数メモリ５１３からゲイン調整部５１４のみではなく、ゲイン調整部５２４，５３４，５４４にも、それぞれの畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３で、直接波の正規化頭部伝達関数を読み出して供給するようにしても良い。

さらには、同様に、上述した第１および第２の例において、直接波の畳み込みプロセス区間ＣＰ０においては、直接波についての正規化頭部伝達関数（直接波方向頭部伝達関数）を畳み込むようにする。しかし、反射波の畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３においては、簡易的に、畳み込み対象である音声信号を、それぞれ対応する遅延量ＤＬ１，ＤＬ２，ＤＬ３だけ遅延したものを、それぞれ畳み込むようにしても良い。

すなわち、畳み込み対象の音声信号を前記遅延量ＤＬ１，ＤＬ２，ＤＬ３だけ保持する保持手段を設け、それら保持手段で保持した音声信号を反射波の畳み込みプロセス区間ＣＰ１，ＣＰ２，ＣＰ３で畳み込むようにする。

［実施形態の音声信号処理方法を用いた音響再生システムの例；図１４〜図１７］
次に、この発明による音声信号処理装置の実施形態を、２チャンネルヘッドホンを用いてマルチサラウンド音声信号を再生する場合に適用した場合を例に説明する。すなわち、以下に説明する例は、上述した正規化頭部伝達関数を、各チャンネルの音声信号に畳み込むことにより、仮想音像定位を用いた再生を行うことができるようにした場合である。

以下に説明する例は、ＩＴＵ（国際電気通信連合）−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置を想定して、オーバーヘッドホンにより、この７．１チャンネルマルチサラウンドのスピーカ配置位置に、各チャンネルの音声成分が仮想音像定位するように、頭部伝達関数を畳み込むようにする場合である。

図１４に、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例を示すもので、リスナ位置Ｐｎを中心とした円周上に、各チャンネルのスピーカが位置するように定められる。

図１４において、リスナの正面位置であるＣは、センターチャンネルのスピーカ位置である。センターチャンネルのスピーカ位置Ｃを中心として、その両側において、互いに６０度の角範囲だけ離れた位置であるＬＦおよびＲＦは、それぞれ左前方チャンネルおよび右前方チャンネルのスピーカ位置を示している。

そして、リスナの正面位置Ｃの左右６０度から１５０度の範囲において、左側および右側に２個ずつのスピーカ位置ＬＳ，ＬＢおよびＲＳ，ＲＢが設定される。これらスピーカ位置ＬＳ，ＬＢとＲＳ，ＲＢとは、リスナに対して左右対称の位置に設定されるものである。スピーカ位置ＬＳおよびＲＳは、左側方チャンネルおよび右側方チャンネルのスピーカ位置であり、スピーカ位置ＬＢおよびＲＢは、左後方チャンネルおよび右後方チャンネルのスピーカ位置である。

この音響再生システムの例においては、オーバーヘッドホンとして、左右の耳用のそれぞれに対して１個ずつのヘッドホンドライバーが配置されるものを使用する。

この実施形態では、７．１チャンネルのマルチサラウンド音声信号を、この例のオーバーヘッドホンで音響再生したとき、図１４の各スピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢの方向を仮想音像定位方向として音響再生されるようにする。このため、後述するようにして、７．１チャンネルのマルチサラウンド音声信号の各チャンネルの音声信号に、選択された正規化頭部伝達関数を畳み込むようにする。

図１５および図１６は、この発明の実施形態の音声信号処理装置を用いる音響再生システムのハードウエア構成例を示すものである。図１５と図１６とに分けたのは、紙面の大きさの都合上、この例の音響再生システムを一つの紙面内に収めて示すことが困難であったためであり、図１５の続きが図１６となっている。

この図１５および図１６に示した例は、電気音響変換手段が、左チャンネル用のヘッドホンドライバー１２０Ｌと、右チャンネル用のヘッドホンドライバー１２０Ｒとを備える２チャンネルステレオのオーバーヘッドホンの場合の例である。

なお、この図１５および図１６においては、図１４のスピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢに供給すべき各チャンネルの音声信号は、同じ記号Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢを用いて示している。ここで、図１５および図１６において、ＬＦＥ（Low Frequency Effect）チャンネルは、低域効果チャンネルであり、これは、通常、音像定位方向が定まらない音声であるので、この例では、頭部伝達関数の畳み込み対象とはしない音声チャンネルとしている。

図１５に示すように、７．１チャンネルの音声信号ＬＦ，ＬＳ，ＲＦ，ＲＳ，ＬＢ，ＲＢ，Ｃ，ＬＦＥのそれぞれは、レベル調整部７１ＬＦ，７１ＬＳ，７１ＲＦ，７１ＲＳ，７１ＬＢ，７１ＲＢ，７１Ｃ，７１ＬＦＥに供給されて、レベル調整される。

このレベル調整部７１ＬＦ，７１ＬＳ，７１ＲＦ，７１ＲＳ，７１ＬＢ，７１ＲＢ，７１Ｃ，７１ＬＦＥのそれぞれからの音声信号は、アンプ７２ＬＦ，７２ＬＳ，７２ＲＦ，７２ＲＳ，７２ＬＢ，７２ＲＢ，７２Ｃ，７２ＬＦＥを通じて、Ａ／Ｄコンバータ７３ＬＦ，７３ＬＳ，７３ＲＦ，７３ＲＳ，７３ＬＢ，７３ＲＢ，７３Ｃ，７３ＬＦＥに供給されて、デジタル音声信号に変換される。

Ａ／Ｄコンバータ７３ＬＦ，７３ＬＳ，７３ＲＦ，７３ＲＳ，７３ＬＢ，７３ＲＢ，７３Ｃ，７３ＬＦＥからのデジタル音声信号は、それぞれ、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥに供給される。

頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥのそれぞれにおいては、この例では、前述の畳み込み方法の第１の例により直接波およびその反射波の正規化頭部伝達関数の畳み込み処理をする。

また、この例では、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥのそれぞれは、各チャンネルのクロストーク成分とその反射波の正規化頭部伝達関数の畳み込み処理を、同様にして行う。

なお、後述するように、この例では、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥのそれぞれにおいては、処理対象の反射波は、簡単のため１個の反射波のみとした。

頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥのそれぞれからの出力音声信号は、２チャンネル信号生成手段としての加算処理部７５に供給される。

この加算処理部７５は、２チャンネルステレオのヘッドホンの左チャンネル用加算部（以下、Ｌ用加算部という）７５Ｌと、右チャンネル用加算部（以下、Ｒ用加算部という）７５Ｒとを備える。

Ｌ用加算部７５Ｌは、本来の左チャンネル成分ＬＦ，ＬＳ，ＬＢおよびその反射波成分と、右チャンネル成分ＲＦ，ＲＳ，ＲＢのクロストーク成分およびその反射成分と、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥとを加算する。

そして、Ｌ用加算部７５Ｌは、その加算結果を、図１６に示すように、左チャンネル用のヘッドホンドライバー１２０Ｌ用の合成音声信号ＳＬとして、レベル調整部１１０Ｌを通じてＤ／Ａ変換部１１１Ｌに供給する。

Ｒ用加算部７５Ｒは、本来の右チャンネル成分ＲＦ，ＲＳ，ＲＢおよびその反射波成分と、左チャンネル成分ＬＦ，ＬＳ，ＬＢのクロストーク成分およびその反射成分と、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥとを加算する。

そして、Ｒ用加算部７５Ｒは、その加算結果を、図１６に示すように、右チャンネル用のヘッドホンドライバー１２０Ｒ用の合成音声信号ＳＲとして、レベル調整部１１０Ｒを通じてＤ／Ａ変換部１１１Ｒに供給する。

この例では、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥは、Ｌ用加算部７５ＬおよびＲ用加算部７５Ｒの両方に供給されて、左チャンネルおよび右チャンネルの両方に加算される。これにより、センターチャンネル方向の音声の定位感をより良くすることができると共に、低域効果チャンネル成分ＬＦＥによる低域音声成分を、より広がり良く再生できるようにしている。

Ｄ／Ａコンバータ１１１Ｌおよび１１１Ｒにおいては、上述のようにして、頭部伝達関数が畳み込まれた左チャンネル用の合成音声信号ＳＬおよび右チャンネル用の合成音声信号ＳＲがアナログ音声信号に変換される。

このＤ／Ａコンバータ１１１Ｌおよび１１１Ｒからのアナログ音声信号は、電流電圧変換部１１２Ｌおよび１１２Ｒのそれぞれに供給されて、電流信号から電圧信号に変換される。

そして、電流電圧変換部１１２Ｌおよび１１２Ｒのそれぞれからの電圧信号とされた音声信号は、レベル調整部１１３Ｌおよび１１３Ｒのそれぞれで、レベル調整された後、利得調整部１１４Ｌおよび１１４Ｒのそれぞれに供給されて利得調整される。

そして、利得調整部１１４Ｌおよび１１４Ｒの出力音声信号は、アンプ１１５Ｌおよび１１５Ｒにより増幅された後、実施形態の音声信号処理装置の出力端子１１６Ｌ，１１６Ｒに出力される。この出力端子１１６Ｌ，１１６Ｒに導出された音声信号は、左耳用のヘッドホンドライバー１２０Ｌおよび右耳用のヘッドホンドライバー１２Ｒに、それぞれ供給されて、音響再生される。

この音響再生システムの例によれば、ヘッドホンドライバーが左右の耳用として１つずつのヘッドホン１２０Ｌ，１２０Ｒにより、７．１チャンネルのマルチサラウンドの音場を仮想音像定位により良好に再生することができる。

［実施形態の音響再生システムにおける正規化頭部伝達関数の畳み込み開始タイミングの例（図１７〜図２６）］
次に、図１５の頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥで畳み込まれる正規化頭部伝達関数およびその畳み込み開始タイミングの例について説明する。

例えば、縦×横＝４５５０ｍｍ×３６２０ｍｍの直方体形状の１０畳の部屋を想定する。そして、当該部屋において、左前方スピーカ位置ＬＦと、右前方スピーカ位置ＲＦとの距離を１６００ｍｍとして、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドの再生音響空間を想定したときの頭部伝達関数の畳み込みについて説明する。なお、ここでは、説明の簡単のため、反射波については、天井反射と床反射は省略して、壁反射のみについて説明するものとする。

この実施形態では、直接波についての正規化頭部伝達関数、そのクロストーク成分についての正規化頭部伝達関数、１次反射波についての正規化頭部伝達関数、およびそのクロストーク成分についての正規化頭部伝達関数を畳み込むようにする。

先ず、右前方スピーカ位置ＲＦを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図１７に示すようなものとすることができる。

すなわち、図１７において、ＲＦｄは、位置ＲＦからの直接波を示しており、また、ｘＲＦｄはその左チャンネルへのクロストークを示している。なお、記号ｘは、クロストークであることを示している。以下同様である。

また、ＲＦｓＲは、位置ＲＦから右側壁に一次反射した反射波を示しており、ｘＲＦｓＲは、その左チャンネルへのクロストークを示している。また、ＲＦｆＲは、位置ＲＦから前方壁に一次反射した反射波を示しており、ｘＲＦｆＲは、その左チャンネルへのクロストークを示している。

また、ＲＦｓＬは、位置ＲＦから左側壁に一次反射した反射波を示しており、ｘＲＦｓＬは、その左チャンネルへのクロストークを示している。さらに、ＲＦｂＲは、位置ＲＦから後方壁に一次反射した反射波を示しており、ｘＲＦｂＲは、その左チャンネルへのクロストークを示している。

直接波およびそのクロストーク、また、反射波およびそのクロストークのそれぞれについて、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Ｐｎに最後に入射する方向について測定した正規化頭部伝達関数とされる。

そして、直接波ＲＦｄおよびそのクロストークｘＲＦｄ、反射波ＲＦｓＲ、ＲＦｆＲ、ＲＦｓＬ、ＲＦｂＲおよびそれらのクロストークｘＲＦｓＲ、ｘＲＦｆＲ、ｘＲＦｓＬ、ｘＲＦｂＲの正規化頭部伝達関数を、右前方チャンネルＲＦの音声信号に畳み込み開始すべき時点は、それら音波の経路長から計算されて、図１８に示すようなものとなる。

そして、畳み込む正規化頭部伝達関数のゲインは、直接波については、減衰量０とされる。また、反射波については、想定される吸音率に応じた減衰量とされる。

なお、図１８は、直接波ＲＦｄおよびそのクロストークｘＲＦｄ、反射波ＲＦｓＲ、ＲＦｆＲ、ＲＦｓＬ、ＲＦｂＲおよびそれらのクロストークｘＲＦｓＲ、ｘＲＦｆＲ、ｘＲＦｓＬ、ｘＲＦｂＲの正規化頭部伝達関数を、音声信号に畳み込み開始すべき時点を示しているだけで、１つのチャンネル用のヘッドホンドライバーに供給する音声信号に畳み込む正規化頭部伝達関数の畳み込み開始点を示しているわけではない。

すなわち、直接波ＲＦｄおよびそのクロストークｘＲＦｄ、反射波ＲＦｓＲ、ＲＦｆＲ、ＲＦｓＬ、ＲＦｂＲおよびそれらのクロストークｘＲＦｓＲ、ｘＲＦｆＲ、ｘＲＦｓＬ、ｘＲＦｂＲの正規化頭部伝達関数のそれぞれは、前記頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥのうちから予め選定されたチャンネル用の頭部伝達関数畳み込み処理部において畳み込まれる。

このことは、右前方スピーカ位置ＲＦを仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数のみではなく、他のチャンネルのスピーカ位置を仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数と、畳み込み対象の音声信号との関係においても同様である。

次に、左前方スピーカ位置ＬＦを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図１７に示したものを、左右対称に、左側に移したようなものとすることができる。図示は省略するが、直接波ＬＦｄ、そのクロストークｘＬＦｄ、また、左側壁からの反射波ＬＦｓＬ、そのクロストークｘＬＦｓＬ、前方壁からの反射波ＬＦｆＬ、そのクロストークｘＬＦｆＬ、右側壁からの反射波ＬＦｓＲ、そのクロストークｘＬＦｓＲ、後方壁からの反射波ＬＦｂＬ、そのクロストークｘＬＦｂＬとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図１８に示したものと同様となる。

また、同様にして、センタースピーカ位置Ｃを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図１９に示すようなものとすることができる。

すなわち、直接波Ｃｄ、右側壁からの反射波ＣｓＲ、そのクロストークｘＣｓＲ、後方壁からの反射波ＣｂＲとなる。図１９には、右側の反射波のみについて示したが、左側についても同様に設定することができ、左側壁からの反射波ＣｓＬ、そのクロストークｘＣｓＬ、後方壁からの反射波ＣｂＬとなる。

そして、それらの直接波および反射波、そのクロストークの、リスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２０に示すようなものとなる。

次に、右側方スピーカ位置ＲＳを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２１に示すようなものとすることができる。

すなわち、直接波ＲＳｄ、そのクロストークｘＲＳｄ、また、右側壁からの反射波ＲＳｓＲ、そのクロストークｘＲＳｓＲ、前方壁からの反射波ＲＳｆＲ、そのクロストークｘＲＳｆＲ、左側壁からの反射波ＲＳｓＬ、そのクロストークｘＲＳｓＬ、後方壁からの反射波ＲＳｂＲ、そのクロストークｘＲＳｂＲとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２２に示すようなものとなる。

左側方スピーカ位置ＬＳを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２１に示したものを、左右対称に、左側に移したようなものとすることができる。図示は省略するが、直接波ＬＳｄ、そのクロストークｘＬＳｄ、また、左側壁からの反射波ＬＳｓＬ、そのクロストークｘＬＳｓＬ、前方壁からの反射波ＬＳｆＬ、そのクロストークｘＬＳｆＬ、右側壁からの反射波ＬＳｓＲ、そのクロストークｘＬＳｓＲ、後方壁からの反射波ＬＳｂＬ、そのクロストークｘＬＳｂＬとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２２に示したものと同様となる。

また、右後方スピーカ位置ＲＢを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２３に示すようなものとすることができる。

すなわち、直接波ＲＢｄ、そのクロストークｘＲＢｄ、また、右側壁からの反射波ＲＢｓＲ、そのクロストークｘＲＢｓＲ、前方壁からの反射波ＲＢｆＲ、そのクロストークｘＲＢｆＲ、左側壁からの反射波ＲＢｓＬ、そのクロストークｘＲＢｓＬ、後方壁からの反射波ＲＢｂＲ、そのクロストークｘＲＢｂＲとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２４に示すようなものとなる。

左後方スピーカ位置ＬＢを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図２３に示したものを、左右対称に、左側に移したようなものとすることができる。図示は省略するが、直接波ＬＢｄ、そのクロストークｘＬＢｄ、また、左側壁からの反射波ＬＢｓＬ、そのクロストークｘＬＢｓＬ、前方壁からの反射波ＬＢｆＬ、そのクロストークｘＬＢｆＬ、右側壁からの反射波ＬＢｓＲ、そのクロストークｘＬＢｓＲ、後方壁からの反射波ＬＢｂＬ、そのクロストークｘＬＢｂＬとなる。そして、それらのリスナ位置Ｐｎへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図２４に示したものと同様となる。

なお、前述したように、以上の説明においては、直接波および反射波の正規化頭部伝達関数の畳み込みについての説明は、壁反射のみについて行ったが、天井反射および床反射についても全く同様にして、考慮することができる。

すなわち、図２５は、例えば右前方スピーカＲＦを仮想音像定位位置とするために頭部伝達関数を畳み込むときに、考慮する天井反射および床反射を示すものである。すなわち、天井に反射して右耳位置に入射する反射波ＲＦｃＲと、同じく天井に反射して左耳位置に入射する反射波ＲＦｃＬと、床に反射して右耳位置に入射する反射波ＲＦｇＲと、同じく床に反射して左耳位置に入射する反射波ＲＦｇＬとを、考えることができる。また、これらの反射波については、図示は省略したが、クロストークを考慮することもできる。

これらの反射波およびクロストークについても、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Ｐｎに最後に入射する方向について測定した正規化頭部伝達関数とされる。そして、それぞれの反射波についての経路長を計算して、それぞれの正規化頭部伝達関数の畳み込み開始タイミングを定める
そして、畳み込む正規化頭部伝達関数のゲインは、天井および床の材質や表面形状などから想定される吸音率に応じた減衰量とされる。

なお、以上説明した実施形態の正規化頭部伝達関数の畳み込み手法は、特願２００８−４５５９７として、既に出願したものである。この発明の音声信号処理装置の実施形態においては、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥの内部構成例に特徴がある。

［この出願の発明の実施形態の要部との比較例］
図２６に、既出願の場合における頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥの内部構成例を示す。この図２６の例では、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥと、加算処理部７５のＬ用加算部７５ＬおよびＲ用加算部７５Ｒとの間の接続関係も示している。

前述したように、この例の頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥのそれぞれにおける正規化頭部伝達関数の畳み込み方法としては、前述の畳み込み方法の第１の例を用いる。

そして、この例では、左チャンネルの成分ＬＦ，ＬＳ，ＬＢおよび右チャンネルの成分ＲＦ，ＲＳ，ＲＢについては、直接波と反射波およびこれらのクロストーク成分のこれらの正規化頭部伝達関数の畳み込みを行う。

また、センターチャンネルＣについては、直接波と反射波についての正規化頭部伝達関数の畳み込みを行い、この例では、それらのクロストーク成分は考慮しない。

また、低域効果チャンネルＬＦＥについては、直接波とそのクロストーク成分についての正規化頭部伝達関数の畳み込みを行い、反射波については考慮しない。

以上のことから、図２６に示すように、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢにおいては、４個の遅延回路と、４個の畳み込み回路とを備えるものとされる。

この構成は、図１１に示した正規化頭部伝達関数畳み込み処理部を、これらの各チャンネル用の頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢに適用したものである。したがって、直接波、反射波およびそれらのクロストーク成分についての構成は、これら頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢにおいて同一のものとなる。

そこで、それらの畳み込み処理部のうち、頭部伝達関数畳み込み処理部７４ＬＦを例にとって、その構成を説明する。

この例の場合における左前方チャンネル用の頭部伝達関数畳み込み処理部７４ＬＦは、４個の遅延回路８１１，８１２，８１３，８１４と、４個の畳み込み回路８１５，８１６，８１７，８１８とからなる。

遅延回路８１１と畳み込み回路８１５とは、左前方チャンネルの直接波の信号ＬＦについての畳み込み処理部を構成する。これは、図１１に示した直接波用の畳み込み処理部５１に対応する。

遅延回路８１１は、左前方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８１５は、図１１に示したようにして、左前方チャンネルの直接波についての正規化頭部伝達関数を、遅延回路８１１からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。

また、遅延回路８１２と畳み込み回路８１６とは、左前方チャンネルの反射波の信号ＬＦｒｅｆについての畳み込み処理部を構成する。これは、図１１における第１の反射波用の畳み込み処理部５２に対応する。

遅延回路８１２は、左前方チャンネルの反射波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８１６は、図１１に示したようにして、左前方チャンネルの反射波についての正規化頭部伝達関数を、遅延回路８１２からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。

また、遅延回路８１３と畳み込み回路８１７とは、左前方チャンネルの右チャンネルへのクロストーク（左前方チャンネルのクロストークチャンネル）の信号ｘＬＦについての畳み込み処理部を構成する。これは、図１１に示した直接波用の畳み込み処理部５１に対応する。

遅延回路８１３は、左前方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８１７は、図１１に示したようにして、左前方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、遅延回路８１３からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。

また、遅延回路８１４と畳み込み回路８１８とは、左前方チャンネルのクロストークチャンネルの反射波の信号ｘＬＦｒｅｆについての畳み込み処理部を構成する。これは、図１１に示した反射波用の畳み込み処理部５２に対応する。

遅延回路８１４は、左前方チャンネルのクロストークチャンネルの反射波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８１８は、図１１に示したようにして、左前方チャンネルのクロストークチャンネルの反射波についての正規化頭部伝達関数を、遅延回路８１４からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。

他の頭部伝達関数畳み込み処理部７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢにおいても、全く同様の構成とされる。なお、図２６においては、頭部伝達関数畳み込み処理部７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢにおいては、それぞれ８２０番台、８３０番台、８６０番台、８７０番台、８８０番台の参照符号を対応する回路に付与した。

頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＬＢのそれぞれにおいて、直接波および反射波について正規化頭部伝達関数が畳み込まれた信号は、Ｌ用加算部７５Ｌに供給される。

また、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＬＢのそれぞれにおいて、クロストークチャンネルの直接波および反射波について正規化頭部伝達関数が畳み込まれた信号は、Ｒ用加算部７５Ｒに供給される。

また、頭部伝達関数畳み込み処理部７４ＲＦ，７４ＲＳ，７４ＲＢのそれぞれにおいて、直接波および反射波について正規化頭部伝達関数が畳み込まれた信号は、Ｒ用加算部７５Ｒに供給される。

また、頭部伝達関数畳み込み処理部７４ＲＦ，７４ＲＳ，７４ＲＢのそれぞれにおいて、クロストークチャンネルの直接波および反射波について正規化頭部伝達関数が畳み込まれた信号は、Ｌ用加算部７５Ｌに供給される。

次に、センターチャンネル用の頭部伝達関数畳み込み処理部７４Ｃは、２個の遅延回路８４１および８４２と、２個の畳み込み回路８４３および８４４とからなる。

遅延回路８４１と畳み込み回路８４３とは、センターチャンネルの直接波の信号Ｃについての畳み込み処理部を構成する。これは、図１１に示した直接波用の畳み込み処理部５１に対応する。

遅延回路８４１は、センターチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８４３は、図１１に示したようにして、センターチャンネルの直接波についての正規化頭部伝達関数を、遅延回路８４１からのセンターチャンネルの音声信号Ｃに対して畳み込む処理を実行する。

この畳み込み回路８４３からの信号は、Ｌ用加算部７５Ｌに供給される。

また、遅延回路８４２は、センターチャンネルの反射波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８４４は、図１１に示したようにして、センターチャンネルの反射波についての正規化頭部伝達関数を、遅延回路８４２からのセンターチャンネルの音声信号Ｃに対して畳み込む処理を実行する。

この畳み込み回路８４４からの信号は、Ｒ用加算部７５Ｒに供給される。

次に、低域効果チャンネル用の頭部伝達関数畳み込み処理部７４ＬＦＥは、２個の遅延回路８５１および８５２と、２個の畳み込み回路８５３および８５４とからなる。

遅延回路８５１と畳み込み回路８５３とは、低域効果チャンネルの直接波の信号Ｃについての畳み込み処理部を構成する。これは、図１１に示した直接波用の畳み込み処理部５１に対応する。

遅延回路８５１は、低域効果チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８５３は、図１１に示したようにして、低域効果チャンネルの直接波についての正規化頭部伝達関数を、遅延回路８５１からの低域効果チャンネルの音声信号ＬＦＥに対して畳み込む処理を実行する。

この畳み込み回路８５３からの信号は、Ｌ用加算部７５Ｌに供給される。

また、遅延回路８５２は、低域効果チャンネルの直接波のクロストークについて、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。

畳み込み回路８５４は、図１１に示したようにして、低域効果チャンネルの直接波のクロストークについての正規化頭部伝達関数を、遅延回路８５２からの低域効果チャンネルの音声信号ＬＦＥに対して畳み込む処理を実行する。

この畳み込み回路８５４からの信号は、Ｒ用加算部７５Ｒに供給される。

なお、畳み込み回路８１５〜８１８で畳み込まれる正規化頭部伝達関数には、この例では、距離減衰分の遅延と再生音場での視聴テストによる僅かなレベル調整値が付加されている。

以上説明したように、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、直接波と反射波と、それらのリスナの頭越しのクロストークに関するものとなる。ここで、この例では、左右チャンネルでは、リスナの正面と真後ろとを結ぶ線を対称軸として、対称的な関係となるので、同じ正規化頭部伝達関数を用いるようにしている。

ここで、左右チャンネルを区別せずに、
直接波：Ｆ，Ｓ，Ｂ，Ｃ，ＬＦＥ
頭越しのクロストーク：ｘＦ，ｘＳ，ｘＢ，ｘＬＦＥ
反射波：Ｆｒｅｆ，Ｓｒｅｆ，Ｂｒｅｆ，Ｃｒｅｆ
と表記することとする。

そして、この表記が正規化頭部伝達関数を表わすとすると、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、図２６において括弧を囲んで示すものとなる。

［この出願の発明の実施形態の要部の畳み込み処理部の例；第２の正規化］
以上は、正規化頭部伝達関数が畳み込まれた２チャンネルの音声信号が供給されるヘッドホンドライバー１２０Ｌ，１２０Ｒの特性を考慮しない場合である。

ヘッドホンドライバー１２０Ｌ，１２０Ｒからなる２チャンネルヘッドホンの周波数特性および位相特性等が、限りなくフラットは理想的な音響再生装置であれば、この図２６の構成のままで問題はない。

ところで、２チャンネルヘッドホンのヘッドホンドライバー１２０Ｌ，１２０Ｒに供給されるメイン信号は、左前方および右前方チャンネルの信号ＬＦ，ＲＦである。これらの左前方および右前方チャンネルの信号ＬＦ，ＲＦは、スピーカで音響再生する場合には、リスナの左前方および右前方に配置される２個のスピーカに供給される。

そのため、課題の欄の説明したように、実際のヘッドホンのドライバー１２０Ｌ，１２０Ｒは、リスナの左右前方にある２個のスピーカで音響再生された音が、リスナの耳元で聴取されるように、音質チューニングがなされることが多々有る。

そのような音質チューニングが行われると、意識的なものか、無意識的なものかに関わらず、ヘッドホンを用いて再生音を聴取する耳の近傍または耳穴位置の周波数特性や位相特性は、結果的に頭部伝達関数に類似した特性を持ってしまうと考えられる。この場合に、ヘッドホンが持つ、類似する頭部伝達関数は、リスナの左右前方にある２個のスピーカからリスナの両耳に到達する直接波について頭部伝達関数である。

したがって、図２６を用いて説明したような正規化頭部伝達関数が畳み込まれた各チャンネルの音声信号に対して、ヘッドホンにおいて、さらに前記頭部伝達関数が２重に畳み込まれているような効果が生じ、ヘッドホンでの再生音質を悪化させる場合がある。

以上のことにかんがみ、この発明の実施形態では、頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥの内部構成例は、図２６に代えて、図２７のようなものとする。

この実施形態では、ヘッドホンでの音質チューニングを考慮して、２チャンネルヘッドホンに供給されるメイン信号である左右チャンネルの信号ＬＦ，ＲＦの直接波に畳み込むべき正規化頭部伝達関数「Ｆ」で、全ての正規化頭部伝達関数を正規化する。

すなわち、図２７の例における各チャンネルの畳み込み回路の正規化頭部伝達関数は、図２６の正規化頭部伝達関数に１／Ｆを乗算したものとする。

したがって、図２７の例における頭部伝達関数畳み込み処理部７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、次のようになる。

つまり、
直接波：Ｆ／Ｆ＝１，Ｓ／Ｆ，Ｂ／Ｆ，Ｃ／Ｆ，ＬＦＥ／Ｆ
頭越しのクロストーク：ｘＦ／Ｆ，ｘＳ／Ｆ，ｘＢ／Ｆ，ｘＬＦＥ／Ｆ
反射波：Ｆｒｅｆ／Ｆ，Ｓｒｅｆ／Ｆ，Ｂｒｅｆ／Ｆ，Ｃｒｅｆ／Ｆ
となる。

ここで、左前方および右前方チャンネルの信号ＬＦ，ＲＦについては、自分自身の正規化頭部伝達関数Ｆで正規化するので、Ｆ／Ｆ＝１となる。つまり、インパルスレスポンスは｛１．０，０，０，０・・・・｝となり、左前方チャンネルの信号ＬＦおよび右前方チャンネルの信号ＲＦについては、頭部伝達関数の畳み込みは不要となる。そこで、この実施形態では、図２６の畳み込み回路８１５および８６５は、図２７の例では設けず、左前方チャンネルの信号ＬＦおよび右前方チャンネルの信号ＲＦについては頭部伝達関数の畳み込みは行わないようにする。

なお、図２６の畳み込み回路８１５により正規化頭部伝達関数Ｆが畳み込まれた信号の特性を、図２８（Ａ）の点線で示す。また、図２６の畳み込み回路８１６により正規化頭部伝達関数Ｆｒｅｆが畳み込まれた信号の特性を、図２８（Ａ）の実線で示す。さらに、図２７の畳み込み回路８１６により正規化頭部伝達関数Ｆｒｅｆ／Ｆが畳み込まれた信号の特性を、図２８（Ｂ）に示す。

このように、２チャンネルヘッドホンに供給されるメインチャンネルの直接波について畳み込むべき正規化頭部伝達関数で、全ての正規化頭部伝達関数を正規化することにより、ヘッドホンで、２重に頭部伝達関数が畳み込まれることがなくなる。

したがって、この実施形態によれば、２チャンネルヘッドホンにより、当該ヘッドホンが備える音質性能を最大限に発揮する状態で、良好なサラウンド効果を得ることができる音響再生が可能となる。

［他の実施形態および変形例］
上述の実施形態では、全てのチャンネルの信号についての正規化頭部伝達関数を、左前方および右前方チャンネルの直接波についての正規化頭部伝達関数で再正規化するようにした。しかし、リスナの聴感上、左前方および右前方チャンネルの直接波については、２重の頭部伝達関数が畳み込まれることによる影響は大きいが、他のチャンネルについては影響が小さいと考えられる。

そこで、左前方および右前方チャンネルの直接波についてのみ、自分自身の正規化頭部伝達関数で正規化するようにしても良い。つまり、左前方および右前方チャンネルの直接波のみについて、頭部伝達関数の畳み込み処理を行わないようにし、畳み込み回路８１５および８６５は設けないようにする。そして、左前方および右前方チャンネルの反射波、クロストーク成分を含む他の全てのチャンネルについては、図２６の正規化頭部伝達関数のままとする。

また、左前方および右前方チャンネルの直接波に加えて、センターチャンネルＣの直接波についてだけ、左前方および右前方チャンネルの直接波に畳み込むべき正規化頭部伝達関数で再正規化するようにしても良い。その場合には、左前方および右前方チャンネルの直接波に加えて、センターチャンネルの直接波について、ヘッドホンの特性の影響を除去することができる。

さらには、左前方および右前方チャンネルの直接波、センターチャンネルＣの直接波に加えて、その他のチャンネルの直接波についてだけ、左前方および右前方チャンネルの直接波に畳み込むべき正規化頭部伝達関数で再正規化するようにしても良い。

また、以上の実施形態の図２７の例では、左前方および右前方チャンネルの直接波について畳み込むべき正規化頭部伝達関数「Ｆ」で、頭部伝達関数畳み込み処理部７４ＬＦ〜７４ＬＦＥにおける正規化頭部伝達関数を正規化するようにした。

しかし、頭部伝達関数畳み込み処理部７４ＬＦ〜７４ＬＦＥは、図２６の構成のままとして、加算処理部７５からの左チャンネルの信号および右チャンネルの信号のそれぞれに対して、１／Ｆの頭部伝達関数を畳み込む回路を設けるようにしても良い。

つまり、頭部伝達関数畳み込み処理部７４ＬＦ〜７４ＬＦＥでは、図２６に示すようにして、正規化頭部伝達関数の埋め込み処理を行う。そして、Ｌ用加算部７５ＬおよびＲ用加算部７５Ｒで、２チャンネルに合成した信号に対して、左前方および右前方チャンネルの直接波について畳み込むべき正規化頭部伝達関数をキャンセルするために、１／Ｆの頭部伝達関数を畳み込むようにするものである。この構成によっても、図２７の例と同様の作用効果が得られる。ただし、図２７の例の方が、頭部伝達関数埋め込み処理部の数を少なくすることができ、効率的である。

以上の実施形態の説明では、図２６の構成例に代えて、図２７の構成例を用いるとしたが、音響システムとして、図２６の正規化頭部伝達関数と図２７の正規化頭部伝達関数との両方を備え、両者を切り替え手段により切り替え可能とする構成としても良い。その場合、実際的には、図１１における正規化頭部伝達関数メモリ５１３，５２３，５３３，５４３から読み出す正規化伝達関数を、図２６の例の正規化伝達関数と、図２７の例の正規化伝達関数とのいずれにするかを、切り替えるように構成すればよい。

また、頭部伝達関数畳み込み処理部７４ＬＦ〜７４ＬＦＥは、図２６の構成のままとして、加算処理部７５からの左および右チャンネルの信号のそれぞれに対して、１／Ｆの頭部伝達関数を畳み込む回路を設けるように場合にも、切り替え手段を適用可能である。すなわち、その場合には、加算処理部７５からの左および右チャンネルの信号のそれぞれに対して、１／Ｆの頭部伝達関数を畳み込む回路を挿入するか否かを切り替えるようにすれば良い。

そのような切り替え構成にすれば、ユーザは、音響再生するヘッドホンに応じて、切り替え手段により、適切とされる正規化頭部伝達関数を切り替えることができる。つまり、音質チューニングを行っていないヘッドホンの場合には、図２６の正規化頭部伝達関数でよい場合もあるが、そのようなヘッドホンには、図２６の正規化頭部伝達関数を適用するように切り替えればよい。実際的には、ユーザは、切り替え手段により、図２６の例の正規化伝達関数と、図２７の例の正規化伝達関数とのいずれにするかを切り替え、自分が適切とする方を選択するようにすることが可能である。

以上の実施形態の説明では、左右チャンネルはリスナに対して対称的は配置としたので、正規化頭部伝達関数は、対応する左右チャンネルでは同じものとした。このため、図２７の例では、左前方および右前方チャンネルの信号ＬＦ，ＲＦに畳み込むべき正規化頭部伝達関数「Ｆ」で、全てのチャンネルを正規化するようにした。

しかし、左右チャンネルで異なる頭部伝達関数を用いる場合には、Ｌ用加算部７５Ｌで加算するチャンネルの音声についての頭部伝達関数は、左前方チャンネルについての正規化頭部伝達関数で正規化し、Ｒ用加算部７５Ｒで加算するチャンネルの音声についての頭部伝達関数は、右前方チャンネルについての正規化頭部伝達関数で正規化するようにしても良い。

以上の実施形態では、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数の畳み込みができ、所望の仮想音像定位感が得られるようにした頭部伝達関数であって、測定用マイクロホンや測定用スピーカの特性を除去するようにした頭部伝達関数を用いた。

しかし、この発明は、このような特殊な頭部伝達関数を用いる場合に限られるものではなく、一般的な頭部伝達関数を畳み込む場合であっても適用可能である。

上述の説明は、主としてヘッドホンを再生音声信号を音響再生する電気音響変換手段とした場合について説明したが、図４を用いて説明したようなリスナの両耳近傍に配置されるスピーカを出力系としたアプリケーションへも応用が可能である。

音響再生システムは、マルチサラウンド方式の場合について説明したが、通常の２チャンネルステレオを、仮想音像定位処理をして、２チャンネルヘッドホンや両耳近傍に配置されるスピーカ供給する場合にも適用できることは言うまでもない。

また、７．１チャンネルに限らず、５．１チャンネルや、９．１チャンネルなど、その他のマルチサラウンドの場合にも、同様に適用できることは勿論である。

また、７．１チャンネルのマルチサラウンドのスピーカ配置は、ＩＴＵ−Ｒスピーカ配置の場合を例に説明したが、ＴＨＸ社の推奨するスピーカ配置の場合にも適用できることは容易に理解できよう。

７４ＬＦ，７４ＬＳ，７４ＲＦ，７４ＲＳ，７４ＬＢ，７４ＲＢ，７４Ｃ，７４ＬＦＥ…頭部伝達関数畳み込み処理部、７５…加算処理部、７５Ｌ…Ｌ用加算部、７５Ｒ…Ｒ用加算部、１２０Ｌ，１２０Ｒ…２チャンネルヘッドホンのドライバー

Claims (9)

1. ２チャンネル以上の複数チャンネルの音声信号から、リスナの両耳の近傍の位置に設置される２個の電気音響変換手段により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置であって、
   前記２個の電気音響変換手段で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理部と、
   前記頭部伝達関数畳み込み処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換手段に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成手段と、
   を備え、
   前記頭部伝達関数畳み込み処理部では、前記複数チャンネルのうちの、少なくとも、左および右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数は畳み込まない一方、前記仮想音像定位位置からリスナの両耳への反射波に関する頭部伝達関数は畳み込む音声信号処理装置。
2. 請求項１に記載の音声信号処理装置において、
   前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのうちの、左および右チャンネルを除くそれぞれのチャンネルについては、
   前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記収音手段への、選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とが、記憶される記憶部と、
   前記直接波方向頭部伝達関数と、前記選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み手段と、
   を備え、
   前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのうちの、左および右チャンネルについては、
   前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への、選択された１または複数の反射波の方向についての反射波方向頭部伝達関数が、記憶される記憶部と、
   前記選択された１または複数の反射波の方向についての反射波方向頭部伝達関数を、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み手段と、
   を備える
   音声信号処理装置。
3. 請求項２に記載の音声信号処理装置において、
   前記記憶部に記憶される前記直接波方向頭部伝達関数と前記反射波方向頭部伝達関数とは、前記左および右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数で正規化されている
   音声信号処理装置。
4. 請求項１に記載の音声信号処理装置において、
   前記２チャンネル信号生成手段の後段に、前記左および右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数の逆関数を畳み込むことにより、前記左および右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数は、畳み込まないようにする手段を設ける
   音声信号処理装置。
5. 請求項４に記載の音声信号処理装置において、
   前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのそれぞれについて、
   前記仮想音像定位位置に音源を設置し、前記電気音響変換手段の位置に収音手段を設置して測定した、前記音源から前記収音手段への直接波の方向についての直接波方向頭部伝達関数と、前記音源から前記収音手段への、選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とが、記憶される記憶部と、
   前記直接波方向頭部伝達関数と、前記選択された１または複数の反射波の方向についての反射波方向頭部伝達関数とを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み手段と、
   を備える音声信号処理装置。
6. 請求項２、請求項３または請求項５に記載の音声信号処理装置において、
   前記畳み込み手段では、
   前記音声信号の時系列信号に対して、前記直接波および前記反射波の前記仮想音像定位位置から前記電気音響変換手段の位置までの音波の行路長に応じて定められた、前記直接波方向頭部伝達関数の畳み込み処理を開始する開始時点、および前記１または複数の反射波方向頭部伝達関数のそれぞれの畳み込み処理を開始する開始時点のそれぞれから、対応する前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数の畳み込みを実行する
   音声信号処理装置。
7. 請求項２、請求項３または請求項５に記載の音声信号処理装置において、
   前記畳み込み手段では、
   前記反射波方向頭部伝達関数は、想定される反射部における音波の減衰率に応じてゲイン調整されて前記畳み込みが実行される
   音声信号処理装置。
8. 請求項２、請求項３または請求項５のいずれかに記載の音声信号処理装置において、
   前記直接波方向頭部伝達関数および前記反射波方向頭部伝達関数は、
   前記電気音響変換手段が設置されると想定されるリスナの耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップして測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップして測定した素の状態の伝達特性により正規化した正規化頭部伝達関数である
   音声信号処理装置。
9. ２チャンネル以上の複数チャンネルの音声信号から、リスナの両耳の近傍の位置に設置される２個の電気音響変換手段により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置における音声信号処理方法であって、
   頭部伝達関数畳み込み処理部が、前記２個の電気音響変換手段で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理工程と、
   ２チャンネル信号生成手段が、前記頭部伝達関数畳み込み処理工程での処理結果の複数チャンネルの音声信号から、前記２個の電気音響変換手段に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成工程と、
   を有し、
   前記頭部伝達関数畳み込み処理工程では、前記複数チャンネルのうちの、少なくとも、左および右チャンネルについて想定される仮想音像定位位置からリスナの両耳への直接波に関する頭部伝達関数は畳み込まない一方、前記仮想音像定位位置からリスナの両耳への反射波に関する頭部伝達関数は畳み込むようにする
   音声信号処理方法。

Images