JP6018485B2 - 頭部伝達関数選択装置、音響再生装置 - Google Patents

Description

この発明は、頭部伝達関数選択装置及び当該装置を含む音響再生装置に関し、特に、１チャンネル以上の音響信号からなる立体音響に頭部伝達関数を畳み込んでヘッドホンで再生する場合において、本人の頭部伝達関数を持ち合わせていない場合に頭部伝達関数のデータベースから立体音響を再生するために好適な頭部伝達関数を選択するための技術に関する。

５．１ｃｈサラウンド方式やスーパーハイビジョン用の２２．２マルチチャンネル方式といったマルチチャンネル音響方式は、音源を３次元空間内の様々な方向に定位させることができるという特徴を持っている（例えば非特許文献１参照）。ここで、事前に測定された頭部伝達関数（HRTF：Head-Related Transfer Function）を用いて、３次元音響信号の音響空間を疑似的にヘッドホンで再生することができる。この場合、測定されたＨＲＴＦの時間表現であるインパルス応答が、方向フィルタとして音源に畳まれることになる。

安藤彰男「高臨場感音響技術とその理論」電子情報通信学会 Fundamental Review Vol.3 No.4 pp.33-46 2010年4月

ＨＲＴＦは、音源から鼓膜までの頭部の回り込み、耳介による反射、外耳道による影響が含まれた伝達関数であり、人により頭部や耳介形状が異なるため、ＨＲＴＦは個人性を有する。特に、左右方向だけではなく前後や上下方向からの音を再現する立体音響をヘッドホンにより再生する技術である頭部伝達関数を用いたバイノーラル再生技術では、ＨＲＴＦの個人性の影響を考慮する必要があり、高品位で立体的な定位を得るためには、受聴者本人のＨＲＴＦを取得することが好ましい。しかし、ＨＲＴＦデータの取得には相応の設備及び時間が必要となり、一般のサラウンドヘッドホンでは平均化されたＨＲＴＦデータを用いた再生が行われている。このため、本人ものとは異なるＨＲＴＦを用いて再生することになり、先述した個人性を考慮することなく音響信号が再生されている。

ここで、ＨＲＴＦのデータベースを公開している研究機関も存在しており、今後は、ＨＲＴＦのデータベースの構築が進んでいくことが期待される。

したがって、かかる点に鑑みてなされた本発明の目的は、受聴者本人のＨＲＴＦを持ち合わせていない場合でも、ＨＲＴＦデータベースから受聴者にあったＨＲＴＦを選択することが可能な、頭部伝達関数選択装置及び当該装置を含む音響再生装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る頭部伝達関数選択装置は、頭部伝達関数の時間表現であるインパルス応答を左右各耳のペアで複数人分記憶する記憶部と、前記インパルス応答を表現するケプストラムのケプストラム係数に基づく特徴量であって、０次以外の前記ケプストラム係数に基づく第１特徴量と、０次の前記ケプストラム係数及び左右各耳の前記インパルス応答の時間差に基づく第２特徴量と、を計算する特徴量計算部と、前記特徴量に基づき、前記頭部伝達関数をクラスタに分類するクラスタ判別部と、前記クラスタに基づき利用者に前記頭部伝達関数を選択させる選択部と、を備える。

また、前記クラスタ判別部は、前記第２特徴量に基づき前記頭部伝達関数をクラスタに分類し、さらに、前記第２特徴量に基づき分類した各クラスタに含まれる前記頭部伝達関数を前記第１特徴量に基づきクラスタに分類することが好ましい。

また、前記クラスタ判別部は、前記各クラスタの重心に近い頭部伝達関数を代表頭部伝達関数として前記選択部による選択処理に利用させる、ことが好ましい。

また、前記特徴量計算部は、前記特徴量の主成分分析を行い、前記クラスタ判別部は、前記主成分分析に基づき前記頭部伝達関数をクラスタに分類することが好ましい。

さらに、上述した諸課題を解決する本発明は、上記記載の頭部伝達関数選択装置を備える音響再生装置として実現されるものである。

本発明に係る頭部伝達関数選択装置及び当該装置を含む音響再生装置によれば、受聴者本人のＨＲＴＦを持ち合わせていない場合でも、ＨＲＴＦデータベースから受聴者にあったＨＲＴＦを選択することが可能となる。

本発明の一実施形態に係る頭部伝達関数選択装置の構成を示す図である。 特徴量計算のフローチャートである。 クラスタ判別のフローチャートである。 頭部伝達関数の選択の概要を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

図１は、本発明の一実施形態に係る頭部伝達関数選択装置の構成を示す図である。頭部伝達関数選択装置１は、ＨＲＴＦデータベース１０（記憶部）と、特徴量計算部２０と、クラスタ判別部３０と、ＨＲＴＦ選択部４０（選択部）と、を備える。

ＨＲＴＦデータベースは、外耳道入り口で測定された頭部伝達関数の時間表現であるインパルス応答（ＨＲＩＲ：Head-Related Impulse Response）を、左右各耳のペアで複数人分３次元空間方向毎に記憶している。例えば、各インパルス応答は、デジタル信号として例えば標本化周波数４８ＫＨｚ、２４ｂｉｔ量子化のリニアＰＣＭで保持されているとする。また、インパルス応答のフィルタ長（インパルス応答長）は時間方向に５１２サンプルで構成される。ＨＲＩＲは以下の式（１）により表される。ここで、iは被測定者、earは左右の耳（Ｌ／Ｒ）、θは方位角、φは仰角、nはサンプル番号をそれぞれ示す。

特徴量計算部２０は、インパルス応答を表現するケプストラムのケプストラム係数に基づく特徴量であって、０次以外のケプストラム係数に基づく特徴量１（第１特徴量）と、０次のケプストラム係数及び左右各耳のインパルス応答の時間差に基づく特徴量２（第２特徴量）とを計算する。特徴量１及び特徴量２の詳細については後述する。

図２は、特徴量計算部２０による特徴量計算のフローチャートである。まず特徴量計算部２０は、ＨＲＴＦデータベース１０より各ＨＲＴＦの両耳のインパルス応答を読み出す（ステップＳ２１）。なお、特徴量計算部２０は、ＨＲＴＦデータベース１０が保持する全てのＨＲＴＦについて特徴量を算出する。

特徴量計算部２０は、片耳のインパルス応答ずつ式（２）によりＦＦＴケプストラムを計算する（ステップＳ２２）。ここで、Ｃｅｐ_Ｌは左耳のケプストラム係数、ｈ_Ｌは左耳のＨＲＩＲ、Re(X[n])は各項（各次数）の複素数の実数部をとる関数、FFT()は離散フーリエ変換、IFFT()は離散フーリエ逆変換、log()は自然対数、abs()は絶対値をとる関数をそれぞれ表す。ここで、ＨＲＩＲのサンプル数は５１２であるのでＦＦＴケプストラムＣｅｐの係数も５１２となる。なお、式（２）は左耳のケプストラム係数を例示しているが、右耳のＦＦＴケプストラム（Ｃｅｐ_Ｒ）も同様に計算できることは言うまでもない。また、以下の式では、説明を簡単にするため、ある被測定者の左耳のＨＲＩＲの方位角と仰角を固定したものを例として示している。

特徴量計算部２０は、式（２）により最小位相化された左右各耳のＨＲＩＲのＦＦＴケプストラムのうち、０次以外のケプストラム係数により特徴量１を計算する（ステップＳ２３）。例えば、特徴量計算部２０は、式（２）で算出されたＦＦＴケプストラムについて、式（３）の通り、左右各耳の１次から３１次までのケプストラム係数用いて特徴量１（ＦＶ１）を計算する。このとき、特徴量計算部２０は、エネルギーを保存するため、特徴量１に用いる係数（例えば１次〜３１次）について、係数を２倍にする処理を行う。なお、特徴量１に用いる係数は１次〜３１次に限定されず、ＨＲＩＲの周波数振幅特性の特徴を有している次数を適宜設定し得るものである。

次に、特徴量計算部２０は、特徴量２を計算するために、ペアとなるＨＲＩＲの左右時間差（オールパス成分）を計算する（ステップＳ２４）。特徴量計算部２０は、式（２）の各次数のケプストラム係数を式（４）により変換し、式（５）によりオールパス成分を求める。ここで、ｈ_ａｌｌはＨＲＩＲのオールパス成分、ｈはＨＲＩＲ、ＨはＨＲＴＦ、Ｈ_ｍｉｎはＨＲＴＦの最小位相成分、exp()はエクスポネンシャル関数をそれぞれ表す。

特徴量計算部２０は、式（５）により求めた左右のＨＲＩＲのオールパス成分から相関関数を求め、その相互相関関数のピークの遅れ時間（左右時間差）ｔを求める。

特徴量計算部２０は、左右各耳のＨＲＩＲの０次のケプストラム係数の和Ｓｕｍ（式６）及び差Ｄｉｆｆ（式７）と、ＨＲＩＲの左右時間差（オールパス成分）ｔから、特徴量２（ＦＶ２）を式（８）のように計算する。

クラスタ判別部３０は、特徴量計算部２０が求めた特徴量に基づき、頭部伝達関数をクラスタに分類する。より詳細には、クラスタ判別部３０は、特徴量２に基づきＨＲＴＦをクラスタに分類し、さらに、特徴量２に基づき分類した各クラスタに含まれるＨＲＴＦを特徴量１に基づきクラスタに分類する。図３は、クラスタ判別のフローチャートである。本実施形態では、クラスタ判別部３０によるクラスタリングの前処理として、特徴量計算部２０が主成分分析により特徴量の次元圧縮を行う。

特徴量計算部２０は、各ＨＲＴＦの特徴量１を主成分分析し、クラスタリングに用いる係数の次元圧縮を行う（ステップＳ３１）。特徴量計算部２０は、主成分分析を行う前に特徴量１の零平均を式（９）で求める。ここで、「Ｍ＝全測定者数×全方位角数×全仰角数」である。

次に、特徴量計算部２０は、零平均化した特徴量１に対する共分散行列を形成する。これにより、主成分の導出は固有値問題に帰着される。導出した主成分を列に持つ主成分行列Ｃ１を用いて、元の特徴量ＦＶ１_{ｉ，θ，ψ}は、式（１０）で再合成できる。ここで、ここでω１_{ｉ，θ，ψ}は各主成分に対する重み係数ベクトルを表し、固有値の大きい順に対応して並んでいるものとする。なお、ここでは、重み係数ベクトルは６２係数で構成されるが、次元圧縮の観点から寄与率や固有値などを参考に適切な係数で打ち切って以降の処理を行う。これ以降、式（１１）の通り、特徴量１による重み係数ベクトルを２０係数に圧縮したものとして説明をする。

クラスタ判別部３０は、特徴量２についても同様に処理を行い、主成分行列Ｃ２と重み係数ベクトルω２_{ｉ，θ，ψ}を求める（ステップＳ３２）。特徴量２は３係数で構成されているため重み係数ベクトルも同様に３係数で構成されるが、これについても特徴量１と同様、寄与率や固有値などから適切な係数に圧縮する。これ以降、特徴量２による重み係数ベクトルを２係数に圧縮したものとして説明をする。

クラスタ判別部３０は、各特徴量の主成分分析に基づき、主成分行列の転置行列との行列積から重み係数ベクトルを計算する。まず、クラスタ判別部３０は、特徴量２に対応する全ての重み係数ベクトルについてクラスタリングを行う（ステップＳ３３）。クラスタリングの手法は、k-meansに代表される非階層的クラスタリングやデンドログラムを用いた階層的クラスタリングなど、任意の既存の手法を用いることができる。特徴量２を分類した結果をＫ２_１，・・・，Ｋ２_ｄ２と表す。ここでｄ２は特徴量２で分類されたクラスタ数を表す。

次に、クラスタ判別部３０は、特徴量２で分類した各クラスタＫ２_ｊ（１≦ｊ≦ｄ２）に含まれるＨＲＴＦを、さらに特徴量１に基づきクラスタリングする（ステップＳ３４）。特徴量１により分類した結果を式（１２）で表す。ここでｄ１は特徴量１で分類されたクラスタ数を表す。

クラスタ判別部３０は、全てのＨＲＴＦを以上の手順でクラスタに分類し、ＨＲＴＦ選択部４０における選択処理のため、各クラスタ

（１≦ｉ≦ｄ１、１≦ｊ≦ｄ２）の重心に近いＨＲＴＦを大カテゴリの代表ＨＲＴＦとし、クラスタ

内の各ＨＲＴＦを詳細カテゴリのＨＲＦＴとして設定する。

ＨＲＴＦ選択部４０は、クラスタ判別部３０によるクラスタに基づき利用者にインパルス応答を選択させる。図４は、ＨＲＴＦ選択部４０による頭部伝達関数の選択の概要を示す図である。ＨＲＴＦ選択部４０は、ディスプレイＤＩＳ上にＨＲＴＦ選択インタフェースを表示し、利用者にＨＲＴＦを選択させるものである。

ＨＲＴＦ選択部４０は、音響信号の定位方向を図示するとともに、各定位方向に対応する大カテゴリと詳細カテゴリを表示する。ここで、定位方向に対応するクラスタは、特徴量２によるクラスタに対応し、各定位方向に含まれる大カテゴリと詳細カテゴリは、特徴量２で分類した各クラスタに含まれるＨＲＴＦをさらに特徴量１に基づき分類したクラスタに対応する。ＨＲＴＦ４０は、さらに、ディスプレイＤＩＳに利用者が試聴用テスト音源を操作（再生、停止、頭出しなど）するための操作パネルを表示する。

ＨＲＴＦ選択部４０は、所定の定位方向（例えば前方左側）に対応する大カテゴリと詳細カテゴリを表示する。利用者が大カテゴリを選択すると、ＨＲＴＦ選択部４０は、当該大カテゴリの代表ＨＲＴＦ（重心に近いＨＲＴＦ）を試聴用のテスト音源に畳み込み、ヘッドホンＨＰにより利用者に視聴させる。聴取者は大まかに分類された大カテゴリのＨＲＴＦを試聴しながら切り替え、好適な大カテゴリを選択することができる。

利用者が大カテゴリ（例えばＤ）を選択すると、ＨＲＴＦ選択部４０は、ディスプレイＤＩＳに選択された大カテゴリに関する詳細カテゴリ（例えばＤ１〜Ｄ４）を表示する。利用者が詳細カテゴリを選択すると、当該詳細カテゴリのＨＲＴＦを試聴用のテスト音源に畳み込み、ヘッドホンＨＰにより利用者に視聴させる。聴取者は詳細なＨＲＴＦを試聴しながら切り替え、好適なＨＲＴＦを選択することができる。

ＨＲＴＦ選択部４０が以上のような操作を各定位方向に対して行うことで、１チャンネル以上の音響信号からなる立体音響をヘッドホンで再現する際に、好適な頭部伝達関数を利用者に選択させることが可能になる。

このように、本実施形態によれば、特徴量計算部２０は、０次以外のケプストラム係数に基づく特徴量１と、０次のケプストラム係数及び左右各耳のインパルス応答の時間差に基づく特徴量２と、を計算し、クラスタ判別部３０は、当該特徴量に基づき頭部伝達関数をクラスタに分類し、ＨＲＴＦ選択部４０は、当該クラスタに基づき利用者に頭部伝達関数を選択させる。これにより、受聴者本人のＨＲＴＦを持ち合わせていない場合でも、ＨＲＴＦデータベースから受聴者にあったＨＲＴＦを選択することが可能となる。

また、クラスタ判別部３０は、特徴量２に基づき頭部伝達関数をクラスタに分類し、さらに、特徴量２に基づき分類した各クラスタに含まれる頭部伝達関数を特徴量１に基づきクラスタに分類する。ここで、特徴量２は、インパルス応答の全体的なエネルギー傾向を示す０次のケプストラム係数と、左右各耳のインパルス応答の時間差に基づくものであって、頭部伝達関数の定位方向の特徴を表すものであり、又、特徴量１は、０次以外のケプストラム係数によって、ＨＲＩＲの周波数振幅特性の特徴を表すものである。すなわち、特徴量２、特徴量１の順でクラスタリングを行うことにより、利用者は定位方向毎に詳細な頭部伝達関数を選択することが可能になる。

また、クラスタ判別部３０は、各クラスタの重心に近い頭部伝達関数をカテゴリの代表頭部伝達関数としてＨＲＴＦ選択部４０による選択処理に利用させる。これにより、聴取者は大まかに分類された大カテゴリのＨＲＴＦを試聴しながら切り替え、好適な大カテゴリを選択することができる。

また、特徴量計算部２０は、特徴量の主成分分析を行い、クラスタ判別部３０は、主成分分析に基づき頭部伝達関数をクラスタに分類することができる。これにより、クラスタリングに係る計算負荷を低減させることができ、例えば携帯端末など、より処理能力の低い端末において本発明を実装することが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部に含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記実施形態では、クラスタ判別部３０によるクラスタ判別の前段階として、特徴量計算部２０が主成分分析により特徴量の次元圧縮を行ったが、クラスタ判別部３０が特徴量計算部２０の求めた特徴量をそのまま用いてクラスタリングを行っても良い。また、特徴量計算部２０が特徴量１又は特徴量２の一方にのみ主成分分析を行う構成としても良い。

また、上記実施形態では、クラスタ判別部３０は、特徴量２、特徴量１の順でクラスタリングを行ったが、特徴量１、特徴量２の順でクラスタリングを行っても良い。また、クラスタ判別部３０は、特徴量１、特徴量２のいずれか一方でクラスタリングを行っても良い。

また、本発明の範囲は、頭部伝達関数選択装置に限られず、当該頭部伝達関数選択装置及びヘッドホン等の音響装置を備える音響再生装置も含まれるものである。

本発明によれば、１チャンネル以上の音響信号からなる立体音響に頭部伝達関数を畳み込んでヘッドホンで再生する場合において、本人の頭部伝達関数を持ち合わせていない場合に頭部伝達関数のデータベースから立体音響を再生するために好適な頭部伝達関数を選択することができるという有用性がある。

１ 頭部伝達関数選択装置
１０ ＨＲＴＦデータベース（記憶部）
２０ 特徴量計算部
３０ クラスタ判別部
４０ ＨＲＴＦ選択部（選択部）
ＤＩＳ ディスプレイ
ＨＰ ヘッドホン

Claims (5)

1. 頭部伝達関数の時間表現であるインパルス応答を左右各耳のペアで複数人分記憶する記憶部と、
   前記インパルス応答を表現するケプストラムのケプストラム係数に基づく特徴量であって、０次以外の前記ケプストラム係数に基づく第１特徴量と、０次の前記ケプストラム係数及び左右各耳の前記インパルス応答の時間差に基づく第２特徴量と、を計算する特徴量計算部と、
   前記特徴量に基づき、前記頭部伝達関数をクラスタに分類するクラスタ判別部と、
   前記クラスタに基づき利用者に前記頭部伝達関数を選択させる選択部と、を備える頭部伝達関数選択装置。
2. 前記クラスタ判別部は、前記第２特徴量に基づき前記頭部伝達関数をクラスタに分類し、さらに、前記第２特徴量に基づき分類した各クラスタに含まれる前記頭部伝達関数を前記第１特徴量に基づきクラスタに分類する、請求項１に記載の頭部伝達関数選択装置。
3. 前記クラスタ判別部は、前記各クラスタの重心に近い頭部伝達関数を代表頭部伝達関数として前記選択部による選択処理に利用させる、請求項１又は２に記載の頭部伝達関数選択装置。
4. 前記特徴量計算部は、前記特徴量の主成分分析を行い、
   前記クラスタ判別部は、前記主成分分析に基づき前記頭部伝達関数をクラスタに分類する、請求項１乃至３のいずれか一項に記載の頭部伝達関数選択装置。
5. 請求項１乃至４のいずれか一項に記載の頭部伝達関数選択装置を備える音響再生装置。

Images