JP6463955B2

JP6463955B2 - 三次元音響再生装置及びプログラム

Info

Publication number: JP6463955B2
Application number: JP2014239135A
Authority: JP
Inventors: 靖茂中山; 大出　訓史; 訓史大出
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-11-26
Filing date: 2014-11-26
Publication date: 2019-02-06
Anticipated expiration: 2034-11-26
Also published as: JP2016100877A

Description

この発明は、三次元音響再生装置及びプログラムに関し、特に、２チャンネル以上の音響信号からなるマルチチャンネル立体音響を頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）によりバイノーラル化（両耳聴化）して再生するものに関する。

スーパーハイビジョンの音響方式である２２．２マルチチャンネル音響は、２２個のスピーカと２個の低音効果（ＬＦＥ：Low Frequency Effects）用のスピーカとを視聴者を取り囲むように配置して、三次元的な音響空間を再現する方式である。この２２．２マルチチャンネル音響を家庭で簡易に再生するための要素技術として、バイノーラル技術の研究が進められている（非特許文献１参照）。

バイノーラル技術は、音源から左右耳までの音の伝搬特性を模擬することで、聴取者に任意の方向の音源から音が到来するように知覚させる技術である。音源から左右耳までの音の伝搬特性を頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）といい、この頭部伝達関数を音響信号に作用させることによって、ヘッドホン再生やトランスオーラル再生にて知覚される音の到来方向を制御することができる。

松井健太郎、「スーパーハイビジョン音響用バイノーラル技術」、日本放送協会放送技術研究所、ＮＨＫ技研Ｒ＆Ｄ(134)、p.20-25、2012年07月

頭部伝達関数を用いた再生では、音像定位がはっきりした信号の方向については比較的認識しやすいが、音像成分と比較して、周囲を囲まれたような音像や残響など包み込まれ感を空間的に再現するものの中には、その音響空間を認識しにくいものがある。

したがって、かかる点に鑑みてなされた本発明の目的は、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能な三次元音響再生装置及びプログラムを提供することにある。

上述した諸課題を解決すべく、本発明に係る三次元音響再生装置は、マルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する分析部と、前記音像成分をバイノーラル化する音像成分処理部と、前記包み込まれ成分を強調してバイノーラル化する包み込まれ成分強調処理部と、バイノーラル化された前記音像成分及び前記包み込まれ成分を加算する加算器とを備え、前記分析部は、前記マルチチャンネル音響信号を分散共分散行列により主成分分析し、得られた固有値の大きさに基づき前記マルチチャンネル音響信号を前記音像成分と前記包み込まれ成分とに分離し、前記包み込まれ成分強調処理部は、前記マルチチャンネル音響信号のチャンネル数で前記包み込まれ成分をバイノーラル化した信号より両耳間相関係数が小さくなるように前記包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による前記包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する、ものである。

また、前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を前記マルチチャンネル音響信号のチャンネル数より増加させる場合、前記マルチチャンネル音響信号において隣り合う２つのチャンネルの間に新たなチャンネルを設ける、ことが好ましい。

また、前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を変更する場合、変更後のチャンネル配置による再生時のパワーが前記マルチチャンネル音響信号による再生時のパワーから変化しないよう各チャンネルの出力を調整する、ことが好ましい。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記三次元音響再生装置として機能させるものである。

本発明に係る三次元音響再生装置及びプログラムによれば、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能になる。

本発明の一実施形態に係る三次元音響再生装置の概略構成を示す図である。分析部の概略構成を示す図である。包み込まれ成分強調処理部の概略構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。なお、本実施形態では、マルチチャンネル音響信号として２２．２マルチチャンネル音響信号を例に説明を行うが、本発明はこれに限定されず、５．１チャンネル音響信号など、種々のマルチチャンネル音響方式の音響信号に対応できるものである。以降の説明において、２２．２マルチチャンネル音響信号を適宜「２２ｃｈ音響信号」と略記する。

図１は、本発明の一実施形態に係る三次元音響再生装置の概略構成を示す図である。三次元音響再生装置は、分析部１０と、包み込まれ成分強調処理部２０と、音像成分処理部３０と、加算器４０を備える。三次元音響再生装置の各機能部１０〜４０は、ＣＰＵ等の好適なプロセッサや好適な電子回路により構成されるものである。

分析部１０は、マルチチャンネル音響信号から音像成分と包みこまれ成分とを分離する。包み込まれ成分強調処理部２０は、マルチチャンネル音響信号の包み込まれ成分を強調し、２チャンネルの信号へとバイノーラル化する。また、音像成分処理部３０は、マルチチャンネル音響信号の音像成分に頭部伝達関数を作用させ２チャンネルの信号へとバイノーラル化する。加算器４０は、包み込まれ成分に対応する２チャンネルの信号と、音像成分に対応する２チャンネルの信号とを加算して出力し、出力信号は後段の再生装置（図示せず）にてヘッドホン再生又はトランスオーラル再生される。

以下、分析部１０及び包み込まれ成分強調処理部２０について詳述する。

分析部１０は、マルチチャンネル音響信号から音像成分と包みこまれ成分を分離する。音像成分とは、音像定位（信号の方向）がはっきりした信号であり、包み込まれ成分とは、残響等の空間的な特徴（包み込まれ感）に関する信号である。図２は、分析部１０の概略構成を示す図である。分析部１０は、主成分分析部１１と、固有値判定部１２と、変換行列生成部１３と、音像成分変換部１４と、包み込まれ成分変換部１５と、を備える。

主成分分析部１１は、あるサンプル数（例えば２０４８サンプル）を単位とするフレーム毎に、入力されたマルチチャンネル音響信号を分散共分散行列により主成分分析する。主成分分析の結果、固有値と固有値に対応した固有ベクトルが出力される。

固有値判定部１２は、主成分分析により得られた固有値の総計とそれぞれの固有値の大きさから、音像成分に対応する固有値と包み込まれ成分に対応する固有値とを判定する。例えば、固有値判定部１２は、所定値以上の固有値を音像成分に対応する固有値とし、それ以外の固有値を包み込まれ成分に対応する固有値とすることができる。また、固有値判定部１２は、固有値の大きい方から順に累計して固有値の総計に占める割合が所定値以内となる固有値を音像成分に対応する固有値とし、それ以外の固有値を包み込まれ成分に対応する固有値とすることができる。また、固有値判定部１２は、固有値の大きい方から順に所定数の固有値を音像成分に対応する固有値とし、それ以外の固有値を包み込まれ成分に対応する固有値とすることができる。

変換行列生成部１３は、音像成分に対応する固有値の固有ベクトルを用いて音像成分変換行列を生成する。また、変換行列生成部１３は、包み込まれ成分に対応する固有値の固有ベクトルを用いて包み込まれ成分変換行列を生成する。

音像成分変換部１４は、変換行列生成部１３が生成した音像成分変換行列を入力信号である２２ｃｈ音響信号に作用させることにより、入力信号から音像成分を分離することができる。音像成分変換部１４は、後段の頭部伝達関数による処理のため、分離した音像成分を２２．２マルチチャンネル音響の信号として出力する。

包み込まれ成分変換部１５は、変換行列生成部１３が生成した包み込まれ成分変換行列を入力信号である２２ｃｈ音響信号に作用させることにより、入力信号から包み込まれ成分を分離して出力する。包み込まれ成分変換部１５は、後段の頭部伝達関数による処理のため、分離した音像成分を２２．２マルチチャンネル音響の信号として出力する。

包み込まれ成分強調処理部２０は、マルチチャンネル音響信号の包み込まれ成分を強調し、ヘッドホン等による再生のため２チャンネルの信号へとバイノーラル化（両耳聴化）する。ここで、包み込まれ感に関する指標として両耳間相関係数（ＩＡＣＣ：Inter-Aural Cross Correlation）が知られており、一般に、再生される音響信号のＩＡＣＣが大きいと空間的な包み込まれ感を認識することが困難になり、ＩＡＣＣが小さいと空間的な包み込まれ感を認識することが可能となる。このため、本実施形態に係る包み込まれ成分強調処理部２０は、再生する音響信号のＩＡＣＣが小さくなるように包み込まれ成分のチャンネル数を変更する。

ここで、チャンネル数の変換には、チャンネル数を増やす方向と減らす方向が考えられる。一般に、スピーカにより音響信号の再生を行った場合、部屋の反射音が付加されるため、時間・空間的に入力されたマルチチャンネル音響信号以上のチャンネル数と同等の再生環境になっていると考えられる。一方、音の方向性の内、前後感や上下感に関わる特徴量として周波数特性上のピーク・ノッチの存在が指摘されているが、包み込まれ成分とより多くの方向（チャンネル）からの信号とを頭部伝達関数を作用させ加算して再生すると、それぞれの周波数特徴量が異なるため、マスキング効果により、結果的に方向性が失われてしまうことも考えられる。そのため、包み込まれ成分強調処理部２０によるチャンネル数の変更はチャンネルの増加又は減少の一方向に限定されず、ＩＡＣＣを小さくする任意の方向に変更できるものである。

図３は、包み込まれ成分強調処理部２０の概略構成を示す図である。包み込まれ成分強調処理部２０は、チャンネル数変換部２１と、ＨＲＴＦ処理部２２と、ＩＡＣＣ計算部２３と、を備える。

チャンネル数変換部２１は、包み込まれ成分である２２ｃｈ音響信号を他のチャンネル数の信号（Ｎｃｈ信号）へと変換する。なお、Ｎの値は２以上とする。チャンネル数変換部２１は、２２ｃｈ音響信号をより多いチャンネル数にアップミックスする場合と、より少ないチャンネル数にダウンミックスする場合とがある。チャンネル数変換部２１は、チャンネル数を増やしてアップミックスする場合、２２．２チャンネルのうち隣り合う２つのチャンネルの間に新たなチャンネルを設け、隣り合う信号をミックスした信号を生成した新たなチャンネルへ割り当てることができる。この場合、チャンネル数変換部２１は、新たなチャンネルを含む３つのチャンネルの合計パワーが同じになるようにレベルを調整しても良い。チャンネル数変換部２１は、チャンネル数を減らしてダウンミックスする場合、所望のチャンネル配置に対して再生時のパワーが変化しないようにレベル調整を行うことができる。

ＨＲＴＦ処理部２２は、チャンネル数変更後のＮｃｈ信号に対し、Ｎｃｈ信号に対応する頭部伝達関数を作用させ、２チャンネルの信号へとバイノーラル化する。

ＩＡＣＣ計算部２３は、ＨＲＴＦ処理部２２による２チャンネルの信号のＩＡＣＣを計算し、その際のチャンネル配置情報をＩＡＣＣの値と共に保持する。

包み込まれ成分強調処理部２０は、Ｎの値を順次インクリメント又はデクリメントさせながら、２２ｃｈ音響信号に対する全組み合わせについて、チャンネル数変換部２１、ＨＲＴＦ処理部２２、ＩＡＣＣ計算部２３の処理を繰り返すことにより、少なくとも２２ｃｈ音響信号として包み込まれ成分をバイノーラル化した際のＩＡＣＣよりＩＡＣＣが小さくなるチャンネル配置（Ｎｃｈ信号）を検出し、対応するＮｃｈ信号を頭部伝達関数によりバイノーラル化して出力する。好適には、包み込まれ成分強調処理部２０は、ダウンミックス及びアップミックスを含む種々のチャンネル配置に対してＩＡＣＣの検出を繰り返し行い、その中でＩＡＣＣが最小となるチャンネル配置（Ｎｃｈ信号）を検出し、対応するＮｃｈ信号を頭部伝達関数によりバイノーラル化して出力する。

このように、本実施形態によれば、包み込まれ成分強調処理部２０は、入力信号であるマルチチャンネル音響信号のチャンネル数で包み込まれ成分をバイノーラル化した信号よりも、両耳間相関係数が小さくなるように包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する。これにより、マルチチャンネル音響信号をバイノーラル化して再生する際、マルチチャンネル音響信号の包み込まれ成分を強調して再生することが可能になる。すなわち、包み込まれ感が認識しにくい番組などでも包み込まれ感を強調することで音響空間の広がりを向上させることが可能になる。

また、包み込まれ成分強調処理部２０は、包み込まれ成分のチャンネル数を増加させる場合、入力信号のマルチチャンネル音響方式において隣り合う２つのチャンネルの間に新たなチャンネルを設けることができる。これにより、アップミックスに伴う新たなチャンネル位置決定の演算負荷を低減し、かつ、新たなチャンネルを変更前のチャンネル配置に対し効果的な位置に配置することが可能となる。

また、包み込まれ成分強調処理部２０は、包み込まれ成分のチャンネル数を変更する場合、変更後のチャンネル配置による再生時のパワーが入力信号のマルチチャンネル音響方式による再生時のパワーから変化しないよう各チャンネルの出力を調整することができる。これにより、後段で音像成分のバイノーラル信号と加算され再生された場合、包み込まれ成分のみが過剰に増大又は縮小されることを防ぐことができ、聴取時の違和感を低減することが可能になる。

また、分析部１０は、マルチチャンネル音響信号を主成分分析し、得られた固有値に基づきマルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する。これにより、音像成分と包み込まれ成分とを定量的に分離することが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

なお、上述した三次元音響再生装置として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、三次元音響再生装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

１０分析部
１１主成分分析部
１２固有値判定部
１３変換行列生成部
１４音像成分変換部
１５包み込まれ成分変換部
２０包み込まれ成分強調処理部
２１チャンネル数変換部
２２ＨＲＴＦ処理部
２３ＩＡＣＣ計算部
３０音像成分処理部
４０加算器

Claims

マルチチャンネル音響信号を音像成分と包み込まれ成分とに分離する分析部と、
前記音像成分をバイノーラル化する音像成分処理部と、
前記包み込まれ成分を強調してバイノーラル化する包み込まれ成分強調処理部と、
バイノーラル化された前記音像成分及び前記包み込まれ成分を加算する加算器とを備え、
前記分析部は、前記マルチチャンネル音響信号を分散共分散行列により主成分分析し、得られた固有値の大きさに基づき前記マルチチャンネル音響信号を前記音像成分と前記包み込まれ成分とに分離し、
前記包み込まれ成分強調処理部は、前記マルチチャンネル音響信号のチャンネル数で前記包み込まれ成分をバイノーラル化した信号より両耳間相関係数が小さくなるように前記包み込まれ成分のチャンネル数を変更し、変更後のチャンネル数による前記包み込まれ成分をバイノーラル化することにより前記包み込まれ成分を強調する、三次元音響再生装置。
前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を前記マルチチャンネル音響信号のチャンネル数より増加させる場合、前記マルチチャンネル音響信号において隣り合う２つのチャンネルの間に新たなチャンネルを設ける、請求項１に記載の三次元音響再生装置。
前記包み込まれ成分強調処理部は、前記包み込まれ成分のチャンネル数を変更する場合、変更後のチャンネル配置による再生時のパワーが前記マルチチャンネル音響信号による再生時のパワーから変化しないよう各チャンネルの出力を調整する、請求項１又は２に記載の三次元音響再生装置。
コンピュータを、請求項１乃至３のいずれか一項に記載の三次元音響再生装置として機能させるためのプログラム。