JP2007221445A

JP2007221445A - サラウンドシステム

Info

Publication number: JP2007221445A
Application number: JP2006039498A
Authority: JP
Inventors: Yasuaki Ohashi; 靖明大橋
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2006-02-16
Filing date: 2006-02-16
Publication date: 2007-08-30

Abstract

【課題】音声信号を複数周波数帯域に分割し、分割した各周波数帯域の音声信号に対し人間の聴覚特性を直接利用した音声信号処理を行って好適なサラウンド効果を持った音声信号を得るサラウンドシステムを提供する。
【解決手段】種々の方位から発せられるインパルス応答の録音により得られた空間伝達関数を格納した空間伝達関数データベース８と、音声信号を時間フレーム毎に分割するフレーム分割部３と、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部４と、周波数変換した時間フレームの音声信号をメル周波数軸上でフィルタバンク分析を行うフィルタバンク分析部５と、情報畳み込み部６を備え、音声信号と方位情報を含む入力混合信号に対し、方位情報を空間伝達関数データベース８に、音声信号が音声信号処理系統１１に供給され、情報畳み込み部６は、音声信号処理系統１１で処理した音声信号に方位情報で指定した空間伝達関数を畳み込み、その畳み込み音声信号をスピーカから放声する。
【選択図】図１

Description

本発明は、サラウンドシステムに係わり、特に、音声信号に音声信号の到来方向を表す方位情報を付加した混合信号の入力時に音声信号に方位情報により指定された空間伝達関数を畳み込んだ出力信号を発生させる、または、サラウンド音声信号の入力時にセンタースピーカに供給する音声信号振幅とそれ以外のスピーカに供給する音声信号振幅とを異ならせて出力させるサラウンドシステムに関する。

従来、サラウンドシステムにおいては、サラウンド装置とサラウンド装置の出力音声信号を放声する複数のスピーカとをそれぞれ結合する接続リード線を配置することの煩わしさを解消するため、スピーカを視聴者の前方だけに配置し、そのスピーカから放声される音声信号がサラウンド効果を発揮するように、サラウンド装置にサラウンド効果を発揮させる構成手段を組み込んだものが使用されたり、サラウンド装置に２台程度のスピーカを接続し、サラウンド装置の中に３台以上のスピーカを用いることによるサラウンド効果を得ることができる音声信号と同等の効果が得られる構成手段を組み込み、２台程度のスピーカを用いて３台以上のスピーカを用いることによるサラウンド効果を得ることができるものが使用されたり、サラウンド装置に２台以上のスピーカを接続し、それらのスピーカから放声される音声信号に対して、聴取者の聴取箇所における音声信号間の時間差を補正する構成手段をを組み込んだものが使用されたりしていた。

前記既知のサラウンドシステムは、サラウンド装置内に、使用される音声信号を複数の周波数帯域の音声信号に分割し、分割したそれぞれの周波数帯域の音声信号に対して異なる信号処理を行う構成手段が配置され、それにより使用されるスピーカから所望のサラウンド効果を持った音声信号を放声するようにしている。
引用する特許文献なし

前記既知のサラウンドシステムは、一応のところ、サラウンド効果を持った音声信号を放声させることができるものの、いずれのサラウンドシステムも、理論的に好適な周波数特性を用いてサラウンド効果を発揮させることを意図しているものである。しかしながら、人間が音声信号を現実に聴取したときに得られる聴覚特性と、理論的に好適な周波数特性の音声信号を聴取したときに得られる聴覚特性とは、必ずしも一致するものではないことから、サラウンド装置内に理論的に好適な周波数特性の音声信号が得られる構成手段を配置しても、現実に聴取したときの音声信号では未だ不十分であるということができる。この場合、人間が音声信号を現実に聴取したときに得られる聴覚特性とは、メル周波数を用いた音声信号の高低に対する人間の聴覚特性であって、既知のサラウンドシステムにおいては、かかるメル周波数に基づく周波数帯域分割やフィルタバンク分析等を行っているものは提案されていない。

本発明は、このような技術的背景に鑑みてなされたもので、その目的は、音声信号を複数の周波数帯域の音声信号に分割し、分割した各周波数帯域の音声信号に対して人間の聴覚特性を直接利用した音声信号処理を行うことによって好適なサラウンド効果を持った音声信号が得られるサラウンドシステムを提供することにある。

前記目的を達成するために、本発明によるサラウンドシステムは、予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドで録音し、その録音時に得られた空間伝達関数をデータベース化して格納した空間伝達関数データベースと、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部を含んだ音声信号処理系統と、情報畳み込み部とを備え、音声信号と方位情報とを含む混合信号が入力された際に、方位情報が前記空間伝達関数データベースに、音声信号が音声信号処理系統にそれぞれ供給され、前記情報畳み込み部は、前記音声信号処理系統で処理された音声信号に対して前記方位情報により指定された空間伝達関数を畳み込み、空間伝達関数を畳み込んだ音声信号を左右のスピーカから出力するようにした第１の構成手段を備える。

また、前記目的を達成するために、本発明によるサラウンドシステムは、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号に１以上の加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１より小さい加重係数を乗算し、周波数帯域毎の振幅差を強調した音声信号を出力するようにした第２の構成手段を備える。

さらに、前記目的を達成するために、本発明によるサラウンドシステムは、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号により小さい加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１以上の加重係数を乗算し、周波数帯域毎の振幅差をイコライズした音声信号を出力するようにした第３の構成手段を備える。

以上のように、本発明に係るサラウンドシステムによれば、音声信号処理系統に入力される音声信号に対して、メル周波数に基づいた周波数帯域の分割を行っているので、聴取者が感じる音声信号の高さと実際に放声される音声信号の高さとが確実に比例するようになり、好適なサラウンド効果を持った音声信号が得られるサラウンドシステムを得ることができる。

この場合、前記第１の構成手段によれば、音声信号に方位情報により指定された空間伝達関数を畳み込むようにしているので、少ない台数のスピーカを用いた場合であっても、異なる周波数の音声信号を種々の方位から到来させることができ、迫力のあるサラウンド効果を持った音声信号を放声させることができ、しかも、入力される音声信号がモノラル信号であっても、サラウンド効果を持った音声信号として放声させることが可能である。

また、前記第２及び第３の構成手段によれば、従来の５．１チャネルサラウンド放送の受信信号に対応させることが可能であり、特に、第３の構成手段によれば、フィルタバンクの音声信号の振幅和を比較する際に、フィルタバンクの音声信号の振幅和同士の比較をするだけであるので、比較時の演算処理量を少なくすることができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本発明によるサラウンドシステムにおけるサラウンド装置の第１の実施の形態を示すもので、その要部構成を示すブロック図である。

図１に示すように、第１の実施の形態に係るサラウンド装置は、入力端子１と、信号分岐部２と、フレーム分割部３と、周波数変換部４と、フィルタバンク分析部５と、情報畳み込み部６と、増幅・分配部７と、空間伝達関数データベース８と、出力端子９とを備え、この他に空間伝達関数作成部１０を設けている。この場合、フレーム分割部３と周波数変換部４とフィルタバンク分析部５とからなる部分は、音声信号処理系統１１を構成している。

そして、信号分岐部２は、入力端が入力端子１に接続され、一方の出力端がフレーム分割部３の入力端に接続され、他方の出力端が空間伝達関数データベース８に結合されている。フレーム分割部３は、出力端が周波数変換部４の入力端に接続され、周波数変換部４は、出力端がフィルタバンク分析部５の入力端に接続される。情報畳み込み部６は、一方の入力端がフィルタバンク分析部５の出力端に接続され、他方の入力端が空間伝達関数データベース８に結合され、出力端が増幅・分配部７の入力端に接続される。増幅・分配部７は、出力端が出力端子９に接続される。さらに、空間伝達関数作成部１０は、選択的に空間伝達関数データベース８の入力端に接続される。

この場合、入力端子１には、音声信号中に方位情報を含んだ混合信号が入力され、信号分岐部２は、入力端子１を通して入力された混合信号を音声信号と方位情報とに分岐し、音声信号をフレーム分割部３に供給し、方位情報空間伝達関数データベース８に供給する。フレーム分割部３は、入力された音声信号を決められた時間フレーム毎に分割し、フレーム分割した音声信号を周波数変換部４に供給する。周波数変換部４は、入力されたフレーム分割した音声信号をメル周波数に基づいて周波数変換し、得られた周波数変換信号をフィルタバンク分析部５に供給する。フィルタバンク分析部５は、入力された周波数変換信号をメル周波数軸上で周波数帯域分割する。

一方、空間伝達関数データベース８は、空間伝達関数作成部１０によって、予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドを用いて録音し、その録音時に得られた空間伝達関数をデータベース化して作成したものを空間伝達関数データベースとして格納しているもので、方位情報が入力されたとき、その方位情報に対応した空間伝達関数が抽出される。また、情報畳み込み部６は、フィルタバンク分析部５から周波数帯域分割信号が供給されると、空間伝達関数データベース８から抽出された当該周波数帯域分割信号に対応した空間伝達関数が供給され、同時供給された周波数帯域分割信号に空間伝達関数が畳み込まれ、この畳み込み信号が増幅・分配部７に供給される。増幅・分配部７は、入力された畳み込み音声信号を所定レベルになるように増幅し、増幅した畳み込み音声信号を対応する出力端子９に出力されるように分配する。この後、それぞれの出力端子９に出力された畳み込み音声信号は、図示されない対応するスピーカに供給され、２台またはそれ以上のスピーカによってサラウンド効果を持った音声信号が放声される。

ここで、図２は、空間伝達関数データベース８にデータベース化した空間伝達関数を格納する処理を行うときの状態の一例を示す概要図である。

図２の図示の例では、ダミーヘッド１２の両耳の位置にそれぞれマイクロフォン１３_L、１３_Rが設けられており、ダミーヘッド１２の周辺に複数のスピーカが配置されているものである。この場合、複数のスピーカは、図２の垂直方向の設置数をｍとし、水平方向の設置数をｎとし、離散スペクトルの周波数番号をｋとしたとき、左側の耳の位置にあるマイクロフォン１３_Lにおいては、空間伝達関数Ａ_L（ｋ、ｎ、ｍ）が得られ、右側の耳の位置にあるマイクロフォン１３_Rにおいては、空間伝達関数Ａ_R（ｋ、ｎ、ｍ）が得られる。このような手法を用いることにより、空間伝達関数データベース８には、種々の方位から得られた空間伝達関数をデータベースとして格納される。

ところで、入力端子１に供給される混合信号が、音声信号の予め決められた期間毎にその音声信号に方位情報が付加されている混合信号である場合、フィルタバンク分析部５で実行される処理を、三角窓を周波数軸上に配置した図３を用いて説明する。

図３において、横軸はｋで表した周波数番号であり、縦軸はＷ（ｋ、ｂ）で表した加重である。

図３に示すように、三角窓Ｗ（ｋ、ｂ）（ｂ＝１、・・・、Ｂ）が周波数軸上に配置され、Ｗ（ｋ、ｂ）は下記の式（１）によって表される。

式（１）において、ｋ_lo（ｂ）、ｋ_c（ｂ）、ｋ_m（ｂ）はそれぞれ１番目のフィルタの下限、中心、上限の周波数番号であり、隣り合うフィルタ間で以下の関係を持っている。

ｋ_c（ｂ）＝ｋ_hi（ｂ−１）＝ｋ_lo（ｂ＋１）
さらに、ｋ_c（ｂ）はメル周波数軸上で等間隔に配置される。このとき、ｋ_c（ｂ）に対するメル周波数Ｍｅｌ・ｋ_c（ｂ）は以下の式（２）によって計算される。

式（２）において、Ｋは周波数番号の中の最大数を示し、ｆｓはサンプリング周波数を表す。

前記式（１）の三角窓Ｗ（ｋ、ｂ）を用いて、各フィルタバンクに対する加重が付与された以下の式（３）に示される信号が得られる。

Ｙ（ｋ、ｂ）＝Ｗ（ｋ、ｂ）・Ｘ（ｋ）｛ｋ_lo（ｂ）≦ｋ≦ｋ_hi（ｂ）｝・・・（３）
最後に、情報畳み込み部６において、各フィルタバンクｂに対する方位情報に基づいて指定された空間伝達関数Ａ_L（ｋ、ｎ、ｍ）及びＡ_R（ｋ、ｎ、ｍ）を、Ｙ（ｋ、ｂ）に畳み込んだ下記の式（４）に示されるような音声信号Ｚ_L（ｋ）、Ｚ_R（ｋ）が形成され、その音声信号Ｚ_L（ｋ）、Ｚ_R（ｋ）を２台またはそれ以上のスピーカに供給することにより、サラウンドシステムを構築することができる。

次いで、図４は、本発明によるサラウンドシステムにおけるサラウンド装置の第２の実施の形態を示すもので、その要部構成を示すブロック図である。

なお、図４において、図１に図示された構成要素と同じ構成要素については同じ符号を付している。

図４に示すように、この第２の実施の形態に係るサラウンド装置は、入力端子１と、信号分岐部２と、フレーム分割部３と、周波数変換部４と、フィルタバンク分析部５と、増幅・分配部７と、出力端子９と、振幅差比較部１４と、強調型加重付加部１５とを備えている。この場合においても、フレーム分割部３と周波数変換部４とフィルタバンク分析部５とからなる部分は、音声信号処理系統１１を構成している。

そして、フレーム分割部３は、入力端が入力端子１に接続され、出力端が周波数変換部４の入力端に接続される。周波数変換部４は、出力端がフィルタバンク分析部５の入力端に接続され、フィルタバンク分析部５は、出力端が振幅差比較部１４の入力端に接続される。振幅差比較部１４は、出力端が補正・強調処理部１５の入力端に接続され、強調型加重付加部１５は、出力端が増幅・分配部７の入力端に接続される。増幅・分配部７は、出力端が出力端子９に接続される。

この場合、入力端子１にサラウンド音声信号が入力されると、そのサラウンド音声信号はフレーム分割部３に供給される。フレーム分割部３は、入力されたサラウンド音声信号を決められた時間フレーム毎に分割し、フレーム分割した音声信号を周波数変換部４に供給する。周波数変換部４は、入力されたフレーム分割した音声信号をメル周波数に基づいて周波数変換し、得られた周波数変換信号をフィルタバンク分析部５に供給する。フィルタバンク分析部５は、入力された周波数変換信号をメル周波数軸上で周波数帯域分割する。

ここで、周波数変換部４において周波数変換された各サラウンド音声信号をそれぞれＸ_SW（ｋ）、Ｘ_C（ｋ）、Ｘ_FL（ｋ）、Ｘ_FR（ｋ）、Ｘ_RL（ｋ）、Ｘ_RR（ｋ）としたとき、振幅差比較部１４は、前記式（１）に示された三角窓Ｗ（ｋ、ｂ）を用いて各フィルタバンクの信号の振幅和Ｙ_C（ｂ）を算出する。この算出は、例えばセンタースピーカＣに対する信号Ｘ_C（ｋ）であれば、下記の式（５）で示される。

この後、振幅差比較部１４は、センタースピーカＣに対するフィルタバンクの信号の振幅和Ｙ_C（ｂ）を基準とし、センタースピーカＣを除いた各スピーカに対するフィルタバンクの振幅和とを比較する。

次いで、強調型加重付加部１５は、振幅差比較部１４の比較によって、基準の振幅和Ｙ_C（ｂ）よりも振幅和が大きいスピーカへの供給信号に対しては、それぞれの信号振幅に１以上の加重係数αを乗算し、基準の振幅和Ｙ_C（ｂ）との振幅差を大きくし、一方、基準の振幅和Ｙ_C（ｂ）よりも振幅和が小さいスピーカへの供給信号に対しては、それぞれの信号振幅に１より小さい加重係数βを乗算し、同じように基準の振幅和Ｙ_C（ｂ）との振幅差を大きくする。このような処理を行うことによって、例えばフロントレフトスピーカＦＬへの供給信号は、下記の式（６）に示すようになる。

また、図５は、本発明によるサラウンドシステムにおけるサラウンド装置の第３の実施の形態を示すもので、その要部構成を示すブロック図である。

なお、図５において、図１に図示された構成要素と同じ構成要素については同じ符号を付している。

図５に示すように、第３の実施の形態に係るサラウンド装置は、第２の実施の形態に係るサラウンド装置と比べて、強調型加重付加部１５を用いる代わりに、イコライズ型加重付加部１６を用いている点を除けば、第２の実施の形態に係るサラウンド装置と同じ構成のものである。

この第３の実施の形態に係るサラウンド装置において、イコライズ型加重付加部１６は、振幅差比較部１４の比較によって、基準の振幅和Ｙ_C（ｂ）よりも振幅和が大きいスピーカへの供給信号に対しては、それぞれの信号振幅に１より小さい加重係数βを乗算し、基準の振幅和Ｙ_C（ｂ）との振幅差を小さくし、一方、基準の振幅和Ｙ_C（ｂ）よりも振幅和が小さいスピーカへの供給信号に対しては、それぞれの信号振幅に１以上の加重係数αを乗算し、同じように基準の振幅和Ｙ_C（ｂ）との振幅差を小さくするもので、その結果として、イコライズ型加重付加部１６はイコライザー機能を有するものである。

本発明によるサラウンドシステムにおけるサラウンド装置の第１の実施の形態を示すもので、その要部構成を示すブロック図である。空間伝達関数データベースにデータベース化した空間伝達関数を格納する処理を行うときの状態の一例を示す概要図である。フィルタバンク分析部で実行される処理を説明するもので、三角窓を周波数軸上に配置した説明図である。本発明によるサラウンドシステムにおけるサラウンド装置の第２の実施の形態を示すもので、その要部構成を示すブロック図である。本発明によるサラウンドシステムにおけるサラウンド装置の第３の実施の形態を示すもので、その要部構成を示すブロック図である。

符号の説明

１入力端子
２信号分岐部
３フレーム分割部
４周波数変換部
５フィルタバンク分析部
６情報畳み込み部
７増幅・分配部
８空間伝達関数データベース
９出力端子
１０空間伝達関数作成部
１１音声信号処理系統
１４振幅差比較部
１５強調型加重付加部
１６イコライザ型加重付加部

Claims

予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドで録音し、その録音時に得られた空間伝達関数をデータベース化して格納した空間伝達関数データベースと、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部を含んだ音声信号処理系統と、情報畳み込み部とを備え、音声信号と方位情報とを含む混合信号が入力された際に、方位情報が前記空間伝達関数データベースに、音声信号が音声信号処理系統にそれぞれ供給され、前記情報畳み込み部は、前記音声信号処理系統で処理された音声信号に対して前記方位情報により指定された空間伝達関数を畳み込み、空間伝達関数を畳み込んだ音声信号を左右のスピーカから出力することを特徴とするサラウンドシステム。
前記混合信号は、音声信号における特定の時間間隔で、分割された音声信号の決められた周波数帯域に対して方位情報が含まれているものであることを特徴とする請求項１に記載のサラウンドシステム。
音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号に１以上の加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１より小さい加重係数を乗算し、周波数帯域毎の振幅差を強調した音声信号を出力することを特徴とするサラウンドシステム。
音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号により小さい加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１以上の加重係数を乗算し、周波数帯域毎の振幅差をイコライズした音声信号を出力することを特徴とするサラウンドシステム。