JP2014239269A - 音声信号再生装置及び方法 - Google Patents

Abstract

【課題】聴覚と知覚とで音像位置が一致するように音像位置を表示させることが可能な音声信号再生装置を提供する。【解決手段】音声信号再生装置は、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離部２２ａと、分離部２２ａで分離された各相関信号について、音像方向及び信号電力値を算出する算出部２２ｂと、各相関信号について、音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに信号電力値を割り当て、音像方向グループ毎に信号電力値の加算値を求める加算部と、複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての加算値を示す情報を表示する音像表示部と、を備える。【選択図】図２

Description

本発明は、音声信号を再生する音声信号再生装置及び方法に関する。

従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどのマルチチャネル再生方式や、音源オブジェクト指向再生方式がある。後者の方式は、全ての音が、いずれかの音源オブジェクトが発する音であるとする方式であり、各音源オブジェクト（以下、「仮想音源」と呼ぶ。）が自身の位置情報と音声信号とを含んでいる。音楽コンテンツを例にとると、各仮想音源は、それぞれの楽器の音と楽器が配置されている位置情報とを含む。

音源オブジェクト指向再生方式は、通常、直線状あるいは面状に並べたスピーカ群によって音の波面を合成する再生方式（すなわち波面合成再生方式）により再生される。このような波面合成再生方式のうち、非特許文献１に記載のWave Field Synthesis（ＷＦＳ）方式は、直線状あるいは曲線上に並べたスピーカ群（以下、スピーカアレイという）を用いる現実的な実装方法の１つとして近年盛んに研究されている。

このような波面合成再生方式は、スイートスポットが狭い上述のマルチチャネル再生方式とは異なり、並べられたスピーカ群の前のどの位置で聴いている受聴者に対しても、良好な音像と音質を両方同時に提示することができるという特長を持つ。つまり、波面合成再生方式でのスイートスポットは幅広くなっている。

特許文献１には、通常、映画コンテンツなどに使用されている５.１ｃｈの音声信号を複数のチャネルの音声信号に変換して波面合成再生方式で再生する再生方法が提案されている。具体的には、左フロントチャネル信号、右フロントチャネル信号、センターチャネル信号、左リアチャネル信号、右リアチャネル信号、サブウーファーチャネル信号のうち、左フロントチャネル信号と右フロントチャネル信号とに着目して相関信号成分と無相関信号成分とに分離し、相関信号成分を複数の仮想音源に割り当てた上で、中心の仮想音源にセンターチャネル信号を重畳することにより、５.１ｃｈの音声信号を波面合成再生方式で再生している。

ところで、従来から、音響システムやオーディオソフトウェアにおいて、音楽に連動させ視覚的な表示を変化させ、没入感を増加させるような技術が様々提案されている。例えば、ある一定の周波数帯域毎に、音圧のパワーの絶対値を棒グラフとして表示させる方式や、音の時間的な変化によって色や図形をランダムに変化させて表示させる方式などが挙げられる。

その他、音圧レベルの表示を音像位置と連動させ、空間的な音像位置を視覚化する方式も提案されている（例えば、特許文献２を参照）。特許文献２に記載の方式では、左右の音声信号のレベル差の絶対値のみで音像位置を判断している。よって、左右の音声信号が振幅のみ異なる場合、もしくは振幅も同一である場合には、知覚上の音像位置と表示位置が一致することになる。

特許第４８１０６２１号公報 実開昭６０−１７７６００号公報

A. J. Berkhout, D. de Vries, and P. Vogel, "Acoustic control by wave field synthesis", J. Acoust. Soc. Am. Volume 93(5), アメリカ合衆国, Acoustical Society of America, May 1993, pp. 2764-2778

しかしながら、特許文献２に記載の方式では、左右の音声信号のレベル差の絶対値のみで音像位置を判断する方式であるため、音像が左右のどちらに寄っているかというような情報は表示されない。

また、通常の音楽コンテンツなどにおいては、それぞれの音像位置が異なるようにミキシングされたボーカルや各楽器の音が混ざり合っており、それぞれの構成音毎に音像が異なるが、特許文献２に記載の方式では、音像位置は代表値で表示されることになるため、聴覚と知覚で音像位置が一致しないことになる。

さらに、左右で異なる音声信号が入力されている場合、知覚上、音像は生じないはずであるが、特許文献２に記載の方式では、左右の音声信号のレベル差の絶対値のみで音像位置を判断するため、いずれかの場所に音像が表示されてしまい、聴覚と知覚とで音像位置が一致しないことになる。

本発明は、上述のような実情に鑑みてなされたものであり、その目的は、聴覚と知覚とで音像位置が一致するように音像位置を表示させることが可能な音声信号再生装置及び音声信号再生方法を提供することにある。

上記の課題を解決するために、本発明の第１の技術手段は、音声信号再生装置であって、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離部と、該分離部で分離された各相関信号について、音像方向及び信号電力値を算出する算出部と、各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算部と、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示部と、を備えたことを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記音像表示部は、棒グラフ形式で、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示することを特徴としたものである。

本発明の第３の技術手段は、第１の技術手段において、前記音像表示部は、複数の発光部を有し、前記複数の音像方向グループのそれぞれに対応する位置の前記発光部の発光色を、各音像方向グループについての前記加算値を示す情報に応じて変化させることを特徴としたものである。

本発明の第４の技術手段は、第１の技術手段において、前記音像表示部は、複数の発光部を有し、前記複数の音像方向グループのそれぞれに対応する位置の前記発光部の発光強度を、各音像方向グループについての前記加算値を示す情報に応じて変化させることを特徴としたものである。

本発明の第５の技術手段は、音声信号再生方法であって、分離部が、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離ステップと、算出部が、前記分離ステップで分離された各相関信号について、音像方向及び信号電力値を算出する算出ステップと、加算部が、各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算ステップと、音像表示部が、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示ステップと、を含むことを特徴としたものである。

本発明によれば、音声信号再生装置において、聴覚と知覚とで音像位置が一致するように音像位置を表示させることが可能になる。

本発明に係る音声信号再生装置の一構成例を示すブロック図である。 図１の音声信号再生装置における音声信号処理部の一構成例を示すブロック図である。 図２の音声信号処理部における分離抽出部での分離抽出処理の一例を説明するためのフロー図である。 受聴者と左右のスピーカと合成音像との位置関係の一例を説明するための模式図である。 再生用スピーカと受聴者及び合成音像との位置関係の一例を説明するための模式図である。 図１の音声信号再生装置において実行される音像表示処理の一例を説明するためのフロー図である。 図１の音声信号再生装置における表示部の一例を示す図である。 図１の音声信号再生装置における表示部の他の例を示す図である。 ５.１ｃｈサラウンドシステムのスピーカ群のうち、ＬＦＥを除いた５つのスピーカの配置例である。 図９の配置例におけるダウンミックス後の出力対象スピーカの配置例を示す図である。 図２の音声信号処理部における分離抽出部での着目ペア判定処理の一例を説明するためのフロー図である。 受聴者と左右のスピーカと仮想音源との位置関係の他の例を説明するための模式図である。 受聴者と左右のスピーカ及び左右のサラウンドスピーカと仮想音源との位置関係の一例を説明するための模式図である。 受聴者と左右のスピーカ及び左右のサラウンドスピーカと仮想音源との位置関係の他の例を説明するための模式図である。 受聴者と左右のスピーカ及び左右のサラウンドスピーカと仮想音源との位置関係の他の例を説明するための模式図である。 受聴者と左右のスピーカ及び左右のサラウンドスピーカと仮想音源との位置関係の他の例を説明するための模式図である。 左右のスピーカ及び左右のサラウンドスピーカと全ての仮想音源との位置関係の一例を説明するための模式図である。 左右のスピーカ及び左右のサラウンドスピーカと全ての仮想音源との位置関係の他の例を説明するための模式図である。 ６.１ｃｈサラウンドシステムのスピーカ群において、ＬＦＥを除いた６つのスピーカのうち、ダウンミックス後の出力対象スピーカの配置例を示す図である。 ７.１ｃｈサラウンドシステムのスピーカ群において、ＬＦＥを除いた７つのスピーカのうち、ダウンミックス後の出力対象スピーカの配置例を示す図である。 非特許文献１に記載の技術において、１つの直線上に並べたスピーカ群の背後に仮想音源を設けた場合に、各仮想音源に対応する音を出力するスピーカについて説明するための模式図である。 図１の音声信号再生装置におけるスピーカ群の配置例を説明するための模式図である。 図１の音声信号再生装置におけるスピーカ群の他の配置例を説明するための模式図である。 図１の音声信号再生装置におけるスピーカ群の他の配置例を説明するための模式図である。 図１の音声信号再生装置を備えた映像表示システムの構成例を示す図である。

本発明に係る音声信号再生装置は、２チャネル以上のマルチチャネル再生方式用の音声信号を、そのまま対応するスピーカ群から出力するか、もしくは、波面合成再生方式などの他の再生方式でスピーカ群からより適切な音像を提供できるような音声信号に変換してから出力する装置であり、後述するような音像表示処理を行う点に特徴を有する。本発明に係る音声信号再生装置は、音声再生処理と音像表示処理が実行可能なように構成すればよく、例えば、テレビ装置等の表示装置やオーディオシステムなど、様々なＡＶ（Audio Visual）機器として構成することができる。

音声再生機能に関しては、以下では基本的に、波面合成再生方式により２つ以上のチャネルの入力音声信号を仮想音源に対する音像としてスピーカ群（複数のスピーカ）により再生させるための音声信号に変換して再生する場合を例に挙げて説明する。以下では特に、仮想音源の数と同数・同位置の再生用スピーカを用意して、各仮想音源から出力すべき音声信号を、一対一で対応する再生用スピーカから再生するような場合について説明する。

ただし、スピーカの数や位置が仮想音源のそれらと異なるように仮想音源が設定される場合にも、各仮想音源からスピーカ群への割り当てを行うことで、同様に適用できる。また、上述したように、入力された音声信号をそのまま音声出力するような構成を採用することもできる。なお、この場合にも、本発明に係る音像表示処理のための処理、例えば音声信号の分離抽出までの処理は必要となる。

以下、図面を参照しながら、本発明に係る音声信号再生装置の構成例及び処理例について説明する。図１は、本発明に係る音声信号再生装置の一構成例を示すブロック図で、図２は、図１の音声信号再生装置における音声信号処理部の一構成例を示すブロック図である。

図１で例示する音声信号再生装置（音声データ再生装置）１０は、デコーダ１１、音声信号抽出部１２、音声信号処理部１３を備えるとともに、Ｄ／Ａコンバータ１４、複数の増幅器１５、及び複数のスピーカ１６でなるスピーカアレイ１７を備える。なお、増幅器１５とスピーカ１６の数は基本的に同じとする。また、音声信号再生装置１０は、音像表示処理のために表示制御部１８及び表示部１９を備える。

デコーダ１１は、音声のみあるいは音声付き映像のコンテンツを復号化し、信号処理可能な形式に変換し音声信号抽出部１２に出力する。そのコンテンツは、放送局から送信されたデジタル放送のコンテンツや、ネットワークを介してディジタルコンテンツを配信するサーバからインターネットからダウンロードしたり、あるいは外部記憶装置等の記録媒体から読み込んだりすることによって取得する。このように、図１では図示しないが、音声信号再生装置１０は、マルチチャネルの入力音声信号を含むディジタルコンテンツを入力するディジタルコンテンツ入力部を備える。デコーダ１１は、ここで入力されたディジタルコンテンツを復号化することになる。

音声信号抽出部１２では、得られた信号から音声信号を分離、抽出する。ここで説明する例では、抽出する音声信号を２ｃｈステレオ信号とし、音声信号抽出部１２はその２チャネル分の信号を音声信号処理部１３に出力する。無論、元々入力された信号が２ｃｈステレオ信号である場合には、音声信号抽出部１２では、その２ｃｈステレオ信号を抽出すれば済む。

一方で、例えば入力音声信号が５.１ｃｈなど、２ｃｈを越えるチャネル数である場合には、音声信号抽出部１２は、例えばＡＲＩＢ ＳＴＤ−Ｂ２１「デジタル放送用受信装置 標準規格」によって定められているような、次の数式(1)の通常のダウンミックス方法によって２ｃｈにダウンミックスし、音声信号処理部１３に出力する。

数式(1)で、Ｌ_t、Ｒ_tはダウンミックス後の左右チャネル信号、Ｌ、Ｒ、Ｃ、Ｌ_S、Ｒ_Sはそれぞれ５.１ｃｈの各信号（左フロントチャネル信号、右フロントチャネル信号、センターチャネル信号、左リアチャネル信号、右リアチャネル信号）、ａはオーバーロード低減係数で例えば１／√２、ｋ_ｄはダウンミックス係数で例えば１／√２、または１／２、または１／２√２、または０となる。

このように、マルチチャネルの入力音声信号は、３以上のチャネルをもつマルチチャネル再生方式の入力音声信号であってもよく、その場合、音声信号処理部１３では、マルチチャネルの入力音声信号を２つのチャネルの音声信号にダウンミックスした後の２つのチャネルの音声信号について、後述の音像表示処理の対象としてもよい。もしくは、３以上のチャネルをもつマルチチャネル再生方式の入力音声信号から単に２つのチャネルの音声信号を抽出して、その２つのチャネルの音声信号についてのみ、後述の音像表示処理の対象としてもよい。

音声信号処理部１３では、得られた２チャネル信号から、音声再生処理の一部として、入力音声信号とは異なるマルチチャネル（好ましくは５チャネル以上）の音声信号を生成する。

音声信号処理部１３は、それらの音声信号をＤ／Ａコンバータ１４に出力する。Ｄ／Ａコンバータ１４では得られた信号をアナログ信号に変換し、それぞれの信号を増幅器１５に出力する。各増幅器１５では入力されたアナログ信号を拡声し各スピーカ１６に伝送し、この拡声されたアナログ信号が各スピーカ１６から空間中に音として出力される。

スピーカアレイ１７において、スピーカ１６は一列または複数列に配置されており、その１つ１つの形状は円形や楕円形や菱形などどのような形状であってもよい。また、配列の方向も直線状に限らず、曲線状に各スピーカ１６の中心を配列しておいてもよい。なお、音声信号処理部１３では、スピーカアレイ１７における各スピーカ１６の配置に応じて各スピーカ１６に対する遅延量や出力レベルを決定すればよい。

さらに、音声信号処理部１３では、本発明の主たる特徴である音像表示処理の一部として、上記得られた２チャネル信号から音像方向情報を生成する。音像方向情報とは、周波数毎（線スペクトル毎）または周波数帯域毎（周波数領域毎）についての、音像の推定方向角（音像方向を示す値）とその信号成分の電力値（信号電力値）を指す。音声信号処理部１３は、線スペクトル毎または周波数帯域毎に生成した音像方向情報を表示制御部１８に出力する。

表示制御部１８は、音像表示のための情報を求める加算部１８ａを有する。この加算部１８ａは、各相関信号について、算出された音像方向に基づき、予め定められた複数の音像方向グループ（音像方向範囲）のうちの１つに算出された信号電力値を割り当て、音像方向グループ毎に信号電力値の加算値を求める。表示制御部１８は、加算部１８ａで求めた音像方向グループ毎の加算値を表示部１９に出力する。

表示部１９は、音像表示部の一例であり、音像表示部は、上記複数の音像方向グループのそれぞれに対応する位置（好ましくは各音像方向グループの中央の方向のと一致する位置）に各音像方向グループについての加算値を示す情報を表示する。具体的な表示例については後述する。音像方向グループ毎の信号電力値は、表示対象となる２チャネル信号により時系列で変化しており、表示部１９ではそのような変化に合わせて音像方向の表示を変化させることができる。このように、本発明では、聴覚と知覚とで音像位置が一致するように音像位置を表示させることができ、受聴者の没入感を高めることができる。

以下、音声再生処理及び音像表示処理を行う音声信号処理部１３の詳細な構成例を、図２を参照しながら説明する。音声信号処理部１３は、変換部２１、分離抽出部２２、逆変換部２３、及び音声出力信号生成部２４を備える。

変換部２１は、入力された２つのチャネルの入力信号それぞれを、１セグメントの１／４の長さの音声データ分読み出す。ここで、音声データとは、例えば４８ｋＨｚなどの標本化周波数で標本化された離散音声信号波形を指すものとする。そして、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとし、処理セグメントとも呼ぶ。その値は例えば１０２４とする。この例では、１セグメントの１／４の長さである２５６点の音声データが読み出し対象となる。

読み出した２５６点の音声データはバッファに蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の３／４セグメント分のデータ（７６８点）と最新の１／４セグメント分のデータ（２５６点）を繋げて１セグメント分の音声データを作成し、窓関数を乗算する。すなわち、全ての標本データは窓関数演算に４回読み込まれることになる。

ここで、窓関数の乗算とは、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する窓関数演算処理を実行する。

ｍは自然数、Ｍは１セグメント長で偶数とする。変換部２１への入力信号をそれぞれｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）とすると、窓関数乗算後の音声信号ｘ′_Ｌ（ｍ）、ｘ′_Ｒ（ｍ）は、
ｘ′_Ｌ（ｍ）＝ｗ（ｍ）ｘ_Ｌ（ｍ）、
ｘ′_Ｒ（ｍ）＝ｗ（ｍ）ｘ_Ｒ（ｍ） (3)
と計算される。

変換部２１は、そうして得られた音声データを、次の数式(4)のように離散フーリエ変換し、周波数領域の音声データを得る。つまり、変換部２１は、２つのチャネル（の音声データ）に対し、離散フーリエ変換を施す。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０＜ｋ≦Ｍ／２である。Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）は複素数となる。
Ｘ_Ｌ（ｋ）＝ＤＦＴ（ｘ′_Ｌ（ｍ））、
Ｘ_Ｒ（ｋ）＝ＤＦＴ（ｘ′_Ｒ（ｍ）） (4)

分離抽出部２２は、線スペクトル毎（つまり周波数毎）に、変換部２１で変換された２つのチャネルについて、相関信号と無相関信号を分離（抽出）する。以下では、分離抽出部２２のうちこのような分離（抽出）を行う部位を、分離部２２ａとして説明する。つまり、分離部２２ａは２つの音声信号を、周波数毎（または周波数帯域毎）に相関信号と無相関信号とに分離する。ここで相関信号とは、周波数について相関する信号を指し、無相関信号とは周波数について相関しない信号を指す。

また、分離抽出部２２は、音像表示処理のための算出部２２ｂを有し、この算出部２２ｂは、分離部２２ａで分離された各相関信号について、音像方向及び信号電力値を算出する。より具体的には、算出部２２ｂは、線スペクトル毎に、その相関信号の音像方向の角度の推定を行うと共に、その相関信号の信号電力値を求める。なお、算出部２２ｂは、以下に説明する例のように音声再生処理において音像方向及び信号電力値が必要な場合には、音像表示処理と音声再生処理の双方の処理を兼ねることになる。音声再生処理に音像方向及び信号電力値が必要ない場合としては、上述したように、入力された音声信号をそのまま音声出力するような構成が挙げられる。

また、分離部２２ａにおいては、線スペクトル毎でなくても周波数帯域（小帯域）毎に相関信号と無相関信号とを分離、抽出してもよく、その場合、算出部２２ｂでの音像方向及び信号電力値の算出も小帯域毎の相関信号についての算出となる。つまり、ここでは線スペクトル毎に相関係数を取得するなどの処理を行う例を挙げて説明するが、特許文献１に記載のように、Equivalent Rectangular Band（ＥＲＢ）を用いて分割した帯域（周波数領域であり、小帯域とも呼ぶ）毎に相関係数を取得するなどの処理を実行してもよい。

算出部２２ｂでの算出後は、加算部１８ａが、その推定角度に基づいて、相関信号を方向毎に分離（グループ分け）し、各音像方向グループに属する相関信号の信号電力値について加算値を求める。そして、表示部１９が、音像方向グループと加算値を示す情報とを関連付けて表示する。

分離抽出部２２における処理の具体的な内容を、図３を用いて説明する。分離抽出部２２は、変換部２１で離散フーリエ変換後の２つのチャネルの音声信号について、線スペクトル毎にステップＳ３２〜Ｓ３４の処理を実行する（ステップＳ３１ａ，Ｓ３１ｂ。具体的に個々の処理について説明する。

離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸ_L（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、Ｘ_L（ｋ）とＸ_L（Ｍ−ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではｋ≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。

次に、各線スペクトルに対し、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する。ここで、対象となる線スペクトルの音声信号Ｘのゲイン（振幅）をＧとすると、Ｐ（Ｘ）は、音声信号Ｘの電力（音圧に相当）を表し、ゲインＧの二乗値で表現できる。

この正規化相関係数ｄ^(ｋ)は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力Ｐ_L ^(ｋ)とＰ_R ^(ｋ)の両方が０である場合、その線スペクトルに関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の線スペクトルの処理に移ることとする。また、Ｐ_L ^(ｋ)とＰ_R ^(ｋ)のいずれか片方が０である場合、数式(5)では演算不可能であるが、正規化相関係数ｄ^(ｋ)＝０とし、その線スペクトルの処理を続行する。

次に、この正規化相関係数ｄ^(ｋ)を用いて、左右チャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め（ステップＳ３２）、ステップＳ３２で取得したそれぞれの変換係数を用いて、左右チャネルの音声信号から相関信号と無相関信号を分離抽出する（ステップＳ３３）。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。ステップＳ３２，Ｓ３３の処理は、主に分離抽出部２２のうち分離部２２ａが担えばよいが、算出部２２ｂにおける処理も兼ねている。

ステップＳ３２，Ｓ３３の処理例を説明する。ここで、特許文献１と同様、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については、左右のチャネルからゲインのみ異なる信号波形（つまり同じ周波数成分からなる信号波形）が出力されるものとするモデルを採用する。ここで、ゲインは、信号波形の振幅に相当し、音圧に関連する値である。そして、このモデルでは、左右のチャネル信号から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。

そのモデルに従うと、入力信号ｘ_L（ｍ）、ｘ_R（ｍ）は、
ｘ_L（ｍ）＝ ｓ（ｍ）＋ｎ_L（ｍ）、
ｘ_R（ｍ）＝αｓ（ｍ）＋ｎ_R（ｍ） (9)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎ_L（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎ_R（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）にαを乗算したものを減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右の音圧バランスの程度を表す正の実数である。

数式(9)により、数式(3)で前述した窓関数乗算後の音声信号ｘ′_L（ｍ）、ｘ′_R（ｍ）は、次の数式(10)で表される。ただし、ｓ′（ｍ）、ｎ′_L（ｍ）、ｎ′_R（ｍ）はそれぞれｓ（ｍ）、ｎ_L（ｍ）、ｎ_R（ｍ）に窓関数を乗算したものである。
ｘ′_L（ｍ）＝ｗ（ｍ）｛ｓ（ｍ）＋ｎ_L（ｍ）｝＝ｓ′（ｍ）＋ｎ′_L（ｍ）、
ｘ′_R（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎ_R（ｍ）｝＝αｓ′（ｍ）＋ｎ′_R（ｍ）
(10)

数式(10)を離散フーリエ変換することによって、次の数式(11)を得る。ただし、Ｓ（ｋ）、Ｎ_L（ｋ）、Ｎ_R（ｋ）はそれぞれｓ′（ｍ）、ｎ′_L（ｍ）、ｎ′_R（ｍ）を離散フーリエ変換したものである。
Ｘ_L（ｋ）＝ Ｓ（ｋ）＋Ｎ_L（ｋ）、
Ｘ_R（ｋ）＝αＳ（ｋ）＋Ｎ_R（ｋ） (11)

したがって、ｋ番目の線スペクトルにおける音声信号Ｘ_L（ｋ）、Ｘ_R（ｋ）は、
Ｘ_L（ｋ）＝Ｓ（ｋ）＋Ｎ_L（ｋ）、
Ｘ_R（ｋ）＝α^（ｋ）Ｓ（ｋ）＋Ｎ_R（ｋ） (12)
と表現される。ここで、α^(ｋ)はｋ番目の線スペクトルにおけるαを表す。

数式(12)から、数式(8)の音圧Ｐ_L ^（ｋ）とＰ_R ^（ｋ）は、
Ｐ_L ^(ｋ)＝Ｐ_S ^(ｋ)＋Ｐ_N ^(ｋ)、
Ｐ_R ^(ｋ)＝［α^(ｋ)］²Ｐ_S ^(ｋ)＋Ｐ_N ^(ｋ) (13)
と表される。ここで、Ｐ_S ^(ｋ)、Ｐ_N ^(ｋ)はｋ番目の線スペクトルにおけるそれぞれ相関信号、無相関信号の電力であり、

と表される。ここで、左右のチャネル間の無相関信号の音圧は等しいと仮定している。

また、数式(6)〜(8)より、ｄ^（ｋ）は、次の数式(15)で表すことができる。ただし、この算出においてはＳ（ｋ）、Ｎ_Ｌ（ｋ）、Ｎ_Ｒ（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。

数式(13)と数式(15)を解くことにより、次の式が得られる。

これらの値を用いて、各線スペクトルにおける相関信号と無相関信号を推定する。ｋ番目の線スペクトルにおける相関信号Ｓ（ｋ）の推定値ｅｓｔ（Ｓ（ｋ））を、媒介変数μ_１、μ_２を用いて、
ｅｓｔ（Ｓ（ｋ））＝μ_１Ｘ_Ｌ（ｋ）＋μ_２Ｘ_Ｒ（ｋ） (18)
とおくと、推定誤差εは、
ε＝ｅｓｔ（Ｓ（ｋ））−Ｓ（ｋ） (19)
と表される。ここで、ｅｓｔ（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε^２が最少になるとき、εとＸ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）はそれぞれ直交するという性質を利用すると、
Ｅ［ε・Ｘ_Ｌ（ｋ）］＝０、Ｅ［ε・Ｘ_Ｒ（ｋ）］＝０ (20)
という関係が成り立つ。

数式(12)、(14)、(16)〜(19)を利用すると、数式(20)から次の連立方程式が導出できる。
（１−μ_１−μ_２α^（ｋ））Ｐ_Ｓ ^（ｋ）−μ_１Ｐ_Ｎ ^（ｋ）＝０
α^（ｋ）（１−μ_１−μ_２α^（ｋ））Ｐ_Ｓ ^（ｋ）−μ_２Ｐ_Ｎ ^（ｋ）＝０
(21)

この数式(21)を解くことによって、各媒介変数が次のように求まる。

ここで、このようにして求まる推定値ｅｓｔ（Ｓ（ｋ））の電力Ｐ_{ｅｓｔ（Ｓ）} ^（ｋ）が、数式(18)の両辺を二乗して求まる次の式
Ｐ_{ｅｓｔ（Ｓ）} ^（ｋ）＝（μ_１＋α^（ｋ）μ_２）^２Ｐ_Ｓ ^（ｋ）＋（μ_１ ^２＋μ_２ ^２）Ｐ_Ｎ ^（ｋ） (23)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、ｅｓｔ′（Ａ）はＡの推定値をスケーリングしたものを表す。

そして、ｋ番目の線スペクトルにおける左右のチャネルの無相関信号Ｎ_Ｌ（ｋ）、Ｎ_Ｒ（ｋ）に対する推定値ｅｓｔ（Ｎ_Ｌ（ｋ））、ｅｓｔ（Ｎ_Ｒ（ｋ））はそれぞれ、
ｅｓｔ（Ｎ_Ｌ（ｋ））＝μ_３Ｘ_Ｌ（ｋ）＋μ_４Ｘ_Ｒ（ｋ） (25)
ｅｓｔ（Ｎ_Ｒ（ｋ））＝μ_５Ｘ_Ｌ（ｋ）＋μ_６Ｘ_Ｒ（ｋ） (26)
とおくことにより、上述の求め方と同様にして、媒介変数μ_３〜μ_６は、

と求めることができる。このようにして求めた推定値ｅｓｔ（Ｎ_Ｌ（ｋ））、ｅｓｔ（Ｎ_Ｒ（ｋ））も上述と同様に、次の式によってそれぞれスケーリングする。

数式(22)、(27)、(28)で示した各媒介変数μ_１〜μ_６及び数式(24)、(29)、(30)で示したスケーリングの係数が、ステップＳ３２で求める変換係数に該当する。そして、ステップＳ３３では、これらの変換係数を用いた演算（数式(18)、(25)、(26)）により推定することで、相関信号と無相関信号（右チャネルの無相関信号、左チャネルの無相関信号）とを分離抽出する。

次に、再生用スピーカ１６への割り当て処理を行う（ステップＳ３４）。この処理は、再生用スピーカ１６のそれぞれに仮想音源を設定した処理に該当する。なお、スピーカ１６とは異なる位置に仮想音源を設定した場合には、音声信号処理部１３において、ここで説明する処理と同様に仮想音源への割り当てを行った後、各スピーカ１６の配置に応じて各スピーカ１６に対する遅延量や出力レベルを決定すればよい。

ステップＳ３４の割り当て処理では、前処理として、線スペクトル毎に推定した相関信号によって生成される合成音像の方向を推定する。この推定処理は、図２の分離抽出部２２のうち算出部２２ｂが担うことになる。この推定処理について、図４，図５に基づき説明する。図４は、受聴者と左右のスピーカと合成音像との位置関係の一例を説明するための模式図、図５は、再生用スピーカと受聴者及び合成音像との位置関係の一例を説明するための模式図である。

いま、図４に示す位置関係４０のように、受聴者から左右のスピーカ４１Ｌ、４１Ｒの中点にひいた線と、同じく受聴者４３からいずれかのスピーカ４１Ｌ／４１Ｒの中心までひいた線がなす見開き角をθ_０、受聴者４３から推定合成音像４２の位置までひいた線がなす見開き角をθとする。ここで、左右のスピーカ４１Ｌ、４１Ｒから同じ音声信号を、音圧バランスを変えて出力した場合、その出力音声によって生じる合成音像４２の方向は、音圧バランスを表す前述のパラメータαを用いて次の式で近似できることが一般的に知られている（以下、立体音響におけるサインの法則と呼ぶ）。

ここで、２ｃｈステレオの音声信号を波面合成再生方式で再生できるようにするために、図２に示す分離部２２ａが２ｃｈの信号を複数チャネルの信号に変換する。例えば変換後のチャネル数を５つとした場合、それを図５で示す位置関係５０のように、スピーカアレイ１７として、均等に配置された再生用スピーカ５２ａ〜５２ｅを用いて再生する。再生用スピーカ５２ａ〜５２ｅは、図１の複数のスピーカ１６に該当するものである。既に説明したように、分離部２２ａは、まず２ｃｈの音声信号を、線スペクトル毎に１つの相関信号と２つの無相関信号に分離する。分離部２２ａでは、さらにそれらの信号をどのように再生用スピーカ（ここでは５つの再生用スピーカ）に割り当てるかを事前に決めておかなければならない。なお、割り当ての方法については複数の方法の中からユーザ設定可能にしておいてもよいし、再生用スピーカ数に応じて選択可能な方法を変えてユーザに提示するようにしてもよい。

割り当て方法の１つの例として、次のような方法を採る。それは、まず、左右の無相関信号については、５つの再生用スピーカの両端（スピーカ５２ａ，５２ｅ）にそれぞれ割り当てる。次に、相関信号によって生じる合成音像については、５つのうちの隣接する２つの再生用スピーカに割り当てる。隣接するどの２つの再生用スピーカに割り当てるかについては、まず、前提として、相関信号によって生じる合成音像が５つの再生用スピーカの両端（再生用スピーカ５２ａ，５２ｅ）より内側になるものとし、すなわち、２ｃｈステレオ再生時の２つのスピーカによってなす見開き角内におさまるように５つの再生用スピーカ５２ａ〜５２ｅを配置するものとする。そして、合成音像の推定方向から、その合成音像を挟むような隣接する２つの再生用スピーカを決定し、その２つの再生用スピーカへの音圧バランスの割り当てを調整して、その２つの再生用スピーカによって合成音像を生じさせるように再生する、という割り当て方法を採る。

そこで、図５で示す位置関係５０のように、受聴者５３から両端の再生用スピーカ５２ａ，５２ｅの中点にひいた線と端の再生用スピーカ５２ｅにひいた線とがなす見開き角をθ_０′、上記中点にひいた線と受聴者５３から合成音像５１にひいた線とがなす見開き角をθ′とする。さらに、受聴者５３から合成音像５１を挟む２つの再生用スピーカ５２ｃ，５２ｄの中点にひいた線と、受聴者５３から再生用スピーカ５２ｄとがなす見開き角をφ_０、受聴者５３から合成音像５１にひいた線とがなす見開き角をφとする。ここで、φ_０は正の実数である。数式(31)で説明したようにして方向を推定した図４の合成音像４２（図５における合成音像５１に対応）を、これらの変数を用いて再生用スピーカに割り当てる方法について説明する。

まず、ｋ番目の合成音像の方向θ^（ｋ）が数式(31)によって推定され、例えばθ^（ｋ）＝π／１５［ｒａｄ］であったとする。そして、再生用スピーカが５つの場合、図５に示すように合成音像５１は左から数えて３番目の再生用スピーカ５２ｃと４番目の再生用スピーカ５２ｄの間に位置することになる。また、再生用スピーカが５つである場合、３番目の再生用スピーカ５２ｃと４番目の再生用スピーカ５２ｄの間について、三角関数を用いた単純な幾何的計算により、φ_０≒０.１２１［ｒａｄ］となり、ｋ番目の線スペクトルにおけるφをφ^（ｋ）とすると、φ^（ｋ）＝θ^（ｋ）−φ_０≒０.０８８［ｒａｄ］となる。このようにして、各線スペクトルにおける相関信号によって生じる合成音像の方向を、それを挟む２つの再生用スピーカの方向からの相対的な角度で表す。そして上述したように、その２つの再生用スピーカ５２ｃ，５２ｄでその合成音像を生じさせることを考える。そのためには、２つの再生用スピーカ５２ｃ，５２ｄからの出力音声信号の音圧バランスを調整すればよく、その調整方法については、再び数式(31)として利用した立体音響におけるサインの法則を用いる。

ここで、ｋ番目の線スペクトルにおける相関信号によって生じる合成音像を挟む２つの再生用スピーカ５２ｃ，５２ｄのうち、３番目の再生用スピーカ５２ｃに対するスケーリング係数をｇ_１、４番目の再生用スピーカ５２ｄに対するスケーリング係数をｇ_２とすると、３番目の再生用スピーカ５２ｃからはｇ_１・ｅｓｔ′（Ｓ（ｋ））、４番目の再生用スピーカ５２ｄからはｇ_２・ｅｓｔ′（Ｓ（ｋ））の音声信号を出力することになる。そして、ｇ_１、ｇ_２は立体音響におけるサインの法則により、

を満たせばよい。

一方、３番目の再生用スピーカ５２ｃと４番目の再生用スピーカ５２ｄからの電力の合計が、元の２ｃｈステレオの相関信号の電力と等しくなるようにｇ_１、ｇ_２を正規化すると、
ｇ_１ ^２＋ｇ_２ ^２＝１＋［α^（ｋ）］^２ (33)
となる。

これらを連立させることで、数式(34)が求められる。

この数式(34)に上述のφ^（ｋ）、φ_０を代入することによって、ｇ_１、ｇ_２を算出する。このようにして算出したスケーリング係数に基づき、上述したように３番目の再生用スピーカ５２ｃにはｇ_１・ｅｓｔ′（Ｓ（ｋ））の音声信号を、４番目の再生用スピーカ５２ｄからはｇ_２・ｅｓｔ′（Ｓ（ｋ））の音声信号を割り当てる。そして、これも上述したように、無相関信号は両端の再生用スピーカ５２ａ，５２ｅに割り当てられる。すなわち、１番目の再生用スピーカ５２ａにはｅｓｔ′（Ｎ_Ｌ（ｋ））を、５番目の再生用スピーカ５２ｅにはｅｓｔ′（Ｎ_Ｒ（ｋ））を割り当てる。

この例とは異なり、もし合成音像の推定方向が１番目と２番目の再生用スピーカの間であった場合には、１番目の再生用スピーカにはｇ_１・ｅｓｔ′（Ｓ（ｋ））とｅｓｔ′（Ｎ_Ｌ（ｋ））の両方が割り当てられることになる。また、もし合成音像の推定方向が４番目と５番目の再生用スピーカの間であった場合には、５番目の再生用スピーカにはｇ_２・ｅｓｔ′（Ｓ（ｋ））とｅｓｔ′（Ｎ_Ｒ（ｋ））の両方が割り当てられることになる。

上述のような処理を、ステップＳ３１ａ，Ｓ３１ｂのループにより全ての線スペクトルについて行う。例えば、２５６点の離散フーリエ変換を行った場合は１〜１２７番目の線スペクトルまで、５１２点の離散フーリエ変換を行った場合は１〜２５５番目の線スペクトルまで、セグメントの全点（１０２４点）について離散フーリエ変換を行った場合は１〜５１１番目の線スペクトルまで、となる。

その結果、再生用スピーカの数をＪ（この例ではＪ＝５）とすると、各再生用スピーカ（出力チャネル）に対する周波数領域の出力音声信号Ｙ_１（ｋ）、・・・、Ｙ_Ｊ（ｋ）が求まる。これら出力が、図２における分離抽出部２２の逆変換部２３への出力結果となる。以上のようにして図２における分離抽出部２２の処理がなされる。

次に、図２における逆変換部２３での処理がなされる。逆変換部２３は、分離部２２ａで抽出された相関信号に対して、離散フーリエ逆変換を施す。逆変換部２３は、分離部２２ａで抽出された相関信号の代わりに、（ａ１）その相関信号及び無相関信号（その相関信号を除く信号）に対して、もしくは（ａ２）その相関信号から生成された音声信号、または（ａ３）その相関信号及びその無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施すようにしてもよい。

具体的に逆変換部２３の処理を例示すると、逆変換部２３では、分離抽出部２２から出力された各出力チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′_Ｊ（ｍ）を求める。ここで、ＤＦＴ^−１は離散フーリエ逆変換を表す。

ｙ′_Ｊ（ｍ）＝ＤＦＴ^−１（Ｙ_Ｊ（ｋ）） （１≦ｊ≦Ｊ） (35)
ここで、数式(3)、(4)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′_Ｊ（ｍ）も窓関数が乗算された状態になっている。したがって、そうして得られた信号に、数式(2)に示す窓関数を再度乗算し、１つ前に処理したセグメントの先頭から１／４セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。

図２における音声出力信号生成部２４では、逆変換部２３で生成した各仮想音源の音声信号から、上述の非特許文献１に記載の技術に則って、各スピーカに対する音声信号を生成する。ここでは、各仮想音源の音声信号から、各スピーカの配置に応じて各スピーカに対する遅延量や出力レベルを決定し、それに応じた音声信号が生成される。このようにして、音声信号処理部１３は、マルチチャネル再生方式のチャネルの入力音声信号をスピーカ群により再生させるために変換することができる。ただし、ここで挙げた例のように再生用スピーカのそれぞれに仮想音源を設定した場合には、音声出力信号生成部２４におけるこのような処理は不要となる。仮想音源を再生用スピーカと一致させる場合でもそうでない場合でも、音声出力信号生成部２４は、必要に応じて、例えば入力音声信号のうち使用しなかったチャネルの音声信号を加算する処理など、他の処理を行うように構成しておけばよい。

以上のようにして音声再生処理がなされる。上述したように、本発明では音像表示処理もなされる。音像表示処理に関し、図１における表示制御部１８に音声信号処理部１３より出力する音像方向情報について、説明する。上述したように、音像方向情報は、音像方向と信号電力値を含み、分離抽出部２２により生成される。

具体的には、音像方向は図４にθとして示した推定方向の角度（推定角度）で例示したものであり、信号電力値は数式(14)に示したＰ_Ｓ ^（ｋ）で例示したものであり、それらはいずれも、線スペクトル毎に（つまり各線スペクトルの相関信号のそれぞれについて）生成された値である。なお、特に言及しなかったが、上述したような信号電力値を算出する処理も、図２の分離抽出部２２のうち算出部２２ｂが担うことになる。算出部２２ｂは、各線スペクトルの相関信号について算出した推定角度と信号電力値とを、表示制御部１８に出力する。

次に、表示制御部１８及び表示部１９での処理について、図６及び図７を参照しながら説明する。図６は、図１の音声信号再生装置１０において主に加算部１８ａで実行される音像表示処理の一例を説明するためのフロー図である。図７は、図１の音声信号再生装置１０における表示部１９の一例を示す図である。

表示制御部１８は、線スペクトル毎にステップＳ６２，Ｓ６３の処理を実行する（ステップＳ６１ａ，Ｓ６１ｂ）。ステップＳ６２では、加算部１８ａが、対象となる線スペクトルの相関信号について、その推定角度θを基に音像方向グループを特定する。音像方向グループというのは、とりうる音像方向の角度θをグループに分けたもので、以下、単にグループと呼ぶ。θのとりうる範囲は、想定している聴取位置での最右端スピーカから最左端スピーカまでの見開き角の範囲であり、予め定められた範囲である。

例えばこの範囲を−３０°〜３０°とし、表示部１９で音像方向を図７のように１５本の棒（バー）グラフで表示する場合には、この範囲を１５のグループに分ければよい。そのとき、第一のグループが−３０°以上−２６°未満、第二のグループが−２６°以上−２２°未満、というように４°ずつのグループに分ける。ここでは均等に分割する例を示すが、均等でなくてもよく、表示部１９での表示の仕方に合わせてグループに分割すればよい。

ステップＳ６３では、加算部１８ａが、ステップＳ６２で特定したグループにその相関信号についての信号電力値を加算する。より具体的には、加算部１８ａは、予め用意しておいたグループ毎のバッファに相関信号の電力値Ｐ_Ｓ（ｋ）を加算する。ここでは、単純に加算する例を示したが、等ラウドネス曲線（ＩＳＯ ２２６：２００３）に基づいて電力値を重み付けするなどして加算すれば、聴感上受ける音圧に、この数値を近づけることが可能となる。つまり、加算値として単なる総和を例に挙げたが、これに限らず、例えば線スペクトル毎（または周波数帯域毎）に重み付けを行った重み付け加算値を採用することもできる。

ステップＳ６２，Ｓ６３を全ての線スペクトルについて繰り返すことにより、各グループ毎に信号電力値が加算され、グループ毎の信号電力値の総和が算出される。
算出された加算値は、表示部１９で表示されることになる。この表示のための制御も表示制御部１８が行う。

表示制御部１８は、全ての線スペクトルについて電力値加算が終了した後、各グループについて、ステップＳ６５，Ｓ６６の処理を実行する（ステップＳ６４ａ，６４ｂ）。ステップＳ６５では、表示制御部１８が、グループ毎に信号電力値の加算値を表示するための値に変換する。つまり、グループ毎の信号電力値の総和を、表示するための値に変換する。ステップＳ６６では、表示制御部１８が、変換後の値を表示させるための制御信号を生成し、表示部１９に出力する。表示部１９は、その制御信号に従い、音像を表示させる。

図７を参照して、表示部１９に表示される音像の具体例について説明する。
図７で例示するテレビ装置７０は、表示装置の一例であり、この表示装置は、音声信号を再生しスピーカアレイ１７に渡す再生部（図示せず）と、映像信号が示す映像を表示する映像表示部（液晶パネルや有機エレクトロルミネッセンスパネルなど）の一例としての表示パネル７１とを備えている。表示パネル７１は、表示部（音像表示部）１９の一例でもある。実際、映像表示部の画面には映像が表示可能であり、その映像に各グループについての加算値を示す情報、つまり音像を示す情報を含めればよい。もしくは、この情報をＯＳＤ（On Screen Display）画像として映像表示部の画面に重畳して表示させることもできる。よって、ステップＳ６６における制御信号の一例としては、このような映像またはＯＳＤ画像を表示させるための信号が挙げられる。

テレビ装置７０には、音声出力のために、図１で示した複数のスピーカ１６（スピーカ１６ａ，１６ｂ，１６ｃ，．．．）が配列されたスピーカアレイ１７が内蔵されている。ただし、スピーカアレイ１７は外部に接続されていてもよい。外部に接続される場合、スピーカアレイ１７は、テレビ台（テレビボード）に埋め込むこともでき、またサウンドバーと呼ばれるテレビ装置の下に置く一体型のスピーカーシステムとして埋め込むこともできる。なお、この例では、スピーカアレイ１７を表示パネル７１の下側に設けているが、上側、あるいは上側及び下側に設けるなどしてもよい。

表示パネル７１には、加算値を示す情報が棒グラフ７２として表示されている。棒グラフ７２では、複数のグループのそれぞれに対応する位置（この例では各スピーカ１６ａ，１６ｂ，１６ｃ，．．．の設置位置）に各グループについての加算値を示す情報７３ａ，７３ｂ，７３ｃ，．．．を表示したグラフである。つまり、棒グラフ７２は、複数のグループのそれぞれに対応する位置を一方の軸に配し、各グループについての加算値（各グループに含まれる相関信号の信号電力値）に対応する長さの棒を他方の軸とするグラフとなっている。

１つのグループに含まれる相関信号を出力するための信号電力値の加算値は音圧の強さに対応している。したがって、このような棒グラフ７２は、棒の高さの変化によりその棒の存在する方向からの音圧の強さを表現することができる。

このように、表示パネル７１にグループ毎の加算値を示す情報を棒グラフ形式で表示させたい場合には、ステップＳ６５において、グループ毎の加算値（信号電力値の加算値）をそれぞれの棒の高さに変換し、その加算値が大きいほど、棒が高く描画されるようにすればよい。

グループ毎の加算値は、上述のように処理セグメント毎に算出されるため、処理セグメント毎に描画を実行することによって、複数のスピーカ１６を有するスピーカアレイ１７から出力される音と同期して、棒グラフ７２が動くことになる。これにより、音像表示を音の再生に合わせて変化させることができ、聴取できる音像の方向とその視覚的効果の場所が一致し（聴覚と知覚とで音像位置が一致し）、受聴者に没入感を与えることができる。特に、棒グラフ７２のような棒グラフ形式での表示によれば、受聴者が一目で音像を認識できるため、他の音像表示方法に比べて受聴者の没入感をより増すことができる。

また、棒グラフにおける棒の数（つまりグループの数）は、図７で例示したように基本的にスピーカ群の解像度（すなわち設置されるスピーカの個数）だけ用意しておくと、聴取できる音像と視認できる棒とを一致させることができるため好ましい。ただし、スピーカの数とグループ数とは異ならせておいてもよい。

また、以上では、本発明に係る音声信号再生装置が、スピーカアレイから音声信号を再生する装置であることを前提として説明しているが、例えば、単に左右の２つのスピーカから出力する場合であっても、音像表示についてはここで説明するように実行し、音声再生については対象となる２つの音声信号を左右のそれぞれのスピーカから出力するだけでよいため、同様に適用できる。その他、例えば５.１ｃｈ用のスピーカシステムからマルチチャネル再生方式で出力する場合など、他の再生方式で出力する場合にも同様に適用できる。

次に、図８を参照しながら、表示部（音像表示部）１９の他の構成例について説明する。図８は、図１の音声信号再生装置１０における表示部１９の他の例を示す図である。
ここで例示する表示部１９は、音声信号再生装置１０が映像表示部を備えている場合、備えていない場合に拘わらず、複数の発光部を有し、これらの発光部で音像表示を行う。なお、映像表示部を備えないような音声信号再生装置１０としては、例えば様々なオーディオシステムが挙げられる。

図８で例示するスピーカアレイ１７は、各スピーカ１６ａ，１６ｂ，１６ｃ，．．．の傍にそれぞれ８つのＬＥＤ（Light Emitting Diode）８１ａ，８１ｂ，８１ｃ，．．．を配設している。つまり、上記発光部の１つを８つのＬＥＤ８１ａで構成している。ただし、上記発光部に対応するＬＥＤ８１ａの個数は８つに限らず、例えば単に１つだけであってもよい。また、ＬＥＤに限らず他種の発光部を設けることもできる。

また、上記発光部は基本的にスピーカ群の解像度（すなわち設置されるスピーカの個数）だけ用意しておくと、聴取できる音像と発光とを一致させることができるため好ましいが、これに限ったものではない。スピーカアレイ１７の場合、その長手方向に沿って上記発光部を複数並べておけばよい。ただし、スピーカアレイ１７の長手方向に沿って並べられたものに限ったものでもなく、グループに対応する位置に配置されていればよい。また、１つのスピーカに対するＬＥＤの配置も図８で例示するようにスピーカを取り囲むような配置に限ったものではない。なお、各発光部をグループ毎に複数並べて棒グラフ形式で表示させることも可能である。

このような構成の複数の発光部を用い、表示部１９は、複数のグループのそれぞれに対応する位置の発光部の発光色を、各グループについての加算値を示す情報に応じて変化させる。このように、表示部１９は、ＬＥＤの色変化によりそのＬＥＤの存在する方向からの音圧の強さを表現してもよい。

例えば、音像がスピーカ１６ｂの方向のみに存在する場合には、対応する８つのＬＥＤ８１ｂの色を、例えば加算値が弱い場合には青色を、強い場合には赤色を表示させるなどして、音と同期して色を変えればよい。また、スピーカ１６ｂの方向から強い音（加算値の大きい音）が出力され、スピーカ１６ｃの方向から弱い音（加算値の小さい音）が出力され、他のスピーカの方向からは音が出力されなかった場合には、８つのＬＥＤ８１ｂの色を赤色にし、８つのＬＥＤ８１ｃの色を青色にするなどして、音と同期して色を変えればよい。

また、表示部１９は、複数のグループのそれぞれに対応する位置のＬＥＤの発光強度（発光輝度）を、各グループについての加算値を示す情報に応じて変化させるようにしてもよい。加算値をＬＥＤの明るさに変換するようにすれば、音像位置に同期してＬＥＤの明るさが変化することになる。つまり、ＬＥＤの強弱変化によりそのＬＥＤの存在する方向（音像位置）からの音圧の強さを表現してもよい。

例えば、音像がスピーカ１６ｂの方向のみに存在する場合には、対応する８つのＬＥＤ８１ｂの全てを加算値に応じた輝度で発光させるか、もしくは８つのＬＥＤ８１ｂのうち加算値に応じた数のＬＥＤ８１ｂを発光させるなどして、音と同期して発光輝度を変えればよい。また、スピーカ１６ｂの方向から強い音が出力され、スピーカ１６ｃの方向から弱い音が出力され、他のスピーカの方向からは音が出力されなかった場合には、例えば８つのＬＥＤ８１ｂを発光させ、１つのＬＥＤ８１ｃを発光させるなどして、音と同期して発光輝度を変えればよい。

このような複数の発光部を用いた音像表示方法を採用した場合にも、音像表示を音の再生に合わせて変化させることができ、聴取できる音像の方向とその視覚的効果の場所が一致し、受聴者に没入感を与えることができる。特に、音の強さに応じて発光色を変化させたり発光強度を変化させたりすることで、例えば音楽ビデオを再生している場合や音楽を再生している場合に、ライブ会場での感覚を受聴者に与えることができる。

以上の例では、一方向から受聴者が音像位置を視認する場合、つまり音像表示が一方向（前方向）にのみなされる場合について説明した。しかし、例えば５.１〜７.１ｃｈの入力音声信号に対しては、仮想音源を設定して三方や四方に用意したアレイスピーカから音声を出力するとともに、各方向において図８で例示したように発光部を変化させて音像を視認させることもできる。このような例を以下に説明する。

まず、このような構成における、音声信号の分離、音像方向及び信号電力値の算出などの処理について、再び図１及び図２を併せて参照しながら説明する。ここでは、基本的に上述した処理例と異なる点を説明し、同様の処理を行う部分についてはその説明を省略する。

まず、音声信号抽出部１２では、得られた信号から音声信号を分離、抽出するが、この例では得られた信号は５.１ｃｈとし、そのうちのＬ、Ｒ、Ｃ、Ｌ _S 、Ｒ _S の５つのチャネルの音声信号を音声信号処理部１３に出力する。残りのＬＦＥのチャネルの音声信号は、別途設けた遅延処理部（図示せず）で前述の信号Ｌ、Ｒ、Ｃ、Ｌ _S 、Ｒ _S を音声信号処理部１３で処理するのに要する時間分遅延させ、Ｄ／Ａコンバータ１４に出力する。

本例における音声信号処理部１３は、マルチチャネル再生方式の５つ以上のチャネルの入力音声信号を、スピーカ群により再生させるために変換する。ここで複数のスピーカ１６は、より適切な音像を表現できるようにするため、その入力音声信号のチャネル数以上の数のスピーカでなることが好ましい。この場合、複数のスピーカ１６は、例えば５.１ｃｈのうちの５ｃｈを入力音声信号とした場合には、そのチャネル数が後述のダウンミックス処理により１つ少なくなり、その少なくなったチャネル数より多い数（換言すれば入力音声信号のチャネルの数と同じかそれより多い数）のスピーカでなる。

具体的に説明すると、音声信号処理部１３では、得られた５チャネル信号から、入力音声信号とは異なるマルチチャネルの音声信号を生成する。つまり、音声信号処理部１３では、入力音声信号を別のマルチチャネルの音声信号に変換する。入力音声信号のチャネル数以上のスピーカから出力させるためには、変換後のマルチチャネルのチャネル数は、入力されたチャネル数（この例では５つ）以上とすることが好ましい。ただし、仮想音源用のチャネルとすることで入力されたチャネル数より小さくても複数のスピーカ（スピーカ群）１６への割り当てはできる。以下、仮想音源の数分の信号を生成するものとして説明する。

音声信号処理部１３は、生成した音声信号をＤ／Ａコンバータ１４に出力する。仮想音源の数は、ある一定以上の数があれば予め決めておいても性能上差し支えはないが、仮想音源数が多くなるほど演算量も多くなる。そのため実装する装置の性能を考慮してその数を決定することが望ましい。ここで説明する例では、その数を１６として、後述の図１７のように円周上に仮想音源を配置する場合について説明するが、この例に限ったものではない。

Ｄ／Ａコンバータ１４では得られた信号をアナログ信号に変換し、それぞれの信号を増幅器１５及びサブウーファー用増幅器（図示せず）に出力する。各増幅器１５では入力されたアナログ信号を拡声し各スピーカ１６に伝送し、この拡声されたアナログ信号が各スピーカ１６から空間中に音として出力される。サブウーファー用増幅器では入力されたＬＦＥ用のアナログ信号を拡声しサブウーファー（図示せず）に伝送し、この拡声されたアナログ信号がサブウーファーから空間中に音として出力される。

本例における変換部２１は、入力音声信号である５つ以上のチャネルのうち１つの特定チャネルを、その１つの特定チャネルに隣合う２つのチャネルにダウンミックスするダウンミックス部（図示せず）を有する。ここでは、特定チャネルとしてＣチャネルの信号を採用した例を挙げて説明する。ダウンミックス部は、Ｃの信号のゲインにダウンミックス係数をかけたものを、ＲとＬの２チャネルの信号それぞれに加算する。ダウンミックス係数は時間的に変化しない、０より大きい実数であり、例えば１／２や１／√２などの値をとる。

変換部２１は、ダウンミックス部から出力された２つのチャネルと、Ｌ _S 、Ｒ _S とを合わせた４つの入力信号それぞれを、１セグメントの１／４の長さの音声データ分読み出す。
読み出した２５６点の音声データはバッファに蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の３／４セグメント分のデータ（７６８点）と最新の１／４セグメント分のデータ（２５６点）を繋げて１セグメント分の音声データを作成し、数式(2)の窓関数を乗算する。すなわち、全ての標本データは窓関数演算に４回読み込まれることになる。

ダウンミックス部からの出力信号をそれぞれｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）、ｘ_ＬS（ｍ）、ｘ_ＲS（ｍ）とすると、変換部２１において、窓関数乗算後の音声信号ｘ′_Ｌ（ｍ）、ｘ′_Ｒ（ｍ）、ｘ′_ＬS（ｍ）、ｘ′_ＲS（ｍ）は、
ｘ′_Ｌ（ｍ）＝ｗ（ｍ）ｘ_Ｌ（ｍ）、
ｘ′_Ｒ（ｍ）＝ｗ（ｍ）ｘ_Ｒ（ｍ）、
ｘ′_ＬＳ（ｍ）＝ｗ（ｍ）ｘ_ＬＳ（ｍ）、
ｘ′_ＲＳ（ｍ）＝ｗ（ｍ）ｘ_ＲＳ（ｍ） (36)
と計算される。

変換部２１は、そうして得られた音声データを、次の数式(37)のように離散フーリエ変換し、周波数領域の音声データを得る。つまり、変換部２１は、上記特定チャネルを除いた、ダウンミックス後の２つのチャネルと残りのチャネル（の音声データ）に対し、離散フーリエ変換を施す。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０＜ｋ≦Ｍ／２である。Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）、Ｘ_ＬＳ（ｋ）、Ｘ_ＲＳ（ｋ）は複素数となる。
Ｘ_Ｌ（ｋ）＝ＤＦＴ（ｘ′_Ｌ（ｍ））、
Ｘ_Ｒ（ｋ）＝ＤＦＴ（ｘ′_Ｒ（ｍ））、
Ｘ_ＬＳ（ｋ）＝ＤＦＴ（ｘ′_ＬＳ（ｍ））、
Ｘ_ＲＳ（ｋ）＝ＤＦＴ（ｘ′_ＲＳ（ｍ）） (37)

分離抽出部２２は、線スペクトル毎に、変換部２１で変換された４つ以上のチャネルにおける隣合う２つのチャネルの組み合わせのうち着目した組み合わせについて、相関信号と無相関信号を分離、抽出する。なお、説明の簡略化のため、本例では分離抽出部２２の処理を分離部２２ａでの処理と算出部２２ｂでの処理とに分けずに説明する。

本例における分離抽出部２２は、線スペクトル毎に（つまり周波数毎に）、上記隣合う２つのチャネルの組み合わせのうち、どの組み合わせに着目するかを、各チャネルの電力の大きさに基づいて判定する。分離抽出部２２においては、上述したように線スペクトル毎でなくても周波数領域（小帯域）毎に分離、抽出してもよく、その場合には判定も小帯域毎に行う。

分離抽出部２２における分離抽出処理の具体的な内容を、再度図３を用いて説明する。ここで説明する５.１ｃｈの例では、離散フーリエ変換が数式(37)のように４つのチャネルに対して施されている。よって、分離抽出部２２は、変換部２１で離散フーリエ変換後の４つのチャネルの音声信号について、線スペクトル毎にステップＳ３２〜Ｓ３４の処理を行うが、それに先立ち、線スペクトル毎に着目ペア判定処理（図３では図示せず）を実行する（ステップＳ３１ａ，Ｓ３１ｂ）。具体的に個々の処理について説明する。

上記の着目ペア判定処理では、元のマルチチャネル再生方式で再生を想定しているスピーカ群のうち、スピーカ配置が隣合う２つの入力信号のいずれに着目するかを判定する処理を実行する。

ここで、隣合うスピーカ配置の定義について、図９及び図１０を参照して説明する。図９は、５.１ｃｈサラウンドシステムのスピーカ群のうちＬＦＥを除いた５つのスピーカの配置例を示す図で、図１０は、図９の配置例におけるダウンミックス後の出力対象スピーカの配置例を示す図である。

図９で示すように、５.１ｃｈサラウンドシステムでは、ＬＦＥ用のスピーカを除き、左フロントスピーカ９１、右フロントスピーカ９２、センタースピーカ９３、左サラウンドスピーカ９４、右サラウンドスピーカ９５が存在する。上述の、スピーカ配置が隣合うか否かを判定する際、上述のダウンミックス部でＬとＲそれぞれに加算されたＣの信号は、対象から外す。すなわち、ダウンミックス部で他の信号に加算される対象となったＣ信号に係るセンタースピーカ９３を除き、図１０に示す４つのスピーカ（左フロントスピーカ９１、右フロントスピーカ９２、左サラウンドスピーカ９４、右サラウンドスピーカ９５）の配置を考える。

図１０に示すように、左フロントスピーカ９１と隣合うのは右フロントスピーカ９２と左サラウンドスピーカ９４となる。同様に、左サラウンドスピーカ９４と隣合うのは左フロントスピーカ９１と右サラウンドスピーカ９５、右フロントスピーカ９２と隣合うのは左フロントスピーカ９１と右サラウンドスピーカ９５、右サラウンドスピーカ９５と隣合うのは右フロントスピーカ９２と左サラウンドスピーカ９４、となる。したがって、この場合、図１０中に両矢印で示したように組合せ（ペア）が４つ存在する。

着目ペア判定処理では、これらの各ペアのうち、どのペアに着目するかの判定を図１１で例示するように行う。図１１は、分離抽出部２２での着目ペア判定処理の一例を説明するためのフロー図である。

まず、各ペアについて、線スペクトル毎に、次の数式(38)のように電力の和Ｐ_１〜Ｐ_４を算出する（ステップＳ１１１）。ここで、対象となる線スペクトルの音声信号Ｘのゲイン（振幅）をＧとすると、Ｐ（Ｘ）は、音声信号Ｘの電力（音圧に相当）を表し、ゲインＧの二乗値で表現できる。
Ｐ_１（ｋ）＝Ｐ（Ｘ_Ｌ（ｋ））＋Ｐ（Ｘ_Ｒ（ｋ））、
Ｐ_２（ｋ）＝Ｐ（Ｘ_ＬＳ（ｋ））＋Ｐ（Ｘ_Ｌ（ｋ））、
Ｐ_３（ｋ）＝Ｐ（Ｘ_ＲＳ（ｋ））＋Ｐ（Ｘ_ＬＳ（ｋ））、
Ｐ_４（ｋ）＝Ｐ（Ｘ_Ｒ（ｋ））＋Ｐ（Ｘ_ＲＳ（ｋ）） (38)

次に、各ペアの線スペクトルに対し、両方のチャネル間の正規化相関係数を次の数式(39)で求めることで、相関係数を取得する（ステップＳ１１２）。なお、Ｒｅ｛ＢＢ｝、Ｉｍ｛ＣＣ｝はそれぞれ「ＢＢ」の実部、「ＣＣ」の虚部を表す。

この正規化相関係数ｄ^（ｋ） _１〜ｄ^（ｋ） _４は両方のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、両方のチャネルの音声信号の電力が０である場合、その線スペクトルに関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の線スペクトルの処理に移ることとする。また、いずれか片方の電力が０である場合、数式(39)では演算不可能であるが、正規化相関係数ｄ^（ｋ） _ｒ＝０とし、その線スペクトルの処理を続行する。ただし、ｒ＝１〜４である。

次に、各ペアに対し、数式(38)と数式(39)で求めた値を乗算したσ_ｒ（ｋ）を、次のように計算する。
σ_１（ｋ）＝Ｐ_１（ｋ）×ｄ^（ｋ） _１、
σ_２（ｋ）＝Ｐ_２（ｋ）×ｄ^（ｋ） _２、
σ_３（ｋ）＝Ｐ_３（ｋ）×ｄ^（ｋ） _３、
σ_４（ｋ）＝Ｐ_４（ｋ）×ｄ^（ｋ） _４ (40)

そして、σ_ｒ（ｋ）が最大値となる場合のｒであるｒ_ｍａｘを求め、着目すべきペアを決定する（ステップＳ１１３）。例えば、ｒ_ｍａｘ＝１の場合、図１０における左フロントスピーカ９１と右フロントスピーカ９２が着目すべきペアとなる。以下では、ステップＳ１１３の判定の結果（すなわち着目ペア判定処理の結果）が、左フロントスピーカ９１と右フロントスピーカ９２が着目すべきペアであった場合を例に挙げて説明するが、他のペアが着目すべきペアであっても同様である。

このように、分離抽出部２２は、線スペクトル毎に、隣合う２つのチャネルの組み合わせのうち、どの組み合わせに着目するかを、隣合う２つのチャネルの組み合わせについての電力の大きさと相関係数との乗算結果に基づいて判定することが好ましい。無論、分離、抽出を小帯域毎に行う場合にはこの判定も小帯域毎に行うことになる。

また、数式(40)において、σ_ｒ（ｋ）の計算の際、ｄ^（ｋ） _ｒ＝１として、相関係数の計算を省略することもできる。ｄ^（ｋ） _ｒ＝１として相関係数の計算を省略することは、隣合う２つのチャネルの電力の大きさの和に基づいて、その和が大きいものを着目すべきペアに決定することを意味する。このように分離抽出部２２では、相関係数を用いなくても、線スペクトル毎に、隣合う２つのチャネルの電力の大きさに基づいて判定を行えばよい。ただし、相関係数も併せて判定に用いることにより、判定の精度を上げることができる。

その他の判定の例を挙げる。最終的にσ_ｒ（ｋ）の最大値を求めることができればよいため、ｄ^（ｋ） _ｒ＝１との省略を行う場合もその省略を行わない場合にも、Ｐ_ｒ（ｋ）として、隣合う２つのチャネルの電力の積を採用することができる。さらに別の例として、一番大きな電力をもつチャネルと、それに隣合う２つのチャネルのうち大きい電力をもつチャネルとで構成されるペアに着目するように判定することもできる。

着目ペア判定処理の結果、電力が最大となり、なおかつ相関係数が大きいペアについてのみ、つまり着目ペアについてのみ、後述するように相関信号・無相関信号に分離した上での仮想音源への割り当てを行う（ステップＳ３２〜Ｓ３４）。この処理は、同じ線スペクトルあるいは小帯域に属する音像は１つである、という仮定を置くことを意味しており、その仮定において、ステップＳ３２〜Ｓ３４は正確な音像位置を再現するための変換処理であると言える。なお、上記の判定を電力の大きさのみ実行した場合にも同様に、着目ペアについてのみステップＳ３２〜Ｓ３４の処理を行えばよい。

まず、上述の正規化相関係数ｄ^（ｋ） _１を用いて、両方のチャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め（ステップＳ３２）、取得したそれぞれの変換係数を用いて、両方のチャネルの音声信号から相関信号と無相関信号を分離抽出する（ステップＳ３３）。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。

具体的には、ｄ^（ｋ） _１をｄ^（ｋ）とおくことで、図１〜図８を参照しながら説明した例と同様にステップＳ３２，Ｓ３３での処理を行えばよく、その説明を省略する。ただし、本例では、左右のチャネルの代わりに着目ペアの両方のチャネルについて処理が実行される。つまり、本例で使用するモデルでは、両方のチャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については、両方のチャネルからゲインのみ異なる信号波形（つまり同じ周波数成分からなる信号波形）が出力されるものとする。ここで、上述したように、ゲインは、信号波形の振幅に相当し、音圧に関連する値である。そして、このモデルでは、両方のチャネル信号から出力される相関信号によって合成される音像は、その相関信号の両方それぞれの音圧のバランスによって方向が決定されるものとする。

本例では、ステップＳ３４において再生用スピーカに直接割り当てを行う代わりに、まず仮想音源への割り当てを行う。この説明については、「再生用スピーカ」を「仮想音源」に読み換えることで容易に理解できるため、基本的に省略する。また、上述したようにこの割り当ての前処理として、線スペクトル毎に推定した相関信号によって生成される合成音像の方向が推定される。

なお、上記の読み換えにより、仮想音源が図５の再生用スピーカと同様に直線上に並んでいる場合については説明できる。しかし、図１２で受聴者と左右のスピーカと仮想音源との位置関係の他の例を示すように、仮想音源１２１ａ〜１２１ｅを、図９におけるスピーカ配置の円（図１２中の破線で示す円）と同心円の円弧上に並べた場合についても、例えばその中心点に受聴者１２２を配置することによって、同様に仮想音源への信号割り当てが可能である。

以上、上記着目ペア判定処理で図１０における左フロントスピーカ９１と右フロントスピーカ９２のペアに着目した場合について、説明してきた。この仮想音源割り当てにより、左フロントスピーカ９１と右フロントスピーカ９２の音声信号のｋ番目の線スペクトルについては図５の再生用スピーカ５２ａ〜５２ｅと同様に直線上に並んでいる仮想音源、あるいは、図１２の仮想音源１２１ａ〜１２１ｅに割り当てられたが、図１０における左サラウンドスピーカ９４と右サラウンドスピーカ９５の音声信号それぞれのｋ番目の線スペクトルについては、まだ割り当てが行われていない。

それらの割り当てについて図１３を参照して説明する。図１３は、受聴者と左右のスピーカ及び左右のサラウンドスピーカと仮想音源との位置関係の例を説明するための模式図である。それらの割り当ては、図１３に示すように、左サラウンドスピーカ９４の音声信号のｋ番目の線スペクトルは、受聴者１３２から見たときの左サラウンドスピーカ９４と同じ方向の仮想音源１３１ａに割り当てる。同様に、右サラウンドスピーカ９５の音声信号のｋ番目の線スペクトルは、受聴者１３２から見たときの右サラウンドスピーカ９５と同じ方向の仮想音源１３１ｂに割り当てる。

以上のようにして、ステップＳ３４における、ｋ番目の線スペクトルについて、４つのチャネルの、仮想音源への割り当てが行われる。ここでは、着目ペア判定処理の結果、図１０における左フロントスピーカ９１と右フロントスピーカ９２に着目して相関信号と無相関信号の分離処理を行ったが、着目ペア判定処理の結果、着目する対象が異なることもある。そのような場合について、図１４〜図１６を参照して説明する。図１４〜図１６は、受聴者と左右のスピーカ及び左右のサラウンドスピーカと仮想音源との位置関係の他の例を説明するための模式図である。

着目ペア判定処理の結果、例えば左フロントスピーカ９１と左サラウンドスピーカ９４に着目するという結果になった場合は、図１４に示すように、左フロントスピーカ９１と左サラウンドスピーカ９４についてのｋ番目の線スペクトルの相関信号と無相関信号が仮想音源１４１ａ〜１４１ｅに割り当てられ、右フロントスピーカ９２のｋ番目の線スペクトルが仮想音源１４１ｆに、右サラウンドスピーカ９５のｋ番目の線スペクトルが仮想音源１４１ｇに、それぞれ割り当てられる。

着目するペアが他のペアとなった場合にも同様である。左サラウンドスピーカ９４と右サラウンドスピーカ９５に着目するという結果になった場合、図１５に示すように、左サラウンドスピーカ９４と右サラウンドスピーカ９５についてのｋ番目の線スペクトルの相関信号と無相関信号が仮想音源１５１ａ〜１５１ｅに割り当てられ、左フロントスピーカ９１のｋ番目の線スペクトルが仮想音源１５１ｆに、右サラウンドスピーカ９５のｋ番目の線スペクトルが仮想音源１５１ｇに、それぞれ割り当てられる。また、右サラウンドスピーカ９５と右フロントスピーカ９２に着目するという結果になった場合、図１６に示すように、右サラウンドスピーカ９５と右フロントスピーカ９２についてのｋ番目の線スペクトルの相関信号と無相関信号が仮想音源１６１ａ〜１６１ｅに割り当てられ、左サラウンドスピーカ９４のｋ番目の線スペクトルが仮想音源１５１ｆに、左フロントスピーカ９１のｋ番目の線スペクトルが仮想音源１５１ｇに、それぞれ割り当てられる。

上述のような処理を、ステップＳ３１ａ，Ｓ３１ｂのループにより全ての線スペクトルについて行う。例えば、２５６点の離散フーリエ変換を行った場合は１〜１２７番目の線スペクトルまで、５１２点の離散フーリエ変換を行った場合は１〜２５５番目の線スペクトルまで、セグメントの全点（１０２４点）について離散フーリエ変換を行った場合は１〜５１１番目の線スペクトルまで、となる。

その結果、図１７に示すような仮想音源１７１の数をＪ（この例ではＪ＝１６）とすると、各仮想音源（出力チャネル）に対する周波数領域の出力音声信号Ｙ_１（ｋ）、・・・、Ｙ_Ｊ（ｋ）が求まる。これら出力が、図２における分離抽出部２２の出力結果となる。

ここで、図１７は、左右のスピーカ及び左右のサラウンドスピーカと全ての仮想音源との位置関係の例を説明するための模式図で、図１８は図１７とは異なる例を説明するための模式図である。図１７の例では、１６個の仮想音源１７１を図９における各スピーカ９１〜９５を結ぶ円と同心円周上に配置したが、図１８の例のように、１６個の仮想音源１８１を四角形（この例では台形）上に並ぶように配置してもよい。図１８の例は、４つの辺のそれぞれにおいて仮想音源１８１が直線上に並ぶような配置例であり、図５で説明すると再生用スピーカ５２ａ〜５２ｅの位置に配置した仮想音源を各辺毎に組み合わせたものである。

また、ここでは例として５.１ｃｈサラウンドシステムの信号の変換処理について説明したが、６.１ｃｈや７.１ｃｈサラウンドシステムでも、同様に変換処理が可能である。この点について図１９及び図２０を参照して説明する。図１９は、６.１ｃｈサラウンドシステムのスピーカ群において、ＬＦＥを除いた６つのスピーカのうち、ダウンミックス後の出力対象スピーカの配置例を示す図である。図２０は、７.１ｃｈサラウンドシステムのスピーカ群において、ＬＦＥを除いた７つのスピーカのうち、ダウンミックス後の出力対象スピーカの配置例を示す図である。

６.１ｃｈシステムにおいても、センター（Ｃ）チャネルをＬチャネルとＲチャネルにダウンミックスし、Ｌ／Ｒ／Ｌ _S ／Ｒ _S ／Ｃ_Bの５ｃｈのうち、図１９において矢印で示すような各チャネルのペアを考慮して、前述と同様の処理を行えばよい。７.１ｃｈシステムにおいても、センター（Ｃ）チャネルをＬチャネルとＲチャネルにダウンミックスし、Ｌ／Ｒ／Ｌ _S ／Ｒ _S ／Ｌ_B／Ｒ_Bの６ｃｈのうち、図２０において矢印で示すような各チャネルのペアを考慮して、前述と同様の処理を行えばよい。

このように、入力音声信号は、５.１ｃｈあるいは６.１ｃｈあるいは７.１ｃｈサラウンド音響信号であり、ダウンミックスする１つのチャネルは前方中央のチャネルの入力音声信号であることが好ましい。これは、前方中央のチャネルは上述したように左右のフロントチャネルとの間で音圧パニングを行っているが、そのような場合でも本例では適切な音像が得られるためである。なお、サブウーファーの音声信号は通常、別に処理されるため、入力音声信号はそれらのいずれかのサラウンド音響信号からサブウーファーのチャネルを除いた音響信号と捉えることもできる。そして、このようなサラウンド音声信号を、センターチャネルをダウンミックスした上で、線スペクトル毎または小帯域毎に、隣合うチャネルのペアのうち、着目するペアを判定し、着目するペアについてのみ相関信号／無相関信号分離を行うことにより、左右のフロントチャネルとの間で音圧パニングを行っていたとしても、サラウンド音響信号を、波面合成再生方式で適切な音像として再生することができる。また、これらのサラウンド音響信号に限らず、９.１ｃｈなどのサラウンド音響信号を入力音声信号として適用することもできる。

以上のようにして本例における分離抽出部２２の処理がなされる。
次に、逆変換部２３の処理がなされる。逆変換部２３は、分離抽出部２２で抽出された上記着目した組み合わせについての相関信号（またはその相関信号及び無相関信号）に対して、もしくはその相関信号から生成された音声信号に対して、もしくはその相関信号及びその無相関信号から生成された音声信号に対して、離散フーリエ逆変換を施す。また、逆変換部２３は、上記着目した組み合わせ以外のチャネルについて変換部２１で変換された音声信号に対しても、離散フーリエ逆変換を施す。

具体的には、逆変換部２３では、分離抽出部２２から出力された各出力チャネルを離散フーリエ逆変換することによって、上述した数式(35)により時間領域の出力音声信号ｙ′_Ｊ（ｍ）を求める。なお、ここでは、上記着目した組み合わせについての相関信号及び無相関信号に対して離散フーリエ逆変換を施すとともに、上記着目した組み合わせ以外のチャネルについて変換部２１で変換された音声信号に対して離散フーリエ逆変換を施す例を挙げているが、他の場合も同様である。

数式(35)に関し、数式(36)、(37)で説明したように、本例においても離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′_Ｊ（ｍ）も窓関数が乗算された状態になっている。したがって、そうして得られた信号に、数式(2)に示す窓関数を再度乗算し、１つ前に処理したセグメントの先頭から１／４セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。

次に、図２１〜図２４を参照して各スピーカに対する音声信号の生成について説明する。図２１は、非特許文献１に記載の技術において、１つの直線上に並べたスピーカ群の背後に仮想音源を設けた場合に、各仮想音源に対応する音を出力するスピーカについて説明するための模式図である。図２２〜図２４は、図１の音声信号再生装置におけるスピーカ群の配置例を説明するための模式図である。

本例における音声出力信号生成部２４では、逆変換部２３で生成した各仮想音源の音声信号を、上述の非特許文献１に記載の技術に則って、各スピーカに対する音声信号を生成する。ただし、非特許文献１に記載の技術では、図２１に示すように、１つの直線上に並べたスピーカ群（スピーカアレイ）２１１の背後に仮想音源２１２ａ〜２１２ｅがある場合に、「どのスピーカが、どの仮想音源に対応する音を出力するか」を判定するために、仮想音源（仮想音源２１２ｂについて図示）からスピーカアレイ２１１の配列方向を示す直線に下ろした垂線と、仮想音源２１２ｂとスピーカを結んだ線とがなす角度ψが、ある一定値より小さい場合に、そのスピーカはその仮想音源２１２ｂの音を出力する、という方法が採用されている。

しかし、図１２〜図１６で適用した仮想音源の配置例や図１７や図１８で説明した仮想音源の配置例では、少なくとも一部で一直線上に並ばないように配列させたスピーカ群が必要であり、例えば図２２で例示するような各仮想音源２２２と各スピーカ２２１の配置が必要となる。そのため、非特許文献１に記載の方法では、ある仮想音源（例えば仮想音源２２２ａ）の音が、それと対面するスピーカ群２２１ｂからも出力されてしまい、音像定位に悪影響を及ぼす。

したがって、例えば図２２の仮想音源２２２ａの音を、スピーカ群２２１のうちどのスピーカが出力するかどうかの判定には、各仮想音源２２２を配置した円の中心点２２４と仮想音源２２２ａとを結んだ直線と、判定するスピーカ（例えば図２２のスピーカ２２１ａ）と中心点２２４とを結んだ直線とがなす角度ψａが、ある一定値より小さい場合に、スピーカ２２１ａは、仮想音源２２２ａの音を出力すると判定する。これを全てのスピーカと全ての仮想音源の組み合わせに対して行うことによって、図２２のような配置をする場合でも各スピーカの出力する音声信号を決定することが可能となる。

このようにして、音声信号処理部１３は、マルチチャネル再生方式の５つ以上のチャネルの入力音声信号を、仮想的に存在する音源である仮想音源に対する音像としてスピーカ群により再生させるために変換することができる。ここで、図２２で例示し後述の図２３、図２４で例示するように、本例におけるスピーカ群は、少なくとも一部で一直線上に並ばないように配列されており、仮想音源とスピーカそれぞれと中心点とを結んだ直線がなす角度によって、出力対象とするスピーカを決定する。

また、図２３で例示するように、スピーカ群２３１を円周上に並べた場合についても、同じ方法を用いることによって、各仮想音源２３２に対する音声信号を決定することが可能となる。

また、例えば図１０における左サラウンドスピーカ９４と右サラウンドスピーカ９５のペアには着目しないという制約をつけた上で、前述の処理を行うと、音声信号が割り当てられる仮想音源は、図２４に示すような仮想音源２４２（この例では１３個の仮想音源２４２）に限定され、それらの仮想音源２４２を、全周囲ではなく図２４に示すように三方のみを囲う配置のスピーカ群２４１で出力することも可能である。

以上、説明したように、本例における音声信号処理部１３でなした処理は、着目ペアについてのみ相関信号・無相関信号に分離した上で仮想音源（または実在のスピーカ）への割り当てを行う処理であり、この処理は、同じ線スペクトルあるいは小帯域に属する音像は１つであるといった仮定を置くことを意味している。そして、その仮定では正確な音像位置を再現するための変換処理が可能となる。よって、このような変換処理により、マルチチャネル再生方式の５つ以上のチャネルの入力音声信号を、スピーカ群を用いて再生する際に適切な音像を提供できる音声信号に変換することができる。

特に、本発明では着目ペアの判定を、電力の大きさを用いて、もしくは電力の大きさ及び相関係数（つまり相関係数の大きさ）を用いて行っている。そのため、ダウンミックス元のチャネルの信号（この例ではＣ信号）に含まれる周波数成分については、ダウンミックス先のペアの電力が他のペアの電力に比べて大きくなり、ダウンミックス先のペアが着目ペアに決定される。したがって、センターチャネル信号と左フロントチャネル信号との間、あるいは、センターチャネル信号と右フロントチャネル信号との間で、音圧パニングを行っている場合にも、適切な音像に変換することができる。無論、他の周波数成分（この例では、Ｃ信号に含まれない周波数成分であって、元のＬ、Ｒ、Ｌ_S、Ｒ_Sの信号に含まれる周波数成分）については、他のペアが選択された結果、同様に適切な音像に変換することができる。

次に、本発明の実装について簡単に説明する。本発明は、例えばホームシアターシステムやミニシアターシステムなど、映像の伴う装置に利用できる。図２５は、図１の音声信号再生装置を備えた映像表示システムの構成例を示す図である。図２５で示す部屋２５０のように、本発明に係る音声信号再生装置は、部屋の壁の三方（あるいは四方）にスピーカ群２５１〜２５３を並べて取り付けたスピーカシステムに適用することができる。そして、図２５で例示するように、テレビ装置等の映像表示装置２５４にこのスピーカシステムを接続し、映像表示装置２５４で表示させた映像に対応する音声をスピーカ群２５１〜２５３から出力することもできる。

さらに、本例においても、線スペクトル毎（または小帯域毎）に図４で例示したθや数式(14)のＰ_Ｓ ^（ｋ）が得られる。よって、本例においても、スピーカ群２５１〜２５３の各スピーカの傍にＬＥＤ２５５〜２５７を配置したように三方や四方（あるいは円形状）に配置したアレイスピーカに複数の発光部を設けておけば、図８で説明したように音の強さに応じて発光色を変化させたり発光強度を変化させたりすることが、三方や四方（あるいは円形状）で可能となる。また、受聴者の前方のみ、ＬＥＤ２５６の代わりにあるいはＬＥＤ２５６に加えて、図７で例示した棒グラフ７２を映像表示装置２５４に表示させることもできる。

なお、上述した各例において適用可能な波面合成再生方式としては、上述したようにスピーカアレイ（複数のスピーカ）を備えて仮想音源に対する音像としてそれらのスピーカから出力するようにする方式であればよく、非特許文献１に記載のＷＦＳ方式の他、人間の音像知覚に関する現象としての先行音効果（ハース効果）を利用した方式など様々な方式が挙げられる。ここで、先行音効果とは、同一の音声を複数の音源から再生し、音源それぞれから聴取者に到達する各音声に小さな時間差がある場合、先行して到達した音声の音源方向に音像が定位する効果を指し示したものである。この効果を利用すれば、仮想音源位置に音像を知覚させることが可能となる。ただし、その効果だけで音像を明確に知覚させることは難しい。ここで、人間は音圧を最も高く感じる方向に音像を知覚するという性質も持ち合わせている。したがって、音声信号再生装置において、上述の先行音効果と、この最大音圧方向知覚の効果とを組み合わせ、これにより、少ない数のスピーカでも仮想音源の方向に音像を知覚させることが可能になる。

以上、本発明に係る音声信号再生装置の様々な例について、入力音声信号がマルチチャネル再生方式であることを前提に説明した。入力音声信号が波面合成再生方式の音声信号である場合について補足的に説明する。この場合には、本発明の主たる特徴である音像表示処理のように相関信号の分離等の処理を行わずとも、入力音声信号が示す音源位置の情報に合う位置にその信号電力値（または音圧レベル）を示す情報を表示し、かつ例えば波面合成再生方式でスピーカアレイから音声出力すればよい。これにより、入力音声信号が波面合成再生方式の音声信号である場合においても、聴覚と知覚とで音像位置が一致するように音像位置を表示させることは可能である。

また、例えば図１で例示した音声信号処理部１３や表示制御部１８における各構成要素など、本発明に係る音声信号再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。表示部１９を除き、上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。

また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声信号再生装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。

以上、本発明に係る音声信号再生装置について説明したが、処理の流れをフロー図で例示したように、本発明は、音声信号を再生する音声信号再生方法としての形態も採り得る。この音声信号再生方法は、次の分離ステップ、算出ステップ、加算ステップ、及び音像表示ステップを含む。

分離ステップは、分離部が、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離するステップである。算出ステップは、算出部が、分離ステップで分離された各相関信号について、音像方向及び信号電力値を算出するステップである。加算ステップは、加算部が、各相関信号について、音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに信号電力値を割り当て、音像方向グループ毎に信号電力値の加算値を求めるステップである。音像表示ステップは、音像表示部が、複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての加算値を示す情報を表示するステップである。その他の応用例については、音声信号再生装置について説明した通りであり、その説明を省略する。

なお、上記プログラムコード自体は、換言すると、この音声信号再生方法をコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離ステップと、分離ステップで分離された各相関信号について、音像方向及び信号電力値を算出する算出ステップと、各相関信号について、音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに信号電力値を割り当て、音像方向グループ毎に信号電力値の加算値を求める加算ステップと、複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての加算値を示す情報を表示する音像表示ステップと、を実行させるためのプログラムである。その他の応用例については、音声信号再生装置について説明した通りであり、その説明を省略する。

以上説明したように、本発明に係る音声信号再生装置は、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離部と、該分離部で分離された各相関信号について、音像方向及び信号電力値を算出する算出部と、各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算部と、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示部と、を備えたことを特徴としたものである。これにより、聴覚と知覚とで音像位置が一致するように音像位置を表示させることができ、受聴者の没入感を高めることができる。

前記音像表示部は、棒グラフ形式で、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示するようにしてもよい。これにより、受聴者の没入感をより増すことができる。

もしくは、前記音像表示部は、複数の発光部を有し、前記複数の音像方向グループのそれぞれに対応する位置の前記発光部の発光色を、各音像方向グループについての前記加算値を示す情報に応じて変化させるようにしてもよい。音の強さに応じて発光色を変化させることで、例えば音楽ビデオを再生している場合や音楽を再生している場合に、ライブ会場での感覚を受聴者に与えることができる。

もしくは、前記音像表示部は、複数の発光部を有し、前記複数の音像方向グループのそれぞれに対応する位置の前記発光部の発光強度を、各音像方向グループについての前記加算値を示す情報に応じて変化させるようにしてもよい。音の強さに応じて発光強度を変化させることで、例えば音楽ビデオを再生している場合や音楽を再生している場合に、ライブ会場での感覚を受聴者に与えることができる。

本発明に係る音声信号再生方法は、分離部が、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離ステップと、算出部が、前記分離ステップで分離された各相関信号について、音像方向及び信号電力値を算出する算出ステップと、加算部が、各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算ステップと、音像表示部が、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示ステップと、を含むことを特徴としたものである。これにより、聴覚と知覚とで音像位置が一致するように音像位置を表示させることができ、受聴者の没入感を高めることができる。

本発明に係るプログラムは、コンピュータに、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離ステップと、前記分離ステップで分離された各相関信号について、音像方向及び信号電力値を算出する算出ステップと、各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算ステップと、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示ステップと、を実行させるためのプログラムである。これにより、本発明の機能をプログラムとして提供することができる。

本発明に係る記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。これにより、上記プログラムを記録媒体で流通させることができる。

１０…音声信号再生装置、１１…デコーダ、１２…音声信号抽出部、１３…音声信号処理部、１４…Ｄ／Ａコンバータ、１５…増幅器、１６，１６ａ，１６ｂ，１６ｃ…スピーカ、１７…スピーカアレイ、１８…表示制御部、１８ａ…加算部、１９…表示部、２１…変換部、２２…分離抽出部、２２ａ…分離部、２２ｂ…算出部、２３…逆変換部、２４…音声出力信号生成部、７０…テレビ装置、７１…表示パネル、７２…棒グラフ、７３ａ，７３ｂ，７３ｃ，…情報、８１ａ，８１ｂ，８１ｃ…ＬＥＤ。

Claims (5)

1. ２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離部と、
   該分離部で分離された各相関信号について、音像方向及び信号電力値を算出する算出部と、
   各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算部と、
   前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示部と、
   を備えたことを特徴とする音声信号再生装置。
2. 前記音像表示部は、棒グラフ形式で、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示することを特徴とする請求項１に記載の音声信号再生装置。
3. 前記音像表示部は、複数の発光部を有し、前記複数の音像方向グループのそれぞれに対応する位置の前記発光部の発光色を、各音像方向グループについての前記加算値を示す情報に応じて変化させることを特徴とする請求項１に記載の音声信号再生装置。
4. 前記音像表示部は、複数の発光部を有し、前記複数の音像方向グループのそれぞれに対応する位置の前記発光部の発光強度を、各音像方向グループについての前記加算値を示す情報に応じて変化させることを特徴とする請求項１に記載の音声信号再生装置。
5. 分離部が、２つの音声信号を、周波数毎または周波数帯域毎に周波数についての相関信号と無相関信号とに分離する分離ステップと、
   算出部が、前記分離ステップで分離された各相関信号について、音像方向及び信号電力値を算出する算出ステップと、
   加算部が、各相関信号について、前記音像方向に基づき、予め定められた複数の音像方向グループのうちの１つに前記信号電力値を割り当て、該音像方向グループ毎に前記信号電力値の加算値を求める加算ステップと、
   音像表示部が、前記複数の音像方向グループのそれぞれに対応する位置に各音像方向グループについての前記加算値を示す情報を表示する音像表示ステップと、
   を含むことを特徴とする音声信号再生方法。

Images