JP7461156B2 - 音声処理装置、音声出力装置、テレビジョン受像機、音声処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、音声処理装置、音声出力装置、テレビジョン受像機、音声処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体に関する。

実用放送が新４Ｋ８Ｋ衛星放送という名称で開始された高度ＢＳ放送においては、映像の高解像度化だけでなく、音声に関しても２２．２ｃｈ（以下、ｃｈは「チャンネル」を示す）という高度な立体音響信号を送信している。これらの放送にて送られてくる２２．２ｃｈ及び他ｃｈの音声信号を再現させるためには、２２個のＳＰ（以下、ＳＰは「スピーカ」を示す）及び２個の低域ＳＰを所定の位置に設置し、ＳＰを駆動するために２４ｃｈのアンプが必要である。

上記の立体音響信号を、サウンドバー設置位置、テレビ画面サイズに基づく上下スピーカの位置に合わせて拡がり感を最適化して再生するために、２２．２ｃｈの音声データを、サラウンドチャンネル係数を任意に設定して１４．２ｃｈ等の音声データにダウンミックスする手法が提示されている（特許文献１）。

特開2018-121309号公報（2018年8月2日公開）

しかしながら、上述のような従来技術は、サラウンドチャンネル係数などをサウンドバー設置位置やテレビ画面サイズに基づいて設定している為、例えば２画面表示やＰｉｎＰ（Picture in Picture）等のように映像がテレビ画面サイズよりも小さく縮小表示される結果、映像の中心と画面の中心とがずれる場合に、映像に対応する音声の出力位置と、画面の中心に対してずれて表示された映像の表示位置との間に視聴者が違和感を覚えるという問題がある。

本発明の一態様は、画面上に映像が表示される領域及び態様と、その映像に対応する音声の出力位置とを調和させることができる音声処理装置、音声出力装置、テレビジョン受像機、音声処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る音声処理装置は、画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理装置において、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部を備え、前記音声データ生成部は、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、前記音声データ生成部は、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスすることを特徴とする。

上記の課題を解決するために、本発明の一態様に係る音声出力装置は、本発明の一態様に係る音声処理装置と、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーと、を備えていることを特徴とする。

上記の課題を解決するために、本発明の一態様に係るテレビジョン受像機は、本発明の一態様に係る音声出力装置を備えていることを特徴とする。

上記の課題を解決するために、本発明の一態様に係る音声処理方法は、画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理方法であって、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成ステップを包含し、前記音声データ生成ステップは、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、前記音声データ生成ステップは、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスすることを特徴とする。

上記の課題を解決するために、本発明の一態様に係るプログラムは、本発明の一態様に係る音声処理装置としてコンピュータを機能させるためのプログラムであって、上記音声データ生成部としてコンピュータを機能させる。

上記の課題を解決するために、本発明の一態様に係るコンピュータ読み取り可能な記録媒体は、本発明の一態様に係るプログラムを記録している。

本発明の一態様によれば、画面上に映像が表示される領域及び態様と、その映像に対応する音声の出力位置とを調和させることができる。

実施形態１に係るテレビジョン受像機のブロック図である。 上記テレビジョン受像機に設けられた音声出力装置のブロック図である。 上記テレビジョン受像機の外観を示す正面図である。 上記テレビジョン受像機に設けられた音声処理装置が取得する２２．２ｃｈの音声データのスピーカ位置を示す図である。 上記音声処理装置が生成する１４．２ｃｈの音声データのスピーカ位置を示す図である。 上記音声処理装置が実行するダウンミックスの計算式を示す図である。 上記テレビジョン受像機に設けられた映像処理装置が左右反転表示をするときに比較例に係る音声処理装置が実行するダウンミックスを説明するための斜視図である。 上記テレビジョン受像機に設けられた映像処理装置が左右反転表示をするときに上記音声処理装置が実行するダウンミックスを説明するための斜視図である。 上記音声処理装置が取得する２２．２ｃｈの音声データを接続スピーカの数に応じてダウンミックスする態様を示す図である。 実施形態２に係るテレビジョン受像機のブロック図である。 上記テレビジョン受像機に設けられた音声出力装置のブロック図である。 上記テレビジョン受像機の画面上に縮小表示された映像を示す図である。 上記画面上に映像が縮小表示されたときに上記音声処理装置が実行するダウンミックスを説明するための斜視図である。 上記画面上に映像が縮小表示されたときに上記音声処理装置が実行するダウンミックスとスピーカとの関係を示す図である。 通常表示の場合の画面とスピーカとの間の関係を示す図である。 ２画面表示の場合の画面とスピーカとの間の関係を示す図である。 ２画面表示の場合の角度θの求め方を説明するための図である。 映像の主要部分の位置と映像の左右（上下）方向の中心との角度差を説明するための図である。

〔実施形態１〕
（テレビジョン受像機２の構成）
以下、本発明の実施形態１について、詳細に説明する。図１は実施形態１に係るテレビジョン受像機２のブロック図である。図２はテレビジョン受像機２に設けられた音声出力装置１のブロック図である。図３はテレビジョン受像機２の外観を示す正面図である。

テレビジョン受像機２は、放送波を受信するチューナ５と、チューナ５により受信された放送波に含まれる符号化されたデータを復号化し、映像情報、音声情報、及び付帯情報を生成するデコード回路６と、デコード回路６により生成された映像情報に基づく映像の画質を調整し、スケーリングを行う映像処理装置７と、映像処理装置７により調整、スケーリングされた映像１５を表示するテレビ表示部１０と、デコード回路６により生成された音声情報に基づく音声を出力するための音声出力装置１と、を備える。テレビ表示部１０は、例えばテレビジョン受像機２が液晶テレビであれば、液晶パネル、バックライト、及び表示用ドライバを含む。

音声出力装置１は、デコード回路６により生成された音声情報のレベル、周波数特性等を調整し、ダウンミックスを行う音声処理装置１１と、出力チャンネル毎の音声データを出力する複数のスピーカ１６が横方向に配列されてなるサウンドバー１２（第１のサウンドバー）及びサウンドバー１３（第２のサウンドバー）とを有する。

テレビジョン受像機２には、映像処理装置７及び音声処理装置１１の動作を制御するメインマイコン８が設けられる。

スピーカ１６は、音声を出力し、２２．２ｃｈの音声データであれば２４ｃｈのスピーカ１６から音声が出力され、５．１ｃｈの音声データであれば６ｃｈのスピーカ１６から音声が出力される。

サウンドバー１２・１３のそれぞれは、音声処理装置１１により調整、ダウンミックスされた音声情報を増幅するＡＶアンプ９と、ＡＶアンプ９により増幅された音声情報に基づいて音声を出力する複数のスピーカ１６とを含む。

テレビジョン受像機２の前面には、サウンドバー１２、１３及び画面１４が配置されている。サウンドバー１２は、画面１４の上側に配置されている。サウンドバー１３は、画面１４の下側に配置されている。

音声処理装置１１は、画面１４に表示される映像１５に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する。そして、音声処理装置１１は、サウンドバー１２・１３とを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、画面１４に表示される映像１５に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部１１１を含む。

この音声データ生成部１１１は、画面１４の領域と映像１５が表示される領域及び態様との間の関係に応じて、映像に対応する複数の入力チャンネルの音声データをダウンミックスする。

（音声処理装置１１の処理）
音声処理装置１１は、２２．２ｃｈの音声データを取得し、ダウンミックスすることによって、１４．２ｃｈの音声データを生成する。

以下の説明では、音声データの各チャンネルと当該チャンネルが想定するスピーカ位置とを同じ記号を用いて説明する。このスピーカ位置はスピーカ１６の位置に相当する。

図４は、本実施形態に係る音声処理装置１１が取得する２２．２ｃｈの音声データが想定するスピーカ位置を示す図である。図４に示すように、２２．２ｃｈの音声データは、前に配置された１１個のＳＰ（ＴｐＦＬ、ＴｐＦＣ、ＴｐＦＲ、ＦＬ、ＦＬＣ、ＦＣ、ＦＲＣ、ＦＲ、ＢｔＦＬ、ＢｔＦＣ、ＢｔＦＲ）、中間に配置された５個のＳＰ（ＴｐＳｉＬ、ＴｐＣ、ＴｐＳｉＲ、ＳｉＬ、ＳｉＲ）、後ろに配置された６個のＳＰ（ＴｐＢＬ、ＴｐＢＣ、ＴｐＢＲ、ＢＬ、ＢＣ、ＢＲ）から出力されることが想定されている。また、２２．２ｃｈの音声データの各チャンネルは、上層である９ｃｈ（ＴｐＦＬ、ＴｐＦＣ、ＴｐＦＲ、ＴｐＳｉＬ、ＴｐＣ、ＴｐＳｉＲ、ＴｐＢＬ、ＴｐＢＣ、ＴｐＢＲ）、中層である１０ｃｈ（ＦＬ、ＦＬＣ、ＦＣ、ＦＲＣ、ＦＲ、ＳｉＬ、ＳｉＲ、ＢＬ、ＢＣ、ＢＲ）、下層である５ｃｈ（ＢｔＦＬ、ＢｔＦＣ、ＢｔＦＲ、ＬＦＥ１、ＬＦＥ２）に分類される。

なお、ウーハ０．２ｃｈの音声データには、下層の２ｃｈ（ＬＦＥ１、ＬＦＥ２）が対応する。

図５は、本実施形態に係る音声処理装置１１が生成する１４．２ｃｈの音声データのスピーカ位置を示す図である。図５に示すように、１４．２ｃｈの音声データは、前に配置された６個のＳＰ（ＦＬ＿Ｔｐ、ＦＣ＿Ｔｐ、ＦＲ＿Ｔｐ、ＦＬ＿Ｂｔ、ＦＣ＿Ｂｔ、ＦＲ＿Ｂｔ）、中間に配置された４個の仮想ＳＰ（ＳＬ＿Ｔｐ、ＳＲ＿Ｔｐ、ＳＬ＿Ｂｔ、ＳＲ＿Ｂｔ）、後ろに配置された４個の仮想ＳＰ（ＳＢＬ＿Ｔｐ、ＳＢＲ＿Ｔｐ、ＳＢＬ＿Ｂｔ、ＳＢＲ＿Ｂｔ）を出力位置として出力される。図５において、仮想ＳＰは破線の輪郭により示される。

音声出力装置１は、７．１ｃｈを有する２個のサウンドバー１２・１３を上下に配置し、対となる２個のウーハを下層に配置することにより、１４．２ｃｈの音声データを出力可能である。ここで、２個のサウンドバー１２・１３のうちより上層に配置されたサウンドバー１２をSoundBar_Tpと表し、より下層に配置されたサウンドバー１３をSoundBar_Btと表す。

サウンドバー１２（SoundBar_Tp）は、図５に示すように、ＳＢＬ＿Ｔｐ、ＳＬ＿Ｔｐ、ＦＬ＿Ｔｐ、ＦＣ＿Ｔｐ、ＦＲ＿Ｔｐ、ＳＲ＿Ｔｐ、ＳＢＲ＿Ｔｐの７個のチャンネルのそれぞれに対応した音声を再生するスピーカ群を有している。図５は、各々のチャンネルに対応したスピーカを個別に有する例を示す。ここで、図５において破線で示した各チャンネル（ＳＬ＿Ｔｐ、ＳＲ＿Ｔｐ、ＳＢＬ＿Ｔｐ、ＳＢＲ＿Ｔｐ（計４つ））は、仮想ＳＰ（ＳＬ＿Ｔｐ、ＳＲ＿Ｔｐ、ＳＢＬ＿Ｔｐ、ＳＢＲ＿Ｔｐ）を出力位置とするものであり、サウンドバー１２（SoundBar_Tp）の対応する仮想スピーカを再生するためのスピーカ群を有する。

同様に、サウンドバー１３（SoundBar_Bt）は、図５に示すように、ＳＢＬ＿Ｂｔ、ＳＬ＿Ｂｔ、ＦＬ＿Ｂｔ、ＦＣ＿Ｂｔ、ＦＲ＿Ｂｔ、ＳＲ＿Ｂｔ、ＳＢＲ＿Ｂｔの７個のチャンネルのそれぞれに対応した音声を再生するスピーカ群を有している。図５は、各々のチャンネルに対応したスピーカを個別に有する例を示す。ここで、図５において破線で示した各チャンネル（ＳＬ＿Ｂｔ、ＳＲ＿Ｂｔ、ＳＢＬ＿Ｂｔ、ＳＢＲ＿Ｂｔ（計４つ））は、上述の仮想ＳＰ（ＳＬ＿Ｂｔ、ＳＲ＿Ｂｔ、ＳＢＬ＿Ｂｔ、ＳＢＲ＿Ｂｔ）に対応するものであり、サウンドバー１３（SoundBar_Bt）の対応する仮想スピーカを再生するためのスピーカ群を有する。

音声出力装置１は、上記のように構成されるスピーカ１６を駆動するＡＶアンプ９を備える。

（通常表示時のダウンミックス処理手順）
まず、映像１５が画面１４の全体に通常表示されるときのダウンミックスの処理手順を説明する。

音声処理装置１１において、音声データ生成部１１１は、複数の入力チャンネルの上層の音声データを、複数の出力チャンネルの上層の音声データにダウンミックスし、複数の入力チャンネルの中層の音声データを、複数の出力チャンネルの中層の音声データにダウンミックスし、複数の入力チャンネルの下層の音声データを、複数の出力チャンネルの中層の音声データに併合する。

２２．２ｃｈの音声データを１４．２ｃｈの音声データにダウンミックスする場合に、音声データ生成部１１１は、２２．２ｃｈの上層９ｃｈの音声データを１４．２ｃｈの上層７ｃｈの音声データ（ＳＢＬ＿Ｔｐ、ＳＬ＿Ｔｐ、ＦＬ＿Ｔｐ、ＦＣ＿Ｔｐ、ＦＲ＿Ｔｐ、ＳＲ＿Ｔｐ、ＳＢＲ＿Ｔｐ）にダウンミックスする。音声データ生成部１１１は、２２．２ｃｈの中層１０ｃｈの音声データを１４．２ｃｈの中層７ｃｈの音声データ（ＳＢＬ＿Ｂｔ、ＳＬ＿Ｂｔ、ＦＬ＿Ｂｔ、ＦＣ＿Ｂｔ、ＦＲ＿Ｂｔ、ＳＲ＿Ｂｔ、ＳＢＲ＿Ｂｔ）にダウンミックスする。音声データ生成部１１１は、２２．２ｃｈの下層３ｃｈの音声データを１４．２ｃｈの中層７ｃｈの音声データに併合する。

図６は、本実施形態に係るダウンミックスの計算式を示す図である。

音声データ生成部１１１は、中層の分配係数を調整することにより、音声の厚み感を表現する。ａ、ｋ、ｖ１、ｖ２、ｗ１、ｗ２は、一般的な係数である。

係数ａは、ダウンミックス処理時にデータがオーバーフローしないようにするために設定される係数であり、０から１の間の値が任意に設定される。係数ｋは、サラウンドチャンネルゲイン係数であり、放送により送られてくる係数である。ｖ１、ｖ２は垂直方向係数（上下分配）であり、０から１の値がそれぞれ任意に設定される。また、上記垂直方向係数の関係は、ｖ１＋ｖ２＝１となる。ｗ１、ｗ２は、水平方向係数であり、０から１の値がそれぞれ任意に設定される。また、上記水平方向係数の関係は、ｗ１＋ｗ２＝１となる。これらの係数は、上下ＳＰの位置（サウンドバー設置位置、テレビ画面サイズ）に合わせて、拡がり感を最適化するために任意に設定可能とする。

式１～７は、１４．２ｃｈの中層の音声データの計算式である。式１に示すように、音声データ生成部１１１は、ＦＬ、ＦＬＣ、及び、ＢｔＦＬを用いて、ＦＬ＿Ｂｔを生成する。式２に示すように、音声データ生成部１１１は、ＦＲ、ＦＲＣ、及び、ＢｔＦＲを用いて、ＦＲ＿Ｂｔを生成する。式３に示すように、音声データ生成部１１１は、ＦＣ、ＦＲＣ、ＦＬＣ、及び、ＢｔＦＣを用いて、ＦＣ＿Ｂｔを生成する。式４に示すように、音声データ生成部１１１は、ＳｉＬを用いて、ＳＬ＿Ｂｔを生成する。式５に示すように、音声データ生成部１１１は、ＳｉＲを用いて、ＳＲ＿Ｂｔを生成する。式６に示すように、音声データ生成部１１１は、ＢＬ、及び、ＢＣを用いて、ＳＢＬ＿Ｂｔを生成する。式７に示すように、音声データ生成部１１１は、ＢＲ、及び、ＢＣを用いて、ＳＢＲ＿Ｂｔを生成する。

式８に示すように、音声データ生成部１１１は、２２．２ｃｈのＬＦＥ１を用いて、１４．２ｃｈのＬＦＥ１を生成する。

式９～１５は、１４．２ｃｈの上層の音声データの計算式である。式９に示すように、音声データ生成部１１１は、ＦＬ、ＦＬＣ、及び、ＴｐＦＬを用いて、ＦＬ＿Ｔｐを生成する。式１０に示すように、音声データ生成部１１１は、ＦＲ、ＦＲＣ、及び、ＴｐＦＲを用いて、ＦＲ＿Ｔｐを生成する。式１１に示すように、音声データ生成部１１１は、ＦＣ、ＦＲＣ、ＦＬＣ、ＴｐＦＣ、及び、ＴｐＣを用いて、ＦＣ＿Ｔｐを生成する。式１２に示すように、音声データ生成部１１１は、ＴｐＳｉＬを用いて、ＳＬ＿ＴＰを生成する。式１３に示すように、音声データ生成部１１１は、ＴｐＳｉＲを用いて、ＳＲ＿Ｔｐを生成する。式１４に示すように、音声データ生成部１１１は、ＴｐＢＬ、ＴｐＢＣ、及び、ＴｐＣを用いて、ＳＢＬ＿Ｔｐを生成する。式１５に示すように、音声データ生成部１１１は、ＴｐＢＲ、ＴｐＢＣ、及び、ＴｐＣを用いて、ＳＢＲ＿Ｔｐを生成する。

式１６に示すように、音声データ生成部１１１は、２２．２ｃｈのＬＦＥ２を用いて、１４．２ｃｈのＬＦＥ２を生成する。

（左右反転表示時のダウンミックス処理手順）
図７はテレビジョン受像機２に設けられた映像処理装置７が左右反転表示をするときに比較例に係る音声処理装置が実行するダウンミックスを説明するための斜視図である。図８は映像処理装置７が左右反転表示をするときに音声処理装置１１が実行するダウンミックスを説明するための斜視図である。図９は音声処理装置１１が取得する２２．２ｃｈの音声データを接続スピーカ１６の数に応じてダウンミックスする態様を示す図である。

映像処理装置７が映像１５を左右反転した映像１５Ｒを画面１４に表示するとき、比較例に係る音声データ生成部は、サウンドバー１３に対応する１４．２ｃｈのスピーカＦＬ＿Ｂｔの出力を、２２．２ｃｈのスピーカＦＬ・ＦＬＣ・ＢｔＦＬの出力を図６の式１に従って合成することによりダウンミックスする。そして、音声データ生成部は、サウンドバー１２に対応する１４．２ｃｈのスピーカＦＬ＿Ｔｐの出力を、２２．２ｃｈのスピーカＦＬ・ＦＬＣ・ＴｐＦＬの出力を図６の式９に従って合成することによりダウンミックスする。このため、視聴者１７は、左右反転表示された映像１５Ｒの右方から聴こえてくるべき音声が、逆に映像１５Ｒの左方に配置されたスピーカＦＬ＿Ｂｔ・ＦＬ＿Ｔｐから聴こえてくるので、違和感を感じるおそれがある。

そこで、実施形態１に係る音声データ生成部１１１は、映像処理装置７が映像１５を左右反転した映像１５Ｒを画面１４に表示するときに、例えば、下記の式１７に示すように、サウンドバー１３に対応する１４．２ｃｈのスピーカＦＬ＿Ｂｔの出力を、２２．２ｃｈのスピーカＦＲ・ＦＲＣ・ＢｔＦＲの出力を合成することによりダウンミックスする。

ＦＬ＿Ｂｔ＝ａ｛ｖ１（ＦＲ＋ｗ１ＦＲＣ）＋ｋ（ＢｔＦＲ）｝ …（式１７）
そして、音声データ生成部１１１は、下記の式１８に示すように、サウンドバー１２に対応する１４．２ｃｈのスピーカＦＬ＿Ｔｐの出力を、２２．２ｃｈのスピーカＦＲ・ＦＲＣ・ＴｐＦＲの出力を合成することによりダウンミックスする。

ＦＬ＿Ｔｐ＝ａ｛ｖ２（ＦＲ＋ｗ１ＦＲＣ）＋ｋ（ＴｐＦＲ）｝ …（式１８）
このため、視聴者１７は、左右反転表示された映像１５Ｒの左方から聴こえてくるべき音声が、映像１５Ｒの左方に配置されたスピーカＦＬ＿Ｂｔ・ＦＬ＿Ｔｐから聴こえてくるので、違和感が消滅する。

音声データ生成部１１１は、放送波に含まれる２２．２ｃｈの音声データを、音声処理装置１１に接続されているスピーカ１６の数に応じてダウンミックスする。図９は、２２．２ｃｈの音声データを６ｃｈの音声データにダウンミックスする例を示している。

（実施形態１の効果）
以上のように実施形態１によれば、音声データ生成部１１１は、画面１４の領域と映像１５Ｒが表示される領域及び態様との間の関係に応じて、複数の入力チャンネルの左方の音声データを、複数の出力チャンネルの右方の音声データにダウンミックスし、複数の入力チャンネルの右方の音声データを、複数の出力チャンネルの左方の音声データにダウンミックスするように、映像１５Ｒに対応する複数の入力チャンネルの音声データをダウンミックスする。

このため、左右反転表示された映像１５Ｒと、その映像１５Ｒに対応する音声の出力位置とを調和させることができる。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図１０は実施形態２に係るテレビジョン受像機２Ａのブロック図である。図１１はテレビジョン受像機２Ａに設けられた音声出力装置１Ａのブロック図である。図１２はテレビジョン受像機２Ａの画面１４上に縮小表示された映像１５Ｓを示す図である。図１３は画面１４上に映像１５Ｓが縮小表示されたときに音声処理装置１１Ａが実行するダウンミックスを説明するための斜視図である。図１４は画面１４上に映像１５Ｓが縮小表示されたときに音声処理装置１１が実行するダウンミックスとスピーカとの関係を示す図である。

テレビジョン受像機２Ａは音声出力装置１Ａを備え、音声出力装置１Ａは音声処理装置１１Ａを有する。音声処理装置１１Ａは音声データ生成部１１１Ａを含む。

映像処理装置７は、複数のタイトル表示Ｔ１・Ｔ２・Ｔ３と、選択されたタイトル表示Ｔ１・Ｔ２・Ｔ３のうちの一つに対応するコンテンツの内容を示す縮小表示された映像１５Ｓとを画面１４に表示する。例えば、複数のタイトル表示Ｔ１・Ｔ２・Ｔ３は画面１４の右側に表示され、映像１５Ｓは画面１４の左側に表示される。従って、画面１４の中心と画面１４に縮小表示された映像１５Ｓの中心との間にずれが存在する。

音声データ生成部１１１Ａは、画面１４の中心と画面１４に表示された映像１５Ｓの中心との間にずれが存在するときに、画面１４の中心と映像１５Ｓの中心との間のずれに応じて、映像１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスする。

そして、音声データ生成部１１１Ａは、画面１４に表示された映像１５Ｓを視聴する視聴者１７の位置に対応する視点と画面１４の中心とを結ぶ直線Ｌ１と、上記視点と映像１５Ｓの中心とを結ぶ直線Ｌ２とがなす角度θに基づいて、映像１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスする。

画面１４の中心と映像１５Ｓの中心との間のずれが横方向に沿ったずれである場合、音声データ生成部１１１Ａは、サウンドバー１２・１３の横方向に配列された複数のスピーカ１６の出力を横方向にずらすように、複数の入力チャンネルの音声データをダウンミックスする。

音声データ生成部１１１Ａは、画面１４の中心と映像１５Ｓの中心との間のずれが、図１２及び図１４に示すように、横方向に沿った角度θに対応するずれである場合に、画面１４に対応する２２．２ｃｈのスピーカＦＲＣの出力、スピーカＦＣの出力、及びスピーカＦＬＣの出力を以下のように補正する。即ち、音声データ生成部１１１Ａは、２２．２ｃｈのスピーカＦＲＣの出力をスピーカＦＲＣの出力とスピーカＦＲの出力と角度θとに基づいて補正し、スピーカＦＣの出力をスピーカＦＣの出力とスピーカＦＲＣの出力と角度θとに基づいて補正し、及び、スピーカＦＬＣの出力をスピーカＦＬＣの出力とスピーカＦＣの出力と角度θとに基づいて補正する。その後、音声データ生成部１１１Ａは、図４～図６を参照して前述した手順に従って、２２．２ｃｈの音声データを１４．２ｃｈの音声データにダウンミックスする。

図１５は通常表示の場合の画面１４とスピーカとの間の関係を示す図である。図１６は２画面表示の場合の画面１４とスピーカとの間の関係を示す図である。

音声出力する映像の領域と、この映像が表示される画面１４の領域との間の位置関係は、映像の領域の重心と画面１４の領域の重心との間の角度差と、映像の領域の左右方向（又は上下方向）の中点と、画面１４の左右方向（又は上下方向）の中点との間の角度差と、映像の主要部分の位置と映像の左右方向（又は上下方向）の中心との間の角度差とを含む。

画面１４の全体に映像１５が表示される通常表示の場合、画面１４に表示された映像１５を視聴する視聴者１７の位置に対応する視点と画面１４の中心とを結ぶ直線Ｌ１と、上記視点と映像１５の中心とを結ぶ直線Ｌ２とがなす角度θは図１５に示すように零度である。

画面１４の左右に２画面が表示される２画面表示の場合、例えば図１６に示すように画面１４の左方に映像１５Ｓが縮小表示される。このため、画面１４に表示された映像１５Ｓを視聴する視聴者１７の位置に対応する視点と画面１４の中心とを結ぶ直線Ｌ１と、上記視点と映像１５Ｓの中心とを結ぶ直線Ｌ２とがなす角度θは図１６に示すように零度とならず、映像１５Ｓの中心が角度θだけ左方にずれる。

２画面表示になった場合、左方の映像１５Ｓに注目すると、視聴者１７から見た場合、左方の映像１５Ｓの中央位置は、図１６に示すように画面１４の全体の中央位置よりも角度θだけ左に回転している。

例えば、スピーカＦＣ・ＦＬＣ付近に注目すると、映像１５Ｓが角度θだけ左に回転しているので、スピーカＦＣ・ＦＬＣが映像１５Ｓに対応して本来あるべき位置は、スピーカＦＣ・ＦＬＣが角度θだけ左に回転したスピーカＦＣ’・ＦＬＣ’の位置である。

そこで、音声データ生成部１１１Ａはこの回転量を表す角度θに応じて各スピーカのダウンミックスを行う。

調整後のスピーカＦＣの補正式は、
補正ＦＣ＝ＦＣ（θ／θ_ＦＣ）＋ＦＲＣ（（θ_ＦＲＣ－θ）／θ_ＦＲＣ）、
である。

同様に他のスピーカのダウンミックス値も求める。この補正、ダウンミックスを行うことで、映像１５Ｓの中心と音のセンタとを合わせる。例えば、スピーカＦＲＣ・ＦＬＣ・ＦＲの補正式は、
補正ＦＲＣ＝ＦＲＣ（θ／θ_ＦＲＣ）＋ＦＲ（（θ_ＦＲ－θ）／θ_ＦＲ）、
補正ＦＬＣ＝ＦＬＣ（θ／θ_ＦＬＣ）＋ＦＣ（（θ_ＦＣ－θ）／θ_ＦＣ）、
補正ＦＲ＝ＦＲ（θ／θ_ＦＲ）＋ＳＩＲ（（θ_ＳＩＲ－θ）／θ_ＳＩＲ）、
である。

図１７は２画面表示の場合の角度θの求め方を説明するための図である。図１８は映像の主要部分の位置と映像の左右（上下）方向の中心との角度差を説明するための図である。

画面１４に付帯情報付動画を表す映像１５Ｔの中に縮小表示された動画部分を表す映像１５Ｓを視聴する視聴者１７の位置に対応する視点と画面１４の中心とを結ぶ直線Ｌ１と、上記視点と映像１５の中心とを結ぶ直線Ｌ２とがなす角度θは、映像１５Ｔの幅をＷとし、映像１５Ｔの高さをＨとし、画面１４と視聴者１７との間の距離をＬとすると、
ｔａｎ（θ）＝（Ｗ／４）／Ｌ、
なる関係が成立する。これにより角度θを求めることができる。距離Ｌは、ＨＤの場合、Ｈ×３である。距離Ｌはメニューで設定して角度θを算出してもよい。

（実施形態２の効果）
以上のように実施形態２によれば、音声データ生成部１１１Ａは、画面１４の中心と画面１４に表示された映像１５Ｓの中心との間にずれが存在するときに、画面１４の中心と映像１５Ｓの中心との間のずれに応じて、映像１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスする。このため、画面１４の中心と画面１４に表示された映像１５Ｓの中心との間にずれが存在して映像１５Ｓが表示される態様と、その映像１５Ｓに対応する音声の出力位置とを調和させることができる。

〔ソフトウェアによる実現例〕
音声処理装置１１・１１Ａの制御ブロック（音声データ生成部１１１・１１１Ａ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、音声処理装置１１・１１Ａは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る音声処理装置１１・１１Ａは、画面１４に表示される映像１５・１５Ｒ・１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理装置１１において、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバー（サウンドバー１２）と、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバー（サウンドバー１３）とを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面１４に表示される映像１５・１５Ｒ・１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部１１１・１１１Ａを備え、前記音声データ生成部１１１・１１１Ａは、前記画面１４の領域と前記映像１５・１５Ｒ・１５Ｓが表示される領域及び態様との間の関係に応じて、前記映像１５・１５Ｒ・１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスする。

上記の構成によれば、映像に対応する複数の入力チャンネルの音声データが、画面の領域と映像が表示される領域及び態様との間の関係に応じてダウンミックスされる。このため、音声が、画面上に映像が表示される領域及び態様に応じて出力される。この結果、画面上に映像が表示される領域及び態様と、その映像に対応する音声の出力位置とを調和させることができる。

本発明の態様２に係る音声処理装置１１は、上記態様１において、前記音声データ生成部１１１は、前記映像１５Ｒが前記画面１４に左右反転表示されるときに、上記複数の入力チャンネルの左方の音声データを、上記複数の出力チャンネルの右方の音声データにダウンミックスし、上記複数の入力チャンネルの右方の音声データを、上記複数の出力チャンネルの左方の音声データにダウンミックスすることが好ましい。

上記の構成によれば、画面上に映像が左右反転表示される態様と、その映像に対応する音声の出力位置とを調和させることができる。

本発明の態様３に係る音声処理装置１１Ａは、上記態様１において、前記音声データ生成部１１１Ａは、前記画面の中心と前記画面に表示された映像の中心との間にずれが存在するときに、前記画面１４の中心と前記映像１５Ｓの中心との間のずれに応じて、前記映像１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスすることが好ましい。

上記の構成によれば、画面の中心と画面に表示された映像の中心との間にずれが存在して映像が表示される態様と、その映像に対応する音声の出力位置とを調和させることができる。

本発明の態様４に係る音声処理装置１１Ａは、上記態様３において、前記音声データ生成部１１１Ａは、前記画面１４に表示された映像１５Ｓを視聴する視聴者１７の位置に対応する視点と前記画面１４の中心とを結ぶ直線Ｌ１と、前記視点と前記映像１５Ｓの中心とを結ぶ直線Ｌ２とがなす角度θに基づいて、前記映像１５Ｓに対応する複数の入力チャンネルの音声データをダウンミックスすることが好ましい。

上記の構成によれば、視聴者の位置に対応する視点と画面の中心とを結ぶ直線と、視点と映像の中心とを結ぶ直線とがなす角度θで映像が表示される態様と、その映像に対応する音声の出力位置とを調和させることができる。

本発明の態様５に係る音声処理装置１１Ａは、上記態様３において、前記画面１４に表示された映像１５Ｓが、前記画面１４上に縮小表示された映像１５Ｓを含むことが好ましい。

上記の構成によれば、画面の領域と映像が縮小表示された領域との間の関係に応じて、映像に対応する複数の入力チャンネルの音声データをダウンミックスすることができる。

本発明の態様６に係る音声処理装置１１Ａは、上記態様３において、前記画面１４の中心と前記映像１５Ｓの中心との間のずれが横方向に沿ったずれであり、前記音声データ生成部１１１Ａは、前記第１のサウンドバー（サウンドバー１２）の横方向に配列された複数のスピーカ群の出力を横方向にずらすように、前記複数の入力チャンネルの音声データをダウンミックスすることが好ましい。

上記の構成によれば、映像の画面に対する横方向のずれに応じて、映像に対応する複数の入力チャンネルの音声データをダウンミックスすることができる。

本発明の態様７に係る音声処理装置１１・１１Ａは、上記態様１において、上記音声データ生成部１１１・１１１Ａは、上記複数の入力チャンネルの上層の音声データを、上記複数の出力チャンネルの上層の音声データにダウンミックスし、上記複数の入力チャンネルの中層の音声データを、上記複数の出力チャンネルの中層の音声データにダウンミックスし、上記複数の入力チャンネルの下層の音声データを、上記複数の出力チャンネルの中層の音声データに併合することが好ましい。

上記の構成によれば、複数の入力チャンネルの上層の音声データを、複数の出力チャンネルの上層の音声データにダウンミックスし、複数の入力チャンネルの中層及び下層の音声データを、複数の出力チャンネルの中層の音声データにダウンミックス及び併合するので、複数の入力チャンネルの３層（上中下）の音声データを、２個のサウンドバー（上中）で容易に再現することができる。

本発明の態様８に係る音声処理装置１１・１１Ａは、上記態様７において、上記音声データ生成部１１１・１１１Ａは、２２．２ｃｈの音声データを１４．２ｃｈの音声データにダウンミックスする場合に、上記複数の入力チャンネルの上層９ｃｈの音声データを、上記複数の出力チャンネルの上層７ｃｈの音声データにダウンミックスし、上記複数の入力チャンネルの中層１０ｃｈの音声データを、上記複数の出力チャンネルの中層７ｃｈの音声データにダウンミックスし、上記複数の入力チャンネルの下層３ｃｈの音声データを、上記複数の出力チャンネルの中層７ｃｈの音声データに併合することが好ましい。

上記の構成によれば、２２．２ｃｈの音声データを１４．２ｃｈの音声データにダウンミックスする場合に、３層（上中下）の音声データを、２個のサウンドバー（上中）で容易に再現することができる。

本発明の態様９に係る音声出力装置１・１Ａは、本発明の態様１から８の何れか１項に記載の音声処理装置１１・１１Ａと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバー（サウンドバー１２）と、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバー（サウンドバー１３）と、を備えている。

上記の構成によれば、２個のサウンドバーを用いることにより、多チャンネルの音声をダウンミックスして出力することができる。

本発明の態様１０に係るテレビジョン受像機２・２Ａは、本発明の態様９に記載の音声出力装置１・１Ａを備えている。

本発明の態様１１に係る音声処理方法は、画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理方法であって、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成ステップを包含し、前記音声データ生成ステップは、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスする。

本発明の各態様に係る音声処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記音声処理装置が備える各部（ソフトウェア要素）として動作させることにより上記音声処理装置をコンピュータにて実現させる音声処理装置のプログラム、及び、それを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 音声出力装置
２ テレビジョン受像機
１１ 音声処理装置
１２ サウンドバー（第１のサウンドバー）
１３ サウンドバー（第２のサウンドバー）
１１１ 音声データ生成部

Claims (9)

1. 画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理装置において、
   出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部を備え、
   前記音声データ生成部は、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
   前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、
   前記音声データ生成部は、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
   前記画面の中心と前記縮小映像の中心との間のずれが横方向に沿ったずれであり、
   前記複数のスピーカ群が、前記第１のサウンドバーの横方向にこの順番に配列された第１スピーカ、第２スピーカ、及び第３スピーカを含み、
   前記画面の中心と前記縮小映像の中心との間に前記ずれが存在しないときに、前記第１スピーカが第１出力を出力し、前記第２スピーカが第２出力を出力し、前記第３スピーカが第３出力を出力し、
   前記画面の中心と前記縮小映像の中心との間に前記ずれが存在するときに、前記音声データ生成部は、前記第１スピーカが前記第１出力と前記第２出力とに基づいて出力し、前記第２スピーカが前記第２出力と前記第３出力とに基づいて出力するように、前記複数の入力チャンネルの音声データをダウンミックスすることを特徴とする音声処理装置。
2. 前記音声データ生成部は、前記画面に表示された映像を視聴する視聴者の位置に対応する視点と前記画面の中心とを結ぶ直線と、前記視点と前記映像の中心とを結ぶ直線とがなす角度θに基づいて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスする請求項１に記載の音声処理装置。
3. 前記音声データ生成部は、
   前記複数の入力チャンネルの上層の音声データを、前記複数の出力チャンネルの上層の音声データにダウンミックスし、
   前記複数の入力チャンネルの中層の音声データを、前記複数の出力チャンネルの中層の音声データにダウンミックスし、
   前記複数の入力チャンネルの下層の音声データを、前記複数の出力チャンネルの中層の音声データに併合する請求項１に記載の音声処理装置。
4. 前記音声データ生成部は、
   ２２．２ｃｈの音声データを１４．２ｃｈの音声データにダウンミックスする場合に、
   前記複数の入力チャンネルの上層９ｃｈの音声データを、前記複数の出力チャンネルの上層７ｃｈの音声データにダウンミックスし、
   前記複数の入力チャンネルの中層１０ｃｈの音声データを、前記複数の出力チャンネルの中層７ｃｈの音声データにダウンミックスし、
   前記複数の入力チャンネルの下層３ｃｈの音声データを、前記複数の出力チャンネルの中層７ｃｈの音声データに併合する請求項３に記載の音声処理装置。
5. 請求項１から４の何れか１項に記載の音声処理装置と、
   出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、
   出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーと、
   を備えていることを特徴とする音声出力装置。
6. 請求項５に記載の音声出力装置を備えていることを特徴とするテレビジョン受像機。
7. 画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理方法であって、
   出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第１のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第２のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成ステップを包含し、
   前記音声データ生成ステップは、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
   前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、
   前記音声データ生成ステップは、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
   前記画面の中心と前記縮小映像の中心との間のずれが横方向に沿ったずれであり、
   前記複数のスピーカ群が、前記第１のサウンドバーの横方向にこの順番に配列された第１スピーカ、第２スピーカ、及び第３スピーカを含み、
   前記画面の中心と前記縮小映像の中心との間に前記ずれが存在しないときに、前記第１スピーカが第１出力を出力し、前記第２スピーカが第２出力を出力し、前記第３スピーカが第３出力を出力し、
   前記画面の中心と前記縮小映像の中心との間に前記ずれが存在するときに、前記音声データ生成ステップは、前記第１スピーカが前記第１出力と前記第２出力とに基づいて出力し、前記第２スピーカが前記第２出力と前記第３出力とに基づいて出力するように、前記複数の入力チャンネルの音声データをダウンミックスすることを特徴とする音声処理方法。
8. 請求項１から４の何れか１項に記載の音声処理装置としてコンピュータを機能させるためのプログラムであって、前記音声データ生成部としてコンピュータを機能させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images