JP2010074238A - 受信装置及びその制御方法 - Google Patents

Abstract

【課題】受信装置の能力や機能に応じて、画面の一部（放送局が指定する代表画面やユーザが選択する画面）を切り出して視聴しても、切り出し視聴している画面の位置や画角に応じてマルチチャンネル音像を適切に保つことができる受信装置およびその制御方法を提供する。
【解決手段】受信装置が、複数チャンネルの音声を伴う第１の映像を受信する受信部１０２と、前記第１の映像の一部を切り出して第２の映像を出力する映像出力制御部１０９と、前記第２の映像と共に出力するための出力音声を生成する音声出力制御部１１１と、を備える。受信装置は、前記第２の映像の切り出し位置に基づいて、前記第１の映像の音声である複数チャンネルの入力音声の中から、前記出力音声の合成に用いる入力音声の組み合わせを決定し、決定した組み合わせの入力音声を合成して前記出力音声を生成する。
【選択図】図１

Description

本発明は、マルチチャンネル音声を伴う映像の一部を切り出し視聴可能な受信装置及びその制御方法に関する。

デジタル放送ではハイビジョン映像（２ｋ×１ｋ：１９２０×１０２４（以下、ＨＤと記す場合あり））が一般的となっている。また、高度衛星デジタル放送においては、さらに高解像度（４ｋ×２ｋ：デジタルシネマ、８ｋ×４ｋ：スーパーハイビジョン（以下ＳＨＶと記す場合あり））の映像や２２．２チャンネルのマルチチャンネル音声を送る方式が検討されている。

これら従来の解像度を超えるスーパーハイビジョンなどの放送においては、受信装置の能力や機能に応じた表示を行うことも併せて検討されている。例えば、画面全体をダウンコンバートして視聴するケースのほかに、放送局が指定した代表画面（ＳＨＶ画面の一部）やユーザが選択した画面を受信機側で切り出して視聴する形態が検討されている（以下、トリミング視聴と記す場合あり）。このとき、切り出して視聴している代表画面の位置や画角（サイズ）とマルチチャンネル音像との関係を適切に保つことが必要になってくる。

従来、ユーザが視聴している画面に応じて、音声を切り替えるものとしては、次のものがある。特許文献１には、マルチ画面表示においてユーザがどの画面を見ているかを検出し、見ている画面に対応する音声に切り替えて出力する方法が開示されている。また特許文献２には、ユーザが指定した画面上の位置に近い音源を重み付けして合成出力することにより、音声のズームイン効果を得る方法が開示されている。

他方、聴取位置がスピーカに対して非対称である環境において正しい音像を提供するものとして、聴取者近傍に置かれる音声検出手段により聴取者と各スピーカまでの距離を測定し、音場を聴取者の聴取位置に定位させる音像位置補正装置がある（特許文献３）。
特開２０００−２７８６２６号公報 特開平８−２９８６３５号公報 特開平７−７５２００号公報

通常、高解像度映像とともに送出されるマルチチャンネル音声は、その高解像度映像をフル解像度で表示し、画面の正面中央の位置で視聴する場合に最適となるよう音像が調整されている。しかし、上述のように画面の一部を切り出し視聴するような場合、その切り出し位置が画面中央部ではないケースが存在する。このとき、マルチチャンネル音声の出力バランスがオリジナルのままであると、視聴している画面と音像とにずれが生じ、違和感が発生するという問題がある。

上述した従来の技術は、マルチ画面表示においてユーザが見ている画面の音声に完全に切り替えて出力するもの（特許文献１）や、ユーザが指定した画面の位置に音声をズームインさせるもの（特許文献２）である。よって、ユーザが画面の一部を切り出して視聴している場合において、マルチチャンネルの音像を最適な位置に補正することは出来なかった。一方、聴取位置に対して、適切な音像を得る従来の技術（特許文献３）は、ユーザとスピーカとの位置関係に基づく音声補正処理のみであり、視聴画面との関係が考慮されて
いなかった。

そこで、本発明は、画面の一部を切り出し視聴する場合において、切り出された画面に応じて、適切なマルチチャンネル音像定位を得ることができる受信装置およびその制御方法を提供することを目的とする。

上記目的を達成するために本発明では、以下の構成を採用する。

本発明に係る受信装置は、複数チャンネルの音声を伴う第１の映像を受信する受信手段と、前記第１の映像の一部を切り出して第２の映像を出力する映像出力制御手段と、前記第２の映像と共に出力するための出力音声を生成する音声出力制御手段と、を備える受信装置において、前記第２の映像の切り出し位置に基づいて、前記第１の映像の音声である複数チャンネルの入力音声の中から、前記出力音声の合成に用いる入力音声の組み合わせを決定する決定手段をさらに備え、前記音声出力制御手段は、前記決定手段で決定された前記入力音声を合成して前記出力音声を生成することを特徴とする受信装置である。

本発明に係る受信装置の制御方法は、複数チャンネルの音声を伴う第１の映像を受信する工程と、前記第１の映像の一部を切り出して第２の映像を出力する工程と、前記第２の映像と共に出力するための出力音声を生成する工程と、を備え、前記出力音声を生成する工程が、前記第２の映像の切り出し位置に基づいて、前記第１の映像の音声である複数チャンネルの入力音声の中から、前記出力音声の合成に用いる入力音声の組み合わせを決定する工程と、前記決定された前記入力音声を合成して前記出力音声を生成する工程と、を含むことを特徴とする受信装置の制御方法である。

本発明によれば、受信装置の能力や機能に応じて、画面の一部を切り出して視聴しても、切り出された視聴画面に対して、適切なマルチチャンネル音像定位を実現することが可能となる。

以下、図を参照しながら、本発明による装置、方法の一実施の形態について説明する。以下に説明する実施の形態は、ハイビジョン放送の映像、音声（映像フォーマット：１９２０×１０８０／６０／ｉ、音声モード：５．１ｃｈ）が出力可能なデジタル放送受信装置において、スーパーハイビジョン放送（７６８０×４３２０／６０／ｐ、音声モード：２２．２ｃｈ）を受信処理する場合の例である。

［実施例１］
図１は本発明のデジタル放送受信装置のブロック図である。

アンテナ１０１は、複数の映像データ、音声データ、メタデータなどが多重化されデジタル変調されたデジタルテレビジョン放送信号を受信する。より具体的には、映像フォーマットとして７６８０×４３２０／６０／ｐ（トリミング指定あり）、音声モードとして２２．２ｃｈのマルチチャンネルステレオのデジタル放送番組を受信する。

受信部１０２は、デジタルテレビジョン放送信号の復調、誤り訂正処理などを行い、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ：トランスポートストリーム）信号を出力する。

信号分離部１０３は、ユーザが選局を行った番組のパケットＩＤに従って、多重化され
たＭＰＥＧ−２ ＴＳ信号から映像データ、音声データ、メタデータを分離し、それぞれ映像再生部１０４、音声再生部１０５、メタデータ処理部１０６に送る。なお、多重化されたＭＰＥＧ−２ ＴＳ信号には、データ放送（マルチメディア）データを含む場合もあるが、図１ではその処理部については図示していない。

映像再生部１０４は、ＩＴＵ−Ｔ Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４ ＡＶＣ）（以下、Ｈ．２６４）で符号化された映像データの復号を行う。

音声再生部１０５は、ＭＰＥＧ−２ ＡＡＣで符号化された音声データの復号を行う。マルチチャンネルの音声データが含まれる場合、合成することなく独立に音声出力制御部１１１に送る。

メタデータ処理部１０６は、信号分離部１０３でＭＰＥＧ２−ＴＳ信号をフィルタリング処理するための情報を、ＰＳＩ／ＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ／Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）データから取り出す。また、メタデータ処理部１０６は、電子番組表などに利用される番組情報、さらに本発明に係わる映像フォーマットやトリミング（切り出し位置、およびサイズ）情報、音声モードなどの情報も、ＰＳＩ／ＳＩデータから取り出す。

表示位置検出部１０７は、メタデータ処理部１０６からのトリミング情報に基づき、ＳＨＶ（７６８０×４３２０）画面のどの部分を切り出すか、その座標を求め、映像出力制御部１０９に送る。また表示位置検出部１０７は、切り出し画面の座標から音声モードとして５．１ｃｈ出力可能な本受信装置のフロントスピーカ（３箇所）の座標を決定する。そして、表示位置検出部１０７は、３つのフロントスピーカの各々に対し、受信したＳＨＶの音声モード（２２．２ｃｈ）におけるフロントスピーカ（１１箇所）のうち、どのスピーカの音声出力を合成して出力するか、その組み合わせを決定する。

補正データ算出部１０８は、本受信装置におけるスピーカ位置と、オリジナルのＳＨＶの音声モード（２２．２ｃｈ）におけるスピーカ位置と切り出し画面の視聴位置との位置関係から、切り出し画面視聴時の適正な音像を形成するための補正データを算出する。

本実施例では、ＳＨＶ映像が複数チャンネル（２２．２ｃｈ）の音声を伴う第１の映像に該当し、受信部１０２が第１の映像を受信する受信手段に該当する。また、映像出力制御部１０９が、ＳＨＶ映像の一部を切り出して第２の映像（ＨＤ解像度の切り出し画面）を出力する映像出力制御手段に該当する。また、音声出力制御部１１１が、第２の映像と共に出力するための出力音声（ここでは５．１ｃｈ）を生成する音声出力制御手段に該当する。また、表示位置検出部１０７が、第２の映像の切り出し位置に基づいて、ＳＨＶの入力音声の中から、出力音声の合成に用いる入力音声の組み合わせを決定する決定手段に該当する。

ここで、補正データ算出部１０８について少し詳しく説明する。

図２は、補正データ算出部１０８の構成例である。補正データ算出部１０８は、角度解析部２０１、混合ゲインデータ算出部２０２、距離解析部２０３、ゲイン補正データ算出部２０４、遅延量補正データ算出部２０５で構成される。角度解析部２０１は、本受信装置のフロントスピーカと、それぞれに出力する２２．２ｃｈのフロントスピーカとの角度を算出する。以下、本受信装置のフロント左スピーカをＴＦＬ、フロントセンタースピーカをＴＦＣ、フロント右スピーカをＴＦＲと略記し、２２．２ｃｈのフロントスピーカをソースと略記する。混合ゲインデータ算出部２０２は、算出された角度に基づき、切り出し視聴している画面に対して視聴者が感じる音声の到来方向が適正になるよう合成すべき
各ソースの音声データの混合比（ゲイン）を決定する。距離解析部２０３は、角度解析部２０１で算出された角度に基づき、２２．２ｃｈの各ソースと本受信装置のフロントスピーカ（ＴＦＬ／ＴＦＣ／ＴＦＲ）との距離の違いを算出する。ゲイン補正データ算出部２０４は、算出された距離の違いの情報に基づき、本受信装置のフロントスピーカ（ＴＦＬ／ＴＦＣ／ＴＦＲ）の音声信号のゲイン（音量レベル）補正データを算出する。遅延量補正データ算出部２０５は、算出された距離の違いの情報に基づき、本受信装置のフロントスピーカ（ＴＦＬ／ＴＦＣ／ＴＦＲ）の音声信号の遅延量補正データを算出する。ゲイン補正データおよび遅延量補正データは、切り出し視聴している画面に対して視聴者が感じる音声の音量と音源までの距離感が適正になるよう、決定される。

説明を図１に戻す。図１において映像出力制御部１０９は、表示位置検出部１０７からの切り出し画面の位置情報に基づき、ＳＨＶ画面からＨＤ解像度の画面を切り出して表示部１１０に送る。

表示部１１０は、ＨＤ（１９２０×１０８０）を表示できる解像度を有する表示装置である。

音声出力制御部１１１は、音声再生部１０５から出力される２２．２ｃｈのフロントスピーカの各音声データを、補正データ解析部１０８からの混合ゲインデータに基づいて所定の割合で合成する。その後、音声出力制御部１１１は、ゲイン補正データ、遅延量補正データに従ってゲイン調整、遅延量調整を行い、本受信装置のフロントスピーカ（ＴＦＬ／ＴＦＣ／ＴＦＲ）の音声データを生成する。生成された音声データはＤ／Ａ（Ｄｉｇｉｔａｌ−Ａｎａｌｏｇ）コンバータとアンプを介してＴＦＬ／ＴＦＣ／ＴＦＲの各スピーカ１１２に出力される。合成、ゲイン調整、遅延量調整の詳細については後述する。

図３は、実施例１における切り出し視聴画面の位置を示す図である。実施例１では、スーパーハイビジョン画面３０１の中央部をハイビジョン解像度３０２で切り出し（トリミング）視聴する例を示している。

図４は、スーパーハイビジョンの画面中央部を切り出し視聴する実施例１における音声出力制御部１１１の構成例である。画面中央を中心に切り出しているため、本受信装置のフロントセンタースピーカ（ＴＦＣ）には、２２．２ｃｈのフロントセンタースピーカ（ＦＣ）の音声データを出力する。フロント左スピーカ（ＴＦＬ）には、２２．２ｃｈのフロント左スピーカ（ＦＬ）、フロント左センタースピーカ（ＦＬｃ）、フロントセンタースピーカ（ＦＣ）の３つのソースを混合した音声データを出力する。フロント右スピーカ（ＴＦＲ）には、２２．２ｃｈのフロント右スピーカ（ＦＲ）、フロント右センタースピーカ（ＦＲｃ）、フロントセンタースピーカ（ＦＣ）の３つのソースを混合した音声データを出力する。

図５は、２２．２ｃｈシステムにおける標準的なスピーカ配置を示したものである。２２．２ｃｈシステムは、フロントに１１ｃｈ、サイドに４ｃｈ、リアに６ｃｈ、上部に１ｃｈの２２ｃｈに、低音域用のＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔｓ）を２ｃｈ（０．２ｃｈとして扱う）加えたスピーカ構成になっている。５．１ｃｈや６．１ｃｈ／７．１ｃｈシステムは、前後左右方向の音の広がりには対応できるが上下の音像表現が困難であった。２２．２ｃｈシステムでは、視聴者と同じ高さの中間層のスピーカを１０チャンネルに増やすとともに、上層に９チャンネル、下層に３チャンネルを配することにより、垂直方向の音像移動にも対応することが可能な構成になっている。

本明細書における実施例では、説明を簡単にするため２２．２ｃｈシステム（ＳＨＶ放送の音声モードの１つ）と、５．１ｃｈシステム（ＨＤ放送の音声モードの１つ）におけ
る、それぞれのフロントスピーカの関係についてのみ説明する。リアスピーカやサイドスピーカ、低域スピーカについての記載は省略する。また、実施例１及び２は、画面の上下方向に対しては中央部分をトリミング視聴する構成であるため、２２．２ｃｈシステムにおける中間層のフロントスピーカについてのみ説明する。上層のフロントスピーカ（図５におけるＴｐＦＬ／ＴｐＦＣ／ＴｐＦＲ）、下層のフロントスピーカ（ＢｔＦＬ／ＢｔＦＣ／ＢｔＦＲ）についての記載は省略する。

次に本発明に係わるブロックについて、フローチャートを用いてその動作を説明する。

図６は、メタデータ処理部１０６の処理フローの一実施例である。

デジタル放送においては、映像や音声、番組に関する種々の情報をＰＳＩ／ＳＩデータ内に各種テーブルとして埋め込み、送出することが可能である。詳細は、（社）電波産業会（以下、ＡＲＩＢ）の発行する「デジタル放送に使用する番組配列情報」の標準規格（ＡＲＩＢ ＳＴＤ−Ｂ１０）を参照のこと。

本実施例においては、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）もしくはＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）に挿入されるコンポーネント記述子を用いて、スーパーハイビジョン映像（７６８０×４３２０／６０／Ｐの映像フォーマット）であること、さらに放送局によるトリミング情報があることを伝送する。ＥＩＴは、番組名、放送日時、番組内容など番組に関する情報を送るテーブルである。

コンポーネント記述子は、図７のようなデータ構造を持っており、その中のコンポーネント種別（ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ）という８ビットのフィールドに映像コンポーネントや音声コンポーネントの種別を示すことが出来る。

図８は、コンポーネント記述子内をより詳細に示したもので、コンポーネント種別が０ｘ００から０ｘＣ０までは、現在規格化されている映像コンポーネントを示している。本実施例で想定している映像ストリームは、ハイビジョン映像を超えるより高解像度の映像フォーマットであり、現在は規定されていない。本実施例では、デジタルシネマやスーパーハイビジョンの映像フォーマットであることを示すコンポーネント種別として、０ｘＥ１から０ｘＦ３を割り当てている（図８）。

コンポーネント種別として、トリミング指定ありの映像フォーマットの場合、さらにトリミング（切り出し）情報を伝送する。トリミング情報はＥＩＴなどに挿入される拡張形式イベント記述子を用いて伝送することができる。拡張形式イベント記述子は、図９のようなデータ構造を持っており、その中のｉｔｅｍ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｃｈａｒの１つとしてトリミング情報を追加する。図１０のように、ｉｔｅｍ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｃｈａｒにトリミングサイズやアドレスを示し、ｉｔｅｍ＿ｃｈａｒにてその値を送る。

このようなメタデータが多重化されたデジタル放送を受信することを前提に説明を行う。

図６のステップＳ６０２にて、メタデータ処理部１０６は、ＰＭＴのコンポーネント記述子から、コンポーネント識別情報を抽出する。次に、メタデータ処理部１０６は、コンポーネント識別情報から、受信している番組がスーパーハイビジョン（ＳＨＶ）映像であるかを判定する（Ｓ６０３）。ここで、ＳＨＶ映像モードではなく通常のハイビジョン映像モードであった場合（図８のコンポーネント種別が０ｘＢ２など）は、画面の一部を切り出すことなく、そのままの解像度で表示する（Ｓ６０４）。

ステップＳ６０３にてＳＨＶ映像モードであると判定された場合、メタデータ処理部１０６はステップＳ６０５にて放送局によるトリミング指定があるか否かを判定する。ここでトリミング指定ありの映像モード（例えば、図８の０ｘＦ２）であった場合は、ステップＳ６０６に進む。一方、同じＳＨＶ映像であってもトリミング指定なしであった場合は、ステップＳ６０７に進む。

ステップＳ６０６では、メタデータ処理部１０６は、ＥＩＴの拡張形式イベント記述子から、トリミング情報を抽出する。図１０は、トリミングサイズ“１”（ＨＤ解像度：１９２０×１０８０であることを表す）、左上（Ｘ，Ｙ）アドレスが（−９６０、＋５４０）と記述されたトリミング情報の例である。本実施例においては画面中央の座標を（０，０）としているので、図１０のトリミング情報は、ＳＨＶ画面の中央部をＨＤ解像度でトリミング（切り出す）指定をしていることになる。ステップＳ６０６にて抽出されたトリミング情報は、表示位置検出部１０７に送られる（Ｓ６１０）。

ステップＳ６０５にて放送局によるトリミング指定がなかった場合、メタデータ処理部１０６は、ユーザ操作によるトリミング指定があるか否かを判定する（Ｓ６０７）。ここで受信装置の機能としてユーザが任意の位置をトリミング視聴でき、実際にトリミング視聴している場合は、受信装置内で管理されている切り出し位置、およびサイズの情報をトリミング情報として抽出し（Ｓ６０８）、ステップＳ６１０に進む。一方、ユーザによるトリミング指定がなかった場合は、メタデータ処理部１０６は、全画面をダウンコンバートして表示するよう映像出力制御部に指示する（Ｓ６０９）。

図１１は、表示位置検出部１０７の処理フローの一実施例である。

まず、ステップＳ１１０２にて、表示位置検出部１０７は、メタデータ処理部１０６で抽出されたトリミング情報を読み込む。次に、表示位置検出部１０７は、図１０に示したようなトリミング情報に基づき、切り出し画面の座標を求める（Ｓ１１０３）。切り出し画面の座標データは、図１における映像出力制御部１０９に送られ（Ｓ１１０４）、所定の位置が（本実施例ではＳＨＶの画面中央部をＨＤ解像度で）切り出され表示部１１０にて表示される。

ステップＳ１１０５にて、表示位置検出部１０７は、切り出し画面の位置に応じて５．１ｃｈシステムにおけるフロントスピーカの位置を算出する。

図１２は、視聴位置１２０１において、ＳＨＶの画面中央部をＨＤ解像度でトリミング視聴する場合のフロントスピーカの配置を示したものである。上述したように、ＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲは、それぞれ２２．２ｃｈシステムにおける中間層のフロント左スピーカ、フロント左センタースピーカ、フロントセンタースピーカ、フロント右センタースピーカ、フロント右スピーカを表している。また、ＴＦＬ、ＴＦＣ、ＴＦＲは、それぞれトリミング視聴時の５．１ｃｈシステムにおけるフロントスピーカを表している。図１２に示したように、本実施例では、ＴＦＬ、ＴＦＣ、ＴＦＲの座標は、それぞれ、（−９６０，０）、（０，０）、（＋９６０，０）となる。ちなみに、ＴＦＬとＴＦＲの位置については、ユーザの広がり感に関する好みや視聴するコンテンツなどに応じて、切り出し画面の両端とＦＬ、ＦＲとの間の任意の位置に設置することが可能である（図１３）。ここでは説明を簡単にするため、切り出し画面の左端にＴＦＲを、右端にＴＦＲを設置することとする。

次に、図１１のステップＳ１１０６において、表示位置検出部１０７は、ＴＦＬ、ＴＦＣ、ＴＦＲのｙ座標が０（ゼロ）であるか否かを判定する。ここで、ｙ座標が０の場合は
、図１２のようにＳＨＶ画面の上下方向のちょうど中央の高さで切り出されたことになる。本実施例では、ｙ座標が０であるゆえ、ステップＳ１１０７に進む。

ステップＳ１１０７で、表示位置検出部１０７は、ＴＦＬ、ＴＦＣ、ＴＦＲと、ＦＬ、ＦＬｃ、ＦＣ、ＴＲｃ、ＦＲのｘ座標上の位置関係を判定する。本実施例では、例えばＴＦＬの位置は、ＦＬｃとＦＣとの間に位置していると判定される。

ステップＳ１１０８〜Ｓ１１１０において、表示位置検出部１０７は、ステップＳ１１０７で判定された位置関係に従い、ＴＦＬ、ＴＦＣ、ＴＦＲそれぞれに、ＦＬ、ＦＬｃ、ＦＣ、ＴＲｃ、ＦＲのどのスピーカからの音声を合成して出力するかを決定する。表示位置検出部１０７は、まずＴＦＬと同じ位置のソースの有無を調べ、同じ位置のソースがあればそれを選択し、同じ位置のソースがなければ、表示位置検出部１０７は、ＴＦＬに最も近いＮ個（Ｎは２以上の整数）のソースを選択する。Ｎが３の場合、本実施例では、ＴＦＬに対して、ＦＬ、ＦＬｃ、ＦＣの組み合わせが選ばれる。同様にして、ＴＦＲにはＦＲ、ＦＲｃ、ＦＣの組み合わせが選ばれる。そして本実施例は画面中央での切り出しのため、ＴＦＣとＦＣの座標は一致し、ＴＦＣにはＦＣのみが選ばれる。なお組み合わせ決定のルール（アルゴリズム）は上記の例に限らず、どのようなものを採用してもよい。例えば、ＴＦＬ、ＴＦＣ、ＴＦＲそれぞれの位置（ｘ、ｙ座標）に対応するソースの組み合わせが予め規定されたテーブルを参照することも好ましい。また、ＴＦＬ等とソースとの距離に応じて、組み合わせるソースの数を動的に変化させてもよい。

表示位置検出部１０７は、ステップＳ１１０５にて算出されたＴＦＬ、ＴＦＣ、ＴＦＲの位置情報（座標）とステップＳ１１０８〜Ｓ１１１０で決定されたＦＬ、ＦＬｃ、ＦＣ、ＴＲｃ、ＦＲの組み合わせ情報を補正データ算出部１０８に出力する（Ｓ１１１１）。

なお、図１１のステップＳ１１１２〜Ｓ１１２２は、切り出し位置が異なる場合の処理フローである。ステップＳ１１１３〜Ｓ１１１７は、切り出し位置が上下方向のみ変化する場合の処理例である。その場合、ＴｐＦＣとＢｔＦＣの２つのソースも音声合成に利用される。ステップＳ１１１２、Ｓ１１１８〜Ｓ１１２２については、他の実施例（実施例４）にて説明する。

図１４は補正データ算出部１０８における処理フローの一実施例である。

まず、ステップＳ１４０２にて、補正データ算出部１０８は、表示位置検出部１０７にて算出、決定されたＴＦＬ、ＴＦＣ、ＴＦＲの位置情報（座標）とそれぞれに出力するＦＬ、ＦＬｃ、ＦＣ、ＴＲｃ、ＦＲの組み合わせ情報を読み込む。

次に、ステップＳ１４０３にて、補正データ算出部１０８は、視聴位置からみた各スピーカの角度を算出する。本実施例における視聴位置（図１２の１２０１）は、ＳＨＶ視聴において視聴角１００度、視聴距離０．７５Ｈ（Ｈは画面上下サイズ）、ＨＤ視聴においては視聴角３０度、視聴距離３Ｈとしている。これは、ＳＨＶ視聴およびＨＤ視聴の標準視聴パラメータに相当し、それぞれの標準視聴角で視聴した場合、ＳＨＶの０．７５ＨとＨＤの３Ｈは同じ視聴距離となる。

ステップＳ１４０４では、補正データ算出部１０８は、ステップＳ１４０３で算出された視聴位置と各スピーカとの角度から、ＴＦＬ、ＴＦＣ、ＴＦＲそれぞれに対するＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲの混合比を算出する。ステップＳ１４０５にて、補正データ算出部１０８は、算出した混合比を混合ゲインデータとして図１の音声出力制御部１１１に出力する。

図１５は、ＴＦＬから出力する音声を、ＦＬ、ＦＬｃ、ＦＣの音声を混合して生成する一例を示した図である。本実施例における視聴位置と各スピーカとの角度は、視聴位置を標準視聴位置（視聴角ＳＨＶ：１００度、ＨＤ：３０度）とした場合の値である。各スピーカとの角度に対し余弦定理等を用いることによりＦＬ、ＦＬｃ、ＦＣの各音声ベクトルを合成し、音声の到来方向がＴＦＬの角度となる音声ベクトルＶＴＦＬを生成する。ＶＴＦＬ＝１として正規化することにより、ＦＬ、ＦＬｃ、ＦＣそれぞれの音声ベクトルの混合比を求めることができる。図１５では、ＦＬの出力をＶＦＬ、ＦＬｃの出力をＶＦＬｃ、ＦＣの出力をＶＦＣの割合で合成することで、ＴＦＬからの音声ベクトルＶＴＦＬを生成している。なお、図１５の例のように２次元において３つ以上のソースのベクトルを合成する場合は、必要に応じて他の拘束条件（例えばベクトルの大きさの範囲など）を追加すればよい。ここでは、合成ベクトルＶＴＦＬの一方の分解成分ベクトルであるベクトルＶＦＣの大きさを、他方の分解ベクトルの方向がベクトルＶＦＬｃとベクトルＶＦＬとにより合成できる範囲とすることができる。

図１６は、図１５に対してＴＦＬの位置をよりＦＬ側に変更した例である。図１６においては、ＴＦＬの位置がＦＬ側になったことにより、ＦＬ、ＦＬｃ、ＦＣの各音声ベクトル混合比として、ＶＦＣの割合が減り、ＶＦＬ、ＶＦＬｃの割合が増加することを示している。

図１４に戻り処理フローの説明を続ける。

ステップＳ１４０６では、補正データ算出部１０８は、ステップＳ１４０３にて算出された視聴位置からみた各スピーカの角度から、ＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲとＴＦＬ、ＴＦＣ、ＴＦＲの距離の差を算出する。図１７は、ＦＬとＴＦＬの距離の差を求める一例である。標準視聴位置の場合、ＦＬは正面から左に５０度、本実施例のＴＦＬの位置は同じく左に１５度となる。

視聴者とＦＬとの距離をＬ_ＦＬ、視聴者とＴＦＬとの距離をＬ_ＴＦＬとすると、Ｌ_ＦＬ・ｃｏｓ５０°＝Ｌ_ＴＦＬ・ｃｏｓ１５°の関係が成り立つゆえ、Ｌ_ＴＦＬ＝Ｌ_ＦＬ×ｃｏｓ５０°／ｃｏｓ１５°となる。

次にステップＳ１４０７にて、補正データ算出部１０８は、ステップＳ１４０６で求めた距離関係に基づいてゲイン補正データを算出する。例えば図１７において、ＴＦＬのＦＬに対するゲインをＧ（ＴＦＬ＿ＦＬ）、ＦＬのゲインをＧ（ＦＬ）とおく。音量は距離の２乗に反比例するため、トリミング視聴においても同じ音量で聞こえるようにするには、Ｇ（ＴＦＬ＿ＦＬ）＝Ｇ（ＦＬ）×（Ｌ_ＴＦＬ）^２／（Ｌ_ＦＬ）^２となるようゲイン補正データを生成する。さらに、本実施例においてＴＦＬに合成出力する他の音声チャンネル（ＦＬｃ、ＦＣ）についても同様にゲイン補正データを算出し、ＦＬ、ＦＬｃ、ＦＣトータルのゲイン補正データを決定し、図１の音声出力制御部１１１に送る（Ｓ１４０８）。

ステップＳ１４０９では、補正データ算出部１０８は、ステップＳ１４０６で求めた距離関係に基づいて遅延量補正データを算出する。ステップＳ１４０７の説明と同じく図１７を用いて説明する。図１７において、ＴＦＬのＦＬに対する遅延量をＤ（ＴＦＬ＿ＦＬ）、ＦＬの遅延量をＤ（ＦＬ）とおく。遅延量は距離に比例するため、トリミング視聴においても、視聴者が感じる音源までの距離感が同じとなるようにするには、Ｄ（ＴＦＬ＿ＦＬ）＝Ｄ（ＦＬ）×Ｌ_ＴＦＬ／Ｌ_ＦＬとなるよう遅延量補正データを生成する。さらに、本実施例においてＴＦＬに合成出力する他の音声チャンネル（ＦＬｃ、ＦＣ）についても同様に遅延量補正データを算出し、ＦＬ、ＦＬｃ、ＦＣトータルの遅延量補正データを決定し、図１の音声出力制御部１１１に送る（Ｓ１４１０）。

メタデータ処理部１０６（図６）、表示位置検出部１０７（図１１）、補正データ算出部１０８（図１４）の処理を経て得られた、トリミング視聴における、混合ゲイン補正データ、ゲイン補正データ、遅延量補正データは、音声出力制御部１１１に入力される。

音声出力制御部１１１はＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲからＴＦＬ、ＴＦＣ、ＴＦＲを生成する。一例として図４を参照して、ＴＦＬを生成する流れについて説明する。まず、音声出力制御部１１１は、混合ゲイン補正データに基づき、ＦＬ、ＦＬｃ、ＦＣを所定の混合比で合成する。次に音声出力制御部１１１は、音量がほぼ同じとなるようゲイン補正データに基づきゲインを調整し、さらに音源までの距離感がほぼ同じとなるよう遅延量補正データに基づき遅延量を調整する。これらの調整が完了したデータは、Ｄ／Ａ、ＡＭＰ（アンプ）を介してＴＦＬスピーカへと送られる。ＴＦＲについては、ＦＣ、ＦＲｃ、ＦＲを所定の混合比で合成する以外は、ＴＦＬの流れと同様である。なお、本実施例においては、画面中央部切り出し視聴のため、ＴＦＣ＝ＦＣの関係になり、ＴＦＣに関して特段の補正は行わない。（図４においては、ゲイン補正部、遅延量補正部を経由しているが、ともに補正量は０（ゼロ）である。）

本実施例における音声出力制御部（図４）は、混合ゲイン調整部により音の到来方向（角度）の補正を行った後に、音量を調整するゲイン補正、ならびに音源までの距離感を調整する遅延量補正を行う構成とした。しかし、先にゲイン補正、遅延量補正を行ってから、到来方向（角度）の補正を行う構成とすることで、ゲイン、遅延量の補正をより正確に行うことも可能である。

本実施例によれば、スーパーハイビジョン（ＳＨＶ）画面の中央部をハイビジョン（ＨＤ）解像度でトリミング視聴する場合、切り出された視聴画面に対して、音声の到来方向、音量、距離感が適切に補正されたマルチチャンネル音声を提供することが可能となる。

［実施例２］
次に、本発明に係わる実施例２について説明する。

図１８は、実施例２における切り出し視聴画面の位置を示す図である。実施例２では、スーパーハイビジョン画面１７０１の一部をハイビジョン解像度１７０２で切り出し（トリミング）視聴する例である。実施例１との違いは、ｘ軸方向の切り出し位置が画面中央部ではない点である。

実施例２のデジタル放送受信装置のブロック構成（図１）、ならびにメタデータ処理部、表示位置検出部、補正データ算出部の処理フロー（図６、図１１、図１４）は実施例１と基本的に同じである。

以下、実施例１との差分を中心に説明する。

図１９は、実施例２におけるトリミング視聴時のフロントスピーカＴＦＬ、ＴＦＣ、ＴＦＲの位置ならびに、ＴＦＬに合成して出力するＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲの組み合わせを示したものである。実施例２において、ＴＦＬにはＦＣ、ＦＲｃの音声データを組み合わせて出力する。これは切り出した画面周辺の音を中心に合成することを基本としている為であるが、さらに一定の比率でＦＬ、ＦＬｃを加えても良い。

混合比率は、実施例１と同様、各スピーカとの角度に基づいて求めるが、実施例２では、視聴位置が原点（ｘ，ｙ）＝（０，０）でないため、各スピーカとの角度は切り出し位置座標を加味して算出する必要がある。

視聴位置のｘ座標をａ、ＳＨＶ画面右端のｘ座標をｂ、原点座標におけるＦＬとの角度を５０度（実施例１と同じく標準視聴位置）、視聴位置におけるＦＬとの角度をＫ度とした場合、角度Ｋは、以下の関係式で表すことができる。
ｔａｎＫ°＝（（ａ＋ｂ）／ｂ）ｔａｎ５０°

このようにして、視聴位置と画面端の座標から視聴位置における各スピーカとの角度を求めることができる（図２０）。

図２１は、実施例２におけるＴＦＣに合成して出力するＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲの組み合わせを示したものである。実施例２におけるフロントセンタースピーカＴＦＣには、ＦＲｃ、ＦＲの音声データを組み合わせて出力している。これは上述のように、切り出した画面周辺の音を中心に出力するようにしている為である。

図２２は、実施例２における音声出力制御部１１１の一例である。実施例１と同様、切り出し画面位置から算出された、混合ゲインデータ、ゲイン補正データ、遅延量補正データに基づいてトリミング視聴時のフロントスピーカＴＦＬ、ＴＦＣ、ＴＦＲのそれぞれの音声データを生成する。図１９、ならびに図２１にて説明したように実施例２においては、ＴＦＬにはＦＣ、ＦＲｃを、ＴＦＣには、ＦＲｃ、ＦＲを合成して出力する構成になっている。またＴＦＲについても、ＴＦＣと同じくＦＲｃ、ＦＲを合成して出力する構成となっている。これは、図１８からもわかるように、実施例２における切り出し画面位置の場合、ＴＦＣ、ＴＦＲともにＦＲｃ、ＦＲという２つのスピーカの間に位置しているためである。このため、ＴＦＣ、ＴＦＲともにＦＲｃ、ＦＲの音声データを合成しているが、各スピーカとの角度関係が異なるため、その混合比は異なっている。合成後は、実施例１と同様、音量調整のためのゲイン補正、距離感調整のための遅延量補正を行い、Ｄ／Ａ、ＡＭＰを通してトリミング視聴時のフロントスピーカＴＦＬ、ＴＦＣ、ＴＦＲに出力する。

本実施例によれば、ＳＨＶ画面の一部（上下中央、左右中央部以外）をＨＤ解像度でトリミング視聴する場合、切り出された視聴画面に対して、音声の到来方向、音量、距離感が適切に補正されたマルチチャンネル音声を提供することが可能となる。

［実施例３］
次に、本発明に係わる実施例３について説明する。

実施例３において、デジタル放送受信装置のブロック構成（図１）、ならびにメタデータ処理部、表示位置検出部、補正データ算出部の処理フロー（図６、図１１、図１４）は実施例１と基本的に同じである。

実施例３は、実施例２の切り出し画面構成における、他の実施の形態であり、番組の音声イベントのうち、ナレーションやＢＧＭなどを、切り出し画面位置に関係なくフロントセンタースピーカＴＦＣから出力させる構成の一例である。

図２３は実施例３を適用する音声モードに関するコンポーネント記述子の一例を示したものである。これは、実施例１で説明したコンポーネント記述子（図７）、ならびにその映像コンポーネントに関する記述（図８）にさらに追加されて記述されることを想定している。図２３において、コンポーネント内容の０ｘ０２は、音声コンポーネントであることを示し、コンポーネント種別が０ｘ００から０ｘ０９までは、現在規格化されている音声モードを示している。実施例３では説明のため、デジタルシネマやスーパーハイビジョンの音声フォーマットのコンポーネント種別として、０ｘ０Ａから０ｘ０Ｆを割り当て、
コンポーネント種別０ｘ０Ｆには、音声チャンネル種別情報ありの音声モードを設けている。音声チャンネル種別情報ありの音声モードとは、登場人物やナレーション、ＢＧＭなどの音声イベントごとに特定の音声チャンネルを割り当てるモードである。２２．２ｃｈシステムなどにおいて、特定の音声チャンネルに特定の音声イベントを割り当てることを想定している。

コンポーネント種別として、音声チャンネル種別情報ありの音声モードの場合、どの音声イベントがどの音声チャンネルで伝送されているかの情報を送る必要がある。これは、実施例１におけるトリミング情報を伝送する例と同様、ＥＩＴなどに挿入される拡張形式イベント記述子を用いて伝送することができる。図２４は、拡張形式イベント記述子の中のｉｔｅｍ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｃｈａｒの１つとして音声イベントを追加し、そのｉｔｅｍ＿ｃｈａｒにて音声イベントに対応する音声チャンネルを示した一例である。

このようなメタデータを多重化して送ることにより実施例３を実現することができる。実施例３のデジタル放送受信装置における、この音声コンポーネントに係わるメタデータの処理については、実施例１におけるトリミング情報ありの場合の処理（図６）と類似しているため、本項での説明は省略する。

図２５は、実施例３における音声出力制御部１１１の一例である。実施例２と同様、切り出し画面位置から算出された、混合ゲインデータ、ゲイン補正データ、遅延量補正データに基づいてトリミング視聴時のフロントスピーカＴＦＬ、ＴＦＣ、ＴＦＲのそれぞれの音声データを生成する。さらに実施例３においては、拡張形式イベント記述子にて伝送される音声イベントに対応する音声チャンネル情報に基づき、ナレーションやＢＧＭの音声チャンネル（図２４におけるチャンネル番号５や６）をトリミング視聴時のＴＦＣに合成する構成となっている。（図２５においては、特定ｃｈと表記）

本実施例によれば、実施例１、２の効果に加え、ナレーションやＢＧＭのような、通常は切り出し位置に依存しない音声についても、安定して聴取することが可能となる。

［実施例４］
次に、本発明に係わる実施例４について説明する。

これまでの実施例は、説明を簡単にするため、画面上下方向にオフセットがない（ｙ座標が０の）トリミング視聴のケースについて説明してきたが、実施例４では画面上下方向についてもオフセットがついて切り出されるケースについて簡単に説明する。

図２６は、実施例４における切り出し視聴画面の位置を示す図である。実施例４では、これまでの実施例と同様、スーパーハイビジョン画面２５０１の一部をハイビジョン解像度２５０２で切り出して視聴する例であるが、ｘ軸方向、ｙ軸方向とも切り出し位置が中央ではない点が、これまでの実施例と異なっている。

図２６のように切り出し視聴する場合は、２２．２ｃｈシステムにおける中間層のスピーカだけでなく、上層および下層のスピーカを含め、トリミング視聴におけるフロントスピーカＴＦＬ、ＴＦＣ、ＴＦＬに出力する組み合わせを決定する。

表示位置検出部１０７の処理フロー（図１１）のステップＳ１１１８からステップＳ１１２２の処理がそれにあたる。これまでの実施例１から３では、中間層のＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲのみの組み合わせを決定していたが、実施例４では、さらに上層のＴｐＦＬ、ＴｐＦＣ、ＴｐＦＲ、および下層のＢｔＦＬ、ＢｔＦＣ、ＢｔＦＲまで含めて組み合わせを決定する。

組み合わせ決定後の補正データ算出部１０８における処理や、音声出力制御部１１１における処理は、合成対象となるチャンネル数が増加する以外、基本的な動作は実施例１から３と同じである。

以上、複数の実施例を挙げて本発明の具体的に構成を説明したが、本発明の範囲は上記実施例に限られることはない。例えば、上記実施例は、切り出し視聴前の音声モードに２２．２ｃｈシステム、切り出し視聴時の音声モードに５．１ｃｈシステムを例に説明したが、本発明は他の音声モードの組み合わせにも適用可能である。

また上記実施例では、アンテナ１０１から放送波を受信する構成を例に説明したが、インターネットなどのＩＰネットワーク網からコンテンツ（番組）を受信する場合にも本発明を適用することが可能である。この場合であっても、表示位置を検出し、その位置とサイズに基づき、マルチチャンネルの音声出力を制御する処理は同じである。

さらに、上記実施例では、画面の切り出し位置の指定方法として、放送局からメタデータを送ることにより指定する方法と受信装置の機能によってユーザ指定する方法について説明した。しかし、放送局から受信装置上で動作するアプリケーションを送り、そのアプリケーションが切り出し位置を制御するような場合であっても、本発明を適用することが可能である。

本発明に係わるデジタル放送受信装置の構成を示すブロック図 本発明に係わる補正データ算出部の構成を示すブロック図 本発明の実施例１における切り出し画面位置を示す図 本発明の実施例１に係わる音声出力制御部の構成を示すブロック図 ２２．２ｃｈ音声システムのスピーカ配置を示す図 本発明に係わるメタデータ処理について説明するためのフローチャート デジタル放送で運用されるコンポーネント記述子のデータ構造を示す図 本発明に係わる映像コンポーネント種別の一例 デジタル放送で運用される拡張形式イベント記述子のデータ構造を示す図 本発明の実施例１に係わるトリミング情報の一例 本発明に係わる表示位置検出処理について説明するためのフローチャート 本発明の実施例１に係わる切り出し画面位置とスピーカ位置の関係を示す図 本発明の実施例１に係わる切り出し画面位置とスピーカ位置の関係を示す図 本発明に係わる補正データ算出処理について説明するためのフローチャート 本発明の実施例１に係わるＴＦＬ（切り出し画面のフロント左スピーカ）に出力する音声データの合成処理を説明するための図 本発明の実施例１に係わるＴＦＬ（切り出し画面のフロント左スピーカ）に出力する音声データの合成処理を説明するための図（他の例） 本発明の実施例１に係わるＴＦＬ（切り出し画面のフロント左スピーカ）とＦＬ（オリジナル画面のフロント左スピーカ）との距離関係を説明するための図 本発明の実施例２における切り出し画面位置を示す図 本発明の実施例２に係わるＴＦＬ（切り出し画面のフロント左スピーカ）に出力する音声データの合成処理を説明するための図 本発明に係わる視聴位置における各スピーカとの角度計算について説明するための図 本発明の実施例２に係わるＴＦＣ（切り出し画面のフロントセンタースピーカ）に出力する音声データの合成処理を説明するための図 本発明の実施例２に係わる音声出力制御部の構成を示すブロック図 本発明の実施例３に係わる音声コンポーネント種別の一例 本発明の実施例３に係わる音声イベント情報の一例 本発明の実施例３に係わる音声出力制御部の構成を示すブロック図 本発明の実施例４における切り出し画面位置を示す図

符号の説明

１０６ メタデータ処理部
１０７ 表示位置検出部
１０８ 補正データ算出部
１１１ 音声出力制御部
２０１ 角度解析部
２０２ 混合ゲインデータ算出部
２０３ 距離解析部
２０４ ゲイン補正データ算出部
２０５ 遅延量補正データ算出部

Claims (7)

1. 複数チャンネルの音声を伴う第１の映像を受信する受信手段と、
   前記第１の映像の一部を切り出して第２の映像を出力する映像出力制御手段と、
   前記第２の映像と共に出力するための出力音声を生成する音声出力制御手段と、を備える受信装置において、
   前記第２の映像の切り出し位置に基づいて、前記第１の映像の音声である複数チャンネルの入力音声の中から、前記出力音声の合成に用いる入力音声の組み合わせを決定する決定手段をさらに備え、
   前記音声出力制御手段は、前記決定手段で決定された前記入力音声を合成して前記出力音声を生成することを特徴とする受信装置。
2. 前記第２の映像の切り出し位置に応じて定まる、前記入力音声のスピーカ位置と前記出力音声のスピーカ位置と前記第２の映像の視聴位置との位置関係に基づいて、前記視聴位置における音像を補正するための補正データを算出する補正データ算出手段をさらに備え、
   前記音声出力制御手段は、前記補正データを用いて前記出力音声を生成することを特徴とする請求項１に記載の受信装置。
3. 前記補正データは、前記視聴位置における音声の到来方向を補正するためのデータとして、前記出力音声の生成に用いる前記入力音声の混合比を決めるデータを含むことを特徴とする請求項２に記載の受信装置。
4. 前記補正データは、前記視聴位置における音量を補正するためのデータとして、前記出力音声に与えるゲインを決めるデータを含むことを特徴とする請求項２または３に記載の受信装置。
5. 前記補正データは、前記視聴位置における音源までの距離を補正するためのデータとして、前記出力音声に与える遅延量を決めるデータを含むことを特徴とする請求項２〜４のうちいずれか１項に記載の受信装置。
6. 前記複数チャンネルの入力音声の中に所定の種別の入力音声が含まれている場合に、
   前記音声出力制御手段は、前記第２の映像の切り出し位置にかかわらず、前記所定の種別の入力音声を所定のチャンネルの出力音声に合成することを特徴とする請求項１〜５のうちいずれか１項に記載の受信装置。
7. 複数チャンネルの音声を伴う第１の映像を受信する工程と、
   前記第１の映像の一部を切り出して第２の映像を出力する工程と、
   前記第２の映像と共に出力するための出力音声を生成する工程と、を備え、
   前記出力音声を生成する工程が、
   前記第２の映像の切り出し位置に基づいて、前記第１の映像の音声である複数チャンネルの入力音声の中から、前記出力音声の合成に用いる入力音声の組み合わせを決定する工程と、
   前記決定された前記入力音声を合成して前記出力音声を生成する工程と、を含むことを特徴とする受信装置の制御方法。

Images