JP5390016B2 - 映像処理装置 - Google Patents

Description

本発明は、立体視を可能とする立体映像情報を出力する映像処理装置に関する。

特許文献１に、立体映像に字幕を重ねて表示させることが可能な表示制御装置が開示されている。この表示制御装置は、立体映像に対して字幕が適切な位置に配置されるよう、字幕の奥行き方向（表示画面に直交する方向）における表示位置を調整する。

特開２００４−２７４１２５号公報

従来、テレビのような映像表示装置は、自装置が生成した画像（以下「装置画像」という。）をオリジナルの立体映像に重畳して表示させる機能を有する。装置画像は、例えば、チャンネル情報、音量情報、表示装置の輝度・コントラスト量・色温度などを調整するための情報、表示装置の画質を調整するための情報等を示す画像（OSD: On Screen Display）である。同様に、映像表示装置に映像データを出力する、光ディスクプレーヤのような映像再生装置においても、オリジナルの立体映像に、自装置が生成した装置画像を重畳して出力する機能を有する。

映像表示装置は、立体映像を表示する際に自装置の装置画像を表示する場合、その装置画像について、奥行き方向（表示画面に直交する方向）における表示位置を適宜調整する必要がある。これは、装置画像がオリジナルの立体映像よりも画面の奥方向（視聴者から遠ざかる方向）に表示されてしまうと、視聴者にとって見た目に違和感のある映像になってしまうからである。このことから、違和感のない映像を実現するために、表示装置の装置画像についても、字幕と同様に視差の調整が必要となる。

一方、映像処理装置は、映像ソース（例えば、光ディスク）から映像データを読み出し復号して、映像表示装置に出力する。また、その際、映像処理装置は、必要に応じて、字幕や、映像処理装置が付加する装置画像をオリジナルの立体画像に重畳する処理を施した後、立体映像情報を映像表示装置に出力する場合がある。

そのような場合、映像表示装置は、映像処理装置においてどのような処理が施されたかを認識できない。例えば、映像処理装置において重畳された字幕や装置画像の視差量を認識することはできない。このため、映像表示装置は、映像処理装置から受信した立体映像に対して、映像表示装置の装置画像を重畳する際に、その装置画像の視差量を適切な値に調整することが困難となり、使用者に対して視認上違和感のないより良好な立体映像を提示できないという問題があった。

本発明は、上記の問題を鑑みてなされたものであり、立体映像表示装置において使用者が視認上違和感を感じない良好な立体映像の提示を可能とするように、立体映像表示装置に映像情報を提供する立体映像処理装置を提供することを目的とする。

本発明に係る映像処理装置は、映像表示装置に、立体視を可能とする立体映像情報を出力可能な装置である。映像処理装置は、立体映像情報を取得する取得手段と、立体映像情報に付加映像情報を重畳する重畳手段と、付加映像情報の視差情報を、付加映像情報が重畳された立体映像情報に関連付けた状態で映像表示装置に送信する送信手段と、を備える。

本発明の映像処理装置は、映像表示装置に対して、より簡易な方法で、映像処理（復号）後の立体映像情報に関する視差情報を伝えることができる。この視差情報を利用することで、映像表示装置は、映像表示装置の装置画像（ＯＳＤ）をより適切な位置に配置でき、違和感なく視認できる映像表示装置の装置画像（ＯＳＤ）を視聴者に提示することができる。

課題を説明するための図 立体映像情報の圧縮符合化技術の概略を説明するための図 立体映像ストリームの一例を示す図 立体映像システムの構成例を示す図 立体映像処理装置の構成例を示す図 字幕映像や処理装置画像を立体映像データに重ね合わせた場合の例を説明するための図 字幕映像や処理装置画像を立体映像データに重ね合わせた場合の例を説明するための図 立体映像処理装置から立体映像表示装置への出力データを説明するための図 立体映像表示装置の構成例を示す図 立体映像の表示方法を説明するための図 立体映像の表示方法を説明するための図 ３次元映像表示の動作例を示す図 ３次元映像表示の動作例を示す図 ２次元映像表示の動作例を示す図 ２次元映像表示の動作例を示す図 表示画像中に含まれる字幕や処理装置画像の領域を説明するための図 オブジェクトが表示される領域に関する情報とともに視差情報を送信する際のフォーマットを示した図

以下、添付の図面を参照して実施形態を説明する。

１．概要
本実施形態において説明する立体映像処理装置は、立体映像情報を符号化して生成された情報である立体映像符号化情報を取得し、立体映像表示装置で表示可能な形式に変換する。すなわち、立体映像処理装置は、立体映像符号化情報を取得し、復号する。そして、立体映像処理装置は、復号した立体映像情報に、左眼映像又は右眼映像のいずれが符号化の平均ビットレートの高い映像であるかを示す識別情報を関連付けて、立体映像表示装置に送信する。立体映像表示装置は、立体映像処理装置から受信した立体映像情報に基づき２次元映像を表示する場合、その識別情報に基づき２次元映像（左眼映像又は右眼映像）を生成し、表示する。以下、これらの処理を詳細に説明する。なお、以下では、再生対象の映像コンテンツ、映像コンテンツの圧縮技術、映像コンテンツの多重化技術、立体映像表示システムの構成及び動作、他の実施の形態、の順に説明する。

２．映像コンテンツ
本実施形態で対象とする映像コンテンツは、立体映像情報、音声情報、及びデータ情報で構成される。

立体映像情報は、左眼映像データと右眼映像データを含んでいる。左眼映像データと右眼映像データに含まれるオブジェクトのそれぞれは視差を有している。この視差があることによって、視聴者に左眼映像を左眼で視聴させ、右眼映像を右眼で視聴させるように映像表示を制御することで、視聴者は３次元映像を知覚することができる。

音声情報は上記立体映像情報（映像ストリーム）と同期して出力可能な音声の情報である。

データ情報は、字幕データや副映像データを含んでいる。副映像データは、例えば、ボーナス・ビュー、グラフィックスメニュー等の特典映像である。なお、字幕データ及び副映像データには、３次元映像を提供するために視差情報が付加されている。字幕データに付加される視差情報を「字幕視差情報」と称し、副映像データに付加される視差情報を「副映像視差情報」と称する。字幕を立体映像として提示する場合、字幕視差情報を用いて、左眼映像データ及び右眼映像データに字幕データを重畳する。これによって、立体映像としての字幕を視聴者に提示できるようになる。

なお、字幕視差情報は、字幕をディスプレイに表示した際における、字幕の水平方向の表示位置のズレ量に対応する。副映像視差情報も同様である。ズレ量に対応する視差情報は、ピクセル数で表現してもよいし、ｍｍ単位で表現してもよい。視差情報が示すズレ量は、その画像が立体表示された場合の、画面の奥行き方向の表示位置に対応する。

３．圧縮符合化された映像コンテンツ（立体映像情報、音声情報、データ情報）
立体映像情報は圧縮符合化されている。特に、本実施の形態では、立体映像情報の圧縮技術に関して、立体映像を構成する右眼映像と左眼映像のうちの一方の映像（例えば、右眼映像）が、他方の映像（例えば、左眼映像）よりも高い圧縮率（低い平均ビットレート）で圧縮されるように構成されている。以下、立体映像を構成する映像のうち、圧縮率がより低い方法の映像を「第１眼映像」と称し、圧縮率がより高い方法の映像を「第２眼映像」と称する。以下に具体例を示す。

例えば、多視点映像符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｒｄｉｎｇ）により、立体映像情報について上述のような圧縮を実現できる。ＭＶＣとは、複数の映像を統合して符号化する技術である。本実施の形態では、図２に示すように、第１眼映像（ここでは左眼映像）データは、第１眼映像データのみを用いてフレーム間予測を行い符号化されている。これに対して、第２眼映像（ここでは右眼映像）データは、第２眼眼映像データだけでなく、第１眼映像データをも用いてフレーム間予測を行い符号化されている。つまり、第１眼映像（左眼映像）データは、前方予測を行なうＰフレームと、双方向予測を行なうＢフレームと、フレーム内で符号化を行なうＩフレームとで構成される。一方、第２眼映像（右眼映像）データは、フレーム内で符号化を行うＩフレームを持たず、前方予測を行なうＰフレームと、双方向予測を行なうＢフレームのみで構成されることになる。ＭＶＣでは、上記の第１眼映像のように、その映像データのみを用いて符号化された映像を「ベースビュー（Ｂａｓｅ Ｖｉｅｗ）」と称し、上記の第２眼映像のように、それ自身の映像データだけでなく、他の映像データも用いて符号化された映像を「ディペンデントビュー（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ）」と称する。

このようにＭＶＣにより符号化することで、Ｉフレームを持たず、第１眼映像からもフレーム間予測が可能な第２眼映像は、第１眼映像に比べて平均ビットレート下げることができ、高効率な圧縮が可能となる。

なお、上記に限らず、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４を用いて圧縮符合化してもよい。また、音声情報及びデータ情報についての圧縮技術は言及していないが、これらについては、公知の様々な技術を適用することが可能である。

４．映像コンテンツの多重化技術
圧縮符合化された立体映像情報、音声情報、データ情報を関連付けて、転送するための多重化技術を説明する。

立体映像情報、音声情報、及びデータ情報は多重化されている。具体的な多重化技術は様々考えられるが、例えば、蓄積系（光ディスク等）であれば、ＰＳ（プログラムストリーム）およびＴＳ（トランスポートストリーム）に変換し、放送／通信系（放送波等）であれば、ＴＳに変換する。立体映像情報、音声情報、及びデータ情報が多重化されて生成されるストリームを立体映像ストリームと呼ぶ。図３に立体映像ストリームの構成を示す。同図に示すように、立体映像ストリームは、符号化されたデータ３１と、ヘッダ情報３３とで構成される。

ヘッダ情報３３の一部に、立体映像情報のベースビューが右眼映像と左眼映像のいずれであるかを示す情報（以下「ベースビュー情報」と称す）が含まれている。本実施形態では、左眼映像をベースビュー映像としているので、左眼映像がベースビューであることを示すベースビュー情報がヘッダ情報３３に付加されている。ベースビュー情報は立体映像情報の復号時に使用される。

また、本実施の形態では、ヘッダ情報３３の一部に、字幕視差情報、及び、副映像視差情報が含まれている。

５．立体映像表示システムの構成
図４に、本実施形態の立体映像表示システムの構成を示す。立体映像表示システムは、立体映像処理装置１と立体映像表示装置２を含む。先に立体映像表示システムの概要を説明し、立体映像処理装置１及び立体映像表示装置２の構成は後述する。

図４に示すように、立体映像処理装置１は、立体映像を表示する立体映像表示装置２と、立体映像ストリームが蓄積されているサーバ３と、及びアンテナ５とに接続されている。また、立体映像処理装置１には、光ディスク４及びメモリカード６が挿入されている。立体映像処理装置１は、サーバ３、光ディスク４、アンテナ５、またはメモリカード６から、立体映像ストリームを取得する。

サーバ３は、立体映像ストリームが蓄積されているネットワークサーバである。サーバ３は、ネットワークに接続されており、ネットワークを介して家庭内におかれた立体映像処理装置１と接続可能である。サーバ３は、立体映像処理装置１からのアクセス要求に対応して、立体映像ストリームを立体映像処理装置１（ネットワーク通信インターフェース１３）に送信することが可能である。

光ディスク４は、立体映像ストリームが記録された記録メディアである。光ディスク４は、立体映像処理装置１のディスクドライブ１１に挿入可能である。立体映像処理装置１（ディスクドライブ１１）は、光ディスク４に記録された立体映像ストリームを読み出すことが可能である。

アンテナ５は、放送局の放送装置から放送された立体映像ストリームを含む放送波を受信するためのアンテナである。アンテナ５は、立体映像処理装置１（チューナ１２）に対して、受信した立体映像ストリームを含む放送波を送信する。

メモリカード６は、立体映像ストリームが記録された半導体メモリカード、又は半導体メモリを内部に有した記録媒体である。メモリカード６は、立体映像処理装置１（データ伝送インターフェース１５）に挿入可能である。なお、立体映像処理装置１（データ伝送インターフェース１５）は、メモリカード６に記録された立体映像ストリームを読み出すことが可能である。

５−１．立体映像処理装置の構成
図５を用いて立体映像処理装置１の構成を説明する。立体映像処理装置１は、ディスクドライブ１１、チューナ１２、ネットワーク通信インターフェース１３、メモリデバイスインターフェース１４、データ伝送インターフェース１５、バッファメモリ（フレームメモリ）１６、ＨＤドライブ１７、フラッシュメモリ１９及びＬＳＩ１８を備える。

ディスクドライブ１１は、光ピックアップを含み、光ディスク４から立体映像ストリームを読み出す。ディスクドライブ１１は、ＬＳＩ１８と接続されており、光ディスク４から読み出した立体映像ストリームをＬＳＩ１８に送信する。ディスクドライブ１１は、ＬＳＩ１８からの制御に応じて、光ディスク４から立体映像ストリームを読み出し、ＬＳＩ１８に送信する。

チューナ１２は、アンテナ５で受信した立体映像ストリームを含む放送波を取得する。チューナ１２は、取得した放送波から、ＬＳＩ１８によって指定された周波数の立体映像ストリームを取り出す。チューナ１２はＬＳＩ１８に接続されており、取り出した立体映像ストリームをＬＳＩ１８に送信する。

ネットワーク通信インターフェース１３は、ネットワークに接続するための制御を行う。本実施形態では、立体映像処理装置１は、ネットワーク通信インターフェース１３及びネットワークを介してサーバ３と接続可能である。ネットワーク通信インターフェース１３は、サーバ３から送信された立体映像ストリームを取得する。

メモリデバイスインターフェース１４は、メモリカード６を装着するためのインターフェースであり、装着されたメモリカード６から立体映像ストリームを受信することが可能である。メモリデバイスインターフェース１４は、メモリカード６から読み出された立体映像ストリームをＬＳＩ１８に送信する。

ＨＤドライブ１７は、ハードディスクなどの記録媒体を内蔵し、記録媒体から読み出されたデータをＬＳＩ１８に送信する。また、ＨＤドライブ１７は、ＬＳＩ１８から受信したデータを記録媒体に記録する。

データ伝送インターフェース１５は、ＬＳＩ１８から送信されたデータを、外部の立体映像表示装置２に送信するためのインターフェースである。データ伝送インターフェース１５は、データ信号及びコントロール信号を、立体映像表示装置２との間で送受信可能に構成されている。ＬＳＩ１８は、データ伝送インターフェース１５を介して、立体映像表示装置２を制御することが可能である。データ伝送インターフェース１５は、例えば、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）に準拠して通信を実現する。データ伝送インターフェース１５は、ＨＤＭＩケーブルを介して立体映像表示装置２と接続する。ＨＤＭＩケーブルは、データ線とコントロール線とを含む。なお、データ伝送インターフェース１５は、データ信号を立体映像表示装置２に送信できれば、どのような構成であってもかまわない。

バッファメモリ１６は、ＬＳＩ１８の処理のためのワークメモリとして機能する。バッファメモリ１６は、例えば、ＤＲＡＭやＳＲＡＭなどで実現可能である。

フラッシュメモリ１９は、立体映像処理装置１の装置画像のデータを予め格納している。装置画像は、例えば、チャンネルの情報や音量の情報、ディスプレイの輝度・コントラスト量・色温度などを調整するための情報、再生装置の画質を調整するための情報を示す画像を含む画像である。ＬＳＩ１８は、フラッシュメモリ１９から読み出した装置画像を映像データに重ね合わせて立体映像表示装置２に表示させることができる。これによって、ＬＳＩ１８は、立体映像処理装置１の情報を視聴者に提示できる。また、ＬＳＩ１８は、設定画面を表示するよう制御する。ＬＳＩ１８は、その設定画面上で視聴者から設定を受け付けることも可能になる。

ＬＳＩ１８は、立体映像処理装置１の各部を制御するシステムコントローラであり、マイクロコンピュータやハードワイヤードな回路で実現できる。ＬＳＩ１８は、ＣＰＵ１８１、ストリームコントローラ１８２、デコーダ１８３、ＡＶ入出力回路１８４、システムバス１８５及びメモリコントローラ１８６が実装されている。

ＣＰＵ１８１はＬＳＩ１８全体を制御する。ＬＳＩ１８の各部は、ＬＳＩ１８からの制御に基づいて各種制御を行なうように構成されている。また、ＣＰＵ１８１は外部との通信も制御する。例えば、ＣＰＵ１８１は、サーバ３等から立体映像ストリームを取得する際、ディスクドライブ１１やチューナ１２、ネットワーク通信インターフェース１３、メモリデバイスインターフェース１４に制御信号を送信する。これによってディスクドライブ１１やチューナ１２、ネットワーク通信インターフェース１３、メモリデバイスインターフェース１４は、記録メディアや放送局等から立体映像ストリームを取得することができる。

ストリームコントローラ１８２は、サーバ３や光ディスク４、アンテナ５、メモリカード６、及びアクティブシャッターメガネ（後述）との間のデータの送受信を制御する。例えば、ＣＰＵ１８１は、サーバ３から取得した立体映像ストリームを、メモリコントローラ１８６に送信する。

メモリコントローラ１８６は、ＬＳＩ１８の各部から送信されたデータを、バッファメモリ１６に書き込む。例えば、メモリコントローラ１８６は、ストリームコントローラ１８２から取得した立体映像ストリームを、バッファメモリ１６に記録する。また、メモリコントローラ１８６は、バッファメモリ１６に記録されたデータを、バッファメモリ１６から読み出す。そして、バッファメモリ１６は、読み出したデータをＬＳＩ１８の各部に送信する。

デコーダ１８３は、メモリコントローラ１８６からデータを取得すると、取得したデータをデコードする。ここで、デコーダ１８３に入力されるデータは、ＣＰＵ１８１の制御に基づいている。具体的には、ＣＰＵ１８１は、メモリコントローラ１８６を制御して、バッファメモリ１６に記録された立体映像ストリームを読み出させる。そして、ＣＰＵ１８１は、読み出した立体映像ストリームをデコーダ１８３に送信するようメモリコントローラ１８６を制御する。これによって、メモリコントローラ１８６からデコーダ１８３に立体映像ストリームが入力される。

具体的には、デコーダ１８３は、入力された立体映像ストリームを、符号化されたデータ３１（圧縮符合化された立体映像情報、圧縮符号化された音声情報、圧縮符合化されたデータ情報）と、そのヘッダ情報３３とに分離する。そして、デコーダ１８３はヘッダ情報３３をバッファメモリ１６に記録する。

また、デコーダ１８３は、ヘッダ情報３３に含まれるデコード情報に基づいて、圧縮されたデータ３１をデコードする。なお、デコーダ１８３は、デコードした情報（立体映像情報、音声情報、データ情報）をメモリコントローラ１８６に送信する。メモリコントローラ１８６はデコーダ１８３から受信した情報をバッファメモリ１６に記録する。

ＡＶ入出力回路１８４は、バッファメモリ１６から、復号されたデータ３１及びヘッダ情報３３の情報を読み出し、それらに基づき立体映像表示装置２に表示させるための出力データを生成する。そして、ＡＶ入出力回路１８４は、生成した出力データを、データ伝送インターフェース１５を介して立体映像表示装置２に送信する。その際、ストリームコントローラ１８２およびデコーダ１８３はヘッダ情報３３を解析し、ベースビュー情報を取得する。ＡＶ入出力回路１８４は、このベースビュー情報を、左眼映像、右眼映像のいずれの平均ビットレートが高いかを示す識別情報として出力データに含める。なお、本実施形態では、識別情報としてベースビュー情報を用いるが、識別情報は、左眼映像と右眼映像のうち符号化の平均ビットレートが高い方の映像を示す情報であればよく、ベースビュー情報に限定されるものではない。例えば、ＡＶ入出力回路１８４は、立体映像ストリームを解析して、左眼映像と右眼映像のうち符号化の平均ビットレートが高い方の映像を判断することで識別情報を生成しても良い。また、識別情報は出力データにおいてフレーム毎に含められる。

具体的には、ＡＶ入出力回路１８４は、図６に示すような出力データを生成する。ＡＶ入出力回路１８４は、出力データを生成するため２つのステップを行う。１つ目のステップは表示画像生成処理であり、２つ目のステップは出力データ生成処理である。以下、それぞれの処理について説明する。

５−１−１．表示画像生成処理
表示画像生成処理は、視聴者からの指示に応じて、立体映像情報（左眼映像又は右眼映像）を加工する処理である。具体的には、視聴者から、字幕の表示指示、又は、副映像の表示指示、立体映像処理装置１の装置画像（以下「処理装置画像」と称す）の表示指示を受け付けた場合にこの処理を行う。なお、視聴者は立体映像処理装置１に対してリモコンを用いて指示することができる。リモコンからの指示は、立体映像処理装置１に設けられる赤外線センサで受信することが可能である。以下具体的な処理の例を説明する。

立体映像処理装置１は視聴者から字幕映像を表示する旨の指示を受けると、ＡＶ入出力回路１８４は、字幕映像を立体映像データに重畳する。より詳しくは、ＡＶ入出力回路１８４は、ヘッダ情報３３をバッファメモリ１６から取得し、字幕映像の視差情報に基づいて、左眼映像又は右眼映像に字幕映像を重ね合わせる。例えば、図６に示すように、ＡＶ入出力回路１８４は、字幕映像の視差情報（ズレ量）がＹピクセルである場合、左眼映像５０ａに対して字幕映像５１をＹピクセルだけ右方向にずらして重ね合わせ、右眼映像５０ｂに対して字幕映像５１をＹピクセルだけ左方向にずらして重ね合わせる。立体映像５０ａ、５０ｂに付加される副映像５３も同様である。

また、字幕の表示に加えて、視聴者によって処理装置画像を表示するよう指示された場合、ＡＶ入出力回路１８４は、フラッシュメモリ１９から、指示に対応する処理装置画像（例えば、立体映像処理装置１が提供する機能メニュー画像）データを取得する。そして、ＡＶ入出力回路１８４はバッファメモリ１６から字幕映像の視差情報を取得する。ＡＶ入出力回路１８４は、取得した字幕映像の視差情報に基づいて処理装置画像の視差情報を決定する。具体的には、ＡＶ入出力回路１８４は、立体表示において処理装置画像が字幕映像よりも画面の奥行き方向において手前（視聴者側）に表示されるように、視差情報（例えば、Ｚピクセル）を決定する。すなわち、装置画像の視差が字幕映像の視差よりも大きくなるように視差情報を決定する。例えば、図７に示すような立体表示において、立体映像表示装置２の画面３０よりも視聴者２００側に立体映像による物体１１０及び字幕５１が表示されている状況において、字幕５１よりも手前（視聴者側）に処理装置画像５５が表示されるように、処理装置画像５５の視差情報が決定される。なお、立体映像による物体１１０は、立体映像により表示される物体の中で最も視聴者２００側に表示される物体であるとし、字幕５１はその物体１１０よりも視聴者２００側に表示されるものとしている。このように、処理装置画像５５を立体映像による物体１１０や字幕５１よりも手前（視聴者側）に表示することで、視聴者は違和感なく処理装置画像５５を視認できる。

ＡＶ入出力回路１８４は、上記のように決定された視差情報に基づいて処理装置画像の重ね合わせを行なう。

例えば、図６に示すように、処理装置画像５５の視差情報（ズレ量）がＺピクセルである場合、左眼映像５０ａに対して処理装置画像５５をＺピクセル右方向にずらして重ね合わせ、右眼映像５０ｂに対して処理装置画像５５をＺピクセル左方向にずらして重ね合わせる。ＡＶ入出力回路１８４は、このようにして処理装置画像５５を重ね合わせた左眼映像５０ａ及び右眼映像５０ｂを示す映像データを生成する。

５−１−２．出力データ生成処理
ＡＶ入出力回路１８４は、図８に示すような出力データを生成する。図８に示すように、出力データは映像の無効区間（ブランキング領域）と有効区間（アクティブ領域）とを含むＪ×Ｋ画素のデータとなる。

アクティブ領域には、表示画像生成処理で生成した表示画像が含まれる。ＨＤＭＩのようなデータ伝送インターフェースによれば、ブランキング領域において、音声データ、映像フォーマット情報、リザーブド情報などをパケットに含めて伝送する。音声データは、アクティブ領域に含まれる映像に対応する音声情報を含む。映像フォーマット情報は、解像度や画面の縦横比等の情報を含む。リザーブド情報は、左眼映像と右眼映像のうち符号化の平均ビットレートが高い方の映像を示す識別情報を含む。なお、本実施形態では、この識別情報として、ベースビュー情報を用いている。リザーブド情報はさらに、表示画像生成処理で生成した表示画像の最大視差情報を含む。例えば、前述の表示画像生成処理により処理装置画像を重畳した場合、視差情報Ｚが与えられる。最大視差情報の算出方法については後述する。

なお、本実施の形態では、識別情報は、左眼映像と右眼映像のうち符号化の平均ビットレートが高い方の映像を示す情報とした。しかし、識別情報は、これに限られず、符号化時においてＩフレームを含む映像がいずれであるかを示す情報としてもよい。よって、ＭＶＣで符号化された映像である場合、デコーダでＩフレームを含むフレームが左眼映像又は右眼映像かを検出し、この検出した情報に基づいて、識別情報を生成すればよい。

本実施形態では、リザーブド情報は、左眼映像と右眼映像のうち符号化の平均ビットレートが高い方の映像を示す識別情報を１フレーム毎に含む。しかしながら、これに限定されず、ｎフレーム毎（ｎ＞１）に含むようにしてもよい。または、ベースビューが左眼映像から右眼映像へ（又はその逆に）変化したタイミングで、リザーブド情報に識別情報を含めるようにしてもよい。

以上の２つの処理によって生成されたデータを、ＡＶ入出力回路１８４は、データ伝送インターフェース１５を介して立体映像表示装置２に出力する。

５−１−３．最大視差情報の算出方法
上記で説明した表示画像の最大視差情報の算出について２つの例を挙げて説明する。

＜例１＞立体映像情報に、字幕データと立体映像処理装置１の装置画像が重畳される場合
抽出情報は以下のとおりである。

立体映像処理装置１の装置画像は、字幕データよりも視聴者側に表示されるように視差情報を調整されるとする。

この場合、視差情報Ｚは字幕データの視差情報Ｙよりも大きいため、最大視差情報はＺとなる。なお、仮に視差情報ＸがＺよりも大きい場合であったとしても、副映像は立体映像情報に重畳されていないので、最大視差情報はＺとなる。

＜例２＞立体映像情報に他の画像が重畳されていない場合
抽出情報は以下のとおりである。

この場合、最大視差情報はＸとなる。例２では、立体映像情報が視差情報を持っていない。立体映像情報を解析して、視差情報を求めるのは困難であるため、字幕データ又は副映像データの視差情報を用いて最大視差情報を求める。なお、本実施の形態では、副映像データの視差情報（重畳されていないデータの中で最小の視差）を用いるようにした。このようにして求めた最大視差情報に基づき立体映像表示装置２の装置画像を表示することで、視聴者が感じる違和感を低減できる。なお、最大視差情報として字幕データの視差情報Ｙを用いてもよい。

なお、立体映像処理装置が立体映像情報の視差情報を検出する回路を備えている場合、当該回路で検出できる立体映像情報の視差情報を字幕データや副映像データ等の視差情報と比較することにより、それらの視差情報の中の最大視差情報を求めてもよい。

５−２．立体映像表示装置の構成
図９に立体映像表示装置２の構成を示す。立体映像表示装置２はディスプレイ２４を備え、立体映像処理装置１からの出力データに含まれる映像データ（表示画像）を表示する。ディスプレイ２４は、例えば、液晶ディスプレイ、プラズマディスプレイ又は有機ＥＬディスプレイで構成される。つまり、立体映像表示装置２は、立体映像処理装置１から送信された出力データに含まれる映像を表示可能である。

より具体的には、立体映像表示装置２は、コントローラ２２、メモリ２３、ディスプレイ２４、データ伝送インターフェース２１および通信インターフェース２５で構成されている。メモリ２３は例えばフラッシュメモリやＤＲＡＭで実現可能である。コントローラ２２は、例えば、マイクロプロセッサで実現できる。

データ伝送インターフェース２１は、立体映像表示装置２と立体映像処理装置１の間でデータの送受信を行なうためのインターフェースである。データ伝送インターフェース２１は、例えば、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）に準拠して通信を行う。

通信インターフェース２５は、アクティブシャッターメガネ７と通信を行なうためのインターフェースである。通信インターフェース２５は、例えば、赤外線やＢｌｕｅｔｏｏｔｈなどの無線又は有線により、アクティブシャッターメガネ７との通信を確立する。

なお、立体映像表示装置２は、リモコンからの信号に応じて、表示モードを３次元映像表示モードと２次元映像表示モードとの間で切り替え可能である。以下、各モードの表示動作を説明する。

５−２−１．３次元映像表示モード
図１０Ａ及び図１０Ｂを参照して３次元映像表示モードでの動作について説明する。立体映像表示装置２は、アクティブシャッターメガネ７を用いて立体映像を視聴可能にするための映像を表示する（図１０Ａ参照）。具体的には、立体映像処理装置１は、立体映像表示装置２に対して、左眼映像が示す映像データと右眼映像が示す映像データを交互に出力する。立体映像表示装置２は、立体映像処理装置１から取得した映像データに含まれる左眼映像及び右眼映像を交互にディスプレイ２４の画面上に表示する（図１０Ｂ参照）。視聴者は、このようにして立体映像表示装置２に表示された映像を、アクティブシャッターメガネ７を通して視認することで立体映像として認識できる。

アクティブシャッターメガネ７は、視聴者の左右の何れかの視野を遮ることが可能なシャッタを備えている。アクティブシャッターメガネ７は、立体映像表示装置２に左眼映像が表示されると、視聴者の立体映像表示装置２に対する右眼の視野を遮る一方で、立体映像表示装置２に右眼映像が表示されると、視聴者の立体映像表示装置２に対する左眼の視野を遮るようにシャッタが制御される。つまり、図１０Ａ、図１０Ｂのように、視聴者は、立体映像表示装置２に左眼映像を示す画面が表示されている場合は、左眼で映像を見ることになり、立体映像表示装置２に右眼映像を示す画面が表示されている場合は、右眼で映像を見ることになる。これによって、視聴者は、立体映像表示装置２に順次表示された画面を立体映像として視認することができる。

ここで、立体映像表示装置２のコントローラ２２は、視聴者の指示（リモコンの指示）により、立体映像表示装置２の装置画像（以下「表示装置画像」と称す）を表示画面に重畳して表示するよう指示された場合、映像データに表示装置画像を重畳して表示する。表示装置画像のデータはメモリ２３に格納されている。表示装置画像は、例えば、チャンネルの情報や音量の情報、ディスプレイの輝度・コントラスト量・色温度などを調整するための情報、再生装置の画質を調整するための情報を示す画像を含む。

具体的には、コントローラ２２は、以下のように映像データに表示装置画像を重畳して表示する。コントローラ２２は、立体映像処理装置１の出力データに含まれる視差情報（例えば、Ｚピクセル）に基づいて、表示装置画像の視差情報（例えば、Ｚ＋αピクセル）を決定する。そして、コントローラ２２は、決定した視差情報に基づいて表示装置画像を重畳する。この重畳の方法は、立体映像処理装置１で説明した方法と同じであるため、省略する。このようにすれば、立体映像処理装置１で加工された映像に対しても、表示されたときに違和感の少ない表示装置画像を重畳できる。これによって、視聴者は違和感なく、３次元映像を視聴できるようになる。

なお、本実施の形態では、アクティブシャッターメガネ７を用いた例を説明したが、立体映像表示装置２に表示された右眼映像と左眼映像を視聴者が別々に見ることを可能とする方法であれば、この方法に限られない。

また、上記出力データに含まれる視差情報は、表示装置画像の視差調整だけでなく、以下の用途においても利用することができる。

例えば、立体映像表示装置が、視聴者により画面内の視差を調整できる機能を有する場合、視差情報は以下のように利用できる。立体映像表示装置は、まず、立体映像処理装置からの出力データに含まれる視差情報に基づいて決定される立体映像の飛び出し量で映像を視聴者に提示する。そして、立体映像表示装置は、視聴者によるリモコン等を介した指示に基づいて、さらに、立体映像の飛び出し量を調整する。このようにすれば、音量調整の場合と同様に、容易な手段で視聴者は視差の調整ができる。

また、立体映像の視差が大きくなるにつれて、視聴者の眼への負担は大きくなる。そこで、例えば、立体映像表示装置は、立体映像処理装置からの出力データに含まれる視差情報に基づき視差の大きさを検知し、検知した視差が所定の値よりも大きければ、自動的に表示制限を行う。その表示制限では、右眼映像と左眼映像の物体の視差が小さくなるように表示画面全体の表示位置を調整する。この構成により、立体視に起因する視聴者の眼への負担を軽減する機能を実現できる。

５−２−２．２次元映像表示モード
２次元映像表示モードについて説明する。２次元映像表示モードは、立体映像情報に基づき２次元映像を表示するモードである。２次元映像表示モードでは、立体映像表示装置２は左眼映像又は右眼映像のいずれかのみをディスプレイ２４に表示する。この際、アクティブシャッターメガネ７の機能はＯＦＦにされる。つまり、アクティブシャッターメガネ７は両方の眼に対して光を透過させる。なお、２次元映像表示モードでは、視聴者はアクティブシャッターメガネ７を使わなくても２次元映像を視聴できる。

２次元映像表示モードでは、立体映像表示装置２のコントローラ２２は、立体映像処理装置１からの出力データに含まれる識別情報（左眼映像又は右眼映像のいずれが符号化の平均ビットレートの高い映像であるかを示す情報）に基づいて、表示すべき映像として左眼映像又は右眼映像を選択する。つまり、コントローラ２２は、識別情報が示す方の映像（例えば、左眼映像）を選択肢、ディスプレイ２４に表示させる。このように識別情報を参照することで、立体映像表示装置２は平均ビットレートが高く圧縮されていた映像を認識できる。２次元映像表示する際に、より画質の良い方の映像を選択して視聴者に提供することができる。

一般に、立体映像処理装置と立体映像表示装置間でＨＤＭＩにしたがい映像情報を伝送する場合、伝送する映像情報を３次元映像情報（立体映像情報）と２次元映像情報との間で切り替える場合、立体映像処理装置と立体映像表示装置間で認証処理が必要となる。この認証処理の間、立体映像表示装置では映像の表示が停止される。このため、３次元映像（立体映像）情報と２次元映像情報を切り替える度、再認証処理が発生し、これにより映像表示が途切れてしまうという問題があり、視聴者の利便性を損なう。そこで、本実施形態のような２次元映像表示モードを設けることにより、立体映像表示装置２は、立体映像処理装置１から３次元映像情報（立体映像情報）を受信しつつ、表示する映像の形式を、立体視を可能とする３次元表示と、立体視を可能としない２次元表示との間で切り替えることが可能となる。これにより、前述のような認証処理が不要となるため、３次元表示と２次元表示の切り替えにともない視聴者の利便性が損なわれることを防止できる。さらに、２次元映像表示モードにおいて、識別情報を参照して、平均ビットレートがより高い方の映像を認識できるため、より画質の良い方の映像を選択して視聴者に提供することができる。

６．立体映像表示システムの具体的な動作例
６−１．３次元映像表示の動作例
図１１及び図１２を用いて、３次元映像表示モードにおける、すなわち、３次元映像を表示する際の具体的な動作例を説明する。なお、説明の便宜上、一部の処理については説明を省略している。また、立体映像表示装置２は３次元表示モードに設定されているものとする。

図１１を用いて立体映像処理装置１の動作を説明する。図１１に示すように、立体映像処理装置１は、光ディスク４より立体映像ストリームを取得する。立体映像処理装置１は、立体映像ストリームを、ヘッダ情報、立体映像符号化情報、音声情報、データ情報に分離する。その後、立体映像処理装置１は、各データをデコーダ１８３（各デコーダ）により復号し、復号したデータをバッファメモリ１６（各領域）に記録する。

立体映像処理装置１は左眼映像データ及び右眼映像データを交互に読み出す。立体映像処理装置１は、視聴者の指示に応じて、立体映像情報（左眼映像データ又は右眼映像データ）に、字幕データ、メニューデータを重畳する。この際、立体映像処理装置１は、立体映像ストリームのヘッダ情報に含まれる視差情報（字幕視差情報及び副映像視差情報）を用いて字幕データ及びメニューデータの右眼映像及び左眼映像上の位置を決定して立体映像情報に重畳する。

また、立体映像処理装置１は、視聴者の指示に応じて、処理装置画像（ＯＳＤ）を立体映像情報に重畳する。この際、立体映像処理装置１は、字幕視差情報又は副映像視差情報を用いて処理装置画像の視差情報を決定し、決定した視差情報を用いて処理装置画像を重畳する。このようにして表示画像情報が生成される。

ここで、立体映像処理装置１は、表示画像の最大視差情報を算出する。具体的には、重畳された映像（字幕、副映像）の視差情報のうち、最も大きい視差の情報を最大視差情報とする。

立体映像処理装置１は、このように算出した視差情報を表示画像情報と併せて、出力データとして、立体映像表示装置２に送信する。

次に、図１２を用いて、立体映像処理装置１から表示画像情報及び視差情報を受信した立体映像表示装置２の動作を説明する。立体映像表示装置２は、受信した表示画像情報に基づき表示画像を順次ディスプレイに表示する。この際、立体映像表示装置２は、視聴者の指示に応じて表示装置画像（ＯＳＤ）を立体映像情報に重畳して表示する。このため、立体映像表示装置１は、立体映像処理装置１からの出力データに含まれる視差情報を用いて表示装置画像の視差情報を決定し、決定した視差情報を用いて表示装置画像を立体映像に重畳する。

この構成により、立体映像表示装置２は、表示画像を立体視したときに視聴者に与える違和感がより少なくなる表示画像上の位置に表示装置画像を重畳できる。

６−２．２次元映像表示の動作例
図１３及び図１４を用いて、２次元映像表示モードにおける、すなわち、２次元映像を表示する際の具体的な動作例を説明する。なお、説明の便宜上、一部の処理については説明を省略している。また、立体映像表示装置２は２次元表示モードに設定されているものとする。

図１３を用いて、立体映像処理装置１の動作を説明する。図１３に示すように、立体映像処理装置１は、光ディスク４より立体映像ストリームを取得する。立体映像処理装置１は、立体映像ストリームを、ヘッダ情報、立体映像符号化情報、音声情報、データ情報に分離する。その後、立体映像処理装置１は、各データをデコーダ１８３（各デコーダ）により復号する。立体映像処理装置１は、復号したデータをバッファメモリ１６（各領域）に記録する。

そして、立体映像処理装置１は左眼映像データ及び右眼映像データを交互に読み出す。この際、立体映像処理装置１は、立体映像ストリームのヘッダ情報３３に含まれるベースビュー情報を検出し、検出したベースビュー情報を識別情報として表示画像と併せて、出力データとして、立体映像表示装置２に送信する。

次に、図１４を用いて、立体映像処理装置１から表示画像情報及び識別情報を受信した立体映像表示装置２の動作を説明する。図１４に示すように、立体映像表示装置２は、受信した表示画像情報の中から左眼映像又は右眼映像のいずれかの映像を選択し、順次ディスプレイに表示する。この際、立体映像表示装置２は、左眼映像又は右眼映像の選択を、出力データに含まれる識別情報に基づいて行う。このように識別情報を参照することにより、立体映像表示装置２は、左眼映像及び右眼映像のうち、より画質の良い映像を簡易な方法で認識できる。

７．まとめ
以上のように本実施形態の立体映像処理装置１は、立体映像表示装置２に、立体視を可能とする立体映像情報を出力可能な装置であって、立体映像情報を取得するディスクドライブ１１（取得手段の一例）と、立体映像情報に付加映像情報（少なくとも字幕情報、副映像情報及び処理装置画像のいずれか）を重畳する重畳手段ＡＶ入出力回路１８４（重畳手段の一例）と、付加映像情報の視差情報を、付加映像情報が重畳された立体映像情報に関連付けた状態で映像表示装置２に送信するデータ伝送インターフェース１５（送信手段の一例）とを備える。

上記の構成により、映像処理装置１は、映像表示装置２に対して、より簡易な方法で、映像処理（復号）後の立体映像情報に関する視差情報を伝えることができる。この視差情報を利用することで、映像表示装置２は、表示装置画像（ＯＳＤ）をより適切な位置に配置でき、違和感なく視認できる表示装置画像（ＯＳＤ）を視聴者に提示することができる。

また、本実施形態の立体映像処理装置１は、映像表示装置２に、第１眼映像と第２眼映像を含み、立体視を可能とする立体映像情報を出力可能な装置である。映像処理装置１は、第１眼映像と第２眼映像をそれぞれ異なるビットレートで符号化する符号化方式（例えば、ＭＶＣ）を用いて符号化された立体映像情報を取得するディスクドライブ１１（取得手段の一例）と、立体映像情報を復号するデコーダ１８３（復号手段の一例）と、第１眼映像と第２眼映像のうちの符号化ビットレートの高い方の映像を示す識別情報を、復号された立体映像情報に関連付けた状態で映像表示装置２に送信するデータ伝送インターフェース１５（送信手段の一例）と、を備える。

上記の構成により、映像処理装置１は、映像表示装置２に対して、より簡易な方法で、第１眼映像と第２眼映像のうちいずれが画質の高い方の映像であるかを知らせることができる。これによって、映像表示装置２は、第１眼映像と第２眼映像のうちの画質のより良い方の映像を選択でき、映像表示装置２は、選択した映像を２次元表示することで、視聴者に対して画質の良い２次元映像を提供できる。

８．他の実施の形態
本発明の一実施の形態として上記の例を説明した。しかし、本発明の思想はこれに限られず種々の形態で実現することが可能である。以下、他の実施の形態を説明する。

上記の実施形態では、立体映像符号化情報の映像ソースとして光ディスクを用いた例を説明したが、映像ソースはそれに限定されない。立体映像符号化情報を提供する放送局、サーバ、メモリカード等も上記の思想が適用できる映像ソースの例である。

上記の実施の形態では、ヘッダ情報３３に含まれるベースビュー情報に基づく識別情報を参照して、立体映像符号化情報に含まれる平均ビットレートのより高い方の映像（左眼映像又は右眼映像）を検知するようにした。しかし、本発明の実施の形態はこれに限られない。

例えば、立体映像ストリームに含まれる管理情報（プレイリスト）などにベースビュー情報を格納しておき、この管理情報を用いて平均ビットレートの高い映像を検知してもよい。なお、管理情報は、立体映像ストリームのデータの最初に設けられる情報である。

または、立体映像符号化情報のビットレートを観測することで、平均ビットレートの高い映像を検知してもよい。

なお、平均ビットレートは、立体映像符号化情報の所定の区間における平均値として求めてもよいし、立体映像符号化情報全体の平均値として求めてもよい。

また、上記の実施の形態では、識別情報と最大視差情報をリザーブド領域に含めて出力するようにした。しかし、これに限られず、識別情報と最大視差情報は、ＨＤＭＩのＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ）のコマンドとして、コントロール線で伝送するようにしてもかまわない。

また、上記の実施の形態では、映像コンテンツにおいて、字幕情報は、その視差情報を考慮して右眼映像と左眼映像それぞれに重畳された。しかし、これに限られず、映像コンテンツにおいて、左眼映像に対応した左眼用の字幕情報と、右眼映像に対応した右眼用の字幕情報をそれぞれ左眼映像、右眼映像に重畳させるようにしてもよい。このように構成された場合、左眼用字幕情報と右眼用字幕情報とを解析して、字幕の視差情報を求めることができる。なお、字幕の視差情報は、立体映像情報の視差情報を求めるよりも容易である。なお、副映像情報も同様である。

また、上記の実施の形態の立体映像処理装置１は、表示画像全体において最大となる視差に関する視差情報を立体映像表示装置２に出力したが、表示画像の一部の領域毎に視差情報を送信してもよい。例えば、図１５に示すように、表示画像中に処理装置画像６１や字幕６２が含まれる場合、立体映像処理装置１は、処理装置画像６１や字幕６２について、それらの視差情報を、それらのオブジェクトが表示される領域に関する情報とともに立体映像表示装置２に出力するようにしてもよい。図１６に、そのような方法で視差情報を送信する際のフォーマットを示す。図１６に示すように、視差情報は、領域毎に、領域の開始位置（ｘｓ，ｙｓ）と領域のサイズ（横長Ｌｘ×縦長Ｌｙ）と関連づけされて立体映像表示装置２に出力される。立体映像表示装置２は、このような領域毎の視差情報を参照することにより、各領域に表示されるオブジェクトに表示装置画像が重ならないように、表示装置画像の表示位置を決定することができる。なお、視差情報及び領域に関する情報は、１つや２つに限られず、複数個であってもよい。

本発明は、立体映像を表示可能なテレビ受像機やディスプレイに対して、立体映像を出力可能な装置（例えば、映像記録装置や光ディスク再生装置）に適用可能である。

１ 立体映像処理装置
２ 立体映像表示装置
３ サーバ
４ 光ディスク
５ アンテナ
６ メモリカード
７ アクティブシャッターメガネ
１１ ディスクドライブ
１２ チューナ
１３ ネットワーク通信インターフェース
１４ メモリデバイスインターフェース
１５ データ伝送インターフェース
１６ バッファメモリ
１７ ＨＤドライブ
１８ ＬＳＩ
１８１ ＣＰＵ
１８２ ストリームコントローラ
１８３ デコーダ
１８４ ＡＶ入出力回路
１８５ システムバス
１８６ メモリコントローラ
１９ フラッシュメモリ
２１ データ伝送インターフェース
２２ コントローラ
２３ メモリ
２４ ディスプレイ
２５ 通信インターフェース

Claims (5)

1. 映像表示装置に、立体視を可能とする立体映像情報を出力可能な映像処理装置であって、
   立体映像情報を取得する取得手段と、
   前記立体映像情報に付加映像情報を重畳する重畳手段と、
   前記付加映像情報の視差情報を、前記付加映像情報が重畳された立体映像情報に関連付けた状態で前記映像表示装置に送信する送信手段と、
   を備える映像処理装置。
2. 前記付加映像情報は、字幕情報、副映像情報、及び前記映像処理装置が提供する画像のうちのいずれかである、請求項１に記載の映像処理装置。
3. 前記視差情報は、前記立体映像情報又は前記付加映像情報の視差情報のうち、立体視表示されたときに視聴者に対して最も手前に位置する映像の視差を示す情報である、
   請求項１に記載の映像処理装置。
4. 前記送信手段は、前記視差情報に加えて、付加映像情報が表示される領域に関する情報を、前記立体映像情報に関連付けた状態で前記映像表示装置に送信する、
   請求項１に記載の映像処理装置。
5. 請求項１から４のいずれか１つに記載の映像処理装置から立体映像情報及び視差情報を受信する受信する受信手段と、
   前記受信した立体映像情報を表示する表示手段と、
   前記受信した視差情報に基づき、前記立体映像情報の表示手段への表示を制御する制御手段と、を備える
   表示装置。

Images