JP2011124802A - 立体映像生成装置および立体映像生成方法 - Google Patents

Abstract

【課題】１のディスプレイを通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能となる。
【解決手段】立体映像生成装置１００は、立体映像を知覚させるための立体映像データまたは２次元映像データを取得するデータ取得部１５０と、取得された立体映像データまたは２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成する表示データ生成部１６０と、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイ１１０に、生成された２または３の表示データを並べて表示させる表示制御部１８０と、を備える。
【選択図】 図２

Description

本発明は、両眼視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像生成装置および立体映像生成方法に関する。

従来、１つのディスプレイの表示面を複数の領域（画面）に分割し、異なる映像を表示させる技術がある。例えば、カーナビゲーション装置では、ディスプレイの一方の画面に平面の地図を示す映像を、他方の画面に現在地付近の建物の斜視図を示す映像をそれぞれ表示させている。

このようなカーナビゲーション装置は、地図を示す映像を生成するための地図データと斜視図を示す映像を生成するための斜視図データを別個に備えていることが多いが、斜視図データは地図データと高さ方向のデータとから構成されているため、限りある記憶領域に地図データが重複して存在することとなり、記憶領域の有効利用が妨げられていた。

そこで、地図を示す映像を生成するための地図データを利用し、斜視図を示す映像を生成することでデータ量を削減する技術が開示されている（例えば、特許文献１）。

特開２００５―２２７５９０号公報

近年、ディスプレイの表示面上に、両眼視差のある左右２つの映像を表示し、ユーザ（観察者）に対してあたかもオブジェクトが立体的に存在するように知覚させる立体映像技術が脚光を浴びている。このような立体的な映像表示を実現するための技術については、様々な提案がなされており、例えば、μｐｏｌやＸｐｏｌ（登録商標）といった偏光フィルタ方式（パッシブタイプ）や、電子シャッタ方式（アクティブタイプ）が提案されている。

偏光フィルタ方式を採用する場合、ディスプレイの表示面に、偏光特性が異なる２種類の偏光フィルタが隔行で（１表示ライン毎に）交互に配置される。ここで、偏光特性が異なるとは、偏光フィルタに直線偏光を利用する場合、一方の偏光フィルタと他方の偏光フィルタとの偏光が例えば直交しており、円偏光を利用する場合、一方の偏光フィルタは右偏光であり他方の偏光フィルタが左偏光であることをいう。

そして、一方の偏光フィルタが配置された表示ラインに右眼用の映像データを、他方の偏光フィルタが配置された表示ラインに左眼用の映像データを表示させると、観察者は、偏光眼鏡を通じて、隔行の表示ラインに示された右眼映像を右眼で、左眼映像を左眼で視認し、両眼視差による立体映像を知覚することが可能となる。

また、電子シャッタ方式を採用する場合、ディスプレイに、例えば６０ｆｐｓ（Frame Per Second）といったフレーム切換速度で右眼用の映像データと左眼用の映像データとを交互に表示させる。そして、フレームに同期させて、右眼用の映像データを表示させているときには右のシャッタを開、左のシャッタを閉にし、左眼用の映像データを表示させているときには右のシャッタを閉、左のシャッタを開にする電子シャッタ眼鏡を通じて、観察者は、右眼映像を右眼で、左眼映像を左眼で、時分割で交互かつ排他的に視認し、両眼視差による立体映像を知覚することが可能となる。

したがって、観察者が立体映像を観察するときには、立体映像を知覚させるための眼鏡（偏光眼鏡や、電子シャッタ眼鏡）を装着しなければならず、ディスプレイ自体も立体映像を知覚させる構成にしなければならなかった。

このように、２次元映像を表示するディスプレイと、立体映像を知覚させるためのディスプレイとでは、構成が全く異なることから、２次元映像を知覚させるための映像データ（２次元映像データ）と立体映像を知覚させるための映像データ（立体表示データ）とを、並列して１のディスプレイに表示させようとする試みがなかった。

しかし、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較したいといった要望、例えば販売者側がデモンストレーション等で、２次元映像と立体表示データとを１のディスプレイに同時に表示させたい等の要望がある。

そこで、本発明は、このような課題に鑑み、１のディスプレイを通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能な立体映像生成装置および立体映像生成方法を提供することを目的としている。

上記課題を解決するために、本発明の立体映像生成装置は、立体映像を知覚させるための立体映像データまたは２次元映像データを取得するデータ取得部と、取得された立体映像データまたは２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成する表示データ生成部と、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成された２または３の表示データを並べて表示させる表示制御部と、を備えることを特徴とする。

上記立体映像生成装置は、表示データ生成部によって生成される２または３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、取得された立体映像データまたは２次元映像データの一部を切り出す映像切出部をさらに備えてもよい。

上記表示データ生成部は、取得された立体映像データのうちの左眼立体映像データまたは右眼立体映像データのいずれか一方のみを用いて２次元表示データおよび擬似立体表示データを生成してもよい。

上記課題を解決するために、本発明の立体映像生成方法は、立体映像を知覚させるための立体映像データまたは２次元映像データを取得し、取得した立体映像データまたは２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成し、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成した２または３の表示データを並べて表示させることを特徴とする。

本発明の立体映像生成装置は、１のディスプレイを通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能となる。

第１の実施形態にかかる立体映像生成装置が生成する立体表示データを表示させるための立体ディスプレイの表示構成を説明するための説明図である。 第１の実施形態にかかる立体映像生成装置の概略的な機能を示した機能ブロック図である。 第１の実施形態にかかる表示データ生成部の具体的な機能を示した機能ブロック図である。 表示データ生成部中のスケーラ部によって加工された立体映像データを説明するための説明図である。 第１の実施形態にかかる映像変換部の具体的な機能を示した機能ブロック図である。 映像変換部の処理を説明するための説明図である。 映像変換部によって加工された立体映像データを説明するための説明図である。 立体ディスプレイに表示させた表示データを説明するための説明図である。 映像変換部の他の処理を説明するための説明図である。 生成された表示データを説明するための説明図である。 映像変換部の具体的な機能を示した機能ブロック図である。 第１の実施形態にかかる立体映像生成方法の具体的な処理の流れを説明するためのフローチャートである。 第２の実施形態にかかる立体映像生成装置の概略的な機能を示した機能ブロック図である。 第２の実施形態にかかる立体映像データのフォーマットを説明するための説明図である。 第２の実施形態にかかる表示データ生成部の具体的な機能を示した機能ブロック図である。 第２の実施形態にかかる映像変換部の具体的な機能を示した機能ブロック図である。 映像変換部の処理を説明するための説明図である。 映像変換部によって加工された立体映像データを説明するための説明図である。 第２の実施形態にかかる表示データ生成部の体系的な処理を説明するための説明図である。 立体映像データをスケーラ部で加工した場合に立体映像生成装置で出力される表示データを説明するための説明図である。 映像変換部の他の処理を説明するための説明図である。 第２の実施形態にかかる表示データ生成部の他の処理を説明するための説明図である。 第３の実施形態にかかる立体映像生成装置が生成する立体表示データを表示させるための立体ディスプレイの表示構成を説明するための説明図である。 第３の実施形態にかかる立体映像生成装置の概略的な機能を示した機能ブロック図である。 第３の実施形態にかかる表示データ生成部の具体的な機能を示した機能ブロック図である。 表示データ生成部中のスケーラ部によって加工された立体映像データを説明するための説明図である。 第３の実施形態にかかる映像変換部の具体的な機能を示した機能ブロック図である。 映像変換部の処理を説明するための説明図である。 第４の実施形態にかかる立体映像生成装置の表示データ生成部の概略的な機能を示した機能ブロック図である。 第４の実施形態にかかるスケーラ部の処理を説明するための説明図である。 映像変換部の具体的な機能を示した機能ブロック図である。 立体映像生成装置の表示面上の領域を説明するための説明図である。 映像変換部の処理を説明するための説明図である。 スケーラ部の処理を説明するための説明図である。 映像変換部の処理を説明するための説明図である。 第５の実施形態にかかる立体映像生成装置における表示データ生成部の概略的な機能を示した機能ブロック図である。 第５の実施形態にかかる映像切出部の処理を説明するための説明図である。 第６の実施形態にかかる立体映像生成装置における表示データ生成部の概略的な機能を示した機能ブロック図である。 表示データ生成部が生成する表示データを説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（第１の実施形態：同期した立体映像データ、ラインシーケンシャル、２画面表示）
図１は、第１の実施形態にかかる立体映像生成装置が生成する立体表示データを表示させるための立体ディスプレイ１１０の表示構成を説明するための説明図である。立体ディスプレイ１１０の表示面１１２には、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられているので、奇数番号のライン１１４（図１中、ｎは偶数）と偶数番号のライン１１６とで偏光特性が異なっている。立体ディスプレイ１１０を観察する観察者は、左右で偏光特性が異なる偏光眼鏡１１８を通じて、例えば奇数番号のライン１１４に表示された立体表示データ（右眼立体表示データ１２０）を右眼で、偶数番号のライン１１６に表示された立体表示データ（左眼立体表示データ１２２）を左眼で視認し、両眼視差によって、表示面１１２と異なる結像位置１２４で立体映像を知覚することが可能となる。

立体映像生成装置は、図１に示した立体表示データに含まれるオブジェクトを、交差視（交差法）および平行視（平行法）のいずれの立体表示形式で表示することも可能であり、右眼立体表示データ１２０に含まれるオブジェクトと左眼立体表示データ１２２に含まれるオブジェクトとの水平方向の位置を相対的に左右にシフトすることで表示面１１２より奥側または手前側のいずれの位置にもオブジェクトを結像させることができる。このとき水平方向のシフト量を０とすると、オブジェクトは立体ディスプレイ１１０の表示面１１２上に結像される。

このように、立体映像を知覚させるための立体ディスプレイ１１０は、２次元映像を表示させるためのディスプレイと異なり、表示面１１２に１ライン毎に偏光特性の異なる偏光フィルタを備えているため、当該立体ディスプレイ１１０に敢えて２次元映像データを表示しようとする動機に乏しく、２次元映像データを表示する目的には用いられていなかった。しかし、一方で、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較したいといった要望がある。

そこで、本実施形態の立体映像生成装置は、１の立体ディスプレイ１１０を通じて、立体映像と２次元映像とを同時に観察者に知覚させることを目的としている。

（立体映像生成装置１００）
図２は、第１の実施形態にかかる立体映像生成装置１００の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像生成装置１００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、フレームメモリ１５４と、表示データ生成部１６０と、表示制御部１８０とを含んで構成される。ここでは立体ディスプレイ１１０と立体映像生成装置１００とを別体に構成する場合を説明するが、一体的に構成することもできる。

データ取得部１５０は、立体映像を知覚させるための立体映像データ、または２次元映像を表示させるための２次元映像データを、外部の放送局１２６や通信網（インターネットやＬＡＮ）１２８から取得する。また、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった記録媒体から内部的に立体映像データを取得することもできる。本実施形態においてデータ取得部１５０は、右眼に視認させるための右眼立体映像データ１３０と、左眼に視認させるための左眼立体映像データ１３２とが同期している立体映像データ１３４を取得する。

このような立体映像データ１３４では、右眼立体映像データ１３０と左眼立体映像データ１３２とが、１対のカメラによって個別に撮像され、または、両眼視差が生じるように調整されている。ただし、本実施形態の立体映像データ１３４の右眼立体映像データ１３０および左眼立体映像データ１３２は、それぞれ、最終的に表示される立体表示データと垂直解像度および水平解像度が等しいとする。したがって、立体ディスプレイ１１０における全画面の有効映像範囲の画素数が水平解像度１９２０×垂直解像度１０８０（以下、１９２０×１０８０といったように簡略化する）の場合、右眼立体映像データ１３０および左眼立体映像データ１３２が示す画素数はそれぞれ１９２０×１０８０となる。

映像処理部１５２は、データ取得部１５０を通じて取得された立体映像データ１３４に対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データ１３４は、フレームメモリ１５４にて保持される。

フレームメモリ１５４は、ＲＡＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、立体映像データ１３４を一時的に保持する。なお、ＨＤＤは正確には装置であるが、説明の便宜上本説明では他の記憶媒体と同義として扱う。

表示データ生成部１６０は、データ取得部１５０が取得した立体映像データまたは２次元映像データ１３４を用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを生成する。

ここでは、まずデータ取得部１５０が取得した立体映像データ１３４を用いて、立体表示データおよび２次元表示データを生成する構成について説明する。

（立体表示データおよび２次元表示データ）
図３は、第１の実施形態にかかる表示データ生成部１６０の具体的な機能を示した機能ブロック図であり、図４は、表示データ生成部１６０中のスケーラ部１６２によって加工された立体映像データ１３４を説明するための説明図である。図３に示すように、表示データ生成部１６０は、スケーラ部１６２と、映像変換部１７０とを含んで構成される。

スケーラ部１６２は、右スケーラ部１６２ａと、左スケーラ部１６２ｂとで構成され、右スケーラ部１６２ａは、フレームメモリ１５４から図４（ａ）に示す右眼立体映像データ１３０の有効映像部分を、左スケーラ部１６２ｂは、フレームメモリ１５４から左眼立体映像データ１３２の有効映像部分を、それぞれを読み出し、図４（ｂ）に示すように垂直解像度を１／２に縮小する。ここでスケーラ部１６２は、右眼立体映像データ１３０または左眼立体映像データ１３２を構成するライン単位のデータを隔行で間引くことで垂直解像度を１／２に縮小する。なお、有効映像部分とは映像全体から非表示領域（ブランク期間）を除いた映像部分のことである。

さらに、右スケーラ部１６２ａは、図４（ｃ）に示すように、垂直解像度を１／２に縮小した右眼立体映像データ１３０ａの水平解像度を１／２に縮小して、有効映像部分の右半分に配し、左半部にダミーデータ（図４（ｃ）中ハッチングで示す）を配した右眼立体映像データ１３０ｂを生成する。また、左スケーラ部１６２ｂは、垂直解像度を１／２に縮小した左眼立体映像データ１３２ａの水平解像度を１／２に縮小して、有効映像部分の左半分に配し、右半部にダミーデータ（図４（ｃ）中ハッチングで示す）を配した左眼立体映像データ１３２ｂを生成する。ここでスケーラ部１６２は、右眼立体映像データ１３０または左眼立体映像データ１３２を構成するライン単位のデータを１画素置きに間引くことで水平解像度を１／２に縮小する。

そして、スケーラ部１６２は、垂直解像度および水平解像度をそれぞれ１／２に縮小した、すなわち、画素数が９６０×５４０となった右眼立体映像データ１３０を含む右眼立体映像データ１３０ａおよび画素数が９６０×５４０となった左眼立体映像データ１３２を含む左眼立体映像データ１３２ｂを映像変換部１７０に出力する。

図５は、第１の実施形態にかかる映像変換部１７０の具体的な機能を示した機能ブロック図であり、図６は、映像変換部１７０の処理を説明するための説明図であり、図７は、映像変換部１７０によって加工された立体映像データを説明するための説明図である。図５に示すように映像変換部１７０は、３つの切換スイッチ１７２ａ、１７２ｂ、１７２ｃと、２つのラインメモリ１７４ａ、１７４ｂと、アドレス制御部１７６とを含んで構成される。ラインメモリ１７４ａ、１７４ｂは１ライン分のデータを保持およびシフトするシフトレジスタで構成され、アドレス制御部１７６は、水平同期信号の１／２の周期で形成される基準信号に基づいて３つの切換スイッチ１７２ａ、１７２ｂ、１７２ｃを制御する。

具体的に、アドレス制御部１７６は、基準信号の周期で切換スイッチ１７２ａを、基準信号の２倍の周期で切換スイッチ１７２ｂを切り換える。またアドレス制御部１７６は、切換スイッチ１７２ｂと切換スイッチ１７２ｃにそれぞれ接続されるラインメモリ１７４ａ、１７４ｂが排他的に選択されるように切換スイッチ１７２ｂと切換スイッチ１７２ｃとを切り換える。したがって、切換スイッチ１７２ｃも基準信号の２倍の周期で切り換わる。

図６（ａ）に示すように、まず、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す水平解像度を１／２に縮小された左眼立体映像データ（以下、単に０．５ライン分の左眼立体映像データと称する）１３２の１ライン目の映像データＬ１が保持されることになる。

次に基準信号が１周期進むと、図６（ｂ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを右スケーラ部１６２ａに接続し、切換スイッチ１７２ｂと切換スイッチ１７２ｃは変更しない、すなわち、切換スイッチ１７２ｂをラインメモリ１７４ａに接続したままに、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続したままにする。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す水平解像度を１／２に縮小された右眼立体映像データ（以下、単に０．５ライン分の右眼立体映像データと称する）１３０の１ライン目の映像データＲ１が保持されることになる。このとき、ラインメモリ１７４ａには、映像データＬ１と映像データＲ１が直列に保持されることとなる。

さらに基準信号が１周期進むと、図６（ｃ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ｂに接続し、切換スイッチ１７２ｃをラインメモリ１７４ａに接続する。そうすると、ラインメモリ１７４ａから図７（ａ）に示す０．５ライン分の左眼立体映像データ１３２の１ライン目の映像データＬ１が出力され、ラインメモリ１７４ｂには、０．５ライン分の左眼立体映像データ１３２の２ライン目の映像データＬ２が保持されることになる。

ここでは、ラインメモリ１７４ａから出力された映像データＬ１をそのまま表示データとすべきであるが、この場合に限って（基準信号の４倍の周期で）、アドレス制御部１７６は、ラインメモリ１７４ａの出力段からではなく、ラインメモリ１７４ａの中間に相当する位置から映像データを抽出する。すなわち、映像データＬ１の代わりに映像データＲ１を抽出し、その映像データＲ１によって表示データを生成する。

また、ここでは、ラインメモリ１７４としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもでき、その場合、アドレス制御部１７６は、ラインメモリ１７４へのライトアドレスとリードアドレスとを指定してラインメモリ１７４への書き込みおよび読み出しを制御する。そして、図６（ｃ）の場合、本来、映像データＬ１を読み出すタイミングで、リードアドレスを映像データＬ１が格納されているアドレスから映像データＲ１が格納されているアドレスに切り換え、映像データＲ１を読み出す。それ以外では、アドレス制御部１７６は、ライトアドレスに従ったリードアドレスによってラインメモリ１７４に入力された順に映像データを読み出す。

次に基準信号が１周期進むと、図６（ｄ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを右スケーラ部１６２ａに接続し、切換スイッチ１７２ｂと切換スイッチ１７２ｃは変更しない、すなわち、切換スイッチ１７２ｂをラインメモリ１７４ｂに接続したままに、切換スイッチ１７２ｃをラインメモリ１７４ａに接続したままにする。そうすると、ラインメモリ１７４ｂには、図７（ａ）に示す０．５ライン分の右眼立体映像データ１３０の２ライン目の映像データＲ２が保持されることになる。

ここで、切換スイッチ１７２ｃはラインメモリ１７４ａに接続されているので、ラインメモリ１７４ａの最終段（中間ではない）から出力された映像データＲ１で表示データが生成される。なおラインメモリ１７４ａに保持されていた映像データＬ１は、基準信号の１周期前にすでにラインメモリ１７４ａから出力され、ラインメモリ１７４ａには残っていない。したがって、ラインメモリ１７４ａから図７（ａ）に示す右眼立体映像データ１３０の０．５ライン分の同じ映像データＲ１が２回繰り返して出力されることとなる。

さらに基準信号が１周期進むと、図６（ｅ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す０．５ライン分の左眼立体映像データ１３２の３ライン目の映像データＬ３が保持されることになる。切換スイッチ１７２ｃはラインメモリ１７４ｂに接続されているので、ラインメモリ１７４ｂから出力された映像データＬ２で表示データが生成される。

次に基準信号が１周期進むと、図６（ｆ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａを右スケーラ部１６２ａに接続し、切換スイッチ１７２ｂと切換スイッチ１７２ｃは変更しない。そうすると、ラインメモリ１７４ａには、図７（ａ）に示す０．５ライン分の右眼立体映像データ１３０の３ライン目の映像データＲ３が保持されることになる。切換スイッチ１７２ｃはラインメモリ１７４ｂに接続されているので、ラインメモリ１７４ｂから出力された映像データＲ２で表示データが生成される。

上述した映像変換部１７０の処理を体系的に説明すると、図７（ａ）に示す映像データＲ１の出力が２回繰り返されて、図７（ｂ）に示す表示データ１３６のｍライン目（ｍは奇数）の映像データＤ_ｍに、図７（ａ）に示す映像データＬ２と映像データＲ２が図７（ｂ）に示す表示データ１３６のｍ＋１ライン目の映像データＤ_ｍ＋１に変換される。そうすると図７（ｂ）に示すように、有効映像部分の左半分に、右眼立体映像データ１３０と左眼立体映像データ１３２とが１ライン毎に交互に並置された立体表示データ１３６ａが配され、有効映像部分の右半分に、右眼立体映像データ１３０のみが並置された２次元表示データ１３６ｂが配された表示データ１３６が生成される。ここでは表示データ１３６のｍライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させることで、左眼立体映像データ１３２および右眼立体映像データ１３０と立体ディスプレイ１１０の偏光特性とを合わせている。

なお、スケーラ部１６２は、右眼立体映像データ１３０および左眼立体映像データ１３２の垂直解像度および水平解像度をそれぞれ１／２に縮小しているため、立体表示データ１３６ａおよび２次元表示データ１３６ｂは、データ取得部１５０が取得した立体映像データ１３４と比較して１／４のサイズ（面積）となっている。したがって、映像変換部１７０は、有効映像部分の立体表示データ１３６ａおよび２次元表示データ１３６ｂが配されない部分（図７（ｂ）中ハッチングで示す）については予め定められたデータ（例えば、黒色を示すデータ）を配して表示データ１３６を生成する。

ここでは右眼立体映像データ１３０から奇数番号のライン、左眼立体映像データ１３２から偶数番号のラインを抽出して立体表示データ１３６ａを生成したが、当然、右眼立体映像データ１３０から偶数番号のライン、左眼立体映像データ１３２から奇数番号のラインを抽出して生成してもよい。

表示制御部１８０は、表示データ生成部１６０で生成された表示データを立体ディスプレイ１１０に表示させる。

図８は、立体ディスプレイ１１０に表示させた表示データ１３６を説明するための説明図である。図１を用いて説明したように立体ディスプレイ１１０の表示面１１２には、隔行で（１ライン毎に）偏光特性の異なる偏光フィルタが設けられている。

したがって、図７（ｂ）に示すような、有効映像部分の左半分に配された立体表示データ１３６ａと、有効映像部分の右半分に配された２次元表示データ１３６ｂとを併合した表示データ１３６を立体ディスプレイ１１０に表示させることにより、図８に示すように、観察者は、専用の偏光眼鏡１１８を通じて、立体ディスプレイ１１０の左半分の領域（左画面）では立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。

以上説明したように、本実施形態にかかる立体映像生成装置１００によれば、１の立体ディスプレイ１１０を通じて、観察者に同じシーンの立体映像と２次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較することができ、立体映像と２次元映像のいずれによって観察するかを決定することが可能となる。

また、立体映像データ１３４のうちの右眼立体映像データ１３０のみを用いて２次元表示データを生成する構成により、別途２次元映像データを取得せずとも、データ取得部１５０は最小限の映像データ（立体映像データ１３４）のみを取得するだけで、立体表示データおよび２次元表示データを生成することができる。

なお、ここで表示データ生成部１６０は、右眼立体映像データ１３０を用いて２次元表示データ１３６ｂを生成しているが、これに限定されず、左眼立体映像データ１３２を用いて２次元表示データ１３６ｂを生成してもよい。

また、表示データ生成部１６０は、有効映像部分の左半分に立体表示データ１３６ａを、右半分に２次元表示データ１３６ｂを配した表示データ１３６を生成しているがこれに限定されず、有効映像部分の左半分に２次元表示データ１３６ｂを、右半分に立体表示データ１３６ａを配した表示データを生成しても、有効映像部分の上半分に立体表示データ１３６ａまたは２次元表示データ１３６ｂのどちらか一方を、下半分に他方を配した表示データを生成してもよい。

さらに、スケーラ部１６２は、右眼立体映像データ１３０および左眼立体映像データ１３２を、垂直解像度および水平解像度をそれぞれ１／２に縮小しているため、立体ディスプレイ１１０に表示される２次元映像および立体映像を知覚させるための映像は、データ取得部１５０が取得した立体映像データ１３４を全画面で表示させる場合と比較して１／４のサイズとなっている（図７参照）が、スケーラ部１６２の処理の倍率は、データ取得部１５０が取得した立体映像データ１３４と立体ディスプレイ１１０のサイズとに応じて、適宜変化させることができる。

（擬似立体表示データおよび２次元表示データ）
次に、データ取得部１５０が取得した立体映像データ１３４を用いて、２次元表示データおよび擬似立体表示データを生成する構成について説明する。

ここでは、表示データ生成部１６０におけるスケーラ部１６２およびアドレス制御部１７６の制御が異なるため、スケーラ部１６２およびアドレス制御部１７６の制御について詳述する。

ここで右スケーラ部１６２ａは、図４（ｄ）に示す、垂直解像度を１／２に縮小した右眼立体映像データ１３０ａの水平解像度を１／２に縮小して、２回繰り返して並置した右眼立体映像データ１３０ｃを、左スケーラ部１６２ｂは、図４（ｄ）に示す、垂直解像度を１／２に縮小した左眼立体映像データ１３２ａの水平解像度を１／２に縮小して、２回繰り返して並置した左眼立体映像データ１３２ｃを生成して、映像変換部１７０に出力する。

図９は、映像変換部１７０の他の処理を説明するための説明図である。図９に示す例では、アドレス制御部１７６は、基準信号に基づいて３つの切換スイッチ１７２ａ、１７２ｂ、１７２ｃを制御する。ここでも基準信号の周期は、水平同期信号の１／２の周期とする。

図９に示すように、アドレス制御部１７６は、切換スイッチ１７２ａと左スケーラ部１６２ｂとの接続を維持し、右スケーラ部１６２ａへの切り換えを行わない。すなわち左眼立体映像データ１３２ｃのみが用いられる。またアドレス制御部１７６は、基準信号の２倍の周期で切換スイッチ１７２ｂを切り換え、切換スイッチ１７２ｂと切換スイッチ１７２ｃにそれぞれ接続されるラインメモリ１７４ａ、１７４ｂが排他的に選択されるように切換スイッチ１７２ｂと切換スイッチ１７２ｃとを切り換える。したがって、切換スイッチ１７２ｃも基準信号の２倍の周期で切り換わる。

図９（ａ）に示すように、まず、アドレス制御部１７６は、切換スイッチ１７２ａを左スケーラ部１６２ｂに接続し、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、映像データＬ１が保持されることになる。

次に基準信号が１周期進んでも、図９（ｂ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａ、１７２ｂ、１７２ｃすべてのスイッチの接続を変更せず、ラインメモリ１７４ａには、映像データＬ１が再度保持される。

さらに基準信号が１周期進むと、図９（ｃ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａは変更せず、切換スイッチ１７２ｂをラインメモリ１７４ｂに接続し、切換スイッチ１７２ｃをラインメモリ１７４ａに接続する。そうすると、ラインメモリ１７４ｂには、映像データＬ２が保持されることになる。

ここでは、ラインメモリ１７４ａから出力された映像データＬ１をそのまま表示データとすべきであるが、この場合に限って（基準信号の４倍の周期で）、アドレス制御部１７６は、ラインメモリ１７４ａの出力段からではなく、ラインメモリ１７４ａの所定のアドレスに相当する位置から映像データを抽出する。すなわち、映像データＬ１の代わりに左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ１を右方向または左方向に水平シフトさせた右眼擬似立体映像データｆＲ１を抽出し、その右眼擬似立体映像データｆＲ１によって表示データを生成する。上記所定のアドレスは、奥行情報に基づいて決定される。奥行情報については、後に詳述する。

また、ここでも、ラインメモリ１７４としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもでき、その場合、アドレス制御部１７６は、ラインメモリ１７４へのライトアドレスとリードアドレスとを指定してラインメモリ１７４への書き込みおよび読み出しを制御する。そして、図９（ｃ）の場合、本来、映像データＬ１を読み出すタイミングで、リードアドレスを、左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ１から所定数進めたまたは遅らせたアドレスに切り換え、右眼擬似立体映像データｆＲ１を読み出す。それ以外では、アドレス制御部１７６は、ライトアドレスに従ったリードアドレスによってラインメモリ１７４に入力された順に映像データを読み出す。

次に基準信号が１周期進むと、図９（ｄ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａ、１７２ｂ、１７２ｃすべてのスイッチの接続を変更せず、ラインメモリ１７４ｂには、映像データＬ２が再度保持される。ここで、切換スイッチ１７２ｃはラインメモリ１７４ａに接続されているので、ラインメモリ１７４ａから出力された映像データＬ１で表示データが生成される。

さらに基準信号が１周期進むと、図９（ｅ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａは変更せず、切換スイッチ１７２ｂをラインメモリ１７４ａに接続し、切換スイッチ１７２ｃをラインメモリ１７４ｂに接続する。そうすると、ラインメモリ１７４ａには、映像データＬ３が保持されることになる。

ここでは、ラインメモリ１７４ａから出力された映像データＬ２をそのまま表示データとすべきであるが、この場合に限って（基準信号の４倍の周期で）、アドレス制御部１７６は、ラインメモリ１７４ａの出力段からではなく、ラインメモリ１７４ａの所定のアドレスに相当する位置から映像データを抽出する。すなわち、映像データＬ２の代わりに左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ２を左方向または右方向に水平シフトさせた左眼擬似立体映像データｆＬ２を抽出し、その左眼擬似立体映像データｆＬ２によって表示データを生成する。

次に基準信号が１周期進むと、図９（ｆ）に示すように、アドレス制御部１７６は、切換スイッチ１７２ａ、１７２ｂ、１７２ｃすべてのスイッチの接続を変更せず、ラインメモリ１７４ｂには、映像データＬ３が再度保持される。ここで、切換スイッチ１７２ｃはラインメモリ１７４ｂに接続されているので、ラインメモリ１７４ｂから切換スイッチ１７２ｃを通じて映像データＬ２が出力されて表示データが生成される。

図１０は、生成された表示データを説明するための説明図である。図７（ａ）に示す映像データＬ１が左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように右方向または左方向に水平シフトされた右眼擬似立体映像データｆＲ１が図１０に示す表示データ１９６のｍライン目の映像データＤ_ｍの左半分に、左眼立体映像データ１３２の１ライン目の映像データＬ１がそのまま図１０に示す表示データ１９６のｍライン目の映像データＤ_ｍの右半分に変換される。また、図７（ａ）に示す左眼立体映像データ１３２の２ライン目の映像データＬ２が左眼立体映像データ１３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように左方向または右方向に水平シフトされた左眼擬似立体映像データｆＬ２が図１０に示す表示データ１９６のｍ＋１ライン目のＤ_ｍ＋１の左半分に、左眼立体映像データ１３２の２ライン目の映像データＬ２がそのまま図１０に示す表示データ１９６のｍ＋１ライン目の映像データＤ_ｍ＋１の右半分に変換される。

そうすると図１０に示すように、有効映像部分の左半分に、左眼立体映像データ１３２に基づいて生成された右眼擬似立体映像データと左眼擬似立体映像データとが１ライン毎に交互に並置された擬似立体表示データ１９６ａが配され、有効映像部分の右半分に、左眼立体映像データ１３２のみが並置された２次元表示データ１９６ｂが配された表示データ１９６が生成される。ここでも表示データ１９６のｍライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させることで、右眼擬似立体映像データｆＲ１および左眼立体映像データ１３２と立体ディスプレイ１１０の偏光特性とを合わせている。

また、ここでは右眼擬似立体映像データと左眼擬似立体映像データの両方を生成しているが、どちらか一方の擬似立体映像データを生成し、元の映像データ（この例では左眼立体映像データ）を他方の擬似立体映像データとして、利用してもよい。

上述した右眼擬似立体映像データと左眼擬似立体映像データとを生成する際に用いるオブジェクトの奥行情報は、既存の技術を利用して求めることができる。例えば、特許第４２１４９７６号に記載されているように、予め基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生しておき、供給される２次元映像データ（ここでは、左眼立体映像データ１３２）の、画面内の所定の領域における画素値の統計量を算定してシーン構造を推定し、発生させておいた複数の基本奥行きモデルを、算定した画素値の統計量に応じた合成比率で合成し、合成された合成結果と２次元映像データとから奥行き推定データを作成することで、オブジェクトの奥行情報を推定することができる。

以上説明したように、本実施形態にかかる立体映像生成装置１００の表示データ生成部１６０によれば、立体映像データ１３４を構成する右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方のみを用いて２次元表示データおよび擬似立体表示データを生成することで、処理負荷を軽減することができる。また、同一の映像データから２次元表示データおよび擬似立体表示データを生成するため、観察者は、立体映像に含まれるオブジェクトの立体感を元の２次元映像と比較することができ、擬似立体表示データがどの程度立体感を表現することができるか確認することが可能となる。さらに、両眼視差を有しない２次元映像データ（右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方も含む）から両眼視差を有する擬似立体表示データを生成することで、２次元映像データしか取得できない状況であっても、観察者に立体映像を知覚させることができる。

ここで、表示データ生成部１６０は、左眼立体映像データ１３２を用いて２次元表示データおよび擬似立体表示データを生成しているが、これに限定されず、２次元映像データまたは右眼立体映像データ１３０を用いて２次元表示データおよび擬似立体表示データを生成してもよいし、右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方を用いて２次元表示データを生成し、他方を用いて擬似立体表示データを生成してもよい。

（立体表示データおよび擬似立体表示データ）
次に、データ取得部１５０が取得した立体映像データ１３４を用いて、立体表示データおよび擬似立体表示データを生成する構成について説明する。

ここでは、上述した映像変換部１７０と構成が異なる映像変換部１７０ａについて説明する。スケーラ部１６２は、図４（ｄ）に示す右眼立体映像データ１３０ｃおよび左眼立体映像データ１３２ｃを出力する。図１１は、映像変換部１７０ａの具体的な機能を示した機能ブロック図である。図１１に示すように、映像変換部１７０ａは、切換スイッチ１７２ｄ、１７２ｅと、立体変換部１７０ｂと、擬似変換部１７０ｃと、アドレス制御部１７６とを含んで構成される。

図１１に示す立体変換部１７０ｂは、切換スイッチ１７２ｆ、１７２ｇと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成され、擬似変換部１７０ｃは、切換スイッチ１７２ｈ、１７２ｉと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成される。アドレス制御部１７６は、切換スイッチ１７２ｄ〜１７２ｉを水平同期信号の１／２の周期で形成される基準信号に基づいて切り換える。

アドレス制御部１７６は、切換スイッチ１７２ｄおよび立体変換部１７０ｂに対して上述した図６に示す制御と同様の制御を遂行し、擬似変換部１７０ｃに対して上述した図９に示す制御と同様の制御を遂行する。ただし、ここでは、立体表示データが有効映像部分の左半分に配されるように立体変換部１７０ｂを制御し、擬似立体表示データが有効映像部分の右半分に配されるように擬似変換部１７０ｃを制御する。

そしてアドレス制御部１７６は、切換スイッチ１７２ｅを、まず立体変換部１７０ｂに接続し、基準信号の周期で擬似変換部１７０ｃに切り換える。

これにより、有効映像部分の左半分に立体表示データが配され、右半分に擬似立体表示データが配された表示データが生成される。

以上説明したように、本実施形態にかかる立体映像生成装置１００の表示データ生成部１６０によれば、１の立体ディスプレイ１１０を通じて、立体映像データ１３４に基づく立体映像と、この立体映像データ１３４を構成する右眼立体映像データ１３０または左眼立体映像データ１３２のいずれか一方に基づいて生成した擬似的な立体映像とを同時に観察者に知覚させることが可能となる。したがって、観察者は、立体表示データに基づく立体映像に含まれるオブジェクトの立体感と、擬似立体表示データに基づく立体映像に含まれるオブジェクトの立体感とを比較することができ、擬似立体表示データがどの程度立体感を再現することができるか確認することが可能となる。

また、上述した立体映像生成装置１００を用いた立体映像生成方法も提供される。

（立体映像生成方法）
図１２は、本実施形態にかかる立体映像生成方法の具体的な処理を説明するためのフローチャートである。図１２に示すように、まず、データ取得部１５０は、立体映像データ１３４または２次元映像データを取得し（Ｓ１００）、映像処理部１５２は、データ取得ステップＳ１００において取得された立体映像データ１３４または２次元映像データに対して、映像信号処理を行う（Ｓ１０２）。

そして、表示データ生成部１６０は、信号処理ステップＳ１０２において映像信号処理が施された立体映像データ１３４または２次元映像データを用いて、２次元表示データ、擬似立体表示データａおよび立体表示データのうち２の表示データを生成する（Ｓ１０４）。

表示制御部１８０は、データ生成ステップＳ１０４において生成した２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを並べて、立体ディスプレイ１１０に表示させる（Ｓ１０６）。

以上説明したように、本実施形態にかかる立体映像生成方法においても、１の立体ディスプレイ１１０を通じて、立体映像と２次元映像とを同時に観察者に知覚させることが可能となる。

（第２の実施形態：併合した立体映像データ、ラインシーケンシャル、２画面表示）
上述した第１の実施形態の立体映像生成装置１００において、データ取得部１５０が取得する立体映像データは、右眼に視認させるための右眼立体映像データ１３０と、左眼に視認させるための左眼立体映像データ１３２とが同期している立体映像データ１３４であった。本実施形態では、データ取得部がサイドバイサイド方式等の併合した立体映像データを取得した場合であっても、１の立体ディスプレイ１１０を通じて、立体映像と２次元映像とを同時に観察者に知覚させることができる立体映像生成装置２００について説明する。

（立体映像生成装置２００）
図１３は、第２の実施形態にかかる立体映像生成装置２００の概略的な機能を示した機能ブロック図である。図１３に示すように、立体映像生成装置２００は、立体ディスプレイ１１０に接続され、データ取得部２５０と、映像処理部１５２と、表示データ生成部２６０と、表示制御部１８０とを含んで構成される。

第１の実施形態における構成要素として既に述べた、映像処理部１５２と、表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違するデータ取得部２５０、表示データ生成部２６０を主に説明する。

データ取得部２５０は、右眼に視認させるための右眼立体映像データと、左眼に視認させるための左眼立体映像データとが併合された立体映像データ２３４または２次元映像データを取得する。

図１４は、第２の実施形態にかかる立体映像データ２３４のフォーマットを説明するための説明図である。データ取得部２５０が取得可能な立体映像データ２３４には複数のフォーマットが存在し、個々のフォーマットにおいてさらに画素数等のパラメータが異なる場合もある。本実施形態では、その代表的な例として、図１４に示すように、有効映像部分の右半分（または左半分）に右眼に視認させるための右眼立体映像データ２３０、左半分（または右半分）に左眼に視認させるための左眼立体映像データ２３２を有するサイドバイサイド方式に従った立体映像データ２３４を用いる。

このような立体映像データ２３４では、右眼立体映像データ２３０と左眼立体映像データ２３２とが、１対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整されている。ただし、本実施形態のサイドバイサイド方式による立体映像データ２３４の右眼立体映像データ２３０および左眼立体映像データ２３２は、それぞれ、最終的に表示される後述する表示データ２３６と垂直解像度は等しいが、水平解像度は１／２に縮小されている。したがって全画面の有効映像範囲の画素数が１９２０×１０８０の場合、右眼立体映像データ２３０および左眼立体映像データ２３２の画素数は９６０×１０８０となる。

表示データ生成部２６０は、データ取得部２５０が取得した２次元映像データ２３４を用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを生成する。

図１５は、第２の実施形態にかかる表示データ生成部２６０の具体的な機能を示した機能ブロック図である。図１５に示すように表示データ生成部２６０は、映像変換部２７０と、遅延調整部２８０と、切換制御部２８２と、切換スイッチ２８４とを含んで構成される。

（立体表示データおよび２次元表示データ）
図１６は、第２の実施形態にかかる映像変換部２７０の具体的な機能を示した機能ブロック図であり、図１７は、映像変換部２７０の処理を説明するための説明図であり、図１８は、映像変換部によって加工された立体映像データを説明するための説明図である。

図１６に示すように、映像変換部２７０は、２つの切換スイッチ２７２ａ、２７２ｂ、と、２つのラインメモリ２７４ａ、２７４ｂと、アドレス制御部２７６とを含んで構成される。ラインメモリ２７４ａ、２７４ｂは１ライン分のデータを保持およびシフトするシフトレジスタで構成され、本実施形態においてアドレス制御部２７６は、水平同期信号に基づいて２つの切換スイッチ２７２ａ、２７２ｂを制御する。

具体的に、アドレス制御部２７６は、水平同期信号の周期で切換スイッチ２７２ａを、および切換スイッチ２７２ｂを切り換える。またアドレス制御部２７６は、切換スイッチ２７２ａと切換スイッチ２７２ｂにそれぞれ接続されるラインメモリ２７４ａ、２７４ｂが排他的に選択されるように切換スイッチ２７２ａと切換スイッチ２７２ｂとを切り換える。

図１７（ａ）に示すように、まず、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。本来、図１８（ａ）に示す０．５ライン分の左眼立体映像データ２３２の１ライン目の映像データＬ１がラインメモリ２７４ａに保持されることになるが、最終的に表示データ２３６として用いられないので、ダミーデータ（図１７中、ハッチングで示す）をラインメモリ２７４aに入力して、ダミーデータを保持させる。ここでは、ラインメモリ２７４としてシフトレジスタを用いているが、上述したように、ランダムアクセス可能なメモリを用いることもできる。

次に水平同期信号が１／２周期進むと、図１７（ｂ）に示すように、アドレス制御部２７６は、０．５ライン分の右眼立体映像データ２３０の１ライン目の映像データＲ１をラインメモリ２７４ａに保持させる。

さらに水平同期信号が１／２周期進むと、図１７（ｃ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ｂに接続し、切換スイッチ２７２ｂをラインメモリ２７４ａに接続する。この際、アドレス制御部２７６は、立体映像データ２３４における１ラインの中間（０．５ライン）に相当する位置から映像データを抽出する。そうすると、ラインメモリ２７４ａから図１８（ａ）に示す０．５ライン分の右眼立体映像データ２３０の１ライン目の映像データＲ１が出力され、ラインメモリ２７４ｂには、０．５ライン分の左眼立体映像データ２３２の２ライン目の映像データＬ２が保持されることになる。

次に水平同期信号が１／２周期進むと、図１７（ｄ）に示すように、アドレス制御部２７６は、本来、０．５ライン分の右眼立体映像データ２３０の２ライン目の映像データＲ２をラインメモリ２７４ｂに保持させることになるが、最終的に表示データ２３６として用いられないので、ダミーデータをラインメモリ２７４ｂに入力し、ダミーデータを保持させる。一方、本来は、ラインメモリ２７４ａから図１８（ａ）に示す０．５ライン分の右眼立体映像データ２３０の１ライン目の映像データＲ１が出力されることとなるが、最終的に表示データ２３６として用いられないので、ラインメモリ２７４ａから出力される映像データＲ１をダミーデータに置き換える。なお、ここでは、映像データＲ１をダミーデータに置き換えているが、上述したように映像データＲ１は表示データ２３６として用いられないのでそのまま出力してもよい。

さらに水平同期信号が１／２周期進むと、図１７（ｅ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。本来、図１８（ａ）に示す０．５ライン分の左眼立体映像データ２３２の３ライン目の映像データＬ３がラインメモリ２７４ａに保持されることになるが、最終的に表示データ２３６として用いられないので、ダミーデータをラインメモリ２７４aに入力し、ダミーデータを保持させる。一方、ラインメモリ２７４ｂから図１８（ａ）に示す０．５ライン分の左眼立体映像データ２３２の２ライン目の映像データＬ２が出力されることになる。

次に水平同期信号が１／２周期進むと、図１７（ｆ）に示すように、アドレス制御部２７６は、０．５ライン分の右眼立体映像データ２３０の３ライン目の映像データＲ３をラインメモリ２７４ａに保持させ、ラインメモリ２７４ｂから０．５ライン分のダミーデータが出力される。

上述した映像変換部２７０の処理を体系的に説明すると、図１８（ａ）に示す映像データＲ１が、図１８（ｂ）に示す表示データ２３６の１ライン目の映像データＤ１の有効映像部分の左半分に、図１８（ａ）に示す映像データＬ２が図１８（ｂ）に示す表示データ２３６の２ライン目の映像データＤ２の有効映像部分の左半分に変換され、図１７に示すダミーデータが表示データ２３６の有効映像部分の右半分に変換される。そうすると図１８（ｂ）に示すように、有効映像部分の左半分に、右眼立体映像データ２３０と左眼立体映像データ２３２とが１ライン毎に交互に並置された立体表示データ２３６ａが配され、有効映像部分の右半分に、ダミー表示データ２３６ｂが配された表示データ２３６が生成される。

図１５に戻って、遅延調整部２８０は、シフトレジスタで構成され、映像変換部２７０で表示データ２３６を生成する際に生じる遅延時間の分、立体映像データ２３４を遅延させて出力する。

切換制御部２８２は、水平同期信号の１／２の周期で切換スイッチ２８４を切り換える。ここでは、切換制御部２８２は、映像変換部２７０が図１８（ｂ）に示す立体表示データ２３６ａを出力するときに切換スイッチ２８４と映像変換部２７０とを接続し、映像変換部２７０が図１８（ｂ）に示すダミー表示データ２３６ｂを出力するときに切換スイッチ２８４と遅延調整部２８０とを接続する。

図１９は、第２の実施形態にかかる表示データ生成部２６０の体系的な処理を説明するための説明図である。切換制御部２８２は、まず切換スイッチ２８４を映像変換部２７０に接続するため、図１９（ａ）に示す表示データ２３６の１ライン目の映像データＲ１が出力され、図１９（ｃ）に示す表示データ２９０には映像データＲ１が形成される。そして水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を遅延調整部２８０への接続に切り換えるが、すでに立体映像データ２３４の１ライン目の映像データＬ１の出力は終了しているので、図１９（ｂ）に立体映像データ２３４の１ライン目の映像データＲ１が出力され、図１９（ｃ）に示す表示データ２９０には映像データＲ１が形成される。さらに水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を映像変換部２７０への接続に切り換えるが、図１９（ａ）に示す表示データ２３６の２ライン目の映像データＬ２が出力され、図１９（ｃ）に示す表示データ２９０には映像データＬ２が形成される。

したがって、図１９（ｃ）のような、有効映像部分の左半分に配された立体表示データ２３６ａと、有効映像部分の右半分に配された右眼立体映像データ２３０（２次元表示データ）とを併合した表示データ２９０を立体ディスプレイ１１０に表示させることにより、観察者は、専用の偏光眼鏡１１８を通じて、立体ディスプレイ１１０の左半分の領域（左画面）では立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。

以上説明したように、本実施形態にかかる立体映像生成装置２００によれば、１の立体ディスプレイ１１０を通じて、観察者に立体映像と２次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較することができる。

なお、ここで表示データ生成部２６０は、右眼立体映像データ２３０を２次元表示データとしているが、これに限定されず、第１の実施形態同様、左眼立体映像データ２３２を２次元表示データとしてもよい。

さらに、本実施形態にかかる立体映像データ２３４の右眼立体映像データ２３０および左眼立体映像データ２３２は、それぞれ、最終的に表示される表示データ２９０と垂直解像度は等しいが、水平解像度は１／２に縮小されているので、表示データ生成部２６０の前段にスケーラ部を設け、スケーラ部において垂直方向に１／２に縮小してもよい。

図２０は、立体映像データ２３４をスケーラ部で加工した場合に立体映像生成装置２００で出力される表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置２００は、スケーラ部を介さずに、立体映像データ２３４から表示データ２９０を生成しているので、立体ディスプレイ１１０には図２０（ａ）に示す映像が表示される。

一方、上述したように立体映像データ２３４をスケーラ部において垂直方向に１／２に縮小してから表示データを生成すると、図２０（ｂ）に示す映像が表示される。立体映像データ１３４は、立体ディスプレイ１１０に表示される際に１９２０×１０８０で出力するように構成されている、すなわち水平方向への２倍の延長が予め考慮されているので、スケーラ部を介さないと図２０（ａ）に示すように縦長の映像が表示される。したがって、スケーラ部において立体映像データ２３４を垂直方向に１／２に縮小してから表示することで図２０（ｂ）に示すように、予め考慮された１９２０×１０８０とアスペクト比が等しい映像（９６０×５４０）を表示させることができる。

また、立体映像データの右眼立体映像データおよび左眼立体映像データが立体ディスプレイ１１０に表示される際に９６０×１０８０で出力するように構成されている場合には、スケーラ部を介さずとも図２０（ｃ）に示すように予め考慮された９６０×１０８０で映像を表示させることができる。

（擬似立体表示データおよび２次元表示データ）
次に、データ取得部２５０が取得した立体映像データ２３４を用いて、２次元表示データおよび擬似立体表示データを生成する構成について説明する。

図２１は、映像変換部２７０の他の処理を説明するための説明図であり、図２２は、第２の実施形態にかかる表示データ生成部２６０の他の処理を説明するための説明図である。図２１に示す例でも、アドレス制御部２７６は、水平同期信号に基づいて２つの切換スイッチ２７２ａ、２７２ｂを制御する。

図２１（ａ）に示すように、まず、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。そうすると、ラインメモリ２７４ａには、映像データＬ１が保持されることになる。ここでも、ラインメモリ２７４としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもできる。

次に水平同期信号が１／２周期進むと、図２１（ｂ）に示すように、アドレス制御部２７６は、０．５ライン分の映像データに相当するデータ量のダミーデータ（図２１中、ハッチングで示す）をラインメモリ２７４ａに保持させる。

さらに水平同期信号が１／２周期進むと、図２１（ｃ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ｂに接続し、切換スイッチ２７２ｂをラインメモリ２７４ａに接続する。そうすると、ラインメモリ２７４ａから映像データＬ１が出力されるが、この際、アドレス制御部２７６は、左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ１を右方向または左方向に水平シフトさせた右眼擬似立体映像データｆＲ１を生成する。また、ラインメモリ２７４ｂには、映像データＬ２が保持されることになる。

次に水平同期信号が１／２周期進むと、図２１（ｄ）に示すように、アドレス制御部２７６は、０．５ライン分の映像データに相当するデータ量のダミーデータをラインメモリ２７４ｂに保持させる。そうすると、ラインメモリ２７４ａからダミーデータが出力され、ラインメモリ２７４ｂには、映像データＬ２とダミーデータが保持されることとなる。

さらに水平同期信号が１／２周期進むと、図２１（ｅ）に示すように、アドレス制御部２７６は、切換スイッチ２７２ａをラインメモリ２７４ａに接続し、切換スイッチ２７２ｂをラインメモリ２７４ｂに接続する。そうすると、ラインメモリ２７４aには、映像データＬ３が保持されることになる。この際、ラインメモリ２７４ｂから、通常、映像データＬ２が出力されるが、アドレス制御部２７６は、左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データＬ２を左方向または右方向に水平シフトさせた、左眼擬似立体映像データｆＬ２を生成する。

次に水平同期信号が１／２周期進むと、図２１（ｆ）に示すように、アドレス制御部２７６は、ダミーデータをラインメモリ２７４ａに保持させ、ラインメモリ２７４ｂからダミーデータが出力される。

上述した映像変換部２７０の処理を体系的に説明すると、図１８（ａ）に示す映像データＬ１が左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように右方向または左方向に水平シフトされた右眼擬似立体映像データｆＲ１が、図２２（ａ）に示す表示データ２９６の１ライン目の映像データＤ１の有効映像部分の左半分に、図１８（ａ）に示す映像データＬ２が左眼立体映像データ２３２に含まれるオブジェクトの奥行情報に応じて水平視差を有するように左方向または右方向に水平シフトされた左眼擬似立体映像データｆＬ２が、２ライン目の映像データＤ２の有効映像部分の左半分に変換される。そうすると図２２（ａ）に示すように、有効映像部分の左半分に、右眼擬似立体映像データｆＲ１と左眼立体映像データ２３２とが１ライン毎に交互に並置された擬似立体表示データ２９６ａが配され、有効映像部分の右半分に、ダミー表示データ２３６ｂが配された表示データ２９６が生成される。

この場合、遅延調整部２８０は、シフトレジスタで構成され、図２２（ｂ）の如く、映像変換部２７０で表示データ２３６を生成する際に生じる遅延時間の分と水平同期信号の１／２周期分、立体映像データ２３４を遅延させて出力する。

切換制御部２８２は、水平同期信号の１／２の周期で切換スイッチ２８４を切り換える。ここでは、切換制御部２８２は、映像変換部２７０が図２２（ａ）に示す表示データ２９６の有効映像部分の左半分を出力するときに切換スイッチ２８４と映像変換部２７０とを接続し、映像変換部２７０が図２２（ａ）に示す表示データ２９６の有効映像部分の右半分を出力するときに切換スイッチ２８４と遅延調整部２８０とを接続する。

切換制御部２８２は、まず切換スイッチ２８４を映像変換部２７０に接続するため、図２２（ａ）に示す表示データ２９６の１ライン目の右眼擬似立体映像データｆＲ１が出力され、図２２（ｃ）に示す表示データ２９８には右眼擬似立体映像データｆＲ１が形成される。そして水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を遅延調整部２８０への接続に切り換え、図２２（ｂ）に示す立体映像データ２３４の１ライン目の左眼立体映像データＬ１が出力され、図２２（ｃ）に示す表示データ２９８には左眼立体映像データＬ１が形成される。さらに水平同期信号が１／２周期進むと、切換制御部２８２は、切換スイッチ２８４を映像変換部２７０へ接続し、図２２（ａ）に示す表示データ２９６の２ライン目の左眼擬似立体映像データｆＬ２が出力され、図２２（ｃ）に示す表示データ２９８には左眼擬似立体映像データｆＬ２が形成される。

したがって、図２２（ｃ）のような、有効映像部分の左半分に配された擬似立体表示データ２９６ａと、有効映像部分の右半分に配された左眼立体映像データ２３２（２次元表示データ）とを併合した表示データ２９８を立体ディスプレイ１１０に表示させることにより、観察者は、専用の偏光眼鏡１１８を通じて、立体ディスプレイ１１０の左半分の領域（左画面）では、擬似的ではあるものの立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。

以上説明したように、本実施形態にかかる立体映像生成装置２００の表示データ生成部２６０によれば、立体映像データ２３４を構成する右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方のみを用いて２次元表示データおよび擬似立体表示データを生成することで、処理負荷を軽減することができる。また、同一の映像データから２次元表示データおよび擬似立体表示データを生成するため、観察者は、立体映像に含まれるオブジェクトの立体感を元の２次元映像と比較することができ、擬似立体表示データがどの程度立体感を表現することができるか確認することが可能となる。さらに、両眼視差を有しない２次元映像データ（右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方も含む）から両眼視差を有する擬似立体表示データを生成することで、２次元映像データしか取得できない状況であっても、観察者に立体映像を知覚させることができる。

ここで、表示データ生成部２６０は、左眼立体映像データ２３２を用いて２次元表示データおよび擬似立体表示データを生成しているが、これに限定されず、２次元映像データまたは右眼立体映像データ２３０を用いて２次元表示データおよび擬似立体表示データを生成してもよいし、右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方を用いて２次元表示データを生成し、他方を用いて擬似立体表示データを生成してもよい。

また本実施形態では、立体表示データおよび２次元表示データを並べて立体ディスプレイ１１０に表示させる場合と、擬似立体表示データおよび２次元表示データを並べて表示させる場合について説明したが、立体表示データと擬似立体表示データを並べて表示させることができることは言うまでもない。

（第３の実施形態：同期した立体映像データ、フレームシーケンシャル、２画面表示）
上述した第１および第２の実施形態の立体映像生成装置１００、２００において、表示データ生成部１６０、２６０は、表示面１１２に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ１１０を通じて立体映像を知覚させるため、ラインシーケンシャル方式の立体表示データまたは擬似立体表示データを生成していた。本実施形態では、偏光特性は全画面等しく、所定のフレーム切換速度（例えば１２０ｆｐｓ：以下、単にフレーム切換速度と称する）で右眼用の映像データと左眼用の映像データとを交互に表示させることができる立体ディスプレイに表示させるための２次元表示データ、立体表示データまたは擬似立体表示データを生成することができる立体映像生成装置３００について説明する。

図２３は、第３の実施形態にかかる立体映像生成装置３００が生成する立体表示データを表示させるための立体ディスプレイ３１０の表示構成を説明するための説明図である。立体ディスプレイ３１０は、図２３（ａ）に示すように、右眼用表示データ３２０を表示させている場合、観察者が装着する電子シャッタメガネ３１８は、フレームに同期させて、右のシャッタ３１８ａを開、左のシャッタ３１８ｂを閉にする。そして図２３（ｂ）に示すように、左眼用表示データ３２２を表示させている場合、観察者が装着する電子シャッタメガネ３１８は、フレームに同期させて、右のシャッタ３１８ａを閉、左のシャッタ３１８ｂを開にする。観察者は、電子シャッタ眼鏡３１８を通じて、右眼用表示データ３２０を右眼で、左眼用表示データ３２２を左眼で、時分割で交互かつ排他的に視認し、両眼視差によって、表示面と異なる結像位置３２４で立体映像を知覚することが可能となる。なお、右眼用表示データ３２０と左眼用表示データ３２２とは、フレーム切換速度で切り換ることで、観察者は左右の映像をフレーム切換速度の半分の速度（フレーム切換速度が１２０ｆｐｓの場合６０ｆｐｓ）で視認することができ、シームレスな立体映像を知覚させることができる。

（立体映像生成装置３００：立体表示データおよび２次元表示データ）
図２４は、第３の実施形態にかかる立体映像生成装置３００の概略的な機能を示した機能ブロック図である。図２４に示すように、立体映像生成装置３００は、立体ディスプレイ３１０に接続され、データ取得部１５０と、映像処理部１５２と、フレームメモリ１５４と、表示データ生成部３６０と、表示制御部１８０とを含んで構成される。ここでは立体ディスプレイ３１０と立体映像生成装置３００とを別体に構成する場合を説明するが、一体的に構成することもできる。なお、第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２と、フレームメモリ１５４、表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部３６０を主に説明する。

表示データ生成部３６０は、データ取得部１５０が取得した立体映像データ３３４または２次元映像を用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２の表示データを生成する。

図２５は、第３の実施形態にかかる表示データ生成部３６０の具体的な機能を示した機能ブロック図であり、図２６は、表示データ生成部３６０中のスケーラ部３６２によって加工された立体映像データ３３４を説明するための説明図である。図２５に示すように、表示データ生成部３６０は、スケーラ部３６２と、映像変換部３７０とを含んで構成される。

スケーラ部３６２は、右スケーラ部３６２ａと、左スケーラ部３６２ｂとで構成され、右スケーラ部３６２ａは、フレームメモリ１５４から図２６（ａ）に示す右眼立体映像データ３３０の有効映像部分を、左スケーラ部３６２ｂは、フレームメモリ１５４から左眼立体映像データ３３２の有効映像部分を、それぞれを読み出し、図２６（ｂ）に示すように垂直解像度を１／２に縮小する。ここでスケーラ部３６２は、右眼立体映像データ３３０または左眼立体映像データ３３２を構成するライン単位のデータを隔行で間引くことで垂直解像度を１／２に縮小する。

さらに、右スケーラ部３６２ａは、図２６（ｃ）に示すように、垂直解像度を１／２に縮小した右眼立体映像データ３３０の水平解像度を１／２に縮小し、左スケーラ部３６２ｂは、垂直解像度を１／２に縮小した左眼立体映像データ３３２の水平解像度を１／２に縮小する。ここでスケーラ部３６２は、右眼立体映像データ３３０または左眼立体映像データ３３２を構成するライン単位のデータを１画素置きに間引くことで水平解像度を１／２に縮小する。

そして、右スケーラ部３６２ａは、図２６（ｄ）に示すように、垂直解像度および水平解像度をそれぞれ１／２に縮小した、すなわち、画素数が９６０×５４０となった右眼立体映像データ３３０を水平方向に繰り返し並置した右眼立体映像データ３３０ａを、フレーム切換速度の半分の速度で、後述する映像変換部１７０のフレームメモリ３７２に出力する。また、左スケーラ部３６２ｂも、図２６（ｄ）に示すように、垂直解像度および水平解像度をそれぞれ１／２に縮小した左眼用映像データ３３２を水平方向に繰り返し並置した左眼立体映像データ３３２ａを、フレーム切換速度の半分の速度で、映像変換部１７０のフレームメモリ３７２に出力する。このとき、スケーラ部３６２は、有効映像部分の右眼用映像データ３３０または左眼用映像データ３３２が配されない部分（図２６（ｄ）中ハッチングで示す）については予め定められたデータ（例えば、黒色を示すデータ）を配してもよい。

図２７は、第３の実施形態にかかる映像変換部３７０の具体的な機能を示した機能ブロック図であり、図２８は、映像変換部３７０の処理を説明するための説明図である。図２７に示すように映像変換部３７０は、フレームメモリ３７２と、アドレス制御部３７４と、切換スイッチ３７６とを含んで構成される。アドレス制御部３７４は、スケーラ部３６２がフレームメモリ３７２に右眼立体映像データ３３０または左眼立体映像データ３３２を書き込む速度の２倍、フレーム切換速度でフレームメモリ３７２から右眼立体映像データ３３０または左眼立体映像データ３３２を出力し、水平同期信号の１／２の周期で形成される基準信号の周期で切換スイッチ３７６を制御する。

具体的に、アドレス制御部３７４は、フレームメモリ３７２の出力経路３７２ａからフレーム毎に右眼立体映像データ３３０ａと左眼立体映像データ３３２ａを交互に出力させ出力経路３７２ｂから常に右眼立体映像データ３３０ａを出力経路３７２ａと同期させて出力させる。

そうすると、図２８（ａ）に示すスケーラ部３６２からフレームメモリ３７２に書き込まれる速度の２倍の速度で図２８（ｂ）に示す右眼立体映像データ３３０ａまたは左眼立体映像データ３３２ａが出力される。そして、アドレス制御部３７４が切換スイッチ３７６を基準信号の周期で出力経路３７２ａと出力経路３７２ｂとの接続を切り換えると、図２８（ｃ）に示すような有効映像部分の左半分に左目用表示データ３２２が右半分に右眼用表示データ３２０が配された表示データ３３６ａと、有効映像部分の左半分にも右半分にも右眼用表示データ３２０が配された表示データ３３６ｂが生成される。

したがって、観察者は、図２８（ｃ）に示すｔ１、ｔ３、ｔ５、ｔ７…ｔ（ｎ−１）のとき右のシャッタ３１８ａを閉、左のシャッタ３１８ｂを開にし、ｔ２、ｔ４、ｔ６、ｔ８…ｔ（ｎ）のときに右のシャッタ３１８ａを開、左のシャッタ３１８ｂを閉にする電子シャッタ眼鏡３１８を通じて、立体ディスプレイ３１０の左半分の領域（左画面）では立体映像を知覚し、右半分の領域（右画面）では２次元映像を視認することができる。

以上説明したように、本実施形態にかかる立体映像生成装置３００によれば、１の立体ディスプレイ３１０を通じて、観察者に立体映像と２次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを２次元映像と比較することができる。

なお、ここで立体映像生成装置３００は、右眼立体映像データ３３０ａを用いて２次元映像を視認させている（有効映像部分の右半分）が、これに限定されず、左眼立体映像データ３３２ａを用いて２次元映像を視認させてもよい。

また、上述したような、映像変換部３７０のフレームメモリ３７２の後段に切換スイッチ３７６を配した構成により、立体表示データおよび２次元表示データを１の立体ディスプレイ３１０に表示させる場合（デモモード）と立体表示データのみを表示させる場合（通常モード）の切り換えを行う際に、フレームメモリ３７２のメモリアクセス制御の変更をおこなわずともよい。また、デモモードの場合には、フレームメモリ３７２へのアクセス数が減り、消費電力を抑えられる。

さらに、立体映像生成装置３００は、デモモードのみに利用する場合、映像変換部３７０のフレームメモリ３７２の前段に切換スイッチ３７６を配するとよい。この場合、フレームメモリ３７２に書き込む前の切換スイッチ３７６で、図２６（ｃ）に示す垂直解像度および水平解像度をそれぞれ１／２に縮小した左眼用映像データ３３２を有効映像部分の左半分に配し、垂直解像度および水平解像度をそれぞれ１／２に縮小した右眼立体映像データ３３０を有効映像部分の右半分に配してフレームメモリ３７２に書き込む。そして、フレームメモリ３７２から読み出す際には、１フレームおきに、水平方向に２度読み出す。

このような、映像変換部３７０のフレームメモリ３７２の前段に切換スイッチ３７６を配する構成により、フレームメモリ３７２へのアクセス量を減らすことができ、フレームメモリ３７２の容量を削減することが可能となる。

また本実施形態では、立体表示データおよび２次元表示データを並べて立体ディスプレイ３１０に表示させる場合について説明したが、擬似立体表示データおよび２次元表示データを並べて表示させたり、立体表示データと擬似立体表示データを並べて表示させたりすることができることは言うまでもない。この際、擬似立体表示データは、２次元映像データ（右眼立体映像データ３３０および左眼立体映像データ３３２を含む）、２次元映像データに含まれるオブジェクトの奥行情報に応じて水平視差を有するように水平シフトさせて生成される。

（第４の実施形態：ラインシーケンシャル、３画面表示）
上述した第１および第２の実施形態の立体映像生成装置１００、２００において、立体ディスプレイ１１０には２次元表示データ、立体表示データ、擬似立体表示データのうちいずれか２の表示データが表示されている例について説明した。本実施形態では、立体ディスプレイ１１０に２次元表示データ、立体表示データおよび擬似立体表示データの３つの表示データを表示させることができる立体映像生成装置４００について説明する。

（立体映像生成装置４００：同期した立体映像データ、ラインシーケンシャル、３画面表示）
図２９は、第４の実施形態にかかる立体映像生成装置４００の表示データ生成部４６０の概略的な機能を示した機能ブロック図であり、図３０は、第４の実施形態にかかるスケーラ部４６２の処理を説明するための説明図である。立体映像生成装置４００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、表示データ生成部４６０と、表示制御部１８０とを含んで構成される。第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２、および表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部４６０を主に説明する。

図２９に示すように、表示データ生成部４６０は、スケーラ部４６２と、映像変換部４７０とを含んで構成される。スケーラ部４６２は、右スケーラ部４６２ａと、左スケーラ部４６２ｂとで構成され、右スケーラ部４６２ａは、フレームメモリ１５４から図３０（ａ）に示す右眼立体映像データ１３０の有効映像部分を、左スケーラ部４６２ｂは、フレームメモリ１５４から左眼立体映像データ１３２の有効映像部分を、それぞれを読み出し、図３０（ｂ）に示すように垂直解像度を１／２に縮小し、垂直解像度を１／２に縮小した右眼立体映像データ１３０および左眼立体映像データ１３２をそれぞれ垂直方向に２つ並置した映像データ４３０および映像データ４３２を生成する。

さらにスケーラ部４６２は、図３０（ｃ）に示す、映像データ４３０および映像データ４３２の水平解像度を１／２にし、有効映像部分の上半分の略中央に配し、有効映像部分の下半分には２回繰り返して並置した映像データ４３０ａ、４３２ａを生成する。

図３１は、映像変換部４７０の具体的な機能を示した機能ブロック図であり、図３２は、立体映像生成装置１００の表示面上の領域を説明するための説明図であり、図３３は、映像変換部４７０の処理を説明するための説明図である。図３１に示すように、映像変換部４７０は、切換スイッチ１７２ｄ、１７２ｅと、立体変換部１７０ｂと、擬似変換部１７０ｃと、アドレス制御部４７６とを含んで構成される。

図３１に示す立体変換部１７０ｂは、切換スイッチ１７２ｆ、１７２ｇと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成され、擬似変換部１７０ｃは、切換スイッチ１７２ｈ、１７２ｉと、ラインメモリ１７４ａ、１７４ｂと、を含んで構成される。アドレス制御部４７６は、切換スイッチ１７２ｄ〜１７２ｉを水平同期信号の１／２の周期で形成される基準信号および垂直同期信号の１／２の周期で形成される区分信号に基づいて切り換える。

まず、アドレス制御部４７６は、切換スイッチ１７２ｄおよび立体変換部１７０ｂに対して上述した図６に示す制御と同様の制御を遂行する。ただし、ここでアドレス制御部４７６は、図３０（ｃ）に示す映像データ４３０ａまたは映像データ４３２ａを用いて、２次元表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ａに配されるように立体変換部１７０ｂを制御する。また、アドレス制御部４７６は、映像データ４３０ａまたは映像データ４３２ａを用いて、立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｂに配されるように立体変換部１７０ｂを制御する。

そうすると、図３３（ａ）に示すように、領域Ａに対応する有効映像部分に２次元表示データ４４０ａが配され、領域Ｂに対応する有効映像部分に立体表示データ４４０ｂが配された表示データが生成される。

さらに、アドレス制御部４７６は、擬似変換部１７０ｃに対して上述した図９に示す制御と同様の制御を遂行し、図３０（ｃ）に示す映像データ４３０ａまたは映像データ４３２ａを用いて、擬似立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｃに配されるように擬似変換部１７０ｃを制御する。そうすると、図３３（ｂ）に示すように、領域Ｃに対応する有効映像部分に映像データ４３０ａまたは映像データ４３２ａ（図３０では、立体映像データ４３０を例に挙げる）を用いて生成された擬似立体表示データ４４２ａが生成される。

そしてアドレス制御部４７６は、切換スイッチ１７２ｅを、まず立体変換部１７０ｂに接続し、区分信号が１周期進み、さらに基準信号が１周期進むと擬似変換部１７０ｃに切り換える。

これにより、領域Ａに２次元表示データ４４０ａが配され、領域Ｂに立体表示データ４４０ｂが配され、領域Ｃに擬似立体表示データ４４２ａが配された表示データが生成される。ここでも立体表示データ４４０ｂおよび擬似立体表示データ４４２ａの１ライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させている。また、領域Ｄ、領域Ｅに対応する有効映像部分の２次元表示データ４４０ａ、立体表示データ４４０ｂおよび擬似立体表示データ４４２ａが配されない部分（図３３中ハッチングで示す）については予め定められたデータ（例えば、黒色を示すデータ）を配してもよい。

以上説明したように、本実施形態にかかる立体映像生成装置４００によれば、１の立体ディスプレイ１１０を通じて、観察者に、立体表示データに基づく立体映像と、擬似立体表示データに基づく立体映像と、２次元映像とを同時に知覚させることが可能となる。

なお、ここで、表示データ生成部４６０は、領域Ａに２次元表示データが、領域Ｂに立体表示データが、領域Ｃに擬似立体表示データが配された表示データを生成するが表示データを任意の領域に配した表示データを生成することができる。

また、ここでは、表示面１１２に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ１１０を通じて立体映像を知覚させるため、ラインシーケンシャル方式の表示データを生成しているが、立体映像生成装置３００の構成を利用することで、２次元表示データ、立体映像表示データおよび擬似立体表示データを１の立体ディスプレイ３１０に表示させることが可能な表示データを生成することもできる。

（併合した立体映像データ、ラインシーケンシャル、３画面表示）
次に、上述した立体映像生成装置４００において、データ取得部１５０が取得する立体映像データがサイドバイサイド方式等の併合した立体映像データを取得した場合に、１の立体ディスプレイ１１０に２次元表示データ、立体表示データおよび擬似立体表示データの３つの表示データを表示させる処理を説明する。

図３４は、スケーラ部４６２の処理を説明するための説明図であり、図３５は、映像変換部２７０の処理を説明するための説明図である。ここで、スケーラ部４６２は、フレームメモリ１５４から図３４（ａ）に示す立体映像データ２３４の有効映像部分を読み出し、図３０（ｂ）に示すように垂直解像度を１／２に縮小し、垂直解像度を１／２に縮小した立体映像データ２３４を垂直方向に２つ並置した映像データ４８０を生成する。

そして、映像変換部４７０のアドレス制御部４７６は、映像データ４８０を用いて、垂直解像度が１／２に縮小された右眼立体映像データ２３０または左眼立体映像データ２３２（図３５においては、左眼立体映像データ２３２を例に挙げる）が図３２に示す立体ディスプレイ１１０の表示面上の領域Ａに配されるように切換スイッチ２７２ａ、２７２ｂを制御し、図３５（ａ）に示す、有効映像部分の領域Ｂに、垂直解像度が１／２に縮小された右眼立体映像データ２３０と左眼立体映像データ２３２とが１ライン毎に配置されるように切換スイッチ２７２ａ、２７２ｂを制御する。そして図３５（ａ）に示す、有効映像部分ＡおよびＢ以外の部分にはダミーデータを配した表示データ４８２を生成する。ここでも垂直解像度が１／２に縮小された右眼立体映像データ２３０の１ライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させている。

また、アドレス制御部４７６は、映像データ４８０を用いて、領域Ｃに、垂直解像度が１／２に縮小された右眼立体映像データ２３０または左眼立体映像データ２３２のいずれか一方を用いて右眼擬似立体映像データと左眼擬似立体映像データとが１ライン毎に配置されるように切換スイッチ２７２ａ、２７２ｂを制御し、図３５（ｂ）に示す、有効映像部分の領域Ｃ以外の部分にはダミーデータを配した表示データ４８４を生成する。ここでも垂直解像度が１／２に縮小された右眼擬似立体映像データの１ライン目を立体ディスプレイ１１０の奇数番号のライン１１４（右眼で視認するライン）に対応させている。

そして、アドレス制御部４７６は、切換スイッチ１７２ｅを区分信号に基づいて切り換え、表示データ４８２と表示データ４８４とを交互に出力する。

以上説明したように、本実施形態にかかる立体映像生成装置４００によれば、１の立体ディスプレイ１１０を通じて、観察者に、立体表示データに基づく立体映像と、擬似立体表示データに基づく立体映像と、２次元映像とを同時に知覚させることが可能となる。

（第５の実施形態：同期した立体映像データ、ラインシーケンシャル、３画面表示、切り出し）
上述した第１、第３、第４の実施形態の立体映像生成装置１００、３００、４００において、立体ディスプレイ１１０には、スケーラ部によって垂直解像度および水平解像度を圧縮し想定された表示範囲全てが表示されている例について説明した。本実施形態では、立体映像データまたは２次元映像データの一部から表示データを生成して立体ディスプレイ１１０に表示させる立体映像生成装置５００について説明する。

（立体映像生成装置５００）
図３６は、第５の実施形態にかかる立体映像生成装置５００における表示データ生成部５６０の概略的な機能を示した機能ブロック図である。立体映像生成装置５００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、表示データ生成部５６０と、表示制御部１８０とを含んで構成される。第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２、および表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部５６０を主に説明する。

図３６に示すように、表示データ生成部５６０は、映像切出部５６２と、映像変換部４７０とを含んで構成される。映像切出部５６２は、表示データ生成部５６０によって生成される２または３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、フレームメモリ１５４から出力された立体映像データ１３４または２次元映像データの一部を切り出す。

図３７は、第５の実施形態にかかる映像切出部５６２の処理を説明するための説明図である。本実施形態において映像切出部５６２は、右映像切出部５６２ａと、左映像切出部５６２ｂとで構成され、表示データ生成部５６０によって生成される３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、右映像切出部５６２ａは、フレームメモリ１５４から図３７（ａ）に示す右眼立体映像データ１３０の有効映像部分、左映像切出部５６２ｂは、フレームメモリ１５４から左眼立体映像データ１３２の有効映像部分のうち、立体映像データの一部を切り出して読み出す。ここで、映像切出部５６２は、ユーザによる十字キー等の操作部を介した操作入力に応じて立体映像データの一部を切り出す。また、映像切出部５６２は、右眼立体映像データ１３０および左眼立体映像データ１３２に含まれるオブジェクトの奥行情報を参照して、奥行情報が示す奥行きの絶対値が大きいオブジェクトを含む領域を自動的に切り出してもよい。

図３７（ｂ）に示すように映像切出部５６２は、右眼立体映像データ１３０および左眼立体映像データ１３２から右眼立体映像データ１３０および左眼立体映像データ１３２の垂直方向のサイズが原立体映像データの１／２のサイズの領域１３０ａ、１３２ａを切り出して、映像データ１３０ｂ、１３２ｂを生成する。そして映像切出部５６２は、映像データ１３０ｂを垂直方向に２つ並置した映像データ５３０、映像データ１３２ｂを垂直方向に２つ並置した映像データ５３２を生成する。

さらに映像切出部５６２は、図３７（ｃ）に示す、映像データ５３０および映像データ５３２から右眼立体映像データ１３０および左眼立体映像データ１３２の水平方向のサイズが原立体映像データの１／２のサイズの領域５３０ａ、５３２ａを切り出して、映像データ５４０、５４２を生成し、映像データ５４０、映像データ５４２から図３７（ｄ）に示す、有効映像部分の上半分は略中央に配し、有効映像部分の下半分は２回繰り返して並置した映像データ５４０ａおよび映像データ５４２ａを生成する。

そして、映像変換部４７０のアドレス制御部４７６は、切換スイッチ１７２ｄおよび立体変換部１７０ｂに対して上述した図６に示す制御と同様の制御を遂行し、擬似変換部１７０ｃに対して上述した図９に示す制御と同様の制御を遂行する。

ただし、ここでアドレス制御部４７６、図３７（ｄ）に示す映像データ５４０ａまたは映像データ５４２ｂを用いて、２次元表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ａに配されるように立体変換部１７０ｂを制御する。またアドレス制御部４７６は、図３７（ｄ）に示す映像データ５４０ａまたは映像データ５４２ａを用いて、立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｂに配されるように立体変換部１７０ｂを制御する。さらにアドレス制御部４７６は、図３７（ｄ）に示す映像データ５４０ａまたは映像データ５４２ａを用いて、擬似立体表示データが図３２に示す立体ディスプレイ１１０の表示面上の領域Ｃに配されるように擬似変換部１７０ｃを制御する。

以上説明したように、映像切出部５６２が立体映像データ１３４単体を用いて生成する表示データのサイズを変更せず（縮小も拡大も行わず）に立体映像データ１３４の一部を切り出す構成により、立体映像データ１３４を全画面表示した場合におけるサイズで立体表示データにした場合における両眼視差と同一の両眼視差を有する立体表示データを生成することができる。したがって、立体映像生成装置５００を利用してデモンストレーションを行い、２次元映像、立体表示データ、擬似立体表示データを１の立体ディスプレイ１１０に同時に表示させることでも、立体表示データまたは擬似立体表示データのみを表示した場合に発揮される視覚効果（立体感）と同一の視覚効果によって３つの表示データを比較することが可能となる。

また、映像切出部５６２が、表示データ生成部５６０によって生成される３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、右眼立体映像データ１３０および左眼立体映像データ１３２の一部を切り出すことで、観察者に２次元映像を同じ部分を用いて生成された立体映像を知覚させることができるので、どの程度の立体感を再現できるかを確認させることが可能となる。

（第６の実施形態：同期した立体映像データ、ラインシーケンシャル、ＰｉｎＰ）
上述した第４および第５の実施形態の立体映像生成装置４００、５００において、立体ディスプレイ１１０の任意の領域に、２次元表示データ、立体表示データおよび擬似立体表示データを表示させている例について説明した。本実施形態では、２次元表示データにＰｉｎＰ（Picture in Picture）形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ１１０に表示させる立体映像生成装置６００について説明する。

（立体映像生成装置６００）
図３８は、第６の実施形態にかかる立体映像生成装置６００における表示データ生成部６６０の概略的な機能を示した機能ブロック図であり、図３９は、表示データ生成部６６０が生成する表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置６００は、立体ディスプレイ１１０に接続され、データ取得部１５０と、映像処理部１５２と、表示データ生成部６６０と、表示制御部１８０とを含んで構成される。第１の実施形態における構成要素として既に述べた、データ取得部１５０、映像処理部１５２、および表示制御部１８０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部６６０を主に説明する。

図３８に示すように、表示データ生成部６６０は、スケーラ部１６２と、遅延調整部６８０と、切換スイッチ１７２ｄと、立体変換部１７０ｂと、擬似変換部１７０ｃと、切換スイッチ６７２と、アドレス制御部６７６とを含んで構成される。上述した実施形態における構成要素として既に述べた、スケーラ部１６２と、切換スイッチ１７２ｄと、立体変換部１７０ｂと、擬似変換部１７０ｃとは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する遅延調整部６８０、切換スイッチ６７２と、アドレス制御部６７６について説明する。

遅延調整部６８０は、フレームメモリから読み出した右眼立体映像データを入力とし、シフトレジスタで構成され、スケーラ部１６２と、立体変換部１７０ｂと、擬似変換部１７０ｃとで立体表示データおよび擬似立体表示データを生成する際に生じる遅延時間の分、立体映像データを遅延させて出力する。ここでは、入力を右眼立体映像データとしているが、左眼立体映像データとしてもよい。

アドレス制御部６７６は、立体変換部１７０ｂと、擬似変換部１７０ｃとに対して上述した図１１の説明において上述した制御と同様の制御を遂行する。またアドレス制御部６７６は、切換スイッチ６７２を制御することで、立体ディスプレイ１１０の表示面の全領域に亘って（背景として）遅延調整部６８０から出力される２次元表示データ６９０ａが配され、２次元表示データ６９０ａに立体表示データ６９０ｂおよび擬似立体表示データ６９０ｃが重畳されるように立体変換部１７０ｂ、擬似変換部１７０ｃ、切換スイッチ６７２を制御する。そうすると、図３９に示すように、立体ディスプレイ１１０には、背景に２次元表示データ６９０ａが、ＰｉｎＰとして立体表示データ６９０ｂおよび擬似立体表示データ６９０ｃが出力される。

かかる構成により、観察者は、背景に２次元映像を視認し、ＰｉｎＰで、立体表示データ６９０ｂに基づく立体映像と、擬似立体映像データ６９０ｃに基づく立体映像を知覚することが可能となる。

なお、上述した第５の実施形態にかかる映像切出部５６２を有する立体映像生成装置においてＰｉｎＰ形式で映像を表示させる場合、図３６に示すスケーラ部１６２に代えて映像切出部５６２を配すれば、２次元表示データにＰｉｎＰ形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ１１０に表示させることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の立体映像生成方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、両眼視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像生成装置および立体映像生成方法に利用することができる。

１００、２００、３００、４００、５００、６００ …立体映像生成装置
１５０、２５０、４５０ …データ取得部
１６０、２６０、３６０、４６０、５６０、６６０ …表示データ生成部
５６２ …映像切出部

Claims (4)

1. 立体映像を知覚させるための立体映像データまたは２次元映像データを取得するデータ取得部と、
   取得された前記立体映像データまたは前記２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成する表示データ生成部と、
   左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成された前記２または３の表示データを並べて表示させる表示制御部と、
   を備えることを特徴とする立体映像生成装置。
2. 前記表示データ生成部によって生成される２または３の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、取得された前記立体映像データまたは前記２次元映像データの一部を切り出す映像切出部をさらに備えることを特徴とする請求項１に記載の立体映像生成装置。
3. 前記表示データ生成部は、取得された前記立体映像データのうちの左眼立体映像データまたは右眼立体映像データのいずれか一方のみを用いて前記２次元表示データおよび前記擬似立体表示データを生成することを特徴とする請求項１または２に記載の立体映像生成装置。
4. 立体映像を知覚させるための立体映像データまたは２次元映像データを取得し、
   取得した前記立体映像データまたは前記２次元映像データを用いて、２次元表示データ、擬似立体表示データおよび立体表示データのうち２または３の表示データを生成し、
   左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成した前記２または３の表示データを並べて表示させることを特徴とする立体映像生成方法。

Images