JP2011124802A - 立体映像生成装置および立体映像生成方法 - Google Patents
立体映像生成装置および立体映像生成方法 Download PDFInfo
- Publication number
- JP2011124802A JP2011124802A JP2009280904A JP2009280904A JP2011124802A JP 2011124802 A JP2011124802 A JP 2011124802A JP 2009280904 A JP2009280904 A JP 2009280904A JP 2009280904 A JP2009280904 A JP 2009280904A JP 2011124802 A JP2011124802 A JP 2011124802A
- Authority
- JP
- Japan
- Prior art keywords
- data
- stereoscopic
- video
- display
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】1のディスプレイを通じて、立体映像と2次元映像とを同時に観察者に知覚させることが可能となる。
【解決手段】立体映像生成装置100は、立体映像を知覚させるための立体映像データまたは2次元映像データを取得するデータ取得部150と、取得された立体映像データまたは2次元映像データを用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2または3の表示データを生成する表示データ生成部160と、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイ110に、生成された2または3の表示データを並べて表示させる表示制御部180と、を備える。
【選択図】 図2
【解決手段】立体映像生成装置100は、立体映像を知覚させるための立体映像データまたは2次元映像データを取得するデータ取得部150と、取得された立体映像データまたは2次元映像データを用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2または3の表示データを生成する表示データ生成部160と、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイ110に、生成された2または3の表示データを並べて表示させる表示制御部180と、を備える。
【選択図】 図2
Description
本発明は、両眼視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像生成装置および立体映像生成方法に関する。
従来、1つのディスプレイの表示面を複数の領域(画面)に分割し、異なる映像を表示させる技術がある。例えば、カーナビゲーション装置では、ディスプレイの一方の画面に平面の地図を示す映像を、他方の画面に現在地付近の建物の斜視図を示す映像をそれぞれ表示させている。
このようなカーナビゲーション装置は、地図を示す映像を生成するための地図データと斜視図を示す映像を生成するための斜視図データを別個に備えていることが多いが、斜視図データは地図データと高さ方向のデータとから構成されているため、限りある記憶領域に地図データが重複して存在することとなり、記憶領域の有効利用が妨げられていた。
そこで、地図を示す映像を生成するための地図データを利用し、斜視図を示す映像を生成することでデータ量を削減する技術が開示されている(例えば、特許文献1)。
近年、ディスプレイの表示面上に、両眼視差のある左右2つの映像を表示し、ユーザ(観察者)に対してあたかもオブジェクトが立体的に存在するように知覚させる立体映像技術が脚光を浴びている。このような立体的な映像表示を実現するための技術については、様々な提案がなされており、例えば、μpolやXpol(登録商標)といった偏光フィルタ方式(パッシブタイプ)や、電子シャッタ方式(アクティブタイプ)が提案されている。
偏光フィルタ方式を採用する場合、ディスプレイの表示面に、偏光特性が異なる2種類の偏光フィルタが隔行で(1表示ライン毎に)交互に配置される。ここで、偏光特性が異なるとは、偏光フィルタに直線偏光を利用する場合、一方の偏光フィルタと他方の偏光フィルタとの偏光が例えば直交しており、円偏光を利用する場合、一方の偏光フィルタは右偏光であり他方の偏光フィルタが左偏光であることをいう。
そして、一方の偏光フィルタが配置された表示ラインに右眼用の映像データを、他方の偏光フィルタが配置された表示ラインに左眼用の映像データを表示させると、観察者は、偏光眼鏡を通じて、隔行の表示ラインに示された右眼映像を右眼で、左眼映像を左眼で視認し、両眼視差による立体映像を知覚することが可能となる。
また、電子シャッタ方式を採用する場合、ディスプレイに、例えば60fps(Frame Per Second)といったフレーム切換速度で右眼用の映像データと左眼用の映像データとを交互に表示させる。そして、フレームに同期させて、右眼用の映像データを表示させているときには右のシャッタを開、左のシャッタを閉にし、左眼用の映像データを表示させているときには右のシャッタを閉、左のシャッタを開にする電子シャッタ眼鏡を通じて、観察者は、右眼映像を右眼で、左眼映像を左眼で、時分割で交互かつ排他的に視認し、両眼視差による立体映像を知覚することが可能となる。
したがって、観察者が立体映像を観察するときには、立体映像を知覚させるための眼鏡(偏光眼鏡や、電子シャッタ眼鏡)を装着しなければならず、ディスプレイ自体も立体映像を知覚させる構成にしなければならなかった。
このように、2次元映像を表示するディスプレイと、立体映像を知覚させるためのディスプレイとでは、構成が全く異なることから、2次元映像を知覚させるための映像データ(2次元映像データ)と立体映像を知覚させるための映像データ(立体表示データ)とを、並列して1のディスプレイに表示させようとする試みがなかった。
しかし、立体映像がどのぐらいの立体感を再現できるのかを2次元映像と比較したいといった要望、例えば販売者側がデモンストレーション等で、2次元映像と立体表示データとを1のディスプレイに同時に表示させたい等の要望がある。
そこで、本発明は、このような課題に鑑み、1のディスプレイを通じて、立体映像と2次元映像とを同時に観察者に知覚させることが可能な立体映像生成装置および立体映像生成方法を提供することを目的としている。
上記課題を解決するために、本発明の立体映像生成装置は、立体映像を知覚させるための立体映像データまたは2次元映像データを取得するデータ取得部と、取得された立体映像データまたは2次元映像データを用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2または3の表示データを生成する表示データ生成部と、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成された2または3の表示データを並べて表示させる表示制御部と、を備えることを特徴とする。
上記立体映像生成装置は、表示データ生成部によって生成される2または3の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、取得された立体映像データまたは2次元映像データの一部を切り出す映像切出部をさらに備えてもよい。
上記表示データ生成部は、取得された立体映像データのうちの左眼立体映像データまたは右眼立体映像データのいずれか一方のみを用いて2次元表示データおよび擬似立体表示データを生成してもよい。
上記課題を解決するために、本発明の立体映像生成方法は、立体映像を知覚させるための立体映像データまたは2次元映像データを取得し、取得した立体映像データまたは2次元映像データを用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2または3の表示データを生成し、左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成した2または3の表示データを並べて表示させることを特徴とする。
本発明の立体映像生成装置は、1のディスプレイを通じて、立体映像と2次元映像とを同時に観察者に知覚させることが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(第1の実施形態:同期した立体映像データ、ラインシーケンシャル、2画面表示)
図1は、第1の実施形態にかかる立体映像生成装置が生成する立体表示データを表示させるための立体ディスプレイ110の表示構成を説明するための説明図である。立体ディスプレイ110の表示面112には、隔行で(1ライン毎に)偏光特性の異なる偏光フィルタが設けられているので、奇数番号のライン114(図1中、nは偶数)と偶数番号のライン116とで偏光特性が異なっている。立体ディスプレイ110を観察する観察者は、左右で偏光特性が異なる偏光眼鏡118を通じて、例えば奇数番号のライン114に表示された立体表示データ(右眼立体表示データ120)を右眼で、偶数番号のライン116に表示された立体表示データ(左眼立体表示データ122)を左眼で視認し、両眼視差によって、表示面112と異なる結像位置124で立体映像を知覚することが可能となる。
図1は、第1の実施形態にかかる立体映像生成装置が生成する立体表示データを表示させるための立体ディスプレイ110の表示構成を説明するための説明図である。立体ディスプレイ110の表示面112には、隔行で(1ライン毎に)偏光特性の異なる偏光フィルタが設けられているので、奇数番号のライン114(図1中、nは偶数)と偶数番号のライン116とで偏光特性が異なっている。立体ディスプレイ110を観察する観察者は、左右で偏光特性が異なる偏光眼鏡118を通じて、例えば奇数番号のライン114に表示された立体表示データ(右眼立体表示データ120)を右眼で、偶数番号のライン116に表示された立体表示データ(左眼立体表示データ122)を左眼で視認し、両眼視差によって、表示面112と異なる結像位置124で立体映像を知覚することが可能となる。
立体映像生成装置は、図1に示した立体表示データに含まれるオブジェクトを、交差視(交差法)および平行視(平行法)のいずれの立体表示形式で表示することも可能であり、右眼立体表示データ120に含まれるオブジェクトと左眼立体表示データ122に含まれるオブジェクトとの水平方向の位置を相対的に左右にシフトすることで表示面112より奥側または手前側のいずれの位置にもオブジェクトを結像させることができる。このとき水平方向のシフト量を0とすると、オブジェクトは立体ディスプレイ110の表示面112上に結像される。
このように、立体映像を知覚させるための立体ディスプレイ110は、2次元映像を表示させるためのディスプレイと異なり、表示面112に1ライン毎に偏光特性の異なる偏光フィルタを備えているため、当該立体ディスプレイ110に敢えて2次元映像データを表示しようとする動機に乏しく、2次元映像データを表示する目的には用いられていなかった。しかし、一方で、立体映像がどのぐらいの立体感を再現できるのかを2次元映像と比較したいといった要望がある。
そこで、本実施形態の立体映像生成装置は、1の立体ディスプレイ110を通じて、立体映像と2次元映像とを同時に観察者に知覚させることを目的としている。
(立体映像生成装置100)
図2は、第1の実施形態にかかる立体映像生成装置100の概略的な機能を示した機能ブロック図である。図2に示すように、立体映像生成装置100は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、フレームメモリ154と、表示データ生成部160と、表示制御部180とを含んで構成される。ここでは立体ディスプレイ110と立体映像生成装置100とを別体に構成する場合を説明するが、一体的に構成することもできる。
図2は、第1の実施形態にかかる立体映像生成装置100の概略的な機能を示した機能ブロック図である。図2に示すように、立体映像生成装置100は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、フレームメモリ154と、表示データ生成部160と、表示制御部180とを含んで構成される。ここでは立体ディスプレイ110と立体映像生成装置100とを別体に構成する場合を説明するが、一体的に構成することもできる。
データ取得部150は、立体映像を知覚させるための立体映像データ、または2次元映像を表示させるための2次元映像データを、外部の放送局126や通信網(インターネットやLAN)128から取得する。また、DVD(Digital Versatile Disk)やBD(Blu-ray Disc)といった記録媒体から内部的に立体映像データを取得することもできる。本実施形態においてデータ取得部150は、右眼に視認させるための右眼立体映像データ130と、左眼に視認させるための左眼立体映像データ132とが同期している立体映像データ134を取得する。
このような立体映像データ134では、右眼立体映像データ130と左眼立体映像データ132とが、1対のカメラによって個別に撮像され、または、両眼視差が生じるように調整されている。ただし、本実施形態の立体映像データ134の右眼立体映像データ130および左眼立体映像データ132は、それぞれ、最終的に表示される立体表示データと垂直解像度および水平解像度が等しいとする。したがって、立体ディスプレイ110における全画面の有効映像範囲の画素数が水平解像度1920×垂直解像度1080(以下、1920×1080といったように簡略化する)の場合、右眼立体映像データ130および左眼立体映像データ132が示す画素数はそれぞれ1920×1080となる。
映像処理部152は、データ取得部150を通じて取得された立体映像データ134に対して、R(Red)G(Green)B(Blue)処理(γ補正や色補正)、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データ134は、フレームメモリ154にて保持される。
フレームメモリ154は、RAM、EEPROM(Electrically Erasable and Programmable Read Only Memory)、不揮発性RAM、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、立体映像データ134を一時的に保持する。なお、HDDは正確には装置であるが、説明の便宜上本説明では他の記憶媒体と同義として扱う。
表示データ生成部160は、データ取得部150が取得した立体映像データまたは2次元映像データ134を用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2の表示データを生成する。
ここでは、まずデータ取得部150が取得した立体映像データ134を用いて、立体表示データおよび2次元表示データを生成する構成について説明する。
(立体表示データおよび2次元表示データ)
図3は、第1の実施形態にかかる表示データ生成部160の具体的な機能を示した機能ブロック図であり、図4は、表示データ生成部160中のスケーラ部162によって加工された立体映像データ134を説明するための説明図である。図3に示すように、表示データ生成部160は、スケーラ部162と、映像変換部170とを含んで構成される。
図3は、第1の実施形態にかかる表示データ生成部160の具体的な機能を示した機能ブロック図であり、図4は、表示データ生成部160中のスケーラ部162によって加工された立体映像データ134を説明するための説明図である。図3に示すように、表示データ生成部160は、スケーラ部162と、映像変換部170とを含んで構成される。
スケーラ部162は、右スケーラ部162aと、左スケーラ部162bとで構成され、右スケーラ部162aは、フレームメモリ154から図4(a)に示す右眼立体映像データ130の有効映像部分を、左スケーラ部162bは、フレームメモリ154から左眼立体映像データ132の有効映像部分を、それぞれを読み出し、図4(b)に示すように垂直解像度を1/2に縮小する。ここでスケーラ部162は、右眼立体映像データ130または左眼立体映像データ132を構成するライン単位のデータを隔行で間引くことで垂直解像度を1/2に縮小する。なお、有効映像部分とは映像全体から非表示領域(ブランク期間)を除いた映像部分のことである。
さらに、右スケーラ部162aは、図4(c)に示すように、垂直解像度を1/2に縮小した右眼立体映像データ130aの水平解像度を1/2に縮小して、有効映像部分の右半分に配し、左半部にダミーデータ(図4(c)中ハッチングで示す)を配した右眼立体映像データ130bを生成する。また、左スケーラ部162bは、垂直解像度を1/2に縮小した左眼立体映像データ132aの水平解像度を1/2に縮小して、有効映像部分の左半分に配し、右半部にダミーデータ(図4(c)中ハッチングで示す)を配した左眼立体映像データ132bを生成する。ここでスケーラ部162は、右眼立体映像データ130または左眼立体映像データ132を構成するライン単位のデータを1画素置きに間引くことで水平解像度を1/2に縮小する。
そして、スケーラ部162は、垂直解像度および水平解像度をそれぞれ1/2に縮小した、すなわち、画素数が960×540となった右眼立体映像データ130を含む右眼立体映像データ130aおよび画素数が960×540となった左眼立体映像データ132を含む左眼立体映像データ132bを映像変換部170に出力する。
図5は、第1の実施形態にかかる映像変換部170の具体的な機能を示した機能ブロック図であり、図6は、映像変換部170の処理を説明するための説明図であり、図7は、映像変換部170によって加工された立体映像データを説明するための説明図である。図5に示すように映像変換部170は、3つの切換スイッチ172a、172b、172cと、2つのラインメモリ174a、174bと、アドレス制御部176とを含んで構成される。ラインメモリ174a、174bは1ライン分のデータを保持およびシフトするシフトレジスタで構成され、アドレス制御部176は、水平同期信号の1/2の周期で形成される基準信号に基づいて3つの切換スイッチ172a、172b、172cを制御する。
具体的に、アドレス制御部176は、基準信号の周期で切換スイッチ172aを、基準信号の2倍の周期で切換スイッチ172bを切り換える。またアドレス制御部176は、切換スイッチ172bと切換スイッチ172cにそれぞれ接続されるラインメモリ174a、174bが排他的に選択されるように切換スイッチ172bと切換スイッチ172cとを切り換える。したがって、切換スイッチ172cも基準信号の2倍の周期で切り換わる。
図6(a)に示すように、まず、アドレス制御部176は、切換スイッチ172aを左スケーラ部162bに接続し、切換スイッチ172bをラインメモリ174aに接続し、切換スイッチ172cをラインメモリ174bに接続する。そうすると、ラインメモリ174aには、図7(a)に示す水平解像度を1/2に縮小された左眼立体映像データ(以下、単に0.5ライン分の左眼立体映像データと称する)132の1ライン目の映像データL1が保持されることになる。
次に基準信号が1周期進むと、図6(b)に示すように、アドレス制御部176は、切換スイッチ172aを右スケーラ部162aに接続し、切換スイッチ172bと切換スイッチ172cは変更しない、すなわち、切換スイッチ172bをラインメモリ174aに接続したままに、切換スイッチ172cをラインメモリ174bに接続したままにする。そうすると、ラインメモリ174aには、図7(a)に示す水平解像度を1/2に縮小された右眼立体映像データ(以下、単に0.5ライン分の右眼立体映像データと称する)130の1ライン目の映像データR1が保持されることになる。このとき、ラインメモリ174aには、映像データL1と映像データR1が直列に保持されることとなる。
さらに基準信号が1周期進むと、図6(c)に示すように、アドレス制御部176は、切換スイッチ172aを左スケーラ部162bに接続し、切換スイッチ172bをラインメモリ174bに接続し、切換スイッチ172cをラインメモリ174aに接続する。そうすると、ラインメモリ174aから図7(a)に示す0.5ライン分の左眼立体映像データ132の1ライン目の映像データL1が出力され、ラインメモリ174bには、0.5ライン分の左眼立体映像データ132の2ライン目の映像データL2が保持されることになる。
ここでは、ラインメモリ174aから出力された映像データL1をそのまま表示データとすべきであるが、この場合に限って(基準信号の4倍の周期で)、アドレス制御部176は、ラインメモリ174aの出力段からではなく、ラインメモリ174aの中間に相当する位置から映像データを抽出する。すなわち、映像データL1の代わりに映像データR1を抽出し、その映像データR1によって表示データを生成する。
また、ここでは、ラインメモリ174としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもでき、その場合、アドレス制御部176は、ラインメモリ174へのライトアドレスとリードアドレスとを指定してラインメモリ174への書き込みおよび読み出しを制御する。そして、図6(c)の場合、本来、映像データL1を読み出すタイミングで、リードアドレスを映像データL1が格納されているアドレスから映像データR1が格納されているアドレスに切り換え、映像データR1を読み出す。それ以外では、アドレス制御部176は、ライトアドレスに従ったリードアドレスによってラインメモリ174に入力された順に映像データを読み出す。
次に基準信号が1周期進むと、図6(d)に示すように、アドレス制御部176は、切換スイッチ172aを右スケーラ部162aに接続し、切換スイッチ172bと切換スイッチ172cは変更しない、すなわち、切換スイッチ172bをラインメモリ174bに接続したままに、切換スイッチ172cをラインメモリ174aに接続したままにする。そうすると、ラインメモリ174bには、図7(a)に示す0.5ライン分の右眼立体映像データ130の2ライン目の映像データR2が保持されることになる。
ここで、切換スイッチ172cはラインメモリ174aに接続されているので、ラインメモリ174aの最終段(中間ではない)から出力された映像データR1で表示データが生成される。なおラインメモリ174aに保持されていた映像データL1は、基準信号の1周期前にすでにラインメモリ174aから出力され、ラインメモリ174aには残っていない。したがって、ラインメモリ174aから図7(a)に示す右眼立体映像データ130の0.5ライン分の同じ映像データR1が2回繰り返して出力されることとなる。
さらに基準信号が1周期進むと、図6(e)に示すように、アドレス制御部176は、切換スイッチ172aを左スケーラ部162bに接続し、切換スイッチ172bをラインメモリ174aに接続し、切換スイッチ172cをラインメモリ174bに接続する。そうすると、ラインメモリ174aには、図7(a)に示す0.5ライン分の左眼立体映像データ132の3ライン目の映像データL3が保持されることになる。切換スイッチ172cはラインメモリ174bに接続されているので、ラインメモリ174bから出力された映像データL2で表示データが生成される。
次に基準信号が1周期進むと、図6(f)に示すように、アドレス制御部176は、切換スイッチ172aを右スケーラ部162aに接続し、切換スイッチ172bと切換スイッチ172cは変更しない。そうすると、ラインメモリ174aには、図7(a)に示す0.5ライン分の右眼立体映像データ130の3ライン目の映像データR3が保持されることになる。切換スイッチ172cはラインメモリ174bに接続されているので、ラインメモリ174bから出力された映像データR2で表示データが生成される。
上述した映像変換部170の処理を体系的に説明すると、図7(a)に示す映像データR1の出力が2回繰り返されて、図7(b)に示す表示データ136のmライン目(mは奇数)の映像データDmに、図7(a)に示す映像データL2と映像データR2が図7(b)に示す表示データ136のm+1ライン目の映像データDm+1に変換される。そうすると図7(b)に示すように、有効映像部分の左半分に、右眼立体映像データ130と左眼立体映像データ132とが1ライン毎に交互に並置された立体表示データ136aが配され、有効映像部分の右半分に、右眼立体映像データ130のみが並置された2次元表示データ136bが配された表示データ136が生成される。ここでは表示データ136のmライン目を立体ディスプレイ110の奇数番号のライン114(右眼で視認するライン)に対応させることで、左眼立体映像データ132および右眼立体映像データ130と立体ディスプレイ110の偏光特性とを合わせている。
なお、スケーラ部162は、右眼立体映像データ130および左眼立体映像データ132の垂直解像度および水平解像度をそれぞれ1/2に縮小しているため、立体表示データ136aおよび2次元表示データ136bは、データ取得部150が取得した立体映像データ134と比較して1/4のサイズ(面積)となっている。したがって、映像変換部170は、有効映像部分の立体表示データ136aおよび2次元表示データ136bが配されない部分(図7(b)中ハッチングで示す)については予め定められたデータ(例えば、黒色を示すデータ)を配して表示データ136を生成する。
ここでは右眼立体映像データ130から奇数番号のライン、左眼立体映像データ132から偶数番号のラインを抽出して立体表示データ136aを生成したが、当然、右眼立体映像データ130から偶数番号のライン、左眼立体映像データ132から奇数番号のラインを抽出して生成してもよい。
表示制御部180は、表示データ生成部160で生成された表示データを立体ディスプレイ110に表示させる。
図8は、立体ディスプレイ110に表示させた表示データ136を説明するための説明図である。図1を用いて説明したように立体ディスプレイ110の表示面112には、隔行で(1ライン毎に)偏光特性の異なる偏光フィルタが設けられている。
したがって、図7(b)に示すような、有効映像部分の左半分に配された立体表示データ136aと、有効映像部分の右半分に配された2次元表示データ136bとを併合した表示データ136を立体ディスプレイ110に表示させることにより、図8に示すように、観察者は、専用の偏光眼鏡118を通じて、立体ディスプレイ110の左半分の領域(左画面)では立体映像を知覚し、右半分の領域(右画面)では2次元映像を視認することができる。
以上説明したように、本実施形態にかかる立体映像生成装置100によれば、1の立体ディスプレイ110を通じて、観察者に同じシーンの立体映像と2次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを2次元映像と比較することができ、立体映像と2次元映像のいずれによって観察するかを決定することが可能となる。
また、立体映像データ134のうちの右眼立体映像データ130のみを用いて2次元表示データを生成する構成により、別途2次元映像データを取得せずとも、データ取得部150は最小限の映像データ(立体映像データ134)のみを取得するだけで、立体表示データおよび2次元表示データを生成することができる。
なお、ここで表示データ生成部160は、右眼立体映像データ130を用いて2次元表示データ136bを生成しているが、これに限定されず、左眼立体映像データ132を用いて2次元表示データ136bを生成してもよい。
また、表示データ生成部160は、有効映像部分の左半分に立体表示データ136aを、右半分に2次元表示データ136bを配した表示データ136を生成しているがこれに限定されず、有効映像部分の左半分に2次元表示データ136bを、右半分に立体表示データ136aを配した表示データを生成しても、有効映像部分の上半分に立体表示データ136aまたは2次元表示データ136bのどちらか一方を、下半分に他方を配した表示データを生成してもよい。
さらに、スケーラ部162は、右眼立体映像データ130および左眼立体映像データ132を、垂直解像度および水平解像度をそれぞれ1/2に縮小しているため、立体ディスプレイ110に表示される2次元映像および立体映像を知覚させるための映像は、データ取得部150が取得した立体映像データ134を全画面で表示させる場合と比較して1/4のサイズとなっている(図7参照)が、スケーラ部162の処理の倍率は、データ取得部150が取得した立体映像データ134と立体ディスプレイ110のサイズとに応じて、適宜変化させることができる。
(擬似立体表示データおよび2次元表示データ)
次に、データ取得部150が取得した立体映像データ134を用いて、2次元表示データおよび擬似立体表示データを生成する構成について説明する。
次に、データ取得部150が取得した立体映像データ134を用いて、2次元表示データおよび擬似立体表示データを生成する構成について説明する。
ここでは、表示データ生成部160におけるスケーラ部162およびアドレス制御部176の制御が異なるため、スケーラ部162およびアドレス制御部176の制御について詳述する。
ここで右スケーラ部162aは、図4(d)に示す、垂直解像度を1/2に縮小した右眼立体映像データ130aの水平解像度を1/2に縮小して、2回繰り返して並置した右眼立体映像データ130cを、左スケーラ部162bは、図4(d)に示す、垂直解像度を1/2に縮小した左眼立体映像データ132aの水平解像度を1/2に縮小して、2回繰り返して並置した左眼立体映像データ132cを生成して、映像変換部170に出力する。
図9は、映像変換部170の他の処理を説明するための説明図である。図9に示す例では、アドレス制御部176は、基準信号に基づいて3つの切換スイッチ172a、172b、172cを制御する。ここでも基準信号の周期は、水平同期信号の1/2の周期とする。
図9に示すように、アドレス制御部176は、切換スイッチ172aと左スケーラ部162bとの接続を維持し、右スケーラ部162aへの切り換えを行わない。すなわち左眼立体映像データ132cのみが用いられる。またアドレス制御部176は、基準信号の2倍の周期で切換スイッチ172bを切り換え、切換スイッチ172bと切換スイッチ172cにそれぞれ接続されるラインメモリ174a、174bが排他的に選択されるように切換スイッチ172bと切換スイッチ172cとを切り換える。したがって、切換スイッチ172cも基準信号の2倍の周期で切り換わる。
図9(a)に示すように、まず、アドレス制御部176は、切換スイッチ172aを左スケーラ部162bに接続し、切換スイッチ172bをラインメモリ174aに接続し、切換スイッチ172cをラインメモリ174bに接続する。そうすると、ラインメモリ174aには、映像データL1が保持されることになる。
次に基準信号が1周期進んでも、図9(b)に示すように、アドレス制御部176は、切換スイッチ172a、172b、172cすべてのスイッチの接続を変更せず、ラインメモリ174aには、映像データL1が再度保持される。
さらに基準信号が1周期進むと、図9(c)に示すように、アドレス制御部176は、切換スイッチ172aは変更せず、切換スイッチ172bをラインメモリ174bに接続し、切換スイッチ172cをラインメモリ174aに接続する。そうすると、ラインメモリ174bには、映像データL2が保持されることになる。
ここでは、ラインメモリ174aから出力された映像データL1をそのまま表示データとすべきであるが、この場合に限って(基準信号の4倍の周期で)、アドレス制御部176は、ラインメモリ174aの出力段からではなく、ラインメモリ174aの所定のアドレスに相当する位置から映像データを抽出する。すなわち、映像データL1の代わりに左眼立体映像データ132に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データL1を右方向または左方向に水平シフトさせた右眼擬似立体映像データfR1を抽出し、その右眼擬似立体映像データfR1によって表示データを生成する。上記所定のアドレスは、奥行情報に基づいて決定される。奥行情報については、後に詳述する。
また、ここでも、ラインメモリ174としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもでき、その場合、アドレス制御部176は、ラインメモリ174へのライトアドレスとリードアドレスとを指定してラインメモリ174への書き込みおよび読み出しを制御する。そして、図9(c)の場合、本来、映像データL1を読み出すタイミングで、リードアドレスを、左眼立体映像データ132に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データL1から所定数進めたまたは遅らせたアドレスに切り換え、右眼擬似立体映像データfR1を読み出す。それ以外では、アドレス制御部176は、ライトアドレスに従ったリードアドレスによってラインメモリ174に入力された順に映像データを読み出す。
次に基準信号が1周期進むと、図9(d)に示すように、アドレス制御部176は、切換スイッチ172a、172b、172cすべてのスイッチの接続を変更せず、ラインメモリ174bには、映像データL2が再度保持される。ここで、切換スイッチ172cはラインメモリ174aに接続されているので、ラインメモリ174aから出力された映像データL1で表示データが生成される。
さらに基準信号が1周期進むと、図9(e)に示すように、アドレス制御部176は、切換スイッチ172aは変更せず、切換スイッチ172bをラインメモリ174aに接続し、切換スイッチ172cをラインメモリ174bに接続する。そうすると、ラインメモリ174aには、映像データL3が保持されることになる。
ここでは、ラインメモリ174aから出力された映像データL2をそのまま表示データとすべきであるが、この場合に限って(基準信号の4倍の周期で)、アドレス制御部176は、ラインメモリ174aの出力段からではなく、ラインメモリ174aの所定のアドレスに相当する位置から映像データを抽出する。すなわち、映像データL2の代わりに左眼立体映像データ132に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データL2を左方向または右方向に水平シフトさせた左眼擬似立体映像データfL2を抽出し、その左眼擬似立体映像データfL2によって表示データを生成する。
次に基準信号が1周期進むと、図9(f)に示すように、アドレス制御部176は、切換スイッチ172a、172b、172cすべてのスイッチの接続を変更せず、ラインメモリ174bには、映像データL3が再度保持される。ここで、切換スイッチ172cはラインメモリ174bに接続されているので、ラインメモリ174bから切換スイッチ172cを通じて映像データL2が出力されて表示データが生成される。
図10は、生成された表示データを説明するための説明図である。図7(a)に示す映像データL1が左眼立体映像データ132に含まれるオブジェクトの奥行情報に応じて水平視差を有するように右方向または左方向に水平シフトされた右眼擬似立体映像データfR1が図10に示す表示データ196のmライン目の映像データDmの左半分に、左眼立体映像データ132の1ライン目の映像データL1がそのまま図10に示す表示データ196のmライン目の映像データDmの右半分に変換される。また、図7(a)に示す左眼立体映像データ132の2ライン目の映像データL2が左眼立体映像データ132に含まれるオブジェクトの奥行情報に応じて水平視差を有するように左方向または右方向に水平シフトされた左眼擬似立体映像データfL2が図10に示す表示データ196のm+1ライン目のDm+1の左半分に、左眼立体映像データ132の2ライン目の映像データL2がそのまま図10に示す表示データ196のm+1ライン目の映像データDm+1の右半分に変換される。
そうすると図10に示すように、有効映像部分の左半分に、左眼立体映像データ132に基づいて生成された右眼擬似立体映像データと左眼擬似立体映像データとが1ライン毎に交互に並置された擬似立体表示データ196aが配され、有効映像部分の右半分に、左眼立体映像データ132のみが並置された2次元表示データ196bが配された表示データ196が生成される。ここでも表示データ196のmライン目を立体ディスプレイ110の奇数番号のライン114(右眼で視認するライン)に対応させることで、右眼擬似立体映像データfR1および左眼立体映像データ132と立体ディスプレイ110の偏光特性とを合わせている。
また、ここでは右眼擬似立体映像データと左眼擬似立体映像データの両方を生成しているが、どちらか一方の擬似立体映像データを生成し、元の映像データ(この例では左眼立体映像データ)を他方の擬似立体映像データとして、利用してもよい。
上述した右眼擬似立体映像データと左眼擬似立体映像データとを生成する際に用いるオブジェクトの奥行情報は、既存の技術を利用して求めることができる。例えば、特許第4214976号に記載されているように、予め基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生しておき、供給される2次元映像データ(ここでは、左眼立体映像データ132)の、画面内の所定の領域における画素値の統計量を算定してシーン構造を推定し、発生させておいた複数の基本奥行きモデルを、算定した画素値の統計量に応じた合成比率で合成し、合成された合成結果と2次元映像データとから奥行き推定データを作成することで、オブジェクトの奥行情報を推定することができる。
以上説明したように、本実施形態にかかる立体映像生成装置100の表示データ生成部160によれば、立体映像データ134を構成する右眼立体映像データ130または左眼立体映像データ132のいずれか一方のみを用いて2次元表示データおよび擬似立体表示データを生成することで、処理負荷を軽減することができる。また、同一の映像データから2次元表示データおよび擬似立体表示データを生成するため、観察者は、立体映像に含まれるオブジェクトの立体感を元の2次元映像と比較することができ、擬似立体表示データがどの程度立体感を表現することができるか確認することが可能となる。さらに、両眼視差を有しない2次元映像データ(右眼立体映像データ130または左眼立体映像データ132のいずれか一方も含む)から両眼視差を有する擬似立体表示データを生成することで、2次元映像データしか取得できない状況であっても、観察者に立体映像を知覚させることができる。
ここで、表示データ生成部160は、左眼立体映像データ132を用いて2次元表示データおよび擬似立体表示データを生成しているが、これに限定されず、2次元映像データまたは右眼立体映像データ130を用いて2次元表示データおよび擬似立体表示データを生成してもよいし、右眼立体映像データ130または左眼立体映像データ132のいずれか一方を用いて2次元表示データを生成し、他方を用いて擬似立体表示データを生成してもよい。
(立体表示データおよび擬似立体表示データ)
次に、データ取得部150が取得した立体映像データ134を用いて、立体表示データおよび擬似立体表示データを生成する構成について説明する。
次に、データ取得部150が取得した立体映像データ134を用いて、立体表示データおよび擬似立体表示データを生成する構成について説明する。
ここでは、上述した映像変換部170と構成が異なる映像変換部170aについて説明する。スケーラ部162は、図4(d)に示す右眼立体映像データ130cおよび左眼立体映像データ132cを出力する。図11は、映像変換部170aの具体的な機能を示した機能ブロック図である。図11に示すように、映像変換部170aは、切換スイッチ172d、172eと、立体変換部170bと、擬似変換部170cと、アドレス制御部176とを含んで構成される。
図11に示す立体変換部170bは、切換スイッチ172f、172gと、ラインメモリ174a、174bと、を含んで構成され、擬似変換部170cは、切換スイッチ172h、172iと、ラインメモリ174a、174bと、を含んで構成される。アドレス制御部176は、切換スイッチ172d〜172iを水平同期信号の1/2の周期で形成される基準信号に基づいて切り換える。
アドレス制御部176は、切換スイッチ172dおよび立体変換部170bに対して上述した図6に示す制御と同様の制御を遂行し、擬似変換部170cに対して上述した図9に示す制御と同様の制御を遂行する。ただし、ここでは、立体表示データが有効映像部分の左半分に配されるように立体変換部170bを制御し、擬似立体表示データが有効映像部分の右半分に配されるように擬似変換部170cを制御する。
そしてアドレス制御部176は、切換スイッチ172eを、まず立体変換部170bに接続し、基準信号の周期で擬似変換部170cに切り換える。
これにより、有効映像部分の左半分に立体表示データが配され、右半分に擬似立体表示データが配された表示データが生成される。
以上説明したように、本実施形態にかかる立体映像生成装置100の表示データ生成部160によれば、1の立体ディスプレイ110を通じて、立体映像データ134に基づく立体映像と、この立体映像データ134を構成する右眼立体映像データ130または左眼立体映像データ132のいずれか一方に基づいて生成した擬似的な立体映像とを同時に観察者に知覚させることが可能となる。したがって、観察者は、立体表示データに基づく立体映像に含まれるオブジェクトの立体感と、擬似立体表示データに基づく立体映像に含まれるオブジェクトの立体感とを比較することができ、擬似立体表示データがどの程度立体感を再現することができるか確認することが可能となる。
また、上述した立体映像生成装置100を用いた立体映像生成方法も提供される。
(立体映像生成方法)
図12は、本実施形態にかかる立体映像生成方法の具体的な処理を説明するためのフローチャートである。図12に示すように、まず、データ取得部150は、立体映像データ134または2次元映像データを取得し(S100)、映像処理部152は、データ取得ステップS100において取得された立体映像データ134または2次元映像データに対して、映像信号処理を行う(S102)。
図12は、本実施形態にかかる立体映像生成方法の具体的な処理を説明するためのフローチャートである。図12に示すように、まず、データ取得部150は、立体映像データ134または2次元映像データを取得し(S100)、映像処理部152は、データ取得ステップS100において取得された立体映像データ134または2次元映像データに対して、映像信号処理を行う(S102)。
そして、表示データ生成部160は、信号処理ステップS102において映像信号処理が施された立体映像データ134または2次元映像データを用いて、2次元表示データ、擬似立体表示データaおよび立体表示データのうち2の表示データを生成する(S104)。
表示制御部180は、データ生成ステップS104において生成した2次元表示データ、擬似立体表示データおよび立体表示データのうち2の表示データを並べて、立体ディスプレイ110に表示させる(S106)。
以上説明したように、本実施形態にかかる立体映像生成方法においても、1の立体ディスプレイ110を通じて、立体映像と2次元映像とを同時に観察者に知覚させることが可能となる。
(第2の実施形態:併合した立体映像データ、ラインシーケンシャル、2画面表示)
上述した第1の実施形態の立体映像生成装置100において、データ取得部150が取得する立体映像データは、右眼に視認させるための右眼立体映像データ130と、左眼に視認させるための左眼立体映像データ132とが同期している立体映像データ134であった。本実施形態では、データ取得部がサイドバイサイド方式等の併合した立体映像データを取得した場合であっても、1の立体ディスプレイ110を通じて、立体映像と2次元映像とを同時に観察者に知覚させることができる立体映像生成装置200について説明する。
上述した第1の実施形態の立体映像生成装置100において、データ取得部150が取得する立体映像データは、右眼に視認させるための右眼立体映像データ130と、左眼に視認させるための左眼立体映像データ132とが同期している立体映像データ134であった。本実施形態では、データ取得部がサイドバイサイド方式等の併合した立体映像データを取得した場合であっても、1の立体ディスプレイ110を通じて、立体映像と2次元映像とを同時に観察者に知覚させることができる立体映像生成装置200について説明する。
(立体映像生成装置200)
図13は、第2の実施形態にかかる立体映像生成装置200の概略的な機能を示した機能ブロック図である。図13に示すように、立体映像生成装置200は、立体ディスプレイ110に接続され、データ取得部250と、映像処理部152と、表示データ生成部260と、表示制御部180とを含んで構成される。
図13は、第2の実施形態にかかる立体映像生成装置200の概略的な機能を示した機能ブロック図である。図13に示すように、立体映像生成装置200は、立体ディスプレイ110に接続され、データ取得部250と、映像処理部152と、表示データ生成部260と、表示制御部180とを含んで構成される。
第1の実施形態における構成要素として既に述べた、映像処理部152と、表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違するデータ取得部250、表示データ生成部260を主に説明する。
データ取得部250は、右眼に視認させるための右眼立体映像データと、左眼に視認させるための左眼立体映像データとが併合された立体映像データ234または2次元映像データを取得する。
図14は、第2の実施形態にかかる立体映像データ234のフォーマットを説明するための説明図である。データ取得部250が取得可能な立体映像データ234には複数のフォーマットが存在し、個々のフォーマットにおいてさらに画素数等のパラメータが異なる場合もある。本実施形態では、その代表的な例として、図14に示すように、有効映像部分の右半分(または左半分)に右眼に視認させるための右眼立体映像データ230、左半分(または右半分)に左眼に視認させるための左眼立体映像データ232を有するサイドバイサイド方式に従った立体映像データ234を用いる。
このような立体映像データ234では、右眼立体映像データ230と左眼立体映像データ232とが、1対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整されている。ただし、本実施形態のサイドバイサイド方式による立体映像データ234の右眼立体映像データ230および左眼立体映像データ232は、それぞれ、最終的に表示される後述する表示データ236と垂直解像度は等しいが、水平解像度は1/2に縮小されている。したがって全画面の有効映像範囲の画素数が1920×1080の場合、右眼立体映像データ230および左眼立体映像データ232の画素数は960×1080となる。
表示データ生成部260は、データ取得部250が取得した2次元映像データ234を用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2の表示データを生成する。
図15は、第2の実施形態にかかる表示データ生成部260の具体的な機能を示した機能ブロック図である。図15に示すように表示データ生成部260は、映像変換部270と、遅延調整部280と、切換制御部282と、切換スイッチ284とを含んで構成される。
(立体表示データおよび2次元表示データ)
図16は、第2の実施形態にかかる映像変換部270の具体的な機能を示した機能ブロック図であり、図17は、映像変換部270の処理を説明するための説明図であり、図18は、映像変換部によって加工された立体映像データを説明するための説明図である。
図16は、第2の実施形態にかかる映像変換部270の具体的な機能を示した機能ブロック図であり、図17は、映像変換部270の処理を説明するための説明図であり、図18は、映像変換部によって加工された立体映像データを説明するための説明図である。
図16に示すように、映像変換部270は、2つの切換スイッチ272a、272b、と、2つのラインメモリ274a、274bと、アドレス制御部276とを含んで構成される。ラインメモリ274a、274bは1ライン分のデータを保持およびシフトするシフトレジスタで構成され、本実施形態においてアドレス制御部276は、水平同期信号に基づいて2つの切換スイッチ272a、272bを制御する。
具体的に、アドレス制御部276は、水平同期信号の周期で切換スイッチ272aを、および切換スイッチ272bを切り換える。またアドレス制御部276は、切換スイッチ272aと切換スイッチ272bにそれぞれ接続されるラインメモリ274a、274bが排他的に選択されるように切換スイッチ272aと切換スイッチ272bとを切り換える。
図17(a)に示すように、まず、アドレス制御部276は、切換スイッチ272aをラインメモリ274aに接続し、切換スイッチ272bをラインメモリ274bに接続する。本来、図18(a)に示す0.5ライン分の左眼立体映像データ232の1ライン目の映像データL1がラインメモリ274aに保持されることになるが、最終的に表示データ236として用いられないので、ダミーデータ(図17中、ハッチングで示す)をラインメモリ274aに入力して、ダミーデータを保持させる。ここでは、ラインメモリ274としてシフトレジスタを用いているが、上述したように、ランダムアクセス可能なメモリを用いることもできる。
次に水平同期信号が1/2周期進むと、図17(b)に示すように、アドレス制御部276は、0.5ライン分の右眼立体映像データ230の1ライン目の映像データR1をラインメモリ274aに保持させる。
さらに水平同期信号が1/2周期進むと、図17(c)に示すように、アドレス制御部276は、切換スイッチ272aをラインメモリ274bに接続し、切換スイッチ272bをラインメモリ274aに接続する。この際、アドレス制御部276は、立体映像データ234における1ラインの中間(0.5ライン)に相当する位置から映像データを抽出する。そうすると、ラインメモリ274aから図18(a)に示す0.5ライン分の右眼立体映像データ230の1ライン目の映像データR1が出力され、ラインメモリ274bには、0.5ライン分の左眼立体映像データ232の2ライン目の映像データL2が保持されることになる。
次に水平同期信号が1/2周期進むと、図17(d)に示すように、アドレス制御部276は、本来、0.5ライン分の右眼立体映像データ230の2ライン目の映像データR2をラインメモリ274bに保持させることになるが、最終的に表示データ236として用いられないので、ダミーデータをラインメモリ274bに入力し、ダミーデータを保持させる。一方、本来は、ラインメモリ274aから図18(a)に示す0.5ライン分の右眼立体映像データ230の1ライン目の映像データR1が出力されることとなるが、最終的に表示データ236として用いられないので、ラインメモリ274aから出力される映像データR1をダミーデータに置き換える。なお、ここでは、映像データR1をダミーデータに置き換えているが、上述したように映像データR1は表示データ236として用いられないのでそのまま出力してもよい。
さらに水平同期信号が1/2周期進むと、図17(e)に示すように、アドレス制御部276は、切換スイッチ272aをラインメモリ274aに接続し、切換スイッチ272bをラインメモリ274bに接続する。本来、図18(a)に示す0.5ライン分の左眼立体映像データ232の3ライン目の映像データL3がラインメモリ274aに保持されることになるが、最終的に表示データ236として用いられないので、ダミーデータをラインメモリ274aに入力し、ダミーデータを保持させる。一方、ラインメモリ274bから図18(a)に示す0.5ライン分の左眼立体映像データ232の2ライン目の映像データL2が出力されることになる。
次に水平同期信号が1/2周期進むと、図17(f)に示すように、アドレス制御部276は、0.5ライン分の右眼立体映像データ230の3ライン目の映像データR3をラインメモリ274aに保持させ、ラインメモリ274bから0.5ライン分のダミーデータが出力される。
上述した映像変換部270の処理を体系的に説明すると、図18(a)に示す映像データR1が、図18(b)に示す表示データ236の1ライン目の映像データD1の有効映像部分の左半分に、図18(a)に示す映像データL2が図18(b)に示す表示データ236の2ライン目の映像データD2の有効映像部分の左半分に変換され、図17に示すダミーデータが表示データ236の有効映像部分の右半分に変換される。そうすると図18(b)に示すように、有効映像部分の左半分に、右眼立体映像データ230と左眼立体映像データ232とが1ライン毎に交互に並置された立体表示データ236aが配され、有効映像部分の右半分に、ダミー表示データ236bが配された表示データ236が生成される。
図15に戻って、遅延調整部280は、シフトレジスタで構成され、映像変換部270で表示データ236を生成する際に生じる遅延時間の分、立体映像データ234を遅延させて出力する。
切換制御部282は、水平同期信号の1/2の周期で切換スイッチ284を切り換える。ここでは、切換制御部282は、映像変換部270が図18(b)に示す立体表示データ236aを出力するときに切換スイッチ284と映像変換部270とを接続し、映像変換部270が図18(b)に示すダミー表示データ236bを出力するときに切換スイッチ284と遅延調整部280とを接続する。
図19は、第2の実施形態にかかる表示データ生成部260の体系的な処理を説明するための説明図である。切換制御部282は、まず切換スイッチ284を映像変換部270に接続するため、図19(a)に示す表示データ236の1ライン目の映像データR1が出力され、図19(c)に示す表示データ290には映像データR1が形成される。そして水平同期信号が1/2周期進むと、切換制御部282は、切換スイッチ284を遅延調整部280への接続に切り換えるが、すでに立体映像データ234の1ライン目の映像データL1の出力は終了しているので、図19(b)に立体映像データ234の1ライン目の映像データR1が出力され、図19(c)に示す表示データ290には映像データR1が形成される。さらに水平同期信号が1/2周期進むと、切換制御部282は、切換スイッチ284を映像変換部270への接続に切り換えるが、図19(a)に示す表示データ236の2ライン目の映像データL2が出力され、図19(c)に示す表示データ290には映像データL2が形成される。
したがって、図19(c)のような、有効映像部分の左半分に配された立体表示データ236aと、有効映像部分の右半分に配された右眼立体映像データ230(2次元表示データ)とを併合した表示データ290を立体ディスプレイ110に表示させることにより、観察者は、専用の偏光眼鏡118を通じて、立体ディスプレイ110の左半分の領域(左画面)では立体映像を知覚し、右半分の領域(右画面)では2次元映像を視認することができる。
以上説明したように、本実施形態にかかる立体映像生成装置200によれば、1の立体ディスプレイ110を通じて、観察者に立体映像と2次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを2次元映像と比較することができる。
なお、ここで表示データ生成部260は、右眼立体映像データ230を2次元表示データとしているが、これに限定されず、第1の実施形態同様、左眼立体映像データ232を2次元表示データとしてもよい。
さらに、本実施形態にかかる立体映像データ234の右眼立体映像データ230および左眼立体映像データ232は、それぞれ、最終的に表示される表示データ290と垂直解像度は等しいが、水平解像度は1/2に縮小されているので、表示データ生成部260の前段にスケーラ部を設け、スケーラ部において垂直方向に1/2に縮小してもよい。
図20は、立体映像データ234をスケーラ部で加工した場合に立体映像生成装置200で出力される表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置200は、スケーラ部を介さずに、立体映像データ234から表示データ290を生成しているので、立体ディスプレイ110には図20(a)に示す映像が表示される。
一方、上述したように立体映像データ234をスケーラ部において垂直方向に1/2に縮小してから表示データを生成すると、図20(b)に示す映像が表示される。立体映像データ134は、立体ディスプレイ110に表示される際に1920×1080で出力するように構成されている、すなわち水平方向への2倍の延長が予め考慮されているので、スケーラ部を介さないと図20(a)に示すように縦長の映像が表示される。したがって、スケーラ部において立体映像データ234を垂直方向に1/2に縮小してから表示することで図20(b)に示すように、予め考慮された1920×1080とアスペクト比が等しい映像(960×540)を表示させることができる。
また、立体映像データの右眼立体映像データおよび左眼立体映像データが立体ディスプレイ110に表示される際に960×1080で出力するように構成されている場合には、スケーラ部を介さずとも図20(c)に示すように予め考慮された960×1080で映像を表示させることができる。
(擬似立体表示データおよび2次元表示データ)
次に、データ取得部250が取得した立体映像データ234を用いて、2次元表示データおよび擬似立体表示データを生成する構成について説明する。
次に、データ取得部250が取得した立体映像データ234を用いて、2次元表示データおよび擬似立体表示データを生成する構成について説明する。
図21は、映像変換部270の他の処理を説明するための説明図であり、図22は、第2の実施形態にかかる表示データ生成部260の他の処理を説明するための説明図である。図21に示す例でも、アドレス制御部276は、水平同期信号に基づいて2つの切換スイッチ272a、272bを制御する。
図21(a)に示すように、まず、アドレス制御部276は、切換スイッチ272aをラインメモリ274aに接続し、切換スイッチ272bをラインメモリ274bに接続する。そうすると、ラインメモリ274aには、映像データL1が保持されることになる。ここでも、ラインメモリ274としてシフトレジスタを用いているが、ランダムアクセス可能なメモリを用いることもできる。
次に水平同期信号が1/2周期進むと、図21(b)に示すように、アドレス制御部276は、0.5ライン分の映像データに相当するデータ量のダミーデータ(図21中、ハッチングで示す)をラインメモリ274aに保持させる。
さらに水平同期信号が1/2周期進むと、図21(c)に示すように、アドレス制御部276は、切換スイッチ272aをラインメモリ274bに接続し、切換スイッチ272bをラインメモリ274aに接続する。そうすると、ラインメモリ274aから映像データL1が出力されるが、この際、アドレス制御部276は、左眼立体映像データ232に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データL1を右方向または左方向に水平シフトさせた右眼擬似立体映像データfR1を生成する。また、ラインメモリ274bには、映像データL2が保持されることになる。
次に水平同期信号が1/2周期進むと、図21(d)に示すように、アドレス制御部276は、0.5ライン分の映像データに相当するデータ量のダミーデータをラインメモリ274bに保持させる。そうすると、ラインメモリ274aからダミーデータが出力され、ラインメモリ274bには、映像データL2とダミーデータが保持されることとなる。
さらに水平同期信号が1/2周期進むと、図21(e)に示すように、アドレス制御部276は、切換スイッチ272aをラインメモリ274aに接続し、切換スイッチ272bをラインメモリ274bに接続する。そうすると、ラインメモリ274aには、映像データL3が保持されることになる。この際、ラインメモリ274bから、通常、映像データL2が出力されるが、アドレス制御部276は、左眼立体映像データ232に含まれるオブジェクトの奥行情報に応じて水平視差を有するように、映像データL2を左方向または右方向に水平シフトさせた、左眼擬似立体映像データfL2を生成する。
次に水平同期信号が1/2周期進むと、図21(f)に示すように、アドレス制御部276は、ダミーデータをラインメモリ274aに保持させ、ラインメモリ274bからダミーデータが出力される。
上述した映像変換部270の処理を体系的に説明すると、図18(a)に示す映像データL1が左眼立体映像データ232に含まれるオブジェクトの奥行情報に応じて水平視差を有するように右方向または左方向に水平シフトされた右眼擬似立体映像データfR1が、図22(a)に示す表示データ296の1ライン目の映像データD1の有効映像部分の左半分に、図18(a)に示す映像データL2が左眼立体映像データ232に含まれるオブジェクトの奥行情報に応じて水平視差を有するように左方向または右方向に水平シフトされた左眼擬似立体映像データfL2が、2ライン目の映像データD2の有効映像部分の左半分に変換される。そうすると図22(a)に示すように、有効映像部分の左半分に、右眼擬似立体映像データfR1と左眼立体映像データ232とが1ライン毎に交互に並置された擬似立体表示データ296aが配され、有効映像部分の右半分に、ダミー表示データ236bが配された表示データ296が生成される。
この場合、遅延調整部280は、シフトレジスタで構成され、図22(b)の如く、映像変換部270で表示データ236を生成する際に生じる遅延時間の分と水平同期信号の1/2周期分、立体映像データ234を遅延させて出力する。
切換制御部282は、水平同期信号の1/2の周期で切換スイッチ284を切り換える。ここでは、切換制御部282は、映像変換部270が図22(a)に示す表示データ296の有効映像部分の左半分を出力するときに切換スイッチ284と映像変換部270とを接続し、映像変換部270が図22(a)に示す表示データ296の有効映像部分の右半分を出力するときに切換スイッチ284と遅延調整部280とを接続する。
切換制御部282は、まず切換スイッチ284を映像変換部270に接続するため、図22(a)に示す表示データ296の1ライン目の右眼擬似立体映像データfR1が出力され、図22(c)に示す表示データ298には右眼擬似立体映像データfR1が形成される。そして水平同期信号が1/2周期進むと、切換制御部282は、切換スイッチ284を遅延調整部280への接続に切り換え、図22(b)に示す立体映像データ234の1ライン目の左眼立体映像データL1が出力され、図22(c)に示す表示データ298には左眼立体映像データL1が形成される。さらに水平同期信号が1/2周期進むと、切換制御部282は、切換スイッチ284を映像変換部270へ接続し、図22(a)に示す表示データ296の2ライン目の左眼擬似立体映像データfL2が出力され、図22(c)に示す表示データ298には左眼擬似立体映像データfL2が形成される。
したがって、図22(c)のような、有効映像部分の左半分に配された擬似立体表示データ296aと、有効映像部分の右半分に配された左眼立体映像データ232(2次元表示データ)とを併合した表示データ298を立体ディスプレイ110に表示させることにより、観察者は、専用の偏光眼鏡118を通じて、立体ディスプレイ110の左半分の領域(左画面)では、擬似的ではあるものの立体映像を知覚し、右半分の領域(右画面)では2次元映像を視認することができる。
以上説明したように、本実施形態にかかる立体映像生成装置200の表示データ生成部260によれば、立体映像データ234を構成する右眼立体映像データ230または左眼立体映像データ232のいずれか一方のみを用いて2次元表示データおよび擬似立体表示データを生成することで、処理負荷を軽減することができる。また、同一の映像データから2次元表示データおよび擬似立体表示データを生成するため、観察者は、立体映像に含まれるオブジェクトの立体感を元の2次元映像と比較することができ、擬似立体表示データがどの程度立体感を表現することができるか確認することが可能となる。さらに、両眼視差を有しない2次元映像データ(右眼立体映像データ230または左眼立体映像データ232のいずれか一方も含む)から両眼視差を有する擬似立体表示データを生成することで、2次元映像データしか取得できない状況であっても、観察者に立体映像を知覚させることができる。
ここで、表示データ生成部260は、左眼立体映像データ232を用いて2次元表示データおよび擬似立体表示データを生成しているが、これに限定されず、2次元映像データまたは右眼立体映像データ230を用いて2次元表示データおよび擬似立体表示データを生成してもよいし、右眼立体映像データ230または左眼立体映像データ232のいずれか一方を用いて2次元表示データを生成し、他方を用いて擬似立体表示データを生成してもよい。
また本実施形態では、立体表示データおよび2次元表示データを並べて立体ディスプレイ110に表示させる場合と、擬似立体表示データおよび2次元表示データを並べて表示させる場合について説明したが、立体表示データと擬似立体表示データを並べて表示させることができることは言うまでもない。
(第3の実施形態:同期した立体映像データ、フレームシーケンシャル、2画面表示)
上述した第1および第2の実施形態の立体映像生成装置100、200において、表示データ生成部160、260は、表示面112に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ110を通じて立体映像を知覚させるため、ラインシーケンシャル方式の立体表示データまたは擬似立体表示データを生成していた。本実施形態では、偏光特性は全画面等しく、所定のフレーム切換速度(例えば120fps:以下、単にフレーム切換速度と称する)で右眼用の映像データと左眼用の映像データとを交互に表示させることができる立体ディスプレイに表示させるための2次元表示データ、立体表示データまたは擬似立体表示データを生成することができる立体映像生成装置300について説明する。
上述した第1および第2の実施形態の立体映像生成装置100、200において、表示データ生成部160、260は、表示面112に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ110を通じて立体映像を知覚させるため、ラインシーケンシャル方式の立体表示データまたは擬似立体表示データを生成していた。本実施形態では、偏光特性は全画面等しく、所定のフレーム切換速度(例えば120fps:以下、単にフレーム切換速度と称する)で右眼用の映像データと左眼用の映像データとを交互に表示させることができる立体ディスプレイに表示させるための2次元表示データ、立体表示データまたは擬似立体表示データを生成することができる立体映像生成装置300について説明する。
図23は、第3の実施形態にかかる立体映像生成装置300が生成する立体表示データを表示させるための立体ディスプレイ310の表示構成を説明するための説明図である。立体ディスプレイ310は、図23(a)に示すように、右眼用表示データ320を表示させている場合、観察者が装着する電子シャッタメガネ318は、フレームに同期させて、右のシャッタ318aを開、左のシャッタ318bを閉にする。そして図23(b)に示すように、左眼用表示データ322を表示させている場合、観察者が装着する電子シャッタメガネ318は、フレームに同期させて、右のシャッタ318aを閉、左のシャッタ318bを開にする。観察者は、電子シャッタ眼鏡318を通じて、右眼用表示データ320を右眼で、左眼用表示データ322を左眼で、時分割で交互かつ排他的に視認し、両眼視差によって、表示面と異なる結像位置324で立体映像を知覚することが可能となる。なお、右眼用表示データ320と左眼用表示データ322とは、フレーム切換速度で切り換ることで、観察者は左右の映像をフレーム切換速度の半分の速度(フレーム切換速度が120fpsの場合60fps)で視認することができ、シームレスな立体映像を知覚させることができる。
(立体映像生成装置300:立体表示データおよび2次元表示データ)
図24は、第3の実施形態にかかる立体映像生成装置300の概略的な機能を示した機能ブロック図である。図24に示すように、立体映像生成装置300は、立体ディスプレイ310に接続され、データ取得部150と、映像処理部152と、フレームメモリ154と、表示データ生成部360と、表示制御部180とを含んで構成される。ここでは立体ディスプレイ310と立体映像生成装置300とを別体に構成する場合を説明するが、一体的に構成することもできる。なお、第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152と、フレームメモリ154、表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部360を主に説明する。
図24は、第3の実施形態にかかる立体映像生成装置300の概略的な機能を示した機能ブロック図である。図24に示すように、立体映像生成装置300は、立体ディスプレイ310に接続され、データ取得部150と、映像処理部152と、フレームメモリ154と、表示データ生成部360と、表示制御部180とを含んで構成される。ここでは立体ディスプレイ310と立体映像生成装置300とを別体に構成する場合を説明するが、一体的に構成することもできる。なお、第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152と、フレームメモリ154、表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部360を主に説明する。
表示データ生成部360は、データ取得部150が取得した立体映像データ334または2次元映像を用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2の表示データを生成する。
図25は、第3の実施形態にかかる表示データ生成部360の具体的な機能を示した機能ブロック図であり、図26は、表示データ生成部360中のスケーラ部362によって加工された立体映像データ334を説明するための説明図である。図25に示すように、表示データ生成部360は、スケーラ部362と、映像変換部370とを含んで構成される。
スケーラ部362は、右スケーラ部362aと、左スケーラ部362bとで構成され、右スケーラ部362aは、フレームメモリ154から図26(a)に示す右眼立体映像データ330の有効映像部分を、左スケーラ部362bは、フレームメモリ154から左眼立体映像データ332の有効映像部分を、それぞれを読み出し、図26(b)に示すように垂直解像度を1/2に縮小する。ここでスケーラ部362は、右眼立体映像データ330または左眼立体映像データ332を構成するライン単位のデータを隔行で間引くことで垂直解像度を1/2に縮小する。
さらに、右スケーラ部362aは、図26(c)に示すように、垂直解像度を1/2に縮小した右眼立体映像データ330の水平解像度を1/2に縮小し、左スケーラ部362bは、垂直解像度を1/2に縮小した左眼立体映像データ332の水平解像度を1/2に縮小する。ここでスケーラ部362は、右眼立体映像データ330または左眼立体映像データ332を構成するライン単位のデータを1画素置きに間引くことで水平解像度を1/2に縮小する。
そして、右スケーラ部362aは、図26(d)に示すように、垂直解像度および水平解像度をそれぞれ1/2に縮小した、すなわち、画素数が960×540となった右眼立体映像データ330を水平方向に繰り返し並置した右眼立体映像データ330aを、フレーム切換速度の半分の速度で、後述する映像変換部170のフレームメモリ372に出力する。また、左スケーラ部362bも、図26(d)に示すように、垂直解像度および水平解像度をそれぞれ1/2に縮小した左眼用映像データ332を水平方向に繰り返し並置した左眼立体映像データ332aを、フレーム切換速度の半分の速度で、映像変換部170のフレームメモリ372に出力する。このとき、スケーラ部362は、有効映像部分の右眼用映像データ330または左眼用映像データ332が配されない部分(図26(d)中ハッチングで示す)については予め定められたデータ(例えば、黒色を示すデータ)を配してもよい。
図27は、第3の実施形態にかかる映像変換部370の具体的な機能を示した機能ブロック図であり、図28は、映像変換部370の処理を説明するための説明図である。図27に示すように映像変換部370は、フレームメモリ372と、アドレス制御部374と、切換スイッチ376とを含んで構成される。アドレス制御部374は、スケーラ部362がフレームメモリ372に右眼立体映像データ330または左眼立体映像データ332を書き込む速度の2倍、フレーム切換速度でフレームメモリ372から右眼立体映像データ330または左眼立体映像データ332を出力し、水平同期信号の1/2の周期で形成される基準信号の周期で切換スイッチ376を制御する。
具体的に、アドレス制御部374は、フレームメモリ372の出力経路372aからフレーム毎に右眼立体映像データ330aと左眼立体映像データ332aを交互に出力させ出力経路372bから常に右眼立体映像データ330aを出力経路372aと同期させて出力させる。
そうすると、図28(a)に示すスケーラ部362からフレームメモリ372に書き込まれる速度の2倍の速度で図28(b)に示す右眼立体映像データ330aまたは左眼立体映像データ332aが出力される。そして、アドレス制御部374が切換スイッチ376を基準信号の周期で出力経路372aと出力経路372bとの接続を切り換えると、図28(c)に示すような有効映像部分の左半分に左目用表示データ322が右半分に右眼用表示データ320が配された表示データ336aと、有効映像部分の左半分にも右半分にも右眼用表示データ320が配された表示データ336bが生成される。
したがって、観察者は、図28(c)に示すt1、t3、t5、t7…t(n−1)のとき右のシャッタ318aを閉、左のシャッタ318bを開にし、t2、t4、t6、t8…t(n)のときに右のシャッタ318aを開、左のシャッタ318bを閉にする電子シャッタ眼鏡318を通じて、立体ディスプレイ310の左半分の領域(左画面)では立体映像を知覚し、右半分の領域(右画面)では2次元映像を視認することができる。
以上説明したように、本実施形態にかかる立体映像生成装置300によれば、1の立体ディスプレイ310を通じて、観察者に立体映像と2次元映像とを同時に知覚させることが可能となる。したがって、観察者は、立体映像がどのぐらいの立体感を再現できるのかを2次元映像と比較することができる。
なお、ここで立体映像生成装置300は、右眼立体映像データ330aを用いて2次元映像を視認させている(有効映像部分の右半分)が、これに限定されず、左眼立体映像データ332aを用いて2次元映像を視認させてもよい。
また、上述したような、映像変換部370のフレームメモリ372の後段に切換スイッチ376を配した構成により、立体表示データおよび2次元表示データを1の立体ディスプレイ310に表示させる場合(デモモード)と立体表示データのみを表示させる場合(通常モード)の切り換えを行う際に、フレームメモリ372のメモリアクセス制御の変更をおこなわずともよい。また、デモモードの場合には、フレームメモリ372へのアクセス数が減り、消費電力を抑えられる。
さらに、立体映像生成装置300は、デモモードのみに利用する場合、映像変換部370のフレームメモリ372の前段に切換スイッチ376を配するとよい。この場合、フレームメモリ372に書き込む前の切換スイッチ376で、図26(c)に示す垂直解像度および水平解像度をそれぞれ1/2に縮小した左眼用映像データ332を有効映像部分の左半分に配し、垂直解像度および水平解像度をそれぞれ1/2に縮小した右眼立体映像データ330を有効映像部分の右半分に配してフレームメモリ372に書き込む。そして、フレームメモリ372から読み出す際には、1フレームおきに、水平方向に2度読み出す。
このような、映像変換部370のフレームメモリ372の前段に切換スイッチ376を配する構成により、フレームメモリ372へのアクセス量を減らすことができ、フレームメモリ372の容量を削減することが可能となる。
また本実施形態では、立体表示データおよび2次元表示データを並べて立体ディスプレイ310に表示させる場合について説明したが、擬似立体表示データおよび2次元表示データを並べて表示させたり、立体表示データと擬似立体表示データを並べて表示させたりすることができることは言うまでもない。この際、擬似立体表示データは、2次元映像データ(右眼立体映像データ330および左眼立体映像データ332を含む)、2次元映像データに含まれるオブジェクトの奥行情報に応じて水平視差を有するように水平シフトさせて生成される。
(第4の実施形態:ラインシーケンシャル、3画面表示)
上述した第1および第2の実施形態の立体映像生成装置100、200において、立体ディスプレイ110には2次元表示データ、立体表示データ、擬似立体表示データのうちいずれか2の表示データが表示されている例について説明した。本実施形態では、立体ディスプレイ110に2次元表示データ、立体表示データおよび擬似立体表示データの3つの表示データを表示させることができる立体映像生成装置400について説明する。
上述した第1および第2の実施形態の立体映像生成装置100、200において、立体ディスプレイ110には2次元表示データ、立体表示データ、擬似立体表示データのうちいずれか2の表示データが表示されている例について説明した。本実施形態では、立体ディスプレイ110に2次元表示データ、立体表示データおよび擬似立体表示データの3つの表示データを表示させることができる立体映像生成装置400について説明する。
(立体映像生成装置400:同期した立体映像データ、ラインシーケンシャル、3画面表示)
図29は、第4の実施形態にかかる立体映像生成装置400の表示データ生成部460の概略的な機能を示した機能ブロック図であり、図30は、第4の実施形態にかかるスケーラ部462の処理を説明するための説明図である。立体映像生成装置400は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、表示データ生成部460と、表示制御部180とを含んで構成される。第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152、および表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部460を主に説明する。
図29は、第4の実施形態にかかる立体映像生成装置400の表示データ生成部460の概略的な機能を示した機能ブロック図であり、図30は、第4の実施形態にかかるスケーラ部462の処理を説明するための説明図である。立体映像生成装置400は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、表示データ生成部460と、表示制御部180とを含んで構成される。第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152、および表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部460を主に説明する。
図29に示すように、表示データ生成部460は、スケーラ部462と、映像変換部470とを含んで構成される。スケーラ部462は、右スケーラ部462aと、左スケーラ部462bとで構成され、右スケーラ部462aは、フレームメモリ154から図30(a)に示す右眼立体映像データ130の有効映像部分を、左スケーラ部462bは、フレームメモリ154から左眼立体映像データ132の有効映像部分を、それぞれを読み出し、図30(b)に示すように垂直解像度を1/2に縮小し、垂直解像度を1/2に縮小した右眼立体映像データ130および左眼立体映像データ132をそれぞれ垂直方向に2つ並置した映像データ430および映像データ432を生成する。
さらにスケーラ部462は、図30(c)に示す、映像データ430および映像データ432の水平解像度を1/2にし、有効映像部分の上半分の略中央に配し、有効映像部分の下半分には2回繰り返して並置した映像データ430a、432aを生成する。
図31は、映像変換部470の具体的な機能を示した機能ブロック図であり、図32は、立体映像生成装置100の表示面上の領域を説明するための説明図であり、図33は、映像変換部470の処理を説明するための説明図である。図31に示すように、映像変換部470は、切換スイッチ172d、172eと、立体変換部170bと、擬似変換部170cと、アドレス制御部476とを含んで構成される。
図31に示す立体変換部170bは、切換スイッチ172f、172gと、ラインメモリ174a、174bと、を含んで構成され、擬似変換部170cは、切換スイッチ172h、172iと、ラインメモリ174a、174bと、を含んで構成される。アドレス制御部476は、切換スイッチ172d〜172iを水平同期信号の1/2の周期で形成される基準信号および垂直同期信号の1/2の周期で形成される区分信号に基づいて切り換える。
まず、アドレス制御部476は、切換スイッチ172dおよび立体変換部170bに対して上述した図6に示す制御と同様の制御を遂行する。ただし、ここでアドレス制御部476は、図30(c)に示す映像データ430aまたは映像データ432aを用いて、2次元表示データが図32に示す立体ディスプレイ110の表示面上の領域Aに配されるように立体変換部170bを制御する。また、アドレス制御部476は、映像データ430aまたは映像データ432aを用いて、立体表示データが図32に示す立体ディスプレイ110の表示面上の領域Bに配されるように立体変換部170bを制御する。
そうすると、図33(a)に示すように、領域Aに対応する有効映像部分に2次元表示データ440aが配され、領域Bに対応する有効映像部分に立体表示データ440bが配された表示データが生成される。
さらに、アドレス制御部476は、擬似変換部170cに対して上述した図9に示す制御と同様の制御を遂行し、図30(c)に示す映像データ430aまたは映像データ432aを用いて、擬似立体表示データが図32に示す立体ディスプレイ110の表示面上の領域Cに配されるように擬似変換部170cを制御する。そうすると、図33(b)に示すように、領域Cに対応する有効映像部分に映像データ430aまたは映像データ432a(図30では、立体映像データ430を例に挙げる)を用いて生成された擬似立体表示データ442aが生成される。
そしてアドレス制御部476は、切換スイッチ172eを、まず立体変換部170bに接続し、区分信号が1周期進み、さらに基準信号が1周期進むと擬似変換部170cに切り換える。
これにより、領域Aに2次元表示データ440aが配され、領域Bに立体表示データ440bが配され、領域Cに擬似立体表示データ442aが配された表示データが生成される。ここでも立体表示データ440bおよび擬似立体表示データ442aの1ライン目を立体ディスプレイ110の奇数番号のライン114(右眼で視認するライン)に対応させている。また、領域D、領域Eに対応する有効映像部分の2次元表示データ440a、立体表示データ440bおよび擬似立体表示データ442aが配されない部分(図33中ハッチングで示す)については予め定められたデータ(例えば、黒色を示すデータ)を配してもよい。
以上説明したように、本実施形態にかかる立体映像生成装置400によれば、1の立体ディスプレイ110を通じて、観察者に、立体表示データに基づく立体映像と、擬似立体表示データに基づく立体映像と、2次元映像とを同時に知覚させることが可能となる。
なお、ここで、表示データ生成部460は、領域Aに2次元表示データが、領域Bに立体表示データが、領域Cに擬似立体表示データが配された表示データを生成するが表示データを任意の領域に配した表示データを生成することができる。
また、ここでは、表示面112に隔行で偏光特性の異なる偏光フィルタが設けられた立体ディスプレイ110を通じて立体映像を知覚させるため、ラインシーケンシャル方式の表示データを生成しているが、立体映像生成装置300の構成を利用することで、2次元表示データ、立体映像表示データおよび擬似立体表示データを1の立体ディスプレイ310に表示させることが可能な表示データを生成することもできる。
(併合した立体映像データ、ラインシーケンシャル、3画面表示)
次に、上述した立体映像生成装置400において、データ取得部150が取得する立体映像データがサイドバイサイド方式等の併合した立体映像データを取得した場合に、1の立体ディスプレイ110に2次元表示データ、立体表示データおよび擬似立体表示データの3つの表示データを表示させる処理を説明する。
次に、上述した立体映像生成装置400において、データ取得部150が取得する立体映像データがサイドバイサイド方式等の併合した立体映像データを取得した場合に、1の立体ディスプレイ110に2次元表示データ、立体表示データおよび擬似立体表示データの3つの表示データを表示させる処理を説明する。
図34は、スケーラ部462の処理を説明するための説明図であり、図35は、映像変換部270の処理を説明するための説明図である。ここで、スケーラ部462は、フレームメモリ154から図34(a)に示す立体映像データ234の有効映像部分を読み出し、図30(b)に示すように垂直解像度を1/2に縮小し、垂直解像度を1/2に縮小した立体映像データ234を垂直方向に2つ並置した映像データ480を生成する。
そして、映像変換部470のアドレス制御部476は、映像データ480を用いて、垂直解像度が1/2に縮小された右眼立体映像データ230または左眼立体映像データ232(図35においては、左眼立体映像データ232を例に挙げる)が図32に示す立体ディスプレイ110の表示面上の領域Aに配されるように切換スイッチ272a、272bを制御し、図35(a)に示す、有効映像部分の領域Bに、垂直解像度が1/2に縮小された右眼立体映像データ230と左眼立体映像データ232とが1ライン毎に配置されるように切換スイッチ272a、272bを制御する。そして図35(a)に示す、有効映像部分AおよびB以外の部分にはダミーデータを配した表示データ482を生成する。ここでも垂直解像度が1/2に縮小された右眼立体映像データ230の1ライン目を立体ディスプレイ110の奇数番号のライン114(右眼で視認するライン)に対応させている。
また、アドレス制御部476は、映像データ480を用いて、領域Cに、垂直解像度が1/2に縮小された右眼立体映像データ230または左眼立体映像データ232のいずれか一方を用いて右眼擬似立体映像データと左眼擬似立体映像データとが1ライン毎に配置されるように切換スイッチ272a、272bを制御し、図35(b)に示す、有効映像部分の領域C以外の部分にはダミーデータを配した表示データ484を生成する。ここでも垂直解像度が1/2に縮小された右眼擬似立体映像データの1ライン目を立体ディスプレイ110の奇数番号のライン114(右眼で視認するライン)に対応させている。
そして、アドレス制御部476は、切換スイッチ172eを区分信号に基づいて切り換え、表示データ482と表示データ484とを交互に出力する。
以上説明したように、本実施形態にかかる立体映像生成装置400によれば、1の立体ディスプレイ110を通じて、観察者に、立体表示データに基づく立体映像と、擬似立体表示データに基づく立体映像と、2次元映像とを同時に知覚させることが可能となる。
(第5の実施形態:同期した立体映像データ、ラインシーケンシャル、3画面表示、切り出し)
上述した第1、第3、第4の実施形態の立体映像生成装置100、300、400において、立体ディスプレイ110には、スケーラ部によって垂直解像度および水平解像度を圧縮し想定された表示範囲全てが表示されている例について説明した。本実施形態では、立体映像データまたは2次元映像データの一部から表示データを生成して立体ディスプレイ110に表示させる立体映像生成装置500について説明する。
上述した第1、第3、第4の実施形態の立体映像生成装置100、300、400において、立体ディスプレイ110には、スケーラ部によって垂直解像度および水平解像度を圧縮し想定された表示範囲全てが表示されている例について説明した。本実施形態では、立体映像データまたは2次元映像データの一部から表示データを生成して立体ディスプレイ110に表示させる立体映像生成装置500について説明する。
(立体映像生成装置500)
図36は、第5の実施形態にかかる立体映像生成装置500における表示データ生成部560の概略的な機能を示した機能ブロック図である。立体映像生成装置500は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、表示データ生成部560と、表示制御部180とを含んで構成される。第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152、および表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部560を主に説明する。
図36は、第5の実施形態にかかる立体映像生成装置500における表示データ生成部560の概略的な機能を示した機能ブロック図である。立体映像生成装置500は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、表示データ生成部560と、表示制御部180とを含んで構成される。第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152、および表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部560を主に説明する。
図36に示すように、表示データ生成部560は、映像切出部562と、映像変換部470とを含んで構成される。映像切出部562は、表示データ生成部560によって生成される2または3の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、フレームメモリ154から出力された立体映像データ134または2次元映像データの一部を切り出す。
図37は、第5の実施形態にかかる映像切出部562の処理を説明するための説明図である。本実施形態において映像切出部562は、右映像切出部562aと、左映像切出部562bとで構成され、表示データ生成部560によって生成される3の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、右映像切出部562aは、フレームメモリ154から図37(a)に示す右眼立体映像データ130の有効映像部分、左映像切出部562bは、フレームメモリ154から左眼立体映像データ132の有効映像部分のうち、立体映像データの一部を切り出して読み出す。ここで、映像切出部562は、ユーザによる十字キー等の操作部を介した操作入力に応じて立体映像データの一部を切り出す。また、映像切出部562は、右眼立体映像データ130および左眼立体映像データ132に含まれるオブジェクトの奥行情報を参照して、奥行情報が示す奥行きの絶対値が大きいオブジェクトを含む領域を自動的に切り出してもよい。
図37(b)に示すように映像切出部562は、右眼立体映像データ130および左眼立体映像データ132から右眼立体映像データ130および左眼立体映像データ132の垂直方向のサイズが原立体映像データの1/2のサイズの領域130a、132aを切り出して、映像データ130b、132bを生成する。そして映像切出部562は、映像データ130bを垂直方向に2つ並置した映像データ530、映像データ132bを垂直方向に2つ並置した映像データ532を生成する。
さらに映像切出部562は、図37(c)に示す、映像データ530および映像データ532から右眼立体映像データ130および左眼立体映像データ132の水平方向のサイズが原立体映像データの1/2のサイズの領域530a、532aを切り出して、映像データ540、542を生成し、映像データ540、映像データ542から図37(d)に示す、有効映像部分の上半分は略中央に配し、有効映像部分の下半分は2回繰り返して並置した映像データ540aおよび映像データ542aを生成する。
そして、映像変換部470のアドレス制御部476は、切換スイッチ172dおよび立体変換部170bに対して上述した図6に示す制御と同様の制御を遂行し、擬似変換部170cに対して上述した図9に示す制御と同様の制御を遂行する。
ただし、ここでアドレス制御部476、図37(d)に示す映像データ540aまたは映像データ542bを用いて、2次元表示データが図32に示す立体ディスプレイ110の表示面上の領域Aに配されるように立体変換部170bを制御する。またアドレス制御部476は、図37(d)に示す映像データ540aまたは映像データ542aを用いて、立体表示データが図32に示す立体ディスプレイ110の表示面上の領域Bに配されるように立体変換部170bを制御する。さらにアドレス制御部476は、図37(d)に示す映像データ540aまたは映像データ542aを用いて、擬似立体表示データが図32に示す立体ディスプレイ110の表示面上の領域Cに配されるように擬似変換部170cを制御する。
以上説明したように、映像切出部562が立体映像データ134単体を用いて生成する表示データのサイズを変更せず(縮小も拡大も行わず)に立体映像データ134の一部を切り出す構成により、立体映像データ134を全画面表示した場合におけるサイズで立体表示データにした場合における両眼視差と同一の両眼視差を有する立体表示データを生成することができる。したがって、立体映像生成装置500を利用してデモンストレーションを行い、2次元映像、立体表示データ、擬似立体表示データを1の立体ディスプレイ110に同時に表示させることでも、立体表示データまたは擬似立体表示データのみを表示した場合に発揮される視覚効果(立体感)と同一の視覚効果によって3つの表示データを比較することが可能となる。
また、映像切出部562が、表示データ生成部560によって生成される3の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、右眼立体映像データ130および左眼立体映像データ132の一部を切り出すことで、観察者に2次元映像を同じ部分を用いて生成された立体映像を知覚させることができるので、どの程度の立体感を再現できるかを確認させることが可能となる。
(第6の実施形態:同期した立体映像データ、ラインシーケンシャル、PinP)
上述した第4および第5の実施形態の立体映像生成装置400、500において、立体ディスプレイ110の任意の領域に、2次元表示データ、立体表示データおよび擬似立体表示データを表示させている例について説明した。本実施形態では、2次元表示データにPinP(Picture in Picture)形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ110に表示させる立体映像生成装置600について説明する。
上述した第4および第5の実施形態の立体映像生成装置400、500において、立体ディスプレイ110の任意の領域に、2次元表示データ、立体表示データおよび擬似立体表示データを表示させている例について説明した。本実施形態では、2次元表示データにPinP(Picture in Picture)形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ110に表示させる立体映像生成装置600について説明する。
(立体映像生成装置600)
図38は、第6の実施形態にかかる立体映像生成装置600における表示データ生成部660の概略的な機能を示した機能ブロック図であり、図39は、表示データ生成部660が生成する表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置600は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、表示データ生成部660と、表示制御部180とを含んで構成される。第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152、および表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部660を主に説明する。
図38は、第6の実施形態にかかる立体映像生成装置600における表示データ生成部660の概略的な機能を示した機能ブロック図であり、図39は、表示データ生成部660が生成する表示データを説明するための説明図である。本実施形態にかかる立体映像生成装置600は、立体ディスプレイ110に接続され、データ取得部150と、映像処理部152と、表示データ生成部660と、表示制御部180とを含んで構成される。第1の実施形態における構成要素として既に述べた、データ取得部150、映像処理部152、および表示制御部180は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示データ生成部660を主に説明する。
図38に示すように、表示データ生成部660は、スケーラ部162と、遅延調整部680と、切換スイッチ172dと、立体変換部170bと、擬似変換部170cと、切換スイッチ672と、アドレス制御部676とを含んで構成される。上述した実施形態における構成要素として既に述べた、スケーラ部162と、切換スイッチ172dと、立体変換部170bと、擬似変換部170cとは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する遅延調整部680、切換スイッチ672と、アドレス制御部676について説明する。
遅延調整部680は、フレームメモリから読み出した右眼立体映像データを入力とし、シフトレジスタで構成され、スケーラ部162と、立体変換部170bと、擬似変換部170cとで立体表示データおよび擬似立体表示データを生成する際に生じる遅延時間の分、立体映像データを遅延させて出力する。ここでは、入力を右眼立体映像データとしているが、左眼立体映像データとしてもよい。
アドレス制御部676は、立体変換部170bと、擬似変換部170cとに対して上述した図11の説明において上述した制御と同様の制御を遂行する。またアドレス制御部676は、切換スイッチ672を制御することで、立体ディスプレイ110の表示面の全領域に亘って(背景として)遅延調整部680から出力される2次元表示データ690aが配され、2次元表示データ690aに立体表示データ690bおよび擬似立体表示データ690cが重畳されるように立体変換部170b、擬似変換部170c、切換スイッチ672を制御する。そうすると、図39に示すように、立体ディスプレイ110には、背景に2次元表示データ690aが、PinPとして立体表示データ690bおよび擬似立体表示データ690cが出力される。
かかる構成により、観察者は、背景に2次元映像を視認し、PinPで、立体表示データ690bに基づく立体映像と、擬似立体映像データ690cに基づく立体映像を知覚することが可能となる。
なお、上述した第5の実施形態にかかる映像切出部562を有する立体映像生成装置においてPinP形式で映像を表示させる場合、図36に示すスケーラ部162に代えて映像切出部562を配すれば、2次元表示データにPinP形式で立体表示データおよび擬似立体表示データを重畳させて立体ディスプレイ110に表示させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
なお、本明細書の立体映像生成方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、両眼視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像生成装置および立体映像生成方法に利用することができる。
100、200、300、400、500、600 …立体映像生成装置
150、250、450 …データ取得部
160、260、360、460、560、660 …表示データ生成部
562 …映像切出部
150、250、450 …データ取得部
160、260、360、460、560、660 …表示データ生成部
562 …映像切出部
Claims (4)
- 立体映像を知覚させるための立体映像データまたは2次元映像データを取得するデータ取得部と、
取得された前記立体映像データまたは前記2次元映像データを用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2または3の表示データを生成する表示データ生成部と、
左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成された前記2または3の表示データを並べて表示させる表示制御部と、
を備えることを特徴とする立体映像生成装置。 - 前記表示データ生成部によって生成される2または3の表示データそれぞれにおける垂直方向および水平方向の相対的位置が等しくなるように、取得された前記立体映像データまたは前記2次元映像データの一部を切り出す映像切出部をさらに備えることを特徴とする請求項1に記載の立体映像生成装置。
- 前記表示データ生成部は、取得された前記立体映像データのうちの左眼立体映像データまたは右眼立体映像データのいずれか一方のみを用いて前記2次元表示データおよび前記擬似立体表示データを生成することを特徴とする請求項1または2に記載の立体映像生成装置。
- 立体映像を知覚させるための立体映像データまたは2次元映像データを取得し、
取得した前記立体映像データまたは前記2次元映像データを用いて、2次元表示データ、擬似立体表示データおよび立体表示データのうち2または3の表示データを生成し、
左右眼の水平視差に基づいて立体映像を知覚させる立体ディスプレイに、生成した前記2または3の表示データを並べて表示させることを特徴とする立体映像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009280904A JP2011124802A (ja) | 2009-12-10 | 2009-12-10 | 立体映像生成装置および立体映像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009280904A JP2011124802A (ja) | 2009-12-10 | 2009-12-10 | 立体映像生成装置および立体映像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011124802A true JP2011124802A (ja) | 2011-06-23 |
Family
ID=44288261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009280904A Pending JP2011124802A (ja) | 2009-12-10 | 2009-12-10 | 立体映像生成装置および立体映像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011124802A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012056847A1 (ja) * | 2010-10-28 | 2012-05-03 | シャープ株式会社 | 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置 |
JP2012095233A (ja) * | 2010-10-28 | 2012-05-17 | Sharp Corp | 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置 |
JP2020118963A (ja) * | 2019-01-22 | 2020-08-06 | 国立大学法人東京農工大学 | ヘッドマウントディスプレイ |
-
2009
- 2009-12-10 JP JP2009280904A patent/JP2011124802A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012056847A1 (ja) * | 2010-10-28 | 2012-05-03 | シャープ株式会社 | 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置 |
JP2012095233A (ja) * | 2010-10-28 | 2012-05-17 | Sharp Corp | 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置 |
JP2012095232A (ja) * | 2010-10-28 | 2012-05-17 | Sharp Corp | 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置 |
US9131230B2 (en) | 2010-10-28 | 2015-09-08 | Sharp Kabushiki Kaisha | Three-dimensional image output device, three-dimensional image output method, three-dimensional image display device, and computer readable recording medium |
JP2020118963A (ja) * | 2019-01-22 | 2020-08-06 | 国立大学法人東京農工大学 | ヘッドマウントディスプレイ |
JP7409641B2 (ja) | 2019-01-22 | 2024-01-09 | 国立大学法人東京農工大学 | ヘッドマウントディスプレイ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4251952B2 (ja) | 立体画像表示装置および立体画像表示方法 | |
JP4942784B2 (ja) | マルチメディア情報生成装置およびマルチメディア情報再生装置 | |
US8384766B2 (en) | Apparatus for processing a stereoscopic image stream | |
US8884952B2 (en) | 3D display apparatus and method for processing image using the same | |
CN102547348B (zh) | 一种裸眼立体显示调整方法、调整装置及相应设备、*** | |
JP2008544679A (ja) | 画像および関連データの組み合わされた交換 | |
JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
JP5172991B2 (ja) | 三次元映像処理装置および鑑賞位置チェック方法 | |
JP2014132721A (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
JP2004208255A (ja) | 立体画像表示装置、記録方法、及び伝送方法 | |
JP2011223482A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4748251B2 (ja) | 映像変換方法および映像変換装置 | |
CN102137268B (zh) | 立体视频的行交错和棋盘格的渲染方法及装置 | |
JP2015534745A (ja) | 立体画像の生成、送信、及び受信方法、及び関連する装置 | |
JP5267334B2 (ja) | 立体映像表示装置および立体映像表示方法 | |
JP2011124802A (ja) | 立体映像生成装置および立体映像生成方法 | |
US20120163700A1 (en) | Image processing device and image processing method | |
JP4966941B2 (ja) | 3次元映像データ生成方法、3次元映像データ生成システム、及び3次元映像データ生成プログラム | |
KR100823561B1 (ko) | 2차원 및 3차원 입체 영상 표시 겸용 디스플레이 장치 | |
EP2547109A1 (en) | Automatic conversion in a 2D/3D compatible mode | |
JP5257243B2 (ja) | 立体映像表示装置および立体映像表示方法 | |
JP2014132722A (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
CN102710947A (zh) | 视频信号处理装置和视频信号处理方法 | |
KR20020096203A (ko) | 입체영상을 확대/축소하는 방법 | |
JP2012142800A (ja) | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |