JP2012133087A - 立体表示システム、眼鏡装置、表示装置、および撮像表示システム - Google Patents

Abstract

【課題】シンプルな構成で、観察者の姿勢によらない立体視表示を実現することができる立体表示システムを得る。
【解決手段】供給された多視点映像から複数の視点映像を選択し表示する表示装置１０と、表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離する眼鏡装置（シャッタ眼鏡６０）とを備える。上記表示装置は、表示部１２と、眼鏡装置の水平方向からの傾きを示す姿勢情報を取得する取得手段（受信部１４）とを有する。上記左眼映像および右眼映像は、取得手段が取得した姿勢情報に応じたものである。
【選択図】図１

Description

本発明は、眼鏡により立体視表示が可能な立体視表示システム、眼鏡装置、表示装置、および撮像表示システムに関する。

近年、立体視表示を実現できる立体表示システムが注目を集めている。立体視表示は、互いに視差のある左眼映像と右眼映像（視点映像）を表示するものであり、観察者が左右の目でそれぞれを観察することにより奥行きのある立体的な映像として認識することができる。そのような立体表示システムの１つに眼鏡を用いた表示システムがある。この表示システムでは、眼鏡が、表示部に表示された左眼映像および右眼映像を光学的に分離することにより、観察者の左眼が左眼映像を観察し、右眼が右眼映像を観察するようになっている。このような立体表示システムは、例えば、独立して開閉動作を行う左眼シャッタおよび右眼シャッタを有するシャッタ眼鏡を用いるものや、互いに透過軸の方向が異なる左眼偏光板および右眼偏光板を有する偏光眼鏡を用いるもの（例えば、特許文献１）がある。

一般に、観察者は様々な姿勢で表示画像を観察する。例えば、観察者が頭を傾けた場合には、左眼映像と右眼映像との視差の方向が観察者の左眼および右眼を結ぶ方向とずれるため、表示映像の品質が劣化してしまうおそれがある。そこで、立体表示システムには、眼鏡の姿勢に応じて視点映像を生成するものがある。例えば、特許文献２には、眼鏡の傾きに応じて視点映像を生成する立体表示システムが提案されている。この立体表示システムでは、観察者が頭を傾けた場合でも、その動きに応じた適切な視点映像を生成することにより、適切な立体視表示を行うことができるようになっている。

また、視点映像の生成方法についても、いくつかの提案がなされている。例えば、特許文献３には、２次元画像を左右にずらずことにより左眼映像と右眼映像を生成する画像処理装置が提案されている。

特開平２−２３３０８８号公報 特許第３９７６０４０号公報 特開２０１０−１７１６０８号公報

しかしながら、特許文献２に記載の立体表示システムでは、眼鏡の傾きに応じて視点映像を生成するため、処理が複雑になるおそれがある。また、特許文献１，３に記載の立体表示システムには、観察者が様々な姿勢で表示映像を観察した場合についての記載は一切ない。

本発明はかかる問題点に鑑みてなされたもので、その目的は、シンプルな構成で、観察者の姿勢によらず立体視表示が可能な立体表示システム、眼鏡装置、表示装置、および撮像表示システムを提供することにある。

本発明の立体表示システムは、表示装置と、眼鏡装置とを備えている。表示装置は、供給された多視点映像から複数の視点映像を選択し表示するものである。眼鏡装置は、表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離するものである。上記表示装置は、表示部と、眼鏡装置の水平方向からの傾きを示す姿勢情報を取得する取得手段とを有するものである。上記左眼映像および上記右眼映像は、取得手段が取得した姿勢情報に応じたものである。

本発明の眼鏡装置は、分離手段と、姿勢検出部とを備えている。分離手段は、供給された多視点映像から複数の視点映像を選択し表示する表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離するものである。姿勢検出部は、水平方向からの傾きを示す姿勢情報を検出するものである。上記左眼映像および右眼映像は、姿勢検出部が検出した前記姿勢情報に応じたものである。

本発明の表示装置は、表示部と、取得手段とを備えている。表示部は、供給された多視点映像から複数の視点映像を選択し表示するものである。取得手段は、表示部に表示された複数の視点映像から左眼映像および右眼映像を光学的に分離する１または複数の眼鏡装置の、水平方向からの傾きを示す姿勢情報を取得するものである。

本発明の撮像表示システムは、撮像装置と、立体表示システムとを備えている。撮像装置は、被写体を撮影して多視点映像を生成するものである。立体表示システムは、多視点映像に基づいて立体視表示を行うものである。上記撮像装置は、撮像レンズと、撮像素子と、マイクロレンズアレイ部と、画像処理部とを有している。撮像レンズは開口絞りを有するものである。撮像素子は、光線の進行方向を保持して受光するとともに、その受光した光に基づいて撮像データを取得するものである。マイクロレンズアレイ部は、撮像レンズの結像面上に配置され、撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたものである。画像処理部は、撮像データに基づいて多視点映像を生成するものである。上記立体表示システムは、表示装置と、眼鏡装置とを有している。表示装置は、供給された多視点映像から複数の視点映像を選択し表示するものである。１または複数の眼鏡装置は、表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離するものである。上記表示装置は、表示部と、取得手段とを含んでいる。取得手段は、眼鏡装置の水平方向からの傾きを示す姿勢情報を取得するものである。上記左眼映像および上記右眼映像は、取得手段が取得した姿勢情報に応じたものである。

本発明の立体表示システム、眼鏡装置、表示装置、および撮像表示システムでは、供給された多視点映像から、左眼映像および右眼映像を含む複数の視点映像が選択され、表示部に表示される。この左眼映像および右眼映像は、取得手段が取得した姿勢情報に応じたものである。

本発明の立体表示システムでは、例えば、眼鏡装置は、姿勢を検出する姿勢検出部を有し、取得手段は眼鏡装置から姿勢情報を取得するようにしてもよい。また、表示装置は、眼鏡装置の姿勢を検出する眼鏡検出部を備え、取得手段はその眼鏡検出部であってもよい。この場合、例えば眼鏡検出部は、眼鏡装置を撮影し、その撮影した画像に基づいて眼鏡装置の姿勢を検出するようにすることができる。

表示装置は、例えば、供給された多視点映像から、姿勢情報に基づいて一対の視点映像を選択する映像処理部をさらに有し、表示部は、その一対の視点映像を表示することが可能である。この場合、例えば、眼鏡装置は、左眼シャッタおよび右眼シャッタを有するシャッタ眼鏡であり、表示装置は、シャッタ眼鏡を制御する眼鏡制御部をさらに備え、表示部は、その一対の視点映像を交互に時分割的に表示し、眼鏡制御部は、左眼シャッタおよび右眼シャッタが、姿勢情報に基づいたタイミングで開閉動作するように、シャッタ眼鏡を制御するようにしてもよい。また、例えば、シャッタ眼鏡は、偏光方向が互いに交差する左眼偏光板および右眼偏光板をそれぞれ有する偏光眼鏡であり、映像処理部は、姿勢情報に基づいて、その一対の視点映像のうちの一方を左眼映像として出力するとともに他方を右眼映像として出力し、表示部は、左眼映像および右眼映像を互いに交差する方向に偏光させて表示するようにしてもよい。この場合、例えば、表示部は、観察者が左眼偏光板を通して左眼映像を視認するように左眼映像を偏光させて表示し、右眼偏光板を通して右眼映像を視認するように右眼映像を偏光させて表示するようにしてもよい。

また、例えば、眼鏡装置は、左眼シャッタおよび右眼シャッタを有するシャッタ眼鏡であり、表示装置は、１または複数のシャッタ眼鏡を制御する眼鏡制御部をさらに備え、取得手段は、シャッタ眼鏡ごとに姿勢情報を取得し、表示部は、複数対の視点映像を表示し、眼鏡制御部は、シャッタ眼鏡ごとに、左眼シャッタおよび右眼シャッタが、姿勢情報に基づいてタイミングで開閉動作するように、１または複数のシャッタ眼鏡を制御するようにしてもよい。この場合、例えば、複数対の視点映像は２対の視点映像が望ましい。

本発明の立体表示システム、眼鏡装置、表示装置、および撮像表示システムによれば、供給された多視点映像から、姿勢情報に応じた左眼映像および右眼映像を含む複数の視点映像を選択して表示するようにしたので、シンプルな構成で、観察者の姿勢によらない立体視表示を実現できる。

本発明の第１の実施の形態に係る立体表示システムの一構成例を表すブロック図である。 視点画像を説明するための模式図である。 図１に示した映像処理部の一構成例を表すブロック図である。 図１に示したシャッタ眼鏡の一構成例を表すブロック図である。 図４に示した姿勢検出部の動作を説明するための模式図である。 視点画像を生成する撮像装置の一構成例を表す構成図である。 図６に示した撮像装置の一動作例を表す説明図である。 図１に示した立体表示システムの一動作例を表す模式図である。 図１に示した立体表示システムの他の動作例を表す説明図である。 図１に示した立体表示システムの他の動作例を表す説明図である。 図１に示した立体表示システムの他の動作例を表す説明図である。 第１の実施の形態の変形例に係る姿勢検出部の動作を説明するための模式図である。 第１の実施の形態の変形例に係る映像処理部の一構成例を表すブロック図である。 第１の実施の形態の変形例に係る立体表示システムの視点画像を説明するための模式図である。 第１の実施の形態の他の変形例に係る立体表示システムの一構成例を表すブロック図である。 本発明の第２の実施の形態に係る立体表示システムの一構成例を表すブロック図である。 図１６に示した映像処理部の一構成例を表すブロック図である。 図１６に示した立体表示システムの一動作例を表す説明図である。 図１６に示した立体表示システムの他の動作例を表す説明図である。 図１６に示した立体表示システムの他の動作例を表す説明図である。 本発明の第３の実施の形態に係る立体表示システムの一構成例を表すブロック図である。 図２１に示した映像処理部の一構成例を表すブロック図である。 図２１に示した立体表示システムの一動作例を表す説明図である。 図２１に示した立体表示システムの他の動作例を表す説明図である。 図２１に示した立体表示システムの他の動作例を表す説明図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態

＜１．第１の実施の形態＞
［構成例］
（全体構成例）
図１は、本発明の第１の実施の形態に係る立体表示システムの一構成例を表すものである。立体表示システム１は、シャッタ眼鏡を用いた表示システムである。なお、本発明の実施の形態に係る眼鏡装置、表示装置、および撮像表示システムは、本実施の形態により具現化されるので、併せて説明する。立体表示システム１は、表示装置１０と、シャッタ眼鏡６０とを備えている。

（表示装置１０）
表示装置１０は、複数の視点に係る視点映像を含む多視点映像信号Ｓに基づいて、左眼映像Ｌおよび右眼映像Ｒを表示するとともに、左眼映像Ｌおよび右眼映像Ｒの表示と同期してシャッタ眼鏡６０を制御するものである。表示装置１０は、映像処理部２０と、表示駆動部１１と、表示部１２と、シャッタ眼鏡制御部１３と、受信部１４とを備えている。

図２は、多視点映像信号Ｓが有する複数の視点映像を模式的に表すものである。多視点映像信号Ｓは、この例では、４つの視点映像（左側視点映像ＰＬ、右側視点映像ＰＲ、上側視点映像ＰＴ、下側視点映像ＰＢ）を有している。これらの４つの視点映像は、被写体を互いに異なる方向から見ることにより得られる映像である。具体的には、左側視点映像ＰＬは、被写体を正面よりやや左から見ることにより得られる映像であり、右側視点映像ＰＲは、被写体を正面よりやや右から見ることにより得られる映像であり、上側視点映像ＰＴは、被写体を正面よりやや上から見ることにより得られる映像であり、下側視点映像ＰＢは、被写体を正面よりやや下から見ることにより得られる映像である。

映像処理部２０は、多視点映像信号Ｓおよび姿勢信号Ｓｐに基づいて、映像信号Ｓ１を生成して表示駆動部１１に供給するとともに、同期信号Ｓyncを生成してシャッタ眼鏡制御部１３に供給するものである。

図３は、映像処理部２０の一構成例を表すものである。映像処理部２０は、デマルチプレクサ（ＤＥＭＵＸ）２１と、メモリ２２１，２２２と、信号処理部２３１〜２３４と、タイミング制御部２６と、マルチプレクサ（ＭＵＸ）２４１，２４２，２５とを有している。

デマルチプレクサ２１は、多視点映像信号Ｓから、左側視点映像ＰＬおよび右側視点映像ＰＲを含む映像信号ＳＬＲを分離し、メモリ２２１に供給するとともに、上側視点映像ＰＴおよび下側視点映像ＰＢを含む映像信号ＳＴＢを分離し、メモリ２２２に供給するものである。この例では、映像信号ＳＬＲは、左側視点映像ＰＬおよび右眼視点映像ＰＲがサイドバイサイド（ＳＢＳ；Side By Side）方式によりエンコードされたものであり、映像信号ＳＴＢは、上側視点映像ＰＴおよび下側視点映像ＰＢがサイドバイサイド方式によりエンコードされたものである。

メモリ２２１，２２２は、映像信号ＳＬＲ，ＳＴＢをそれぞれ１フレーム分記憶するフレームメモリである。具体的には、メモリ２２１は、映像信号ＳＬＲを１フレーム分記憶し、その１フレームのうちの左側視点映像ＰＬの部分を１フレーム画像に伸長して信号処理部２３１に供給するとともに、右側視点映像ＰＲの部分を１フレーム画像に伸長して信号処理部２３２に供給するようになっている。同様に、メモリ２２２は、映像信号ＳＴＢを１フレーム分記憶し、その１フレームのうちの上側視点映像ＰＴの部分を１フレーム画像に伸長して信号処理部２３３に供給するとともに、下側視点映像ＰＢの部分を１フレーム画像に伸長して信号処理部２３４に供給するようになっている。

信号処理部２３１〜２３４は、メモリ２２１，２２２から供給された映像信号に対して、復号や高画質化などの映像信号処理を行うものである。具体的には、信号処理部２３１は、メモリ２２１から供給された左側視点映像ＰＬを含む映像信号に対して映像信号処理を行うことにより映像信号ＳＬを生成し、信号処理部２３２は、メモリ２２１から供給された右側視点映像ＰＲを含む映像信号に対して映像信号処理を行うことにより映像信号ＳＲを生成する。また、信号処理部２３３は、メモリ２２２から供給された上側視点映像ＰＴを含む映像信号に対して映像信号処理を行うことにより映像信号ＳＴを生成し、信号処理部２３４は、メモリ２２２から供給された下側視点映像ＰＢを含む映像信号に対して映像信号処理を行うことにより映像信号ＳＢを生成する。

タイミング制御部２６は、同期信号Ｓyncを生成し、マルチプレクサ２４１，２４２に供給するとともに、シャッタ眼鏡制御部１３に供給するようになっている。

マルチプレクサ２４１，２４２は、同期信号Ｓyncに基づいて、それぞれ入力された信号を多重化する。具体的には、マルチプレクサ２４１は、信号処理部２３１から供給された映像信号ＳＬおよび信号処理部２３２から供給された映像信号ＳＲを、左側視点映像ＰＬのフレーム画像と、右側視点映像ＰＲのフレーム画像とが交互に配列するように多重化し、映像信号ＳＬＲ１として出力する。同様に、マルチプレクサ２４２は、信号処理部２３３から供給された映像信号ＳＴおよび信号処理部２３４から供給された映像信号ＳＢを、上側視点映像ＰＴのフレーム画像と、下側視点映像ＰＢのフレーム画像とが交互に配列するように多重化し、映像信号ＳＴＢ１として出力する。

マルチプレクサ２５は、姿勢信号Ｓｐに基づいて、マルチプレクサ２４１から供給された映像信号ＳＬＲ１と、マルチプレクサ２４２から供給された映像信号ＳＴＢ１のうちの一方を選択し出力するものである。具体的には、マルチプレクサ２５は、後述するように、シャッタ眼鏡６０が水平になっている状態では、映像信号ＳＬＲ１を選択して出力し、シャッタ眼鏡６０が横になっている状態では、映像信号ＳＴＢ１を選択して出力するようになっている。

これにより、映像処理部２０は、後述するように、シャッタ眼鏡６０が水平になっている状態では、左側視点映像ＰＬおよび右側視点映像ＰＲを多重化した映像信号を出力し、シャッタ眼鏡６０が横になっている状態では、上側視点映像ＰＴおよび下側視点映像ＰＢを多重化した映像信号を出力するようになっている。このように、映像処理部２０は、シャッタ眼鏡６０の姿勢に基づいて、多視点映像信号Ｓから一対の視点映像を選択して出力するようになっている。

図１において、表示駆動部１１は、映像処理部２０から供給された映像信号Ｓ１に基づいて、表示部１２を駆動するものである。表示部１２は、表示駆動部１１から供給された駆動信号に基づいて、左眼映像Ｌおよび右眼映像Ｒからなる表示映像Ｄを表示するものである。具体的には、表示部１２は、左眼映像Ｌのフレーム画像および右眼映像Ｒのフレーム画像を交互に時分割的に表示するものであり、いわゆる２倍速表示が可能なものである。

シャッタ眼鏡制御部１３は、映像処理部２０から供給される同期信号Ｓync、および受信部１４から供給される姿勢信号Ｓｐに基づいて、シャッタ眼鏡６０を制御するものである。具体的には、シャッタ眼鏡制御部１３は、シャッタ眼鏡６０を制御するためのシャッタ制御信号ＣＴＬを生成し、シャッタ眼鏡６０に対して無線通信などにより供給する機能を有している。

受信部１４は、シャッタ眼鏡６０から供給された姿勢信号Ｓｐ１を受信し、姿勢信号Ｓｐとして、映像処理部２０およびシャッタ眼鏡制御部１３に供給するものである。

（シャッタ眼鏡６０）
図４は、シャッタ眼鏡６０の一構成例を表すものである。シャッタ眼鏡６０は、観察者が装着する眼鏡型のシャッタ装置である。シャッタ眼鏡６０は、左眼シャッタ６Ｌと、右眼シャッタ６Ｒと、受信部６１と、シャッタ駆動部６２と、姿勢検出部６３と、送信部６４とを備えている。

左眼シャッタ６Ｌおよび右眼シャッタ６Ｒは、それぞれ独立して開閉することが可能なものであり、例えば、液晶シャッタなどの遮光シャッタにより構成されている。これらの左眼シャッタ６Ｌおよび右眼シャッタ６Ｒにおける開閉状態は、シャッタ制御信号ＣＴＬによりそれぞれ制御されるようになっている。

受信部６１は、表示装置１０のシャッタ眼鏡制御部１３から供給されるシャッタ制御信号ＣＴＬを受信するものである。シャッタ駆動部６２は、受信部６１が受信したシャッタ制御信号ＣＴＬに基づいて、左眼シャッタ６Ｌおよび右眼シャッタ６Ｒを駆動し、その開閉動作を制御するものである。そして、左眼シャッタ６Ｌおよび右眼シャッタ６Ｒは、シャッタ駆動部６２から供給される駆動信号に基づいて、シャッタの開閉動作を行うようになっている。

姿勢検出部６３は、シャッタ眼鏡６０の姿勢を検出するものであり、例えば、重力センサを含んで構成されるものである。姿勢検出部６３は、シャッタ眼鏡６０を装着した観察者が、立っている状態や座っている状態で表示部１２の表示映像を観察しているのか、あるいは横になった状態で表示映像を観察しているのかを検出するために、シャッタ眼鏡６０の姿勢を検出するようになっている。

図５は、シャッタ眼鏡６０の姿勢を表すものであり、（Ａ）は水平になっている状態を示し、（Ｂ）は左方向に横になっている状態を示し、（Ｃ）は右方向に横になっている状態を示す。図５では、説明の便宜上、シャッタ眼鏡６０の下方向に向かうベクトルＶが示されている。

図５（Ａ）に示した状態は、例えば、観察者が立ちながら、あるいは座りながら表示画面を観察する状態に対応するものである。図５（Ｂ）に示した状態は、例えば、観察者が左方向に横になりながら表示画面を観察する状態に対応するものである。図５（Ｃ）に示した状態は、観察者が右方向に横になりながら表示画面を観察する状態に対応するものである。

姿勢検出部６３は、シャッタ眼鏡６０の向きを検出する。具体的には、姿勢検出部６３は、この例では、ベクトルＶが、重力方向を基準として予め定められた４つの区域Ｚ１〜Ｚ４のうちのどの区域に向いているのかを検出することにより、シャッタ眼鏡６０が、水平になっている状態、左方向に横になっている状態、右方向に横になっている状態のうちのいずれの状態であるかを検出する。そして、姿勢検出部６３は、その検出結果（姿勢情報）を送信部６４に対して供給する。

送信部６４は、姿勢検出部６３の検出結果を姿勢信号Ｓｐ１として表示部１０に対して、無線通信などにより供給するものである。

以上の構成により、図５（Ａ）に示したように、シャッタ眼鏡６０が水平になっている状態では、表示装置１０では、映像処理部２０のマルチプレクサ２５がマルチプレクサ２４１から供給される映像信号ＳＬＲ１（左側視点映像ＰＬおよび右側視点映像ＰＲを含む映像信号）を選択して映像信号Ｓ１として出力し、表示部１２が、左側視点映像ＰＬのフレーム画像と右側視点映像ＰＲのフレーム画像とを交互に時分割的に表示する。そして、シャッタ眼鏡制御部１３は、観察者が左眼で左側視点映像ＰＬを視認し、右眼で右側視点映像ＰＲを視認するように、シャッタ眼鏡６０を制御するようになっている。

また、図５（Ｂ），（Ｃ）に示したように、シャッタ眼鏡６０が横になっている状態では、表示装置１０では、映像処理部２０のマルチプレクサ２５がマルチプレクサ２４２から供給される映像信号ＳＴＢ１（上側視点映像ＰＴおよび下側視点映像ＰＢを含む映像信号）を選択して映像信号Ｓ１として出力し、表示部１２が、上側視点映像ＰＴのフレーム画像と下側視点映像ＰＢのフレーム画像とを交互に時分割的に表示する。そして、シャッタ眼鏡制御部１３は、図５（Ｂ）に示したように、シャッタ眼鏡６０が左方向に横向きになっている状態では、観察者が左眼で下側視点映像ＰＢを視認し、右眼で上側視点映像ＰＴを視認するように、シャッタ眼鏡６０を制御するようになっている。また、図５（Ｃ）に示したように、シャッタ眼鏡６０が右方向に横になっている状態では、観察者が左眼で上側視点映像ＰＴを視認し、右眼で下側視点映像ＰＢを視認するように、シャッタ眼鏡６０を制御するようになっている。

（撮像装置９０）
次に、立体表示システム１に供給するための多視点映像信号Ｓを生成する装置の一例として、撮像装置９０を説明する。

図６は、撮像装置９０の全体構成例を表すものである。撮像装置９０は、被写体１００を撮像して画像処理を施すことにより多視点映像信号Ｓを出力するものであり、開口絞り９１と、撮像レンズ９２と、マイクロレンズアレイ９３と、撮像素子９４と、画像処理部９５と、撮像素子駆動部９６と、制御部９７とから構成されている。

開口絞り９１は、撮像レンズ９２の光学的な開口絞りである。撮像レンズ９２は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ９３は、マイクロレンズＵが配列したものであり、撮像レンズ９２の焦点面（結像面）に配置されている。各マイクロレンズＵは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。このマイクロレンズＵに、撮像素子９４における複数の画素が割り当てられるようになっている。

撮像素子９４は、マイクロレンズアレイ９３からの光線を受光して複数の撮像画素データを含む撮像データを生成するものであり、マイクロレンズアレイ９３の焦点面（結像面）に配置されている。この撮像素子９４は、マトリックス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide
Semiconductor）などの２次元固体撮像素子により構成されている。撮像素子９４の受光面（マイクロレンズアレイ９３側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素がマトリックス状に配置され、複数の撮像画素に対してマイクロレンズアレイ９３内の１つのマイクロレンズＵが割り当てられるようになっている。例えば、受光面上の撮像画素の個数（Ｍ×Ｎ）のうち、３×３＝９個の撮像画素に対して一つのマイクロレンズＵが割り当てられるようになっている。

画像処理部９５は、撮像素子９４で得られた撮像データに対して所定の画像処理を施し、多視点映像信号Ｓを生成するものである。

撮像素子駆動部９６は、撮像素子９４を駆動してその受光動作の制御を行うものである。

制御部９７は、画像処理部９５および撮像素子駆動部９６の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

図７は、撮像装置９０の動作を模式的に表すものであり、（Ａ）はマイクロレンズアレイ９３のマイクロレンズＵと撮像装置９０の撮像画素との関係を示し、（Ｂ）は撮像装置９０が生成する複数の視点映像Ｐ１〜Ｐ９を示す。

画像処理部９５では、撮像素子９４で得られた撮像データのうち、マイクロレンズＵ同士の間で互いに同一の位置にある撮像画素の画素データ（図７（Ａ）において、同一の番号を付した領域におけるデータ）がそれぞれ抽出され、これらの抽出された画素データ同士が合成される。これにより、図７（Ｂ）に示したように、この例では、９つの視点映像Ｐ１〜Ｐ９が生成される。生成された視点映像Ｐ１〜Ｐ９は、互いに異なる視点での観察映像であり、この例では、それぞれ解像度（画素数）は３６（＝６×６）となる。ここで、視点映像Ｐ２は図２に示した上側視点映像ＰＴに対応するものであり、視点映像Ｐ４は左側視点映像ＰＬに対応するものであり、視点映像Ｐ６は右側視点映像ＰＲに対応するものであり、視点映像Ｐ８は下側視点映像ＰＤに対応するものである。そして、画像処理部９５は、これらの９つの視点映像Ｐ１〜Ｐ９を含む多視点映像信号Ｓを出力する。

なお、この例では、撮像装置９０が多視点映像信号Ｓを生成するようにしたが、これに限定されるものではなく、これに代えて、他の撮像装置が生成してもよいし、パーソナルコンピュータ等が生成してもよい。また、立体表示システム１は、撮像装置９０により生成した多視点映像信号Ｓを直接入力してもよいし、記録されたBlu-ray Disc（登録商標）などの記録媒体に記録された多視点映像信号Ｓを再生機器で再生することにより入力してもよい。

ここで、左眼シャッタ６Ｌおよび右眼シャッタ６Ｒは、本発明における「分離手段」の一具体例に対応する。受信部１４は、本発明における「取得手段」の一具体例に対応する。シャッタ眼鏡制御部１３は、本発明における「眼鏡制御部」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の立体表示システム１の動作および作用について説明する。

（全体動作概要）
まず、図１〜４を参照して、立体表示システム１の全体動作概要を説明する。シャッタ眼鏡６０において、姿勢検出部６３は、シャッタ眼鏡６０の姿勢を検出する。送信部６４は、その検出結果を姿勢信号Ｓｐ１として表示装置１０に対して供給する。表示装置１０において、受信部１４は、この姿勢信号Ｓｐ１を受信し、姿勢信号Ｓｐとして映像処理部２０およびシャッタ眼鏡制御部１３に対して供給する。映像処理部２０は、供給された多視点映像信号Ｓおよび姿勢信号Ｓｐに基づいて、映像信号Ｓ１を生成して表示駆動部１１に供給するとともに、同期信号Ｓyncを生成してシャッタ眼鏡制御部１３に供給する。表示駆動部１１は、映像信号Ｓ１に基づいて表示部１２を駆動する。表示部１２は、表示駆動部１１から供給された駆動信号に基づいて、左眼映像Ｌおよび右眼映像Ｒを時分割的に交互に表示する。シャッタ眼鏡制御部１３は、同期信号Ｓyncおよび姿勢信号Ｓｐに基づいて、シャッタ制御信号ＣＴＬを生成し、シャッタ眼鏡６０に対して供給する。シャッタ眼鏡６０において、受信部６１は、シャッタ制御信号ＣＴＬを受信し、シャッタ駆動部６２は、受信部６１が受信したシャッタ制御信号ＣＴＬに基づいて、左眼シャッタ６Ｌおよび右眼シャッタ６Ｒの開閉動作を制御する。そして、左眼シャッタ６Ｌおよび右眼シャッタ６Ｒは、シャッタ駆動部６２から供給される駆動信号に基づいて、シャッタの開閉動作を行う。

図８は、立体表示システム１の表示動作を模式的に表すものであり、（Ａ）は左眼映像Ｌを表示したときの動作を示し、（Ｂ）は右眼映像Ｒを表示したときの動作を示す。表示装置１０が左眼映像Ｌを表示しているとき、シャッタ眼鏡６０では、図８（Ａ）に示したように、左眼シャッタ６Ｌが開状態となるとともに、右眼シャッタ６Ｒが閉状態となる。このとき、観察者９は左眼９Ｌで左眼映像Ｌを見る。一方、表示装置１０が右眼映像Ｒを表示しているとき、シャッタ眼鏡６０では、図８（Ｂ）に示したように、左眼シャッタ６Ｌが閉状態となるとともに、右眼シャッタ６Ｒが開状態となる。このとき、観察者９は右眼９Ｒで右眼映像Ｒを見る。これらの動作を交互に繰り返すと、左眼映像Ｌと右眼映像Ｒとの間には視差があるため、観察者９は、これらの一連の画像からなる映像を奥行きのある立体的な映像として認識することができる。

（詳細動作）
次に、立体表示システム１の詳細動作を説明する。

図９〜１１は、シャッタ眼鏡６０の姿勢に応じた立体表示システム１の動作例を表すものであり、図９は、シャッタ眼鏡６０が水平になっている状態における動作例を示し、図１０は、シャッタ眼鏡６０が左方向に横になっている状態における動作例を示し、図１１は、シャッタ眼鏡６０が右方向に横になっている状態における動作例を示す。図９〜図１１において、（Ａ）は表示部１２における表示映像Ｄを示し、（Ｂ）は左眼映像Ｌを示し、（Ｃ）は右眼映像Ｒを示す。

シャッタ眼鏡６０の姿勢検出部６３は、図５（Ａ）〜（Ｃ）に示すように、その姿勢を検出し、送信部６４が、その検出結果を姿勢信号Ｓｐ１として表示装置１０に対して供給する。表示装置１０では、受信部１４が、この姿勢信号Ｓｐ１を受信し、姿勢信号Ｓｐとして、映像処理部２０およびシャッタ眼鏡制御部１３に供給する。

シャッタ眼鏡６０が水平になっている状態（図５（Ａ））では、映像処理部２０のマルチプレクサ２５は、その状態を示す姿勢信号Ｓｐに基づいて、マルチプレクサ２４１から供給される映像信号ＳＬＲ１（左側視点映像ＰＬおよび右側視点映像ＰＲを含む映像信号）を選択して映像信号Ｓ１として出力する。これにより、表示装置１０は、図９（Ａ）に示したように、左側視点映像ＰＬおよび右側視点映像ＰＲからなる表示映像Ｄを表示する。一方、シャッタ眼鏡制御部１３は、この姿勢信号Ｓｐに基づいて、表示部１２において左側視点映像ＰＬのフレーム画像が表示されている期間では、シャッタ眼鏡６０の左眼シャッタ６Ｌを開状態にするとともに右眼シャッタ６Ｒを閉状態にし、右側視点映像ＰＲのフレーム画像が表示されている期間では、左眼シャッタ６Ｌを閉状態にするとともに右眼シャッタ６Ｒを開状態にするように、シャッタ制御信号ＣＴＬを用いてシャッタ眼鏡６０を制御する。これにより、観察者は、左眼で左側視点映像ＰＬを観察し、右眼で右側視点映像ＰＲを観察することができる。すなわち、立体表示システム１は、左側視点映像ＰＬを左眼映像Ｌとして表示するとともに（図９（Ｂ））、右側視点映像ＰＲを右眼映像Ｒとして表示する（図９（Ｃ））。

このように、シャッタ眼鏡６０が水平になっている状態では、図２に示したように、左右方向において互いに視差がある左側視点映像ＰＬおよび右側視点映像ＰＲが、表示映像Ｄとして表示される。これにより、観察者は、表示映像Ｄを立体的な映像として認識することができる。

また、シャッタ眼鏡６０が左方向に横になっている状態（図５（Ｂ））では、映像処理部２０のマルチプレクサ２５は、その状態を示す姿勢信号Ｓｐに基づいて、マルチプレクサ２４１から供給される映像信号ＳＴＢ１（上側視点映像ＰＴおよび下側視点映像ＰＢを含む映像信号）を選択して映像信号Ｓ１として出力する。これにより、表示装置１０は、図１０（Ａ）に示したように、上側視点映像ＰＴおよび下側視点映像ＰＢからなる表示映像Ｄを表示する。一方、シャッタ眼鏡制御部１３は、この姿勢信号Ｓｐに基づいて、表示部１２において上側視点映像ＰＴのフレーム画像が表示されている期間では、シャッタ眼鏡６０の左眼シャッタ６Ｌを閉状態にするとともに右眼シャッタ６Ｒを開状態にし、下側視点映像ＰＢのフレーム画像が表示されている期間では、左眼シャッタ６Ｌを開状態にするとともに右眼シャッタ６Ｒを閉状態にするように、シャッタ制御信号ＣＴＬを用いてシャッタ眼鏡６０を制御する。これにより、観察者は、左眼で下側視点映像ＰＢを観察し、右眼で上側視点映像ＰＴを観察することができる。すなわち、立体表示システム１は、下側視点映像ＰＢを左眼映像Ｌとして表示するとともに（図１０（Ｂ））、上側視点映像ＰＴを右眼映像Ｒとして表示する（図１０（Ｃ））。

このように、シャッタ眼鏡６０が左方向に横になっている状態では、図２に示したように、上下方向において互いに視差がある上側視点映像ＰＴおよび下側視点映像ＰＢが、表示映像Ｄとして表示される（図１０（Ａ））。この下側視点映像ＰＢは、シャッタ眼鏡６０が左方向に横になっているため、観察者の左側からみた視点映像に対応し、同様に、上側視点映像ＰＴは、観察者の右側から見た視点映像に対応する。つまり、上側視点映像ＰＴおよび下側視点映像ＰＤは、観察者の左右方向において互いに視差のある視点映像となる。これにより、観察者は、表示映像Ｄを立体的な映像として認識することができる。

また、シャッタ眼鏡６０が右方向に横になっている状態（図５（Ｃ））では、映像処理部２０のマルチプレクサ２５は、その状態を示す姿勢信号Ｓｐに基づいて、マルチプレクサ２４１から供給される映像信号ＳＴＢ１（上側視点映像ＰＴおよび下側視点映像ＰＢを含む映像信号）を選択して映像信号Ｓ１として出力する。これにより、表示装置１０は、図１１（Ａ）に示したように、上側視点映像ＰＴおよび下側視点映像ＰＢからなる表示映像Ｄを表示する。一方、シャッタ眼鏡制御部１３は、この姿勢信号Ｓｐに基づいて、表示部１２において上側視点映像ＰＴのフレーム画像が表示されている期間では、シャッタ眼鏡６０の左眼シャッタ６Ｌを開状態にするとともに右眼シャッタ６Ｒを閉状態にし、下側視点映像ＰＢのフレーム画像が表示されている期間では、左眼シャッタ６Ｌを閉状態にするとともに右眼シャッタ６Ｒを開状態にするように、シャッタ制御信号ＣＴＬを用いてシャッタ眼鏡６０を制御する。これにより、観察者は、左眼で上側視点映像ＰＴを観察し、右眼で下側視点映像ＰＢを観察することができる。すなわち、立体表示システム１は、上側視点映像ＰＴを左眼映像Ｌとして表示するとともに（図１１（Ｂ））、下側視点映像ＰＢを右眼映像Ｒとして表示する（図１１（Ｃ））。

このように、シャッタ眼鏡６０が右方向に横になっている状態では、図２に示したように、上下方向において互いに視差がある上側視点映像ＰＴおよび下側視点映像ＰＢが、表示映像Ｄとして表示される（図１１（Ａ））。この上側視点映像ＰＴは、観察者が右方向に横になっているため、観察者の左側からみた視点映像に対応し、同様に、下側視点映像ＰＢは、観察者の右側から見た視点映像に対応する。つまり、上側視点映像ＰＴおよび下側視点映像ＰＤは、観察者の左右方向において互いに視差のある視点映像となる。これにより、観察者は、表示映像Ｄを立体的な映像として認識することができる。

以上のように、立体表示システム１では、観察者の姿勢にかかわらず、観察者の左右方向において互いに視差のある視点映像を表示する。これにより、観察者が横になって表示映像を見る場合でも、観察者は、表示映像を立体的な映像として認識することができる。すなわち、従来の２次元映像を観察する場合と同様に、観察者の姿勢に制限なく、立体的な映像を観察することができる。特に、介護の現場においては、例えば、寝たきりの老人が、その姿勢によらず立体的な映像を観察することができる。また、例えば、宇宙ステーションなどの無重力の環境においては、無重力であるが故、観察者の姿勢は定まらないが、この場合であっても、表示装置１０がその姿勢に応じた視点映像を表示することにより、観察者は、立体的な映像を観察することができる。

［効果］
以上のように本実施の形態では、シャッタ眼鏡の姿勢に応じた左眼映像および右眼映像を表示するようにしたので、観察者は、姿勢によらず、立体的な映像を観察することができる。

また、本実施の形態では、多視点映像信号の複数の視点映像から、左眼映像および右眼映像を選択するようにしたので、シンプルな構成を実現することができる。

［変形例１−１］
上記実施の形態では、シャッタ眼鏡６０が、水平になっている状態および横になっている状態において、その姿勢に応じた視点映像を表示するようにしたが、これに限定されるものではなく、例えば、これらの状態に加え、シャッタ眼鏡６０が斜めになっている状態においても、その姿勢に応じた視点映像を表示するようにしてもよい。以下に、この例について説明する。

図１２は、本変形例に係るシャッタ眼鏡６０Ｂの姿勢の一例を表すものであり、（Ａ）は、シャッタ眼鏡６０Ｂが水平になっている状態を示し、（Ｂ）は、シャッタ眼鏡６０Ｂが左方向に斜めになっている状態を示し、（Ｃ）は、シャッタ眼鏡６０Ｂが右方向に斜めになっている状態を示す。

シャッタ眼鏡６０Ｂの姿勢検出部６３Ｂは、ベクトルＶが、予め定められた８つの区域Ｙ１〜Ｙ８のうちのどの区域に向いているのかを検出することにより、シャッタ眼鏡６０が、水平になっている状態、左方向に横になっている状態、左方向に斜めになっている状態、右方向に横になっている状態、右方向に斜めになっている状態などのうちのいずれの状態であるかを検出する。

図１３は、本変形例に係る表示装置１０Ｂの映像処理部２０Ｂの一構成例を表すものである。映像処理部２０Ｂは、デマルチプレクサ２１Ｂ、メモリ２２３，２２４、信号処理部２３５〜２３８、マルチプレクサ２４３，２４４，２５Ｂを有している。

デマルチプレクサ２１Ｂは、図１４に示した８つの視点映像（左側視点映像ＰＬ、右側視点映像ＰＲ、上側視点映像ＰＴ、下側視点映像ＰＢ、左下側視点映像ＰＬＢ、右上側視点映像ＰＲＴ、左上側視点映像ＰＬＴ、右下側視点映像ＰＲＢ）を含む多視点映像信号Ｓから、左側視点映像ＰＬおよび右側視点映像ＰＲを含む映像信号ＳＬＲを分離してメモリ２２１に供給し、上側視点映像ＰＴおよび下側視点映像ＰＢを含む映像信号ＳＴＢを分離してメモリ２２２に供給し、左下側視点映像ＰＬＢおよび右上側視点映像ＰＲＴを含む映像信号ＳＬＢＲＴを分離してメモリ２２３に供給し、左上側視点映像ＰＬＴおよび右下側視点映像ＰＲＢを含む映像信号ＳＬＴＲＢを分離してメモリ２２４に供給する。

メモリ２２３，２２４は、映像信号ＳＬＢＲＴ，ＳＬＴＲＢをそれぞれ１フレーム分記憶するフレームメモリである。信号処理部２３５〜２３８は、メモリ２２３，２２４から供給された映像信号に対して映像信号処理を行う。

マルチプレクサ２４３は、同期信号Ｓyncに基づいて、信号処理部２３５から供給された映像信号ＳＬＢおよび信号処理部２３６から供給された映像信号ＳＲＴを、左下側視点映像ＰＬＢのフレーム画像と、右上側視点映像ＰＲＴのフレーム画像とが交互に配列するように多重化し、映像信号ＳＬＢＲＴ１として出力する。マルチプレクサ２４４は、同期信号Ｓyncに基づいて、映像処理部２３７から供給された映像信号ＳＬＴおよび映像処理部２３８から供給された映像信号ＳＲＢを、左上側視点映像ＰＬＴのフレーム画像と、右下側視点映像ＰＲＢのフレーム画像とが交互に配列するように多重化し、映像信号ＳＬＴＲＢ１として出力する。

マルチプレクサ２５Ｂは、姿勢信号Ｓｐに基づいて、マルチプレクサ２４１から供給された映像信号ＳＬＲ１、マルチプレクサ２４２から供給された映像信号ＳＴＢ１、マルチプレクサ２４３から供給された映像信号ＳＬＢＲＴ１、およびマルチプレクサ２４４から供給された映像信号ＳＬＴＲＢ１のうちの一つを選択し出力するものである。具体的には、マルチプレクサ２５Ｂは、後述するように、例えば、シャッタ眼鏡６０が、図１２（Ｂ）に示したように左方向に傾いている場合には、映像信号ＳＬＢＲＴ１（左下側視点映像ＰＬＢおよび右上側視点映像ＰＲＴを含む映像信号）を選択して出力し、図１２（Ｃ）に示したように右方向に傾いている場合には、映像信号ＳＬＴＲＢ１（左上側視点映像ＰＬＴおよび右下側視点映像ＰＲＢを含む映像信号）を選択して出力する。

［変形例１−２］
上記実施の形態では、シャッタ眼鏡がその姿勢を検出し、その検出結果を表示装置に対して供給するようにしたが、これに限定されるものではなく、これに代えて、例えば、表示装置がシャッタ眼鏡の姿勢を検出してもよい。以下に、この場合の例について説明する。

図１５は、本変形例に係る立体表示システム１Ｃの一構成例を表すものである。立体表示システム１Ｃは、表示装置１０Ｃを備えている。表示装置１０Ｃは、シャッタ眼鏡６０の姿勢を検出する眼鏡検出部１５を有している。眼鏡検出部１５は、例えばカメラ（撮影部）を有し、そのカメラがシャッタ眼鏡６０を撮影した画像に基づいて、シャッタ眼鏡６０を認識するとともに、シャッタ眼鏡６０の姿勢を検出する。この構成により、立体表示システム１Ｃでは、表示装置１０Ｃからみたシャッタ眼鏡６０の相対的な姿勢を検出することができるため、例えば、表示装置１０Ｃを、表示画面が縦長になるように配置した場合でも、特別な設定を必要とすることなく、立体視表示が可能となる。

＜２．第２の実施の形態＞
次に、本発明の第２の実施の形態に係る立体表示システム２について説明する。本実施の形態は、偏光眼鏡を用いて立体表示システムを構成したものである。なお、上記第１の実施の形態に係る立体表示システム１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

図１６は、立体表示システム２の一構成例を表すものである。立体表示システム２は、表示装置３０と、スクリーン３６と、偏光眼鏡７０とを備えている。

表示装置３０は、映像処理部４０と、左眼映像投影部３１と、右眼映像投影部３２と、受信部３３とを有している。

映像処理部４０は、多視点映像信号Ｓおよび姿勢信号Ｓｐに基づいて、左眼映像信号ＳＬ１を生成して左眼映像投影部３１に供給し、右眼映像信号ＳＲ１を生成して右眼映像投影部３２に供給するものである。

図１７は、映像処理部４０の一構成例を表すものである。映像処理部４０は、マルチプレクサ４１１，４１２を有している。マルチプレクサ４１１，４１２は、姿勢信号Ｓｐに基づいて、信号処理部２３１〜２３４から供給された４つの映像信号ＳＬ，ＳＲ，ＳＴ，ＳＢのうちの１つをそれぞれ選択し出力するものである。その際、マルチプレクサ４１１，４１２は、互いに対をなす視点映像信号をそれぞれ選択する。具体的には、偏光眼鏡７０が水平になっている状態（図５（Ａ））では、マルチプレクサ４１１は映像信号ＳＬを選択して左眼映像信号ＳＬ１として出力し、マルチプレクサ４１２は映像信号ＳＲを選択して右眼映像信号ＳＲ１として出力する。また、偏光眼鏡７０が左方向に横になっている状態（図５（Ｂ））では、マルチプレクサ４１１は映像信号ＳＢを選択して左眼映像信号ＳＬ１として出力し、マルチプレクサ４１２は映像信号ＳＴを選択して右眼映像信号ＳＲ１として出力する。また、偏光眼鏡７０が右方向に横になっている状態（図５（Ｃ））では、マルチプレクサ４１１は映像信号ＳＴを選択して左眼映像信号ＳＬ１として出力し、マルチプレクサ４１２は映像信号ＳＢを選択して右眼映像信号ＳＲ１として出力する。このように、映像処理部４０は、偏光眼鏡７０の姿勢に基づいて、多視点映像信号Ｓから一対の視点映像を選択して出力するようになっている。

左眼映像投影部３１は、左眼映像信号ＳＬ１に基づいて、映像をスクリーン３６に対して投影するものである。右眼映像投影部３２は、右眼映像信号ＳＲ１に基づいて、映像をスクリーン３６に投影するものである。左眼映像投影部３１および右眼映像投影部３２は、それぞれ映像を投影する際、その偏光方向が互いに交差して投影するようになっている。

受信部３３は、偏光眼鏡７０から供給された姿勢信号Ｓｐ１を受信し、姿勢信号Ｓｐとして、映像処理部４０に供給するものである。

偏光眼鏡７０は、左眼偏光板７Ｌおよび右眼偏光板７Ｒを有している。左眼偏光板７Ｌおよび右眼偏光板７Ｒは、その透過軸が互いに交差するようになっている。具体的には、例えば、図１６に示したように、左眼偏光板７Ｌの透過軸は縦方向になっており、右眼偏光板７Ｒの透過軸は横方向になっている。これにより、観察者は、左眼映像投影部３１がスクリーン３６に投影した映像を、左眼偏光板７Ｌを通して観察するとともに、右眼映像投影部３２がスクリーン３６に投影した映像を、右眼偏光板７Ｒを通して観察することができるようになっている。

また、偏光眼鏡７０は、上記第１の実施の形態のシャッタ眼鏡６０と同様に、姿勢検出部６３と、送信部６４とを有している。

ここで、左眼偏光板７Ｌおよび右眼偏光板７Ｒは、本発明における「分離手段」の一具体例に対応する。スクリーン３６は、本発明における「表示部」の一具体例に対応する。

図１８〜２０は、立体表示システム２の動作例を表すものであり、図１８は、偏光眼鏡７０が水平になっている状態における動作例を示し、図１９は、偏光眼鏡７０が左方向に横になっている状態における動作例を示し、図２０は、偏光眼鏡７０が右方向に横になっている状態における動作例を示す。図１８〜図２０において、（Ａ）はスクリーン３６における表示映像Ｄを示し、（Ｂ）は左眼映像Ｌを示し、（Ｃ）は右眼映像Ｒを示す。

偏光眼鏡７０の姿勢検出部６３は、図５（Ａ）〜（Ｃ）に示した場合と同様に、その姿勢を検出し、送信部６４が、その検出結果を姿勢信号Ｓｐ１として表示装置３０に対して供給する。表示装置３０では、受信部３３が、この姿勢信号Ｓｐ１を受信し、姿勢信号Ｓｐとして、映像処理部４０に供給する。

シャッタ眼鏡６０が水平になっている状態（図５（Ａ））では、映像処理部４０は、その状態を示す姿勢信号Ｓｐに基づいて、映像信号ＳＬ（左側視点映像ＰＬを含む映像信号）を左眼映像信号ＳＬ１として出力するとともに、映像信号ＳＲ（右側視点映像ＰＲを含む映像信号）を右眼映像信号ＳＲ１として出力する。そして、左眼映像投影部３１が左側視点映像ＰＬをスクリーン３６に投影し、右側映像投影部３２が右側視点映像ＰＲをスクリーン３６に投影することにより、これらが重なって表示映像Ｄとして表示される（図１８（Ａ））。そして、観察者は、左眼偏光板７Ｌを通して左側視点映像ＰＬを観察するとともに、右眼偏光板７Ｒを通して右側視点映像ＰＲを観察する。すなわち、立体表示システム２は、左眼視点映像ＰＬを左眼映像Ｌとして表示するとともに（図１８（Ｂ））、右眼視点映像ＰＲを右眼映像Ｒとして表示する（図１８（Ｃ））。これにより、観察者は、表示映像Ｄを立体的な映像として認識することができる。

また、シャッタ眼鏡６０が左方向に横になっている状態（図５（Ｂ））では、映像処理部４０は、その状態を示す姿勢信号Ｓｐに基づいて、映像信号ＳＢ（下側視点映像ＰＢを含む映像信号）を左眼映像信号ＳＬ１として出力するとともに、映像信号ＳＴ（上側視点映像ＰＴを含む映像信号）を右眼映像信号ＳＲ１として出力する。そして、左眼映像投影部３１が下側視点映像ＰＢをスクリーン３６に投影し、右眼映像投影部３２が上側視点映像ＰＴをスクリーン３６に投影することにより、これらが重なって表示映像Ｄとして表示される（図１９（Ａ））。そして、観察者は、左眼偏光板７Ｌを通して下側視点映像ＰＢを観察するとともに、右眼偏光板７Ｒを通して上側視点映像ＰＴを観察する。すなわち、立体表示システム２は、下側視点映像ＰＢを左眼映像Ｌとして表示するとともに（図１９（Ｂ））、上側視点映像ＰＴを右眼映像Ｒとして表示する（図１９（Ｃ））。これにより、観察者は、表示映像Ｄを立体的な映像として認識することができる。

また、シャッタ眼鏡６０が右方向に横になっている状態（図５（Ｃ））では、映像処理部４０は、その状態を示す姿勢信号Ｓｐに基づいて、映像信号ＳＴ（上側視点映像ＰＴを含む映像信号）を左眼映像信号ＳＬ１として出力するとともに、映像信号ＳＢ（下側視点映像ＰＢを含む映像信号）を右眼映像信号ＳＲ１として出力する。そして、左眼映像投影部３１が上側視点映像ＰＴをスクリーン３６に投影し、右眼映像投影部３２が下側視点映像ＰＢをスクリーン３６に投影することにより、これらが重なって表示映像Ｄとして表示される（図２０（Ａ））。そして、観察者は、左眼偏光板７Ｌを通して上側視点映像ＰＴを観察するとともに、右眼偏光板７Ｒを通して下側視点映像ＰＢを観察する。すなわち、立体表示システム２は、上側視点映像ＰＴを左眼映像Ｌとして表示するとともに（図２０（Ｂ））、下側視点映像ＰＢを右眼映像Ｒとして表示する（図２０（Ｃ））。これにより、観察者は、表示映像Ｄを立体的な映像として認識することができる。

以上のように本実施の形態では、偏光眼鏡を用いて立体表示システムを構成したので、観察者が装着する眼鏡の構成をシンプルにすることができる。その他の効果は、上記第１の実施の形態の場合と同様である。

［変形例２］
上記実施の形態では、左眼映像Ｌおよび右眼映像Ｒを、互いに交差する方向に偏光させてスクリーン３６に投影することにより表示映像Ｄを表示したが、これに限定されるものではなく、同様の機能を、上記第１の実施の形態の表示部１２のようなデバイスで実現するようにしてもよい。

＜３．第３の実施の形態＞
次に、本発明の第３の実施の形態に係る立体表示システム３について説明する。本実施の形態は、シャッタ眼鏡を用い、複数の観察者が立体視表示を観察するように構成したものである。以下に、２人の観察者を想定した場合を例に説明する。なお、上記第１の実施の形態に係る立体表示システム１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

図２１は、立体表示システム３の一構成例を表すものである。立体表示システム３は、表示装置５０と、複数のシャッタ眼鏡６０Ａ，６０Ｂを備えている。

表示装置５０は、映像処理部８０と、シャッタ眼鏡制御部５３と、受信部５４とを備えている。

映像処理部８０は、多視点映像信号Ｓに基づいて、映像信号Ｓ２を生成して表示駆動部１１に供給するとともに、同期信号Ｓyncを生成してシャッタ眼鏡制御部５３に供給するものである。

図２２は、映像処理部８０の一構成例を表すものである。映像処理部８０は、タイミング制御部８２と、マルチプレクサ８１とを有している。タイミング制御部８２は、同期信号Ｓyncをマルチプレクサ２４１，２４２およびシャッタ眼鏡制御部５３に供給するとともに、マルチプレクサ８１に制御信号を供給する。マルチプレクサ８１は、タイミング制御部８２から供給される制御信号に基づいて、マルチプレクサ２４１から供給された映像信号ＳＬＲ１（左側視点映像ＰＬおよび右側視点映像ＰＲを含む映像信号）と、マルチプレクサ２４２から供給された映像信号ＳＴＢ１（上側視点映像ＰＴおよび下側視点映像ＰＢを含む映像信号）とを多重化し、映像信号Ｓ２として出力する。具体的には、マルチプレクサ８１は、この例では、左側視点映像ＰＬのフレーム画像と、上側視点映像ＰＴのフレーム画像と、右側視点映像ＰＲのフレーム画像と、下側視点映像ＰＢのフレーム画像とが、この順に配列するように多重化する。このように、映像処理部８０は、複数対の視点映像（左側視点映像ＰＬおよび右側視点映像ＰＲの対、ならびに上側視点映像ＰＴおよび下側視点映像ＰＢの対）を出力するようになっている。

シャッタ眼鏡制御部５３は、映像処理部８０から供給される同期信号Ｓync、および受信部５４から供給される姿勢信号ＳｐＡ，ＳｐＢに基づいて、シャッタ眼鏡６０Ａ，６０Ｂを制御するものである。具体的には、シャッタ眼鏡制御部５３は、シャッタ眼鏡６０Ａに対して制御信号ＣＴＬＡを供給することによりシャッタ眼鏡６０Ａを制御し、シャッタ眼鏡６０Ｂに対して制御信号ＣＴＬＢを供給することによりシャッタ眼鏡６０Ｂを制御する。

受信部５４は、シャッタ眼鏡６０Ａから供給された姿勢信号Ｓｐ１Ａを受信し、姿勢信号ＳｐＡとして、シャッタ眼鏡制御部５３に供給するとともに、シャッタ眼鏡６０Ｂから供給された姿勢信号Ｓｐ１Ｂを受信し、姿勢信号ＳｐＢとして、シャッタ眼鏡制御部５３に供給する。

シャッタ眼鏡６０Ａ，６０Ｂは、上記第１の実施の形態のシャッタ眼鏡６０（図４）と同様のものであり、シャッタ眼鏡６０Ａは、左眼シャッタ６ＡＬおよび右眼シャッタ６ＡＲを有し、シャッタ眼鏡６０Ｂは、左眼シャッタ６ＢＬおよび右眼シャッタ６ＢＲを有している。

この構成により、立体表示システム３では、シャッタ眼鏡６０Ａ，６０Ｂのそれぞれの姿勢に基づいて、表示装置５０のシャッタ眼鏡制御部５３が、シャッタ眼鏡６０Ａ，６０Ｂを独立して制御することができるようになっている。

次に、複数のシャッタ眼鏡のうちの１つ（シャッタ眼鏡６０Ａとする）に着目して、立体表示システム３の動作例について説明する。

図２３〜２５は、立体表示システム３の動作例を表すものであり、図２３は、シャッタ眼鏡６０Ａが水平になっている状態における動作例を示し、図２４は、シャッタ眼鏡６０Ａが左方向に横になっている状態における動作例を示し、図２５は、シャッタ眼鏡６０Ａが右方向に横になっている状態における動作例を示す。図２３〜図２５において、（Ａ）は表示部１２における表示映像Ｄを示し、（Ｂ）は左眼映像Ｌを示し、（Ｃ）は右眼映像Ｒを示す。

シャッタ眼鏡６０Ａの姿勢検出部６３は、図５（Ａ）〜（Ｃ）に示した場合と同様に、その姿勢を検出し、送信部６４が、その検出結果を姿勢信号Ｓｐ１Ａとして表示装置５０に対して供給する。表示装置５０では、受信部５４が、この姿勢信号Ｓｐ１Ａを受信し、姿勢信号ＳｐＡとして、シャッタ眼鏡制御部５３に供給する。

立体表示システム３では、表示部１２は、図２３〜図２５に示したように、観察者の姿勢によらず、左側視点映像ＰＬのフレーム画像と、上側視点映像ＰＴのフレーム画像と、右側視点映像ＰＲのフレーム画像と、下側視点映像ＰＢのフレーム画像とを、巡回するように時分割的に表示映像Ｄとして表示する（図２３（Ａ）、図２４（Ａ）、図２５（Ａ））。

シャッタ眼鏡６０Ａが水平になっている状態（図５（Ａ））では、シャッタ眼鏡制御部５３は、その状態を示す姿勢信号ＳｐＡに基づいて、表示部１２において左側視点映像ＰＬのフレーム画像が表示されている期間では、シャッタ眼鏡６０Ａの左眼シャッタ６ＡＬを開状態にするとともに右眼シャッタ６ＡＲを閉状態にし、右側視点映像ＰＲのフレーム画像が表示されている期間では、左眼シャッタ６ＡＬを閉状態にするとともに右眼シャッタ６ＡＲを開状態にするように、シャッタ制御信号ＣＴＬＡを用いてシャッタ眼鏡６０Ａを制御する。これにより、観察者は、左眼で左側視点映像ＰＬを観察し、右眼で右側視点映像ＰＲを観察することができる。すなわち、立体表示システム３は、左側視点映像ＰＬを左眼映像Ｌとして表示するとともに（図２３（Ｂ））、右側視点映像ＰＲを右眼映像Ｒとして表示する（図２３（Ｃ））。

また、シャッタ眼鏡６０Ａが左方向に横になっている状態では、シャッタ眼鏡制御部５３は、その状態を示す姿勢信号ＳｐＡに基づいて、表示部１２において下側視点映像ＰＢのフレーム画像が表示されている期間では、シャッタ眼鏡６０Ａの左眼シャッタ６ＡＬを開状態にするとともに右眼シャッタ６ＡＲを閉状態にし、上側視点映像ＰＴのフレーム画像が表示されている期間では、左眼シャッタ６ＡＬを閉状態にするとともに右眼シャッタ６ＡＲを開状態にするように、シャッタ制御信号ＣＴＬＡを用いてシャッタ眼鏡６０Ａを制御する。これにより、観察者は、左眼で下側視点映像ＰＢを観察し、右眼で上側視点映像ＰＴを観察することができる。すなわち、立体表示システム３は、下側視点映像ＰＢを左眼映像Ｌとして表示するとともに（図２４（Ｂ））、上側視点映像ＰＴを右眼映像Ｒとして表示する（図２４（Ｃ））。

また、シャッタ眼鏡６０Ａが右方向に横になっている状態では、シャッタ眼鏡制御部５３は、その状態を示す姿勢信号ＳｐＡに基づいて、表示部１２において上側視点映像ＰＴのフレーム画像が表示されている期間では、シャッタ眼鏡６０Ａの左眼シャッタ６ＡＬを開状態にするとともに右眼シャッタ６ＡＲを閉状態にし、下側視点映像ＰＢのフレーム画像が表示されている期間では、左眼シャッタ６ＡＬを閉状態にするとともに右眼シャッタ６ＡＲを開状態にするように、シャッタ制御信号ＣＴＬＡを用いてシャッタ眼鏡６０Ａを制御する。これにより、観察者は、左眼で上側視点映像ＰＴを観察し、右眼で下側視点映像ＰＢを観察することができる。すなわち、立体表示システム３は、上側視点映像ＰＴを左眼映像Ｌとして表示するとともに（図２５（Ｂ））、下側視点映像ＰＢを右眼映像Ｒとして表示する（図２５（Ｃ））。

以上のように本実施の形態では、視点映像を複数対分表示し、各シャッタ眼鏡の姿勢に応じて、各シャッタ眼鏡の開閉タイミングを独立して制御するようにしたので、複数の観察者がそれぞれの姿勢に応じた立体視表示を観察することができる。その他の効果は、上記第１の実施の形態の場合と同様である。

［変形例３］
上記実施の形態では、２つのシャッタ眼鏡６０Ａ，６０Ｂを用いるようにしたが、これに限定されるものではなく、１つのシャッタ眼鏡のみを用いるようにしてもよいし、３つ以上のシャッタ眼鏡を用いるようにしてもよい。

以上、いくつかの実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記の第２および第３の実施の形態では、偏光眼鏡またはシャッタ眼鏡が姿勢検出部を有し、その姿勢の検出結果を表示装置に対して供給するようにしたが、これに限定されるものではなく、これに代えて、上記第１の実施の形態の変形例（図１５）と同様に、表示装置が、これらの眼鏡の姿勢を検出する眼鏡検出部を有していてもよい。

また、上記実施の形態などでは、表示装置は、単に供給された多視点映像に基づいて表示を行うものとしたが、これに限定されるものではなく、例えば、チューナを備え、放送により供給された複数の多視点映像の信号から、所望の多視点映像の信号を選択し、その選択された多視点映像に基づいて表示を行うような、テレビジョン装置であってもよい。

１，１Ｃ，２，３…立体表示システム、６Ｌ，６ＡＬ，６ＢＬ…左眼シャッタ、６Ｒ，６ＡＲ，６ＢＲ…右眼シャッタ、７Ｌ…左眼偏光板、７Ｒ…右眼偏光板、１０，１０Ｃ，３０，５０…表示装置、１１…表示駆動部、１２…表示部、１３，５３…シャッタ眼鏡制御部、１４，３３，５４，６１…受信部、１５…姿勢検出部、２０，２０Ｂ，４０，８０…映像処理部、２１，２１Ｂ…デマルチプレクサ、２５，２５Ｂ，８１，２４１〜２４４，４１１，４１２…マルチプレクサ、２６，８２…タイミング制御部、３１…左眼映像投影部、３２…右眼映像投影部、３６…スクリーン、６０，６１Ａ，６０Ｂ…シャッタ眼鏡、６２…シャッタ駆動部、６３…姿勢検出部、６４…送信部、７０…偏光眼鏡、９０…撮像装置、９１…開口絞り、９２…撮像レンズ、９３…マイクロレンズアレイ、９４…撮像素子、９５…画像処理部、９６…撮像素子駆動部、９７…制御部、１００…被写体、２２１〜２２４…メモリ、２３１〜２３４…信号処理部、ＣＴＬ，ＣＴＬＡ，ＣＴＬＢ…シャッタ制御信号、Ｄ…表示映像、Ｌ…左眼映像、ＰＢ…下側視点映像、ＰＬ…左側視点映像、ＰＲ…右側視点映像、ＰＴ…上側視点映像、ＰＬＴ…左上側視点映像、ＰＬＢ…左下側視点映像、ＰＲＴ…右上側視点映像、ＰＲＢ…右下側視点映像、Ｐ１〜Ｐ９…視点映像、Ｒ…右眼映像、Ｓ…多視点映像信号、Ｓ１，Ｓ２，ＳＬ，ＳＲ，ＳＬＲ，ＳＬＲ１，ＳＴ，ＳＢ，ＳＴＢ，ＳＴＢ１，ＳＬＢ，ＳＲＴ，ＳＬＢＲＴ，ＳＬＢＲＴ１，ＳＬＴ，ＳＲＢ，ＳＬＴＲＢ，ＳＬＴＲＢ１…映像信号、ＳＬ１…左眼映像信号、ＳＲ１…右眼映像信号、Ｓｐ，Ｓｐ１，Ｓｐ１Ａ，Ｓｐ１Ｂ…姿勢信号、Ｓync…同期信号、Ｕ…マイクロレンズ、Ｖ…ベクトル、Ｙ１〜Ｙ８，Ｚ１〜Ｚ４…区域。

Claims (13)

1. 供給された多視点映像から複数の視点映像を選択し表示する表示装置と、
   前記表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離する眼鏡装置と
   を備え、
   前記表示装置は、
   表示部と、
   前記眼鏡装置の水平方向からの傾きを示す姿勢情報を取得する取得手段と
   を有し、
   前記左眼映像および前記右眼映像は、前記取得手段が取得した前記姿勢情報に応じたものである
   立体表示システム。
2. 前記眼鏡装置は、姿勢を検出する姿勢検出部を有し、
   前記取得手段は、前記眼鏡装置から前記姿勢情報を取得するものである
   請求項１に記載の立体表示システム。
3. 前記表示装置は、前記眼鏡装置の姿勢を検出する眼鏡検出部を備え、
   前記取得手段は、前記眼鏡検出部である
   請求項１に記載の立体表示システム。
4. 前記眼鏡検出部は、前記眼鏡装置を撮影し、その撮影した画像に基づいて眼鏡装置の姿勢を検出する
   請求項３に記載の立体表示システム。
5. 前記表示装置は、供給された多視点映像から、前記姿勢情報に基づいて一対の視点映像を選択する映像処理部をさらに有し、
   前記表示部は、前記一対の視点映像を表示する
   請求項１から請求項４のいずれか一項に記載の立体表示システム。
6. 前記眼鏡装置は、左眼シャッタおよび右眼シャッタを有するシャッタ眼鏡であり、
   前記表示装置は、前記シャッタ眼鏡を制御する眼鏡制御部をさらに備え、
   前記表示部は、前記一対の視点映像を交互に時分割的に表示し、
   前記眼鏡制御部は、前記左眼シャッタおよび前記右眼シャッタが、前記姿勢情報に基づいたタイミングで開閉動作するように、前記シャッタ眼鏡を制御する
   請求項５に記載の立体表示システム。
7. 前記眼鏡装置は、偏光方向が互いに交差する左眼偏光板および右眼偏光板をそれぞれ有する偏光眼鏡であり、
   前記映像処理部は、前記姿勢情報に基づいて、前記一対の視点映像のうちの一方を左眼映像として出力するとともに他方を右眼映像として出力し、
   前記表示部は、前記左眼映像および前記右眼映像を、互いに交差する方向に偏光させて表示する
   請求項５に記載の立体表示システム。
8. 前記表示部は、観察者が、前記左眼偏光板を通して前記左眼映像を視認するように、前記左眼映像を偏光させて表示し、前記右眼偏光板を通して前記右眼映像を視認するように、前記右眼映像を偏光させて表示する
   請求項７に記載の立体表示システム。
9. 前記眼鏡装置は、左眼シャッタおよび右眼シャッタを有するシャッタ眼鏡であり、
   前記表示装置は、１または複数の前記シャッタ眼鏡を制御する眼鏡制御部をさらに備え、
   前記取得手段は、シャッタ眼鏡ごとに前記姿勢情報を取得し、
   前記表示部は、複数対の視点映像を表示し、
   前記眼鏡制御部は、シャッタ眼鏡ごとに、前記左眼シャッタおよび前記右眼シャッタが、前記姿勢情報に基づいたタイミングで開閉動作するように、１または複数のシャッタ眼鏡を制御する
   請求項１から請求項４のいずれか一項に記載の立体表示システム。
10. 前記複数対の視点映像は２対の視点映像である
    請求項９に記載の立体表示システム。
11. 供給された多視点映像から複数の視点映像を選択し表示する表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離する分離手段と、
    水平方向からの傾きを示す姿勢情報を検出する姿勢検出部と
    を備え、
    前記左眼映像および前記右眼映像は、前記姿勢検出部が検出した前記姿勢情報に応じたものである
    眼鏡装置。
12. 供給された多視点映像から複数の視点映像を選択し表示する表示部と、
    前記表示部に表示された複数の視点映像から左眼映像および右眼映像を光学的に分離する１または複数の眼鏡装置の、水平方向からの傾きを示す姿勢情報を取得する取得手段と
    を備え、
    前記左眼映像および前記右眼映像は、前記取得手段が取得した前記姿勢情報に応じたものである
    表示装置。
13. 被写体を撮影して多視点映像を生成する撮像装置と、
    前記多視点映像に基づいて立体視表示を行う立体表示システムと
    を備え、
    前記撮像装置は、
    開口絞りを有する撮像レンズと、
    光線の進行方向を保持して受光するとともに、その受光した光に基づいて撮像データを取得する撮像素子と、
    前記撮像レンズの結像面上に配置され、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、
    前記撮像データに基づいて前記多視点映像を生成する画像処理部と
    を有し、
    前記立体表示システムは、
    供給された多視点映像から複数の視点映像を選択し表示する表示装置と、
    前記表示装置に表示された複数の視点映像から、左眼映像および右眼映像を光学的に分離する眼鏡装置と
    を有し、
    前記表示装置は、
    表示部と、
    前記眼鏡装置の水平方向からの傾きを示す姿勢情報を取得する取得手段と
    を含み、
    前記左眼映像および前記右眼映像は、前記取得手段が取得した前記姿勢情報に応じたものである
    撮像表示システム。

Images