JP2008191472A - 3次元画像表示システム - Google Patents
3次元画像表示システム Download PDFInfo
- Publication number
- JP2008191472A JP2008191472A JP2007026760A JP2007026760A JP2008191472A JP 2008191472 A JP2008191472 A JP 2008191472A JP 2007026760 A JP2007026760 A JP 2007026760A JP 2007026760 A JP2007026760 A JP 2007026760A JP 2008191472 A JP2008191472 A JP 2008191472A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- dimensional
- frame
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Liquid Crystal Display Device Control (AREA)
Abstract
【課題】多視差立体動画表示を行う場合の同期制御を行いやすくする。
【解決手段】各再生用PC15において複数の視差画像を、1フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各3次元表示装置10において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。また、各再生用PC15は、所定数のフレームごとに、視差画像に制御情報を含めた画像を再生する。3次元表示装置10では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
【選択図】図1
【解決手段】各再生用PC15において複数の視差画像を、1フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各3次元表示装置10において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。また、各再生用PC15は、所定数のフレームごとに、視差画像に制御情報を含めた画像を再生する。3次元表示装置10では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
【選択図】図1
Description
本発明は、複数の視差画像により多視差立体表示を行う3次元画像表示システムに関する。
従来、立体映像を生成する技術として、観察者の両眼に視差画像と呼ばれる各々異なる映像を見せることにより立体感が得られる2眼式立体映像技術や、それら視差画像を複数組用意することにより異なる視点からの立体映像を提供する多眼式立体映像技術があり、それらに関わる技術が多く開発されている。しかしながら、上述の技術による立体映像は、物理的に立体画像として意図した位置にあるのではなく、例えば各々の画像が2次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。
一方、実世界において物体表面の情報は、光波を媒体として観察者の眼球まで伝搬する。物理的に実世界の物体からの光波を人工的に再現することができる技術としてホログラフィ技術がある。ホログラフィ技術を用いた立体映像は、光の干渉により生成された干渉縞を用い、その干渉縞に光が照明された際に生じる回折波面そのものを映像情報媒体として用いている。そのため、観察者が実世界において物体を観察しているときと同様の輻輳、調節などの視覚系生理反応が起き、眼精疲労の少ない映像を提供することができる。さらに、物体からの光波面が再現されていることは、映像情報を伝達する方向に対して連続性が確保されていることといえる。そのことから、観察者の視点が移動することにより、その移動に応じた異なる角度からの適切な映像を連続的に提示することが可能であり、運動視差が連続的に提供される映像提供の手法でもある。
しかしながら、ホログラフィ技術では3次元空間情報を2次元空間における干渉縞として記録しており、その空間周波数は同じ物体を撮影した写真などの2次元空間の情報と比較すると極めて膨大な量になる。これは、3次元空間の情報を2次元空間に変換する際に、その情報が2次元空間上における密度に変換されていると考えることができる。そのために、CGH(Computer Generated Hologram)による干渉縞を表示するデバイスに求められる空間分解能は極めて高く、また膨大な情報量が必要であることから、実時間ホログラムにより立体映像を実現することは、現状において技術的に困難である。
そこで、ホログラフィ技術による立体映像が物体からの情報を連続的な情報と見なすことのできる光波を情報媒体としていることに対して、その光波を離散化し、理論的にはほぼ実世界における光波からなる場と等価である状況を光線によって再現することで立体映像を生成する光線再生技術がある。光線再生法またはインテグラルフォトグラフィ法と呼ばれる立体映像技術は、光線再生技術に属する技術である。
光線再生技術では、あらかじめ多くの方向へ伝搬する多数の光線からなる光線群を光学的手段により空間に散布する。次に、任意の位置に配置する仮想的な物体表面より伝搬すべき光線を、その光線群より選択し、選択された光線の強度や位相の変調を行うことによって、空間に光線からなる像を生成し、観察者はそれを立体映像として観察することができる。光線再生技術による立体映像は、任意の点に複数の方向からの像が多重結像されたものであり、実世界における3次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。
以上で述べた光線再生を実現するための装置として、液晶ディスプレイやプラズマディスプレイなどのディスプレイデバイスとマイクロレンズアレイやピンホールアレイとを組み合わせた装置が提案されている。また、プロジェクタを多数並べた装置も考えられている。図29は、プロジェクタを用いて光線再生を実現した3次元表示装置の一構成例を示している。この装置は、多数のプロジェクタユニット101を縦方向と横方向とに並列的に配置し、各プロジェクタユニット101から角度の異なる光線を出射するようにしたものである。これにより、ある断面102内の任意の点において多視角の像を多重再生し、立体映像を実現している。
このような光線再生法による立体表示では、多数の視差画像を同時に再生する必要があり、視差数の分だけ情報量が増大する。そこで、特許文献1には、光線再生法による立体表示を行う画像表示システムにおいて、視差画像の一部を表示する視差画像表示手段を複数備え、各視差画像表示手段に、視差画像として圧縮符号化された動画像情報を送り込むことで多数の視差画像の再生を行えるようにした技術が開示されている。
特開2004−32273号公報
上記した光線再生技術によれば、2眼式および多眼式立体映像では不可能であった視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体映像を提供することができる。それだけでなく、仮想物体上の同一要素より複数の方向へ連続的に光線が出射されていることから、視点位置の移動に伴う映像の変化を連続的に提供することができる。
しかしながら、現状の光線再生技術により生成された映像は、実世界における物体と比較すると臨場感に欠ける。これは、現状の光線再生技術による立体映像が実世界の物体から観察者が得る情報量に対して非常に少量の情報、すなわち少量の光線によって生成されていることが原因であると考えられる。一般的に人間の視認限界は角度分解能で1分程度といわれており、現状の光線再生技術による立体映像は、この人間の視覚に対して不十分な光線によって生成されている。従って、実世界の物体が持つような高い臨場感やリアリティを有する立体映像を生成するためには、少なくとも多量の光線により映像を生成することが課題であるといえる。
この実現のためには、まず空間的に高い密度で光線群を生成することのできる技術が必要である。解決手段としては、液晶ディスプレイなどのディスプレイデバイスの表示密度を高くすることが考えられる。また、図29に示したような多数のプロジェクタユニット101を配置する装置の場合には、各プロジェクタユニット101を極小化し、空間的に高い密度で並べることが考えられる。しかしながら、現在のディスプレイデバイスにおける表示密度の飛躍的な向上は光利用効率や回折限界の問題から困難である。図29の装置の場合には、各プロジェクタユニット101を極小化するのには限界があるため、空間的に高い密度で並べることは困難であると考えられる。いずれの場合にも高密度光線群を生成するためには、複数のデバイスが必要となり、装置全体の大型化は避けられない。
また、光線再生法を用いた立体映像を再生する際には、数多くの視差画像を同時に投射しなければならない。例えば、100視差の立体動画を再生するには、100個の視差画像を同時に投射することになる。したがって、再生する情報量は2次元動画の100倍になる。従来の技術では、再生機器(コンピュータなど)が事前に各視差画像再生装置に画像データを転送し、各視差画像を同時に再生させる。この方法を使えば、フルカラーの立体静止画を表示できる。しかしながら、高精細な動画を再生するには、次の問題がある。動画のデータ量は静止画より大きいため、大量のデータを転送しなければならない。かつ高速で転送しなければならない。従来の技術では、高精細の立体静止画を生成するための各視差画像を各再生装置に転送するには数秒がかかるので、動画の再生ができない。従来では、動画を再生するためには、視差画像の解像度を低下させる必要がある。または動画のフレームレートを低く設定することになる。従って、光線再生法を用いて高精細な動画を再生するために、大量の視差画像を高速で再生する技術の開発が望まれている。上記特許文献1では、視差画像として圧縮符号化されたデータを転送するなどして視差画像の再生の高速化を図っているが、これよりもさらに大量、かつ高速な再生手法が必要とされている。
このような大量、かつ高速な再生手法としては、例えば、1フレーム内に複数の視差画像が含められた画像を第1の画像再生装置で再生すると共に、その再生された視差画像の所定数分を多視差立体動画の1フレームに変換し、第2の画像再生装置(3次元表示装置)で多視差立体動画表示を行うことが考えられる。この場合、第1の画像再生装置では2次元画像を再生するのに対し、第2の画像再生装置では立体画像の再生を行うことになるので、第1の画像再生装置で再生する画像のフレームレート(第1のフレームレート)と第2の画像再生装置でのフレームレート(第1のフレームレート)とに違いが生ずることが考えられる。一般に、動画の再生を行う場合、フレームの垂直同期パルスを用いて同期制御を行うことが多いが、第1の画像再生装置と第2の画像再生装置とでフレームレートが異なる場合、第1の画像再生装置から出力された垂直同期パルスを第2の画像再生装置での同期制御に用いることはできない。視差画像を提供する側(第1の画像再生装置)とその視差画像を用いて多視差立体動画表示を行う側(第2の画像再生装置)とで適切な同期が取れていないと、立体動画として認識できなくなる可能性がある。
本発明はかかる問題点に鑑みてなされたもので、その目的は、多視差立体動画表示を行う場合の同期制御を行いやすくできるようにした3次元画像表示システムを提供することにある。
本発明による3次元画像表示システムは、1フレーム内に複数の視差画像が含められた2次元画像を第1のフレームレートで再生する多視差画像再生装置と、所定数の視差画像からなる多視差画像を立体動画の1フレームとし、多視差画像再生装置によって再生された複数の視差画像に基づいて第2のフレームレートで多視差立体動画表示を行う3次元表示装置とを備え、多視差画像再生装置が、1または複数のフレームごとに、視差画像に制御情報を含めた画像を再生し、3次元表示装置が、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行うようにしたものである。
本発明による3次元画像表示システムでは、多視差画像再生装置から、1または複数のフレームごとに、視差画像に制御情報を含めた画像が再生される。3次元表示装置では、視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行う。視差画像自体に制御情報が含まれていることで、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
例えば、多視差画像再生装置が、所定数の複数のフレームごとに、制御情報としてフレームを識別する識別信号を含めた画像を再生し、外部制御回路が、識別信号に基づいて3次元表示装置において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、3次元表示装置が、頭出し信号に基づいて動画フレームの頭出しを行うことで、第1のフレームレートとは異なる第2のフレームレートで多視差立体動画表示を行うようにすれば、多視差立体動画表示を行う場合の同期制御を行うことができる。
例えば、多視差画像再生装置が、所定数の複数のフレームごとに、制御情報としてフレームを識別する識別信号を含めた画像を再生し、外部制御回路が、識別信号に基づいて3次元表示装置において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、3次元表示装置が、頭出し信号に基づいて動画フレームの頭出しを行うことで、第1のフレームレートとは異なる第2のフレームレートで多視差立体動画表示を行うようにすれば、多視差立体動画表示を行う場合の同期制御を行うことができる。
ここで、本発明による3次元画像表示システムにおいて、多視差画像再生装置としては、例えば、1フレームの画像を複数のビットプレーンに分けて時分割で表示する機能を有するものを使用すると良い。この場合、多視差画像再生装置は、1フレームが複数のビットプレーン群に分割されると共に、各ビットプレーン群が1または2以上のビットプレーンで構成され、各ビットプレーン群に少なくとも1つの視差画像の情報が割り当てられることにより、1フレーム内に複数の視差画像の情報が含められた画像信号を出力する信号発生部と、信号発生部から出力された画像信号に基づいて、複数の視差画像を1フレーム内で時間的に分割して順次再生する画像形成部とを有する構成にすると良い。
より具体的には、多視差画像再生装置としては、例えば、1フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有するものを使用することができる。この場合、例えば、各色の階調ビットプレーンに視差画像の情報が割り当てられ、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられ、その画像信号に基づいて、複数の視差画像が時間的に分割して順次再生される。
このようにすることで、従来よりカラー画像表示装置において用いられている階調ビットプレーンを、視差画像を再生するためのビットプレーンとして用いることが可能となり、大量の視差画像を高速で再生することが可能となる。
より具体的には、多視差画像再生装置としては、例えば、1フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有するものを使用することができる。この場合、例えば、各色の階調ビットプレーンに視差画像の情報が割り当てられ、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられ、その画像信号に基づいて、複数の視差画像が時間的に分割して順次再生される。
このようにすることで、従来よりカラー画像表示装置において用いられている階調ビットプレーンを、視差画像を再生するためのビットプレーンとして用いることが可能となり、大量の視差画像を高速で再生することが可能となる。
本発明の3次元画像表示システムによれば、視差画像自体に制御情報を含め、その視差画像に含められた制御情報に応じた制御を行って多視差立体動画表示を行うようにしたので、多視差立体動画表示を行う場合の同期制御を行いやすくなる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施の形態]
[第1の実施の形態]
まず、本発明の第1の実施の形態に係る3次元表示システムについて説明する。
図1は、本実施の形態に係る3次元画像表示システムの一構成例を示している。この3次元画像表示システムは、複数の3次元表示装置を組み合わせたマルチユニット方式の表示システムとなっている。図1では、一例として、6つの3次元表示装置10−1,10−2,10−3,10−4,10−5,10−6を備えたシステムを示している(以下、各3次元表示装置を総称する場合には単に「3次元表示装置10」と記す)。この3次元画像表示システムはまた、3次元表示装置10−1,10−2,10−3,10−4,10−5,10−6のそれぞれに対応して設けられ、各3次元表示装置10に視差画像を提供するための再生用PC(パーソナル・コンピュータ)15−1,15−2,15−3,15−4,15−5,15−6を備えている(以下、各再生用PCを総称する場合には単に「再生用PC15」と記す)。この3次元画像表示システムはまた、3次元表示装置10−1,10−2,10−3,10−4,10−5,10−6のそれぞれに対応して設けられ、各3次元表示装置10における多視差立体表示のタイミングを制御するための外部制御回路14−1,14−2,14−3,14−4,14−5,14−6を備えている(以下、各外部制御回路を総称する場合には単に「外部制御回路14」と記す)。この3次元画像表示システムはまた、各再生用PC15の制御を行うためのモニタ用PC(パーソナル・コンピュータ)200およびモニタ用スクリーン215と、制御回路214とを備えている。各3次元表示装置10は、SLM(空間光変調器)3(3−1,3−2)と、空間フィルタ4とを有している。各再生用PC15は、画像データ記憶部11と、画像信号発生部12と、同期制御部13とを有している。モニタ用PC200は、画像データ記憶部211と、画像信号発生部212と、同期制御部213とを有している。各再生用PC15、制御回路214、およびモニタ用PC200は、例えばLAN(ローカル・エリア・ネットワーク)201によって互いにネットワーク接続されている。
図1は、本実施の形態に係る3次元画像表示システムの一構成例を示している。この3次元画像表示システムは、複数の3次元表示装置を組み合わせたマルチユニット方式の表示システムとなっている。図1では、一例として、6つの3次元表示装置10−1,10−2,10−3,10−4,10−5,10−6を備えたシステムを示している(以下、各3次元表示装置を総称する場合には単に「3次元表示装置10」と記す)。この3次元画像表示システムはまた、3次元表示装置10−1,10−2,10−3,10−4,10−5,10−6のそれぞれに対応して設けられ、各3次元表示装置10に視差画像を提供するための再生用PC(パーソナル・コンピュータ)15−1,15−2,15−3,15−4,15−5,15−6を備えている(以下、各再生用PCを総称する場合には単に「再生用PC15」と記す)。この3次元画像表示システムはまた、3次元表示装置10−1,10−2,10−3,10−4,10−5,10−6のそれぞれに対応して設けられ、各3次元表示装置10における多視差立体表示のタイミングを制御するための外部制御回路14−1,14−2,14−3,14−4,14−5,14−6を備えている(以下、各外部制御回路を総称する場合には単に「外部制御回路14」と記す)。この3次元画像表示システムはまた、各再生用PC15の制御を行うためのモニタ用PC(パーソナル・コンピュータ)200およびモニタ用スクリーン215と、制御回路214とを備えている。各3次元表示装置10は、SLM(空間光変調器)3(3−1,3−2)と、空間フィルタ4とを有している。各再生用PC15は、画像データ記憶部11と、画像信号発生部12と、同期制御部13とを有している。モニタ用PC200は、画像データ記憶部211と、画像信号発生部212と、同期制御部213とを有している。各再生用PC15、制御回路214、およびモニタ用PC200は、例えばLAN(ローカル・エリア・ネットワーク)201によって互いにネットワーク接続されている。
ここで、本実施の形態において、再生用PC15と空間光変調器3とが、本発明における「多視差画像再生装置」の一具体例に対応する。特に、画像信号発生部12が本発明における「信号発生部」の一具体例に対応し、空間光変調器3が本発明における「画像形成部」の一具体例に対応する。また、本実施の形態では、3次元表示装置10内に画像形成部(空間光変調器3)が含まれている。
まず、3次元表示装置10の構成および作用を詳しく説明する。なお、本発明の3次元画像表示システムにおいて適用される3次元表示装置10の構成は、以下で説明するものに限定されず、例えば図29に示したような多数のプロジェクタユニット101を単純に配置したものであっても構わない。
図2(A),図2(B)は、3次元表示装置10の一構成例を示している。ここで、光軸方向をzとし、このz方向に直交する平面内での直交座標をxyとして、図2(A)は、yz断面内での構成を示し、図2(B)はxz断面内での構成を示す。一般的な光線再生技術による3次元表示では、任意の位置に存在する仮想物体表面を仮想的な原点とした複数の光線を出射することを目的として、あらかじめ様々な角度で出射する光線を提供できる装置を備えておくことが必要である。例えば、図29に示した装置にあっては、多数(例えば、M×N個)のプロジェクタ・ユニット101を水平方向および垂直方向に並列的に配置しなければならない。一方、本実施の形態に係る3次元表示装置10は、図2(A),図2(B)に示した構成要素を備える装置単体で、従来に比べて空間的に密度が高く、かつ大量の光線群を生成することが可能となっている。従って、この3次元表示装置10は、図2(A),図2(B)に示した装置単体でも表示装置として機能し得る。1つの3次元表示装置10で、図29に示した多数(M×N個)のプロジェクタ・ユニット101を配置した装置と等価の機能を有する。図1のようにマルチユニット方式とする場合には、例えば図3に示すように、3次元表示装置10を縦方向yと横方向xとに複数、並列的に配置する。
3次元表示装置10は、光源1と、光源1からの光を整形する照明光学系2と、複数の画素を有し、光源からの光を画素ごとに変調して2次元映像を生成するSLM(空間光変調器)3と、空間光変調器3により生成された2次元映像における空間周波数に対するフーリエ変換像を形成する第1のレンズL1と、フーリエ変換像を空間的かつ時間的にフィルタリングするための時間的な開口制御が可能な空間フィルタ4とを備えている。この3次元表示装置10はさらに、空間フィルタ4によりフィルタリングされたフーリエ変換像を逆フーリエ変換することにより、空間光変調器3により生成された2次元映像の実像(逆フーリエ変換像)5を形成する第2のレンズL2と、空間フィルタ4によりフィルタリングされたフーリエ変換像の共役像6を形成する第3のレンズL3とを備えている。図2(A),図2(B)において、f1は第1のレンズL1の焦点距離、f2は第2のレンズL2の焦点距離、f3は第3のレンズL3の焦点距離を示す。
光源1および照明光学系2は、空間光変調器3に対する照明光を生成するものである。照明光としては、例えば空間コヒーレンスの高い光源を平行光に整形した光を用いる。空間光変調器3は、2次元的に配列された複数の画素を有する2次元空間光変調器である。2次元空間光変調器としては、例えば透過型の液晶表示装置を用いることができる。空間光変調器3における映像表示エリアの中心を通り、空間光変調器3の映像表示面に直交する方向に向かう直線を光軸とする。
空間光変調器3は、例えばx方向およびy方向に沿って2次元マトリクス状に配列されたP×Q個の開口(画素)を有し、光源1からの光の通過を開口ごとに制御することで2次元画像を生成するようになっている。空間光変調器3は、その2次元画像に基づき、開口ごとに、x方向に沿って第m次から第m’次までのM組(ただし、mおよびm’は整数であり、Mは正の整数)、y方向に沿って第n次から第n’次までのN組の(ただし、nおよびn’は整数であり、Nは正の整数)、合計、M×N組の回折光を生成する2次元画像形成装置を構成している。例えばP=1024(画素)、Q=768(画素)であり、m=−5、m’=5、M=m’−m+1=11、n=−5、n’=5、N=n’−n+1=11である。ただし、これらの値に限定するものではない。本実施の形態では、空間光変調器3として、例えばそれぞれが1024(画素)×768(画素)の2つの空間光変調器3−1,3−2を有し、例えば全体として2048×768画素の2次元画像を生成するようになっている。なお、空間光変調器3の開口の平面形状は矩形とすることが望ましい。開口の平面形状を矩形とするとき、フラウンホーファー回折が生じ、空間光変調器3−1,3−2の各開口(画素)について、M×N組の回折光が生成される。すなわち、係る開口によって、入射光波の振幅(強度)を周期的に変調し、格子の光透過率分布に一致した光量分布が得られる振幅格子が形成される。例えば各画素において、M×N組=121組の回折光が生成される。言い換えれば、画素の数は空間光変調器3−1,3−2のそれぞれでP×Qであるが故に、総計、2×(P×Q×M×N)本の回折光が生じると考えることもできる。
第1のレンズL1は、その前側焦点面上に空間光変調器3の2次元映像の生成面が位置するように配置され、その後側焦点面にフーリエ変換像を形成している。第1のレンズL1は、フーリエ変換像として、空間光変調器3の各画素ごとに生ずる複数次数の回折光(M×N組の回折光)を各回折次数ごとに集光し、空間光変調器3により生成された2次元映像の全情報が集約された光学像である回折像を各回折次数ごとに形成するようになっている。
空間フィルタ4は、第1のレンズL1の後側焦点面上に配置されている。空間フィルタ4は、図10に示したように複数の開口4Aを有している。複数の開口4Aは、空間光変調器3の各画素で生じた回折光の各回折次数の空間位置に対応して設けられている。開口4Aは、少なくとも、複数の回折次数に対応する数(例えばM×N=121個)だけ設けられている。空間フィルタ4は、空間光変調器3による2次元映像の生成タイミングと同期しつつ複数の開口4Aを各回折次数ごとに光学的に選択的に開閉制御することにより、フーリエ変換像を空間的かつ時間的にフィルタリングするようになされている。空間フィルタ4は、任意の位置の開口4Aを光学的に開閉制御可能であれば良く、例えば強誘電性液晶を用いた透過型または反射型の液晶表示装置で構成される。また、2次元型のMEMS(マイクロ・エレクトロ・メカニカル・システム)など用いても良い。
図11は、空間フィルタ4における開口4Aと空間光変調器3の各画素で生じた回折光の各回折次数との対応関係の一例を示している。空間フィルタ4は、図11において、数字(m,n)は、開口4Aの番号を示し、かつ、回折次数を示す。例えば、第(3,2)番目の開口4Aには、m=3,n=2の回折次数を有するフーリエ変換像が入射する。
第2のレンズL2は、第1のレンズL1と同一の光軸を有するように配置されている。また第2のレンズL2は、その前側焦点面上に空間フィルタ4が位置するように配置され、その後側焦点面に空間光変調器3により生成された2次元映像の実像5を形成している。ここで得られる実像5の空間光変調器3に対する倍率は、第2のレンズL2の焦点距離f2を任意に選択することによって変化させることができる。
第3のレンズL3は、第1のレンズL1および第2のレンズL2と同一の光軸を有するように配置されている。また第3のレンズL3は、その後側焦点面に共役像6を形成すると共に、その前側焦点面が第2のレンズL2の後側焦点面に一致するように配置されている。ここで、第3のレンズL3の後側焦点面は空間フィルタ4の共役面であることから、空間フィルタ4上の1つの開口部に相当する部分から、空間光変調器3の画素数分(2×P×Q)の光線が出力されている。最終的に生成・出力される光線の量は、その画素数分の光線に、光学系を透過した回折次数分(M×N)を乗じた量で定義することができる。第3のレンズL3の後側焦点面においては、光線群が2次元的に整然と配置されているとみなせる。すなわち、全体としては、第3のレンズL3の後側焦点面に、図29に示したプロジェクタユニット101が複数の回折次数分(具体的にはM×N個)、配置されている状態と等価である。
次に、3次元表示装置10の作用を説明する。
この3次元表示装置10では、空間光変調器3により生成された2次元映像における空間周波数に対するフーリエ変換像が、空間フィルタ4により、空間的かつ時間的にフィルタリングされ、そのフィルタリングされたフーリエ変換像の共役像6が形成される。
この3次元表示装置10では、空間光変調器3により生成された2次元映像における空間周波数に対するフーリエ変換像が、空間フィルタ4により、空間的かつ時間的にフィルタリングされ、そのフィルタリングされたフーリエ変換像の共役像6が形成される。
ここで、図12に模式的に示したように空間光変調器3からは、複数次数の回折光が生じる。なお、図12では、0次(0th)光、±1次(1th)光、および±2次(2th)光の回折光のみを代表して図示しているが、実際にはさらに高次の回折光が生じ、それらの高次回折光も立体表示に利用される。例えばx方向に沿って第−5次から第+5次までの11組、y方向に沿って第−5次から第+5’次までの11組、合計、M×N組=121組の回折光が生成される。この回折光は各画素ごとに生ずる。従って、各次数の回折光にはそれぞれ、空間光変調器3により生成された2次元映像の全情報(全画素の情報)が集約されている。空間光変調器3上の同一画素から回折により生成される複数の光線は、同時刻においてすべて同一の情報を有する。
第1のレンズL1では、空間光変調器3により生成された2次元映像の全情報が集約された光学像である回折像を、各回折次数ごとに空間フィルタ4上に集光する。高次回折による回折像を利用することで、高い空間的な密度を有する光線群が生成される。
ここで、照明光の波長をλ(mm),空間光変調器3上の映像を含む構造の空間周波数をν(lp/mm),第1のレンズL1の焦点距離をf1(mm)とすると,レンズL1の後側焦点面では、光軸から距離xa(mm)の位置にその構造を構成する空間周波数を示す光が現れる。ここで,xaは、
xa=f1λν ……(1)
で示される。
ここで、照明光の波長をλ(mm),空間光変調器3上の映像を含む構造の空間周波数をν(lp/mm),第1のレンズL1の焦点距離をf1(mm)とすると,レンズL1の後側焦点面では、光軸から距離xa(mm)の位置にその構造を構成する空間周波数を示す光が現れる。ここで,xaは、
xa=f1λν ……(1)
で示される。
図13は、第1のレンズL1による集光作用を模式的に示している。Lは、空間光変調器3上の2次元映像の大きさを示す。第1のレンズL1によって、各次数の回折光が空間フィルタ4上の別々の開口位置に集光する。空間フィルタ4への集光角(空間フィルタ4を出射後の発散角)θは、各回折光で同一である。空間フィルタ4上において、隣接する回折次数間の間隔は上記(1)式の関係で表される。上記(1)式より、第1のレンズL1の焦点距離f1を任意に選択することによって、フーリエ変換像の位置(空間フィルタ4上の結像位置)を変化させることも可能であることが分かる。第1のレンズL1に高い回折次数成分を透過させるためには、利用する回折次数成分に応じてレンズの開口率を選択する必要があり、焦点距離に関わらず第1のレンズL1以降のすべてのレンズの開口率が第1のレンズL1の開口率以上である必要がある。
ここで、空間光変調器3に表示された映像の空間周波数は、映像が画素より構成される空間光変調器3により生成されていることから、最高でも空間光変調器3を構成する連続した2つの画素からなる周期を有する周波数である。
図14は、空間光変調器3に表示された映像の空間周波数が最も低い状態を示している。符号3Aは、1つの画素を示す。最も空間周波数が低い状態とは、全画素をブラック表示、またはホワイト表示にした場合であり、この場合の回折光は平面波成分の情報のみを有する。なお、図14ではホワイト表示にした場合を示している。図15は、空間光変調器3を図14の表示状態とした場合において、第1のレンズL1によるフーリエ変換後の光強度の周波数特性を示している。各回折光のピークは、周波数ν1の間隔で現れる。
一方、図16は空間光変調器3に最も高い空間周波数を表示した状態を示す。最も空間周波数が高い映像は、図示したように各画素3Aの表示をブラック表示とホワイト表示とに隣り合う2つの画素に交互に表示した場合である。図17は、空間光変調器3を図16の表示状態とした場合において、第1のレンズL1によるフーリエ変換後の光強度の周波数特性を示している。図15の最低空間周波数の場合と比べて、ピークが周波数ν1/2の間隔で現れる。
図18(A),図18(B)は、空間フィルタ上における回折光の分布を模式的に示したものであり、図18(A)はxy平面上での分布を示し、図18(B)はx軸上での分布強度を示す。図18(B)では、最低空間周波数成分(平面波成分)と、最高空間周波数成分とを同時に示している。符号151で示した部分が最低空間周波数成分で現れるピークを示し、符号152で示した部分が最高空間周波数成分で現れるピークを示す。空間フィルタ4の開口形状は、フーリエ変換像の回折パターンに依存し、回折光の平面波成分のピーク位置を中心として、各々の回折次数に対して独立した開口4Aを有する。すなわち、各開口4Aの中心位置4Bに平面波成分のピーク位置が存在する。
空間フィルタ4では、すべての光線に任意の強度もしくは位相変調を加えるために回折の次数に対応して開口4Aの開閉制御を行う。空間フィルタ4は、空間光変調器3における平面波成分が空間光変調器3の画素構造に起因する回折により第1のレンズL1の後側焦点面上に現れる周期的なパターンを中心として、空間光変調器3上に表示することのできる正負の最高空間周波数をすべて得ることができるような開口4Aを1つの要素としている。
上記式(1)より、空間光変調器3における画素構造に起因する空間周波数が、空間光変調器3上に表示される映像の最高空間周波数の2倍であるので、画素構造に起因する回折により第1のレンズL1の後側焦点面上に現れる周期的なパターンの間隔の半分の位置までに映像の空間周波数はすべて現れる。このことから、すべての開口4Aは、空間的に干渉することなく配置することができる。これにより、平面波成分ごとに独立した開口4Aを有する空間フィルタ4上において、単一の開口部に空間光変調器3上における映像のすべての空間周波数成分の情報が存在し、開口4Aの空間的な制限により空間光変調器3上の映像の空間周波数成分が欠落することはない。
すなわち、開口4Aは、上記式(1)によるxaの大きさを有する。一例として、照明光の波長λを532nm、第1のレンズL1の焦点距離f1を50mm、空間光変調器3の1画素の大きさを13μm〜14μm程度とすると、xaは約2mmとなる。これは、空間フィルタ4上において、約2mm間隔という高い密度で各回折次数の光線群を生成することができることを意味する。
この3次元表示装置10では、空間光変調器3により光線の強度および位相を変化させることができる。しかし、このとき回折によって生成されているすべての次数における同じ空間光変調器3の画素から伝搬した光線が同じ変調を受けている。そこで、空間フィルタ4の開口4Aを任意に選択することにより、任意の回折次数を選択し、任意の画素を変調することによって、本装置が生成するすべての光線の強度・位相変調を行うことができる。このようにして本装置は高次回折による膨大な量の光線を生成できることと同時に、空間フィルタ4の利用によりすべての光線を任意に制御できることを特徴とする。以下、この開閉制御のタイミングについて説明する。
空間フィルタ4は、任意の回折次数の光線を選択するために、空間光変調器3の映像出力と同期して各開口4Aの開閉制御を行う。この概念を、図19(A),図19(B),図19(C)、図20および図21を参照して説明する。図19(A)は空間光変調器3における映像出力のタイミングを示している。図19(B)は、空間フィルタ4におけるある開口4Aαの開閉タイミングを示し、図19(C)は別の開口4Aβの開閉タイミングを示している。
なお、本実施の形態では、空間フィルタ4における各開口4Aの開閉制御が、図1の外部制御回路14によって行われる。
図19(A)に示すように、空間光変調器3において例えば時間t1〜t2の間(期間T1)に映像Aを表示し、時間t3〜t4の間(期間T2)間に映像Bが表示されているとする。このとき空間フィルタ4では、図19(B),図19(C)に示したように、期間T1では開口4Aαを、期間T2では開口4Aβを開く動作を行うとすると、空間光変調器3における同じ画素、異なる回折次数として生成される光線に異なる情報を付加することができる。
図20は、この映像表示のタイミングと開口制御のタイミングを模式的に示したものである。期間T1では空間光変調器3において期間T1で映像Aが表示され、次数ごとの回折光が空間フィルタ4の対応する開口部分にフーリエ変換像として集光される。期間T1では、ある1つの開口4Aαのみを開く動作を行う。次に、期間T2では空間光変調器3において期間T2で映像Bが表示され、同様に次数ごとの回折光が空間フィルタ4の対応する開口部分にフーリエ変換像として集光される。期間T2では、開口4Aαとは別のある1つの開口4Aβのみを開く動作を行う。以下順次、空間光変調器3の映像表示タイミングに同期して空間フィルタ4の各開口4Aを開閉制御する。
図21は、このようなタイミングで映像表示と開閉制御とを行った場合に、この3次元表示装置10の最終出力として得られる立体映像(共役像6)を模式的に示している。なお、正確には同時に図21に示したような映像が得られるわけではないが、映像の切り替え期間は非常に短時間なので、人間の目には同時に表示されているように観察される。例えば、1フレームの表示期間内に、すべての次数分の映像表示切り替えが行われ、すべての開口4Aの開閉制御が一通り行われる。また、図21では平面的に図示しているが、実際に観察されるのは立体映像である。
以上説明したように、本実施の形態に係る3次元表示装置10によれば、空間光変調器3により生成された2次元映像における空間周波数に対するフーリエ変換像を、空間フィルタ4により空間的かつ時間的にフィルタリングし、そのフィルタリングされたフーリエ変換像の共役像6を形成するようにしたので、装置全体を大型化することなく、空間的に高い密度で光線群を生成・散布することができる。また、光線群の構成要素である個々の光線を独立して時間的および空間的に制御することができる。これにより、実世界の物体と同質に近い光線による立体映像を得ることができる。
また、この3次元表示装置10によれば、光線再生技術を利用しているので、焦点調節、輻輳および運動視差などの視覚機能を満足した映像を提供することができる。また、この3次元表示装置10によれば、高次回折光を効率的に利用していることにより、従来の映像出力の手法と比較して、1つの映像出力デバイス(空間光変調器3)から、制御可能な光線を大量に得ることができる。またこの3次元表示装置10によれば、空間的かつ時間的にフィルタリングを行うので、表示映像の空間分解能として、映像出力デバイスの時間的特性を空間的特性として得ることができる。また、拡散スクリーンを用いることなく立体映像を提供することができる。また、どのような方向からの観察に対しても適切な映像を提供することができる。また、空間的に高い密度で光線群を生成・散布することができるので、視認限界に近い精細な空間映像を提供することができる。
次に、図1に戻って、3次元表示装置10以外の部分の構成および作用について詳しく説明する。この3次元画像表示システムにおいて、各再生用PC15およびモニタ用PC200は、周知のパーソナルコンピュータで構成しても良いし、いわゆるワークステーションで構成しても良い。
各再生用PC15において、画像データ記憶部11は、各再生用PC15において再生すべき画像(3次元表示装置10で表示させる視差画像)を記憶するものであり、例えばハードディスク装置で構成されている。同期制御部13は、各再生用PC15間の同期制御を行うためのものである。画像信号発生部12は、画像データ記憶部11に記憶された画像データに基づいて、画像信号を生成して、その画像信号を空間光変調器3(3−1,3−2)に出力するものである。
画像信号発生部12は、2つの空間光変調器3−1,3−2に信号を出力するため、2チャネルの出力インタフェース、例えば2チャネルのDVI(Digital Visual Interface)を有している。画像信号発生部12は、具体的には、いわゆるビデオカード(ビデオアダプタ、ビデオボードあるいはグラフィックスカード)とも呼ばれ、コンピュータに装着して画面表示機能を追加する拡張カードで構成することができる。ここで、ビデオカードは、通常、画像描画のためのLSIチップ、画面イメージを保持するためのメモリ(VRAM)、画像信号を出力するための端子等から構成されている。あるいはまた、コンピュータを構成するマザーボード上に搭載された画面表示機能を有するオンボード回路で構成しても良い。なお、画像信号発生部12は、ゲンロック(Gen-lock, Generator lock)機能を備えている必要がある。ここで、ゲンロックとは、同期結合とも呼ばれ、独立した同期信号発生器を内蔵するシステム間で周波数、位相を合わせ、完全同期させることを意味し、あるいはまた、基準となる信号に対し、複数の画像機器間で画像信号の位相と周波数を同期させることを意味する。本実施の形態では、このゲンロック機能を同期制御部13が有している。
モニタ用スクリーン215は、モニタ用の画像を表示するものであり、例えば液晶モニタで構成されている。モニタ用PC200において、画像データ記憶部211は、モニタ用の画像を記憶するものであり、例えばハードディスク装置で構成されている。同期制御部213は、同期制御用のクロック信号を出力するものであり、例えば0.01Hzの精度で60Hzのクロック信号を出力する。画像信号発生部212は、画像データ記憶部211に記憶された画像データに基づいて、所定の画像信号を生成して、その画像信号を出力するものである。画像信号発生部212は、各再生用PC15の画像信号発生部12と同様、ビデオカード等で構成されている。画像信号発生部212は、出力端子として例えばDVIを有し、モニタ用の画像信号をDVIから出力するようになっている。画像信号発生部212はまた、例えばVGAインタフェースを有し、同期制御部213からのクロック信号に同期して、同期信号としてVGAのV−Sync信号(垂直同期信号)をVGAインタフェースから出力するようになっている。制御回路214は、画像信号発生部212からのV−Sync信号を増幅し、6つのTTLレベルの同期信号に変換して、各再生用PC15の同期制御部13に出力するようになっている。各再生用PC15は、そのTTLレベルの同期信号に基づいて、同期制御される。結果的に、本システムでは、モニタ用PC200の同期制御部213が生成したクロック信号によって、システム全体が同期制御される。
ここで、各再生用PC15において画像信号発生部12から出力される画像信号について説明する。上述したように、画像信号発生部12は、一般にコンピュータで使用されているビデオカード等で構成される。以下、一例として、本実施の形態では、24ビット(R,G,B、各8ビット)のカラー画像信号を同時に2つDVI出力できるようなビデオカードを使用するものとする。また、1つの出力につき1024×768画素、全体として2048×768画素の信号出力を行うものとする。これにより、第1の空間光変調器3−1には第1のDVI(DVI1)から1024×768画素、24ビットの画像信号が出力され、第2の空間光変調器3−2には第2のDVI(DVI2)から1024×768画素、24ビットの画像信号が出力される。全体として2048×768画素、24ビットの画像信号が出力される。
図5(A)は、垂直同期信号(V−Sync)のタイミングチャートを示している。図5(B)は、通常のカラー画像信号における階調ビットのタイミングチャートを示している。なお、図5(B)では、R信号の階調ビットを代表して示している。画像の表示状態が基本的にオン/オフ(発光(明)/非発光(暗))の2状態しか取り得ない、いわゆる2値制御型のディジタル画像表示装置(FLC(Ferroelectric Liquid Cristal;強誘電性液晶)やDMD等)では、基本的に、CRT(Cathode Ray Tube;陰極線管)に代表されるいわゆるアナログ型の表示装置のような連続的な階調表現を行うことができない。このため、ディジタル画像表示装置では、階調表現を多段階に行う方法として、例えば発光時間幅変調方式(PWM(Pulse Width Modulation;パルス幅変調))が使用されている。この方式は、光源の輝度の大きさを一定に保ち、発光時間の幅を輝度に応じて変化させることにより、階調表現を行う方式である。このようなディジタル画像表示装置では、光学変調素子に、光源から輝度の一定の光が連続的に照射される。光学変調素子は、表示しようとする画像の輝度に応じて、画素ごとに光を明暗2つの状態に変調制御する。このとき、光学変調素子は、光の変調制御として、画像表示面に到達する光をパルス状にオン(発光)/(非発光)オフ制御する。そして、光学変調素子は、画素ごとにオン/オフの切り換えタイミングを変化させることにより、光のパルス幅を変化させ、階調表現を行う。このようにして変調された光が画像表示面に照射されることにより多段階の階調で画像が表示される。このようなディジタル画像表示装置における階調表現は、人間の視覚系の残光特性を利用したものである。すなわち、人間の視覚系は、ある一定期間中に網膜に入射した光を時間的に積分した値を、光の強度として認識する。このため、一定期間中に、発光期間の短い光のパルス幅を高速に変化させることにより、人間の目に輝度の階調があるように認識させることができる。
256階調の画像は、例えば、1フレーム内において輝度の異なる少なくとも8種類の画像を組み合わせることにより表現することが可能である。すなわち、256階調を表現する場合には、まず、輝度を画素ごとに例えば8つの階調ビットに量子化する。そして、例えば1フレームの画像データを、各階調ビットで重み付けされた8種類の画像データの組み合わせで表現する。このとき、階調ビットごとの画像データの集まりは、通常、「ビットプレーン」と称される。階調表現で使用されるビットプレーンは、階調ビットごとの輝度の情報面である。
図5(B)に示したR0〜R7は、各ビットプレーンの表示期間(照明時間)を示している。R0〜R7は、それぞれ表示期間が異なっており、それらを組み合わせることで8ビットの階調が実現できる。例えば、R7(128の値)のビットプレーンの照明時間はR6(64の値)の2倍となる。
このような原理で、本実施の形態では、画像信号発生部12と空間光変調器3とが、1フレームごとに各色について複数の階調ビットプレーンを組み合わせて時分割で表示することにより複数ビットの階調表現のなされたカラー画像を所定のフレームレートで順次表示する機能を有している。特に、画像信号発生部12は、1フレーム内に複数色の階調ビットの情報が含められたカラー画像信号を出力する機能を有している。また、空間光変調器3は、画像信号発生部12から出力されたカラー画像信号に基づいてカラー画像を再生する機能を有している。
さらに、本実施の形態では、画像信号発生部12が、各色の階調ビットプレーンに視差画像の情報を割り当てる機能を有している。そして、空間光変調器3は、カラー画像信号に代えて複数の視差画像の情報が含められた画像信号が与えられた場合に、その画像信号に基づいて、複数の視差画像を時間的に分割して順次再生する機能を有している。
図5(C)は画像信号発生部12の第1の信号出力部(DVI1)から出力される視差画像の信号波形を示し、図5(D)は第2の信号出力部(DVI2)から出力される視差画像の信号波形を示している。本システムでは、視差画像としてバイナリ映像(1ビットの階調の画像、白黒2値のワイヤフレーム画像)を使用し、1つの視差画像を1つのビットプレーンに配置するようになっている。すなわち、通常、図5(B)のような階調ビットプレーンとして使用されているものを視差画像表示のためのビットプレーンとして使用する。例えば図5(C)に示したように、第1の空間光変調器3−1についてのR0〜R7の各ビットプレーンの表示期間を均等の時間に割り振り、R0〜R7の各ビットプレーンをそれぞれ1ビット階調の視差画像信号として使用する。第2の空間光変調器3−2についても同様にして、図5(D)に示したように、R0〜R7の各ビットプレーンをそれぞれ1ビット階調の視差画像信号として使用する。なお、図5(C),図5(D)には、Rチャネルしか描かないが、GチャネルとBチャネルでも同様である。ここで、図5(C)では、各ビットプレーンを表示する間に、隙間がある。これは例えば第1の空間光変調器3−1としてFLC表示デバイスを使用した場合に、DCバランスをとるための電極の反転状態であり、照明は行われない期間である。本実施の形態では、第1の空間光変調器3−1と第2の空間光変調器3−2の表示周期をずらすことで、この反転状態の期間を有効利用している。すなわち、第1の空間光変調器3−1の反転期間に、第2の空間光変調器3−2の表示期間が来るように表示周期を調整している。すなわち、1フレームの期間に、2つの空間光変調器3−1,3−2による同時表示を可能にしている。
各外部制御回路14は、この画像信号発生部12から出力される視差画像の信号に基づいて、各3次元表示装置10の各空間フィルタ4における各開口4Aの開閉制御を行うようになっている。これにより、各3次元表示装置10では、空間光変調器3によって再生された各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行うことができる。
次に、この3次元画像表示システムによって、動画の立体表示を行う場合の具体例を説明する。
上述したように、各3次元表示装置10において、空間フィルタ4は例えば、空間光変調器3の各画素によって生ずる複数の回折次数に対応する数、例えばM×N=121個の開口4Aを有している(図10,図11)。これにより、例えば121個のプロジェクタが並列配置されたものと等価な光学系を形成している。本実施の形態では、各3次元表示装置10において、例えば120個のプロジェクタ(空間フィルタ4の120個分の開口4A)を光線再生法による動画表示に使用する。すなわち、立体動画としての1フレームを120視差で構成する。
立体動画としての1フレームを120視差で構成する場合、空間光変調器3(3−1,3−2)で表示するフレーム構成は、例えば図6に示したようになる。図6に示したように、第1の空間光変調器3−1は、1フレーム(2次元画像の1フレーム)につき、1024×768画素の視差画像を時分割で順次表示する。時分割の方法は、図5(C)に示したとおりである。R,G,Bで各8ビット、合計24ビットの各階調ビットを、1ビットの1024×768画素の各視差画像に割り当てて時分割表示する。すなわち、第1の空間光変調器3−1は、1フレームについて24視差画像を時分割表示する。第2の空間光変調器3−2についても同様である。この場合、2つの空間光変調器3−1,3−2全体として24×2=48視差画像を時分割表示することになる。すなわち、1つの再生用PC15は、画像信号発生部12の2つの信号出力部(DVI1,DVI2)から、DVIの1周期で48視差画像を含む画像信号を出力する。この場合、図7に示したように、動画の1フレーム(120視差画像)を形成するためには、DVIの2.5周期分の画像信号を出力すれば良い。DVIの出力周期が60Hz(第1のフレームレート)であるならば、24Hz(第2のフレームレート)で立体動画の1フレーム(立体動画の1シーン)を再生することとなる(60Hz/2.5=24fps)。さらに、図1に示した3次元画像表示システムでは、6つの再生用PC15がネットワーク接続された分散処理システムを構成し、6つの3次元表示装置10で立体動画を同期して表示するので、システム全体としては、1シーンについて120×6=720視差の立体動画を24Hzで表示することができる。
以上のような表示をする場合、各再生用PC15からの5フレーム分で立体動画の2シーンを再生することとなる(図7参照)。再生用PC15および3次元表示装置10を複数用いて立体動画を表示する場合、各3次元表示装置10で動画フレームの同期を取る必要がある。この場合例えば、各再生用PC15の画像信号発生部12から5フレームに1回の割合でフレームの識別情報を出力し、各外部制御回路14が、この識別情報に基づいて、各3次元表示装置10の各空間フィルタ4における各開口4Aの開閉制御の同期を取るようにすれば良い。
図8は、図6および図7に示したようなフレーム構造で多視差立体動画を表示させる場合において、3次元表示装置10の空間フィルタ4における各開口4Aに対する、各視差画像のビットプレーンの割り当ての一例を示している。図8において、R0〜R7は画像信号発生部12の各信号出力部(DVI1,DVI2)から出力される8ビットのRチャネルを示し、G0〜G7は8ビットのGチャネルを示し、B0〜B7は8ビットのBチャネルを示す。また、Sは第1の信号出力部(DVI1)からのチャネル、Pは第2の信号出力部(DVI2)からのチャネルであることを示す。例えばS−R0は、第1の信号出力部(DVI1)からのR0ビットのチャネルによるビットプレーンであることを示す。図8において、左側が立体動画としての1フレーム目を示し、右側が立体動画としての2フレーム目を示す。図7を用いて説明したように画像信号発生部12からの2.5フレームが立体動画としての1フレームに対応する。画像信号発生部12からの2.5フレーム分のビットプレーンが立体動画としての1フレーム目に割り振られ、次の2.5フレーム分のビットプレーンが立体動画としての2フレーム目に割り振られる。
ここで、図8において最も左上の開口に割り振られたS−R0のビットプレーンは、画像信号発生部12からの5フレームに1回の割合で割り当てられる。例えば、このS−R0のビットプレーンを識別する識別情報を画像信号発生部12から出力するようにし、それを動画フレームの頭出し信号として用いるようにすれば、各3次元表示装置10において立体動画表示する場合の動画フレームの同期制御をすることができる。なお、この同期制御は各外部制御回路14が、各空間フィルタ4における各開口4Aの開閉制御の同期を取ることで行われる。
図9(A)〜図9(D)を参照して、動画フレームの同期を取るための制御の具体例を説明する。図9(A)は、再生用PC15からの出力に基づくフレーム画像を簡略化して示している。また、図9(B)は、再生用PC15から出力されるフレーム画像における垂直同期信号(V−Sync信号)のパルス波形を示している。なお、本実施の形態では、再生用PC15から1フレーム内に複数の視差画像が含まれた画像信号を出力するので、実際の画像はもっと複雑に見えている。F1〜F5は、立体動画の2フレームを形成するために再生用PC15から出力される1セット(5フレーム)の画像フレームを示している。図9(A)に示したように、再生用PC15から出力される1セットのフレーム画像F1〜F5のうち、5番目のフレーム画像F5の例えば最も左上部分、1ピクセルの画素400に制御情報として、フレームを識別するための情報をあらかじめ埋め込んでおく。
図9(C)は、各再生用PC15で再生される画像に含まれる同期パルス(識別信号)RSの信号波形を示している。また、図9(D)は、3次元表示装置10において動画フレームの頭出しを行うための頭出し信号FSの信号波形を示している。外部制御回路14は、各再生用PC15で再生される画像に含まれる識別信号RSを検出すると共に、検出した識別信号RSに基づいて、3次元表示装置10において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号FSを生成する。なお、図9(D)において、頭出し信号FS1は、識別信号RSに基づいて生成された信号であり、他の頭出し信号FS2は、外部制御回路14自身の内部クロックにより生成した信号である。
3次元表示装置10は、外部制御回路14が生成した頭出し信号FSに基づいて動画フレームの頭出しを行う。これにより、各再生用PC15でのフレームレート(第1のフレームレート)とは異なる第2のフレームレートで多視差立体動画表示を行うことができる。1セットのフレーム画像F1〜F5のうち5番目のフレーム画像F5に同期パルスRSが含められていることで、次のフレームがセットの1番目のフレーム画像であることを知ることができる。3次元表示装置10において、頭出し信号FS1によって再生されるフレーム画像は、1セットのフレーム画像F1〜F5のうち1番目のフレーム画像F1である。従来の再生装置では、同期制御のための信号は、V−Sync、H−Sync(水平同期信号)などの信号しかなく、立体動画の頭だしフレームと他のフレームとを区別できないが、本実施の形態では、以上のような制御により、頭だしフレームと他のフレームとを容易に区別できる。
なお、1ピクセルではなく、複数ピクセルに制御情報を含めるようにしても良い。また、ライン状に制御情報を含めるようにしても良い。例えば画像の1ライン目に制御情報を含めるようにしても良い。2以上のピクセルに制御情報を含めることで、同期制御に限らず、より複雑な制御情報を入れることも可能となる。この場合、2以上のピクセルに、例えば2進数の数字を入れることが考えられる。具体的には、例えば制御情報に基づいて、空間光変調器3でのガンマ値を変える制御を行うことが考えられる。また、本実施の形態では、バイナリ画像を再生しているので、輝度は白黒の2値しかないが、その白であるか黒であるかの判別を行うためのの閾値を制御情報に含めるようにしても良い。
次に、以上のような各再生用PC15で再生する視差画像の生成方法を説明する。図4は、視差画像を生成するオーサリングシステムの一例を模式的に示している。視差画像は、3DCG(3 Dimensional Computer Graphics)技術により生成することができる。多視差の視差画像は、3DCGのレンダリング技術によるレンダリング処理を行うことで生成することができる。3DCGのレンダリング技術では、仮想的なカメラを設定し、その仮想的なカメラによって撮影されるはずの画像を視差画像として生成する。
図1の3次元表示システムで表示する視差画像を生成するためには、多数のレンダリング処理を行う必要がある(各3次元表示装置10の動画の1シーンに対して120回のレンダリング)。レンダリングの速度はシーンの複雑さに依存し、リアルタイムでのレンダリング処理では処理速度が足りないので、再生する動画を事前にオーサリングツールで生成する。図4はこのオーサリングツールを模式的に示している。
オーサリングツールはバッチ処理プログラムであり、設定ファイル220の指示に従い、すべての再生フレームを生成する。設定ファイル220には、各3Dシーンのパラメータ、光学システムの寸法と配置、出力画面のサイズ、フレームファイルの保存場所などが定義される。
このオーサリングツールにおいて、まず、3Dシーンを作成する。ここでは、「3DS Loader」モジュール203によって汎用の3DS形式のファイル201から3Dのオブジェクトをロードする。そして、「SceneLab」モジュール202によって、各シーンにつき移動、回転、伸縮変換パラメータよる3Dのシーンリスト204を作成する(図4のブロック200の部分)。
次に、光学システムの寸法、投射レンズの視野角度、投射プロジェクタ間の距離などの設定情報による3Dシーンに光学システムの情報を追加する。各ユニットの投射プロジェクタをカメラ300(仮想カメラ)として扱い、プロジェクタ配列をカメラ配列とする。なお、ここでいう各ユニットとは、図1の3次元表示装置10−1〜10−6に対応する。
次に、各3Dシーンに対して、すべてのカメラ300が順番でそのシーンをワイヤフレームでレンダリングする(図4においてカメラ300からシーンリスト204に挿す矢印)。レンダリングした結果は24ビットの視差画像であり、その視差画像をビットプレーンに配置するため、レンダリングした映像を2値化し、2値化した視差画像を順番で2つの出力分のビットプレーン(2つのDVI出力分のフルカラーのフレームバッファ)に配置する(図4のブロック210)。48視差を配置したあと、フルカラーのフレームバッファを1フレームファイルとして保存する。次の48視差をレンダリングする場合には、バッファをクリアして同様の処理を行う。
以上の処理を繰り返し、すべての光学ユニット(3次元表示装置10−1〜10−6)用の動画を集中的に作成して、分散システムの各再生用PC15に配置する(各再生用PC15の画像データ記憶部11に記憶する)。各再生用PC15に配置した動画フレームに同一の番号リストを付けることで、動画再生時にフレームの番号を照合してからフレームの同期をとることができる。
以上説明したように、本実施の形態に係る3次元画像表示システムによれば、各再生用PC15において複数の視差画像を、1フレーム内で時間的に分割して順次再生する。そして、その再生された各視差画像の再生タイミングに同期して、各3次元表示装置10において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。この3次元画像表示システムによれば、1フレーム内に複数の視差画像の情報が含められた画像信号を出力し、その出力された画像信号に基づいて、複数の視差画像を、1フレーム内で時間的に分割して順次再生するようにしたので、大量の視差画像を高速で再生することができる。その大量、かつ高速に再生された視差画像に基づいて多視差立体表示を行うことで、光線再生法を用いた立体映像を良好に動画再生することができる。
また、この3次元画像表示システムによれば、立体動画を形成する視差画像を複数の再生用PC15に分散配置し、各再生用PC15が各視差画像をローカルで管理するようにしたので、再生時に各再生用PC15間の通信の負担が軽減される。このため、各再生用PC15の数には制限がなく、拡張性が高い。
なお、以上の説明では、オーサリングツールによるバッチ処理であらかじめ立体動画用の視差画像を生成するようにしたが、各再生用PC15の台数が増えて、レンダリング処理をさらに分散すれば、リアルタイムでのレンダリングも可能である。また、リアルタイムでのレンダリングができれば、インタラクティブでの立体動画表示も可能である。また、以上の説明では、立体動画用の視差画像を3Dオブジェクトの処理によるCG動画として生成するようにしたが、仮想カメラではなく、実際のカメラを配置して視差画像を生成するようにすれば、CGではなく現実世界の立体動画も生成できる。
さらに、本実施の形態に係る3次元画像表示システムによれば、視差画像自体に制御情報としてフレームを識別する信号を含め、その視差画像に含められた識別信号に応じた制御を行って多視差立体動画表示を行うようにしたので、多視差立体動画表示を行う場合の同期制御を行いやすくなる。立体映像の視差数が増える場合、処理するデータの量も増え、再生ユニット(再生用PC15および3次元表示装置10)を追加する必要がある。再生用PC15同士の通信が多くなると、再生用PC15間の同期の精度に影響が出る。本実施の形態に係る3次元画像表示システムによれば、各再生ユニット内で3次元表示装置10が再生する立体動画が適切に同期制御されているので、再生用PC15同士の同期精度が低くなったとしても、立体動画は破綻せず、適切に表示することができる。
<第1の実施の形態の変形例>
<第1の実施の形態の変形例>
次に、本実施の形態に係る立体像表示装置の変形例を説明する。なお、上記第1の実施の形態に係る立体像表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図22は、その変形例を示している。図2(A),図2(B)では空間光変調器3として、透過型のものを用いた光学系の構成例を示したが、空間光変調器3として反射型のものを用いても良い。反射型の空間光変調器3Aとしては、例えば反射型の液晶表示装置や、DMD(Digital MicromirrorDevice)を用いた表示装置などがある。
この第1の変形例に係る3次元表示装置は、光軸上にビームスプリッタ7を備えている。ビームスプリッタ7は、偏光成分の違いにより光を透過または反射させる機能を有している。ビームスプリッタ7は、照明光70を反射型の空間光変調器3Aに向けて反射する。また、空間光変調器3Aからの反射光を透過する。なお、光源1および照明光学系2は、図2(A),図2(B)の構成と同様のものを用いることができる。それ以外の構成も、図2(A),図2(B)の構成と同様であり、光学系の条件も同様である。
[第2の実施の形態]
[第2の実施の形態]
次に、本発明の第2の実施の形態に係る3次元画像表示システムについて説明する。上記第1の実施の形態では、空間光変調器3として2次元空間光変調器を使用した場合の構成について説明したが、本実施の形態は、空間光変調器3に代えて、1次元映像を生成する1次元空間光変調器を用いた3次元表示装置に関するものである。
図23は、その3次元表示装置の一構成例を示している。この3次元表示装置は、1次元空間光変調器としてのGLV(Grating Light Valve)41と、GLV41により生成された1次元映像を2次元空間に展開して2次元映像を生成する走査光学系と、2次元映像の生成面に配置され、2次元映像の画素ごとに高次回折光を生じさせる格子フィルタ45と、1次元方向に生じている回折光を2次元方向に拡散させる異方性拡散フィルタ46とを備えている。走査光学系は、GLV41側から順に、走査用の第1のレンズ系42と、ガルバノミラーやポリゴンミラーなどからなる偏光器43と、走査用の第2のレンズ系44とを有している。GLV41による1次元映像の生成方向は横方向であり、走査光学系による走査方向は、格子フィルタ45上において図示したように縦方向Y1となる。ただし、GLV41による1次元映像の生成方向を縦方向、走査光学系による走査方向を横方向にしても良い。
この3次元表示装置はさらに、格子フィルタ45に形成された2次元映像における空間周波数に対するフーリエ変換像を形成する第1のレンズL11と、フーリエ変換像を空間的かつ時間的にフィルタリングする空間フィルタ14と、格子フィルタ45に形成された2次元映像の実像(逆フーリエ変換像)15を形成する第2のレンズL12と、空間フィルタ14によりフィルタリングされたフーリエ変換像の共役像を形成する第3のレンズL13とを備えている。第1のレンズL11、空間フィルタ14、第2のレンズL12、および第3のレンズL13の構成および作用は、図2(A),図2(B)における第1のレンズL1、空間フィルタ4、第2のレンズL2、および第3のレンズL3と同様である。なお、図23においてf4〜f8は、その部分のレンズ成分の焦点距離を示す。
GLV41は、同一ライン上に配列された複数のリボン状ミラー(以下、単にリボンという)からなり、電圧印加によりリボンの位置変位により回折格子化し、得られる回折光の振幅変調を行うことにより任意の1次元光信号を得ることができるものである。GLV41は、±1次の回折光を信号光として出射するようになっている。GLV41は、一次元の光回折器として機能する。
本発明による3次元表示装置を実施する場合において、空間光変調器として1次元のものを用いる場合、2次元空間光変調器を用いる場合との違いは、第1に、同時に取り出すことのできる映像が1次元であることから、2次元映像を生成するために1次元映像を2次元映像に空間的に展開するための光学系が必要である点である。第1のレンズ系42、偏光器43および第2のレンズ系44からなる走査光学系は、この役割を担っている。第2の相違点として、1次元空間光変調器を用いる場合、同時に取得できる映像が1次元であることから回折も1次元空間において起こる。このことから、得られる1次元空間に対して鉛直方向に拡散させることを目的とした光学系が必要となる。異方性拡散フィルタ46は、この役割を担っている。第3の相違点として、GLV41は±1次回折光を信号光とすることから、さらに高次の回折光を用いるためには、信号光から生成される画像に対して、振幅型もしくは位相型のフィルタを2次元展開された面に配置することで新たに回折光を生成することが必要となる点である。格子フィルタ45は、この役割を担っている。第4の相違点として、GLV41が同時に出力する光信号が1次元であることから、空間フィルタにおける開口の並べ方は1次元,2次元のいずれであっても良い。
この3次元表示装置では、GLV41により生成された±1次回折光からなる1次元映像が、走査光学系により2次元的に展開され、その展開された2次元映像が格子フィルタ45上に得られる。格子フィルタ45では、その2次元映像の各画素ごとに高次の回折光を生成する。その後の空間フィルタ14でのフィルタリング動作は、上記第1の実施の形態と同様である。
なお、3次元画像表示システムとしての全体構成は、上記第1の実施の形態(図1)と同様である。
[第3の実施の形態]
[第3の実施の形態]
次に、本発明の第3の実施の形態に係る3次元画像表示システムについて説明する。上記第1の実施の形態では、視差画像がバイナリ映像である場合について説明したが、本発明は、視差画像が2ビット以上の階調(グレースケール)を有する場合にも適用可能である。この場合、各再生用PC15の画像信号発生部12において、1フレームを複数のビットプレーン群に分割すると共に、各ビットプレーン群が2以上のビットプレーンで構成された画像信号を出力するようにすればよい。そして、各ビットプレーン群内に、少なくとも1つの視差画像の情報を割り当て、各ビットプレーン群内で階調表現を行うようにすれば良い。各ビットプレーン群の表示期間は互いに等しく設定する。なお、上記第1の実施の形態では、1つのビットプレーン群に1つのビットプレーンが割り当てられ、かつ1つのビットプレーンに1つの視差画像の情報が割り当てられていたと考えることができる。
図24(C)は、各視差画像につき、2ビットで4階調のグレースケールを実現する場合のビットプレーンの配置を示している。この場合、1フレームが4つのビットプレーン群で構成されると共に、各ビットプレーン群が表示期間の異なる2つのビットプレーンを有している。例えば、表示期間の異なるR0とR1とからなる2つのビットプレーンで1つのビットプレーン群が構成されている。なお、図24(A)は、照明光を照射する期間のパルス波形を示し、図24(B)は1視差画像を1ビットの階調(2階調)で表示する場合のビットプレーンの配置の例を示している。なお、図24(B),図24(C)では、画像信号発生部12の第1の信号出力部(DVI1)から出力される信号についての波形を示しているが、第2の信号出力部(DVI2)についても同様である。また、図24(B),図24(C)には、Rチャネルしか描かないが、GチャネルとBチャネルでも同様である。図24(C)のような配置とすることで、1つのDVIのRチャネルにき、1フレーム内に4階調のグレースケールで表現された4つの視差画像の情報が含まれて出力される。R,G,B、24ビットのカラー画像にビットプレーンを割り振るとすれば、1つのDVIにき、1フレーム内に4×3=12個の視差画像の情報が含まれて出力される。画像信号発生部12全体(2つのDVI)としては、24の視差画像の情報が含まれて出力される。
このような諧調付きの視差画像を使用することにより,より臨場感のある立体動画を再生することができる。
[第4の実施の形態]
[第4の実施の形態]
上記各実施の形態では、視差画像が単一色である場合について説明したが、本発明は、視差画像を複数色で表示する場合(カラー表示)にも適用可能である。
すなわち、上記各実施の形態では、Rチャネル、Gチャネル、およびBチャネルのビットプレーンをすべて別々の視差画像に割り振るようにしたが、通常のカラー画像と同様にRチャネル、Gチャネル、およびBチャネルのビットプレーンをカラー画像としてのビットプレーンとして使用するようにすれば良い。
なお、カラー表示を行う場合、各3次元表示装置10において、複数色の照明光を発生する必要がある。図25は、カラー表示用の照明光学系の第1の構成例を示している。光源1の波長帯域は広帯域に及ぶものとする。図25の構成例は、広帯域の光から狭帯域の光を複数取り出す場合の光学系の構成に関するものである。これにより、カラー画像表示を行う場合における照明光を生成することができる。この構成例の場合、各3次元表示装置10において、照明光学系2における最終レンズL10の出射側に、ダイクロイックプリズム9と、1つの狭帯域フィルタ8Gとを配置する。ダイクロイックプリズム9は、例えば赤色光R、青色光Bを別々の方向に反射すると共に、緑色光Gを含む光線を透過する。ダイクロイックプリズム9における緑色光Gを含む光線の出射側に、緑色光Gを分別・選択する狭帯域フィルタ8Gが配置されている。
図26は、カラー表示用の照明光学系の第2の構成例を示している。この構成例も、図25の構成例と同様、広帯域の光から狭帯域の光を複数取り出す場合の光学系の構成に関する。この構成例の場合、各3次元表示装置10において、照明光学系2における最終レンズL10の出射側に、ダイクロイックプリズム9Aと、2つの狭帯域フィルタ8R,8Bを備えている。ダイクロイックプリズム9Aは、例えば赤色光R、および青色光Bを含む光線を別々の方向に反射すると共に、緑色光Gを透過する。ダイクロイックプリズム9Aにおける赤色光Rを含む光線の出射側に、赤色光Rを分別・選択する狭帯域フィルタ8Rが配置されている。また、ダイクロイックプリズム9Aにおける青色光Bを含む光線の出射側に、青色光Bを分別・選択する狭帯域フィルタ8Bが配置されている。
なお、図25および図26の照明光学系を用いてカラー画像表示を行う場合には、さらに、折り曲げ光学系、および合成光学系を備え、カラー画像の構成要素たる波長帯域からなる複数の照明光に対する複数の空間光変調器3に各色光を照明する。また、空間光変調器3と空間フィルタ4とを各色光ごとに空間的かつ時間的に制御する。
なお、カラー画像表示を行う場合における照明光の生成方法は、図25および図26に示したものに限定されない。例えばダイクロイックプリズムと狭帯域フィルタとの波長選択特性によって、他の構成(狭帯域フィルタを配置する位置を変える等)もあり得る。
[第5の実施の形態]
[第5の実施の形態]
次に、本発明の第5の実施の形態について説明する。なお、上記第1の実施の形態に係る3次元画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。上記第1の実施の形態では、各再生用PC15で再生される画像に制御情報(フレームの識別信号)を含め、その制御情報に基づいて、各3次元表示装置10に設けられた外部制御回路14が立体動画再生のための同期制御を行うようにしたが、この制御をモニタ用PC200側の制御回路214で行うようにしても良い。
図27は、本実施の形態に係る3次元画像表示システムの一構成例を示している。本実施の形態では、図1の外部制御回路14に変えてモニタ用PC200側の制御回路214が、立体動画再生のための同期制御を行う機能を有している。それ以外の部分の構成は、基本的に上記第1の実施の形態と同様である。
図28(A)〜図28(E)を参照して、本実施の形態において、動画フレームの同期を取るための制御の具体例を説明する。図28(A)は、モニタ用PC200から同期制御のために出力される制御用のフレーム画像の一例を示している。これは、図9(A)に示した再生用PC15からの出力に基づくフレーム画像F1〜F5に対応したフレーム画像である。ただし、モニタ用PC200では実際の視差画像を再生する必要はなく、再生用PC15でのフレームレート(第1のフレームレート)と同期が取れていれば任意の画像でよい。図28(A)の例では、5フレームに一回の割合で黒い画面に1本の白い横線のある画像を再生している。1本の白い横線を、図9(A)における1ピクセルの画素400と同様、制御情報(フレームの識別情報)として使用する。図9(A)の場合と同様、1セットのフレーム画像F1〜F5のうち、5番目のフレーム画像F5に識別情報(1本の白い横線)を埋め込む。そのほかの4フレームF1〜F4は例えば単なる黒い画面にしておく。
図28(B)は、モニタ用PC200から出力されるフレーム画像における垂直同期信号(V−Sync信号)のパルス波形を示している。図28(C)は、モニタ用PC200で再生される画像に含まれる同期パルス(識別信号)RSの信号波形を示している。
図28(D)は、制御回路214において識別信号RSを検出するための信号波形を示している。また、図28(E)は、3次元表示装置10において動画フレームの頭出しを行うための頭出し信号FSの信号波形を示している。制御回路214は、モニタ用PC200で再生される画像に含まれる識別信号RSを検出すると共に、検出した識別信号RSに基づいて、各3次元表示装置10において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号FSを生成する。なお、図9(E)において、頭出し信号FS1は、識別信号RSに基づいて生成された信号であり、他の頭出し信号FS2は、制御回路214自身の内部クロックにより生成した信号である。
図28(D)は、制御回路214において識別信号RSを検出するための信号波形を示している。また、図28(E)は、3次元表示装置10において動画フレームの頭出しを行うための頭出し信号FSの信号波形を示している。制御回路214は、モニタ用PC200で再生される画像に含まれる識別信号RSを検出すると共に、検出した識別信号RSに基づいて、各3次元表示装置10において多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号FSを生成する。なお、図9(E)において、頭出し信号FS1は、識別信号RSに基づいて生成された信号であり、他の頭出し信号FS2は、制御回路214自身の内部クロックにより生成した信号である。
3次元表示装置10は、制御回路214が生成した頭出し信号FSに基づいて動画フレームの頭出しを行う。これにより、各再生用PC15でのフレームレート(第1のフレームレート)とは異なる第2のフレームレートで多視差立体動画表示を行うことができる。同期制御の原理は、基本的に上記第1の実施の形態と同様である。
[その他の実施の形態]
[その他の実施の形態]
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば、各再生用PC15の画像信号発生部12において、1つのビットプレーンに空間的に2以上の視差画像の情報が割り当てられた信号を出力するようにしても良い。そして、空間光変調器3が、複数の視差画像を、時間的、かつ空間的に分割して順次再生するよようにしても良い。
また、上記各実施の形態の説明では、5フレームに1回の割合で制御情報を付加するようにしたが、制御情報を付加する割合は、この割合に限らず、制御の内容や立体動画のフレームレート等に応じて適宜変更可能である。すなわち、制御情報は1または任意の複数のフレームごとに付加することが可能である。
L1…第1のレンズ、L2…第2のレンズ、L3…第3のレンズ、1…光源、2…照明光学系、3(3−1,3−2)…空間光変調器(SLM)、4…空間フィルタ、10(10−1,10−2,10−3,10−4,10−5,10−6)…3次元表示装置、11…画像データ記憶部、12…画像信号発生部、13…同期制御部、14(14−1,14−2,14−3,14−4,14−5,14−6)…外部制御回路、15(15−1,15−2,15−3,15−4,15−5,15−6)…再生用PC、200…モニタ用PC、201…LAN、214…制御回路、215…モニタ用スクリーン。
Claims (5)
- 1フレーム内に複数の視差画像が含められた2次元画像を第1のフレームレートで再生する多視差画像再生装置と、
所定数の視差画像からなる多視差画像を立体動画の1フレームとし、前記多視差画像再生装置によって再生された複数の視差画像に基づいて第2のフレームレートで多視差立体動画表示を行う3次元表示装置と
を備え、
前記多視差画像再生装置は、1または複数のフレームごとに、前記視差画像に制御情報を含めた画像を再生し、
前記3次元表示装置は、前記視差画像に含められた制御情報に応じた制御を行って前記多視差立体動画表示を行う
ことを特徴とする3次元画像表示システム。 - 前記多視差画像再生装置によって再生された画像から前記制御情報を検出し、前記制御情報に基づいて前記3次元表示装置を制御する外部制御回路をさらに備えた
ことを特徴とする請求項1に記載の3次元画像表示システム。 - 前記多視差画像再生装置は、所定数の複数のフレームごとに、前記制御情報としてフレームを識別する識別信号を含めた画像を再生し、
前記外部制御回路は、前記識別信号に基づいて前記3次元表示装置において前記多視差立体動画表示の動画フレームの頭出しを行うための頭出し信号を生成し、
前記3次元表示装置は、前記頭出し信号に基づいて動画フレームの頭出しを行うことで、前記第1のフレームレートとは異なる第2のフレームレートで前記多視差立体動画表示を行う
ことを特徴とする請求項2に記載の3次元画像表示システム。 - 前記3次元表示装置は、
所定数の視差画像をそれぞれ空間中の異なる位置に投射する複数のプロジェクタ、または複数のプロジェクタと等価な投射手段を有し、
前記外部制御回路は、前記制御情報に基づいて、前記複数のプロジェクタ、または前記投射手段による投射タイミングの制御を行う
ことを特徴とする請求項2に記載の3次元画像表示システム。 - 前記多視差画像再生装置は、
1フレームが複数のビットプレーン群に分割されると共に、前記各ビットプレーン群が1または2以上のビットプレーンで構成され、前記各ビットプレーン群に少なくとも1つの視差画像の情報が割り当てられることにより、1フレーム内に複数の視差画像の情報が含められた画像信号を出力する信号発生部と、
前記信号発生部から出力された前記画像信号に基づいて、複数の視差画像を1フレーム内で時間的に分割して順次再生する画像形成部とを有し、
前記3次元表示装置は、
前記画像形成部によって再生された前記各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う
ことを特徴とする請求項1に記載の3次元画像表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007026760A JP2008191472A (ja) | 2007-02-06 | 2007-02-06 | 3次元画像表示システム |
US12/025,960 US8174565B2 (en) | 2007-02-06 | 2008-02-05 | Three-dimensional image display system |
US13/422,848 US20120176484A1 (en) | 2007-02-06 | 2012-03-16 | Three-dimensional image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007026760A JP2008191472A (ja) | 2007-02-06 | 2007-02-06 | 3次元画像表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008191472A true JP2008191472A (ja) | 2008-08-21 |
Family
ID=39675770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007026760A Pending JP2008191472A (ja) | 2007-02-06 | 2007-02-06 | 3次元画像表示システム |
Country Status (2)
Country | Link |
---|---|
US (2) | US8174565B2 (ja) |
JP (1) | JP2008191472A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101773191B1 (ko) | 2010-12-15 | 2017-08-30 | 엘지디스플레이 주식회사 | 영상표시장치 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090015917A1 (en) * | 2007-06-27 | 2009-01-15 | Sony Corporation | Three-dimensional image display apparatus |
US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
JP4637942B2 (ja) * | 2008-09-30 | 2011-02-23 | 富士フイルム株式会社 | 3次元表示装置および方法並びにプログラム |
US20110216266A1 (en) * | 2010-03-02 | 2011-09-08 | Microsoft Corporation | Wedge backlight with diffraction grating |
US9049426B2 (en) * | 2010-07-07 | 2015-06-02 | At&T Intellectual Property I, Lp | Apparatus and method for distributing three dimensional media content |
CN102378016A (zh) * | 2010-08-20 | 2012-03-14 | 纬创资通股份有限公司 | 根据不同视角播放相对应的立体影像的方法及其处理*** |
LU91737B1 (en) * | 2010-09-17 | 2012-03-19 | Iee Sarl | Lidar imager |
JP2012103980A (ja) * | 2010-11-11 | 2012-05-31 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP4929395B1 (ja) * | 2010-12-20 | 2012-05-09 | 株式会社東芝 | 画像表示装置 |
WO2013179539A1 (ja) * | 2012-05-28 | 2013-12-05 | パナソニック株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP6168794B2 (ja) * | 2012-05-31 | 2017-07-26 | キヤノン株式会社 | 情報処理方法および装置、プログラム。 |
JP2014007648A (ja) * | 2012-06-26 | 2014-01-16 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
CN103260042B (zh) * | 2013-04-26 | 2016-08-10 | Tcl商用信息科技(惠州)股份有限公司 | 一种立体图像合成方法及装置 |
ES2965929T3 (es) * | 2013-07-30 | 2024-04-17 | Dolby Laboratories Licensing Corp | Sistemas de visualización de proyector que tienen direccionamiento no-mecánico de haz de espejo |
US10395614B2 (en) * | 2017-06-22 | 2019-08-27 | Shenzhen China Star Optoelectronics Technology Co., Ltd | Common voltage generating circuit and LCD |
US11215827B1 (en) | 2017-06-30 | 2022-01-04 | Snaps Inc. | Eyewear with integrated peripheral display |
CN110286516B (zh) * | 2019-08-02 | 2024-02-20 | 成都工业学院 | 一种狭缝节距可变的立体显示装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004032273A (ja) * | 2002-06-25 | 2004-01-29 | Sony Corp | 画像表示システム及び画像表示方法、並びに画像表示装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4528587A (en) * | 1982-10-28 | 1985-07-09 | Cjm Associates | Three-dimensional video apparatus and methods using composite and mixed images |
US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7170492B2 (en) * | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
KR101545510B1 (ko) * | 2008-12-24 | 2015-08-20 | 삼성전자주식회사 | 프레임 속도 조절이 가능한 2차원 영상 또는 3차원 영상 디스플레이 방법 및 장치 |
-
2007
- 2007-02-06 JP JP2007026760A patent/JP2008191472A/ja active Pending
-
2008
- 2008-02-05 US US12/025,960 patent/US8174565B2/en not_active Expired - Fee Related
-
2012
- 2012-03-16 US US13/422,848 patent/US20120176484A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004032273A (ja) * | 2002-06-25 | 2004-01-29 | Sony Corp | 画像表示システム及び画像表示方法、並びに画像表示装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101773191B1 (ko) | 2010-12-15 | 2017-08-30 | 엘지디스플레이 주식회사 | 영상표시장치 |
Also Published As
Publication number | Publication date |
---|---|
US20080186308A1 (en) | 2008-08-07 |
US8174565B2 (en) | 2012-05-08 |
US20120176484A1 (en) | 2012-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008191472A (ja) | 3次元画像表示システム | |
JP3942789B2 (ja) | 背景付き立体像再生装置 | |
US7513623B2 (en) | System and methods for angular slice true 3-D display | |
KR101398150B1 (ko) | 3차원 표현의 재구성물을 생성하기 위한 헤드 장착형 디스플레이 장치 | |
JP4133832B2 (ja) | カラー動画ホログラフィ再生装置 | |
Benzie et al. | A survey of 3DTV displays: techniques and technologies | |
US8075138B2 (en) | System and methods for angular slice true 3-D display | |
US6595644B2 (en) | Dynamic time multiplexed holographic screen with 3-D projection | |
CN102073264B (zh) | 分时复用计算全息三维显示***及其显示方法 | |
JP2008512698A (ja) | コンピュータが生成したビデオホログラムを符号化及び再構成する方法及び装置 | |
RU2650086C1 (ru) | Устройство отображения голографических изображений и способ функционирования блока управления, содержащегося в нем | |
JP3081589B2 (ja) | 三次元表示方法および装置 | |
JP2007041504A (ja) | 3次元像表示装置 | |
JP2010079514A (ja) | 画像出力装置および3次元画像表示システム | |
WO2015020037A1 (ja) | 電子ホログラフィ再生装置 | |
JP2023524901A (ja) | 表示装置、システム、および方法 | |
JPH08334730A (ja) | 立体像再生装置 | |
JP2008193480A (ja) | 多視差画像再生装置および多視差画像再生方法、ならびに3次元画像表示システム | |
JP2003015079A (ja) | 立体像表示方法及び表示装置 | |
JP2001056450A (ja) | 光フィルターを用いた立体像再生装置 | |
CN105573095A (zh) | 电子设备及其显示处理方法 | |
JP2007199587A (ja) | 3次元像表示装置 | |
JP2007221434A (ja) | 画像再生装置 | |
JP2000347132A (ja) | 画像表示装置および画像表示方法 | |
Balasubramanian | On the realization of constraint-free stereo television |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130402 |