JP2004177709A - Stereoscopic picture display device and stereoscopic picture display method - Google Patents

Stereoscopic picture display device and stereoscopic picture display method Download PDF

Info

Publication number
JP2004177709A
JP2004177709A JP2002344490A JP2002344490A JP2004177709A JP 2004177709 A JP2004177709 A JP 2004177709A JP 2002344490 A JP2002344490 A JP 2002344490A JP 2002344490 A JP2002344490 A JP 2002344490A JP 2004177709 A JP2004177709 A JP 2004177709A
Authority
JP
Japan
Prior art keywords
display
display device
image
pixel
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002344490A
Other languages
Japanese (ja)
Other versions
JP3906146B2 (en
Inventor
Kazuki Taira
和 樹 平
Yuzo Hirayama
山 雄 三 平
Takeshi Ito
藤 剛 伊
Rieko Fukushima
島 理恵子 福
Masahiko Akiyama
山 政 彦 秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002344490A priority Critical patent/JP3906146B2/en
Publication of JP2004177709A publication Critical patent/JP2004177709A/en
Application granted granted Critical
Publication of JP3906146B2 publication Critical patent/JP3906146B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily display a full-motion moving picture and to obtain a stereoscopic picture having high resolution. <P>SOLUTION: The stereoscopic picture display device is equipped with a display surface 2 having a curved surface in a projected state as seen from an observer, a bundle-of-rays allotting means 32 provided on the front or the back of the display surface, having a curved surface where a plurality of aperture parts 32a are formed or lenses are formed in an array state and allotting the bundle of rays from a plurality of pixels on the display surface to the respective aperture parts or lenses, and two-dimensional pattern display means 2 and 20 for displaying a two-dimensional pattern on the display surface. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は立体画像を表示することが可能な立体画像表示装置及び立体画像の表示方法に関する。
【0002】
【従来の技術】
2次元平面表示装置を用いて立体画像を表示する手法はこれまでに数多く提案されている。例えば、偏光など光学的分離手段を用いて右眼用の画像と左目用の画像を時間的あるいは空間的に重畳して表示するステレオスコープ(2眼式)が良く知られている。ステレオスコープは左右両眼の視差画像、即ち2視差のみの画像を表示するため、視点を変えても画像が変化せず運動視差を生じないこと、輻輳と調節が自然視と矛盾する視野闘争の問題などが指摘されている。
【0003】
ステレオスコープに対し、多数の視差画像を表示するインテグラルフォトグラフィ法(以下IP法)或いは光線再生法と呼ばれる、立体像を何らかの方法で記録しこれを立体像として再生する方法が知られている(例えば、特許文献1および特許文献2参照)。インテグラルフォトグラフィ法は、例えば図38に示すように、ある観察方向から見た場合の画像情報を2次元画像表示装置230に多数表示しておき、表示面の前面に設けたスリット、ピンホール、マイクロレンズ、あるいはレンチキュラーレンズなどの開口部232aと遮蔽部232bとを有するアレイ板232越しに画像を観測者100が観察することで、観察方向に応じた立体画像99が表示されるものである。あるいは、透過型LCD(Liquid Crystal Display)のように背面に光源を設けて透過表示を行なう表示装置を用いる場合は、開口部と遮蔽部を有するアレイを光源側に設け、光線発生方向を特定の方向に制限することにより観察方向に応じた立体画像を表示する場合もある。IP法は多視差表示が可能なため、運動視差が生じるに留まらず、立体像を再生する光線が、実物体が実際に配置された場合と同様の経路を辿るため、闘争視野の問題も生じない点で優れている。
【0004】
ところで、視差画像を作成し開口部越しに各画素情報として視差画像を表示する方法には、大別して立体像を再生する光線を画素側から発生させることによって画像マッピングを行なう方法と、観測者の視点位置から画素に向けて光線を逆トレースすることにより画像マッピングを行なう方法の2種類が挙げられる。ここでは、前者の方法を用いて画像マッピングする場合をIP法とし、後者の方法を多視差のステレオスコープ、パララックスバリア法と呼んで区別することにする。IP法を用いた画像マッピングの一例を図39に示す。スリット部232に多数並んでいるスリット232aの列(スリット番号A〜E)に対し、複数列の画素7からなる画素の組16が割り当てられている。図39では、1つのスリットについて3つの画素が割り当てられており(視差番号1〜3)、観測者300はスリット部232越しに各々の画素7を観察することになる。ここで、スリット列と画素列のピッチを一定とし、画素ピッチと視差数の積をPl、スリットのピッチをPsとする。ここで、Pl=Psとすると、画素を光源としてスリット232aを通過する光線310は、同じ視差番号を持つ画素について平行となるため、光線群として3種類の光線方向(α、β、γ)に分類される。光線310と仮想的に配置されたオブジェクト299が交差する点における、オブジェクト299の観測者300側から見た側のテクスチャ、即ちカラー信号値を光線が出射した画素に表示することで、画像マッピングが行なわれる。ここで、光線群の数は画素列の数に等しく、図39では3つの画素が1つの組となっているため視差数は3である。従って、3方向の平行な光線群を、スリット232aの中央部を通過するように発生させ、オブジェクトとの交点を求めることになる。これは、3つの視線方向から平行投影によって得られた3種類の平面画像を合成することに相当する。この画像マッピングによって得られる表示画像のスリット番号と視差番号、光線方向の対応を図40に示す。各スリット番号における視差番号と光線方向番号は、1とα、2とβ、3とγのように固定的な対応関係となっている。
【0005】
一方、パララックスバリア法による画像マッピングの一例を図41に示す。この方法においては、観測者300の視点位置312(α’、β’、γ’)を初めに与え、視点位置312から光線を実際の進行方向とは逆向きに発生させて、スリット232aを通過し画素7の列に至る放射状の光線群とオブジェクトの交点から、画素に表示すべきカラー信号値が求められる。従って、得られる3種類の平面画像は、α’、β’、γ’の視点位置から透視投影で見た画像である。図42に表示画像のスリット番号と視差番号、視点位置の対応を示す。各画素からある視点位置に向けて発生する光線の方向は平行ではなく、視点位置を等ピッチに設定することでスリットの設置位置とスリットピッチが決定される。このとき、視点位置に集光する条件からPs<Plとなっていることが特徴である。
【0006】
以上のように、平面型表示装置を用いてIP法により立体画像を表示させる方法は、Ps=Plの条件下で、平行投影による画像マッピングが特徴であるといえる。なお、ここでは簡単の為に1次元方向に視差情報を有する場合について説明したが、画面の上下左右即ち2次元方向に視差情報を有する場合においても同様である。2次元視差情報を扱う場合は、図38、図41におけるスリット232はピンホール、図40、図42における短冊状の視差情報が並んだ表示画像は上下方向にも視差情報を有する2次元配列からなる。
【0007】
一方、立体画像を360°方向全周囲について立体画像の視認が可能な全周囲型の立体画像表示を得ようとする試みが幾つか行われている。IP法に基づき、電気的に立体画像を表示する方式としては、例えば、1次元LED(Light Emitting Diode)アレイを円筒型スリットの内部で機械的に走査する方法が提案されている(例えば、非特許文献1参照)。
【0008】
また、曲率を有する画像シートにレンチキュラーレンズ板を取り付けたレンチキュラーディスプレイ装置(例えば、特許文献3参照)が開示されている。
【0009】
【特許文献1】
特開平10−239785号公報
【特許文献2】
特開2001−56450公報
【非特許文献1】
電子情報通信学会論文誌、Vol.J84−D−II NO.6 (2001) pp.1003−1011
【特許文献3】
特開平11−109287号公報
【0010】
【発明が解決しようとする課題】
従来、提案された第1の方式では、LEDアレイを用いるため、低い解像度の立体画像しか得られないという問題が生じる。また、機械的走査を用いるので60Hz表示のフルモーション動画表示は走査周波数が高くなり実現が困難である。例えば、1フレームを表示するのに1回転の走査を必要とすると、60Hz表示を実現するには3600rpmの回転速度が必要となる。また、仮に回転機構部に複数のLEDアレイを設けることによって、1フレーム表示に要する回転角を1回転以下としたとしても、LEDアレイ間の位置決め精度あるいは発光タイミングの制御、安定な回転速度の維持が求められるなど、解決すべき課題は多い。また、円筒形状以外の走査、例えば球面形状での走査は表示位置に対し角速度の変化が生じるため、上記課題の解決が難しいという問題が生じる。
【0011】
また、従来提案された第二の方式では、画像シートは印刷画像であり、固定画像表示にしか対応していない。例えば、第二の方式を発展させ、画像表示装置を用いてカラー表示を行なう場合、RGBの三原色カラー画素を空間的に並列配置する必要があるが、上記従来例においては、画素配列と画像データの関係が規定されておらず、具体的な画像作成方法も開示されていない。
【0012】
更には、後述するように、曲率を有する立体画像表示装置においては、表示画像を作成する際の画像マッピングにおいて、光線方向あるいは視線方向が視差の周期を持たないため、平面型の場合に比べ撮影コストあるいは計算コストが非常に大きくなるという課題を有する。
【0013】
本発明は、上記事情を考慮してなされたものであって、表示すべき立体画像の画像マッピングが効率的に行なえ、フルモーション動画表示が容易な立体画像表示装置を提供し、更には視点位置を変えても立体画像が破綻せず、高い解像度で立体画像を表示することができる立体画像の表示方法を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明の一態様による立体画像表示装置は、観測者から見て凸状の曲面を有する表示面と、表示面の前面あるいは背面に設けられ、複数の開口部が形成されるかあるいはレンズがアレイ状に形成された曲面を有し、前記開口部あるいは前記レンズのそれぞれに前記表示面の複数の画素からの光線束が割り当てられる光線束割り当て手段と、2次元パターンを前記表示面に表示する2次元パターン表示手段と、を備えていることを特徴とする。
【0015】
なお、前記表示面及び2次元パターン表示手段が直視型の2次元マトリクス表示デバイスであり、前記表示面及び前記光線束割り当て手段が円筒状を成していても良い。
【0016】
なお、前記2次元パターン表示手段の曲率半径をr、前記画素ピッチをP、前記光線束割り当て数をn、前記複数の開口部あるいはレンズアレイを有する曲面と前記2次元パターン表示手段間の距離をd、Srminを次式で表される値とすると、
【数2】

Figure 2004177709
立体画像の表示位置は、前記曲率中心から前記立体画像までの距離は、Srmin以下となるように表示されることが望ましい。
【0017】
加えて、前記立体画像の表示位置を前記曲率中心からd+r−1/{1/[dn(1+d/r)]−1/(L−d−r)}以上の距離に表示することが望ましい。
【0018】
なお、前記2次元パターン表示手段の曲率半径をr、前記画素ピッチをP、前記光線束割り当て数をn、前記複数の開口部あるいはレンズアレイを有する曲面と前記2次元パターン表示手段間の距離をd、i、jを自然数とするとき、dとrの比d/rがsin[(i・n+j)P/r]/sin(i・n・P/r)−1の値に設定されることが望ましい。
【0019】
なお、前記表示面が透過型スクリーン、2次元パターン表示手段が投影型表示装置であり、前記表示面及び前記光線束割り当て手段が半球状を成していても良い。
【0020】
更に、前記表示面と前記2次元パターン表示手段における座標が正射影の関係にあることが望ましい。
【0021】
なお、前記表示面の法線方向を中心として所定の角度範囲内にのみ画像が表示されるよう、表示面の前面あるいは背面に視角制限手段を設けても良い。
【0022】
【発明の実施の形態】
以下、本発明の実施形態を、図面を参照して詳細に説明する。但し、本発明の構成は以下に述べる実施形態にとどまるものではなく、実施形態において述べた構成の各部をさまざまに組み合わせた形態をとることが可能であることはいうまでもない。また、説明の簡略化のため、複数の図に渡って同一部材については同一の番号を付与した。
【0023】
(第1実施形態)
本発明の第1実施形態による立体画像表示装置の構成を図1に示す。本実施形態の立体画像表示装置は、表示面が円筒形状の曲面を有する2次元画像表示デバイス2と、柱状光源20と、透明なパイプ形状部材30と、スリット部32とを備えている。本実施形態においては、2次元画像表示デバイス2として、透過型液晶表示装置(以下、LCD(Liquid Crystal Display)ともいう)が用いられる。LCD2の円筒の中心軸に沿ってバックライトとなる柱状光源20が設置され、LCD2を背面から照明する。また、LCD2の表示面の前面にはこの表示面を取り囲むように透明なパイプ形状部材30が設けられている。このパイプ形状部材30の外周にはスリット部32が印刷されている。なお、パイプ形状部材30は、LCD2の曲率を保持する役割も担っている。スリット部32は、開口部となるスリット32aと、遮光部32bとから構成される。本実施形態においては、スリット部32を介してLCD2に仮想表示されたオブジェクト99を観察することにより立体画像を視認することが可能となる。
【0024】
図1に示した第1実施形態の立体画像表示装置の断面を図2に示す。LCD2は通常の平面状のLCDと同様、2枚の透明基板4、8のうち、少なくとも一方の明基板に画素構造が形成されており、透明基板間に液晶層6が挟持されている。透明基板4、8の前後には偏光板10a、10bが貼り付けられている。LCD2は可撓性を有し、丸めることによって円筒形状としているため、画像を表示できない継ぎ目14が発生する。図2では1枚のLCDを円筒状に加工したため、継ぎ目14は一箇所となっているが、複数箇所の継ぎ目を許容すればパネルを複数枚繋ぎ合わせ、大きな曲率半径を得ることも可能である。なお、LCD2を駆動する駆動ドライバに信号を供給するための配線は、円筒の上部あるいは下部から引き出されており(図示せず)、継ぎ目14の部分に相当する端面には配線引き出し部を設けない。このような構造はLCD2の紙面に対して垂直方向に配列している行方向配線(ゲート線)を選択する駆動ドライバ(Yドライバ)に低温ポリシリコン薄膜トランジスタを用いることで可能となる。
【0025】
可撓性を有するLCD2の断面構造の一例を図3に示す。透明基板4は、ガラス基板4aと透明ポリマー基板4bとの2層構造であり、透明基板8は、ガラス基板8aと透明ポリマー基板8bとの2層構造となっている。ガラス基板4a、8aの厚みは100μm程度以下に薄型化されている。
【0026】
本構造のLCD2の形成は、まず、通常の厚さ0.7mm〜1.1mmを有するガラス基板8a上に、通常のLCD形成プロセスに従って薄膜トランジスタ7a、画素開口部を形成する透明画素電極7bを有する画素構造7を形成する。そして、画素構造7が形成されたガラス基板8aと図示しない透明対向電極が形成されたガラス基板4aとをスペーサ5によりギャップを均一に保ちつつ周辺部を紫外線硬化樹脂により接着する。続いて、液晶材料を注入、封止して液晶層6をガラス基板4a、8a間に設ける。その後、ガラス基板4a、8aを片面ずつ厚さが100μm程度以下となるように物理的あるいは化学的に研磨し、支持基板として複屈折性の小さい透明なポリマー基板4b、8bをそれぞれ貼り付ける。この製造プロセスに従えば、通常の画素形成プロセスを適用可能なので、ポリマー基板上に低温プロセスで直接画素を形成するよりも良好な薄膜トランジスタ特性、高い精細度を得ることが可能である。この図3に示すLCD2は、矢印12に示すように、偏光板10b側からバックライト(図示せず)からの照明光束が入射し、ポリマー基板8b、ガラス基板8a、液晶層6、ガラス基板4a、ポリマー基板4b、偏光板10aを通過する。
【0027】
このように構成されたLCD2の画素7とスリット部32のスリット開口部32aの位置及びバックライト(図示せず)から照明光として出射する光束18の対応関係を図4に示す。図4では簡単のために、画素開口部即ち透明画素電極7bの光透過領域を近似的に画素7と同一視して扱うことにする。本実施形態においては、スリット部32の各開口部32aに対して5個の画素7が割り当てられる。したがって、画素7に表示される画像情報は5視差数毎にスリット部32のスリット開口部32a越しに観察される。このため、スリット開口部32aに割り当てられる5個の画素7の組16において、画素7を透過する各光束はスリット開口部32aの中央部を通過するように画像情報が各光束に対応する画素に割り当てられることが望ましい。特に、スリット部32のスリット開口部32aを透過する光束18のうち、中央の画素17の開口部を透過する光束18aは表示面の曲率中心を透過するようにする。LCD2の画素7とスリット開口部32aの位置関係を全周囲のスリット開口部にわたって同一とするためには、スリット開口部32aのピッチPと、画素ピッチPと視差数nの積で各々描かれる弧の曲率中心及び弧の成す角が一致していることが必要である。弧の成す角が一致する条件から、スリット開口部32aのピッチPと画素ピッチPの関係は、スリット部32の曲率半径をR、画素7の曲率半径をrとすると、
/R=(n×P)/r (1)
となる。スリットが画素に対し観測者側に位置する場合、P>n×P(=Pl)となっていることが特徴である。
【0028】
次に、本実施形態の立体画像表示装置において、画像が立体的に視認できる表示範囲を、図5を参照して説明する。図5は、本実施形態の立体画像表示装置および観察者100を上面からみた模式図である。図5から分かるように、観察者100と立体画像表示装置の曲率中心とを結ぶ直線35と、上記曲率中心とスリット部32のある特定のスリット開口部32aの中心とを結ぶ直線36とのなす角をΦ、直線36と、上記スリット開口部32aの中心と観察者100とを結ぶ直線37とのなす角をθとする。観察者100が意図しない画像を見ることなく立体表示像を正しく観察できる範囲Sは、直線37がスリット開口部32aに対応する画素の組を横切る条件を満たす複数のスリット開口部32aの中で方位角Φが最大となるスリット開口部32aを選び出し、直線35に対して直交し曲率中心を通る直線と直線37の交点と曲率中心間の距離として求められる。この条件において、全周囲方向から立体表示像を観察しても立体画像表示装置の曲率中心から半径S内に矛盾なく表示することができる。図5から分かるように、立体画像表示装置の曲率中心から観測者100までの視距離をL、立体像の最大表示見込み角をψとすると、
ψ=2(θ−Φ) (2)
=L・tan(ψ/2) (3)
の関係が得られる。半径Sには最大値が存在し、この最大値は視距離Lに依存していて、視距離Lが無限大の場合に表示半径Srは最小値Srminとなり、Φ=θとなるので、画素306の曲率半径をrとして
rmin=r・sinθ (4)
となる。従って、立体表示像を破綻無く表示させるためには、立体表示像の表示位置を曲率中心からSrmin以下とすることが必要である。
【0029】
一方、本実施形態における立体表示像は、2次元画像表示デバイスにおけるスリット32を基準として前後に最大の表示解像度が得られる限界距離が存在する。本実施形態においては、スリット32の奥側に立体表示像を示すことになる。この関係を図6に示す。2次元マトリクス表示デバイス2とスリット部32の曲率中心は一致しており、画素7の曲率半径をr、スリット部32の曲率半径をRとする。また、画素7とスリット部32間のギャップをdとする。即ち、
R=r+d (5)
である。図6では、R、r≫P、Pであるため、平面的に近似して図示した。スリット部32を基準に表示像99までの距離をS、観測者100と表示像99の位置間の距離をzとおく。
【0030】
ここで、観測者100が距離zにある表示像99を観察した場合に視認できる最大解像度は、スリットピッチPを用いて、
z/((L−R)/2P) (6)
となる。
【0031】
一方、2次元マトリクス表示デバイス2が表示像99の位置において表示可能な最大解像度は、表示像99がスリット32面を基準として画素7の像が表示像99の位置に拡大表示されていると見なせるので、
/(d/(2P)) (7)
となる。表示解像度限界距離Sdmaxは、(6)と(7)が等しくなる条件から、
z/((L−R)/(2P))=Sdmax/(d/2P) (8)
となる。(8)式をスリット開口部32aの表示ナイキスト周波数(L−R)/2Pと画素ピッチの表示ナイキスト周波数d/2Pの比、
D=dP/(L−R)P (9)
を用い、更にzを消去して整理すると、
dmax=D(L−R)/(1−D) (10)
となる。
【0032】
なお、(10)式を書き直すと
1/Sdmax=1/[dn(1+d/r)]−1/(L−d−r) (11)
となる。したがって、表示像99の表示距離Sは、スリット32の位置を基準としてSdmax以下の表示距離とすることが望ましい。即ち、曲率中心を基準に取ると、立体表示像の表示半径をR−Sdmax以上とすることで、最大の表示解像度で表示可能となる。
【0033】
以上より、Sdmax+Srmin>Rの条件を満たす場合、曲率中心を基準に
R−Sdmax≦S≦Srmin (12)
で規定される距離の範囲内に表示像99を表示することで、立体画像表示装置の全周囲にわたって、立体表示が破綻することなく最大の表示解像度で立体像が表示可能となる。
【0034】
次に、図7を用いて本実施形態の表示特性及びピクセルマッピングの方法について詳細を述べる。立体画像表示装置及び観測者100はxy平面内に位置しているものとし、簡単のためz方向(紙面に対し垂直な方向)については考えない。z方向に視差を与えるなどして3次元座標での取り扱いを行なう場合は、以下の取り扱いを円筒座標系に拡張することで容易に関係式を得ることができる。
【0035】
ここで、スリット部32上のスリット開口部Q(X、Y)を考える。曲率中心(原点)と開口部Qとを結ぶ直線を考え、この直線と2次元画像表示デバイス2との交点をP(x,y)とすると、P点はスリット開口部Qの法線方向から観察した場合の視差画像情報を与える画素である。即ち、視差数をnとした場合に、画素Pは、スリット開口部Qに対応する(スリット開口部Q越しに観察すべき)画素群の中心に位置している。同様に、スリット開口部Qに対応する画素群中の任意の画素をP’(x’,y’)とする。これらQ,P,P’は図7より
Q(X,Y)=(R・cosφ,R・sinφ) (13)
P(x,y)=(r・cosφ,r・sinφ) (14)
P’(x’,y’)=(r・cos(φ+dφ),r・sin(φ+dφ)) (15)
で与えられる。また、P’(x’,y’)において表示すべき画素情報は、線分P’Qを延長して立体像と交差するS(x’’,y’’)の輝度、色度情報となる。もしも、立体像と交差しない場合は背景色を表示する。画素P’において表示された画素情報は、線分P’Qが観測者100の位置する方向であるx軸と交わる位置、L(x,0)において観測することができる。xはP’、Qからx=(X・y’−x’・Y)/(y’−Y) (16)
として与えられる。
【0036】
(3)式で定義される立体像の表示可能半径Sは、スリット開口部32aに対応する画素群の中で最も外側に位置する画素P’(x’,y’)について、最長の視距離xを与えるスリット位置Qを求めることによって得られる。画素ピッチをPとすると、
dφ=(n−1)×P/(2r) (17)
であり、Srminは視距離が無限遠、すなわちy’=Yの場合に与えられる。
従って、(15)、(17)式より
R・sinφ=r・sin(φ+(n−1)・P/(2r)) (18)
を満たすφを用いて
rmin=R・sinφ (19)
となる。ここで、φは(18)式から与えられ、変数を整理すると
【数3】
Figure 2004177709
となる。実際にはスリットピッチは有限であるから、角度φ以下の範囲でφに最も近いスリットの位置からSrminが与えられることになる。
【0037】
次に、本実施形態における画像マッピングの方法について説明する。本実施形態において立体画像として表示されるオブジェクトは、2次元マトリクス表示デバイス2の内側、曲率中心からSrminの範囲内に位置する。従って、スリット開口部32aと画素7の中心を結ぶ直線を曲率中心方向に延長し、表示オブジェクトと交差する表面テクスチャを画素の表示画像情報として表示することになる。同様に直線をスリット開口部32aから外部に向けて延長した方向が、光線出射方向であり、表示画像情報を視認できる視線方向となる。
【0038】
一例として、視差数をn=3、スリット番号をA〜Lとし、対応する光線(視線)方向番号をα1、α2、α3、β1、・・・とした図7の条件を考える。図8に2次元マトリクス表示デバイス2における表示画像のスリット番号と視差番号、光線(視線)方向の対応関係を示す。従来技術の平面型立体画像表示装置の場合である図36および図38と比較すると、平面型の場合は視差数nと同数の光線方向、あるいは視線方向から観測したn枚の画像を周期的に選択、合成すれば良いのに対し、本実施形態においては、一般的に光線(視線)方向は全て異なっており、視差数に対する周期性は無い。
【0039】
従って、本実施形態においては、n×スリット数本分の線状光線を発生させて交差判定を行なう必要がある。これは、カメラ撮影あるいはCG画像レンダリングの際に、カメラ位置あるいは視点位置を画素毎に変える必要があることを意味しており、必要なカメラ台数(撮影回数)が飛躍的に増加、あるいは補間画像生成、CGレンダリングの計算コストが平面型に比べて著しく大きいことを示唆している。
【0040】
これらの問題を軽減するための、望ましい実施形態の一例を図9に示す。図7と同様の視差数において、スリット部32と画素7間の距離dを所定の条件に設定することで、スリット番号の異なる画素間において光線方向を一致させることができる。この例では、隣接するスリット間において、視差番号が1個ずれた画素の光線方向が互いに平行光となっている。図10に、表示画像のスリット番号と視差番号、光線方向の対応関係を示す。例えば、光線方向αはスリット番号A、B、Cにおいて、それぞれ視差番号1、2、3と異なる位置の画素に割り当てられる。このような条件とすることで、画像マッピングにおける光線(視点)方向数を一般条件の1/3に減らすことが可能となり、計算処理に必要なコストを大幅に低減することが可能となる。
【0041】
上の望ましい条件が成り立つdの条件を、より一般化した図11を用いて説明する。図11において、m番のスリット開口部と曲率中心を通る直線を基準に取りmとする。kは画素番号を表し、画素番号は左右に±1、±2、・・・と数えていくものとする。ここで、m番のスリット開口部からi番目のスリット開口部に対応する画素番号jからの光線方向(m+i)がmに平行となる条件を考える。
【0042】
スリット間の開き角をφ、画素間の開き角をdφとすると、幾何学的条件から
Rsin(i・φ)=rsin(i・φ+j・dφ) (21)
dφ=P/r (22)
が成り立つ。Pは画素ピッチである。一方、視差数をnとすると、
φs=n×dφ (23)
であるから、(5)、(21)、(22)、(23)式を用いて、求めるdの2次元マトリクス表示デバイス2の曲率半径rに対する条件は、
d/r=sin[(i・n+j)P/r]/sin(i・n・P/r)−1(24)
と表される。このときの画像マッピングの対応関係を図12に示す。図9、図10に示したようにi=j=1のとき、(23)式は
d/r=sin[(n+1)・P/r]/sin(n・P/r)−1(25)
となる。
【0043】
ところで、カラー表示可能な直視型の2次元マトリクス表示デバイスは、画素はRGB三原色のカラーフィルタ配列構造を有しており、空間並列混色によりカラー表示を行なう。これらRGBの色を有する画素(ここではサブピクセルと呼ぶことにする)毎に視差画像情報を与える画像マッピングを行なうことも可能である。縦ストライプ配列の2次元マトリクス表示デバイスにこのような画像マッピングを行なう際、iとjの条件を
n・i+j≠3m m:自然数 (26)
とすることが望ましい。例えば、視差数n=3、i=j=1の場合における画像マッピング例を図13(a)に示す。光線方向番号αはスリット番号Aの画素番号1、B−2、C−3に割り当てられるが、各々の画素におけるカラーフィルタ色はR、G、Bと全て異なる色となるため、視差画像情報をサブピクセル毎に割り当てることにより生じる色割れの視認性を抑制することができる。比較のため、平面型立体画像表示装置において、IP法による画像マッピングの例を図13(b)に示した。平面型の場合は常にj=0となり、同じ視差番号の画素に同一の光線方向が割り当てられるため、n=3とすると、α方向に割り当てられる画素は全てR色となるため、色が大きく割れて視認されてしまうことが分かる。
【0044】
(実施例)
本実施形態における実施例として、具体的数値設計例を述べる。まず、2次元画像表示デバイス2の直径2・rを400mmに設定し、画素ピッチPを0.05mm、標準視距離Lを1mとした。このとき、ギャップdの条件をrの2.5%(5mm)から10%(20mm)に設定した場合について、(11)式を用いて最大解像度が得られる立体像の表示距離、曲率中心からの距離R−Sdmaxを計算し、視差数nに対する関係として図14に示した。また、(20)式から立体像が破綻しない表示半径条件、Srminを同様に図15に示した。
【0045】
図14、図15の結果及び(12)式の条件から、立体像が破綻せずに最大解像度で表示可能な条件を示すと図16のようになる。従って、例えばd/r=2.5%(d=5.0mm)、n=30とすれば、立体像の好ましい表示範囲は曲率中心から15〜30mmの位置となる。以上説明したような方法でピクセルマッピングを行い、画像の表示を行えば立体画像表示が可能となる。そして本実施形態によれば、2次元画像表示デバイスとして、表示面が円筒形状の液晶表示装置が用いられているため、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。
【0046】
(第2実施形態)
次に、本発明の第2実施形態による立体画像表示装置を、図17を参照して説明する。図17は第2実施形態の立体画像表示装置の断面図である。この第2実施形態の立体画像表示装置は、第1実施形態の立体画像表示装置に視野角制限フィルム40を新たに設けた構成となっている。この視野角制限フィルム40は、スリット部32の前面に設けられている。
【0047】
図18に示すように、画面周辺部を観た場合、スリット部32のスリット開口部32aに対応する画素群16の隣接画素42がスリット部32のスリット開口部32aから見えてしまう場合が生じる。この場合、画像に跳び(フリッピング)が観測されることになる。従来の平面型の立体画像表示装置においては、表示面に対し垂直近傍から観ることで、フリッピングを回避できるが、本実施形態においては、表示面が曲面形状であるため画像の周辺部に常にフリッピングが生じてしまう。本実施形態においては、視野角制限フィルム40を設けることにより、図19に示すように隣接画素42からの光束44が視野角制限フィルム40に吸収されるため、フリッピングによる画像劣化を生じない。
【0048】
図20に視野角制限フィルム46の構造を示す。透明媒体中に短冊状の遮光性スリット48が複数並列配置された構造となっている。視野角制限フィルムの厚みS及び遮光性スリット48のピッチSの寸法比を調整することで、所望の視野角を設定することができる。
【0049】
なお、本実施形態においては、視野角制限フィルム40の位置はスリット部32の前面、すなわちスリット部32の光出射面に設けたが、この光出射面に限らず、スリット部32と画素開口部7bの間、または画素開口部7bの光入射面側に配置することも可能である。
【0050】
以上説明したように、この第2実施形態の立体画像表示装置によれば、画像の周辺部にフリッピングが生じるのを防止することができる。また、この第2実施形態も、第1実施形態の場合と同様に、2次元画像表示デバイスとして、表示面が円筒形状の液晶表示装置が用いられているため、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。
【0051】
(第3実施形態)
次に、本発明の第3実施形態による立体画像表示装置について図21を参照して説明する。図21は本実施形態による立体画像表示装置の構成を示す断面図である。本実施形態の立体画像表示装置は、第1実施形態の立体画像表示装置の外周に透明な円筒状の保護カバー50を設けた構成となっている。保護カバー50は、立体画像表示装置に観測者100を所定の視距離以下に近づけさせないためのものである。この保護カバー50を設けたことにより、視距離が短いことに由来する、表示周辺部での画像フリッピングを防止する効果が得られる。保護カバー50の半径は、図5における角度θがフリッピングを生じる角度よりも小さな値に制限するように設定される。更に、表示可能半径S、最大表示解像度限界距離Sdmaxの観点から、保護カバー半径の条件を更に限定することも可能である。例えば、表示可能半径Sを最大化するためには、(16)式で与えられる視距離xの近傍で且つ視距離xよりも大きく設定すると良い。
【0052】
以上説明したように、この第3実施形態によれば、表示周辺部での画像フリッピングを防止することができる。また、この第3実施形態も、第1実施形態の場合と同様に、2次元画像表示デバイスとして、表示面が円筒形状の液晶表示装置が用いられているため、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。
【0053】
(第4実施形態)
次に、本発明の第4実施形態による立体画像表示装置の構成について図22を参照して説明する。図22は、本実施形態による立体画像表示装置の構成を示す斜視図である。本実施形態の立体画像表示装置は、第1実施形態における円筒型立体画像表示装置の外周の一部を用いて構成されている。ピクセルマッピング及び絵の表示方法は第1実施形態で説明した方法を円筒の一部の領域に適用すれば良い。例えば、LCDからなる2次元画像表示デバイス2およびスリット部32を2次元画像表示デバイスの曲率中心で切断することで半円筒状、視域180°の立体画像表示装置が得られる。切断平面位置は任意に設定できるので、任意の視域、曲率を持つ凸型の立体画像表示装置を得ることが可能である。
【0054】
この実施形態も、第1実施形態の場合と同様に、表示面が凸形状の液晶表示装置が用いられているため、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。
【0055】
なお、第1乃至第4実施形態において、2次元画像表示デバイス2に対して観測者100側に設けられているスリット部32を光源20側に配置することも可能である。この場合、各曲率半径はr>Rとなり、(5)式は
r=R+d (27)
となる。以降の議論は観測者100側にスリット部32を設けた場合と同様である。
【0056】
また、上下方向にも視差を与える場合は、上下方向視差数と画素ピッチの積を上下方向のピッチとするピンホールとすれば良い。上下方向の視差に対する表示特性は平面型立体画像表示装置と同様の議論が成り立つ。
【0057】
(第5実施形態)
次に、本発明の第5実施形態による立体画像表示装置を図23および図24を参照して説明する。図23は、本実施形態による立体画像表示装置の構成を示す断面図である。本実施形態による立体画像表示装置は、第1実施形態の立体画像表示装置において、スリット部32の代わりに、レンチキュラーレンズアレイ52をLCD2の光源20側に設けた構成となっている。図23に示す立体画像表示装置の一部分を拡大した拡大図を図24に示す。レンチキュラーレンズアレイ52は光源(図示せず)からの光を画素開口部7に集光する機能を有する。レンチキュラーレンズアレイ52を用いることで、光源からの光を効率良く画素開口部に導くことが可能となり、輝度を向上させることが可能となる。レンチキュラーレンズ52のピッチは、レンチキュラーレンズ52の焦点距離をfとすると、画素ピッチPと視差数nの積から
×n×(r−f)/r (28)
で与えられる。
【0058】
以上説明したように、本実施形態によれば、レンチキュラーレンズアレイ52を用いることで、光源からの光を効率良く画素開口部に導くことが可能となり、輝度を向上させることが可能となる。また、本実施形態の立体画像表示装置も第1実施形態の場合と同様に、2次元画像表示デバイスとして、表示面が円筒形状の液晶表示装置が用いられているため、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。
【0059】
なお、本実施形態においては、光源20側にレンチキュラーレンズ52を設けたが、画素7に光が集光される条件を満たせば観測者側に設けても構わない。また、上下方向にも視差を与える場合は、上下方向視差数と画素ピッチの積を上下方向のピッチとするレンズアレイとすれば本実施形態と同様の効果が得られる。
【0060】
(第6実施形態)
次に、本発明の第6実施形態による立体画像表示装置を図25および図26を参照して説明する。図25は、本実施形態の立体画像表示装置の構成を示す断面図である。本実施形態の立体画像表示装置は、第1実施形態の立体画像表示装置において、2次元画像表示デバイスとして、LCD2の代わりに、可撓性を有する有機LED(Light Emitting Diode)60を用いた構成となっている。自発光型の有機LED60を用いることで、光源を省略することが出来、画素精細度を保ったまま構造を簡略化することが可能である。また、偏光板を利用しないため表示輝度効率に優れている。
【0061】
図26は可撓性を有する有機LED60の断面構造を示した図である。各画素7に有機EL(Electro Luminescence)発光層62がRGBパターンとして形成され、発光された光12が画素開口部7bから出射する。有機EL発光層62、画素構造7は先に述べたLCDの場合と同様、ガラス基板4a、8a間に形成後、物理的あるいは化学的研磨により薄型化され、強度を維持するポリマー基板層4b、8bが接着されることにより可撓性を有することが可能となる。
【0062】
なお、本実施形態においては、スリット部32が設けられているがスリット部32の代わりに、第5実施形態で述べたレンチキュラーレンズアレイをスリット部32の位置に設けても良い。この場合、レンチキュラーレンズのピッチ、集光条件は第5実施形態と同様である。また、上下視差を設ける場合は、LCDを用いた実施形態と同様、上下視差数と画素ピッチに応じたピンホールアレイ、またはレンズアレイを配置すれば良い。
【0063】
この第6実施形態によれば、2次元画像表示装置として、表示面が円筒形状の有機LEDが用いられているため、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。
【0064】
(第7実施形態)
次に、本発明の第7実施形態による立体画像表示装置を、図27乃至図36を参照して説明する。図27(a)は、本実施形態による立体画像表示装置の画像表示部の外観を示し、図27(b)は、本実施形態による立体画像表示装置の構成を模式的に示した断面図である。本実施形態では、360°全周、上下180°方向から立体画像が観測可能な半球型立体画像表示装置を提供する。表示スクリーン面70は光散乱透過特性を有し、曲率中心方向から投影される画像をスクリーン外部から観察可能な透過散乱型スクリーンである。表示スクリーン面70に所定の立体画像情報を投影像として結像させ、ピンホール72越しに投影像を観察することで、曲率中心付近に立体画像を観察することができる。投影光学系の投影レンズ系に魚眼レンズ74を用いることで、平面型の2次元画像表示デバイス76に表示した画像情報を半球形状の表示スクリーン面70に結像することが可能となる。
【0065】
以下、魚眼レンズ74を用いて立体画像を表示するためのピクセルマッピングの方法について述べる。
【0066】
魚眼レンズ74を用いて平面像を半球上に投影する場合、レンズ設計により複数の射影方法をとることが出来る。例えば、図28は正射影に基づく射影を示した図である。3次元座標系(X,Y,Z)78において、半径Rを有する半球上の座標は球面座標系を用いて
(X,Y,Z)=(Rsinθcosφ,Rsinθsinφ,Rcosθ) (29)
と表わされる。正射影の場合、2次元座標系(x,y)において原点からの距離R’は
R’=k・Rsinθ (30)
として射影され、座標(X,Y,Z)は2次元座標系(x,y)80上に
(x,y)=(R’cosφ, R’sinφ) (31)
として射影されることになる。ここで、kは倍率を表わす。正射影に従う魚眼レンズは、像面照度が角度θによらずほぼ一定であるため、画像を投影表示する魚眼レンズとして好適である。
【0067】
その他の射影方法として、等距離射影、立体射影、等立体角射影に従う魚眼レンズが設計可能であるが、
等距離射影: R’=kRθ (32)
立体射影: R’=2kRtan(θ/2) (33)
等立体角射影: R’=2kRsin(θ/2) (34)
の通りであり、射影方法に応じて(30)式を上記の座標変換式に変更すれば平面座標系と球面座標系の対応関係を得ることが可能である。
【0068】
以上の関係を用い、下記の手順に従うことにより、表示スクリーン面70に表示すべき画像情報と2次元マトリクス表示デバイス上の表示位置との関係、ピンホール72の位置を決定することが可能となる。
【0069】
図29は2次元画像表示デバイス上の2次元座標系(x,y)において、x軸方向にi番目、y方向にj番目となる視差の中心に位置する画素82の位置を示した図である。画素82の座標は
(x,y)=(rijcosφij,rijsinφij) (35)
で表わされる。なお、図29では便宜上、原点に視差中心となり、表示面の天頂に投影される画素84を配置した。
【0070】
画素(i,j)は、図30に示すように、半径Rを有する球状スクリーンに倍率1/k、正射影で投影される。(30)式から
θ=arcsin(rij/kR) (36)
であり、投影位置P(X,Y,Z)は
P(X,Y,Z)=(Rsinθcosφij,Rsinθsinφij,Rcosθ)=(rijcosφij/k,rijsinφij/k,Rcosθ) (37)
で与えられる。
【0071】
更に、中心視差を与える画素(i,j)の周辺に位置し、周辺視差を与える画素の投影位置P’も(35)〜(37)式を用いて同様に計算可能である。
【0072】
一方、ピンホール位置は、ピンホール−投影面間距離をdとすればピンホール形成面の半径はd+Rであり、ピンホールは中心視差となる画素の投影位置Pと曲率中心(原点)を結ぶ延長線上に設けるべきであるから、ピンホール位置Q(X’,Y’,Z’)は、
Q(X’,Y’,Z’)=((R+d)sinθcosφij
(R+d)sinθsinφij,(R+d)cosθ)=((R+d)rijcosφij/kR,
(R+d)rijsinφij/kR,(R+d)cosθ) (38)
として与えられる。
【0073】
各画素に表示すべき画素情報は、第1実施形態において述べたように、線分PQ、あるいは線分P’Qを延長して3次元表示物体の表面との交点を求め、この交点における輝度・色度情報を表示すれば良い。
【0074】
図31は2次元マトリクス表示デバイス上に千鳥状に配列された正方画素7を用いて、中心視差画素90とその周辺視差画素群92をグルーピングして1つのピンホール72に割り当てた例を示す。図31では19視差をマッピングした例である。中心視差画素間距離をD、周辺視差画素群の範囲を中心視差画素から最も遠い周辺視差画素中央部までの距離Rとすると、
>2R (39)
となる条件が望ましい。表示スクリーン面上に投影された像とピンホール間で、半径Rを超える範囲が視認されないよう視野制限手段を設けることで、フリッピングの生じない良好な立体画像表示が得られる。図32に、図31における各画素を表示スクリーン面上に投影した場合の中心視差画素90と周辺視差画素群92の投影像、ピンホール72、光線群94の関係を模式的に示す。図32は2次元マトリクス表示デバイス上の中心画素90近傍での領域における歪みの少ない像を近似的に図示したもので、表示デバイス周辺部に向かうにつれ像の歪みは大きくなる。
【0075】
一方、図33は、正方配列の正方画素7を用いて、中心視差画素90とその周辺視差画素群92をグルーピングして1つのピンホール72に割り当てた例を示す。図33は13視差でマッピングした例である。このマッピング例の場合、画素を稠密にグルーピングしているが、(39)式の条件を満たさないので周辺視差画素群92の境界領域付近でフリッピングあるいはクロストークを生じることになる。
【0076】
一方、図34に示すグルーピング方法においては、(39)式の関係を満たしている反面、表示に寄与しない画素96が発生する。このように、正方配列の場合は、クロストークと画素の有効利用率がトレードオフになるため、画像の内容、精細度、パネルの表示位置によって稠密性を優先するか、クロストーク抑制を優先するかが選択される。なお、千鳥状配列と正方配列を比較して分かるように、千鳥状配列の方が稠密であり球面投影に適しているといえる。
【0077】
図35は、本実施形態を実現するための投影光学系の一例を示した図である。図35においては、2次元画像表示デバイスに透過型LCD112を3枚用いたことを特徴としている。白色光源120からの照明光を集光レンズ118により集光、均一化し、ダイクロイックプリズム114およびミラー116を用いて三原色光に分解、各表示画像を合成して魚眼レンズ110で球面スクリーン(図示せず)に投影している。
【0078】
図36は、反射型2次元画像表示デバイス122を用いて本実施形態を実現する投影光学系の一例である。図36においては、白色光源120からの照明光を集光レンズ118により集光、均一化し、カラーホイール122により三原色を時系列的に分割・照明し、照明色に同期して反射型2次元画像表示デバイス124に画像を表示することによりカラー画像を表示する時分割カラー表示を行なっている。このような表示法が可能な反射型2次元画像表示デバイスとしては機械的に反射光の角度を制御するDMD(Digital Micromirror
Device)が挙げられる。
【0079】
この第7実施形態によれば、フルモーション動画表示が容易で、かつ解像度の高い立体画像を得ることができる。また、360°全周、上下180°方向から立体画像が観測可能な立体画像表示装置を得ることができる。
【0080】
なお、上記第1乃至第7実施形態においては、表示像99は虚像であるため、その表示位置を直接的に計測することはできない。しかしながら、多視差表示に由来する運動視差を利用し、三角測量に基づく距離計測法を適用することで、正しく立体表示された表示像99の表示位置を物理的に正確に測定することが可能である。
【0081】
表示像99中の一点99aの表示位置について、スリット位置32を基準とする表示距離Sを求める方法として、図37を参照して2例を説明する。簡単のために、カメラ101は立体画像表示装置の曲率中心から点99aを結ぶ延長線上に設置することにし、スリット32の曲率半径R、曲率中心からカメラまでの距離は既知(距離L)であるとする。なお、説明の簡単のため、立体画像表示装置におけるスリット32以外の部品については図示省略した。
【0082】
例1)カメラの向きを変更することなく、撮像方向に対して垂直方向に距離wだけシフトさせる(図37中▲1▼)。点99aがψ 方向に観測された場合、幾何学的関係から
S=w/tanψ +R−L (40)
が求める表示距離Sである。
【0083】
例2)立体画像表示装置の曲率中心を回転軸としてカメラをφ度回転させるか、もしくはカメラを固定し立体画像表示装置をφ度回転させる(図37中▲2▼)。このとき、点99aがψ 方向に観測された場合、余弦定理を用いて、
S=R−L[cos φ−cos ψcos (ψ +φ)]/[sin (ψ +φ)] (41)
が求める表示距離Sとなる。
【0084】
このように、立体画像表示装置のスリットピッチや画素ピッチなどの詳細が不明であっても、運動視差を利用して立体表示像の表示位置を測定することが可能である。
【0085】
また、スリットピッチ、画素ピッチなどが既知であり、表示オブジェクトの三次元情報に対する画像信号がどの画素に与えられるかが分かっている場合は、同一画像信号が表示される画素の位置とスリット開口部との関係から上記幾何学条件を求めることは容易である。また、上記の例は円筒切断面に対して適用した例であるが、立体画像表示装置が球面状をなしている場合であっても、球面曲率中心と観測方向を含む切平面を考えれば、同様の議論が成り立つことは言うまでもない。
【0086】
【発明の効果】
以上述べたように本発明によれば、表示すべき立体画像の画像マッピングが効率的に行なえ、フルモーション動画表示が容易な立体画像を、視点位置を変えても立体画像が破綻しないように、且つ高い解像度で表示することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態による立体画像表示装置の構成を示す斜視図。
【図2】第1実施形態による立体画像表示装置を上方から見た断面図。
【図3】可撓性を有する透過型LCDの断面図。
【図4】LCD画素開口部とスリット開口部位置及び光束の対応関係を示した図。
【図5】第1実施形態において得られる表示範囲を説明する図。
【図6】第1実施形態による立体画像表示装置におけるパラメータと立体画像の表示位置との関係を示す図。
【図7】第1実施形態における表示特性を説明するための図。
【図8】図7における画像マッピングを説明する図。
【図9】第1実施形態における、画像マッピングに望ましい構成条件の一例を示す図。
【図10】図9における画像マッピングを説明する図。
【図11】スリット開口部と画素の位置関係を示す図。
【図12】図9における画像マッピングを説明する図。
【図13】図9においてRGBサブピクセルに視差画像情報を割り当てた場合と、平面型立体画像表示装置においてRGBサブピクセルに視差画像情報を割り当てた場合の画像マッピングを比較した図。
【図14】本発明の第1の実施形態による一実施例において、視差数nと、立体画像の表示すべき範囲の関係を示した図。
【図15】本発明の第1の実施形態による一実施例において、視差数nと、立体画像が破綻しない表示半径の関係を示した図。
【図16】本発明の第1の実施形態による一実施例において、視差数nと、立体画像が破綻せずに最大解像度で表示可能半径の関係を示した図。
【図17】本発明の第2実施形態による立体画像表示装置の構成を示す断面図。
【図18】フリッピングの問題を説明する図。
【図19】第2実施形態においてフリッピング解消の効果を説明する図。
【図20】視野角制限フィルムの構成を示す斜視図。
【図21】本発明の第3実施形態による立体画像表示装置の構成を示す断面図。
【図22】本発明の第4実施形態による立体画像表示装置の構成を示す斜視図。
【図23】本発明の第5実施形態による立体画像表示装置の構成を示す断面図。
【図24】第5実施形態における、画素近傍の拡大図。
【図25】本発明の第6実施形態による立体画像表示装置の構成を示す断面図。
【図26】第6実施形態に用いられる可撓性を有する有機LEDの断面図。
【図27】本発明の第7実施形態による立体画像表示装置の構成を示す図。
【図28】第7実施形態において正射影に基づく表示面と2次元マトリクス表示デバイス面上の座標対応関係を示した図。
【図29】第7実施形態において2次元マトリクス表示デバイス面上の画素の位置を示した図。
【図30】第7実施形態において表示面上の投影位置を示した図。
【図31】第7実施形態において2次元マトリクス表示デバイスの画素配列(千鳥配列)を示した図。
【図32】図32に示す画素グルーピングにおいて、投影スクリーン面上での投影像とピンホールの位置関係を示す図。
【図33】第7実施形態において2次元マトリクス表示デバイスの画素配列(正方配列)を示した図。
【図34】正方配列画素について、所定の画素グルーピングの一例を示す図。
【図35】第7実施形態において、投影光学系の一具体例の構成を示す図。
【図36】第7実施形態において、投影光学系の他の具体例の構成を示す図。
【図37】表示像の表示位置を求める方法を説明する図。
【図38】平面型の表示装置を用いて立体画像を表示する場合の原理図。
【図39】従来の立体画像表示装置において、IP法に基づく表示原理を示す図。
【図40】図39における画像マッピングを説明する図。
【図41】従来の平面型立体画像表示装置において、パララックスバリア法に基づく表示原理を示す図。
【図42】図41における画像マッピングを説明する図。
【符号の説明】
2 2次元画像表示デバイス
4 透明基板
4a ガラス基板
4b 透明ポリマー基板
5 スペーサ
6 液晶層
7 画素構造(画素)
7a 薄膜トランジスタ
7b 透明画素電極(画素開口部)
8 透明基板
8a ガラス基板
8b 透明ポリマー基板
10a 偏光板
10b 偏光板
14 継ぎ目
16 スリット開口部に対応する画素群
17 中央画素
18 光束
20 柱状光源
30 パイプ形状部材
32 スリット部
32a スリット開口部
32b 遮光部
99 立体画像[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional image display device capable of displaying a three-dimensional image and a method of displaying a three-dimensional image.
[0002]
[Prior art]
Many methods for displaying a stereoscopic image using a two-dimensional planar display device have been proposed so far. For example, a stereoscope (binocular system) that superimposes and displays a right-eye image and a left-eye image temporally or spatially using an optical separation unit such as polarized light is well known. The stereoscope displays parallax images of the left and right eyes, that is, images of only two parallaxes. Therefore, even if the viewpoint is changed, the image does not change and no motion parallax occurs, and convergence and accommodation are contradictory to natural vision. Problems have been pointed out.
[0003]
A method of recording a stereoscopic image by some method and reproducing the stereoscopic image as a stereoscopic image, which is called an integral photography method (hereinafter, referred to as an IP method) or a light beam reproduction method for displaying a large number of parallax images on a stereoscope, is known. (See, for example, Patent Documents 1 and 2). In the integral photography method, for example, as shown in FIG. 38, a large number of image information when viewed from a certain observation direction is displayed on the two-dimensional image display device 230, and slits and pinholes provided on the front surface of the display surface are provided. When the observer 100 observes an image through an array plate 232 having an opening 232a such as a micro lens or a lenticular lens and a shielding part 232b, a stereoscopic image 99 corresponding to the observation direction is displayed. . Alternatively, in the case of using a display device such as a transmissive LCD (Liquid Crystal Display) which is provided with a light source on the back surface and performs transmissive display, an array having an opening and a shielding portion is provided on the light source side, and the light generation direction is specified. In some cases, a stereoscopic image corresponding to the viewing direction is displayed by restricting the direction. Since the IP method enables multi-parallax display, not only does motion parallax occur, but light rays for reproducing a stereoscopic image follow the same path as when a real object is actually arranged, thus causing a problem of a conflicting visual field. Excellent in none.
[0004]
By the way, a method of creating a parallax image and displaying a parallax image as each pixel information through an opening is roughly classified into a method of performing image mapping by generating light rays for reproducing a stereoscopic image from a pixel side, and a method of observing an observer. There are two types of methods for performing image mapping by performing reverse tracing of light rays from a viewpoint position to pixels. Here, the case where image mapping is performed using the former method will be referred to as the IP method, and the latter method will be referred to as a multi-parallax stereoscope or parallax barrier method for distinction. FIG. 39 shows an example of image mapping using the IP method. A set 16 of pixels composed of a plurality of rows of pixels 7 is assigned to rows (slit numbers A to E) of the slits 232a arranged in a large number in the slit section 232. In FIG. 39, three pixels are assigned to one slit (parallax numbers 1 to 3), and the observer 300 observes each pixel 7 through the slit portion 232. Here, the pitch between the slit row and the pixel row is fixed, the product of the pixel pitch and the number of parallaxes is Pl, and the pitch of the slit is Ps. Here, assuming that Pl = Ps, the light ray 310 passing through the slit 232a using the pixel as a light source is parallel with respect to the pixel having the same parallax number, so that the light ray group has three types of light directions (α, β, γ). being classified. Image mapping is performed by displaying the texture of the side of the object 299 viewed from the observer 300 side, that is, the color signal value at the pixel where the light ray is emitted, at the point where the light ray 310 and the virtually arranged object 299 intersect. Done. Here, the number of light ray groups is equal to the number of pixel rows, and in FIG. 39, the number of parallaxes is three because three pixels form one set. Therefore, a group of parallel rays in three directions is generated so as to pass through the center of the slit 232a, and the intersection with the object is obtained. This corresponds to combining three types of planar images obtained by parallel projection from three viewing directions. FIG. 40 shows the correspondence between the slit number, the parallax number, and the ray direction of the display image obtained by this image mapping. The parallax number and the ray direction number in each slit number have a fixed correspondence such as 1 and α, 2 and β, and 3 and γ.
[0005]
On the other hand, FIG. 41 shows an example of image mapping by the parallax barrier method. In this method, the viewpoint position 312 (α ′, β ′, γ ′) of the observer 300 is given first, and a light ray is generated from the viewpoint position 312 in a direction opposite to the actual traveling direction and passes through the slit 232a. The color signal value to be displayed on the pixel is determined from the intersection of the object and the radial ray group reaching the row of the pixels 7. Accordingly, the three types of obtained planar images are images viewed in perspective projection from the viewpoint positions of α ′, β ′, and γ ′. FIG. 42 shows the correspondence between the slit number of the display image, the parallax number, and the viewpoint position. The directions of the light rays generated from each pixel toward a certain viewpoint position are not parallel, and the setting positions of the slits and the slit pitch are determined by setting the viewpoint positions at equal pitches. At this time, the characteristic is that Ps <Pl from the condition of condensing light at the viewpoint position.
[0006]
As described above, the method of displaying a stereoscopic image by the IP method using the flat display device can be said to be characterized by image mapping by parallel projection under the condition of Ps = Pl. Here, for the sake of simplicity, the case where the parallax information is provided in the one-dimensional direction has been described. When two-dimensional disparity information is handled, the slit 232 in FIGS. 38 and 41 is a pinhole, and the display image in which strip-shaped disparity information in FIGS. 40 and 42 is arranged is a two-dimensional array having disparity information also in the vertical direction. Become.
[0007]
On the other hand, several attempts have been made to obtain an omnidirectional stereoscopic image display in which the stereoscopic image can be visually recognized in the entire 360 ° direction. As a method of electrically displaying a three-dimensional image based on the IP method, for example, a method of mechanically scanning a one-dimensional LED (Light Emitting Diode) array inside a cylindrical slit has been proposed (for example, a non-light emitting diode (LED) method). Patent Document 1).
[0008]
Also, a lenticular display device in which a lenticular lens plate is attached to an image sheet having a curvature (for example, see Patent Document 3) is disclosed.
[0009]
[Patent Document 1]
JP-A-10-239785
[Patent Document 2]
JP 2001-56450 A
[Non-patent document 1]
IEICE Transactions, Vol. J84-D-II NO. 6 (2001) pp. 1003-1011
[Patent Document 3]
JP-A-11-109287
[0010]
[Problems to be solved by the invention]
Conventionally, in the first method proposed, since an LED array is used, there is a problem that only a low-resolution stereoscopic image can be obtained. Further, since mechanical scanning is used, full-motion moving image display of 60 Hz display has a high scanning frequency and is difficult to realize. For example, if one rotation of scanning is required to display one frame, a rotation speed of 3600 rpm is required to achieve 60 Hz display. Further, even if the rotation angle required for displaying one frame is reduced to one rotation or less by providing a plurality of LED arrays in the rotation mechanism, control of positioning accuracy between the LED arrays or emission timing, and maintenance of a stable rotation speed are performed. There are many issues that need to be solved, such as Further, since scanning other than the cylindrical shape, for example, scanning in a spherical shape causes a change in angular velocity with respect to the display position, there is a problem that it is difficult to solve the above problem.
[0011]
In the second method proposed in the related art, the image sheet is a print image, and only supports fixed image display. For example, when the second method is developed and color display is performed using an image display device, it is necessary to spatially arrange the three primary color pixels of RGB in parallel. Is not specified, and no specific image creation method is disclosed.
[0012]
Furthermore, as will be described later, in a stereoscopic image display device having a curvature, in image mapping at the time of creating a display image, the light ray direction or the line-of-sight direction does not have a period of parallax, so that imaging is performed in comparison with a planar type. There is a problem that the cost or the calculation cost becomes very large.
[0013]
The present invention has been made in view of the above circumstances, and provides a three-dimensional image display device that can efficiently perform image mapping of a three-dimensional image to be displayed and that can easily display a full-motion moving image. It is an object of the present invention to provide a stereoscopic image display method that can display a stereoscopic image at a high resolution without changing the stereoscopic image even when the image is changed.
[0014]
[Means for Solving the Problems]
A stereoscopic image display device according to one embodiment of the present invention includes a display surface having a convex curved surface as viewed from an observer, and a front surface or a rear surface of the display surface, in which a plurality of openings are formed or lenses are arranged in an array. Means for allocating light beams from a plurality of pixels on the display surface to each of the aperture or the lens, the light beam allocating means having a curved surface formed in a shape of a circle, and displaying a two-dimensional pattern on the display surface. And a dimensional pattern display means.
[0015]
The display surface and the two-dimensional pattern display means may be a direct-view type two-dimensional matrix display device, and the display surface and the light flux allocating means may have a cylindrical shape.
[0016]
The radius of curvature of the two-dimensional pattern display means is r, and the pixel pitch is P p , The number of allocated light fluxes is n, and the distance between the curved surface having the plurality of openings or lens arrays and the two-dimensional pattern display means is d, S rmin Is the value represented by the following equation:
(Equation 2)
Figure 2004177709
The display position of the stereoscopic image is such that the distance from the center of curvature to the stereoscopic image is S rmin It is desirable that the information be displayed as follows.
[0017]
In addition, it is desirable to display the display position of the stereoscopic image at a distance of d + r−1 / {1 / [dn (1 + d / r)] − 1 / (L−d−r)} or more from the center of curvature.
[0018]
The radius of curvature of the two-dimensional pattern display means is r, and the pixel pitch is P p Where n is the number of light beams allocated and d is the distance between the curved surface having the plurality of apertures or lens arrays and the two-dimensional pattern display means d, i, and j are natural numbers. Is sin [(i · n + j) P p / R] / sin (inP p / R) -1.
[0019]
The display surface may be a transmissive screen, the two-dimensional pattern display means may be a projection display device, and the display surface and the light beam allocating means may have a hemispherical shape.
[0020]
Further, it is desirable that the coordinates of the display surface and the coordinates of the two-dimensional pattern display means have an orthographic relationship.
[0021]
A viewing angle limiting means may be provided on the front or back of the display surface so that the image is displayed only within a predetermined angle range around the normal direction of the display surface.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configuration of the present invention is not limited to the embodiment described below, and it goes without saying that various combinations of the components of the configuration described in the embodiment can be adopted. For simplification of description, the same members are given the same numbers in a plurality of drawings.
[0023]
(1st Embodiment)
FIG. 1 shows the configuration of the stereoscopic image display device according to the first embodiment of the present invention. The three-dimensional image display device of the present embodiment includes a two-dimensional image display device 2 having a display surface having a cylindrical curved surface, a columnar light source 20, a transparent pipe-shaped member 30, and a slit portion 32. In the present embodiment, a transmissive liquid crystal display device (hereinafter, also referred to as an LCD (Liquid Crystal Display)) is used as the two-dimensional image display device 2. A columnar light source 20 serving as a backlight is provided along the central axis of the cylinder of the LCD 2 and illuminates the LCD 2 from the back. A transparent pipe-shaped member 30 is provided on the front surface of the display surface of the LCD 2 so as to surround the display surface. A slit 32 is printed on the outer periphery of the pipe-shaped member 30. Note that the pipe-shaped member 30 also plays a role of maintaining the curvature of the LCD 2. The slit section 32 includes a slit 32a serving as an opening and a light shielding section 32b. In the present embodiment, a stereoscopic image can be visually recognized by observing the object 99 virtually displayed on the LCD 2 via the slit section 32.
[0024]
FIG. 2 shows a cross section of the stereoscopic image display device of the first embodiment shown in FIG. The LCD 2 has a pixel structure formed on at least one of the bright substrates of the two transparent substrates 4 and 8 like a normal planar LCD, and a liquid crystal layer 6 is sandwiched between the transparent substrates. Polarizing plates 10a and 10b are attached before and after the transparent substrates 4 and 8, respectively. Since the LCD 2 has flexibility and is formed into a cylindrical shape by being rounded, a seam 14 where an image cannot be displayed occurs. In FIG. 2, since one LCD is processed into a cylindrical shape, the seam 14 is formed at one place. However, if a plurality of seams are allowed, a plurality of panels can be connected to obtain a large radius of curvature. . The wiring for supplying a signal to the drive driver for driving the LCD 2 is drawn from the upper or lower part of the cylinder (not shown), and no wiring lead portion is provided on the end face corresponding to the joint 14. . Such a structure can be realized by using a low-temperature polysilicon thin film transistor as a drive driver (Y driver) for selecting a row wiring (gate line) arranged in a direction perpendicular to the paper surface of the LCD 2.
[0025]
FIG. 3 shows an example of a cross-sectional structure of the LCD 2 having flexibility. The transparent substrate 4 has a two-layer structure of a glass substrate 4a and a transparent polymer substrate 4b, and the transparent substrate 8 has a two-layer structure of a glass substrate 8a and a transparent polymer substrate 8b. The thickness of the glass substrates 4a and 8a is reduced to about 100 μm or less.
[0026]
In forming the LCD 2 having this structure, first, a thin film transistor 7a and a transparent pixel electrode 7b for forming a pixel opening are formed on a glass substrate 8a having a normal thickness of 0.7 mm to 1.1 mm according to a normal LCD forming process. The pixel structure 7 is formed. Then, the glass substrate 8a on which the pixel structure 7 is formed and the glass substrate 4a on which the transparent counter electrode (not shown) is formed are bonded to each other with an ultraviolet curing resin while maintaining a uniform gap by the spacer 5. Subsequently, a liquid crystal material is injected and sealed, and a liquid crystal layer 6 is provided between the glass substrates 4a and 8a. Thereafter, the glass substrates 4a and 8a are physically or chemically polished so that the thickness of each of the glass substrates 4a and 8a is about 100 μm or less, and transparent polymer substrates 4b and 8b having small birefringence are attached as support substrates. According to this manufacturing process, since a normal pixel forming process can be applied, it is possible to obtain better thin film transistor characteristics and higher definition than forming pixels directly on a polymer substrate by a low-temperature process. In the LCD 2 shown in FIG. 3, an illuminating light beam from a backlight (not shown) is incident from the polarizing plate 10b side as shown by an arrow 12, and the polymer substrate 8b, the glass substrate 8a, the liquid crystal layer 6, and the glass substrate 4a , The polymer substrate 4b and the polarizing plate 10a.
[0027]
FIG. 4 shows the correspondence between the pixels 7 of the LCD 2 configured as described above, the positions of the slit openings 32a of the slit portions 32, and the light beams 18 emitted as illumination light from a backlight (not shown). In FIG. 4, for the sake of simplicity, the pixel aperture, that is, the light transmission area of the transparent pixel electrode 7b is treated as being approximately the same as the pixel 7. In the present embodiment, five pixels 7 are assigned to each opening 32 a of the slit 32. Therefore, the image information displayed on the pixel 7 is observed through the slit opening 32a of the slit 32 at every five parallaxes. For this reason, in the set 16 of five pixels 7 assigned to the slit opening 32a, each light flux transmitted through the pixel 7 passes through the center of the slit opening 32a so that the image information is transmitted to the pixel corresponding to each light flux. It is desirable to be assigned. In particular, of the light beam 18 transmitted through the slit opening 32a of the slit portion 32, the light beam 18a transmitted through the opening of the central pixel 17 is transmitted through the center of curvature of the display surface. In order to make the positional relationship between the pixel 7 of the LCD 2 and the slit opening 32a the same over the entire slit opening, the pitch P of the slit opening 32a is required. s And the pixel pitch P p It is necessary that the center of curvature of the arc drawn by the product of the number of parallaxes and the angle formed by the arc coincide with each other. From the condition that the angles formed by the arcs match, the pitch P of the slit opening 32a is determined. s And pixel pitch P p The relationship is that if the radius of curvature of the slit portion 32 is R and the radius of curvature of the pixel 7 is r,
P s / R = (n × P p ) / R (1)
It becomes. When the slit is located on the observer side with respect to the pixel, P s > N × P p (= Pl).
[0028]
Next, a display range in which an image can be visually recognized in the stereoscopic image display device of the present embodiment will be described with reference to FIG. FIG. 5 is a schematic diagram of the stereoscopic image display device and the observer 100 of the present embodiment as viewed from above. As can be seen from FIG. 5, a straight line 35 connecting the observer 100 to the center of curvature of the stereoscopic image display device and a straight line 36 connecting the center of curvature to the center of a specific slit opening 32a of the slit 32 are formed. The angle between the angle Φ and the straight line 36 connecting the center of the slit opening 32a and the observer 100 is θ. The range S in which the stereoscopic display image can be correctly observed without the observer 100 seeing an unintended image r Selects a slit opening 32a having the largest azimuth angle Φ among a plurality of slit openings 32a satisfying a condition that the straight line 37 traverses a set of pixels corresponding to the slit opening 32a, and orthogonally intersects the straight line 35. It is obtained as the distance between the intersection of the straight line passing through the center of curvature and the straight line 37 and the center of curvature. Under this condition, even if the stereoscopic display image is observed from all directions, the radius S from the center of curvature of the stereoscopic image display device is r Can be displayed without inconsistency. As can be seen from FIG. 5, when the viewing distance from the center of curvature of the stereoscopic image display device to the observer 100 is L, and the maximum display angle of the stereoscopic image is ψ,
ψ = 2 (θ-Φ) (2)
S r = L tan (ψ / 2) (3)
Is obtained. Radius S r Has a maximum value, and this maximum value depends on the viewing distance L. When the viewing distance L is infinite, the display radius Sr becomes the minimum value S rmin And Φ = θ, so that the radius of curvature of the pixel 306 is r.
S rmin = R · sin θ (4)
It becomes. Therefore, in order to display a stereoscopic display image without failure, the display position of the stereoscopic display image is set at S from the center of curvature. rmin It is necessary to:
[0029]
On the other hand, the stereoscopic display image in the present embodiment has a limit distance at which the maximum display resolution is obtained before and after the slit 32 in the two-dimensional image display device. In the present embodiment, a stereoscopic display image is shown behind the slit 32. FIG. 6 shows this relationship. The centers of curvature of the two-dimensional matrix display device 2 and the slit section 32 coincide with each other, and the radius of curvature of the pixel 7 is r, and the radius of curvature of the slit section 32 is R. Further, the gap between the pixel 7 and the slit 32 is d. That is,
R = r + d (5)
It is. In FIG. 6, R, r≫P p , P s Therefore, the drawing is approximated in plan view. The distance from the slit section 32 to the display image 99 is represented by S d The distance between the observer 100 and the position of the display image 99 is set as z.
[0030]
Here, the maximum resolution that can be visually recognized when the observer 100 observes the display image 99 at the distance z is the slit pitch P s Using,
z / ((LR) / 2P s ) (6)
It becomes.
[0031]
On the other hand, the maximum resolution that the two-dimensional matrix display device 2 can display at the position of the display image 99 can be considered that the image of the pixel 7 is enlarged and displayed at the position of the display image 99 based on the slit 32 surface. So
S d / (D / (2P p )) (7)
It becomes. Display resolution limit distance S dmax From the condition that (6) and (7) are equal,
z / ((LR) / (2P s )) = S dmax / (D / 2P p ) (8)
It becomes. The expression (8) is calculated by changing the display Nyquist frequency (LR) / 2P of the slit opening 32a. s And Nyquist frequency of pixel pitch d / 2P p The ratio of
D = dP s / (LR) P p (9)
And further erasing z and rearranging,
S dmax = D (LR) / (1-D) (10)
It becomes.
[0032]
By the way, rewriting equation (10)
1 / S dmax = 1 / [dn (1 + d / r)]-1 / (Ldr) (11)
It becomes. Therefore, the display distance S of the display image 99 d Is based on the position of the slit 32 dmax It is desirable to set the following display distance. That is, taking the center of curvature as a reference, the display radius of the stereoscopic display image is represented by R-S dmax With the above, display can be performed at the maximum display resolution.
[0033]
From the above, S dmax + S rmin When the condition of> R is satisfied, based on the center of curvature
R-S dmax ≦ S ≦ S rmin (12)
By displaying the display image 99 within the range of the distance specified by the formula (3), the stereoscopic image can be displayed at the maximum display resolution over the entire periphery of the stereoscopic image display device without breaking the stereoscopic display.
[0034]
Next, the display characteristics and the method of pixel mapping of the present embodiment will be described in detail with reference to FIG. It is assumed that the stereoscopic image display device and the observer 100 are located in the xy plane, and do not consider the z direction (a direction perpendicular to the paper surface) for simplicity. When handling in three-dimensional coordinates by giving parallax in the z-direction or the like, a relational expression can be easily obtained by extending the following handling to a cylindrical coordinate system.
[0035]
Here, the slit opening Q (X, Y) on the slit 32 is considered. Considering a straight line connecting the center of curvature (origin) and the opening Q, and assuming that the intersection of this straight line and the two-dimensional image display device 2 is P (x, y), the point P is from the normal direction of the slit opening Q. These pixels provide parallax image information when observed. That is, when the number of parallaxes is n, the pixel P is located at the center of the pixel group corresponding to the slit opening Q (to be observed through the slit opening Q). Similarly, an arbitrary pixel in the pixel group corresponding to the slit opening Q is defined as P ′ (x ′, y ′). These Q, P and P 'are from FIG.
Q (X, Y) = (R · cos φ, R · sin φ) (13)
P (x, y) = (r · cos φ, r · sin φ) (14)
P ′ (x ′, y ′) = (r · cos (φ + dφ), r · sin (φ + dφ)) (15)
Given by The pixel information to be displayed at P ′ (x ′, y ′) includes the luminance and chromaticity information of S (x ″, y ″) that intersects the three-dimensional image by extending the line segment P′Q. Become. If it does not intersect with the three-dimensional image, the background color is displayed. The pixel information displayed in the pixel P ′ is a position where the line segment P′Q intersects with the x-axis which is the direction in which the observer 100 is located, L (x L , 0). x L Is x from P ', Q L = (Xy'-x'Y) / (y'-Y) (16)
Given as
[0036]
Displayable radius S of a stereoscopic image defined by equation (3) r Is the longest viewing distance x for the pixel P ′ (x ′, y ′) located at the outermost position in the pixel group corresponding to the slit opening 32a. L Is obtained by finding the slit position Q that gives Pixel pitch is P p Then
dφ = (n-1) × P p / (2r) (17)
And S rmin Is given when the viewing distance is infinity, that is, when y ′ = Y.
Therefore, from equations (15) and (17),
R sinφ 0 = R · sin (φ 0 + (N-1) · P p / (2r)) (18)
Satisfy φ 0 Using
S rmin = R ・ sinφ 0 (19)
It becomes. Where φ 0 Is given by equation (18).
[Equation 3]
Figure 2004177709
It becomes. Actually, since the slit pitch is finite, the angle φ 0 Φ in the following range 0 From the position of the slit closest to rmin Will be given.
[0037]
Next, an image mapping method according to the present embodiment will be described. In the present embodiment, an object displayed as a stereoscopic image is S rmin Located within the range. Therefore, a straight line connecting the slit opening 32a and the center of the pixel 7 is extended in the direction of the center of curvature, and a surface texture intersecting with the display object is displayed as display image information of the pixel. Similarly, the direction in which the straight line is extended from the slit opening 32a to the outside is the light emitting direction, which is the viewing direction in which the display image information can be visually recognized.
[0038]
As an example, consider the condition in FIG. 7 in which the number of parallaxes is n = 3, the slit numbers are A to L, and the corresponding light ray (sight line) direction numbers are α1, α2, α3, β1,. FIG. 8 shows the correspondence between the slit number, the parallax number, and the light ray (line of sight) direction of the display image on the two-dimensional matrix display device 2. Compared with FIGS. 36 and 38 which are the case of the conventional planar stereoscopic image display device, in the case of the planar type, n images periodically observed from the same number of ray directions as the number of parallaxes n or the line of sight are periodically displayed. In contrast, in the present embodiment, light rays (viewing directions) are generally all different, and there is no periodicity with respect to the number of parallaxes.
[0039]
Therefore, in the present embodiment, it is necessary to perform intersection determination by generating linear light beams for n × several slits. This means that it is necessary to change the camera position or the viewpoint position for each pixel at the time of camera shooting or CG image rendering, and the number of required cameras (the number of times of shooting) increases dramatically, or the interpolation image This suggests that the calculation cost of generation and CG rendering is significantly higher than that of the planar type.
[0040]
FIG. 9 shows an example of a preferred embodiment for reducing these problems. With the same number of parallaxes as in FIG. 7, by setting the distance d between the slit portion 32 and the pixel 7 under a predetermined condition, the light beam directions can be matched between pixels having different slit numbers. In this example, between the adjacent slits, the light ray directions of the pixels whose parallax numbers are shifted by one are parallel to each other. FIG. 10 shows the correspondence between the slit number, the parallax number, and the ray direction of the display image. For example, the ray direction α is assigned to pixels at positions different from the parallax numbers 1, 2, and 3 in the slit numbers A, B, and C, respectively. Under such conditions, the number of light ray (viewpoint) directions in image mapping can be reduced to 3 of the general condition, and the cost required for calculation processing can be significantly reduced.
[0041]
The condition of d that satisfies the above desirable condition will be described with reference to FIG. 11 which is more generalized. In FIG. 11, a straight line passing through the m-th slit opening and the center of curvature is taken as a reference. k And k represents a pixel number, and the pixel numbers are counted as ± 1, ± 2,. Here, the ray direction (m + i) from the pixel number j corresponding to the i-th slit opening from the m-th slit opening j Is m k Consider the condition parallel to.
[0042]
The opening angle between slits is φ s , The opening angle between pixels is dφ p Then, from the geometric condition,
Rsin (i · φ s ) = Rsin (i · φ s + J · dφ p ) (21)
p = P p / R (22)
Holds. P p Is the pixel pitch. On the other hand, if the number of parallaxes is n,
φs = n × dφ p (23)
Therefore, using the equations (5), (21), (22), and (23), the condition for the radius of curvature r of the two-dimensional matrix display device 2 to be obtained is as follows:
d / r = sin [(i · n + j) P p / R] / sin (inP p / R) -1 (24)
It is expressed as FIG. 12 shows the correspondence of the image mapping at this time. As shown in FIGS. 9 and 10, when i = j = 1, equation (23) becomes
d / r = sin [(n + 1) · P p / R] / sin (n · P p / R) -1 (25)
It becomes.
[0043]
By the way, in a direct-view type two-dimensional matrix display device capable of color display, pixels have a color filter array structure of three primary colors of RGB, and perform color display by spatial parallel color mixture. It is also possible to perform image mapping that gives parallax image information for each pixel having these RGB colors (herein referred to as sub-pixels). When such image mapping is performed on a two-dimensional matrix display device having a vertical stripe arrangement, the conditions of i and j are set as follows.
n · i + j ≠ 3mm m: natural number (26)
It is desirable that For example, FIG. 13A shows an example of image mapping when the number of parallaxes is n = 3 and i = j = 1. The ray direction number α is assigned to the pixel numbers 1, B-2, and C-3 of the slit number A. However, since the color filter colors in each pixel are all different from R, G, and B, the parallax image information is It is possible to suppress the visibility of color breakup caused by assigning each sub-pixel. For comparison, FIG. 13B shows an example of image mapping by the IP method in the flat panel stereoscopic image display device. In the case of the planar type, j = 0 is always set, and the same ray direction is assigned to the pixels having the same parallax number. If n = 3, all the pixels assigned in the α direction become R color, so that the color is largely broken. It can be seen that they are visually recognized.
[0044]
(Example)
As an example of the present embodiment, a specific numerical design example will be described. First, the diameter 2 · r of the two-dimensional image display device 2 is set to 400 mm, and the pixel pitch P p Was set to 0.05 mm, and the standard visual distance L was set to 1 m. At this time, in the case where the condition of the gap d is set from 2.5% (5 mm) to 10% (20 mm) of r, the display distance and the center of curvature of the stereoscopic image at which the maximum resolution can be obtained using Expression (11). Distance RS dmax Was calculated and shown in FIG. 14 as a relationship with the number of parallaxes n. From the equation (20), the display radius condition under which the stereoscopic image does not break down, S rmin Is also shown in FIG.
[0045]
From the results of FIGS. 14 and 15 and the condition of equation (12), FIG. 16 shows a condition under which a stereoscopic image can be displayed at the maximum resolution without breaking down. Therefore, if d / r = 2.5% (d = 5.0 mm) and n = 30, for example, the preferable display range of the stereoscopic image is a position 15 to 30 mm from the center of curvature. If pixel mapping is performed by the method described above and an image is displayed, a stereoscopic image can be displayed. According to the present embodiment, since a liquid crystal display device having a cylindrical display surface is used as the two-dimensional image display device, a full-motion moving image can be easily displayed and a high-resolution stereoscopic image can be obtained. .
[0046]
(2nd Embodiment)
Next, a stereoscopic image display device according to a second embodiment of the present invention will be described with reference to FIG. FIG. 17 is a cross-sectional view of the stereoscopic image display device according to the second embodiment. The three-dimensional image display device of the second embodiment has a configuration in which a viewing angle limiting film 40 is newly provided in the three-dimensional image display device of the first embodiment. The viewing angle limiting film 40 is provided on the front surface of the slit 32.
[0047]
As shown in FIG. 18, when viewing the peripheral portion of the screen, there is a case where the adjacent pixels 42 of the pixel group 16 corresponding to the slit openings 32 a of the slit portions 32 are visible from the slit openings 32 a of the slit portions 32. In this case, jumping (flipping) is observed in the image. In the conventional flat type stereoscopic image display device, the flipping can be avoided by viewing the display surface from the vicinity perpendicular to the display surface. However, in the present embodiment, since the display surface has a curved shape, the flipping is always performed on the peripheral portion of the image. Will occur. In the present embodiment, by providing the viewing angle limiting film 40, the light beam 44 from the adjacent pixel 42 is absorbed by the viewing angle limiting film 40 as shown in FIG. 19, so that image deterioration due to flipping does not occur.
[0048]
FIG. 20 shows the structure of the viewing angle limiting film 46. It has a structure in which a plurality of strip-shaped light shielding slits 48 are arranged in parallel in a transparent medium. Viewing angle limiting film thickness S d And the pitch S of the light shielding slits 48 w By adjusting the dimensional ratio, a desired viewing angle can be set.
[0049]
In the present embodiment, the position of the viewing angle limiting film 40 is provided on the front surface of the slit portion 32, that is, on the light emitting surface of the slit portion 32. However, the present invention is not limited to this light emitting surface. 7b, or on the light incident surface side of the pixel opening 7b.
[0050]
As described above, according to the stereoscopic image display device of the second embodiment, it is possible to prevent the occurrence of flipping in the peripheral portion of the image. Also, in the second embodiment, as in the first embodiment, a liquid crystal display device having a cylindrical display surface is used as a two-dimensional image display device, so that full-motion moving image display is easy. In addition, a high-resolution stereoscopic image can be obtained.
[0051]
(Third embodiment)
Next, a three-dimensional image display device according to a third embodiment of the present invention will be described with reference to FIG. FIG. 21 is a sectional view showing the configuration of the stereoscopic image display device according to the present embodiment. The three-dimensional image display device of the present embodiment has a configuration in which a transparent cylindrical protective cover 50 is provided on the outer periphery of the three-dimensional image display device of the first embodiment. The protective cover 50 is for preventing the observer 100 from approaching the stereoscopic image display device below a predetermined viewing distance. By providing the protective cover 50, an effect of preventing image flipping in a display peripheral portion due to a short viewing distance can be obtained. The radius of the protective cover 50 is set so that the angle θ in FIG. 5 is limited to a value smaller than the angle at which flipping occurs. Furthermore, the displayable radius S r , Maximum display resolution limit distance S dmax In view of the above, the condition of the protective cover radius can be further limited. For example, the displayable radius S r To maximize the viewing distance x given by equation (16) L And the viewing distance x L It is good to set larger than.
[0052]
As described above, according to the third embodiment, it is possible to prevent image flipping in a display peripheral portion. Also in the third embodiment, as in the first embodiment, a liquid crystal display device having a cylindrical display surface is used as a two-dimensional image display device, so that full-motion moving image display is easy, In addition, a high-resolution stereoscopic image can be obtained.
[0053]
(Fourth embodiment)
Next, the configuration of a stereoscopic image display device according to a fourth embodiment of the present invention will be described with reference to FIG. FIG. 22 is a perspective view illustrating the configuration of the stereoscopic image display device according to the present embodiment. The stereoscopic image display device of the present embodiment is configured using a part of the outer periphery of the cylindrical stereoscopic image display device of the first embodiment. The method described in the first embodiment may be applied to a partial area of the cylinder for the pixel mapping and the picture display method. For example, by cutting the two-dimensional image display device 2 composed of an LCD and the slit portion 32 at the center of curvature of the two-dimensional image display device, a three-dimensional image display device having a semicylindrical shape and a viewing zone of 180 ° is obtained. Since the position of the cutting plane can be set arbitrarily, it is possible to obtain a convex stereoscopic image display device having an arbitrary viewing zone and curvature.
[0054]
In this embodiment, as in the case of the first embodiment, since a liquid crystal display device having a convex display surface is used, a full-motion moving image can be easily displayed and a high-resolution stereoscopic image can be obtained. .
[0055]
In the first to fourth embodiments, the slit portion 32 provided on the observer 100 side with respect to the two-dimensional image display device 2 can be arranged on the light source 20 side. In this case, each radius of curvature is r> R, and equation (5) is
r = R + d (27)
It becomes. The following discussion is the same as the case where the slit section 32 is provided on the observer 100 side.
[0056]
In addition, when the parallax is also provided in the vertical direction, a pinhole having a product of the number of vertical parallaxes and the pixel pitch in the vertical direction may be used. As for the display characteristics with respect to the vertical parallax, the same discussion as that of the flat panel stereoscopic image display device holds.
[0057]
(Fifth embodiment)
Next, a stereoscopic image display device according to a fifth embodiment of the present invention will be described with reference to FIGS. FIG. 23 is a cross-sectional view illustrating the configuration of the stereoscopic image display device according to the present embodiment. The stereoscopic image display device according to the present embodiment has a configuration in which the lenticular lens array 52 is provided on the light source 20 side of the LCD 2 instead of the slit portion 32 in the stereoscopic image display device of the first embodiment. FIG. 24 is an enlarged view in which a part of the stereoscopic image display device shown in FIG. 23 is enlarged. The lenticular lens array 52 has a function of condensing light from a light source (not shown) on the pixel opening 7. By using the lenticular lens array 52, it is possible to efficiently guide the light from the light source to the pixel openings, and to improve the luminance. When the focal length of the lenticular lens 52 is f, the pitch of the lenticular lens 52 is a pixel pitch P p And the disparity number n
P p × n × (rf) / r (28)
Given by
[0058]
As described above, according to the present embodiment, by using the lenticular lens array 52, light from the light source can be efficiently guided to the pixel openings, and the luminance can be improved. Further, the stereoscopic image display device of the present embodiment also uses a liquid crystal display device having a cylindrical display surface as a two-dimensional image display device as in the case of the first embodiment, so that full-motion moving image display is easy. And a high-resolution stereoscopic image can be obtained.
[0059]
In the present embodiment, the lenticular lens 52 is provided on the light source 20 side. However, the lenticular lens 52 may be provided on the observer side as long as the condition for condensing light on the pixel 7 is satisfied. In the case where parallax is also provided in the vertical direction, the same effect as in the present embodiment can be obtained by using a lens array in which the product of the number of vertical parallaxes and the pixel pitch is the vertical pitch.
[0060]
(Sixth embodiment)
Next, a stereoscopic image display device according to a sixth embodiment of the present invention will be described with reference to FIGS. FIG. 25 is a cross-sectional view illustrating the configuration of the stereoscopic image display device according to the present embodiment. The three-dimensional image display device according to the present embodiment has a configuration in which a flexible organic LED (Light Emitting Diode) 60 is used instead of the LCD 2 as the two-dimensional image display device in the three-dimensional image display device according to the first embodiment. It has become. By using the self-luminous organic LED 60, the light source can be omitted, and the structure can be simplified while maintaining the pixel definition. Further, the display luminance efficiency is excellent because a polarizing plate is not used.
[0061]
FIG. 26 is a diagram illustrating a cross-sectional structure of the organic LED 60 having flexibility. An organic EL (Electro Luminescence) light emitting layer 62 is formed in each pixel 7 as an RGB pattern, and emitted light 12 is emitted from the pixel opening 7b. The organic EL light emitting layer 62 and the pixel structure 7 are formed between the glass substrates 4a and 8a and then thinned by physical or chemical polishing after being formed between the glass substrates 4a and 8a, as in the case of the LCD described above. 8b can be made flexible by bonding.
[0062]
Although the slit 32 is provided in the present embodiment, the lenticular lens array described in the fifth embodiment may be provided at the position of the slit 32 instead of the slit 32. In this case, the pitch of the lenticular lens and the light collecting conditions are the same as in the fifth embodiment. When providing vertical parallax, a pinhole array or a lens array according to the number of vertical parallaxes and the pixel pitch may be arranged as in the embodiment using an LCD.
[0063]
According to the sixth embodiment, as the two-dimensional image display device, an organic LED having a cylindrical display surface is used, so that a full-motion moving image can be easily displayed and a high-resolution stereoscopic image can be obtained. .
[0064]
(Seventh embodiment)
Next, a stereoscopic image display device according to a seventh embodiment of the present invention will be described with reference to FIGS. FIG. 27A shows the appearance of the image display unit of the stereoscopic image display device according to the present embodiment, and FIG. 27B is a cross-sectional view schematically showing the configuration of the stereoscopic image display device according to the present embodiment. is there. In the present embodiment, a hemispherical stereoscopic image display device capable of observing a stereoscopic image from 360 ° all around and 180 ° vertically is provided. The display screen surface 70 is a transmission / scattering screen that has light scattering / transmission characteristics and allows an image projected from the center of curvature to be observed from outside the screen. By forming predetermined stereoscopic image information as a projected image on the display screen surface 70 and observing the projected image through the pinhole 72, a stereoscopic image can be observed near the center of curvature. By using the fish-eye lens 74 as the projection lens system of the projection optical system, it becomes possible to form image information displayed on the planar type two-dimensional image display device 76 on the hemispherical display screen surface 70.
[0065]
Hereinafter, a pixel mapping method for displaying a stereoscopic image using the fisheye lens 74 will be described.
[0066]
When projecting a plane image onto a hemisphere using the fisheye lens 74, a plurality of projection methods can be adopted depending on the lens design. For example, FIG. 28 is a diagram illustrating projection based on orthographic projection. In a three-dimensional coordinate system (X, Y, Z) 78, coordinates on a hemisphere having a radius R are calculated using a spherical coordinate system.
(X, Y, Z) = (R sin θ cos φ, R sin θ sin φ, R cos θ) (29)
Is represented by In the case of orthographic projection, the distance R ′ from the origin in the two-dimensional coordinate system (x, y) is
R ′ = k · Rsin θ (30)
And the coordinates (X, Y, Z) are represented on a two-dimensional coordinate system (x, y) 80.
(X, y) = (R'cosφ, R'sinφ) (31)
Will be projected as Here, k represents a magnification. A fisheye lens that follows orthographic projection is suitable as a fisheye lens that projects and displays an image because the image plane illuminance is almost constant regardless of the angle θ.
[0067]
As other projection methods, equidistant projection, stereoscopic projection, fisheye lens according to equal solid angle projection can be designed,
Equidistant projection: R '= kRθ (32)
Stereographic projection: R '= 2 kRtan (θ / 2) (33)
Equi-solid angle projection: R '= 2 kR sin (θ / 2) (34)
If the equation (30) is changed to the above coordinate conversion equation according to the projection method, it is possible to obtain the correspondence between the plane coordinate system and the spherical coordinate system.
[0068]
By using the above relationship and following the procedure below, the relationship between the image information to be displayed on the display screen surface 70 and the display position on the two-dimensional matrix display device, and the position of the pinhole 72 can be determined. .
[0069]
FIG. 29 is a diagram showing the position of the pixel 82 located at the center of the parallax, i-th in the x-axis direction and j-th in the y direction, in the two-dimensional coordinate system (x, y) on the two-dimensional image display device. is there. The coordinates of the pixel 82 are
(X i , Y j ) = (R ij cosφ ij , R ij sinφ ij ) (35)
Is represented by In FIG. 29, for convenience, a pixel 84 which is the parallax center at the origin and is projected on the zenith of the display surface is arranged.
[0070]
As shown in FIG. 30, the pixel (i, j) is projected on a spherical screen having a radius R at a magnification of 1 / k in an orthogonal projection. From equation (30)
θ = arcsin (r ij / KR) (36)
And the projection position P (X, Y, Z) is
P (X, Y, Z) = (R sin θ cos φ ij , R sin θ sin φ ij , Rcos θ) = (r ij cosφ ij / K, r ij sinφ ij / K, Rcos θ) (37)
Given by
[0071]
Further, the projection position P ′ of the pixel that is located around the pixel (i, j) that gives the center parallax and gives the peripheral parallax can be calculated in the same manner using the equations (35) to (37).
[0072]
On the other hand, if the distance between the pinhole and the projection plane is d, the radius of the pinhole formation surface is d + R, and the pinhole connects the projection position P of the pixel, which is the center parallax, to the center of curvature (origin). Since the pinhole position Q (X ′, Y ′, Z ′) should be provided on an extension line,
Q (X ′, Y ′, Z ′) = ((R + d) sin θ cos φ ij ,
(R + d) sin θ sin φ ij , (R + d) cos θ) = ((R + d) r ij cosφ ij / KR,
(R + d) r ij sinφ ij / KR, (R + d) cos θ) (38)
Given as
[0073]
As described in the first embodiment, the pixel information to be displayed in each pixel is obtained by obtaining the intersection with the surface of the three-dimensional display object by extending the line segment PQ or the line segment P′Q, and obtaining the luminance at this intersection. -Display chromaticity information.
[0074]
FIG. 31 shows an example in which square parallax pixels 90 and peripheral parallax pixel groups 92 are grouped and assigned to one pinhole 72 using square pixels 7 arranged in a staggered manner on a two-dimensional matrix display device. FIG. 31 shows an example in which 19 parallaxes are mapped. The distance between the central parallax pixels is D p The distance R from the center parallax pixel to the center of the peripheral parallax pixel farthest from the center parallax pixel. p Then
D p > 2R p (39)
The following conditions are desirable. The radius R between the image projected on the display screen surface and the pinhole p By providing the field-of-view restricting means so that the range exceeding is not visually recognized, a favorable stereoscopic image display free from flipping can be obtained. FIG. 32 schematically shows the relationship between the projected image of the central parallax pixel 90 and the peripheral parallax pixel group 92, the pinhole 72, and the ray group 94 when each pixel in FIG. 31 is projected on the display screen surface. FIG. 32 schematically shows an image with little distortion in a region near the center pixel 90 on the two-dimensional matrix display device. The distortion of the image increases toward the periphery of the display device.
[0075]
On the other hand, FIG. 33 shows an example in which a square parallax pixel 90 and its peripheral parallax pixel group 92 are grouped and assigned to one pinhole 72 using square pixels 7 in a square array. FIG. 33 is an example of mapping with 13 parallaxes. In the case of this mapping example, pixels are densely grouped, but because the condition of Expression (39) is not satisfied, flipping or crosstalk occurs near the boundary region of the peripheral parallax pixel group 92.
[0076]
On the other hand, in the grouping method shown in FIG. 34, although the relationship of the expression (39) is satisfied, a pixel 96 which does not contribute to the display is generated. As described above, in the case of the square arrangement, since the crosstalk and the effective utilization rate of the pixel are traded off, priority is given to the denseness or the suppression of the crosstalk depending on the content of the image, the definition, and the display position of the panel. Is selected. As can be seen by comparing the staggered arrangement and the square arrangement, it can be said that the staggered arrangement is denser and more suitable for spherical projection.
[0077]
FIG. 35 is a diagram showing an example of a projection optical system for realizing the present embodiment. FIG. 35 is characterized in that three transmissive LCDs 112 are used for a two-dimensional image display device. The illumination light from the white light source 120 is condensed and uniformed by a condenser lens 118, decomposed into three primary color lights using a dichroic prism 114 and a mirror 116, and each display image is synthesized, and a spherical screen (not shown) is formed by a fisheye lens 110. Projected on.
[0078]
FIG. 36 is an example of a projection optical system that realizes the present embodiment using the reflection type two-dimensional image display device 122. In FIG. 36, the illumination light from the white light source 120 is condensed and uniformed by the condenser lens 118, and the three primary colors are divided and illuminated in time series by the color wheel 122, and the reflection type two-dimensional image is synchronized with the illumination color. A time-division color display for displaying a color image by displaying an image on the display device 124 is performed. As a reflection type two-dimensional image display device capable of such a display method, a DMD (Digital Micromirror) that mechanically controls the angle of reflected light is used.
Device).
[0079]
According to the seventh embodiment, a full-motion moving image can be easily displayed and a high-resolution stereoscopic image can be obtained. Further, it is possible to obtain a three-dimensional image display device capable of observing a three-dimensional image from all directions around 360 ° and 180 ° up and down.
[0080]
In the first to seventh embodiments, since the display image 99 is a virtual image, its display position cannot be directly measured. However, by utilizing the motion parallax derived from the multi-parallax display and applying the distance measurement method based on triangulation, it is possible to physically and accurately measure the display position of the display image 99 that is displayed stereoscopically correctly. is there.
[0081]
With respect to the display position of one point 99a in the display image 99, two examples will be described with reference to FIG. 37 as a method of obtaining the display distance S based on the slit position 32. For simplicity, the camera 101 is installed on an extension line connecting the center of curvature of the stereoscopic image display device to the point 99a, and the radius of curvature R of the slit 32 and the distance from the center of curvature to the camera are known (distance L). And For the sake of simplicity, components other than the slit 32 in the stereoscopic image display device are not shown.
[0082]
Example 1) The camera is shifted by a distance w in the direction perpendicular to the imaging direction without changing the direction of the camera ((1) in FIG. 37). Point 99a is ψ 1 When observed in the direction, from the geometric relationship
S = w / tanψ 1 + RL (40)
Is the display distance S required.
[0083]
Example 2) The camera is rotated by φ degrees around the center of curvature of the stereoscopic image display device as a rotation axis, or the camera is fixed and the stereoscopic image display device is rotated by φ degrees ((2) in FIG. 37). At this time, the point 99a becomes ψ 2 When observed in the direction, using the cosine theorem,
S = RL [cos φ-cos ψ 2 cos (ψ 2 + Φ)] / [sin (ψ 2 + Φ)] 2 (41)
Is the desired display distance S.
[0084]
As described above, even if details such as the slit pitch and the pixel pitch of the stereoscopic image display device are unknown, it is possible to measure the display position of the stereoscopic display image using the motion parallax.
[0085]
Also, if the slit pitch, pixel pitch, etc. are known and it is known to which pixel the image signal for the three-dimensional information of the display object is given, the position of the pixel where the same image signal is displayed and the slit opening It is easy to find the above geometric condition from the relationship with Although the above example is an example applied to a cylindrical cutting plane, even when the stereoscopic image display device has a spherical shape, considering a cutting plane including a spherical curvature center and an observation direction, It goes without saying that a similar argument holds.
[0086]
【The invention's effect】
As described above, according to the present invention, image mapping of a stereoscopic image to be displayed can be efficiently performed, and a stereoscopic image for which full-motion moving image display is easy, so that the stereoscopic image is not broken even when the viewpoint position is changed, In addition, it can be displayed at a high resolution.
[Brief description of the drawings]
FIG. 1 is a perspective view showing the configuration of a stereoscopic image display device according to a first embodiment of the present invention.
FIG. 2 is a sectional view of the stereoscopic image display device according to the first embodiment as viewed from above.
FIG. 3 is a cross-sectional view of a transmission type LCD having flexibility.
FIG. 4 is a diagram showing a correspondence relationship between an LCD pixel opening, a slit opening, and a light flux.
FIG. 5 is a diagram illustrating a display range obtained in the first embodiment.
FIG. 6 is a diagram illustrating a relationship between parameters and a display position of a stereoscopic image in the stereoscopic image display device according to the first embodiment.
FIG. 7 is a view for explaining display characteristics in the first embodiment.
FIG. 8 is a view for explaining image mapping in FIG. 7;
FIG. 9 is a diagram illustrating an example of a desirable configuration condition for image mapping according to the first embodiment.
FIG. 10 is a view for explaining image mapping in FIG. 9;
FIG. 11 is a diagram showing a positional relationship between a slit opening and a pixel.
FIG. 12 is a view for explaining image mapping in FIG. 9;
FIG. 13 is a diagram comparing image mapping when parallax image information is allocated to RGB sub-pixels in FIG. 9 and when parallax image information is allocated to RGB sub-pixels in the flat panel stereoscopic image display device.
FIG. 14 is a diagram showing a relationship between the number of parallaxes n and a range in which a stereoscopic image is to be displayed in one example according to the first embodiment of the present invention.
FIG. 15 is a diagram showing a relationship between the number of parallaxes n and a display radius at which a stereoscopic image does not break down in one example according to the first embodiment of the present invention.
FIG. 16 is a diagram illustrating a relationship between the number of parallaxes n and a radius that can be displayed at the maximum resolution without breaking a stereoscopic image in an example according to the first embodiment of the present invention.
FIG. 17 is a cross-sectional view illustrating a configuration of a stereoscopic image display device according to a second embodiment of the present invention.
FIG. 18 illustrates a problem of flipping.
FIG. 19 is a view for explaining the effect of eliminating flipping in the second embodiment.
FIG. 20 is a perspective view showing a configuration of a viewing angle limiting film.
FIG. 21 is a sectional view showing a configuration of a stereoscopic image display device according to a third embodiment of the present invention.
FIG. 22 is a perspective view showing a configuration of a stereoscopic image display device according to a fourth embodiment of the present invention.
FIG. 23 is a sectional view showing the configuration of a stereoscopic image display device according to a fifth embodiment of the present invention.
FIG. 24 is an enlarged view of the vicinity of a pixel in the fifth embodiment.
FIG. 25 is a sectional view showing the configuration of a stereoscopic image display device according to a sixth embodiment of the present invention.
FIG. 26 is a cross-sectional view of a flexible organic LED used in the sixth embodiment.
FIG. 27 is a diagram showing a configuration of a stereoscopic image display device according to a seventh embodiment of the present invention.
FIG. 28 is a view showing a coordinate correspondence relationship between a display surface based on orthographic projection and a two-dimensional matrix display device surface in the seventh embodiment.
FIG. 29 is a diagram showing positions of pixels on a two-dimensional matrix display device surface according to the seventh embodiment.
FIG. 30 is a diagram showing a projection position on a display surface in the seventh embodiment.
FIG. 31 is a diagram showing a pixel arrangement (staggered arrangement) of a two-dimensional matrix display device in a seventh embodiment.
32 is a diagram showing a positional relationship between a projected image and a pinhole on a projection screen surface in the pixel grouping shown in FIG. 32.
FIG. 33 is a diagram illustrating a pixel array (square array) of a two-dimensional matrix display device according to a seventh embodiment.
FIG. 34 is a diagram showing an example of predetermined pixel grouping for square array pixels.
FIG. 35 is a diagram showing a configuration of a specific example of a projection optical system in a seventh embodiment.
FIG. 36 is a diagram showing a configuration of another specific example of the projection optical system in the seventh embodiment.
FIG. 37 is a view for explaining a method of obtaining a display position of a display image.
FIG. 38 is a principle diagram in the case of displaying a stereoscopic image using a flat display device.
FIG. 39 is a diagram showing a display principle based on the IP method in a conventional stereoscopic image display device.
FIG. 40 is a view for explaining image mapping in FIG. 39;
FIG. 41 is a diagram showing a display principle based on a parallax barrier method in a conventional flat panel stereoscopic image display device.
FIG. 42 is a view for explaining image mapping in FIG. 41;
[Explanation of symbols]
2 2D image display device
4 Transparent substrate
4a Glass substrate
4b Transparent polymer substrate
5 Spacer
6 Liquid crystal layer
7. Pixel structure (pixel)
7a Thin film transistor
7b Transparent pixel electrode (pixel opening)
8 Transparent substrate
8a glass substrate
8b Transparent polymer substrate
10a Polarizing plate
10b Polarizing plate
14 seams
16 Pixel group corresponding to slit opening
17 center pixel
18 luminous flux
20 pillar light source
30 pipe-shaped members
32 slit
32a slit opening
32b Shading part
99 3D image

Claims (8)

観測者から見て凸状の曲面を有する表示面と、
前記表示面の前面あるいは背面に設けられ、複数の開口部が形成されるかあるいはレンズがアレイ状に形成された曲面を有し、前記開口部あるいは前記レンズのそれぞれに前記表示面の複数の画素からの光線束が割り当てられる光線束割り当て手段と、
2次元パターンを前記表示面に表示する2次元パターン表示手段と、
を備えていることを特徴とする立体画像表示装置。
A display surface having a convex curved surface as viewed from an observer,
A plurality of pixels on the display surface are provided on the front surface or the back surface of the display surface, and have a curved surface in which a plurality of openings are formed or lenses are formed in an array. Ray bundle assigning means to which the ray bundle from is assigned;
Two-dimensional pattern display means for displaying a two-dimensional pattern on the display surface;
A stereoscopic image display device comprising:
前記表示面及び2次元パターン表示手段が直視型の2次元マトリクス表示デバイスであり、前記表示面及び前記光線束割り当て手段が円筒状を成していることを特徴とする請求項1記載の立体画像表示装置。2. The three-dimensional image according to claim 1, wherein the display surface and the two-dimensional pattern display unit are a direct-view type two-dimensional matrix display device, and the display surface and the light flux allocating unit are cylindrical. Display device. 前記2次元パターン表示手段の曲率半径をr、前記画素ピッチをP、前記光線束割り当て数をn、前記複数の開口部あるいはレンズアレイを有する曲面と前記2次元パターン表示手段間の距離をd、i、jを自然数とするとき、dとrの比d/rがsin[(i・n+j)P/r]/sin(i・n・P/r)−1の値に設定されたことを特徴とする請求項1記載の立体画像表示装置。The radius of curvature of the two-dimensional pattern display means is r, the pixel pitch is P p , the number of ray bundles is n, and the distance between the curved surface having the plurality of openings or lens arrays and the two-dimensional pattern display means is d. , i, when the natural number j, the ratio d / r of the d and r are set to the value of sin [(i · n + j ) P p / r] / sin (i · n · P p / r) -1 The stereoscopic image display device according to claim 1, wherein: 前記表示面が透過型スクリーン、2次元パターン表示手段が投影型表示装置であり、前記表示面及び前記光線束割り当て手段が半球状を成していることを特徴とする請求項1記載の立体画像表示装置。2. The stereoscopic image according to claim 1, wherein the display surface is a transmission screen, the two-dimensional pattern display means is a projection display device, and the display surface and the light beam allocating means form a hemisphere. Display device. 前記表示面と前記2次元パターン表示手段における座標が正射影の関係にあることを特徴とする請求項4記載の立体画像表示装置。5. The three-dimensional image display device according to claim 4, wherein the coordinates of the display surface and the coordinates of the two-dimensional pattern display means are in an orthographic relationship. 前記表示面の法線方向を中心として所定の角度範囲内にのみ画像が表示されるよう、表示面の前面あるいは背面に視角制限手段を設けたことを特徴とする請求項1記載の立体画像表示装置。The stereoscopic image display according to claim 1, wherein a viewing angle limiting means is provided on a front surface or a back surface of the display surface so that an image is displayed only within a predetermined angle range around a normal direction of the display surface. apparatus. 請求項1記載の立体画像表示装置において、前記2次元パターン表示手段の曲率半径をr、前記画素ピッチをP、前記光線束割り当て数をn、前記複数の開口部あるいはレンズアレイを有する曲面と前記2次元パターン表示手段間の距離をd、Srminを次式で表される値とすると、
Figure 2004177709
立体画像の表示位置は、前記曲率中心から前記立体画像までの距離は、Srmin以下となるように表示されることを特徴とする立体画像の表示方法。
2. The three-dimensional image display device according to claim 1, wherein the curvature radius of the two-dimensional pattern display means is r, the pixel pitch is P p , the number of light fluxes is n, and the curved surface has the plurality of openings or lens arrays. Assuming that the distance between the two-dimensional pattern display means is d and S rmin is a value represented by the following equation:
Figure 2004177709
A display method of a three-dimensional image, wherein a display position of the three-dimensional image is displayed such that a distance from the center of curvature to the three-dimensional image is Srmin or less.
前記立体画像の表示位置は前記曲率中心からd+r−1/{1/[dn(1+d/r)]−1/(L−d−r)}以上の距離に表示することを特徴とする請求項7記載の立体画像の表示方法。The display position of the stereoscopic image is displayed at a distance of d + r-1 / {1 / [dn (1 + d / r)]-1 / (L-dr)} or more from the center of curvature. 7. The method for displaying a stereoscopic image according to item 7.
JP2002344490A 2002-11-27 2002-11-27 Stereoscopic image display apparatus and stereoscopic image display method Expired - Fee Related JP3906146B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002344490A JP3906146B2 (en) 2002-11-27 2002-11-27 Stereoscopic image display apparatus and stereoscopic image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002344490A JP3906146B2 (en) 2002-11-27 2002-11-27 Stereoscopic image display apparatus and stereoscopic image display method

Publications (2)

Publication Number Publication Date
JP2004177709A true JP2004177709A (en) 2004-06-24
JP3906146B2 JP3906146B2 (en) 2007-04-18

Family

ID=32705961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002344490A Expired - Fee Related JP3906146B2 (en) 2002-11-27 2002-11-27 Stereoscopic image display apparatus and stereoscopic image display method

Country Status (1)

Country Link
JP (1) JP3906146B2 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031367A (en) * 2003-07-11 2005-02-03 Toshiba Corp Stereoscopic image display device
WO2006070499A1 (en) * 2004-12-28 2006-07-06 Japan Science And Technology Agency 3d image display method
JP2008176180A (en) * 2007-01-22 2008-07-31 Olympus Corp Visual display device
JP2008176167A (en) * 2007-01-22 2008-07-31 Seiko Epson Corp Method for manufacturing electro-optical device
JP2010506211A (en) * 2006-10-06 2010-02-25 ラリー ブラザーズ サイエンティフィック、エルエルシー Three-dimensional internal backprojection system and method of using the system
WO2010067838A1 (en) 2008-12-12 2010-06-17 ソニー株式会社 3d image display device, method for manufacturing same, and 3d image display method
WO2010137646A1 (en) * 2009-05-29 2010-12-02 独立行政法人科学技術振興機構 Three-dimensional information presentation device using slit viewing
EP2306742A2 (en) 2009-10-02 2011-04-06 Sony Corporation Image signal processing apparatus, image signal processing method, image display apparatus, image display method, program, and image display system
EP2306741A2 (en) 2009-10-05 2011-04-06 Sony Corporation Image signal processing apparatus, method and program for inputting images and control data to an omnidirectional stereoscopic image display apparatus
EP2312862A2 (en) 2009-10-15 2011-04-20 Sony Corporation Image signal processing device, method and program for storing omnidirectional views in a video standard, and omnidirectional 3D display
CN102096197A (en) * 2009-12-10 2011-06-15 索尼公司 Three-dimensional image display device, method of manufacturing the same, and three-dimensional image display method
JP2012177937A (en) * 2005-07-08 2012-09-13 Sharp Corp Multiple-view directional display
US8539701B2 (en) 2010-07-08 2013-09-24 Sony Corporation Display apparatus
US8749324B2 (en) 2010-10-19 2014-06-10 Sony Corporation Signal transmission apparatus and display apparatus
US8787005B2 (en) 2010-07-08 2014-07-22 Sony Corporation Display apparatus
US8820977B2 (en) 2010-07-08 2014-09-02 Sony Corporation Light emitting device and display apparatus
US8829547B2 (en) 2010-07-08 2014-09-09 Sony Corporation Light emitting device and display apparatus with light-focusing lens
US8827479B2 (en) 2011-07-04 2014-09-09 Sony Corporation Display device
WO2018051743A1 (en) * 2016-09-16 2018-03-22 国立研究開発法人産業技術総合研究所 Information processing device for display devices, information processing method for display devices, and program for display devices
WO2019059071A1 (en) * 2017-09-25 2019-03-28 公立大学法人大阪市立大学 Three-dimensional display device and moving body
KR102209560B1 (en) * 2020-03-27 2021-01-28 김연희 Three-dimensional stereoscopic image artwork of curved structure using two-dimensional graphic printing technology and method of manufacturing thereof
JP2021092775A (en) * 2019-12-06 2021-06-17 幻景▲ケイ▼動股▲フン▼有限公司 Integrated image display device
JP2022044675A (en) * 2016-01-29 2022-03-17 マジック リープ, インコーポレイテッド Display for three-dimensional image
CN114998521A (en) * 2022-06-13 2022-09-02 四川大学 Virtual reality 3D tooth dynamic model teaching system and method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338633A (en) * 1989-06-23 1991-02-19 Heinrich Hertz Inst Nachrichtentech Berlin Gmbh Regenerator for three-dimensional perception of picture
JPH03119889A (en) * 1989-10-02 1991-05-22 Nippon Hoso Kyokai <Nhk> Three-dimensional picture display device
JPH06289320A (en) * 1993-04-06 1994-10-18 Sharp Corp Three-dimensional display device
JPH09311295A (en) * 1996-05-20 1997-12-02 Canon Inc Method and device for stereoscopic image display
JPH11109287A (en) * 1997-10-03 1999-04-23 Toppan Printing Co Ltd Lenticular display device
JPH11196124A (en) * 1997-12-27 1999-07-21 Hitachi Ltd Mail system and mail automatic transfer state display method, and storage medium stored with program regarding the method
JPH11296124A (en) * 1998-04-07 1999-10-29 Uf Sangyo Kk Three dimensional video display device
JP2001215444A (en) * 2000-02-02 2001-08-10 Konica Corp Three-dimensional image display device
JP2002084553A (en) * 2000-09-11 2002-03-22 Canon Inc Stereoscopic display device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338633A (en) * 1989-06-23 1991-02-19 Heinrich Hertz Inst Nachrichtentech Berlin Gmbh Regenerator for three-dimensional perception of picture
JPH03119889A (en) * 1989-10-02 1991-05-22 Nippon Hoso Kyokai <Nhk> Three-dimensional picture display device
JPH06289320A (en) * 1993-04-06 1994-10-18 Sharp Corp Three-dimensional display device
JPH09311295A (en) * 1996-05-20 1997-12-02 Canon Inc Method and device for stereoscopic image display
JPH11109287A (en) * 1997-10-03 1999-04-23 Toppan Printing Co Ltd Lenticular display device
JPH11196124A (en) * 1997-12-27 1999-07-21 Hitachi Ltd Mail system and mail automatic transfer state display method, and storage medium stored with program regarding the method
JPH11296124A (en) * 1998-04-07 1999-10-29 Uf Sangyo Kk Three dimensional video display device
JP2001215444A (en) * 2000-02-02 2001-08-10 Konica Corp Three-dimensional image display device
JP2002084553A (en) * 2000-09-11 2002-03-22 Canon Inc Stereoscopic display device

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031367A (en) * 2003-07-11 2005-02-03 Toshiba Corp Stereoscopic image display device
US7961182B2 (en) 2004-12-28 2011-06-14 Japan Science And Technology Agency Stereoscopic image display method
WO2006070499A1 (en) * 2004-12-28 2006-07-06 Japan Science And Technology Agency 3d image display method
JP2012177937A (en) * 2005-07-08 2012-09-13 Sharp Corp Multiple-view directional display
JP2010506211A (en) * 2006-10-06 2010-02-25 ラリー ブラザーズ サイエンティフィック、エルエルシー Three-dimensional internal backprojection system and method of using the system
JP2008176167A (en) * 2007-01-22 2008-07-31 Seiko Epson Corp Method for manufacturing electro-optical device
JP2008176180A (en) * 2007-01-22 2008-07-31 Olympus Corp Visual display device
WO2010067838A1 (en) 2008-12-12 2010-06-17 ソニー株式会社 3d image display device, method for manufacturing same, and 3d image display method
US8854439B2 (en) 2008-12-12 2014-10-07 Sony Corporation Stereoscopic picture display, method of manufacturing the same and stereoscopic picture display method
WO2010137646A1 (en) * 2009-05-29 2010-12-02 独立行政法人科学技術振興機構 Three-dimensional information presentation device using slit viewing
JP5449342B2 (en) * 2009-05-29 2014-03-19 独立行政法人科学技術振興機構 3D information presentation device using slit view
US9159255B2 (en) 2009-05-29 2015-10-13 Japan Science And Technology Agency Three-dimensional information presentation device using slit viewing
EP2306742A2 (en) 2009-10-02 2011-04-06 Sony Corporation Image signal processing apparatus, image signal processing method, image display apparatus, image display method, program, and image display system
EP2306741A2 (en) 2009-10-05 2011-04-06 Sony Corporation Image signal processing apparatus, method and program for inputting images and control data to an omnidirectional stereoscopic image display apparatus
CN102036088A (en) * 2009-10-05 2011-04-27 索尼公司 Image signal processing apparatus, image signal processing method, image display apparatus, image display method, program, and image display system
CN102045579A (en) * 2009-10-15 2011-05-04 索尼公司 Image signal processing device and method, image display device, method and system
EP2312862A2 (en) 2009-10-15 2011-04-20 Sony Corporation Image signal processing device, method and program for storing omnidirectional views in a video standard, and omnidirectional 3D display
EP2333753A2 (en) 2009-12-10 2011-06-15 Sony Corporation Three-dimensional image display device, method of manufacturing the same, and three-dimensional image display method
CN102096197A (en) * 2009-12-10 2011-06-15 索尼公司 Three-dimensional image display device, method of manufacturing the same, and three-dimensional image display method
US8695246B2 (en) 2010-07-08 2014-04-15 Sony Corporation Display apparatus
US8787005B2 (en) 2010-07-08 2014-07-22 Sony Corporation Display apparatus
US8820977B2 (en) 2010-07-08 2014-09-02 Sony Corporation Light emitting device and display apparatus
US8829547B2 (en) 2010-07-08 2014-09-09 Sony Corporation Light emitting device and display apparatus with light-focusing lens
US8539701B2 (en) 2010-07-08 2013-09-24 Sony Corporation Display apparatus
US8749324B2 (en) 2010-10-19 2014-06-10 Sony Corporation Signal transmission apparatus and display apparatus
US8827479B2 (en) 2011-07-04 2014-09-09 Sony Corporation Display device
JP7288988B2 (en) 2016-01-29 2023-06-08 マジック リープ, インコーポレイテッド Display for 3D images
JP2022044675A (en) * 2016-01-29 2022-03-17 マジック リープ, インコーポレイテッド Display for three-dimensional image
JPWO2018051743A1 (en) * 2016-09-16 2019-08-15 国立研究開発法人産業技術総合研究所 Information processing device for display device, information processing method for display device, and program for display device
US11402657B2 (en) 2016-09-16 2022-08-02 National Institute Of Advanced Industrial Science And Technology Information processing device for display device, information processing method for display device, and program for display device
WO2018051743A1 (en) * 2016-09-16 2018-03-22 国立研究開発法人産業技術総合研究所 Information processing device for display devices, information processing method for display devices, and program for display devices
WO2019059071A1 (en) * 2017-09-25 2019-03-28 公立大学法人大阪市立大学 Three-dimensional display device and moving body
JP2021092775A (en) * 2019-12-06 2021-06-17 幻景▲ケイ▼動股▲フン▼有限公司 Integrated image display device
KR102209560B1 (en) * 2020-03-27 2021-01-28 김연희 Three-dimensional stereoscopic image artwork of curved structure using two-dimensional graphic printing technology and method of manufacturing thereof
CN114998521A (en) * 2022-06-13 2022-09-02 四川大学 Virtual reality 3D tooth dynamic model teaching system and method
CN114998521B (en) * 2022-06-13 2024-03-05 四川大学 Virtual reality 3D dental dynamic model teaching system and method

Also Published As

Publication number Publication date
JP3906146B2 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
JP3906146B2 (en) Stereoscopic image display apparatus and stereoscopic image display method
JP6782703B2 (en) Time division multiplex visual display
JP5316909B2 (en) Stereoscopic image display device and display panel
TW571120B (en) Three-dimensional display method and its device
KR100658545B1 (en) Apparatus for reproducing stereo-scopic picture
JP4448141B2 (en) Autostereoscopic multi-user display
US7336326B2 (en) Image displaying unit of a 3D image system having multi-viewpoints capable of displaying 2D and 3D images selectively
US20130335538A1 (en) Multiple viewpoint image display device
JP2005340957A (en) Device and method for displaying three-dimensional image
CN113692547B (en) Display device and display method thereof
US11272168B2 (en) Three-dimensional display apparatus, three-dimensional imaging apparatus, and method of displaying three-dimensional image
WO2019184394A1 (en) Stereoscopic display device and control method for stereoscopic display device
WO2019076314A1 (en) Three-dimensional display panel and display device
WO2018076775A1 (en) Display panel and display device
JP4968655B2 (en) Stereoscopic image display device, portable terminal device
JP2006030507A (en) Three-dimensional spatial image display apparatus and three-dimensional spatial image display method
CN103163722B (en) Three-dimensional image display systems based on micro display chip array and method
CN111142272B (en) Optical structure for 3D light field display and image synthesis method thereof
JP6865624B2 (en) Stereoscopic image display device
JP2004184895A (en) Stereoscopic image display device
JPH09318910A (en) Three-dimensional image information reproducing device
US20160187665A1 (en) 3d display apparatus
EP3299883B1 (en) Display device including lens panel
CN117331238A (en) micro-LED naked eye 3D display device with continuous visual angles and display method thereof
CN117501168A (en) Display device and driving method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140119

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees