JP3546921B2 - 立体表示方法及び装置 - Google Patents

立体表示方法及び装置 Download PDF

Info

Publication number
JP3546921B2
JP3546921B2 JP07059298A JP7059298A JP3546921B2 JP 3546921 B2 JP3546921 B2 JP 3546921B2 JP 07059298 A JP07059298 A JP 07059298A JP 7059298 A JP7059298 A JP 7059298A JP 3546921 B2 JP3546921 B2 JP 3546921B2
Authority
JP
Japan
Prior art keywords
dimensional
image
display device
mask
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07059298A
Other languages
English (en)
Other versions
JPH11272202A (ja
Inventor
英明 ▲高▼田
史朗 陶山
員丈 上平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP07059298A priority Critical patent/JP3546921B2/ja
Publication of JPH11272202A publication Critical patent/JPH11272202A/ja
Application granted granted Critical
Publication of JP3546921B2 publication Critical patent/JP3546921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、立体表示方法及び装置に関し、特に、可変焦点型立体表示装置を有する奥行き標本化型立体表示装置において、観察者から見て隠れるべき画像部分を覆い隠すことによって、立体視における実際の像と奥行き標本化型立体表示装置による画像との矛盾を解決することが可能な立体表示技術に関するものである。
【0002】
【従来の技術】
従来、2次元画像表示装置の2次元像を奥行き方向に展開して3次元像を再現する立体表示装置としては、可変焦点型立体表示装置(特開平9−258271号公報)、あるいは奥行き標本化型立体表示装置(「三次元映像」稲田修一編著、(株)昭晃堂、1991.7.5、p13−24)が良く知られている。
【0003】
図10に前記可変焦点型立体表示装置の一例として、可変焦点レンズ型装置の表示原理を説明するための図を示す。ここで、可変焦点レンズとは、フレネルレンズと液晶の層を透明電極によって挟み、それに電界をかけることによって液晶の屈折率が変化する作用により、焦点距離が変化するレンズである。
【0004】
まず、図12に示すように、3次元物体1206を観察者からの距離が等価な位置で平行な面で奥行き標本化して、2次元像である奥行き標本化像の集合1207に分解する。
【0005】
次に、図10に示すように、この奥行き標本化像1207を時分割で2次元表示装置1001に表示し、これを表示するべき位置に同期させて可変焦点レンズ1002の焦点距離を変化させる。これによりレンズの原理から、可変焦点レンズ1002の焦点距離に対応して、2次元表示装置1001に表示した奥行き標本化像1207の像位置が奥行き方向に変化する。
【0006】
したがって、これを人の眼の残像時間以内に高速に行えば、残像効果により3次元画像(立体像)1003として観察できる。図10(a)に3次元像が虚像の場合(2次元表示装置1001を可変焦点レンズ1002の焦点距離以内に配置)を、図10(b)に3次元像が実像の場合(2次元表示装置1001を可変焦点レンズ1002の焦点距離より外に配置)を示す。
【0007】
図11に前記奥行き標本化型立体表示装置の一例として、振動スクリーン型装置の表示原理を説明するための図を示す。
【0008】
奥行き標本化とは物体を奥行き方向に平行な面でかき割に分割したものを空間上に配置したものである。図12に示すように、3次元物体1206を奥行き標本化して、2次元像である奥行き標本化像の集合1207に分解する。次に、図11に示すように、この奥行き標本化像1207を時分割で画像の位置に応じて同期させて2次元表示装置1101に表示し、この表示に同期させて2次元表示装置1101を駆動装置1102で奥行き方向の標本化位置に応じた位置に高速に移動させる。これを人の眼の残像時間以内に高速に行えば、残像効果により3次元像(立体像)1103として観察できる。
【0009】
前記した従来の立体表示装置では、実際に表示像が奥行き方向に変化して表示されるため、人の立体視の生理的要因(両眼視差、輻輳、ピント調節、動的視差など)をほぼ満足できる利点を有している。
【0010】
【発明が解決しようとする課題】
しかしながら、奥行き方向を時分割で表示し、残像現象により3次元像に統合するため、本来ならば観察者(例えば、図10の1004,図11の1104)の位置からでは隠されている、物体の裏側や内部(例えば、図10の1005,図11の1105)、あるいは後方の物体などが透けて見えるファントム現象を回避することが困難であるという問題点を有していた。これは、自然な像を再現する上で大きな障害となり、これらの立体表示装置が実質的にワイヤーフレーム状の像の再現にしか使えない大きな原因となっていた。
【0011】
一方、立体視の生理的要因をほとんど満たし、かつ、ファントム現象を回避できる立体表示方式として、ホログラフィがよく知られている。しかし、ホログラフィは、撮像にコヒーレント光が必要である他、必要な情報量が膨大であるため、電気的な書き換えが困難であり、動的表示に適さないなどの問題点を有している。
【0012】
このように、従来の立体表示装置では、立体視の生理的要因をほぼ満足し、かつ、ファントム現象を回避して自然な3次元像を動画再生することは困難であった。
【0013】
本発明の目的は、立体表示方法及び装置において、観察者から見て前後の表示画像のファントム現象を回避し、動画再生が可能で、より自然に近い立体視が可能な技術を提供することにある。
【0014】
本発明の前記ならびにその他の目的及び新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0015】
【発明を解決するための手段】
本願において開示する発明のうち代表的なものの概要を簡単に説明すれば、以下のとおりである。
【0016】
(1)焦点可変手段を通して2次元表示装置の表示像を観察する際に、前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
前記2次元像をその結像位置に応じて別々の2次元表示装置に表示させ、該表示像の各々が、前記焦点可変手段の後方に同一光軸上に並べられ、かつ、前記複数の2次元表示装置のうち観察者から見て最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置により、前記2次元表示装置の各前記焦点可変手段を通して観察できる位置に表示する第一のステップと、当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、当該2次元像を表示する2次元表示装置の各前面、もしくは当該2次元表示装置と組をなす前記複数の反射装置の各前面に、それぞれ少なくとも一つ配置したマスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする
【0017】
(2)前記(1)の立体表示方法において、前記第二のステップが、前記2次元表示装置の各前面に配置された、観察者から見て当該2次元表示装置の表示する2次元像より手前にある2次元像の数と同数のマスク装置を用い、各々のマスク装置のマスクのパターンを当該2次元像より手前にある各2次元像の中の物体像がそれぞれ当該2次元像を隠す部分のパターンとし、各々のマスク装置のマスクを重ねることで、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を表示させないステップであることを特徴とする
【0018】
(3)焦点可変手段を通して2次元表示装置の表示像を観察する際に、前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
前記2次元像をその結像位置に応じて別々の透過形の2次元表示装置に表示させ、該表示像の各々が、前記焦点可変手段の後方に同一光軸上に並べられ、かつ、前記複数の2次元表示装置のうち観察者から見て最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置により、前記2次元表示装置の各前記焦点可変手段を通して観察できる位置に表示する第一のステップと、当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、当該2次元像を表示する2次元表示装置の各背面にそれぞれ少なくとも一つ配置したマスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする。
【0019】
(4)前記(3)の立体表示方法において、前記第二のステップが、前記2次元表示装置の各背面に配置された、観察者から見て当該2次元表示装置の表示する2次元像より手前にある2次元像の数と同数のマスク装置を用い、各々のマスク装置のマスクのパターンを当該2次元像より手前にある各2次元像の中の物体像がそれぞれ当該2次元像を隠す部分のパターンとし、各々のマスク装置のマスクを重ねることで、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を表示させないステップであることを特徴とする。
【0020】
(5)焦点可変手段を通して2次元表示装置の表示像を観察する際に、前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
前記焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は透過する手段を有する反射装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置し、前記2次元像をその結像位置に応じて別々の前記2次元表示装置に表示させる第一のステップと、当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、最背面の2次元像を表示する前記反射装置と2次元表示装置の組を除く、前記反射装置と2次元表示装置の組の各背面に各々配置したマスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする。
【0021】
(6)焦点可変手段を通して2次元表示装置の表示像を観察する際に、前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
前記焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は任意の画素を透過または遮断する手段を有するマスク装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置し、前記2次元像をその結像位置に応じて別々の前記2次元表示装置に表示させる第一のステップと、当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、前記マスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする。
【0022】
(7)前記(1)乃至(6)の立体表示方法において、観察者の位置の移動に応じ、前記マスクに対し平行移動、拡大、縮小のうちいずれかまたは複数の処理を行うことを特徴とする。
【0023】
(8)前記(1)乃至(7)の立体表示方法において、半透明な立体像を表示する場合は、前記マスクの透過率を変化させ、手前の2次元像で当該2次元像の隠される部分を所望の透過率で表示させることを特徴とする。
【0024】
(9)表示像の結像位置を変化させる焦点可変手段と、3次元立体像を奥行き標本化した2次元像を表示する複数の2次元表示装置と、前記焦点可変手段の後方に同一光軸上に並べられ、前記複数の2次元表示装置のうち最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置と、前記複数の2次元表示装置のうち最前面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各前面、もしくは当該2次元表示装置と組をなす前記複数の反射装置の各前面に、それぞれ少なくとも一つ配置したマスク装置と、前記焦点可変手段の焦点位置の変化に同期して前記複数の2次元表示装置の表示像のうち該当する表示像を選択するシャッター装置とを具備することを特徴とする立体表示装置である。
【0025】
(10)表示像の結像位置を変化させる焦点可変手段と、3次元立体像を奥行き標本化した2次元像を表示する複数の透過形の2次元表示装置と、前記焦点可変手段の後方に同一光軸上に並べられ、前記複数の2次元表示装置のうち最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置と、前記複数の2次元表示装置のうち最前面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各背面に、それぞれ少なくとも一つ配置したマスク装置と、前記焦点可変手段の焦点位置の変化に同期して前記複数の2次元表示装置の表示像のうち該当する表示像を選択するシャッター装置とを具備することを特徴とする立体表示装置である。
【0026】
(11)表示像の結像位置を変化させる焦点可変手段を具備し、該焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は透過する手段を有する反射装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置し、最背面の2次元像を表示する前記反射装置と2次元表示装置の組を除く、前記反射装置と2次元表示装置の組の各背面に各々マスク装置を配置したことを特徴とする立体表示装置である。
【0027】
(12)前記(11)の立体表示装置において、前記反射装置がホログラフィック・オプティカル・エレメントからなることを特徴とする。
【0028】
(13)表示像の結像位置を変化させる焦点可変手段を具備し、該焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は任意の画素を透過または遮断する手段を有するマスク装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置したことを特徴とする立体表示装置である。
【0029】
(14)前記(13)の立体表示装置において、前記マスク装置がホログラフィック高分子分散液晶素子からなることを特徴とする。
【0030】
(15)前記(9)乃至(14)のうちいずれか1つの立体表示装置において、前記マスク装置が、ツイスト・ネマティック型液晶、またはゲスト−ホスト型液晶、またはホログラフィック高分子分散型液晶を用いた、縦横に画素を配置して任意の画素の状態の制御が可能な装置からなることを特徴とする。
【0031】
(16)前記(9)乃至(15)のうちいずれか1つの立体表示装置において、前記マスク装置が、マスク表示の画素の相対位置を保ちつつ表示を平行移動する手段を有することを特徴とする。
【0032】
(17)前記(16)の立体表示装置において、観察者の移動を検出する手段と、検出した移動量に応じて前記マスク装置におけるマスクの表示を平行移動させる機能とを有することを特徴とする。
(18)前記(9)乃至(17)のうちいずれか1つの立体表示装置において、前記焦点可変手段が、可変焦点レンズであることを特徴とする
【0033】
【発明の実施の形態】
以下に本発明の実施の形態(実施例)を図面を参照して詳細に説明する。
【0034】
(実施例1)
図1は本発明の実施例1の立体表示装置の構成を説明するための概略図であり、図1(a)はスクリーンに対して前面から投影する形態を示す図、図1(b)は背面から投影する形態を示す図である。
【0035】
本実施例1の立体表示装置は、図1に示すように、例えば、2次元表示装置101、102、投影用スクリーン103、可変焦点レンズ104、シャッター装置105、106からなる従来の可変焦点レンズ型立体表示装置と、マスクを移動する手段を具備するマスク装置107から構成される。2次元表示装置101、102には、CRT、プロジェクター、液晶ディスプレイ、プラズマディスプレイ、ELディスプレイ等を用いることができる。
【0036】
なお、2次元表示装置101、102が液晶ディスプレイのように透過型の場合は、図13(a)、(b)に示すように、マスク装置1302を2次元表示装置1301の前面あるいは後面のどちらに配置しても良い。
【0037】
シャッター装置105、106は、可変焦点レンズの焦点位置の変化、すなわち、結像位置の変化と同期して奥行き画像を順番に時分割でスクリーンに表示させるための装置であり、機械的なメカニカルシャッターや液晶を用いたシャッターや強誘電体の電気光学効果やドメイン・スイッチングを利用した強誘電体シャッターなどを用いることができる。
【0038】
他の時分割の方法として、図14の(b)に示すように、2次元表示装置1401が透過型あるいは反射型の場合に限り、光源1404自体を画像の位置に同期して点滅させる方法、あるいは図14の(a)に示すように、光源1403の光を透過/遮断させるシャッター装置を光源の前面に配置し、時分割を行うことができる。
【0039】
ここで、1つの2次元表示装置から前後の奥行き画像を表示する場合に、高速で画像の描画/消去をする必要(例えば、前後3枚の奥行き画像の場合、1枚あたり30フレーム/秒の時には2次元表示装置では90フレーム/秒の表示が要求される)があり、マスク装置も同様に高速で描画/消去を繰り返す必要がある。ここでは、複数台の2次元表示装置と複数台のマスク装置を用いることにより、この問題を解決することができる。
【0040】
前記可変焦点レンズ104は、焦点位置すなわち結像位置を周期的に変化させるものであり、高周波と低周波の切り替えにて駆動する二周波液晶を用いているので、この周波数は毎秒60Hz以上と高速である。
【0041】
2次元表示装置101と102には、それぞれ所望の標本化2次元像を表示させておき、シャッター装置105と106は初めは閉じておく。可変焦点レンズ104の焦点位置を周期的に変化させたとき、結像位置が108の位置になるタイミングと同期してシャッター装置105を開け、2次元表示装置101より投影用スクリーン103に像を投射して像108を表示し、直ちにシャッター装置105を閉じる。次に、結像位置が109の位置になるタイミングと同期してシャッター装置106を開け、2次元表示装置102よりマスク装置107を通して投影用スクリーン103に像を投射してして像109を表示し、直ちにシャッター装置106を閉じる。
【0042】
前記可変焦点レンズ104の周期的な焦点位置の変化に同期して前記の手順を繰り返す。このとき、可変焦点レンズ104の1周期の速度は60Hz以上であるので、人間の眼の残像時間以内であり、観察者には結像位置の異なる像108と109がほぼ同時に観察され、空間上にある立体として認識される。なお、マスク装置107には像108に本来隠れて見えない部分を隠すためのマスク像を表示し、像の重なり合う部分の光を遮る役割をしている。このままでは観察者から像108の陰になって見えるはずのない像109の一部分が透けて見えてしまう。
【0043】
そこで、表示装置の前面または後面あるいはそれと光学的に等価な位置に像108に隠れて見えない部分を覆い隠すマスク装置107を配置することにより、2次元表示装置101から表示される像108に隠れていなければならない部分は、マスク装置107に遮断され投影されないことにより、後の像109が透けて見えることが無くなる。
【0044】
ここで、投影像に台形歪みができることが予想されるが、これが問題にならないくらい2次元表示装置101と投影用スクリーン103の距離を大きくとり、投影する角度は小さいものとすればよい。あるいは2次元表示装置101の表示画像を台形歪みを考慮して変形したものを表示すればよいし、あるいはレンズ系によって表示画像を変形させてもよい。
【0045】
マスク装置107の概念図を図5に示す。このマスク装置501のマスクには、縦横にマスク表示画素502を配置した液晶パネル(ゲスト−ホスト型液晶、ツイスト・ネマティック型液晶、高分子分散型液晶、ホログラフィック高分子分散型液晶等)を使用し、任意の画素について透過/遮断、または透過/反射、または透過/吸収の切り替えをすることができるものである。そして半透明な物質を3次元の立体で表示するために、マスク装置のマスク表示503に、透過率の変化が可能な液晶パネル(階調表現の可能なもの)を用いることにより、表現する物質に合わせた透過率で透過させ、半透明物質でも表現可能なマスク装置である。
【0046】
このマスク装置501のマスク表示部分の概念を図7に示す。
【0047】
(a)例えば表示画像701は最前面に表示されるので、前面に画像がないためマスク無しでそのまま投影像710として投影される。
【0048】
(b)次の表示画像702は、その前面にある表示画像701に隠れる部分を隠すためにマスク画像707を通過させることにより、マスクに隠されない部分のみの投影像711が投影される。
【0049】
(c)同様に次の表示画像703は、すぐ前面の表示画像を隠すマスク画像708を通過し、かつ、最前面の表示画像を覆い隠すマスク画像707を通過することにより、投影像712が投影される。
【0050】
(d)同様に次の表示画像704は、すぐ前面の表示画像を隠すマスク画像709を通過し、かつ、もう1つ前面の表示画像を覆い隠すマスク画像708を透過し、かつ、最前面の表示画像を覆い隠すマスク画像707を通過することにより、投影像713が投影される。従来の立体表示装置で4枚の奥行きをもった立体表示画像を表示したものは表示画像705のように後ろが透けて見えるが、本方法で表示したものは、投影像714のように後ろが透けることなく表示することが可能となる。
【0051】
さらに、観察者が移動したときには、その動きに追従してマスク移動手段によりマスクを移動させることによって、観察者からは前面の画像によって隠されていなければならない後方の画像の一部分を観察者の位置に応じて隠す。
【0052】
マスクの移動の概念を表したものを図8に示す。正面からの像805から各方向へ動かしたときの像を像801から像809に示す。例えば、左右方向の場合、観察者が立体表示装置に向かって正面から右に移動したときには、マスクを正面805から右806のように左方向へ移動することにより、観察者の位置から見える必要のある部分は見ることができ、隠れていなければならない部分は、マスクによって隠されている。
【0053】
上下方向の場合は正面805から上802ヘ、あるいは下808へ移動させる。上下左右方向を同時に動かすことにより、右上803や右下809などにも移動することができる。
【0054】
移動量は観察者の上下左右の移動量に比例した量を移動し、前後方向に対しても、観察者の前後位置の移動量に比例して、表示するマスクの大きさを拡大、縮小する。
【0055】
本発明の構成は、従来の立体表示装置の構成にマスク移動手段を有するマスク装置を追加するのみであり、かつ、画像の複雑な加工が必要ないという利点を有している。このため、動画のような表示の高速性を要求するものに対しても適用が可能である。
【0056】
マスク装置の有するマスク移動手段の概念図を図6に示す。前記移動機能を実現するには、図6(a)に示すような、画素の表示をシフトレジスタ等を用いて回路的に縦横にシフトさせるか、あるいは入力信号をあらかじめソフトウェアなどでシフトしたものを入力する方法、図6(b)に示すような、機械的にマスク装置自体を縦横に平行移動させる方法、図6(c)に示すような、プリズムや平行平板などの光学素子のマスク装置に対する角度を変えることによってマスク装置に入射する光の位置を平行移動させるような光の屈折や回折を用いて曲げる、あるいは平行移動させる方法のいずれかを用いればよい。
【0057】
移動する観察者の位置を検出する手段として、センサ類によって移動位置を検出する手段を図9に示す。
【0058】
図9(a)に示すような、複数の赤外線センサをある角度毎に観察者を検出できるように並べ、観察者の前方あるいは後方からどのセンサの範囲に観察者がいるのかを検知する赤外線センサ方式、
図9(b)に示すような、観察者の側方あるいは前方、あるいは後方、あるいはその両方を組み合わせ、センサから観察者までの距離を計測し観察者の位置を検知する超音波センサ方式、
図9(c)に示すような、レーザー光の反射を利用し距離を測定することにより観察者の位置を検出するレーザー距離計測方式、光センサを床面、あるいは前後、左右に配し、観察者によって光が遮られた場所を検知する光センサ方式、
図9(d)に示すような、固定されたカメラからの画像から画像処理により観察者の位置を計算する、あるいはマーカーを付けた観察者のマーカーの位置を画像から検出するカメラ方式、
のいずれかを用いることができる。
【0059】
(実施例2)
図2は本発明の実施例2の立体表示装置の構成を説明するための概略構成図であり、図2(a)はスクリーンに対して前面から投影する事例を示す図、図2(b)は背面から投影する事例を示す図である。
【0060】
前記実施例1では、2台の2次元表示装置からの画像から、奥行き方向に2枚の立体表示を行っているが、本実施例2の立体表示装置は、複数台の2次元表示装置からの画像から、奥行き方向に複数枚の立体表示を行うものである。
【0061】
本実施例2の立体表示装置は、図2に示すように、各像より前に結像される像を覆い隠すために、各表示装置の前あるいは光学的に等価な位置に、観察者から見てその像より前面に表示される画像と重なる部分を隠すためのマスクを表示するマスク装置を、その表示画像より前面にある画像の数だけ配置することにより、複数枚の奥行きが有る場合でも透けて見えるという問題を解決できる。
【0062】
例えば、2次元表示装置201から投影用スクリーン205に投影された画像を可変焦点レンズ206によって像217に結像する。次の2次元表示装置202からの像は2次元表示装置201からの像217を覆い隠すためのマスク装置211を透過し像218に結像する。この次の2次元表示装置203からの像217は2次元表示装置201と202からの像218,219を覆い隠すためのマスク装置212と213を透過し像220に結像する。このように表示したい2次元表示装置の前面に、観察者から見て前面に表示される画像を隠すマスク装置を必要な数だけ透過させる構成である。
【0063】
2次元表示装置201、202が透過型あるいは反射型(液晶ディスプレイなどでバックライトを必要とするものや反射を利用したもの)の場合に限り、バックライトなどの照明(EL,LED,蛍光管,放電管,電球を含む)の前面にシャッター装置を配置し、バックライトの光源からの光を透過/遮断する、あるいはシャッター装置の代わりにバックライトの光源を直接点滅させることによって時分割を行うことができる。
【0064】
(実施例3)
図3は本発明の実施例3の立体表示装置の構成を説明するための概念図であり、図3(a)、(b)はそれぞれ異なる結像方式を説明するための概念図である。
【0065】
前記実施例1、2では、奥行き方向の数によって各々の2次元表示装置の前面にマスク装置のマスクの数が数多く必要であり、同じ動作をするマスクが各表示装置ごとに存在している。
【0066】
本発明の実施例3の立体表示装置は、図3に示すように、全ての投影あるいは透過する画像の光束の中心を同じにし、各々の2次元表示装置からの画像が必要なマスクだけを通過するように構成したものである。
【0067】
例えば、2次元表示装置301に表示した画像は、シャッター装置307と投影光学系321を通過し、反射装置314によって投影用スクリーン305に投射される。その投射された像を可変焦点レンズ306によって像317に結像させる。2次元表示装置302に表示した画像は、シャッター装置308と投影光学系322を通過し、反射装置315によって観察者から見て、その像より前面に結像される像を覆い隠すためのマスク装置311を透過し、投影用スクリーン305に投射される。その投射された像を可変焦点レンズ306によって像318に結像させる。
【0068】
2次元表示装置303に表示した画像は、像319に結像される過程で、観察者から見てその像より前面に結像される像を覆い隠すためのマスク装置311と312を通過する。このマスク装置のマスクによって2次元表示装置から表示された像317と318の陰になる部分をマスクしている。このように観察者から見て後方の像は、その像よりも前面の像を隠す共通したマスク装置を通過することにより、この方式では(奥行き方向の像の数−1)枚のマスクだけ用意することによって構成できる利点がある。
【0069】
ここで、各2次元表示装置からの像の光軸を一致させるために、ハーフミラー、HOE(ホログラフィック・オプティカル・エレメント:ある一方向からの光だけを反射させ、それ以外の方向の光は透過させるもの)などを用いて、背面からの光は透過し前面からの光を反射する反射装置314、315、316を構成する。
【0070】
この反射装置にHPDLCホログラフィック高分子分散型液晶(高速で反射/透過あるいは遮断/透過の動作を駆動できる液晶)を利用することにより、反射装置とシャッター装置の機能を1つの反射装置で共用化でき、しかもHPDLCに画素を配することにより、反射装置とシャッター装置とマスク装置の3つの機能を1つの反射装置で共用化することができる。
【0071】
(実施例4)
図4は本発明の実施例4の立体表示装置の構成を説明するための概略構成図であり、2次元表示装置として、透過性のある装置(液晶ディスプレイ等)を用いて、複数の表示装置を積層させた構成を示す。
【0072】
本発明の実施例4の立体表示装置は、図4(a)に示すように、HOEを有する反射装置を配置し、前方や側方からの光源の光を観察者の方向へ反射させ表示装置のバックライトと同様の機能を持たせ、かつ、背面からの光は透過させる。反射装置のすぐ後ろにマスク装置を配置することによって、前の2次元表示装置の画像に隠れていなければならない、後側になる2次元表示装置の画像の一部分を隠すことができる構成である。
【0073】
例えば、2次元表示装置403に表示される像415は、マスク装置410によって像416すなわち2次元表示装置402の陰になる部分をマスクし、マスク装置409によって像417、すなわち2次元表示装置401の陰になる部分をマスクし、像415として結像される。
【0074】
また、図4(b)に示すように、画素を縦横に配置することにより任意の画素を透過/遮断あるいは透過/反射させ、かつ後方以外からの任意の方向からの光源の光を観察者の方向へ反射させることにより、マスクされていない背面からの光は透過させ、マスクした部分は光を観察者の方向へは通過させない、HPDLCを含むマスク装置を配置する構成である。
【0075】
2次元表示装置のすぐ後にマスク装置を配置することによって、前の2次元表示装置の画像に隠れていなければならない、後側になる2次元表示装置の画像の一部分を隠すことができる構成である。例えば、2次元表示装置403に表示される像415は、マスク装置419によって像416、すなわち2次元表示装置402の陰になる部分をマスクし、マスク装置418によって像417、すなわち2次元表示装置401の陰になる部分をマスクし、像415として結像される。この構成の場合、2次元表示装置の画像位置とレンズの焦点距離が一致したときに合わせて、2次元表示装置401、402、403、404の順番に2次元像を表示していくことにより、像414、415、416、417を投影する構成である。
【0076】
以上、本発明を実施例に基づき具体的に説明したが、本発明は前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更し得ることはいうまでもない。
【0077】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【0078】
可変焦点型立体表示装置あるいは奥行き標本化型立体表示装置を含む立体表示装置と、光の透過/遮断、透過/散乱、透過/反射に切り替わり、かつ、移動することができるマスクを有するマスク装置により、観察者から見て本来隠されていなければならない部分を隠し、かつ、観察者の移動にともなってマスク装置を移動させる移動装置によって、観察者の位置を特定せず、自然な3次元像を動画再生できる利点を有する。
【図面の簡単な説明】
【図1】本発明の実施の形態1の立体表示装置の構成を説明するための概略構成図である。
【図2】本発明の実施の形態2の立体表示装置の構成を説明するための概略構成図である。
【図3】本発明の実施の形態3の立体表示装置の構成を説明するための概略構成図である。
【図4】本発明の実施の形態4の立体表示装置の構成を説明するための概略構成図である。
【図5】マスク装置の構成を説明するための概略図である。
【図6】移動装置の構成を説明するための概略図である。
【図7】マスク装置のマスクの表示を説明するための概略図である。
【図8】マスク装置マスクの移動を説明するための概略図である。
【図9】視点移動検出方法を説明するための概略図である。
【図10】従来の可変焦点レンズを用いた立体表示装置の構成を説明するための概略構成図である。
【図11】従来の奥行き標本化型立体表示装置の構成を説明するための概略構成図である。
【図12】奥行き標本化の原理を説明するための図である。
【図13】可変焦点レンズを用いた立体表示装置の構成を説明するための概略構成図である。
【図14】可変焦点レンズを用いた立体表示装置の構成を説明するための概略構成図である。
【符号の説明】
101、102…2次元表示装置、103…投影用スクリーン、104…可変焦点レンズ、105、106…シャッター装置、107…マスク装置、201〜204…2次元表示装置、205…投影用スクリーン、206…可変焦点レンズ、211〜216…マスク装置、221〜224…投影光学系、301〜304…2次元表示装置、305…投影用スクリーン、306…可変焦点レンズ、307〜310…シャッター装置、311〜313…マスク装置、314〜316…反射装置、321〜324…投影光学系、401〜404…2次元表示装置、405〜408…反射装置、409〜411…マスク装置、412…可変焦点レンズ、413…光源、501…マスク装置、601〜603…マスク装置、610、611…平行平板・プリズム、901…立体表示装置、902…赤外線センサ、903…超音波距離センサ・レーザ距離センサ、904…光センサ、905…カメラ。

Claims (18)

  1. 焦点可変手段を通して2次元表示装置の表示像を観察する際に、
    前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、
    3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、
    人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
    前記2次元像をその結像位置に応じて別々の2次元表示装置に表示させ
    該表示像の各々が、前記焦点可変手段の後方に同一光軸上に並べられ、かつ、前記複数の2次元表示装置のうち観察者から見て最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置により、前記2次元表示装置の各前記焦点可変手段を通して観察できる位置に表示する第一のステップと、
    当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、当該2次元像を表示する2次元表示装置の各前面、もしくは当該2次元表示装置と組をなす前記複数の反射装置の各前面に、それぞれ少なくとも一つ配置したマスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする立体表示方法。
  2. 前記第二のステップが、前記2次元表示装置の各前面に配置された、観察者から見て当該2次元表示装置の表示する2次元像より手前にある2次元像の数と同数のマスク装置を用い、
    各々のマスク装置のマスクのパターンを当該2次元像より手前にある各2次元像の中の物体像がそれぞれ当該2次元像を隠す部分のパターンとし、各々のマスク装置のマスクを重ねることで、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を表示させないステップであることを特徴とする請求項1に記載の立体表示方法。
  3. 焦点可変手段を通して2次元表示装置の表示像を観察する際に、
    前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、
    3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、
    人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
    前記2次元像をその結像位置に応じて別々の透過形の2次元表示装置に表示させ、
    該表示像の各々が、前記焦点可変手段の後方に同一光軸上に並べられ、かつ、前記複数の2次元表示装置のうち観察者から見て最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置により、前記2次元表示装置の各前記焦点可変手段を通して観察できる位置に表示する第一のステップと、
    当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、当該2次元像を表示する2次元表示装置の各背面にそれぞれ少なくとも一つ配置したマスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする立体表示方法。
  4. 前記第二のステップが、前記2次元表示装置の各背面に配置された、観察者から見て当該2次元表示装置の表示する2次元像より手前にある2次元像の数と同数のマスク装置を用い、
    各々のマスク装置のマスクのパターンを当該2次元像より手前にある各2次元像の中の物体像がそれぞれ当該2次元像を隠す部分のパターンとし、各々のマスク装置のマスクを重ねることで、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2 次元像が隠される部分を表示させないステップであることを特徴とする請求項に記載の立体表示方法。
  5. 焦点可変手段を通して2次元表示装置の表示像を観察する際に、
    前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、
    3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、
    人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
    前記焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は透過する手段を有する反射装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置し、
    前記2次元像をその結像位置に応じて別々の前記2次元表示装置に表示させる第一のステップと、
    当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、最背面の2次元像を表示する前記反射装置と2次元表示装置の組を除く、前記反射装置と2次元表示装置の組の各背面に各々配置したマスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする立体表示方法。
  6. 焦点可変手段を通して2次元表示装置の表示像を観察する際に、
    前記焦点可変手段により焦点位置を変化させて結像位置を変化させるステップと、
    3次元立体像を奥行き標本化した2次元像のうち前記結像位置に該当する2次元像を前記2次元表示装置に表示させるステップとを、
    人間の眼の残像時間以内に高速に繰り返すことにより3次元立体像を表示する立体表示方法において、
    前記焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は任意の画素を透過または遮断する手段を有するマスク装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置し、
    前記2次元像をその結像位置に応じて別々の前記2次元表示装置に表示させる第一のステップと、
    当該2次元像が観察者から見て最前面の2次元像でない場合は、観察者から見て当該2次元像より手前にある2次元像中の物体像で当該2次元像が隠される部分を、前記マスク装置により、マスクで覆って当該2次元像の該部分を表示させない第二のステップとを有することを特徴とする立体表示方法。
  7. 観察者の位置の移動に応じ、前記マスクに対し平行移動、拡大、縮小のうちいずれかまたは複数の処理を行うことを特徴とする請求項1乃至6のうちいずれか1項に記載の立体表示方法。
  8. 半透明な立体像を表示する場合は、前記マスクの透過率を変化させ、手前の2次元像で当該2次元像の隠される部分を所望の透過率で表示させることを特徴とする請求項1乃至7のうちいずれか1項に記載の立体表示方法。
  9. 表示像の結像位置を変化させる焦点可変手段と、
    3次元立体像を奥行き標本化した2次元像を表示する複数の2次元表示装置と、
    前記焦点可変手段の後方に同一光軸上に並べられ、前記複数の2次元表示装置のうち最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置と、
    前記複数の2次元表示装置のうち最前面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各前面、もしくは当該2次元表示装置と組をなす前記複数の反射装置の各前面に、それぞれ少なくとも一つ配置したマスク装置と、
    前記焦点可変手段の焦点位置の変化に同期して前記複数の2次元表示装置の表示像のうち該当する表示像を選択するシャッター装置と
    を具備することを特徴とする立体表示装置。
  10. 表示像の結像位置を変化させる焦点可変手段と、
    3次元立体像を奥行き標本化した2次元像を表示する複数の透過形の2次元表示装置と、
    前記焦点可変手段の後方に同一光軸上に並べられ、前記複数の2次元表示装置のうち最背面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各々と組をなし、当該組をなす2次元表示装置から投射される像を前面に反射し、後面の像はそのまま透過する複数の反射装置と、
    前記複数の2次元表示装置のうち最前面の2次元像を表示する2次元表示装置を除く複数の2次元表示装置の各背面に、それぞれ少なくとも一つ配置したマスク装置と、
    前記焦点可変手段の焦点位置の変化に同期して前記複数の2次元表示装置の表示像のうち該当する表示像を選択するシャッター装置とを具備することを特徴とする立体表示装置。
  11. 表示像の結像位置を変化させる焦点可変手段を具備し、
    該焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は透過する手段を有する反射装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置し、
    最背面の2次元像を表示する前記反射装置と2次元表示装置の組を除く、前記反射装置と2次元表示装置の組の各背面に各々マスク装置を配置したことを特徴とする立体表示装置。
  12. 前記反射装置がホログラフィック・オプティカル・エレメントからなることを特徴とする請求項11に記載の立体表示装置。
  13. 表示像の結像位置を変化させる焦点可変手段を具備し、
    該焦点可変手段と同一光軸上に、前方や側方からの光源の光を観察者の方向へ反射させ、かつ、背面からの光は任意の画素を透過または遮断する手段を有するマスク装置を、3次元立体像を奥行き標本化した2次元像を表示する透過形の2次元表示装置の背面に配置して組にしたものを複数組配置したことを特徴とする立体表示装置。
  14. 前記マスク装置がホログラフィック高分子分散液晶素子からなることを特徴とする請求項13に記載の立体表示装置。
  15. 前記マスク装置が、ツイスト・ネマティック型液晶、またはゲスト−ホスト型液晶、またはホログラフィック高分子分散型液晶を用いた、縦横に画素を配置して任意の画素の状態の制御が可能な装置からなることを特徴とする請求項9乃至14のうちいずれか1項に記載の立体表示装置。
  16. 前記マスク装置が、マスク表示の画素の相対位置を保ちつつ表示を平行移動する手段を有することを特徴とする請求項9乃至15のうちいずれか1項に記載の立体表示装置。
  17. 観察者の移動を検出する手段と、
    検出した移動量に応じて前記マスク装置におけるマスクの表示を平行移動させる機能とを有することを特徴とする請求項16に記載の立体表示装置。
  18. 前記焦点可変手段が、可変焦点レンズであることを特徴とする請求項9乃至17のうちいずれか1項に記載の立体表示装置。
JP07059298A 1998-03-19 1998-03-19 立体表示方法及び装置 Expired - Fee Related JP3546921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07059298A JP3546921B2 (ja) 1998-03-19 1998-03-19 立体表示方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07059298A JP3546921B2 (ja) 1998-03-19 1998-03-19 立体表示方法及び装置

Publications (2)

Publication Number Publication Date
JPH11272202A JPH11272202A (ja) 1999-10-08
JP3546921B2 true JP3546921B2 (ja) 2004-07-28

Family

ID=13435991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07059298A Expired - Fee Related JP3546921B2 (ja) 1998-03-19 1998-03-19 立体表示方法及び装置

Country Status (1)

Country Link
JP (1) JP3546921B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423135A (zh) * 2013-08-23 2015-03-18 黄得锋 一种多维3d成像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515565B2 (ja) * 1999-11-09 2010-08-04 日本放送協会 立体表示装置
DE10050174C1 (de) * 2000-10-11 2002-05-29 Bosch Gmbh Robert Vorrichtung zur Anzeige von Informationen in einem Fahrzeug
JP5793099B2 (ja) * 2012-03-16 2015-10-14 株式会社ジャパンディスプレイ 表示装置、電子機器および制御回路
JP2019128724A (ja) * 2018-01-23 2019-08-01 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423135A (zh) * 2013-08-23 2015-03-18 黄得锋 一种多维3d成像装置

Also Published As

Publication number Publication date
JPH11272202A (ja) 1999-10-08

Similar Documents

Publication Publication Date Title
US6843564B2 (en) Three-dimensional image projection employing retro-reflective screens
JP3022558B1 (ja) 三次元表示方法及び装置
US7148859B2 (en) Three-dimensional representation method and an apparatus thereof
JPH07222866A (ja) 立体画像ゲーム装置
JPH04313745A (ja) 画像表示装置
US20070081207A1 (en) Method and arrangement for combining holograms with computer graphics
JP2005508016A (ja) 3次元画像の投影
JP3081589B2 (ja) 三次元表示方法および装置
JPH09238369A (ja) 3次元像表示装置
JP3789332B2 (ja) 三次元表示装置
JPH11504729A (ja) 立体ディスプレイ装置
JP3546921B2 (ja) 立体表示方法及び装置
JP3462796B2 (ja) 三次元表示方法及び装置
JP2953433B2 (ja) 立体表示装置
JP3583613B2 (ja) 立体表示方法及び装置
JP3739350B2 (ja) 三次元表示装置
JPH09166762A (ja) 立体表示装置
JP2004258594A (ja) 広角度から鑑賞できる立体画像表示装置
JP2004163644A (ja) 三次元表示方法
KR101093929B1 (ko) 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템
JP2000347132A (ja) 画像表示装置および画像表示方法
JP4593359B2 (ja) 3次元表示方法および3次元表示装置
JPH0764020A (ja) 三次元ディスプレイおよびこれを用いた表示方法
JPH0990277A (ja) 立体画像表示装置
JP3472552B2 (ja) 三次元表示方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040330

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120423

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees