JP2006267578A - 立体画像表示装置及び方法 - Google Patents

立体画像表示装置及び方法 Download PDF

Info

Publication number
JP2006267578A
JP2006267578A JP2005085835A JP2005085835A JP2006267578A JP 2006267578 A JP2006267578 A JP 2006267578A JP 2005085835 A JP2005085835 A JP 2005085835A JP 2005085835 A JP2005085835 A JP 2005085835A JP 2006267578 A JP2006267578 A JP 2006267578A
Authority
JP
Japan
Prior art keywords
viewer
eye
image
stereoscopic image
eye strain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005085835A
Other languages
English (en)
Other versions
JP4046121B2 (ja
Inventor
Shigemi Sato
茂美 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2005085835A priority Critical patent/JP4046121B2/ja
Priority to CNA2006100653643A priority patent/CN1838778A/zh
Priority to US11/387,891 priority patent/US7623089B2/en
Publication of JP2006267578A publication Critical patent/JP2006267578A/ja
Application granted granted Critical
Publication of JP4046121B2 publication Critical patent/JP4046121B2/ja
Priority to US12/570,895 priority patent/US8390535B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】 立体画像視認時における鑑賞者の眼精疲労を低減させる。
【解決手段】 右目用画像と左目用画像とからなる視差画像を表示面上に表示する画像表示手段1と、上記視差画像のうち上記右目用画像のみを鑑賞者の右目に到達させかつ上記視差画像のうち上記左目用画像のみを鑑賞者の左目に到達させることによって上記鑑賞者に立体画像を視認させる視差画像選択手段2と、を有する立体画像表示装置であって、上記鑑賞者の眼精疲労度を検出する眼精疲労度検出手段11,12,13,18,19と、上記眼精疲労度検出手段の検出結果に応じて上記鑑賞者の眼精疲労を緩和させる眼精疲労緩和処理を行う眼精疲労緩和処理手段14とを備える。
【選択図】 図1

Description

本発明は、立体画像表示装置及び方法に関するものである。
人は、右目において視認される像と左目において視認される像とを脳が合成することによって、視認される物体を立体画像として認識している。これは、右目と左目とが異なる角度からその物体を視認し、右目において視認される像と左目において視認される像とが若干異なることによって可能となっている。
このため、二次元上に表示される画像を鑑賞者に立体画像として認識させるには、二次元上に右目において視認される像(右目用画像)と左目において認識される像(左目用画像)とからなる視差画像を表示し、鑑賞者の右目に右目用画像のみを到達させ、鑑賞者の左目に左目用画像のみを到達させることによって実現することができる。
具体的には、立体画像表示装置は、視差画像を表示面上に表示するための画像表示手段と、視差画像のうち右目用画像のみを鑑賞者の右目に到達させかつ視差画像のうち左目用画像のみを鑑賞者の左目に到達させる視差画像選択手段と、を備えている。視差画像選択手段としては、例えば、眼鏡を用いることができる。そして、当該眼鏡を鑑賞者が装着することによって、立体画像が認識される仕組みとなっている。眼鏡としては、一般的に、右目用透過部と左目用透過部とで異なる偏光方向の偏光光を透過する偏光眼鏡と、右目用透過部と左目用透過部とが交互に透過状態と非透過状態とに変化される液晶シャッター眼鏡とが用いられている。そして、偏光眼鏡を用いる場合には、視差画像の右目用画像を右目用透過部が透過する偏光方向の偏光光とし、視差画像の左目用画像を左目用透過部が透過する偏光方向の偏光光とすることによって、鑑賞者の右目に右目用画像のみを到達させ、鑑賞者の左目用画像のみを到達させている。また、液晶シャッター眼鏡を用いる場合には、右目用透過部が透過状態とされ左目用透過部が非透過状態とされた状態において視差画像の右目用画像を表示し、右目用透過部が非透過状態とされ左目用透過部が透過状態とされた状態において視差画像の左目用画像を表示することによって、鑑賞者の右目に右目用画像のみを到達させ、鑑賞者の左目に左目用画像のみを到達させている。
また、視差画像選択手段としてレンチキュラーレンズを用いた立体画像表示装置もある。具体的には、表示面上にレンチキュラーレンズが配置されており、このレンチキュラーレンズによって、表示面上に表示された視差画像のうち右目用画像のみが鑑賞者の右目に導光され、表示面上に表示された視差画像のうち左目用画像のみが鑑賞者の左目に導光されている。
特開昭63−70284号公報 特開昭63−227193号公報
しかしながら、上述のような立体画像表示装置においては、実際には存在しない立体画像を鑑賞者に視認させているため、鑑賞者の輻輳と焦点とが一致せず、鑑賞者に対して違和感等を与え、眼精疲労の原因となる場合がある。
特に、鑑賞者が長時間立体画像を視認している場合には、鑑賞者の目に対して大きな負担がかかり、眼精疲労が増す。
本発明は、上述する問題点に鑑みてなされたもので、立体画像視認時における鑑賞者の眼精疲労を低減させることを目的とする。
上記目的を達成するために、本発明の立体画像表示装置は、右目用画像と左目用画像とからなる視差画像を表示面上に表示する画像表示手段と、上記視差画像のうち上記右目用画像のみを鑑賞者の右目に到達させかつ上記視差画像のうち上記左目用画像のみを鑑賞者の左目に到達させることによって上記鑑賞者に立体画像を視認させる視差画像選択手段と、を有する立体画像表示装置であって、上記鑑賞者の眼精疲労度を検出する眼精疲労度検出手段と、上記眼精疲労度検出手段の検出結果に応じて上記鑑賞者の眼精疲労を緩和させる眼精疲労緩和処理を行う眼精疲労緩和処理手段とを備えることを特徴とする。
このような特徴を有する本発明の立体画像表示装置によれば、眼精疲労度検出手段によって鑑賞者の眼精疲労度が検出され、この検出結果に応じて、眼精疲労緩和処理手段によって眼精疲労緩和処理が行われる。
このため、鑑賞者が長時間立体画像を視認する場合であっても、従来の立体画像表示装置と比較して、鑑賞者の目にかかる負担を低減させることが可能となる。したがって、本発明の立体画像表示装置によれば、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
なお、本発明の立体画像表示装置において具体的には、上記眼精疲労度検出手段は、上記鑑賞者を撮像する複数の撮像手段と、上記撮像手段の撮像結果から上記鑑賞者の虹彩間距離及び上記鑑賞者から上記表示面までの距離を算出する算出手段と、上記鑑賞者の虹彩間距離及び上記鑑賞者から上記表示面までの距離に応じて単位時間あたりの上記鑑賞者の眼精疲労度を数値化する数値化手段と、数値化された上記単位時間あたりの上記鑑賞者の眼精疲労度を積算し、その結果が所定の閾値を超えた場合に、上記眼精疲労緩和処理の開始信号を上記検出結果として出力する積算手段とを備えるという構成を採用することができる。
また、本発明の立体画像表示装置においては、上記眼精疲労緩和処理手段が、上記眼精疲労緩和処理として、上記鑑賞者が視認する上記立体画像を上記表示面に対して垂直方向に変位させる処理を行うという構成を採用することができる。
このような構成を採用することによって、眼精疲労緩和処理時に立体画像が表示面に対して垂直方向に変位されるため、これに伴って鑑賞者の目の輻輳を変化させることができる。すなわち、眼精疲労緩和処理時に鑑賞者の目のストレッチを行うことができ、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
また、本発明の立体画像表示装置においては、上記眼精疲労緩和処理手段が、上記表示面を上記鑑賞者に対して奥行き方向に変位させる表示面変位手段を備え、上記眼精疲労緩和処理として、上記表示面を変位させる処理を行うという構成を採用することもできる。
このような構成を採用することによって、眼精疲労緩和処理時に表示面が鑑賞者に対して奥行き方向に変位されるため、これに伴って鑑賞者の目の焦点を変化させることができる。すなわち、眼精疲労緩和処理時に鑑賞者の目のストレッチを行うことができ、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
なお、表示面を変位させる場合には、上記鑑賞者が視認する上記立体画像の大きさを変化させることなく上記表示面を変位させる処理を行うという構成を採用することが好ましい。これによって、鑑賞者が視認する立体画像の大きさを変化させることなく、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
また、本発明の立体画像表示装置においては、上記眼精疲労緩和処理手段が、上記眼精疲労緩和処理として、上記鑑賞者に対して警告を発するという構成を採用することができる。
このような構成を採用することによって、眼精疲労緩和処理として、鑑賞者に対して警告が発せられる。このため、直接的ではないにしろ、鑑賞者に対して眼精疲労の緩和を促すことができ、結果として、鑑賞者の眼精疲労を低減させることが可能となる。
次に、本発明の立体画像表示方法は、右目用画像と左目用画像とからなる視差画像を表示面上に表示し、上記視差画像のうち上記右目用画像のみを鑑賞者の右目に到達させかつ上記視差画像のうち上記左目用画像のみを鑑賞者の左目に到達させることによって上記鑑賞者に立体画像を視認させる立体画像表示方法であって、上記鑑賞者の眼精疲労度を検出し、この検出結果に応じて上記鑑賞者の眼精疲労を緩和させる眼精疲労緩和処理を行うことを特徴とする。
このような特徴を有する本発明の立体画像表示方法によれば、鑑賞者の眼精疲労度が検出され、この検出結果に応じて、眼精疲労緩和処理が行われる。
このため、鑑賞者が長時間立体画像を視認する場合であっても、従来の立体画像表示装置と比較して、鑑賞者の目にかかる負担を低減させることが可能となる。したがって、本発明の立体画像表示方法によれば、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
以下、図面を参照して、本発明に係る立体画像表示装置及び方法の一実施形態について説明する。なお、以下の図面において、各部材を認識可能な大きさとするために、各部材の縮尺を適宜変更している。
(第1実施形態)
図1は、本実施形態の立体画像表示装置S1の概略構成を示す概略構成図である。この図に示すように、本実施形態の立体画像表示装置S1は、画像表示装置1(画像表示手段)と、眼鏡2(視差画像選択手段)とを備えて構成されている。
画像表示装置1は、右目用画像と左目用画像とからなる視差画像を表示するものである。この画像表示装置1は、算出部11(算出手段)、数値化部12(数値化手段)、積算部13(積算手段)、眼精疲労緩和処理部14(眼精疲労緩和処理手段)、視差画像処理部15、左目画像用プロジェクタ16、右目画像用プロジェクタ17、第1撮像素子18(撮像手段)、第2撮像素子19(撮像手段)及びスクリーン20(表示面)を備えて構成されている。そして、第1撮像素子18、第2撮像素子19及びスクリーン20が、鑑賞者(眼鏡2)に向けて配置されている。
第1撮像素子18及び第2撮像素子19は水平方向に配列されており、鑑賞者を撮像してその撮像結果を出力するものである。このように水平に配置された、2つの撮像素子から鑑賞者を撮像することによって、各撮像素子18,19において撮像される鑑賞者の画像は、若干異なるものとなる。
算出部11は、第1撮像素子18及び第2撮像素子19の撮像結果から、撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離を算出するものである。ここで、上述のように、第1撮像素子18と第2撮像素子19とは、水平方向に若干ずらされて配置されているため、算出部11は、これらの撮像素子18,19の撮像結果のずれ量から容易に鑑賞者からスクリーン20までの距離を算出することができる。また、鑑賞者の虹彩間距離は、第1撮像素子18あるいは/及び第2撮像素子19の撮像結果上を実際に計測することによって容易に得ることができる。
数値化部12は、算出部11の算出結果、すなわち撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離に応じて単位時間あたりの鑑賞者の眼精疲労度を数値化するものである。
例えば、撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離によって、注視点距離が一義的に求まるため、数値化部12が、予め撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離と、注視点距離との関係を記憶しておき、算出部11の算出結果から所定の注視点距離を抽出する。なお、ここでいう、注視点距離とは、鑑賞者から鑑賞者が視認する立体画像までの距離、すなわち、鑑賞者から鑑賞者が注視する位置までの距離である。そして、数値化部12が、注視点距離の逆数に応じた眼精疲労度を予め数値化して記憶しておくことによって、数値化部12は、算出部11の算出結果から単位時間あたりの鑑賞者の眼精疲労度を数値化することができる。
積算部13は、数値化部12において数値化された単位時間あたりの鑑賞者の眼精疲労度を積算し、その結果が所定の閾値を超えた場合に、眼精疲労緩和処理部14に向けて眼精疲労緩和処理の開始を示す開始信号を出力するものである。
そして、本実施形態の立体画像表示装置S1においては、本発明の眼精疲労検出手段が第1撮像素子18、第2撮像素子19、算出部11、数値化部12及び積算部13を備えて構成されている。すなわち、本実施形態の立体画像表示装置においては、本発明の眼精疲労検出手段を構成する第1撮像素子18、第2撮像素子19、算出部11、数値化部12及び積算部13によって、鑑賞者の眼精疲労度が検出され、鑑賞者の眼精疲労度が所定の閾値を超えた場合には、眼精疲労緩和処理の開始を示す開始信号が検出信号として、眼精疲労緩和処理部14に向けて出力される。
眼精疲労緩和処理部14は、積算部13から入力される開始信号、すなわち眼精疲労検出手段の検出結果に応じて、鑑賞者の眼精疲労を緩和する眼精疲労緩和処理を行うものである。なお、本実施形態においては、眼精疲労緩和処理として、鑑賞者が視認する立体画像をスクリーン20に対して垂直方向に変位させる処理を行う。具体的には、視差画像処理部15に向けて眼精疲労緩和処理のための信号を出力する。そして、この信号に基づいて、立体画像がスクリーン20に対して垂直方向に変位するように視差画像の信号が視差画像処理部15において変換される。なお、視差画像処理部15は、眼精疲労緩和処理部14から信号が入力された場合には外部から入力される視差画像の信号あるいは予め記憶する視差画像の信号を変換して左目画像用プロジェクタ16、右目画像用プロジェクタ17に入力するが、眼精疲労緩和処理部14から信号が入力されていない場合には外部から入力される視差画像の信号あるいは予め記憶する視差画像の信号を変換することなく左目画像用プロジェクタ16、右目画像用プロジェクタ17に入力する。
左目画像用プロジェクタ16は、視差画像処理部15から視差画像の信号のうち左目用画像の信号を入力され、この信号に基づいて左目用画像を投写し、スクリーン20上に表示するものである。
また、右目画像用プロジェクタ17は、視差画像処理部15から視差画像の信号のうち右目用画像の信号を入力され、この信号に基づいて右目用画像を投写し、スクリーン20上に表示するものである。
これらの左目画像用プロジェクタ16及び右目画像用プロジェクタ17としては、光変調素子として3つの液晶ライトバルブを用いた3板式の液晶プロジェクタを用いることができる。また、光変調素子として1つの液晶ライトバルブを用いた単板式の液晶プロジェクタや、光変調素子として微小ミラーアレイデバイスを用いたプロジェクタを用いることもできる。
なお、図1に示すように、左目画像用プロジェクタ16及び右目画像用プロジェクタ17の後段には、各々円偏光板161,171が配置されている。これらの円偏光板161,171は、各々異なる回転方向の偏光光に透過光を偏光するものであり、本第1実施形態の立体画像表示装置S1においては、左目画像用プロジェクタ16の後段に配置される円偏光板161が透過光を画像表示装置1から眼鏡2の方向に見て左回転方向の偏光光に偏光するものであり、右目画像用プロジェクタ17の後段に配置される円偏光板171が透過光を画像表示装置1から眼鏡2の方向に見て右回転方向の偏光光に偏光するものである。
眼鏡2は、鑑賞者が装着するものであり、スクリーン20上に表示された視差画像のうち、右目用画像の画像光のみを透過する右目用透過部21と、スクリーン20上に表示された視差画像のうち、左目用画像の画像光のみを透過する左目用透過部22とを有している。そして、鑑賞者が眼鏡2を装着した際に、右目用透過部21が鑑賞者の右目の前に配置され、左目用透過部22が鑑賞者の左目の前に配置されるように、右目用透過部21及び左目用透過部22が配置されている。
具体的には、本第1実施形態の立体画像表示装置S1における眼鏡2は、右目用透過部21と左目用透過部22とで異なる回転方向の円偏光光を透過する円偏光眼鏡であり、本第1実施形態においては、右目用透過部21が画像表示装置1から眼鏡2の方向に見て右回転方向の円偏光光のみを透過する円偏光板として構成されており、左目用透過部22が画像表示装置1から眼鏡2の方向に見て左回転方向の円偏光光のみを透過する円偏光板として構成されている。
なお、円偏光光は、反射されることによって、その回転方向が変化するため、画像表示装置1内において、左目画像用プロジェクタ16及び右目画像用プロジェクタ17から投写された画像光が反射される場合には、その反射回数に応じて右目用透過部21及び左目用透過部22が透過する偏光光の回転方向を変化させる。つまりは、左目画像用プロジェクタ16から射出された画像光が鑑賞者の左目のみに到達し、右目画像用プロジェクタ17から射出された画像光が鑑賞者の右目のみに到達するように、右目用透過部21及び左目用透過部22が選択される。
次に、このように構成された本実施形態の立体画像表示装置S1の動作(立体画像表示方法)について説明する。
まず、通常状態、すなわち眼精疲労緩和処理部14に開始信号が入力されておらず、視差画像処理部15に眼精疲労緩和処理部14からの信号が入力されていない場合には、外部から視差画像処理部15に入力される視差画像の信号あるいは予め視差画像処理部15に記憶された視差画像の信号は、左目用画像の信号と右目用画像の信号とに分けられて、左目画像用プロジェクタ16と右目画像用プロジェクタ17とに各々入力される。
その結果、左目画像用プロジェクタ16から左目用画像がスクリーン20上に投写され、右目画像用プロジェクタ17から右目用画像がスクリーン20上に投写される。
ここで、左目画像用プロジェクタ16からスクリーン20上に投写される左目用画像の画像光は、円偏光板161において、画像表示装置1から眼鏡2の方向に見て左回転方向の偏光光に偏光され、右目画像用プロジェクタ17から投写された右目用画像の画像光は、円偏光板171において、画像表示装置1から眼鏡2の方向に見て右回転方向の偏光光に偏光される。
本実施形態の立体画像表示装置S1においては、眼鏡2の右目用透過部21が画像表示装置1から眼鏡2の方向に見て右回転方向の円偏光光のみを透過する円偏光板として構成されており、左目用透過部22が画像表示装置1から眼鏡2の方向に見て左回転方向の円偏光光のみを透過する円偏光板として構成されているため、右目用画像が鑑賞者の右目のみに到達し、左目画像のみが鑑賞者の左目のみに到達する。この結果、鑑賞者の脳が右目用画像と左目用画像とを合成し、鑑賞者に立体画像が視認される。
そして、本実施形態の立体画像表示装置S1においては、鑑賞者が立体画像を視認している際に、第1撮像素子18と第2撮像素子19とによって、鑑賞者が撮像される。この撮像結果は算出部11に入力する。そして、算出部11において、第1撮像素子18及び第2撮像素子19の撮像結果から、撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離が算出される。なお、立体画像を視認している際には、鑑賞者は眼鏡2を装着しているが、右目用透過部21及び左目用透過部22は、偏光板によって構成されているため、第1撮像素子18及び第2撮像素子の撮像結果上に鑑賞者の虹彩を確認することは可能とされている。
続いて、算出部11において算出された算出結果、すなわち撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離は、数値化部12に入力する。数値化部12は、入力された算出結果に基づいて、予め記憶した撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離と注視点距離との関係から注視点距離を抽出する。例えば、入力される算出結果の鑑賞者からスクリーン20までの距離が1mで、鑑賞者からスクリーン20までの距離が1mの場合の撮像結果上における鑑賞者の虹彩間距離と注視点距離との関係が、図2に示すグラフのようであった場合に、入力される算出結果の撮像結果上における鑑賞者の虹彩間距離が6.2cmであれば、算出部11は、その際の注視点距離を26cmとして抽出する。その後、数値化部12は、予め数値化して記憶した、注視点距離の逆数に応じた眼精疲労度を抽出する。なお、ここで、注視点距離の逆数を用いるのは、注視点距離と眼精疲労度との関係が反比例の関係、すなわち注視点距離が0に近づくにつれて眼精疲労度が増すためである。
このようにして、数値化部12において、算出部11で算出された算出結果に基づいて鑑賞者の眼精疲労度が数値化される。
そして、数値化された鑑賞者の眼精疲労度は、積算部13に入力する。積算部13は、入力される数値化された鑑賞者の眼精疲労度を積算し、その結果が所定の閾値を超えた場合に、眼精疲労緩和処理部14に向けて開始信号を出力する。
例えば、図3に示すような注視点距離の逆数が時間とともに変化する、すなわち鑑賞者が視認する立体画像のスクリーン20に対しする飛び出し量が時間とともに変化する画像を鑑賞者が視認している場合には、積算部13は、図4に示すように、眼精疲労度を時間とともに積算して行き、その結果が閾値Eを超えた場合に開始信号を出力する。
積算部13から出力された開始信号は、眼精疲労緩和処理部14に入力する。眼精疲労緩和処理部14は、この入力される開始信号に応じて、眼精疲労緩和処理を行う。具体的には、本実施形態の立体画像表示装置S1においては、図5に示すように、鑑賞者が視認する立体画像をスクリーン20の表示面に対して垂直方向に変位させる処理を行う。より詳細には、鑑賞者が視認する立体画像がスクリーン20の表示面に対して垂直方向に変位するように、視差画像の信号を変換するための信号を視差画像処理部15に向けて出力する。そして、視差画像処理部15が入力される信号に基づいて視差画像の信号を変換する。
このように、鑑賞者が視認する立体画像をスクリーン20の表示面に対して垂直方向に変位させることによって、鑑賞者の目の輻輳角が変化し、これによって鑑賞者の目のストレッチが行われる。よって、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。なお、本第2実施形態の説明において、上記第1実施形態と同様の部分については、その説明を省略あるいは簡略化する。
図6は、本第2実施形態の立体画像表示装置S2の概略構成を示す概略構成図である。この図に示すように、本第2実施形態の立体画像表示装置S2においては、眼精疲労緩和処理部14がスクリーン移動機構141(表示面変位手段)を備えて構成されている。
スクリーン移動機構141は、スクリーン20を鑑賞者に対して奥行き方向に移動(変位)させるものである。
そして、本実施形態の立体画像表示装置S2においては、眼精疲労緩和処理部14に開始信号が入力された場合には、眼精疲労緩和処理部14は、眼精疲労緩和処理として、スクリーン移動機構141によってスクリーン20を鑑賞者に対して奥行き方向に移動させる。
このように、スクリーン20を鑑賞者に対して奥行き方向に移動させることによって、鑑賞者の目の焦点距離及び鑑賞者の目の輻輳角が変化し、これによって鑑賞者の目のストレッチが行われる。よって、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
なお、本第2実施形態の立体画像表示装置S2においては、スクリーン20を移動させる際に、鑑賞者が視認する立体画像の大きさを変化させないように視差画像の信号を変換することが好ましい。具体的には、スクリーン20が鑑賞者から遠ざかる場合には、右目用画像及び左目用画像を大きく変化させ、スクリーン20が鑑賞者に近づく場合には、右目用画像及び左目用画像を小さく変化させることによって、鑑賞者が視認する立体画像の大きさを変化させずにスクリーン20を移動することができる。なお、この場合には、鑑賞者の目の輻輳角が変化しないが、鑑賞者の目の焦点距離が変化する。このため、同様に鑑賞者の目のストレッチが行われ、立体画像視認時における鑑賞者の眼精疲労を低減させることが可能となる。
また、本第2実施形態の立体画像表示装置S2においては、鑑賞者が視認する立体画像の大きさを変化させないように視差画像の信号を変換しない場合には、眼精疲労緩和処理部14と視差画像処理部15とを必ずしも電気的に接続する必要はない。
(第3実施形態)
次に、本発明の第3実施形態について説明する。なお、本第3実施形態の説明においても、上記第1実施形態と同様の部分については、その説明を省略あるいは簡略化する。
図7は、本第3実施形態の立体画像表示装置S3の概略構成を示した概略構成図である。この図に示すように、本第3実施形態の立体画像表示装置S3においては、眼精疲労緩和処理部14が警告部142を備えて構成されている。
警告部142は、眼精疲労緩和処理部14に開始信号が入力された場合に、鑑賞者に対して警告を発するものである。このため、直接的ではないにしろ、鑑賞者に対して眼精疲労の緩和のための動作(休憩等)を促すことができ、結果として、鑑賞者の眼精疲労を低減させることが可能となる。
なお、警告部142としては、アラームを発するものであっても良いし、警告文をスクリーン20上に表示するものであっても良い。
以上、添付図面を参照しながら本発明に係る立体画像表示装置及び方法の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。上述した実施形態において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の主旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。
例えば、上記実施形態においては、眼精疲労緩和処理として、立体画像を移動させる、スクリーン20を移動させる、あるいは、警告を発するのいずれかの処理を行った。しかしながら、本発明はこれに限定されるものではなく、例えば、眼精疲労緩和処理として、スクリーン20上に眼精疲労が緩和される画像を表示する、あるいは、画像そのものを表示しない等の処理を行っても良い。
また、上記実施形態においては、撮像素子18,19によって鑑賞者を撮像し、この撮像結果から、撮像結果上における鑑賞者の虹彩間距離及び鑑賞者からスクリーン20までの距離を算出し、この算出結果に基づいて鑑賞者の眼精疲労度を検出した。しかしながら、本発明は、これに限定されるものではなく、例えば、他の生態情報から鑑賞者の眼精疲労度を検出しても良いし、また、所定の時間経過で鑑賞者の眼精疲労度が閾値を超えたと判断することによって鑑賞者の眼精疲労度を検出したこととしても良い。
また、上記実施形態においては、視差画像選択手段として、右目用透過部21と左目用透過部22とに円偏光板を用いた偏光眼鏡2を用いた。しかしながら、本発明は、これに限定されるものではなく、視差画像選択手段として、右目用透過部21と左目用透過部22とに液晶シャッターを用いた液晶眼鏡を用いることもできる。また、視差画像選択手段として、スクリーン20上に配置されるレンチキュラーレンズ等を用いることもできる。この場合には、鑑賞者が眼鏡を装着する必要がなくなるため、より鮮明に鑑賞者の虹彩を撮像素子18,19によって撮像することが可能となる。
また、上記実施形態においては、画像を表示するための表示手段としてプロジェクタを用いたが、本発明はこれに限定されるものではなく、CRT、液晶表示装置、プラズマディスプレイパネル、有機EL表示装置、無機EL表示装置、フィールドエミッションディスプレイ、Surface-Conduction electron emitter displayなど各種の表示装置を用いることができる。
本発明の第1実施形態である立体画像表示装置の概略構成図である。 本発明の第1実施形態である立体画像表示装置の動作を説明するための図である。 本発明の第1実施形態である立体画像表示装置の動作を説明するための図である。 本発明の第1実施形態である立体画像表示装置の動作を説明するための図である。 本発明の第1実施形態である立体画像表示装置の動作を説明するための図である。 本発明の第2実施形態である立体画像表示装置の概略構成図である。 本発明の第3実施形態である立体画像表示装置の概略構成図である。
符号の説明
S1〜S3……立体画像表示装置、1……画像表示装置(画像表示手段)、11……算出部(算出手段)、12……数値化部(数値化手段)、13……積算部(積算手段)、14……眼精疲労緩和処理部(眼精疲労緩和処理手段)、141……スクリーン移動機構(表示面変位手段)、15……視差画像処理部、18……第1撮像素子(撮像手段)、19……第2撮像素子(撮像手段)、20……スクリーン(表示面)、2……眼鏡(視差画像選択手段)

Claims (7)

  1. 右目用画像と左目用画像とからなる視差画像を表示面上に表示する画像表示手段と、前記視差画像のうち前記右目用画像のみを鑑賞者の右目に到達させかつ前記視差画像のうち前記左目用画像のみを鑑賞者の左目に到達させることによって前記鑑賞者に立体画像を視認させる視差画像選択手段と、を有する立体画像表示装置であって、
    前記鑑賞者の眼精疲労度を検出する眼精疲労度検出手段と、
    前記眼精疲労度検出手段の検出結果に応じて前記鑑賞者の眼精疲労を緩和させる眼精疲労緩和処理を行う眼精疲労緩和処理手段と
    を備えることを特徴とする立体画像表示装置。
  2. 前記眼精疲労度検出手段は、
    前記鑑賞者を撮像する複数の撮像手段と、
    前記撮像手段の撮像結果から前記鑑賞者の虹彩間距離及び前記鑑賞者から前記表示面までの距離を算出する算出手段と、
    前記鑑賞者の虹彩間距離及び前記鑑賞者から前記表示面までの距離に応じて単位時間あたりの前記鑑賞者の眼精疲労度を数値化する数値化手段と、
    数値化された前記単位時間あたりの前記鑑賞者の眼精疲労度を積算し、その結果が所定の閾値を超えた場合に、前記眼精疲労緩和処理の開始信号を前記検出結果として出力する積算手段と
    を備えることを特徴とする請求項1記載の立体画像表示装置。
  3. 前記眼精疲労緩和処理手段は、前記眼精疲労緩和処理として、前記鑑賞者が視認する前記立体画像を前記表示面に対して垂直方向に変位させる処理を行うことを特徴とする請求項1または2記載の立体画像表示装置。
  4. 前記眼精疲労緩和処理手段は、前記表示面を前記鑑賞者に対して奥行き方向に変位させる表示面変位手段を備え、前記眼精疲労緩和処理として、前記表示面を変位させる処理を行うことを特徴とする請求項1または2記載の立体画像表示装置。
  5. 前記眼精疲労緩和処理手段は、前記鑑賞者が視認する前記立体画像の大きさを変化させることなく前記表示面を変位させる処理を行うことを特徴とする請求項4記載の立体画像表示装置。
  6. 前記眼精疲労緩和処理手段は、前記眼精疲労緩和処理として、前記鑑賞者に対して警告を発することを特徴とする請求項1または2記載の立体画像表示装置。
  7. 右目用画像と左目用画像とからなる視差画像を表示面上に表示し、前記視差画像のうち前記右目用画像のみを鑑賞者の右目に到達させかつ前記視差画像のうち前記左目用画像のみを鑑賞者の左目に到達させることによって前記鑑賞者に立体画像を視認させる立体画像表示方法であって、
    前記鑑賞者の眼精疲労度を検出し、この検出結果に応じて前記鑑賞者の眼精疲労を緩和させる眼精疲労緩和処理を行うことを特徴とする立体画像表示方法。

JP2005085835A 2005-03-24 2005-03-24 立体画像表示装置及び方法 Expired - Fee Related JP4046121B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005085835A JP4046121B2 (ja) 2005-03-24 2005-03-24 立体画像表示装置及び方法
CNA2006100653643A CN1838778A (zh) 2005-03-24 2006-03-23 立体图像显示装置及方法
US11/387,891 US7623089B2 (en) 2005-03-24 2006-03-24 Stereo image display device and method
US12/570,895 US8390535B2 (en) 2005-03-24 2009-09-30 Stereo image display device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005085835A JP4046121B2 (ja) 2005-03-24 2005-03-24 立体画像表示装置及び方法

Publications (2)

Publication Number Publication Date
JP2006267578A true JP2006267578A (ja) 2006-10-05
JP4046121B2 JP4046121B2 (ja) 2008-02-13

Family

ID=37016010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005085835A Expired - Fee Related JP4046121B2 (ja) 2005-03-24 2005-03-24 立体画像表示装置及び方法

Country Status (3)

Country Link
US (2) US7623089B2 (ja)
JP (1) JP4046121B2 (ja)
CN (1) CN1838778A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229175A (ja) * 2007-03-22 2008-10-02 Matsushita Electric Works Ltd 映像表示装置および両眼視機能検査装置
JP2009153574A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 視機能検査装置
JP2009207569A (ja) * 2008-02-29 2009-09-17 Nidek Co Ltd 視標呈示装置
JP2011520398A (ja) * 2008-05-12 2011-07-14 トムソン ライセンシング 立体動画による潜在的眼精疲労を測定するシステムおよび方法
JP2011205481A (ja) * 2010-03-26 2011-10-13 Sharp Corp 立体映像視聴具及び立体映像表示システム
JP2011212430A (ja) * 2010-03-16 2011-10-27 Univ Of Tokyo 視覚認知検査システム、訓練システムおよび支援システム
JP2012022150A (ja) * 2010-07-14 2012-02-02 Nikon Corp 表示装置および表示方法
JP2021064006A (ja) * 2014-11-28 2021-04-22 株式会社半導体エネルギー研究所 表示システム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115698B2 (en) * 2007-08-28 2012-02-14 Dell Products, L.P. Methods and systems for image processing and display
US8506085B2 (en) * 2007-08-28 2013-08-13 Dell Products, L.P. Methods and systems for projecting images
CN104980732B (zh) * 2008-05-12 2018-01-16 汤姆森特许公司 测量立体运动画面的潜在眼睛疲劳的***和方法
JP5371330B2 (ja) * 2008-08-29 2013-12-18 キヤノン株式会社 固体撮像装置
JPWO2010050459A1 (ja) * 2008-10-29 2012-03-29 パナソニック電工株式会社 視標呈示装置、画像表示システムおよび車載用表示装置
JP2011064894A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置
US8830164B2 (en) * 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
JP5353770B2 (ja) * 2010-03-05 2013-11-27 カシオ計算機株式会社 立体映像観察装置、立体映像表示装置、及びプログラム
JP5630045B2 (ja) * 2010-03-19 2014-11-26 セイコーエプソン株式会社 画像表示装置
TW201031179A (en) * 2010-04-15 2010-08-16 Xiu-Ping Zhou Image transform method, imaging methods and system for stereo vision
CN101859386A (zh) * 2010-05-17 2010-10-13 福建工程学院 基于Gabor变换的人脸疲劳序列模式识别***
JP5545060B2 (ja) * 2010-06-18 2014-07-09 ソニー株式会社 映像表示システム、シャッター眼鏡、並びに表示装置
JP2012047974A (ja) * 2010-08-26 2012-03-08 Toshiba Corp 映像表示装置及び映像表示方法
US20130169543A1 (en) * 2010-09-20 2013-07-04 Mediatek Singapore Pte. Ltd. Rendering Apparatuses, Display System and Methods for Rendering Multimedia Data Objects with a Function to Avoid Eye Fatigue
JP5640680B2 (ja) * 2010-11-11 2014-12-17 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
KR20130125777A (ko) * 2010-12-08 2013-11-19 톰슨 라이센싱 적응 시차를 갖는 3d 디스플레이를 위한 방법 및 시스템
US9300942B2 (en) 2012-10-18 2016-03-29 Industrial Technology Research Institute Method and control system for three-dimensional video playback using visual fatigue estimation
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
CN103458259B (zh) * 2013-08-27 2016-04-13 Tcl集团股份有限公司 一种3d视频引起人眼疲劳度的检测方法、装置及***
US9993150B2 (en) * 2014-05-15 2018-06-12 Essilor International (Compagnie Generale D'optique) Monitoring system for monitoring head mounted device wearer
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
KR102402048B1 (ko) 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
CN106725281A (zh) * 2016-11-15 2017-05-31 北京理工大学 一种基于心电信号分析的三维显示视疲劳评测方法
CN107157436A (zh) * 2017-04-24 2017-09-15 北京云瞳视光科技有限公司 一种视力筛查***
CN107124607A (zh) * 2017-05-08 2017-09-01 上海大学 一种结合视觉疲劳检测的裸眼立体显示装置和方法
CN108347594A (zh) * 2018-03-09 2018-07-31 京东方科技集团股份有限公司 3d眼镜、显示服务器、显示器、显示***及其工作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08289327A (ja) * 1995-04-17 1996-11-01 Sanyo Electric Co Ltd 映像表示装置
JPH0918894A (ja) * 1995-06-26 1997-01-17 Sanyo Electric Co Ltd 立体映像表示装置
JPH0923451A (ja) * 1995-07-05 1997-01-21 Sanyo Electric Co Ltd 感性応答制御装置
JPH11355808A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd 映像システム
JP2003334221A (ja) * 2002-05-20 2003-11-25 Nikon Corp 画像表示装置および眼疲労解消装置
JP2004289527A (ja) * 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2004357760A (ja) * 2003-06-02 2004-12-24 Sophia Co Ltd 遊技機

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2595942B2 (ja) 1986-09-11 1997-04-02 ソニー株式会社 立体画像表示装置
JPH0748881B2 (ja) 1987-03-16 1995-05-24 シャープ株式会社 立体映像表示装置
US5384593A (en) * 1993-08-05 1995-01-24 Gell, Jr.; Harold A. Method and apparatus for reflex blink reaction conditioning
US5515069A (en) * 1993-11-01 1996-05-07 Dillon, Iii; John A. Apparatus for relieving eyestrain and fatigue
JPH07234459A (ja) 1994-02-23 1995-09-05 Sanyo Electric Co Ltd 立体映像表示装置
JP3134667B2 (ja) * 1994-06-02 2001-02-13 日産自動車株式会社 車両用表示装置
US5933130A (en) * 1996-07-26 1999-08-03 Wagner; Roger Anti-eye strain apparatus and method
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
US6619799B1 (en) * 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
EP1083755A3 (en) * 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
US6788274B2 (en) * 2000-01-31 2004-09-07 National Institute Of Information And Communications Technology Apparatus and method for displaying stereoscopic images
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
JP4093348B2 (ja) 2002-05-20 2008-06-04 マイコール株式会社 足温用発熱体及び足温用発熱体の製造方法
US6932476B2 (en) * 2002-09-20 2005-08-23 Canon Kabushiki Kaisha Stereoscopic image display apparatus and stereoscopic image display system
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP2008507006A (ja) * 2004-06-01 2008-03-06 マイケル エー. ベセリー 水平透視シミュレータ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08289327A (ja) * 1995-04-17 1996-11-01 Sanyo Electric Co Ltd 映像表示装置
JPH0918894A (ja) * 1995-06-26 1997-01-17 Sanyo Electric Co Ltd 立体映像表示装置
JPH0923451A (ja) * 1995-07-05 1997-01-21 Sanyo Electric Co Ltd 感性応答制御装置
JPH11355808A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd 映像システム
JP2003334221A (ja) * 2002-05-20 2003-11-25 Nikon Corp 画像表示装置および眼疲労解消装置
JP2004289527A (ja) * 2003-03-24 2004-10-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2004357760A (ja) * 2003-06-02 2004-12-24 Sophia Co Ltd 遊技機

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229175A (ja) * 2007-03-22 2008-10-02 Matsushita Electric Works Ltd 映像表示装置および両眼視機能検査装置
JP2009153574A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 視機能検査装置
JP2009207569A (ja) * 2008-02-29 2009-09-17 Nidek Co Ltd 視標呈示装置
JP2011520398A (ja) * 2008-05-12 2011-07-14 トムソン ライセンシング 立体動画による潜在的眼精疲労を測定するシステムおよび方法
JP2011212430A (ja) * 2010-03-16 2011-10-27 Univ Of Tokyo 視覚認知検査システム、訓練システムおよび支援システム
JP2011205481A (ja) * 2010-03-26 2011-10-13 Sharp Corp 立体映像視聴具及び立体映像表示システム
JP2012022150A (ja) * 2010-07-14 2012-02-02 Nikon Corp 表示装置および表示方法
JP2021064006A (ja) * 2014-11-28 2021-04-22 株式会社半導体エネルギー研究所 表示システム
JP6996011B2 (ja) 2014-11-28 2022-01-17 株式会社半導体エネルギー研究所 表示システム
JP2022058358A (ja) * 2014-11-28 2022-04-12 株式会社半導体エネルギー研究所 表示装置
JP7200343B2 (ja) 2014-11-28 2023-01-06 株式会社半導体エネルギー研究所 表示装置

Also Published As

Publication number Publication date
US7623089B2 (en) 2009-11-24
JP4046121B2 (ja) 2008-02-13
US20100020162A1 (en) 2010-01-28
US20060215261A1 (en) 2006-09-28
CN1838778A (zh) 2006-09-27
US8390535B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
JP4046121B2 (ja) 立体画像表示装置及び方法
US7719621B2 (en) Image display device and method having image control unit preventing light source unit from outputting an image when observer is outside of predefined normal viewing area
CN103348682B (zh) 在多视图***中提供单一视觉的方法和装置
WO2014000370A1 (zh) 景深保持装置、3d显示***及显示方法
CN103533340A (zh) 移动终端的裸眼3d播放方法和移动终端
JP2011049644A5 (ja)
JP2014103585A (ja) 立体画像表示装置
KR100704634B1 (ko) 사용자의 위치에 따른 입체 영상을 디스플레이하는 장치 및방법
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
JP4634863B2 (ja) 立体視画像生成装置及び立体視画像生成プログラム
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
JP2005058399A (ja) ディスプレイ装置
WO2012108187A1 (ja) 立体視用画像生成装置および方法、並びにプログラム
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
EP2506586A2 (en) Stereoscopic display apparatus
JP2006276311A (ja) 立体画像表示方法及び装置
US20120249533A1 (en) Stereoscopic display apparatus
US20120120051A1 (en) Method and system for displaying stereoscopic images
KR101746719B1 (ko) 디스플레이패널과 개별 렌즈간의 거리를 각각 달리하는 렌즈어레이를 이용한 3차원 영상 출력 방법
JP2006250999A (ja) 立体画像表示装置
JP6233870B2 (ja) 立体映像受像機
EP2553526A1 (en) Aperture for increasing the parallax in a single lens three dimensional camera
WO2013031864A1 (ja) 表示装置
JP2015094831A (ja) 立体撮像装置およびその制御方法、制御プログラム
JP2006271740A (ja) 立体眼底画像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4046121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees