JP4803837B2 - 立体画像表示装置 - Google Patents

立体画像表示装置 Download PDF

Info

Publication number
JP4803837B2
JP4803837B2 JP2008001127A JP2008001127A JP4803837B2 JP 4803837 B2 JP4803837 B2 JP 4803837B2 JP 2008001127 A JP2008001127 A JP 2008001127A JP 2008001127 A JP2008001127 A JP 2008001127A JP 4803837 B2 JP4803837 B2 JP 4803837B2
Authority
JP
Japan
Prior art keywords
image
light
pair
observation position
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008001127A
Other languages
English (en)
Other versions
JP2009163032A (ja
Inventor
広 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eizo Nanao Corp
Original Assignee
Eizo Nanao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo Nanao Corp filed Critical Eizo Nanao Corp
Priority to JP2008001127A priority Critical patent/JP4803837B2/ja
Publication of JP2009163032A publication Critical patent/JP2009163032A/ja
Application granted granted Critical
Publication of JP4803837B2 publication Critical patent/JP4803837B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、特殊なメガネを着用することなく両眼視差のある画像を観察者の左右の眼に分離して入力し、立体画像として認識させる立体画像表示装置に係り、特に、複数の観察者によって立体視が可能な技術に関する。
従来、この種の装置(第1の装置)として、筐体の上面に液晶表示パネルを水平姿勢で配設して構成され、液晶メガネをかけた観察者が装置周囲のどの位置にいるかを位置センサで検出し、その検出結果に基づき液晶メガネのシャッタを制御することにより、観察者ごとの視線方向に応じた立体画像を表示させるものがある(例えば、特許文献1参照)。
また、第2の装置として、液晶表示パネルを水平姿勢で備えるとともに、液晶表示パネルにおける分割した小領域に対してそれぞれ多視点の画像を表示させるにあたり、垂直方向から観察方向に光線群を傾斜させることにより立体表示を行うものがある(例えば、特許文献2参照)。
また、第3の装置として、垂直姿勢の液晶表示パネルの背面に凸レンズ板を介して複数個の光源を配置し、光源の発光位置に応じた画像を液晶表示パネルの全面に表示するものがある(例えば、特許文献3参照)。
特許第3579585号公報(図2) 特許第3830782号公報(図1) 特許第3516774号公報(段落番号「0092」及び「0093」、図4)
しかしながら、このような構成を有する従来例の場合には、次のような問題がある。
すなわち、従来の装置のうち第1の装置は、複数の観察者が立体視することができるものの、観察者が特殊なメガネをかける必要があるという問題がある。また、第2の装置は、液晶表示パネルの表示領域を視点ごとに分割しているので、高精細の立体表示を行うことができないという問題がある。また、第3の装置は、観察者が移動した際の観察視点に応じた画像の観察が可能である一方、複数の観察者が立体視を行うことができないという問題がある。
本発明は、このような事情に鑑みてなされたものであって、特殊なメガネを使用することなく、高精細の立体画像を表示させつつも複数の観察者により立体視することができる立体画像表示装置を提供することを目的とする。
(削除)
(削除)
(削除)
本発明は、このような目的を達成するために、次のような構成をとる。
すなわち、請求項に記載の発明は、右眼用画像と左眼用画像とを時間的に交互に表示することにより、少なくとも二方向の観察位置にいる観察者に立体画像として認識させる立体画像表示装置において、水平姿勢で配置された透過型の液晶表示パネルと、前記透過型の液晶表示パネルの下面側に配設され、前記透過型の液晶表示パネルを下面側から照射するための右眼用及び左眼用の一対の光源と、前記透過型の液晶表示パネルの下面側に配設され、前記一対の光源からの光を垂直方向から各観察位置側へ傾斜させる光学系と、前記透過型の液晶表示パネルに対して、観察位置ごとに右眼用画像と左眼用画像を時間的に順次に出力する画像出力手段と、前記画像出力手段による観察位置ごとの画像出力に応じて、前記一対の光源からの光を各観察位置に対して照射させる光源制御手段と、を備え、前記一対の光源は、単数であって前記透過型の液晶表示パネルの中央部下方に配設され、前記一対の光源の周囲に配設され、前記一対の光源からの光を各観察位置に反射させる反射板と、前記一対の光源と前記反射板との間に配設され、光透過状態と光遮断状態とを切り換え可能なシャッタと、前記画像出力手段の出力画像に応じて前記シャッタの状態を切り換えるシャッタ制御手段と、を備えていることを特徴とするものである。請求項に記載の発明によれば、一対の光源から出射された光は、光学系を通って透過型の液晶表示パネルを透過し、少なくとも二方向の観察位置に集光される。画像出力手段は、観察位置ごとに右眼用画像と左眼用画像とを時間的に交互に出力するが、その際に、観察位置ごとの画像出力に応じて、光源制御手段が一対の光源からの光を観察位置に対して照射させる。一対の光源から出射された光各観察位置に反射板で導かれ、また、シャッタ制御手段により制御されるシャッタが各観察位置への光照射状態を切り換える。その結果、特殊なメガネを使用することなく、少なくとも二方向の観察位置において立体画像を観察することができ、同じ立体画像を複数の観察者が観察することができる。また、単体の一対の光源を液晶表示パネルの中央部下方に備えるだけでよいので、装置の小型化を図ることができる。
また、本発明において、装置の周囲風景を取り込む周囲風景取り込み手段と、前記周囲風景取り込み手段からの周囲風景を、前記画像出力手段に与えられる右眼用画像と左眼用画像に関連する3次元物体データに対してマッピングするとともに、マッピングされた3次元物体データに基づき、前記画像出力手段に対して周囲風景が反映された右眼用画像と左眼用画像を出力する環境マッピング手段と、を備えていることが好ましい(請求項)。周囲風景取り込み手段により取り込んだ周囲風景が、環境マッピング手段により3次元物体データに対してマッピングされるので、表示される立体画像の表面に周囲風景が表示される。したがって、現実感が高い立体表示を行うことができる。
本発明に係る立体画像表示装置によれば、一対の光源から出射された光は、光学系を通って透過型の液晶表示パネルを透過し、少なくとも二方向の観察位置に集光される。画像出力手段は、観察位置ごとに右眼用画像と左眼用画像とを時間的に交互に出力するが、その際に、観察位置ごとの画像出力に応じて、光源制御手段が一対の光源からの光を観察位置に対して照射させる。一対の光源から出射された光は各観察位置に反射板で導かれ、また、シャッタ制御手段により制御されるシャッタが各観察位置への光照射状態を切り換える。したがって、特殊なメガネを使用することなく、少なくとも二方向の観察位置において立体画像を観察することができ、同じ立体画像を複数の観察者が観察することができる。また、単体の一対の光源を液晶表示パネルの中央部下方に備えるだけでよいので、装置の小型化を図ることができる。
以下に、立体画像表示装置について二つの実施例を挙げて説明する。
以下、図面を参照して本発明の実施例1を説明する。
図1は、実施例1に係る立体表示装置の概略構成を示す縦断面図であり、図2は、立体表示装置の概略構成を示す平面図である。
本実施例に係る立体画像表示装置は、縦断面がコの字状を呈する筐体1を備えている。その上面には、上から順に、保護ガラス3と、透過型の液晶表示パネル5と、レンズ7(例えば、凸レンズ)とがそれぞれ水平姿勢で配設されている。筐体1の底部両側には、第1の光源9と第2の光源11とが配設されている。第1の光源9は、第1の観察位置M1における観察者の右眼ER1と左眼EL1とに光が入射するように、平面視にて装置の中央を挟んで第1の観察位置M1とは反対側に配設されている。また、第2の光源11は、第2の観察位置M2における観察者の右眼ER2と左眼EL2に光が入射するように、平面視にて装置の中央を挟んで第2の観察位置M2とは反対側に配設されている。つまり、立体画像表示装置は、テーブル状に構成され、その上方にて対向する二箇所の観察位置(第1の観察位置M1,第2の観察位置M2)から立体画像を観察できるように構成されている。
なお、レンズ7が本発明における光学系に相当する。
第1の光源9と第2の光源11とは向きが異なるだけで構成は同一であるので、ここでは第1の光源9を例に採ってその構成を説明する。第1の光源9は、右眼用の光源13と左眼用の光源15の一対の光源が並設されて構成されている。右眼用の光源13及び左眼用の光源15は、取付部材17を介して筐体1の底部端部に配設されている。右眼用の光源13及び左眼用の光源15は、取付部材17によって上向きの傾斜姿勢とされ、出射された光がレンズ7、透過型の液晶表示パネル5、保護ガラス3を通って第1の観察位置M1における右眼ER1と左眼EL1に集光するようになっている。
また、筐体1の一隅部には、カメラ19が埋設されている。このカメラ19は、立体画像表示装置の周囲風景を撮影する。カメラ19は、広角レンズを備え、周囲風景を広範囲に撮影できることが好ましい。
なお、カメラ19が本発明における周囲風景取り込み手段に相当する。
次に、図3を参照する。なお、図3は、実施例1に係る立体表示装置の概略構成を示すブロック図である。
制御部31は、映像信号VDを受け取るとともに液晶表示パネル5に右眼用画像と左眼用画像とを交互に出力する画像信号出力部33と、画像信号出力部33が右眼用画像と左眼用画像とを順次に切り換える際に、垂直同期信号VSに応じて、画像に対応した側の光源13,15だけを画像の表示位置に応じて点灯させてゆく光源制御部35とを備えている。但し、本立体画像表示装置は、二箇所の観察位置(第1の観察位置M1、第2の観察位置M2)を有しているので、画像信号出力部33は、第1の観察位置M1における右眼用画像と左眼用画像とを切り換えた後、第2の観察位置M2における右眼用画像と左眼用画像とを切り換える。また、光源制御部35は、画像信号出力部33による画像の切り換えに応じて第1の光源9の右眼用の光源13と左眼用の光源15との点灯を切り換えるとともに、第2の光源11の右眼用の光源13と左眼用の光源15との点灯を切り換える。
なお、画像信号出力部33が本発明における画像信号出力手段に相当し、光源制御部35が光源制御手段に相当する。
また、カメラ19で撮影された装置の周囲風景は、周囲風景信号SESとしてマッピング処理部36に与えられる。また、制御部31に与えられる映像信号VDの立体画像に対応する3次元物体データは、3次元物体データメモリ37に予め記憶されている。マッピング処理部36は、3次元物体データメモリ37内の3次元物体データに基づき、周囲風景信号SESに応じた周囲風景を右眼用画像と左眼用画像のそれぞれにマッピングする処理を行う。この処理は、物体の表面に周囲環境を写り込ませる環境マッピングと呼ばれ、例えば、”Reflection Vector Shading Hardware”(Douglas Voorhies and Jim Foran: SIGGRAPH 94 Conference Proceedings, P163)に開示されている。また、この環境マッピングにおける欠点を克服する手法が特開2000−348197号公報に開示されている。マッピング処理部36は、マッピングされた3次元物体データに基づき、画像信号出力部33に対して、周囲風景が反映された右眼用画像と左眼用画像を出力する。
なお、マッピング処理部36が本発明における環境マッピング手段に相当する。
上述した画像信号出力部33は、上述したように右眼用画像と左眼用画像とを交互に切り換えることも可能であるが、本実施例装置では、マッピング処理部36からのマッピング済の3次元物体データを用いて、右眼用画像と左眼用画像に対して周囲環境を反映させた画像を切り換えることができる。
本実施例に係る立体画像表示装置によると、一対の光源13,15から出射された光はレンズ7等を通って透過型の液晶表示パネル5を透過して、第1の観察位置M1及び第2の観察位置M2に集光される。画像信号出力部31は、第1の観察位置M1及び第2の観察位置M2ごとに右眼用画像と左眼用画像とを交互に出力するが、その際に、第1の観察位置M1及び第2の観察位置M2ごとの画像出力に応じて、光源制御部35が一対の光源13,15からの光を第1の観察位置M1または第2の観察位置Mのいずれかに対して照射させる。したがって、第1の観察位置M1及び第2の観察位置M2のように観察位置が二箇所である場合、第1の観察位置M1のために右眼用画像と左眼用画像が交互に出力されると、第1の観察位置M1に対して集光されるように一対の光源13,15の点灯が制御される。また、第2の観察位置M2のための右眼用画像と左眼用画像が交互に出力されると、第2の観察位置M2に対して集光されるように一対の光源13,15の点灯が制御される。
したがって、本実施例装置によると、特殊なメガネを使用することなく、複数箇所の観察位置M1、M2において立体画像を観察することができ、同じ立体画像を二人の観察者が観察することができる。また、液晶表示パネル5を視点ごとに分割することなく全面を利用しているので、高精細の立体画像を表示することができる。さらに、液晶表示パネル5が横置きされているので、例えば、保護ガラス3上に載置した実物と、表示された立体画像とを並べて二者で比較・検討などを行うのに好適である。
また、本実施例装置は、一対の光源13,15から出射された光をレンズ7を介して観察位置M1、M2へ導くだけであるので、構成を簡単化することができる。したがって、装置の低コスト化を図ることができる。
また、本実施例装置では、カメラ19により取り込んだ周囲風景が、マッピング処理部36により環境マッピングされるので、表示される立体画像の表面に周囲風景が表示される。したがって、現実感が高い立体表示を行うことができる。
次に、図面を参照して本発明の実施例2を説明する。
図4は、実施例2に係る立体表示装置の概略構成を示す縦断面図である。なお、上述した実施例1と同じ構成については同符号を付すことにより詳細な説明については省略する。
本実施例装置は、透過型の液晶表示パネル5を水平姿勢で上面に配設された筐体1Aを備えている。筐体1Aは、内部構成の関係上、上記筐体1よりも容積が小さく構成されている。
筐体1Aの底部中央には、一対の光源41,43が発光面を上方に向けた状態で配設されている。また、一対の光源41、43に対向する筐体1Aの両側の内壁45には、反射板47が取り付けられている。一対の光源41,43と内壁45との間には、光透過状態と光遮断状態とを切り換え可能な一対のシャッタ49,51が配設されている。各反射板47は、一対の光源41,43からの光を、第1の観察位置M1の右眼位置ER1及び左眼位置EL1と、第2の観察位置M2の右眼位置ER2及び左眼位置EL2とにそれぞれ集光させる。
次に、図5を参照する。なお、図5は、実施例2に係る立体表示装置の概略構成を示すブロック図である。なお、上述した実施例1と同じ構成については同符号を付すことにより詳細な説明については省略する。
本実施例装置は、光源制御部35Aによって一対の光源41,43の点灯が制御される。具体的には、右眼用画像が画像信号出力部33から出力されている場合には、光源41を点灯させ、左眼用画像が画像信号出力部33から出力されている場合には、光源41を消灯させるとともに光源43を点灯させる。シャッタ制御部53は、一対のシャッタ41,43の光透過状態と光遮断状態とを切換制御するが、画像信号出力部33が第1の観察位置M1に右眼用画像と左眼用画像とを出力する際には、シャッタ51を光遮光状態にするとともにシャッタ49を光透過状態とし、画像信号出力部33が第2の観察位置M2に右眼用画像と左眼用画像とを出力する際には、シャッタ49を光遮蔽状態にするとともにシャッタ51を光透過状態にする。また、光源制御部53Aは、観察位置M1に対する右眼用画像が表示される場合には、一対の光源41,43のうち光源43を点灯させ、左眼用画像が表示される場合には、一対の光源41,43のうち光源41を点灯させる。観察位置M2においては、その逆に一対の光源41,43を点灯させる。
なお、シャッタ制御部53が本発明におけるシャッタ制御手段に相当する。
本実施例装置によると、上述した実施例1と同様の効果を奏するとともに、一対の光源41,43を単体で備えればよく、さらに単体の一対の光源41,43を液晶表示パネル5の中央部下方に備えるだけでよいので、実施例1の装置に比較して小型化を図ることができる。
本発明は、上記実施形態に限られることはなく、下記のように変形実施することができる。
(1)上述した各実施例1,2では、第1の観察位置M1と第2の観察位置M2の二箇所から立体画像を観察可能な構成を例示したが、例えば、3箇所以上の観察位置を備える構成としてもよい。この場合には、増加させた観察位置に応じて一対の光源やシャッタを増設するとともに、画像出力の切り換えタイミングを早め、光源の点灯制御やシャッタの切換制御をそれに合わせて変えればよい。
(2)上述した実施例1では、位置固定の第1の光源9及び第2の光源11に代えて、第1の光源9だけとし、液晶表示パネル5の中央部を中心にして第1の光源9を回転させるように構成してもよい。そして、各観察位置M1、M2に対向する位置において右眼用の光源13と左眼用の光源15の点灯を制御すればよい。
(3)上述した各実施例1,2では、マッピング処理部36により、周囲風景を立体画像にマッピングする処理を行っているが、これを省略した構成としてもよい。これにより構成を簡易化でき装置コストを抑制することができる。
(4)上述した実施例2では、シャッタ49,51の状態を、第1の観察位置M1と第2の観察位置M2とで切り換えるようにしているが、各シャッタ49,51を、各光源41,43に対しても光透過状態と光遮断状態とに切換可能に構成し、各観察位置M1,M2において右眼用画像と左眼用画像とを切り換える際に連動して状態を切り換えるようにしてもよい。これにより光源41,43を常時点灯させておくことができ、光源41,43の長寿命化を図ることができる。
実施例1に係る立体表示装置の概略構成を示す縦断面図である。 立体表示装置の概略構成を示す平面図である。 立体表示装置の概略構成を示すブロック図である。 実施例2に係る立体表示装置の概略構成を示す縦断面図である。 立体表示装置の概略構成を示すブロック図である。
符号の説明
1 … 筐体
5 … 透過型の液晶表示パネル
7 … レンズ
9 … 第1の光源
11 … 第2の光源
M1 … 第1の観察位置
M2 … 第2の観察位置
13 … 右眼用の光源
15 … 左眼用の光源
19 … カメラ
31 … 制御部
33 … 画像信号出力部
35 … 光源制御部
36 … マッピング処理部
37 … 3次元物体データメモリ

Claims (2)

  1. 右眼用画像と左眼用画像とを時間的に交互に表示することにより、少なくとも二方向の観察位置にいる観察者に立体画像として認識させる立体画像表示装置において、
    水平姿勢で配置された透過型の液晶表示パネルと、
    前記透過型の液晶表示パネルの下面側に配設され、前記透過型の液晶表示パネルを下面側から照射するための右眼用及び左眼用の一対の光源と、
    前記透過型の液晶表示パネルの下面側に配設され、前記一対の光源からの光を垂直方向から各観察位置側へ傾斜させる光学系と、
    前記透過型の液晶表示パネルに対して、観察位置ごとに右眼用画像と左眼用画像を時間的に順次に出力する画像出力手段と、
    前記画像出力手段による観察位置ごとの画像出力に応じて、前記一対の光源からの光を各観察位置に対して照射させる光源制御手段と、
    を備え、
    前記一対の光源は、単数であって前記透過型の液晶表示パネルの中央部下方に配設され、
    前記一対の光源の周囲に配設され、前記一対の光源からの光を各観察位置に反射させる反射板と、
    前記一対の光源と前記反射板との間に配設され、光透過状態と光遮断状態とを切り換え可能なシャッタと、
    前記画像出力手段の出力画像に応じて前記シャッタの状態を切り換えるシャッタ制御手段と、
    を備えていることを特徴とする立体画像表示装置。
  2. 請求項1に記載の立体画像表示装置において、
    装置の周囲風景を取り込む周囲風景取り込み手段と、
    前記周囲風景取り込み手段からの周囲風景を、前記画像出力手段に与えられる右眼用画像と左眼用画像に関連する3次元物体データに対してマッピングするとともに、マッピングされた3次元物体データに基づき、前記画像出力手段に対して周囲風景が反映された右眼用画像と左眼用画像を出力する環境マッピング手段と、
    を備えていることを特徴とする立体画像表示装置。
JP2008001127A 2008-01-08 2008-01-08 立体画像表示装置 Expired - Fee Related JP4803837B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008001127A JP4803837B2 (ja) 2008-01-08 2008-01-08 立体画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008001127A JP4803837B2 (ja) 2008-01-08 2008-01-08 立体画像表示装置

Publications (2)

Publication Number Publication Date
JP2009163032A JP2009163032A (ja) 2009-07-23
JP4803837B2 true JP4803837B2 (ja) 2011-10-26

Family

ID=40965715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008001127A Expired - Fee Related JP4803837B2 (ja) 2008-01-08 2008-01-08 立体画像表示装置

Country Status (1)

Country Link
JP (1) JP4803837B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6403649B2 (ja) * 2015-09-18 2018-10-10 日本電信電話株式会社 空間像演出装置およびその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69432283T2 (de) * 1993-12-01 2004-01-22 Sharp K.K. Display für dreidimensionale Bilder
JPH0898215A (ja) * 1994-09-28 1996-04-12 Terumo Corp 立体画像表示装置
JP4297557B2 (ja) * 1999-06-02 2009-07-15 株式会社バンダイナムコゲームス 3次元画像生成装置および3次元画像生成方法
JP2004015793A (ja) * 2002-06-11 2004-01-15 Ishikawa Kogaku Zokei Kenkyusho:Kk 3次元映像表示装置
JP4503619B2 (ja) * 2002-09-19 2010-07-14 三菱電機株式会社 携帯機器
JP3953434B2 (ja) * 2003-03-20 2007-08-08 株式会社ソフィア 画像表示装置

Also Published As

Publication number Publication date
JP2009163032A (ja) 2009-07-23

Similar Documents

Publication Publication Date Title
JP4147188B2 (ja) 観測者追跡を備えた自動立体ディスプレイ
JP3930021B2 (ja) 表示装置および表示装置を備えた電子機器
US8684531B2 (en) Stereoscopic display device projecting parallax image and adjusting amount of parallax
KR19990072513A (ko) 입체영상표시장치
US8482584B2 (en) Three dimensional image display apparatus
JP2010113159A (ja) 立体画像表示装置および立体画像表示方法
KR102070800B1 (ko) 입체 디스플레이 장치 및 그 디스플레이 방법
JP2007179059A (ja) 携帯機器
JP2010113161A (ja) 映像表示装置
JP2008541165A (ja) フラットパネルディスプレイを利用した3次元映像表示装置
JP4803837B2 (ja) 立体画像表示装置
JP2953433B2 (ja) 立体表示装置
JP5487935B2 (ja) 表示装置および表示方法
JP5038966B2 (ja) 画像表示装置
KR20150139095A (ko) 렌즈 어레이를 이용한 무안경식 입체 영상 디스플레이장치
JP2004258594A (ja) 広角度から鑑賞できる立体画像表示装置
JP2008245068A (ja) 立体画像撮像表示システム及び立体画像表示装置
JP4595485B2 (ja) 映像表示システム
JP2000209615A (ja) 眼鏡無し立体映像表示装置
KR101575147B1 (ko) 무안경식 입체 영상 디스플레이장치
CN108732772B (zh) 一种显示设备及其驱动方法
JP2000347132A (ja) 画像表示装置および画像表示方法
JP2005266569A (ja) 三次元ディスプレイシステム
JP2015026024A (ja) 立体画像観察装置、プロジェクタおよびプロジェクタシステム
JP4034794B2 (ja) 立体映像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees