JP3742085B2 - 傾斜角度測定装置を有するプロジェクタ - Google Patents

傾斜角度測定装置を有するプロジェクタ Download PDF

Info

Publication number
JP3742085B2
JP3742085B2 JP2003347403A JP2003347403A JP3742085B2 JP 3742085 B2 JP3742085 B2 JP 3742085B2 JP 2003347403 A JP2003347403 A JP 2003347403A JP 2003347403 A JP2003347403 A JP 2003347403A JP 3742085 B2 JP3742085 B2 JP 3742085B2
Authority
JP
Japan
Prior art keywords
projection
projector
tilt angle
light
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003347403A
Other languages
English (en)
Other versions
JP2005006272A (ja
Inventor
陽一 田村
Original Assignee
Necビューテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necビューテクノロジー株式会社 filed Critical Necビューテクノロジー株式会社
Priority to JP2003347403A priority Critical patent/JP3742085B2/ja
Publication of JP2005006272A publication Critical patent/JP2005006272A/ja
Application granted granted Critical
Publication of JP3742085B2 publication Critical patent/JP3742085B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明はプロジェクタに関し、特にプロジェクタの投影装置の投射光軸の投射面に対する傾斜角度を算定するための傾斜角度測定装置を有するプロジェクタに関する。
液晶技術やDLP(登録商標)(デジタルライトプロセッシング)技術の急速な進展に伴うプロジェクタの小型化・高性能化により、画像投射を目的とするプロジェクタの用途も拡大し、家庭内でのディスプレイ型テレビに代わる大型の表示装置としても注目されている。
しかし、プロジェクタはディスプレイ型テレビと違って映像面がスクリーンであったり壁であったりするためにプロジェクタの投射光軸と投射面との相対関係によって画像に台形の歪を生ずるという問題点がある。この問題を解決するために、液晶プロジェクタの据付角度の検出手段と液晶プロジェクタと投射対象との間の距離を検出する距離検出手段とを有し、両検出結果から算出された角度によって液晶表示ユニットの角度を調整する方法が開示されている(特許文献1参照)。また、角度制御可能なレーザポインタの光点を曲面のスクリーンに投影し、一方、計測用点画像を生成してプロジェクタからスクリーンに投影し、カメラで撮影して光点と点画像との位置計測を行って点画像を移動しながら両点が一致したときに点画像のフレームメモリ上の画素座標を光点の入力画像上の座標に置換して座標変換パラメータメモリに設定する歪補正方法が開示されている(特許文献2参照)。また、スクリーンに投射した画像パターンをスリットを通してラインセンサ上で受像した画像パターンの反射光の位置によりスクリーンまでの距離を求め、スクリーンに投射した画像パターンをスクリーン上で移動させスリットを通してラインセンサ上で受像した画像パターンの反射光の位置の移動とからスクリーンの傾きを求め、あおりアクチュエータを制御して投射部を前後に傾けてあおり調整を行う液晶プロジェクタが開示されている(特許文献3参照)。
一方、スクリーンのプロジェクタの投射光軸に対する垂直方向および水平方向の傾斜がわかればプロジェクタのフレームメモリの座標を変換したりすることによって歪のない映像をスクリーンに投影する技術は実用化されている。このため特に歪みの原因となりやすい垂直方向の傾斜を測定するために、スクリーンが垂直に設置されているという前提でプロジェクタの垂直の傾きを重力センサで検知し、その傾きに見合った歪み補正を行うプロジェクタは既に開示されて発売されている(特許文献4参照)。
特開平9−281597号公報 特開2001−169211号公報 特開平9−197249号公報 特開2003−5278号公報
しかし、特許文献1に開示の方法では、液晶表示ユニットの角度を機械的に調整する必要がある。また、特許文献2の方法では、レーザポインタの角度を制御する必要があり、構造が複雑となる。特許文献3に記載の方法では、角度検出には画像パターンをスクリーン上で移動させる必要があり、リアルタイムで歪補正を実現する検出速度は得られない。特許文献4に記載の方法はスクリーンが垂直に設置されているという前提であり、スクリーンが垂直に設置されていない場合やプロジェクタの投射光軸に対し水平方向で傾斜している場合には正確な歪み補正を行うことができないという問題がある。
本発明の目的は、映像の歪補正のためにプロジェクタの投射光軸に対するスクリーンの垂直方向および水平方向の傾斜角度を簡単な構成で正確に測定できる傾斜角度測定装置を有するプロジェクタを提供することにある。
本発明の傾斜角度測定装置を有するプロジェクタは、
投影装置の投射光軸の投射面に対する傾斜角度を算定する傾斜角度測定装置を有し、算定した傾斜角度に従って表示部の出力映像を制御することにより投射面の画像の台形の歪を補正するプロジェクタである
投影装置の投射光軸の投射面に対する傾斜角度に従った表示部の出力映像の制御は、傾斜角度に対応して予め算出されている表示部の入力映像の補正値によってLSI制御パラメータを作成し、プロジェクタ用画像処理LSIを制御することによって実行されてもよい。
投影装置は液晶表示部を有する液晶プロジェクタであってもよく、DMD(デジタルマイクロミラーデバイス)表示部とカラーホイールと光源とを有するDLP(登録商標)方式のプロジェクタであってもよい。
第1の態様では、傾斜角度測定装置は、投射面にポイントを投射するレーザポインタと、レンズと撮像素子とを有するデジタルカメラと、画像解析傾斜角度算定部とを備え、レーザポインタの投射口とデジタルカメラのレンズはプロジェクタの筐体の投射方向の面に設けられおり、レーザポインタは、ポイントが連続したラインの照射を行うライン型レーザポインタであり、前記投影装置の投射レンズを取り囲んで、垂直方向のポインティングラインを投射する1個のライン型レーザポインタが、前記デジタルカメラのレンズの水平方向の対称位置に、水平方向のポインティングラインを投射する1個のライン型レーザポインタが、前記デジタルカメラのレンズの垂直方向の対称位置に配置されており、デジタルカメラのレンズは、レーザポインタの投射口より垂直方向と水平方向に所定の間隔を置いて配置されていて、撮像素子は投射面のラインを撮像可能であり、画像解析傾斜角度算定部は、デジタルカメラの撮像素子の撮像画面から、投射面のラインを受光位置情報として取得し、投射面のライン傾斜角度を解析して、その傾斜角度から投影装置の投射光軸の投射面に対する傾斜角度を算定する。
レーザポインタは、線照射を行う2個のライン型レーザポインタであってもよく、直交する線照射を行う1個のクロスライン型レーザポインタであってもよい。
デジタルカメラで撮像したポイントを結ぶ直線の傾斜角度の、デジタルカメラの撮像素子の撮像画面からの解析は、ポイントを結んで形成された直線と撮像画面の両端の画素ラインとの交点に対応する画素位置を求め、一端の交点の画素位置と他端の交点の画素位置との間の画素数の差を算出して、予め作成してある差分画素数と傾斜角度とを関連付けたテーブルによって傾斜角度を算定してもよい。
第2の態様では、傾斜角度測定装置は、投射面にポイントである入力光反射点を投射するための左右一対の発光素子と、その発光素子からの投射光の焦点を投射面近傍に合わせるための投光用レンズと、プロジェクタの筐体の投射方向の面に投射光軸より所定の方向に離れて設けられた受光用レンズと、プロジェクタからの投射光により投射面に生成した少なくとも2点のポイントからの反射光を、受光用レンズを経由して受光する左右一対の一次元配列撮像素子と、その一次元配列撮像素子の反射光の受光位置情報から、投影装置の投射光軸の投射面に対する傾斜角度を算定する受光位置解析距離・傾斜角度算定部とを備えている。発光素子は、傾斜角度が求められる基準となる基準面に平行に、投射光軸の垂直上方を中心としてそれぞれが左右等距離となるように筐体内部に設けられ、投光用レンズは、プロジェクタの筐体の投射方向の面に、投射光軸より基準面と直交する方向に発光素子と同じ距離だけ離れて設けられ、
受光用レンズは、プロジェクタの筐体の投射方向の面に、投光用レンズから基準面と直交する方向上方に所定の距離だけ離れて設けられ、一次元配列撮像素子は、それぞれ筐体内部の発光素子から基準面と直交する方向上方に所定の距離だけ離れて、それぞれが左右に垂直方向となるように設けられ、投射面に投射された入力光反射点の反射光を、受光用レンズを経由して受光し、受光位置解析距離・傾斜角度算定部は、左右の一次元配列撮像素子の反射光の受光位置の高さと高さの差からなる受光位置情報から、投光用レンズと投射面との距離と、投影装置の投射光軸の投射面に対する傾斜角度とを算定する。
測定される傾斜角度が水平方向の面上における投射光軸の投射面に対する傾斜角度であり、基準面が投射光軸を含む水平方向の面であってもよく、さらに、傾斜角度測定装置はプロジェクタの投射光軸を含む垂直面上における投射光軸の傾斜角度を検出する垂直方向傾斜センサを有し、その垂直方向傾斜センサで検出された垂直面上の傾斜角度と左右の一次元配列撮像素子の反射光の受光位置の高さと高さの差の情報から算定された水平方向の面上の傾斜角度とを組み合わせて表示部の出力映像が制御されてもよく、測定される傾斜角度が垂直面上における投射光軸と投射面の傾斜角度であり、基準面が投射光軸を含む垂直面であってもよい。
投影装置には投射レンズの焦点を調整する焦点調整部が設けられており、焦点調整部は受光位置解析距離・傾斜角度算定部で算定された投光用レンズと投射面との距離により制御されてもよい。
発光素子の投射光が赤外線であってもよく、発光素子と、投光用レンズと、受光用レンズと、一次元配列撮像素子とがパッケージとしてユニット化されており、ユニットとしてプロジェクタ内部に取付け可能であってもよい。
容易に投影装置の投射光軸の投射面に対する垂直方向並びに水平方向の少なくともいずれかの傾斜角度を算出できるので、液晶表示部の画像の画素への配置を移動させることによって投射面に投射された映像を正しい状態に修正することができるという効果がある。
これは、傾斜角度測定装置が、プロジェクタの筐体の投射方向の面に投射光軸より所定の方向に離れて設けられた導光部と、投射面に投射された少なくとも2点のポイントからの反射光を、導光部を経由して受光する受光素子と、その受光素子における反射光の受光位置情報から、投影装置の投射光軸の投射面に対する傾斜角度を算定する傾斜角度算定部とを有するからである。
第1の態様では垂直方向並びに水平方向の傾斜角度が同時に算定できる。第2の態様では一方向での傾斜角度の測定となるが、さらに自動焦点調整が可能である。これは、受光素子における反射光の受光位置情報から、受光位置解析距離・傾斜角度算定部で投光用レンズと投射面との距離を同時に算定できるからである。また第2の態様では第1の態様と異なりデジタルカメラの二次元撮像素子よりも安価な一次元撮像素子を使用するので低価格で構成することができる。
次に、本発明を実施するための最良の形態について図面を参照して説明する。図1は本発明の第1の態様の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図であり、図2は本発明の第1の態様の第1実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図であり、(a)は投射状態を示す模式的側面図、(b)はプロジェクタの正面図、(c)はデジタルカメラの撮像画面の模式図である。
本明細書の各図面では、理解を容易にするために態様、実施例を通じて同一構成要素には同一の符号と名称を用いる。
ここではプロジェクタ10を液晶プロジェクタを例として説明するが、DLP(登録商標)(デジタルライトプロセッシング)方式のプロジェクタであっても本発明は適用でき、液晶プロジェクタの場合の液晶表示部22に代わってDLP方式のプロジェクタでは通常DMD(デジタルマイクロミラーデバイス)表示部、カラーホイール、光源を備える。
プロジェクタ10は投射レンズ21と液晶表示部22とを有する投影装置20と、液晶表示部22の画像を制御する画像制御部23と、傾斜角度測定装置30と、全体の動作を制御するCPU60とを備える。
傾斜角度測定装置30は、投射面に少なくとも2点のスポットを投射するレーザポインタ40と、レンズ51と撮像素子52とを有するデジタルカメラ50と、画像解析傾斜角度算定部53とを備え、レーザポインタ40の投射口とデジタルカメラ50のレンズ51はプロジェクタ10の投射側の面に設けられおり、レーザポインタ40は、投射面70に対して投影装置20の垂直方向を規定するための少なくとも2点のポイント81a、81bと水平方向を規定するための少なくとも2点のポイント81b、81cを投射し、デジタルカメラ50のレンズ51は、レーザポインタ40の投射口より垂直方向と水平方向に所定の間隔を置いて配置されて投射面70のポイント81を撮像可能であり、画像解析傾斜角度算定部53は、デジタルカメラ50の撮像素子52の撮像画面80から投射面70のポイント81を結ぶ直線と、投影装置20の垂直方向と水平方向を示す基準線とを取得し、投射面70のポイント81を結ぶ直線と、投影装置20の垂直方向と水平方向を示す基準線との傾斜角度を解析して、その傾斜角度から投影装置20の投射光軸27の投射面70に対する傾斜角度を算定する。算定した傾斜角度に従って液晶表示部22の出力映像を画像表示部23で制御することにより投射面70の画像の台形の歪が補正される。ここで垂直方向と水平方向を示す基準線は例えば撮像画面80の垂直方向と水平方向の画素ラインである。また少なくとも2点のポイントはポイントが連続してポインティングラインとなってもよい。
図6は本発明の第2の態様の第1実施例の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図であり、図7は本発明の第2の態様の第1実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図であり、(a)はプロジェクタの正面図、(b)は投射状態を示す模式的上面図、(c)は左側投射用発光素子の投射状態と受光状態を示す模式的側面図、(d)は右側投照射用発光素子の投射状態と受光状態を示す模式的側面図である。
プロジェクタ10は、投射レンズ21と焦点調整部26と液晶表示部22とを有する投影装置20と、液晶表示部22の画像を制御する画像制御部23と、傾斜角度測定装置30と、全体の動作を制御するCPU60とを備える。
傾斜角度測定装置30は、投射面70に入力光反射点85L、85Rを投射するための左右一対の発光素子44L、44Rと、その発光素子44L、44Rからの投射光31L、31Rの焦点を投射面70近傍に合わせるための投光用レンズ45と、受光用レンズ54と、受光素子である左右一対の一次元配列撮像素子55L、55Rと、傾斜角度算定部である受光位置解析距離・傾斜角度算定部56とを備えている。
発光素子44L、44Rは、傾斜角度が求められる基準面28に対し平行に、投射光軸27の垂直上方を中心としてそれぞれが左右等距離となるようにプロジェクタ10の筐体内部に設けられ、投光用レンズ45は、プロジェクタ10の筐体の投射方向の面に、投射光軸27より基準面28と直交する方向に発光素子44L、44Rと同じ距離だけ離れて設けられている。
受光用レンズ54は、プロジェクタ10の筐体の投射方向の面に、投光用レンズ45から基準面28と直交する方向上方に所定の距離だけ離れて設けられ、一次元配列撮像素子55L、55Rは、それぞれ筐体内部の発光素子44L、44Rから基準面と直交する方向上方に所定の距離だけ離れて、それぞれが垂直方向となるように左右に設けられて、投射面70に投射された入力光反射点85からのの反射光32L、332Rを、受光用レンズ54を経由して受光し、受光位置解析距離・傾斜角度算定部56は、左右の一次元配列撮像素子55L、55Rの反射光32L、32Rの受光位置の高さと高さの差の情報から、投光用レンズ45と投射面70との距離と、投影装置20の投射光軸27の投射面70に対する傾斜角度とを算定する。算定した傾斜角度に従って液晶表示部22の出力映像を画像表示部23で制御することにより投射面70の画像の台形の歪が補正される。また、算定された投光用レンズ45から投射面70までの距離に基づいて焦点調整部26を制御して投射レンズ21の焦点を調整することもできる。
次に、本発明の第1の態様の第1実施例について図1、図2を参照して説明する。構成については上述の第1の態様の説明と同じなので説明を省略する。
図2(a)に示すようにスクリーンや壁などの投射面70に映像が投射されるようにプロジェクタ10は置き台90上に通常は上下方向に傾斜して配置される。この場合投影装置20の投射光軸27と投射面70とが直交する状態で投影が行われると液晶表示部22の映像がそのまま投射面に拡大して投影されるが、投影装置20の投射光軸27が投射面70に対して傾斜する場合は、直交する場合と比較して投射面70上の位置によって投射レンズ21からの距離が変化し、例えば離れた位置では近い位置に比べて画面が拡大するので投影された画像に台形の歪を生ずるという問題が生ずる。この問題を解決するために例えば上述の特許文献に記載されたような工夫がなされてきた。この場合投影装置20の投射光軸27の投射面70に対する傾斜角度が正確に把握できれば、画像制御部23によって液晶表示部22の映像の画素への配置を移動させることによって投射面70に投射された映像を正しい状態に修正することができ、その移動度は傾斜角度から数値的に求めることができる。
本願発明は投影装置20の投射光軸27の投射面70に対する傾斜角度を正確に把握することを目的としており、以下に説明する傾斜角度測定装置30によりその目的は達成される。
傾斜角度測定装置30では、図2(b)に示すように、投影装置20の投射レンズ21を取り囲んで3個のポイント型レーザポインタ41a、41b、41cと、撮像素子52を有するデジタルカメラ50のレンズ51がそれぞれ正方形の頂点に位置するように配置されている。配置は正確な正方形でなくてもよい。
3個のポイント型レーザポインタ41a、41b、41cからのレーザ光49は、投射面70上にポイント81a、81b、81cを結ぶ。図2(c)は投射面70上のポイント81a、81b、81cをデジタルカメラ50の撮像素子52で撮像したときの撮像画面80であり、投射面70は下部のレーザポインタ41bからの距離に比べて上部がレーザポインタ41aから離れる方向に傾斜しているので、レーザポインタ41a並びにレーザポインタ41bから水平方向に離れた位置で撮像した撮像素子52の画像では、レーザポインタ41aのポイント81aはレーザポインタ41bのポイント81bより図で右側によった位置で表示される。同様に図示されていないが投射面70は向かって右側のレーザポインタ41bからの距離に比べて向かって左側がレーザポインタ41bから離れる方向に傾斜しているので、レーザポインタ41b並びにレーザポインタ41cから垂直方向に離れた位置で撮像した撮像素子52の画像では、レーザポインタ41bのポイント81bはレーザポインタ41cのポイント81cの上側に寄った位置で表示される。
画像解析傾斜角度算定部53では撮像画面80における各ポイントの位置をそれぞれの画素より解析して垂直方向並びに水平方向のそれぞれ2点のポイントを結ぶ直線と垂直方向並びに水平方向の基準線との傾斜角度を取得し、所定の計算式によって投影装置20の投射光軸27の投射面70に対する上下方向並びに左右方向の傾斜角度を算出して画像制御部23に出力し、画像制御部23はその傾斜角度に基づいて所定の計算式によって液晶表示部22の画像の画素への配置を移動させることによって投射面70に投射された映像を正しい状態に修正する。
ここでは、垂直方向と水平方向とにおける投射光軸27の投射面に対する傾斜角度を同時に算出するために3点のポイント81a、81b、81cを投射しているが、垂直方向の傾斜のみの算定であれば2点のポイント81a、81bの投射のみでよく、水平方向の傾斜のみの算定であれば2点のポイント81b、81cの投射のみでよい。
次に、本発明の第1の態様の第2実施例について図面を参照して説明する。図3は本発明の第1の態様の第2実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図であり、(a)は投射状態を示す模式的側面図、(b)はプロジェクタの正面図、(c)はデジタルカメラの撮像画面の模式図である。
第1の態様の第1実施例では、投影装置20の投射レンズ21を取り囲んで3個のポイント型レーザポインタ41a、41b、41cと、撮像素子52を有するデジタルカメラ50のレンズ51がそれぞれ正方形の頂点に位置するように配置されていたが、第2実施例では2個のライン型レーザポインタ42aおよび42cが、デジタルカメラ50のレンズ51の水平方向と垂直方向とにそれぞれ正方形の頂点に位置するように配置されている。
ライン型レーザポインタ42a、42cは高級レーザポインタによく見られるポイントの連続したラインを表示できるレーザポインタであり、投射面70上にはポインティングライン82a、82cとして照射される。従って画素解析傾斜角度算定部53ではポインティングライン82a、82cの画素を解析して傾斜角度を算定してもよいが、例えば撮像画面80の両端の画素ラインとポインティングライン82a、82cとの交点の画素位置を求め、一端の交点の画素位置と他端の交点の画素位置との間の画素数の差を算出して、予め作成してある差分画素数と傾斜角度とを関連付けたテーブルによって傾斜角度を算定してもよく、第1実施例よりも処理が容易となる。図4は第1の態様における差分画素数から液晶表示部22の出力映像を修正する過程を示す模式的流れ図である。画像解析傾斜角度算定部53が、撮像素子52の撮像画面80から縦方向の差分画素数86と横方向の差分画素数87についての差分画素数情報を取得し(ステップS1)、これを基に投影装置20の投射光軸27の投射面70に対する傾斜角度を生成し(ステップS2)、生成した傾斜角度を受けて画像制御部23はLSI制御パラメータを生成し(ステップS3)、プロジェクタ用画像処理LSIを制御することにより(ステップS4)、入力映像24が修正されて液晶表示部22で出力映像25となる。この出力映像25は投射面に投射されると入力映像24と相似の画像となる。
次に、本発明の第1の態様の第3実施例について図面を参照して説明する。図5は本発明の第1の態様の第3実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図であり、(a)は投射状態を示す模式的側面図、(b)はプロジェクタの正面図、(c)はデジタルカメラの撮像画面の模式図である。
第1の態様の第2実施例では2個のライン型レーザポインタ42aおよび42cが、デジタルカメラ50のレンズ51の水平方向と垂直方向とにそれぞれ正方形の頂点に位置するように配置されていたが、第1の態様の第3実施例では1個のクロスライン型レーザポインタ43がデジタルカメラ50のレンズ51に対して投射レンズ21を挟んで斜め下側に位置するように配置されている。
クロスライン型レーザポインタ43も高級レーザポインタに見られるクロスラインを表示できるレーザポインタであり、投射面70上には第1の態様の第2実施例と同様のポインティングライン83として照射される。従って画素解析傾斜角度算定部53ではポインティングライン83の画素を解析して傾斜角度を算定してもよいが、例えば上述のように撮像画面80の両端の画素ラインとポインティングライン83との交点の画素位置を求め、一端の交点の画素位置と他端の交点の画素位置との間の画素数の差を算出して、予め作成してある差分画素数と傾斜角度を関連付けたテーブルによって傾斜角度を算定してもよい。
次に、本発明の第2の態様の第1実施例について図6、図7を参照して説明する。構成については上述の第2の態様の説明と同じなので説明を省略する。
図7(b)、(c)、(d)に示されるようにスクリーンや壁などの投射面70が投射光軸27に対して傾斜している場合は、直交する場合と比較して位置によって投射レンズ21からの距離が変化し、例えば離れた位置では画面が拡大するので投影された画像に台形の歪を生ずるという問題が生ずる。この場合投影装置20の投射光軸27の投射面70に対する傾斜角度が正確に把握できれば、画像制御部23によって液晶表示部22の画像の画素への配置を移動させることによって投射面70に投射された映像を正しい状態に修正することができ、その移動度は傾斜角度から数値的に求めることができる。
プロジェクタ10内部に投射光軸27の垂直上方を中心に左右対称に配置された発光素子44L、44Rから投射された投射光31L、31Rは何れもプロジェクタ10の投射レンズ21の垂直上方に設けられた投光用レンズ45を経由して投射面70の左右のそれぞれの入力光反射点85L、85Rに集光されて輝点を作り、そこから反射された反射光32L、32Rが投光用レンズ45から所定の距離だけ上方に離れて配置された受光用レンズ54を経由して発光素子44L、44Rの垂直上方に縦方向に配置された一次元配列撮像素子55L、55Rに集光されて入射する。一次元配列撮像素子55L、55Rは投射面70の投射レンズ21からの計測予定距離の範囲で反射光32が入力可能となるような長さと位置とで配置される。
もし投射面70が投射光軸27に対して垂直であると仮定すると、入力光反射点85L、85Rと投光用レンズ45との距離は同じであり、従って左右対称に配置されている縦置きの一次元配列撮像素子55L、55Rにおける反射光32L、32Rの受光位置、即ち高さは左右で同じとなり、投光用レンズ45と投射面70との距離によりその高さは変化し、距離が離れると受光位置は低くなる。
図7(b)、(c)、(d)に示すように投射面70が基準面28上で投射光軸27に対して水平方向に傾斜していると、図示のように左右の一次元配列撮像素子55L、55Rの受光位置の高さは異なるが、その平均高さは発光素子44が投射光軸27上の垂直上方にあった場合のその上方に設けられた一次元配列撮像素子55への反射光32の受光高さと同じであり、この平均高さによって投光用レンズ45と反射面70との距離を算定することができる。
図7(b)、(c)、(d)に示すように投射面70が基準面28上で投射光軸27に対して水平方向に傾斜していると図示のように左右の一次元配列撮像素子55L、55Rの受光位置の高さは異なるが、それは上述のように一次元配列撮像素子55L、55Rのそれぞれに入力した反射光32L、32Rの投射面70上の入力光反射点85L、85Rと投光用レンズ45との距離に対応しているので、その高さの差を求めることによって一次元配列撮像素子55L、55Rのそれぞれに入力した反射光32L、32Rの投射面70上のそれぞれの入力光反射点85L、85Rと投光用レンズ45との距離の差の近似値を求めることができる。それぞれの入力光反射点85L、85Rの間の間隔は、左右の一次元配列撮像素子55L、55Rの間隔と、左右の一次元配列撮像素子を結ぶ線と受光用レンズ54との距離と、投光用レンズ45と反射面70との距離とで近似的に算定できるので、それぞれの入力光反射点85L、85Rの間の間隔と一次元配列撮像素子55L、55Rのそれぞれに入力した反射光32L、32Rの投射面70上のそれぞれの入力光反射点85L、85Rと投光用レンズ45との距離もしくは距離の差とから、基準面28上での投射光軸27の投射面70に対する水平方向での傾斜角度が三角関数を用いて算定できる。
このようにして算定した傾斜角度に従って液晶表示部22の出力映像を画像表示部23で制御することにより投射面70の画像の台形の歪が補正される。また、算定された投射レンズ21と投射面70までの距離に基づいて焦点調整部26を制御して投射レンズ21の焦点を調整することもできる。
図8は左右一対の一次元配列撮像素子55L、55Rにおける投射面70の入力光反射点85L、85Rからの反射光32L、32Rの受光位置から液晶表示部22の出力映像25を修正する過程を示す模式的流れ図である。受光位置解析距離・傾斜角度算定部56が、左の一次元配列撮像素子55Lの受光位置の高さから左入力光反射点85Lまでの距離を算出し(ステップS11)、右の一次元配列撮像素子55Rの受光位置の高さから右入力光反射点85Rまでの距離を算出して(ステップS12)、反射面70までの距離の平均値を算出し(ステップS13)、一方左右の一次元配列撮像素子55L、55Rの受光位置の高さの差を取得し(ステップS14)、反射面70までの距離の平均値と左右の一次元配列撮像素子55L、55Rの受光位置の高さの差を元に、演算またはテーブル参照により投影装置20の光軸27の投射面70に対する水平方向の傾斜角度を生成し(ステップS15)、生成した傾斜角度を受けて画像制御部23はLSI制御パラメータを生成し(ステップS16)、プロジェクタ用画像処理LSIを制御することにより(ステップS17)、入力映像24が修正されて液晶表示部22で出力映像25となる。この出力映像25は投射面70に投射されると入力映像24と相似の画像となる。また、反射面70までの距離の平均値によって焦点調整部26のフォーカスサーボモータを制御して投射レンズ21の焦点を投射面70に合わせることができる。
これまでの説明では、水平方向の傾斜角度を測定することで説明してきたが、発光素子44、投光用レンズ45、受光用レンズ54、ならびに一次元配列撮像素子55の組み合わせを投射光軸27を中心に90°回転させた位置に設けることにより垂直方向の傾斜角度を測定することが可能である。
次に、本発明の第2の態様の第2実施例について図9を参照して説明する。図9は本発明の第2の態様の第2実施例の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図である。第2の態様の第2実施例では傾斜角度測定装置30に、機械の据付の心出しなどにも利用されている加速度検出素子を用いた傾斜センサ(Gセンサ)であって、重力の方向に対する傾斜角度を精密に測定し数値データとして出力する垂直方向傾斜センサ57が設けられている以外は第2の態様の第1実施例と構成も動作も同じなので、同じ構成要素には同じ符号を付し同一の部分についての説明を省略する。
垂直方向傾斜センサ57が検出した垂直方向の傾斜角度は受光位置解析距離・傾斜角度算定部56に入力され、受光位置解析距離・傾斜角度算定部56では一対の一次元配列撮像素子55で測定された受光位置情報により水平方向の傾斜角度を算出するとともに、垂直方向傾斜センサ57が検出した垂直方向の傾斜角度と合わせて画像制御部23に出力し、画像制御部23は水平方向と垂直方向の傾斜を加味してLSI制御パラメータを生成する。
第2の態様のこれまでの説明では、発光素子44、投光用レンズ45、受光用レンズ54、ならびに一次元配列撮像素子55がそれぞれプロジェクタ10内の所定の位置に配置されていることとしたが、2個の発光素子44、1個の投光用レンズ45、1個の受光用レンズ54、ならびに2個の一次元配列撮像素子55をパッケージとしてユニット化し、2個のレンズを持ったユニットとしてプロジェクタ10の内部に取付け可能とすることができる。これによってプロジェクタ10への取付けが容易となり、独立したユニットとしての流通も可能となる。さらに受光位置解析距離・傾斜角度算定部56の機能の一部または全部をユニットに組み込むこともできる。
また、第2の態様ではプロジェクタ10の投射面70の映像とは関係なく距離や傾斜角度の算定ができるので、発光素子44に赤外線発光ダイオードのような赤外線を投射する発光素子44を使用すれば、投射面70に映像を投射しながらリアルタイムで焦点調整や台形の補正が可能となる。使用する光線は赤外線に限定されるものではなく不可視光線であれば例えば紫外線であってもよい。第1の態様のデジタルカメラに用いられる二次元配列撮像素子と違って、第2態様では一次元配列撮像素子55としてラインCCDセンサや一次元PSD(位置検出フォトダイオード)のような廉価な受光素子の使用が可能である。
本発明の第1の態様の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図である。 本発明の第1の態様の第1実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図である。(a)は投射状態を示す模式的側面図である。(b)はプロジェクタの正面図である。(c)はデジタルカメラの撮像画面の模式図である。 本発明の第1の態様の第2実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図である。(a)は投射状態を示す模式的側面図である。(b)はプロジェクタの正面図である。(c)はデジタルカメラの撮像画面の模式図である。 第1の態様における差分画素数から液晶表示部の出力映像を修正する過程を示す模式的流れ図である。 本発明の第1の態様の第3実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図である。(a)は投射状態を示す模式的側面図である。(b)はプロジェクタの正面図である。(c)はデジタルカメラの撮像画面の模式図である。 本発明の第2の態様の第1実施例の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図である。 本発明の第2の態様の第1実施例の傾斜角度測定装置を有するプロジェクタの模式的説明図である。(a)はプロジェクタの正面図である。(b)は投射状態を示す模式的上面図である。(c)は左側投照射用発光素子の投射状態と受光状態を示す模式的側面図である。(d)は右側投照射用発光素子の投射状態と受光状態を示す模式的側面図である。 左右一対の一次元配列撮像素子の投射面の入力光反射点からの反射光の受光位置から液晶表示部の出力映像を修正する過程を示す模式的流れ図である。 本発明の第2の態様の第2実施例の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図である。
符号の説明
10 プロジェクタ
20 投影装置
21 投射レンズ
22 液晶表示部
23 画像制御部
24 入力映像
25 出力映像
26 焦点調整部
27 投射光軸
28 基準面
30 傾斜角度測定装置
31、31L、31R 投射光
32、32L、32R 反射光
40 レーザポインタ
41a、41b、41c ポイント型レーザポインタ
42a、42c ライン型レーザポインタ
43 クロスライン型レーザポインタ
44、44L、44R 発光素子
45 投射用レンズ
49 レーザ光
50 デジタルカメラ
51 レンズ
52 撮像素子
53 画像解析傾斜角度算定部
54 受光用レンズ
55、55L、55R 一次元配列撮像素子
56 受光位置解析距離・傾斜角度算定部
57 垂直方向傾斜センサ
60 CPU
70 投射面
80 撮像画面
81a、81b、81c ポイント
82a、82c、83 ポインティングライン
84 投射映像
85、85L、85R 入力光反射点
86 縦差分画素数
87 横差分画素数
90 置き台
S1〜S4、S11〜S17 ステップ

Claims (13)

  1. 投影装置の投射光軸の投射面に対する傾斜角度を算定する傾斜角度測定装置を有し、算定した傾斜角度に従って表示部の出力映像を制御することにより前記投射面の画像の台形の歪を補正するプロジェクタにおいて、
    前記傾斜角度測定装置は、前記投射面にラインを投射するレーザポインタと、レンズと撮像素子とを有するデジタルカメラと、画像解析傾斜角度算定部とを備え、
    前記レーザポインタの投射口と前記デジタルカメラのレンズは前記プロジェクタの筐体の投射方向の面に設けられおり、
    前記レーザポインタは、ポイントが連続したラインの照射を行うライン型レーザポインタであり、前記投影装置の投射レンズを取り囲んで、垂直方向のポインティングラインを投射する1個のライン型レーザポインタが、前記デジタルカメラのレンズの水平方向の対称位置に、水平方向のポインティングラインを投射する1個のライン型レーザポインタが、前記デジタルカメラのレンズの垂直方向の対称位置に配置されており、
    前記デジタルカメラのレンズは、前記レーザポインタの投射口より垂直方向と水平方向に所定の間隔を置いて配置されていて、前記撮像素子は前記投射面の前記ラインを撮像可能であり、
    画像解析傾斜角度算定部は、前記デジタルカメラの前記撮像素子の撮像画面から、前記投射面の前記ラインを受光位置情報として取得し、前記投射面の前記ラインの傾斜角度を解析して、該傾斜角度から前記投影装置の前記投射光軸の前記投射面に対する傾斜角度を算定する、傾斜角度測定装置を有するプロジェクタ。
  2. 前記レーザポインタは、直交する前記ポイントが連続した2本のラインの照射を行うクロスライン型レーザポインタであり、1個のクロスライン型レーザポインタが水平方向並びに垂直方向のポインティングラインを投射するように、前記投影装置の投射レンズを挟んで、前記デジタルカメラのレンズと対称位置に配置されている、請求項に記載の傾斜角度測定装置を有するプロジェクタ。
  3. 前記デジタルカメラで撮像したポイントを結ぶ直線の傾斜角度の、前記デジタルカメラの前記撮像素子の撮像画面からの解析は、ポイントを結んで形成された直線と撮像画面の両端の画素ラインとの交点に対応する画素位置を求め、一端の交点の画素位置と他端の交点の画素位置との間の画素数の差を算出して、予め作成してある差分画素数と傾斜角度とを関連付けたテーブルによって傾斜角度を算定する、請求項1または請求項2に記載の傾斜角度測定装置を有するプロジェクタ。
  4. 投影装置の投射光軸の投射面に対する傾斜角度を算定する傾斜角度測定装置を有し、算定した傾斜角度に従って表示部の出力映像を制御することにより前記投射面の画像の台形の歪を補正するプロジェクタにおいて、
    前記傾斜角度測定装置は、前記投射面にポイントである入力光反射点を投射するための左右一対の発光素子と、該発光素子からの投射光の焦点を前記投射面近傍に合わせるための投光用レンズと、前記プロジェクタの筐体の投射方向の面に前記投射光軸より所定の方向に離れて設けられた受光用レンズと、前記プロジェクタからの投射光により前記投射面に生成した少なくとも2点のポイントからの反射光を、前記受光用レンズを経由して受光する左右一対の一次元配列撮像素子と、該一次元配列撮像素子の前記反射光の受光位置情報から、前記投影装置の前記投射光軸の投射面に対する傾斜角度を算定する受光位置解析距離・傾斜角度算定部とを備え、
    前記発光素子は、前記傾斜角度が求められる基準となる基準面に平行に前記投射光軸の垂直上方を中心としてそれぞれが左右等距離となるように前記筐体内部に設けられ、
    前記投光用レンズは、前記プロジェクタの筐体の投射方向の面に、前記投射光軸より前記基準面と直交する方向に前記発光素子と同じ距離だけ離れて設けられ、
    前記受光用レンズは、前記プロジェクタの筐体の投射方向の面に、前記投光用レンズから前記基準面と直交する方向上方に所定の距離だけ離れて設けられ、
    前記一次元配列撮像素子は、それぞれ前記筐体内部の前記発光素子から前記基準面と直交する方向上方に所定の距離だけ離れて、それぞれが左右に垂直方向となるように設けられ、前記投射面に前記発光素子から投射された入力光の反射点からの反射光を、前記受光用レンズを経由して受光し、
    前記受光位置解析距離・傾斜角度算定部は、左右の前記一次元配列撮像素子の前記反射光の受光位置の高さと高さの差からなる前記受光位置情報から、前記投光用レンズと前記投射面との距離と、前記投影装置の投射光軸の投射面に対する傾斜角度とを算定する、傾斜角度測定装置を有するプロジェクタ。
  5. 測定される傾斜角度が水平方向における前記投射光軸の前記投射面に対する傾斜角度であり、前記基準面が前記投射光軸を含む水平方向の面である、請求項に記載の傾斜角度測定装置を有するプロジェクタ。
  6. さらに、前記傾斜角度測定装置は前記プロジェクタの前記投射光軸を含む垂直面上における前記投射光軸の傾斜角度を検出する垂直方向傾斜センサを有し、該垂直方向傾斜センサで検出された垂直面上の傾斜角度と、左右の前記一次元配列撮像素子の前記反射光の受光位置の高さと高さの差の情報から算定された水平方向の面上の傾斜角度とを組み合わせて前記表示部の出力映像が制御される、請求項に記載の傾斜角度測定装置を有するプロジェクタ。
  7. 測定される傾斜角度が垂直面上における前記投射光軸の前記投射面に対する傾斜角度であり、前記基準面が前記投射光軸を含む垂直面である、請求項に記載の傾斜角度測定装置を有するプロジェクタ。
  8. 前記投影装置には前記投射レンズの焦点を調整する焦点調整部が設けられており、該焦点調整部は前記受光位置解析距離・傾斜角度算定部で算定された前記投光用レンズと前記投射面との距離により制御される、請求項から請求項の何れか1項に記載の傾斜角度測定装置を有するプロジェクタ。
  9. 前記発光素子の投射光が赤外線である、請求項から請求項の何れか1項に記載の傾斜角度測定装置を有するプロジェクタ。
  10. 前記発光素子と、前記投光用レンズと、前記受光用レンズと、前記一次元配列撮像素子とがパッケージとしてユニット化されており、ユニットとして前記プロジェクタ内部に取付け可能な、請求項から請求項の何れか1項に記載の傾斜角度測定装置を有するプロジェクタ。
  11. 前記投影装置の投射光軸と前記投射面との傾斜角度に従った前記表示部の出力映像の制御は、前記傾斜角度に対応して予め算出されている前記表示部の入力映像の補正値によってLSI制御パラメータを作成し、プロジェクタ用画像処理LSIを制御することによって実行される、請求項1から請求項1のいずれか1項に記載の傾斜角度測定装置を有するプロジェクタ。
  12. 前記投影装置は液晶表示部を有する、請求項1から請求項1の何れか1項に記載の傾斜角度測定装置を有するプロジェクタ。
  13. 前記投影装置はDMD(デジタルマイクロミラーデバイス)表示部とカラーホイールと光源とを有する、請求項1から請求項1の何れか1項に記載の傾斜角度測定装置を有するプロジェクタ。
JP2003347403A 2003-05-21 2003-10-06 傾斜角度測定装置を有するプロジェクタ Expired - Fee Related JP3742085B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003347403A JP3742085B2 (ja) 2003-05-21 2003-10-06 傾斜角度測定装置を有するプロジェクタ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003143501 2003-05-21
JP2003347403A JP3742085B2 (ja) 2003-05-21 2003-10-06 傾斜角度測定装置を有するプロジェクタ

Publications (2)

Publication Number Publication Date
JP2005006272A JP2005006272A (ja) 2005-01-06
JP3742085B2 true JP3742085B2 (ja) 2006-02-01

Family

ID=34106483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003347403A Expired - Fee Related JP3742085B2 (ja) 2003-05-21 2003-10-06 傾斜角度測定装置を有するプロジェクタ

Country Status (1)

Country Link
JP (1) JP3742085B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445148A (zh) * 2010-09-30 2012-05-09 西门子公司 一种获取位置参数的方法、装置及***

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7771058B2 (en) 2005-04-22 2010-08-10 Panasonic Corporation Projection display apparatus
JP4729999B2 (ja) 2005-06-28 2011-07-20 富士ゼロックス株式会社 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
KR100896447B1 (ko) 2007-08-22 2009-05-14 주식회사 하이소닉 휴대폰 카메라용 액츄에이터의 검사장치
KR100892070B1 (ko) 2007-08-22 2009-04-07 주식회사 하이소닉 휴대폰 카메라용 액츄에이터의 검사장치
JP5029216B2 (ja) * 2007-08-24 2012-09-19 カシオ計算機株式会社 投影装置、制御方法及びプログラム
JP4600488B2 (ja) * 2008-02-20 2010-12-15 カシオ計算機株式会社 投影装置及び測距方法。
JP5150986B2 (ja) * 2009-04-02 2013-02-27 Necディスプレイソリューションズ株式会社 プロジェクタ
JP5437206B2 (ja) * 2010-09-10 2014-03-12 シャープ株式会社 電子機器
JP6459547B2 (ja) * 2015-01-22 2019-01-30 セイコーエプソン株式会社 プロジェクター
JP6809477B2 (ja) * 2015-10-06 2021-01-06 ソニー株式会社 投射型表示装置および画像補正方法
CN107037671A (zh) * 2017-06-13 2017-08-11 成都全云科技有限公司 三点定位投影矫正***
WO2024081623A1 (en) * 2022-10-11 2024-04-18 Milwaukee Electric Tool Corporation Layout tool devices and systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728166A (ja) * 1993-07-14 1995-01-31 Mitsubishi Electric Corp ビデオプロジェクター装置
JPH089309A (ja) * 1994-06-23 1996-01-12 Canon Inc 表示方法及び装置
JP3735158B2 (ja) * 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
JP3509652B2 (ja) * 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
JP2003029201A (ja) * 2001-07-11 2003-01-29 Canon Inc 画像投射装置及び画像補正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445148A (zh) * 2010-09-30 2012-05-09 西门子公司 一种获取位置参数的方法、装置及***

Also Published As

Publication number Publication date
JP2005006272A (ja) 2005-01-06

Similar Documents

Publication Publication Date Title
EP1517550B1 (en) Projector with tilt angle measuring device
JP3960390B2 (ja) 台形歪み補正装置を備えたプロジェクタ
JP3742085B2 (ja) 傾斜角度測定装置を有するプロジェクタ
EP1455528A1 (en) Image processing system and image processing method
JP2006313116A (ja) 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP2007093245A (ja) 測距装置及び測距方法
JP3926311B2 (ja) 傾斜角度測定装置を有するプロジェクタ
US20060139582A1 (en) Projection display apparatus and focus adjustment method for the same
JP2005331585A (ja) 距離傾斜角度測定装置を有するプロジェクタ
JP4689948B2 (ja) プロジェクタ
JP3730982B2 (ja) プロジェクタ
JP3742086B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3709406B2 (ja) 自動台形歪補正手段を有するプロジェクタ
JP4535769B2 (ja) 傾斜角度測定装置を備えたプロジェクタ
JP3709405B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3730979B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP2005159426A (ja) 自動台形歪補正手段を備えたプロジェクタ
JP3757224B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3914938B2 (ja) プロジェクタの台形歪み補正装置と該台形歪み補正装置を備えたプロジェクタ
JP4339087B2 (ja) 自動台形歪補正手段を備えたプロジェクタ
JP5150986B2 (ja) プロジェクタ
JP4535749B2 (ja) 距離傾斜角度測定装置を有するプロジェクタ
JP2005024618A (ja) 傾斜角度測定装置を有するプロジェクタ。
JP2004363856A (ja) 投映型表示装置
JP3742074B2 (ja) 傾斜角度測定装置を有するプロジェクタ

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees