JP4196955B2 - プロジェクタ及び処理ライン決定方法 - Google Patents

プロジェクタ及び処理ライン決定方法 Download PDF

Info

Publication number
JP4196955B2
JP4196955B2 JP2005045682A JP2005045682A JP4196955B2 JP 4196955 B2 JP4196955 B2 JP 4196955B2 JP 2005045682 A JP2005045682 A JP 2005045682A JP 2005045682 A JP2005045682 A JP 2005045682A JP 4196955 B2 JP4196955 B2 JP 4196955B2
Authority
JP
Japan
Prior art keywords
image
projector
peak
shift amount
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005045682A
Other languages
English (en)
Other versions
JP2006234919A (ja
Inventor
徳章 宮坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2005045682A priority Critical patent/JP4196955B2/ja
Priority to US11/357,261 priority patent/US7494229B2/en
Priority to CN2006100083940A priority patent/CN1825194B/zh
Publication of JP2006234919A publication Critical patent/JP2006234919A/ja
Application granted granted Critical
Publication of JP4196955B2 publication Critical patent/JP4196955B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Description

本発明は、シフト可能な投写レンズと撮像部とを備え、スクリーン等の投写対象物に画像を投写し、投写表示された画像を撮像部を用いて撮像することが可能なプロジェクタに関する。
近年、CCD(Charge Coupled Device)カメラ等から成る撮像部を備え、この撮像部によってスクリーン等の投写対象物に投写表示された所定の画像を撮像し、得られた撮影画像に基づいて、ズーム調整や、フォーカス調整や、投写表示される画像の台形歪みの補正(いわゆるキーストーン補正)などを行うプロジェクタが、種々提案されている。
そして、このようなプロジェクタとしては、例えば、下記特許文献1に記載されているプロジェクタのように、撮影画像を解析し、撮影画像のうち、明るさがピークとなるピーク位置を定め、このピーク位置に応じてキーストーン補正を行うプロジェクタが挙げられる。
特開2004−312690号公報
このようなピーク位置を定めてキーストーン補正などを行うプロジェクタでは、光軸に対してほぼ垂直方向にシフト可能な投写レンズ(以下、「シフトレンズ」と呼ぶ。)が用いられる場合がある。そして、この場合、プロジェクタをユーザの視界を遮らないように投写対象物に対して正面以外の位置(例えば下方)に設置した場合においても、このシフトレンズをシフトすることにより、投写対象物における所望する位置に画像を投写表示させることが可能となる。
従来において、このようなシフトレンズを備えるプロジェクタにおいて、キーストーン補正などを行うために撮影画像における明るさのピーク位置を定めるにあたり、撮影画像の特定ラインにおける画素の画素値に基づいてピーク位置を定める場合には、この特定ラインの定め方に起因して以下のような問題点があった。なお、以下において、明るさを示す値として画素値を用いるものとする。
図5は、従来におけるレンズシフトをしない場合のプロジェクタの投写状態と、この投写状態において得られた撮影画像と、撮影画像における輝度分布と、を示す説明図である。
図5において、(A)は従来におけるプロジェクタPJの投写状態を横から示すものであり、(B)は(A)の投写状態において撮像して得られた撮影画像を示し、(C)は(B)に示す撮像画像のうち、プロジェクタPJにおける光学系の光軸と、スクリーンScと、の交点(以下、「光軸点」と呼ぶ。)Pを通る水平ラインL1に相当する位置の、各画素の輝度値の分布を模式的に示すグラフである。
図5(A)に示すように、従来におけるプロジェクタPJは、シフトレンズ10と、CCDカメラから成る撮像部CAと、を備えている。なお、図5(A)で示す投写状態においては、シフトレンズ10はシフトしていない。
図5(A)に示すように、プロジェクタPJはスクリーンScに対して仰ぐように傾いて設置されている。そして、この場合、いわゆるあおり投写の状態となり、投写表示された画像は台形に歪んでしまう。
そこで、このプロジェクタPJは、キーストーン補正を行うための調整用パターン画像をスクリーンScに投写すると共に、投写表示された調整用パターン画像を含む領域を撮像部CAによって撮像して、得られた撮影画像のうち、輝度値のピーク位置を定めてキーストーン補正を行うようにする。
前述の撮像部CAは、レンズシフトがなされていない場合において、投写表示された調整用パターン画像を撮影画像の中央に写し出すようにプロジェクタPJに設置されている。従って、図5(B)に示すように、投写表示された調整用パターン画像Gは、撮影画像の中央に写し出されることになる。
そして、この投写状態において、光軸点Pを通る水平ラインL1に相当する位置の画素の輝度値の分布は、図5(C)に示すように、光軸点Pに相当する位置をピーク位置とした山型となっている。これは、プロジェクタPJの投写光の範囲内でスクリーンScとプロジェクタPJとの間の距離が短いほど撮影画像における輝度がより大きくなるためであり、この場合は水平方向の傾きがないので、水平ラインL1においては、光軸点Pに相当する位置がピーク位置となるからである。
そして、プロジェクタPJでは、この水平ラインL1に相当する位置の各画素の輝度値を参照してピーク位置を定め、このピーク位置を、撮影画像におけるピーク位置として定めるようにしている。
なお、前述の水平ラインL1のように、撮影画像におけるピーク位置を定める際に参照される特定の水平ラインを、以下において「ピーク位置参照ライン」と呼ぶ。
そして、従来においては、このピーク位置参照ラインは、例えば、図5(A)の投写状態における、投写表示された調整用パターン画像Gの高さHに対する光軸点Pの高さh1の割合(h1/H)を所定の割合として予め定めておき、その後、画像が投写表示された場合に、投写表示された画像の高さに対するこの所定の割合の高さとなる水平ラインとして決定するようにしていた。
ここで、ユーザが、プロジェクタPJによって視界を遮らないようにするために、投写表示される画像の位置をより上方にずらすように、シフトレンズ10を上方にシフトしたものとする。
図6は、従来におけるレンズシフトをした場合のプロジェクタPJの投写状態と、この投写状態において得られた撮影画像と、撮影画像における輝度分布と、を示す説明図である。
図6において、(A)はプロジェクタPJの投写状態を横から示し、(B)は(A)の投写状態において撮像して得られた撮影画像を示し、(C)は(B)に示す撮影画像のうち、ピーク位置参照ラインに相当する位置の、各画素の輝度値の分布を模式的に示すグラフである。なお、図5(A)の実線で示すシフトレンズ10の位置及び投写領域を、図6(A)において破線で示している。また、図6において、図5と同じ箇所には同じ符合を付し、説明を省略する。
図6(A)に示すように、シフトレンズ10を上方にシフトさせた場合、プロジェクタPJは、調整用パターン画像をスクリーンScの上方に投写表示させる。その結果、図6(B)に示すように、撮影画像において、投写表示された調整用パターン画像Gは、図5(B)に比べてより上方にずれることになる。なお、レンズシフトしたことにより、撮影画像に写し出された投写表示された調整用パターン画像Gは台形に歪んでいる。
一方、図6(A)に示すように、スクリーンSc上の光軸点Pの位置は、レンズシフトによっても位置が変わらないため、撮影画像における光軸点Pの位置は変わらない。従って、図6(B)に示すように、投写表示された調整用パターン画像Gに対する、光軸点Pの相対的な位置(以下、「ピーク相対位置」と呼ぶ。)は、図5(B)に示すピーク相対位置に比べて、下方にずれることになる。
ここで、上述したように、図5(B)に示す高さh1及び高さHに基づき、「h1/H」が前述の所定の割合として定められていた場合、ピーク位置参照ラインは、投写表示されたパターン画像Gの底辺を基準とした場合の、高さh1の位置の水平ラインL2になる。なお、図6(B)に示す中心点Qは、水平ラインL2の中心点を示す。
一方、上述したように、ピーク相対位置は下方にずれているので、このピーク位置参照ラインである水平ラインL2は光軸点Pを通らないことになる。
そして、この投写状態において、ピーク位置参照ライン(水平ラインL2)に相当する位置の輝度分布の形状は、図6(C)に示すように、図5(C)に示す輝度分布に比べて、ピークが不明確ななだらかな山型となる。
これは、図6(A)に示すように、プロジェクタPJから中心点Qまでの距離は、プロジェクタPJから光軸点Pまでの距離に比べて長くなっているので、中心点Q(水平ラインL2のピーク位置に相当)の輝度値が、光軸点P(図5(B)に示す水平ラインL1のピーク位置に相当)の輝度値よりも小さくなるためである。
このように、従来においてレンズシフトがなされた場合に、撮影画像のうち輝度がピークとなるピーク位置が不明確になる場合があった。そして、その結果、正確なピーク位置を定められないために、キーストーン補正などの画像処理が正確に行われない恐れがあった。
本発明は、上述の課題を解決するためになされたものであり、シフト可能な投写レンズと撮像部とを備え、スクリーン等の投写対象物に画像を投写し、投写表示された画像を撮像部を用いて撮像することが可能なプロジェクタにおいて、投写レンズがシフトした場合においても、撮像して得られた画像における明るさがピークとなる位置を、正確に定めることが可能な技術を提供することを目的とする。
前述の課題の少なくとも一部を解決するために、本発明のプロジェクタは、光軸に対して略垂直方向にシフト可能な投写レンズを備え、前記投写レンズを用いて投写対象物に表示画像を投写して表示させることが可能なプロジェクタであって、少なくとも前記投写対象物に表示された前記表示画像を含む領域を撮像し、撮影画像を得る撮像部と、前記投写レンズのシフト量を検出するシフト量検出部と、前記撮影画像のうち処理すべき所定のラインを決定する制御部と、前記シフト量毎に定められている、前記撮影画像に写し出された前記表示画像に対する相対的なライン予定位置を示す位置情報を、記憶する記憶部と、を備え、前記制御部は、前記撮影画像に基づき、前記撮影画像に写し出された前記表示画像の、前記撮影画像における表示位置を特定すると共に、前記制御部は、前記所定のラインを決定する場合に、前記シフト量検出部を用いて前記シフト量を検出し、検出した前記シフト量に対して定められている前記位置情報を前記記憶部から読み出し、読み出した前記位置情報の示す前記ライン予定位置と、特定した前記表示位置と、に基づいて、前記所定のラインを決定することを要旨とする。
このように構成することで、記憶部にはシフト量毎に定められているライン予定位置を示す位置情報が記憶されているので、制御部は、シフト量検出部を用いてシフト量を検出した場合に、このシフト量に対して定められている位置情報を記憶部から読み出すことができる。そして、前述のライン予定位置は、撮影画像に写し出された表示画像に対する相対位置であるので、制御部は、撮影画像に写し出された表示画像の撮影画像における表示位置と、前述の読み出された位置情報の示すライン予定位置と、に基づき、このライン予定位置にあるラインを処理すべき所定のラインとして決定することができる。
従って、予めシフト量毎に、所望するライン予定位置の位置情報を記憶部に記憶させておくことで、投写レンズがシフトした場合においても、所望するラインを処理すべき所定のラインとして決定させることが可能となる。
なお、上記プロジェクタにおいて、前記制御部は前記所定ラインにおいて明るさがピークとなる位置を、前記撮影画像において明るさがピークとなる画像ピーク位置として定め、前記制御部により定められた前記画像ピーク位置に基づき、投写する前記表示画像を調整することが可能な画像処理部を、更に備えるようにしてもよい。
予め、各シフト量の場合に得られる撮影画像において明るさがピークとなる位置を通るラインを求めておき、このラインについての位置情報を記憶部に記憶させておけば、制御部は、投写レンズがシフトした場合においても、そのシフト量に応じて、明るさがピークとなる位置を通るラインを所定のラインとして決定することができる。それ故、制御部は、投写レンズがシフトした場合においても、撮影画像における明るさがピークとなる位置を正確に定めることが可能となる。
従って、上記のような構成とすることで、画像処理部は、制御部により定められた画像ピーク位置に基づき、投写する表示画像を調整するので、投写レンズがシフトした場合においても、正確な画像ピーク位置に基づき、表示画像を調整することが可能となる。
また、上記プロジェクタにおいて、前記画像処理部は、前記投写対象物に対して前記プロジェクタが傾いて設置されることにより生じた、前記投写対象物に表示された前記表示画像の歪みを補正するように、投写する前記表示画像を調整するようにしてもよい。
このような構成とすることで、プロジェクタが投写対象物に対して傾いて設置された場合においても、正確なピーク位置に基づき、プロジェクタの傾きにより生じた投写された画像の歪みを補正するように投写する画像を調整することが可能となる。従って、このピーク位置に応じて、投写する画像の歪みを補正する補正量が定められている場合には、正確なピーク位置に応じた、正確な補正量で補正を行うことができる。その結果、投写された画像の歪みをより少なくなるように投写する画像を調整することが可能となる。
また、上記プロジェクタにおいて、前記ライン予定位置は、前記撮影画像において、前記プロジェクタの光軸と、前記投写対象物と、の交点を通るラインの位置であってもよい。
プロジェクタの光軸と、投写対象物と、の交点は、撮影画像において明るさがピークとなる場合がある。そして、この場合、上記の構成とすることで、制御部は、明るさがピークとなる位置を通るラインを、所定のラインとして決定することが可能となる。
なお、本発明は、上記したプロジェクタの装置発明の態様に限ることなく、処理ライン決定方法などの方法発明としての態様で実現することも可能である。
以下、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
A.実施例:
A1.プロジェクタの概要:
A2.画像投写動作の概要:
A3.ピーク位置参照ライン決定処理及びキーストーン補正処理:
A4.実施例の効果:
B.変形例:
A.実施例:
A1.プロジェクタの概要:
図1は、本発明の一実施例としてのプロジェクタの概略構成を示す説明図である。このプロジェクタ100は、図5,図6に示した従来におけるプロジェクタPJと同様に、スクリーンに投写表示された画像を撮像し、得られた撮影画像のうち、輝度値のピーク位置を定めてキーストーン補正を行うことが可能なプロジェクタである。さらに、プロジェクタ100は、上述した従来におけるプロジェクタPJと同様に、ピーク位置を定める場合に、特定の水平ラインのピーク位置を定めることで、撮影画像におけるピーク位置を定める。
プロジェクタ100は、図示するように、A/D変換部102,画像処理部103,撮像部104,撮像制御部105,撮影画像メモリ106,ピーク相対位置テーブル格納部107,液晶パネル駆動部110,CPU120,メモリ121,シフト量検出部122,シフトレンズ駆動部123,リモコン制御部124,リモコン125を備えている。
さらに、プロジェクタ100は、光学系の構成要素として、図示せざるランプやリフレクタ等から成る照明光学系112,液晶パネル114,シフトレンズ117等から成る投写光学系116を備えている。
CPU120は、内部バス126を介して、画像処理部103,撮像制御部105,撮影画像メモリ106,ピーク相対位置テーブル格納部107,液晶パネル駆動部110,メモリ121,シフト量検出部122,シフトレンズ駆動部123,リモコン制御部124と接続されている。
撮像部104は、CCDカメラで構成され、投写光学系116の近傍に設置されている。なお、撮像部104は、予め定められた領域を撮像して、RGBの各階調値から成る画像データを得ることができる。そして、撮像制御部105は、この撮像部104におけるシャッタ速度,ゲイン,絞りのうちの少なくとも1つを制御して、撮像時の露出調整等を行うことができる。
シフトレンズ駆動部123は、リモコン125から入力されるユーザからの指示に基づき、シフトレンズ117を駆動して上下にシフトさせる。なお、シフトレンズ117の位置は、シフト量検出部122で検出されて数値化される。具体的には、シフト量検出部122は、シフトレンズ117の駆動に同期して抵抗値が変化する可変抵抗(図示省略)と、この可変抵抗の抵抗値をデジタル値に変換するA/D変換器(図示省略)と、を備えており、シフトレンズ117の位置とデジタル化された抵抗値(シフトエンコーダ値)とを1対1に対応付ける。従って、シフト量検出部122は、シフトレンズ117の位置をシフトエンコーダ値として数値化することができる。なお、このシフトエンコーダ値は、説明の便宜上、0(最も下方にシフトした場合),1,2...,10(シフトなし),...,18,19,20(最も上方にシフトした場合)のいずれかの値を取るものとする。
なお、ピーク相対位置テーブル格納部107には、プロジェクタ100の出荷前に予めピーク相対位置テーブルが格納されている。
A2.画像投写動作:
プロジェクタ100における通常動作である画像投写動作について簡単に説明する。
図1において、ユーザがリモコン125を用いて画像投写の開始を指示すると、リモコン125は、入力されたその指示を無線通信によってリモコン制御部124に伝える。リモコン制御部124は、リモコン125からの指示を、内部バス126を介してCPU120に伝える。CPU120は、この指示に基づいて、画像処理部103をはじめとする各構成部を制御して画像投写動作を行う。
まず、A/D変換部102が、ビデオプレーヤ,テレビ,DVDプレーヤなどから出力されたアナログ画像信号や、パーソナルコンピュータなどから出力されたアナログ画像信号を入力し、これらアナログ画像信号をディジタル画像信号に変換して、画像処理部103に出力する。A/D変換部102を介さずにディジタル画像信号を入力するようにしてもよい。画像処理部103は、画像の表示状態、例えば、コントラスト,シャープネス,画像の形状などが、所望の状態となるように、入力されたディジタル画像信号を調整し、液晶パネル駆動部110に出力する。
液晶パネル駆動部110は、入力されたディジタル画像信号に基づいて、液晶パネル114を駆動する。これにより、液晶パネル114では、照明光学系112から射出された照明光を、画像情報に応じて変調する。投写光学系116は、プロジェクタ100の筐体の前面に取付けられており、液晶パネル114によって変調された投写光を、図示せざるスクリーンに投写する。これにより、スクリーンには、画像が投写表示される。
A3.ピーク位置参照ライン決定処理及びキーストーン補正処理:
ユーザが、プロジェクタ100をスクリーンに対して仰ぐように傾けて設置した後、プロジェクタ100の電源をオンすると、図1に示す画像処理部103は、調整用パターン画像として全面白色の画像を生成する。そして、上述した画像投写動作と同様にして、この生成された調整用パターン画像がスクリーンに投写表示される。
そして、ユーザは、調整用パターン画像がスクリーン上の所望の位置に投写表示されるように、図1に示すリモコン125を用いてシフトレンズ117のシフトを指示する。この場合、このシフトの指示は、リモコン制御部124及び内部バス126を介してCPU120に伝えられる。そして、CPU120は、シフトレンズ駆動部123にシフトレンズ117のシフトを指示し、シフトレンズ駆動部123は、シフトレンズ117をシフトさせる。
なお、このときのプロジェクタ100の設置位置及びシフトレンズ117のシフト量は、図6(A)に示す設置位置及びシフト量と同じであるものとする。そしてこの場合、従来と同様に、この投写状態において、投写表示された調整用パターン画像は台形に歪む。
そこで、ユーザは、図1に示すリモコン125を用いてキーストーン補正の開始を指示する。このキーストーン補正の開始の指示は、リモコン制御部124及び内部バス126を介してCPU120に伝えられる。そして、CPU120は、キーストーン補正の処理に先だって、メモリ121からピーク位置参照ライン決定処理のためのプログラムを読み出して実行する。そして、このこのプログラムが実行されると、本発明の特徴部分であるピーク位置参照ライン決定処理が開始される。
図2は、本発明におけるピーク位置参照ライン決定処理の手順を示すフローチャートである。
図2に示すピーク位置参照ライン決定処理が開始されると、まず、CPU120は、シフト量検出部122を用いてシフトレンズ117のシフト量を取得し、メモリ121に記憶させる(ステップS202)。
上述したように、シフト量検出部122は、シフトレンズ117の位置をシフトエンコーダ値(0〜20)として取得することができる。そして、シフト量検出部122は、このエンコーダ値に基づき、下記式(1)を用いてシフト量を算出して取得する。
シフト量=(シフトエンコーダ値)×10−100 ・・・(1)
この結果、シフト量は、シフトエンコーダ値に応じて、−100(最も下方にシフトした場合),−90,−80,...0(シフトなし),...,80,90,100(最も上方にシフトした場合)のいずれかの値として算出され、メモリ121に記憶される。
なお、図6(A)に示すような投写状態において、CPU120は、シフト量として、「80」を取得したものとする。
次に、CPU120は、取得したシフト量に基づき、ピーク相対位置テーブル格納部107に格納されているピーク相対位置テーブルを参照してピーク相対位置を定め、メモリ121に記憶させる(ステップS204)。
図3は、ピーク相対位置テーブル格納部107に格納されているピーク相対位置テーブルを示す説明図である。
図3に示すように、ピーク相対位置テーブルにおいては、シフト量と、ピーク相対位置と、が予め対応付けて設定されている。
ここで、ピーク相対位置を示す各値は、投写表示された画像の高さに対する、光軸点の高さの割合(パーセンテージ)として設定されている。従って、例えば、ピーク相対位置が「50」とは、光軸点の高さが、投写表示された画像の高さの半分の高さであることを示す。
図3に示すように、ピーク相対位置テーブルでは、より大きなシフト量に対して、より大きなピーク相対位置が設定されているが、これは以下の理由による。
すなわち、シフトレンズ117のシフト量に応じて、スクリーンに投写表示される画像の位置はずれるが、スクリーンにおける光軸点の位置はレンズシフトによっても変わらない。それ故、レンズシフトすると、撮影画像において、投写表示された画像を基準とした光軸点の位置がずれることになる。そして、前述の投写表示された画像の位置のずれ量は、シフト量が大きくなるに従ってより大きくなるので、前述の光軸点のずれ量も、シフト量が大きくなるに従ってより大きくなるからである。
ここで、プロジェクタ100は、シフトレンズ117が最も下方にシフトしている場合に、投写表示された画像の上辺に光軸点がくるように投写し、シフトレンズ117が最も上方にシフトしている場合に、投写表示された画像の底辺に光軸点がくるように投写するものとする。従って、ピーク相対位置テーブルでは、図3に示すように、シフト量が−100の、最も下方にシフトしている場合には、最大値「100」が設定され、シフト量が100の、最も上方にシフトしている場合には、最小値「0」が設定されている。
そして、前述のようにシフト量が「80」である場合、CPU120は、ピーク相対位置テーブルを参照して、ピーク相対位置「10」を定めることになる。
次に、CPU120は、撮像制御部105に対して撮像の指示を送信し、この指示を受けた撮像制御部105は、撮像部104を制御して撮像すると共に、得られた撮影画像の画像データを、画像処理部103を介して撮影画像メモリ106に記憶させる(ステップS206)。
次に、CPU120は、撮影画像メモリ106から撮影画像の画像データを、メモリ121から決定したピーク相対位置を、それぞれ読み出し、決定したピーク相対位置に基づき、撮影画像におけるピーク位置参照ラインを決定する(ステップS208)。以下、具体的な処理について図4を用いて説明する。
図4は、本発明におけるプロジェクタ100の投写状態と、この投写状態において得られた撮影画像と、撮影画像における輝度分布と、を示す説明図である。
図4において、(A)はプロジェクタ100の投写状態を横から示すものであり、(B)は(A)の投写状態において撮像して得られた撮影画像を示し、(C)は(B)に示す撮影画像のうち、ピーク位置参照ラインに相当する位置の各画素の輝度値の分布を模式的に示すグラフである。
なお、図4(A)に示すプロジェクタ100の投写状態は、図6(A)に示す投写状態と同じであるので、この投写状態において得られる撮影画像は、図4(B)に示すように、図6(B)に示す撮影画像と同じとなる。
まず、CPU120は、撮影画像メモリ106から図4(B)に示す撮影画像の画像データを読み出し、読み出した画像データ(RGB)に基づき、各画素の輝度値(Y)を、所定の算出式にて算出する。そして、算出した輝度値に基づき、撮影画像における投写表示された調整用パターン画像Gの底辺及び上辺に相当する画素の位置を決定する。
具体的には、まず、画像データの各画素の輝度値を、白又は黒のいずれかを示す値に変換する2値化処理を行う。そして、この場合、投写表示された調整用パターン画像Gに相当する画素の輝度値は白を示す値となるので、白を示す値となる全ての画素の位置を定め、これら画素位置に基づき底辺及び上辺に相当する画素位置を決定する。
次に、CPU120は、投写表示された調整用パターン画像Gの底辺及び上辺に相当する画素位置に基づき、投写表示された調整用パターン画像の高さを求める。そして、この投写表示された調整用パターン画像の高さと、先に決定したピーク相対位置と、に基づき、ピーク相対位置となる高さを求める。そして、求めた高さとなる水平ラインをピーク位置参照ラインとして決定し、決定したピーク位置参照ラインの、撮影画像における座標をメモリ121に記憶させる。
具体的には、例えば、前述のように、ピーク相対位置が「10」に定められた場合、図4(B)に示すように、投写表示された調整用パターン画像の高さHの10%に相当する高さh2を求め、この高さh2となる水平ラインL3をピーク位置参照ラインとして決定する。
そして、この場合、水平ラインL3の高さは、ピーク相対位置テーブルにおいて、シフト量に応じて予め設定されたピーク相対位置で示す高さとなるので、図4(B)に示すように、水平ラインL3は光軸点Pを通ることになる。その結果、この水平ラインL3における各画素の輝度値の分布は、図4(C)に示すように、光軸点Pに相当する位置をピーク位置とした、勾配が急な山型となっており、図6(C)に示す輝度分布と異なり、ピーク位置が明確となっている。
以上説明したピーク位置参照ライン決定処理の後、CPU120は、メモリ121からキーストーン補正処理において用いられる補正量を決定するためのプログラムを読み出して実行する。
そして、CPU120は、このプログラムに従い、撮影画像の画像データを撮影画像メモリ106から、また、ピーク位置参照ラインの撮影画像における座標をメモリ121から、それぞれ読み出す。次に、CPU120は、読み出した画像データに基づき、ピーク位置参照ラインに相当する位置の各画素の輝度値を算出し、算出した各輝度値を比較してピーク位置を定める。
上述したように、ピーク位置参照ラインにおける輝度値の分布はピーク位置が明確となっているので、CPU120は、正確なピーク位置を定めることができる。
ここで、メモリ121には、輝度値のピーク位置と、キーストーン補正処理において用いられる補正量と、が対応付けられて予め記憶されている。そして、CPU120は、定めたピーク位置に対応付けられた補正量を、キーストーン補正に用いる補正量として決定し、メモリ121から読み出して画像処理部103に渡す。
そして、画像処理部103は、CPU120から渡された補正量に基づき、調整用パターン画像を調整してキーストーン補正を行う。また、画像処理部103は、その後、A/D変換部102から入力されるディジタル画像信号についても、この補正量に基づいて調整してキーストーン補正を行う。
なお、このキーストーン補正は、投写表示される画像の台形歪みをキャンセルするように、予め投写する画像を台形に補正しておくことにより実行される。そして、前述の補正量とは、この補正後の台形の、各頂点の位置を示す値である。
そして、上述したように、CPU120は、正確なピーク位置を定めることができるので、最適な補正量を決定して画像処理部103に渡すことが可能となる。その結果、前述のキーストーン補正は正確に行われることになる。
A4.実施例の効果:
以上説明したように、プロジェクタ100は、シフト量とピーク相対位置とを対応付けたピーク相対位置テーブルを、予め備えるようにしている。そして、CPU120は、シフト量検出部122が取得した実際のシフト量に基づき、このピーク相対位置テーブルを参照して、ピーク位置参照ラインを決定するようにしているので、光軸点を通る水平ラインをピーク位置参照ラインとして決定することができる。その結果、ピーク位置参照ラインにおいて、輝度値のピーク位置は明確になるので、正確なピーク位置を定めて正確なキーストーン補正を行うことが可能となる。
B.変形例:
なお、本発明は、前述の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様において実施することが可能であり、例えば以下のような変形も可能である。
B1.変形例1:
上述した実施例では、プロジェクタ100は、シフトレンズ117を最も下方にシフトした場合に、投写表示された画像の上辺に光軸点がくるように投写するものとしたが、これに限らない。最も下方にシフトした場合に、投写表示された画像の上辺よりも上方に光軸点がくるように投写するものであっても構わない。
そして、この場合、シフトレンズ117を下方にシフトしていくと、あるシフト量以下になると光軸点は投写表示された画像から上方にはみ出すことになる。そこで、ピーク相対位置テーブルにおいて、光軸点が投写表示された画像の上辺にあるときのシフト量以下のシフト量に対して、ピーク相対位置を全て「100」を設定するようにすればよい。このようにすることで、光軸点がはみ出した場合でも、光軸点により近い水平ラインである、投写表示された画像の上辺の位置の水平ラインをピーク位置参照ラインとして決定することができる。
なお、同様にして、シフトレンズ117を最も上方にシフトした場合に、投写表示された画像の底辺よりも下方に光軸点がくるように投写する場合にも本発明は適用することができる。なお、この場合、ピーク相対位置テーブルにおいて、光軸点が投写表示された画像の底辺にあるときのシフト量以上のシフト量に対して、全て「0」を設定するようにすればよい。
B2.変形例2:
上述した実施例では、シフト量が−100の場合に、ピーク相対位置が100であるものとしたが、これに代えて、ピーク相対位置を、例えば99や98など、100よりもわずかに小さい値とするようにしてもよい。
シフト量が−100の場合には、光軸点が投写表示された画像の上辺にあるように画像が投写表示されることになるが、撮影画像において、投写表示された画像の上辺は、画像が投写表示された明るい領域と、画像が投写表示されない暗い領域との境界に相当するため、上辺に相当する位置の画素の輝度値は、この暗い領域の輝度値の影響で、実際よりも低い輝度値となり、正確なピーク位置を定めることが困難になる可能性がある。
そこで、前述のようにしてピーク相対位置をずらすことで、ピーク位置参照ラインを上辺から少し下方にずれた水平ラインに決定し、シフト量が−100の場合においても、正確なピーク位置を定めることを可能とする。
なお、同様な理由で、シフト量100の場合に、ピーク位置を−98,−99など、−100よりもわずかに大きい値にするようにしてもよい。
B3.変形例3:
上述した実施例では、ピーク位置参照ラインとして1つの水平ラインのみを決定するものとしたが、本発明はこれに限定するものではない。ピーク位置参照ライン決定処理の後に行われるキーストーン補正等の画像処理において、1以外の所定数のラインを参照するような場合には、例えば、上述した実施例のようにして決定した水平ラインの他に、この水平ラインの上下所定数のラインも合わせて、ピーク位置参照ラインとして決定するようにしてもよい。
B4.変形例4:
上述した実施例では、ピーク相対位置は、ピーク相対位置テーブルを参照して決定するものとしたが、本発明はこれに限定するものではない。例えば、シフト量をパラメータとして、ピーク相対位置を導き出せることが可能な算出式を予め定めておき、CPU120は、シフト量検出部122により取得されたシフト量に基づき、この算出式を用いてピーク相対位置を導き出すようにしてもよい。
B5.変形例5:
上述した実施例では、シフトエンコーダ値は0〜20のいずれかの値を取るものとしたが、シフトエンコーダ値の範囲はこれに限定するものではなく、0〜255など他の範囲であっても構わない。また、この場合、このシフトエンコーダ値に応じたシフト量と、そのシフト量に対応したピーク相対位置と、を対応付けてピーク相対位置テーブルに設定するようにすればよい。
B6.変形例6:
上述した実施例においては、プロジェクタ100では、ピーク位置参照ライン決定処理で決定したピーク位置参照ラインに基づきピーク位置を定めた後、キーストーン補正を実行していたが、本発明は、キーストーン補正に限定するものではない。ズーム調整やフォーカス調整など、画像を調整するための他の画像処理についても、ピーク位置参照ラインに基づいてピーク位置を定めるような場合には、本発明を適用することが可能であり、本発明を適用することにより、より正確なピーク位置を定めてより正確な画像処理を行うことが可能となる。
B7.変形例7:
上述した実施例におけるシフトレンズ117は、上下にシフトするものとしたが、これに限らず、左右にシフトするようなシフトレンズ117を備えるプロジェクタにおいても、本発明を適用することができる。この場合、ピーク相対位置は、例えば、投写表示された画像の左右の幅に対する、投写表示された画像の右辺から光軸点までの幅の割合として、ピーク相対位置テーブルに設定すればよい。
B8.変形例8:
上述した実施例では、光軸点を通るラインをピーク位置参照ラインとしたが、本発明はこれに限定するものではない。各シフト量に応じて輝度値がピークとなる位置を、実験等により予め求めておき、この位置を通るラインをピーク位置参照ラインとしてもよい。この場合、実験等により予め求めた位置を、投写表示された画像に対する相対的な位置として、シフト量と対応付けてピーク相対位置テーブルに設定すればよい。
B9.変形例9:
上述した実施例では、調整用パターン画像として、全面白色の画像を用いるものとしたが、これに限らず、例えば、所定の階調パターンを有する画像や、所定の記号やロゴを表す画像などを用いるようにしてもよい。
B10.変形例10:
上述した実施例では、明るさを示す値として、輝度値(Y)を用いていたが、これに代えて、R,G,Bのいずれかの階調値、又はこれらの階調値の平均値を用いるようにしてもよい。
B11.変形例11:
上述した実施例では、プロジェクタ100は、液晶プロジェクタであるものとしたが、DLPプロジェクタ(DLPは登録商標)であってもよい。
本発明の一実施例としてのプロジェクタの概略構成を示す説明図。 本発明におけるピーク位置参照ライン決定処理の手順を示すフローチャート。 ピーク相対位置テーブル格納部107に格納されているピーク相対位置テーブルを示す説明図。 本発明におけるプロジェクタ100の投写状態と、この投写状態において得られた撮影画像と、撮影画像における輝度分布と、を示す説明図。 従来におけるプロジェクタの投写状態と、この投写状態において得られた撮影画像と、撮影画像における輝度分布と、を示す説明図。 従来におけるプロジェクタPJの投写状態と、この投写状態において得られた撮影画像と、撮影画像における輝度分布と、を示す説明図。
符号の説明
100...プロジェクタ
102...A/D変換部
103...画像処理部
104...撮像部
105...撮像制御部
106...撮影画像メモリ
107...ピーク相対位置テーブル格納部
110...液晶パネル駆動部
112...照明光学系
114...液晶パネル
116...投写光学系
117...シフトレンズ
120...CPU
121...メモリ
122...シフト量検出部
123...シフトレンズ駆動部
124...リモコン制御部
125...リモコン
126...内部バス
10...シフトレンズ
PJ...プロジェクタ
CA...撮像部
P...光軸点
Q...中心点
G...投写表示された調整用パターン画像
L1,L2,L3...水平ライン
h1,h2,H...高さ
Sc...スクリーン

Claims (5)

  1. 光軸に対して略垂直方向にシフト可能な投写レンズを備え、前記投写レンズを用いて投写対象物に表示画像を投写して表示させることが可能なプロジェクタであって、
    少なくとも前記投写対象物に表示された前記表示画像を含む領域を撮像し、撮影画像を得る撮像部と、
    前記投写レンズのシフト量を検出するシフト量検出部と、
    前記撮影画像において明るさがピークとなる位置である画像ピーク位置を含む前記撮像画像における処理ラインを決定する制御部と、
    前記シフト量毎に定められている、前記撮影画像に写し出された前記表示画像に対する相対的なライン予定位置を示す位置情報を、記憶する記憶部と、
    を備え、
    前記制御部は、前記撮影画像に基づき、前記撮影画像に写し出された前記表示画像の、前記撮影画像における表示位置を特定すると共に、
    前記制御部は、前記処理ラインを決定する場合に、前記シフト量検出部を用いて前記シフト量を検出し、検出した前記シフト量に対して定められている前記位置情報を前記記憶部から読み出し、読み出した前記位置情報の示す前記ライン予定位置と、特定した前記表示位置と、に基づいて、前記処理ラインを決定することを特徴とするプロジェクタ。
  2. 請求項1に記載のプロジェクタであって、
    前記制御部は前記処理ラインにおいて明るさがピークとなる位置を、前記撮影画像において明るさがピークとなる前記画像ピーク位置として定め、
    前記制御部により定められた前記画像ピーク位置に基づき、投写する前記表示画像を調整することが可能な画像処理部を、更に備えることを特徴とするプロジェクタ。
  3. 請求項2に記載のプロジェクタであって、
    前記画像処理部は、前記投写対象物に対して前記プロジェクタが傾いて設置されることにより生じた、前記投写対象物に表示された前記表示画像の歪みを補正するように、投写する前記表示画像を調整することを特徴とするプロジェクタ。
  4. 請求項1ないし請求項3のいずれかに記載のプロジェクタであって、
    前記ライン予定位置は、前記撮影画像において、前記プロジェクタの光軸と、前記投写対象物と、の交点を通るラインの位置であることを特徴とするプロジェクタ。
  5. 光軸に対して略垂直方向にシフト可能な投写レンズと撮像部とを備え、前記投写レンズを用いて投写対象物に表示画像を投写して表示させ、前記撮像部を用いて、少なくとも前記投写対象物に表示された前記表示画像を含む領域を撮像し、撮影画像を得ることが可能なプロジェクタにおいて、前記撮影画像において明るさがピークとなる位置である画像ピーク位置を含む前記撮像画像における処理ラインを決定するための処理ライン決定方法であって、
    前記投写レンズのシフト量と、前記シフト量に応じた、前記撮影画像に写し出された前記表示画像に対する相対的なライン予定位置を示す位置情報と、を予め対応付けておく第1の工程と、
    前記投写レンズのシフト量を検出する第2の工程と、
    前記撮影画像に基づき、前記撮影画像に写し出された前記表示画像の、前記撮影画像における表示位置を特定する第3の工程と、
    検出された前記シフト量に対応付けられた前記位置情報の示す前記ライン予定位置と、特定された前記表示位置と、に基づいて、前記処理ラインを決定する第4の工程と、
    を備える処理ライン決定方法。
JP2005045682A 2005-02-22 2005-02-22 プロジェクタ及び処理ライン決定方法 Expired - Fee Related JP4196955B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005045682A JP4196955B2 (ja) 2005-02-22 2005-02-22 プロジェクタ及び処理ライン決定方法
US11/357,261 US7494229B2 (en) 2005-02-22 2006-02-21 Projector and processing line specification method
CN2006100083940A CN1825194B (zh) 2005-02-22 2006-02-21 投影仪和处理行决定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005045682A JP4196955B2 (ja) 2005-02-22 2005-02-22 プロジェクタ及び処理ライン決定方法

Publications (2)

Publication Number Publication Date
JP2006234919A JP2006234919A (ja) 2006-09-07
JP4196955B2 true JP4196955B2 (ja) 2008-12-17

Family

ID=36912177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005045682A Expired - Fee Related JP4196955B2 (ja) 2005-02-22 2005-02-22 プロジェクタ及び処理ライン決定方法

Country Status (3)

Country Link
US (1) US7494229B2 (ja)
JP (1) JP4196955B2 (ja)
CN (1) CN1825194B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
JP4241797B2 (ja) * 2006-09-29 2009-03-18 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの台形歪み補正方法
TWI319115B (en) * 2007-03-15 2010-01-01 Coretronic Corp Projection apparatus
JP2008292570A (ja) * 2007-05-22 2008-12-04 Funai Electric Co Ltd 投射型映像表示装置
JP2008294545A (ja) * 2007-05-22 2008-12-04 Funai Electric Co Ltd 投射型映像表示装置及び投射型映像表示システム
JP2009157149A (ja) * 2007-12-27 2009-07-16 Seiko Epson Corp 電子機器筐体用カバー、電子機器、およびプロジェクタ
TW200944923A (en) * 2008-04-22 2009-11-01 Coretronic Corp Picture correction systems and methods
JP5436080B2 (ja) * 2009-07-21 2014-03-05 キヤノン株式会社 画像投射装置
US8506090B2 (en) * 2010-03-22 2013-08-13 Microvision, Inc. Projection system with image orientation correction and corresponding method
JP2011237482A (ja) * 2010-05-06 2011-11-24 Canon Inc 画像投射装置
JP5541031B2 (ja) * 2010-09-16 2014-07-09 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
WO2012114506A1 (ja) * 2011-02-25 2012-08-30 Necディスプレイソリューションズ株式会社 投写型表示装置
TWI443438B (zh) * 2012-05-04 2014-07-01 Young Optics Inc 投影系統
US9019309B2 (en) 2012-06-07 2015-04-28 Apple Inc. Adaptive image manipulation
JP7204505B2 (ja) * 2019-01-29 2023-01-16 キヤノン株式会社 投写表示装置
JP2022086580A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 投写方法、及びプロジェクター

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844076B2 (ja) * 2003-03-07 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3871061B2 (ja) 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3846592B2 (ja) * 2003-06-26 2006-11-15 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7204596B2 (en) * 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
US20070091277A1 (en) * 2005-10-26 2007-04-26 Niranjan Damera-Venkata Luminance based multiple projector system
KR20080014495A (ko) * 2006-08-11 2008-02-14 삼성전자주식회사 프로젝터의 영상 보정기능을 제공하는 장치 및 방법
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color

Also Published As

Publication number Publication date
US7494229B2 (en) 2009-02-24
CN1825194B (zh) 2010-06-16
US20060187184A1 (en) 2006-08-24
CN1825194A (zh) 2006-08-30
JP2006234919A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
JP4196955B2 (ja) プロジェクタ及び処理ライン決定方法
JP4196951B2 (ja) プロジェクタ、投写画像調整方法
US8571341B2 (en) Image processing apparatus, control method, and program
JP6503756B2 (ja) プロジェクター、及び、プロジェクターの制御方法
US10281714B2 (en) Projector and projection system that correct optical characteristics, image processing apparatus, and storage medium
JP2012065074A (ja) プロジェクター、及び、プロジェクターの制御方法
US7520620B2 (en) Projector and projector control method
US20110279738A1 (en) Control device and projection video display device
JP5644618B2 (ja) プロジェクター
JP2005269130A (ja) 手振れ補正機能を有する撮像装置
JP5206081B2 (ja) プロジェクタ、プログラム及び記憶媒体
JP2011135445A (ja) 画像投射装置
JP4055727B2 (ja) プロジェクタ及びパターン画像表示方法
US7145733B2 (en) Projector and exposure adjustment method
JP2011199717A (ja) 投写型表示装置および画像表示方法
WO2011142197A1 (ja) 制御装置および投写型映像表示装置
JP2015115788A (ja) 投射型表示装置および画像処理方法
JP3852453B2 (ja) プロジェクタ及び露出調整方法
JP2009223040A (ja) 画像表示装置及び画像表示方法
JP2006087037A (ja) プロジェクタ
JP5887777B2 (ja) プロジェクター、および、プロジェクターの制御方法
JP3852454B2 (ja) プロジェクタ及び露出調整方法
JP3852455B2 (ja) プロジェクタ及びパターン画像表示方法
JP2006025053A (ja) プロジェクタ装置及びプロジェクタ装置の調整方法
JP2006023400A (ja) プロジェクタ装置及びプロジェクタ装置の焦点調整方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080922

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees