JP4055010B2 - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Download PDF

Info

Publication number
JP4055010B2
JP4055010B2 JP2004154786A JP2004154786A JP4055010B2 JP 4055010 B2 JP4055010 B2 JP 4055010B2 JP 2004154786 A JP2004154786 A JP 2004154786A JP 2004154786 A JP2004154786 A JP 2004154786A JP 4055010 B2 JP4055010 B2 JP 4055010B2
Authority
JP
Japan
Prior art keywords
image
imaging
information
pixel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004154786A
Other languages
English (en)
Other versions
JP2005124133A (ja
Inventor
秀樹 松田
邦夫 米野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004154786A priority Critical patent/JP4055010B2/ja
Priority to US10/944,139 priority patent/US7167645B2/en
Priority to TW093128751A priority patent/TWI270811B/zh
Priority to DE602004021885T priority patent/DE602004021885D1/de
Priority to KR1020040077415A priority patent/KR100602622B1/ko
Priority to EP04255842A priority patent/EP1519575B1/en
Priority to CNB200410080079XA priority patent/CN100495194C/zh
Publication of JP2005124133A publication Critical patent/JP2005124133A/ja
Application granted granted Critical
Publication of JP4055010B2 publication Critical patent/JP4055010B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、撮像情報に基づいて投写領域の端点を検出する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
例えば、プロジェクタを用いてスクリーンに画像を投写する場合、投写画像にいわゆる台形歪みが発生する場合がある。台形歪み等を補正する手法として、スクリーンに形成される投写領域をカメラで撮像して当該撮像情報に基づいて投写領域の形状を判別して台形歪みを補正する手法がある。
例えば、特許文献１では、２つの異なるキャリブレーション画像を投写し、これらのキャリブレーション画像をそれぞれ撮像し、２つの撮像情報の差異に基づいて投写領域を判別する画像処理システムが開示されている。
特開２００３−１０８１０９号公報
しかし、特許文献１では、撮像時の撮像手段の露出をどのように設定するかについては全く開示されていない。
また、カメラ付きのプロジェクタの場合、当該カメラの露出設定は外光の影響を受けない理想的な使用環境での設定で固定されている。
しかし、実際の使用環境では、外光の影響を受ける場合もあり、画像の歪みを正確に補正するためには、このような場合であってもプロジェクタは正確な撮像情報を得て投写領域を正確に判定する必要がある。また、投写距離が遠い場合やスクリーンの反射率が低い場合、投写画像が暗くなり、カメラが精度よく撮影することが困難になる場合がある。
また、実際の使用環境では、プロジェクタの設置場所の制約等の理由により、投写画像の一部がスクリーンの外部に表示されてしまう場合もある。このような場合であっても、適切に投写画像の位置等を調整するプロジェクタ等が必要とされている。
本発明は、上記の課題に鑑みなされたものであり、その目的は、撮像情報に基づいて撮像領域における投写領域の端点をより正確に検出することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、各キャリブレーション画像の前記撮像手段の撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素領域を基準として前記撮像領域における投写領域の端点を検出する端点検出手段と、
を含み、
前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像することを特徴とする。
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、各キャリブレーション画像の前記撮像手段の撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素領域を基準として前記撮像領域における投写領域の端点を検出する端点検出手段として機能させ、
前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像することを特徴とする。
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
また、本発明に係る画像処理方法は、第１のキャリブレーション画像を投写し、
投写した第１のキャリブレーション画像を自動露出設定で撮像して第１の撮像情報を生成し、
第２のキャリブレーション画像を投写し、
投写した第２のキャリブレーション画像を、前記第１のキャリブレーション画像の撮像時の露出で撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成し、
当該差異情報を検索対象として、前記撮像領域における投写領域の端点を検出することを特徴とする。
本発明によれば、画像処理システム等は、一旦自動露出設定で第１のキャリブレーション画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、画像処理システム等は、第１のキャリブレーション画像の撮像時の露出で第２のキャリブレーション画像を撮像して第２の撮像情報を生成することにより、差異情報の生成に適した露出で第２の撮像情報を生成することができる。
さらに、画像処理システム等は、当該第１および第２の撮像情報に基づいて撮像領域における投写領域の端点を検出することにより、撮像領域における投写領域をより正確に判別することができる。
なお、前記差異としては、例えば、差分値、比率等が該当する。
また、本発明に係る画像処理システムおよびプロジェクタは、第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成するとともに、前記第１の画素ブロック前処理情報と前記第２の画素ブロック前処理情報の差異に基づき、前記撮像領域における投写領域の端点の基準となる画素領域を設定し、前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素を基準として前記撮像領域における投写領域の端点を検出する端点検出手段と、
を含み、
前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像することを特徴とする。
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成するとともに、前記第１の画素ブロック前処理情報と前記第２の画素ブロック前処理情報の差異に基づき、前記撮像領域における投写領域の端点の基準となる画素領域を設定し、前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素を基準として前記撮像領域における投写領域の端点を検出する端点検出手段として機能させ、
前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像することを特徴とする。
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
また、本発明に係る画像処理方法は、第１のキャリブレーション画像を投写し、
投写した第１のキャリブレーション画像を自動露出設定で撮像して第１の撮像情報を生成し、
第２のキャリブレーション画像を投写し、
投写した第２のキャリブレーション画像を、前記第１のキャリブレーション画像の撮像時の露出で撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、
当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成し、
前記第１の画素ブロック前処理情報と第２の画素前処理ブロック情報の差異に基づき、前記撮像領域における投写領域の端点の基準となる画素領域を設定し、
前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成し、
当該差異情報を検索対象として、前記撮像領域における投写領域の端点を検出することを特徴とする。
本発明によれば、画像処理システム等は、一旦自動露出設定で第１のキャリブレーション画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、画像処理システム等は、第１のキャリブレーション画像の撮像時の露出で第２のキャリブレーション画像を撮像して第２の撮像情報を生成することにより、差異情報の生成に適した露出で第２の撮像情報を生成することができる。
さらに、画像処理システム等は、当該第１および第２の撮像情報に基づいて撮像領域における投写領域の端点を検出することにより、撮像領域における投写領域をより正確に判別することができる。
特に、本発明によれば、画像処理システム等は、端点の基準となる画素領域を設定してからその近傍の画素を検索対象として画素ごとの差異を検索することにより、より短時間で所望の端点を検出することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記画像投写手段は、前記第１のキャリブレーション画像として、白の単一色のキャリブレーション画像を投写するとともに、前記第２のキャリブレーション画像として、黒の単一色のキャリブレーション画像を投写してもよい。
また、前記画像処理方法において、前記第１のキャリブレーション画像は、白の単一色のキャリブレーション画像であり、前記第２のキャリブレーション画像は、黒の単一色のキャリブレーション画像であってもよい。
これによれば、画像処理システム等は、白のキャリブレーション画像の撮像時に自動露出で撮像することにより、外光の影響を受ける場合、投写距離が遠すぎたりスクリーンの反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーンの反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、カメラのダイナミックレンジを有効に活用して撮像することができる。
また、画像処理システム等は、黒のキャリブレーション画像の撮像時に、白のキャリブレーション画像撮像時の露出で撮像することにより、白の撮像情報と黒の撮像情報の差異を判定する際に、差異をより明確に判定することができる。これにより、画像処理システム等は、より正確に画像投写領域を判別することができる。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記差異情報生成手段は、前記差異情報として、前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との差分画像を生成し、
当該差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有してもよい。
また、前記画像処理方法において、前記差異情報として、前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との差分画像を生成し、
当該差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有してもよい。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記端点検出手段は、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域の端点を示す投写領域情報を生成する投写領域情報生成手段と、
を含んでもよい。
また、前記画像処理方法において、前記差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域の端点を示す投写領域情報を生成してもよい。
これによれば、画像処理システム等は、投写画像に相当する投写領域よりも小さい中央ブロック領域の中央基準位置を検出することにより、投写画像の一部が投写対象物の外部に表示されてしまうような場合であっても、中央基準位置に基づいて投写領域の端点を正確に検出することができる。
特に、これによれば、画像処理システム等は、中央基準位置だけではなく、その周辺に位置する周辺ブロック領域の周辺基準位置に基づいて投写領域の端点を判定することができるため、より高精度に投写領域の端点を検出することができる。
なお、前記画像処理システム等は、例えば、前記第１のキャリブレーション画像として、単色の画像を採用し、前記第２のキャリブレーション画像として、画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有する画像を採用してもよい。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を判定することにより、前記投写領域情報を生成してもよい。
また、前記画像処理方法において、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を判定することにより、前記投写領域情報を生成してもよい。
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を判定し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。
また、前記画像処理方法において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を判定し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。
これによれば、画像処理システム等は、中央ブロック領域の４隅の位置に基づき、投写領域の４隅の位置を判定することができるため、より少ない処理で投写領域の４隅の位置を判定することができる。
以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
以下、第１の実施例として、画素ブロックを用いて投写領域の端点を検出する手法について説明し、第２の実施例として、パターン画像を用いて投写領域の端点を検出する手法について説明する。
（第１の実施例）
図１は、第１の実施例における画像投写状況を示す概略図である。
プロジェクタ２０は、投写対象物の一種であるスクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写領域１２が形成される。
本実施形態では、プロジェクタ２０は、露出調整機能を有する撮像手段を用いて投写領域１２の撮像情報を生成し、当該撮像情報に基づいて撮像領域における投写領域の端点を検出し、種々の画像処理を行う。
このような処理を行うため、本実施形態のプロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写領域１２を含む領域を、撮像面（撮像領域）を介して撮像し、撮像情報を生成する。
図２は、第１の実施例における撮像領域２１０の模式図である。
撮像領域２１０は、上記撮像面における領域であり、図２において、所定画素数の矩形状の領域ＡＢＣＤである。また、撮像領域２１０における実際に投写された画像の形状を示す投写領域２２０は、ＩＪＫＬの４点で囲まれた領域である。
このように、例えば、プロジェクタ２０の投写光の光軸とセンサー６０の光軸、さらにはスクリーン１０の角度によって投写領域２２０の形状は変化する。また、例えば、プロジェクタ２０が同じ投写光を投写している場合であっても、外光８０の影響やスクリーン１０の反射率、投写距離によってスクリーン１０からの反射光（投写光の反射光）は変化する。
本実施形態では、プロジェクタ２０は、白の単一色のキャリブレーション画像（以下、全白画像という。）と、黒の単一色のキャリブレーション画像（以下、全黒画像という。）を投写する。
そして、センサー６０は、自動露出で全白画像を撮像し、全白画像の撮像時に決定された露出で全黒画像を撮像する。
センサー６０は、自動露出で全白画像を撮像することにより、外光８０のスクリーン１０上の投写領域１２への影響、投写距離やスクリーン１０の反射率の相違による反射光の強弱に応じて適切な露出で画像を撮像することができる。また、センサー６０は、全白画像と同じ露出で全黒画像を撮像することにより、全白画像と全黒画像の１画素ごとの差分値を示す差異情報を生成する場合に、適切な差異情報を生成することができる。
そして、プロジェクタ２０は、当該差異情報に基づいた画像処理を行うことにより、撮像領域２１０における投写領域２２０の端点をより正確に検出することができる。
次に、このような機能を実現するためのプロジェクタ２０の機能ブロックについて説明する。
図３は、第１の実施例におけるプロジェクタ２０の機能ブロック図である。
プロジェクタ２０は、ＰＣ（Personal Computer）等からのアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換する入力信号処理部１１０と、画像の色と明るさを補正するため、当該デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）をデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に変換する色変換部１２０と、色むらを補正するため、当該デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をデジタルＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換する色むら補正部１３０と、当該デジタルＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）をアナログＲＧＢ信号（Ｒ５、Ｇ５、Ｂ５）に変換する出力信号処理部１４０と、当該アナログＲＧＢ信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。駆動部１９４は、出力信号処理部１４０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
また、プロジェクタ２０は、全白画像および全黒画像を表示するための画像情報（ＲＧＢ信号）を生成するキャリブレーション情報生成部１７２と、露出調整機能を有し、全白画像の撮像情報（第１の撮像情報）および全黒画像の撮像情報（第２の撮像情報）を生成するセンサー６０と、センサー６０の露出設定を行う撮像条件設定部１８６と、センサー６０からの第１および第２の撮像情報等を一時的に記憶する撮像情報記憶部１８４とを含んで構成されている。なお、センサー６０および撮像条件設定部１８６は撮像手段として機能する。
また、プロジェクタ２０は、第１および第２の撮像情報のノイズを低減するノイズ除去部１５８と、ノイズの低減された第１および第２の撮像情報に基づいて差異情報を生成する差異情報生成部１５２と、差異情報に基づいて投写領域２２０の端点を検出する端点検出部１５４とを含んで構成されている。
さらに、プロジェクタ２０は、端点検出部１５４によって検出された端点に基づいて画素ブロック画像を生成する画素ブロック画像情報生成部１５６と、デジタル変換されたＲＧＢ信号に対して画像の歪み（台形歪み、キーストン歪み等）を補正する画像歪み補正部１１２と、画素ブロック画像に基づいて画像歪み補正部１１２のために画像歪み補正量を演算する画像歪み補正量演算部１６２と、画素ブロック画像に基づいて色むら補正部１３０のために色むら補正量を演算する色むら補正量演算部１６４とを含んで構成されている。なお、画像の色むら補正、画像の歪み補正、画像の明るさ補正については後述する。
また、上述したプロジェクタ２０の各部を実現するためのハードウェアとしては、例えば、以下のものを適用できる。
図４は、第１の実施例におけるプロジェクタ２０のハードウェアブロック図である。
例えば、入力信号処理部１１０としては、例えばＡ／Ｄコンバーター９３０等、撮像情報記憶部１８４としては、例えばＲＡＭ９５０等、色むら補正部１３０、差異情報生成部１５２、端点検出部１５４、画素ブロック画像情報生成部１５６およびキャリブレーション情報生成部１７２としては、例えば画像処理回路９７０等、画像歪み補正量演算部１６２、色むら補正量演算部１６４としては、例えばＣＰＵ９１０等、色変換部１２０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、出力信号処理部１４０としては、例えばＤ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば液晶パネル９２０等、駆動部１９４としては、例えば液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実現できる。
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
また、これらの各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
さらに、差異情報生成部１５２等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って差異情報生成部１５２等の機能をコンピュータに実現させてもよい。
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
次に、これらの各部を用いた端点検出処理の流れについて説明する。
図５は、第１の実施例における端点検出処理の流れを示すフローチャートである。
まず、キャリブレーション情報生成部１７２は、全白画像用の画像信号を発生し、画像投写部１９０は、出力信号処理部１４０によって処理された当該画像信号に基づき、スクリーン１０へ向け全白画像を投写する（ステップＳ１）。
撮像条件設定部１８６は、自動露出設定で撮像するようにセンサー６０を制御する。これにより、センサー６０は、スクリーン１０に投写された全白画像を含む領域を自動露出設定で撮像し、第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１８４は、センサー６０からの第１の撮像情報を記憶する。また、撮像条件設定部１８６は、センサー６０の露出を全白画像撮像時の露出に固定する。
次に、キャリブレーション情報生成部１７２は、全黒画像用の画像信号を発生し、画像投写部１９０は、出力信号処理部１４０によって処理された当該画像信号に基づき、スクリーン１０へ向け全黒画像を投写する（ステップＳ３）。
センサー６０は、スクリーン１０に投写された全黒画像を含む領域を固定露出設定で撮像し、第２の撮像情報を生成する（ステップＳ４）。撮像情報記憶部１８４は、センサー６０からの第２の撮像情報を記憶する。
なお、撮像情報は、例えば、センサー６０の撮像画素ごとに、Ｒ信号値、Ｇ信号値、Ｂ信号値、Ｙ信号値、輝度値、複数の原色値の平均値等の所定画像信号値で表される情報である。
ノイズ除去部１５８は、第１および第２の撮像情報からノイズを除去する（ステップＳ５）。具体的には、ノイズ除去部１５８は、例えば、所定画像信号値が所定値（例えば、０に近い値、全白画像の撮像画像中央部の平均輝度値の５０％の値等）以下の場合、当該値を０に変更して撮像情報を更新する。
差異情報生成部１５２は、ノイズが除去された全白画像撮像時の第１の撮像情報と、ノイズが除去された全黒画像撮像時の第２の撮像情報に基づき、画素ごとの第１の撮像情報と第２の撮像情報の対応画素ごとの差分値を示す差異情報（画素単位差分値情報）を生成し、撮像情報記憶部１８４に記憶する（ステップＳ６）。この差異情報は、例えば、２次元配列等で表される。ここでは、差異情報として２次元配列を採用する。
なお、差異情報生成部１５２は、さらに、当該差異情報に基づき、投写領域２２０として仮設定する仮投写領域の差分値のみで構成される差異情報（仮投写領域内画素単位差分値情報）を生成してもよい。より具体的には、差異情報生成部１５２は、差分値が所定の閾値以上の画素のみ当該差分値を保持し、差分値が当該閾値未満の画素の差分値を０に更新して差異情報（仮投写領域内画素単位差分値情報）を生成してもよい。
そして、端点検出部１５４は、当該差異情報に基づいて撮像領域２１０における投写領域２２０の端点（４隅の座標位置）を検出する（ステップＳ７）。より具体的には、端点検出部１５４は、例えば、差異情報である２次元配列の中央の要素から４５度上方をサーチラインの移動方向として設定し、当該移動方向と直交するラインをサーチラインとして設定し、当該サーチラインに該当する各要素に記憶されている差分値が０であるかどうかを判定する。このようにして端点検出部１５４は、サーチラインを移動方向に移動させながら各要素の差分値が０であるかどうかを判定する。
そして、端点検出部１５４は、差分値が０である要素を検出した場合、当該サーチラインの１つ前のサーチライン上にある全要素のうち最大の差分値を有する要素を端点（４隅のうちの１点）として検出する。端点検出部１５４は、この判定処理を、さらに移動方向を１３５度、２２５度、３１５度と変化させて行うことにより、残りの３つの端点も検出することができる。
なお、端点検出部１５４は、２次元配列において求めた４隅の点と、撮像情報を用いて当該４隅の点が撮像領域２１０のどの位置にあるか判定することが可能である。
また、プロジェクタ２０は、このような端点検出を行う場合、投写領域２２０抽出用の画素ブロック前処理情報を生成して端点検出を行ってもよい。次に、画素ブロック前処理情報を生成して端点検出を行う場合の処理について説明する。
図６は、第１の実施例における前処理用の画素ブロックの模式図である。
図５のステップＳ５の処理終了後、差異情報生成部１５２は、撮像領域２１０を所定数の画素ブロックに区分する。例えば、図６に示す例では、縦６個×横８個＝４８個である。
そして、差異情報生成部１５２は、ノイズ除去後の第１および第２の撮像情報に基づき、画素ブロックごとに当該画素ブロックを構成する画素の所定画像信号値の平均値を演算し、当該平均値を当該画素ブロックの値とする第１および第２の画素ブロック前処理情報を生成し、撮像情報記憶部１８４に記憶する。なお、画素ブロック前処理情報は、例えば、画素ブロック位置（例えば、識別番号、座標位置等）と当該画素ブロックにおける上記平均値を含む情報である。
また、差異情報生成部１５２は、第１および第２の画素ブロック前処理情報に基づき、各画素ブロック前処理情報で対応する画素ブロックごとの上記平均値の比または差分値を演算し、当該値が所定の閾値を超えている画素ブロックで構成される領域を仮投写領域として設定する。
端点検出部１５４は、当該仮投写領域内の画素ブロック前処理情報に基づき、上述した斜め方向の検索処理と同様の処理を行う。より具体的には、端点検出部１５４は、中央の画素ブロックから斜めの移動方向に向かってサーチラインを移動させ、当該サーチラインに含まれる全画素ブロックの値が０になった場合、当該サーチラインの１つ前のサーチラインに含まれる全画素ブロックのうち最大値を有する画素ブロックを端点画素ブロックとして設定する。端点検出部１５４は、移動方向を変えながらこの処理を４回行うことにより、４つの端点画素ブロックを設定する。なお、端点画素ブロックは、投写領域２２０の端点の基準となる画素領域である。
さらに、端点検出部１５４は、図６に示すように、端点画素ブロックとその近傍の画素ブロック（ここでは、端点画素ブロックと接する外側の３つの画素ブロック）をサーチ範囲として、当該サーチ範囲に含まれる領域の差異情報（画素単位差分値情報または仮投写領域内画素単位差分値情報）に基づき、端点画素ブロックのうち最も内側の画素から斜め方向にサーチラインを移動させながら上述した端点画素の検出を行う。
このようにして端点検出部１５４は、４つの端点（投写領域２２０の４隅の点）を検出することができる。
このような方式は、センサー６０が高解像度の場合、処理時間を短縮でき、特に有効である。
以上のように、本実施形態によれば、プロジェクタ２０は、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で全黒画像を撮像して第２の撮像情報を生成することにより、差異情報の生成に適した露出で第２の撮像情報を生成することができる。
特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光８０の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。
さらに、プロジェクタ２０は、当該第１および第２の撮像情報に基づいて撮像領域における投写領域２２０の端点を検出することにより、撮像領域における投写領域をより正確に判別することができる。
また、端点検出部１５４は、差異情報である２次元配列の中央から外側に向かって端点を検索することにより、ノイズの影響を受けにくく、より正確に端点を検出することができる。なお、端点検出部１５４は、当該２次元配列の外側から中央に向かって端点を検索してもよい。
なお、端点検出後、プロジェクタ２０は、画像の歪み補正および色むら補正（輝度むらによる色むらも含む。）を行う。
画素ブロック画像情報生成部１５６は、撮像情報記憶部１８４に記憶された撮像情報と、端点検出部１５４からの端点位置情報と、画像歪み補正量演算部１６２および色むら補正量演算部１６４が要求する画像サイズ（ｐ’×ｑ’）の情報とに基づき、画素ブロック画像情報を生成する。ここで、画素ブロック画像情報について説明する。
図７は、第１の実施例における画素ブロックの模式図である。また、図８は、図７のＡＡ部分を拡大した画素ブロックの模式図である。
例えば、図７に示す例では、投写領域２２０は、縦ｎ個、横ｍ個でｎ×ｍ個の画素ブロックに区分されている。なお、この画素ブロック数は、例えば、色むら補正部１３０等の補正手段の処理に応じた数でもよい。
まず、画素ブロック画像情報生成部１５６は、撮像領域２１０のサイズ（ｐ×ｑ）と、画像歪み補正量演算部１６２および色むら補正量演算部１６４が要求する画像サイズ（ｐ’×ｑ’）を比較し、後者の画像サイズに合わせて比の演算により、端点位置情報で示される各端点の座標を変換する。そして、画素ブロック画像情報生成部１５６は、変換後の座標（ｐ’ｉ，ｑ’ｉ）（ｉ＝１〜４）と画素ブロック数（ｎ×ｍ）と撮像情報に基づき、各画素ブロック内に長方形の領域を設定し、当該長方形領域内の画素ごとの所定画像信号値の平均値を演算し、当該平均値を当該画素ブロックの値として設定する。
なお、長方形領域は、図８に示すように、縦ｖ、横ｈの長さを有する画素ブロックに収まる長方形の領域である。また、画素ブロック画像情報生成部１５６は、上記平均値に代えて、図８の黒丸で示す長方形領域の中央画素の差分値を当該画素ブロックの値として設定してもよいし、長方形領域内の全画素の所定画像信号値の合計値を当該画素ブロックの値として設定してもよい。
以上の処理手順により、画素ブロック画像情報生成部１５６は、ｎ×ｍの２次元配列のそれぞれの要素に上記画素ブロックの値が保持された画素ブロック画像情報を生成し、撮像情報記憶部１８４に記憶する。
画像歪み補正量演算部１６２は、撮像情報記憶部１８４に記憶された全白画像の画素ブロック画像情報に基づいて投写領域２２０における所定画像信号値の変化を判定する。そして、画像歪み補正量演算部１６２は、当該変化に基づいて投写領域１２の歪みを判定し、画像歪み補正量を演算する。
例えば、画像歪み補正量演算部１６２は、投写領域１２の左側の画像信号値が高い場合、投写光軸が投写領域１２の中心から左にずれていることを判定でき、投写領域１２が左の辺が短く右の辺が長い台形状に歪んでいることを判定できる。
そして、画像歪み補正部１１２は、画像の歪みを補正するために、画像歪み補正量演算部１６２からの画像歪み補正量に基づき、アナログＲＧＢ信号変換後のデジタルＲＧＢ信号を補正してデジタルＲＧＢ信号を生成する。
これにより、プロジェクタ２０は、画像の歪みを補正できる。
また、色むら補正量演算部１６４は、画素ブロック画像情報に基づき、画素ブロックごとに入出力特性データの補正量を演算する。なお、色むらを補正する場合、キャリブレーション情報生成部１７２は、全白画像、全黒画像に加えてＲ、Ｇ、Ｂの原色のキャリブレーション画像を表示するための画像信号を発生し、画像投写部１９０は、当該原色のキャリブレーション画像を投写し、センサー６０は、スクリーン１０に投写された当該原色のキャリブレーション画像を撮像して撮像情報を生成してもよい。
より具体的には、色むら補正量演算部１６４は、例えば、補正後の入出力特性を示す直線の傾きが１になるように補正量を演算する。
なお、ここで、入出力特性データとは、入出力特性を示すデータであって、入力信号の明るさ指標値（例えば、階調値等）と、出力信号の明るさ指標値との関係を示すデータのことである。また、明るさ指標値とは、明るさの指標となる値のことであり、具体的には、例えば、輝度、照度、色情報値（Ｒ信号のデジタル信号値等）、階調値およびこれらの値を正規化等によって変形した値等が該当する。
そして、色むら補正部１３０は、画像の色むらを補正するため、色むら補正量演算部１６４からの色むら補正量に基づき、入出力特性データを補正し、当該入出力特性データに基づき、ＲＧＢ信号を補正する。
そして、画像投写部１９０は、以上の手順により、画像の歪みと色むらが補正された画像を投写する。
したがって、本実施形態によれば、プロジェクタ２０は、投写領域２２０の４隅を正確に検出することができるため、撮像領域における投写領域２２０の座標と、空間光変調器１９２の表示素子の座標とを正確かつ効率的に対応づけることができる。これにより、プロジェクタ２０は、画像にいわゆる台形歪みが発生している場合であっても歪みを適切に補正できる。
また、本実施形態によれば、プロジェクタ２０は、画像ブロックを用いて画像ブロックごとの色の違いを判定できるため、経時劣化や環境影響（外光８０がある場合やスクリーン１０が着色されておりむらがある場合等）等による色むらを適切に補正することができる。
（第２の実施例）
次に、パターン画像を用いて投写領域の端点を検出する方式について説明する。
図９は、第２の実施例における画像投写状況を示す概略図である。
プロジェクタ２０は、スクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。
また、本実施形態のプロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写画像１２が表示されたスクリーン１０を、撮像面を介して撮像し、撮像情報を生成する。プロジェクタ２０は、撮像情報に基づき、投写画像１２の歪みや表示位置の調整を行う。
しかし、例えば、図９に示すように、投写画像１２の周辺部分がスクリーン１０の外部に表示される場合、従来のプロジェクタは、撮像情報に基づき、投写画像１２の歪みや表示位置の調整を行うことができなかった。
なぜなら、スクリーン１０と、スクリーン１０の後ろにある壁との距離が離れており、投写画像１２がセンサー６０の撮像範囲に入っているとしても、従来のプロジェクタは、どこにあるかわからない壁や背景の物体に表示された、あるいは表示されることもない投写画像１２の頂点の位置をスクリーン１０の平面上の位置に変換することはできないからである。
本実施形態におけるプロジェクタ２０は、従来とは異なるキャリブレーション画像を用い、当該キャリブレーション画像の撮像情報に基づき、簡易な検索処理を実行することにより、従来より広範な条件の下で精度よく投写画像１２の位置を把握する。
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。
図１０は、第２の実施例におけるプロジェクタ２０の機能ブロック図である。
プロジェクタ２０の構成は、第１の実施例と同様である。
第２の実施例における差異情報生成部１５２は、差異情報として、第１の撮像情報で表される第１の撮像画像と、第２の撮像情報で表される第２の撮像画像との差分画像を生成する。
また、第２の実施例における端点検出部１５４は、差分画像に含まれる中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出部１５１と、差分画像に含まれる周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出部１５３と、各基準位置に基づき、投写領域の端点（本実施例では頂点）の位置を示す投写領域情報を生成する投写領域情報生成部１５５とを含んで構成されている。
さらに、プロジェクタ２０は、投写画像１２の歪みを補正する機能を有する。この機能を実装するため、プロジェクタ２０は、撮像情報と、投写領域情報に基づき、投写領域内の輝度ピーク位置（輝度値が最も大きい画素の位置）を検出する輝度ピーク位置検出部１６６と、輝度ピーク位置に基づき、画像歪み補正量を演算する画像歪み補正量演算部１６２と、画像歪み補正量に基づき、投写画像１２の歪みが補正されるように、入力画像信号を補正する画像歪み補正部１１２とを含んで構成されている。
また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、図４に示すハードウェアを適用できる。
次に、これらの各部を用いた投写領域の位置検出処理の流れについて説明する。
図１１は、第２の実施例における投写領域の位置検出処理の流れを示すフローチャートである。また、図１２は、第２の実施例におけるキャリブレーション画像の模式図であり、図１２（Ａ）は、第１のキャリブレーション画像１３の模式図であり、図１２（Ｂ）は、第２のキャリブレーション画像１４の模式図である。
まず、プロジェクタ２０は、第１のキャリブレーション画像１３として、図１２（Ａ）に示す全白（画像全体が白色）のキャリブレーション画像を投写する（ステップＳ１１）。より具体的には、キャリブレーション情報生成部１７２は、第１のキャリブレーション画像１３用のキャリブレーション情報（例えば、ＲＧＢ信号等）を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、全白のキャリブレーション画像を投写する。
センサー６０は、スクリーン１０上の第１のキャリブレーション画像１３を自動露出設定で撮像して第１の撮像情報を生成する（ステップＳ１２）。撮像情報記憶部１８４は、第１の撮像情報を記憶する。
そして、プロジェクタ２０は、第２のキャリブレーション画像１４として、図１２（Ｂ）に示す第２のキャリブレーション画像１４を投写する（ステップＳ１３）。より具体的には、キャリブレーション情報生成部１７２は、第２のキャリブレーション画像１４用のキャリブレーション情報を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、第２のキャリブレーション画像１４を投写する。
本実施例では、第２のキャリブレーション画像１４は、画像全体を９つのブロックに均等に区分した場合に、中央ブロック領域と、４隅の４つの周辺ブロック領域が黒色であり、その他のブロック領域が白色であるいわゆるチェッカーパターンのパターン画像である。
センサー６０は、スクリーン１０上の第２のキャリブレーション画像１４を、第１のキャリブレーション画像１３撮像時の露出で撮像して第２の撮像情報を生成する（ステップＳ１４）。撮像情報記憶部１８４は、第２の撮像情報を記憶する。
差異情報生成部１５２は、第１および第２の撮像情報に基づき、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４との差分画像を生成する（ステップＳ１５）。なお、差分画像は、例えば、画素ごとの輝度値等を差分演算した画像である。また、差分画像は、例えば、画素ごとの差分値が所定閾値以上の画素はその差分値を、そうでない画素は０を各画素位置の値として有する画像である。なお、差異情報生成部１５２は、必ずしも画像全体を差分演算する必要はなく、以下の処理に必要な範囲内（画像の一部分）のみ差分演算を行ってもよい。
そして、端点検出部１５４は、差分画像の生成後、差分画像に含まれる中央ブロック領域の複数（本実施例では４つ）の中央基準位置と差分画像に含まれる周辺ブロック領域の複数（本実施例では８つ）の周辺基準位置を検出する。
図１３は、第２の実施例における中央基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図１４は、第２の実施例における中央基準位置を検出する際の第２段階の検索方法を示す模式図である。
中央基準位置検出部１５１は、撮像面に相当する撮像領域１５における投写領域（投写画像１２に相当する領域）の位置を検出するために、まず、パターン画像の４つの中央基準位置を検出する（ステップＳ１６）。なお、説明をわかりやすくするため、各図にはスクリーン領域１８を描いているが、実際の差分画像にはスクリーン領域１８やスクリーン領域１８の外部の周辺ブロック領域１７−１〜１７−４の一部が含まれない場合もある。
より具体的には、中央基準位置検出部１５１は、差分画像に対し、図１６に示すように、中央ブロック領域１６が位置すると予想される縦位置ｘ＝ｘｃ上をｙ＝ｙｐからｙ＝ｙｍまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ１、Ｐ２を判別する。例えば、Ｐ１(xc,y1)、Ｐ２(xc,y2)であるものと仮定する。
なお、ｘｃ、ｙｐ、ｙｍ等の検索基準位置の値は、例えば、レンズ１９８とセンサー６０のそれぞれの画角や位置によって決定されてもよいし、実験によって決定されてもよいし、あるいは、撮像結果に応じて決定されてもよい。後述するその他の検索基準位置についても同様である。
そして、中央基準位置検出部１５１は、図１４に示すように、Ｐ１、Ｐ２を基準とした横位置ｙ＝ｙｃ上をｘ＝ｘｍからｘ＝ｘｐまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ４、Ｐ３を判別する。なお、ここで、例えば、yc=(y1+y2)/2である。
このようにして中央基準位置検出部１５１は、中央ブロック領域１６の４つの中央基準位置Ｐ１(xc,y1)、Ｐ２(xc,y2)、Ｐ３(x1,yc)、Ｐ４(x2,yc)を示す中央基準位置情報を周辺基準位置検出部１５３に出力する。
周辺基準位置検出部１５３は、中央基準位置情報に基づき、パターン画像の８つの周辺基準位置を検出する（ステップＳ１７）。
図１５は、第２の実施例における周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図１６は、第２の実施例における周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
より具体的には、周辺基準位置検出部１５３は、Ｐ１のｙ座標y1からｍ％上方のｙ＝ｙｈ上をＰ３のｘ座標x1からｎ％中央側のｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ５が判別される。
同様に、周辺基準位置検出部１５３は、Ｐ２のｙ座標y2からｍ％下方のｙ＝ｙｎ上をｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ６が判別される。
同様の手法で、図１６に示すように、点Ｐ７〜Ｐ１２が判別される。そして、周辺基準位置検出部１５３は、これらの８つの点の座標を示す周辺基準位置情報と、中央基準位置情報を投写領域情報生成部１５５に出力する。
投写領域情報生成部１５５は、周辺基準位置情報と、中央基準位置情報に基づき、近似直線（近似曲線でもよい。）を用いて投写領域の４隅の位置を検出する（ステップＳ１８）。
図１７は、第２の実施例における近似直線を設定する際の第１段階を示す模式図である。図１８は、第２の実施例における近似直線を設定する際の第２段階を示す模式図である。
投写領域情報生成部１５５は、点Ｐ５、点Ｐ３、点Ｐ６の座標に基づき、図１７の破線で示される近似直線を設定する。同様の手法により、投写領域情報生成部１５５は、図１８に示すように、破線で示す４つの近似直線を設定し、各近似直線の４つの交点Ａ(xA,yA)〜Ｄ(xD,yD)を中央ブロック領域１６の４隅の点として判別する。
中央ブロック領域１６は、元の投写画像１２を１／９に縮小した画像に相当する領域であるため、投写画像１２が相当する投写領域の４隅の点ＥＦＧＨは以下のようになる。すなわち、Ｅ(xE,yE)＝(2*xA-xC,2*yA-yc)、Ｆ(xF,yF)＝(2*xB-xD,2*yB-yD)、Ｇ(xG,yG)＝(2*xC-xA,2*yC-yA)、Ｈ(xH,yH)＝(2*xD-xB,2*yD-yB)である。
以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２がスクリーン１０に含まれる場合はもちろん、投写画像１２の一部がスクリーン１０の外部に表示されている状態であっても、撮像領域１５における投写領域の４隅の位置を検出することができる。もちろん、プロジェクタ２０は、投写領域の位置情報をスクリーン１０平面における位置に変換して投写画像１２の４隅の位置情報を生成することも可能である。
これにより、プロジェクタ２０は、投写画像１２の歪みの補正や位置の調整、投写画像１２内におけるレーザーポインター等を用いた指示位置の検出等を適切に行うことができる。
例えば、プロジェクタ２０は、投写画像１２の歪みの補正（いわゆるキーストン補正）を行う場合、第１のキャリブレーション画像１３の撮像情報と、投写領域情報生成部１５５からの投写領域の４隅の位置を示す投写領域情報に基づき、輝度ピーク位置検出部１６６を用いて撮像領域内の投写領域内で最も輝度値が高い輝度ピーク位置を検出する。
例えば、スクリーン１０とプロジェクタ２０とが正対している場合、投写領域の中央が輝度ピーク位置となり、また、例えば、投写領域の左側の輝度値が高い場合、投写光軸が投写画像１２の中心から左にずれていることを把握でき、投写画像１２が左の辺が短く右の辺が長い台形状に歪んでいることを把握できる。このように、投写領域内の輝度ピーク位置を把握することにより、画像の歪みを把握することができる。
そして、画像歪み補正量演算部１６２は、投写領域内の輝度ピーク位置に基づき、画像の歪みに応じた補正量を演算する。
さらに、入力信号処理部１１０内の画像歪み補正部１１２が当該補正量に基づき、画像の歪みが補正されるように、入力画像信号を補正する。
以上の手順により、プロジェクタ２０は、投写画像１２の一部がスクリーン１０の外部に表示されている場合であっても、画像の歪みを補正することができる。もちろん、画像の歪みの補正方法はこの方法に限定されない。例えば、プロジェクタ２０は、撮像画像における輝度値の最も大きな画素を検出し、当該画素の位置に基づいて画像の歪みを補正してもよい。
また、プロジェクタ２０は、図１２（Ｂ）に示すパターン画像のように、中央だけではなく、その周辺にも特徴のある画像を用いることにより、中央だけに特徴があるパターン画像を用いる場合と比べ、より高精度に投写領域の４隅を判別することができる。
例えば、プロジェクタ２０は、図１３に示す点Ｐ１、点Ｐ２を判別する際に、その近傍の輝度値が変化する点も判別することが可能である。しかし、これらの間隔の狭い複数の点を用いて近似直線を設定する場合、間隔が離れた複数の点を用いて近似直線を設定する場合と比べ、近似直線の元になる点の１画素の誤差が近似直線により大きく影響してしまう。
本実施形態では、プロジェクタ２０は、中央ブロック領域１６の基準点と、周辺ブロック領域１７−１〜１７−４の基準点とを用いることにより、間隔が離れた複数の点を用いて近似直線を設定することができるため、より高精度に投写領域の４隅を判別することができる。
また、これにより、プロジェクタ２０は、プロジェクタ２０またはセンサー６０のシェーディングの影響を回避し、精度よく、投写領域全体の位置を把握することができる。
また、本実施形態によれば、プロジェクタ２０は、差分画像全体を検索するのではなく、差分画像のうち必要な領域のみを検索することにより、より簡易かつ高速に投写領域の位置を検出することができる。
また、キャリブレーション画像を投写する際に、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で第２の撮像情報を生成することにより、差分画像の生成に適した露出で第２の撮像情報を生成することができる。
特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
例えば、上述した実施例では、プロジェクタ２０は、全白画像投写時に自動露出設定で撮像し、全黒画像投写時に固定露出設定で撮像した後に、画像の歪みと色むらを補正する処理を行ったが、画像の歪みと色むらを補正する処理以外の処理を行ってもよい。
また、上述した実施例では、プロジェクタ２０は、白のキャリブレーション画像と黒のキャリブレーション画像の撮像情報を用いて差異情報を生成したが、例えば、上記キャリブレーション画像に加え、緑の単色のキャリブレーション画像を投写して撮像し、白と黒、緑と黒のそれぞれの撮像情報に基づいて２種類の差異情報を生成し、当該２種類の差異情報の積集合（ＡＮＤ）を演算して真となる領域を仮投写領域２３０の抽出対象領域として設定してもよい。
これによれば、撮像時のノイズの影響を低減し、プロジェクタ２０は、より正確に仮投写領域２３０や投写領域２２０を抽出することができる。なお、上述した実施例では、プロジェクタ２０は、仮投写領域２３０を設定してから投写領域２２０を抽出したが、撮像情報から直接投写領域２２０を抽出してもよい。
また、上述した実施例では、プロジェクタ２０は、差異情報として、差分値を示す情報を用いたが、例えば、比率を示す情報等を用いてもよい。
また、上述した実施例では、プロジェクタ２０は、所定画素領域として画素ラインを適用して仮投写領域２３０を抽出したが、例えば、１画素、複数画素、複数画素で構成される矩形領域等を画素領域として仮投写領域２３０を抽出してもよい。
また、上述した実施例では、プロジェクタ２０は、端点として頂点を用いたが、例えば、対象領域の辺の中点等を端点として用いてもよい。
また、上述した実施例では、プロジェクタ２０は、仮投写領域２３０の内側から外側に向かって検索を行ったが、仮投写領域２３０の外側から内側に向かって検索を行ってもよく、検索方法は任意である。
例えば、検索の手順は任意であり、プロジェクタ２０は、差分画像に対して横方向に検索して中央基準位置や周辺基準位置を検出した後に当該中央基準位置や当該周辺基準位置に基づいて縦方向に検索してもよい。
また、プロジェクタ２０は、投写領域情報に基づく画像の歪み補正以外にも、例えば、投写領域情報に基づき、投写領域内の色むら補正、投写領域内の指示位置検出等の投写領域の位置情報を使用する種々の処理を行ってもよい。
さらに、プロジェクタ２０は、スクリーン領域１８を検出してから投写領域を検出してもよい。
図１９は、第３の実施例におけるプロジェクタ２０の機能ブロック図である。また、図２０は、第３の実施例における周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図２１は、第３の実施例における周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
例えば、図１９に示すように、端点検出部１５４内に投写対象領域境界点検出部１５９を設ける。
中央基準位置検出部１５１は、投写対象領域境界点検出部１５９に中央基準位置情報を出力する。
投写対象領域境界点検出部１５９は、第１の撮像画像を検索対象として、図２０に示すように、点Ｐ３および点Ｐ４のそれぞれから中央ブロック領域１６の横長の所定割合内側にある線と、ｙ＝ｙ１の線と、ｙ＝ｙ２の線のそれぞれの交点から中央ブロック領域１６の外側へ向かって上記所定割合内側にある線上の各画素に対してエッジ検出を行う。なお、エッジ検出には一般的な手法を用いる。これにより、図２０に示す点Ｔ、Ｕ、Ｖ、Ｗが判別される。また、投写対象領域境界点検出部１５９は、点Ｔ、Ｕ、Ｖ、Ｗの位置を示すスクリーン領域境界点情報を周辺基準位置検出部１５３に出力する。
周辺基準位置検出部１５３は、点ＴのＹ座標であるｙＴ、点ＵのＹ座標であるｙＵのうち小さい値と、Ｐ１のＹ座標であるｙ１に基づき、上側の横方向の検索の基準となる位置Ｙ＝ｙＱを検出する。また、周辺基準位置検出部１５３は、点ＶのＹ座標であるｙＶ、点ＷのＹ座標であるｙＷのうち小さい値と、Ｐ２のＹ座標であるｙ２に基づき、下側の横方向の検索の基準となる位置Ｙ＝ｙＲを検出する。
周辺基準位置検出部１５３は、Ｘ＝ｘｔ、Ｘ＝ｘＵ、Ｙ＝ｙＱ、Ｙ＝ｙＲの４本の直線が交わるそれぞれの交点から差分画像におけるＹ＝ｙＱ、Ｙ＝ｙＲ上を外側に検索し、出力のある画素を検出することにより、４つの点Ｐ５〜Ｐ８を判別する。周辺基準位置検出部１５３は、同様の手法により、残りの４点Ｐ９〜Ｐ１２を判別する。
端点検出部１５４は、このような手法によっても中央ブロック領域１６の中央基準位置と、周辺ブロック領域１７−１〜１７−４の周辺基準位置を判別し、投写領域の４隅の位置を判別することができる。
特に、この手法によれば、投写領域情報生成部１５５は、第２の実施例の手法と比べ、投写対象領域外で周辺基準位置を検出するという望ましくない処理を防止することができ、さらに、近似直線を求めるための３点の間隔をより離した状態で近似直線を求めることができる。これにより、プロジェクタ２０は、より高精度に投写領域の位置を検出することができる。
なお、中央基準位置の個数や周辺基準位置の個数は任意であり、上述した実施例に限定されない。
また、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４のパターンは、図１２（Ａ）および図１２（Ｂ）に示す例に限定されず、少なくとも差分画像になった状態で中央ブロック領域１６が形成されればよく、特に、差分画像になった状態で中央ブロック領域１６と周辺ブロック領域１７−１〜１７−４が形成されることが好ましい。例えば、中央ブロック領域１６を含む第１のキャリブレーション画像１３と、周辺ブロック領域１７−１〜１７−４を含む第２のキャリブレーション画像１４を採用してもよい。
また、キャリブレーション画像、中央ブロック領域１６および周辺ブロック領域１７−１〜１７−４の形状は矩形に限定されず、例えば、円形等の矩形以外の形状を採用してもよい。もちろん、キャリブレーション画像全体の形状と、中央ブロック領域１６の形状は、相似形に限定されず、両者の形状の対応がわかる形状であればよい。さらに、周辺ブロック領域１７−１〜１７−４の個数も任意である。
また、スクリーン１０以外の黒板、白板等の投写対象物に画像を投写する場合であっても本発明は有効である。
また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像表示装置に実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実現してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実現してもよい。
さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。
第１の実施例における画像投写状況を示す概略図である。 第１の実施例における撮像領域の模式図である。 第１の実施例におけるプロジェクタの機能ブロック図である。 第１の実施例におけるプロジェクタのハードウェアブロック図である。 第１の実施例における端点検出処理の流れを示すフローチャートである。 第１の実施例における前処理用の画素ブロックの模式図である。 第１の実施例における画素ブロックの模式図である。 図７のＡＡ部分を拡大した画素ブロックの模式図である。 第２の実施例における画像投写状況を示す概略図である。 第２の実施例におけるプロジェクタの機能ブロック図である。 第２の実施例における投写領域の位置検出処理の流れを示すフローチャートである。 第２の実施例におけるキャリブレーション画像の模式図であり、図１２（Ａ）は、第１のキャリブレーション画像の模式図であり、図１２（Ｂ）は、第２のキャリブレーション画像の模式図である。 第２の実施例における中央基準位置を検出する際の第１段階の検索方法を示す模式図である。 第２の実施例における中央基準位置を検出する際の第２段階の検索方法を示す模式図である。 第２の実施例における周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 第２の実施例における周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。 第２の実施例における近似直線を設定する際の第１段階を示す模式図である。 第２の実施例における近似直線を設定する際の第２段階を示す模式図である。 第３の実施例におけるプロジェクタの機能ブロック図である。 第３の実施例における周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 第３の実施例における周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。
符号の説明
２０ プロジェクタ、６０ センサー（撮像手段）、１５１ 中央基準位置検出部、１５２ 差異情報生成部、１５３ 周辺基準位置検出部、１５４ 端点検出部、１５５ 投写領域情報生成部、１５６ 画素ブロック画像情報生成部、１８４ 撮像情報記憶部、１８６ 撮像条件設定部（撮像手段）、１９０ 画像投写部、９００ 情報記憶媒体

Claims (15)

  1. 第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
    露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成するセンサーと、
    前記センサーの露出設定を行うとともに、前記センサーを制御する撮像条件設定手段と、
    前記第１および第２の撮像情報に基づき、各キャリブレーション画像の前記センサーの撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
    当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素領域を基準として前記撮像領域における投写領域の端点を検出する端点検出手段と、
    を含み、
    前記撮像条件設定手段は、前記第１のキャリブレーション画像の投写時に前記センサーを自動露出に設定して自動露出で当該キャリブレーション画像を前記センサーに撮像させ、前記第２のキャリブレーション画像の投写時に前記センサーを自動露出で決定された露出である固定露出に設定して当該固定露出の状態で当該キャリブレーション画像を前記センサーに撮像させ、
    前記差異情報生成手段は、前記差異情報として、前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との差分画像を生成し、
    当該差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域に
    おける各画素とは異なる明るさ指標値を有し、
    前記端点検出手段は、
    前記差分画像に基づき、前記センサーの撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域の端点を示す投写領域情報を生成する投写領域情報生成手段と、
    を含むことを特徴とする画像処理システム。
  2. 第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
    露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
    前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成するとともに、前記第１の画素ブロック前処理情報と前記第２の画素ブロック前処理情報の差異に基づき、前記撮像領域における投写領域の端点の基準となる画素領域を設定し、前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
    当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素を基準として前記撮像領域における投写領域の端点を検出する端点検出手段と、
    を含み、
    前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像することを特徴とする画像処理システム。
  3. 請求項１、２のいずれかにおいて、
    前記画像投写手段は、前記第１のキャリブレーション画像として、白の単一色のキャリブレーション画像を投写するとともに、前記第２のキャリブレーション画像として、黒の単一色のキャリブレーション画像を投写することを特徴とする画像処理システム。
  4. 請求項１において、
    前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を判定することにより、前記投写領域情報を生成することを特徴とする画像処理システム。
  5. 請求項４において、
    前記投写領域および前記中央ブロック領域は、矩形の領域であり、
    前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を判定し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理システム。
  6. 第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
    露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
    前記第１および第２の撮像情報に基づき、各キャリブレーション画像の前記撮像手段の撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
    当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素領域を基準として前記撮像領域における投写領域の端点を検出する端点検出手段と、
    を含み、
    前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像し、
    前記差異情報生成手段は、前記差異情報として、前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との差分画像を生成し、
    当該差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域に
    おける各画素とは異なる明るさ指標値を有し、
    前記端点検出手段は、
    前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域の端点を示す投写領域情報を生成する投写領域情報生成手段と、
    を含むことを特徴とするプロジェクタ。
  7. 第１および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
    露出調整機能を有し、投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
    前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成するとともに、前記第１の画素ブロック前処理情報と前記第２の画素ブロック前処理情報の差異に基づき、前記撮
    像領域における投写領域の端点の基準となる画素領域を設定し、前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
    当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素を基準として前記撮像領域における投写領域の端点を検出する端点検出手段と、
    を含み、
    前記撮像手段は、前記第１のキャリブレーション画像の投写時に自動露出で当該キャリブレーション画像を撮像し、前記第２のキャリブレーション画像の投写時に前記自動露出で決定された露出の状態で当該キャリブレーション画像を撮像することを特徴とするプロジェクタ。
  8. 画像投写手段と、露出調整機能を有するセンサーとを含むプロジェクタの有するコンピュータにより読み取り可能なプログラムであって、
    コンピュータを、
    第１および第２のキャリブレーション画像を、それぞれ異なる時点において前記画像投写手段に投写させる画像投写制御手段と、
    投写された各キャリブレーション画像を前記センサーに撮像させて第１および第２の撮像情報を生成させる撮像条件設定手段と、
    前記第１および第２の撮像情報に基づき、各キャリブレーション画像の前記センサーの撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
    当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素領域を基準として前記撮像領域における投写領域の端点を検出する端点検出手段として機能させ、
    前記撮像条件設定手段は、前記第１のキャリブレーション画像の投写時に前記センサーを自動露出に設定して自動露出で当該キャリブレーション画像を前記センサーに撮像させ、前記第２のキャリブレーション画像の投写時に前記センサーを自動露出で決定された露出である固定露出に設定して当該固定露出の状態で当該キャリブレーション画像を前記センサーに撮像させ、
    前記差異情報生成手段は、前記差異情報として、前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との差分画像を生成し、
    当該差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域に
    おける各画素とは異なる明るさ指標値を有し、
    前記端点検出手段は、
    前記差分画像に基づき、前記センサーの撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域の端点を示す投写領域情報を生成する投写領域情報生成手段と、
    を含むことを特徴とするプログラム。
  9. 画像投写手段と、露出調整機能を有するセンサーとを含むプロジェクタの有するコンピュータにより読み取り可能なプログラムであって、
    コンピュータを、
    第１および第２のキャリブレーション画像を、それぞれ異なる時点において前記画像投写手段に投写させる画像投写制御手段と、
    投写された各キャリブレーション画像を前記センサーに撮像させて第１および第２の撮像情報を生成させる撮像条件設定手段と、
    前記第１および第２の撮像情報に基づき、前記センサーの撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成するとともに、前記第１の画素ブロック前処理情報と前記第２の画素ブロック前処理情報の差異に基づき、前記撮像領域における投写領域の端点の基準となる画素領域を設定し、前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成する差異情報生成手段と、
    当該差異情報を検索対象として、前記差異を示す値を検索し、当該値が所定値以上となった画素を基準として前記撮像領域における投写領域の端点を検出する端点検出手段として機能させ、
    前記撮像条件設定手段は、前記第１のキャリブレーション画像の投写時に前記センサーを自動露出に設定して自動露出で当該キャリブレーション画像を前記センサーに撮像させ、前記第２のキャリブレーション画像の投写時に前記センサーを自動露出で決定された露出である固定露出に設定して当該固定露出の状態で当該キャリブレーション画像を前記センサーに撮像させることを特徴とするプログラム。
  10. 画像投写手段と、露出調整機能を有するセンサーとを含むプロジェクタの有するコンピュータにより読み取り可能な情報記憶媒体であって、
    請求項８、９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
  11. 第１のキャリブレーション画像を投写し、
    センサーを自動露出に設定し、
    投写した第１のキャリブレーション画像を自動露出設定で撮像して第１の撮像情報を生成し、
    第２のキャリブレーション画像を投写し、
    センサーを自動露出で決定された露出である固定露出に設定し、
    投写した第２のキャリブレーション画像を、前記第１のキャリブレーション画像の撮像時の露出で撮像して第２の撮像情報を生成し、
    前記第１および第２の撮像情報に基づき、撮像領域において対応する画素ごとの所定画像信号値の差異を示す差異情報を生成し、
    当該差異情報を検索対象として、前記撮像領域における投写領域の端点を検出し、
    前記差異情報として、前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との差分画像を生成し、
    当該差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域に
    おける各画素とは異なる明るさ指標値を有し、
    前記投写領域の端点を検出する際に、
    前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域の端点を示す投写領域情報を生成することを特徴とする画像処理方法。
  12. 第１のキャリブレーション画像を投写し、
    投写した第１のキャリブレーション画像を自動露出設定で撮像して第１の撮像情報を生成し、
    第２のキャリブレーション画像を投写し、
    投写した第２のキャリブレーション画像を、前記第１のキャリブレーション画像の撮像時の露出で撮像して第２の撮像情報を生成し、
    前記第１および第２の撮像情報に基づき、撮像領域における所定画素領域を複数画素で構成される画素ブロックに区分し、
    当該画素ブロックを構成する画素の所定画像信号値の平均値または合計値あるいは当該画素ブロックにおける代表画素の所定画像信号値を示す第１および第２の画素ブロック前処理情報を生成し、
    前記第１の画素ブロック前処理情報と第２の画素前処理ブロック情報の差異に基づき、前記撮像領域における投写領域の端点の基準となる画素領域を設定し、
    前記第１および第２の撮像情報に基づき、当該画素領域の近傍の画素ごとの前記所定画像信号値の差異を示す差異情報を生成し、
    当該差異情報を検索対象として、前記撮像領域における投写領域の端点を検出することを特徴とする画像処理方法。
  13. 請求項１１、１２のいずれかにおいて、
    前記第１のキャリブレーション画像は、白の単一色のキャリブレーション画像であり、前記第２のキャリブレーション画像は、黒の単一色のキャリブレーション画像であることを特徴とする画像処理方法。
  14. 請求項１１において、
    前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を判定することにより、前記投写領域情報を生成することを特徴とする画像処理方法。
  15. 請求項１４において、
    前記投写領域および前記中央ブロック領域は、矩形の領域であり、
    前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を判定し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理方法。
JP2004154786A 2003-09-26 2004-05-25 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 Expired - Fee Related JP4055010B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004154786A JP4055010B2 (ja) 2003-09-26 2004-05-25 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US10/944,139 US7167645B2 (en) 2003-09-26 2004-09-20 Image processing system, projector, information storage medium, and image processing method
TW093128751A TWI270811B (en) 2003-09-26 2004-09-22 Image processing system, projector, information storage medium, and image processing method
KR1020040077415A KR100602622B1 (ko) 2003-09-26 2004-09-24 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
DE602004021885T DE602004021885D1 (de) 2003-09-26 2004-09-24 Bildbearbeitungssystem und -verfahren, Projektor, Informationsspeichermedium
EP04255842A EP1519575B1 (en) 2003-09-26 2004-09-24 Image processing system, projector, information storage medium, and image processing method
CNB200410080079XA CN100495194C (zh) 2003-09-26 2004-09-24 图像处理***、投影机以及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003334980 2003-09-26
JP2004154786A JP4055010B2 (ja) 2003-09-26 2004-05-25 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Publications (2)

Publication Number Publication Date
JP2005124133A JP2005124133A (ja) 2005-05-12
JP4055010B2 true JP4055010B2 (ja) 2008-03-05

Family

ID=34197259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004154786A Expired - Fee Related JP4055010B2 (ja) 2003-09-26 2004-05-25 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Country Status (7)

Country Link
US (1) US7167645B2 (ja)
EP (1) EP1519575B1 (ja)
JP (1) JP4055010B2 (ja)
KR (1) KR100602622B1 (ja)
CN (1) CN100495194C (ja)
DE (1) DE602004021885D1 (ja)
TW (1) TWI270811B (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150924B2 (ja) * 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005033703A (ja) * 2003-07-11 2005-02-03 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3882929B2 (ja) * 2004-03-29 2007-02-21 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
US7517089B2 (en) * 2004-03-29 2009-04-14 Seiko Epson Corporation Image processing system, projector, information storage medium, and image processing method
EP1784978B1 (de) * 2004-08-30 2010-11-10 Bauhaus-Universität Weimar Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
JP4232042B2 (ja) * 2005-01-07 2009-03-04 セイコーエプソン株式会社 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
US7583325B2 (en) * 2005-03-23 2009-09-01 Infocus Corporation Projection systems and processes for generating images with increased brightness uniformity
TW200803482A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Image processing method of indicator input system
US7677737B2 (en) * 2006-08-17 2010-03-16 Sony Ericsson Mobile Communications Ab Projector adaptation for self-calibration
US8052598B2 (en) * 2006-10-12 2011-11-08 General Electric Company Systems and methods for calibrating an endoscope
CA2687141C (en) * 2007-05-22 2014-04-01 Amgen Inc. Compositions and methods for producing bioactive fusion proteins
DE102007027421A1 (de) * 2007-06-14 2008-12-24 Airbus Deutschland Gmbh Bildanpassungsvorrichtung und -verfahren für eine Bildprojektion in einem Luftfahrzeug
WO2008156050A1 (ja) * 2007-06-21 2008-12-24 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置、画像処理システム、電子カメラおよび電子機器
US7986356B2 (en) * 2007-07-25 2011-07-26 Hewlett-Packard Development Company, L.P. System and method for determining a gamma curve of a display device
JP4525945B2 (ja) * 2007-08-07 2010-08-18 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体
JP2009094895A (ja) * 2007-10-10 2009-04-30 Olympus Corp 映像信号処理装置及び色変換処理方法
JP5386894B2 (ja) * 2008-09-09 2014-01-15 ソニー株式会社 画像位置認識装置、画像位置認識方法、プログラムおよび画像表示装置の補正データ設定装置
JP5298831B2 (ja) * 2008-12-19 2013-09-25 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2010152267A (ja) * 2008-12-26 2010-07-08 Seiko Epson Corp プロジェクタ
US8393740B2 (en) * 2009-03-12 2013-03-12 Canon Kabushiki Kaisha Image projection system with keystone correction
JP4994422B2 (ja) * 2009-05-13 2012-08-08 リズム時計工業株式会社 検知システム、検知システムの信号処理方法、および、煙感知器
JP2011151764A (ja) * 2009-06-09 2011-08-04 Ricoh Co Ltd 描画画像共有装置
KR20120089452A (ko) 2009-08-04 2012-08-10 아이큐 비젼 테크놀로지즈 리미티드 물체 추출 시스템 및 방법
JP5327468B2 (ja) * 2009-08-04 2013-10-30 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
US8368803B2 (en) * 2009-09-10 2013-02-05 Seiko Epson Corporation Setting exposure attributes for capturing calibration images
JP5440250B2 (ja) * 2010-02-26 2014-03-12 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP5604909B2 (ja) * 2010-02-26 2014-10-15 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP2013021674A (ja) * 2011-06-13 2013-01-31 Ricoh Co Ltd 画像計測方法、画像計測装置及び画像検査装置
JP5849522B2 (ja) * 2011-08-18 2016-01-27 株式会社リコー 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP6127366B2 (ja) * 2012-03-07 2017-05-17 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP5842694B2 (ja) * 2012-03-21 2016-01-13 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP6089424B2 (ja) * 2012-03-21 2017-03-08 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP6216143B2 (ja) * 2012-06-20 2017-10-18 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
JP6394081B2 (ja) * 2013-08-13 2018-09-26 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10078258B2 (en) * 2013-09-04 2018-09-18 Nec Corporation Projection device, projection device control method, projection device control apparatus, and computer program thereof
JP2015056687A (ja) * 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016014712A (ja) * 2014-07-01 2016-01-28 キヤノン株式会社 シェーディング補正値算出装置およびシェーディング補正値算出方法
US10218949B2 (en) 2015-07-08 2019-02-26 Sony Corporation Information processing apparatus, information processing method, and program
JP6657987B2 (ja) * 2016-01-20 2020-03-04 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
CN109587457A (zh) * 2017-09-29 2019-04-05 中强光电股份有限公司 投影***及其自动设定方法
TWI688274B (zh) * 2018-05-29 2020-03-11 明基電通股份有限公司 影像校正方法及影像校正系統
CN110784690B (zh) 2018-07-30 2022-05-10 中强光电股份有限公司 投影***及投影方法
CN109856901B (zh) * 2019-04-11 2021-03-30 歌尔光学科技有限公司 改善投影光路成像的方法及设备
CN110636274A (zh) 2019-11-11 2019-12-31 成都极米科技股份有限公司 超短焦画幕对齐方法、装置和超短焦投影机及存储介质
CN112802417B (zh) * 2019-11-13 2022-10-04 青岛海信激光显示股份有限公司 画面补偿方法、装置及存储介质
CN115330776B (zh) * 2022-10-13 2023-04-14 南通斯坦普利起重设备有限公司 一种钢丝绳磨损程度检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269015A (ja) 1993-03-17 1994-09-22 Matsushita Electric Ind Co Ltd 画像補正装置
JPH06276532A (ja) 1993-03-19 1994-09-30 Matsushita Electric Ind Co Ltd 自動コンバーゼンス補正装置
JP2940353B2 (ja) * 1993-08-24 1999-08-25 日本電気株式会社 投写型ディスプレイの幾何学歪調整装置
JPH08271852A (ja) 1995-03-29 1996-10-18 Nikon Corp 投射型表示装置
JPH09197999A (ja) * 1996-01-19 1997-07-31 Canon Inc 画像表示システムおよびその表示方法
JPH10200836A (ja) 1997-01-07 1998-07-31 Nikon Corp 画像投影装置
US6057881A (en) * 1997-06-04 2000-05-02 Sony Corporation Apparatus and method for calibrating a video display about a multiple of sensor positions by illuminating one calibration sensor at a time
US6606130B1 (en) 1999-06-30 2003-08-12 Thomson Licensing S.A. Projection video display with multiple photo sensors
JP3509652B2 (ja) 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
JP4507307B2 (ja) 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
JP2001166377A (ja) 1999-12-09 2001-06-22 Olympus Optical Co Ltd 画像投影システム
AU2002241607A1 (en) 2000-12-05 2002-06-18 The Trustees Of Columbia University In The City Of New York Method and apparatus for displaying images
JP3705180B2 (ja) 2001-09-27 2005-10-12 セイコーエプソン株式会社 画像表示システム、プログラム、情報記憶媒体および画像処理方法
JP4009850B2 (ja) 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
JP4009851B2 (ja) 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
JP3844075B2 (ja) * 2003-01-17 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3846592B2 (ja) * 2003-06-26 2006-11-15 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Also Published As

Publication number Publication date
KR100602622B1 (ko) 2006-07-19
TW200512638A (en) 2005-04-01
US7167645B2 (en) 2007-01-23
US20050105057A1 (en) 2005-05-19
JP2005124133A (ja) 2005-05-12
DE602004021885D1 (de) 2009-08-20
CN100495194C (zh) 2009-06-03
KR20050030872A (ko) 2005-03-31
CN1601369A (zh) 2005-03-30
TWI270811B (en) 2007-01-11
EP1519575B1 (en) 2009-07-08
EP1519575A1 (en) 2005-03-30

Similar Documents

Publication Publication Date Title
JP4055010B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3882929B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
KR100644211B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상 처리방법
JP3994290B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
KR100749069B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상 처리방법
JP3844076B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4232042B2 (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP5493340B2 (ja) 投写型表示装置および配置関係検出方法
JP2004312690A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2010130225A (ja) 投写型表示装置および投写用調整方法
US8328366B2 (en) Projector, computer program product, and exposure adjusting method
JP3882928B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP3882927B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP2008211356A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP5110260B2 (ja) プロジェクタ、プログラム、情報記憶媒体および画像歪み補正方法
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP5354163B2 (ja) プロジェクター、プログラムおよび情報記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070914

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071127

R150 Certificate of patent or registration of utility model

Ref document number: 4055010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees