JPWO2018154634A1 - 投写型表示装置、投写型表示装置の制御方法、及びプログラム - Google Patents
投写型表示装置、投写型表示装置の制御方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2018154634A1 JPWO2018154634A1 JP2019501790A JP2019501790A JPWO2018154634A1 JP WO2018154634 A1 JPWO2018154634 A1 JP WO2018154634A1 JP 2019501790 A JP2019501790 A JP 2019501790A JP 2019501790 A JP2019501790 A JP 2019501790A JP WO2018154634 A1 JPWO2018154634 A1 JP WO2018154634A1
- Authority
- JP
- Japan
- Prior art keywords
- projection
- coordinates
- image
- distortion correction
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
プロジェクタの小型軽量化と低コスト化を図る。投写光を投写面に投写する投写部（２）と、投写部（２）による投写光を補正する歪み補正データを格納する記憶部（３１）と、投写面上の一点までの距離を検出する距離検出部（５３）と、投写光の座標系における一点の座標を検出する座標検出部（５１）と、座標検出部（５１）にて求められた投写光の座標系における一点の座標と、記憶部（３１）に格納された歪み補正データから投写面の３次元形状を算出する３次元形状算出部（５４）と、を備える。
Description
本発明は、投写型表示装置、投写型表示装置の制御方法、及びプログラムに関する。
投写型表示装置（以下、プロジェクタともいう。）では、パーソナルコンピュータ（以下、ＰＣともいう。）などからプロジェクタへ出力された画像をスクリーンなどに投写する。このとき、プロジェクタと正対していないスクリーンや平面でない投写対象物（以下、これらをまとめて投写対象物という。）に対して画像を投写した場合、プロジェクタの投写レンズと投写対象物の各領域との間の投写距離の差によって生じる焦点ボケを電気的に解消するため、例えば、投写対象物の３次元形状を取得する技術が知られている。
プロジェクタには、投写対象物上で電子ペンを使用する形態のものがある。このようなプロジェクタでは、投写対象物上で使用される電子ペンのタッチ開始情報及び終了情報、投写対象物上での電子ペンの座標情報を取得するため、電子ペンの先端部から発せられる赤外線をカメラで撮影するが、平面でない投写対象物上における電子ペンの位置を取得する際には、投写対象物の３次元形状を取得する技術が用いられている。
投写対象物の３次元形状を取得する方法として次のような方法が存在する。例えば、投写レンズから投写した光が投写対象物で反射し、再び投写レンズに戻ってくるまでの時間から距離を計測することにより、３次元計測を行うＴＯＦ（Time of Flight）方式がある。また、異なる位置に配した２つのカメラで同時に投写対象物を撮影し、各カメラで得られる投写対象物の撮像画像上での位置の違いにより、三角測量の原理を用いて３次元計測を行うパッシブ三角測量方式（ステレオカメラ方式ともいう。）がある。これらの３次元形状を取得する方法は、対象となる多地点の座標を取得することを意味する。
特許文献１には、投写対象物までの距離を取得し、投写対象物の外形を検出した後、平均距離にフォーカスを合わせる技術が記載されている。
特許文献２には、投写対象物までの距離情報が入力された後、投写対象物の曲線歪みに対応して補正した画像情報を出力する技術が記載されている。
特許文献２には、投写対象物までの距離情報が入力された後、投写対象物の曲線歪みに対応して補正した画像情報を出力する技術が記載されている。
しかしながら、ＴＯＦ方式やパッシブ三角測量方式（ステレオカメラ方式）など、対象となる多地点の座標を取得する方法を採用すると、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図ることができなくなるという問題がある。
特許文献１では、撮像画像中のある同一の対象点の３次元位置を検出するために三角測量の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
特許文献２では、対象物までの距離情報を取得するためにＴＯＦ方式の一例である光パルス飛行法の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
特許文献２では、対象物までの距離情報を取得するためにＴＯＦ方式の一例である光パルス飛行法の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
本発明の目的は、上記課題を解決可能な投写型表示装置、投写型表示装置の制御方法、及びプログラムを提供することである。
本発明の投写型表示装置は、投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する３次元形状算出手段と、を備える。
また、本発明の投写型表示装置の制御方法は、投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する工程を備える。
さらに、本発明の投写型表示装置に実行させるためのプログラムは、投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する処理を実行させる。
本発明によれば、プロジェクタの小型軽量化を図ることができることに加え、プロジェクタの低コスト化を図ることができる。
以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
初めに、本発明の第１実施形態によるプロジェクタの概略構成を説明する。
図１は、第１実施形態によるプロジェクタの概略構成を示すブロック図の一例である。図１に示すように、本実施形態によるプロジェクタ１０１は、投写部２と、投写映像入力端子１と、記憶部３１と、操作部３２と、情報処理部３０と、距離センサ１０６とを含む。
（第１実施形態）
初めに、本発明の第１実施形態によるプロジェクタの概略構成を説明する。
図１は、第１実施形態によるプロジェクタの概略構成を示すブロック図の一例である。図１に示すように、本実施形態によるプロジェクタ１０１は、投写部２と、投写映像入力端子１と、記憶部３１と、操作部３２と、情報処理部３０と、距離センサ１０６とを含む。
投写部２は、投写映像入力端子１から入力された画像を、スクリーンを一例とする投写対象物１０４に投写する機能を有する。
記憶部３１は、プロジェクタ１０１の動作全体を制御するためのプログラムを格納している。また、記憶部３１は、投写部２の投写位置や光源の出力、投写映像入力端子１に入力された画像を一時的に記憶する機能などを有する。
操作部３２は、スイッチやボタンなどで構成され、プロジェクタ１０１に所定の動作を行わせるためにユーザが操作するものである。
情報処理部３０は、記憶部３１に格納されているプログラムをロードし、プロジェクタ１０１の動作全体を制御する。
距離センサ１０６は、後述するように、プロジェクタ１０１から投写対象物１０４上の一点（距離計測点１０７（図４））までの距離を計測する。
投写対象物１０４は画像を投写することができるものであれば、どのような構造のものであってもよい。例えば、投写対象物１０４として、壁などの構造体を用いることができる。
なお、本実施形態では、プロジェクタ１０１の投写方式は、例えば、短焦点方式など、どのような方式のものであってもよい。
記憶部３１は、プロジェクタ１０１の動作全体を制御するためのプログラムを格納している。また、記憶部３１は、投写部２の投写位置や光源の出力、投写映像入力端子１に入力された画像を一時的に記憶する機能などを有する。
操作部３２は、スイッチやボタンなどで構成され、プロジェクタ１０１に所定の動作を行わせるためにユーザが操作するものである。
情報処理部３０は、記憶部３１に格納されているプログラムをロードし、プロジェクタ１０１の動作全体を制御する。
距離センサ１０６は、後述するように、プロジェクタ１０１から投写対象物１０４上の一点（距離計測点１０７（図４））までの距離を計測する。
投写対象物１０４は画像を投写することができるものであれば、どのような構造のものであってもよい。例えば、投写対象物１０４として、壁などの構造体を用いることができる。
なお、本実施形態では、プロジェクタ１０１の投写方式は、例えば、短焦点方式など、どのような方式のものであってもよい。
次に、第１実施形態によるプロジェクタの全体構成を説明する。
図２は、第１実施形態のプロジェクタの全体構成を示す機能ブロック図の一例である。
図２を参照すると、プロジェクタ１０１は、投写映像入力端子１と、投写部２と、３次元形状検出部３と、フォーカス制御部４と、から構成される。
投写映像入力端子１は、プロジェクタ１０１から投写対象物１０４の投写面に投写される映像が入力される端子である。
投写部２は、投写映像入力端子１から入力された映像を投写対象物１０４（図４）に投写するものである。３次元形状検出部３は、投写対象物１０４の投写面の３次元形状を検出するものである。ここで、投写面の３次元形状とは、後述するように、プロジェクタ座標系の座標に変換された距離計測が行われた投写対象物１０４の一点の座標と、歪み補正データ格納部６に格納された歪み補正データから検出される投写対象物１０４の投写面の３次元形状である。
フォーカス制御部４は、３次元形状検出部３で検出された投写対象物１０４の投写面の３次元形状に基づいて、投写部２のフォーカス位置と焦点ボケ補正とを制御するものである。
図２は、第１実施形態のプロジェクタの全体構成を示す機能ブロック図の一例である。
図２を参照すると、プロジェクタ１０１は、投写映像入力端子１と、投写部２と、３次元形状検出部３と、フォーカス制御部４と、から構成される。
投写映像入力端子１は、プロジェクタ１０１から投写対象物１０４の投写面に投写される映像が入力される端子である。
投写部２は、投写映像入力端子１から入力された映像を投写対象物１０４（図４）に投写するものである。３次元形状検出部３は、投写対象物１０４の投写面の３次元形状を検出するものである。ここで、投写面の３次元形状とは、後述するように、プロジェクタ座標系の座標に変換された距離計測が行われた投写対象物１０４の一点の座標と、歪み補正データ格納部６に格納された歪み補正データから検出される投写対象物１０４の投写面の３次元形状である。
フォーカス制御部４は、３次元形状検出部３で検出された投写対象物１０４の投写面の３次元形状に基づいて、投写部２のフォーカス位置と焦点ボケ補正とを制御するものである。
投写部２の構成について説明する。投写部２は、投写映像入力端子１と、映像処理部５と、歪み補正データ格納部６と、歪み補正部７と、焦点ボケ補正部８と、投写レンズユニット部９と、から構成されている。
なお、投写部２は、図１の投写部２と、情報処理部３０と、記憶部３１とによって実現される。
投写映像入力端子１は、プロジェクタ１０１から投写対象物１０４の投写面に投写される映像が入力される端子である。映像処理部５は、投写映像入力端子１から入力された映像に対して、プロジェクタ１０１の表示デバイスの解像度への解像度変換、画質調整などを行う。
歪み補正データ格納部６は、歪み補正データを格納するものである。歪み補正部７は、映像処理部５で処理された映像が、プロジェクタ１０１と正対していない平面の投写対象物１０４や平面でない投写対象物１０４に投写されたとき、ユーザの視点の位置で視認される歪みを、歪み補正データ格納部６に格納されている歪み補正データにしたがって補正する。
なお、投写部２は、図１の投写部２と、情報処理部３０と、記憶部３１とによって実現される。
投写映像入力端子１は、プロジェクタ１０１から投写対象物１０４の投写面に投写される映像が入力される端子である。映像処理部５は、投写映像入力端子１から入力された映像に対して、プロジェクタ１０１の表示デバイスの解像度への解像度変換、画質調整などを行う。
歪み補正データ格納部６は、歪み補正データを格納するものである。歪み補正部７は、映像処理部５で処理された映像が、プロジェクタ１０１と正対していない平面の投写対象物１０４や平面でない投写対象物１０４に投写されたとき、ユーザの視点の位置で視認される歪みを、歪み補正データ格納部６に格納されている歪み補正データにしたがって補正する。
ここで、歪みについて簡単に説明する。プロジェクタ１０１は、ＰＣなどからプロジェクタ１０１へ出力された映像をスクリーンに投写する。このとき、プロジェクタ１０１がスクリーンに対して斜めに配置されており、プロジェクタに搭載されている投写レンズの光軸とスクリーン平面とが正対していない場合、スクリーン上に投写された投写映像を見ると台形に歪んだ形状となる。この台形に歪んだ形状の投写映像を歪み映像といい、スクリーンに投写された映像をより快適に視聴するためには、この台形に歪んだ形状の映像を補正する必要がある。また、平面でない面に投写された場合も投写された投写映像を見ると歪んだ形状となり、同様に補正する必要がある。
本実施形態では、プロジェクタ１０１と、投写対象物１０４と、視点１０８（図４）とが、それぞれ所定の位置に載置されていることを想定している。例えば、展示会の会場や美術館などでは、プロジェクタ１０１、投写対象物１０４、及び視点１０８の位置はある程度決まっている。ユーザが視点１０８から投写対象物１０４に投写された映像を見る場合、プロジェクタ１０１から投写対象物１０４に投写される映像は、予め歪みが補正された状態で投写対象物１０４に投写されている。そして、このときの歪み補正データは、歪み補正データ格納部６に予め格納されている。
本実施形態では、プロジェクタ１０１と、投写対象物１０４と、視点１０８（図４）とが、それぞれ所定の位置に載置されていることを想定している。例えば、展示会の会場や美術館などでは、プロジェクタ１０１、投写対象物１０４、及び視点１０８の位置はある程度決まっている。ユーザが視点１０８から投写対象物１０４に投写された映像を見る場合、プロジェクタ１０１から投写対象物１０４に投写される映像は、予め歪みが補正された状態で投写対象物１０４に投写されている。そして、このときの歪み補正データは、歪み補正データ格納部６に予め格納されている。
焦点ボケ補正部８は、歪み補正部７で補正された映像に対し、フォーカス制御部４で算出された焦点ボケのパラメータにしたがって、投写対象物１０４の表面上の投写距離の差によって生じる焦点ボケを電気的に補正するものである。ここで、焦点ボケとは、投写対象物表面１０４が複雑な形状を有する場合や投写対象物１０４を移動する場合に、投写レンズから投写対象物１０４までの投写距離の差により生じる投写対象物１０４に表示される映像がぼやけることをいう。
投写レンズユニット部９は、投写対象物１０４に投写される映像の焦点を調整するフォーカス機能、投写対象物１０４に投写される映像の大きさを調整するズーム機能、及び、投写対象物１０４に投写される映像の位置を上下左右に調整できるレンズシフト機能を有し、焦点ボケ補正部８で補正された映像を投写する。
投写レンズユニット部９は、投写対象物１０４に投写される映像の焦点を調整するフォーカス機能、投写対象物１０４に投写される映像の大きさを調整するズーム機能、及び、投写対象物１０４に投写される映像の位置を上下左右に調整できるレンズシフト機能を有し、焦点ボケ補正部８で補正された映像を投写する。
３次元形状検出部３の構成について説明する。３次元形状検出部３は、歪み補正対応領域抽出部１０と、プロジェクタ投写設計データ格納部１１と、投写視点画像物理座標算出部１２と、領域対応平面の法線ベクトル算出部１３と、距離センサ部１４と、距離センサキャリブレーションデータ格納部１５と、３次元データプロジェクタ座標変換部１６と、距離検出位置平面特定部１７と、平面四隅点３次元位置算出部１８と、から構成されている。
なお、３次元形状検出部３は、図１の情報処理部３０と、記憶部３１と、距離センサ１０６とによって実現される。
なお、３次元形状検出部３は、図１の情報処理部３０と、記憶部３１と、距離センサ１０６とによって実現される。
本実施形態では、後述する図４、図５で説明するように、プロジェクタ１０１から投写対象物１０４の投写面に投写される画像を複数の四角形領域に分割し、投写対象物１０４の投写領域は、分割された四角形領域の四隅点を通る平面の集合からなることとしている。そして、投写対象物１０４の表面形状を平面の集合体１２２として定義している。
歪み補正対応領域抽出部１０は、歪み補正データ格納部６に格納されている歪み補正データから、ユーザが或る視線方向１０９から見た歪み補正前の画像と歪み補正後の画像との間の四角形領域の対応と、補正前後の画像における当該四角形領域を形成する四隅点の座標を抽出するものである。
プロジェクタ投写設計データ格納部１１は、プロジェクタ１０１の投写に関わる設計データを格納するものである。投写視点画像物理座標算出部１２は、投写レンズユニット部９から得られるズーム位置及びレンズシフト位置と、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタ１０１の投写に関わる設計データと、に基づいて、次の値を算出するものである。
１つ目の値は、歪み補正後画像がプロジェクタ１０１の投写画像として投写対象物１０４に投写された場合、歪み補正対応領域抽出部１０で抽出された、当該歪み補正後画像を構成する各四角形領域の四隅点の座標を、後述する投写中心１０２を原点とする座標系（以下、プロジェクタ座標系ともいう。）の物理座標として算出する。
２つ目の値は、歪み補正前画像をユーザが或る視点１０８から見た場合、歪み補正対応領域抽出部１０で抽出された、当該歪み補正前画像を構成する各四角形領域の四隅点の座標を、視点１０８を原点とする視点座標系（以下、単に視点座標系ともいう。）の仮の物理座標として算出する。
歪み補正対応領域抽出部１０は、歪み補正データ格納部６に格納されている歪み補正データから、ユーザが或る視線方向１０９から見た歪み補正前の画像と歪み補正後の画像との間の四角形領域の対応と、補正前後の画像における当該四角形領域を形成する四隅点の座標を抽出するものである。
プロジェクタ投写設計データ格納部１１は、プロジェクタ１０１の投写に関わる設計データを格納するものである。投写視点画像物理座標算出部１２は、投写レンズユニット部９から得られるズーム位置及びレンズシフト位置と、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタ１０１の投写に関わる設計データと、に基づいて、次の値を算出するものである。
１つ目の値は、歪み補正後画像がプロジェクタ１０１の投写画像として投写対象物１０４に投写された場合、歪み補正対応領域抽出部１０で抽出された、当該歪み補正後画像を構成する各四角形領域の四隅点の座標を、後述する投写中心１０２を原点とする座標系（以下、プロジェクタ座標系ともいう。）の物理座標として算出する。
２つ目の値は、歪み補正前画像をユーザが或る視点１０８から見た場合、歪み補正対応領域抽出部１０で抽出された、当該歪み補正前画像を構成する各四角形領域の四隅点の座標を、視点１０８を原点とする視点座標系（以下、単に視点座標系ともいう。）の仮の物理座標として算出する。
ここで、プロジェクタ座標系について簡単に説明する。
図６Ａに打ち上げ有りの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図６Ｂに打ち上げ無しの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図６Ｃに画角を拡大した場合の画角、投写光軸及び投写中心の関係を模式的に示す。図６Ｄに上方へレンズシフトを行った場合の画角、投写光軸及び投写中心の関係を模式的に示す。なお、図６Ａは斜視図であり、図６Ｂ、図６Ｃ、及び図６Ｄは、図６ＡのＡ−Ａ断面図である。ここで、投写光軸は、画像形成面の中心を通り、かつ、画像形成面に垂直に交わる軸である。プロジェクタ座標系の原点を投写中心１０２とする。以下、プロジェクタ座標系を投写座標系ともいう。
図６Ａに打ち上げ有りの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図６Ｂに打ち上げ無しの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図６Ｃに画角を拡大した場合の画角、投写光軸及び投写中心の関係を模式的に示す。図６Ｄに上方へレンズシフトを行った場合の画角、投写光軸及び投写中心の関係を模式的に示す。なお、図６Ａは斜視図であり、図６Ｂ、図６Ｃ、及び図６Ｄは、図６ＡのＡ−Ａ断面図である。ここで、投写光軸は、画像形成面の中心を通り、かつ、画像形成面に垂直に交わる軸である。プロジェクタ座標系の原点を投写中心１０２とする。以下、プロジェクタ座標系を投写座標系ともいう。
打ち上げとレンズシフトについて簡単に説明する。通常のプロジェクタでは、テーブル上に置いたときにテーブルの高さよりも上に映像が投写されるように映像を投写光軸より上に投写する打ち上げが行われる。このことを、打ち上げという。また、レンズシフトとは、映像を投写光軸に対して上下左右の位置に移動して投写することをいい、打ち上げは、レンズシフトの一部である。
例えば、図６Ａに示すように、投写中心１０２は、投写エリア１０３の四隅の各点と投写レンズユニット部９からの映像信号に基づく画像を形成する表示デバイス１００の画像形成領域の四隅の各点とを、それぞれ対応する点同士で直線的に結んだ線が交わる点である。ここで、投写エリア１０３は、表示デバイス１００の画像形成領域の画像を上下左右で反転させたものである。なお、実際は、レンズでの屈折を伴うため、投写エリア１０３の四隅の各点と表示デバイス１００の画像形成領域の四隅の各点とを結ぶ線は直線とはならない。投写中心１０２は、投写レンズのレンズ構成を考慮して決定する必要がある。
例えば、図６Ａに示すように、投写中心１０２は、投写エリア１０３の四隅の各点と投写レンズユニット部９からの映像信号に基づく画像を形成する表示デバイス１００の画像形成領域の四隅の各点とを、それぞれ対応する点同士で直線的に結んだ線が交わる点である。ここで、投写エリア１０３は、表示デバイス１００の画像形成領域の画像を上下左右で反転させたものである。なお、実際は、レンズでの屈折を伴うため、投写エリア１０３の四隅の各点と表示デバイス１００の画像形成領域の四隅の各点とを結ぶ線は直線とはならない。投写中心１０２は、投写レンズのレンズ構成を考慮して決定する必要がある。
例えば、表示デバイス１００の画像形成領域の四隅の点をそれぞれＡ点、Ｂ点、Ｃ点、Ｄ点とし、投写エリア１０３の四隅の点をそれぞれａ点、ｂ点、ｃ点、ｄ点とする。ａ点、ｂ点、ｃ点、ｄ点はそれぞれＡ点、Ｂ点、Ｃ点、Ｄ点に対応し、ａ点、ｂ点、ｃ点、ｄ点の配置はＡ点、Ｂ点、Ｃ点、Ｄ点の配置に対して上下左右が反転した位置関係になる。この場合、投写中心１０２は、Ａ点から射出してレンズを介してａ点に到達する主光線と、Ｂ点から射出してレンズを介してｂ点に到達する主光線と、Ｃ点から射出してレンズを介してｃ点に到達する主光線と、Ｄ点から射出してレンズを介してｄ点に到達する主光線とが互いに交わる点を示す。
図６Ａに示した打ち上げ有りの例では、投写光軸１０５は投写エリア１０３の下端の中心部を通り、投写中心１０２は、投写光軸１０５よりも上側に位置している。この場合、投写中心軸は、投写光軸１０５と一致しない。
図６Ａに示した打ち上げ有りの例では、投写光軸１０５は投写エリア１０３の下端の中心部を通り、投写中心１０２は、投写光軸１０５よりも上側に位置している。この場合、投写中心軸は、投写光軸１０５と一致しない。
図６Ｂに示した打ち上げ無しの例では、投写光軸１０５は投写エリア１０３の中心部を通り、投写中心点１０２は、投写光軸１０５上に位置している。この場合、投写中心軸は、投写光軸１０５と一致する。
図６Ｃは、図６Ｂの例と比較して、画角を拡大した例である。図６Ｂと同様、投写光軸１０５は投写エリア１０３の中心部を通り、投写中心１０２は投写光軸１０５上に位置しているが、図６Ｂの例よりも、投写中心点１０２は表示デバイス１００側に配置されている。この場合も、投写中心軸は、投写光軸１０５と一致する。
図６Ｃは、図６Ｂの例と比較して、画角を拡大した例である。図６Ｂと同様、投写光軸１０５は投写エリア１０３の中心部を通り、投写中心１０２は投写光軸１０５上に位置しているが、図６Ｂの例よりも、投写中心点１０２は表示デバイス１００側に配置されている。この場合も、投写中心軸は、投写光軸１０５と一致する。
図６Ｄは、図６Ｂの例と比較して、投写エリア１０３が上方へシフトするようにレンズシフトを行った例である。図６Ａの例と同様、投写光軸１０５は投写エリア１０３の下端の中心部を通り、投写中心１０２は、投写光軸１０５よりも上側に位置している。この場合、投写中心軸は、投写光軸１０５と一致しない。
図６Ａから図６Ｄの例から分かるように、画角、投写中心軸及び投写中心点、ズーム位置やレンズシフト位置に応じて変化する。換言すると、画角、投写中心軸及び投写中心は、ズーム位置やレンズシフト位置に応じて決定する必要がある。
図６Ａから図６Ｄの例から分かるように、画角、投写中心軸及び投写中心点、ズーム位置やレンズシフト位置に応じて変化する。換言すると、画角、投写中心軸及び投写中心は、ズーム位置やレンズシフト位置に応じて決定する必要がある。
図２に戻り、領域対応平面の法線ベクトル算出部１３は、投写視点画像物理座標算出部１２で算出された各四角形領域の、歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、歪み補正前画像の視点画像としての視点座標系における四隅点の仮の物理座標と、に基づいて、投写対象物１０４に投写された各四角形領域が平面であると仮定したときの、その平面に対する法線ベクトル１２３（図８）を算出するものである。
距離センサ部１４は、投写対象物１０４の表面の一点（距離測定点１０７（図４））までの距離を計測するものである。
距離センサキャリブレーションデータ格納部１５は、次の値を格納するものである。１つ目の値は、距離センサ１０６（図３）の座標系とプロジェクタ１０１の座標系との位置関係を計測するキャリブレーションを行った結果、計算された距離センサ１０６の座標系をプロジェクタの座標系に変換するためのパラメータである回転量と並進量を格納する。２つ目の値は、距離センサ１０６の座標系とプロジェクタ１０１の座標系との位置関係を計測するキャリブレーションを行ったときのズーム位置とレンズシフト位置とを、基準ズーム位置と基準レンズシフト位置として格納する。
距離センサ部１４は、投写対象物１０４の表面の一点（距離測定点１０７（図４））までの距離を計測するものである。
距離センサキャリブレーションデータ格納部１５は、次の値を格納するものである。１つ目の値は、距離センサ１０６（図３）の座標系とプロジェクタ１０１の座標系との位置関係を計測するキャリブレーションを行った結果、計算された距離センサ１０６の座標系をプロジェクタの座標系に変換するためのパラメータである回転量と並進量を格納する。２つ目の値は、距離センサ１０６の座標系とプロジェクタ１０１の座標系との位置関係を計測するキャリブレーションを行ったときのズーム位置とレンズシフト位置とを、基準ズーム位置と基準レンズシフト位置として格納する。
３次元データプロジェクタ座標変換部１６は、距離センサ１０６で検出された距離測定点１０７における３次元座標（０、０、Ｚ´´）を、距離センサキャリブレーションデータ格納部１５に格納されている回転量、並進量、基準ズーム位置、基準レンズシフト位置、投写レンズユニット部９から得られるズーム位置、レンズシフト位置、及び、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタ１０１の投写に関わる設計データから、投写中心１０２を原点とするプロジェクタ座標系に変換する。
距離検出位置平面特定部１７は、３次元データプロジェクタ座標変換部１６でプロジェクタ座標系に変換された距離測定点１０７の３次元座標を含む平面を特定し、その平面における四隅点の３次元座標を計算するものである。この計算は、投写視点画像物理座標算出部１２において算出された各四角形領域の歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部１３で算出された投写対象物１０４に投写された各四角形の領域に対する平面の法線ベクトルと、に基づいて行われる。
距離検出位置平面特定部１７は、３次元データプロジェクタ座標変換部１６でプロジェクタ座標系に変換された距離測定点１０７の３次元座標を含む平面を特定し、その平面における四隅点の３次元座標を計算するものである。この計算は、投写視点画像物理座標算出部１２において算出された各四角形領域の歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部１３で算出された投写対象物１０４に投写された各四角形の領域に対する平面の法線ベクトルと、に基づいて行われる。
平面四隅点３次元位置算出部１８は、距離検出位置平面特定部１７で特定された距離測定点１０７の３次元座標を含む平面に対応する領域と、その平面の方程式のパラメータと、平面上の四隅点の３次元座標と、から、残りの領域に対応する平面の四隅点の３次元座標を算出するものである。この計算は、投写視点画像物理座標算出部１２で算出された各四角形領域の、歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部１３で算出された、投写対象物１０４に投写された各四角形の領域に対する平面の法線ベクトル１２３と、に基づいて行われる。
フォーカス制御部４の構成について説明する。フォーカス制御部４は、フォーカス位置テーブル格納部１９と、焦点ボケパラメータテーブル格納部２０と、フォーカス位置・焦点ボケパラメータ算出部２１と、から構成されている。
なお、フォーカス制御部４は、図１の情報処理部３０と記憶部３１とによって実現される。
なお、フォーカス制御部４は、図１の情報処理部３０と記憶部３１とによって実現される。
フォーカス位置テーブル格納部１９は、ズーム位置と投写距離に対して焦点が合う投写レンズユニット部９におけるフォーカスの位置を格納するものである。焦点ボケパラメータテーブル格納部２０は、フォーカス位置と投写距離に対する焦点ボケパラメータを格納するものである。フォーカス位置・焦点ボケパラメータ算出部２１は、投写対象物１０４におけるフォーカスが最適になるようにフォーカス位置と焦点ボケパラメータを算出するものである。この計算は、３次元形状検出部３による３次元位置検出結果と、投写レンズユニット部９から得られるズーム位置からフォーカス位置テーブル格納部１９に格納されているフォーカス位置テーブルと、焦点ボケパラメータテーブル格納部２０に格納されている焦点ボケパラメータテーブルと、を参照して行われる。
距離センサを搭載したプロジェクタ１０１の投写方向と投写エリアとの関係を、図３を参照して説明する。本実施形態のプロジェクタ１０１では、必ず投射対象物１０４の表面上におけるプロジェクタ１０１の投射エリア内１０３の１点を計測できるように、距離センサ１０６の方向が設定されている。すなわち、プロジェクタ１０１のズーム機能により投写映像が拡大されたり、レンズシフト機能により投写映像の位置が上下左右に移動されたりしても、投写対象物１０４の表面上における投写エリア１０３内の一点を必ず計測できるようになっている。この点について図４を用いて説明する。
図４は、距離センサ１０６を搭載したプロジェクタ１０１の投写方向と、投写対象物１０４と、視点１０８との関係を示したものである。図４に示すように、プロジェクタ１０１から投写対象物１０４に対して歪み補正を施された映像が投写され、視点１０８の位置において、投写された映像を歪みのない状態で視線方向１０９から視認している状態となっている。この場合、投写映像上の一点である距離測定点１０７までの距離から距離測定点１０７の３次元座標（０、０、Ｚ´´）を算出し、歪み補正のためのデータを使って投射対象物１０４の３次元形状を算出するようになっている。さらに、その３次元形状を使用して投写対象物１０４におけるフォーカスが最適になるよう、フォーカス位置の調整と焦点ボケ補正を行うようにしている。このように、本実施形態では、視点１０８の位置（視線方向１０９）において歪みが視認されないように歪み補正データが事前に作成されている。
歪み補正データの作成方法としては、例えば、次のような方法が挙げられる。第１の方法として、視点１０８の位置にカメラを設置し、投写対象物１０４に投写された画像を撮像し、その歪み具合から歪み補正データを作成する方法がある。第２の方法として、視点１０８の位置に立ったユーザが、投写対象物１０４に投写され歪んだ画像を見ながらユーザインタフェースを使用して歪みが解消するように調整し、歪み補正データを作成する方法がある。
本実施形態のプロジェクタ１０１の動作を、図２を参照しつつ簡単に説明する。
本実施形態のプロジェクタ１０１は、投射部２、３次元形状検出部３、フォーカス制御部４で構成されている。
投射部２において、投射映像入力端子１へ入力された映像の解像度を、プロジェクタ１０１の表示デバイスの解像度へ解像度を変換し、画質調整などを行う。投射対象物１０４に投射されたときの視点の位置で視認される画像に歪みが生じないように歪み補正を行い、投射対象物１０４の表面上の投射距離の差により生じる焦点ボケを補正し、投写レンズによりフォーカス、ズーム、レンズシフト調整を行って投写する。
３次元形状検出部３において、歪み補正のためのデータと、投写レンズのズーム位置、レンズシフト位置を参照しながら距離センサ１０６を使って投射対象物１０４の３次元形状を検出する。
フォーカス制御部４において、投射部２における投写レンズのズーム位置と３次元形状検出部３で検出した投射対象物１０４の３次元形状から、フォーカス位置と焦点ボケ補正のためのパラメータを算出し、投写部２に設定することにより、投射対象物１０４に投写された映像の焦点ボケを低減する構成となっている。
本実施形態のプロジェクタ１０１は、投射部２、３次元形状検出部３、フォーカス制御部４で構成されている。
投射部２において、投射映像入力端子１へ入力された映像の解像度を、プロジェクタ１０１の表示デバイスの解像度へ解像度を変換し、画質調整などを行う。投射対象物１０４に投射されたときの視点の位置で視認される画像に歪みが生じないように歪み補正を行い、投射対象物１０４の表面上の投射距離の差により生じる焦点ボケを補正し、投写レンズによりフォーカス、ズーム、レンズシフト調整を行って投写する。
３次元形状検出部３において、歪み補正のためのデータと、投写レンズのズーム位置、レンズシフト位置を参照しながら距離センサ１０６を使って投射対象物１０４の３次元形状を検出する。
フォーカス制御部４において、投射部２における投写レンズのズーム位置と３次元形状検出部３で検出した投射対象物１０４の３次元形状から、フォーカス位置と焦点ボケ補正のためのパラメータを算出し、投写部２に設定することにより、投射対象物１０４に投写された映像の焦点ボケを低減する構成となっている。
本実施形態のプロジェクタ１０１の動作を、図２を参照しつつ詳細に説明する。
まず、投写部２の動作について説明する。投写部２に対して投写映像入力端子１から映像が入力されると、映像処理部５において、プロジェクタ１０１の表示デバイスの解像度に変換され、画質調整などが行われる。
歪み補正部７では、予め歪み補正データ格納部６に格納されている歪み補正データにしたがって、プロジェクタ１０１と正対していない平面の投写対象物１０４や平面でない投写対象物１０４に映像が投写されたとき、図４の視点１０８の位置において視線方向１０９から視認される映像に歪みが生じないよう歪み補正が行われる。
焦点ボケ補正部８では、投写対象物１０４の表面上の投写距離の差により生じる焦点ボケが補正される。投写レンズユニット部９では、投写対象物１０４に投写される映像の焦点を調整するフォーカス調整、投写対象物１０４に投写される映像の大きさを調整するズーム調整、及び、投写対象物１０４に投写される映像の位置を上下左右に調整するレンズシフト調整が行われ、投写対象物１０４に投写される。焦点ボケ補正部８における焦点ボケ補正のためのパラメータと、投写レンズユニット部９における投写映像の焦点調整のためのフォーカス調整の位置は、後述するフォーカス制御部４によって設定される。
まず、投写部２の動作について説明する。投写部２に対して投写映像入力端子１から映像が入力されると、映像処理部５において、プロジェクタ１０１の表示デバイスの解像度に変換され、画質調整などが行われる。
歪み補正部７では、予め歪み補正データ格納部６に格納されている歪み補正データにしたがって、プロジェクタ１０１と正対していない平面の投写対象物１０４や平面でない投写対象物１０４に映像が投写されたとき、図４の視点１０８の位置において視線方向１０９から視認される映像に歪みが生じないよう歪み補正が行われる。
焦点ボケ補正部８では、投写対象物１０４の表面上の投写距離の差により生じる焦点ボケが補正される。投写レンズユニット部９では、投写対象物１０４に投写される映像の焦点を調整するフォーカス調整、投写対象物１０４に投写される映像の大きさを調整するズーム調整、及び、投写対象物１０４に投写される映像の位置を上下左右に調整するレンズシフト調整が行われ、投写対象物１０４に投写される。焦点ボケ補正部８における焦点ボケ補正のためのパラメータと、投写レンズユニット部９における投写映像の焦点調整のためのフォーカス調整の位置は、後述するフォーカス制御部４によって設定される。
３次元形状検出部３の動作について説明する前に３次元形状検出の原理について図５を参照して説明する。
図５は、プロジェクタ１０１から歪み補正を施されて投写された映像が、平面でない投写対象物１０４に投写され、その映像を、図４の視点１０８の位置で視線方向１０９から歪みのない映像を視認している状態、及び、距離センサ１０６を使用して投写対象物１０４上の一点（距離測定点１０７）までの距離を計測している状態を示している。
図５は、プロジェクタ１０１から歪み補正を施されて投写された映像が、平面でない投写対象物１０４に投写され、その映像を、図４の視点１０８の位置で視線方向１０９から歪みのない映像を視認している状態、及び、距離センサ１０６を使用して投写対象物１０４上の一点（距離測定点１０７）までの距離を計測している状態を示している。
プロジェクタ１０１から投写された画像を複数の四角形領域に分け、投写対象物１０４を、投写されたそれぞれの四角形の領域の四隅点を通る平面の集合とし、その表面形状を平面の集合体１２２のように定義する。１つは、プロジェクタ１０１の投写画像として投写対象物１０４に投写される歪み補正を施された歪み補正後画像１１８を構成する各四角形領域のプロジェクタ座標系における四隅点の座標である。もう１つは、これらに対応した視点１０８の位置で視線方向１０９から視認される歪みのない画像である視点画像としての歪み補正前画像１２０を構成する四角形領域の視点画像系における四隅点の座標である。両者の対応により、この四角形領域に対する投写対象物１０４におけるそれぞれの平面の法線ベクトルを求めることができる。
距離センサ１０６による投写対象物１０４上の距離測定点１０７の３次元座標（０、０、Ｚ´´）が、距離センサ１０６の距離測定開始点を原点とする距離センサ座標系からプロジェクタ座標系に変換されると、距離測定点１０７が含まれる平面が分かる。この平面の法線ベクトルを有し距離測定点１０７を通る平面という条件から、その平面の方程式のパラメータが分かる。そして、その平面に映像が投写された四角形領域の四隅点の３次元座標が分かり、その平面に投写された四角形領域の四隅点の３次元座標を元にして、隣接する平面のそれぞれについて、その法線ベクトルを有し、この四隅点のいくつかを通る平面という条件から、その平面の方程式のパラメータが分かる。すなわち、その平面に画像が投写された四角形領域の四隅点の３次元座標が分かるため、これらのさらに隣接する平面といった具合に同様の方法で次々とそれぞれの平面に投写された四角形領域の四隅点の３次元座標が分かることになる。
結果的に、各四角形領域の四隅点の投写対象物１０４上での３次元座標が分かることになるので、投写対象物１０４の３次元形状が分かることになる。
結果的に、各四角形領域の四隅点の投写対象物１０４上での３次元座標が分かることになるので、投写対象物１０４の３次元形状が分かることになる。
３次元形状検出部３の各部の動作について図２に戻り説明する。歪み補正対応領域抽出部１０は、歪み補正データ格納部６に格納されている歪み補正データから図５に示すような視点画像としての歪み補正前画像１２０と歪み補正後画像１１８の四角形領域の対応とその補正前後の画像における四隅点の座標を抽出する。
具体的には、図７に示すように、視点画像としての歪み補正前画像１２０において、画像を四角形領域に分割し、分割したそれぞれの四角形領域の四隅点の座標に対する歪み補正後画像１１８の四隅点の座標を、歪み補正データ格納部６に格納されている歪み補正データを使って計算する。この結果、歪み補正後画像１１８と視点画像としての歪み補正前画像１２０との間における各四角形領域と四隅点の座標の対応が抽出される。
具体的には、図７に示すように、視点画像としての歪み補正前画像１２０において、画像を四角形領域に分割し、分割したそれぞれの四角形領域の四隅点の座標に対する歪み補正後画像１１８の四隅点の座標を、歪み補正データ格納部６に格納されている歪み補正データを使って計算する。この結果、歪み補正後画像１１８と視点画像としての歪み補正前画像１２０との間における各四角形領域と四隅点の座標の対応が抽出される。
なお、歪み補正データ格納部６に格納されているデータは、例えば、歪み補正前画像と歪み補正後画像の点の対応テーブルであってもよいし、歪み補正前画像から歪み補正後画像への変換式のパラメータであってもよい。すなわち、どのような形式で格納されていたとしても、歪み補正前画像から歪み補正後画像を作成するためのデータであれば、上述した両者に対応する四隅点の座標を求めることができる。
次に、投写視点画像物理座標算出部１２では、図５で説明した歪み補正後画像１１８について、プロジェクタの投射画像として歪み補正対応領域抽出部１０で抽出した歪み補正後画像１１８上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像１１８の物理座標１１９を算出する。
また、視点画像としての歪み補正前画像１２０について、視点位置における画像として歪み補正対応領域抽出部１０で抽出した視点画像としての歪み補正前画像１２０上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標１２１を算出する。このとき、視点座標系における画像の絶対的な座標値は未知であるため、歪み補正前の仮の物理座標１２１は仮のスケールを設定して算出する。
そして、この算出の際には、投写レンズユニット部９から得られるズーム位置、レンズシフト位置と、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投写に関わる設計データと、が使用される。
また、視点画像としての歪み補正前画像１２０について、視点位置における画像として歪み補正対応領域抽出部１０で抽出した視点画像としての歪み補正前画像１２０上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標１２１を算出する。このとき、視点座標系における画像の絶対的な座標値は未知であるため、歪み補正前の仮の物理座標１２１は仮のスケールを設定して算出する。
そして、この算出の際には、投写レンズユニット部９から得られるズーム位置、レンズシフト位置と、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投写に関わる設計データと、が使用される。
ここで、図５で説明を行ったプロジェクタ座標系（Ｘ、Ｙ、Ｚ）における歪み補正後画像の物理座標１１９は同次座標
ｘｐ＝（ｘｐ、ｙｐ、１）Ｔの形で求められ、
視点座標系（Ｘ´、Ｙ´、Ｚ´）における歪み補正前画像の仮の物理座標１２１は同次座標
ｘν＝（ｘν、ｙν、１）Ｔの形で求められる。
ｘｐ＝（ｘｐ、ｙｐ、１）Ｔの形で求められ、
視点座標系（Ｘ´、Ｙ´、Ｚ´）における歪み補正前画像の仮の物理座標１２１は同次座標
ｘν＝（ｘν、ｙν、１）Ｔの形で求められる。
次に、領域対応平面の法線ベクトル算出部１３では、投写対象物１０４に投写された各四角形領域が平面であるとしたときのその法線ベクトル１２３を算出する。この計算は、次の２つの座標に基づいて算出される。１つは、投射視点画像物理座標算出部１２で算出された歪み補正後画像１１８上の各四角形の領域の投射画像としてのプロジェクタ座標系における歪み補正後画像の物理座標１１９上の四隅点の物理座標である。もう１つは、視点画像としての歪み補正前の画像１２０上のそれに対応する各四角形の領域の視点画像としての視点座標系における歪み補正前の仮の物理座標１２１上の四隅点の仮の物理座標である。
ここで、プロジェクタ座標系（Ｘ、Ｙ、Ｚ）における歪み補正後画像の物理座標１１９の同次座標ｘｐ＝（ｘｐ、ｙｐ、１）Ｔと、視点座標系（Ｘ´、Ｙ´、Ｚ´）における歪み補正前画像の仮の物理座標１２１の同次座標ｘν＝（ｘν、ｙν、１）Ｔは、３×３の行列であるＴを使って次の数式（１）で表すことができる。
ｘν∝Ｔｘｐ （１）
ここで、Ｔは、プロジェクタ座標系から視点座標系への回転Ｒ、並進Ｘ０、平面の方程式Ｚ＝ｐＸ＋ｑＹ＋ｒのパラメータｐ、ｑ、ｒを用いて次の数式（２）で表され、
ｘν∝Ｔｘｐ （１）
ここで、Ｔは、プロジェクタ座標系から視点座標系への回転Ｒ、並進Ｘ０、平面の方程式Ｚ＝ｐＸ＋ｑＹ＋ｒのパラメータｐ、ｑ、ｒを用いて次の数式（２）で表され、
４組のｘｐとｘνが分かれば、数式（１）、（２）を解くことで法線ベクトル１２３（ｐ、ｑ、−１）を求めることができる。
すなわち、図８に示すように、歪み補正後画像１１８上の各四角形の領域の投射画像としてのプロジェクタ座標系における歪み補正後画像の物理座標１１９上の四隅点の物理座標と、視点画像としての歪み補正前画像１２０上のそれに対応する各四角形の領域の視点画像としての視点座標系における視点画像としての歪み補正前画像の仮の物理座標１２１上の四隅点の仮の物理座標から、各四角形の領域に対応する投写対象物１０４上の平面の法線ベクトル１２３を求めることができる。
図８は、視点座標系における視点画像としての歪み補正前画像の仮の物理座標上の四隅点の物理座標と、歪み補正後画像の物理座標の四隅点の物理座標とから、四角形領域に対応する投写対象物上の平面の法線ベクトルを求めることを説明する図である。
図８は、視点座標系における視点画像としての歪み補正前画像の仮の物理座標上の四隅点の物理座標と、歪み補正後画像の物理座標の四隅点の物理座標とから、四角形領域に対応する投写対象物上の平面の法線ベクトルを求めることを説明する図である。
一方、距離センサ１０６では、投写対象物１０４の一点（距離測定点１０７）までの距離を計測し、その３次元座標（０、０、Ｚ´´）を検出し、距離測定点１０７の３次元位置とする。このとき、上記したように、投写対象物１０４の表面における距離測定点１０７は、必ず投写エリア１０３内に位置する。
なお、距離センサ１０６を用いて距離を計測する方法としては様々な方式が存在し、本実施形態では距離センサ１０６を用いて距離を計測する方法を特に限定しない。距離センサ１０６を用いて距離を計測する方法としては、（Ａ）投写した光が対象物で反射し、戻ってくるまでの時間から距離を計測するＴＯＦ方式、（Ｂ）投写し対象物で反射した光を検出し、その検出位置から三角測量の原理を用いて距離を計測する三角測量方式、などがある。何れにしろ、一点の距離のみを取得する距離センサで足りるので、簡易な距離センサで構成することが可能であり、プロジェクタの小型化と低コスト化を図ることが可能である。
なお、距離センサ１０６を用いて距離を計測する方法としては様々な方式が存在し、本実施形態では距離センサ１０６を用いて距離を計測する方法を特に限定しない。距離センサ１０６を用いて距離を計測する方法としては、（Ａ）投写した光が対象物で反射し、戻ってくるまでの時間から距離を計測するＴＯＦ方式、（Ｂ）投写し対象物で反射した光を検出し、その検出位置から三角測量の原理を用いて距離を計測する三角測量方式、などがある。何れにしろ、一点の距離のみを取得する距離センサで足りるので、簡易な距離センサで構成することが可能であり、プロジェクタの小型化と低コスト化を図ることが可能である。
次に、３次元データプロジェクタ座標変換部１６では、距離センサ１０６の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点１０７の３次元座標（０、０、Ｚ´´）を、投写中心１０２を原点としたプロジェクタ座標系に変換する。この変換では、次の３つのものが使用される。
１つ目は、距離センサ座標系とプロジェクタ座標系の位置関係を計測するキャリブレーションを行って距離センサキャリブレーションデータ格納部１５に予め格納されている距離センサ座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。２つ目は、このキャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。３つ目は、投写レンズユニット部９から得られるズーム位置とレンズシフト位置である。
１つ目は、距離センサ座標系とプロジェクタ座標系の位置関係を計測するキャリブレーションを行って距離センサキャリブレーションデータ格納部１５に予め格納されている距離センサ座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。２つ目は、このキャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。３つ目は、投写レンズユニット部９から得られるズーム位置とレンズシフト位置である。
この点について図４を用いて説明する。距離センサ１０６は、プロジェクタ１０１の投写中心１０２と異なる位置に備えられており、距離測定の原点（距離測定開始点）は投写中心１０２と一致せず、また、その方向もプロジェクタ１０１の投写方向と一致していない。したがって、距離センサ１０６で計測した距離測定点１０７の３次元座標（０、０、Ｚ´´）は、プロジェクタ座標系と異なっている。このため、距離センサ１０６で計測した距離測定点１０７における投写対象物１０４の３次元座標（０、０、Ｚ´´）を、プロジェクタ座標系に変換する必要がある。そして、この変換は、３つの座標軸に対する回転量と、３つの座標軸に対する移動を表す並進量と、によって定義することができる。この回転量と並進量とを求めることをキャリブレーションという。
プロジェクタ１０１においては、プロジェクタ座標系（Ｘ、Ｙ、Ｚ）の原点となる投写中心１０２の位置がいつも同じではなく、ズームやレンズシフトにより移動する。このため、距離センサキャリブレーションデータ格納部１５には、上記回転量と並進量と共に、キャリブレーションを行ったときのズーム位置、レンズシフト位置が、それぞれ基準ズーム位置、基準レンズシフト位置として格納されている。
プロジェクタ１０１においては、プロジェクタ座標系（Ｘ、Ｙ、Ｚ）の原点となる投写中心１０２の位置がいつも同じではなく、ズームやレンズシフトにより移動する。このため、距離センサキャリブレーションデータ格納部１５には、上記回転量と並進量と共に、キャリブレーションを行ったときのズーム位置、レンズシフト位置が、それぞれ基準ズーム位置、基準レンズシフト位置として格納されている。
３次元位置データプロジェクタ座標変換部１６では、具体的に、次の（ａ）から（ｅ）の処理を行う。
（ａ）プロジェクタ投写設計データ格納部１１に格納されている投写に関わる設計データと、基準ズーム位置、基準レンズシフト位置に基づいて、キャリブレーションを行ったときの基準投写中心点の座標を求める。
（ｂ）投写レンズユニット９から得られる現在のズーム位置、レンズシフト位置から、同様に現在の投写中心点の座標を求める。
（ｃ）（ａ）で求めた基準投写中心点の座標から、（ｂ）で求めた現在の投写中心点の座標への変換するための並進量を求める。
（ｄ）距離センサ１０６で計測した距離測定点１０７の３次元座標（０、０、Ｚ´´）を、距離センサキャリブレーションデータ格納部１５に格納されている回転量と並進量により座標変換する。
（ｅ）現在のズーム位置とレンズシフト位置に合わせて、基準投写中心点の座標から現在の投写中心点の座標への並進量分だけ座標を移動する。
これらの処理を行うことにより、距離センサ１０６からの距離センサ座標系（Ｘ´´、Ｙ´´、Ｚ´´）における３次元座標（０、０、Ｚ´´）を、現在の投写中心１０２を原点とするプロジェクタ座標系（Ｘ、Ｙ、Ｚ）に変換する。
（ａ）プロジェクタ投写設計データ格納部１１に格納されている投写に関わる設計データと、基準ズーム位置、基準レンズシフト位置に基づいて、キャリブレーションを行ったときの基準投写中心点の座標を求める。
（ｂ）投写レンズユニット９から得られる現在のズーム位置、レンズシフト位置から、同様に現在の投写中心点の座標を求める。
（ｃ）（ａ）で求めた基準投写中心点の座標から、（ｂ）で求めた現在の投写中心点の座標への変換するための並進量を求める。
（ｄ）距離センサ１０６で計測した距離測定点１０７の３次元座標（０、０、Ｚ´´）を、距離センサキャリブレーションデータ格納部１５に格納されている回転量と並進量により座標変換する。
（ｅ）現在のズーム位置とレンズシフト位置に合わせて、基準投写中心点の座標から現在の投写中心点の座標への並進量分だけ座標を移動する。
これらの処理を行うことにより、距離センサ１０６からの距離センサ座標系（Ｘ´´、Ｙ´´、Ｚ´´）における３次元座標（０、０、Ｚ´´）を、現在の投写中心１０２を原点とするプロジェクタ座標系（Ｘ、Ｙ、Ｚ）に変換する。
以上により、歪み補正後画像１１８上の各四角形の領域の投写画像としてのプロジェクタ座標系における歪み補正後画像の物理座標１１９上の四隅点の物理座標、投写対象物１０４に投写された各四角形の領域に対する平面の法線ベクトル１２３、プロジェクタ座標系（Ｘ、Ｙ、Ｚ）に変換された距離測定点１０７の３次元座標が求められた。そして、ここからは、各四角形の領域に対する平面の方程式を算出し、それぞれの平面における四隅点の３次元座標を求めていく。
まず、距離検出位置平面特定部１７では、３次元位置データプロジェクタ座標変換部１６でプロジェクタ座標系に変換された距離測定点１０７の３次元座標を含む平面を特定する。これは、投写視点画像物理座標算出部１２で算出されたプロジェクタ座標系における歪み補正後画像の物理座標１１９上の四隅点の物理座標と、領域対応平面の法線ベクトル算出部１３で算出された各四角形の領域に対する平面の法線ベクトル１２３と、に基づいて特定される。距離検出位置平面特定部１７では、特定された平面の方程式のパラメータと四隅点の３次元座標とを取得する。
この点に関し図９を用いて説明する。具体的には、各四角形の領域について、その対応する平面について、それぞれの法線ベクトル１２３を有し、距離センサ部１４で検出された距離測定点１０７の３次元座標を通る平面の方程式のパラメータを求める。次に、平面に投写されたプロジェクタ座標系における四隅点の３次元座標を、この平面と、歪み補正後画像の物理座標１１９上の四隅点の物理座標とプロジェクタ座標系の原点（投写中心１０２）を結ぶ直線との交点として求める。そして、平面における距離センサ部１４で検出された距離測定点１０７の３次元座標が四隅点の内側にある唯一の平面を距離検出位置平面として特定する。
次に、平面四隅点３次元位置算出部１８では、距離検出位置平面特定部１７で特定された距離検出位置平面における四隅点の３次元座標を使用して、残りの四角形領域に対応する平面の四隅点の３次元位置を算出する。この計算は、投写視点画像物理座標算出部１２で算出された歪み補正後画像の物理座標１１９上の四隅点の物理座標と、領域対応平面の法線ベクトル算出部１３で算出された各四角形領域に対する平面の法線ベクトル１２３と、に基づいて行われる。
具体的には、距離検出位置平面特定部１７で特定された平面上の四隅点から、隣接する平面の方程式のパラメータを、その法線ベクトル１２３を使用して算出する。次に、平面に投写された、その対応する領域のプロジェクタ座標系における四隅点の３次元座標を、平面と、歪み補正後画像の物理座標１１９上の四隅点の物理座標とプロジェクタ座標系の原点（投写中心１０２）を結ぶ直線との交点として求める。隣接する平面のパラメータ及び四隅点の３次元座標が求まれば、そのさらに隣接する平面といった具合に次々に各四角形の領域に対する平面上の四隅点の３次元座標が求まる。
次に、フォーカス制御部４の動作について説明する。フォーカス制御部４は、フォーカス位置テーブル格納部１９と、焦点ボケパラメータテーブル格納部２０と、フォーカス位置・焦点ボケパラメータ算出部２１と、から構成される。
なお、フォーカス制御部４は、図１の情報処理部３０と記憶部３１とによって実現される。
なお、フォーカス制御部４は、図１の情報処理部３０と記憶部３１とによって実現される。
フォーカス位置・焦点ボケパラメータ算出部２１では、焦点ボケパラメータテーブル格納部２０に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとから、各四角形の領域に対応する平面における四隅点におけるボケ具合が最も小さくなる投写距離を求める。このとき、平面四隅点３次元位置算出部１８で算出された各四角形領域に対応する投写対象物１０４上の平面の四隅点の３次元座標のＺ座標を投写距離とする。
また、フォーカス位置・焦点ボケパラメータ算出部２１では、投射レンズユニット部９から得られるズーム位置と、フォーカス位置テーブル格納部１９に格納されているズーム位置と投射距離に対して焦点が合うフォーカスの位置のテーブルから、その投射距離に対するフォーカスの位置を取得し、投射レンズユニット部９のフォーカスをその位置に調整する。
さらに、フォーカス位置・焦点ボケパラメータ算出部２１では、その投写距離から、焦点ボケパラメータテーブル格納部２０に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとを使って、各四角形の領域に対応する平面における四隅点に対する焦点ボケパラメータを取得する。そして、四隅点内の各点に対する焦点ボケパラメータを補間によって求め、焦点ボケ補正部８へ出力し焦点ボケを補正する。
また、フォーカス位置・焦点ボケパラメータ算出部２１では、投射レンズユニット部９から得られるズーム位置と、フォーカス位置テーブル格納部１９に格納されているズーム位置と投射距離に対して焦点が合うフォーカスの位置のテーブルから、その投射距離に対するフォーカスの位置を取得し、投射レンズユニット部９のフォーカスをその位置に調整する。
さらに、フォーカス位置・焦点ボケパラメータ算出部２１では、その投写距離から、焦点ボケパラメータテーブル格納部２０に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとを使って、各四角形の領域に対応する平面における四隅点に対する焦点ボケパラメータを取得する。そして、四隅点内の各点に対する焦点ボケパラメータを補間によって求め、焦点ボケ補正部８へ出力し焦点ボケを補正する。
ここで、焦点ボケは、例えば、次の数式（３）の点広がり関数で表現され、σが唯一のパラメータである。この場合、焦点ボケパラメータテーブル格納部２０には、フォーカス位置と投写距離に対するσが格納されることになる。
このとき、投写画像をｆ（ｘ、ｙ）、ボケ画像をｇ（ｘ、ｙ）とすると、ボケ画像は、次の数式（４）に示すような投写画像ｆ（ｘ、ｙ）と、点広がり関数ｈ（ｘ、ｙ）との畳み込みで表される。
ｇ（ｘ、ｙ）＝ｆ（ｘ、ｙ）＊ｈ（ｘ、ｙ） （４）
したがって、焦点ボケ補正部８では、焦点ボケを補正するため、次の数式（５）に示すように、歪み補正部７からの映像に対して、点広がり関数との逆畳み込みを行い、投写対象物上でボケが解消するように逆補正を行う。
なお、焦点ボケは必ずしも数式（３）で表されるとは限らず、実際はプロジェクタ１０１により、数式やそのパラメータの数が異なる場合もある。
図１０は、第１実施形態による投写型表示装置の動作を示すフローチャートである。
図１０を参照すると、まず、前提として、投写対象物１０４に投写される画像が視点１０８の視点位置における視線方向１０９から視認されたときに歪みが生じないよう、歪み補正部７において、歪み補正データ格納部６に格納されている歪み補正データに基づいて、視線方向１０９から視認される歪み補正前画像１２０を歪み補正後画像１１８に補正する処理が行われているものとする。また、投写画像の投写対象物１０４における投写領域は複数の四角形に分割された四角形領域の集合から構成されているものとする。
図１０を参照すると、まず、前提として、投写対象物１０４に投写される画像が視点１０８の視点位置における視線方向１０９から視認されたときに歪みが生じないよう、歪み補正部７において、歪み補正データ格納部６に格納されている歪み補正データに基づいて、視線方向１０９から視認される歪み補正前画像１２０を歪み補正後画像１１８に補正する処理が行われているものとする。また、投写画像の投写対象物１０４における投写領域は複数の四角形に分割された四角形領域の集合から構成されているものとする。
ステップＳ９０１の処理で、歪み補正対応領域抽出部１０により、歪み補正データ格納部６に格納されている歪み補正データから、視点画像としての歪み補正前画像１２０と歪み補正後画像１１８の四角形領域の対応とその補正前後の画像における四隅点の座標とが抽出される。
ステップＳ９０２の処理で、投写視点画像物理座標算出部１２により、歪み補正後画像１１８上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像１１８の物理座標１１９が算出される。また、視点画像としての歪み補正前画像１２０上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標１２１が算出される。
ステップＳ９０３の処理で、領域対応平面の法線ベクトル算出部１３により、投写対象物１０４に投写された各四角形領域が平面であるとしたときのその法線ベクトル１２３が算出される。
ステップＳ９０２の処理で、投写視点画像物理座標算出部１２により、歪み補正後画像１１８上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像１１８の物理座標１１９が算出される。また、視点画像としての歪み補正前画像１２０上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標１２１が算出される。
ステップＳ９０３の処理で、領域対応平面の法線ベクトル算出部１３により、投写対象物１０４に投写された各四角形領域が平面であるとしたときのその法線ベクトル１２３が算出される。
ステップＳ９０４の処理で、距離センサ１０６により、投写対象物１０４の一点（距離測定点１０７）までの距離が計測され、その３次元座標（０、０、Ｚ´´）が検出され、距離測定点１０７の３次元位置とされる。
ステップＳ９０５の処理で、３次元プロジェクタ座標変換部１６により、距離センサ１０６の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点１０７の３次元座標（０、０、Ｚ´´）が、投写中心１０２を原点としたプロジェクタ座標系に変換される。
ステップＳ９０６の処理で、距離検出位置平面特定部１７により、プロジェクタ座標系における歪み補正後画像の物理座標１１９上の四隅点の物理座標と、各四角形の領域に対する平面の法線ベクトル１２３に基づいて、プロジェクタ座標系に変換された距離測定点１０７の３次元座標を含む平面が特定される。
ステップＳ９０５の処理で、３次元プロジェクタ座標変換部１６により、距離センサ１０６の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点１０７の３次元座標（０、０、Ｚ´´）が、投写中心１０２を原点としたプロジェクタ座標系に変換される。
ステップＳ９０６の処理で、距離検出位置平面特定部１７により、プロジェクタ座標系における歪み補正後画像の物理座標１１９上の四隅点の物理座標と、各四角形の領域に対する平面の法線ベクトル１２３に基づいて、プロジェクタ座標系に変換された距離測定点１０７の３次元座標を含む平面が特定される。
（第２実施形態）
次に、本発明の第２実施形態によるプロジェクタの概略構成を説明する。
図１１は、第２実施形態によるプロジェクタの概略構成を示すブロック図の一例である。第２実施形態のプロジェクタは、基本的には図１に示した構成を有するものであるが、図１１に示すように、図１の構成に加え、カメラ３３と電子ペン３４とが設けられている点が第１実施形態と異なる。この異なる点について以下説明する。
次に、本発明の第２実施形態によるプロジェクタの概略構成を説明する。
図１１は、第２実施形態によるプロジェクタの概略構成を示すブロック図の一例である。第２実施形態のプロジェクタは、基本的には図１に示した構成を有するものであるが、図１１に示すように、図１の構成に加え、カメラ３３と電子ペン３４とが設けられている点が第１実施形態と異なる。この異なる点について以下説明する。
電子ペン３４の先端部には、スイッチと、スイッチが押下された状態で赤外線を発する発光部とが設けられている。使用者が、電子ペン３４の先端部を投写対象物１０４の表面に押し当てると、スイッチが押下され、発光部から赤外線が出力される。
カメラ３３は、電子ペン３４の先端部から発せられる赤外線を撮影する。カメラ３３が赤外線を撮影することにより、プロジェクタ１０１は、カメラ３３の撮像画面の座標系を投写部２の投写画面の座標系に変換する。
カメラ３３は、電子ペン３４の先端部から発せられる赤外線を撮影する。カメラ３３が赤外線を撮影することにより、プロジェクタ１０１は、カメラ３３の撮像画面の座標系を投写部２の投写画面の座標系に変換する。
次に、第２実施形態によるプロジェクタの全体構成を説明する。
第２実施形態のプロジェクタは、基本的には図２に示した構成を有するものであるが、図１２に示すように、フォーカス制御部４に代えて、電子ペン位置検出部２２が設けられている点、プロジェクタ投写設計データ格納部１１が、３次元形状検出部３から独立している点、及び歪み補正データ格納部６が電子ペンの画像上座標算出部２７に接続されている点が第１実施形態と異なる。
電子ペン位置検出部２２では、投写対象物１０４の表面上の電子ペン３４のペン先から発光される赤外線を赤外線カメラ部２３で撮像し、その投写対象物１０４の表面上における３次元位置を算出し、投写対象物１０４に表示されている表示画像上における電子ペン３４のペン先の座標を算出する。
第２実施形態のプロジェクタは、基本的には図２に示した構成を有するものであるが、図１２に示すように、フォーカス制御部４に代えて、電子ペン位置検出部２２が設けられている点、プロジェクタ投写設計データ格納部１１が、３次元形状検出部３から独立している点、及び歪み補正データ格納部６が電子ペンの画像上座標算出部２７に接続されている点が第１実施形態と異なる。
電子ペン位置検出部２２では、投写対象物１０４の表面上の電子ペン３４のペン先から発光される赤外線を赤外線カメラ部２３で撮像し、その投写対象物１０４の表面上における３次元位置を算出し、投写対象物１０４に表示されている表示画像上における電子ペン３４のペン先の座標を算出する。
最初の状態として、図４で説明したように、プロジェクタ１０１から投写対象物１０４に歪み補正を施された映像が投写され、視点１０８の位置において、投写された映像を歪みのない状態で視線方向１０９から視認している状態となっている。
この状態で、第１実施形態と同様に、３次元形状検出部３において、投写対象物１０４の３次元位置が検出される。
そして、赤外線カメラ部２３では、投写対象物１０４の表面上の電子ペンのペン先から発光される赤外線を撮像し、その撮像画像内の撮像位置から、赤外線カメラ座標系における原点を始点として、投写対象物１０４の表面上の電子ペンのペン先の方向を向いた電子ペンへの方向ベクトルを算出する。
この状態で、第１実施形態と同様に、３次元形状検出部３において、投写対象物１０４の３次元位置が検出される。
そして、赤外線カメラ部２３では、投写対象物１０４の表面上の電子ペンのペン先から発光される赤外線を撮像し、その撮像画像内の撮像位置から、赤外線カメラ座標系における原点を始点として、投写対象物１０４の表面上の電子ペンのペン先の方向を向いた電子ペンへの方向ベクトルを算出する。
次に、電子ペン方向プロジェクタ座標変換部２５では、赤外線カメラ部２３で算出された電子ペンへの方向ベクトルを、投写中心点を原点としたプロジェクタ座標系に変換する。このとき使用されるのは、次の４つである。１つ目は、赤外線カメラキャリブレーションデータ格納部２４に予め格納されている、赤外線カメラの座標系とプロジェクタ座標系との位置関係を計測するキャリブレーションを行い、赤外線カメラの座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。２つ目は、キャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。３つ目は、投写レンズユニット９から得られるズーム位置とレンズシフト位置である。４つ目は、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタの投写に関わる設計データである。
なお、具体的な処理の内容は、第１実施形態における３次元データプロジェクタ座標変換部１６において行われる処理と同様であるので、詳細な説明は省略する。
なお、具体的な処理の内容は、第１実施形態における３次元データプロジェクタ座標変換部１６において行われる処理と同様であるので、詳細な説明は省略する。
電子ペン３次元位置算出部２６では、電子ペン方向プロジェクタ座標変換部２５から得られた電子ペンへの方向ベクトルと、３次元形状検出部３から得られた３次元位置データで表される面との交点を求め、電子ペンのペン先の３次元位置を算出する。
電子ペンの画像上座標算出部２７では、プロジェクタ座標系における電子ペンのペン先の投写映像入力端子１から入力された映像における物理座標を算出する（図５における歪み補正後画像の物理座標１１９に対応する。）。
また、電子ペンの画像上座標算出部２７では、歪み補正後画像における座標（図５における歪み補正後画像１１８に対応する。）を算出し、歪み補正データ格納部６を参照して投写映像入力端子１から入力された映像における座標（図５における歪み補正前画像１２０に対応する。）を算出し、電子ペン位置出力端子２８から出力する。
そして、これらの計算は、投写レンズユニット部９から得られるズーム位置とレンズシフト位置、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタの投写に関わる設計データ、及び歪み補正データ格納部６に格納されている歪み補正データを使用して行われる。
電子ペンの画像上座標算出部２７では、プロジェクタ座標系における電子ペンのペン先の投写映像入力端子１から入力された映像における物理座標を算出する（図５における歪み補正後画像の物理座標１１９に対応する。）。
また、電子ペンの画像上座標算出部２７では、歪み補正後画像における座標（図５における歪み補正後画像１１８に対応する。）を算出し、歪み補正データ格納部６を参照して投写映像入力端子１から入力された映像における座標（図５における歪み補正前画像１２０に対応する。）を算出し、電子ペン位置出力端子２８から出力する。
そして、これらの計算は、投写レンズユニット部９から得られるズーム位置とレンズシフト位置、プロジェクタ投写設計データ格納部１１に格納されているプロジェクタの投写に関わる設計データ、及び歪み補正データ格納部６に格納されている歪み補正データを使用して行われる。
以上により、この電子ペン位置出力端子２８から出力された投写映像入力１から入力された映像における電子ペンのペン先の座標は、投写映像を出力するＰＣなどの情報処理装置に入力される。これにより、投写対象物１０４上で電子ペンが示した投写映像の位置に対応するＰＣ上の表示画面上の位置に対する文字や図形の書き込みを行うことができる。よって、電子ペンのユーザは、投写対象物１０４上の投写映像に、あたかも直接描いているかのように文字や図形を描くことができる。
（第３実施形態）
次に、第３実施形態によるプロジェクタの概略構成を説明する。
図１３は、第３実施形態のプロジェクタの概略構成を示すブロック図の一例である。
図１３を参照すると、プロジェクタ１０１は、投写部２と、記憶部３１と、距離検出部５３と、座標検出部５１と、３次元形状算出部５４とから構成される。
投写部２は、投写光を投写対象物１０４の投写面に投写する。記憶部３１は、投写部２による投写光を補正する歪み補正データを格納する。距離検出部５３は、投写面上の一点までの距離を検出する。座標検出部５１は、投写光の座標系における一点の座標を検出する。３次元形状算出部５４は、座標検出部５１にて求められた投写光の座標系における一点の座標と、記憶部３１に格納された歪み補正データから投写面の３次元形状を算出する。
次に、第３実施形態によるプロジェクタの概略構成を説明する。
図１３は、第３実施形態のプロジェクタの概略構成を示すブロック図の一例である。
図１３を参照すると、プロジェクタ１０１は、投写部２と、記憶部３１と、距離検出部５３と、座標検出部５１と、３次元形状算出部５４とから構成される。
投写部２は、投写光を投写対象物１０４の投写面に投写する。記憶部３１は、投写部２による投写光を補正する歪み補正データを格納する。距離検出部５３は、投写面上の一点までの距離を検出する。座標検出部５１は、投写光の座標系における一点の座標を検出する。３次元形状算出部５４は、座標検出部５１にて求められた投写光の座標系における一点の座標と、記憶部３１に格納された歪み補正データから投写面の３次元形状を算出する。
そして、記憶部３１は、第１及び第２実施形態における歪み補正データ格納部６、プロジェクタ投写設計データ格納部１１、距離センサキャリブレーションデータ格納部１５で実現される。また、距離検出部５３は、距離センサ部１４で実現される。さらに、座標検出部５１は、３次元データプロジェクタ座標変換部１６で実現される。そして、３次元形状算出部５４は、歪み補正対応領域抽出部１０、投写視点画像物理座標算出部１２、領域対応平面の法線ベクトル算出部１３、距離検出位置平面特定部１７、平面四隅点３次元位置算出部１８で実現される。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する３次元形状算出手段と、
を備える投写型表示装置。
［付記２］
座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から求められた座標から、前記投写光の座標系における前記一点の座標を検出する、付記１に記載の投写型表示装置。
［付記３］
前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記３次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える付記１又は２に記載の投射型表示装置。
［付記４］
前記３次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える付記３に記載の投写型表示装置。
［付記５］
前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える付記４に記載の投写型表示装置。
［付記６］
前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の３次元座標を計算する距離検出位置平面特定手段、を備える付記５に記載の投写型表示装置、
［付記７］
前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の３次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の３次元座標を算出する平面四隅点３次元位置算出手段をさらに備える、付記６に記載の投射型表示装置。
［付記８］
前記平面四隅点３次元位置座標算出手段で算出された前記投写面の３次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、付記７に記載の投写型表示装置。
［付記９］
前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点３次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の３次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、付記７に記載の投写型表示装置。
［付記１０］
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する工程を備える、投射型表示装置の制御方法。
［付記１１］
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する処理を実行させるためのプログラム。
［付記１］
投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する３次元形状算出手段と、
を備える投写型表示装置。
［付記２］
座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から求められた座標から、前記投写光の座標系における前記一点の座標を検出する、付記１に記載の投写型表示装置。
［付記３］
前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記３次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える付記１又は２に記載の投射型表示装置。
［付記４］
前記３次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える付記３に記載の投写型表示装置。
［付記５］
前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える付記４に記載の投写型表示装置。
［付記６］
前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の３次元座標を計算する距離検出位置平面特定手段、を備える付記５に記載の投写型表示装置、
［付記７］
前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の３次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の３次元座標を算出する平面四隅点３次元位置算出手段をさらに備える、付記６に記載の投射型表示装置。
［付記８］
前記平面四隅点３次元位置座標算出手段で算出された前記投写面の３次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、付記７に記載の投写型表示装置。
［付記９］
前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点３次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の３次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、付記７に記載の投写型表示装置。
［付記１０］
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する工程を備える、投射型表示装置の制御方法。
［付記１１］
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する処理を実行させるためのプログラム。
１ 投写映像入力端子
２ 投写部
３ ３次元形状検出部
４ フォーカス制御部
５ 映像処理部
６ 歪み補正データ格納部
７ 歪み補正部
８ 焦点ボケ補正部
９ 投写レンズユニット部
１０ 歪み補正対応領域抽出部
１１ プロジェクタ投写設計データ格納部
１２ 投写視点画像物理座標算出部
１３ 領域対応平面の法線ベクトル算出部
１４ 距離センサ部
１５ 距離センサキャリブレーションデータ格納部
１６ ３次元データプロジェクタ座標変換部
１７ 距離検出位置平面特定部
１８ 平面四隅点３次元位置算出部
１９ フォーカス位置テーブル格納部
２０ 焦点ボケパラメータテーブル格納部
２１ フォーカス位置・焦点ボケパラメータ算出部
２２ 電子ペン位置検出部
２３ 赤外線カメラ部
２４ 赤外線カメラキャリブレーションデータ格納部
２５ 電子ペン方向プロジェクタ座標変換部
２６ 電子ペン３次元位置算出部
２７ 電子ペンの画面上座標産出部
２８ 電子ペン位置出力端子
３０ 情報処理部
３１ 記憶部
３２ 操作部
３３ カメラ
３４ 電子ペン
５１ 座標検出部
５３ 距離検出部
５４ ３次元形状算出部
１００ 表示デバイス
１０１ プロジェクタ
１０２ 投写中心
１０３ 投写エリア
１０４ 投写対象物
１０５ 投写光軸
１０６ 距離センサ
１０７ 距離測定点
１０８ 視点
１０９ 視線方向
１１０ レンズシフト右上／ズーム最小時の投写エリア
１１１ レンズシフト右上／ズーム最大時の投写エリア
１１２ レンズシフト左上／ズーム最小時の投写エリア
１１３ レンズシフト左上／ズーム最大時の投写エリア
１１４ レンズシフト右下／ズーム最小時の投写エリア
１１５ レンズシフト右下／ズーム最大時の投写エリア
１１６ レンズシフト左下／ズーム最小時の投写エリア
１１７ レンズシフト左下／ズーム最大時の投写エリア
１１８ 歪み補正後画像
１１９ 歪み補正後画像の物理座標
１２０ 視点画像としての歪み補正前画像
１２１ 視点画像としての歪み補正前画像の仮の物理画像
１２２ 平面の集合体
１２３ 法線ベクトル
２ 投写部
３ ３次元形状検出部
４ フォーカス制御部
５ 映像処理部
６ 歪み補正データ格納部
７ 歪み補正部
８ 焦点ボケ補正部
９ 投写レンズユニット部
１０ 歪み補正対応領域抽出部
１１ プロジェクタ投写設計データ格納部
１２ 投写視点画像物理座標算出部
１３ 領域対応平面の法線ベクトル算出部
１４ 距離センサ部
１５ 距離センサキャリブレーションデータ格納部
１６ ３次元データプロジェクタ座標変換部
１７ 距離検出位置平面特定部
１８ 平面四隅点３次元位置算出部
１９ フォーカス位置テーブル格納部
２０ 焦点ボケパラメータテーブル格納部
２１ フォーカス位置・焦点ボケパラメータ算出部
２２ 電子ペン位置検出部
２３ 赤外線カメラ部
２４ 赤外線カメラキャリブレーションデータ格納部
２５ 電子ペン方向プロジェクタ座標変換部
２６ 電子ペン３次元位置算出部
２７ 電子ペンの画面上座標産出部
２８ 電子ペン位置出力端子
３０ 情報処理部
３１ 記憶部
３２ 操作部
３３ カメラ
３４ 電子ペン
５１ 座標検出部
５３ 距離検出部
５４ ３次元形状算出部
１００ 表示デバイス
１０１ プロジェクタ
１０２ 投写中心
１０３ 投写エリア
１０４ 投写対象物
１０５ 投写光軸
１０６ 距離センサ
１０７ 距離測定点
１０８ 視点
１０９ 視線方向
１１０ レンズシフト右上／ズーム最小時の投写エリア
１１１ レンズシフト右上／ズーム最大時の投写エリア
１１２ レンズシフト左上／ズーム最小時の投写エリア
１１３ レンズシフト左上／ズーム最大時の投写エリア
１１４ レンズシフト右下／ズーム最小時の投写エリア
１１５ レンズシフト右下／ズーム最大時の投写エリア
１１６ レンズシフト左下／ズーム最小時の投写エリア
１１７ レンズシフト左下／ズーム最大時の投写エリア
１１８ 歪み補正後画像
１１９ 歪み補正後画像の物理座標
１２０ 視点画像としての歪み補正前画像
１２１ 視点画像としての歪み補正前画像の仮の物理画像
１２２ 平面の集合体
１２３ 法線ベクトル
Claims (11)
- 投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する３次元形状算出手段と、
を備える投写型表示装置。 - 座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から、前記投写光の座標系における前記一点の座標を検出する、請求項１に記載の投写型表示装置。
- 前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記３次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える請求項１又は２に記載の投射型表示装置。 - 前記３次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える請求項３に記載の投写型表示装置。 - 前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える請求項４に記載の投写型表示装置。 - 前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の３次元座標を計算する距離検出位置平面特定手段、を備える請求項５に記載の投写型表示装置、 - 前記３次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の３次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の３次元座標を算出する平面四隅点３次元位置算出手段をさらに備える、請求項６に記載の投射型表示装置。 - 前記平面四隅点３次元位置算出手段で算出された前記投写面の３次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、請求項７に記載の投写型表示装置。
- 前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点３次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の３次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、請求項７に記載の投写型表示装置。 - 投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する工程を備える、投射型表示装置の制御方法。 - 投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の３次元形状を算出する処理を実行させるためのプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/006408 WO2018154634A1 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018154634A1 true JPWO2018154634A1 (ja) | 2020-01-23 |
| JP6804056B2 JP6804056B2 (ja) | 2020-12-23 |
Family
ID=63253207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019501790A Active JP6804056B2 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6804056B2 (ja) |
| WO (1) | WO2018154634A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020166242A1 (ja) * | 2019-02-14 | 2020-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| JP7352768B2 (ja) * | 2019-06-10 | 2023-09-29 | パナソニックＩｐマネジメント株式会社 | プロジェクタのオートフォーカス制御システム |
| CN113163186B (zh) * | 2020-12-03 | 2022-06-10 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、***及存储介质 |
| CN115150599B (zh) * | 2021-03-31 | 2023-11-28 | 成都极米科技股份有限公司 | 确定目标坐标的方法及装置 |
| CN115733963A (zh) * | 2021-08-31 | 2023-03-03 | 成都极米科技股份有限公司 | 一种校正方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
| JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
-
2017
- 2017-02-21 JP JP2019501790A patent/JP6804056B2/ja active Active
- 2017-02-21 WO PCT/JP2017/006408 patent/WO2018154634A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
| JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018154634A1 (ja) | 2018-08-30 |
| JP6804056B2 (ja) | 2020-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6804056B2 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
| JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
| JP6195915B2 (ja) | 画像計測装置 | |
| JP6075122B2 (ja) | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム | |
| US10091489B2 (en) | Image capturing device, image processing method, and recording medium | |
| KR102354299B1 (ko) | 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치 | |
| US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
| JP5951043B2 (ja) | 画像計測装置 | |
| US8896688B2 (en) | Determining position in a projection capture system | |
| JP7145432B2 (ja) | 投影システム、画像処理装置および投影方法 | |
| JP2015203652A (ja) | 情報処理装置および情報処理方法 | |
| US9924066B2 (en) | Image processing apparatus, information processing method, and program | |
| JP6990694B2 (ja) | プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム | |
| US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
| WO2015159835A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP5996233B2 (ja) | 画像撮像装置 | |
| KR100808536B1 (ko) | 패턴 영상을 이용한 캘리브레이션 방법 | |
| JP2013190281A (ja) | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 | |
| JP2018049498A (ja) | 画像処理装置、操作検出方法、コンピュータプログラム、及び記憶媒体 | |
| JP2014235063A (ja) | 情報処理装置および情報処理方法 | |
| JP6733789B2 (ja) | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム | |
| KR20200028485A (ko) | 측거 장치 및 측거 방법 | |
| JP2013165344A (ja) | 画像処理装置及び画像処理方法 | |
| JP2010203826A (ja) | 測定方法、測定装置、測定制御プログラム | |
| JP2017129525A (ja) | 計測装置及びその制御方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6804056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |