JP5493340B2 - 投写型表示装置および配置関係検出方法 - Google Patents

Description

本発明は、投写面に向けて画像を投写する投写型表示装置における、投写型表示装置と投写面との配置関係の検出方法に関する。

従来から、画像形成に液晶パネル等の光変調装置を用いたプロジェクタをはじめとする投写型表示装置において、投写された画像（以下「投写画像」と呼ぶ）の台形歪み補正やフォーカス調整など（以下、「投写用調整」という）を行う技術が知られている。こうした投写用調整を行う際には、スクリーンなどの投写面に投写した校正用画像を、投写型表示装置に備えられたＣＣＤカメラなどの撮像部によって撮像して、その撮像画像に基づいて投写型表示装置と投写面との配置関係を測定している（例えば、下記特許文献参照）。

特開２００６−６０４４７号公報

そこで、台形歪み補正やフォーカス調整などを行わせる際には、撮像部により撮像された画像からの校正用画像の抽出を容易にするため、外部から画像信号が入力している場合であっても、画像信号に基づく画像の投写を中断し、校正用画像のみを表示させていた。

しかし、こうした投写用調整を行う際に、校正用画像の表示に切り替えると、通常は画面の明るさの急変を伴うから、撮像部による撮像が安定に行われるまで、長時間を要してしまうといった課題を生起する。

本発明は、上述した従来の課題を解決するためになされたものであり、測定用画像を投写面に投写する際に、画像信号に基づく画像を中断せずに行う技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するために、以下の形態または適用例を取ることが可能である。
[形態]
投写型表示装置であって、投写面に向けて画像を投写させる投写部と、前記画像が投写される前記投写面を撮像する撮像部と、前記投写部によって投写される画像から静止画像を取得して、前記静止画像と所定形状の第１校正画像とを合成し、第１合成画像として前記投写部に出力する第１合成画像出力部と、前記第１校正画像とは画像の性質が異なり、少なくとも形状の一部が重なる所定形状の第２校正画像を、前記静止画像と合成し、第２合成画像として前記投写部に出力する第２合成画像出力部と、前記第１合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第１撮像画像と、前記第２合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第２撮像画像との各画素の画素値の差分によって表される測定用画像を検出する測定用画像検出部と、前記測定用画像から測定点を抽出し、前記測定点に基づいて前記投写部と前記投写面との配置関係を検出する配置関係検出部とを備え、前記第１，第２校正画像における前記画像の性質とは明度、色相、彩度の少なくともいずれかひとつである投写型表示装置。

[適用例１]
投写型表示装置であって、
投写面に向けて画像を投写させる投写部と、
前記画像が投写される前記投写面を撮像する撮像部と、
前記投写部によって投写される画像と所定形状の第１校正画像とを合成し、第１合成画像として前記投写部に出力する第１合成画像出力部と、
前記第１校正画像とは画像の性質が異なり、少なくとも形状の一部が重なる所定形状の第２校正画像を、前記画像と合成し、第２合成画像として前記投写部に出力する第２合成画像出力部と、
前記第１合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第１撮像画像と、前記第２合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第２撮像画像とから測定点を抽出し、前記測定点に基づいて前記投写部と前記投写面との配置関係を検出する配置関係検出部と
を備えた投写型表示装置。

この投写型表示装置によれば、投写させる画像に所定形状の校正画像を合成した合成画像を投写面に投写し撮像部によって撮像するので、画像投写時とその後の合成画像の投写時では投写面の明るさに大きな変化が無く、撮像部による投写面の撮像が安定に短時間で行われる。なお、所定形状とは、撮像された第１，第２撮像画像から測定点が抽出できる形状であればよく、三角や四角などの多角形、直線、十字形状、円環形状あるいはこれらの組み合わせなど、種々の形状を採用することができる。所定形状としては、単一の形状に限られず、例えば丸や四角などの種々の形状のものを複数配列してもよい。配列は、行列状としても良いし、直線状や円環状、あるいは所定の曲線に沿った配列、更にはランダムな配列としてもよい。また、複数の形状は、互いに離間して配置しても良いし、少なくともその一部について、一部を重ね合わせた形状としても良い。もとより、複雑な形状のものを一つあるいは少数採用することは差し支えない。

測定点としては、こうした形状が備える性質を利用して、例えば端点、隅部、交点、中点、重心、按分点など、種々の点を用いることができる。所定形状が、複数の形状の配列からなる場合は、測定点は、各形状から抽出しても良いが、配列された複数の形状の関係、例えば形状間の中間点、形状間に仮想的に引いた線分の交点などから抽出してもよい。

[適用例２]
適用例１記載の投写型表示装置はさらに、前記第１撮像画像と第２撮像画像との各画素の画素値の差分によって表される測定用画像を検出する測定用画像検出部を備え、
前記配置関係検出部は、前記測定用画像に基づいて前記測定点を抽出する
投写型表示装置。

この投写型表示装置によれば、第１撮像画像と第２撮像画像との各画素の画素値の差分に基づいて測定用画像は検出されているので、スクリーンＳＣ上に塵埃等が付着しており、撮像画像中にその塵埃が写っていても、測定用画像の検出時にはその塵埃に相当する画像は相殺される。従って、精度の高い測定用画像の検出が可能となる。

[適用例３]
適用例２記載の投写型表示装置であって、
前記第１，第２校正画像における少なくとも形状の一部が重なる所定形状とは、
その重なる部分が平面を定義可能な３点を抽出可能に含んでいる形状である
投写型表示装置。

この投写型表示装置によれば、第１校正画像と第２校正画像との重なる部分が平面を定義可能な３点を抽出可能に含んでいるので、第１校正画像の形状を含む第１撮像画像と第２校正画像の形状を含む第２撮像画像との各画素の画素値の差分によって表される測定用画像は、第１撮像画像と第２撮像画像の重なる部分の形状を含んでおり、かつ平面を定義可能な３点を含んでいるので、測定用画像から平面の定義が可能となる。

[適用例４]
適用例３記載の投写型表示装置であって、
前記配置関係検出部は、前記配置関係の１つとして前記投写部から投写する投写光の光軸と前記投写面との傾きである投写角を算出する投写型表示装置。

この投写型表示装置によれば、配置関係検出部は測定用画像に基づいて投写角を算出するので、ユーザーが投写角を測量し、その値を投写型表示装置に入力するという行為は必要ない。

[適用例５]
適用例４記載の投写型表示装置はさらに、
前記配置関係検出部で算出した前記投写角を用いて前記投写面に投写される投写画像の台形歪みを補正する台形歪み補正部を備える投写型表示装置。

この投写型表示装置によれば、この投写型表示装置は台形歪み補正部を備えるのでユーザーが手動で投写型表示装置本体や投写面を動かすことによって投写画像の台形歪みの補正をする必要がない。

[適用例６]
適用例３記載の投写型表示装置であって、
前記配置関係検出部は、前記配置関係の１つとして前記投写型表示装置と前記投写面までの投写距離を算出する投写型表示装置。

この投写型表示装置によれば、配置関係検出部は測定用画像に基づいて投写距離を算出するので、ユーザーが投写距離を測量し、その値を投写型表示装置に入力するという行為は必要ない。

[適用例７]
適用例６記載の投写型表示装置はさらに、
前記配置関係検出部で算出した前記投写距離を用いて前記投写面に投写される投写画像のフォーカス調整を行うフォーカス調整部を備える投写型表示装置。

この投写型表示装置によれば、この投写型表示装置はフォーカス調整部を備えるのでユーザーが手動で投写画像のフォーカス調整をする必要がない。

[適用例８]
適用例１ないし適用例７のいずれか記載の投写型表示装置であって、
前記第１，第２校正画像における前記画像の性質とは明度、色相、彩度の少なくともいずれかひとつである投写型表示装置。

これらの投写型表示装置によれば、第１校正画像と第２校正画像とは明度、色相、彩度の少なくともいずれかひとつが異なっていればよいので、第１校正画像と第２校正画像との組み合わせとして、多数の組み合わせが可能である。

[適用例９]
適用例１ないし適用例７のいずれか記載の投写型表示装置であって、
前記第１，第２校正画像における前記画像の性質とは明度であり、
前記第１校正画像は白色、前記第２校正画像は黒色である
投写型表示装置。

これらの投写型表示装置によれば、第１校正画像は白色で第２校正画像は黒色であり、この２つの画像の明度の差が顕著であるので、この２つの校正画像に基づいてできる測定用画像はコントラストの高い画像となり、測定用画像から測定点を抽出する際の誤差を減少させることができる。また第１校正画像が黒色で、第２校正画像が白色でも良い。

[適用例１０]
投写型表示装置と投写面との配置関係を検出する配置関係検出方法であって、
前記投写面に投写させた画像に所定形状の第１校正画像を合成し、第１合成画像として前記投写部に出力する工程と、
前記第１校正画像とは画像の性質が異なり、少なくとも形状の一部が重なる所定形状の第２校正画像を、前記画像と合成し、第２合成画像として前記投写部に出力する工程と、
前記第１合成画像を前記投写部によって前記投写面に投写させ撮像部で撮像した第１撮像画像と、前記第２合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第２撮像画像との各画素の画素値の差分によって表される測定用画像を検出する工程と、
検出した前記測定用画像から測定点を抽出し、前記測定点に基づいて前記投写型表示装置と前記投写面との配置関係を検出する工程と
を備える配置関係検出方法。

この配置関係検出方法によれば、投写面には２つの合成画像を投写するのみで投写部と投写面との配置関係を検出できるので、投写部と投写面との配置関係を検出するために、様々な測定用の画像を投写面に投写する必要がない。

なお、本発明は、種々の態様で実現することが可能である。例えば、投写面検出方法および装置、投写画像補正方法及び装置、それらの方法または装置の機能を実現するための集積回路、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて説明する。
Ａ．第１実施例：
（Ａ１）プロジェクタの全体構成
（Ａ２）台形歪みの補正の概要
（Ａ３）測定用画像検出処理
（Ａ４）三次元測量処理
（Ａ５）台形歪み補正処理
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
（Ａ１）プロジェクタの全体構成：
図１は、本発明の第１実施例におけるプロジェクタ１００の全体構成を示すブロック図である。プロジェクタ１００は、画像を表す画像信号を外部から入力し、これをスクリーンＳＣなどの投写面上に画像（以下「投写画像」と呼ぶ）として表示させる。本実施例では、スクリーンＳＣはほぼ直立しており、スクリーン面は矩形形状とされている。

プロジェクタ１００は大きく分けると、光学的な画像の形成を行う光学系と映像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系１４０、液晶パネル１３０、投写光学系１５０から構成されている。照明光学系１４０は、放電灯（図示せず）を備え、放電灯の光を投写に用いる光として射出する。液晶パネル１３０は、後述する画像処理系からの信号を受けて、パネル面に画像を形成する。液晶パネル１３０は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。そのため、照明光学系１４０からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系１５０に射出される。

投写光学系１５０には、投写する画像の拡大・縮小および焦点の調整を行うズームレンズ１５２、ズームの度合いを調整するズーム調整用モータ１５６、フォーカスの調整を行うフォーカス調整用モータ１５７が備えられている。投写光学系１５０は、液晶パネル１３０で変調された光を入射し、ズームレンズ１５２を用いて、スクリーンＳＣ上に投写画像を結像する。ズームレンズ１５２は、ズーム調整用モータ１５６とフォーカス調整用モータ１５７とによって、レンズの位置などが調整され、スクリーンＳＣ上の投写画像の拡大・縮小を行うズーム調整や、スクリーンＳＣ上に投写画像を適正に結像させるフォーカス調整を行っている。

他方、画像処理系は、実質的な処理全般を司るＣＰＵ１２０と映像用プロセッサ１３４とを中心に構成され、Ａ／Ｄ変換部１１０、液晶パネル駆動部１３２、ズームレンズ駆動部１５５、ＲＡＭ１６０、校正画像記憶部１７１を含むＲＯＭ１７０、撮像部１８０、撮像画像メモリ１８２、リモコン制御部１９０、リモコン１９１等を備える。これらの画像処理系を構成する各要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、パソコンやＤＶＤプレーヤー等の画像出力機器からケーブル２００を介して入力された入力信号をＡ／Ｄ変換するデバイスであり、変換後のデジタル画像信号を、映像用プロセッサ１３４に出力する。映像用プロセッサ１３４は、入力したデジタル画像信号に対して、輝度、コントラスト、色の濃さ、色合い、投写画像の形状等の画像の表示状態を調整する処理を行った上で、液晶パネル駆動部１３２に対して、処理後の映像信号を出力する。この映像信号に基づいて、液晶パネル駆動部１３２は、液晶パネル１３０を駆動する。結果的に、Ａ／Ｄ変換器１１０を介して入力した映像信号に対応した映像が、液晶パネル１３０に形成され、この画像が投写光学系１５０を介して、スクリーンＳＣ上に形成されることになる。

映像用プロセッサ１３４が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図１では、台形歪み補正を行う回路を、特に台形歪み補正部１３６として示した。この台形歪み補正部１３６では、ＣＰＵ１２０内の後述する投写角算出部１２６で算出した投写角の値に基づいて投写画像の台形歪み補正をデジタル画像信号に対して行っている。また、映像用プロセッサ１３４は、この台形歪み補正における特定の校正用画像の表示の処理も、司っている。こうした映像用プロセッサ１３４は、台形歪み補正用のＤＳＰ（デジタルシグナルプロセッサ）として販売されている汎用のプロセッサを用いることができるが、専用のＡＳＩＣとして構成することも差し支えない。

映像用プロセッサ１３４と共に、プロジェクタ１００における画像処理を行うＣＰＵ１２０は、画像合成部１２１と、測定用画像検出部１２２と、ズーム比算出部１２３と、焦点距離算出部１２４と、三次元測量部１２５と、投写角算出部１２６とを備える。これらの各部は、ＣＰＵ１２０がＲＯＭ１７０に予め記憶した特定のプログラムを実行することにより実現される。各処理部は、後で詳述するプロジェクタ１００とスクリーンＳＣとの相対距離（以下、投写距離と言う）や、プロジェクタから投写した投写光の光軸に対するスクリーンＳＣの傾きである投写角（以下、投影投写角と言う）を算出するために必要な処理を行っている。

ＣＰＵ１２０は、その各部の働きにより投影投射角および投写距離を算出すると、投影投射角に対応した信号を映像用プロセッサ１３４に、投写距離に対応した信号をズームレンズ駆動部１５５に、それぞれ出力する。映像用プロセッサ１３４は、投影投写角に対応した信号をＣＰＵ１２０から受け取ると、これを用いて台形歪み補正を行う。プロジェクタ１００の光学系の光軸とスクリーンＳＣとのなす角度である投影投写角が分かれば、映像がどのように歪むかは演算できるので、映像用プロセッサ１３４は、投影投写角に対応したパラメータの設定がなされると、投写画像の歪みを補正するように、Ａ／Ｄ変換器１１０から入力した画像を補償し、補償後の映像信号を、液晶パネル駆動部１３２に出力するのである。

他方、ズームレンズ駆動部１５５はＣＰＵ１２０から投写距離に相当する信号を受け取ると、その信号に基づいて、フォーカス調整用モータ１５７を駆動し、フォーカス調整を行う。なお、フォーカス調整を行うためには、ズームレンズのズーム比を知る必要があるが、本実施例では、ズーム比は、ズーム調整用モータ１５６によるズームレンズ１５２の駆動量から算出した。もとより、後述する撮像部１８０による撮像画像から算出することも可能である。

上記のＣＰＵ１２０の動作に必要となるワークエリアは、ＲＡＭ１６０上に確保される。なお、映像用プロセッサ１３４は、自身が行う画像の表示状態の調整処理など、各処理の実行の際に必要となるワークエリアを、内蔵ＲＡＭとして備えている。また、ＲＯＭ１７０は、上述した各処理部を実現するプログラムの他、後述する測定用画像の検出に用いる２枚の校正画像を記憶しており、校正画像記憶部に対応している。

リモコン制御部１９０は、リモコン１９１を通じたユーザーのからの指示を受信し、バス１０２を介してＣＰＵ１２０に伝える。なお、本実施例ではプロジェクタ１００はユーザーからの指示をリモコン制御部１９０及びリモコン１９１を通じて受信しているが、ユーザーからの指示をプロジェクタ１００に備えた操作パネルなど、他の構成を通じて受け取るものとしてもよい。

撮像部１８０について説明する。撮像部１８０は、プロジェクタ１００の前面、即ち、投写光学系１５０がスクリーンＳＣに向けて映像を投写する方向を撮像可能な位置に設けられており、推奨された投影距離においてスクリーンＳＣに投影された投写画像の全体が少なくとも撮像範囲内に入るように、カメラ方向及び画角が設定されている。撮像部１８０は周知のイメージセンサであるＣＣＤ、このＣＣＤ上に映像を形成する単焦点レンズ、ＣＣＤに入射する光量を調整するオートアイリスなどの機構、更にはＣＣＤから映像信号を読み出す制御回路などを備える。オートアイリスの機構は、ＣＣＤカメラからの映像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス（絞り）を自動的に調整している。オートアイリスによる明るさの調整がなされた画像は、撮像部１８０から撮像画像メモリ１８２に出力され、撮像画像メモリ１８２の所定の領域に繰り返し書き込まれる。撮像画像メモリ１８２は、１画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、ＣＰＵ１２０は、このフラグを参照することにより、撮像部１８０を用いた撮像が完了したか否かを知ることができる。ＣＰＵ１２０は、このフラグを参照しつつ、撮像画像メモリ１８２にアクセスして、必要な撮像画像を取得する。

（Ａ２）台形歪みの補正の概要
台形歪み補正の概要を、図２に示した。図示するように、台形歪みの補正は、台形歪みの補正を行なうための測定用画像を検出するための一連の処理（ステップＳ１１０ないしＳ１４０）と、３次元測定処理（ステップＳ２００）と、実際に台形歪みを補正する処理（ステップＳ３００）とから校正されている。ステップＳ１１０ないしＳ１４０の一連の処理は、測定用画像を検出する処理に相当するが、これらの処理の詳細は、図２ないし図５を用いて後で詳述する。なお、図２に示した処理は本実施例では、ユーザーがリモコン１９１上の台形歪み補正を指示するボタンを操作すると開始されるものとした。もとより、測定画像検出処理は、例えば電源オンや、その後の初期画面の投写時などで、自動的に実行されるものとしてもよい。

一連の処理により測定用画像が得られたら、次にこの測定用画像を元に、スクリーンＳＣの３次元測量処理（ステップＳ２００）が行われる。この処理については、図６、図７を用いて後述する。次に、スクリーンＳＣの三次元測量の結果を用いて、台形歪み補正処理（ステップＳ３００）を行なうが、この処理は図８を用いて後述する。

（Ａ３）測定用画像検出処理：
まず、測定用画像検出処理について説明する。台形歪みの補正を行うためには、スクリーンＳＣの面がプロジェクタの光軸に対してどの様な位置関係にあるかを検出することが必要となる。このため、測定用画像は、スクリーンＳＣの面を特定できるような複数の測定点を含んだものとされている。ＣＰＵ１２０は、最終的にはこれらの測定点を用いて、プロジェクタ１００とスクリーンＳＣとの相対距離である投写距離と、プロジェクタから投写した投写光の光軸に対するスクリーンＳＣの傾きである投写投影角との算出を行うのである。

図２に示した処理を開始すると、ＣＰＵ１２０は、第１撮像画像取得処理（ステップＳ１１０）を実行し、更に第２撮像画像取得処理（ステップＳ１２０）を実行する。これらの処理の詳細について、図３、図４及び図５を用いて説明する。第１撮像画像取得処理（ステップＳ１１０）では、ＣＰＵ１２０は、プロジェクタ１００が投写中である投写画像を、投写状態で一時的にフリーズさせる（図４：ステップＳ１１２）。この処理は、Ａ／Ｄ変換部１１０を介して入力し投影していた画像を、特定のタイミングで静止画像とするものであり、ＣＰＵ１２０が、映像用プロセッサ１３４に所定のコマンドを送ることにより行われる。静止画像（フリーズされた画像）の投影は、映像用プロセッサ１３４が、静止画像投影の終了コマンドをＣＰＵ１２０から受け付けるまで継続される。この間に、ＣＰＵ１２０は、ＲＯＭ１７０の校正画像記憶部１７１が記憶している第１校正画像３１０（図３参照）を読み出し、これを映像用プロセッサ１３４にコマンドと共に出力することにより、先にフリーズさせた静止画像３００（図３参照）と第１校正画像３１０とを重畳した第１重畳画像を生成する処理を行なう（ステップＳ１１４）。図３に、第１重畳画像３１５の一例を示した。図示するように、この例では、重畳された第１校正画像３１０は、３行×３列の９個の白色の四角の画像であり、第１重畳画像３１５は、９個の白色の四角い領域が、フリーズされた静止画像に重畳された画像となっている。

ＣＰＵ１２０による第１重畳画像の生成（ステップＳ１１４）の結果、この画像はスクリーンＳＣに投写されると共に、ＣＰＵ１２０は、撮像部１８０を用いて、スクリーンＳＣに投写された画像を撮像する処理を行なう（ステップＳ１１６）。具体的には、ＣＰＵ１２０は、第１重畳画像を投影するよう映像用プロセッサ１３４に指示し、この指示を受けた映像用プロセッサ１３４は、第１重畳画像を液晶パネル駆動部１３２を介して液晶パネル１３０に出力する。そして、第１重畳画像が、スクリ−ンＳＣに投影されたタイミングで、撮像部１８０に撮像を指示するのである。撮像の指示を受けた撮像部１８０は、ＣＣＤに入射する映像の明るさなどが撮像に適したものとなるようにオートアイリスを調整してから、撮像を行なう。撮像された画像（以下、第１撮像画像という）は、撮像部１８０により、撮像画像メモリ１８２に保存されるが、第１撮像画像の保存が完了すると、フラグが反転されるので、ＣＰＵ１２０はこのフラグを監視することにより、第１撮像画像が撮像画像メモリ１８２に保存されたことを確認することができる（ステップＳ１１８）。撮像画像メモリ１８２に保存された第１撮像画像３１７の一例を図３に示した。投写光学系の光軸とスクリーンＳＣとが直交していなければ、図３に例示したように、第１撮像画像３１７は、第１重畳画像３１５と比べて、台形歪みが生じた画像となる。

次に、第２撮像画像取得処理について、図５を中心に説明する。ＣＰＵ１２０は、ＲＯＭ１７０内の校正画像記憶部１７２から、第２校正画像３２０（図３）を取得し、第１校正画像取得処理でフリーズさせた静止画像３００に重畳するように、映像用プロセッサ１３４に指示する処理を行う（ステップＳ１２４）。第１撮像画像取得処理との違いは、第２撮像画像取得処理では、第１校正画像３１０（図３）に代えて第２校正画像３２０を重畳する点である。第２校正画像３２０は、図３に示したように、第１校正画像３１０と同じ位置に３行×３列で配置された黒色の四角からなる画像である。従って、ステップＳ１２４で得られる第２重畳画像３２５は図３に示したように、９個の黒色の四角の領域が静止画像に重畳された画像となる。

以下、第１撮像画像取得処理と同様の処理工程を経て、第２重畳画像３２５を投写して撮像し（ステップＳ１２６）、撮像された第２撮像画像３２７（図３参照）が撮像画像メモリ１８２に記憶されたことを確認する（ステップＳ１２８）。その後、第１撮像画像取得処理のステップＳ１１２（図４）において一時的にフリーズさせていた投写画像のフリーズを解除するコマンドを映像用プロセッサ１３４に出力し（ステップＳ１２９）、第２撮像画像取得処理を終了する。

これら二つのサブルーチン（第１撮像画像取得処理と第２撮像画像取得処理）が実行されることにより、撮像画像メモリ１８２の所定のアドレス範囲に、第１撮像画像３１７と第２撮像画像３２７とが、保存された状態となる。そこで、次にＣＰＵ１２０は、測定用画像検出処理の先述したステップＳ１３０（図２）を実行し、第１撮像画像３１７と第２撮像画像３２７との各画素値の差分を計算し、その差分値によって表される測定用画像３３０（図３）を検出する処理を行う（ステップＳ１４０）。測定用画像３３０は、２枚の撮像画像の各画素の画素値の差分を取った画像なので、フリーズされた画像による濃淡や色相は全て相殺され、測定用領域３３５からなる画像として検出される。本実施例では、図７（Ａ）に示すような黒色の背景部分と３行×３列の９個の白色部分を含む画像が測定用画像３３０として検出される。なお、本実施例においては、第１校正画像は白色で、第２校正画像は黒色としたが、この２枚の校正画像は明度、色相、彩度の少なくともいずれかひとつが異なれば、測定用画像検出処理を経て得られる画像は、測定用画像として検出可能である。

（Ａ４）三次元測量処理：
次に、三次元測量処理について説明する。三次元測量処理は、プロジェクタ１００のズームレンズ１５２の主点を原点とする三次元座標系（以下「レンズ座標系」とも呼ぶ）における、スクリーンＳＣを含む平面の三次元状態を検出する処理である。すなわち、プロジェクタ１００における投写光学系の光軸に対するスクリーンＳＣの三次元的な傾きを検出するのである。

図６は、プロジェクタ１００における三次元測量処理の流れを示すフローチャートである。図７は、三次元測量処理の過程で使用する画像を示している。三次元測量処理は測定画像検出処理後に自動的に開始される。この処理が開始されるとＣＰＵ１２０はまず、三次元測量部１２５の処理として、先に検出した測定用画像３３０を離散化し（ステップＳ２０５）、９つの測定点３３７を算出する処理を行う（ステップＳ２１０）。図７（Ａ）に示した測定用画像３３０を離散化した離散化画像の一例を、図７（Ｂ）に示した。ここで用いる離散化の処理とは、測定用画像３３０を含む二次元平面座標を水平方向及び垂直方向にスキャンし、各画素の濃淡の分布を求め、濃淡の分布から各方向に３つの重心位置を求め、白色の四角の領域の中心座標を取得する処理を意味している（図７（Ｃ））。測定用画像３３０及び測定用領域３３５の輪郭がぼやけた画像であっても、離散化することにより測定用領域３３５内の測定点３３７は一意に定まる。つまりは、ズームレンズ１５２のフォーカス調整ができていないプロジェクタ１００によってスクリーンＳＣに投写され、撮像された輪郭のぼやけた第１撮像画像３１７と第２撮像画像３２７とから、輪郭のぼやけた測定用画像３３０が得られたとしても、測定点３３７の算出が可能である。計９個の測定点Ｐ１ないしＰ９の座標は、Ｐ１（Ｘ１１，Ｙ１１）ないしＰ９（Ｘ３３，Ｙ３３）として表すことができる（図７（Ｄ））。

次に、ステップＳ２１０によって算出された９つの測定点３３７の内、平面の定義が可能な３点を選択する処理を行う（ステップＳ２１５）。平面の定義が可能な３点の選択については、その３点全てが同一直線上に位置しなければ、９つの測定点３３７の内のどの３点を選択してもよい。本実施例において、９つの測定点３３７を検出しているのは、投写光学系１５０とスクリーンＳＣの間に障害物等が介在し、投写光学系１５０から投写した重畳画像の一部がスクリーンＳＣに表示されなかった場合や、撮像部１８０とスクリーンＳＣの間に障害物が介在し重畳画像の一部を撮像できなかった場合にでも、その撮像された測定用画像３３０の一部分から測定点３３７を検出し、その測定点３３７を用いて三次元測量を行うことができるようにするためである。この様な場合、本実施例における３行×３列に配列された９つの測定点３３７の内、各行各列に少なくとも１点ずつの測定点が検出できれば三次元測量は可能である。

次に、選択した３つの測定点３３７のレンズ座標系における三次元座標を検出する（ステップＳ２２０）。測定点３３７の三次元座標の検出は、ズームレンズ１５２と撮像部１８０との視差を利用し、三角測量の原理により三次元座標を検出する能動型のアクティブステレオ法を用いて行う。なお、測定点の三次元座標の検出には複数のカメラを用いた受動型のステレオ法など、アクティブステレオ法以外の方法を用いてもよい。

このようにして検出された３つの測定点３３７の三次元座標に基づいて、スクリーンＳＣを含む平面に近似する近似平面を算出する（ステップＳ２３０）。具体的には、この３つの測定点を用いた最小二乗法により、スクリーン面を含む平面に近似する近似平面の式を算出する。近似平面式の算出後、三次元測量処理は終了する。

（Ａ５）台形歪み補正処理：
次に台形歪み補正処理について説明する。台形歪みは、プロジェクタ１００から投写した投写光の光軸の方向に対して、スクリーンＳＣを含むスクリーン面が垂直に設置されていない場合に、プロジェクタ１００からの投写画像に生じる台形型の歪みのことである。この台形型の投写画像の歪みを補正するのが、台形歪み補正処理である。

台形歪み補正処理（図２：ステップＳ３００）の詳細を図８に示した。台形歪み補正処理では、ＣＰＵ１２０は、まず投写角算出部１２６として処理を実行することにより、三次元測量処理で検出したスクリーン平面の近似平面とプロジェクタ１００から投写した投写光の光軸との角度である投影投写角を算出する（ステップＳ３１０）。本実施例では、近似平面の法線と投射光の光軸とがなす角度を投影投写角として算出している。次に算出された投影投写角を基に、台形歪み補正部としての処理を実行し、スクリーン平面に対して投影投写角が垂直となる測定点３３７の目標座標を算出する（ステップＳ３２０）。最後に、測定点３３７の座標を目標座標に変換する変換係数を算出する処理を行い（ステップＳ３３０）、この係数を映像用プロセッサ１３４に設定する処理を行う（ステップＳ３４０）。

映像用プロセッサ１３４は、設定された係数を用いて、入力されるデジタル画像信号を変換し、変換した結果を液晶パネル駆動部１３２へと出力する。映像用プロセッサ１３４に設定する係数は、入力した画像信号の画素位置の情報（座標）に対して、３次元のベクトル演算を行う際の係数である。

この３次元のベクトル演算は、画素の座標を、台形歪み補正する位置の座標に変換するために実行される。この係数が設定されると、映像用プロセッサ１３４は、入力したデジタル画像信号に対して、各画素の座標に対してベクトル演算を繰り返す。これにより、台形歪み補正処理は実現される。

以上説明したように、第１実施例のプロジェクタ１００によれば、スクリーンＳＣに投写中の投写画像に校正画像を重畳した重畳画像を用いてスクリーンＳＣの三次元測量を実行し、投写画像の台形歪み補正を行うので、投写画像の投写時と重畳画像の投写時とでは投写面の明るさに大きな変化が無く、撮像部による投写面の撮像を短時間に行うことができる。測定専用の画像に切り換えることがないので、オートアイリスなどが受光量を調整するのに時間を要することがないからである。また、投写中の投写画像の状態に影響を受けないので、鑑賞画像等を投写中であっても、その鑑賞画像等を中断せずに投写画像の台形歪み補正を行うことができる。さらに、三次元測量に用いる測定用画像３３０は、２枚の撮像画像の各画素の画素値の差分によって検出されているので、撮像画像内に含まれる鑑賞画像等は相殺され、測定用領域３３５のみを残した画像として検出できる。つまりは、スクリーンＳＣ上に塵埃等が付着しており、撮像画像中にその塵埃が写っていても、測定用画像の検出時にはその塵埃に相当する画像は相殺されるので、精度の高い測定用画像の検出及びその後の台形歪み補正が可能となる。

本実施例において、画像合成部１２１は特許請求の範囲における第１合成画像出力部及び第２合成画像出力部に該当し、三次元測量部１２５及び焦点距離算出部１２４及び投写角算出部１２６は特許請求の範囲における配置関係検出部に該当し、液晶パネル１３０及び照明光学系１４０及び投写光学系１５０は特許請求の範囲における投写部に該当し、その他、本実施例における特許請求の範囲と同じ名称のものは、特許請求の範囲のそれに該当する。

Ｂ．第２実施例：
次に本発明の第２実施例について説明する。第１実施例においては、投写部と投写面との配置関係として、スクリーン平面の近似平面とプロジェクタ１００から投写した投写光の光軸との角度である投写角を算出し、その投写角に基づいて投写画像の台形歪み補正を行うものであったが、第２実施例では、投写部と前記投写面との配置関係として、スクリーン平面の近似平面と投写部との距離である投写距離を算出し、その投写距離に基づいて投写画像のフォーカス調整を行う。また、プロジェクタの構成は第１実施例のプロジェクタ１００と同じである。

本実施例におけるプロジェクタの構成は第１実施例のプロジェクタ１００と同じであるので、構成については図１を用い、フォーカス調整の流れについては図９を用いて本実施例を説明する。フォーカス調整は、図１におけるプロジェクタ１００内のＣＰＵ１２０、ＣＰＵ１２０からのコマンドによって稼働するズームレンズ駆動部１５５及びフォーカス調整用モータ１５７によって行われる。

図９はＣＰＵ１２０内で実行されるフォーカス調整処理の流れを示したフローチャートである。フォーカス調整は第１実施例でも算出したスクリーン平面の近似平面に基づいて行われる。従って、近似平面が算出されるまでの図２における各工程（ステップＳ１１０〜Ｓ２００）は台形歪み補正と同じであるので、図９では省略して図示した。

ＣＰＵ１２０は、ステップＳ１１０からステップＳ２００までの処理を終了すると、次に算出されたスクリーン平面の近似平面に基づいて、ズームレンズ１５２の主点からスクリーンＳＣまでの距離である投写距離を算出する処理を行う（ステップＳ４１０）。これが図１に示した焦点距離算出部１２４の処理に相当する。その後、焦点距離算出部１２４は投写距離に基づいてプロジェクタ１００からの投写光がスクリーンＳＣで投写画像として結像する焦点距離を算出する（ステップＳ４２０）。最後に、算出した焦点距離に焦点が合うようにズームレンズ１５２の適切な位置及びその位置にレンズを移動させるフォーカス調整用モータ１５７の駆動量を算出し、駆動量の値をズームレンズ駆動部１５５に設定し（ステップＳ４３０）、フォーカス調整処理を終了する。駆動量の値が設定されたズームレンズ駆動部は、駆動量に基づいてフォーカス調整用モータ１５７を駆動させることにより、ズームレンズ１５２を適切な位置に移動させ、投写光をスクリーンＳＣで投写画像として結像させフォーカス調整を行う。なお、フォーカス調整処理を実行する時点で、ズームレンズのズーム比を読み込んでいる必要があるが、ズーム調整用モータ１５６によるズームレンズ１５２の駆動量から算出している。もとより本実施例では既述したように、撮像部１８０による撮像画像から算出することも可能である。

以上説明したように、第２実施例のプロジェクタによれば、フォーカス調整を行う際に、投写される画像の内容には制限されず、かつ投写画像を中断せずに行うことができる。また測定用画像を検出する際に行う、投写面に投写された重畳画像の撮像も安定して短時間で行われる。さらに、測定用画像に基づく測定点の検出も正確に行うことができるので、精度の高いフォーカス調整を行うことができる。
なお、第２実施例として説明したフォーカス調整は、単独で実施しても良いし、第１実施例で説明した台形歪み補正と共に実施しても良い。

Ｃ．変形例：
この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（Ｃ１）変形例１：
上記実施例では、投写している鑑賞画像等の投写画像において測定用画像の検出を行ったが、この投写画像が静止画像であることにとどまらず、動画であってもよい。ユーザーからリモコン１９１を通じた投写画像の補正指示に応じてその動画を一時停止させて測定用画像の検出を行うようにすれば測定用画像の検出は可能である。

（Ｃ２）変形例２：
上記実施例では、図３に示した３行×３列に配置された特定形状の図形からなる第１校正画像３１０と第２校正画像３２０とを用いたが、そのような形状に限らず、他の形状の校正画像を用いてもよい。他の校正画像の例として図１０に示した。図に示すように、白色の格子状の第３重畳画像３５５と黒色の格子状の第４重畳画像３６５とを作成し、投写、撮像によって第３撮像画像３５７と第４撮像画像３６７とを取得し、その各画素の差分値を求めて測定用画像３７０を検出してもよい。第１実施例では測定用画像３３０の二次元平面に対する画素値の濃淡によって離散化し測定点３３７を検出したが、本変形例の場合、測定用画像３７０から検出する測定点として、測定用領域である格子状の白線の縦線と横線の交点を測定点とすればよい。その場合、白線の輪郭の検出手段として白色の濃淡に対して微分フィルタやラプラシアンフィルタと言った輪郭抽出フィルタをかけることによって白線の輪郭を検出することができる。また、校正用画像としてはその他に、形状が四角や格子状に限らず丸や三角の形状でもよいし、それらの形状がＮ行×Ｍ行（Ｎ，Ｍ：自然数）に並んだ校正画像等でも良い。更に、第１校正画像と第２校正画像は同一形状でなくてもよい。第１校正領域と第２校正領域の一部が一致していればよく、一致している形状から測定画像における測定領域が検出できればよい。校正画像の形状についても、幾何学的な形状に限らず、特定の点の座標が定まればよく、例えばアニメ的な有意の画像や、文字として読み取り可能な形状の図形を含む画像でもよい。なお、特許請求の範囲記載の所定形状とは、四角や丸や三角などの図形単体を示してもよいし、校正画像内の全部の図形を含めて一つの所定形状としてもよい。第１，第２実施例においては校正画像内の全部の図形を含めて一つの所定形状とし、変形例においては、格子状の図形単体を所定形状としている。アニメ的な有意の画像や、文字として読み取り可能な形状の図形を含む画像においても、それらの画像が複数の図形を含む場合は、画像内に含まれる図形の単体を所定形状としてもよいし、画像内に含まれる全部の図形を一つの所定形状としてもよいのは勿論である。

この他、プロジェクタ１００では光変調素子として液晶パネル１３０を用いているが、光変調素子としてＤＭＤ（デジタル・ミラー・デバイス）を用いたＤＬＰプロジェクタとしても良い。また、撮像部１８０に用いるイメージセンサをＣＣＤに代えてＣＭＯＳとしても良い。更に、照明光学系１４０に用いる光源を放電灯に代えてＬＥＤとしても良い。
また、上記実施例では近似平面の法線と投射光の光軸とがなす角度を投影投写角として算出しているが、投影投写角は台形補正処理を適切に行うことができる角度であれば良い。

また、上記実施例においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。

第１実施例におけるプロジェクタ１００の構成を示すブロック図である。 第１実施例における台形歪み補正を示すフローチャートである。 台形歪み補正に用いる画像を示した説明図である。 第１実施例における第１撮像画像取得処理を示すフローチャートである。 第１実施例における第２撮像画像取得処理を示すフローチャートである。 第１実施例における三次元測量処理を示すフローチャートである。 三次元測量処理に用いる画像を示した説明図である。 第１実施例における台形歪み補正処理を示すフローチャートである。 第２実施例におけるフォーカス調整処理を示すフローチャートである。 変形例２に用いる画像を示した説明図である。

符号の説明

１００…プロジェクタ
１０２…バス
１１０…Ａ／Ｄ変換部
１２０…ＣＰＵ
１２１…画像合成部
１２２…測定用画像検出部
１２３…ズーム比算出部
１２４…焦点距離算出部
１２５…三次元測量部
１２６…投写角算出部
１３０…液晶パネル
１３２…液晶パネル駆動部
１３４…映像用プロセッサ
１３６…台形歪み補正部
１４０…照明光学系
１５０…投写光学系
１５２…ズームレンズ
１５５…ズームレンズ駆動部
１５６…ズーム調整用モータ
１５７…フォーカス調整用モータ
１６０…ＲＡＭ
１７０…ＲＯＭ
１７１…校正画像記憶部
１８０…撮像部
１８２…撮像画像メモリ
１９０…リモコン制御部
１９１…リモコン
２００…ケーブル
３００…静止画像
３１０…第１校正画像
３１５…第１重畳画像
３１７…第１撮像画像
３２０…第２校正画像
３２５…第２重畳画像
３２７…第２撮像画像
３３０，３７０…測定用画像
３３５…測定用領域
３３７…測定点
３４０…離散画像
３５５…第３重畳画像
３５７…第３撮像画像
３６５…第４重畳画像
３６７…第４撮像画像
ＳＣ…スクリーン

Claims (8)

1. 投写型表示装置であって、
   投写面に向けて画像を投写させる投写部と、
   前記画像が投写される前記投写面を撮像する撮像部と、
   前記投写部によって投写される画像から静止画像を取得して、前記静止画像と所定形状の第１校正画像とを合成し、第１合成画像として前記投写部に出力する第１合成画像出力部と、
   前記第１校正画像とは画像の性質が異なり、少なくとも形状の一部が重なる所定形状の第２校正画像を、前記静止画像と合成し、第２合成画像として前記投写部に出力する第２合成画像出力部と、
   前記第１合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第１撮像画像と、前記第２合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第２撮像画像との各画素の画素値の差分によって表される測定用画像を検出する測定用画像検出部と、
   前記測定用画像から測定点を抽出し、前記測定点に基づいて前記投写部と前記投写面との配置関係を検出する配置関係検出部とを備え、
   前記第１，第２校正画像における前記画像の性質とは明度、色相、彩度の少なくともいずれかひとつである
   投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記第１，第２校正画像における少なくとも形状の一部が重なる所定形状とは、
   その重なる部分が平面を定義可能な３点を抽出可能に含んでいる形状である
   投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記配置関係検出部は、前記配置関係の１つとして前記投写部から投写する投写光の光軸と前記投写面との傾きである投写角を算出する投写型表示装置。
4. 請求項３記載の投写型表示装置はさらに、
   前記配置関係検出部で算出した前記投写角を用いて前記投写面に投写される投写画像の台形歪みを補正する台形歪み補正部を備える投写型表示装置。
5. 請求項４記載の投写型表示装置であって、
   前記配置関係検出部は、前記配置関係の１つとして前記投写型表示装置と前記投写面までの投写距離を算出する投写型表示装置。
6. 請求項５記載の投写型表示装置はさらに、
   前記配置関係検出部で算出した前記投写距離を用いて前記投写面に投写される投写画像のフォーカス調整を行うフォーカス調整部を備える投写型表示装置。
7. 請求項１ないし請求項６のいずれか記載の投写型表示装置であって、
   前記第１，第２校正画像における前記画像の性質とは明度であり、
   前記第１校正画像は白色、前記第２校正画像は黒色である
   投写型表示装置。
8. 投写型表示装置と投写面との配置関係を検出する配置関係検出方法であって、
   前記投写面に投写される画像から静止画像を取得して、当該静止画像と所定形状の第１校正画像を合成し、第１合成画像として前記投写部に出力する工程と、
   前記第１校正画像とは画像の性質が異なり、少なくとも形状の一部が重なる所定形状の第２校正画像を、前記静止画像と合成し、第２合成画像として前記投写部に出力する工程と、
   前記第１合成画像を前記投写部によって前記投写面に投写させ撮像部で撮像した第１撮像画像と、前記第２合成画像を前記投写部によって前記投写面に投写させ前記撮像部で撮像した第２撮像画像との各画素の画素値の差分によって表される測定用画像を検出する工程と、
   検出した前記測定用画像から測定点を抽出し、前記測定点に基づいて前記投写型表示装置と前記投写面との配置関係を検出する工程とを備え、
   前記第１，第２校正画像における前記画像の性質とは明度、色相、彩度の少なくともいずれかひとつである
   配置関係検出方法。

Images