JP2011199717A - 投写型表示装置および画像表示方法 - Google Patents

Abstract

【課題】投写面に向けて画像を投写する投写型表示装置における台形歪み補正に関する技術を提供する。
【解決手段】投写面に向けて画像を投写して表示する投写型表示装置であって、画像を投写する投写手段と、投写面を撮像し、投写面の撮像画像を生成する撮像手段と、投写手段を合焦状態とは異なる状態に調整する調整手段と、前記撮像手段が前記投写面を撮像する前に、前記投写手段を合焦状態とは異なる状態に調整するように前記調整手段を制御する制御手段と、前記投写手段が合焦状態とは異なる状態で撮像された投写面の撮像画像に基づいて投写面の形状を検出し、投写面の形状に一致するように画像を補正する補正手段と、を備える。よって、投写画像の輪郭を誤ってスクリーンの枠辺と検出してしまうことを抑制することができる。
【選択図】図８

Description

本発明は、投写面に向けて画像を投写する投写型表示装置、及び投写型表示装置における画像表示方法に関する。

プロジェクター等の投写型表示装置を用いてスクリーンに画像を表示させるとき、投写型表示装置とスクリーンの相対的な角度によって、スクリーンに投写された画像（以下、「投写画像」と呼ぶ）に歪みが生じることがある。このような場合に、投写画像がスクリーン上で適切な形状となるように入力画像を補正する技術（以下、「台形歪み補正」と呼ぶ）が知られている。

こうした台形歪み補正を行う際には、投写型表示装置は、内蔵したカメラ等の撮像部でスクリーンを撮影し、撮影画像におけるスクリーンの枠辺を境界線として検出する。そして、投写型表示装置は、検出されたスクリーンの枠辺を用いて、投写画像の形状がスクリーンの形状に一致するように、入力画像を補正する。このとき、投写型表示装置は、輝度の変化などに基づいて画像に含まれる輪郭を抽出する輪郭抽出処理を撮影画像に施すことにより、撮影画像におけるスクリーンの枠辺を検出する（下記特許文献参照）。

特開２００５−３１８６５２号公報 特開２００６−０６０４４７号公報

しかし、上記の従来技術では、撮影画像に含まれる画像のうち、実際にはスクリーンの枠辺の画像ではない画像を誤ってスクリーンの枠辺の画像として検出してしまう場合があり、そのような場合には適切な台形歪み補正が実行されないという問題があった。例えば、以下に説明するように、投写型表示装置が投写画像の輪郭とスクリーンの枠辺を誤って検出してしまう場合がある。

撮像部でスクリーンを撮像する際に、投写型表示装置が白い画像（以下、「白画像」という）を投写していると、投写型表示装置が白画像の輪郭をスクリーンの枠辺と誤って検出してしまう場合がある。そのため、スクリーンの枠辺を検出するために撮像部でスクリーンを撮像する場合は、投写型表示装置は黒い画像（以下、「黒画像」という）を投写する。
投写型表示装置は、この黒画像を投写する場合は、光源からの光を液晶パネル等の光変調素子を用いて遮光する（換言すれば、光源からの光が投写レンズに入らないようにする）ことによって、スクリーン上で黒画像を表現する。しかし、光変調素子自体の特性や迷光などの光学的な問題により、実際にスクリーン上に再現される黒画像が若干の明るさを有する現象（以下、「黒浮き」という）が生じる場合がある。この黒浮きが生じている場合、たとえ投写画像が黒画像であっても、スクリーンにおいて投写画像が占める領域は、その周囲の領域よりも若干明るい。このため、投写型表示装置から黒画像を投写した状態でスクリーンを撮像した場合であっても、投写型表示装置が投写画像の輪郭をスクリーンの枠辺と誤って検出してしまい、台形歪み補正を適切に行うことができない場合がある。
特に投写型表示装置からスクリーンまでの投写距離が近い場合や、投写画像を鑑賞する環境が暗い場合、投写型表示装置の輝度が高い場合などに、投写型表示装置は投写画像の輪郭をスクリーンの枠辺と誤って検出しやすい。

本発明は、上述した従来の課題を解決するためになされたものであり、投写型表示装置が、スクリーンを撮影した撮影画像からスクリーンの枠辺を検出する際に、投写画像の輪郭をスクリーンの枠辺と誤って検出してしまうことを抑制する技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するために、以下の形態または適用例を取ることが可能である。

〔適用例１〕本適用例に係る投写型表示装置は、投写面に向けて画像を投写して表示する投写型表示装置であって、前記画像を投写する投写手段と、前記投写面を撮像し、前記投写面の撮像画像を生成する撮像手段と、前記投写手段を合焦状態とは異なる状態に調整する調整手段と、前記撮像手段が前記投写面を撮像する前に、前記投写手段を合焦状態とは異なる状態に調整するように前記調整手段を制御する制御手段と、前記投写手段が合焦状態とは異なる状態にあるときに撮像された前記投写面の撮像画像に基づいて前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正する補正手段とを備えていることを特徴とする。

この適用例によれば、撮像手段によって投写面を撮像する前に、調整手段によって投写手段を合焦状態とは異なる状態に調整する。投写手段を合焦状態とは異なる状態に調整すると、投写手段のフォーカスがぼけた状態となるので、投写手段から投写される投写画像は投写面において輪郭がぼけた状態となる。投写画像の輪郭がぼけた状態で投写面を撮像した場合、撮像画像に含まれる投写画像の輪郭は、投写手段が合焦状態である場合の投写画像の輪郭よりもぼけているため、輪郭抽出処理において投写画像の輪郭をスクリーンの枠辺と誤って検出することが少なくなる。したがって、投写画像の輪郭を誤ってスクリーンの枠辺と検出してしまうことを抑制することができる。

〔適用例２〕上記適用例に係る投写型表示装置では、前記投写手段は、調整画像を投写し、前記撮像手段は、投写された前記調整画像を撮像して前記調整画像の撮像画像を生成し、前記制御手段は、前記調整画像の前記撮像画像に基づいて、前記投写手段の合焦状態を判定するとともに、前記撮像手段が前記投写面を撮像する前に、前記投写手段を前記合焦状態とは異なる状態に調整するように前記調整手段を制御することが好ましい。

この適用例によれば、投写手段が合焦状態となる状態を把握できるので、調整手段によって投写手段を調整する際に、この合焦状態を基準として投写手段を調整することが可能となり、投写手段を合焦状態とは異なる状態に調整することが容易になる。

〔適用例３〕上記適用例に係る投写型表示装置では、前記制御手段は、前記撮像手段が前記投写面を撮像した後に、前記投写手段を前記合焦状態に調整するように前記調整手段を制御することが好ましい。

この適用例によれば、制御手段が、撮像手段が投写面を撮像した後に投写手段を合焦状態に調整するように調整手段を制御するので、投写面を撮像した後に投写手段によって画像を投写面に投写する際に、合焦状態で画像を表示することができる。

〔適用例４〕上記適用例に係る投写型表示装置では、前記投写手段は、測定画像を投写し、前記撮像手段は、投写された前記測定画像を撮像して前記測定画像の撮像画像を生成し、前記補正手段は、前記投写面の撮像画像、及び前記測定画像の撮像画像に基づいて、入力画像を補正して補正画像を生成することが好ましい。

この適用例によれば、投写型表示装置は、投写された測定画像を撮像し、測定画像の撮像画像を生成している。測定画像が所定のパターンを含む画像であれば、投写型表示装置は、入力画像上に定義される座標と撮像画像上に定義される座標との対応関係を決定することができる。投写型表示装置は、この対応関係を利用することで、入力画像を補正することができる。

〔適用例５〕上記適用例に係る投写型表示装置では、前記補正手段は、前記投写面の撮像画像に基づいて、前記投写型表示装置に対する前記投写面の相対角度を算出し、前記相対角度に基づいて入力画像を補正して補正画像を生成することが好ましい。

この適用例によれば、投写型表示装置は、投写面の撮像画像に基づいて、当該投写型表示装置に対する投写面の相対角度を算出し、この相対角度に基づいて入力画像を補正する。従って、投写型表示装置は、測定画像を利用することなく入力画像を補正することができる。

〔適用例６〕本適用例に係る画像表示方法は、投写面に向けて画像を投写して表示する投写型表示装置の画像表示方法であって、前記投写型表示装置の投写手段を合焦状態とは異なる状態に調整し、前記投写手段が合焦状態とは異なる状態にあるときに前記投写面を撮像して撮像画像を生成し、前記撮像画像に基づいて前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正することを特徴とする。

この適用例によれば、投写面を撮像する前に、投写型表示装置の投写手段を合焦状態とは異なる状態に調整する。投写手段を合焦状態とは異なる状態に調整すると、投写手段のフォーカスがぼけた状態となるので、投写手段から投写される投写画像は投写面において輪郭がぼけた状態となる。投写画像の輪郭がぼけた状態で投写面を撮像した場合、撮像画像に含まれる投写画像の輪郭は、投写手段が合焦状態である場合の投写画像の輪郭よりもぼけているため、輪郭抽出処理において投写画像の輪郭をスクリーンの枠辺と誤って検出することが少なくなる。したがって、投写画像の輪郭を誤ってスクリーンの枠辺と検出してしまうことを抑制することができる。

なお、本発明は、種々の態様で実現することが可能である。例えば、投写面検出方法および装置、投写画像補正方法及び装置、それらの方法または装置の機能を実現するための集積回路、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

実施例におけるプロジェクター１００の構成を示すブロック図である。 実施例における台形歪み補正処理を示すフローチャートである。 実施例における相対位置調整処理を示すフローチャートである。 相対位置調整処理で用いられるフォーカス調整画像３１０、及びガイド表示画像３２０を示した説明図である。 実施例における撮像画像生成処理を示すフローチャートである。 実施例におけるフォーカスぼかし処理を行っていない状態での、投写された黒画像に生じた黒浮きを示した説明図である。 実施例におけるフォーカスぼかし処理を行っていない場合で境界線検出処理を行った結果を示した説明図である。 実施例におけるフォーカスぼかし処理を行った状態における、投写された黒画像に生じた黒浮きを示した説明図である。 実施例におけるフォーカスぼかし処理を行った場合で境界線検出処理を行った結果を示した説明図である。 実施例における補正形状決定処理を示すフローチャートである。 カメラ座標におけるスクリーンＳＣの４隅の座標Ｐｃ１〜Ｐｃ４を示した説明図である。 補正形状決定処理で用いられる測定画像３３０を示した説明図である。 パネル座標とカメラ座標が射影変換式Ｍ１によって対応付けられることを模式的に示した説明図である。 射影変換式Ｍ１によって座標Ｐｃ１〜Ｐｃ４を座標Ｐｐ１〜Ｐｐ４に変換する処理を示した説明図である。 パネル座標における入力画像の４隅座標と座標Ｐｐ１〜Ｐｐ４が射影変換式Ｍ２によって対応付けられることを模式的に示した説明図である。

次に、本発明の実施の形態を実施例に基づいて説明する。
Ａ．実施例：
（Ａ１）プロジェクターの構成
（Ａ２）台形歪み補正処理
（Ａ３）撮像画像生成処理
（Ａ４）補正形状決定処理
Ｂ．変形例

Ａ．実施例：
（Ａ１）プロジェクターの構成
図１は、本発明の実施例におけるプロジェクター１００の全体構成を示すブロック図である。プロジェクター１００は、画像を表す画像信号を外部から入力し、これをスクリーンＳＣなどの投写面上に投写画像として表示させる投写型表示装置である。本実施例では、スクリーンＳＣの投写面形状は矩形形状とされている。

プロジェクター１００は大きく分けると、光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系１４０と、光変調素子１３０と、投写光学系１５０と、を含み、画像をスクリーンＳＣに投写する。この光学系が、特許請求の範囲における投写手段に該当する。

照明光学系１４０は、光を射出する光源（図示せず）を備える。また、照明光学系１４０は、光源から射出された光の照度分布を均一化するインテグレーター光学系や、光源から射出された光を所定の偏光方向を有する偏光光に変換する偏光変換光学系を備えていても良い。

光変調素子１３０は、後述する画像処理系からの信号に基づいて画像を形成する。本実施例では、光変調素子１３０として透過型の液晶ライトバルブを用いることとして説明する。光変調素子１３０は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶ライトバルブを含む。そのため、照明光学系１４０からの光をＲ（赤色）、Ｇ（緑色）及びＢ（青色）の３色の色光に分離し、各色光は対応する各液晶ライトバルブに入射する。各液晶ライトバルブによって変調された色光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系１５０に射出される。

投写光学系１５０は、ズームレンズ１５２を備えている。ズームレンズ１５２は複数のレンズから構成され、光変調素子１３０が形成する画像を、スクリーンＳＣ上に投写画像として結像させる。また、ズームレンズ１５２が投写画像を投写する際のズーム比と、ズームレンズ１５２の焦点距離は、後述するズームレンズ駆動部１５５によって調整可能である。

他方、画像処理系は、実質的な処理全般を司るＣＰＵ１２０と映像用プロセッサー１３４を中心に構成され、Ａ／Ｄ変換部１１０、光変調素子駆動部１３２、ズームレンズ駆動部１５５、ＲＡＭ１６０、ＲＯＭ１７０、撮像部１８０、撮像画像メモリー１８２、リモコン制御部１９０等を備える。画像処理系を構成する各要素は、バス１０２を介して互いに接続されている。

Ａ／Ｄ変換部１１０は、パーソナルコンピューターやＤＶＤプレーヤー等の画像出力機器からケーブル２００を介して入力された入力信号をＡ／Ｄ変換するデバイスであり、変換後のデジタル画像信号を、映像用プロセッサー１３４に出力する。映像用プロセッサー１３４は、入力したデジタル画像信号に対して、輝度、コントラスト、色の濃さ、色合い、投写画像の形状等を調整する処理を行った上で、光変調素子駆動部１３２に対して、処理後の画像信号を出力する。この画像信号に基づいて、光変調素子駆動部１３２は、光変調素子１３０を駆動する。結果的に、Ａ／Ｄ変換部１１０を介して入力した画像信号に対応した画像が、光変調素子１３０により形成され、この画像が投写光学系１５０を介して、スクリーンＳＣ上に形成されることになる。

映像用プロセッサー１３４が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図１では、台形歪み補正を行う回路を、特に台形歪み補正部１３６として示した。この台形歪み補正部１３６では、投写画像の台形歪み補正をデジタル画像信号に対して行っている。より具体的に説明すると、台形歪み補正部１３６は、後述する境界線検出部１２３が検出したスクリーンの枠辺に基づいて、入力画像に対して台形歪み補正を行い、形状が補正された補正画像を出力する。こうした映像用プロセッサー１３４は、台形歪み補正用のＤＳＰ（デジタルシグナルプロセッサー）として販売されている汎用のプロセッサーを用いることができるが、専用のＡＳＩＣとして構成することも差し支えない。台形歪み補正部１３６は、特許請求の範囲における補正手段に相当する。

ＣＰＵ１２０は、境界線検出部１２３と、ズームレンズ調整部１２４と、判定部１２５とを備え、プロジェクター１００における画像処理を行う。境界線検出部１２３、ズームレンズ調整部１２４及び判定部１２５は、ＣＰＵ１２０がＲＯＭ１７０に予め記憶した特定のプログラムを実行することにより実現される。ＣＰＵ１２０は、特許請求の範囲における制御手段に相当する。

境界線検出部１２３は、後述する撮像部１８０によって生成された、スクリーンＳＣの撮像画像から、スクリーンＳＣの枠辺を境界線として検出する。ズームレンズ調整部１２４は、ズームレンズ駆動部１５５を制御する。より具体的に説明すると、ズームレンズ調整部１２４は、ズームレンズ１５２を駆動するためのズームレンズ駆動信号を、後述するズームレンズ駆動部１５５に出力して、ズームレンズ１５２のズーム調整及びフォーカス調整を行う。判定部１２５は、ズームレンズ１５２のフォーカスが合っている状態（合焦状態）か否かを判定する。より具体的に説明すると、判定部１２５は、投写されたフォーカス調整画像３１０（図４参照）を撮像した撮像画像のコントラストが最大となる状態を合焦状態と判定する。

ズームレンズ駆動部１５５は、ズーム調整用モーター１５６、及びフォーカス調整用モーター１５７を備えている。ズームレンズ駆動部１５５は、ズームレンズ１５２を構成するレンズの位置などをズーム調整用モーター１５６によって調整することで、投写画像の拡大又は縮小を行うズーム調整を行う。またズームレンズ駆動部１５５は、ズームレンズ１５２を構成するレンズの位置などをフォーカス調整用モーター１５７によって調整することで、ズームレンズ１５２の合焦位置の調整を行うフォーカス調整を行っている。ズームレンズ駆動部１５５は、特許請求の範囲における調整手段に相当する。

ズームレンズ駆動部１５５は、ＣＰＵ１２０からズームレンズ駆動信号を受け取ると、その信号に基づいて、ズーム調整用モーター１５６及びフォーカス調整用モーター１５７を駆動し、ズーム調整及びフォーカス調整を行う。

上記のＣＰＵ１２０の動作に必要となるワークエリアは、ＲＡＭ１６０上に確保される。また、ＲＯＭ１７０は、上述した各処理部を実現するプログラムの他、後述する台形歪み補正に用いるフォーカス調整画像３１０、ガイド表示画像３２０及び測定画像３３０を記憶している。

リモコン制御部１９０は、リモコン１９１を通じてユーザーからの指示を受信し、バス１０２を介してＣＰＵ１２０に伝える。リモコン１９１は調整開始ボタン１９２及び調整終了ボタン１９３を備えている。ユーザーは、後述する台形歪み補正の開始及び終了を指示する際に、調整開始ボタン１９２及び調整終了ボタン１９３を操作する。なお、本実施例ではプロジェクター１００はユーザーからの指示をリモコン制御部１９０がリモコン１９１を通じて受信しているが、ユーザーからの指示をプロジェクター１００に備えた操作パネルなど、他の構成を通じて受け取るものとしてもよい。

撮像部１８０は、プロジェクター１００の前方、即ち、投写光学系１５０がスクリーンＳＣに向けて映像を投写する方向を撮像可能な位置に設けられており、推奨された投影距離においてスクリーンＳＣに投影された投写画像の全体が撮像範囲内に入るように、カメラ方向及び画角が設定されている。撮像部１８０は周知のＣＣＤ、このＣＣＤ上に映像を形成する単焦点レンズ、ＣＣＤに入射する光量を調整するオートアイリスなどの機構、更にはＣＣＤから画像信号を読み出す制御回路などを備える。オートアイリスの機構は、ＣＣＤカメラからの画像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス（絞り）を自動的に調整している。オートアイリスによる明るさの調整がなされた画像は、撮像部１８０から撮像画像メモリー１８２に出力され、撮像画像メモリー１８２の所定の領域に繰り返し書き込まれる。撮像画像メモリー１８２は、１画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、ＣＰＵ１２０は、このフラグを参照することにより、撮像部１８０を用いた撮像が完了したか否かを判定することができる。ＣＰＵ１２０は、このフラグを参照しつつ、撮像画像メモリー１８２にアクセスして、必要な撮像画像を取得する。撮像部１８０は、特許請求の範囲における撮像手段に相当する。

（Ａ２）台形歪み補正処理
図２は、プロジェクター１００が行う台形歪み補正処理の流れを示す。台形歪み補正処理は、スクリーンＳＣ上の投写画像の外周線の各辺がスクリーンＳＣの枠の各辺と平行となるように、投写画像の台形歪みを補正する処理である。台形歪み補正処理は、ユーザーからのリモコン１９１を通じた指示に応じて実行される。なお、台形歪み補正処理は、例えば電源オンや画像信号の入力に応じて自動的に実行されるものとしてもよい。

台形歪み補正処理は、相対位置調整処理（ステップＳ１００）と、スクリーンＳＣの撮像画像を生成するスクリーン撮像処理（ステップＳ２００）と、スクリーンＳＣの撮像画像におけるスクリーンＳＣの枠辺を境界線として検出する境界線検出処理（ステップＳ３００）と、検出されたスクリーンＳＣの枠辺に基づいて補正形状を決定する補正形状決定処理（ステップＳ４００）と、決定された補正形状に基づいて画像信号を補正する補正処理（ステップＳ５００）とを含む。

相対位置調整処理（ステップＳ１００）は、スクリーンＳＣに対するプロジェクター１００の相対位置の調整をユーザーに促す処理である。図３は、相対位置調整処理（ステップＳ１００）において行われる処理の流れを示す。

相対位置調整処理（ステップＳ１００）では、投写に先立ち、ズームレンズ調整部１２４がズームレンズ駆動部１５５へズームレンズ駆動信号を出力し、ズームレンズ１５２を含む投写光学系１５０のフォーカスの調整を行う（ステップＳ１１０）。この調整では、ズームレンズ調整部１２４が、プロジェクター１００から、例えば図４（ａ）に示すフォーカス調整画像３１０をスクリーンＳＣに投写した状態でズームレンズ１５２のフォーカスを変化させる。同時にズームレンズ調整部１２４は、投写されたフォーカス調整画像３１０を撮像部１８０に撮像させる。そして判定部１２５は、投写されたフォーカス調整画像３１０のコントラストが最大となる状態をズームレンズ１５２のフォーカスが合っている状態（合焦状態）と判定する。判定部１２５は、この合焦状態におけるズームレンズ１５２の状態をＲＡＭ１６０に記憶させる。なお、フォーカス調整画像３１０はＲＯＭ１７０に記憶されている。このフォーカス調整画像３１０は、暗い領域と明るい領域の輝度差が大きい画像であることが望ましく、図４（Ａ）に示すように白色の背景領域と黒色のパターンを含む画像を用いることが好ましい。フォーカス調整画像３１０は、特許請求の範囲における調整画像に相当する。

フォーカスの調整が終わると、ＣＰＵ１２０は、ＲＯＭ１７０に記憶している図４（ｂ）に示すようなガイド表示画像３２０をプロジェクター１００に投写させる（ステップＳ１２０）。ガイド表示画像３２０は、スクリーンＳＣに対するプロジェクター１００の相対位置の調整をユーザーに促す指示画像を含む画像である。本実施例では、ガイド表示画像３２０は、図４（Ｂ）に示すような黒色の背景領域と指示画像とを含む画像である。指示画像としては、図４（Ｂ）に示すように白色の矩形とその中に表示される指示文を含む画像を用いることができる。ここでは、指示文は白色の矩形がスクリーンの内側に入るようにプロジェクター１００の相対位置を調整することをユーザーに促すものである。

ガイド表示画像３２０がスクリーンＳＣに投写された後、ＣＰＵ１２０は、スクリーンＳＣに対するプロジェクター１００の相対位置の調整が完了した旨の入力が行われるのを待つ（ステップＳ１３０）。この入力は、ユーザーが例えばリモコン１９１の調整終了ボタン１９３を押下すること等によって行われる。この入力が行われると、ＣＰＵ１２０は撮像画像生成処理（ステップＳ２００）を実施する。

スクリーン撮像処理（ステップＳ２００）は、スクリーンＳＣの撮像画像を生成する処理である。スクリーン撮像処理（ステップＳ２００）の詳細については後述する。スクリーン撮像処理（ステップＳ２００）が終了すると、プロジェクター１００は境界線検出処理（ステップＳ３００）を実施する。

境界線検出処理（ステップＳ３００）は、撮像画像生成処理（ステップＳ２００）で生成された撮像画像におけるスクリーンＳＣの枠辺を境界線として検出する処理である。境界線検出処理（ステップＳ３００）では、境界線検出部１２３がスクリーンＳＣの撮像画像に対してエッジ抽出フィルターを適用し、スクリーンの枠辺を境界線として検出する。エッジ抽出フィルターとしては、微分フィルター、ラプラシアンフィルター等の画像の輪郭を抽出することが可能な種々のフィルターを用いることができる。

補正形状決定処理（ステップＳ４００）は、境界線検出処理（ステップＳ３００）で検出されたスクリーンＳＣの枠辺に基づいて、入力画像を補正すべき形状を決定する処理である。補正形状決定処理（ステップＳ４００）では、入力画像の画素位置と、形状が補正された補正画像の画素位置との対応関係を決定している。補正形状決定処理の詳細については後述する。

台形歪み補正処理（ステップＳ５００）は、補正形状決定処理（ステップＳ４００）で決定された補正形状に基づいて入力画像を補正し、補正画像を得る処理である。台形歪み補正処理（ステップＳ５００）では、台形歪み補正部１３６が、補正形状決定処理（ステップＳ４００）で得られた入力画像の画素位置と補正画像の画素位置との対応関係に基づいて、補正画像の画素値を算出する。なお、補正画像の画素位置に対応する入力画像の画素位置は一般的には整数とはならない。そのため補正画像の画素値は、補正画像の当該画素に対応する入力画像の画素位置の近傍にある数画素の画素値を用いて補間を行い、補正画像の画素値を算出している。

（Ａ３）撮像画像生成処理
スクリーン撮像処理（ステップＳ２００）の詳細について説明する。スクリーン撮像処理（ステップＳ２００）は、スクリーンＳＣの撮像画像を生成する処理である。図５は、スクリーン撮像処理（ステップＳ２００）において行われる処理の流れを示す。このスクリーン撮像処理（ステップＳ２００）は、ズームレンズ１５２を合焦状態とは異なる状態に調整するフォーカスぼかし処理（ステップＳ２１０）と、ズームレンズ１５２が合焦状態とは異なる状態でスクリーンＳＣを撮像して撮像画像を生成する撮像処理（ステップＳ２２０）と、ズームレンズ１５２を合焦状態に戻す調整処理（ステップＳ２３０）とを含む。

ズームレンズ１５２のフォーカスぼかし処理（ステップＳ２１０）は、ズームレンズ１５２の状態を、合焦状態から合焦状態とは異なる状態に変化させることにより、ズームレンズ１５２のフォーカスをぼかす処理である。ズームレンズ１５２のフォーカスぼかし処理（ステップＳ２１０）では、ズームレンズ調整部１２４は、ステップＳ１１０で合焦状態に調整されたズームレンズ１５２を、合焦状態とは異なる状態に調整し、ズームレンズ１５２のフォーカスをぼかす。次に、プロジェクター１００は撮像処理（ステップＳ２２０）を実施する。

撮像処理（ステップＳ２２０）では、撮像部１８０がズームレンズ１５２のフォーカスがぼけた状態でスクリーンＳＣを撮像して、撮像画像を生成する。

スクリーンＳＣの撮像が終わると、ズームレンズ調整部１２４は、ズームレンズ１５２の状態を合焦状態に戻す（ステップＳ２３０）。ズームレンズ１５２は、ステップＳ１１０で合焦状態に調整され、この合焦状態におけるズームレンズ１５２の状態がＲＡＭ１６０に記憶されている。したがって、ＲＡＭ１６０を参照することにより、ズームレンズ調整部１２４はズームレンズ１５２を容易に合焦状態に戻すことができる。ステップＳ２３０が行われると、プロジェクター１００は境界線検出処理（ステップＳ３００）を実施する。

なお、本実施例の撮像画像生成処理（ステップＳ２００）では、撮像処理（ステップＳ２２０）に先立ち、フォーカスぼかし処理（ステップＳ２１０）を行っている。このフォーカスぼかし処理を行った場合の効果について説明する。

図６は、スクリーンＳＣ及びスクリーンＳＣに投写される投写画像を示す。なお、ここでは投写画像は黒画像ＩＭｂ１であるとする。図６（Ａ）は、投写された黒画像ＩＭｂ１の黒浮きが存在しない理想的な状態を示しており、図６（Ｂ）は投写された黒画像ＩＭｂ１に黒浮きが生じている状態を示している。

図７は、図６に示すスクリーンＳＣ及び黒画像ＩＭｂ１を撮像した撮像画像に対してエッジ抽出フィルターを適用した結果を示す図である。なお、図７（Ａ）は図６（Ａ）の状態のスクリーンを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。これに対して、図７（Ｂ）は図６（Ｂ）の状態のスクリーンを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。図７におけるエッジ強度とは、撮像画像にエッジ抽出フィルターを適用した結果、得られる出力値である。また、エッジ強度のピークが存在する領域、換言すればエッジ強度が他の領域よりも大きく、かつその幅が狭い領域に境界線が存在すると判断することができる。なお、図７は図６に示す直線Ｂ−Ｂ’に沿ったエッジ強度の一次元的な変化を示している。

図６（Ａ）のように投写画像の黒浮きが存在しない理想的な状態では、図７（Ａ）に示すようにスクリーンの左辺Ｓ_L及び右辺Ｓ_Rに対応する撮像画像の領域にエッジ強度のピークが存在している。従って、この部分がスクリーンの左辺Ｓ_L及び右辺Ｓ_Rであると判断することができるので、撮像画像におけるスクリーンＳＣの枠辺を正確に検出することができる。これに対して、図６（Ｂ）のように投写画像に黒浮きが生じている状態では、図７（Ｂ）に示すようにスクリーンの左辺Ｓ_L及び右辺Ｓ_Rに対応する領域のみならず、投写された黒画像ＩＭｂ１の左辺Ｐ_L及び右辺Ｐ_Rに対応する領域にもエッジ強度のピークが存在している。そのため、投写された黒画像ＩＭｂ１の左辺Ｐ_L及び右辺Ｐ_Rを、スクリーンの左辺Ｓ_L及び右辺Ｓ_Rとして誤って検出してしまう場合がある。

図８は、本実施例に係るフォーカスぼかし処理を行った場合のスクリーンＳＣ及びスクリーンＳＣに投写される黒画像ＩＭｂ２を示す。図８（Ａ）は、図６（Ａ）と同様に黒画像ＩＭｂ２の黒浮きが存在しない理想的な状態を示しており、図８（Ｂ）は黒画像ＩＭｂ２に黒浮きが生じている状態を示している。ただし、図６（Ｂ）と比較して、図８（Ｂ）において投写されている黒画像ＩＭｂ２はフォーカスがぼけた状態である。そのため、黒画像ＩＭｂ２の輪郭は、図６（Ｂ）における黒画像ＩＭｂ１の輪郭と比較するとぼけた状態である。

図９は、図８に示すスクリーンＳＣ及び黒画像ＩＭｂ２を撮像した撮像画像に対してエッジ抽出フィルターを適用した結果を示す図である。図７と同様に、図９も図８に示す直線Ｂ−Ｂ’に沿ったエッジ強度の一次元的な変化を示している。なお、図９（Ａ）が図８（Ａ）の状態のスクリーンＳＣを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。これに対して、図９（Ｂ）は図８（Ｂ）の状態のスクリーンＳＣを撮像した撮像画像にエッジ抽出フィルターを適用した結果である。

図８（Ａ）のように投写画像の黒浮きが存在しない理想的な状態では、図９（Ａ）に示すようにスクリーンの左辺Ｓ_L及び右辺Ｓ_Rに対応する撮像画像の領域にエッジ強度のピークが存在している。従って、図７（Ａ）の場合と同様に、撮像画像におけるスクリーンＳＣの枠辺を正確に検出することができる。これに対して、図８（Ｂ）のように投写画像に黒浮きが生じている状態では、図９（Ｂ）に示すようにスクリーンの左辺Ｓ_L及び右辺Ｓ_Rに対応する領域のみならず、投写された黒画像ＩＭｂ２の左辺Ｐ_L及び右辺Ｐ_Rに対応する領域にもエッジ強度のピークが存在している。しかしながら、図７（Ｂ）のようにフォーカスをぼかしていない状態と比較すると、黒画像ＩＭｂ２の輪郭がぼけているため、エッジ強度のピークの高さが低く、かつ、その幅が広くなっている。そのため、図７（Ｂ）の場合と比較すると、投写された黒画像ＩＭｂ２の左辺Ｐ_L及び右辺Ｐ_Rをスクリーンの左辺Ｓ_L及び右辺Ｓ_Rとして誤って検出してしまうことを抑制することが可能である。

（Ａ４）補正形状決定処理
補正形状決定処理（ステップＳ４００）の詳細について説明する。補正形状決定処理（ステップＳ４００）は、境界線検出処理（ステップＳ３００）で検出されたスクリーンＳＣの枠辺に基づいて、入力画像を補正すべき形状を決定する処理である。図１０は、補正形状決定処理（ステップＳ４００）において行われる処理の流れを示す。

なお、以降の説明で用いる「パネル座標」とは、光変調素子１３０上に定義される座標である。このパネル座標は、入力画像上に定義される座標と等価とみなすことができる。また「カメラ座標」とは、撮像部１８０のＣＣＤ上に定義される座標である。このカメラ座標は、撮像画像上に定義される座標と等価とみなすことができる。

補正形状決定処理（ステップＳ４００）では、境界線検出処理（ステップＳ３００）で検出されたスクリーンの枠辺に基づいて、台形歪み補正部１３６が、カメラ座標におけるスクリーンＳＣの４隅の座標Ｐｃ１〜Ｐｃ４を検出する（ステップＳ４１０）。座標Ｐｃ１〜Ｐｃ４は、スクリーンＳＣの撮像画像におけるスクリーンＳＣの４隅の点を、カメラ座標で表した座標である。撮像画像における座標Ｐｃ１〜Ｐｃ４を図１１に示す。座標Ｐｃ１〜Ｐｃ４は、境界線検出処理（ステップＳ３００）で検出されたスクリーンの枠辺に対応する４本の直線をカメラ座標上の一次関数でそれぞれ表し、これらの一次関数の交点を求めることで検出することが可能である。

座標Ｐｃ１〜Ｐｃ４を取得すると、台形歪み補正部１３６はプロジェクター１００から図１２に示すような測定画像３３０を投写させる（ステップＳ４２０）。測定画像３３０としては、例えば図１２に示すような白色の背景領域と所定のパターンを含む画像を用いることができる。測定画像３３０に含まれる所定のパターンは、後述する射影変換式Ｍ１を算出するために、４つ以上の格子点を含む画像であることが望ましい。本実施例では、所定のパターンは２本の縦線３３０ａと２本の横線３３０ｂから構成されており、これらの縦線３３０ａ及び横線３３０ｂの交点である４つの点を格子点として用いることが可能である。従って、測定画像３３０のパターンは４つの格子点を含んでいる。測定画像３３０は、特許請求の範囲における測定画像に相当する。測定画像３３０が投写されると、台形歪み補正部１３６は投写された測定画像３３０を撮像部１８０に撮像させて、測定画像３３０の撮像画像を生成する（ステップＳ４３０）。

台形歪み補正部１３６は、測定画像３３０の撮像画像に基づいて、射影変換式Ｍ１を算出する（ステップＳ４４０）。射影変換式Ｍ１は、パネル座標とカメラ座標とを対応付ける式であり、パネル座標における任意の点Ｏｐ０（Ｉ０，Ｊ０）の座標が既知であれば、カメラ座標においてこの点Ｏｐ０（Ｉ０，Ｊ０）に対応する点Ｏｃ０（ｉ０、ｊ０）の座標を得ることができる。また、逆の関係も同様に成立する。従って、パネル座標とカメラ座標との間の射影変換式Ｍ１が既知であれば、スクリーンＳＣ上の投写画像の外周線の各辺がスクリーンＳＣの枠の各辺と平行となるような補正画像の形状を決定することができる。図１３は、パネル座標とカメラ座標との対応関係を示す。

射影変換式Ｍ１によって表されるパネル座標とカメラ座標の対応関係について説明する。一般に、射影変換の変換式は、以下の式（１）（２）で表すことができる。式中、ｘ、ｙはｘｙ直交座標系におけるｘ座標およびｙ座標、Ｘ，ＹはＸＹ直交座標系におけるＸ座標およびＹ座標、ａ〜ｈまでの文字は変換係数を示す。２つの座標系は原点および座標軸の延在方向が同じであるとする。

上記式は、以下の式（３）及び（４）として表すことができる。

上述した通り、測定画像３３０には４つの格子点が含まれており、これら４つの格子点のパネル座標上での座標は既知である。また、測定画像３３０の撮像画像から、４つの格子点に対応するカメラ座標上の点の座標も既知である。従って、これらの点の座標を、上記式（３）（４）に代入することで８次の連立方程式となり、ａ〜ｈの変換係数を求めることができる。

例えば、測定画像３３０に含まれる４つの格子点のうち、左上の格子点Ｏｐ１のパネル座標上での座標が（Ｉ１，Ｊ１）であり、格子点Ｏｐ１に対応するカメラ座標上の点Ｏｃ１の座標が（ｉ１，ｊ１）であるとする。このとき、ｉ１，ｊ１，Ｉ１及びＪ１の値を式（３）及び（４）に代入すると以下の２式が得られる。

測定画像３３０に含まれる４つの格子点のうち、格子点Ｏｐ１以外の３つの格子点のそれぞれについても同様に、１つの格子点の組み合わせから２つの式が得られる。従って、４つの格子点の組み合わせから８つの式が得られ、これらを８次の連立方程式として解くことで、ａ〜ｈの変換係数を求めることができる。

ａ〜ｈの変換係数が得られると、式（３）及び（４）により、パネル座標において座標が既知である任意の点に対応する、カメラ座標上の点の座標を得ることができる。例えば、パネル座標における点Ｏｐ０（Ｉ０，Ｊ０）の座標が既知であれば、Ｉ０及びＪ０を式（３）及び（４）に代入し、これらを２次の連立方程式として解くことで、カメラ座標において点Ｏｐ０（Ｉ０，Ｊ０）に対応する点Ｏｃ０（ｉ０、ｊ０）の座標を得ることができる。

次に、台形歪み補正部１３６は、ステップＳ４４０で得られた射影変換式Ｍ１を用いて、カメラ座標上のスクリーンの４隅の座標Ｐｃ１〜Ｐｃ４を、パネル座標上の対応する座標Ｐｐ１〜Ｐｐ４に変換する（ステップＳ４５０）。この射影変換を図１４に示す。次に、台形歪み補正部１３６は、パネル座標上において、スクリーンの４隅に対応する座標Ｐｐ１〜Ｐｐ４を、入力画像の４隅座標に対応させるための射影変換式Ｍ２を算出する（ステップＳ４６０）。ここで、射影変換式Ｍ２は、入力画像の４隅座標をパネル座標におけるスクリーンの４隅の座標Ｐｐ１〜Ｐｐ４に対応付ける式である。この射影変換式Ｍ２は、変換前の４隅座標（入力画像の４隅座標）と、変換後の４隅座標（座標Ｐｐ１〜Ｐｐ４）が既知であれば、上述した式（３）及び（４）を利用して算出することができる。図１５は、パネル座標における入力画像の４隅座標と座標Ｐｐ１〜Ｐｐ４との対応関係を示す。

ステップＳ４６０で得られる射影変換式Ｍ２は、入力画像の画素位置と、形状が補正された補正画像の画素位置とを対応付ける式である。従って、射影変換式Ｍ２を決定することで、入力画像の画素位置と補正画像の画素位置との対応関係を決定することができる。射影変換式Ｍ２を算出すると、台形歪み補正部１３６は補正形状決定処理（ステップＳ４００）を終了し、台形歪み補正処理（ステップＳ５００）を実施する。

台形歪み補正処理（ステップＳ５００）では、台形歪み補正部１３６は、算出された射影変換式Ｍ２に対応した係数を設定する。ここで設定される係数は、補正画像における画素の座標に対応する入力画像の位置を決定するための係数である。

台形歪み補正部１３６は、設定した係数を用いて、補正画像における画素の座標に対応する入力画像の位置を決定する。そして、決定された入力画像の位置の近傍にある数画素の画素値を用いて補間を行い、補正画像の画素値を算出する。このように台形歪み補正部１３６は入力画像を補正して補正画像を生成し、補正画像を光変調素子駆動部１３２へと出力する。

台形歪み補正部１３６は、補正画像の各画素に対して、これらの処理を繰り返す。これにより、投写画像の台形歪み補正は実現される。

以上説明したように、第１実施例のプロジェクター１００によれば、スクリーンＳＣを撮像部１８０によって撮像する際に、ズームレンズ１５２を合焦状態とは異なる状態に調整する。ズームレンズ１５２を合焦状態とは異なる状態に調整すると、ズームレンズ１５２のフォーカスがぼけた状態となるので、投写手段としての投写光学系１５０から投写される投写画像は投写面において輪郭がぼけた状態となる。そのため、ズームレンズ１５２のフォーカスがぼけた状態で撮像されたスクリーンＳＣの枠辺は、ズームレンズ１５２が合焦状態のときに撮像されたスクリーンＳＣの枠辺と比較すると、撮像画像における輪郭がぼけた状態となる。従って、プロジェクター１００は、投写した黒画像に黒浮きが生じている場合であっても、黒画像の輪郭をスクリーンＳＣの枠辺と誤って検出してしまうことを抑制することができる。そのため、プロジェクター１００は適切な台形歪み補正処理を行うことが可能となる。

Ｄ．変形例：
この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形が可能である。

（１）上記実施例では、プロジェクター１００は、測定画像の撮像画像に基づいて入力画像を補正しているが、入力画像を補正するための処理はこれに限られない。プロジェクター１００は、投写面の撮像画像に対してエッジ抽出処理を行って撮像画像におけるスクリーン枠辺を検出し、検出されたスクリーン枠辺のカメラ座標における傾斜角度から、スクリーンＳＣに対するプロジェクター１００の相対角度（縦方向と横方向の投写角度）を算出し、算出された相対角度を用いて、入力画像を補正することが可能である。

（２）上記実施例では、フォーカスぼかし処理を行う際に、フォーカス調整画像３１０を用いてズームレンズ１５２が合焦状態となる状態を事前に把握しているが、フォーカスぼかし処理で行われる処理はこれに限られない。例えば、スクリーンＳＣに対する距離として推奨される距離範囲にプロジェクター１００があるときにはズームレンズ１５２が合焦状態とならない状態をＲＯＭ１７０に記憶しておき、ズームレンズ調整部１２４はこの記憶された状態を参照してズームレンズ駆動部１５５を制御することとしても良い。

（３）ガイド表示画像３２０に含まれる指示画像は、表示内容として文字に限らず、アニメ的な画像や社名を示すようなシンボルマークでも良い。ガイド表示の内容や形状については、特に制限は無い。

（４）上記実施例では、プロジェクター１００は光変調素子１３０として透過型の液晶ライトバルブを用いているが、光変調素子として反射型の液晶ライトバルブやＤＭＤ（デジタル・ミラー・デバイス）を用いても良い。

（５）撮像部１８０に用いるイメージセンサーをＣＣＤに代えてＣＭＯＳとしても良い。更に、照明光学系１４０に用いる光源を放電灯に代えてＬＥＤや半導体レーザーなどの半導体光源を用いても良い。

（６）台形歪み補正処理は、ユーザーがリモコン１９１内の調整開始ボタン１９２を操作することにより開始するとしていたがこれに限られない。台形歪み補正処理は、プロジェクター１００の電源投入時の初期画面の投写時に開始するとしてもよいし、プロジェクター１００に加速度センサーを設置し、プロジェクター本体の振動を感知して、ユーザーによる設置位置調整の開始、終了を検知するとしてもよい。

（７）実施例においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。

１００…プロジェクター、１０２…バス、１２０…ＣＰＵ、１２３…境界線検出部、１２４…ズームレンズ調整部、１２５…判定部、１３０…光変調素子、１３２…光変調素子駆動部、１３４…映像用プロセッサー、１３６…台形歪み補正部、１４０…照明光学系、１５０…投写光学系、１５２…ズームレンズ、１５５…ズームレンズ駆動部、１５６…ズーム調整用モーター、１５７…フォーカス調整用モーター、１６０…ＲＡＭ、１７０…ＲＯＭ、１８０…撮像部、１８２…撮像画像メモリー、１９０…リモコン制御部、１９１…リモコン、１９２…調整開始ボタン、１９３…調整終了ボタン、２００…ケーブル、３１０…フォーカス調整画像、３２０…ガイド表示画像、３３０…測定画像、ＳＣ…スクリーン。

Claims (6)

1. 投写面に向けて画像を投写して表示する投写型表示装置であって、
   前記画像を投写する投写手段と、
   前記投写面を撮像し、前記投写面の撮像画像を生成する撮像手段と、
   前記投写手段を合焦状態とは異なる状態に調整する調整手段と、
   前記撮像手段が前記投写面を撮像する前に、前記投写手段を合焦状態とは異なる状態に調整するように前記調整手段を制御する制御手段と、
   前記投写手段が合焦状態とは異なる状態にあるときに撮像された前記投写面の撮像画像に基づいて、前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正する補正手段と、
   を備える投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記投写手段は、調整画像を投写し、
   前記撮像手段は、投写された前記調整画像を撮像して前記調整画像の撮像画像を生成し、
   前記制御手段は、前記調整画像の前記撮像画像に基づいて、前記投写手段の合焦状態を判定するとともに、前記撮像手段が前記投写面を撮像する前に、前記投写手段を前記合焦状態とは異なる状態に調整するように前記調整手段を制御する、投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記制御手段は、前記撮像手段が前記投写面を撮像した後に、前記投写手段を前記合焦状態に調整するように前記調整手段を制御する、投写型表示装置。
4. 請求項１又は３に記載の投写型表示装置であって、
   前記投写手段は、測定画像を投写し、
   前記撮像手段は、投写された前記測定画像を撮像して前記測定画像の撮像画像を生成し、
   前記補正手段は、前記投写面の撮像画像、及び前記測定画像の撮像画像に基づいて、入力画像を補正する、投写型表示装置。
5. 請求項１又は３に記載の投写型表示装置であって、
   前記補正手段は、前記投写面の撮像画像に基づいて、前記投写型表示装置に対する前記投写面の相対角度を算出し、前記相対角度に基づいて入力画像を補正する、投写型表示装置。
6. 投写面に向けて画像を投写して表示する投写型表示装置の画像表示方法であって、
   前記投写型表示装置の投写手段を合焦状態とは異なる状態に調整し、
   前記投写手段が合焦状態とは異なる状態にあるときに前記投写面を撮像して撮像画像を生成し、
   前記撮像画像に基づいて前記投写面の形状を検出し、前記投写面の形状に一致するように前記画像を補正する
   画像表示方法。

Images