JP2005039769A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 スクリーン等を可能な限り有効に使用して画像を投写し、かつ、より正確かつ高速に画像を投写することが可能な画像処理システム等を提供すること。
【解決手段】 キャリブレーション画像情報生成部１７０と、画角調整部１９５と、投写レンズ１９４の光軸を調整するレンズシフト部１９６とを有し、スクリーンへ向けキャリブレーション画像を投写する画像投写部１９０と、投写されたキャリブレーション画像とスクリーンを含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部１８０と、撮像情報に基づき、投写領域情報を生成する投写領域情報生成部１５０と、撮像情報に基づき、投写対象領域情報を生成する投写対象領域情報生成部１４０と、投写領域情報と、投写対象領域情報とに基づき、画角調整部１９５およびレンズシフト部１９６を制御する投写制御部１３０とをプロジェクタに設ける。
【選択図】 図２

Description

本発明は、レンズシフト機能とズーム機能を有する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。

プロジェクタ等の画像投写装置からの画像を、適切な画像を表示するためには、画像投写装置は、画角調整（ズーム調整）、画像表示位置の調整等を行う必要がある。

しかし、一般的には、画角調整、画像表示位置の調整等はユーザーが手動でおこなっており、ユーザーにとっては煩雑な作業である。

また、プロジェクタ等の画像投写装置からの投写光の光軸とスクリーン等の投写対象物との相対的な角度によって画像が歪んでしまい、縦方向や横方向にいわゆる台形歪みが発生してしまう場合がある。

このため、画像投写装置は、画像を投写する場合には、画像の歪みをなくした状態で画像を投写する必要がある。

しかし、一般的な画像の歪み補正機能付き画像投写装置は、傾きセンサーを内蔵して画像の縦方向の歪みのみを補正し、画像の横方向の歪みは補正できていない。

また、画像の横方向の歪みを補正する場合、ユーザーがマウス等を用いてスクリーンの４隅の点を指示することにより、画像投写装置は、当該指示による情報に基づいて半自動的に画像の歪みを補正している。また、ユーザーにとっては、マウス等を用いてスクリーンの４隅の点を指示することは煩雑である。

このような課題を解決するため、例えば、特許文献１のプロジェクタの自動画像位置調整方法では、所定のテストパターンをプロジェクタからスクリーンに投写し、スクリーン上のテストパターンの画像をモニタカメラで撮像し、撮像したテストパターンの画像データを解析してプロジェクタの焦点を調整している。そして、特許文献１の自動画像位置調整方法では、テストパターンの画像として全白の矩形画像を設定してスクリーンに投写し、モニタカメラで撮像した全白の画像内におけるスクリーンの位置を検出し、投写レンズの拡大縮小機能を用いて検出したスクリーンの端点に達するまで投写画像を拡大または縮小し、投写レンズの俯仰角を調整することにより、スクリーンの中央に投写画像を表示している。さらに、特許文献１の自動画像位置調整方法では、スクリーンの端点と全白の画像の端点の位置から台形歪みの調整値を算出することにより、投写画像の台形歪みを調整している。
特開２０００−２４１８７４号公報

しかし、特許文献１の手法のように、投写レンズの拡大縮小機能を用いて検出したスクリーンの端点に達するまで投写画像を拡大または縮小することによって画角を調整する手法の場合、処理に時間がかかる。その上、特許文献１の手法は、スクリーンが投写画像のアスペクト比と異なる場合には適用できない。また、特許文献１では、投写レンズの俯仰角を調整してスクリーンの中央に投写画像が表示されるように、画像表示位置の調整を行うことが記載されているが、具体的にどのような処理を行うかは開示されていない。

また、特許文献１の手法のように、スクリーンの端点と全白の画像の端点の位置から台形歪みの調整値を算出する手法の場合、例えば、スクリーンが正方形の場合、投写画像も歪んだ状態で台形歪み補正が行われてしまう。

また、プロジェクタ等が画像を投写する場合、画像をより見やすく表示するために、より大きく画像を表示し、かつ、より高速に、画角調整、画像表示位置の調整、画像の歪みの調整を行って画像を投写することが求められている。

本発明は、上記課題に鑑みなされたものであり、その目的は、スクリーン等の投写対象物の投写対象領域を可能な限り有効に使用して画像を投写し、かつ、より正確かつ高速に画像を投写することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有し、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
前記撮像情報に基づき、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記画角調整部と、前記レンズシフト部とを制御する投写制御手段と、
を含み、
前記投写制御手段は、
前記投写領域情報に基づき、前記撮像面における前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、
当該倍率に基づき前記画角調整部を制御し、
画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記レンズシフト部を制御することを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有する投写部であって、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写部を制御する投写制御手段と、
投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部を制御する撮像制御手段と、
前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
前記撮像情報に基づき、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段として機能させ、
前記投写制御手段は、
前記投写領域情報に基づき、前記撮像面における前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、当該倍率に基づき前記画角調整部を制御し、
画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記レンズシフト部を制御することを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、キャリブレーション画像を矩形の投写対象領域へ向け投写し、
投写した前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成し、
当該撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成するとともに、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成し、
前記投写領域情報に基づき、前記撮像面における前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、
当該倍率に基づき、投写部の画角を調整する画角調整部を制御し、
画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記投写部の光軸を調整するレンズシフト部を制御することを特徴とする。

本発明によれば、画像処理システム等は、投写領域情報と投写対象領域情報に基づいて投写領域と投写対象領域のそれぞれの位置と大きさと対角線の交点を把握することができる。そして、画像処理システム等は、把握した対角線の交点等を基準として画像を拡大して投写することができる。

これにより、画像処理システム等は、スクリーン等の投写対象物の投写対象領域を可能な限り有効に使用して画像を正確かつ高速に投写することができる。

また、画像処理システム等は、１つの撮像部を用いて画像処理を行うことが可能であるため、複数の撮像部を用いて画像処理を行う場合と比べ、より高速に画像を投写することができる。

また、本発明に係る画像処理システムおよびプロジェクタは、キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有し、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写手段と、
投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記画角調整部と、前記レンズシフト部とを制御する投写制御手段と、
を含み、
前記投写制御手段は、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、前記レンズシフト部を制御し、
前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
当該倍率に基づき前記画角調整部を制御することを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有する投写部であって、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写部を制御する投写制御手段と、
投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部を制御する撮像制御手段と、
前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段として機能させ、
前記投写制御手段は、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、前記レンズシフト部を制御し、
前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
当該倍率に基づき前記画角調整部を制御することを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、キャリブレーション画像を矩形の投写対象領域へ向け投写し、
投写した前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成し、
当該撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成するとともに、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成し、
前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、投写部の光軸を調整するレンズシフト部を制御し、
前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
当該倍率に基づき、前記投写部の画角を調整する画角調整部を制御することを特徴とする。

本発明によれば、画像処理システム等は、投写領域情報と投写対象領域情報に基づいて投写領域と投写対象領域のそれぞれの位置と大きさと中心位置を把握することができる。そして、画像処理システム等は、把握した中心位置等を基準として画像を拡大して投写することができる。

これにより、画像処理システム等は、スクリーン等の投写対象物の投写対象領域を可能な限り有効に使用して画像を正確かつ高速に投写することができる。

また、画像処理システム等は、１つの撮像部を用いて画像処理を行うことが可能であるため、複数の撮像部を用いて画像処理を行う場合と比べ、より高速に画像を投写することができる。

また、前記画像処理システムおよび前記プロジェクタは、前記キャリブレーション画像の歪みを補正する歪み補正手段を含み、
前記投写領域情報生成手段は、前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成してもよい。

また、前記プログラムおよび前記情報記憶媒体は、前記キャリブレーション画像の歪みを補正する歪み補正手段としてコンピュータを機能させ、
前記投写領域情報生成手段は、前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成してもよい。

また、前記画像処理方法は、前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成してもよい。

これによれば、画像処理システム等は、投写制御手段等がキャリブレーション画像の歪み補正後の４隅の座標を示す投写領域情報に基づき、歪み補正後のキャリブレーション画像を用いて画角調整（ズーム調整）、画像表示位置の調整を行うことにより、スクリーン等の投写対象物の投写対象領域を有効に使用して画像を投写することができる。

以下、本発明を、画像の歪み補正を行うプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、画像投写時の状態を示す模式図である。

画像処理システムの一種であるプロジェクタ２０は、長方形の投写対象領域を有する投写対象物の一種であるスクリーン１０へ向け画像を投写する。これにより、スクリーン１０に投写画像３０が表示される。

また、本実施例では、プロジェクタ２０は、スクリーン１０に正対していない状態となっている。このため、投写画像３０の歪み（例えば、いわゆる台形歪み、キーストン歪み等）が発生している。

また、本実施例では、撮像手段の一部であるセンサー６０は、投写画像３０を含む領域を撮像する。そして、プロジェクタ２０は、センサー６０による撮像情報に基づき、プロジェクタ２０の画角調整部とレンズシフト部を制御することにより、画像のアスペクト比を維持したままスクリーン１０の画像投写領域を最大限利用して画像を投写する。

例えば、横長のスクリーンの場合、プロジェクタ２０は、スクリーンの中心位置および横の辺と、投写画像３０の中心位置および横の辺が一致するように、アスペクト比を保ちつつ投写画像３０を投写する。また、例えば、縦長のスクリーンの場合、プロジェクタ２０は、スクリーンの中心位置および縦の辺と、投写画像３０の中心位置および縦の辺が一致するように、アスペクト比を保ちつつ投写画像３０を投写する。

このように、プロジェクタ２０は、画像のアスペクト比を保ちつつ投写対象領域を最大限活用して画像を投写することにより、観察者にとって正確で見やすい画像を投写することができる。

（機能ブロックの説明）
次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。

図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。

プロジェクタ２０は、画像信号を入力する信号入力部１１０と、画像の歪みが補正されるように、入力された画像信号を補正する歪み補正部１２２と、補正された画像信号を出力する信号出力部１６０と、画像信号に基づき、画像を投写する投写手段の一種である画像投写部１９０と、キャリブレーション画像情報を生成するキャリブレーション画像情報生成部１７０とを含んで構成されている。

また、プロジェクタ２０は、投写画像３０を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部１８０と、撮像情報に基づき、センサー６０の撮像面におけるスクリーン１０の領域を抽出する投写対象領域情報生成部１４０と、撮像情報に基づき、センサー６０の撮像面における投写画像３０の領域を抽出する投写領域情報生成部１５０と、歪み補正用情報を生成する補正用情報生成部１２０とを含んで構成されている。なお、撮像部１８０は、センサー６０を含む。

また、画像投写部１９０は、空間光変調器１９１と、空間光変調器１９１を駆動する駆動部１９２と、光源１９３と、投写レンズ１９４と、投写レンズ１９４の画角を調整する画角調整部１９５と、投写レンズ１９４の光軸を調整するレンズシフト部１９６とを含んで構成されている。

駆動部１９２は、信号出力部１６０からの画像信号に基づき、空間光変調器１９１を駆動する。そして、画像投写部１９０は、光源１９３からの光を、空間光変調器１９１および投写レンズ１９４を介して投写する。

また、プロジェクタ２０は、画角調整部１９５およびレンズシフト部１９６を制御する投写制御部１３０を含んで構成されている。

また、上述したプロジェクタ２０の各部の機能をコンピュータに実装するためのハードウェアとしては、例えば、以下のものを適用できる。

図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。

例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、歪み補正部１２２としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、投写制御部１３０としては、例えばＣＰＵ９１０等、信号出力部１６０としては、例えばＤ／Ａコンバーター９４０等、補正用情報生成部１２０、投写対象領域情報生成部１４０、投写領域情報生成部１５０およびキャリブレーション画像情報生成部１７０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、撮像部１８０としては、例えばＣＣＤセンサー、ＣＭＯＳセンサー、ＲＧＢセンサー等、空間光変調器１９１としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。

さらに、投写制御部１３０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写制御部１３０等の機能をコンピュータに実装させてもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能をコンピュータに実装することも可能である。

（画像処理の流れの説明）
次に、これらの各部を用いた画像処理の流れについて説明する。

図４は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。

ユーザーは、手動またはプロジェクタ２０の一般的な自動台形歪み補正機能等を使用して投写画像３０の歪みを補正する（ステップＳ１）。例えば、補正用情報生成部１２０は、投写対象領域情報生成部１４０からの投写対象領域を示す情報と、投写領域情報生成部１５０からの投写画像の領域を示す情報とに基づき、画像の歪みを把握して歪み補正用情報を生成する。そして、歪み補正部１２２は、当該歪み補正用情報に基づいて補正用データを更新し、当該補正用データに基づき、画像信号を補正してもよい。

プロジェクタ２０は、スクリーン１０へ向けキャリブレーション画像を投写し、撮像部１８０は、キャリブレーション画像およびスクリーン１０を含む領域を撮像して撮像情報を生成する（ステップＳ２）。

より具体的には、キャリブレーション画像情報生成部１７０は、全白（画像全体が白）の単色のキャリブレーション画像用の画像情報を生成し、信号出力部１６０は、当該画像情報のデジタル信号を画像投写部１９０に出力する。

画像投写部１９０は、当該デジタル信号に基づき、スクリーン１０へ向け全白のキャリブレーション画像を投写する。これにより、スクリーン１０には、全白のキャリブレーション画像（投写画像３０）が表示される。

撮像部１８０は、投写画像３０およびスクリーン１０を含む領域を、撮像面を介して撮像して撮像情報を生成する。ここで、撮像情報は、例えば、輝度値、ＸＹＺ値等の輝度値を生成可能な画像信号値をセンサー６０の画素ごとに示す情報である。また、ここで、ＸＹＺ値とは、国際照明委員会（ＣＩＥ）によって定められた国際規格で、機器独立色の一種の画像信号値である。

投写領域情報生成部１５０は、撮像部１８０からの撮像情報に基づき、撮像面における画像歪み補正後の投写画像３０の４隅の座標を示す投写領域情報を生成する（ステップＳ３）。

また、投写対象領域情報生成部１４０は、撮像部１８０からの撮像情報に基づき、撮像面におけるスクリーン１０の４隅の座標を示す投写対象領域情報を生成する（ステップＳ４）。

なお、キャリブレーション画像は単色の画像であるため、投写対象領域情報生成部１４０および投写領域情報生成部１５０は、画素ごとの輝度値の相違に基づいて投写画像３０やスクリーン１０の領域を把握することができる。

また、投写制御部１３０は、投写画像３０の大きさと表示位置を調整するために、スクリーン１０の投写対象領域一杯に画像を表示するために画角調整部１９５を制御して画角を調整し、スクリーン１０の適切な位置に画像を表示するためにレンズシフト部１９６を制御して投写レンズ１９４の光軸を調整する。まず、画角を調整する手法について説明する。

図５は、本実施形態の一例に係る撮像面における投写画像２３０とスクリーン２１０を示す模式図である。

例えば、図５に示すように、1投写画像２３０の1４隅の座標をＡＢＣＤ、投写画像２３０の対角線の交点をＯ、スクリーン２１０の４隅の座標をＥＦＧＨ、スクリーン２１０の対角線の交点をＰと仮定する。また、投写画像２３０の交点Ｏから頂点Ａまでの線分（「基準線分ベクトル」という。）の水平方向に対する傾きをαと仮定する。

図６は、本実施形態の一例に係る比率と線分を示す模式図である。

投写制御部１３０は、スクリーン２１０の対角線の交点Ｐから基準線分ベクトルの向き（傾きα）に直線を引いた場合のスクリーン２１０の辺ＥＨと当該直線との交点Ｑｈまでの線分（「拡大線分ベクトル」という。）を導出する。

なお、縦長のスクリーンの場合、当該直線と垂直方向の辺との交点Ｑｖまでのスクリーン２１０の対角線の交点Ｐからの線分が拡大線分ベクトルとなる。また、線分ＱｈＰの長さと線分ＱｖＰの長さを比較して短いほうを拡大線分ベクトルとして採用してもよい。

投写制御部１３０は、拡大線分ベクトル／基準線分ベクトルを演算することによって倍率を導出する（ステップＳ５）。本実施例では、ＱｈＰ／ＡＯが倍率を示す数値となる。

さらに、投写制御部１３０は、当該倍率を入力して画角調整量を出力する関数に基づいて画角調整量を求める。そして、投写制御部１３０は、求めた画角調整量に基づき、画角調整部１９５を制御する（ステップＳ６）。これにより、プロジェクタ２０は、上記倍率に拡大した画像を投写することができる。なお、投写制御部１３０は、関数以外にも、例えば、当該倍率と画角調整量とを関連づけたテーブル等を用いて画角調整量を求めてもよい。

次に、投写レンズ１９４の光軸を調整する手法について説明する。

図７は、本実施形態の一例に係る投写画像２３０を拡大した状態を示す模式図である。また、図８は、本実施形態の一例に係るズーム状態による投写画像の相違を示す模式図である。

例えば、図８に示すように、ズーム状態がテレの場合の投写画像２３２においても、ズーム状態がワイドの場合の投写画像２３４においても位置が変化しない投写光の光軸の中心位置を点Ｌと仮定する。

この場合、図７に示すように、点Ｌを基準として投写画像２３０をＱｈＰ／ＡＯ倍した投写画像２３６が拡大後の投写画像である。この投写画像２３６の対角線の交点をＯ’と仮定する。

投写制御部１３０は、交点Ｏ’（Ｏ’ｘ，Ｏ’ｙ）と交点Ｐ（Ｐｘ，Ｐｙ）との位置関係に基づいて水平方向（ｘ軸方向）のレンズシフト量Ｓｈを決定する。
例えば、Ｓｈ＝ｇ（Ｐｘ−Ｏ’ｘ）である。なお、ここで、ｇは、センサー座標（撮像面における座標）のずれ量を入力してレンズシフト量を出力する関数である。もちろん、投写制御部１３０は、センサー座標のずれ量とレンズシフト量とを関連づけたテーブル等を用いてレンズシフト量を求めてもよい。

また、投写制御部１３０は、交点Ｏ’と交点Ｐとの位置関係に基づいて垂直方向（ｙ軸方向）のレンズシフト量Ｓｖを決定する。例えば、Ｓｖ＝ｈ（Ｐｙ−Ｏ’ｙ）である。なお、ここで、ｈは、センサー座標のずれ量を入力してレンズシフト量を出力する関数である。

また、投写制御部１３０は、このようにして求めたレンズシフト量ＳｈおよびＳｖに基づき、レンズシフト部１９６を制御する（ステップＳ７）。

このように、画角調整とレンズシフトを行うことにより、撮像面における投写画像は次のようになる。

図９は、本実施形態の一例に係る調整後の投写画像２３８を示す模式図である。

図９に示すように、調整後の投写画像２３８は、元の投写画像２３０が拡大されて横方向の辺がスクリーン２１０の横方向の辺と一致した状態となる。また、投写画像２３８の対角線の交点は、スクリーン２１０の対角線の交点Ｐと一致する。

このような状態でプロジェクタ２０は、画像を投写する（ステップＳ８）。これにより、プロジェクタ２０は、投写画像３０の大きさと位置を自動的に調整して画像を投写することができる。

以上のように、本実施形態によれば、プロジェクタ２０は、投写領域情報と投写対象領域情報に基づいて投写領域と投写対象領域のそれぞれの位置と大きさと対角線の交点を把握することができる。そして、プロジェクタ２０は、把握した対角線の交点等を基準として画像を拡大して投写することができる。

これにより、プロジェクタ２０は、スクリーン１０等の投写対象物の投写対象領域を可能な限り有効に使用して画像を投写することができる。また、この場合、投写画像３０のアスペクト比は元のままであるため、プロジェクタ２０は、スクリーン１０の形状によらずに正確な画像を投写することができる。すなわち、スクリーン１０は、長方形に限定されず、正方形であってもよい。

また、本実施形態によれば、１つのセンサー６０を用いて画角調整とレンズシフトを同時に自動的に実行することができる。これにより、プロジェクタ２０は、正確かつ高速に画像の位置と大きさを調整して画像を投写することができる。

（変形例）
なお、本発明の適用は上述した実施例に限定されない。

例えば、上述した実施例では、プロジェクタ２０は、対角線の交点を基準として画像処理を行ったが、例えば、中心位置を基準として画像処理を行ってもよい。

例えば、投写制御部１３０は、投写領域情報と、投写対象領域情報とに基づき、撮像面における歪み補正後の投写画像２３０の中心位置が、撮像面におけるスクリーン２１０の中心位置に移動するように、投写レンズ１９４の光軸を調整するレンズシフト部１９６を制御してもよい。

そして、投写制御部１３０は、投写画像２３０の中心位置が、スクリーン２１０の中心位置に移動した状態において、投写画像２３０の中心位置を経由する所定の直線（例えば、水平方向の直線、垂直方向の直線、対角線等）上における当該中心位置から投写画像２３０の辺までの長さと、当該直線上における当該中心位置からスクリーン２１０の辺までの長さとの比率に基づき、倍率を導出してもよい。

さらに、投写制御部１３０は、当該倍率に基づき、投写レンズ１９４の画角を調整するレンズシフト部１９６を制御してもよい。

このような手法によっても、プロジェクタ２０は、ズームとレンズシフトを同時に行って正確かつ高速に投写画像３０の位置と大きさをスクリーン１０に合わせて調整することができる。

また、上述した実施例では、投写画像３０の歪み補正後に画角調整とレンズシフトを行っているが、歪み補正が不要な位置にプロジェクタ２０が配置されるような場合には歪み補正を行わなくてもよい。この場合においても、プロジェクタ２０は、正確かつ高速に画像の位置と大きさを調整して画像を投写することができる。

また、必ずしも投写画像３０の辺をスクリーン１０の投写対象領域の辺と厳密に一致させる必要はなく、若干投写画像３０の辺の位置が投写対象領域の辺よりも外側になってもよいし、内側になってもよい。

また、プロジェクタ２０は、画角調整部１９５とレンズシフト部１９６を用いて投写画像３０の位置と大きさをハードウェア的に調整する手法に代え、補正用データ等を用いてソフトウェア的に調整する手法を採用してもよい。

また、上述した実施例では、全白のキャリブレーション画像を用いたが、白以外の単色のキャリブレーション画像を用いてもよい。また、プロジェクタ２０は、全黒（画像全体が黒）のキャリブレーション画像を投写して撮像し、全白のキャリブレーション画像を投写して撮像し、撮像情報に含まれる画素ごとの輝度値の比を比較し、所定値以上の輝度比となった画素領域を投写領域として抽出してもよい。

また、投写対象領域を有する投写対象物は、スクリーン１０に限定されず、例えば、黒板、ホワイトボード等であってもよい。

また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本発明は、プロジェクタ２０以外にもＣＲＴ(Cathode Ray Tube)、ＬＥＤ(Light Emitting Diode)、ＥＬ(Electro Luminescence)等のディスプレイ用の画像処理システムにも有効である。

また、プロジェクタ２０は、投写画像３０の歪み、位置、大きさの補正だけでなく、投写画像３０の明るさや色の補正を行ってもよい。

また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。

画像投写時の状態を示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る画像処理の流れを示すフローチャートである。 本実施形態の一例に係る撮像面における投写画像とスクリーンを示す模式図である。 本実施形態の一例に係る比率と線分を示す模式図である。 本実施形態の一例に係る投写画像を拡大した状態を示す模式図である。 本実施形態の一例に係るズーム状態による投写画像の相違を示す模式図である。 本実施形態の一例に係る調整後の投写画像を示す模式図である。

符号の説明

１０ スクリーン（投写対象物、投写対象領域）、２０ プロジェクタ（画像処理システム）、３０ 投写画像、６０ センサー（撮像手段）、１２０ 補正用情報生成部、１４０ 投写対象領域情報生成部、１５０ 投写領域情報生成部、１７０ キャリブレーション画像情報生成部、１８０ 撮像部、１９０ 画像投写部（投写手段）、９００ 情報記憶媒体

Claims (13)

1. キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
   画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有し、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写手段と、
   投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
   前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
   前記撮像情報に基づき、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記画角調整部と、前記レンズシフト部とを制御する投写制御手段と、
   を含み、
   前記投写制御手段は、
   前記投写領域情報に基づき、前記撮像面における前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
   前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
   当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、
   当該倍率に基づき前記画角調整部を制御し、
   画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記レンズシフト部を制御することを特徴とする画像処理システム。
2. キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
   画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有し、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写手段と、
   投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
   前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
   前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記画角調整部と、前記レンズシフト部とを制御する投写制御手段と、
   を含み、
   前記投写制御手段は、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、前記レンズシフト部を制御し、
   前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
   当該倍率に基づき前記画角調整部を制御することを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記キャリブレーション画像の歪みを補正する歪み補正手段を含み、
   前記投写領域情報生成手段は、前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成することを特徴とする画像処理システム。
4. キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
   画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有し、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写手段と、
   投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
   前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
   前記撮像情報に基づき、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記画角調整部と、前記レンズシフト部とを制御する投写制御手段と、
   を含み、
   前記投写制御手段は、
   前記投写領域情報に基づき、前記撮像面における前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
   前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
   当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、 当該倍率に基づき前記画角調整部を制御し、
   画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記レンズシフト部を制御することを特徴とするプロジェクタ。
5. キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
   画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有し、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写手段と、
   投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像手段と、
   前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
   前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段と、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記画角調整部と、前記レンズシフト部とを制御する投写制御手段と、
   を含み、
   前記投写制御手段は、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、前記レンズシフト部を制御し、
   前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
   当該倍率に基づき前記画角調整部を制御することを特徴とするプロジェクタ。
6. 請求項４、５のいずれかにおいて、
   前記キャリブレーション画像の歪みを補正する歪み補正手段を含み、
   前記投写領域情報生成手段は、前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成することを特徴とするプロジェクタ。
7. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
   画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有する投写部であって、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写部を制御する投写制御手段と、
   投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部を制御する撮像制御手段と、
   前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
   前記撮像情報に基づき、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段として機能させ、
   前記投写制御手段は、
   前記投写領域情報に基づき、前記撮像面における歪み前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
   前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
   当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、 当該倍率に基づき前記画角調整部を制御し、
   画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記レンズシフト部を制御することを特徴とするプログラム。
8. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   キャリブレーション画像を表示するための画像情報を生成するキャリブレーション画像情報生成手段と、
   画角を調整する画角調整部と、投写レンズの光軸を調整するレンズシフト部とを有する投写部であって、前記画像情報に基づき、矩形の投写対象領域へ向けキャリブレーション画像を投写する投写部を制御する投写制御手段と、
   投写された前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成する撮像部を制御する撮像制御手段と、
   前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成する投写領域情報生成手段と、
   前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成する投写対象領域情報生成手段として機能させ、
   前記投写制御手段は、
   前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、前記レンズシフト部を制御し、
   前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
   当該倍率に基づき前記画角調整部を制御することを特徴とするプログラム。
9. 請求項７、８のいずれかにおいて、
   前記キャリブレーション画像の歪みを補正する歪み補正手段としてコンピュータを機能させ、
   前記投写領域情報生成手段は、前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成することを特徴とするプログラム。
10. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
    請求項７〜９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
11. キャリブレーション画像を矩形の投写対象領域へ向け投写し、
    投写した前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成し、
    当該撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成するとともに、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成し、
    前記投写領域情報に基づき、前記撮像面における前記キャリブレーション画像の対角線の交点から１つの頂点までの線分を示す基準線分ベクトルを導出し、
    前記投写対象領域情報に基づき、前記撮像面における前記投写対象領域の対角線の交点から前記基準線分ベクトルの向きに直線を引いた場合の当該投写対象領域の辺と当該直線との交点までの線分を示す拡大線分ベクトルを導出し、
    当該拡大線分ベクトル／前記基準線分ベクトルを演算することによって倍率を導出し、
    当該倍率に基づき、投写部の画角を調整する画角調整部を制御し、
    画角調整後の前記撮像面における前記キャリブレーション画像の対角線の交点と、前記撮像面における前記投写対象領域の対角線の交点とに基づき、前記キャリブレーション画像の対角線の交点が当該投写対象領域の対角線の交点に移動するように、前記投写部の光軸を調整するレンズシフト部を制御することを特徴とする画像処理方法。
12. キャリブレーション画像を矩形の投写対象領域へ向け投写し、
    投写した前記キャリブレーション画像と前記投写対象領域を含む領域を、撮像面を介して撮像して撮像情報を生成し、
    当該撮像情報に基づき、前記撮像面における前記キャリブレーション画像の４隅の座標を示す投写領域情報を生成するとともに、前記撮像面における前記投写対象領域の４隅の座標を示す投写対象領域情報を生成し、
    前記投写領域情報と、前記投写対象領域情報とに基づき、前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動するように、投写部の光軸を調整するレンズシフト部を制御し、
    前記撮像面における前記キャリブレーション画像の中心位置が、前記撮像面における前記投写対象領域の中心位置に移動した状態において、前記撮像面における前記キャリブレーション画像の中心位置を経由する所定の直線上における当該中心位置から当該キャリブレーション画像の辺までの長さと、当該直線上における当該中心位置から前記撮像面における前記投写対象領域の辺までの長さとの比率に基づき、倍率を導出し、
    当該倍率に基づき、前記投写部の画角を調整する画角調整部を制御することを特徴とする画像処理方法。
13. 請求項１１、１２のいずれかにおいて、
    前記投写領域情報として、前記撮像情報に基づき、前記撮像面における前記キャリブレーション画像の歪み補正後の４隅の座標を示す情報を生成することを特徴とする画像処理方法。

Images