JP3951984B2 - 画像投影方法、及び画像投影装置 - Google Patents

Description

本発明は画像投影方法および画像投影装置に関し、特にスクリーンに対し自動的に位置合わせして表示できる画像投影方法および画像投影装置に関する。

画像投影装置で画像をスクリーンに表示する際には、従来スクリーンが画像投影装置の正面に存在することを前提としていたが、実際にはスクリーンに対して正対しておらず、斜め方向から投影されることがある。その場合、投影された画像が歪んで表示されるために、台形歪の補正、画像の四隅の独立な補正等が実現されている（例えば、特許文献１参照）。

特開２００２−６２８４２号公報（[０００２]〜[０００９]）

しかし、スクリーン位置に合っているか、あるいは、スクリーンの四隅と投影された画像の四隅が合っているか等の確認は、人が行っており、利用法の習得とその実行への慣れが必要であり、この機能を利用する際の制約となっていた。

本発明の目的は、画像センサと画像認識技術を利用してスクリーンを検出し、それに応じて画像投影位置を制御することにより、自動的に画像をスクリーンに位置あわせ、歪の補正も行なう画像投影方法および画像投影装置を提供することにある。

本発明の文書等の画像をスクリーンに投影する画像投影方法は、画像センサによりスクリーンを撮像し、スクリーン形状を得ると共に、画像投影装置と前記スクリーン間の距離を獲得し、該距離を利用することによって、前記スクリーン形状を補正し、投影する画像を該補正された前記スクリーン形状に合わせて変形して投影することにより、前記スクリーンに位置と形状を合わせた画像投影を実現する。

また、本発明の文書等の画像をスクリーンに投影する画像投影方法は、画像センサによりスクリーンを撮像し、スクリーン形状を得ると共に、画像投影装置と前記スクリーン間の距離を獲得し、該距離と前記スクリーン形状から前記スクリーンの代表点の距離を推定することによって、前記スクリーン形状を補正し、投影する画像を該補正された前記スクリーン形状に合わせて変形して投影することにより、前記スクリーンに位置と形状を合わせた画像投影を実現する。

さらに、本発明の文書等の画像をスクリーンに投影する画像投影装置は、画像投影部と、画像センサと、該画像センサにより撮像された画像からスクリーン像を検出するスクリーン検出手段と、前記画像投影部と前記スクリーン間の距離を獲得する測距手段と、前記スクリーン検出手段により検出されたスクリーン形状を前記測距手段から得られた距離を利用して補正し、投影する画像を該補正されたスクリーン形状に合わせて変形する画像変形手段と、からなる。

さらに、本発明の文書等の画像をスクリーンに投影する画像投影装置は、画像投影部と、画像センサと、該画像センサにより撮像された画像からスクリーン像を検出するスクリーン検出手段と、前記画像投影部と前記スクリーン間の距離を獲得する測距手段と、該測距手段から得られた距離と前記スクリーン検出手段により検出されたスクリーン形状から前記スクリーンの代表点の距離を推定する距離推定手段と、前記スクリーン形状を前記推定された前記スクリーンの代表点の距離を利用して補正し、投影する画像を補正されたスクリーン形状に合わせて変形する画像変形手段と、からなる。

本発明を利用することにより、画像投影装置は搭載された画像センサにより、スクリーンを検出し、スクリーンまでの距離に応じて投影する形状を補正することにより、投影画像を自動的にスクリーン形状に一致させることができる効果がある。

また、スクリーンまでの大局的な距離だけでなく、センサで検出したスクリーン形状の情報を利用することにより、更に高精度な補正が可能である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

本発明の一実施の形態をブロックで示す図１を参照すると、この実施の形態の画像投影装置において、画像投影部１は、従来の意味での画像投影装置であり、コントローラ２から与えられた画像を空間に投影する。この投影領域の内部にスクリーン３が存在していると仮定する。スクリーン３は、通常白い画面投影部分を黒い枠が囲んでいる構造をしている。画像投影部１から全面が白である画像を空間に投影した場合、画像投影部１の位置でその情景を見ると、図２のようになっていると考えられる。投影画像範囲４は通常長方形であり、例えば投影画像がＸＧＡ（１０２４画素×７６８画素）のサイズの場合、画素位置は左上位置が（０，０）、右下位置が（１０２３，７６７）となる。その中にスクリーンが含まれており、スクリーンの左上、右上、左下、右下の四隅は、投影画像の画素位置としては、（Ｘ１，Ｙ１）,（Ｘ２，Ｙ２）,（Ｘ３，Ｙ３）,（Ｘ４，Ｙ４）に対応しているとする。

本来、画像投影装置は、画像全体をスクリーン全体に投影するのが望ましいと考えると、歪補正機能を利用し、画像の四隅を（Ｘ１，Ｙ１）,（Ｘ２，Ｙ２）,（Ｘ３，Ｙ３）,（Ｘ４，Ｙ４）に合わせ、画像中の各画素もそれに応じた位置に変形させれば、スクリーンに正対して見ている観察者には、歪のない画像が提示される。これを実行するには、本来の画像投影装置の投影範囲におけるスクリーンの四隅の位置（Ｘ１，Ｙ１）,（Ｘ２，Ｙ２）,（Ｘ３，Ｙ３）,（Ｘ４，Ｙ４）を、画像投影装置を設置した時点で知る必要がある。そのために、画像センサ５を利用する。

画像センサ５は、例えば上記のように全面が白のように一様である画像が投影された情景を撮像する。画像センサ５に撮像されたスクリーンは、正面から正対して撮像されている場合には長方形になるはずであるが、一般の場合には図３の画像６中のスクリーン像７のように歪んだ四角形として撮像される。この形は、図２に示した投影画像内のスクリーンと似た形状となるが、画像投影部１のレンズと画像センサ５の光学系の違い、設置の位置の違いによって、一般には一致していない。実際の画像センサ５では、レンズの歪が存在して正しく四角形とはならないが、ここではレンズ歪は既に画像センサ内あるいはそれに続く処理手段により補正されていると仮定する。

スクリーン検出手段８は画像６から画像処理技術を利用してスクリーン像７の四隅を検出し、その隅点座標（ｕｉ，ｖｉ）（ｉ＝１，２，３，４）を求める。座標変換手段９は、得られた隅点座標（ｕｉ，ｖｉ）（ｉ＝１，２，３，４）を画像６の座標系から画像投影部１の座標系での位置（Ｘｉ，Ｙｉ）（ｉ＝１，２，３，４）に変換する。コントローラ２は、上記のように画像全体を歪補正機能を利用し、画像の四隅を（Ｘ１，Ｙ１）,（Ｘ２，Ｙ２）,（Ｘ３，Ｙ３）,（Ｘ４，Ｙ４）に合わせ、画像中の各画素もそれに応じた位置に変形させて投影する。以上により、投影すべき画像がスクリーン全体に正しく投影される。

以上の処理を実行する際に、座標変換手段９は、画像センサ５から得られた４つの隅点座標を画像投影部１の座標系に変換するが、この（ｕｉ，ｖｉ）（ｉ＝１，２，３，４）と（Ｘｉ，Ｙｉ）（ｉ＝１，２，３，４）との対応は、画像投影部１の光軸と画像センサ５の光軸とが一致していない場合には１対１対応ではない。画像投影部１と画像センサ５との位置関係が固定している場合、その距離に比較して、画像投影部１とスクリーン３との距離（以後、スクリーン距離）が十分大きい場合には、その誤差は無視できるので、最初に（ｕｉ，ｖｉ）（ｉ＝１，２，３，４）と（Ｘｉ，Ｙｉ）（ｉ＝１，２，３，４）との対応関係を較正しておけばいい。しかし、そうでない場合には、スクリーン距離毎に対応関係が変化するので、スクリーン距離毎に対応関係を較正しておき、座標変換手段９は、その対応関係を参照して座標変換を行なう必要がある。

図４〜図９を参照して、本発明の実施例１を説明する。この実施例１は、以上の問題を解決する構成の画像投影装置１０１である。ここでは、図１に示す画像投影装置１００の構成に加えて測距手段１０が新たに含まれている。測距手段１０は、画像投影部１あるいは画像センサ５からスクリーン３までの距離を計測するものであり、計測された距離を出力する。座標変換手段９は出力された距離を参照して、（ｕｉ，ｖｉ）（ｉ＝１，２，３，４）と（Ｘｉ，Ｙｉ）（ｉ＝１，２，３，４）との変換を行なう。

次に、実施例１の動作を説明する。画像投影装置１０１をスクリーンに対して設置した段階で、コントローラ２が全面白色の画像を用意し、画像投影部１により空間に投影する。この動作により、スクリーン３が照らされる。なお、環境が十分明るい場合には、この照明は不要である。

画像センサ５は、この情景を撮像する。図３のような画像６が得られる。スクリーン検出手段８は、この画像を処理し、左上（ｕ１，ｖ１）、右上（ｕ２，ｖ２）、左下（ｕ３，ｖ３）、右下（ｕ４，ｖ４）の四隅の位置を計算する。

図５を参照して、スクリーン検出手段８の実施例を説明する。画像メモリ８１に撮像された画像データが格納される。各画素値を

とする。この画像データに対して、二値化手段８２が適用され、二値画像メモリ８３に出力される。二値画像メモリ８３に格納される二値画像は、各画素値

が“1”又は“0”の画像であり、あらかじめ決定されている閾値θthに対して、

の場合、

の対応する画素に“1”が書き込まれ、そうでない場合“0”が書き込まれる。スクリーンは通常白いので、

の部分に対応する。

なお、このように実現すると、情景の明るさが変化する環境では、スクリーンをきれいに切り出すことができないことがある。上記の閾値θthを画像に応じて適応的に決定するには、例えば判別分析の手法により閾値を決定することができる（電子通信学会論文誌、Ｖｏｌ．Ｊ６３−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６に掲載されている、大津「判別および最小２乗基準に基づく自動しきい値選定法」を参照）。この手法は、画像中の画素の明度のヒストグラムを調べ、明るい部分と暗い部分との２つの領域に分類したときに、最も誤差が小さくなるように閾値を決定する。

すると、図３の原画像に対して、図６のような二値画像が得られる。中央にスクリーンに対応する“1”領域があり、その外側は“０”領域であるが、その他に周囲に背景の明るさに応じて余分な“１”領域が存在することが多い。続く領域選択手段８４は、この二値画像に対して、“１”領域の輪郭を追跡し、領域を切り分けながら、スクリーンの輪郭のみを選択する。

選択基準としては、
（ａ）面積が最大の領域を選択する。
（ｂ）領域の重心位置が最も画像中央に近いものを選択する。
等が、単純で有効な結果が得られる基準である。また、二値画像に対して上記（ａ）（ｂ）のような基準で、領域を選択するのは、公知の画像処理技術で実現可能である。領域選択手段８４から、得られたスクリーン領域の輪郭８５が、図７のようであるとすると、コーナ検出手段８６は、図7の四隅（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）を検出し、スクリーンの四隅の座標として出力する。

この処理の実現方法としては、次のようなものがある。
スクリーンの像は、本来の長方形から歪んではいるが、通常大きく回転はしていない。そのため、スクリーン領域の輪郭画素を追跡しながら、その座標（ｕ，ｖ）を式（１）のように４５度回転した座標系に変換する。

ここで、通常の回転処理のようなスケーリングの処理は必ずしも必要でない。（ｕ′，ｖ′）は、（ｕ，ｖ）に対して図８のような座標系となる。そこで、輪郭を追跡しながら、ｕ′が最小になる位置を左上の隅点（ｕ１′，ｖ１′）に対応する（ｕ１，ｖ１）、ｖ′が最大になる位置を右上の隅点（ｕ２′，ｖ２′）に対応する（ｕ２，ｖ２）、ｖ′が最小になる位置を左下の隅点（ｕ３′，ｖ３′）に対応する（ｕ３，ｖ３）、ｕ′が最大になる位置を右下の隅点（ｕ４′，ｖ４′）に対応する（ｕ４，ｖ４）とすることができる。

上述のようにスクリーン検出手段８で得られた四隅の座標は、画像センサ５に依存した座標系（ｕ，ｖ）で表わされているので、座標変換手段９は、これを前記のように画像投影装置の座標系（Ｘ，Ｙ）に変換する。

図９に座標変換手段９の一実施例を示す。先に述べたように、（ｕ，ｖ）と（Ｘ，Ｙ）の対応関係は距離によって異なるので、予め、代表的な幾つかの距離で、較正を行なっておく。例えば、第1のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）９１には、画像投影部１からスクリーン３の距離が１ｍである場合の対応関係が格納されている。即ち、入力された（ｕ，ｖ）値を第1のＬＵＴ９１に与えると、距離１ｍの位置にスクリーンがある場合の（Ｘ，Ｙ）が出力される。同様に、第２のＬＵＴ９２には、距離が２ｍの位置にスクリーンがある場合の（ｕ，ｖ）と（Ｘ，Ｙ）の対応関係が格納されており、（ｕ，ｖ）値が与えられると、第２のＬＵＴ９２は、距離が２ｍの位置にスクリーンがある場合の（Ｘ，Ｙ）を出力する。同様に第３のＬＵＴ９３は距離３ｍに対応する。

本実施例１の画像投影装置１０１には、測距手段１０が備えられている。測距手段１０としては、公知のものを利用すればよい。例えば、従来オートフォーカスカメラに利用されている赤外線を投射し、その対象からの反射をセンスし、三角測量の原理で距離が得られるようなものを用いる。この測距手段１０は、対象の全体的な位置をセンスするものであるとすると、得られた距離Ｚが座標変換手段９に出力される。この信号は、座標変換手段９の中の内挿手段９４に与えられる。例えば、Ｚが１．５ｍであったとすると、内挿手段９４は、第1のＬＵＴ９１の出力（Ｘ′，Ｙ′）と第２のＬＵＴ９２の出力（Ｘ″，Ｙ″）の中間であることから、

により、画像投影装置座標系の四隅位置を求め、コントローラ２に出力する。コントローラ２は、画像全体の四隅を変換結果である（Ｘ１，Ｙ１）,（Ｘ２，Ｙ２）,（Ｘ３，Ｙ３）,（Ｘ４，Ｙ４）に歪ませた画像を作成し、画像投影部１に送り投影することにより、スクリーンの形に一致した画像の投影を実現する。

尚、上記で説明したスクリーン検出手段８は、図５の構成に限られるものではない。ここでは撮像された画像データを二値化して輪郭を抽出し、隅点を検出しているが、公知のソーベルオペレータやラプラシアンオペレータを用いた、エッジ検出手段により、画像中の画素値の変化が急峻な位置を検出し、これを接続して輪郭を抽出し、上記の隅点検出手段８６と同様の隅点検出手段で隅点位置を得るように構成することも可能である。また、輪郭を直線や線分で近似し、その交点を隅点として、決定することもできる。

同様に、座標変換手段９は、図９の構成に限られるものではない。図９の構成では、あらかじめ距離Ｚのいくつかの値について（ｕ，ｖ）に対する（Ｘ，Ｙ）値が表の形で求まっており、実際の得られた距離について、内挿処理により結果が求まるが、あらかじめ較正段階で、（ｕ，ｖ，Ｚ）に対して（Ｘ，Ｙ）の値を３次元の表の形で求めておいて、その値を引いたり、（ｕ，ｖ，Ｚ）に対して（Ｘ，Ｙ）の近似値への多項式のような変換式を求めておき、変換計算で（Ｘ，Ｙ）が求まるように構成することも可能である。

次に、図１０を参照して、本発明の実施例２を説明する。実施例２は実施例１と異なり、測距手段１０を持っていない。実施例２では、スクリーン検出処理の前に、コントローラ２は適当な画像を用意し、画像投影部１はこの画像をスクリーン３に投影する。この時、フォーカス制御手段１１は、画像投影部１のフォーカスリングを回す等の動作により投影される画像のフォーカスを変化させる。その異なるフォーカスの画像を画像センサ５で撮像し、その画像の合焦の程度を合焦判定手段１２がコントラストやエッジ鮮鋭度等を評価する公知の手法により評価する。距離計算手段１３は、合焦判定手段１２が最もよく合焦しているという判定のときのフォーカス位置から、画像投影装置１０２とスクリーン３との距離を求める。得られた距離Ｚは座標変換手段９で利用され、（ｕ，ｖ）と（Ｘ，Ｙ）の変換処理に利用されるのは、実施例１と同様である。

上述の実施例２では、スクリーン全体について１つの距離Ｚが求められる。しかし、一般に、スクリーンが歪んで表示されるのはスクリーン面が投影方向と直交していないためであるので、スクリーンの各部の画像投影装置からの距離は互いに異なっている。そのため、検出されたスクリーンの四隅に同じ距離Ｚを適用して（ｕ，ｖ）から（Ｘ，Ｙ）への座標変換を行なうと、誤差が生じる。しかし、スクリーン検出手段８によって、既にスクリーンの四隅の画像中の位置が求まっているので、これを利用して四隅の距離を推定することができる。

図１１を参照して上述の内容をさらに詳細に説明する。例えば図１１(a)のようにスクリーンが撮像されたと仮定する。ここでは、左辺が右辺より長く撮像されており、スクリーン３に対して画像投影装置１０２が左方向から投影を行なっている場合を示している。左辺の長さはＬ１、右辺の長さはＬ２である。本来スクリーンは長方形であり、左辺と右辺は等長であるので、この差は図１１(b)に示すように、各辺への距離の差によっていることになる。即ちＬの長さの辺がＤ１の距離にある場合にはＬ１の長さに撮像され、Ｄ２の距離にあるときはＬ２の長さに撮像される。この関係は式（３）のようになる。

よって、２つの距離Ｄ１とＤ２の関係は、式（４）のようになる。

距離計算手段１３で求まるスクリーンの平均的な距離は１つ（L０）であり、図１０(a)に示すように全体の中央の位置のスクリーンの縦幅Ｌ０

に対応すると仮定すると、左側の２つの隅点の距離Ｄ１と右側の２つの隅点の距離Ｄ２は、式（５）のように推定することができる。

式（４）、式（５）は、左辺と右辺の長さを利用したものであるが、同様に上辺と下辺を利用した距離の推定も構成可能である。さらに四辺の長さを利用して、四隅の距離関係を高精度に求めるよう構成することも可能である。

このような精度を向上した座標変換手段９の実施例を図１２を参照して説明する。スクリーン検出手段８から四隅の画素位置（ｕｉ，ｖｉ）（ｉ＝１〜４）がまず隅点距離推定手段９５に入力される。この四隅の座標と距離計算手段１３から得られる距離Ｚを利用して、式（４）に従い、四隅の距離の推定値Ｚｉ（ｉ＝１〜４）を得る。続いて、第１のＬＵＴ９１から第３のＬＵＴ９３に（ｕｉ，ｖｉ）を順次与え、出力される

に対して、内挿手段９４がＺｉを利用してそれぞれの（Ｘ１′，Ｙ１′）を出力する。このように構成することによって、得られる画像投影装置座標系における隅点の精度を改善できる。

次に図１３を参照して、実施例３を説明する。実施例３の画像投影装置１０３は、実施例２とは異なり、合焦判定手段１２を含んでいない。この場合、フォーカス制御手段１１は、あらかじめ定められたフォーカスに画像投影部１を設定し、定められた画像をスクリーン３へ投影する。投影された画像は画像センサ５で撮像され、その撮像データが距離計算手段１４に送られる。距離計算手段１４は、その画像のボケ具合を評価し、距離を推定する。この手法は、ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ（ボケからの距離復元）と言われ、コンピュータビジョンの分野で、大まかな距離を求めるために利用される公知の技術である。得られた距離Ｚを利用して、座標変換手段９が（ｕ，ｖ）と（Ｘ，Ｙ）の座標変換を行なうのは、実施例１と同様である。

本発明の基本動作の説明するための画像投影装置の構成図である。 本発明の基本動作の説明するための投影画像範囲の説明図である。 本発明の基本動作の説明するための画像の説明図である。 本発明の実施例１の構成図である。 実施例１を構成するスクリーン検出手段の構成例である。 実施例１を構成するスクリーン検出手段の動作の説明図である。 実施例１を構成するスクリーン検出手段の動作の説明図である。 実施例１を構成するスクリーン検出手段の動作の説明図である。 実施例１を構成する座標変換手段の構成例である。 本発明の実施例２の構成図である。 実施例２の高精度な距離推定の説明図である。 実施例３で高精度な距離推定を含めた際の座標変換手段の構成例である。 本発明の実施例３の構成図である。

符号の説明

１ 画像投影部
２ コントローラ
３ スクリーン
４ 投影画像範囲
５ 画像センサ
６ 画像
７ スクリーン像
８ スクリーン検出手段
９ 座標変換手段
１０ 測距手段
１１ フォーカス制御手段
１２ 合焦判定手段
１３ 距離計算手段
１４ 距離計算手段
１００ 画像投影装置
１０１ 画像投影装置
１０２ 画像投影装置
１０３ 画像投影装置

Claims (5)

1. 文書等の画像をスクリーンに投影する画像投影方法において、画像センサによりスクリーンを撮像し、スクリーン形状を得ると共に、画像投影装置と前記スクリーン間の距離を１つ獲得し、該距離と前記スクリーン形状から前記スクリーンの４隅の点における距離を推定することによって、前記スクリーン形状を補正し、投影する画像を該補正された前記スクリーン形状に合わせて変形して投影することにより、前記スクリーンに位置と形状を合わせた画像投影を実現することを特徴とする画像投影方法。
2. 文書等の画像をスクリーンに投影する画像投影装置において、画像投影部と、画像センサと、該センサにより撮像された画像からスクリーン形状を検出するスクリーン検出手段と、前記画像投影部と前記スクリーン間の距離を１つ獲得する測距手段と、該測距手段から得られた距離と前記スクリーン検出手段により検出されたスクリーン形状から前記スクリーンの４隅の点における距離を推定する距離推定手段と、前記スクリーン形状を前記推定された前記スクリーンの４隅の点における距離を利用して補正し、投影する画像を補正されたスクリーン形状に合わせて変形する画像変形手段と、からなることを特徴とする画像投影装置。
3. 前記測距手段として、前記画像センサにより撮像された画像を利用して距離計算を行うことを特徴とする請求項２の画像投影装置。
4. 前記測距手段として、フォーカスを制御して複数の画像を前記画像投影部から投影し、前記画像センサにより撮像された画像から合焦判定を行うことを特徴とする、請求項２の画像投影装置。
5. 前記測距手段として、画像を前記画像投影部から投影し、前記画像センサにより撮像された画像からぼけを評価することを特徴とする、請求項２の画像投影装置。

Images