JP2011155412A - 投影システムおよび投影システムにおける歪み修正方法 - Google Patents

Abstract

【課題】歪みのない画像を投影面上に形成するに当たり、投影する画像を変形させる歪み修正パラメータの推定精度を向上させる。
【解決手段】投影面に画像を投影する投影装置２と、投影面を撮像する撮像装置３とが投影制御装置１に接続される。投影制御装置１は、元の画像に歪み修正行列を適用する歪み補正部１２と、歪み修正行列を求める校正処理部１３とを備える。校正処理部１３は、投影面に設定した基準図形を撮像し、撮像画像と基準図形との間の射影変換の変換行列を求める機能と、校正用画像を投影装置２から投影面に投影した表示画像を撮像し、撮像画像と校正用画像との間の射影変換の変換行列を求める機能と、撮像画像と校正用画像との間の射影変換の変換行列を繰り返し推定し直すことで変換行列の精度を向上させる機能と、両変換行列を組み合わせて歪み修正行列を求める機能とを有する。
【選択図】図１

Description

本発明は、投影装置により投影面に投影された投影像の歪みを自動的に補正する投影システムおよび投影システムにおける歪み修正方法に関するものである。

一般に、投影装置（プロジェクタ）は、映像機器の出力装置として静止画像や動画像を投影するほか、コンピュータのモニタ装置に代えて用いられることがあり、さらには、ショーウインドウなどの演出照明を行う照明装置としても用いられている。

この種の投影装置を用いて像を投影面に投影する際に、投影装置からの投影方向と投影面とが直交していなければ、投影された投影像に歪みが生じる。投影像の歪みを補正する技術としては、投影装置から投影する像の形状を補正する技術と、投影装置に設けた投影レンズの配置を調節する技術とが広く採用されている。

特許文献１には、投影装置を照明装置として用い、任意形状の被照射体の表面形状に合わせて投影装置から照射光を投影することにより、被照射体の表面を照射光で覆う技術が開示されている。このような装置では、投影装置を観察者の目に入らないところに設置することが必要となり、結果として投影面に対して投影装置の光軸が大きく傾いて設置される。このような状態で、投影装置から矩形を投影し、投影像を撮像して歪み修正パラメータを推定しようとすると、撮像された四角形は図１４のように不等辺四角形Ｄ１−Ｄ２−Ｄ３−Ｄ４となり、画像から頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４の位置を計測する場合に鋭角になっている頂点、特に頂点Ｄ３の座標の計測に誤差が生じ易い。したがって、最終的に得られる歪み修正パラメータの精度が低いものとなり、歪みの無い投影を阻害する原因となっている。

特開２００９−４９００７号公報

投影面に対して投影装置の光軸が大きく傾いて設置された場合でも、投影面上に歪みのない画像を投影させるための歪み修正パラメータの推定精度を向上させることを目的とする。

請求項１の発明は、投影面に画像を投影する投影装置と、投影面を撮像する撮像装置と、投影装置と撮像装置とが接続された投影制御装置とを有し、投影制御装置は、元の画像に歪み修正パラメータを適用して生成した投影画像を投影装置から投影することにより投影面上の表示画像を元の画像と相似形にする表示モードと、投影装置から投影する投影画像と撮像装置により撮像した撮像画像との関係から歪み修正パラメータを求める校正モードとの動作モードを有し、校正モードでは、投影面に設定した基準図形を撮像装置で撮像し、撮像画像と基準図形との間の変形を表す第１のパラメータを求める機能と、規定の校正用画像を投影画像として投影面に投影したときの表示画像を撮像装置で撮像し、撮像画像と校正用画像との間の変形を表す第２のパラメータを求める機能と、第１のパラメータと第２のパラメータとの組み合わせにより歪み修正パラメータを求める場合に、校正モードにおいて、規定した撮像画像に第２のパラメータを適用することにより求めた投影画像を投影装置から投影面に投影するともに、投影面上に形成された表示画像を撮像装置により撮像し、撮像画像と投影画像との間の変形を表す第２のパラメータを再度求め、再度求めた第２のパラメータと第１のパラメータとを組み合わせて歪み修正パラメータを求めることを特徴とする。

請求項２の発明では、請求項１の発明において、校正用画像として矩形を用いることを特徴とする。

請求項３の発明では、請求項１の発明において、校正用画像として複数個の点状パターンを用い、点状パターンに対応する投影画像および撮像画像の代表点の位置として重心位置を用いることを特徴とする。

請求項４の発明は、投影面に画像を投影する投影装置と、投影面を撮像する撮像装置とを用い、元の画像に歪み修正パラメータを適用して生成した投影画像を投影装置から投影することにより投影面上の表示画像を元の画像と相似形にするために、投影装置に入力する入力画像と撮像装置により撮像した撮像画像との関係から歪み修正パラメータを求める方法であって、投影面に設定した基準図形を撮像装置で撮像し、撮像画像と基準図形との間の変形を表す第１のパラメータを求め、規定の校正用画像を投影画像として投影面に投影したときの表示画像を撮像装置で撮像し、撮像画像と校正用画像との間の変形を表す第２のパラメータを求め、次に、第１のパラメータと第２のパラメータとの組み合わせにより歪み修正パラメータを求める方法において、校正モード時に、規定した撮像画像に前記第２のパラメータを適用することにより求めた投影画像を前記投影装置から投影面に投影するともに、投影面上に形成された表示画像を前記撮像装置により撮像し、撮像画像と投影画像との間の変形を表す第２のパラメータを再度求め、再度求めた第２のパラメータと第１のパラメータとを組み合わせて歪み修正パラメータを求めることを特徴とする。

請求項１、４の発明の構成によれば、投影面に設定した基準図形を撮像手段で撮像することにより基準図形と撮像画像との間の変形のパラメータを求め、さらに、投影装置から校正用画像を投影面に投影し、投影面に表示された表示画像を撮像装置により撮像することにより、校正用画像と撮像画像とのの変形のパラメータを求め、２つのパラメータの組み合わせによって初期の歪み修正パラメータを求め、次に、当該パラメータを基準となる撮像画像に適用して投影画像をあらためて生成し、この投影画像を用いて得られた撮像画像と投影画像との関係から変形に関するパラメータを再度求め、この再度求めたパラメータを用いて、歪み修正パラメータを決定するため精度の高い歪み修正パラメータを得ることができる。したがって、最終的に得られた歪み修正パラメータを使って投影画像を作成して投影することにより、歪みの少ない投影を実現することができる。

請求項２の発明の構成によれば、校正用画像として矩形を用いているから、パラメータを求めるために必要な画像間での点の対応付けが容易になる。すなわち、矩形では頂点を直線の交点として規定できるから、画像間での点の対応付けが容易になる。

請求項３の発明の構成によれば、点状パターンに対応する投影画像および撮像画像において重心位置を代表点として用いるので、画像間で対応する点の位置関係を明確にすることができる。

実施形態を示すブロック図である。 同上の投影面と投影装置と撮像装置との位置関係を示す図である。 同上の動作説明図である。 同上において歪み修正行列を求める手順を示す図である。 同上の動作説明図である。 同上の他動作の動作説明図である。 同上の動作説明図である。 同上の原理説明図である。 同上の動作説明図である。 同上において変換行列の修正手順を示す図である。 同上の動作説明図である。 同上における他例の動作説明図である。 同上における別例の動作説明図である。 従来の問題点を示す説明図である。

（基本原理）
いま、図２に示すように、投影面Ｐｐに対して投影装置（プロジェクタ）２から画像を投影する場合を想定する。このとき、投影装置２が投影面Ｐｐに正対していなければ、投影面Ｐｐに投影された表示画像Ｉｔを投影面Ｐｐに正対した位置から見たときに、投影装置２から投影した投影画像Ｉｐに対して歪んだ画像になる。逆に言えば、歪みのない表示画像Ｉｔ（図３（ａ）参照）を投影面上に投影しようとすると、投影画像Ｉｐは、図３（ｃ）のように予め変形させておかなければならない。

投影画像Ｉｐと表示画像Ｉｔとの関係は、表示画像Ｉｔと投影画像Ｉｐの画素の座標を行列［Ｉｔ］［Ｉｐ］で表し、投影画像Ｉｐから表示画像Ｉｔへの射影変換Ｈｐｔを変換行列［Ｈｐｔ］で表せば、［Ｉｔ］＝［Ｈｐｔ］［Ｉｐ］と表現することができる。

したがって、適宜の画像Ｉｏに射影変換Ｈｐｔの逆変換である射影変換Ｈｔｐを施した投影画像Ｉｐを生成し、この投影画像Ｉｐを投影装置２から投影すると、投影面Ｐｐ上に画像Ｉｏと相似形状で歪みのない表示画像Ｉｔを表示することができる。すなわち、［Ｉｐ］＝［Ｈｐｔ］−１［Ｉｏ］とすれば、［Ｉｔ］＝［Ｈｐｔ］［Ｉｐ］＝［Ｈｐｔ］［Ｈｐｔ］−１［Ｉｏ］＝［Ｉｏ］になるから、投影面Ｐｐには、画像Ｉｏと同形状の表示画像Ｉｔが投影される。ここに、画像Ｉｏと表示画像Ｉｔとの倍率は無視している。

以下では、変換行列［Ｈｐｔ］の逆行列［Ｈｐｔ］−１を歪み修正行列［Ｈ］と呼ぶ（すなわち、［Ｈ］＝［Ｈｐｔ］−１）。

ところで、歪み修正行列［Ｈ］を求めるには、投影画像Ｉｐと表示画像Ｉｔとの対応関係を知る必要がある。そのため、表示画像Ｉｔを撮像する撮像装置（カメラなど）３を用いる。撮像装置３により撮像した画像を撮像画像Ｉｃ（図３（ｂ）参照）と呼ぶことにすると、表示画像Ｉｔを撮像した撮像画像Ｉｃは、撮像装置３が投影面Ｐｐに正対していなければ、表示画像Ｉｔに対して歪んだ画像になる。投影画像Ｉｐと表示画像Ｉｔとの関係と同様に、表示画像Ｉｔから撮像画像Ｉｃへの射影変換Ｈｔｃを行う変換行列［Ｈｔｃ］を用いると、［Ｉｃ］＝［Ｈｔｃ］［Ｉｔ］という関係になる。［Ｉｃ］は撮像画像Ｉｃの画素の座標を表す行列である。なお、画像Ｉｏ、投影画像Ｉｐ、表示画像Ｉｔ、撮像画像Ｉｃは、いずれも画素を単位とする画像を意味する。

さらに、撮像画像Ｉｃと投影画像Ｉｐとの関係も射影変換Ｈｃｐで表すことができる。すなわち、射影変換Ｈｃｐの変換行列［Ｈｃｐ］を用いると、［Ｉｐ］＝［Ｈｃｐ］［Ｉｃ］という関係になる。［Ｈｐｔ］［Ｈｔｃ］＝［Ｈｃｐ］−１と考えてよいから、［Ｈｐｔ］＝［Ｈｃｐ］−１［Ｈｔｃ］−１が得られ、この関係から、［Ｈｐｔ］−１＝［Ｈｔｐ］＝［Ｈｔｃ］［Ｈｃｐ］という関係が得られる。

上述したように、［Ｈ］＝［Ｈｐｔ］−１であるから、［Ｈ］＝［Ｈｔｐ］＝［Ｈｔｃ］［Ｈｃｐ］になる。すなわち、表示画像Ｉｔから撮像画像Ｉｃへの射影変換Ｈｔｃの変換行列［Ｈｔｃ］と、撮像画像Ｉｃから投影画像Ｉｐへの射影変換Ｈｃｐの変換行列［Ｈｃｐ］とを求めると、歪み修正行列［Ｈ］を決定することができる。

表示画像Ｉｔから撮像画像Ｉｃへの射影変換Ｈｔｃと、撮像画像Ｉｃから投影画像Ｉｐへの射影変換Ｈｃｐとは、それぞれ２次元の射影変換である。したがって、一方の画像の座標（ｕ，ｖ）から他方の画像の座標（ｓ，ｔ）への射影変換Ｈｑは、数１で示される同値関係で表される。すなわち、射影変換Ｈｑでは定数倍は意味を持たない。

数１において３行３列の行列が射影変換Ｈｑの変換行列［Ｈｑ］であるから、要素ｑｉｊを決定すれば、変換行列［Ｈｑ］が決定される。すなわち、変換行列［Ｈｔｃ］を決定するには、表示画像Ｉｔと撮像画像Ｉｃとにおいて対応関係のある画素の関係を用いて要素ｑｉｊを求める必要がある。同様に、変換行列［Ｈｃｐ］を決定するには、撮像画像Ｉｃと投影画像Ｉｐとにおいて対応関係のある画素の関係を用いて要素ｑｉｊを求める必要がある。

変換行列［Ｈｑ］において未知の要素ｑｉｊは８個であるから、着目する２枚の画像から互いに対応する４点（以下、対応点という）ずつを抽出すれば、変換行列［Ｈｑ］を決定することができる。すなわち、数１から数２の関係が得られ、さらに数２の分母を払うと数３が得られ、これを変形して数４の関係が得られる。

数４を行列式で表すと数５になり、着目する２画像からそれぞれ抽出した４点ずつの対応点の座標（ｓ１，ｔ１）…、（ｕ１，ｕ２）…の関係をまとめると数６が得られる。

したがって、数７から変換行列［Ｈｑ］をただちに決定することができる。また５組以上の対応点が得られる場合は最小自乗法や最尤推定法などを用いて変換行列［Ｈｑ］を推定しても良い。

以下の説明では、歪み修正行列［Ｈ］を決定するために、変換行列［Ｈｔｃ］と変換行列［Ｈｃｐ］とを求める技術について説明する。

（構成）
上述したように、投影面Ｐｐに表示画像Ｉｔを投影するための投影装置２に加えて、投影面Ｐｐを撮像する撮像装置３を備えている。投影装置２は、投影面Ｐｐに画像全体または画像の一部を投影できるように配置され、撮像装置３は、投影面Ｐｐの全体または一部が撮像できるように配置される。投影装置２と撮像装置３とは、図２の例では投影面Ｐｐを見込む方向が異なっているが、同じ方向から投影面Ｐｐを見込むように配置してもよい。

変換行列［Ｈｔｃ］と変換行列［Ｈｃｐ］とを求めるには、投影装置２と撮像装置３とを連携させる必要がある。そのため、図１に示すように、投影装置２および撮像装置３は、コンピュータにより構成された投影制御装置１に接続される。投影制御装置１には、キーボードやマウスのような入力装置４と、液晶表示器あるいはＣＲＴからなる表示装置５とが接続される。

投影制御装置１は、投影面Ｐｐに投影する画像の画像データを記憶した画像記憶部１１と、画像記憶部１１から読み出した画像データ（画素）に歪み修正行列［Ｈ］を適用することにより歪み補正を行う歪み補正部１２と、撮像装置３から取り込んだ画像データ（画素）を用いて歪み修正行列［Ｈ］を生成する校正処理部１３とを備える。

画像記憶部１１には、投影面Ｐｐに表示する表示用画像Ｉａの画像データと、歪み修正行列［Ｈ］を生成する際に用いる校正用画像Ｉｂの画像データとが格納されている。表示用画像Ｉａの画像データは、必ずしも画像記憶部１１に格納していなくてもよく、ビデオ機器のように画像信号を出力する他装置から表示用画像Ｉａの画像データを取り込むようにしてもよい。

投影制御装置１は、所望の画像を表示する表示モードと、歪み修正行列［Ｈ］を生成する校正モードとのいずれかの動作モードで動作する。表示モードでは、表示用画像Ｉａの画像データが歪み補正部１２に入力される。また、校正モードでは、撮像装置３により撮像した撮像画像Ｉｐが校正処理部１３に入力される状態と、校正用画像Ｉｂが校正処理部１３に入力される状態とが選択される。

すなわち、校正モードでは、投影面Ｐｐに設定した基準図形を撮像装置３により撮像して得られる撮像画像Ｉｃを校正処理部１３に取り込む。また、投影画像Ｉｐとして校正用画像Ｉｂを投影装置２から投影したときに投影面Ｐｐに表示される表示画像Ｉｔを撮像装置３で撮像し、撮像装置３から出力される撮像画像Ｉｃを校正処理部１３に取り込む。図１の破線は、校正用画像Ｉｂを投影装置２に入力している状態を示している。

校正処理部１３では、後述するように、これらの２つの撮像画像Ｉｃを用いることにより、歪み修正行列［Ｈ］を生成する。基準図形を撮像して得られる撮像画像Ｉｃは、変換行列［Ｈｔｃ］を決定するために用いられ、校正用画像Ｉｂを投影した表示画像Ｉｔを撮像して得られる撮像画像Ｉｃは、変換行列［Ｈｃｐ］を決定するために用いられる。

なお、基準図形は４個以上の基準点の相対的な位置関係が既知である図形であれば、どのような図形でもよい。また、校正用画像Ｉｂは、投影画像Ｉｐ（この場合は、校正用画像Ｉｂ）と撮像画像Ｉｃとから変換行列［Ｈｃｐ］を求めることが可能であるかぎり、どのような形状の画像でもよい。つまり、投影画像Ｉｐと撮像画像Ｉｃとの対応点を４個以上対応付けることにより、数１の８個の未知の要素ｑｉｊを求めることができるかぎり、校正用画像Ｉｂはどのような形状でもよい。

一方、歪み補正部１２は、元の画像Ｉｏとしての表示用画像Ｉａに歪み修正行列［Ｈ］を適用して画像Ｉｏを変形させた投影画像Ｉｐを生成し、生成された投影画像Ｉｐを投影装置２に与える。歪み修正行列［Ｈ］が適正に設定されていれば、上述したように、投影面Ｐｐ上の表示画像Ｉｔは、表示用画像Ｉａ（元の画像Ｉｏ）と相似形状になる。

なお、投影制御装置１は、演算装置を持つ機器に画像入出力のための装置（拡張ボードなど）を付加し、後述する機能を実現するためのプログラムを実行することにより実現される。画像入出力のための装置には、画像信号の入出力のための信号変換器や画像を一時記憶する画像メモリなどが含まれる。また、画像記憶部１１は、ハードディスク装置や光学式記憶装置、あるいは着脱可能なフラッシュメモリなどを用いて実現される。

（動作１）
以下では、校正モードにおいて歪み修正行列［Ｈ］を求める手順を図４に基づいて説明する。校正モードでは、撮像装置３により投影面Ｐｐに設定した基準図形を撮像することにより変換行列［Ｈｔｃ］を決定する段階と、校正用画像Ｉｂを投影したときの表示画像Ｉｔを撮像することにより変換行列［Ｈｃｐ］を決定する段階とを有している。

図４において、変換行列［Ｈｔｃ］を求める段階は、ステップＳ１〜Ｓ３として示している。まず、図５（ａ）のように、投影面Ｐｐに設定した２次元座標ｓｔにおける座標位置の相対的な関係が既知である基準図形を規定する。基準図形は、投影面Ｐｐに適宜のマーカを取り付けて示すことが可能であるが、投影面Ｐｐ自身を用いてもよい。ここでは、基準図形として矩形を用いる。

この基準図形を撮像装置３により撮像し、図５（ｂ）のように、校正処理部１３において基準図形に対応する撮像画像Ｉｃを取得する（Ｓ１）。基準図形は画像ではないが、投影面Ｐｐ上に形成されているから、表示画像Ｉｔと等価である。したがって、基準図形と基準図形を撮像した撮像画像Ｉｃとの関係から、変換行列［Ｈｔｃ］を求めることができるのである。

図５（ａ）のように基準図形（表示画像Ｉｔと等価）が矩形であるから、図５（ｂ）のように撮像画像Ｉｃも四角形になる。したがって、基準図形の頂点Ｉ１，Ｉ２，Ｉ３，Ｉ４と、撮像画像Ｉｃの頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４との対応付けが可能になる。撮像画像Ｉｃとして得られる四角形Ｃ１−Ｃ２−Ｃ３−Ｃ４の頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４については、撮像装置３について設定した２次元座標ｘｙにおいて求める（Ｓ２）。すなわち、画像の水平方向と垂直方向とを座標軸とする２次元座標での座標位置を求める。

ここに、頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４は、撮像装置３の水平方向と投影面Ｐｐの水平方向とがほぼ平行であれば、基準図形の各頂点Ｉ１，Ｉ２，Ｉ３，Ｉ４の位置関係が撮像画像Ｉｃでも維持される。要するに、各頂点Ｉ１，Ｉ２，Ｉ３，Ｉ４の左右の位置関係および上下の位置関係に変化はない。

そこで、校正処理部１３では、撮像画像Ｉｃについて画像処理を行い、基準図形の頂点Ｉ１，Ｉ２，Ｉ３，Ｉ４に対応する撮像画像Ｉｃの頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４を抽出する。撮像画像Ｉｃから頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４を抽出するにあたっては、基準図形の４辺に相当するエッジを直線の式に当てはめ、各２直線の交点を頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４として算出する。

直線は、最小自乗法やハフ変換など一般的な方法で推定する。たとえば、撮像画像Ｉｃとして、四角形領域が黒でそれ以外の領域色が白色となっている図６のような画像を撮像し、各辺の方程式を推定する場合、エッジ検出によりなるべく細かい単位(サブピクセルの単位)などでエッジの位置を推定し、さらにそれぞれの直線に属するエッジ点の位置から最小自乗法を用いて辺の方程式を推定する方法がある。このとき、頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４推定の精度を上げるためには、直線推定の精度が高い方法を使うことが望ましい。

投影装置２に設定した２次元座標ｓｔでの基準図形の頂点Ｉ１，Ｉ２，Ｉ３，Ｉ４の座標の相対位置は既知であるから、撮像画像Ｉｃから求めた頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４の座標位置とを対応付ける変換行列［Ｈｔｃ］を求めることができる（Ｓ３）。すなわち、上述した数７の（ｕ１，ｕ２）…に頂点Ｉ１，Ｉ２，Ｉ３，Ｉ４の座標を当てはめ、（ｓ１，ｔ１）…に頂点Ｃ１，Ｃ２，Ｃ３，Ｃ４の座標を当てはめると、変換行列［Ｈｑ］（＝［Ｈｔｃ］）の要素ｑｉｊが求められる。

変換行列［Ｈｔｃ］を決定する段階に対して、変換行列［Ｈｃｐ］を決定する段階は、図４において、ステップＳ４〜Ｓ１１として示している。

ステップＳ４では、校正処理部１３において画像記憶部１１から校正用画像Ｉｂを読み出して投影装置２により校正用画像Ｉｂを投影し、投影面Ｐｐ上の表示画像Ｉｔを撮像装置３で撮像することにより、校正用画像Ｉｂに対応する撮像画像Ｉｃを取得する。校正用画像Ｉｂは投影のための画像であり、ここでは、投影画像Ｉｐと同じ意味である。

校正用画像Ｉｂとしては、図７（ｂ）のように、矩形Ｂ１−Ｂ２−Ｂ３−Ｂ４を用いるものとする。ここで、校正用画像Ｉｂについて、投影装置２に設定した２次元座標ｕｖにおける頂点Ｂ１，Ｂ２，Ｂ３，Ｂ４の座標は既知である。また、撮像画像Ｉｃ上の四角形Ｄ１−Ｄ２−Ｄ３−Ｄ４は、図７（ａ）のように校正用画像Ｉｂ上の矩形Ｂ１−Ｂ２−Ｂ３−Ｂ４に対して変形することになる。

次に、校正用画像Ｉｂである四角形Ｂ１−Ｂ２−Ｂ３−Ｂ４の頂点Ｂ１，Ｂ２，Ｂ３，Ｂ４と、撮像画像Ｉｃにおける四角形Ｄ１−Ｄ２−Ｄ３−Ｄ４の頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４とを対応付ける。この対応付けは、基準図形の頂点と撮像画像Ｉｃの頂点とを対応付けた場合と同様に行うことができる。また、撮像画像Ｉｃで抽出した各頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４の座標を求める（Ｓ５）。

校正用画像Ｉｂと撮像画像Ｉｃとの頂点を対応付けるとともに、撮像画像Ｉｃの頂点の座標を求めると、数７の（ｕ１，ｕ２）…に頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４の座標を当てはめるとともに、（ｓ１，ｔ１）…に頂点Ｂ１，Ｂ２，Ｂ３，Ｂ４の座標を当てはめることにより、変換行列［Ｈｑ］（＝［Ｈｃｐ′］）の要素ｑｉｊを求めることができる（Ｓ６）。

ところで、校正用画像Ｉｂに対応する撮像画像Ｉｃでは、図８（ａ）に示すように頂点Ｄｉの推定誤差は交わる辺Ｌａ，Ｌｂの角度が９０°に近いとき辺Ｌａ，Ｌｂの推定誤差の影響を一番受けにくい。ここで図８中の細線は直線の誤差範囲を示し，破線はＤｉの誤差範囲を示すものとする。また、図８（ｂ）に示すように辺Ｌａ，Ｌｂの交わる角度が小さくなると頂点Ｄｉの推定誤差が辺Ｌａ，Ｌｂの推定誤差の影響を大きく受ける。結果として、図７では頂点Ｄ３の推定値が不確かなものとなり易い。このような計測誤差の影響を低減するために、図４に示す手順では、以下のステップＳ７〜Ｓ１１の処理を行うことにより、ステップＳ６で求めた変換行列［Ｈｃｐ′］を修正し、精度の高い変換行列［Ｈｃｐ］を得る。

さらに詳しく説明する。変換行列［Ｈｃｐ′］を求める際には、投影画像Ｉｐである校正用画像Ｉｂに矩形を用いたが、ステップＳ７〜Ｓ１１では、撮像画像Ｉｃにおいて矩形を設定し、当該矩形が得られるように生成した投影画像Ｉｐを用いる。この投影画像Ｉｐにより投影面Ｐｐに形成された表示画像Ｉｔを撮像装置３で撮像し、得られた撮像画像Ｉｃと投影画像Ｉｐとの関係から変換行列［Ｈｃｐ］を求めるのである。

すなわち、ステップＳ７では、ステップＳ４で取得した撮像画像Ｉｃにおいて、図９（ａ）のように、四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４を設定する。ここに、変換行列［Ｈｃｐ′］の誤差を低減するには、四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４を大きく設定するほうがよいが、投影面Ｐｐの範囲を超えることがないように設定しなければならない。

具体的には、図７（ｂ）に示した校正用画像Ｉｂ（投影画像Ｉｐ）における四角形Ｂ１−Ｂ２−Ｂ３−Ｂ４に対応する撮像画像Ｉｃでの四角形Ｄ１−Ｄ２−Ｄ３−Ｄ４（図７（ａ）参照）に着目する。図９（ａ）に示すように、この四角形Ｄ１−Ｄ２−Ｄ３−Ｄ４の対角位置である各２頂点Ｄ１，Ｄ３とＤ２，Ｄ４をそれぞれ対角位置の頂点とする２個の四角形を設定し、両四角形が重複する範囲を四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４として用いる（Ｓ７）。なお、四角形Ｂ１−Ｂ２−Ｂ３−Ｂ４と四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４とは、いずれも各辺が座標軸に平行な矩形を意味している。

さらに、この四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４に変換行列［Ｈｃｐ′］を適用すれば、この四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４が撮像画像Ｉｃになるときの投影画像Ｉｐを求めることができる（Ｓ８）。つまり、四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４に変換行列［Ｈｃｐ′］を適用すると、図９（ｂ）のように、撮像画像Ｉｃが四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４になるときの投影画像Ｉｐでの四角形Ｐ１−Ｐ２−Ｐ３−Ｐ４を決定することができる。

ステップＳ７，Ｓ８の処理を詳述すると、図１０のようになる。すなわち、校正用画像Ｉｂを撮像装置３により撮像して得られた撮像画像Ｉｃの４個の頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４の座標を求め（Ｓ２１）、頂点Ｄ１，Ｄ３を対角位置の頂点とする四角形と、頂点Ｄ２，Ｄ４を対角位置の頂点とする四角形とを設定する（Ｓ２２）。次に、両四角形が重複する領域の四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４を抽出する（Ｓ２３）。その後、四角形Ｆ１−Ｆ２−Ｆ３−Ｆ４の頂点Ｆ１，Ｆ２，Ｆ３，Ｆ４の座標に変換行列［Ｈｃｐ′］を適用して投影画像Ｉｐに設定する四角形Ｐ１−Ｐ２−Ｐ３−Ｐ４おける頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４（図９参照）の座標を求める（Ｓ２４）。

ステップＳ８において投影画像Ｉｐとなる四角形Ｐ１−Ｐ２−Ｐ３−Ｐ４を求めた後、この投影画像Ｉｐを投影装置２から投影面Ｐｐに投影し、投影面Ｐｐに投影された表示画像Ｉｔを撮像装置３により撮像して撮像画像Ｉｃを取得する（Ｓ９）。さらに、取得した撮像画像Ｉｃとしての四角形Ｇ１−Ｇ２−Ｇ３−Ｇ４（図１１（ａ）参照）について、頂点Ｇ１，Ｇ２，Ｇ３，Ｇ４の座標を求める（Ｓ１０）。この四角形Ｇ１−Ｇ２−Ｇ３−Ｇ４はほぼ矩形であるため、精度良く頂点の座標を求めることができる。この撮像画像Ｉｃは、図１１（ｂ）に示す投影画像Ｉｐの四角形Ｐ１−Ｐ２−Ｐ３−Ｐ４に対応するから、頂点Ｇ１，Ｇ２，Ｇ３，Ｇ４と頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４との関係により変換行列［Ｈｃｐ］を求めることができる。すなわち、数７の（ｕ１，ｕ２）…に頂点Ｇ１，Ｇ２，Ｇ３，Ｇ４の座標を当てはめるとともに、（ｓ１，ｔ１）…に頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４の座標を当てはめると、誤差分が低減された変換行列［Ｈｑ］（＝［Ｈｃｐ］）の要素ｑｉｊが求められる（Ｓ１１）。

上述したステップＳ７〜Ｓ１１による変換行列の修正は複数回繰り返してもよいが、通常は１回だけ行えばよい。上述のようにして求めた変換行列［Ｈｔｃ］［Ｈｃｐ］を用いることにより、［Ｈ］＝［Ｈｃｐ］［Ｈｔｃ］として、歪み修正行列［Ｈ］を求めることができる（Ｓ１２）。このように推定精度が向上した変換行列［Ｈｃｐ］を用いて歪み修正行列［Ｈ］を求めるため、歪み修正行列［Ｈ］はより精度が高いものとなる。

なお、上述した構成における基準図形は、４点以上の座標位置の相対関係が既知であれば、矩形以外の形状でも用いることができる。

（動作２）
上述の動作では、基準図形および校正用画像Ｉｂとして四角形（矩形）を用いているが、動作１の説明から明らかなように、画像内における４点の座標を知ることができれば、数７を用いて歪み修正行列［Ｈ］を決定することができる。

すなわち、四角形の頂点に相当する４点が存在し、かつ射影変換を適用する前後の画像において点の位置の対応付けが可能であれば、基準図形や校正用画像Ｉｂとして四角形を用いることは必須ではない。したがって、基準図形と校正用画像Ｉｂとの少なくとも一方について、四角形の頂点に相当する４個の点状パターンを用い、動作１と同様の処理を行うことにより、歪み修正行列［Ｈ］を求めるようにしてもよい。

この場合、投影装置２から校正用画像Ｉｂとして４個の点Ｄ１，Ｄ２，Ｄ３，Ｄ４をそれぞれ中心とする円領域ｄ１， ｄ２， ｄ３， ｄ４（図１２（ａ）参照）を投影面Ｐｐに投影すると、表示画像Ｉｔでは各円領域ｄ１， ｄ２， ｄ３， ｄ４がそれぞれ楕円状になり、しかも、各点ごとに投影装置２からの距離に応じて形状が変化する。図１２（ｂ）のように、撮像画像Ｉｃにおいても同様に形状が変化する。このため楕円に近い領域ｄ１′，ｄ２′，ｄ３′，ｄ４′中のどの位置が点Ｄ１，Ｄ２，Ｄ３，Ｄ４の対応点かを推定するのは困難となる。

したがって、撮像装置３で撮像した撮像画像Ｉｃにおいて円状の領域ｄ１′，ｄ２′，ｄ３′，ｄ４′（図１３（ａ）参照）となるように調整した円領域ｄ１，ｄ２，ｄ３，ｄ４（図１３（ｂ）参照）から投影装置２で投影する映像を作成することで、対応点（図示せず）を推定しやすい領域となるように映像を投影する。このため撮像装置３により撮像した撮像画像において領域ｄ１′，ｄ２′，ｄ３′，ｄ４′はほぼ真円となるために、領域中の対応点（図示せず）を容易に推定できる。また、座標位置は各領域がほぼ真円となるために各点の代表点（たとえば、重心）の座標として推定できる。また、対応点Ｄ１，Ｄ２，Ｄ３，Ｄ４（図１２参照）で結ばれる四角形領域が、撮像画像Ｉｃ上でなるべく広い領域となることが望ましい。他の動作は動作１と同様である。

なお、上述した構成例では、投影画像Ｉｐ，表示画像Ｉｔ、撮像画像Ｉｃの間の変換に用いる歪み修正パラメータを変換行列で表しているが、歪み修正パラメータは他の形式で表してもよい。

１ 投影制御装置
２ 投影装置
３ 撮像装置
Ｉｃ 撮像画像
Ｉｐ 投影画像
Ｉｔ 表示画像
Ｉｂ 校正用画像
Ｐｐ 投影面

Claims (4)

1. 投影面に画像を投影する投影装置と、投影面を撮像する撮像装置と、投影装置と撮像装置とが接続された投影制御装置とを有し、投影制御装置は、元の画像に歪み修正パラメータを適用して生成した投影画像を投影装置から投影することにより投影面上の表示画像を元の画像と相似形にする表示モードと、投影装置から投影する投影画像と撮像装置により撮像した撮像画像との関係から歪み修正パラメータを求める校正モードとの動作モードを有し、校正モードでは、投影面に設定した基準図形を撮像装置で撮像し、撮像画像と基準図形との間の変形を表す第１のパラメータを求める機能と、規定の校正用画像を投影画像として投影面に投影したときの表示画像を撮像装置で撮像し、撮像画像と校正用画像との間の変形を表す第２のパラメータを求める機能と、第１のパラメータと第２のパラメータとの組み合わせにより歪み修正パラメータを求めるシステムにおいて、校正モード時に、規定した撮像画像に前記第２のパラメータを適用することにより求めた投影画像を前記投影装置から投影面に投影するともに、投影面上に形成された表示画像を前記撮像装置により撮像し、撮像画像と投影画像との間の変形を表す第２のパラメータを再度求め、再度求めた第２のパラメータと第１のパラメータとを組み合わせて歪み修正パラメータを求めることを特徴とする投影システム。
2. 前記校正用画像として矩形を用いることを特徴とする請求項１記載の投影システム。
3. 前記校正用画像として複数個の点状パターンを用い、点状パターンに対応する前記投影画像および前記撮像画像の代表点の位置として重心位置を用いることを特徴とする請求項１記載の投影システム。
4. 投影面に画像を投影する投影装置と、投影面を撮像する撮像装置とを用い、元の画像に歪み修正パラメータを適用して生成した投影画像を投影装置から投影することにより投影面上の表示画像を元の画像と相似形にするために、投影装置に入力する入力画像と撮像装置により撮像した撮像画像との関係から歪み修正パラメータを求める方法であって、投影面に設定した基準図形を撮像装置で撮像し、撮像画像と基準図形との間の変形を表す第１のパラメータを求め、規定の校正用画像を投影画像として投影面に投影したときの表示画像を撮像装置で撮像し、撮像画像と校正用画像との間の変形を表す第２のパラメータを求め、次に、第１のパラメータと第２のパラメータとの組み合わせにより歪み修正パラメータを求める方法において、校正モード時に、規定した撮像画像に前記第２のパラメータを適用することにより求めた投影画像を前記投影装置から投影面に投影するともに、投影面上に形成された表示画像を前記撮像装置により撮像し、撮像画像と投影画像との間の変形を表す第２のパラメータを再度求め、再度求めた第２のパラメータと第１のパラメータとを組み合わせて歪み修正パラメータを求めることを特徴とする投影システムにおける歪み修正方法。

Images