JP6344050B2 - 画像処理システム、画像処理装置、プログラム - Google Patents

Description

本発明は、投影される画像の投影面での歪みを低減する画像処理システムに関する。

プロジェクターが投影する画像を投影面となるスクリーンや立体物の形状に合わせて補正し、プロジェクターによる新たな視覚効果や演出を行う投影手法が知られている。このような投影手法はプロジェクションマッピングと呼ばれる場合がある。例えば、イベントやデジタルサイネージにおいてもプロジェクションマッピングの視覚効果や演出を活用することが検討されている。

また、複数のプロジェクターで画像を投影することで１つのプロジェクターでは得られない大画面の画像を投影するマルチプロジェクションが知られている。マルチプロジェクションでは、複数のプロジェクターの投影範囲を一部重ねることで境界を目立たないようにしたり、重なりの部分が周囲と違和感なく見えるように、重畳領域の明るさの調整等が行われる。

このマルチプロジェクションにおいても、曲面などの立体物に画像を投影することが行われる場合がある（例えば、特許文献１参照。）。特許文献１には、プロジェクターにより構造化パターンを表示面上に投影し、プロジェクターと固定の物理的関係にあるカメラで撮影した画像から構造化パターンの座標を決定し、投影される画像の歪みを補正する方法が開示されている。

ところで、投影面の立体的な形状に対し歪みを補正するために行われる歪み補正は、特に投影面までの距離情報を取得しなくても可能である。しかし、距離情報を用いることで投影面の形状に関する情報が得られるので、より高精度な歪み補正が可能になることが期待される。

しかしながら、従来の歪み補正方法では、投影面の形状を利用した歪み補正が行われていないという問題がある。

本発明は、上記課題に鑑み、投影面の形状を利用してより高精度な歪み補正が可能な画像処理システムを提供することを目的とする。

上記課題に鑑み、本発明は、投影される画像の投影面での歪みを低減する画像処理システムであって、複数の異なる場所から取得された、前記投影面に投影された投影画像の三次元情報を取得する三次元情報取得手段と、三次元情報に形状モデルを当てはめて、前記投影面の形状モデルを決定する形状モデル決定手段と、三次元情報を前記形状モデルの表面の二次元座標に変換すると共に、三次元情報を前記形状モデルの表面に射影する座標変換手段と、前記二次元座標に変換された前記投影画像と、前記投影画像として投影された元画像とを比較して歪み補正パラメータを作成する歪み補正パラメータ作成手段と、を有し、前記座標変換手段は、三次元情報を前記形状モデルの表面の二次元座標に変換する際、三次元情報を前記三次元情報取得手段との距離方向に移動して射影することを特徴とする。

各プロジェクターの設置が容易な画像処理システムを提供することができる。

本実施形態の画像処理システムの概略を説明する図の一例である。 画像処理システムの構成図の一例である。 情報処理装置のハードウェア構成図の一例である。 情報処理装置の機能ブロック図の一例である。 画像処理システムの全体的な動作手順を示すフローチャート図の一例である。 投影対象の投影画像をカメラが分割撮像する際の模式図の一例である。 三次元座標の取得を模式的に説明する図の一例である。 重複撮像領域に撮像されたカメラの対応点の画像とカメラの対応点の画像を説明する図の一例である。 図９は、５点の対応点の回転、並進、スケール変換について説明する図の一例である。 Ｎ個の位置合わせ用パターンから取得された三次元座標の位置合わせを模式的に説明する図の一例である。 変換情報作成部がＮ個の位置合わせ用パターンから取得された三次元座標により回転変換Ｑ・並進変換Ｔ・スケール変換Ｓを求める手順を示すフローチャート図の一例である。 Ｎ個の投影画像から取得された歪み補正用パターンの三次元座標の位置合わせを模式的に説明する図の一例である。 位置合わせ部がＮ個の歪み補正用パターンの投影画像から取得された三次元座標の位置合わせを行う手順を示すフローチャート図の一例である。 投影対象のポイントクラウドの位置合わせを模式的に説明する図の一例である。 位置合わせ部がＮ個のポイントクラウドの位置合わせを行う手順を示すフローチャート図の一例である。 形状モデルの表面の二次元の投影対象表面座標系への三次元座標の変換を説明する図の一例である。 三次元座標の形状モデルの表面への射影を実現する２つの方法の模式図である。 二次元画像とプロジェクター画像における対応点を説明する図の一例である。 歪み補正パラメータの算出処理を説明する図の一例である。 射影変換行列Ｈの算出を説明するための図の一例である。 プロジェクター画像の補正について説明する図の一例である。 エッジブレンディングを模式的に説明する図の一例である。 円筒型の投影対象が有する表面情報の取得を模式的に示す図の一例である。 いくつかの形状モデルの展開図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態の画像処理システム２００の概略を説明する図の一例である。まず、図１に基づき画像処理システム２００の全体的な処理を説明する。

Ａ．本実施形態では、円筒型の外壁又は内壁を投影対象１１であるとして説明する。図１では内壁に２つのプロジェクター１３から歪み補正用パターン３２が投影されている。プロジェクター１３を区別する場合、プロジェクター１、２…ｍ（ｍ：自然数）と称する。いわゆる超単焦点のプロジェクター１３が歪み補正用パターン３２を投影する場合、投影対象１１の側方（この例では下方）から映像を投影するので、長方形の歪み補正用パターン３２は、円筒型の投影対象１１において図示するように上方が半円形状になる。

Ｂ．カメラ１２は歪み補正用パターン３２のほぼ正面から（例えば、歪み補正用パターン３２の中心の法線方向から）歪み補正用パターン３２を撮像する。カメラ１２を区別する場合、カメラ１、２…ｍ（ｍ：自然数）と称する。カメラ１２は、プロジェクター１３に搭載されていてもよいし、１つのカメラ１２を移動させて撮像してもよい。カメラ１２はステレオカメラなど距離情報を取得可能なカメラである。

投影対象１１は立体的であるため、カメラ１２は１つの撮像場所から全体を撮像できない。このため、いくつかの撮像場所から投影対象１１が撮像され、撮像により得られた複数の投影対象１１の三次元座標の位置合わせが必要になる。

Ｃ．撮像時のカメラ１２の位置を基準とする三次元座標を含む画像データ１と画像データ２が得られる。ここで、三次元座標は、歪み補正用パターン３２の要素ごと（図では黒領域と白領域の境界など）に得られるのではなく、カメラ１２の解像度に応じて得られる。例えば、６４０×４８０、１９２０×１０８０の如く画素レベルの解像度で三次元座標が得られる。このような密な三次元座標をポイントクラウド（三次元座標の集合）と呼ぶ場合がある。図１では、歪み補正用パターンからポイントクラウド３３が取得されている。

Ｄ．情報処理装置５０は重複領域において撮像されている歪み補正用パターン３２（又は位置合わせ用のパターン）を利用して、２つの三次元座標の対応点同士を位置合わせする。２つの三次元座標の対応点同士を位置合わせするために、並進変換Ｔ、回転変換Ｑ及びスケール変換Ｓが算出される。並進変換Ｔ、回転変換Ｑ及びスケール変換Ｓによりカメラ２で撮像された三次元座標を変換することで、カメラ２で撮像された三次元座標をカメラ１の座標系の三次元座標に変換できる。

このように本実施形態の画像処理システム２００は、位置合わせの際、プロジェクター１３により位置合わせ用パターン又は歪み補正用パターンを投影することで比較的短時間にかつ高精度に位置合わせすることができる。また、三次元座標により位置合わせするので、プロジェクター１３の配置を予め精度よく固定しておく必要がない。

Ｅ．次に、情報処理装置５０は、カメラ１の座標系に変換された三次元座標を用いて、投影対象１１の形状モデル（図の例では円筒形）３５にフィッティングする。これにより形状モデル３５のパラメータ（例えば、円筒の中心軸の直線、半径）が得られる。

Ｆ．情報処理装置５０は、投影対象１１の三次元座標から形状モデル３５を推定することで、投影対象表面の座標系（二次元座標系の投影対象表面座標）で三次元座標を二次元の投影対象表面座標系に変換することができる。投影対象表面座標系への変換の際、形状モデル３５の表面に三次元座標を配置（射影）する。三次元座標は本来、投影対象１１の表面にあるはずなので、この処理により三次元座標に含まれる距離情報の誤差を低減することができ、投影対象１１における歪みを低減できる。

Ｇ．情報処理装置５０は、歪み補正用パターン３２の歪みから歪み補正パラメータを算出する。そして、投影対象１１では歪みがなくなるように元の投影画像を変換する（例えば、射影変換する）。

このように、本実施形態の画像処理システム２００は、三次元座標を取得することを利用して、カメラ１２が各場所で撮像した三次元座標を共通の座標に位置合わせできる。また、三次元座標を形状モデル３５にフィッティングし、さらに形状モデル３５の表面に三次元座標を配置（射影）することで、距離情報の誤差を低減することができ、投影対象１１における歪みを低減できる。

＜システム構成＞
図２は、画像処理システム２００の構成図の一例を示す。画像処理システム２００は、情報処理装置５０に、複数のプロジェクター１３（かっこ内はプロジェクターを識別する数字）が接続される構成を有している。カメラ１２（かっこ内はカメラを識別する数字）は情報処理装置５０に接続されていてもよいし、接続されていなくてもメモリーカードなどに画像データを記憶させ情報処理装置５０が読み出せればよい。なお、接続は有線でも無線でもよい。

プロジェクター１３は投影対象１１を囲むようにほぼ等間隔に配置されている。図では例えば６台のプロジェクター１３があるものとするが、プロジェクター１３は最低２つあればよい。

画像処理システム２００は、複数のプロジェクター１３による投影画像を組み合わせて、スクリーン（投影対象の表面）にタイリング表示による１つの大画面画像を表示するシステムである。
情報処理装置５０は、画像処理システム２００によるマルチプロジェクションとして投影される大画面画像の元となる画像を、プロジェクター１３の数（例えば６台）に対応する部分画像に分割し、各プロジェクター１３が投影すべき部分画像データを生成する。情報処理装置５０は画像処理装置の一例である。

部分画像データは隣接したプロジェクター１３では端部が重複する用に生成され、また、重畳領域の明るさの調整等を行う（エッジブレンディング）。情報処理装置５０は、生成した部分画像データを対応する位置に配置されたプロジェクター１３に送信する。

プロジェクター１、２が情報処理装置５０から入力される画像データを投影するだけで、マルチプロジェクションシステムとしてタイリングによる投影を行える。

各プロジェクター１３の配置を厳密に設定しない場合、各プロジェクター１３が投影する部分画像データがずれる可能性がある。例えば、投影対象１１からのプロジェクター１３の距離、光軸の角度等によってずれが生じる。そこで、情報処理装置５０は、各プロジェクター１３に位置合わせ用のパターンを投影させ、カメラ１２が撮像した画像データを用いて、投影対象１１の三次元座標を位置合わせする。これにより、重畳部分のずれを抑制できる。また、座標系が共通になるので、形状モデル３５へのフィッティングが容易になる。

なお、情報処理装置５０は、例えばＰＣ(Personal Computer)などのコンピュータであるが、タブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）、電子書籍端末など画像データを投影できるものであればよい。また、サーバなどネットワーク上に機能として存在していればよい。さらに、図１では別体として図示されたカメラ１２が本実施形態の情報処理装置５０の機能を有していてもよい。また、２つ以上の情報処理装置５０が配置され、例えば歪み補正を行うものと部分画像データをプロジェクター１３に送信するものとが別々に存在してもよい。

カメラ１２についてはプロジェクター１３に搭載されていてもよいが、ユーザの視点から投影画像を見た場合に正しく補正できるように、投影画像の正面に配置されていてもよい。また、カメラ１２は歪み補正用パターン３２又は位置合わせ用パターンの撮像の度に移動して撮像してもよい（すなわちカメラ１２は１つしかなくてもよい）。本実施形態では、説明を容易にするため、カメラ１２はプロジェクター１３の数だけ存在するものとする。

また、カメラ１２は投影画像の撮像により歪み補正用パターン３２及び位置合わせ用パターンの画像データと共に三次元座標（このような画像データを距離画像という場合がある）を取得する。三次元座標を取得する方式としては、例えば、照射光を照射し反射光が到達するまでの時間（ＴＯＦ：Time Of Fright）を測定する方式や、視差を利用するステレオカメラ方式が知られている。前者の方式のカメラ１２としてＫｉｎｅｃｔ（登録商標）が知られている。

また、プロジェクター１３はＤＬＰ（Digital Light Processing）プロジェクターや液晶プロジェクターなどがあるが、本実施形態では投影方式は限定しない。また、超短焦点のプロジェクターでなく、遠方から投影するプロジェクターを用いてもよい。

図３は、情報処理装置５０のハードウェア構成図の一例を示す。情報処理装置５０はそれぞれバスで相互に接続されているＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、記憶媒体装着部１０４、通信装置１０５、入力装置１０６、描画制御部１０７、ＨＤＤ１０８、を有する。ＣＰＵ１０１は、ＯＳ（Operating System）やプログラム１１１をＨＤＤ１０８から読み出して実行することで種々の機能を提供すると共に、色調変換パラメータの生成処理を行う。

ＲＡＭ１０２はＣＰＵ１０１がプログラム１１１を実行する際に必要なデータを一時保管する作業メモリ（主記憶メモリ）になり、ＲＯＭ１０３はＢＩＯＳ（Basic Input Output System）やＯＳを起動するためのプログラム、静的なデータが記憶されている。

記憶媒体装着部１０４には記憶媒体１１０が着脱可能であり、記憶媒体１１０に記録されたデータを読み込み、ＨＤＤ１０８に記憶させる。また、記憶媒体装着部１０４は、ＨＤＤ１０８に記憶されたデータを記憶媒体１１０に書き込むこともできる。記憶媒体１１０は例えば、ＵＳＤメモリ、ＳＤカード等である。プログラム１１１は、記憶媒体１１０に記憶された状態や不図示のサーバからダウンロードすることで配布される。

入力装置１０６は、キーボードやマウス、トラックボールなどであり、情報処理装置５０へのユーザの様々な操作指示を受け付ける。また、入力装置１０６はタッチパネルや音声入力装置であってもよい。

ＨＤＤ１０８は、ＳＳＤ等の不揮発メモリでもよく、ＯＳ、アプリケーションソフトウェアなどの各種のデータが記憶されている。

通信装置１０５は、ネットワークに接続するためのＮＩＣ（Network Interface Card）であり、例えば、イーサネット（登録商標）カードである。

描画制御部１０７は、ＣＰＵ１０１がプログラム１１１を実行してグラフィックメモリに書き込んだ描画コマンドを解釈して、画面を生成しディスプレイ１０９に描画する。なお、図３ではディスプレイ１０９は情報処理装置５０に外付けされているが、情報処理装置５０がディスプレイ１０９を内蔵していてもよい。

図４は、情報処理装置５０の機能ブロック図の一例を示す。情報処理装置５０は、投影画像三次元位置取得部２１、位置合わせ部２２、モデル算出部２３、座標変換部２４、歪み補正パラメータ算出部２５、及び、画像変形部２６を有している。これらは、ＣＰＵ１０１がプログラム１１１を実行して図３に示すハードウェアと協働することで実現される。

また、情報処理装置５０は投影される画像データ、歪み補正用パターン３２、及び、位置合わせ用パターンを記憶する画像データ記憶部２７、並びに、歪み補正パラメータを記憶する歪み補正パラメータ記憶部２８を有している。これらは、情報処理装置５０がアクセス可能な場所（例えば、ＬＡＮ、インターネットなどのネットワーク上）にあればよい。

投影画像三次元位置取得部２１は、投影対象上の投影画像の三次元座標を取得する。具体的には、カメラ１２が撮像した距離画像（輝度情報又はカラーの画素値と共に画素毎に距離情報が含まれる）をケーブルや記憶媒体を介して取得する。本実施形態では、距離情報を含む画像データを単に三次元座標と称する。

位置合わせ部２２は変換情報作成部２９を有し、変換情報作成部２９は複数の位置合わせ用パターン（歪み補正用パターン３３でもよい）の特徴点の三次元座標に基づき変換情報を算出する。そして位置合わせ部２２は、この変換情報で、歪み補正用パターン３２又はポイントクラウド３３の三次元座標の位置を合わせる。具体的には、隣接したプロジェクター１３が投影した、位置合わせ用パターンの三次元座標の間で、変換情報として並進変換Ｔ、回転変換Ｑ及びスケール変換Ｓを求める。そして、並進変換Ｔ、回転変換Ｑ及びスケール変換Ｓにより、歪み補正用パターン３２が撮像されることで得られた特徴点の三次元座標又はポイントクラウド３３を、カメラ１〜ｍに共通の座標系の三次元座標に変換する。

モデル算出部２３は、位置合わせした歪み補正用パターン３２又はポイントクラウド３３の三次元座標群を、投影対象１１の形状モデル３５にフィッティングする。これにより、形状モデル３５（例えば円筒）の軸の直線の方程式と半径が得られる。

座標変換部２４は、歪み補正用パターン３２の特徴点の三次元座標又はポイントクラウド３３を投影対象１１の形状モデル３５の座標系に変換する。この座標系は、例えば円筒型の形状モデル３５の表面の座標系であるため、歪み補正用パターン３２の特徴点の三次元座標又はポイントクラウド３３の三次元座標は二次元の投影対象表面座標系で表現される。

歪み補正パラメータ算出部２５は、プロジェクター１３が投影する歪み補正用パターン３２の元画像（以下、プロジェクタ画像という）と、二次元の投影対象表面座標系で表現された歪み補正用パターン３２の画像（以下、二次元画像という）から例えば射影変換行列Ｈを算出する。この射影変換行列Ｈから歪み補正パラメータが求められる。

画像変形部２６は、歪み補正パラメータを用いてプロジェクター１３が投影するプロジェクター画像を変形し補正画像を作成する。これにより、円筒型の投影対象１１に歪みが少ない投影画像が投影される。

＜全体的な動作手順＞
図５は、画像処理システム２００の全体的な動作手順を示すフローチャート図の一例を示す。
Ｓ１０：投影画像三次元位置取得部２１は、変数ｎを初期化する（ｎに１を設定する）。ｎはプロジェクター１３の数Ｎと比較される変数である。
Ｓ２０：投影画像三次元位置取得部２１は、投影画像の三次元座標を取得する。この三次元座標は、各プロジェクター１３が投影した位置合わせ用パターンの特徴点、歪み補正用パターン３２の特徴点、又は、ポイントクラウド３３のいずれかの三次元座標の場合がある。なお、位置合わせを歪み補正用パターン３２で行う場合には、位置合わせ用パターンの三次元座標は不要になる。
Ｓ３０：投影画像三次元位置取得部２１は、ｎがＮと一致したか否かを判定する。すなわち、すべてのプロジェクター１３から三次元座標を取得したか否かを判定する。
Ｓ４０：ステップＳ３０の判定がＮｏの場合、投影画像三次元位置取得部２１は変数ｎを１つ大きくする。
Ｓ５０：ステップＳ３０の判定がＹｅｓの場合、位置合わせ部２２は各カメラ１２が撮像したＮ個の三次元座標を、１つのカメラ座標に位置合わせする。すなわち、それぞれ撮像された複数の三次元座標を１つのカメラ座標で表す。
Ｓ６０：モデル算出部２３はステップＳ５０の三次元座標を円筒型の形状モデル３５にフィッティングする。
Ｓ７０：座標変換部２４は、ステップＳ５０の三次元座標を円筒型の形状モデル３５の表面の二次元の投影対象表面座標に変換する。
Ｓ８０：歪み補正パラメータ算出部２５は、プロジェクター画像と、二次元の投影対象表面座標で表現された二次元画像から例えば射影変換行列Ｈを算出し、射影変換行列Ｈから歪み補正パラメータを算出して歪み補正パラメータ記憶部２８に記憶する。
Ｓ９０：画像変形部２６は、歪み補正パラメータを用いてプロジェクター１３が投影する画像を変形する。

以下では、ステップＳ２０、Ｓ５０〜Ｓ９０についてステップごとに詳細に説明する。

＜Ｓ２０ 投影画像の三次元座標の取得＞
図６は、投影対象１１の投影画像をカメラ１２が分割撮像する際の模式図の一例である。図６では円筒形の投影対象１１の凹面と凸面に対する投影画像をカメラ１とカメラ２が分割して撮像している。すべての投影画像が一箇所からの撮像で撮像しきれない場合、本実施形態では重複撮像領域３６を設けて、異なる場所から分割して撮像する。なお、凹面と凸面では歪み方が異なるだけで歪み補正パラメータによる画像の変形までの手順は同じである。

図７は、三次元座標の取得を模式的に説明する図の一例である。図７（ａ）では、プロジェクター１が位置合わせ用パターン３１を投影している。カメラ１，２はそれぞれ位置合わせ用パターンを撮像する。このように隣接したプロジェクター１３のうち左側のプロジェクター１３のみが位置合わせ用パターン３１を投影する。カメラ１，２は画素単位で距離情報を取得可能であるが、位置合わせ用パターン３１では、例えば特徴点（円）の三次元座標が取得される。

図７（ｂ）（ｃ）では、プロジェクター１，２がそれぞれ歪み補正用パターン３２を投影している。歪み補正用パターン３２として図７（ｂ）では円パターンが、図７（ｃ）では格子パターンが投影されている。カメラ１，２はそれぞれ歪み補正用パターン３２を撮像する。カメラ１，２は画素単位で距離情報を取得可能であるが、円パターンの歪み補正用パターン３２では、特徴点（例えば、円）の三次元座標が取得され、格子パターンの歪み補正用パターン３２では、特徴点（例えば、黒領域の頂点）の三次元座標が取得される。

投影画像三次元位置取得部２１が、位置合わせ用パターン３１や歪み補正用パターン３２の画像から特徴点を抽出する際は、例えば以下のように処理する。円パターンの場合、例えば二値化して連続した黒画素の重心を特徴点として検出する。格子状の歪み補正用パターンの場合、例えば、ハリスの方法などのコーナー検出方法を用いて格子の頂点を特徴点として検出する。この他、エッジを検出して抽出された直線の交点などを特徴点としてもよい。

また、位置合わせ用の画像としては、位置合わせ用パターン３１や歪み補正用パターン３２のような既知の画像の他、未知の画像を用いることもできる。未知の画像を投影して、例えば、SIFT(Scale Invariant Feature Transform)特徴量を検出する。SIFT特徴量は、画像中の輝度変化の大きい特徴点と、特徴点周辺の輝度勾配及び輝度方向により算出される特徴量である。未知の画像でも同じSIFT特徴量が検出されるため、対応する特徴点が得られる。このように、次述する位置合わせ部２２が、複数の場所から撮像された投影画像の特徴点同士の対応を正しく決定できれば、任意の画像を位置合わせに用いることができる。

以下では、説明のため、位置合わせ用パターン３１により位置合わせするものとして説明する。当然ながら、歪み補正のために歪み補正用パターン３２も撮像され、その際にポイントクラウド３３も得られている。

＜Ｓ５０ 位置合わせ＞
位置合わせ部２２は、複数の場所で撮像された位置合わせ用パターンの特徴点同士を対応させ、これらの特徴点を利用してカメラ１，２の座標系を合わせる。すなわち、カメラ２が撮像した三次元座標を、カメラ１の座標系の座標に変換する。異なる場所で撮像された２つの位置合わせ用パターンの対応する特徴点を対応点という。

位置合わせ部２２は、まず、カメラ１、２の重複撮像領域３６に、プロジェクター１のみに対し位置合わせ用パターン３１を投影させる。視点の変化にロバストな特徴点群の三次元座標を取得することで、隣接する撮像場所で対応する対応点を安定して取得できる。

図８（ａ）は重複撮像領域３６に撮像されたカメラ１の対応点の画像とカメラ２の対応点の画像を説明する図の一例である。図８（ａ）では位置合わせ用パターンとして円パターンが撮像されている。この円パターンは、歪み補正用パターン３２とは別に投影されるが、上記のように歪み補正用パターン３２を位置合わせ用パターン３１として用いることができる。

カメラ１が撮像した重複撮像領域３６には円パターン１が撮像されており、カメラ２が撮像した重複撮像領域３６には円パターン２が撮像されている。円パターン１はプロジェクター１が投影したものである。図８（ｂ）に示すように、カメラ１が撮像する画像１では右端に円パターン１が撮像され、カメラ２が撮像する画像２では左端に円パターン２が撮像される。

円パターン１、２は撮影場所が異なるだけで同じ場所に投影されているので、カメラ１，２が同じ位置から撮像したと仮定すると、円パターン１，２は画像内の同じ位置で撮像されなければならない。画像内の同じ位置で撮像させるためには、カメラ２をカメラ１の位置に移動させればよいがこの移動量は、画像１と画像２において円パターン１，２が撮像されている場所の違いに他ならない。よって、画像１における円パターン１と画像２における円パターン２の位置が一致するように、画像１，２を位置合わせすることで、カメラ２が取得する三次元座標をカメラ１の座標系に位置合わせすることができる。

なお、画像１，２から特徴点として検出される対応点（それぞれの円）にはインデックスが与えられる。画像１では右端から１列目の円パターンの円にＡ１−１〜Ａ１−５が、２列目の円パターンの円にＡ２−１〜Ａ２−５が与えられる。画像２では左端から１列目の円パターンの円にＢ１−１〜Ｂ１−５が、２列目の円パターンの円にＢ２−１〜Ｂ２−５が与えられる。位置合わせ部２２はＡ１−１〜Ａ１−５及びＡ２−１〜Ａ２−５と、Ｂ１−１〜Ｂ１−５及びＢ２−１〜Ｂ２−５が対応点であるとして扱う。

位置合わせのためには、対応点の三次元座標を用いる。すなわち、円パターン１の各円の三次元座標と円パターン２の各円の三次元座標を用いる。位置合わせのための変換は並進変換Ｔと回転変換Ｑ、及び、スケール変換Ｓに分けられる。本実施形態では、Absolute Orientationという手法により並進変換Ｔ、回転変換Ｑ及びスケール変換Ｓを算出する。

図９を用いて並進変換Ｔ、回転変換Ｑ及びスケール変換Ｓの算出について説明する。図９は、５点の対応点の回転、並進、スケール変換について説明する図の一例である。画像２の対応点をＰ_ｌ１〜Ｐ_ｌ５であるとし、画像１の対応点をＰ_ｒ１〜Ｐ_ｒ５であるとする。Ｐ_ｌ１〜Ｐ_ｌ５を回転することで対応点群Ｉが得られ、対応点群Ｉをスケール変換することで対応点群IIが得られ、対応点群IIを並進することで対応点群IIIが得られるものとする。したがって、対応点群IIIがＰ_ｒ１〜Ｐ_ｒ５に変換される回転変換Ｒ、並進変換Ｔ及びスケール変換Ｓを求める。

まず、スケール変換Ｓについては、以下のようにして求められる。
１．対応点Ｐ_ｌ１〜Ｐ_ｌ５の重心Ｇ１、対応点Ｐ_ｒ１〜Ｐ_ｒ５の重心Ｇ２を求め、それぞれ重心を原点とする座標に変換する。
２．対応点Ｐ_ｌ１〜Ｐ_ｌ５の重心Ｇ１からの距離の２乗和Ｓ１、対応点Ｐ_ｒ１〜Ｐ_ｒ５の重心Ｇ２からの距離の２乗和Ｓ２、を求める。
３．２つの２乗和の比Ｓ２／Ｓ１をスケール変換Ｓとする。すなわち、スケール変換Ｓは回転変換Ｒとは独立に求められる。

また、回転変換Ｒについては、重心Ｇ１を原点とする対応点Ｐ_ｌ１〜Ｐ_ｌ５を、ある軸周りにある角度回転した時の、対応点Ｐ_ｒ１〜Ｐ_ｒ５との内積の和が最大になる回転として求められる。

対応点Ｐ_ｌ１〜Ｐ_ｌ５の重心Ｇ１からの相対座標をｒl_i（i＝１〜５）、対応点Ｐ_ｒ１〜Ｐ_ｒ５の重心Ｇ２からの相対座標をｒr_i（i＝１〜５）、とする。

Ｍの要素から４×４対象行列Ｎを求める。

この４×４対象行列Ｎの最大固有値に対応する単位固有ベクトルを求めると、最適な回転を表す単位４元数が得られる。４元数とは「a + i b + j c + k d」のように実部aと虚部ｂ、ｃ、ｄにより表される（i、j、kは虚数）。i、j、kは三次元のそれぞれの軸方向の回転を表している。

単位４元数は実部と虚部の二乗和の平方根が１となる４元数である。単位４元数を、Σ＝(cosθ/2; sin（θ/2）p)で表す（ｐは虚部の三次元ベクトル）。単位４元数により、Σ*ｑΣを計算すると（Σ*はΣの共役）、回転軸ｐを中心にベクトルｑで表される点をθ回転させることができる。したがって、ベクトルｑを対応点の重心Ｇ１からの座標ベクトルとすれば、対応点Ｐ_ｌ１〜Ｐ_ｌ５を回転させることができる。

最後に、並進変換Ｔは、回転変換Ｒで対応点Ｐ_ｌ１〜Ｐ_ｌ５を回転させ、スケール変換Ｓでスケール変換したものと、対応点Ｐ_ｒ１〜Ｐ_ｒ５の差として求められる。

なお、Absolute Orientationの具体的手法についてはBerthold K. P. HornによるClosed-form solution of absolute orientation using unit quaternionsを参照されたい。

図１０は、Ｎ個の位置合わせ用パターンから取得された三次元座標の位置合わせを模式的に説明する図の一例である。図１０（ａ）に示すように、カメラ１，２〜Ｎは重複撮像領域３６の位置合わせ用パターン３１をそれぞれ撮像する。点線の四角は撮像範囲を示している。上記のように、カメラ２が撮像した位置合わせ用パターン３１と、カメラ１が撮像した位置合わせ用パターン３１との対応点が求められる。そして、この対応点から、回転変換Ｑ１・並進変換Ｔ１・スケール変換Ｓ１が求められる。

次に、図１０（ｂ）に示すように、カメラ２，３は重複撮像領域３６の位置合わせ用パターン３１をそれぞれ撮像する。カメラ３が撮像した位置合わせ用パターン３１と、カメラ２が撮像した位置合わせ用パターン３１との対応点が求められる。そして、この対応点から、回転変換Ｑ２・並進変換Ｔ２・スケール変換Ｓ２が求められる。

最終的に、カメラＮ−１，Ｎが重複撮像領域３６における位置合わせ用パターン３１をそれぞれ撮像する。同様に、対応点から、回転変換Ｑ（Ｎ−１）・並進変換Ｔ（Ｎ−１）・スケール変換Ｓ（Ｎ−１）が求められる。

隣接した撮像場所同士で、回転変換Ｑ・並進変換Ｔ・スケール変換Ｓが求められると、図１０（ｃ）に示すように、各撮像場所で撮像された任意のポイントクラウド３３を、Ｎ番目の撮像場所から順番に位置合わせすることができる。

図１１は、変換情報作成部２９がＮ個の位置合わせ用パターン３１から取得された三次元座標により回転変換Ｑ・並進変換Ｔ・スケール変換Ｓを求める手順を示すフローチャート図の一例である。
Ｓ１０１：変換情報作成部２９は変数ｎを１に初期化する。
Ｓ１０２：投影画像三次元位置取得部２１は、カメラｎ、ｎ＋１が重複撮像領域３６から撮像した位置合わせ用パターン３１の特徴点から三次元座標を取得する。
Ｓ１０３：変換情報作成部２９はスケール変換Ｓ（ｎ）を求める。
Ｓ１０４：変換情報作成部２９は回転変換Ｒ（ｎ）を求める。
Ｓ１０５：変換情報作成部２９は並進変換Ｔ（ｎ）を求める。
Ｓ１０６：変換情報作成部２９はｎがＮ−１と一致するか否かを判定する。
Ｓ１０７：ステップＳ１０６の判定がＮｏの場合、変換情報作成部２９はｎを１つ大きくする。

ステップＳ１０６の判定がＹｅｓの場合、全ての隣接した撮像位置における回転変換Ｑ・並進変換Ｔ・スケール変換Ｓが得られる。これにより、歪み補正用パターン３２を用いた歪み補正が可能になる。したがって、次に、各プロジェクター１３が歪み補正用パターン３２を投影し、各カメラがそれぞれ撮像する。そして、位置合わせ部２２は歪み補正用パターン３２の特徴点に対し位置合わせを行う。

図１２は、Ｎ個の投影画像から取得された歪み補正用パターン３２の特徴点の三次元座標の位置合わせを模式的に説明する図の一例である。図１２（ａ）に示すように、カメラ１はプロジェクター１が投影した歪み補正用パターン３２を撮像する。図１２（ｂ）に示すように、カメラ２はプロジェクター２が投影した歪み補正用パターン３２を撮像する。

最終的に、カメラＮが、プロジェクターＮが投影した歪み補正用パターン３２を撮像すると、図１２（ｃ）に示すように、各カメラ１〜Ｎが撮像した歪み補正用パターン３２の特徴点の三次元座標の位置合わせが行われる。

図１３は、位置合わせ部２２がＮ個の歪み補正用パターン３２の投影画像から取得された三次元座標の位置合わせを行う手順を示すフローチャート図の一例である。
Ｓ２０１：位置合わせ部２２は変数ｎを１に初期化する。
Ｓ２０２：投影画像三次元位置取得部２１はカメラｎが撮像した歪み補正用パターン３２の特徴点の三次元座標を取得する。
Ｓ２０３：位置合わせ部２２はｎ＝Ｎとなったか否かを判定する。
Ｓ２０４：ステップＳ２０３の判定がＮｏの場合、位置合わせ部２２はｎを１つ大きくする。
Ｓ２０５：ステップＳ２０３の判定がＹｅｓの場合、位置合わせ部２２はｎをＮに初期化する。
Ｓ２０６：位置合わせ部２２は、歪み補正用パターン３２の特徴点の三次元座標を、並進変換Ｔ（ｎ−１）、回転変換Ｑ（ｎ−１）及びスケール変換Ｓ（ｎ−１）を用いて変換する。

これにより、カメラＮが撮像した歪み補正用パターン３２の特徴点の三次元座標は、カメラＮ−１の座標系に変換される。そして次のサイクルではカメラＮ−１が撮像した歪み補正用パターン３２の特徴点の三次元座標は、カメラＮ−２の座標系に変換される。以下、歪み補正用パターン３２の特徴点の三次元座標は、カメラ１の座標系まで順番に変換される。
カメラＮ → カメラＮ−１
カメラＮ−１ → カメラＮ−２
カメラＮ−２ → カメラＮ−３
：
カメラ２ → カメラ１
したがって、最終的に、カメラＮ〜カメラ２が撮像した歪み補正用パターン３２の特徴点の三次元座標は、全てカメラ１の座標系に変換される。
Ｓ２０７：位置合わせ部２２は、ｎ＝２となったか否かを判定する。すなわち、カメラ１の座標系への変換が終わったか否かが判定される。
Ｓ２０８：ステップＳ２０７の判定がＮｏの場合、位置合わせ部２２はｎを１つ小さくする。

ステップＳ２０７の判定がＹｅｓの場合、カメラ１の座標系にカメラ２〜Ｎの三次元座標が位置合わせされたことになる。

ところで、本実施形態では次のステップＳ６０でモデルフィッティングを行うが、モデルフィッティングを行うには、歪み補正用パターン３２の特徴点では点間隔が大きすぎ、モデルフィッティングに誤差が入るおそれがある。そこで、以下のように、歪み補正用パターン３２の特徴点ではなく、ポイントクラウド３３に対し位置合わせを行ってもよい。Ｋｉｎｅｃｔ（登録商標）のようにＴＯＦ方式で距離情報を取得する場合、投影対象１１をそのまま撮像することで画素毎に距離情報が得られる。また、投影対象１１の表面が均一な輝度であるため、ステレオカメラでは距離情報の精度が低下する場合には、モデルフィッティングのための画像（歪み補正用パターン３２よりも特徴点が密な画像）を投影してもよい。

図１４は、投影対象１１のポイントクラウド３３の位置合わせを模式的に説明する図の一例である。なお、処理手順は図１２と同様である。

図１４（ａ）に示すように、カメラ１は投影対象１１−１を撮像する。プロジェクター１は例えばコンテンツ画像を投影してもよいし、プロジェクター１は何も投影せず投影対象１１の意匠などがそのまま撮像されてもよい。図１４（ｂ）に示すように、カメラ２は投影対象１１−２を撮像する。

最終的に、カメラＮが投影対象１１−Ｎを撮像すると、図１４（ｃ）に示すように、位置合わせ部２２は各カメラ１〜Ｎが撮像した投影対象１１のポイントクラウド３３の位置合わせが行われる。

図１５は、位置合わせ部２２がＮ個のポイントクラウド３３から取得された三次元座標の位置合わせを行う手順を示すフローチャート図の一例である。なお、処理手順は図１３と同様である。
Ｓ２０１：位置合わせ部２２は変数ｎを１に初期化する。
Ｓ２０２：投影画像三次元位置取得部２１はカメラｎが撮像した投影対象１１からポイントクラウド３３を取得する。
Ｓ２０３：位置合わせ部２２はｎ＝Ｎとなったか否かを判定する。
Ｓ２０４：ステップＳ２０３の判定がＮｏの場合、位置合わせ部２２はｎを１つ大きくする。
Ｓ２０５：ステップＳ２０３の判定がＹｅｓの場合、位置合わせ部２２はｎをＮに初期化する。
Ｓ２０６：位置合わせ部２２は、投影対象１１のポイントクラウド３３を、並進変換Ｔ（ｎ−１）、回転変換Ｑ（ｎ−１）及びスケール変換Ｓ（ｎ−１）を用いて変換する。これにより、カメラＮが撮像した投影対象１１のポイントクラウド３３はカメラＮ−１の座標系に変換される。そして次のサイクルではカメラＮ−１が撮像した投影対象１１のポイントクラウド３３は、カメラＮ−２の座標系に変換される。したがって、最終的に、カメラＮ〜カメラ２が撮像した投影対象１１のポイントクラウド３３は、全てカメラ１の座標系に変換される。
Ｓ２０７：位置合わせ部２２は、ｎ＝２となったか否かを判定する。すなわち、カメラ１の座標系への変換が終わったか否かが判定される。
Ｓ２０８：ステップＳ２０７の判定がＮｏの場合、位置合わせ部２２はｎを１つ小さくする。

このように密な三次元座標（ポイントクラウド３３）を取得することで、モデルフィッティングの近似精度を向上させることができる。

＜Ｓ６０ モデル算出＞
モデル算出部２３は、歪み補正用パターン３２の特徴点の三次元座標又はポイントクラウド３３を、投影対象１１の形状モデル３５にフィッティングし、形状モデル３５の最適なモデルパラメータを推定する。

モデル算出部２３は、モデルフィッティングの前処理として、三次元座標の除去を事前に行ってもよい。例えば、三次元座標が均一に分布していると仮定して、点同士の距離を求め、距離の平均から閾値以上離れている点をモデルフィッティングの対象から除去する。

モデル算出部２３は、位置合わせされた三次元座標に対し所定の三次元の形状モデル３５を当てはめて、投影対象１１を表す投影体モデルを計算する。より具体的には、三次元座標の集まりとマッチする三次元の形状モデル３５のモデルパラメータを算出する。ここで、本実施形態では、投影対象１１の形状モデル３５は円筒モデルであるので、モデルフィッティング計算では、円筒モデルの軸の直線の方程式、及び、半径のうちの少なくとも１つのパラメータを不定として、誤差が最小となる最も確からしいパラメータまたはパラメータの組み合わせが推定される。

円筒モデルのすべてのパラメータを計算により推定してもよいが、特に限定されるものではない。例えば、投影対象１１の円筒の大きさ（半径）が既知である場合や、軸の方向や位置が既知とみなせる場合などは、１または複数のパラメータのユーザからの入力値や既定値を制約条件として、残りのパラメータを不定として算出することもできる。

事前に準備された形状モデル３５に対しフィッティングを行うことにより、投影対象１１の一部しか計測できない場合や、投影対象以外の物体が写り込んでしまった場合でも、また、三次元測定に含まれるノイズが多い場合でも、投影対象１１の三次元形状を好適に推定することができる。

モデルフィッティングの手法は、特に限定されるものではない。例えば、他の三次元の形状モデル（球体、立方体、平面、楕円曲面など、なめらかな表面を有する任意の三次元モデル）を用いてもよく、また、いくつかの異なる形状モデル３５を事前準備し、複数の形状モデル３５のうちのもっとも確からしいモデルを決定するようにしてもよい。

＜Ｓ７０ 座標変換＞
座標変換部２４は、歪み補正用パターン３２の特徴点の三次元座標を、推定したモデルパラメータを用いて形状モデル３５の表面の二次元の投影対象表面座標系に変換する。投影対象表面座標系は、円筒の軸方向の高さｈと、軸に垂直な基準軸を基準とする角度θで座標を表す。

歪み補正用パターン３２の特徴点の三次元座標を、二次元の投影対象表面座標系に変換することで、マルチプロジェクションにおいて投影対象１１の表面への歪みの少ない投影が可能になる。

図１６は、形状モデル３５の表面の二次元の投影対象表面座標系への三次元座標の変換を説明する図の一例である。図示するように、円柱座標系を定義する。円筒の底面の任意の方向をｘ軸、ｘ軸と直交する方向をｙ軸、ｘ軸とｙ軸の交点に垂直な方向をｚ軸として、ｚ軸方向をｈ、円筒表面からｚ軸への垂線がｘ軸となす角をθとする。

図１６の記号の意味は以下のとおりである。
ベクトルｓi：特徴点の座標ベクトル（円柱座標系の原点Ｏと三次元座標を結ぶベクトル。ｉは三次元座標の識別番号）
ベクトルｚ_M：ｚ軸方向の単位ベクトル
ベクトルｘ_M：ｘ軸方向の単位ベクトル
ベクトルｙ_M：ｙ軸方向の単位ベクトル
これらから、形状モデル３５の表面上の三次元座標（x, y, z）は次式により円柱座標（h, θ）に変換することができる。

ただし、本手法は円筒形状に限定させるものではなく、角柱や角錐など対象物側面の座標が柱座標（h, θ）により一意に決定できる形状であれば適用可能である。

上式（５）からｈは特徴点のｚ座標と等しい。なお、式（６）の分母は正規化のためにｚ軸から特徴点までの距離でｚ軸と特徴点を結ぶベクトルを割っている。円柱座標（h, θ）が算出できれば、ｚ軸から√（ｘ^２＋ｙ^２）の距離に特徴点の三次元座標を配置できる。

ところで、図１６のように形状モデル３５の表面の二次元の投影対象表面座標系へ三次元座標を変換した場合でも、三次元座標が形状モデル３５の表面に変換されるとは限らない。これは、三次元座標に誤差があるため実際には形状モデル３５の表面から、三次元座標が浮いている又は内側に存在している場合があるためである。

そこで、図１７に示すように、三次元座標を形状モデル３５の表面に射影することが好ましい。図１７は、三次元座標の形状モデル３５の表面への射影を実現する２つの方法の模式図である。

図１７（ａ）は、形状モデル３５の表面の最も近い点（法線方向に）三次元座標を移動することで射影している。この方法は、式（５）（６）を変更することなく使用できるため、実装が簡単であるという利点がある。これは、式（５）（６）で特徴点の柱座標（h, θ）が得られるが、θは正規化して求められているので（ｘ、ｙの絶対値が含まれていない）、三次元座標を形状モデル３５の表面の二次元の投影対象表面座標系へ変換する際は、半径ｒの位置に変換すればよいためである。

これに対し、図１７（ｂ）では、三次元座標の奥行き方向（距離方向）の誤差を考慮して、カメラ方向に特徴点の座標を補正することで射影する。射影のため、式（５）（６）による形状モデル３５の表面の二次元の投影対象表面座標系への変換の前に、形状モデル３５の表面に射影されるように三次元座標を変更しておく。

この射影のために、以下の連立方程式を解く。図１７（ｃ）は連立方程式のベクトルの参考図である。

式（７）（８）において記号は以下の意味である。
ベクトルｓi：円筒表面に射影された特徴点の座標ベクトル（円柱座標系の原点Ｏと円筒表面の三次元座標を結ぶベクトル）
ベクトルｓｉ´：特徴点の座標ベクトル（円柱座標系の原点Ｏと三次元座標を結ぶベクトル）
ベクトルＶcam：カメラ１の座標ベクトル（円柱座標系の原点Ｏとカメラ１を結ぶベクトル）
ベクトルｚ_M：ｚ軸方向の単位ベクトル
ベクトルｘ_M：ｘ軸方向の単位ベクトル
ベクトルｙ_M：ｙ軸方向の単位ベクトル
ベクトル「ｓｉ´−Ｖcam」：カメラ１と三次元座標を結ぶベクトル
ベクトル「ｓｉ´−ｓｉ」：円筒表面に射影された三次元座標と、射影前の三次元座標とを結ぶベクトル
ｔ：ベクトル「ｓｉ´−Ｖcam」の縮尺率（スカラー）
ここで、未知であるベクトルｓi、スカラーｔがあり、それ以外は既知であり、方程式が２つあるので、連立方程式を解くことができる。式（７）によりベクトルｓｉ´がベクトルｓiに変更されている。

ベクトルｓi、スカラーｔを求めた後は、式（５）（６）により特徴点の柱座標（h, θ）を求めることで、三次元座標の奥行き方向（距離方向）の誤差を低減できる。

図示するようにスカラーｔはカメラ１と特徴点の距離の縮尺率となっている。よって、カメラ１との距離方向に特徴点の座標を補正する射影を行うことができる。これにより、カメラの奥行き方向の誤差が形状モデル表面の二次元の投影対象表面座標の誤差になることを避けることができる。

＜Ｓ８０ 歪み補正パラメータの算出＞
以上の処理で、歪み補正用パターン３２が形状モデル３５の表面の二次元の投影対象表面座標系で表された。しかし、歪み補正用パターン３２は円筒の表面に近距離から投影されているので、図１に示したように歪んでいる。このため、歪み補正パラメータ算出部２５は、形状モデル３５の表面の二次元の投影対象表面座標系で表された歪み補正用パターン３２の特徴点（二次元画像）と、プロジェクター画像とを比較して、射影変換行列Ｈを算出する。

図１８は、二次元画像４２とプロジェクター画像４１における対応点を説明する図の一例である。プロジェクター画像４１は投影前の画像データなので円が均一に分布しているのに対し（均一である必要はないが）、二次元画像４２は投影面が円筒形状であることなどに起因して、円の位置が歪んでいる。

歪み補正パラメータ算出部２５は、二次元画像４２の範囲内の最大の矩形領域を切り出す。そして、ステップＳ５０で三次元座標の位置合わせのために対応点を抽出した場合と同様に、特徴点を検出する。円パターンの場合、例えば連続した黒画素の重心を特徴点として検出する。

歪み補正パラメータ算出部２５は、二次元画像４２とプロジェクター画像４１からそれぞれ検出された円に、例えば左上などから順にインデックスを付与する。矩形範囲内の円のうち、同じインデックスが付与された円同士が対応する対応点の組となる。なお、特徴点の対応付けは、人間が二次元画像４２とプロジェクター画像４１の円を１つずつ組にして対応させてもよい。

図１９（ａ）は、歪み補正パラメータの算出処理を説明する図の一例である。二次元画像は図１９（ａ）に示すように、円筒の形状モデル３５に対応して歪んでいる。歪み補正パラメータ算出部２５は、二次元画像４２が投影時に補正後の投影画像４４となるように、プロジェクター画像を補正する歪み補正のための歪み補正パラメータ（射影変換行列Ｈ）を算出する。

図１９（ｂ）に示すように、画像変形部２６は、算出した射影変換行列Ｈを用いて、プロジェクター画像４１を補正して、補正画像４３を生成する。

図１９（ｃ）に示すように、プロジェクター１３が射影変換行列Ｈで補正された補正画像４３を投影することで、歪みの低減された補正後の投影画像４４を投影できる。すなわち、プロジェクターは投影対象１１の形状に対応する変形を相殺する補正画像４３を投影する。

＜＜射影変換行列Ｈの算出＞＞
図２０は、射影変換行列Ｈの算出を説明するための図の一例である。なお、二次元画像４２は円柱座標系で表されているので、プロジェクター画像４１と同じｘｙ座標系に変換しておくことで処理が容易になる。また、プロジェクター画像４１の画素数が、二次元画像４２の画素数と一致しない場合は、二次元画像４２の画素数をプロジェクター画像４１の画素数に一致させ、両者を同じサイズに整えておく。

歪み補正パラメータ算出部２５は、図１８で取得した特徴点の対応に基づき、領域毎に対応付けを行う。この領域４５は、４つの円で囲まれる四角形とする。プロジェクター画像４１の１領域と二次元画像４２の１領域の対応関係は、射影変換で記述される。プロジェクター画像４１の点をｍ_ｐ＝（ｘ_p,ｙ_p）、二次元画像の点をｍ_ｃ（ｘ_c,ｙ_c）とすると射影変換により点ｍ_ｐはｍ_ｃを用いて以下のように表すことができる。

ｈ１〜ｈ８は未知の射影変換パラメータである。また、ｍ_ｐとｍ_ｃは同次座標を用いて次のように表現できる。

Ｈが射影変換行列である。

また、プロジェクター画像の４つの円と二次元画像の４つの円同士の対応から以下の拘束が得られる。

この式により、８つの未知パラメータに対して２つの拘束が得られる。したがって、１つの領域４５の頂点である４つの円の座標から射影変換行列Ｈの全ての要素を決定できる。 ＜Ｓ９０ 画像補正＞
画像変形部２６は、歪み補正パラメータを用いて二次元画像を変形する。
図２１は、プロジェクター画像４１の補正について説明する図の一例である。プロジェクター画像４１の補正は、プロジェクター１３が投影するプロジェクター画像を予め、歪みとは逆方向に変形させることで行う。

まず、画像変形部２６は、二次元画像内で長方形の投影領域を決める。投影領域は、二次元画像の最大内接長方形とする。ただし、プロジェクター１３のアスペクト比と同じとすることが好ましいので、実際には最大内接長方形よりも小さくなる。したがって、補正画像が投影された投影画像は、補正前の投影画像よりも小さくなる。

この投影領域にはプロジェクター画像を縮小したものが表示される。したがって、投影領域の点Ａｃはプロジェクター画像の点Ａｐの画素を参照する。以下では、投影領域の点Ａｃを補正画像の点Ａに対応づける手順を説明する。
（１）まず、投影領域の任意の点Ａｃを取り出す。射影変換により点Ａｃの座標（ｘｃ、ｙｃ）をプロジェクター画像の点Ａｐに変換することができたので、射影変換とは逆の変換で、点Ａｃを補正画像４３の点Ａに対応づけることができる。つまり、点Ａｃは点Ａｐの画素値を参照して、補正画像４３の点Ａに対応づけられる。なお、点Ａｃの座標（ｘｃ、ｙｃ）は、投影領域ではなくプロジェクター１３の投影範囲の左上を原点（０，０）とした座標系の座標である。
（２）次に、点Ａｃが、投影領域内ではどの位置に相当するかを算出する。投影領域の左上を原点（ｘ０，ｙ０）とする。この原点に対する点Ａｃの座標を（ｘｃ１，ｙｃ１）とする。点Ａｃに対応する元の画像（プロジェクター画像）の点Ａｐの座標を（ｘｐ、ｙｐ）とする。投影領域はプロジェクター画像４１とアスペクト比が一致し、大きさだけが異なる。よって、プロジェクター画像４１の横方向の長さＷｐと投影された補正画像４３の投影領域の横方向の長さＷｃから、点Ａｐの座標は以下のように表すことができる。
（ｘｐ、ｙｐ）＝（Ｗｐ／Ｗｃ）×（ｘｃ１，ｙｃ１） …（a）
（３）投影された補正画像における投影領域の原点は（ｘ０，ｙ０）なので、点Ａｃの座標値は以下のように表すことができる。
（ｘｃ、ｙｃ）＝（ｘ０，ｙ０）＋（ｘｃ１，ｙｃ１） …（ｂ）
（４） 点Ａｃの座標（ｘｃ、ｙｃ）は求められているので、式（ｂ）により（ｘｃ１，ｙｃ１）が求められ、式（ａ）により点Ａｐの座標（ｘｐ、ｙｐ）を求めることができる。
（５）この座標Ａｐ（ｘｐ、ｙｐ）の画素値を、補正画像の点Ａ（ｘｐ´、ｙｐ´）の画素値とする。なお、点Ａに対応する点Ａｐの座標は整数とは限らないので、その場合は点Ａｐの周囲の画素の画素値から補間して求める。

以上の処理を投影領域の全ての点について行い対応関係をテーブルなどにまとめておく。これが歪み補正パラメータとなる。画像変形部２６は、補正画像４３の各画素の画素値をテーブル（歪み補正パラメータ）の対応関係に従って、プロジェクター画像４１の対応する画素から取得し補正画像４３を作成する。

なお、補正情報の算出については、「投影画像の幾何補正に関する実験的検討」、計測自動制御学会東北支部第２３５回研究集会（2007.5.18）に記載がある。

＜＜エッジブレンディング＞＞
また、歪み補正パラメータ算出部２５は、プロジェクター画像４１に対しエッジブレンディングを行う。エッジブレンディングとは、映像信号にデジタル的にグラディエーションをかけ、相互に重なるオーバーラップ領域を均一の輝度する技術である。

図２２はエッジブレンディングを模式的に説明する図の一例である。プロジェクター画像４１の重複領域３７は予め定められている。歪み補正パラメータ算出部２５は、二次元画像から重複領域３７の輝度を算出する。重複領域３７が他の領域よりも輝度が高い場合、プロジェクター画像４１の重複領域３７の画素値を、他の領域の画素値と均一の輝度になるように補正する。

＜適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

＜＜円筒形状物の表面情報の取得＞＞
本実施形態のステップＳ７０では歪み補正用パターン３２の特徴点の三次元座標を円筒型の表面の二次元の投影対象表面座標に変換した。また、位置合わせで説明したように本実施形態では特徴点だけでなく、ポイントクラウド３３を位置合わせすることができる。したがって、円筒型の投影対象１１の十分に密な画像データを取得して位置合わせすることができる。

図２３は、円筒型の投影対象１１が有する表面情報の取得を模式的に示す図の一例である。例えば缶のラベルの意匠の全体を撮像したい場合があるが、缶は円筒形であるため、全体の意匠を撮像するためには何回かに分けて撮像する必要がある。従来は、複数の画像を手作業で位置合わせして缶の全体の意匠を取得するなど作業が容易でなかった。

これに対し、本実施形態では、缶を多方向から撮像することで表面の意匠だけでなく、三次元座標が得られ、画像データの各画素を二次元の投影対象表面座標に変換できる。円筒表面の二次元画像はｘｙ平面に展開できる。したがって、缶などの表面を展開した状態の画像データ(展開図)を、撮像場所を変えて撮像するだけで生成することができる。

また、缶のラベルに限られず、円筒状などの立体物をカメラの場所を変えて撮像した場合、展開した状態の画像データを容易に得られるので、構造物の表面の分析などに利用することができる。

＜＜円筒以外の形状モデルについて＞＞
本実施形態では、円筒の形状モデル３５を例にして説明したが、円筒以外の角柱、角錐、円錐など展開が可能な形状モデル３５に近似可能な投影対象１１に対して広く適用可能である。また、フィテッィングのためにはモデルで定義できる（数式で定義できる）形状であることが好ましい。

図２４（ａ）は三角柱と展開図の一例を示す。角柱の場合、投影面は平坦になるので、平面にフィッティングすればよい。また、フィッティングにより二次元の投影対象表面座標系に変換されれば、図示するように展開することができる。

図２４（ｂ）は円錐と展開図の一例を示す。円錐の場合、円錐の軸方向の高さに応じて半径ｒが決まる。この高さと半径の関係を予め与えるなどして円錐の形状モデル３５にフィッティングすることで、投影画像の三次元座標を二次元の投影対象表面座標系に変換できる。したがって、図示するように展開できる。

図２４（ｃ）は球と展開図の一例を示す。球の場合、円筒と同様に三次元の形状モデル３５へのフィティングが可能である。球の展開方法は、図示するように上部と下部が徐々に細くなる複数の短冊状に展開する方法が知られている。また、球を歪みなく二次元に展開することは困難なので、球の赤道付近だけを展開してもよいし、画像が投影されている範囲だけを展開してもよい。

１１ 投影対象
１２ カメラ
１３ プロジェクター
２１ 投影画像三次元情報取得部
２２ 位置合わせ部
２３ モデル算出部
２４ 座標変換部
２５ 歪み補正パラメータ算出部
２６ 画像変形部
２７ 画像データ記憶部
２８ 歪み補正パラメータ記憶部
２９ 変換情報作成部
５０ 情報処理装置
２００ 画像処理システム

特開２００４‐２８７４３３号公報

Claims (10)

1. 投影される画像の投影面での歪みを低減する画像処理システムであって、
   複数の異なる場所から取得された、前記投影面に投影された投影画像の三次元情報を取得する三次元情報取得手段と、
   三次元情報に形状モデルを当てはめて、前記投影面の形状モデルを決定する形状モデル決定手段と、
   三次元情報を前記形状モデルの表面の二次元座標に変換すると共に、三次元情報を前記形状モデルの表面に射影する座標変換手段と、
   前記二次元座標に変換された前記投影画像と、前記投影画像として投影された元画像とを比較して歪み補正パラメータを作成する歪み補正パラメータ作成手段と、を有し、
   前記座標変換手段は、三次元情報を前記形状モデルの表面の二次元座標に変換する際、三次元情報を前記三次元情報取得手段との距離方向に移動して射影する、
   ことを特徴とする画像処理システム。
2. 前記座標変換手段は、三次元情報を前記形状モデルの表面の二次元座標に変換する際、三次元情報を前記形状モデルの面の最も近い位置に射影する、
   ことを特徴とする請求項１記載の画像処理システム。
3. 異なる前記場所から重複して撮像される投影画像の三次元情報を比較して、三次元情報の座標の変換情報を作成する変換情報作成手段と、
   前記変換情報を用いて、三次元情報のそれぞれを共通の座標系に変換する三次元情報変換手段を有し、
   前記形状モデル決定手段は、共通の座標系の三次元情報に形状モデルを当てはめて、前記投影面の形状モデルを決定する、
   ことを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記三次元情報取得手段は、前記投影面に投影された投影画像として位置合わせ用パターン画像の三次元情報を取得し、
   前記変換情報作成手段は、異なる前記場所から重複して撮像された前記位置合わせ用パターン画像の三次元情報を比較して、２つの前記場所の三次元情報を共通の座標系で表す変換情報を決定し、
   前記三次元情報変換手段は、複数の前記場所で取得された、前記投影面に投影された任意の投影画像の三次元情報を、前記変換情報を用いて共通の座標系に変換する、ことを特徴とする請求項３に記載の画像処理システム。
5. 前記変換情報作成手段は、第ｎの場所から撮像された前記投影画像の三次元情報と、前記第ｎの場所と隣接した第ｎ＋１の場所から重複して撮像された前記投影画像の三次元情報を比較して、前記第ｎ＋１の場所の前記投影画像の三次元情報を前記第ｎの場所の前記投影画像の三次元情報と共通の座標系に変換する前記第ｎ＋１の場所用の変換情報を決定し、
   前記第ｎ＋１の前記場所が前記場所の数Ｎと一致するまで、前記変換情報を決定することを繰り返し、
   前記三次元情報変換手段は、前記第ｎ＋１の場所用の変換情報を用いて、Ｎと等しい前記第ｎ＋１番目の前記場所の三次元情報を第ｎ番目の前記場所の三次元情報の座標系に変換する処理を、２番目の前記場所の三次元情報を１番目の前記場所の三次元情報の座標系に変換するまで繰り返す、ことを特徴とする請求項４に記載の画像処理システム。
6. 前記三次元情報取得手段は、Ｎ個の前記場所から、前記投影面に投影された前記投影画像として歪み補正用パターン画像の三次元情報を取得し、
   前記三次元情報変換手段は、第ｎ＋１の場所用の変換情報を用いて、ｎ＋１番目の前記場所の前記歪み補正用パターン画像の三次元情報をｎ番目の前記場所の三次元情報の座標系に変換する処理を、２番目の前記場所の三次元情報を１番目の前記場所の三次元情報の座標系に変換するまで繰り返す、ことを特徴とする請求項５に記載の画像処理システム。
7. 前記座標変換手段は、共通の前記座標系で表されたＮ個の歪み補正用パターン画像の三次元情報を前記二次元座標に変換し、
   前記歪み補正パラメータ作成手段は、前記二次元座標に変換されたＮ個の歪み補正用パターン画像と、前記投影画像として投影されたＮ個分の元の歪み補正用パターン画像とを比較して歪み補正パラメータを作成する、
   ことを特徴とする請求項６に記載の画像処理システム。
8. 前記形状モデルは少なくとも三次元情報が取得される範囲で平面への展開が可能である、ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理システム。
9. 投影される画像の投影面での歪みを低減する画像処理装置であって、
   複数の異なる場所から取得された、前記投影面に投影された投影画像の三次元情報を取得する三次元情報取得手段と、
   三次元情報に形状モデルを当てはめて、前記投影面の形状モデルを決定する形状モデル決定手段と、
   三次元情報を前記形状モデルの表面の二次元座標に変換すると共に、三次元情報を前記形状モデルの表面に射影する座標変換手段と、
   前記二次元座標に変換された前記投影画像と、前記投影画像として投影された元画像とを比較して歪み補正パラメータを作成する歪み補正パラメータ作成手段と、を有し、
   前記座標変換手段は、三次元情報を前記形状モデルの表面の二次元座標に変換する際、三次元情報を前記三次元情報取得手段との距離方向に移動して射影する、ことを特徴とする画像処理装置。
10. コンピュータに、
    複数の異なる場所から投影面に投影された投影画像の三次元情報を三次元情報取得手段により取得する三次元情報取得ステップと、
    三次元情報に形状モデルを当てはめて、前記投影面の形状モデルを決定する形状モデル決定ステップと、
    三次元情報を前記形状モデルの表面の二次元座標に変換すると共に、三次元情報を前記形状モデルの表面に射影する座標変換ステップと、
    前記二次元座標に変換された前記投影画像と、前記投影画像として投影された元画像とを比較して歪み補正パラメータを作成する歪み補正パラメータ作成ステップと、を実行させるプログラムであって、
    前記座標変換ステップは、三次元情報を前記形状モデルの表面の二次元座標に変換する際、三次元情報を前記三次元情報取得手段との距離方向に移動して射影する、ことを特徴とするプログラム。

Images