JP4108609B2

JP4108609B2 - カメラ付きプロジェクタをキャリブレーションする方法

Info

Publication number: JP4108609B2
Application number: JP2003551986A
Authority: JP
Inventors: ラスカー、ラメッシュ; ベアズリィー、ポール
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2001-12-10
Filing date: 2002-12-04
Publication date: 2008-06-25
Anticipated expiration: 2022-12-04
Also published as: CN1221129C; CN1491515A; US6527395B1; JP2005512466A; WO2003051045A1; EP1452016A1

Description

【０００１】
技術分野
この発明は、互いに相対的な固定された物理的関係にあるカメラ付きプロジェクタをキャリブレーションする方法に関する。
【０００２】
背景技術
現在、ポータブルデジタルプロジェクタが普及している。これらのプロジェクタは、ＰＣまたはＶＣＲに接続された状態で、通常、テーブルの上に置かれ、スライドプレゼンテーションまたはビデオを見せるために、表示面に向けられる。これらのプロジェクタの多くは、透過型ＬＣＤを使用し、多くの場合、１つのメインレンズのみを有する。これらのプロジェクタは、画像を１つずつ、つまり画像シーケンスとして画像を表示することができる。
【０００３】
これらのプロジェクタの多くは、プロジェクタが平らな支持面の上に水平に置かれると、平らで歪のない画像が表示面に投影されるように設計されているので、プロジェクタの光軸は、通常、垂直の投影面に対して垂直に調整されている。上記前提のいずれかに反すると、投影面上に結果として生じる画像は、長方形でなくなる可能性があり、良くて台形、最悪の場合は任意の四辺形になる。この問題は、キーストーン（keystoning）と呼ばれる。
【０００４】
従来技術のプロジェクタについて、キーストーンを補正する唯一の方法は、長方形に近い画像が表示されるまで、プロジェクタを多方面に移動させたり、傾けたり、回転させたりすることにより、プロジェクタの物理的な位置を調整する退屈な作業を行うことである。場合によっては、プロジェクタの位置を物理的に調整することが不可能なこともある。例えば、プロジェクタは、表示面のかなり上または下にする必要がある場合もある。いくつかの従来技術のプロジェクタは、歪んだ画像を光学的に補正するか、または、ユーザがプロジェクタの位置データを提供することによって歪んだ画像を補正する。歪んだ画像を自動的に補正するために、プロジェクタをキャリブレーションする必要がある。しかしながら、プロジェクタは、コンピュータビジョンまたは投影幾何学の分野において、ほとんど注目を受けてこなかった。
【０００５】
カメラについてのキャリブレーションプロセスは、よく知られている。通常、カメラの光学系は、ピンホールカメラのモデルで表現される。しかしながら、プロジェクタとカメラとの間には、２つの主な相違がある。第１の最も明らかなものとして、プロジェクタは、出力のみの装置であり、カメラについて行われるようなキャリブレーションパターンを見ることができない。O. Faugeras著「Three-Dimensional Computer Vision: A Geometric Viewpoint」, MIT Press, Cambridge, Massachusetts, 1993を参照すると、６つまたはそれより多い２Ｄのプロジェクタのピクセルと既知の対象物の対応する３Ｄの点との対応を与えられたプロジェクタをキャリブレーションすることは容易である。その技法は、３Ｄの点を照射するそれらプロジェクタのピクセルを選択するために退屈な手動プロセスを必要とする。
【０００６】
この半自動式の方法または他の任意の半自動式の方法を自動化するには、カメラといった入力装置を使用しなければならない。プロジェクタとカメラとの第２の主な相違は、主点が画像中心に近接しているという、簡易化したカメラのモデルについての伝統的な仮定が、プロジェクタには有効でないことである。ほとんどのプロジェクタは、軸外投影を使用する。プロジェクタがテーブルの上に設置されるか、または、天井に取り付けられると、それぞれ、画像は、レンズの上半分または下半分を通して投影される。したがって、主点は垂直方向に偏移する。
【０００７】
２つまたはそれより多いカメラをプロジェクタに取り付けて、投影されたキャリブレーション画像およびステレオキャリブレーション技法を使用することが可能である。しかしながら、複数のカメラは、コスト、処理資源、および回線容量を増加させる。さらに、複数のカメラをプロジェクタに取り付けることにより、既存のプロジェクタの設計を広範囲に変更する必要がある。
【０００８】
したがって、デジタルプロジェクタをキャリブレーションする簡易化したシステムおよび方法に対する要求がある。
【０００９】
発明の開示
この発明は、互いに相対的な固定された物理的関係にあるカメラ付きプロジェクタをキャリブレーションする方法を提供する。表示面に関する前記プロジェクタおよび前記カメラの第１および第２の姿勢についての出力画像が、表示面に投影される。それぞれの姿勢について、入力画像が取得される。
【００１０】
それぞれの姿勢について、プロジェクタの透視投影行列およびカメラの透視投影行列が、それぞれの入力画像から決められる。それぞれの姿勢について、上記プロジェクタの透視投影行列および前記カメラの透視投影行列からユークリッド形式への変換が決められ、前記変換からプロジェクタの固有パラメータが導出される。
【００１１】
この発明を実施する最良の形態
キャリブレーションシステム
図１に示すように、我々の発明は、カメラ１１０に関して固定された位置にあるプロジェクタ１００をキャリブレーションする方法を提供する。プロジェクタは、デジタル出力機構を使用することが好ましい。プロジェクタ１００は、表示面１０４に出力画像１０３を表示することができる。通常、プロジェクタ１００は、映写室のテーブル１２０の上に置かれるか、または、天井に取り付けられる。したがって、プロジェクタ１００は、必ずしも、表示面に対して完全に垂直に置かれるとは限らず、出力画像１０３は、歪んで見える。これは、通常、「キーストーン」と呼ばれる。
【００１２】
したがって、カメラ１１０は、投影された出力画像の入力画像を取得し、プロジェクタに対するキャリブレーションパラメータおよび補正パラメータを決める。そして、これらのパラメータは、出力画像１０３を「歪ませない（unwarp）」ために使用することができ、これにより、出力画像１０３は、長方形の形状１０５に正確に見えることとなる。問題は、プロジェクタが出力装置のみであり、したがって、その位置が歪みにどのように影響するかを決定する手段を有しないことである。
【００１３】
我々の方法は、プロジェクタ１００およびカメラ１１０の双方、ならびにそれらの相対的な姿勢に固有のパラメータを求める。そして、ポストキャリブレーションレンダリングプロセスが、垂直座標を提供する、重力に基づく傾斜検出器１３０と共にこの情報を利用することができ、投影された画像１０３の歪みをなくす。
【００１４】
キャリブレーション方法
図２に示すように、まず、我々は、表示面に対するプロジェクタ１００およびカメラ１１０の２つの異なる姿勢について、キャリブレーションパターン１４０を表示面１０４に投影する（２１０）。次に、それぞれの姿勢について、この発明者らは、投影されたパターンの入力画像を取得する（２２０）。我々は、Zhang, Z.著「Flexible camera calibration by viewing a plane from unknown orientations」, Proc. 7th Int. Conference on Computer Vision, pp. 666-673, 1999、ならびにSturm, P.およびMaybank, S.著「On plane-based camera calibration: A general algorithm, singularities, application」, Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 432-437, June 1999によって記載されたものと同様のプロセスで、キャリブレーションパターンの複数のビューを使用して、カメラ１１０の固有パラメータを取得する（２３０）。
【００１５】
キャリブレーションパターン１４０は、プロジェクタの出力画像とカメラの入力画像との少なくとも４つまたはそれより多い点の対応もしくは線の対応を有する。これらの対応は、それぞれの姿勢の１つずつについて、平面のための２つの別個のホモグラフィーを求めるために使用される。
【００１６】
投影再構成
２つのホモグラフィーを使用して、次のような投影変換に従ってシーンを構成する。プロジェクタ１００の出力キャリブレーション画像およびカメラ１１０により取得されたキャリブレーションパターン１４０の入力画像が与えられると、当該出力画像と入力画像との対応が、３×３ホモグラフィー行列Ｈによって関係付けられる。ｍ_１およびｍ_２が平面Πに属する３Ｄの点Ｍの射影であるとすると、
【００１７】
【数１】

【００１８】
ここで、ｍ_１およびｍ_２は、同次座標であり、〜＝は、拡大縮小して等しいことを意味する。
【００１９】
２つの別個の平面（姿勢）および、したがって２つの別個のホモグラフィーが与えられると、出力画像および入力画像におけるエピポールｅ_１およびｅ_２が、一般化された固有値方程式を使用して求められる。
【００２０】
【数２】

【００２１】
ここで、ｋは、未知のスカラーである。
【００２２】
次に、シーンの投影再構成について、プロジェクタおよびカメラの透視投影行列が、以下のように求められる（２４０）。
【００２３】
【数３】

【００２４】
ここで、Ｈは、ホモグラフィーの１つである。我々のシステムでは、Ｐ_１ｐは、カメラ１１０についての投影行列を定義し、Ｐ_２ｐは、プロジェクタ１００についての投影行列を定義する。
【００２５】
ユークリッド再構成
次に、投影行列が、アップグレードされて、ユークリッド再構成を与える。目標は、以下の式となるような４×４変換行列Ｇ_ｐを求めることである（２５０、２６０）。
【００２６】
【数４】

【００２７】
ここで、Ａ_１は、既知のカメラの固有値を表す３×３行列であり、Ａ_２は、未知のプロジェクタの固有値を表す３×３行列であり、回転Ｒおよび変換ｔは、未知の比率で拡大縮小する、プロジェクタ１００とカメラ１１０との相対的な位置関係を定義する。
【００２８】
Ａ１は、既知であり、因数に分解することができ、そして、目標は、以下の式となるような行列Ｇを決めることである（２６０）。
【００２９】
【数５】

【００３０】
Ａ_２の最も一般的な形式は、半径歪みを無視して、焦点距離、アスペクト比、主点およびスキュー角の５つの固有パラメータを含む。プロジェクタが単一のアスペクト比およびゼロスキューを有すると仮定することは妥当である。
【００３１】
我々の方法は、焦点距離Ｒおよび画像中心Ｃからの主点の垂直方向オフセットｄの２つの固有パラメータを含む簡単化されたＡ_２を使用する。図３ａに示すように、主点が画像の中心に近接しているとの仮定は、従来技術のカメラのキャリブレーション技法にとって一般的であるが、プロジェクタには当てはまらず、図３ｂを参照すると、プロジェクタでは、主点は、通例、画像中心Ｃからかなりの垂直方向オフセットｄを有する。
【００３２】
したがって、Ａ_２は、以下の形式を有する。
【００３３】
【数６】

【００３４】
ここで、ｆは、焦点であり、ｄは、主点の垂直方向オフセットである。
【００３５】
方程式（１）から、Ｇは、次の形式を有する。
【００３６】
【数７】

【００３７】
ここで、ベクトルｎ＝［ｎ１ｎ２ｎ３］_Ｔは、投影座標フレームの無限遠における平面を定義する。目標は、ｎおよび、したがってＧを求めることである。Ｇ’が、Ｇの最初の３列を示すものとすると、Ｐ_２ｐＧ’〜＝Ａ_２Ｒという結論が導ける。したがって、
【００３８】
【数８】

【００３９】
これにより、以下の式が導かれる。
【００４０】
【数９】

【００４１】
ここで、
【００４２】
【数１０】

【００４３】
方程式（２）は、３つの未知のｎに対する３つの制約を生成するために使用される。制約の２つ（Ｋ_２（１，２）＝０およびＫ_２（１，３）＝０）は、ｎ１、ｎ２、ｎ３、およびｎ^Ｔｎの一次式である。第３の制約（Ｋ_２（２，２）−Ｋ_２（１，１）−Ｋ_２（２，３）_２＝０）は、二次式である。したがって、ｎ_１、ｎ_２、およびｎ_３をｎ^Ｔｎに置き換えて表現することができる。
【００４４】
二次式の制約（ｎ１^２＋ｎ２^２＋ｎ３^２＝ｎ^Ｔｎ）を使用することにより、３つの未知のｎについての４つの解が生成される。それぞれの解は、方程式（２）と共に使用されて、固有パラメータｆおよびｄを求め、方程式（１）は、Ｒおよびｔについて使用される（２７０）。
【００４５】
物理的に不可能な解、例えば、観測されるシーンの点がカメラの後ろにある解は除外され、真のＡ_２、Ｒおよびｔについての１つの解が与えられる。
【００４６】
この発明は、具体的な用語および例を用いて説明されている。さまざまな他の適応形態および変更形態が、この発明の精神および範囲内で可能であることが理解されるべきである。したがって、このようなすべての変化および変更をこの発明の真の精神および範囲内になるようにカバーすることが併記の特許請求の範囲の目的である。
【図面の簡単な説明】
【図１】この発明に従って単一のカメラでプロジェクタをキャリブレーションするシステムのブロック図である。
【図２】この発明に従って単一のカメラでプロジェクタをキャリブレーションする方法のフローチャートである。
【図３ａ】主点からの垂直オフセットの図である。
【図３ｂ】主点からの垂直オフセットの図である。

Claims

互いに相対的な固定された物理的関係にあるカメラ付きプロジェクタをキャリブレーションする方法であって、
表示面に対する前記プロジェクタおよび前記カメラの２つの異なる第１および第２の姿勢について、前記プロジェクタからの出力画像を表示面に投影することと、
それぞれの姿勢について、前記カメラにより前記表示面に投影された出力画像の入力画像を取得することと、
それぞれの姿勢について、プロジェクタの透視投影行列およびカメラの透視投影行列をそれぞれの入力画像から決めることと、
それぞれの姿勢について、前記プロジェクタの透視投影行列および前記カメラの透視投影行列からユークリッド形式への変換を決めることと、
前記変換から前記プロジェクタの固有パラメータを導出することと
を備える方法。