JP2006109088A - マルチプロジェクションシステムにおける幾何補正方法 - Google Patents
マルチプロジェクションシステムにおける幾何補正方法 Download PDFInfo
- Publication number
- JP2006109088A JP2006109088A JP2004292870A JP2004292870A JP2006109088A JP 2006109088 A JP2006109088 A JP 2006109088A JP 2004292870 A JP2004292870 A JP 2004292870A JP 2004292870 A JP2004292870 A JP 2004292870A JP 2006109088 A JP2006109088 A JP 2006109088A
- Authority
- JP
- Japan
- Prior art keywords
- image
- test pattern
- feature point
- captured image
- geometric correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できる幾何補正方法を提供する。
【解決手段】各プロジェクタから複数個の特徴点からなるプレパターン画像を投射して、それを撮像して得たプレパターン撮像画像から特徴点の位置を検出し、更に、各プロジェクタからプレパターン画像よりも多い特徴点からなるテストパターン画像を投射して、そのテストパターン撮像画像を得、このテストパターン撮像画像中の特徴点の位置をプレパターン撮像画像中の特徴点の位置に基づいて検出し、その検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて各プロジェクタによる画像の位置合わせを行う画像補正データを算出する。
【選択図】図12
【解決手段】各プロジェクタから複数個の特徴点からなるプレパターン画像を投射して、それを撮像して得たプレパターン撮像画像から特徴点の位置を検出し、更に、各プロジェクタからプレパターン画像よりも多い特徴点からなるテストパターン画像を投射して、そのテストパターン撮像画像を得、このテストパターン撮像画像中の特徴点の位置をプレパターン撮像画像中の特徴点の位置に基づいて検出し、その検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて各プロジェクタによる画像の位置合わせを行う画像補正データを算出する。
【選択図】図12
Description
本発明は、複数台のプロジェクタを用いてスクリーン上に画像を重ねて投射するマルチプロジェクションシステムにおいて、各プロジェクタ間の位置ずれや歪みをカメラにより検出して自動的に補正するマルチプロジェクションシステムにおける幾何補正方法に関するものである。
近年、博物館や展示会等におけるショールーム用ディスプレイ、シアター、或いは車や建築物、都市景観等のシミュレーションに用いるVRシステム等においては、大画面・高精細のディスプレイを構築するために、複数台のプロジェクタによりスクリーン上に画像を貼り合わせて表示するマルチプロジェクションシステムが広く適用されている。
このようなマルチプロジェクションシステムにおいては、個々のプロジェクタによる画像の位置ずれや色ずれを調整してスクリーン上にきれいに貼り合わせることが重要であり、その方法として、従来、プロジェクタの投射位置を算出して、各プロジェクタから投射された複数の映像をスクリーン上で一枚の映像にするための画像補正データを算出する方法が提案されている(例えば、特許文献1参照)。
特許文献1に開示の従来の画像補正データ算出方法では、プロジェクタからスクリーン上にテストパターン画像を表示し、そのテストパターン画像をデジタルカメラで撮像して、撮像した画像からプロジェクタの投射位置を算出している。すなわち、テストパターン撮像画像中の複数の特徴点をパターンマッチング等の手法を採用して検出し、その検出した特徴点の位置に基づいて投射位置のパラメータを算出して、プロジェクタの投射位置を補正させるための画像補正データを算出している。
しかし、かかる画像補正データ算出方法にあっては、スクリーン形状が複雑であったり、また、プロジェクタの配置が複雑で投射画像の向きが著しく回転していたりすると、撮像画像において検出された各特徴点が、元のテストパターン画像において複数ある特徴点のうちの一体どの特徴点に対応するか見分けがつかなくなってしまうことがある。
このような問題を回避する方法として、各特徴点を一つずつ表示して撮像することで、特徴点一個ごとを正確に検出したり、プロジェクタやカメラの配置およびスクリーン形状に応じて予め特徴点毎に大まかな検出範囲を設定しておき、各々の検出範囲に従って各特徴点を順番に対応つけて検出したりする方法が提案されている(例えば、特許文献2参照)。
特開平9−326981号公報
特開2003−219324号公報
しかしながら、特許文献2に開示の方法にあっては、特徴点を一点毎に単独で投射して撮像する場合には、撮像時間が膨大になり、また、検出範囲を予め設定する場合には、カメラの配置が予め設定された位置から少しでもずれると、再び検出範囲を設定し直す必要がある。このため、特に、スクリーン形状がドームやアーチ状の場合には、投射画像の複雑な歪みを正確に補正するために、テストパターン画像として特徴点を多数設ける必要があることから、特徴点数の増大による撮像時間の増大、若しくは検出範囲の再設定にかかる時間の増大がより深刻となり、メンテナンスの効率低下が懸念されている。
したがって、かかる事情に鑑みてなされた本発明の目的は、複雑な形状のスクリーンや、複雑に配置されたプロジェクタで構成されたマルチプロジェクションシステムにおいても、短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できるマルチプロジェクションシステムにおける幾何補正方法を提供することにある。
上記目的を達成する請求項1に係るマルチプロジェクションシステムにおける幾何補正方法の発明は、
複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするものである。
複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするものである。
請求項2に係る発明は、請求項1に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とするものである。
上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とするものである。
請求項3に係る発明は、請求項1または2に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された2次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された2次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
請求項4に係る発明は、請求項1または2に記載のマルチプロジェクションシステムにおける幾何補正方法において、
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された2次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された2次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とするものである。
本発明によれば、マルチプロジェクションシステムの位置合わせにおける初期設定である特徴点の検出範囲の設定を、ユーザによるある程度手軽な操作で設定することが可能となり、これにより複雑な形状のスクリーンを用いる場合でも、またプロジェクタや撮像手段の配置が頻繁に変わっても、簡単かつ短時間で正確に幾何補正することができ、マルチプロジェクションシステムにおけるメンテナンスの効率を大幅に向上することが可能となる。
以下、図面を参照しながら本発明の実施の形態について説明する。
図1〜図7は、本発明とともに開発したマルチプロジェクションシステムにおける幾何補正方法の参考例を示すものである。
このマルチプロジェクションシステムは、図1に全体構成を示すように、複数のプロジェクタ(ここでは、プロジェクタ1Aおよびプロジェクタ1B)、ドーム状のスクリーン2、デジタルカメラ3、パーソナルコンピュータ(PC)4、モニタ5、画像分割/幾何補正装置6を有しており、プロジェクタ1Aおよびプロジェクタ1Bによりスクリーン2へ画像の投射を行い、投射される画像を貼り合わせてスクリーン2上に一枚の大きな画像を表示するものである。
このようなマルチプロジェクションシステムにおいて、プロジェクタ1Aおよびプロジェクタ1Bから単に画像を投射しただけでは、投射された各々の画像は、個々のプロジェクタの色特性や投射位置のずれ、歪みにより、きれいに貼り合わされない。
そこで本参考例では、まず、プロジェクタ1Aおよびプロジェクタ1Bに、PC4から送信されたテストパターン画像信号を入力(画像分割/幾何補正は行わない)して、スクリーン2上に投射されたテストパターン画像をデジタルカメラ3により撮像してテストパターン撮像画像を取得する。この際、スクリーン2に投射するテストパターン画像としては、図2(a)に示すように、画面上に規則的に特徴点(マーカ)が並んだ画像とする。
デジタルカメラ3により取得されたテストパターン撮像画像は、PC4に送られ、各プロジェクタの位置合わせを行う幾何補正データを算出するために使用される。この際、テストパターン撮像画像は、PC4に付随したモニタ5により画像表示されて、制御者7に提示される。
次に、制御者7は、提示された画像を参照しながら、PC4によりテストパターン画像中の特徴点の概略位置を指定する。特徴点の概略位置が指定されると、PC4において、まず、指定された概略位置に基づいて、図2(b)に示すような各特徴点の検出範囲が設定され、その設定された検出範囲に基づいて正確な特徴点位置が検出される。その後、検出された特徴点位置に基づいて各プロジェクタの位置合わせを行うための幾何補正データが算出され、その算出された幾何補正データが画像分割/幾何補正装置6に送られる。
また、画像分割/幾何補正装置6では、別途PC4より送信されたコンテンツ画像の分割および幾何補正を上記幾何補正データに基づいて実行して、プロジェクタ1Aおよびプロジェクタ1Bへ出力する。これにより、スクリーン2上には、複数台(ここでは、2台)のプロジェクタ1A,1Bにより、つなぎ目のないきれいに貼りあわされた一枚のコンテンツ画像を表示することができる。
次に、図3を参照して、本参考例に係る幾何補正手段の構成について説明する。
本参考例における幾何補正手段は、テストパターン画像作成手段11、画像投射手段12、画像撮像手段13、画像提示手段14、特徴点位置情報入力手段15、検出範囲設定手段16、幾何補正データ算出手段17、画像分割/幾何補正手段18、コンテンツ表示範囲情報入力手段19、コンテンツ表示範囲設定手段20により構成される。
ここで、テストパターン画像作成手段11、特徴点位置情報入力手段15、検出範囲設定手段16、コンテンツ表示範囲情報入力手段19およびコンテンツ表示範囲設定手段20はPC4で構成され、画像投射手段12はプロジェクタ1Aおよびプロジェクタ1Bで構成され、画像撮像手段13はデジタルカメラ3で構成され、画像提示手段14はモニタ5で構成され、幾何補正データ算出手段17および画像分割/幾何補正手段18は画像分割/幾何補正装置6で構成される。
テストパターン画像作成手段11は、図2(a)に示したような複数の特徴点からなるテストパターン画像を作成し、画像投射手段12は、テストパターン画像作成手段11により作成されたテストパターン画像を入力してスクリーン2に投射する。なお、画像投射手段12は、後述する一連の幾何補正のための演算を行った後は、画像分割/幾何補正装置6より出力された分割および幾何補正処理されたコンテンツ画像を入力して、スクリーン2への投射を行う。
画像撮像手段13は、画像投射手段12によりスクリーン2上に投射されたテストパターン画像を撮像し、画像提示手段14は、画像撮像手段13により撮像されたテストパターン撮像画像を表示して制御者7へテストパターン撮像画像の提示を行う。
特徴点位置情報入力手段15は、制御者7により画像提示手段14に提示されたテストパターン撮像画像を参照しながら指定されたテストパターン撮像画像中の特徴点の概略位置を入力し、検出範囲設定手段16は、特徴点位置情報入力手段15から入力された概略位置に基づいてテストパターン撮像画像中の各特徴点の検出範囲を設定する。
コンテンツ表示範囲情報入力手段19は、制御者7により画像提示手段14に別途提示されたスクリーン2全体の撮像画像を参照しながら指定されるコンテンツの表示範囲に関する情報を入力し、コンテンツ表示範囲設定手段20は、コンテンツ表示範囲情報入力手段19からのコンテンツの表示範囲に関する情報を入力して、撮像画像に対するコンテンツ表示範囲を設定し、その設定したコンテンツ表示範囲情報を幾何補正データ算出手段17へ出力する。
幾何補正データ算出手段17は、画像撮像手段13により撮像されたテストパターン撮像画像および検出範囲設定手段16により設定されたテストパターン撮像画像の各特徴点の検出範囲に基づいて、テストパターン撮像画像における各特徴点の正確な位置を検出すると共に、検出された各特徴点の正確な位置およびコンテンツ表示範囲設定手段20により設定されたコンテンツ表示範囲情報に基づいて幾何補正データを算出して、画像分割/幾何補正手段18へ送信する。
画像分割/幾何補正手段18は、幾何補正データ算出手段17により入力された幾何補正データに基づいて、外部より入力されたコンテンツ画像の分割および幾何補正処理を行い、画像投射手段12へ出力する。
以上のようにして、外部から入力されたコンテンツ画像は、各プロジェクタの表示範囲に対応して正確な画像分割および幾何補正が行われ、スクリーン2上にきれいに貼り合わせされて一枚の画像として表示されることになる。
次に、図4を参照しながら前述した幾何補正データ算出手段17の詳細ブロック構成について説明する。
幾何補正データ算出手段17は、画像撮像手段13により撮像されたテストパターン撮像画像を入力して記憶するテストパターン撮像画像記憶部21と、検出範囲設定手段16により設定されたテストパターン撮像画像の各特徴点の検出範囲を入力して記憶するテストパターン特徴点検出範囲記憶部22と、特徴点位置検出部23と、プロジェクタ画像−撮像画像座標変換データ作成部24と、コンテンツ画像−プロジェクタ画像座標変換データ作成部25と、コンテンツ画像−撮像画像座標変換データ作成部26と、コンテンツ表示範囲設定手段20により設定されたコンテンツ表示範囲情報を入力して記憶するコンテンツ画像表示範囲記憶部27とを有している。
特徴点位置検出部23は、テストパターン撮像画像記憶部21に記憶されたテストパターン撮像画像中から、テストパターン特徴点検出範囲記憶部22に記憶された各特徴点の検出範囲に基づいて各特徴点の正確な位置を検出する。その具体的な検出方法については、上記の特許文献2に開示されているように、各々の特徴点の正確な中心位置(重心位置)を、対応する検出範囲内での画像の最大相関値として検出する方法が適用可能である。
プロジェクタ画像−撮像画像座標変換データ作成部24は、特徴点位置検出部23により検出されたテストパターン撮像画像中の各特徴点の位置と、予め与えられた元の(プロジェクタに入力する前の)テストパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ3によるテストパターン撮像画像の座標間の座標変換データを作成する。ここで、座標変換データは、プロジェクタ画像の画素毎に、対応するプロジェクタ撮像画像の座標を埋め込んだルックアップテーブル(LUT)として作成してもよいし、両者の座標変換式を2次元高次多項式として作成してもよい。なお、LUTとして作成する場合には、特徴点が設けられた画素位置以外の座標については、隣接する複数の各特徴点の座標位置関係に基づいて線形補間またはスプライン補間等で導出すればよい。また、2次元高次多項式として作成する場合には、複数個の特徴点位置における座標関係から、最小二乗法もしくはニュートン法、最急降下法等を用いて多項式近似を行うとよい。
コンテンツ画像−撮像画像座標変換データ作成部26は、コンテンツ画像表示範囲記憶部27に記憶されたコンテンツ表示範囲情報に基づいて、コンテンツ画像の座標とスクリーン全体の撮像画像の座標間の座標変換データを作成する。この際、コンテンツ表示範囲情報として、例えば後述するような撮像画像上におけるコンテンツ表示範囲の4角の座標情報が適用される場合には、コンテンツ画像−撮像画像座標変換データ作成部26では上記4角の座標対応関係に基づいて、4角内部の補間演算もしくは多項式近似により全てのコンテンツ画像の座標に対するスクリーン撮像画像の座標の変換テーブルもしくは変換式が与えられることになる。
最後に、コンテンツ画像−プロジェクタ画像座標変換データ作成部25は、以上のように作成されたプロジェクタ画像−撮像画像座標変換データおよびコンテンツ画像−撮像画像座標変換データを用いて、コンテンツ画像からプロジェクタ画像への座標変換テーブルもしくは座標変換式を作成し、それを幾何補正データとして画像分割/幾何補正手段18へ出力する。
図5は、以上説明した本参考例に係る幾何補正方法の処理手順を示すフローチャートで、ステップS1〜ステップS10からなるが、その概要は上記の説明と重複するので、ここではステップS2の検出範囲の設定処理およびステップS7のコンテンツ表示範囲の設定処理について詳細に説明し、その他の処理については説明を省略する。
先ず、図6(a)および図6(b)を参照して、図5のステップS2における検出範囲の設定処理の詳細について説明する。
ここでは、まず、画像撮像手段13(デジタルカメラ3)で撮像されたテストパターン撮像画像を画像提示手段14(PC4上のモニタ5)に表示する(ステップS11)。次に、制御者7が画像提示手段14に表示されたテストパターン撮像画像中において、図6(b)に示されるような特徴点の4角の位置を、PC4のウィンドウ上でマウス等により指定する(ステップS12)。この際、4角の位置の指定順番は、例えば左上−右上−右下−左下のように、予め決められた順番で指定を行う。
4角全ての指定が終わったら、指定された4角の位置に基づいてテストパターン撮像画像中の全ての特徴点に対する検出範囲を設定し、画像提示手段14(モニタ5)に表示する(ステップS13)。この際、4角以外の特徴点に関しては、4角の指定位置と特徴点のX方向およびY方向の数に基づいて等間隔に配置して設定すればよい。
最後に、必要に応じて、例えば検出範囲が特徴点から外れてしまっている場合には、表示された検出範囲を制御者7によりマウス等でドラッグして位置の微調整を行い(ステップS14)、全ての検出範囲の調整後、検出範囲位置を設定して処理を終了する。
なお、図6(a)に示した検出範囲の設定処理では、特徴点の4角を指定してその内部の検出範囲を等間隔に設定しているが、これに限らず、例えば特徴点4角だけでなくその中間点も含めた4点以上の外郭の点を指定してもよいし、極端に言えば特徴点全ての位置(概略位置)を指定してもよい。指定する点の数が多いほど、制御者7の最初の指定作業が困難になるが、その分、その後の検出範囲を等間隔に設定したときに特徴点からはずれる可能性が低くなり、微調整が不要になる可能性がある。また、4点以上の指定を行った場合には、検出範囲の設定を等間隔でなく、多項式近似により中間の検出範囲の位置を算出して設定すれば、スクリーン2が曲面の場合など、撮像された特徴点の位置がある程度歪んでいても精度よく検出範囲を設定できる可能性がある。
次に、図7(a)および図7(b)を参照して、図5のステップS7におけるコンテンツ表示範囲の設定処理の詳細について説明する。
ここでは、まず、画像撮像手段13(デジタルカメラ3)により撮像されたスクリーン全体の画像を画像提示手段14(PC4上のモニタ5)に表示する。この際、画像撮像手段13(デジタルカメラ3)により撮像される画像には、カメラレンズによる画像歪みが発生するため、ここでは予め設定されたレンズ歪み補正係数により撮像画像の歪補正を行った上でモニタ5に表示する(ステップS21)。
次に、制御者7がモニタ表示された歪補正済みのスクリーン撮像画像中において、図6(b)に示したように、所望のコンテンツ画像表示範囲を矩形4角の点としてマウス等により指定する(ステップS22)。その後、指定された4角の点によりコンテンツ表示範囲を矩形表示しながら、必要に応じて、制御者7により4角の点の微調整をマウス等のドラッグ操作により行う(ステップS23)。微調整が終わったら、撮像画像中の4角の座標位置をコンテンツ表示範囲情報として設定して処理を終了する。
なお、ステップS21で用いる歪み補正係数は、例えば画像中心からの距離の3乗に比例した係数を用いてもよいし、より精度を高めるために、高次多項式による複数の係数を用いてもよい。また、図7(b)に示されるように、モニタ表示中のスクリーン撮像画像を見ながら、スクリーン2の画像の歪みがなくなるまで制御者7が繰り返し手入力により歪み補正係数を入力して設定してもよい。このような歪補正を正確に行わないと、撮像画像中でコンテンツ表示範囲を矩形で選択しても、実際のスクリーン2上では矩形に表示されなくなってしまうため、できるだけ正確な歪み補正を行うことが望ましい。
以上説明した本参考例によれば、制御者7によりモニタ5を見ながら簡便に幾何補正のための特徴点の検出範囲を設定することが可能となり、マルチプロジェクションシステムにおいてスクリーン2、プロジェクタ1A,1Bおよびデジタルカメラ3の配置が頻繁に変わっても、短時間で正確かつ確実にプロジェクタ1A,1Bによる表示画像の位置合わせを行うことができる。また、スクリーン全体に対してコンテンツをどの範囲で表示するかということも、モニタ5を見ながら制御者7により自由に、しかも簡便に設定することが可能となるので、マルチプロジェクションシステムにおけるメンテナンス効率を向上することができる。
図8〜図12は、本発明に係るマルチプロジェクションシステムにおける幾何補正方法の一実施の形態を示すものである。
本実施の形態では、図8(a)に示すように前述した参考例と同様、特徴点が複数個並んだテストパターン画像を投射および撮像するとともに、図8(b)に示すようなテストパターン画像よりも少ない特徴点数によるプレパターン画像も投射および撮像する。制御者7は、図8(c)に示すようなプレパターン撮像画像中で、特徴点の概略位置を指定して検出範囲を設定する。この設定された検出範囲に基づいて、プレパターン画像の特徴点の正確な位置を検出することにより、それより細かく設定されたテストパターン画像の特徴点の概略位置を、プレパターンの特徴点の位置に基づいて推定する。これにより、図8(d)に示されるように、テストパターン撮像画像中の特徴点の検出範囲が自動的に算出されることになる。
以上のように、特徴点の少ないプレパターン画像を撮像して制御者7により概略位置を設定し、それに基づいてテストパターン画像の特徴点の概略位置を推定することで、スクリーン形状が複雑で、テストパターン画像の特徴点数が著しく多い場合でも、制御者7による概略位置指定の作業を軽減することができる。
図9は、本実施の形態に係る幾何補正手段の構成を示すブロック図である。この幾何補正手段は、前述した参考例(図3参照)に比べ、特に、テストパターン画像作成手段11および検出範囲設定手段16の構成が異なるものである。
すなわち、テストパターン画像作成手段11は、図8(a)に示したような参考例と同様なテストパターン画像を作成するテストパターン画像作成部31と、図8(b)に示したようなテストパターン画像に対して特徴点数を少なく間引いたプレパターン画像を作成するプレパターン画像作成部32とで構成される。これらテストパターン画像作成部31およびプレパターン画像作成部32でそれぞれ作成されたテストパターン画像およびプレパターン画像は、画像投射手段12に入力されてスクリーン2上に投射され、画像撮像手段13により撮像される。
画像撮像手段13で撮像されたテストパターン撮像画像は、幾何補正データ算出手段17へ入力される。一方、画像撮像手段13で撮像されたプレパターン撮像画像は、画像提示手段14および検出範囲設定手段16へ入力される。
制御者7は、画像提示手段14により提示されたプレパターン撮像画像を参照しながら、プレパターンの特徴点の概略位置を特徴点位置情報入力手段15により入力する。検出範囲設定手段16は、特徴点位置情報入力手段15により入力されたプレパターン撮像画像の特徴点概略位置と画像撮像手段13により入力されたプレパターン撮像画像に基づいて、後述する方法により、特徴点数の多いテストパターン撮像画像の特徴点概略位置(検出範囲)を推定して幾何補正データ算出手段17へ出力する。なお、幾何補正データ算出手段17、コンテンツ表示範囲情報入力手段19、コンテンツ表示範囲設定手段20、画像分割/幾何補正手段18については、前述した参考例と同等であるので説明を省略する。
次に、図10を参照して本実施の形態における検出範囲設定手段16の詳細構成について説明する。本実施の形態における検出範囲設定手段16は、プレパターン特徴点検出範囲設定部41、プレパターン撮像画像記憶部42、プレパターン特徴点位置検出部43、プロジェクタ画像−撮像画像座標変換式算出部44およびテストパターン検出範囲設定部45を有している。
プレパターン特徴点検出範囲設定部41は、特徴点位置情報入力手段15から入力されたプレパターン撮像画像中の特徴点の概略位置より、プレパターン撮像画像中の特徴点の検出範囲を設定する。プレパターン撮像画像記憶部42は、画像撮像手段13で撮像されたプレパターン撮像画像を記憶する。プレパターン特徴点位置検出部43は、プレパターン撮像画像記憶部42に記憶されたプレパターン撮像画像から、プレパターン特徴点検出範囲設定部41で設定された各特徴点の検出範囲に基づいて特徴点の正確な位置を検出する。なお、このときの検出方法は、図4における幾何補正データ算出手段17内の特徴点位置検出部23と同様に行えばよい。
プロジェクタ画像−撮像画像座標変換式算出部44は、プレパターン特徴点位置検出部43で検出されたプレパターン撮像画像中の特徴点の位置と、予め与えられた元の(プロジェクタに入力する前の)プレパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ3による撮像画像の座標間の座標変換式を近似式として算出する。最後に、テストパターン検出範囲設定部45では、プロジェクタ画像−撮像画像座標変換式算出部44において算出されたプロジェクタ画像−撮像画像間の座標変換式、および予め与えられた元の(プロジェクタに入力する前の)テストパターン画像の特徴点の位置情報に基づいて、テストパターン撮像画像における各特徴点の概略位置(検出範囲位置)を算出して、後段の幾何補正データ算出手段17に出力する。
以下、プロジェクタ画像−撮像画像座標変換式算出部44におけるプロジェクタ画像および撮像画像間の座標変換式(近似式)の導出方法の一例について説明する。なお、ここでは図11(a)〜(c)を参照しながら、プレパターン画像の特徴点数が横方向に7点、縦方向に4点ある場合について説明する。
先ず、プレパターン撮像画像における座標を(xC,yC)とし、前処理として下記の(1)式により撮像画像の座標系の回転を行う。
ここで、回転角θは、図11(a)に示すような特徴点の4辺のなす角の平均値であり、下記の(2)で与えられる。
次に、上記回転された撮像画像座標系において、図11(b)に示されるような横方向および縦方向に特徴点の列をつなぎ合わせた曲線の式を2次曲線として、以下のように定義する。
ここで、x’C(i,h)およびy’C(i,h)は、それぞれ座標回転後の撮像画像における横方向i番目、縦方向h番目の特徴点のx座標およびy座標である。なお、各々肩についた数字は累乗を表す。また、(3)式におけるαy(h),βy(h),γy(h)は、h番目の横に長い2次曲線における多項式係数であり、(4)式におけるαx(i),βx(i),γx(i)は、i番目の縦に長い2次曲線における多項式係数である。
次に、(3)式および(4)式に基づいて、プレパターン撮像画像中で検出された各特徴点の座標を用いて、横に長い2次曲線4本(h=1〜4)、縦に長い2次曲線7本(i=1〜7)の多項式係数αy(h),βy(h),γy(h)、およびαx(i),βx(i),γx(i)を導出する。この際、例えばh=1の曲線の多項式係数αy(1),βy(1),γy(1)を求める場合には、図11(b)においてh=1の曲線上に並んだ7点の特徴点の座標x’C(i,1),y’C(i,1),(i=1〜7)を(3)式に代入し、最小二乗法等により算出すればよい。
次に、上記多項式係数とプロジェクタ画像の座標系との対応関係を導出する。ここで、図11(c)に示されるように、特徴点はプロジェクタ画像において格子状に並んでいるものとし、プロジェクタ画像(元のプレパターン画像)の座標系におけるi列目の特徴点におけるx座標をxP(i)、h行目の特徴点におけるy座標をyP(h)としたとき、各々の座標に対する上記多項式係数の対応関係を、以下のように3次多項式として定義する。
なお、(5)式および(6)式において、各々肩についた数字は累乗を表す。ここで、k1〜k12およびj1〜j12は、3次多項式における係数で、これら係数は、上記プロジェクタ画像における各特徴点のx座標xP(i)およびy座標yP(h)が予め与えられていて既知であるので、先に導出した各特徴点における2次曲線の係数αy(h),βy(h),γy(h),αx(i),βx(i),γx(i)を用いて最小二乗法等により導出することができる。
以上のようにして導出された係数k1〜k12およびj1〜j12を用いて、プロジェクタ画像における特徴点の位置以外の任意の座標(xP,yP)に対する撮像画像の座標(xC,yC)への変換式を、以下のような複数の式により表すことができる。
上記の変換式を用いて、テストパターン画像(プロジェクタ画像)において予め決められた多数の特徴点の座標位置より、テストパターン画像を撮像したときのテストパターン撮像画像における特徴点の座標を近似的に求め、この近似的に求めた座標位置をテストパターン撮像画像における特徴点の概略位置(検出範囲位置)として設定して、後段の幾何補正データ算出手段17へ出力する。
以上説明した本実施の形態に係る幾何補正方法の概略手順およびコンテンツ表示範囲の設定手順については、図5および図7に示した参考例の場合と同様であり、プレパターン画像の作成からテストパターン撮像画像の検出範囲設定までの処理手順については、図12のステップS31〜S38に示す通りであるが、その概要は上記の説明と重複するので、ここでは説明を省略する。
本実施の形態によれば、特徴点の少ないプレパターン画像を撮像して、制御者7により概略位置を設定し、それに基づいてテストパターン画像の特徴点の概略位置を推定するようにしたので、スクリーン形状が複雑でテストパターン画像の特徴点数が著しく多い場合でも、制御者7による概略位置指定の作業を軽減することができる。
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、スクリーン2はドーム状のものに限らず、例えば図13に示すようなアーチ型スクリーン2や、図14に示すような平面リア型スクリーン2を用いた場合でも同様に適用可能である。なお、図13および図14は、3つのプロジェクタ1A,1B,1Cを用いる場合を示している。
1,1A,1B,1C プロジェクタ
2 スクリーン
3 デジタルカメラ
4 パーソナルコンピュータ(PC)
5 モニタ
6 画像分割/幾何補正装置
7 制御者
11 テストパターン画像作成手段
12 画像投射手段
13 画像撮像手段
14 画像提示手段
15 特徴点位置情報入力手段
16 検出範囲設定手段
17 幾何補正データ算出手段
18 画像分割/幾何補正手段
19 コンテンツ表示範囲情報入力手段
20 コンテンツ表示範囲設定手段
21 テストパターン撮像画像記憶部
22 テストパターン特徴点検出範囲記憶部
23 特徴点位置検出部
24 プロジェクタ画像−撮像画像座標変換データ作成部
25 コンテンツ画像−プロジェクタ画像座標変換データ作成部
26 コンテンツ画像−撮像画像座標変換データ作成部
27 コンテンツ画像表示範囲記憶部
31 テストパターン画像作成部
32 プレパターン画像作成部
41 プレパターン特徴点検出範囲設定部
42 プレパターン撮像画像記憶部
43 プレパターン特徴点位置検出部
44 プロジェクタ画像−撮像画像座標変換式算出部
45 テストパターン検出範囲設定部
2 スクリーン
3 デジタルカメラ
4 パーソナルコンピュータ(PC)
5 モニタ
6 画像分割/幾何補正装置
7 制御者
11 テストパターン画像作成手段
12 画像投射手段
13 画像撮像手段
14 画像提示手段
15 特徴点位置情報入力手段
16 検出範囲設定手段
17 幾何補正データ算出手段
18 画像分割/幾何補正手段
19 コンテンツ表示範囲情報入力手段
20 コンテンツ表示範囲設定手段
21 テストパターン撮像画像記憶部
22 テストパターン特徴点検出範囲記憶部
23 特徴点位置検出部
24 プロジェクタ画像−撮像画像座標変換データ作成部
25 コンテンツ画像−プロジェクタ画像座標変換データ作成部
26 コンテンツ画像−撮像画像座標変換データ作成部
27 コンテンツ画像表示範囲記憶部
31 テストパターン画像作成部
32 プレパターン画像作成部
41 プレパターン特徴点検出範囲設定部
42 プレパターン撮像画像記憶部
43 プレパターン特徴点位置検出部
44 プロジェクタ画像−撮像画像座標変換式算出部
45 テストパターン検出範囲設定部
Claims (4)
- 複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるプレパターン画像を上記スクリーン上に投射させるプレ投射ステップと、
上記プレ投射ステップで上記スクリーン上に投射された上記プレパターン画像を撮像手段により撮像してプレパターン撮像画像として取り込むプレ取込ステップと、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像の特徴点の位置を検出するプレ検出ステップと、
上記各プロジェクタから上記プレパターン画像よりも多い特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射された上記テストパターン画像を上記撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記プレ検出ステップで検出された上記プレパターン撮像画像中の特徴点の位置に基づいて上記取込ステップで取り込まれた上記テストパターン撮像画像中の特徴点の位置を検出する検出ステップと、
上記検出ステップで検出された上記テストパターン撮像画像中の特徴点の位置と、予め与えられている上記テストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像と上記テストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするマルチプロジェクションシステムにおける幾何補正方法。 - 上記プレ検出ステップは、
上記プレ取込ステップで取り込まれた上記プレパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示された上記プレパターン撮像画像を参照しながら上記プレパターン画像中の各特徴点の概略位置を指定して入力する入力ステップとを有し、
上記入力ステップで入力された上記プレパターン画像中の各特徴点の概略位置に基づいて正確な位置を検出することを特徴とする請求項1に記載のマルチプロジェクションシステムにおける幾何補正方法。 - 上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された2次以上の多項式を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とする請求項1または2に記載のマルチプロジェクションシステムにおける幾何補正方法。 - 上記検出ステップは、
上記プレ検出ステップで検出された上記プレパターン撮像画像の特徴点の位置に基づいて導出された2次以上の多項式および座標回転演算を用いて上記テストパターン撮像画像中の各特徴点の概略位置を算出し、さらに上記算出された概略位置から上記テストパターン撮像画像中の各特徴点の正確な位置を検出することを特徴とする請求項1または2に記載のマルチプロジェクションシステムにおける幾何補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004292870A JP2006109088A (ja) | 2004-10-05 | 2004-10-05 | マルチプロジェクションシステムにおける幾何補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004292870A JP2006109088A (ja) | 2004-10-05 | 2004-10-05 | マルチプロジェクションシステムにおける幾何補正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006109088A true JP2006109088A (ja) | 2006-04-20 |
Family
ID=36378290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004292870A Withdrawn JP2006109088A (ja) | 2004-10-05 | 2004-10-05 | マルチプロジェクションシステムにおける幾何補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006109088A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008113416A (ja) * | 2006-08-11 | 2008-05-15 | Silicon Optix Inc | 表示の形状及び色の自動較正及び修正のためのシステム及び方法 |
JP2008113176A (ja) * | 2006-10-30 | 2008-05-15 | Hitachi Ltd | 映像表示システムの調整システム |
WO2008139789A1 (ja) * | 2007-05-07 | 2008-11-20 | Takayuki Ohira | 映像投影システム |
JP2009182436A (ja) * | 2008-01-29 | 2009-08-13 | Seiko Epson Corp | プロジェクタ、画像投影システムおよびプログラム |
JP2018037837A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社リコー | 画像投影システム、情報処理装置、画像投影方法及びプログラム |
CN110913188A (zh) * | 2018-09-14 | 2020-03-24 | 美国科视数字***公司 | 从减少的测试图案集合生成更新的摄像头-投影仪对应关系的设备、***和方法 |
CN114885136A (zh) * | 2021-11-16 | 2022-08-09 | 海信视像科技股份有限公司 | 投影设备和图像校正方法 |
-
2004
- 2004-10-05 JP JP2004292870A patent/JP2006109088A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008113416A (ja) * | 2006-08-11 | 2008-05-15 | Silicon Optix Inc | 表示の形状及び色の自動較正及び修正のためのシステム及び方法 |
JP2008113176A (ja) * | 2006-10-30 | 2008-05-15 | Hitachi Ltd | 映像表示システムの調整システム |
WO2008139789A1 (ja) * | 2007-05-07 | 2008-11-20 | Takayuki Ohira | 映像投影システム |
JP2009182436A (ja) * | 2008-01-29 | 2009-08-13 | Seiko Epson Corp | プロジェクタ、画像投影システムおよびプログラム |
JP2018037837A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社リコー | 画像投影システム、情報処理装置、画像投影方法及びプログラム |
CN110913188A (zh) * | 2018-09-14 | 2020-03-24 | 美国科视数字***公司 | 从减少的测试图案集合生成更新的摄像头-投影仪对应关系的设备、***和方法 |
CN110913188B (zh) * | 2018-09-14 | 2022-12-27 | 美国科视数字***公司 | 从减少的测试图案集合生成更新的摄像头-投影仪对应关系的设备和方法 |
CN114885136A (zh) * | 2021-11-16 | 2022-08-09 | 海信视像科技股份有限公司 | 投影设备和图像校正方法 |
CN114885136B (zh) * | 2021-11-16 | 2024-05-28 | 海信视像科技股份有限公司 | 投影设备和图像校正方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4637845B2 (ja) | マルチプロジェクションシステムにおける幾何補正方法 | |
US10602102B2 (en) | Projection system, image processing apparatus, projection method | |
JP4501481B2 (ja) | マルチプロジェクションシステムのための画像補正方法 | |
US9818377B2 (en) | Projection system, image processing apparatus, and correction method | |
JP6299124B2 (ja) | 投影システム、画像処理装置、投影方法およびプログラム | |
JP6642610B2 (ja) | 投影制御装置、投影装置、投影制御方法及びプログラム | |
CN108028900B (zh) | 投影设备、投影方法和程序存储介质 | |
US8491128B2 (en) | System and method for projection correction by capturing projection image | |
US11218675B2 (en) | Information processing apparatus, computation method of information processing apparatus, and program | |
US20090027629A1 (en) | Image projection method and projector | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP2015026992A (ja) | 投影システム、画像処理装置、投影方法およびプログラム | |
JP2004336225A (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP2003219324A (ja) | 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム | |
KR20160031966A (ko) | 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법 | |
US8736774B1 (en) | Projection apparatus, projection method and computer-readable storage medium for correcting a projection state being projected onto curved surface | |
JP2004228824A (ja) | スタックプロジェクション装置及びその調整方法 | |
JP2009075646A (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
JP2006109088A (ja) | マルチプロジェクションシステムにおける幾何補正方法 | |
US11379946B2 (en) | Image projection system controlling method and image projection system | |
JP2005252804A (ja) | マルチプロジェクションシステムのための画像補正方法 | |
JP2014225182A (ja) | 画像投影システム、画像処理装置およびプログラム | |
JP2005102277A (ja) | スタックプロジェクション装置及びその調整方法 | |
JP2005252676A (ja) | マルチプロジェクションシステムのための画像補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060622 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |