JP2020507100A - 曲面投影領域へのイメージ投影方法およびそのための投影システム - Google Patents

Abstract

本発明は、曲面の投影領域及び複数の投影装置が備えられた上映館におけるイメージ投影方法及び投影システムに係り、更に詳しくは、複数の投影装置の投影領域間の相対的変換情報を演算することにより、これらの投影装置を一つのクラスタとして定義し、さらに前記クラスタのうちの基準投影装置と原本イメージの投影領域との間の相対的な関係を定義することにより、最終的には、複数の投影装置により一つのイメージを曲面投影領域に歪みなく投影させることができるイメージ投影方法及び投影システムに関する。

Description

本発明は、曲面の投影領域及び複数の投影装置が備えられた上映館におけるイメージ投影方法及び投影システムに係り、更に詳しくは、複数の投影装置の投影領域間の相対的変換情報を演算することにより、これらの投影装置を一つのクラスタとして定義し、さらに前記クラスタのうちの基準投影装置と原本イメージの投影領域との間の相対的な関係を定義することにより、最終的には、複数の投影装置により一つのイメージを曲面投影領域に歪みなく投影させることができるイメージ投影方法及び投影システムに関する。

より立体感のあり、現実感の高い上映環境を提供するために、最近では、複数の投影装置を用いて一つの映像を実現するための試みが続いている。特に、大型スクリーンによる映画鑑賞の需要が高まるにつれて、複数の投影装置を用いて大型スクリーンに一つのイメージを投影する技術に対する関心が高まっている。

一方、従来には、一般的に上映館のスクリーンとして平面スクリーンを用いられていた。また、この場合、複数の投影装置を用いて平面の大型スクリーン上に一つの映像を実現しようとする際に、複数の投影装置を一つのクラスタとして定義することが試みられてきた。この場合、クラスタリングを行う際には、投影面の大部分が平面であると仮定してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ、平面射影変換）を用いてキーストーン補正などを行った。

しかしながら、最近では、平面スクリーンに比べて「曲面スクリーン」の方が立体感や没入感を高める上で有利であるという効果が知られるようになり、投影面を平面ではなく曲面で構成する上映館の数が多くなっている。このように増大に伴い、曲面の投影面においても、複数の投影装置を用いて一つの映像を実現しようとする試みがなされている。

一方、従来には、クラスタリングを行う際に、スクリーンを平面と仮定してホモグラフィを用いていた。ホモグラフィを曲面の投影面に適用すると、曲面によって生じる複雑な歪みが除去されてないという問題がある。さらに、投影装置間の相対的な関係が明確に定義されていないため、重なり領域では焦点が外れるという問題、エッジブレンディングが不正確であるという問題などが発生した。

これらの問題を解決するために、ソフトウェア的な解決策が提示されてきた。しかしながら、これらの解決策では、曲面の形状がドーム、円筒などのいくつかの形状に限定されるので、補正コントローラを提供するにとどまり、任意の曲面投影面では活用が難しいという問題がある。

本発明は、このように複数の投影装置を用いて任意の曲面投影面にイメージを投影するためのものであり、上述した技術的ニーズを満たすとともに、この技術分野において通常の知識を有する者が容易に発明し難いさらなる技術要素を提供するために発明されたものである。

韓国公開特許１０−２００７−００６１２５４（２００７．０６．１３．公開）

本発明は、複数の投影装置を用いて曲面の投影面に映像を実現するにあたり、複数の投影装置をクラスタリングして制御を容易にすることを目的とする。

特に、本発明は、従来の平面投影面へのイメージ投影を前提にした投影装置のクラスタリングとは異なり、サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）とＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ、薄板スプライン）ベースのワーピング技法に基づいて投影装置間の相対的変換情報の演算及びクラスタリングを行うことにより、定型曲面ではない投影面に対しても歪みなくイメージを投影することができる投影装置クラスタを実現することを目的とする。

また、本発明は、投影装置クラスタによって曲面投影面に一つの映像を歪みなく実現できるように、投影されるイメージを曲面投影面上に配置することを目的とする。

特に、このとき、本発明は、投影される原本イメージと曲面投影面とをマッチングする際、原本イメージに複数の仮想の制御点を設定し、これらの制御点を移動させることにより、原本イメージが曲面投影面の形状と正確にマッチングできるようにして、曲面に起因するイメージの歪みを最小限に抑えることを目的とする。

一態様において、投影管理装置が、複数の投影装置を用いて曲面にイメージを投影する方法は、（ａ）前記複数の投影装置の投影領域に基づいて投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて前記複数の投影装置をグループ化して投影装置クラスタを生成するステップと、（ｂ）前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるステップと、を含む。

他の態様において、前記複数の投影装置のうちの任意の投影装置がイメージを投影可能な曲面の投影領域と、前記任意の投影装置に隣接する投影装置の投影領域とが、部分的に重なることを特徴とする。

また他の態様において、前記（ａ）ステップは、（ａ−１）前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定するステップと、（ａ−２）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれる投影装置との間の相対的変換情報を演算するステップと、を含む。

また他の態様において、前記（ａ−２）ステップでは、前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において前記基準投影装置の投影領域から対応点Ｃ_ｉを抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点Ｃ_ｊを抽出し、前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする。

また他の態様において、前記相対的変換式は、
となっている。

式中、ｘｉは基準投影装置のピクセル位置であり、Ｃ^ｉ _ｋは対応点メッシュの各頂点（ｖｅｒｔｅｘ）の位置であり、ｗ_ｋは加重値であり、Ａ（ｘ^ｉ）は大局的アフィン変換（ＧＡＴ：Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であることを特徴とする。

また他の態様において、（ａ−３）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれていない投影装置との間の相対的変換情報を演算するステップをさらに含むことを特徴とする。

また他の態様において、前記（ｂ）ステップは、（ｂ−１）前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出するステップと、（ｂ−２）複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで複数のサブイメージ領域に区画するステップと、（ｂ−３）前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせるステップと、を含むことを特徴とする。

また他の態様において、前記（ｂ−３）ステップは、バイリニア補間法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて行われることを特徴とする。

また他の態様において、前記初期点は、前記投影されるイメージの最も外側の頂点であることを特徴とする。

また他の態様において、前記複数の制御点は、等間隔で配置されることを特徴とする。

また他の態様において、曲面へのイメージ投影システムは、上映館内に備えられた複数の投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて複数の投影装置をグループ化して投影装置クラスタを生成し、前記投影装置クラスタにより投影されるイメージを上映館内の投影領域にマッチングさせる投影管理装置と、上映館内の投影領域にイメージを投影する複数の投影装置と、を含む。

また他の態様において、前記投影管理装置は、前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定し、前記基準投影装置に隣接する投影装置間の相対的変換情報を演算することを特徴とする。

また他の態様において、前記投影管理装置は、前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において、前記基準投影装置の投影領域から対応点Ｃ_ｉを抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点Ｃ_ｊを抽出し、前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする。

また他の態様において、前記投影管理装置は、前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるが、前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出し、複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで前記イメージを複数のサブイメージ領域に区画し、前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせることを特徴とする。

本発明によれば、複数の投影装置を一つのクラスタにグループ化して制御することができるという効果がある。具体的には、本発明によれば、複数の投影装置をクラスタ単位で制御することで、イメージ領域の配置やイメージ補正などの作業を行うことができ、例えば、本発明によれば、基準投影装置が投影装置のクラスタ内に定義されており、したがって、基準投影装置を基準としてイメージ領域の配置やイメージ補正などの作業を行う場合、残りの投影装置に対しても自動的にイメージ領域の配置やイメージ補正が行われるため、複数の投影装置を容易に制御することができるという効果がある。

また、本発明によれば、投影装置のクラスタリングが行われるときに、サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）とＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ、薄板スプライン）演算に基づいて各投影装置間の相対的変換情報を取得することができ、これにより従来の平面投影面を前提にしたクラスタリングとは異なり、非定型曲面投影面に対しても投影装置を効果的にクラスタ化することができるという効果がある。

また、本発明によれば、投影装置をクラスタリングするステップの後、イメージ領域を配置するステップにおいてもサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）方式を利用してイメージを非定型曲面に効率よくマッチングさせることができるという効果がある。

図１は、本発明の一実施形態に係る曲面へのイメージ投影方法を順に示す図である。 図２は、複数の投影装置をクラスタリングするステップを詳細に示す図である。 図３は、投影装置の投影領域が重なった状態を示す図である。 図４は、投影装置間の相対的変換情報を理解するための図である。 図５は、投影装置クラスタによる投影領域を例示的に示す図である。 図６は、投影されるイメージを曲面の投影領域にマッチングさせるステップを詳細に示す図である。 図７は、イメージを曲面投影領域にマッチングさせるステップを示す図である。 図８は、イメージを曲面投影領域にマッチングさせるステップを示す図である。 図９は、本発明に係る曲面へのイメージ投影システムの構成を示す図である。 図１０は、本発明に係る曲面へのイメージ投影システムの構成を示す図である。

１００ 投影装置
１５１ａ〜１５１ｅ 投影装置別の投影領域
２００ 投影装置クラスタ
１０００ 投影管理装置
１１００ 演算部
１２００ 記憶部
１３００ 投影装置管理部
１４００ 通信部
１５００ ユーザインタフェース部
１６００ カメラ部
１７００ 制御部

本発明の目的と技術的構成およびそれに伴う作用効果に関する詳細な事項は、本発明の明細書に添付した図面に基づく以下の詳細な説明によりなお一層明確に理解できる筈である。添付図面を参照して本発明に係る実施形態について詳細に説明する。

本明細書に開示される実施形態は、本発明の範囲を限定するものと解釈されてはならず、且つ、本発明の範囲を限定するものとして用いられてはならない。この分野における通常の技術者にとって、本明細書の実施形態を含む説明は様々な応用を有することはいうまでもない。よって、本発明の詳細な説明に記載されている任意の実施形態は、本発明をより理解し易く説明するための例示的なものに過ぎず、本発明の範囲が実施形態に限定されることを意図するわけではない。

図面に表示され、且つ、下記に説明される機能ブロックは、採用可能な実現の例に過ぎない。他の実現においては、詳細な説明の思想および範囲を逸脱しない範囲内において他の機能ブロックが使用可能である。なお、本発明の１以上の機能ブロックが個別のブロックとして表示されるが、本発明の機能ブロックのうちの１以上は、同じ機能を実行する様々なハードウェアおよびソフトウェア構成の組み合わせであってもよい。

また、「ある構成要素を含む」という表現は「開放型」の表現であり、単に当該構成要素が存在することを指すものに過ぎず、さらなる構成要素を排除するものと理解されてはならない。

さらに、ある構成要素が他の構成要素に「連結されている」と言及されるとき、またはある構成要素が他の構成要素に「接続されている」と言及されるときには、その他の構成
要素に直接的に連結または接続されていてもよく、これらの間に他の構成要素が存在してもよいものと理解されるべきである。

また、後述する曲面へのイメージ投影方法は、様々なハードウェア及びソフトウェアの連動動作により実現できると理解すべきであろう。例えば、本発明は、複数の投影装置及び前記複数の投影装置と有線または無線にて連結される投影管理装置（サーバ）の連動動作により実現でき、このような連動のほかに、様々なハードウェア及びソフトウェアの連動動作により実現できる。

図１は、曲面の投影面及び複数の投影装置が備えられた上映館において曲面へのイメージ投影方法を概略的に示す図である。

図１に示すように、本発明に係る曲面へのイメージ投影方法は、投影管理装置が、複数の投影装置の投影領域に基づいて投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて複数の投影装置をクラスタリングする第１ステップと、投影管理装置が、前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせる第２ステップと、を含む。

以下、投影装置をクラスタリングする第１ステップと、イメージを曲面の投影領域にマッチングさせる第２ステップとに分けて説明する。

まず、図２乃至図４を参照して、投影装置をクラスタリングする第１ステップについて説明する。

図２は、クラスタリングステップをより細分化したものであり、図２に示すように、クラスタリングステップは、複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定するステップ（Ｓ１０１）と、前記基準投影装置と前記基準投影装置に隣接する投影装置との間の相対的変換情報を演算するステップ（Ｓ１０３）と、を含む。

ステップ（Ｓ１０１）及びステップ（Ｓ１０３）についての本格的な説明に先立って、本ステップでは、まず、クラスタリングされる複数の投影装置の投影領域が部分的に重なるように配列されることを前提としている。上述したように、本発明は、複数の投影装置により一つの投影面にそれぞれのイメージを投影させるが、これらの投影されたイメージが全体的に一つの完成イメージを実現することを目的とする。したがって、図３に示すように、本発明で述べられる複数の投影装置は、投影領域の一部が重なったまま配列されることを前提としている。

この場合、隣接する投影装置の投影領域は、好ましくは、４つの頂点と４本の辺を持つ長四角形状に重なっていてもよい。投影装置間の相対的変換情報を演算するためには、少なくとも４つ以上の点対応情報（ｐｏｉｎｔ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）が必要である。これは、上述のように投影領域の一部が四角形状に重なっていれば、点対応情報を容易に抽出することができるからである。また、重なった投影領域が四角形であれば、重複投影領域を比較的明瞭に特定することができるため、当該領域に対するイメージ補正（例えば、エッジブレンディングやブラックオフセットなど）を容易に行うことができる。しかし、隣接する投影装置の投影領域は、必ずしも特定の幾何学的形状（例えば、長方形）に限定されるものではなく、投影装置の配置状態に応じて様々な形状に重なり合ってもよい。

再びステップ（Ｓ１０１）の説明に戻ると、投影管理装置は、複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定する。この場合、基準投影装置は、特別な条件により限定されるものではなく、前記複数の投影装置のうちから自由に設定されてもよい。

基準投影装置を設定する理由と関連して、平面投影面でのクラスタリングの場合（図３の投影面を平面と仮定した場合）、隣接するＰ１とＰ３、そしてＰ１とＰ２の対応点をマッチングして相対的なホモグラフィを演算すると、演算された２つのホモグラフィを組み合わせることで、Ｐ２とＰ３間の相対的な関係を自動的に取得することができる。しかし、曲面投影面でのクラスタリングの場合、曲面の正確な幾何学的情報を知ることができないため、隣接するすべての投影装置のペアに対して対応点を必ず入力しなければならない。

その結果、平面でのクラスタリングとは異なり、曲面でのクラスタリングの場合には、循環対応関係（例えば、Ｐ１⇔Ｐ２⇔Ｐ３）が生成される。ある一方向への相対的変換情報のみを演算する場合、すなわち、Ｐ１→Ｐ２方向の相対的変換情報のみを演算する場合には、Ｐ２→Ｐ３方向の演算結果に必然的に影響を与えるため、平面のように独立した演算が困難であるという問題がある。本発明では、これを解決するために、基準投影装置を選定した後、すべての投影装置について順次相対的変換情報を演算する。

次に、ステップ（Ｓ１０３）は、基準投影装置と隣接する投影装置間の相対的変換情報を演算するステップである。本発明では、相対的変換情報の演算にＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ、薄板スプライン）を使用する。ＴＰＳは、分散データ内補（Ｓｃａｔｔｅｒｅｄ Ｄａｔａ Ｉｎｔｅｒｐｏｌａｔｉｏｎ、分散データ補間）のために、コンピュータグラフィックス及びコンピュータビジョンにおいて使われる技法の一つである。ＴＰＳは、放射基底関数（ＲＢＦ：ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ、動径基底関数）の形で表現されるので、ユーザによって入力されプロジェクタの重複領域で不規則に生成された対応点（例えば、４つの対応点のマッチング）を効率的に処理することができ、また、ＴＢＳは、グローバルアフィン変換（ＧＡＴ：Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）も計算されるので、重複領域の外側の残りの投影領域を外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）することもできるという利点を有する。

ＧＡＴは、ｎ次元空間における点の対応を表すための関数であって、物体の動きを表すためのモデルの一つである。２次元空間でのＧＡＴは２＊３行列であり、以下のように定義される。

２次元の点に適用されるＧＡＴを用いて、２次元点ｐ＝（ｘ、ｙ）をｐ’＝（ｘ’、ｙ’）に移動させる場合、ｐ’は、以下の通りである。

すなわち、２次元点ｐ＝（ｘ、ｙ）は、ｘ’＝ａ００＊ｘ＋ａ０１＊ｙ＋ａ０２であり、ｙ’＝ａ１０＊ｘ＋ａ１１＊ｙ＋ａ１２であるｐ’＝（ｘ’、ｙ’）に移動する。前述した方法と同様にＧＡＴを用いて全ピクセルを移動させると、投影装置により投影されたイメージが変形し、このため、重複領域の外側の残り投影領域は、外挿、すなわち推定して計算することが可能である。

図４を参照して、投影管理装置が、実際の相対的変換情報を演算する過程について説明する。重複領域内のＣ_ｉ、Ｃ_ｊは、ｎ台の投影装置のうちの基準投影装置とこれに隣接する投影装置との間の対応点として存在するものであり、当然のことながら、これらの対応点の数は、基準投影装置と隣接投影装置との間で同一の「ｍ」である。一方、対応点の数に関しては、従来技術において平面クラスタリングに用いられていた４つの対応点と比較して、曲面クラスタリングには、より多くの対応点が必要となる可能性がある。すなわち、既存の４つの対応点のみを用いたＴＰＳによる曲面幾何学的近似の精度はわずかに低い可能性があり、この問題を解決するために、４つの対応点に加えて、サブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）による追加の対応点を生成することもできる。この場合、追加対応点の座標は、単に周囲の点の平均値を取るだけでよいので、投影領域の区画（メッシュ）をスムーズに維持することができる。

このような状態で、基準投影装置から隣接投影装置への相対的変換情報の演算と、隣接投影装置から基準投影装置への相対的変換情報の演算とは、以下の数式により行われる。

前記式１において、ｘ^ｉは投影装置ｐ^ｉのピクセルの位置を表し、Ｃ^ｉｋは対応点の位置を表し、ＴＰＳ関数を定義するセンター値を意味する。また、ｗ_ｋは、各センター値の加重値を表す。ＴＰＳは、ＲＢＦカーネル関数Φ（ｒ）としてｒ^２＊ｌｏｇ ｒを使用する。

一方、Ａ（ｘ^ｉ）は、ＧＡＴを表し、ｗ_ｋ及びＡは、Ｃ_ｊ＝ＴＰＳ_ｉ→_ｊ（Ｃ_ｉ）に基づいて連立線形方程式を構成した後、最小二乗法（ｌｅａｓｔ ｓｑｕａｒｅ ｓｏｌｖｅｒ）を用いて計算する。最小二乗法は、多数の測定値から最も正確な値に近い値を算出する方法であり、誤差の二乗の和を最小にするために決定する方法である。

４つの頂点を有する対応点メッシュは、以下の通りである。

Ｃ_ｊ＝ＴＰＳ_ｉ→ｊ（Ｃ_ｉ）に基づいて連立線形方程式を構成した後、最小二乗法（ｌｅａｓｔ ｓｑｕａｒｅ ｓｏｌｖｅｒ）を用いて得られた式１のｗ_ｋは、以下の通りである。

Ｃ_ｊ＝ＴＰＳ_ｉ→ｊ（Ｃ_ｉ）に基づいて連立線形方程式を構成した後、最小二乗法（ｌｅａｓｔ ｓｑｕａｒｅ ｓｏｌｖｅｒ）を用いて得られた数式１のＡは、以下の通りである。

投影装置ｉのｘ^ｉが（１０４３．０１、６４０．１３１）である場合には、 相対的変換情報であるｘ^ｊは、数式１により（２１６０．５７、６１１．８３９）と算出される。

一方、ステップ（Ｓ１０３）で基準投影装置と隣接する投影装置との間の相対的変換情報を演算した後、演算結果値であるＴＰＳ_{ｉ→ｒｅｆ}を用いて対応点を基準投影装置の座標に更新する（Ｓ１０５）。すなわち、基準投影装置の制御のみで隣接投影装置の投影領域を制御できるように、相対的変換情報を用いて対応点を基準投影装置に適用させる。

ステップ（Ｓ１０１）〜ステップ（Ｓ１０５）では、基準投影装置及びこれに隣接する投影装置との間で繰り返し行われる。すなわち、基準投影装置を中心に隣接している投影装置に対して、ステップ（Ｓ１０３）とステップ（Ｓ１０５）が繰り返し行われる。

図５は、クラスタリングステップの後の複数の投影装置による投影領域を例示的に示す図である。同図に示すように、最も左側の投影装置は、比較的平面の投影領域を有し、 投影装置は、右側に行くほど曲面になっており、最も右側の投影装置は、主に曲面を多く含む投影領域を有することが分かる。また、左端の投影装置と右端の投影装置との間には、左端の投影装置から右端の投影装置までの投影領域を曲面で滑らかに連結する投影装置が存在することが確認できる。このように、本発明では、非定型曲面に対して、複数の投影装置の投影領域に基づいて相対的変換情報を演算し、これにより複数の投影装置を一つのクラスタとして定義することができる。

以上、図２乃至図５を参照して投影装置をクラスタリングするステップについて説明した。

以下では、図６乃至図８を参照して、第２ステップである、イメージを曲面の投影領域にマッチングさせるステップについて説明する。

図６によれば、第２ステップは、投影装置クラスタにより投影されるイメージの最も外側から任意の数の初期点を抽出するステップ（Ｓ２０１）と、投影されるイメージ内の複数の制御点を設定し、前記複数の制御点を連結することで領域を複数のサブイメージ領域に区画する、いわゆるサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）するステップ（Ｓ２０３）と、前記初期点及び前記制御点を曲面の投影領域の形状にマッチングするように位置を調整するステップ（Ｓ２０５）と、を含む。

図７は、従来の平面投影面を前提としたときのイメージ領域配置方式と、本発明に係る曲面投影面におけるイメージ領域配置方式と、を比較したものである。図７の（ａ）に示すように、平面へのイメージ領域の配置時には、４つの点のみで投影領域とイメージとをマッチングさせることが可能であったが、曲面へのイメージ領域の指定時には、平面のように４点を調整するだけでは不十分である。これは、４つの点によるホモグラフィの推定は、任意の幾何学的曲面に近似していないからである。したがって、これを解決するために、図７の（ｂ）に示すように、より多くの点、すなわち、制御点を活用する必要がある。

ステップ（Ｓ２０１）において、投影管理装置は、既にクラスタリングされた投影装置クラスタについて、当該クラスタの投影領域内の初期点を優先的に把握する。

図７の（ｂ）に示すように、投影管理装置は、イメージ領域の境界を優先的に把握するために、初期点を選択する。この際、初期点は、好ましくは、イメージの最も外側を形成する線分の中から選択することができ、より好ましくは、イメージ領域の頂点をそれぞれの初期点として選択することができる。このように選択された初期点は、イメージ領域とクラスタによる投影領域とをマッチングさせるために基準となる点である。図８の（ａ）には、曲面で構成されたクラスタの投影領域と、これにマッチングするための原本イメージとがそれぞれ示されている。図８の（ｂ）に示すように、イメージの最も外側の初期点を投影領域とマッチングするように調整する。

ステップ（Ｓ２０３）において、投影管理装置は、投影されるイメージ領域内に複数の制御点を配置し、前記複数の制御点を連結することで領域を複数のサブイメージ領域に区画する。これは、いわゆるサブディビジョン（ｓｕｂｄｉｖｉｓｉｏｎ、細分化）を意味するものであり、所定のイメージ領域をサブイメージ領域に細分化するステップである。

図７の（ｂ）は、イメージ内に仮想線を縦横に配置し、その上に複数の制御点を配置した実施形態を示している。この際、制御点は、等間隔で配置されることが好ましい。図８の（ｂ）は、複数の制御点がクラスタの投影領域、すなわち曲面の投影領域とマッチングされるように、その位置が調整された状態を示している。このように、イメージ上に配置された初期点及び制御点を、クラスタの投影領域とマッチングさせるために、その位置を調整することができる。初期点及び制御点の数が多いほど、非定型曲面形状に合わせてより正確にマッチングすることが可能となる。

一方、投影管理装置は、初期点または制御点の位置を調整するとともに、各サブイメージ（ｃｅｌｌ）内に含まれる内部ピクセルの座標を決定する。この場合、座標を決定するためには、バイリニア補間（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）法を用いることが望ましい。これは、曲面の正確な幾何学的形状が未知の状態で各サブイメージセル単位が線形（ｌｉｎｅａｒ）であると仮定すると、他の補間法に比べて最も安定した結果が得られるからである。

バイリニア補間法は、１次元の線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を２次元の線形補間に拡張したものである。

以上、図６乃至図８を参照して、イメージ領域を曲面の投影領域にマッチングさせる第２ステップについて説明した。

一方、本発明に係る投影管理装置は、第１ステップ及び第２ステップのクラスタリング及びイメージ領域マッチングの後にも、追加機能を実行することができ、例えば、投影装置別に微調整を行うことができる。

まず、投影装置別の微調整機能に関連して、投影管理装置は、クラスタリング及びイメージ領域マッチング後の対応点の誤差や投影装置のレンズ歪みに起因する微細なキャリブレーション誤差を補正するために、投影装置別に微調整ステップを行ってもよい。

微調整では、平面微調整方法と曲面微調整方法とで若干の違いがある。

平面微調整の場合には、初期値として４つの初期点または制御点が与えられ、これらの４つの初期点または制御点を調整することによって追加のホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）を用いたキーストーン補正（台形補正）を行うことができる。一方、キーストーン補正により補正するのが難しいレンズ歪みや局所補正は、サブディビジョン（細分化）によって制御点の数を増やすことによって補正される。特に、レンズ歪みなどの非線形補正は、前述の曲面クラスタリングにおいて説明された数式１により行われる。

ホモグラフィは、３次元平面の回転とサイズの変化を表すことができる行列（マトリックス）であり、投影装置がイメージを斜めに投影したときに生じるイメージの歪みを補正するために用いられる。ホモグラフィは３＊３の行列で、以下のように定義される。

２次元点ｐ＝（ｘ、ｙ）にホモグラフィを適用してｐ＝（ｘ、ｙ）をｐ’＝（ｘ’、ｙ’）に移動させる場合、ｘ’とｙ’は以下の通りである。

ｐ’＝（ｘ’、ｙ’）はホモグラフィによって変形された点である。前記方法を全ピクセルに適用して移動させると、投影装置で投影されたイメージが変形する可能性がある。

一方、曲面微調整の場合、投影管理装置は、既にマッチングされて配置されたイメージ領域上に補正用制御点を自動的に生成する。イメージ領域内の補正用制御点が連結されると、各区画領域が生成され、グリッドメッシュが形成される。このようなグリッドメッシュは、前述の「基準投影装置」を基準に配置される。したがって、グリッドメッシュ上の補正用制御点の位置は、以下の数式２のように求められる。

ＴＰＳ_{ｒｅｆ→ｉ}（基準投影装置から投影装置Ｐｉへのマッピング関数）は、前述の第１ステップで説明した相対的変換情報の演算結果である。各投影装置に対して、個々の投影領域内のサブディビジョンによるサブイメージ領域（ｃｅｌｌ）の補正用制御点は、前記数式２によって決定されてもよい。その結果、各投影装置に対しては、クラスタの投影領域に配置された制御点（またはグリッドメッシュ）の一部を、補正用制御点（または補正用グリッドメッシュ）として取っても良い。

以上、投影管理装置が曲面の投影面にイメージを投影するまでの過程について説明した。以下では、図９乃至１０を参照して、本発明の一実施形態に係る曲面へのイメージ投影システムについて説明する。

後述する曲面へのイメージ投影システムは、前述した「曲面へのイメージ投影方法」を実現するための例示的なシステムであり、したがって、たとえカテゴリは異なるとしても、前記「曲面へのイメージ投影方法」に関連して上述した特徴は、後述する曲面へのイメージ投影システムにも当然類推適用することができる。

図９を参照すると、本発明の一実施形態に係る曲面へのイメージ投影システムは、２つ以上の投影装置クラスタと、前記２つ以上の投影装置クラスタの動作を制御及び管理する投影管理装置と、を含んでいてもよい。

前記２つ以上の投影装置クラスタは、上映館に設けられる多数の投影装置がグループ化されてなる構成要素である。ここで、各投影装置クラスタは、各集団別に複数の投影装置１００を含んでいてもよい。

前記上映館に設けられる多数の投影装置をグループ化する過程は、様々な方法で実行してもよいが、好ましくは、前記上映館に形成される投影面情報に基づいて多数の投影装置をグループ化してもよい。例えば、上映館が複数の投影面を有する多面上映館であり、上映館内部に「正面投影面、左側面投影面、右側面投影面、天井投影面、底面投影面」が形成されるとすると、上映館に設けられる多数の投影装置は、「正面投影面に映像を投影する集団、左側面投影面に映像を投影する集団、右側面投影面に映像を投影する集団、天井投影面に映像を投影する集団、底面投影面に映像を投影する集団」にグループ化されてもよい。すなわち、特定の投影面に映像を同時に投影する複数の投影装置を一つの集団（Ｃｌｕｓｔｅｒ：クラスタ）にグループ化してもよい。

図９は、上映館に設けられる多数の投影装置を３つの集団（クラスタＡ、クラスタＢ、クラスタＣ）にグループ化した例を示している。この場合、前記３つの集団は、様々な方法で形成されてもよいが、好ましくは、前述したように上映館に形成される投影面の情報に基づいて形成されてもよい。例えば、クラスタＡは、左投影面に映像を投影する投影装置をグループ化して形成し、クラスタＢは、正面投影面に映像を投影する投影装置をグループ化して形成し、クラスタＣは、右側投影面に映像を投影する投影装置をグループ化して形成してもよい。

前記投影管理装置は、前記２つ以上の投影装置クラスタを制御し、管理する構成要素である。具体的には、前記投影管理装置は、上映館に設けられる多数の投影装置を集団（クラスタ）単位で制御したり、各投影装置を個別に制御したりすることが可能である。

一方、前記投影管理装置は、様々な電子装置の形態で実現されてもよい。一つの電子装置として実現されてもよく、種々の電子装置が相互に連結された形態で実現されてもよい。例えば、前記投影管理装置は、一つのサーバ（ｓｅｒｖｅｒ）装置を含む形態で実現されてもよく、２つ以上のサーバが相互に連結された形態で実現されてもよい。また、前記投影管理装置は、サーバと他の電子装置とが相互に連結された形態で実現されてもよく、サーバ以外の他の電子装置によって実現されてもよい。また、前記投影管理装置は、ユーザインタフェースのための入力装置及び出力装置を含む形態で実現されてもよい。

以下、図１０を参照して、前記投影管理装置に含まれる詳細な構成要素の例について説明する。

図１０に示すように、前記投影管理装置は、演算部１１００、記憶部１２００、投影装置管理部１３００、通信部１４００、ユーザインタフェース部１５００、カメラ部１６００、及び制御部１７００などの構成要素を含んでいてもよく、このような構成要素に加えて、投影装置クラスタを管理するための様々な構成要素をさらに含んでいてもよい。

演算部１１００は、前記２つ以上の投影装置クラスタに対して、各集団（クラスタ）別に投影装置の相対的変換情報を演算し、管理する構成要素である。

演算部１１００は、各集団（クラスタ）に対して、各集団に含まれる複数の投影装置の投影領域が重なった状態で、各集団の基準投影装置と残りの投影装置との間の相対的変換情報を演算することができる。

各投影装置間の相対的変換情報を演算する過程については前述したので、以下では詳細な説明を省略する。

前記記憶部１２００は、本発明に係る曲面へのイメージ投影システムに関する様々な情報を保存する構成要素である。特に、前記記憶部１２００は、演算部１１００により生成される相対的変換情報を保存することができ、データベース（ＤＢ）化することができる。この場合、前記記憶部１２００は、集団（クラスタ）単位で識別子を付与して相対的変換情報をＤＢ化することができ、各集団に含まれる個々の投影装置にも識別子を付与して変換情報をＤＢ化することができる。

また、前記記憶部１２００は、前述した様々なデータを一時的または恒久的に保存してもよいし、各種メモリ（Ｍｅｍｏｒｙ）素子を含む形態で構成されてもよい。

前記投影装置管理部１３００は、前記２つ以上の投影装置集団に含まれる多数の投影装置の動作を制御する構成要素である。具体的には、前記投影装置管理部１３００は、上映館に設けられる各投影装置のレンズやボディなどを制御することができ、この制御により各投影装置の投影方向を制御する構成要素である。

前述したように、前記演算部１１００が各集団（クラスタ）に対して相対的変換情報を演算するためには、各集団に含まれる投影装置の投影領域が互いに重なった状態で配置（隣接する投影装置の投影領域が、好ましくは、四角形状に重なった状態で配置）される必要があり、前記投影装置管理部１３００の動作によりこのような配置状態が制御されてもよい。

一方、前記投影装置管理部１３００は、様々な情報に基づいて各集団（クラスタ）に含まれる投影装置を制御してもよい。例えば、前記投影装置管理部１３００は、前記ユーザインタフェース部１５００を介して入力される情報、前記カメラ部１６００により生成される情報、前記通信部２４０を介して伝えられる情報などに基づいて前記投影装置の動作を制御することができる。また、前記投影装置管理部１３００は、これらの情報を複合的に考慮して、投影装置の投影方向を制御することもでき、このような動作により制御の精度をさらに高めることもできる。

前記通信部１４００は、システムの動作に関わる様々な情報を送受信するための構成要素である。前記投影管理装置は、このような通信部１４００を介して、上映館に設けられる多数の投影装置、多数の上映装備、ユーザ端末、外部のサーバ装置などと有線または無線で接続可能であり、システム運営に必要な様々な情報を送受信することができる。

一方、前記通信部１４００は、各種の有線または無線の送受信モジュール（Ｔｒａｎｓｃｅｉｖｅｒ：トランシーバ）を含み得、様々な通信規格の有線通信網または無線通信網を介してデータを送受信することができる。

前記ユーザインタフェース部１５００は、ユーザとインタフェースする環境を実現する構成要素である。斯かる前記ユーザインタフェース部１５００は、様々な入力装置、ディスプレイ装置、音声出力装置などを含み得、ユーザからシステム制御に基礎となる情報の入力を受けたり、システムに関連する様々な情報を提供したりすることができる。

一方、前記投影装置管理部１３００が、前記ユーザインタフェースを介して入力される情報に基づいて投影装置の動作を制御する場合、前記ユーザインタフェース部１５００は、重複投影領域の識別に役に立つ様々な視覚機能を実現することができる。例えば、前記ユーザインタフェース部１５００は、重複投影領域を形成する２つの隣接する投影装置の投影領域のみ表示し、残りの投影装置の投影領域は表示しない機能、隣接する投影装置の投影領域を互いに異なる色（例えば、青、赤）で表示する機能、重複投影領域の対応点を視覚的に表示する機能などを実現することができる。

前記カメラ部１６００は、上映館内部に設けられ、上映館内部の様々な視覚情報を感知（Ｓｅｎｓｉｎｇ）したり、感知された視覚情報を映像化したりする構成要素である。斯かる前記カメラ部１６００は、様々なカメラモジュールを含み得る。

特に、前記カメラ部１６００は、上映館に設けられる各投影装置が映像を投影する投影領域を認識することができ、且つ、隣接する２つ以上の投影装置が形成する重複投影領域を視覚的に認識することができる。さらに、カメラ部１６００は、このような情報を前記投影装置管理部１３００に伝達して、投影装置の動作を制御するための基礎情報として活用できるようにする。

前記制御部１７００は、前記演算部１１００、前記記憶部１２００、前記投影装置管理部１３００、前記通信部１４００、前記ユーザインタフェース部１５００、前記カメラ部１６００を含む前記投影管理装置の様々な構成要素の動作を個別にまたは複合的に制御する構成要素である。

斯かる前記制御部１７００は、少なくとも一つの演算手段を含んでいてもよい。この場合、前記演算手段は、汎用中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよいが、ある特定用途向けのプログラマブルデバイス （ＣＰＬＤ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、オンデマンド半導体演算装置（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）またはマイクロコントローラチップであってもよい。

以上で説明した本発明の実施形態は、例示の目的のために開示されたものであり、 これらによって本発明が限定されるものではない。また、本発明の技術分野における通常の知識を有する者であれば、本発明の思想と範囲内で様々な修正及び変更が可能であり、このような修正及び変更は本発明の特許請求の範囲に属するものであると理解されるべきである。

Claims (15)

1. 投影管理装置が、複数の投影装置を用いて曲面にイメージを投影する方法において、
   （ａ）前記複数の投影装置の投影領域に基づいて投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて前記複数の投影装置をグループ化して投影装置クラスタを生成するステップと、
   （ｂ）前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるステップと、
   を含むことを特徴とする曲面へのイメージ投影方法。
2. 前記複数の投影装置のうちの任意の投影装置がイメージを投影可能な曲面の投影領域と、前記任意の投影装置に隣接する投影装置の投影領域とが、部分的に重なることを特徴とする請求項１に記載の曲面へのイメージ投影方法。
3. 前記（ａ）ステップは、
   （ａ−１）前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定するステップと、
   （ａ−２）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれる投影装置との間の相対的変換情報を演算するステップと、
   を含むことを特徴とする請求項２に記載の曲面へのイメージ投影方法。
4. 前記（ａ−２）ステップでは、
   前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において、前記基準投影装置の投影領域から対応点（Ｃ_ｉ）を抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点（Ｃ_ｊ）を抽出し、
   前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする請求項３に記載の曲面へのイメージ投影方法。
5. 前記相対的変換式は、
   であり、
   式中、ｘ^ｉは基準投影装置のピクセル位置であり、Ｃ^ｉ _ｋは対応点メッシュの各頂点（ｖｅｒｔｅｘ）の位置であり、ｗ_ｋは加重値であり、Ａ（ｘ^ｉ）は大局的アフィン変換（ＧＡＴ；Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であることを特徴とする請求項４に記載の曲面へのイメージ投影方法。
6. （ａ−３）前記基準投影装置と、前記基準投影装置に隣接する投影装置のうちで前記投影装置クラスタに含まれていない投影装置間との間の相対的変換情報を演算するステップをさらに含むことを特徴とする請求項３に記載の曲面へのイメージ投影方法。
7. 前記（ｂ）ステップは、
   （ｂ−１）前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出するステップと、
   （ｂ−２）複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで複数のサブイメージ領域に区画するステップと、
   （ｂ−３）前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせるステップと、
   を含むことを特徴とする請求項１に記載の曲面へのイメージ投影方法。
8. 前記（ｂ−３）ステップは、
   バイリニア補間法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて行われることを特徴とする請求項７に記載の曲面へのイメージ投影方法。
9. 前記初期点は、前記投影されるイメージの最も外側の頂点であることを特徴とする請求項７に記載の曲面へのイメージ投影方法。
10. 前記複数の制御点は、等間隔で配置されることを特徴とする請求項７に記載の曲面へのイメージ投影方法。
11. 上映館内に備えられた複数の投影装置間の相対的変換情報を演算し、前記相対的変換情報に基づいて複数の投影装置をグループ化して投影装置クラスタを生成し、前記投影装置クラスタにより投影されるイメージを上映館内の投影領域にマッチングさせる投影管理装置と、
    上映館内の投影領域にイメージを投影する複数の投影装置と、
    を含むことを特徴とする曲面へのイメージ投影システム。
12. 前記投影管理装置は、前記複数の投影装置のうちのいずれか一つの投影装置を基準投影装置と設定し、前記基準投影装置に隣接する投影装置間の相対的変換情報を演算することを特徴とする請求項１１に記載の曲面へのイメージ投影システム。
13. 前記投影管理装置は、
    前記基準投影装置の投影領域と前記基準投影装置に隣接する投影装置の投影領域とが部分的に重なる重複領域内において、前記基準投影装置の投影領域から対応点Ｃ_ｉを抽出し、前記基準投影装置に隣接する投影装置の投影領域から対応点Ｃ_ｊを抽出し、前記対応点を相対的変換式に代入することで前記相対的変換情報を演算することを特徴とする請求項１１に記載の曲面へのイメージ投影システム。
14. 前記相対的変換式は、
    であり、
    式中、ｘ^ｉは基準投影装置のピクセル位置であり、Ｃ^ｉ _ｋは対応点メッシュの各頂点（ｖｅｒｔｅｘ）の位置であり、ｗ_ｋは加重値であり、Ａ（ｘ^ｉ）は大局的アフィン変換（ＧＡＴ；Ｇｌｏｂａｌ Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であることを特徴とする請求項１３に記載の曲面へのイメージ投影システム。
15. 前記投影管理装置は、
    前記投影装置クラスタにより投影されるイメージを曲面の投影領域にマッチングさせるが、前記投影装置クラスタにより投影されるイメージの最も外側の任意数の初期点を抽出し、複数の制御点を前記投影されるイメージ内に配置し、前記複数の制御点を連結することで前記イメージを複数のサブイメージ領域に区画し、前記初期点及び前記制御点を曲面の投影領域の形状にマッチングさせることを特徴とする請求項１１に記載の曲面へのイメージ投影システム。