JP2021118465A - 制御装置、投影制御方法、投影システム、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】 マルチ投影を行う際、撮像装置を用いずに、減光処理の設定を簡単に行うことが可能な制御装置、投影システムを提供することを目的とする。【解決手段】 本発明の制御装置は、部分画像に対して減光処理を適用して画像を投影する複数の投影装置１００と、画像から複数の部分画像を生成する出力装置１１０と、を制御する制御装置１２０であって、出力装置１１０は、画像から抽出した領域に対して幾何補正処理を適応して部分画像を生成し、制御装置１２０は、画像においてあらかじめ設定された重畳領域の位置および大きさと、出力装置１１０が適用した幾何補正処理に関する情報と、に基づいて各投影装置１００が部分画像に対して減光処理を適用する領域の位置および大きさを制御するシステム制御部２３１を有することを特徴とする。【選択図】 図１

Description

本発明は、マルチ投影で画像を表示する投影システムにおける制御装置、投影制御方法、投影システム、プログラム、および記憶媒体に関する。

複数の投影装置からスクリーンに投影した複数の投影画像の少なくとも一部を重ねて、１つの画像を投影する投影（マルチ投影）システムがある。このような投影システムでは、他の投影画像と重なる投影画像の領域（重畳領域）に対して減光処理（エッジブレンド処理）を適用する。減光処理は、投影画像内の減光する領域を適切に指定して処理を施すことで、他の投影装置の投影画像と間の境目を目立たないようにすることが出来る。

また、投影画像に対して幾何学補正を施す場合もある。幾何学補正を施すと、平面や曲面のスクリーンに投影画像の形状を合わせて投影することが出来る。

特許文献１には、複数の投影装置を並べて、大画面を構成する画像投影装置が開示されている。特許文献１の表示装置は、撮像装置によって取得した画像に基づき、形状、輝度の調整を行い、投影面上でシームレスな画像を表示する技術が開示されている。

特開２０１３−２４７６０１号公報

しかしながら、上述の特許文献１に開示された技術では、エッジブレンド処理の設定のために撮像装置が必要となる。したがって、ユーザーは、マルチ投影システムを設置するために調整用の撮像装置を準備する必要があった。

本発明は、マルチ投影を行う際、撮像装置を用いずに、減光処理の設定を簡単に行うことが可能な制御装置、投影システムを提供することを目的とする。

上記目的を達成するために、本発明の一の形態は、入力画像に対して減光処理を適用して画像を投影する複数の投影装置と、第１画像から前記複数の投影装置各々に対する入力画像として複数の第２画像を生成する出力装置と、を制御する制御装置であって、前記出力装置は、前記第１画像から各第２画像に対応する領域を抽出し、各々の領域に対して幾何補正処理を適応して前記第２画像を生成し、前記制御装置は、前記第１画像において前記複数の投影装置が投影する複数の画像に共通する重畳領域の位置および大きさと、前記出力装置が前記領域に対して適用した前記幾何補正処理に関する情報と、に基づいて各投影装置が前記第２画像に対して減光処理を適用する領域の位置および大きさを制御する制御手段を有することを特徴とする制御装置。

本発明の制御装置、投影システムによれば、マルチ投影を行う場合に、簡単な構成で、複数の投影画像が重ね合わされた領域において、減光処理の設定を簡単に行うことが可能になる。

マルチ投影システムの構成図である。 投影システムにおける投影装置とスクリーンとの関係を示す上面図である。 投影装置、出力装置、および制御装置の各機能ブロックを示す模式図である。 投影装置の画像処理部の機能ブロックを示すブロック図である。 減光処理部が適用する減光処理について示す模式図である。 出力装置の画像処理部の機能ブロックを示す模式図である。 元画像と部分画像との関係を示す模式図である。 幾何補正処理部が実行する幾何補正処理における画素の補間方法を示す模式図である。 コンテンツ領域と重畳領域、減光領域の関係を示す模式図である。 投影システムにおける位置調整フローを示すフローチャートである。 格子点パターンの一例を示す模式図である。 表示部に表示される位置調整アプリケーションのＧＵＩを示す模式図である。 格子点の移動先を示す模式図である。 投影装置の減光処理へ設定する値の求め方を示す模式図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、マルチ投影システムの構成図である。

マルチ投影システムは、投影装置１００ａ、投影装置１００ｂ、出力装置１１０、制御装置１２０、およびＬＡＮハブ１３０を有する。マルチ投影システムは、投影装置１００ａがスクリーン１４０に投影した投影画像１０１ａの重畳領域と、投影装置１００ｂがスクリーン１４０に投影した投影画像１０１ｂの重畳領域とを重ねて、１つの画像を投影する。スクリーン１４０は、投影装置１００ａおよび投影装置１００ｂに向けて凹型の曲面を有するスクリーンであるとする。図１において、重畳領域が重なる領域は、ハッチングで示された領域である。

投影装置１００ａ、１００ｂは、共通の構成を有する投影装置（プロジェクタ）である。以降、それぞれの投影装置の個別の機能や動作に関して説明する場合、投影装置１００ａ、１００ｂと表記する。一方、投影装置１００ａ、１００ｂの両方に共通する機能や動作に関して説明する場合には、投影装置１００と表記する。

投影装置１００は、出力装置１１０から出力された画像に基づいて、スクリーン１４０に投影画像を投影する。また、投影装置１００は、制御装置１２０から入力された制御信号に基づいて、画像の重畳領域に対して減光処理を適用する。

出力装置１１０は、投影装置１００に画像データを出力する出力装置である。出力装置１１０は、マルチ投影システムが投影する画像（元画像）のうち、各投影装置１００が投影する部分を切り出した画像（部分画像）を生成し、各部分画像を各投影装置１００に出力する。出力装置１１０は元画像から、各投影装置１００が画像を投影するために用いる部分画像に対応する領域を抽出し、部分画像を生成する。

出力装置１１０は、メディアサーバーであるとする。出力装置１１０は、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、画像を出力可能な装置であればよい。出力装置１１０が生成する複数の部分画像は、それぞれ他の部分画像と共通する部分（重畳領域）を有する。投影装置１００は部分画像の重畳領域に対して減光処理を適用する。

また、出力装置１１０は、スクリーン１４０上で、元画像が所定の形状で投影されるように、各部分画像にあらかじめ幾何補正処理を適用する。

制御装置１２０は、投影装置１００ａ、１００ｂ、および出力装置１１０をＬＡＮ経由で制御するＰＣである。制御装置１２０、投影装置１００ａ、１００ｂ、および出力装置１１０はＬＡＮハブ１３０を介して接続されている。制御装置１２０は、タブレット等であってもよい。制御装置１２０は、出力装置１１０の施す幾何補正処理の変形に応じて、各投影装置１００が重畳領域に適用する減光処理の対象範囲を決定する。制御装置１２０は、決定した減光処理の対象範囲を示す情報を、各投影装置１００に出力する。制御装置１２０は、投影装置１００の投影制御を行う制御装置である。

ＬＡＮハブ１３０は、投影装置１００ａ、投影装置１００ｂ、出力装置１１０および制御装置１２０の間の通信を制御するハブ端末である。投影装置１００ａ、投影装置１００ｂ、出力装置１１０および制御装置１２０はそれぞれ、ＬＡＮハブ１３０に有線ＬＡＮを介して接続するとする。なお、投影装置１００ａ、投影装置１００ｂ、出力装置１１０および制御装置１２０はそれぞれとＬＡＮハブ１３０との接続の一部もしくはすべては、無線ＬＡＮを介して実行してもよい。

図２は、投影システムにおける投影装置１００ａ、１００ｂと、スクリーン１４０との関係を示す上面図である。スクリーン１４０は、一定曲率を有する曲面スクリーンである。また、スクリーン１４０は、投影装置１００の投影方向に対して凸形状の面であるとする。

図３は、投影システムの投影装置１００ａ、１００ｂ、出力装置１１０、および制御装置１２０の各機能ブロックを示す模式図である。なお、投影装置１００ｂの構造は、投影装置１００ａの構造と同様であるので、説明を省略する。

投影装置１００は、入力部２０１、通信部２０２、制御部２０３、画像処理部２０４、駆動部２０５、操作部２０６、ＲＯＭ２０７、光源２０８、照明光学系２０９、液晶表示素子２１０、および投影光学系２１１を備える。

入力部２０１は、出力装置１１０から入力される画像を入力する入力インタフェースである。入力部２０１は、入力端子と、入力された画像を投影装置１００の各機能ブロックが処理可能な形式に変換する処理部と、を備える。

入力部２０１は、例えば、コンポジット、コンポーネント、ＤＶＩ−Ｄ、ＨＤＭＩ（登録商標）などを有する構成としてもよい。など、どのようなものであってもよい。さらには、ＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。入力部２０１は、受信した画像を画像処理部２０４へ出力する。

通信部２０２は、外部機器との通信データを送受信する通信インターフェースである。通信部２０２は、ＬＡＮハブ１３０を介して、出力装置１１０、制御装置１２０、投影装置１００ｂと通信を行うことができる。通信部２０２が対応可能な通信方式は。有線、無線何れでもでもよい。通信部２０２は、制御装置１２０から制御信号を受信する。

制御部２０３は、投影装置１０内の各部の動作を制御するプロセッサである。制御部２０３は、例えばマイコン、ＣＰＵ等からなる。制御部２０３は、通信部２０２や、操作部２０６から入力された制御信号を受信して、投影装置１００の各機能ブロックを制御する。

画像処理部２０４は、入力部２０１から取得した画像に、拡大縮小処理、色変換処理、ダイナミックレンジ変換処理、変形処理および減光処理（エッジブレンド処理）などの画像処理を適用する処理回路である。画像処理部２０４は、例えば、画像処理用のマイクロプロセッサ（ＧＰＵ）であるとする。

画像処理部２０４は、マルチ投影の際に、重畳領域とそれ以外の領域（非重畳領域）の黒輝度レベルを合わせるための黒レベル補正処理などの処理を実行可能である。

画像処理部２０４は、入力部２０１から取得した画像以外にも、制御部２０３によって再生された画像に対して前述の画像処理を適用することもできる。

画像処理部２０４は、制御部２０３からの指示に基づき、ＧＵＩのような任意のＯＳＤやテストパターンを受信した画像に重畳して出力することもできる。詳細は後述する。

液晶駆動部２０５は、画像処理部２０４から出力された画像に基づいて、液晶表示素子２１０の画素の光変調素子に印加する電圧を制御して、液晶表示素子２１０の光変調率を制御する。

操作部２０６は、ユーザーの指示を受け付け、制御部２０３に指示信号を送信する。操作部２０６は、投影装置１００に設けられたスイッチ、ダイヤル、カーソルボタンなどであるとする。また、操作部２０６としてタッチパネルを有していてもよい。操作部２０６は、例えば、リモコンなどの遠隔操作装置から信号を受信する受信部を有し、受信した信号に基づいて制御信号を制御部２０３に送信するものであってもよい。

ＲＯＭ２０７は、制御部２０２により使用されるプログラム等のデータを記憶する記憶媒体である。

光源２０８は、液晶表示素子２１０に光を供給するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプ、レーザー、ＬＥＤ、蛍光体、またそれらを組み合わせたものであっても良い。

照明光学系２０９は、光源１０８から発せられた光を平行化して光束として出力し、液晶表示素子２１０に供給する。

液晶表示素子２１０は１枚あるいは複数枚で構成され、液晶表示素子２１０上に画像が形成される画像形成デバイスである。なお、デジタルマイクロミラーデバイス（ＤＭＤ）を表示素子として用いる構成としてもよい。液晶表示素子２１０が画像を形成可能な領域を、画像形成領域と呼ぶ。本実施形態において液晶表示素子２１０の画像形成領域は、矩形の領域であるとする。

投影光学系２１１は、液晶表示素子２１０から出力された光（投影画像）をスクリーン１４０に投影する光学系である。投影光学系２１１は、複数のレンズと、レンズを操作する駆動部を有する。

出力装置１１０は、制御部２２１、通信部２２２、記憶部２２３、画像処理部２２４、および出力部２２５、操作部２２６を備える。

制御部２２１は、出力装置１１０内の各部の動作を制御するプロセッサである。制御部２２１は、例えばマイコン、ＣＰＵ等からなる。制御部２２１は、制御装置１２０から通信部２２２を介して入力された制御信号を受信して、出力装置１１０の各動作ブロックを制御する。

通信部２２２は、外部機器との通信データを送受信する通信インターフェースである。通信部２２２は、ＬＡＮハブ１３０を介して、投影装置１００ａ、投影装置１００ｂ、および制御装置１２０と通信することが可能である。なお、通信部２２２の通信方式は有線、無線何れでもでもよい。通信部２２２は、制御装置１２０から制御信号を受信する。出力装置１１０は、制御装置１２０から受信する制御信号に基づいて、制御部２２１が処理を実行することによって、動作する。

記憶部２２３は、投影装置１００が投影する投影画像のもととなる元画像を格納する記憶媒体である。記憶部２２３は、通信部２２２を介して送信されてきた映像コンテンツを元画像として格納する。記憶部２２３は、制御部２２１の指示に基づいて、元画像を画像処理部２２４へ出力する。記憶部２２３は、例えば、ＳＳＤやＨＤＤといった不揮発性の記憶媒体である。

画像処理部２２４は、記憶部２２３から読み出した元画像から各投影装置１００に出力する部分画像を生成する画像処理回路である。画像処理部２２４は記憶部２２３から入力されてきた元画像のうち、各投影装置１００が投影する投影画像に対応する領域を切り出して部分画像を生成する。画像処理部２２４は、元画像、もしくは部分画像に対して解像度変換、画像分割処理、色補正、幾何補正処理を行うことも可能である。

出力部２２５は、画像処理部２２４が生成した部分画像を対応する投影装置１００に出力する。

操作部２２６は、ユーザーの指示を受け付け、制御部２２１に指示信号を送信する。操作部２２６は、出力装置１１０に設けられたスイッチ、ダイヤル、カーソルボタンなどであるとする。また、操作部２２６としてタッチパネルを有していてもよい。操作部２２６は、例えば、リモコンなどの遠隔操作装置から信号を受信する受信部を有し、受信した信号に基づいて制御信号を制御部２２１に送信するものであってもよい。

制御装置１２０は、制御部２３１、操作部２３２、通信部２３３、投影条件取得部２３４、減光領域決定部２３５、ＲＯＭ２３６、ＲＡＭ２３７、および表示制御部２３８を有する。

制御部２３１は、制御装置１２０内の各部の動作を制御するプロセッサである。制御部２３１は、例えばマイコン、ＣＰＵ等からなる。制御部２３１は、ＲＯＭ２３６に格納しているプログラムを実行し、制御装置１２０の各動作ブロックを制御する。制御部２３１は、操作部２３２から入力された制御信号を受信して、制御装置１２０の各動作ブロックを制御する。

操作部２３２は、ユーザーからの指示を受け付け、制御部２３１に制御信号を送信する。操作部２３２は、例えば、キーボードやマウス、ダイヤル、ボタン、およびタッチパネルなどの少なくともいずれかをからなる。

通信部２３３は、外部機器との通信データを送受信する通信インターフェースである。通信部２３３は、ＬＡＮハブ１３０を介して、出力装置１１０、および投影装置１００ａ、１００ｂと通信を行うことができる。通信部２３３が対応可能な通信方式は。有線、無線何れでもでもよい。通信部２３３を介して、制御装置１２０から出力装置１１０、および投影装置１００ａ、１００ｂへ制御信号が送信される。

投影条件取得部２３４は、元画像に対する重畳領域を、操作部２３２を介してユーザー入力から取得し、ＲＡＭ２３７に格納する。そして出力装置１１０から通信部２３３を介して、元画像に対する重畳領域の幾何学補正情報を取得し、ＲＡＭ２３７に格納する。

減光領域決定部２３５は、投影条件取得部２３４が取得した元画像に対する重畳領域の幾何学補正情報から、投影装置１００へ設定する減光領域の範囲を決定する。減光領域決定部２３５が決定した減光領域を示す情報（減光領域情報）は、ＲＡＭ２３７に格納される。

ＲＯＭ２３６は、制御部２３１が実行するプログラム、各種設定データ、およびテーブルを記憶する記憶媒体である。ＲＯＭ２３６は、出力装置１１０が部分画像に対して幾何補正処理を適用するために用いる変形情報および投影装置１００の減光領域を決定するためのアプリケーションを格納する。

ＲＡＭ２３７は、一時的なデータやテーブルを記憶する記憶媒体である。ＲＡＭ２３７は、出力装置１１０が部分画像に対して幾何補正処理を適用するために用いる変形情報および投影装置１００の減光領域をそれぞれ格納する。

表示制御部２３８は、液晶ディスプレイ等の表示部に、ユーザーが制御装置１２０や出力装置１１０、投影装置１００ａ、１００ｂの制御を行うために用いるＧｕｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ画像（ＧＵＩ画像）を表示させる制御部である。表示部は、制御装置１２０が有していてもよいし、制御装置１２０の外部に設けられていてもよい。

図４は、投影装置１００の画像処理部２０４の機能ブロックを示すブロック図である。

画像処理部２０４は、解像度変換部４０１、色補正部４０２、減光処理部４０３、設定部４０４、および出力部２０５を有する。

解像度変換部４０１は、入力された部分画像の解像度を、あらかじめ設定された解像度へ変換する解像度変換処理を実行する。解像度変換部４０１は、解像度変換処理が適用された部分画像を色補正部４０２に出力する。設定された解像度は、例えば、液晶表示素子２１０の解像度であるとする。ここで、解像度は、画像の画素数の意味である。

液晶表示素子２１０の解像度が１９２０×１０８０であり、入力された部分画像の解像度が１２８０×７２０であるとする。この場合、解像度変換部４０１は、入力された部分画像を縦横共に１．５倍に拡大して、１９２０×１０８０の解像度を有する画像に変換する。このように液晶表示素子の解像度と入力された部分画像の解像度のアスペクト比が同じ場合には単純に拡大すればよい。

入力された部分画像の解像度が１０２４×７６８である場合、部分画像のアスペクト比が液晶表示素子のアスペクト比と異なる。この場合、解像度変換部４０１は、縦もしくは横の幅の比に合わせて拡大した部分画像を中央に配置し、周辺の余った画素については黒画像を付加する。

色補正部４０２は、カラーマトリクス変換、クロマ処理、ガンマ処理、シャープネス、色空間変換などの色補正処理を解像度変換部４０１から取得した部分画像に適用する。色補正部４０２は、色補正処理が適用された部分画像を減光処理部４０３へ出力する。

減光処理部４０３は、設定部４０４から取得した減光領域情報に基づいて、色補正部４０２から取得した部分画像の重畳領域に対して、減光処理を適用する。

図５は、減光処理部４０３が適用する減光処理について示す模式図である。

図５（ａ）は、投影装置１００ａに対して設定されたブレンドカーブを示す模式図である。図５（ａ）において、横軸は画像の水平方向の位置を示す。投影装置１００ａの投影画像１０１ａが投影画像１０１ｂと隣接する方向における位置であるともいえる。縦軸は、減光処理部４０３が画像に適用するゲインを示す。

図５（ａ）に示すように、投影装置１００ａに対して設定されたブレンドカーブでは、画像の重畳領域の始端（画像の端部）から終端（重畳領域の左側の端部）にかけてゲインが小さくなる。図５（ａ）に示したブレンドカーブは、重畳領域の始点から終端にかけてゲインが線形に変化するように設定される。すなわち、減光処理を施す重畳領域の座標は始端のゲインを０、終端のゲインを１とし、重畳領域の中央のゲインが０．５となる。

図５（ｂ）は、投影装置１００ｂに対して設定されたブレンドカーブを示す模式図である。

図５（ｂ）に示すように、投影装置１００ｂに対して設定されたブレンドカーブでは、画像の重畳領域の始端（画像の端部）から終端（重畳領域の右側の端部）にかけてゲインが小さくなる。図５（ｂ）に示したブレンドカーブは、重畳領域の始点から終端にかけてゲインが線形に変化するように設定される。すなわち、減光処理を施す重畳領域の座標は始端のゲインを０、終端のゲインを１とし、重畳領域の中央のゲインが０．５となる。

図５（ｃ）は、図５（ａ）、（ｂ）で示されたブレンドカーブを適用された画像に基づいて各投影装置１００が画像を投影した場合におけるスクリーン１４０上の画像の輝度を示す。ここで、出力装置１２０から出力された各部分画像の輝度は一定であるとする。

重畳領域に対して減光処理を適用された部分画像に基づいて投影画像を投影した場合に、スクリーン１４０上において重畳領域を含めた投影画像の全体が一定の輝度で投影されるように、図５（ａ）、（ｂ）で示されたブレンドカーブがあらかじめ設定される。言い換えれば、投影画像１０１ａと投影画像１０１ｂとが重なった領域（重畳領域）の明るさが、投影画像１０１ａと投影画像１０１ｂとのの重畳領域以外の部分の明るさと均一になるようにブレンドカーブが設定されている。

設定部４０４は、制御装置１２０から受信した減光領域情報に基づいて、減光処理部４０３で施す減光領域情報を設定する。設定部４０４は、減光領域情報を減光処理部４０３へ出力する。具体的には図３（ａ）（ｂ）に示すようなカーブを算出設定する。このカーブは制御装置１２０から受信した減光領域情報に基づき設定される。

出力部４０５は、減光処理部４０４から取得した部分画像、および、制御部２０２から受信したパターン情報に基づいて決定されたパターン画像のいずれかを駆動部２０５に出力する。パターン画像は、例えばラスター画像やランプ画像、カラーバーなどのテストパターンである。出力部４０５は、制御部２０２から受信した制御信号に基づいて、減光処理部４０４から取得した部分画像、および、パターン画像のどちらを出力するかを決定する。

図６は、出力装置１１０の画像処理部２２４の機能ブロックを示す模式図である。

画像処理部２２４は、解像度変換部６０１、部分画像生成部６０２、色補正部６０３、パターン生成部６０４、幾何補正処理部６０５、およびフレームメモリ６０６を有する。

解像度変換部６０１は、記憶部２２３から取得した元画像の解像度を、あらかじめ設定された解像度の画像に変換する。

部分画像生成部６０２は、解像度変換部６０１から出力された元画像に基づいて、投影装置１００ａ、および投影装置１００ｂへ出力する部分画像を生成する。

図７は、元画像と部分画像との関係を示す模式図である。

画像７０１は、元画像を示す。部分画像生成部６０２は、画像７０１から各部分画像が重畳領域を共通部分として含むように、各部分画像を切り出す。画像７０２は、投影装置１００ａに出力されるための部分画像である。画像７０３は、投影装置１００ｂに出力されるための部分画像である。

部分画像生成部６０２は、通信部２２２を介して制御装置１２０において投影条件取得部２３４が取得した元画像に対する重畳領域を取得し、重畳領域の始端と終端との位置に基づいて各部分画像の切り出し位置を決定する。または、出力処理装置の操作部２２６を介してユーザー入力から元画像に対する重畳領域を取得し、その値を用いて切り出し位置を決定しても良い。

部分画像生成部６０２は、画像７０１の左端を画像７０２の切り出しの始端とし、切り出しの始端から投影装置１００ａに入力する画像の幅だけ右側の位置を画像７０２の切り出しの終端とする。

部分画像生成部６０２は、画像７０１の右端を画像７０３の切り出しの始端とし、切り出しの始端から投影装置１００ｂに入力する画像の幅だけ左側の位置を画像７０３の切り出しの終端とする。

部分画像生成部６０２は、画像７０２の切り出しの始端と終端および、画像７０３の切り出しの始端と終端に基づいて、画像７０１から、画像７０２、７０３をそれぞれ切り出して部分画像を生成する。

例えば、画像７０１の解像度が３５２０×１２００であり、投影装置１００ａおよび投影装置１００ｂへの入力画像の解像度は１９２０×１２００とする。画像７０２の重畳領域の始端の水平方向座標が１９１９、終端の水平方向座標が１６００であり、画像７０３の重畳領域の始端の水平方向座標が０、終端の水平方向座標が３１９とする。いずれも重畳領域の幅は３２０画素となるようにしている。このとき画像７０２は画像７０１から水平方向座標０〜１９１９を切り出す。画像７０３は画像７０１から水平方向座標１６００〜３５１９を切り出す。このように切り出すと、画像７０１の１６００〜１９１９が重畳領域となる。

色補正部６０３の動作は、色補正部４０２と同様のため説明を割愛する。

パターン生成部６０４は、制御部２２１から受信したパターン情報に基づき、ラスター画像やランプ画像、カラーバーなどのテストパターンを生成し、出力する。また、パターン生成部６０４は、後述の幾何補正処理部６０５に与える変形情報を制御部２２２が算出するために必要な格子点パターンを生成して、出力することもできる。制御部２２１からテストパターンを出力する指示が出た場合、パターン生成部６０４は、色補正部６０３から出力された画像を出力せず、テストパターンを出力する。一方、制御部２２１からテストパターンを出力する指示が出ていない場合、パターン生成部６０４は、色補正部６０３から出力された画像をそのまま出力する。

幾何補正処理部６０５は、色補正部６０３から入力された画像を任意形状に変形する。幾何補正処理部６０５は、画像を変形し、フレームメモリ６０６に書き込む。幾何補正処理部６０５は、フレームメモリ６０６から変形後の画像を読み出し、出力する。幾何補正処理部６０５は、所定の変形式に基づいて変形前後の画素の座標を求め、変形後の画像を出力する。幾何補正処理部６０５は、画像を任意形状に変形する方法として、格子点補間を用いる。

図８は、幾何補正処理部６０５が実行する幾何補正処理における画素の補間方法を示す模式図である。図８（ａ）は、変形前の画像を示す。図８（ｂ）は変形後の画像を示す。格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、変形後の画像における画素Ｄの補間に用いる格子点である。

図８（ａ）の変形前画像の座標Ｓは、格子点Ｐ１を移動させた図８（ｂ）の変形後画像の座標Ｄに対応する。Ｐ１’は、格子点Ｐ１と座標Ｓを通る直線と、格子点Ｐ２とＰ４を結ぶ線分との交点である。変形前画像の座標Ｓの位置を線分Ｐ１−Ｐ１’のα：１−αの位置とする。点Ｐ１’の位置は格子点Ｐ２とＰ４のβ：１−βの位置とする。

変形後画像の座標Ｄも、各格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標と各比率とから求めることができる。このとき、変形後画像の座標Ｄが整数であれば、これをそのまま変形前画像の座標Ｓの画素値としてよい。しかし、補間で求められる変形後の座標は整数になるとは限らない。その場合は、変形後画像の座標Ｄの周辺画素の画素値を用いて補間することで、変形後画像の座標Ｄの持つ画素値を求める。補間の方法は、バイリニア、バイキュービック、その他の任意の補間方法を用いればよい。

また、幾何補正処理部６０５によって変形された画像は変形前の画像より小さくなるとする。変形によって、液晶表示素子２１０上に、有効画像領域に含まれない領域が発生する場合には、その画素値は黒またはユーザーが設定した背景色とする。

なお、変形前画像の座標Ｓの変形後画像における移動先の座標Ｄを求める方法はこれに限定しない。

幾何補正処理部６０５は、以上の手順で変形後画像の座標の全てについて画素値を求めることで、変形後の画像を作成する。

幾何補正処理は、スクリーン１４０のように曲面の投影面に画像を投影する場合に、スクリーン１４０上の投影画像の形状を調整するために用いられる。スクリーン１４０のように水平方向に湾曲している投影面に、矩形の投影画像を出力する場合、投影画像の中心部が端部よりも上下方向（垂直方向）に拡大した樽型に投影されてしまう。幾何補正処理であらかじめ投影画像の中央部の垂直方向の幅（高さ）を縮小することにより、スクリーン１４０上で矩形に投影画像が投影される。

図９は、幾何補正処理部６０５による幾何補正処理前後の画像を示す模式図である。図９（ａ）は、補正前の画像を示す。図９（ｃ）は、補正後の画像を示す。図９（ｃ）に示すように、幾何学補正を適用されることにより、補正前の画像（元の画像）は、補正後の画像の内側に変形される。また、幾何学補正後の画像において、元の画像に対応する領域をコンテンツ領域と呼ぶ。幾何学補正前後において、画像の画素数は変化しない。幾何学補正後の画像において、コンテンツ領域外の領域（外領域）は、黒画素に置き換えられる。

図１などで示した本実施例におけるマルチ投影システムの場合、マルチ投影で投影される１つの画像の中央部分に対応する各部分画像の領域を垂直方向に縮小することによって矩形の形状でマルチ投影画像を表示することが可能となる。

幾何補正処理部６０５は、操作部２２６で受け付けたユーザー操作に応じてスクリーン１４０上の投影画像の形状を決めてもよい。また、制御部１２０の操作部２３２で受け付けたユーザー操作を、通信部２２３を介して取得し、そのユーザー操作に応じてスクリーン１４０上の投影画像の形状を決めてもよい。

次に、本発明で解決される課題について、詳細に説明する。

出力装置３００の画像処理部３０５で幾何補正処理を行い、次に投影装置１００で減光処理を行う場合に課題が生じる。

図９は、画像形成領域と、部分画像との関係を示す模式図である。

図９（ａ）は、幾何補正処理が施されていない場合における部分画像９０１を示す。図９（ａ）に示すように、幾何学補正を行っていないため、部分画像９０１は、コンテンツ領域９０２のみから構成される。コンテンツ領域９０２のうち斜線で示す領域９０３は、元画像に対してあらかじめ設定された重畳領域である。

図９（ｂ）は、液晶表示素子２１０における画像形成領域９０４と部分画像９０１との関係を示す模式図である。図中の太枠で囲われた領域９０５は、画像形成領域９０４に対してあらかじめ定められた減光処理が適用される領域（減光領域）である。例えば、減光領域９０５は、元画像に対してあらかじめ設定された重畳領域の大きさおよび位置に対応するように定められているとする。

したがって、部分画像９０１における重畳領域９０３と、投影装置による減光領域９０５とが一致する。

図９（ｃ）は、幾何補正処理が施された部分画像９１１を示す。図９（ｃ）に示すように、部分画像９１１は、コンテンツ領域９１２と、横線で示す外領域９１４とから構成される。コンテンツ領域９１２のうち斜線で示す領域９１３は、元画像に対してあらかじめ設定された重畳領域である。

図９（ｄ）は、液晶表示素子２１０における画像形成領域９０４と部分画像９１１との関係を示す模式図である。画像形成領域９０４と減光領域９０５とは、上述した通りである。

この場合、部分画像９１１における重畳領域９１３と、投影装置による減光領域９０５とが一致しない。幾何補正処理を適用することによって、部分画像９１１のコンテンツ領域９１２は、投影面において矩形に投影され、他の投影画像と重畳領域９１３において重なるように投影される。しかしながら、投影装置による減光処理は、重畳領域９１３の一部にしか適用されない。したがって、他の投影装置の投影画像と重畳した結果、重畳領域に対応する領域において輝度の段差などが生じることがある。コンテンツ領域
本実施例における投影システムおよび制御装置１２０は、出力装置１１０で画像に対して適用される幾何補正処理と画像に対してあらかじめ定められた重畳領域の大きさおよび位置に応じて、投影装置１００が減光処理を適用する領域を設定する。

図１０は、投影システムにおける位置調整フローを示すフローチャートである。

出力装置１１０に電源が投入され、操作部２２６に対する操作によって画像の出力処理の実行が指示されたことに応じて画像の出力処理が実行される。制御部２２１は、記憶部２２３に記憶された画像データに対して画像処理を適用して部分画像を生成するよう画像処理部２２４を制御する。出力部２２５は、生成された部分画像を投影装置１００ａおよび投影装置１００ｂに対して出力する。

投影装置１００ａおよび１００ｂは、制御部２０３が入力部２０１に部分画像が入力されたことを検知したことに応じて、入力された部分画像を用いて投影画像を投影する。

ユーザーは、各投影装置１００により投影された投影画像の形状を確認し、各部分画像に対して幾何補正処理を含む位置調整処理を実行する。また、ユーザーは、各投影装置に対して、不図示のＧＵＩなどを用いてエッジブレンド処理（減光処理）を有効とする。

図１０に示したフローチャートは、各投影装置の減光処理が有効である状態で、出力装置１１０に対して幾何補正処理の設定変更の開始を指示したことに応じて、開始される。例えば、ユーザーは、制御装置１２０に対して、位置調整アプリケーション実行指示があったことを検知すると、図１０に示すフローチャートの処理を開始するとする。

Ｓ１００１で、制御部２３１は、投影装置１００と出力装置１１０とを制御して、投影装置１００ａ、１００ｂの少なくとも一方に、格子点パターンを投影させる。制御部２３１は、通信部２３３を介して出力装置１１０の制御部２２１に対して、格子点パターンを生成して投影装置１００ａ、１００ｂの少なくとも一方に出力させるための制御信号を出力する。制御部２２１は、パターン生成部６０４に格子点パターンを生成させる。また制御部２２１は、出力部２２５に生成されたパターン画像を各投影装置１００に画像を出力させる。

図１１は、格子点パターンの一例を示す模式図である。格子点パターンは、水平方向５点、垂直方向５点のマトリクス状に配置された格子点群Ｐ００〜Ｐ４４から構成されるとする。液晶表示素子２１０の解像度が１９２０ｘ１２００とすると、格子点（マーカー）の座標は水平方向が０、４８０、９６０、１４４０、１９１９であり、垂直方向が０、３００、６００、９００、１１９９となる。各格子点の座標は、これらの組み合わせで表現される。

ユーザーは、投影された格子点パターンのうち調整対象の格子点（対象格子点）を選択し、対象格子点を移動することにより、投影画像の変形処理のパラメータ（変形情報）を設定することができる。変形処理のパラメータは、出力装置１１０が実行する幾何補正処理における変形量である。

Ｓ１００２で、制御部２３１は、位置調整アプリケーションのＧＵＩを表示部２４０に表示するように表示制御部２３８を制御する。図１２は、表示部２４０に表示される位置調整アプリケーションのＧＵＩを示す模式図である。ＧＵＩは、ユーザーが調整する格子点を選択する選択エリア１３０１と、選択した格子点の移動先を指定する移動エリア１３０２とを有する。またＧＵＩは、格子点の移動位置の指定が完了したことを示す指示を出力するためのボタン１３０３を有する。

移動エリア１３０２の表示アスペクト比は、幾何補正処理部６０５の扱う座標系と同等とし、投影装置１００の液晶表示素子２１０のアスペクト比と同じとする。例えば、液晶表示素子２１０の解像度が１９２０ｘ１２００であり、移動エリア１３０２が４８０ｘ３００の解像度で表示されていた場合は、４分の１に縮小している状態となる。

Ｓ１００３で、制御部２３１は、Ｓ１００２で表示されたＧＵＩに対するユーザーの操作により、対象格子点が選択されたか否かを判定する。選択エリア１３０１は、格子点パターンに含まれる格子点群から対象格子点を選択するためのＧＵＩであり、各格子点に対応するラジオボタンを有する。ユーザーが操作部２３２を用いて選択エリア１３０１のラジオボタンのいずれかを選択することにより、対応する格子点が対象格子点として選択される。制御部２３１は、ユーザーにより対象格子点が選択されたと判定した場合、Ｓ１００４へ移行する。制御部２３１は、ユーザーにより格子点が選択されていないと判定した場合、Ｓ１００３の処理を繰り返す。

Ｓ１００４で、制御部２３１は、Ｓ１００２で表示されたＧＵＩに対するユーザーの操作により、対象格子点の移動位置が指定されたか否かを判定する。制御部２３１は、ユーザーにより格子点の移動位置が指定されたことを検出するとＳ１００５へ移行する。制御部２３１は、ユーザーにより格子点の移動先が指定されたことを検出できない場合はＳ１００４の処理を繰り返す。

Ｓ１００５で、制御部２３１は、Ｓ１００４でユーザーが指定した対象格子点の移動位置（座標）を取得する。上述したように、移動エリア１３０２の解像度が幾何補正処理部６０５の座標系に対して１／４に縮小している場合に、移動エリア１３０２の座標（５０，１００）が移動位置として指定されたとする。この場合、幾何補正処理部６０５における対象格子点の移動位置は座標（２００，４００）である。

Ｓ１００６で、Ｓ１００５で取得した格子点の移動位置を用いて、出力装置１１０の幾何補正処理部６０５に送信するための変形情報を更新し、ＲＡＭ２３７へ格納する。

Ｓ１００７で、制御部２３１は、格子点の移動位置の指定が完了したか否かを判定する。格子点の移動位置の指定が完了したことを示す指示は、ユーザーがＧＵＩのボタン１３０３を押下することによって入力される。制御部２３１は、ユーザーから格子点の移動が完了したことを示す指示が有ったと判定した場合、処理をＳ１００８へ移行する。格子点の移動が完了したことを示す指示が無いと判定した場合、Ｓ１００３へ処理を移行する。なお、Ｓ１００７では、ユーザーの明示的な調整完了の指示によらずに判定を行ってもよい。例えば、Ｓ１００４でユーザーが調整対象の格子点の位置を移動してから、所定の期間、操作がなされなかった場合に、調整完了したと判定してもよい。

Ｓ１００８で、制御部２３１がＳ１００７までに更新した変形情報を、通信部２３３を介して、出力装置１１０に送信する。制御部２２１は、通信部２２２を介して受信した変形情報を用いて、幾何補正処理を適用するように幾何補正処理部６０５を制御する。幾何補正処理部６０５は制御部２２１から受信した変形情報に従って、入力された画像に対して幾何学補正を適用する。変形情報は記憶部２２３に記録してもよい。すなわち、制御装置１２０は、出力装置１１０における幾何補正処理の変形量を制御する。

なお、Ｓ１００８はＳ１００６とＳ１００７の間に行ってもよく、その場合は各格子点を移動させる毎に、出力装置からの出力画像に変形を反映させることができる。

図１３は、Ｓ１００７で格子点の移動位置の指定が完了した時点での格子点の移動先を示す模式図である。図１３（ａ）は、幾何補正処理部６０５の座標系における格子点の移動先を示す。図１３（ｂ）は、投影画像１０１ａにおける格子点の移動先を示す。

図１３（ａ）の実線で示した枠１３０１は、格子点の移動先を指定する前の格子点パターンの形状（変形前形状）を示す。点線で示した枠１３０２は、Ｓ１００７までの処理で指定された格子点の移動が反映された格子点パターンの形状（変形後形状）を示す。

図１３（ｂ）の実線で示した枠１３０３は、図１３（ａ）で示した変形前形状の格子点パターンに基づいて投影装置１００ａが画像を投影した場合にスクリーン１４０上に投影される画像（格子点パターン）を示す。図１３（ｂ）の点線で示した枠１３０４は、図１３（ａ）で示した変形後形状の格子点パターンに基づいて投影装置１００ａが画像を投影した場合にスクリーン１４０上に投影される画像（格子点パターン）を示す。図１３（ｂ）の一点破線で示した枠１３０５は、投影装置１００ｂに対して同様に幾何学補正処置が適用された場合の投影画像１０１ｂの投影位置を示す。

Ｓ１００９で、制御部２３１は、投影装置１００に設定する減光領域情報を決定する。減光領域情報は、投影装置１００において減光処理を適用する領域の形状、位置、大きさを示す情報である。また、減光領域情報は、減光処理において各画素に対して適用されるゲイン値の情報を含む。投影装置１００の減光処理部４０３は、入力された減光領域情報に基づいて、入力された部分画像に対して減光処理を適用する。

制御部２３１は、投影条件取得部２３４に、元画像に対する重畳領域をＲＡＭ２３７から読み出し、出力装置１１０から通信部２３３を介して元画像の重畳領域の幾何学補正情報を取得するよう指示を出す。

図１４を用いて示すと、図１４（ａ）の矩形１４０１は幾何学補正前のコンテンツ領域、領域１４０２は幾何学補正後のコンテンツ領域である。元画像に対する重畳領域は点Ｂ００〜点Ｂ０３で囲まれた領域であり、幾何学補正後、点Ｂ００〜点Ｂ０３は点Ｃ００〜点Ｃ０３へ移動する。

得られた元画像に対する減光領域の幾何学補正情報より、投影装置１００に設定する減光領域情報を決定する。減光領域情報とは、具体的には減光処理の開始位置や減光処理の幅などを示す。

図１４（ｂ）においては、幾何学補正後のコンテンツ領域１４０２に対して、減光処理の開始位置は破線１４０３であり、減光処理の幅は１４０４である。このように投影装置１００に設定し、破線１４０３よりも左側で幅１４０４の領域のみ減光処理を施すことが出来る。なお、図１４では元画像に対する重畳領域の端点に関して幾何学補正結果を取得し、減光処理の開始位置や幅の算出に用いたが、端点以外の内部の点の位置を取得し、減光処理のブレンドカーブなど減光領域の内部情報の算出をおこなっても良い。

Ｓ１０１０で、減光領域決定部２３５がＳ１０１０で生成した減光領域情報を、通信部２３３を介して、各投影装置１００へ送信する。

制御部２０３は、通信部２０２を介して受信した減光領域情報を設定部４０４に送信し、減光処理部４０３は当該減光領域情報に基づいて減光処理を適用する。

Ｓ１０１１で、制御部２３１は、ユーザーが操作部２３２を介して一連の操作を完了する指示が有ったか否かを判断する。制御部２３１は、操作を完了する指示が有ったと判断した場合は、位置調整アプリケーションを終了させ本フローチャートの処理を終了する。制御部２３１は、操作を完了する指示が無く、再調整等を行うための指示が有ったと判断した場合は、Ｓ１００３へ戻る。

本実施例では、制御装置１２０の制御部２３１が、位置調整アプリケーションのＧＵＩを表示部２４０に表示するように表示制御部２３８を制御したが、出力装置１１０の制御部２２１が不図示の表示部を用いて、ＧＵＩを表示させても構わない。その場合、また、表示部の代わりに出力部２２５から投影装置１００にＧＵＩ映像を出力し、表示させても構わない。

以上で、重畳領域の減光処理設定を行う方法について説明した。

本実施例の制御装置１２０は、ユーザーから入力された減光領域と、出力装置１１０の幾何学補正量から、投影装置１００に設定する減光処理領域を計算し設定することが出来る。図９（ｄ）は本実施例による効果を表した図である。本実施例を行うことで、元画像に対する重畳領域９０２と、実際の減光領域９０３の位置や形状が一致する。

本実施例では、スクリーン１４０は一定曲率を有する曲面スクリーンとしたが、その他の曲面や平面のスクリーンでもよい。平面のスクリーンの場合は出力装置１１０が施す幾何学補正が、台形補正や端点４点を位置指定して変形するキーストーンとなる。

また、本実施例では、出力装置１１０が元画像から部分画像を生成する、としたが、不図示の画像供給装置からあらかじめ切り出された部分画像を出力装置１１０へ入力し、出力装置は部分画像生成を行わなくともよい。その場合は出力装置１１０の画像処理部２２４は図６（ｂ）のように部分画像生成部６０２を含まない構成としてよい。

また、本実施例で解決する課題は、幾何補正処理、減光処理の順に画像処理を行う場合に発生する課題であり、それぞれの処理をどの装置で行うかには依らない。すなわち、例えば投影装置１００の画像処理部２０４の内部で幾何補正処理、減光処理の順で処理を行う場合にも、本実施例は適応可能である。

また、本実施例では投影装置１００ａ、１００ｂ、出力装置１１０、制御装置１２０の構成で説明したが、出力装置１１０と制御装置１２０を１つの装置として構成してもよい。投影条件取得部２３４、減光領域決定部２３５を制御装置１２０でなく、他の装置（例えば投影装置１０，２０）に内蔵してもよい。これらの構成は、要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 投影装置
１１０ 出力装置
１２０ 制御装置
１４０ スクリーン
２０１ 入力部
２０２ 通信部
２０３ 制御部
２０４ 画像処理部
２０８ 光源
２０９ 照明光学系
２１０ 液晶表示素子
２１１ 投影光学系
２２１ 制御部
２２２ 通信部
２２４ 画像処理部
２２５ 出力部
２３１ 制御部
２３３ 通信部
２３４ 投影条件取得部
２３５ 減光領域決定部

Claims (11)

1. 入力画像に対して減光処理を適用して画像を投影する複数の投影装置と、第１画像から前記複数の投影装置の各々に対する入力画像として複数の第２画像を生成する出力装置と、を制御する制御装置であって、
   前記出力装置は、前記第１画像から各第２画像に対応する領域を抽出し、各々の領域に対して幾何補正処理を適応して前記第２画像を生成し、
   前記制御装置は、
   前記第１画像において前記複数の投影装置が投影する複数の画像に共通する重畳領域の位置および大きさと、前記出力装置が前記領域に対して適用した前記幾何補正処理に関する情報と、に基づいて各投影装置が前記第２画像に対して減光処理を適用する領域の位置および大きさを制御する制御手段を有することを特徴とする制御装置。
2. 前記複数の投影装置の各々は、画像を形成する画像形成手段を有し、
   前記制御手段は、前記複数の投影装置の各々に対して、前記画像形成手段の画像形成領域のうち前記減光処理を適用する領域の位置および大きさを決定する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記減光処理を適用する領域において各投影装置が対応する前記第２画像に対して適用するゲイン値を決定する
   ことを特徴とする請求項１または２に記載の制御装置。
4. 前記制御手段は、前記出力装置が実行する幾何補正処理における変形量を制御することを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
5. 第１画像から複数の第２画像を生成する出力装置から入力された前記複数の第２画像に対して減光処理を適用して画像を投影する複数の投影装置を制御する投影制御方法であって、
   前記出力装置は、前記第１画像から各第２画像に対応する領域を抽出し、各々の領域に対して幾何補正処理を適応して前記第２画像を生成し、
   前記第１画像において前記複数の投影装置が投影する複数の画像に共通する重畳領域の位置および大きさと、前記出力装置が前記領域に対して適用した前記幾何補正処理に関する情報と、に基づいて各投影装置が前記第２画像に対して減光処理を適用する領域の位置および大きさを制御する工程を有することを特徴とする投影制御方法。
6. 前記複数の投影装置の各々は、画像を形成する画像形成手段を有し、
   前記制御工程は、前記複数の投影装置の各々に対して、前記画像形成手段の画像形成領域のうち前記減光処理を適用する領域の位置および大きさを決定する
   ことを特徴とする請求項５に記載の投影制御方法。
7. 前記制御工程は、前記減光処理を適用する領域において各投影装置が対応する前記第２画像に対して適用するゲイン値を決定する
   ことを特徴とする請求項５または６に記載の投影制御方法。
8. 前記制御工程は、前記出力装置が実行する幾何補正処理における変形量を制御することを特徴とする請求項５乃至７のいずれか一項に記載の投影制御方法。
9. 入力画像に対して減光処理を適用して画像を投影する複数の投影装置と、
   第１画像から前記複数の投影装置の各々に対する入力画像として、複数の第２画像を生成し、出力する出力装置と、
   前記複数の投影装置と前記出力装置とを制御する制御装置と、
   を有する投影システムであって、
   前記出力装置は、前記第１画像から各第２画像に対応する領域を抽出し、各々の領域に対して幾何補正処理を適応して前記第２画像を生成し、
   前記制御装置は、
   前記第１画像において前記複数の投影装置が投影する複数の画像に共通する重畳領域の位置および大きさと、前記出力装置が前記領域に対して適用した前記幾何補正処理に関する情報と、に基づいて各投影装置が前記第２画像に対して減光処理を適用する領域の位置および大きさを制御する制御手段を有することを特徴とする投影システム。
10. 請求項５乃至８のいずれか１項に記載の投影制御方法をプロセッサが実行するためのプログラム。
11. 請求項５乃至８のいずれか１項に記載の投影制御方法をプロセッサが実行するためのプログラムを記憶した、プロセッサが前記プログラムを読み出し可能な記憶媒体。

Images