JP2019033339A - 情報処理装置、投影装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】投影面に対してより好適な投影画像を実現可能にする情報を得ることができる技術を提供する。【解決手段】本発明の情報処理装置は、画像が投影される投影面の変化の大きさに関する面変化情報を取得する第１取得手段と、前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定する決定手段と、を有することを特徴とする情報処理装置である。【選択図】図１

Description

本発明は、情報処理装置、投影装置、情報処理方法、及び、プログラムに関する。

近年、建物などに画像を投影するプロジェクションマッピングが注目を集めており、多くのイベントで使われている。プロジェクションマッピングは、実在する物体に投影画像（投影される画像）を組み合わせて空間拡張現実を実現する技術であり、既に実用化されている。

また、位置や形状が変化する投影対象物（投影面）に投影画像が追従するように投影を行うことにより演出効果を高める技術の開発も行われている。例えば、高速度カメラと小さなミラーを高速駆動させて、動く実物体に投影画像が追従するように投影を行う技術が知られている。この技術を用いれば、あたかも投影画像が投影面に印刷されているように投影を行うことができる。

特許文献１には、投影面の形状変化による投影画像の歪みを補正するために、投影画像を格子状に区切る複数の格子の交差点（格子点）に基づく補間計算によって投影画像内の各座標を得る技術が開示されている。

画像を変形する画像処理（歪み補正処理など）では、画素の配置が変化するため、画像処理後の画像を構成する画素（画素値）が、画像処理前の画像に基づいて生成される。例えば、画像処理前の画像のエリア（複数の画素；複数の画素値）を用いた補間処理により、画像処理後の画素が生成される。画像サイズの変換（拡大や縮小）、画像の回転、等をさらに実現する場合には、補間処理で参照されるエリアが広がる。このため、画像を格納するフレームメモリが、補間処理を行う処理部の前段に設けられ、処理部は、フレームメモリから画像を読み込んで補間処理を行う。

フレームメモリの帯域は、画像処理のフレームレート、階調性、解像度、等に大きく依存する。例えば、フレームメモリの帯域は、これらの増加によって増加する。

国際公開第２００８／１３９５７７号

投影面に投影画像を高速に追従させるには、追従処理（投影面に投影画像を追従させるための画像処理）における画像の更新速度、すなわち追従処理のフレームレートを高める必要がある。しかしながら、フレームメモリの帯域には上限があるため、高速のフレームレートで追従処理を行うと、不必要に高いフレームレート且つ不必要に低い解像度、階調性、画像処理精度、等で追従処理が行われることがあり、ユーザに違和感を与えることがある。

本発明は、投影面に対してより好適な投影画像を実現可能にする情報を得ることができる技術を提供することを目的とする。

本発明の第１の態様は、
画像が投影される投影面の変化の大きさに関する面変化情報を取得する第１取得手段と、
前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定する決定手段と、
を有することを特徴とする情報処理装置である。

本発明の第２の態様は、
画像が投影される投影面の変化の大きさに関する面変化情報を取得する取得手段と、
前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定する決定手段と、
を有することを特徴とする投影装置である。

本発明の第３の態様は、
画像が投影される投影面の変化の大きさに関する面変化情報を取得するステップと、
前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定するステップと、
を有することを特徴とする情報処理方法である。

本発明の第４の態様は、上述した情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、投影面に対してより好適な投影画像を実現可能にする情報を得ることができる。

実施例１に係る情報処理装置の構成例 実施例１に係る面変化情報の一例 実施例１に係る格子点の一例 実施例１に係る不可視マーカの一例 実施例１に係る制御情報の一例 実施例１に係る処理フローの一例 実施例２に係る投影装置の構成例 実施例２に係る処理フローの一例

＜実施例１＞
以下、図１〜６を参照して、本発明の実施例１について説明する。本実施例では、画像が投影される投影面の変化（移動や変形）の大きさに関する面変化情報が、ユーザからの指示に応じて取得される。そして、面変化情報に基づいて、投影面に投影画像（投影される画像）を追従させるための画像処理（追従処理）に関する制御情報（パラメータ）が決定される。追従処理は、「投影面に投影画像が追従するように投影画像を変形する画像処理」とも言える。

図１は、本実施例に係る情報処理装置１００の機能構成の一例を示す。情報処理装置１００は、情報決定部１０１、投影画像入力部１０２、仮想投影面生成部１０３、階調変換部１０４、フレームレート変換部１０５、フレームメモリ１０６、ワーピング部１０７、格子点メモリ１０８、及び、データ付加部１０９を有する。情報決定部１０１は、面変化情報入力部１０１１、装置情報入力部１０１２、フレームレート決定部１０１３、階調性
決定部１０１４、及び、格子点数決定部１０１５を有する。

情報処理装置１００は、情報処理装置１００の各機能部の処理を制御する不図示の制御部をさらに有し、制御部は、不図示の制御バスを用いて各機能部に接続されている。また、情報処理装置１００は、表示部１１０に接続されている。

情報処理装置１００は、投影面に画像を投影した状態を表示部１１０でプレビューすることができる。ユーザは、表示部１１０で表示された仮想的な投影面（仮想投影面）と、仮想投影面に重ねられた投影画像とを見ながら、追従処理に関する制御情報の変更を指示する（調整）。

なお、情報処理装置１００が有する上記複数の機能部の一部は、情報処理装置１００とは別体の装置に設けられてもよい。例えば、情報処理装置１００は、情報決定部１０１のみを有してもよい。表示部１１０は、情報処理装置１００の一部であってもよい。

情報処理装置１００の各機能部について、図１を用いて説明する。情報決定部１０１は、ユーザからの指示に応じて、面変化情報と、追従処理を行う処理装置に関する装置情報とを取得する。本実施例では、面変化情報は、投影面の単位時間あたりの変化の大きさ（想定値）を示す０以上かつ１００以下の値であり、装置情報は、投影面に投影画像が追従するように投影を行う投影装置（プロジェクタ）の型番である。ユーザは、不図示の操作部を用いて、面変化情報や装置情報を情報決定部１０１に入力する指示を行う。例えば、専用のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が表示部１１０に表示され、ユーザは、ＧＵＩを用いて指示（情報の入力）を行う。

そして、情報決定部１０１は、面変化情報と装置情報に応じて、フレームレート制御情報、階調制御情報、及び、格子点制御情報を決定する。フレームレート制御情報は、投影面に対する投影画像の追従性に関する制御情報であり、具体的には追従処理のフレームレートに関する制御情報である。階調制御情報は、追従処理が施される画像の階調性に関する制御情報である。格子点制御情報は、追従処理の精度に関する制御情報であり、具体的には追従処理で使用される格子点の数に関する制御情報である。また、情報決定部１０１は、ユーザからの指示に応じて、フレームレート制御情報、階調制御情報、及び、格子点制御情報の少なくともいずれかを変更する。

なお、面変化情報や装置情報の取得方法は上記方法に限られない。例えば、特定のフォーマットで作成されたデータファイルが面変化情報や装置情報として情報決定部１０１に入力されてもよい。面変化情報は、投影面の単位時間あたりの変化の大きさを示す情報に限られないし、０以上かつ１００以下の値に限られない。装置情報は、投影装置の型番に限られない。例えば、装置情報は、投影装置の処理能力を示す他の情報であってもよい。具体的には、装置情報は、投影装置の動作周波数、メモリ帯域、最大フレームレート、ソフトウェア処理能力、等であってもよい。装置情報は、投影装置とは異なる処理装置に関する情報であってもよい。

投影画像入力部１０２は、投影画像（投影画像の画像データ；投影画像データ）を取得する。例えば、投影画像は、パソコン、ファイルサーバ、クラウド上のストレージ、等の外部装置からケーブルを介して投影画像入力部１０２に入力される。なお、投影画像は、外部装置から投影画像入力部１０２に無線で入力されてもよい。投影画像入力部１０２は、外部装置に格納された複数の画像のいずれかを選択して、選択した画像を投影画像として外部装置から取得してもよい。投影画像は、静止画であってもよいし、動画であってもよい。本実施例では、簡単のために、投影画像が静止画である例を説明する。

仮想投影面生成部１０３は、情報決定部１０１によって取得された面変化情報に応じて、仮想投影面の画像（画像データ）を生成する。

階調変換部１０４は、投影画像入力部１０２によって取得された投影画像に対して、情報決定部１０１によって決定された階調制御情報に応じた階調変換処理を施す。例えば、階調変換処理は、ディザ処理、リミット処理、等である。本実施例では、階調変換処理としてディザ処理が行われる例を説明する。階調変換部１０４の階調変換処理により、画像の階調性が、階調制御情報に関連した階調性に変換される。

フレームレート変換部１０５は、階調変換部１０４によって生成された画像（階調変換処理後の画像）に対して、情報決定部１０１によって決定されたフレームレート制御情報に応じたフレームレート変換処理を施す。フレームレート変換部１０５のフレームレート変換処理により、画像のフレームレートが、フレームレート制御情報に関連したフレームレートに変換される。

具体的には、フレームレート変換部１０５は、階調変換部１０４によって生成された画像の各フレームを、当該画像の同期信号（変換前のフレームレート）に従って、フレームメモリ１０６に書き込む（バッファリング）。そして、フレームレート変換部１０５は、フレームレート制御情報に応じて生成した同期信号（変換後のフレームレート）に従って、フレームメモリ１０６から各フレームを読み出して出力する。フレームレートを高めるフレームレート変換処理では、フレームメモリ１０６から同じフレームが複数回読み出される。例えば、１２０ｆｐｓを２４０ｆｐｓに変換するフレームレート変換処理では、フレームメモリ１０６から各フレームが２回ずつ読み出される。

フレームメモリ１０６は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などであり、階調変換部１０４によって生成された画像のフレームを記憶する。フレームメモリ１０６は、フレームレート変換部１０５の処理とワーピング部１０７の処理とで使用される。

ワーピング部１０７は、フレームレート変換部１０５によって生成された画像（フレームレート変換処理後の画像）に対して、情報決定部１０１によって決定された格子点制御情報に応じた追従処理を施す。具体的には、ワーピング部１０７は、格子点制御情報に関連した数の格子点を用いたワーピング処理を、追従処理として行う。ワーピング部１０７は、２４００個の格子点を用いたワーピング処理を１２０ｆｐｓで行うことができる。

本実施例では、ワーピング部１０７は、ワーピング処理前の画像を格子状に区切る複数の格子の交差点（格子点）の座標と、仮想投影面生成部１０３によって生成された仮想投影面とに基づいて、移動後の格子点の座標を算出する。そして、ワーピング部１０７は、算出した座標を格子点メモリ１０８に格納（記録）する。ここで、「移動」は、投影画像が仮想投影面に追従するような格子点の移動である。

ワーピング部１０７は、格子点の座標に基づく補間計算によって、格子点間の座標を算出する。そして、ワーピング部１０７は、移動後の格子点間の座標における画素（画素値）を、フレームメモリ１０６に格納された画像を用いた補間処理により生成する。それにより、ワーピング処理後の画像（ワーピング画像）が生成される。

ワーピング部１０７は、生成したワーピング画像を仮想投影面に重ねた合成画像（合成画像データ）を、表示部１１０へ出力する。

なお、ワーピング処理の方法は特に限定されない。ワーピング処理の方法として、提案
されている様々な方法を用いることができる。ワーピング部１０７の処理性能は、２４００個の格子点を用いたワーピング処理を１２０ｆｐｓで行える処理性能より高くても低くてもよい。

本実施例では、不図示のＲＯＭやクラウド（クラウド上のストレージ）に、階調変換処理やワーピング処理の方法を示す処理方法情報として、複数の投影装置にそれぞれ対応する複数の情報が記録されている。不図示の制御部は、装置情報に関連した投影装置の処理方法情報を、上記ストレージから取得する。そして、制御部は、取得した処理方法情報によって示された方法を、階調変換部１０４やワーピング部１０７に設定する。その結果、情報処理装置１００では、装置情報に関連した投影装置の方法と同じ方法の階調変換処理やワーピング処理が行われる。

格子点メモリ１０８は、ワーピング処理における移動後の格子点の座標を記憶する。

データ付加部１０９は、情報決定部１０１によって決定された制御情報を、メタデータとして、投影画像入力部１０２によって取得された投影画像データに付加する。そして、データ付加部１０９は、制御情報の付加後の画像データを外部へ出力する。なお、制御情報は、投影画像データに付加されずに外部へ出力されてもよい。制御情報と投影画像データとが個別に外部へ出力されてもよいし、制御情報のみが外部へ出力されてもよい。

表示部１１０は、仮想投影面にワーピング画像を重ねた合成画像を表示する。ユーザは、表示部１１０で表示された合成画像を確認することにより、ワーピング処理の追従性、階調性、精度、等を確認することができる。ユーザは、面変化情報（仮想投影面の変化の大きさ）の妥当性を確認することもできる。また、表示部１１０は、ＧＵＩなどのユーザーインターフェースを表示する。

続いて、情報決定部１０１の各機能部について、図１を用いて説明する。面変化情報入力部１０１１は、ユーザからの指示に応じて面変化情報（０以上かつ１００以下の値）を取得する。そして、面変化情報入力部１０１１は、面変化情報を、仮想投影面生成部１０３、フレームレート決定部１０１３、階調性決定部１０１４、及び、格子点数決定部１０１５へ出力する。図１では、面変化情報入力部１０１１から階調性決定部１０１４と格子点数決定部１０１５へのデータパスは省略されている。

装置情報入力部１０１２は、ユーザからの指示に応じて装置情報（型番）を取得し、装置情報を、フレームレート決定部１０１３、階調性決定部１０１４、及び、格子点数決定部１０１５へ出力する。図１では、装置情報入力部１０１２から階調性決定部１０１４と格子点数決定部１０１５へのデータパスは省略されている。

フレームレート決定部１０１３は、面変化情報と装置情報に応じてフレームレート制御情報を決定し、フレームレート制御情報をフレームレート変換部１０５とデータ付加部１０９へ出力する。階調性決定部１０１４は、面変化情報と装置情報に応じて階調制御情報を決定し、階調制御情報を階調変換部１０４とデータ付加部１０９へ出力する。格子点数決定部１０１５は、面変化情報と装置情報に応じて格子点制御情報を決定し、格子点制御情報をワーピング部１０７とデータ付加部１０９へ出力する。

続いて、面変化情報について、図２（Ａ）〜２（Ｃ）を用いて説明をする。図２（Ａ）〜２（Ｃ）は、面変化情報を説明するための図である。ここでは、旗や布のような投影面が風など影響で揺れると、投影面は変形する。ここでは、投影面の変形の大きさに関する面変化情報の例を説明する。なお、投影面の変形は生じなくてもよい。面変化情報は、投影面の移動の大きさに関する情報であってもよい。

図２（Ａ）は、投影面の変形（変化）が非常に小さい状態を示す。図２（Ａ）の状態には、０以上かつ２０以下の値が、面変化情報として対応付けられている。図２（Ｂ）は、投影面の変形が或る程度大きい状態を示す。図２（Ｂ）の状態には、２１以上かつ６０以下の値が、面変化情報として対応付けられている。図２（Ｃ）は、投影面の変形が非常に大きい状態を示す。図２（Ｃ）の状態には、６１以上かつ１００以下の値が、面変化情報として対応付けられている。このように、投影面の変形が大きいほど、当該変形に対応する面変化情報（値）は大きい。

表示部１１０には、取得された（入力された）面変化情報に応じて、図２（Ａ）〜２（Ｃ）のいずれかに示す状態の仮想投影面が動画で表示される。ユーザは、仮想投影面の動画を確認して、想定している投影面との乖離が無い仮想投影面が得られるように、面変化情報を調整する。

なお、投影面の状態として、図２（Ａ）〜２（Ｃ）の３つの状態を示したが、投影面の状態（変化の大きさ）の数は、３つより多くても少なくてもよい。

続いて、ワーピング部１０７の処理の具体例について、図３，４（Ａ），４（Ｂ）を用いて説明する。図３は、投影画像（ワーピング処理前の画像）と格子点の関係を示す図である。図３には、投影画像の全領域が水平方向６個×垂直方向４個の計２４個の領域に分割されるように、３５個の格子点（図３の黒丸）が示されている。なお、格子点の数は３５個より多くても少なくてもよい。

図４（Ａ）は、変形前の仮想投影面を示し、図４（Ｂ）は、変形後の仮想投影面を示す。図４（Ａ），４（Ｂ）の白丸は、不可視マーカである。不可視マーカには座標が対応付けられており、複数の不可視マーカの間で形状や色が互いに異なる。図４（Ａ），４（Ｂ）の仮想投影面は、仮想投影面生成部１０３によって生成される。

ワーピング部１０７は、図４（Ａ）の不可視マーカの座標と、図４（Ｂ）の不可視マーカの座標とから、仮想投影面の変形による不可視マーカの移動に対応する移動後の格子点の座標を算出する。ワーピング部１０７は、移動後の格子点の座標に基づく補間計算によって、移動後の格子点間の座標を算出する。そして、ワーピング部１０７は、移動後の格子点間の座標における画素（画素値）を、フレームメモリ１０６に格納された画像を用いた補間処理により生成する。それにより、ワーピング画像が生成される。

続いて、情報決定部１０１の処理の具体例について、図５を用いて説明する。ワーピング処理のフレームレートと階調性は、フレームメモリのメモリ帯域（使用される帯域）に影響を及ぼす。そして、ワーピング処理の格子点数は、ワーピング処理の処理時間に影響を及ぼす。そのため、フレームレート、階調性、及び、格子点数の間のバランスが面変化情報と装置情報に応じて決まるように、フレームレート決定部１０１３、階調性決定部１０１４、及び、格子点数決定部１０１５が連携して処理を行う。情報決定部１０１（フレームレート決定部１０１３、階調性決定部１０１４、格子点数決定部１０１５）は、フレームレート、階調性、及び、格子点数（フレームレート制御情報、階調制御情報、格子点制御情報）を、各フレームについて個別に決定する。

本実施例では、情報決定部１０１は、ワーピング部１０７で行われるワーピング処理の処理負荷が閾値以下になるように、フレームレート、階調性、及び、格子点数を決定する。閾値は、装置情報に関連した投影装置（投影面に投影画像が追従するように投影を行う投影装置）の処理能力に応じて決まる。情報決定部１０１は、上記投影装置で実現可能なワーピング処理に対応するフレームレート、階調性、及び、格子点数を決定する。

図５のテーブルは、情報決定部１０１が決定する制御情報（パラメータ）と面変化情報との関係を表す。図５の例では、画像データとしてＲＧＢデータが想定されており、階調性として、Ｒ値のビット数、Ｇ値のビット数、及び、Ｂ値のビット数の総和が使用されている。図５には、追従帯域の使用率も示されている。追従帯域は、装置情報に関連した投影装置の全メモリ帯域のうち、ワーピング処理に使用可能な帯域である。追従帯域の使用率が１００％以下であるワーピング処理は、上記投影装置で実現可能である。そのため、使用率１００％以下に対応する値が閾値として使用される。情報決定部１０１は、装置情報に応じて、追従帯域、ワーピング処理の格子点数と処理時間の関係、等の情報を、不図示のＲＯＭやクラウドから取得する。

追従性の観点から、投影面の変化が大きいほどフレームレートは高いことが望ましい。そのため、図５のテーブルによれば、面変化情報が大きいほど高いフレームレートが決定される。そして、追従帯域の使用率が１００％になるように、フレームレートの増加に伴い、階調性（ｂｉｔ）が低減される。さらに、フレームレートが高いほど１回（１フレーム）のワーピング処理に使える時間が短くなるため、フレームレートの増加に伴い格子点数が低減される。

具体的には、面変化情報が０以上かつ２０以下である場合には、情報決定部１０１は、フレームレート１２０ｆｐｓ、階調性３０ｂｉｔ、及び、格子点数２４００個を決定する。面変化情報が２１以上かつ６０以下である場合には、情報決定部１０１は、フレームレート４８０ｆｐｓ、階調性２４ｂｉｔ、及び、格子点数６００個を決定する。そして、面変化情報が６１以上かつ１００以下である場合には、情報決定部１０１は、フレームレート９６０ｆｐｓ、階調性１８ｂｉｔ、及び、格子点数３００個を決定する。

本実施例では、不図示のＲＯＭやクラウドに、複数の投影装置にそれぞれ対応する複数のテーブル（図５のようなテーブル）が予め記録されている。情報決定部１０１は、装置情報の投影装置に対応するテーブルから、取得された面変化情報に応じた制御情報を読み出す。

続いて、情報決定部１０１の他の処理の具体例について、図６を用いて説明する。図６のフローチャートは、決定された制御情報の変更がユーザによって指示された場合の処理フローを示す。図６の処理フローにおける各処理は、不図示の制御部によって行われる。図６の処理フローは、面変化情報と装置情報に応じて制御情報が決定されたことに応じて開始される。ここでは、面変化情報が２１以上かつ６０以下の値であり、フレームレート４８０ｆｐｓ、階調性２４ｂｉｔ、及び、格子点数６００個が決定されたとする。

Ｓ６０１にて、制御部は、追従性、階調性、及び、変形精度の３つの要素のうちの優先する要素を選択する操作をユーザに促す。具体的には、制御部は、優先する要素をユーザに問うメッセージを表示部１１０に表示するように制御する。上記３つの要素のうちの追従性は、ワーピング処理のフレームレート、つまり投影画像の更新レート（更新速度）に対応する。上記３つの要素のうちの階調性は、ワーピング処理が施される画像の階調性（ビット数）に対応する。上記３つの要素のうちの変形精度は、ワーピング処理の精度に対応し、ワーピング処理で使用される格子点の数に対応する。

Ｓ６０２にて、制御部は、Ｓ６０１の処理に応じてユーザが選択した要素（優先する要素）を判断する。追従性が選択された場合にはＳ６０３へ、階調性が選択された場合にはＳ６０４へ、変形精度が選択された場合にはＳ６０５へ処理が進められる。優先する要素は、例えば、不図示の操作部を用いて選択される。

Ｓ６０３にて、制御部は、ワーピング処理の追従性を優先するために、フレームレート（フレームレート制御情報）を高める処理を行う。Ｓ６０３では、制御部は、追従帯域の使用率が１００％以下になるように、ビット数（階調制御情報）を低減する処理も行う。さらに、制御部は、高められたフレームレートに対応する時間よりも１回（１フレーム）のワーピング処理に要する時間が短くなるように、格子点数（格子点制御情報）を低減する処理を行う。格子点数を低減する処理は、「格子点を間引く処理」とも言える。具体的には、制御部は、２１以上かつ６０以下の面変化情報に対応する制御情報から、６１以上かつ１００以下の面変化情報に対応する制御情報へ、制御情報を変更する（図３）。

Ｓ６０４にて、制御部は、ワーピング処理の階調性を優先するために、ビット数（階調制御情報）を高める処理を行う。Ｓ６０４では、制御部は、追従帯域の使用率が１００％以下になるように、フレームレート（フレームレート制御情報）を低減する処理も行う。具体的には、制御部は、２１以上かつ６０以下の面変化情報に対応する制御情報から、０以上かつ２０以下の面変化情報に対応する制御情報へ、制御情報を変更する（図３）。

Ｓ６０４にて、制御部は、ワーピング処理の精度を優先するために、格子点数（格子点制御情報）を増やす処理を行う。さらに、制御部は、フレームレートに対応する時間が１回（１フレーム）のワーピング処理に要する時間よりも長くなるように、フレームレート（フレームレート制御情報）を低減する処理を行う。具体的には、制御部は、２１以上かつ６０以下の面変化情報に対応する制御情報から、０以上かつ２０以下の面変化情報に対応する制御情報へ、制御情報を変更する（図３）。

なお、変更後の制御情報は、制御部によって自動で決定されてもよいし、そうでなくてもよい。例えば、ユーザからの指示に応じて、変更後の制御情報（フレームレート、階調性、格子点数、等）が決定されてもよい。ユーザからの指示に応じて全ての制御情報が変更されてもよいし、ユーザからの指示に応じて一部の制御情報のみが変更されてもよい。

Ｓ６０３、Ｓ６０４、または、Ｓ６０５の次に、Ｓ６０６にて、制御部は、変更後の複数の制御情報に基づくワーピング処理の処理負荷が閾値よりも大きいか否かを判断する。具体的には、制御部は、以下の条件１，２の両方を満たすか否かを判断する。条件１，２の両方を満たすと判断された場合には、制御部は本処理フローを終了する。条件１，２の少なくとも一方を満たさないと判断された場合には、Ｓ６０７へ処理が進められる。ワーピング処理に要する時間と比較される閾値は、最大で１フレームの時間であるが、ワーピング処理と同時に行われる他の処理に依存する。
条件１：変更後のフレームレートと階調性に基づく使用率（追従帯域の使用率）が１００％以下である。
条件２：変更後の格子点数に基づく１回（１フレーム）のワーピング処理に要する時間が閾値以下である。

Ｓ６０７にて、制御部は、所定の通知を行うように制御する。具体的には、制御部は、帯域や処理時間が不足している旨のメッセージを表示部１１０に表示するように制御する。そして、Ｓ６０１へ処理が戻される。

以上述べたように、本実施例によれば、面変化情報に基づいて、フレームレート制御情報などの制御情報が決定される。決定された制御情報を適用することにより、投影面に対してより好適な投影画像が実現可能となる。具体的には、不必要に高いフレームレート且つ不必要に低い解像度、階調性、画像処理精度、等で追従処理が行われることを抑制することができる。

なお、制御情報は、フレームレート制御情報、階調制御情報、及び、格子点制御情報に
限られない。例えば、ワーピング処理が施される画像の解像度（画像サイズ）も、フレームメモリのメモリ帯域（使用される帯域）に影響を及ぼす。そのため、上記解像度に関する解像度制御情報が、面変化情報に基づいて決定されてもよい。その場合には、フレームレート変換部１０５の前段に解像度変換部が設けられる。解像度変換部は、解像度制御情報に応じた解像度に、画像の解像度を変換する。解像度変換部では、画像を縮小する縮小処理、または、画像を拡大する拡大処理が行われる。そして、ワーピング部１０７は、フレームメモリから読み出した画像の解像度（変換後の解像度）を元の解像度（変換前の解像度）に戻しながら、ワーピング処理を行う。階調制御情報、格子点制御情報、及び、解像度制御情報の少なくともいずれかは決定されなくてもよい。

なお、追従処理はワーピング処理に限られない。例えば、追従処理として台形歪み補正処理（キーストン補正処理）が行われてもよい。台形歪み補正処理では、例えば、画像の４隅の格子点に基づいて画像が変形される。台形歪み補正処理の格子点数は非常に少ないため、追従処理の処理時間、格子点数、等は必ずしも考慮する必要はない。即ち、格子点制御情報は決定されなくてもよい。

なお、追従処理を行う処理装置（投影装置）が予め定められた固定の装置である場合には、例えば、図５のようなテーブルとして、固定のテーブルを予め用意することができる。そして、予め容易されたテーブルを用いて、上述した処理を実現することができる。装置情報は必ずしも取得したり使用したりする必要はない。図５のようなテーブルが装置情報として取得されてもよい。

＜実施例２＞
以下、図７，８を参照して、本発明の実施例２について説明する。本実施例では、実施例１で述べたような情報処理装置が投影装置に設けられ、投影装置が追従処理に使用する制御情報を自動で切り替える例を説明する。なお、以下では、実施例１と異なる点（構成や処理）について詳しく説明し、実施例１と同じ点についての説明は省略する。

図７は、本実施例に係る投影装置７００の機能構成の一例を示す。図７において、実施例１（図１）と同じ機能部には実施例１と同じ符号が付されている。投影装置７００は、投影画像入力部１０２、階調変換部１０４、フレームレート変換部１０５、フレームメモリ１０６、ワーピング部１０７、及び、格子点メモリ１０８を有する。また、投影装置７００は、制御部７０１、液晶パネル制御部７０２、液晶パネル７０３、光源制御部７０４、光源７０５、投影光学系７０６、面状態検出部７０７、及び、ＬＵＴ記憶部７０８を有する。制御部７０１は、情報決定部７１０を有する。

投影面７１１は、変形し得る投影面であり、例えば布製の投影面である。投影装置７００は、投影面７１１に画像が追従するように投影を行う。投影面７１１には、図４のように不可視マーカが付加されている。投影装置７００に入力される投影画像のデータフォーマットは特に限定されないが、本実施例では、投影画像が以下のデータフォーマットを有するとする。
解像度：水平方向１９２０画素×垂直方向１０８０画素
画素値：１０ｂｉｔのＲ値、１０ｂｉｔのＧ値、及び、１０ｂｉｔのＢ値からなる、計３０ｂｉｔのＲＧＢ値
フレームレート：１２０ｆｐｓ

投影装置７００の各機能部について、図７を用いて説明する。ＬＵＴ記憶部７０８は、図５のようなテーブルを予め記憶する。ＬＵＴ記憶部７０８が記憶するテーブルは、投影装置７００に対応するテーブルである。

面状態検出部７０７は、投影面７１１の状態を検出可能なセンサであり、例えばカメラを有する。面状態検出部７０７のカメラは高速撮影可能なカメラであることが好ましく、本実施例では、１０００ｆｐｓで撮影が可能なカメラが使用される。面状態検出部７０７は、投影面７１１の状態の検出結果に基づいて面変化情報を生成する。

面変化情報の生成方法は特に限定されないが、本実施例では、面状態検出部７０７は、投影面７１１の状態の検出結果に基づいて、投影面７１１の単位時間（例えば１秒）あたりの変化の大きさを算出する。そして、面状態検出部７０７は、算出結果に基づいて面変化情報を生成する。

面変化情報の生成方法について具体的に説明する。ここでは、単位時間が１秒であるとする。面状態検出部７０７は、複数の不可視マーカのそれぞれについて、フレーム間における位置の差分値（変化量）を算出する。そして、面状態検出部７０７は、複数の差分値の総和を差分統計値として算出し、差分統計値を不図示のメモリに記録する。面状態検出部７０７は、１秒間に得られた複数の差分統計値の総和（総差分統計値）が得られるように、算出した差分統計値をメモリの差分統計値に加算する処理を１秒間繰り返す（累積加算）。本実施例では、面状態検出部７０７が有するカメラのフレームレートが１０００ｆｐｓであるため、差分統計値の累積加算が１秒間に１０００回行われる。投影面７１１の変化が大きいほど大きい総差分統計値が得られる。

そして、面状態検出部７０７は、１秒間に１回の頻度で、総差分統計値から面変化情報を算出（更新）する。本実施例では、面状態検出部７０７は、総差分統計値を０以上かつ１００以下の値に正規化することにより、面変化情報を算出する。

情報決定部７１０は、実施例１の情報決定部１０１と同様の機能を有する。但し、情報決定部７１０は、装置情報を取得せずに、面状態検出部７０７から取得した面変化情報に基づいて制御情報（フレームレート制御情報、階調制御情報、及び、格子点制御情報）を決定する。具体的には、情報決定部７１０は、面変化情報に応じた制御情報を、ＬＵＴ記憶部７０８が記憶するテーブルから読み出す。

液晶パネル制御部７０２は、ワーピング部１０７によって生成されたワーピング画像に基づいて、液晶パネル７０３の透過率を制御するための電気信号（例えば電圧信号）を生成する。液晶パネル７０３は、光源７０５から発せられた光を、液晶パネル制御部７０２によって生成された電気信号に基づく透過率で透過する。

光源制御部７０４は、ワーピング画像、ユーザから不図示の操作部を介して入力された指示、等に基づいて、光源７０５のオン／オフ、光源７０５の光量、等を制御ための制御値を生成する。光源７０５は、ハロゲンランプ、キセノンランプ、高圧水銀ランプ、等であり、光源制御部７０４によって生成された制御値に基づいて液晶パネル７０３に光を照射する。

投影光学系７０６は、投影レンズを有し、液晶パネル７０３を透過した光を投影面７１１に照射（投影）する。投影レンズは、筒状の鏡筒内にズームレンズやフォーカスレンズなどの複数のレンズが収容された組レンズである。

制御部７０１は、投影装置７００の各機能部の処理を制御する。例えば、投影光学系７０６の各レンズの状態は、制御部７０１からの指示に応じて制御される。

続いて、投影装置７００（制御部７０１）の処理の具体例について、図８を用いて説明する。図８のフローチャートは、投影面７１１と投影装置７００の設置が終了し、投影装
置７００の追従投影モードがＯＮになったことに応じて開示される。追従投影モードは、投影面７１１に画像が追従するように投影を行う動作モードである。図８の処理フローは、１回だけ行われてもよいし、所定の頻度で繰り返し行われてもよい。単位時間おきに図８の処理フローが行われてもよいし、単位時間よりも長いまたは短い時間おきに図８の処理フローが行われてもよい。

Ｓ８０１にて、制御部７０１は、面状態検出部７０７に対して面変化情報の算出を指示し、面変化情報を面状態検出部７０７から取得する。ここでは、面変化情報として７０が得られた場合の例を説明する。

Ｓ８０２にて、制御部７０１は、Ｓ８０１で取得した面変化情報に基づいて、制御情報を決定する。ここでは、面変化情報として７０が得られたため、図５のテーブルから、フレームレート（フレームレート制御情報）として９６０ｆｐｓ、階調性（階調制御情報）として１８ｂｉｔ、格子点数（格子点制御情報）として３００個が決定される。

Ｓ８０３にて、制御部７０１は、Ｓ８０２で決定した制御情報を各機能部へ設定する。ここでは、制御部７０１は、Ｒ値、Ｇ値、及び、Ｂ値のそれぞれのビット数を１０ｂｉｔから６（＝１８／３）ｂｉｔに変化するように、階調変換部１０４に指示を出力する。また、制御部７０１は、フレームレートを１２０ｆｐｓから９６０ｆｐｓに変換するように、フレームレート変換部１０５に指示を出力する。そして、制御部７０１は、格子点数が３００個のワーピング処理を行うように、ワーピング部１０７へ指示を出力する。

以上述べたように、本実施例によれば、実施例１の処理と同様の処理が投影装置で行われるため、実施例１と同様の効果を得ることができる。さらに、投影面の状態が検出され、検出結果に基づく面変化情報が使用されるため、投影面に応じた最適な制御情報を自動で決定することができ、投影面に応じた最適な画像処理を行うことができる。

実施例１，２の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１１：面変化情報入力部 １０１３：フレームレート決定部

Claims (16)

1. 画像が投影される投影面の変化の大きさに関する面変化情報を取得する第１取得手段と、
   前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定する決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記画像処理が施される画像の階調性に関する階調制御情報を、前記面変化情報に基づいてさらに決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記画像処理が施される画像の解像度に関する解像度制御情報を、前記面変化情報に基づいてさらに決定する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記決定手段は、前記画像処理で使用される格子点の数に関する格子点制御情報を、前記面変化情報に基づいてさらに決定する
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記決定手段は、
   前記フレームレート制御情報を含む複数の制御情報を、前記面変化情報に基づいて決定し、
   ユーザからの指示に応じて、前記複数の制御情報の少なくともいずれかを変更する
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記決定手段は、前記指示に応じて、前記画像処理の処理負荷が閾値以下になるように、前記複数の制御情報の少なくともいずれかを変更する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記指示に応じた変更後の複数の制御情報に基づく画像処理の処理負荷が閾値よりも大きい場合に所定の通知を行う通知手段、をさらに有する
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記決定手段は、前記画像処理の処理負荷が閾値以下になるように、前記フレームレート制御情報を含む複数の制御情報を、前記面変化情報に基づいて決定する
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記閾値は、前記画像処理を行う処理装置の処理能力に応じて決まり、
   前記決定手段は、前記処理装置で実現可能な画像処理に対応する複数の制御情報を決定する
   ことを特徴とする請求項６〜８のいずれか１項に記載の情報処理装置。
10. 前記閾値は、前記画像処理を行う処理装置の処理能力に応じて決まり、
    前記情報処理装置は、前記処理装置に関する装置情報を取得する第２取得手段、をさらに有し、
    前記決定手段は、前記装置情報に基づいて、前記処理装置で実現可能な画像処理に対応する複数の制御情報を決定する
    ことを特徴とする請求項６〜８のいずれか１項に記載の情報処理装置。
11. 前記取得手段は、ユーザからの指示に応じて、または、前記投影面の状態を検出する検出部の検出結果に基づいて、前記面変化情報を取得する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記フレームレート制御情報を外部へ出力する出力手段、をさらに備える
    ことを特徴とする請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記出力手段は、前記フレームレート制御情報を前記画像の画像データに付加し、前記フレームレート制御情報の付加後の画像データを外部へ出力する
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 画像が投影される投影面の変化の大きさに関する面変化情報を取得する取得手段と、
    前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定する決定手段と、
    を有することを特徴とする投影装置。
15. 画像が投影される投影面の変化の大きさに関する面変化情報を取得するステップと、
    前記投影面に前記画像を追従させるための画像処理のフレームレートに関するフレームレート制御情報を、前記面変化情報に基づいて決定するステップと、
    を有することを特徴とする情報処理方法。
16. 請求項１５に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images