JP2022077773A - 投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム - Google Patents
投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム Download PDFInfo
- Publication number
- JP2022077773A JP2022077773A JP2020188763A JP2020188763A JP2022077773A JP 2022077773 A JP2022077773 A JP 2022077773A JP 2020188763 A JP2020188763 A JP 2020188763A JP 2020188763 A JP2020188763 A JP 2020188763A JP 2022077773 A JP2022077773 A JP 2022077773A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- screen
- projection control
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】 プロジェクタにおいて、映像領域のみにパターン画像を投射することで適切な自動補正ができるようにする。【解決手段】 入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置において、投射される画像情報がスクリーン上で表示される映像領域を特定する特定手段と、画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、特定された映像領域に投射されるように生成された調整パターンを、投射手段により前記スクリーン上に投射させる投射制御手段と、を配する。【選択図】 図1
Description
本発明は、投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラムに関する。
プロジェクタを用いてスクリーン等の被投射面に画像を投射する場合、投射画像に対する外光補正や経時劣化補正、マルチプロジェクションでの色域や輝度の補正等の各種自動補正が行われている。多くの場合、自動補正は、スクリーン上に投射された調整パターンからなる自動補正用のパターン画像を撮像装置(以下、カメラという)で撮影し、そこから得られる画素値等の情報を元に行われる。
ここで、スクリーンの外にこの自動調整用のパターン画像がはみ出る場合、誤ってはみ出した領域の画像もスクリーン上の画像として認識してしまう可能性がある。このようなはみ出し領域から得た画素値を自動補正の計算に使用すると、補正の精度が低下するおそれがある。なお、スクリーンに表示させたい投射画像をカメラにより撮影し、画像の投射領域を特定することも行われる。特許文献1には、カメラによる撮像画像中の投射領域を特定し、投射領域の外側をマスキングするプロジェクタが開示されている。また特許文献2には、カメラ等によりスクリーンの形状を取得し、スクリーン領域とそれ以外の領域で異なる画像を投射するプロジェクタが開示されている。
特許文献1および2にて開示されたプロジェクタでは、スクリーンに表示させたい投射画像が表示される投射領域は、カメラにより正しく特定されている。しかし、上述したパターン画像のスクリーンへの投射に際しては、該パターン画像の投射領域とスクリーンとの関係は特定されておらず、これら文献に開示されるプロジェクタではスクリーン外の投射光の悪影響を低減できない可能性がある。
本発明は、映像領域のみにパターン画像を投射することで適切な自動補正ができるようにした投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラムの提供をその目的の一つとする。
上述した目的を達成するために、本発明の一態様に係る投射制御装置は、
入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置であって、
前記投射される画像情報が前記スクリーン上で表示される映像領域を特定する特定手段と、
前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させる投射制御手段と、
を備えることを特徴とする。
入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置であって、
前記投射される画像情報が前記スクリーン上で表示される映像領域を特定する特定手段と、
前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させる投射制御手段と、
を備えることを特徴とする。
本発明の一態様によれば、映像領域のみにパターン画像を投射することで適切な自動補正ができるようになる。
以下、本発明の例示的な実施の形態について、図面を参照しながら以下に詳細に説明する。ただし、以下の実施例で例示する寸法、形状、および構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成あるいは様々な条件に応じて変更可能である。また、図面において、同一であるかあるいは機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
[実施例1]
<装置構成>
図1から図8を用いて、本発明の実施例1に係る画像投射システム、投射制御装置および該投射制御装置の作動方法について説明する。図1は、本発明の実施例1に係る投射制御装置を含む画像投射システム100の構成を示している。本画像投射システム100は、画像生成装置(2)と、カメラ3と、投射制御装置(4)と、プロジェクタ1a,1bとを備える。なお、本実施例では、第1のプロジェクタ(投射手段)1aと第2のプロジェクタ(投射手段)1bとの2つのプロジェクタを有するシステムを例として述べるが、プロジェクタの数は例示であってこれに限られない。また、これらプロジェクタ1a、1bは、各々から投射された画像が水平方向(重力方向に対して水平)に並んでスクリーン上に表示されるように配置されているが、投射される画像の配置はこれに限られず例えば垂直方向に並べる等、任意に配されてもよい。画像投射システム100は、スクリーン5に対して画像を投射する。
<装置構成>
図1から図8を用いて、本発明の実施例1に係る画像投射システム、投射制御装置および該投射制御装置の作動方法について説明する。図1は、本発明の実施例1に係る投射制御装置を含む画像投射システム100の構成を示している。本画像投射システム100は、画像生成装置(2)と、カメラ3と、投射制御装置(4)と、プロジェクタ1a,1bとを備える。なお、本実施例では、第1のプロジェクタ(投射手段)1aと第2のプロジェクタ(投射手段)1bとの2つのプロジェクタを有するシステムを例として述べるが、プロジェクタの数は例示であってこれに限られない。また、これらプロジェクタ1a、1bは、各々から投射された画像が水平方向(重力方向に対して水平)に並んでスクリーン上に表示されるように配置されているが、投射される画像の配置はこれに限られず例えば垂直方向に並べる等、任意に配されてもよい。画像投射システム100は、スクリーン5に対して画像を投射する。
本実施例において、画像生成装置にはパーソナルコンピュータ(PC2)を用いる。PC2は、入力される画像信号に基づいて、プロジェクタ1a,1bで投射する画像に対応した画像信号を生成し、これを出力する。出力された画像信号は、入力情報として後述する画像信号入力部104に入力される。また、本実施例において、PC2は後述する変形画像あるいはマスク画像に対応した画像信号も生成する。第1のプロジェクタ1aおよび第2のプロジェクタ1bは、スクリーン5等の被投射面にPC2で生成した画像信号に基づく画像あるいは画像情報を投射する。カメラ3は、本実施例における撮像手段として、プロジェクタ1a,1bによりスクリーン5に投射された画像を撮像する。本実施例において投射制御手段として機能するパーソナルコンピュータ(PC4)は、カメラ3から得られる撮像画像に関するデータ(以降撮像画像と称する。)に基づいて、プロジェクタ1a,1bを制御する。
本実施例において、PC4は、特定部4aと、調整パターン生成部4bと、投射制御部4cとを有する。特定部4aは、PC2から出力される上述した入力情報を用いて、スクリーン5に表示したい画像が表示される映像領域を特定する。調整パターン生成部4bは、例えば該映像領域にのみ調整パターンを表示させることができるように調整パターンを生成する処理を行う。また、PC4は、カメラ3から得た撮像画像を用いてプロジェクタ1a,1bが投射する調整パターンの投射領域を検出する処理や、プロジェクタ1a,1bの色域や輝度が略一致するよう調整する処理を実行することもできる。投射制御部4cは、後述する制御部106を制御して、プロジェクタ1a,1bに対してスクリーン5上への調整パターンの投射を実行させる。なお、本実施例において調整パターンとは、投射される画像の色域や輝度等を確認し、これらを調整するための情報を得るために作成された専用の色彩、パターン等を有する、自動補正用のパターン画像を指す。PC4は、この調整パターンを撮像することで得られた情報から、第1のプロジェクタ1aと第2のプロジェクタ1bとから出射される画像各々の色域、輝度等の表示態様の調整を行う。
第1のプロジェクタ1aおよび第2のプロジェクタ1bは、各々光源101と、光変調部110と、投射光学系103を含むレンズユニット111とを有する。レンズユニット111は、投射光学系103のズーム、フォーカスおよびシフトを駆動するレンズ駆動部107を有する。なお、これらプロジェクタは同様の構成を有することから、以下では、一方のプロジェクタの説明のみを行い、これにより両プロジェクタの説明に換えることとする。
光源101は、放電発光管、LED、あるいはレーザにより構成され、照明光を発する。光変調部110は、光変調パネル(光変調素子)102と、画像信号入力部104と、画像処理部105と、操作部108と、制御部106とを有する。画像信号入力部104は、プロジェクタの外部からのVGA信号、DVI信号、HDMI(登録商標)信号等の各種画像信号を入力するための端子と、それらの端子を通じてPC2より入力された画像信号を受信するレシーバIC等を有する。本実施例において、画像信号入力部104は、入力された画像信号を画像処理部105に出力する。
画像処理部105は、入力された画像信号に対して色むら補正、ガンマ補正、コントラスト補正、色変換、エッジブレンド補正、およびキーストーン補正等の各種画像処理を行う。また、画像処理部105は、画像処理後の画像信号から光変調パネル102を駆動するためのパネル駆動信号を生成する。また、画像処理部105は、画像処理後の画像信号に対して、各種設定用のメニュー等を表示するOSD(On Screen Display)画像を表示するためのOSD画像信号を付加したパネル駆動信号を生成する。
光変調パネル102は、液晶パネルやデジタルマイクロミラーデバイス等により構成され、画像処理部105から入力されたパネル駆動信号に応じて光源101からの照明光を変調して画像光を生成する。投射光学系103は、光変調パネル102からの画像光を不図示のスクリーン5等の被投射面に拡大投射する。これにより、入力された画像信号に応じた画像が被投射面に対して投射表示される。
操作部108は、プロジェクタ1a,1bの各々に対する各種設定を行うユーザによって操作される操作部材やリモコンからの赤外線信号を受信する赤外線受信部等を含む。操作部108は、該操作部108に対して行われた操作あるいは受信した赤外線信号に応じて生成した操作信号を、制御部106に出力する。制御部106は、CPUやメモリ等を含むマイクロコンピュータにより構成され、操作部108より入力された操作信号に応じて画像処理部105に指示を与え、レンズ駆動部107を制御する。
本実施例において、PC2は、第1のプロジェクタ1aおよび第2のプロジェクタ1bに対し、有線あるいは無線により接続される。また、PC2は、画像信号の変形処理やマスク処理等を行い、これらプロジェクタ1a,1bから投射する画像に対応する信号を生成する。PC4は、第1のプロジェクタ1aおよび第2のプロジェクタ1bと、PC2と、カメラ3とに対し、有線あるいは無線により接続される。また、PC4は、これらプロジェクタ1a,1bに対して、テストパターン(調整パターン)の投射を指示する。更にPC4は、PC2に対して変形処理に使用した設定値(変形パラメータ)やマスク処理に使用した設定値(マスクパラメータ)の送信を指示し、カメラ3に対して撮像を指示する。
また、本実施例では、第1のプロジェクタ1aと、第2のプロジェクタ1bと、PC2と、カメラ3と、PC4とが互いに別々の装置として構成されている。しかし、PC2とPC4の処理を同時に行うPC(不図示)が存在してもよい。また、カメラ3が、第1のプロジェクタ1aおよび第2のプロジェクタ1bの各々に内蔵されていてもよい。PC2とPC4とが、共に両プロジェクタ1a,1bに対して1対配置されているが、これを各々のプロジェクタに対応して配置させることもできる。また、操作部108が各々のプロジェクタ1a、1bに配置されているが、単一の操作部によってプロジェクタ1a,1bに指示を入力できるようにしてもよい。即ち、上述した各構成要素の配置や構成の態様、個数等は、実施例1として例示した構成に限定されない。
<調整処理>
次に、図2のフローチャートを参照し、PC4によって実行される処理について述べる。PC4により実行される処理には、調整パターンの投射領域の設定処理と該調整パターンを撮像して得た撮像画像に基づく色調整処理とが含まれる。本実施例における投射領域の設定処理は、主として第1のプロジェクタ1aおよび第2のプロジェクタ1bによる調整パターンの投射領域を設定する処理である。また、本実施例における色調整処理は、例えば第1のプロジェクタ1aおよび第2のプロジェクタ1bにより投射された画像の色域や輝度を略一致するよう調整する処理である。
次に、図2のフローチャートを参照し、PC4によって実行される処理について述べる。PC4により実行される処理には、調整パターンの投射領域の設定処理と該調整パターンを撮像して得た撮像画像に基づく色調整処理とが含まれる。本実施例における投射領域の設定処理は、主として第1のプロジェクタ1aおよび第2のプロジェクタ1bによる調整パターンの投射領域を設定する処理である。また、本実施例における色調整処理は、例えば第1のプロジェクタ1aおよび第2のプロジェクタ1bにより投射された画像の色域や輝度を略一致するよう調整する処理である。
PC4は、例えばユーザが操作部108を操作することで呼び出されるメニューを選択し、選択したメニューの実行指示を行うことにより、選択されたメニューに係る処理を実行する。図2に示す処理は、ユーザが、例えばカメラ3の使用によるプロジェクタの調整メニューを選択することに応じて、コンピュータプログラムに従ってその実行が開始される。なお、PC4は、外部からの調整メニューの実行の命令を受けたり、一定時間ごとに調整を実行する命令が自動的に発行されたりしたときに、この調整メニューに係る処理を開始してもよい。当該処理が開始されると、PC4はフローをステップS100に移行させる。なお、本実施例において、入力情報に基づく画像が投射されるスクリーン5のサイズと該投射される画像のサイズとは予め定められており、入力情報には、このサイズに関する情報も含まれる。従って、投射される画像がスクリーン5からはみ出すことはない。
ステップS100において、PC4は、PC2からの入力情報を受信する。入力情報には、投射したい画像をPC2で生成した際に使用した設定値あるいは入力画像(設定値と入力画像を合わせて入力情報と定義する)が含まれる。ここで、設定値には、画像信号を変形させる後述する変形パラメータや、画像信号の一部をマスキングする後述するマスクパラメータが含まれる。PC4は、これらパラメータを用いて以下に述べる第1の入力画像20bあるいは第2の入力画像21bを生成する。
PC4が設定値として変形パラメータあるいはマスクパラメータをPC2から受信した場合には、該パラメータを用いて、以下の手順に従ってマスク画像が生成される。ここで、変形パラメータについて、図3の説明図を参照して説明する。図3(a)は、PC2に画像信号として入力された原画像20aの一例を示している。また、図3(b)は、原画像20aに基づいてPC2により生成された第1の入力画像20bを示している。PC2では、原画像20a上の点P00a、P01a、P02a、P10a、P11a、P12aを、点P00b、P01b、P02b、P10b、P11b、P12bで示される位置にそれぞれ変換することで第1の入力画像20bを生成する。
この時、各点は(x,y)の座標情報を持ち、原画像20aの画像サイズの範囲内の値を取り得るとする。具体的には、画像が1920×1200の解像度を持つとき、各点は(x,y)=(0,0)から(x,y)=(1919,1199)の値をとる。変形パラメータとは、例えば原画像20aにおける点P00aが第1の入力画像20bにおけるどの点に移動したかを紐づけるパラメータである。点P00aから点P00bへの変形パラメータをQ00とし、P00a=(0,0)、P00b=(0,300)とすると、Q00={(0,0),(0,300)}が保持される。点P01a~P12aから点P01b~P12bへの変形でも同様に変形パラメータQ01~Q12が保持される。なお、図3に示した例では、変形パラメータの数はQ00~Q12の6個が存在するが、6個より少なくても多くてもよく、その数はここで例示した数に限定されない。
次に、マスクパラメータについて、図4の説明図を参照して説明する。図4(a)は、PC2に画像信号として入力された原画像20aの一例を示している。また、図4(b)は、原画像20aに基づいてPC2により生成された第2の入力画像21bを示している。PC2では、図4(b)に示すマスク22,23を原画像20aに付与することで、第2の入力画像21bを生成する。
この時、マスク内の画素値は0に置き換えられる。マスクパラメータとは、例えばマスク22,23各々の左上の頂点の座標および幅と高さを保持するパラメータである。マスク22のマスクパラメータをM0とし、マスク22の左上の頂点を(0,0)、マスク22の幅と高さを(1920,300)とすると、M0={(0,0),(1920,300)}が保持される。マスク23に関しても、同様に設定されるマスクパラメータM1が保持される。なお、図4に示した例では、マスクパラメータの数はM0,M1の2個が存在するが、2個より少なくても多くてもよく、その数はここで例示した数に限定されない。また、ここでは四角形のマスクを例示したが、マスクの形は四角形に限定されず、円形や三角形、あるいはそれらの組み合わせ等、用途に応じて任意に変形することができる。
より一般的には、マスクパラメータにより規定される画像とは、例えば本実施例における第2の入力画像21bと同じ解像度を持つ画像(以下、マスク画像という)である。例えば、マスクが存在する座標の画素値を1、それ以外の座標の画素値を0に設定する。図4(b)で説明すると、マスク22,23が付与された灰色の領域の画素値が1に設定され、それ以外の領域の画素値が0に設定される。
また、マスク画像の生成方法はこの例に限られず、例えば変形パラメータを用いてマスク画像を生成してもよい。その場合、PC4による変形によって原画像が写像されない座標の画素値を1、それ以外の座標の画素値を0に設定する。図3(b)に示す第1の入力画像20bを例に説明すると、原画像が写像されない灰色の領域の画素値が1に設定され、それ以外の領域の画素値が0に設定される。
更に、マスク画像の生成はPC2により行ってもよいし、変形パラメータQ00やマスクパラメータM0を受信したPC4により行ってもよい。PC2によりマスク画像を生成した場合には、変形パラメータあるいはマスクパラメータとしてマスク画像がPC4で受信される。なお、以降の説明では、説明の簡略化のため変形パラメータおよびマスクパラメータにより変形された画像はマスク画像を示すものとする。
一方で、PC4がPC2から、設定値ではなく入力画像を受信する場合には、入力画像の各画素に対して以下の計算を行い、マスク画像Fを生成する。
ここで、F(x,y)はマスク画像の(x,y)座標での画素値、Pix(x,y)は入力画像の(x,y)座標での画素値、Thは閾値を表す。即ち、マスク画像は、閾値Thよりも暗い値を持つ画素をマスクする。
なお、上述した計算はある時点の入力画像(一枚の入力画像)で計算してもよいが、望ましくは一定期間に入力される入力画像(複数の入力画像)で計算することが望ましい。一定期間に入力される入力画像を計算する場合には、一定期間で入力される映像において閾値Thよりも暗い値が持続する画素をマスクする。このように複数の画像を用いて入力画像を計算することによって、映像領域ではあるが、特定画像でたまたま画素値が低くなってマスクされる画素を低減することができる。また、望ましくは閾値Thよりも十分大きな画素値をとる原画像により入力画像を生成するとよい。マスク画像の生成後、PC4はフローをステップS101に移行させる。
ステップS101では、PC4(特定部4a)は、ステップS100で生成したマスク画像(あるいは変形画像)から入力画像における映像領域を設定する。ここで映像領域とは、入力画像において原画像の変化に追従する領域を表す。図4(b)を例とすると、第2の入力画像21bにおいてマスク22,23が付与されていない領域が対応する。一方で、映像領域でない領域(以下、非映像領域という。)は、上述したように画像情報の画素値が、一定期間、閾値以下となる画素からなる領域であって、原画像をいかに変化させても同一の画素値をとる領域である。図4(b)を例とすると、マスク22,23が付与されている領域が対応する。これに対し、映像領域は、一定期間で閾値より大きな値を一度でも示す画素からなる領域となる。ここでは、マスク画像の画素値が0となる座標の集合を映像領域、画素値が1となる座標の集合を非映像領域に設定する。
図5および図6を参照して、変形後あるいはマスク付与後の映像領域について説明する。図5は、第1の入力画像20bあるいは変形パラメータQ00~Q12によって生成された第1の映像領域30を示している。また、図6は、第2の入力画像21bあるいはマスクパラメータM0~M1によって生成された第2の映像領域31を示している。変形パラメータあるいはマスクパラメータを用いて映像領域が設定されると、PC4はフローをステップS102に移行させる。
ステップS102では、PC4(調整パターン生成部4b)は、ステップS101で設定した映像領域の内側に調整パターンが投射されるように該調整パターンを生成する。ステップS102で生成される調整パターンの例について、図7あるいは図8を参照して説明する。図7は、第1の映像領域30の内側に生成された第1の調整パターン40(点線で囲まれた領域)を示している。また、図8は、第2の映像領域31の内側に生成された第2の調整パターン41(点線で囲まれた領域)を示している。
調整パターンは、例えば画像処理部105にて光変調パネル102と同一解像度のパターンを生成し、目標の調整パターン位置に表示されるようキーストーン補正等の歪み補正を行うことで得る。上述したように、本実施例では映像領域の内部に位置するように調整パターンを生成している。このため、得られた調整パターンがスクリーン内部に確実に投射されることとなるため、自動調整を好適に行うことができる。
なお、本実施例では、図7あるいは図8に例示した態様で調整パターンを生成し、歪み補正を行った後にこれを投射している。しかし、画像処理部105が映像領域と同一サイズかそれよりも小さいパターンを生成できる場合は、歪み補正を行うことなく投射を行ってもよい。また、調整パターンの位置は映像領域の内側、即ち該領域の一部に投射されればよく、映像領域の外縁と調整パターンの外縁とが完全に一致していなくてもよい。更に、図7および図8では、調整パターンを一つの矩形パターンとしているが、これを多角形や円等のパターン形状としてもよいし、それらの組み合わせとしてもよい。調整パターンの生成後、PC4はフローをステップS103に移行させる。
ステップS103では、PC4(投射制御部4c)は、第1のプロジェクタ1aおよび第2のプロジェクタ1bにより、スクリーン5上にステップS102で生成した調整パターンを投射させる。ここで調整パターンは、輝度最大の白色光、赤色光、緑色光、および青色光各々の階調パターンであることが望ましい。中間階調の色域や輝度の調整を行う場合には、対応する階調の白色パターン、赤色パターン、緑色パターン、青色パターンを使用してもよい。そしてPC4は、これら調整パターンを順次スクリーン5に投射させ、カメラ3にこのスクリーン5上の画像を撮像させる。カメラ3による画像の撮像後、PC4はフローをステップS104に移行させる。
ステップS104では、PC4は、ステップS103で得られた撮像画像を使用して、調整パターンが投射される投射領域の位置検出を行う。投射領域の検出は、カメラ3で得た撮像画像のうち、所定画素値以上の画素値を有する連続した領域を検出し、これらを一つの投射領域とする。なお、本実施例において連続した領域とは、例えば垂直方向あるいは水平方向に隣接する画素の画素値の変化の微分値が所定量以下になる画素からなる領域、あるいは任意の画素の周辺画素の分散値が所定量以下になる画素からなる領域を指す。調整パターンの投射領域の位置が検出されると、PC4はフローをステップS105に移行させる。
ステップS105では、PC4は、ステップS103で得られた撮像画像、およびステップS104で検出した投射領域を使用して、プロジェクタの色域や輝度の調整を行う。以下、本実施例において実行される調整処理の詳細について説明する。
まず、ステップS104にて検出した投射領域において、調整に使用する代表値を生成する。代表値とは、ステップS103で得られた撮像画像のうち、各プロジェクタの投射領域に属する画素値の平均値や中央値、最大輝度値等が対応する。その後、各プロジェクタ、本実施例では第1のプロジェクタ1aと第2のプロジェクタ1bとの代表値が略一致するように、調整値を求める。例えば、調整パターンとして輝度最大の白色画像を投射した際、第1のプロジェクタ1aの代表値を
、第2のプロジェクタ1bの代表値を
とする。ここでRw1aおよびRw1bは各々のプロジェクタの赤色光についての輝度の代表値であり、Gw1aおよびGw1bは緑色光についての輝度の代表値であり、Bw1aおよびBw1bは青色光についての輝度の代表値となる。そして、それらが略一致するようにゲイン係数
を算出する。rw1は赤色光についてのゲイン係数であり、gw1は緑色光についてのゲイン係数であり、bw1は青色光についてのゲイン係数である。これらのゲイン係数は、
を満たすような数値である。
なお、上述した例では第1のプロジェクタ1aの代表値を基準として第2のプロジェクタ1bの代表値を調整するようなゲイン係数を算出しているが、基準となるプロジェクタは任意に変更可能である。また、輝度最大の白色パターンを使ってゲイン係数を算出しているが、赤色パターン、緑色パターン、青色パターンのいずれか、あるいはこれらの複数のパターンの代表値を使ってゲイン係数を算出してもよい。また、本実施例ではゲイン係数を調整値として算出していたが、中間階調の色域や輝度の調整を行う場合には、ガンマ係数やガンマテーブルを調整値として算出してもよい。あるいは、3DLUT(3D Look Up Table)を調整値として算出することもできる。なお、本ステップS105で実行される処理は、公知であって、代替可能であれば処理方法はここで述べた態様に限定されない。調整終了後、PC4はフローをステップS106に移行させる。
最後にステップS106では、PC4は、ステップS105で算出した調整値を第1のプロジェクタ1aおよび第2のプロジェクタ1bに書き込む。具体的には、得られた調整値は、各々対応するプロジェクタの制御部106のメモリに記憶される。そして、記憶された調整値は、画像処理部105がパネル駆動信号等を生成する際に適用される。そして、プロジェクタ1a,1bは、この調整値に基づいて表示態様が調整された画像情報を、各々スクリーン5に対して投射する。これにより、第1のプロジェクタ1aと第2のプロジェクタ1bとが投射する画像の各々において、色域、輝度等が同じとなり、個別のプロジェクタから投射されて合成される画像が違和感なく一体化して見られることとなる。
なお、本実施例では、2つのプロジェクタ1a,1bがスクリーン5に対して左右方向に並ぶ画像を投射する場合について説明したが、上下方向に並ぶ画像を投射してもよい。また、本実施例では2つのプロジェクタ1a,1bの投射領域がスクリーン5上で重ならないような状態で各々の画像を投射している。しかし、これら投射画像が重なるような状態で投射してもよい。また、プロジェクタが2つの場合について説明したが、3つ以上のプロジェクタを用いた場合でも同様に上述した調整パターンの投射領域の設定方法は適用可能である。
また、本実施例では、マルチプロジェクションの色域や輝度を調整する際の調整パターンの投射領域の設定方法について説明した。しかし本発明の適用例は上述した実施例に限られず、経時劣化後のプロジェクタを経時劣化前の状態に戻すように色域や輝度を調整する場合の調整パターンの投射時に使用されてもよい。
以上に述べたように、本実施例1に係るPC4(投射制御装置)は、入力情報に基づいて生成された画像情報をスクリーン5上に投射するようにプロジェクタ1a,1b(投射手段)を制御する。ここで、PC4は、特定部4a(特定手段)と投射制御部4c(投射制御手段)とを備える。特定部4aは、投射される画像情報(20b,21b)がスクリーン5上で表示される映像領域(30,31)を特定する。特定部4aが特定した映像領域に投射されるように生成された調整パターンを、プロジェクタ1a,1bに対してスクリーン5上に投射させる。なお、調整パターンは、画像情報の表示態様である例えば色域や輝度を調整する際に用いる調整値を得るため用いられる。
上述した入力情報は、スクリーン5のサイズに応じてあらかじめ定められている。本実施例において、特定部4aは、PC2から入力された入力情報(20b,21b)を用いて映像領域30,31を特定する。なお、その際、特定部4aは、入力情報における画素値が一定期間閾値以下となる画素からなる領域を非映像領域とし、一定期間において一度でも閾値より大きくなる画素からなる領域を映像領域として特定することもできる。非映像領域は、例えば図5あるいは図6における灰色の領域に対応し、映像領域は第1の映像領域30あるいは第2の映像領域31に対応する。
また、投射制御部4cは、映像領域に対応した歪み補正処理を施した調整パターンをプロジェクタ1a,1bによりスクリーン5上に投射させる。歪み補正処理は、調整パターン生成部4bにより実行される。その際、投射制御部4cは、映像領域の一部に表示されるようにスクリーン5上に調整パターンを投射させるように、プロジェクタ1a,1bを制御することができる。図7に第1の調整パターン40として示し、図8に第2の調整パターン41として示すように、映像領域の外縁と調整パターンの外縁とが一致するようにしてもよく、映像領域30,31内の任意の位置に配置することとしてもよい。
なお、画像情報の生成に際して、上述したように、PC2は、変形パラメータを用いて入力情報の外縁を変形させている。しかし、PC4における特定部4aにこの機能を配することもできる。あるいは、PC2で実行される、入力情報の外縁の少なくとも一部に対応する画像情報の画素値を所定の値とするマスクパラメータを用いて生成されたマスクを入力情報に付与する機能を、特定部4aで実行することもできる。入力情報の外縁の一部には、例えば画素値を灰色一色とする所定の画素値として生成したマスク22,23を付与している。マスクによって覆われる範囲やその画素値は、上述したようにマスクパラメータに定められている。
なお、投射制御部4cは、プロジェクタ1a,1bに対し、表示態様として色域や輝度が調整された画像情報をスクリーン5上に投射させる。即ち、本実施例に係る画像投射システム100は、以上に述べたPC4(投射制御装置)と、入力情報に基づいて画像情報を生成するPC2(画像生成装置)と、プロジェクタ1a,1b(投射手段)とを備える。また、上述したように、PC4は、その作動方法として、投射される画像情報がスクリーン上で表示される映像領域を特定するステップと、上述した調整パターンをスクリーン上の投射させるステップとを含む。
以上に述べたように、本実施例によれば、入力情報を解析してスクリーン5に投射したい画像の映像領域を特定し、映像領域内にのみ調整パターンを投射することとしている。これにより、調整パターンがスクリーン5外にはみ出して投射される可能性を低減し、適切に投射領域を定めることができ、色域、輝度等の調整の精度を向上させることができる。
[実施例2]
上述した実施例1では、入力画像あるいは入力画像生成時の設定値(変形パラメータやマスクパラメータを示す。)を使用して、スクリーン5上に画像が投射される映像領域を算出した。本実施例2は、例えばPC2から実施例1で述べた設定値が入力されない場合を想定したものであって、設定値に基づいた映像領域の特定に代えて、カメラにより撮像した画像から映像領域を算出する方法を示す。より詳細には、カメラにより撮像した撮像画像上において、実施例1で述べた映像領域と非映像領域とを生成し、生成した映像領域から投射領域を検出することとしている。
上述した実施例1では、入力画像あるいは入力画像生成時の設定値(変形パラメータやマスクパラメータを示す。)を使用して、スクリーン5上に画像が投射される映像領域を算出した。本実施例2は、例えばPC2から実施例1で述べた設定値が入力されない場合を想定したものであって、設定値に基づいた映像領域の特定に代えて、カメラにより撮像した画像から映像領域を算出する方法を示す。より詳細には、カメラにより撮像した撮像画像上において、実施例1で述べた映像領域と非映像領域とを生成し、生成した映像領域から投射領域を検出することとしている。
なお、実施例2で用いる画像投射システムの構成は実施例1で述べた構成と同様であるため、ここでの説明は省略する。また、以降の説明を簡略化するために、実施例1と同様の構成要素や処理におけるステップに関しては実施例1で用いた参照番号等と同一の参照番号等を与え、以降での説明を省略する。
ここで、図9のフローチャートを参照し、PC4によって実行される実施例2に係る処理について述べる。PC4により実行される処理には、撮像画像に基づく調整パターンの投射領域の設定処理と調整パターンを撮像して得た撮像画像に基づく色調整処理とが含まれる。実施例1と同様に、投射領域の設定処理は、主として第1のプロジェクタ1aおよび第2のプロジェクタ1bによる調整パターンの投射領域を設定する処理である。また、色調整処理は、第1のプロジェクタ1aおよび第2のプロジェクタ1bにより投射された画像の色域や輝度等を略一致するよう調整する処理である。
PC4は、例えばユーザが操作部108を操作することで呼び出されるメニューを選択し、選択したメニューの実行指示を行うことにより、選択されたメニューに係る処理を実行する。図9に示す処理は、ユーザが、例えばカメラ3の使用によるプロジェクタの調整メニューが選択されることに応じて、コンピュータプログラムに従ってその実行が開始される。なお、PC4は、外部からの調整メニューの実行の命令を受けたり、一定時間ごとに調整を実行する命令が自動的に発行されたりしたときに、この調整メニューに係る処理を開始してもよい。当該処理が開始されると、PC4はフローをステップS200に移行させる。
ステップS200において、PC4は、PC2により生成された入力画像を、第1のプロジェクタ1aおよび第2のプロジェクタ1bによりスクリーン5上に順次投射させる。また、PC4は、カメラ3により、スクリーン5上に投射されている画像を撮像させる。
なお、本実施例で投射対象とする入力画像には、例えば図3(b)に示されるような変形パラメータにより生成された第1の入力画像20bが用いられる。また、図4(b)に示されるようなマスクパラメータにより生成された第2の入力画像21bを用いてもよい。図10は、カメラ3によって、スクリーン5に投射された第1の入力画像20bを撮像することで取得された第1の撮像画像50を示している。また、図11は、カメラ3によって、スクリーン5に投射された第2の入力画像21bを撮像することで取得された第2の撮像画像51を示している。例示した撮像画像が取得されると、PC4はフローをステップS201に移行させる。
ここで、実施例1と同様に、映像領域とは、入力画像において原画像の変化に追従する領域を表す。一方で、非映像領域は原画像をいかに変化させても略同一の画素値をとる領域である。なお、本実施例において、例えば部屋の照明をつけた際の外光や投射面を横切る物体等、撮像画像に映るおそれのある外乱の影響は無視できるものとする。
本実施例において、映像領域の設定は、異なる二つのタイミングで撮像された2枚の画像を比較することにより実行される。具体的には、第1のタイミングで取得された撮像画像I1と第2のタイミングで取得された撮像画像I2とにおいて、同一画素の差分が閾値以内に収まるか否かを判定する。閾値以上であればこれら画素が映像領域内の画素として、閾値より小さければこれら画素が非映像領域内の画素として設定される。
なお、ここでは、第2のタイミングは、第1のタイミングから所定時間経過した後のタイミングとする。第1のタイミングと第2のタイミングとでは、入力画像生成時の変形あるいはマスクパラメータの設定値は変化しないとする。また、閾値との比較に際して大きな差分が得られることから、望ましくは第1のタイミングと第2のタイミングで入力画像の画素値が大きく変化する原画像を使用するとよい。図12は、第1の入力画像20bの場合にスクリーン5上に設定された第3の映像領域32を示している。また、図13は、第2の入力画像21bの場合にスクリーン5上に設定された第4の映像領域33を示している。これら図中において、グレーで示される領域が非映像領域に対応する。映像領域が設定されると、PC4はフローをステップS202に移行させる。
ステップS202では、PC4は、第1のプロジェクタ1aおよび第2のプロジェクタ1bに、設定した映像領域に対して調整パターンを投射させる。ここで、調整パターンとは、例えば実施例1のステップS102で用いた調整パターンであってもよいし、光変調パネル102の全面に一様な値が入ったパターンであってもよい。即ち、実施例1で例示した調整パターンの態様に限定されない。なお、本実施例においては、調整パターンの階調は、上述したステップS102と同様にして生成する。PC4は、これら調整パターンを順次映像領域上に投射させ、投射された調整パターンをカメラ3に撮像させる。調整パターンの撮像後、PC4はフローをステップS203に移行させる。
ステップS203では、PC4は、ステップS201で設定した映像領域およびステップS202で得られた撮像画像を使用して、調整パターンが投射される投射領域の位置検出を行う。なお、投射領域の検出方法に関しては、実施例1で述べたステップS104で実行する処理と同様の処理を実行する。これにより、ステップS203では、スクリーン5上において、ステップS201で設定した映像領域内にて投射領域が検出されることとなる。投射領域の検出と調整パターンの画像の取得が終わると、PC4はフローをステップS105に移行させる。
以降、PC4によって、色域や輝度を調整する処理(ステップS105)、および算出した調整値を第1のプロジェクタ1aおよび第2のプロジェクタ1bに書き込む処理(ステップS106)が実行される。なお、これら処理に関しては、実施例1ですでに述べていることからここでの説明は省略する。
上述したように、本実施例2ではカメラ3(撮像手段)により、入力情報に応じてスクリーン5に投射された画像情報を撮像し、その撮像結果に応じて映像領域を特定している。撮像された画像情報から映像領域を求める際には、例えば2つのタイミング(時間)において撮像した画像情報間での比較が行われる。具体的には、第1のタイミング(第1の時間)にカメラ3により撮像した画像情報における画素値と、第2のタイミング(第2の時間)にカメラ3により撮像した画像情報における画素値との差分を用いる。なお、第2のタイミングは、第1のタイミングに対して所定時間経過した際のタイミングとなる。特定部4aは、求めた差分が所定値よりも大きい画素値からなる領域を映像領域として特定し、所定値以下の画素値からなる領域を非映像領域として特定する。
以上に述べたように、本実施例によれば、スクリーン5上に投射される入力情報を撮像して調整パターンが投射可能となる映像領域を特定し、特定された映像領域から投射領域を検出することとしている。これにより、調整パターンが映像領域外にはみ出して投射される可能性を低減し、結果としてスクリーン5の外部にて投射領域が検出されることがなくなるように適切に投射領域を定めることができ、色域、輝度等の調整の精度を向上させることができる。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。該コンピュータは、1又は複数のプロセッサー又は回路を有し、コンピュータが実行可能命令を読み出して実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー又は回路のネットワークを含みうる。プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。該コンピュータは、1又は複数のプロセッサー又は回路を有し、コンピュータが実行可能命令を読み出して実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー又は回路のネットワークを含みうる。プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像投射システム
1a、1b プロジェクタ
2 画像生成PC
3 カメラ
4 制御PC
1a、1b プロジェクタ
2 画像生成PC
3 カメラ
4 制御PC
Claims (13)
- 入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置であって、
前記投射される画像情報が前記スクリーン上で表示される映像領域を特定する特定手段と、
前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させる投射制御手段と、
を備えることを特徴とする投射制御装置。 - 前記入力情報は、前記スクリーンのサイズに応じてあらかじめ定められており、
前記特定手段は、前記入力情報を用いて前記映像領域を特定することを特徴とする請求項1に記載の投射制御装置。 - 前記特定手段は、前記入力情報における画素値が一定期間閾値以下となる画素からなる領域を非映像領域とし、前記一定期間において前記閾値より一度でも大きくなる画素からなる領域を前記映像領域として特定することを特徴とする請求項1又は2に記載の投射制御装置。
- 前記投射される画像情報を撮像する撮像手段を更に備え、
前記特定手段は、前記撮像された画像情報に基づいて前記映像領域を特定することを特徴とする請求項1に記載の投射制御装置。 - 前記特定手段は、第1の時間に前記撮像手段により撮像した画像情報における画素値と、前記第1の時間に対し所定時間経過した第2の時間に前記撮像手段により撮像した画像情報における画素値との差分が所定値よりも大きい画素値からなる領域を前記映像領域として特定し、前記所定値以下の画素値からなる領域を非映像領域とすることを特徴とする請求項4に記載の投射制御装置。
- 前記投射制御手段は、前記映像領域に対応した歪み補正処理を施した前記調整パターンを前記投射手段により前記スクリーン上に投射させることを特徴とする請求項1乃至5のいずれか1項に記載の投射制御装置。
- 前記投射制御手段は、前記映像領域の一部に表示されるように、前記投射手段に前記スクリーン上に前記調整パターンを投射させることを特徴とする請求項1乃至6のいずれか1項に記載の投射制御装置。
- 前記画像情報の生成に際して、変形パラメータを用いて前記入力情報の外縁を変形させる手段を更に備えることを特徴とする請求項1乃至7のいずれか1項に記載の投射制御装置。
- 前記画像情報の生成に際して、前記入力情報の外縁の少なくとも一部に対応する前記画像情報の画素値を所定の値とするマスクパラメータを用いて生成されたマスクを前記入力情報に付与する手段を更に備えることを特徴とする請求項1乃至8のいずれか1項に記載の投射制御装置。
- 前記投射制御手段は、前記投射手段に、前記表示態様が調整された画像情報を前記スクリーン上に投射させることを特徴とする請求項1乃至9のいずれか1項に記載の投射制御装置。
- 請求項1乃至10のいずれか1項に記載の投射制御装置と、
前記入力情報に基づいて前記画像情報を生成する画像生成装置と、
前記投射手段と、
を備えることを特徴とする画像投射システム。 - 入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置の作動方法であって、
前記投射される画像情報が前記スクリーン上で表示される映像領域を特定するステップと、
前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させるステップと、
を含むことを特徴とする投射制御装置の作動方法。 - コンピュータに、請求項12に記載の投射制御装置の作動方法に従う処理を実行させることを特徴としたコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020188763A JP2022077773A (ja) | 2020-11-12 | 2020-11-12 | 投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020188763A JP2022077773A (ja) | 2020-11-12 | 2020-11-12 | 投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022077773A true JP2022077773A (ja) | 2022-05-24 |
Family
ID=81706639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020188763A Pending JP2022077773A (ja) | 2020-11-12 | 2020-11-12 | 投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022077773A (ja) |
-
2020
- 2020-11-12 JP JP2020188763A patent/JP2022077773A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3620537B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP3925521B2 (ja) | スクリーンの一部の辺を用いたキーストーン補正 | |
CN107018389B (zh) | 图像投射***、投影机及图像投射***的控制方法 | |
JP7338404B2 (ja) | 表示システムの制御方法および制御装置 | |
JP2006121240A (ja) | 画像投射方法、プロジェクタ、及びコンピュータプログラム | |
JP2005039769A (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
US11323673B2 (en) | Method for operating control apparatus, and projector | |
JP6707871B2 (ja) | 画質補正方法、及び、画像投射システム | |
JP4428371B2 (ja) | 投写型画像表示装置及び平面被投写体 | |
JP2008187362A (ja) | プロジェクタおよび投写画像調整方法 | |
JP2023002656A (ja) | 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム | |
JP5205865B2 (ja) | 投射画像の形状歪補正支援システム、投射画像の形状歪補正支援方法、及びプロジェクタ、並びにプログラム | |
JP3879560B2 (ja) | 投写型画像表示装置 | |
JP2011135445A (ja) | 画像投射装置 | |
JP2022077773A (ja) | 投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム | |
US11109002B2 (en) | Projection control apparatus, image projection apparatus, and projection control method | |
JP2022174999A (ja) | 投写システムの制御方法、投写システムおよびプロジェクター | |
JP2010130481A (ja) | 画像投射装置 | |
JP6642032B2 (ja) | プロジェクター及びプロジェクターの制御方法 | |
JP2020191586A (ja) | 投影装置 | |
US20230028087A1 (en) | Control apparatus, image projection system, control method, and storage medium | |
JP6866915B2 (ja) | 画像投射システム、及び画像投射システムの制御方法 | |
US11838698B2 (en) | Display apparatus, its control method, and storage medium | |
JP5200599B2 (ja) | スクリーン、光学特性測定システム、および光学特性測定方法 | |
JP2005092575A (ja) | 3次元画像データの補正方法、ビデオコントローラ及びプロジェクタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |