JP2016119522A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】マルチプロジェクション・システムにおいて、複数の投影画像が重畳する重畳領域で投影位置のずれにより生じる画質劣化を、映像投影中に抑制可能とする画像処理装置および画像処理方法を提供する。【解決手段】画像取得部11が、第1の投影画像と第2の投影画像が重畳した重畳領域の画像を取得する。ずれ算出部12が、上記取得した重畳領域の画像と、第1の投影画像用の入力画像における重畳領域に対応する画像に基づき、重畳領域における第1の投影画像と第2の投影画像の間の投影位置のずれを算出する。そして画像補正部13が、該ずれに基づき、第1の投影画像用の入力画像における重畳領域に対応する画像の補正を行う。【選択図】図２

Description

本発明は、複数の投影画像の重畳表示を制御する技術に関する。

大画面あるいは非平面の表示面へ、複数の投影型映像表示装置(以下、プロジェクタ)を組合せて映像を表示するマルチプロジェクション・システムが知られている。マルチプロジェクション・システムにおける投影方法としては、複数台のプロジェクタが同一映像を同一表示面に投影するスタック投影と、各プロジェクタが一つの映像を分割した各領域を投影して表示面上でつなぎ合わせるマルチ投影が存在する。そのいずれの投影方法においても、投影面には複数の投影映像が重畳する重畳領域が存在する。スタック投影では同一映像を重畳して投影映像を生成することから、投影映像全体が重畳領域である。一方、マルチ投影は、映像のつなぎ目を目立たなくするため、隣接する投影映像の一部を重畳して投影する。したがって、マルチ投影では映像のつなぎ目に重畳領域が存在する。

この重畳領域では、各投影映像の投影位置が合致している必要があり、投影位置にずれが存在すると、投影映像全体としての解像度が低下し、画質劣化を招いてしまう。複数のプロジェクタによる投影映像の位置にずれが生じる主な原因として、光学部品の経時変化、光源の熱に因る光学部品及び支持部材の変形、部材の振動に因るプロジェクタ筐体の移動、等がある。プロジェクタでは投影により映像が拡大表示されるため、光学部品等の極僅かな差が表示面では大きなずれとなって現れる。例えば、経時変化に因り生じた光学部品の変化は、投影面上で、より大きな投影位置のずれとなって現れ、さらに経時変化は均質では無いため、投影位置のずれ量は空間的にも時間的にも均質ではない。

従来より、マルチプロジェクション・システムにおいて、重畳領域内で複数投影映像の位置ずれに応じて発生する画質劣化を抑制する技術の提案がなされている。特許文献1は、検出パターンを使用して投影位置のずれに応じた画像補正を行う技術を開示している。また、特許文献2は、非可視の検出パターンを使用することで映像投影中であっても投影位置ずれに応じた画像補正を可能とする技術を開示している。

特許第5298738号公報 特開2011-211693号公報

しかしながら、特許文献1が開示する技術では、可視光の検出パターンを使用して補正を実施することから、映像投影中は投影位置のずれに応じた補正を実施できず、適応的な補正は不可能である。また、特許文献1が開示する技術は均一な画像補正を投影面全体に対して実施するため、不均質なずれを有する投影映像に適用すると、補正が不十分な領域、あるいは補正が過剰な領域が存在することになる。したがって、不均質なずれを有する投影映像に対して、特許文献1が開示する技術は画質向上の効果が低いという課題が存在する。。

また、特許文献2が開示する技術では、不可視光の検出パターンを使用して補正を実施することから、映像投影中であっても投影位置のずれに応じた画像補正を実施可能であり、すなわち適応的な補正を実施可能である。しかし、均一な画像補正を投影面全体に対して実施するため、上記特許文献1の場合と同様に、不均質なずれを有する投影映像に対しては、特許文献2が開示する技術は画質向上の効果が低いという課題が存在する。

本発明は上記課題を解決するためになされたものであり、複数の投影画像が重畳する重畳領域における画像のずれにより生じる画質劣化を抑制可能とすることを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、複数の投影画像の重畳表示を制御する画像処理装置であって、第1の投影画像と第2の投影画像が重畳した重畳領域の画像を取得する取得手段と、前記取得手段で取得した前記重畳領域の画像と、前記第1の投影画像用の入力画像における前記重畳領域に対応する画像に基づき、前記入力画像の単位領域ごとに画像の補正量を決定する決定手段と、前記補正量に応じて、前記第1の投影画像用の入力画像の単位領域ごとに画像の補正を行う補正手段と、を有する。

本発明は、複数の投影画像が重畳する重畳領域における画像のずれにより生じる画質劣化を抑制可能とする。

本発明にかかる第1実施形態におけるマルチプロジェクション・システムのハードウェア構成を示す図、 本実施形態のマルチプロジェクション・システムにおける機能構成を示す図、 映像取得部の設置例を示す図、 補正量の算出手順を説明する図、 補正量の算出に適用する隣接単位領域を説明する図、 補正量の算出に適用する矩形ごとに画素を分類した結果を示す図、 矩形内の中心線上以外の画素の補正量を示す図、 補正量の算出例を示す図、 第2実施形態における差異算出部の構成例を示す図、 第2実施形態における補正実施の判断方法を説明する図、である

以下、添付の図面に沿って本発明の実施の形態を説明する。ただし、本発明の趣旨及びその範囲から逸脱することなく、実施形態及び詳細を変更することは可能である。したがって、本実施形態は記載内容に限定するものではない。また、以下に示す実施形態は、特に限定する場合を除き、ハードウェア上に実装しても、あるいはソフトウェアで実装しても構わない。なお、同一の機能を有する部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜第1実施形態＞
本実施形態では、複数のプロジェクタによる重畳表示を行うマルチプロジェクション・システムにおいて、第1の投影画像と第2の投影画像が重畳する重畳領域で投影位置のずれにより生じる画質劣化を、映像投影中に抑制可能とする。すなわち、重畳領域を構成する投影映像に対し、投影位置のずれに応じた画像補正を行うことで、該ずれに起因する画質劣化を抑制し、あたかも投影位置のずれが解消されたかのような効果を奏する。したがって以下では、投影映像に対する上記補正を便宜的に、投影映像の位置補正と称する。

以下、本実施形態における補正方法を説明するに先立ち、以下の説明で使用する「単位領域」、および「差異ベクトル」について説明する。

まず「単位領域」は、投影位置のずれ(差異)の算出、投影位置補正量の算出、および投影位置補正の実施の有無を判断する単位となる領域であり、予めその形状およびサイズが設定されている。単位領域と重畳領域の間には、以下の(1)式に示す関係がある。(1)式において、重畳領域の大きさを(Ψ,Φ)、単位領域の大きさを(x,y)とする。また、m,nは正の整数である。

(Ψ,Φ)＝(mx,ny) …(1)
「差異ベクトル」は、重畳領域に存在する複数の投影映像間に生じている投影位置のずれを表すベクトルである。差異ベクトルdiffを、以下の(2)式で定義する。(2)式において、I₀(k)は、当該プロジェクタが投影する単位領域kの投影位置を表すベクトルである。また、I(k)は当該プロジェクタ以外のプロジェクタが投影する単位領域kの投影位置を表すベクトルである。

diff＝(I(k)-I₀(k))/2 …(2)
●装置構成
本実施形態におけるマルチプロジェクション・システムのハードウェア構成を、図1を用いて説明する。同図において、CPU1001は、RAM1002をワークメモリとして、HDD1003等の記憶装置に格納されたプログラムを実行し、メインバス1009を介して接続された各構成を制御する。入力インターフェース(I/F)1004は、マウスやキーボード等の入力デバイス1006及びプロジェクタによる投影画像を取得する撮影装置1007をメインバス1009に接続させる。出力I/F1005は、プロジェクタ群1008等をメインバス1009に接続させる。図1に示す構成からも分かるように、本実施形態のマルチプロジェクションシステムは複数のプロジェクタと、その投影画像を制御するコンピュータ等の画像処理装置によって実現することができる。

なお、図1ではマルチプロジェクション・システムが16台のプロジェクタから成る例を示したが、プロジェクタ数はもちろんこの例に限定されず、複数のプロジェクタによる画像投影を行うシステムであれば本発明は適用可能である。

図2に、本実施形態のマルチプロジェクション・システムにおいて投影位置補正を行うための機能構成を示す。画像処理装置10は、プロジェクタ群1008のあるプロジェクタによる投影画像用の入力画像である入力映像101を入力し、後述する投影位置補正を施す。なお、プロジェクタ群1008には、他のプロジェクタによって入力映像101の投影画像と重畳する投影画像用である入力映像106も入力される。

画像処理装置10は、画像取得部11、ずれ算出部12、画像補正部13を備える。画像取得部11は、投影面上に表示されている投影映像を取得するものであり、すなわち図1の撮影装置1007に相当する。ずれ算出部12は、入力映像101と、画像取得部11が取得した取得映像102から、入力映像101と入力映像106の投影映像の重畳領域における単位領域毎のずれの度合を示す差異ベクトル103を生成する。ずれ算出部12はさらに、差異ベクトル103に基づいて、補正実施の有無を示す補正実施信号104を生成する。そして画像補正部13は、補正実施信号104の値に基づき、入力映像101に対して差異ベクトル103に応じた投影位置の補正を施して投影映像105を生成する。なお本実施形態では、単位領域を5x5画素の正方形とする。すなわち(x,y)=(5,5)である。以下、これら各構成について詳細に説明する。

●画像取得部11(撮影装置1007)
画像取得部11は投影面上に表示されている投影映像を撮影し、その画像を取得する。ただし、投影面上の投影映像を画素単位で取得可能ならば、実際に適用する画像取得装置およびその設置場所を限定しない。例えば画像取得部11として二次元イメージセンサを適用することが可能であり、この二次元イメージセンサは、カラー・センサであってもパンクロマッチク・センサであってもよい。ここで図3に、画像取得部11すなわち撮影装置1007の設置場所の実施形態を示す。図3(a)は、画像取得部11をプロジェクタの筐体の上部に設置している。図3(a)に示すように、画像取得部11をプロジェクタの筐体の上部に設置すると、投影面51に投影した投影映像の全面を取得可能である。また図3(b)は、画像取得部11を投影面51の上部に設置した例を示す。この場合、画像取得部11とプロジェクタは有線又は無線で接続され、投影面51に投影した投影映像の全面を取得可能である。なお、画像取得部11の設置場所は図3に示す位置に限定されず、投影面51に投影した投影映像の重畳領域とその周囲の領域を取得可能であれば、設置場所は任意でよい。

画像取得部11は、投影映像において他のプロジェクタによる投影映像と重畳している重畳領域とその周囲の領域を、取得対象領域とする。重畳領域周囲の領域を取得対象領域に含めるのは、画像取得部11設置時の位置合わせ作業を容易とし、さらに経時変化に因る重畳領域の移動に対応するためである。ただし、取得対象領域が大きいほど、画像取得部11が取得した取得映像102の容量が大きくなり、ずれ算出部12の処理に影響を与える。従って、取得対象に含める重畳領域の周囲領域は、必要最低限の形状およびサイズとなるように決定する。この周囲領域の形状およびサイズは、プロジェクタが有する光学系の特性と画像取得部11における映像取得の特性に基づいて決定すればよい。

画像取得部11が投影面上に表示されている投影映像を取得する時間間隔は、プロジェクタが投影映像の投影位置を補正する時間間隔に依存する。ここで、プロジェクタが実施する投影位置補正の間隔をα、画像取得部11が実施する投影映像取得の間隔をβとすると、αとβの間には以下の(3)式に示す関係が存在する。

α≦β …(3)
●ずれ算出部12
ずれ算出部12は、差異ベクトル算出部21、絶対値算出部22、および補正実施判定部23を少なくとも含んでいる。

差異ベクトル算出部21は、入力映像101と、画像取得部11が取得した取得映像102から、単位領域毎に差異ベクトル103を算出する。このとき、入力映像101において、取得映像102における重畳領域に対応する領域を特定する必要があるが、画像取得部11における投影映像の取得対象領域が限定されているため、この取得対象領域に準ずれば良い。

本発明は差異ベクトル103の算出手法に依存するものではないため、周知の技術や手段を使用して投影位置のずれを検出し、差異ベクトル103を算出してよい。差異ベクトル103の算出手法の一例として、映像のエッジを基にずれを検出する手法がある。この手法を適用する場合、まず入力映像101と取得映像102にエッジ検出処理を施す。この時、入力映像101と取得映像102の間に時間的な差が存在するならば、エッジ検出処理後の結果に映像遅延回路を適用して、時間的な差を解消しておく必要がある。すなわち、ずれ算出の対象となる入力映像101と取得映像102のそれぞれは、同じ画像が投影されたものであるとする。続いて、取得映像102のエッジ検出結果から、入力映像101のエッジ検出結果を減算する。この減算結果の映像において、値が0である単位領域は、取得映像102と入力映像101にずれが存在しないため、当該単位領域の差異ベクトル103の値は(0,0)である。一方、減算結果の映像において値が0ではない単位領域は、取得映像102と入力映像101にずれが存在するため、(2)式の定義にしたがい、減算結果から当該単位領域の差異ベクトル103(diff)を算出する。

なお、差異ベクトル103の算出手法は映像のエッジに基づく上記手法に限定されず、単位領域毎に差異ベクトル103を算出可能ならば任意の手法を適用してよい。また、差異ベクトル103の算出対象となる入力映像101と取得映像102は、必ずしも同一画像に対応するものでなくてもよい。例えば、入力映像101と取得映像102が同一シーン内で前後するフレームに対応する等、類似の映像であれば問題ない。入力映像101と取得映像102が同一シーン内であるが別フレームの映像である場合、フレーム内で動きが少ない領域を対象として差異ベクトル103を算出することで、フレームの違いに因る誤差の発生を軽減する。

続いて、絶対値算出部22で、差異ベクトル算出部21で算出した差異ベクトル103の絶対値111を算出する。ここで絶対値111をmag、差異ベクトル103をdiff=(x,y)とすると、magは以下の(4)式で算出される。

mag＝√(x²+y²) …(4)
次に補正実施判定部23で、単位領域毎に補正実施を行うか否かを判断し、該判断結果を補正実施信号104として出力する。補正実施信号104は、単位領域毎に補正実施の有無を示す1ビットの信号とする。したがって、単位領域数がkならば補正実施信号104のビット数はkビットである。補正実施信号104は、補正実施の有無に拠り以下の値を取る。尚、以下の割当てにおいてカッコ内はニーモニックコードである。

a)当該単位領域は補正実施有：1(VALID)
b)当該単位領域は補正実施無：0(INVALID)
補正実施判定部23では、注目単位領域の差異ベクトルの絶対値が閾値以上ならばずれ補正を実施するとし、補正実施信号104の値をVALID(補正実施有)に設定する。一方、注目単位領域の差異ベクトルの絶対値が上記閾値未満ならばずれ補正は実施しないとし、補正実施信号104の値をINVALID(補正実施無)に設定する。差異ベクトルの絶対値の閾値としては、プロジェクタの特性に拠り予め決定し、補正実施判定部23に保持しておく。尚、この閾値を固定値とせずに、プロジェクタの使用者が必要に応じて変更可能としてもよい。

●画像補正部13
画像補正部13は、投影位置補正量算出部26と投影画像補正部27を少なくとも含んでいる。投影位置補正量算出部26は、投影位置のずれを補正する補正量115を画素毎に算出する。投影画像補正部27は、補正量115に従って入力映像101を補正し、投影映像105を生成する。この補正量115は、そのx,y成分がすなわち、当該画素のx、y方向へのずれ量を補正するための画素の移動量を示す。

なお、ここで補正対象となる入力映像101としては、ずれ算出時に参照したものと同じ画像であるべきであるが、既に投影された画像に対して補正を施すことは現実的ではない。したがって補正対象となる入力映像101としては、ずれ算出時と同一シーンであれば、ずれ算出時に参照した入力映像101よりも時間的に後の画像であっても構わない。

以下、投影位置補正量算出部26が算出する補正量115とその算出方法を説明する。注目単位領域を第1の単位領域31とし、第1の単位領域31に隣接する単位領域を第2の単位領域32とする。この第1の単位領域31と第2の単位領域32のそれぞれが有する差異ベクトルとその成分を、以下のように定義する。

第1の単位領域31の差異ベクトル：diff1＝(x1,y1)
第2の単位領域32の差異ベクトル：diff2＝(x2,y2)
第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のx成分は、x1とx2の大小関係に依り以下の関係をなす。

a)x1＞x2
補正量115のx成分は、x1を上限、x2を下限とする調和数列
b)x1＜x2
補正量115のx成分は、x2を上限、x1を下限とする調和数列
c)x1=x2
補正量115のx成分は全て等しく、その値はx1(=x2)
同様に、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のy成分は、y1とy2の大小関係に依り以下の関係をなす。

d)y1＞y2
補正量115のy成分は、y1を上限、y2を下限とする調和数列
e)y1＜y2
補正量115のy成分は、y2を上限、y1を下限とする調和数列
f)y1=y2
補正量115のy成分は全て等しく、その値はy1(=y2)
本実施形態ではこのように、単位領域のx,y成分に相当する画素ごとの補正量を、当該単位領域のずれ量と隣接単位領域のずれ量を上限/下限とする調和数列に設定することで、ずれ補正による変移が人間の視覚的に違和感なく受け入れられる。

次に、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素の補正量115とその算出方法について、図4を用いて説明する。

図4(a)に示すように、第1の単位領域31の差異ベクトルdiff1のx成分とy成分をdiff1＝(x1,y1)＝(5,4)とし、第2の単位領域32の差異ベクトルdiff2のx成分とy成分をdiff2＝(x2,y2)＝(3,3)とする。この場合、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上には、それぞれの単位領域の中心画素を含めて6画素が存在する。

まず、補正量115のx成分を求める。本実施形態ではx1=5、x2=3であるから、上記の条件a)に該当する。したがって、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のx成分は、x1=5を上限、x2=3を下限とする、要素数6の調和数列をなす。このように算出された補正量115のx成分を表わす調和数列は以下に示すようになり、逆数が公差2/75の等差数列となっている。

{5,75/17,75/19,75/21,75/23,3}
次に、補正量115のy成分を算出する。本実施形態ではy1=4、y2=3であるから、条件d)に該当する。したがって、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のy成分は、y1=4を上限、y2=3を下限とする、要素数6の調和数列をなす。このように算出された補正量115のy成分を表わす調和数列は以下に示すようになり、逆数が公差1/60の等差数列となっている。

{4,60/16,60/17,60/18,60/19,3}
図4(b)に、以上のように第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素からなる画素列に対して算出された補正量115を、画素毎にベクトル表記した例を示す。

続いて、第1の単位領域31と隣接する単位領域の中心を結ぶ線分上以外に存在する画素の補正量115の算出方法を、図5、図6、および図7を用いて説明する。

まず図5を用いて、第1の単位領域31に属する画素が補正量115の算出に適用する差異ベクトルを説明する。図5(a)は、第1の単位領域31と、その周囲に存在する単位領域の配置を示す図である。第1の単位領域31の右側には第2の単位領域32が隣接している。以降左回りに、第3の単位領域33、第4の単位領域34、および第5の単位領域35が隣接している。このように本実施形態では、注目単位領域である第1の単位領域31に対し、その垂直および水平方向に隣接する4つの単位領域(第2の単位領域32〜第5の単位領域35)が、隣接する単位領域となる。このような配置において、第1の単位領域を以下のように分割する。

a)第1の単位領域31の中心から隣接単位領域との境界線の両端に線分を引く
b)第1の単位領域31を、a)で引いた線分と隣接単位領域との境界線がなす矩形に分割
図5(b)に、図5(a)に示す第1の単位領域31を分割した結果を示す。第1の単位領域31は、その中心から隣接単位領域との境界線の両端に引いた線分41と、隣接単位領域との境界線がなす、4個の矩形に分割されている。ここで、分割により生成した矩形を以下のように呼称する。

a)線分41と第2の単位領域32との境界線がなす矩形：第1の矩形36
b)線分41と第3の単位領域33との境界線がなす矩形：第2の矩形37
c)線分41と第4の単位領域34との境界線がなす矩形：第3の矩形38
d)線分41と第5の単位領域35との境界線がなす矩形：第4の矩形39
第1の単位領域31の中心画素と線分41上に存在する画素は、以下の基準に従い、属する矩形を決定する。

a)第1の単位領域31の中心画素は、第1の矩形36から第4の矩形39の全てに属する
b)第1の単位領域31の中心から線分41方向を見通し、右手方向の矩形に属する
図6に、第1の単位領域31に属する画素ごとに、上記規準により属する矩形を決定した結果を示す。図6中、各画素に記入した数字が、その属する矩形を表している。なお、各画素の数字1〜4はそれぞれ、第1の矩形36〜第4の矩形39に属することを示す。

第1の矩形36内の画素については、第1の単位領域31と第2の単位領域32の差異ベクトルを適用して補正量115を算出する。第2の矩形37〜第4の矩形39についても同様に、以下に示す差異ベクトルを補正量115算出に適用する。

a)第1の矩形36内の画素：第1の単位領域31と第2の単位領域32の差異ベクトル
b)第2の矩形37内の画素：第1の単位領域31と第3の単位領域33の差異ベクトル
c)第3の矩形38内の画素：第1の単位領域31と第4の単位領域34の差異ベクトル
d)第4の矩形39内の画素：第1の単位領域31と第5の単位領域35の差異ベクトル
次に、第1の単位領域31の中心と、隣接する単位領域の中心を結ぶ線分上に存在しない画素についての補正量115の算出について、図7を用いて説明する。図7(a)は、第1の単位領域31と隣接する単位領域の中心を結ぶ線分上付近を切り出した図である。図7(a)において、中心線42は、第1の単位領域31と隣接する単位領域の中心を結ぶ線分である。画素a,b,cは第1の単位領域31と隣接する単位領域の中心を結ぶ線分上に存在する。一方、画素1,2,3,4,5,6は、第1の単位領域31と隣接する単位領域の中心を結ぶ線分上に存在しない。

前述のように分割した矩形内で、中心線42上に存在しない画素については、以下の方針により補正量115を決定する。

a)同一の中心線42に垂直な線分上に存在する画素は同一の補正量を有する
この方針は言い換えれば、中心線42上に存在しない画素の補正量を、当該画素から中心線42に垂線を下した位置に存在する画素と同一の補正量にする、ということである。

この方針に従って決定された、図7(a)に示す各画素の補正量115を、図7(b)に示す。図7(b)によれば、中心線42上に存在しない画素1〜6についての補正量115は、以下のように決定されている。

a)画素1,2と画素bは、中心線42に垂直な同一の線分上に存在するため、画素1と画素2の補正量115は画素bと同一
b)画素3〜6と画素cは、中心線42に垂直な同一の線分上に存在するため、画素3〜6の補正量115は画素cと同一
以下、補正量115算出の具体例を示す。ここでは、第1の単位領域31内の画素は図6に示すように各矩形に属するとする。また、第1の単位領域31〜第5の単位領域35が有する差異ベクトルが、以下の値であると仮定する。

第1の単位領域31の差異ベクトル：(5,4)
第2の単位領域32の差異ベクトル：(3,3)
第3の単位領域33の差異ベクトル：(4,6)
第4の単位領域34の差異ベクトル：(7,5)
第5の単位領域35の差異ベクトル：(6,5)
このように仮定された差異ベクトルを用いて、上述した補正量115の算出方法に基づき、中心線42上の画素が有する補正量115を算出した結果を、図8(a)に示す。続いて、中心線42上に存在しない画素の補正量115を、上述した方針と規準に従って決定した結果を、図8(b)に示す。

なお、上述した方針や基準は一例に過ぎず、変更可能である。例えば、単位領域内で矩形の境界上にある画素の属する矩形の決定方法を中心から見て、矩形の境界線の一方端側である右手方向の矩形としたが、これを他方端側である左手方向としてもよい、観察者のスイッチ操作等により切り替え可能としてもよい。ただし、この方針や基準は、マルチプロジェクション・システムを構成する複数のプロジェクタにおいて共通とすべきである。

次に、投影画像補正部27の動作について説明する。投影画像補正部27は、補正実施信号104の値によって、以下のように動作が異なる。

a)補正実施信号104==1(VALID)
入力映像101の該当単位領域に対して位置補正を実施
補正量115に基づき画素を移動(画素値を補正)し投影映像105を生成
b)補正実施信号104==0(INVALID)
入力映像101の該当単位領域に対して位置補正を実施しない
該当単位領域は入力映像101をそのまま投影映像105に出力
なお、本実施形態では投影位置補正量算出部26において画素の補正量を算出することを特徴とし、該補正量に応じた補正方法についてはどのような画像変換手法を適用してもよく、したがって投影画像補正部27は周知の技術によって実施可能である。例えば、補正量に応じた移動によって複数画素が重なる場合には画像の重ね合わせ演算を行うとし、ある画素について小数点以下の画素数分を移動する場合は、その移動方向に重なる画素との間で、画素値を比例配分させればよい。

なお、本実施形態では画像補正部13において、投影位置補正量算出部26で全ての単位領域について補正量115を算出する例を示したが、この算出を行うか否かを補正実施信号104に応じて決定しても良い。すなわち、投影画像補正部27と同様に、補正実施信号104がVALIDである場合に補正量を算出することで、補正量算出にかかる処理量の削減が望める。

以上説明したように本実施形態によれば、複数の投影映像が重畳する重畳領域で生じる投影位置のずれを、動画像である映像の投影中に適応的に調整することが可能となる。特に、投影位置のずれが大きい箇所のみに対して補正を行うため、補正処理量が軽減されるとともに、不均質な投影位置のずれに対しても適切な補正が可能となる。

なお、本実施形態ではマルチプロジェクション・システムを構成する複数のプロジェクタのそれぞれにおいて、投影位置補正を可能とする例を示したが、もちろん全てのプロジェクタで投影位置補正を行う必要はない。実際には、マルチプロジェクション・システムを構成する全てのプロジェクタを、投影位置の補正を行わない基準装置と、投影位置の補正を行う補正装置とに分類することが有効である。例えばマルチ投影を行う場合、投影位置が隣り合うプロジェクタの一方を基準装置、他方を補正装置とすることが有効である。

また、本実施形態では単位領域を5x5画素の正方形とする例を示したが、もちろん単位領域のサイズおよび形状はこの例に限定されず、さらに画像全面において固定でなくてもよい。例えば、一般に重畳領域において周辺部は画素位置のずれが大きく、中央部はずれが小さいため、単位領域のサイズを周辺部で小さくし、中央部で大きくすることも有効である。

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態におけるマルチプロジェクション・システムも、上述した第1実施形態と同様に単位領域ごとのずれ補正を行うが、補正実施の判定方法が異なる。第1実施形態では、画素位置のずれが大きい領域を補正対象とする例を示したが、投影画像が観察者に与える影響は、画素位置のずれ量のみによるものではない。例えば、動きの少ない領域であれば画素位置のずれが小さくても観察者が違和感を覚えるし、輝度が高い領域であれば相対的にずれが目立つ。第2実施形態では画素位置のずれ量に加えて、動きベクトルおよび輝度を用いて、視覚に与える影響が大きいと領域を判定し、補正対象とする。

第2実施形態のマルチプロジェクション・システムの画像処理装置も、上述した第1実施形態と同様に、画像取得部11、ずれ算出部12、および画像補正部13を含むが、ずれ算出部12の詳細構成が異なる。図9に、第2実施形態に係るずれ算出部12の一実施形態を示す。第2実施形態に係るずれ算出部12は、第1実施形態で図2に示した構成と同様に、差異ベクトル算出部21、絶対値算出部22、および補正実施判定部23を含んでいる。第2実施形態に係るずれ算出部12はさらに、動きベクトル算出部24と平均輝度算出部25を有し、第2実施形態に係る補正実施判定部23の機能は、第1実施形態とは異なる。以下、第2実施形態における補正判定について、第1実施形態との違いを中心に説明する。

動きベクトル算出部24は、単位領域毎に入力映像101の動きベクトル112を算出する。この動きベクトルの算出手法としては、フレーム相関を使用した手法を始めとして、種々の周知の手法を適用することができる。

動きベクトル算出部24で算出された動きベクトル112は、絶対値算出部22でベクトルの絶対値を求める。ここで得た動きベクトルの絶対値113は、補正実施判定部23に入力されて補正実施信号104の生成に使用される。補正実施信号104の生成方法については後述する。

平均輝度算出部25は、ある単位領域における輝度の平均値を、以下の(5)式により出力する。(5)式において、kは単位領域に属する画素を識別する画素番号、nは単位領域に属する画素数、bri(k)は画素番号kの画素の輝度を示す。また、Σはn個の全画素におけるbri(k)の総和を示す。そして、aveが平均輝度である。第2実施形態ではフレーム毎に、(5)式によって単位領域の平均輝度114を算出する。

avg＝(Σbri(k))/n …(5)
なお、(7)式では平均輝度として総和平均を算出しているが、算出する平均輝度を総和平均に限定するものではない。また、第2実施形態ではフレーム毎に平均輝度114を算出するが、この算出間隔についてもフレーム毎に限定するものではない。

続いて、第2実施形態における補正実施判定部23の動作について、詳細に説明する。第2実施形態における補正実施判定部23は第1実施形態とは異なり、差異ベクトルの絶対値111に対し、さらに動きベクトルの絶対値113と平均輝度114の双方を加えた三元により、補正実施の有無を判定する。

第2実施形態における補正実施判定部23は第1実施形態と同様に、単位領域毎に補正実施を判断し、該判断結果を第1実施形態と同様の補正実施信号104として出力する。第2実施形態における補正実施の判断は、図10に示す三元相関図を適用して行う。図10に示すように三元相関図は、x,y,zの三次元の直交座標系として表される。なお、図10に示すx,y,zの各軸は、所定の重み付けを行った以下の値である。

x軸：差異ベクトルの絶対値111
y軸：動きベクトルの絶対値113の逆数
z軸：平均輝度114
x,y,zの各軸に付加する重みは、プロジェクタの特性に拠り予め決定し、補正実施判定部23に保持しておく。例えば、平均輝度が与える影響を強くするならば、z軸の重みを大きくする。尚、x,y,zの各軸に付加する重みは、プロジェクタの使用者が必要に応じて書き換え可能としてもよい。

次に、図10に示す三元相関図を適用して補正実施を判断する手順について説明する。第2実施形態における補正実施の判断は、以下の手順で実施する。

1)単位領域ごとに、差異ベクトルの絶対値111、動きベクトルの絶対値113の逆数、および平均輝度114に対応する点を、三元相関図にプロットする
2)プロットした点について、閾値平面43との位置関係により補正実施の有無を以下のように判定する
i)プロット点が閾値平面43より原点側に存在(図中■)：補正実施無
ii)プロット点が閾値平面43より原点と反対側に存在(図中●)：補正実施有
第2実施形態では、単位領域のプロット点と閾値平面を比較することで、画素位置のずれが大きく、動きベクトルの絶対値が小さく、輝度が高い、したがって視覚に与える影響が大きい領域を判定し、補正を実施する。なお閾値平面43は、プロジェクタの特性に依存して予め決定し、補正実施判定部23に保持しておく。尚、閾値平面43は固定とせずに、プロジェクタの使用者が必要に応じて書き換え可能としてもよい。

以上説明したように第2実施形態によれば、視覚に与える影響の大きい領域を動的に判定し、優先して補正することができる。

なお、第2実施形態では差異ベクトルと動きベクトル、および平均輝度の三元を用いて補正対象領域を判定する例を示したが、差異ベクトルと動きベクトル、または差異ベクトルと平均輝度の二元によって補正対象領域を判定することももちろん可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

11:画像取得部、12:ずれ算出部、13:画像補正部

Claims (19)

1. 複数の投影画像の重畳表示を制御する画像処理装置であって、
   第1の投影画像と第2の投影画像が重畳した重畳領域の画像を取得する取得手段と、
   前記取得手段で取得した前記重畳領域の画像と、前記第1の投影画像用の入力画像における前記重畳領域に対応する画像に基づき、前記入力画像の単位領域ごとに画像の補正量を決定する決定手段と、
   前記補正量に応じて、前記第1の投影画像用の入力画像の単位領域ごとに画像の補正を行う補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記重畳領域を複数の単位領域に分割した単位領域ごとに前記第1の投影画像と前記第2の投影画像のずれを示すベクトルを算出し、当該単位領域ごとのベクトルに基づいて補正量を決定することを特徴とする請求項1に記載の画像処理装置。
3. さらに、前記ベクトルの絶対値に基づいて、単位領域ごとに補正の実施を判定する判定手段を有し、
   前記補正手段は、前記判定手段で補正を実施すると判定された単位領域ごとに、前記ベクトルに基づいて画素の値を補正することを特徴とする請求項2に記載の画像処理装置。
4. 前記決定手段は、注目単位領域の前記ベクトルと、前記注目単位領域に隣接する単位領域の前記ベクトルから、前記注目単位領域における画素毎の補正量を決定し、
   前記補正手段は、前記判定手段で補正を実施すると判定された単位領域ごとに、前記決定手段で決定された補正量に従い、画素の値を補正することを特徴とする請求項3に記載の画像処理装置。
5. 前記隣接する単位領域は、前記注目単位領域の垂直および水平方向に隣接する単位領域であることを特徴とする請求項4に記載の画像処理装置。
6. 前記注目単位領域の中心と前記隣接する単位領域の中心を結ぶ線分上に存在する画素列の各画素についての補正量は、
   そのx成分が、前記注目単位領域の前記ベクトルのx成分、および前記隣接する単位領域の前記ベクトルのx成分を上限あるいは下限とする調和数列をなし、
   そのy成分が、前記注目単位領域の前記ベクトルのy成分、および前記隣接する単位領域の前記ベクトルのy成分、を上限あるいは下限とする調和数列をなす
   ことを特徴とする請求項5に記載の画像処理装置。
7. 前記注目単位領域の中心と前記隣接する単位領域の中心を結ぶ線分上に存在しない画素についての補正量は、当該画素から前記線分に垂線を下した位置に存在する画素と同一の補正量であることを特徴とする請求項6に記載の画像処理装置。
8. 前記決定手段は、前記注目単位領域において、前記隣接する単位領域との境界線と、前記注目単位領域の中心と前記境界線の両端を結ぶ線分からなる矩形に属する画素については、前記隣接する単位領域の前記ベクトルを用いて補正量を決定することを特徴とする請求項7に記載の画像処理装置。
9. 前記決定手段は、前記注目単位領域の中心と前記境界線の両端を結ぶ線分上に存在する画素については、前記中心と前記境界線の一方端を結ぶ線分上にある画素を前記矩形に属するとし、前記中心と前記境界線の他方端を結ぶ線分上にある画素を前記矩形に属さないとすることを特徴とする請求項8に記載の画像処理装置。
10. さらに、前記第1の投影画像用の入力画像における前記重畳領域に対応する画像の動きベクトルを前記単位領域ごとに算出する動きベクトル算出手段を有し、
    前記判定手段は、前記動きベクトルの絶対値と前記ベクトルの絶対値に基づいて、前記単位領域ごとに補正の実施を判定することを特徴とする請求項3乃至9のいずれか1項に記載の画像処理装置。
11. さらに、前記第1の投影画像用の入力画像における前記重畳領域に対応する画像の輝度を前記単位領域ごとに算出する輝度算出手段を有し、
    前記判定手段は、前記輝度と前記ベクトルの絶対値に基づいて、前記単位領域ごとに補正の実施を判定することを特徴とする請求項3乃至9のいずれか1項に記載の画像処理装置。
12. 前記決定手段はさらに、
    前記第1の投影画像用の入力画像における前記重畳領域に対応する領域の画像の動きベクトルを前記単位領域ごとに算出する動きベクトル算出手段と、
    前記第1の投影画像用の入力画像における前記重畳領域に対応する領域の画像の輝度を前記単位領域ごとに算出する輝度算出手段と、を有し、
    前記判定手段は、前記動きベクトルの絶対値および前記輝度および前記ベクトルの絶対値に基づいて、前記単位領域ごとに補正の実施を判定することを特徴とする請求項3乃至9のいずれか1項に記載の画像処理装置。
13. 前記判定手段は、前記動きベクトルの絶対値の逆数、前記輝度、前記ベクトルの絶対値を軸とした三次元の直交座標系における前記単位領域ごとの対応する点の位置と、前記直交座標系における所定の閾値平面との関係に基づいて、補正の実施を判定することを特徴とする請求項12に記載の画像処理装置。
14. 前記判定手段は、前記直交座標系において前記点が前記閾値平面よりも原点側にある場合に補正を実施しないと判定し、そうでない場合に補正を実施すると判定することを特徴とする請求項13に記載の画像処理装置。
15. 前記判定手段は、前記動きベクトルの絶対値、前記輝度、前記ベクトルの絶対値、の少なくともいずれかに所定の重みを付加して、前記判定を行うことを特徴とする請求項12乃至14のいずれか1項に記載の画像処理装置。
16. 前記決定手段による補正量の決定に用いる前記第1の投影画像用の入力画像は、前記取得手段で取得した前記重畳領域を構成する前記第1の投影画像の入力画像と同じ画像であることを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
17. 前記投影画像は動画像であり、
    前記補正手段で補正対象となる前記第1の投影画像用の入力画像は、前記決定手段で補正量の決定に用いる前記第1の投影画像用の入力画像よりも時間的に後の画像であることを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
18. 複数の投影画像の重畳表示を制御するための画像処理方法であって、
    第1の投影画像と第2の投影画像が重畳した重畳領域の画像を取得し、
    前記取得した前記重畳領域の画像と、前記第1の投影画像用の入力画像における前記重畳領域に対応する画像に基づき、前記入力画像の単位領域ごとに画像の補正量を決定し、
    前記補正量に応じて、前記第1の投影画像用の入力画像の単位領域ごとに画像の補正を行うことを特徴とする画像処理方法。
19. コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至17のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images