JP6417204B2

JP6417204B2 - 画像処理装置および画像処理方法

Info

Publication number: JP6417204B2
Application number: JP2014256675A
Authority: JP
Inventors: 元久伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-12-18
Filing date: 2014-12-18
Publication date: 2018-10-31
Anticipated expiration: 2034-12-18
Also published as: US9961309B2; JP2016119522A; US20160182870A1

Description

本発明は、複数の投影画像の重畳表示を制御する技術に関する。

大画面あるいは非平面の表示面へ、複数の投影型映像表示装置(以下、プロジェクタ)を組合せて映像を表示するマルチプロジェクション・システムが知られている。マルチプロジェクション・システムにおける投影方法としては、複数台のプロジェクタが同一映像を同一表示面に投影するスタック投影と、各プロジェクタが一つの映像を分割した各領域を投影して表示面上でつなぎ合わせるマルチ投影が存在する。そのいずれの投影方法においても、投影面には複数の投影映像が重畳する重畳領域が存在する。スタック投影では同一映像を重畳して投影映像を生成することから、投影映像全体が重畳領域である。一方、マルチ投影は、映像のつなぎ目を目立たなくするため、隣接する投影映像の一部を重畳して投影する。したがって、マルチ投影では映像のつなぎ目に重畳領域が存在する。

この重畳領域では、各投影映像の投影位置が合致している必要があり、投影位置にずれが存在すると、投影映像全体としての解像度が低下し、画質劣化を招いてしまう。複数のプロジェクタによる投影映像の位置にずれが生じる主な原因として、光学部品の経時変化、光源の熱に因る光学部品及び支持部材の変形、部材の振動に因るプロジェクタ筐体の移動、等がある。プロジェクタでは投影により映像が拡大表示されるため、光学部品等の極僅かな差が表示面では大きなずれとなって現れる。例えば、経時変化に因り生じた光学部品の変化は、投影面上で、より大きな投影位置のずれとなって現れ、さらに経時変化は均質では無いため、投影位置のずれ量は空間的にも時間的にも均質ではない。

従来より、マルチプロジェクション・システムにおいて、重畳領域内で複数投影映像の位置ずれに応じて発生する画質劣化を抑制する技術の提案がなされている。特許文献1は、検出パターンを使用して投影位置のずれに応じた画像補正を行う技術を開示している。また、特許文献2は、非可視の検出パターンを使用することで映像投影中であっても投影位置ずれに応じた画像補正を可能とする技術を開示している。

特許第5298738号公報特開2011-211693号公報

しかしながら、特許文献1が開示する技術では、可視光の検出パターンを使用して補正を実施することから、映像投影中は投影位置のずれに応じた補正を実施できず、適応的な補正は不可能である。また、特許文献1が開示する技術は均一な画像補正を投影面全体に対して実施するため、不均質なずれを有する投影映像に適用すると、補正が不十分な領域、あるいは補正が過剰な領域が存在することになる。したがって、不均質なずれを有する投影映像に対して、特許文献1が開示する技術は画質向上の効果が低いという課題が存在する。。

また、特許文献2が開示する技術では、不可視光の検出パターンを使用して補正を実施することから、映像投影中であっても投影位置のずれに応じた画像補正を実施可能であり、すなわち適応的な補正を実施可能である。しかし、均一な画像補正を投影面全体に対して実施するため、上記特許文献1の場合と同様に、不均質なずれを有する投影映像に対しては、特許文献2が開示する技術は画質向上の効果が低いという課題が存在する。

本発明は上記課題を解決するためになされたものであり、複数の投影画像が重畳する重畳領域における画像のずれにより生じる画質劣化を抑制可能とすることを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、画像処理装置は、第１プロジェクタにより投影される第１の投影画像と第２プロジェクタにより投影される第２の投影画像とが重畳する重畳領域の画像を少なくとも含む撮像画像に基づいて、前記重畳領域内の複数の部分領域それぞれにおける前記第１の投影画像と前記第２の投影画像との間の位置ずれに関する情報を取得する情報取得手段と、前記情報取得手段により取得される前記情報に基づいて、前記重畳領域内の複数の部分領域における前記位置ずれを補正するための複数の補正値を決定する決定手段と、前記決定手段により決定される補正値を用いて、前記重畳領域内の部分領域における前記位置ずれを補正する補正手段と、を有する。

本発明は、複数の投影画像が重畳する重畳領域における画像のずれにより生じる画質劣化を抑制可能とする。

本発明にかかる第1実施形態におけるマルチプロジェクション・システムのハードウェア構成を示す図、本実施形態のマルチプロジェクション・システムにおける機能構成を示す図、映像取得部の設置例を示す図、補正量の算出手順を説明する図、補正量の算出に適用する隣接単位領域を説明する図、補正量の算出に適用する矩形ごとに画素を分類した結果を示す図、矩形内の中心線上以外の画素の補正量を示す図、補正量の算出例を示す図、第2実施形態における差異算出部の構成例を示す図、第2実施形態における補正実施の判断方法を説明する図、である

以下、添付の図面に沿って本発明の実施の形態を説明する。ただし、本発明の趣旨及びその範囲から逸脱することなく、実施形態及び詳細を変更することは可能である。したがって、本実施形態は記載内容に限定するものではない。また、以下に示す実施形態は、特に限定する場合を除き、ハードウェア上に実装しても、あるいはソフトウェアで実装しても構わない。なお、同一の機能を有する部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜第1実施形態＞
本実施形態では、複数のプロジェクタによる重畳表示を行うマルチプロジェクション・システムにおいて、第1の投影画像と第2の投影画像が重畳する重畳領域で投影位置のずれにより生じる画質劣化を、映像投影中に抑制可能とする。すなわち、重畳領域を構成する投影映像に対し、投影位置のずれに応じた画像補正を行うことで、該ずれに起因する画質劣化を抑制し、あたかも投影位置のずれが解消されたかのような効果を奏する。したがって以下では、投影映像に対する上記補正を便宜的に、投影映像の位置補正と称する。

以下、本実施形態における補正方法を説明するに先立ち、以下の説明で使用する「単位領域」、および「差異ベクトル」について説明する。

まず「単位領域」は、投影位置のずれ(差異)の算出、投影位置補正量の算出、および投影位置補正の実施の有無を判断する単位となる領域であり、予めその形状およびサイズが設定されている。単位領域と重畳領域の間には、以下の(1)式に示す関係がある。(1)式において、重畳領域の大きさを(Ψ,Φ)、単位領域の大きさを(x,y)とする。また、m,nは正の整数である。

(Ψ,Φ)＝(mx,ny) …(1)
「差異ベクトル」は、重畳領域に存在する複数の投影映像間に生じている投影位置のずれを表すベクトルである。差異ベクトルdiffを、以下の(2)式で定義する。(2)式において、I₀(k)は、当該プロジェクタが投影する単位領域kの投影位置を表すベクトルである。また、I(k)は当該プロジェクタ以外のプロジェクタが投影する単位領域kの投影位置を表すベクトルである。

diff＝(I(k)-I₀(k))/2 …(2)
●装置構成
本実施形態におけるマルチプロジェクション・システムのハードウェア構成を、図1を用いて説明する。同図において、CPU1001は、RAM1002をワークメモリとして、HDD1003等の記憶装置に格納されたプログラムを実行し、メインバス1009を介して接続された各構成を制御する。入力インターフェース(I/F)1004は、マウスやキーボード等の入力デバイス1006及びプロジェクタによる投影画像を取得する撮影装置1007をメインバス1009に接続させる。出力I/F1005は、プロジェクタ群1008等をメインバス1009に接続させる。図1に示す構成からも分かるように、本実施形態のマルチプロジェクションシステムは複数のプロジェクタと、その投影画像を制御するコンピュータ等の画像処理装置によって実現することができる。

なお、図1ではマルチプロジェクション・システムが16台のプロジェクタから成る例を示したが、プロジェクタ数はもちろんこの例に限定されず、複数のプロジェクタによる画像投影を行うシステムであれば本発明は適用可能である。

図2に、本実施形態のマルチプロジェクション・システムにおいて投影位置補正を行うための機能構成を示す。画像処理装置10は、プロジェクタ群1008のあるプロジェクタによる投影画像用の入力画像である入力映像101を入力し、後述する投影位置補正を施す。なお、プロジェクタ群1008には、他のプロジェクタによって入力映像101の投影画像と重畳する投影画像用である入力映像106も入力される。

画像処理装置10は、画像取得部11、ずれ算出部12、画像補正部13を備える。画像取得部11は、投影面上に表示されている投影映像を取得するものであり、すなわち図1の撮影装置1007に相当する。ずれ算出部12は、入力映像101と、画像取得部11が取得した取得映像102から、入力映像101と入力映像106の投影映像の重畳領域における単位領域毎のずれの度合を示す差異ベクトル103を生成する。ずれ算出部12はさらに、差異ベクトル103に基づいて、補正実施の有無を示す補正実施信号104を生成する。そして画像補正部13は、補正実施信号104の値に基づき、入力映像101に対して差異ベクトル103に応じた投影位置の補正を施して投影映像105を生成する。なお本実施形態では、単位領域を5x5画素の正方形とする。すなわち(x,y)=(5,5)である。以下、これら各構成について詳細に説明する。

●画像取得部11(撮影装置1007)
画像取得部11は投影面上に表示されている投影映像を撮影し、その画像を取得する。ただし、投影面上の投影映像を画素単位で取得可能ならば、実際に適用する画像取得装置およびその設置場所を限定しない。例えば画像取得部11として二次元イメージセンサを適用することが可能であり、この二次元イメージセンサは、カラー・センサであってもパンクロマッチク・センサであってもよい。ここで図3に、画像取得部11すなわち撮影装置1007の設置場所の実施形態を示す。図3(a)は、画像取得部11をプロジェクタの筐体の上部に設置している。図3(a)に示すように、画像取得部11をプロジェクタの筐体の上部に設置すると、投影面51に投影した投影映像の全面を取得可能である。また図3(b)は、画像取得部11を投影面51の上部に設置した例を示す。この場合、画像取得部11とプロジェクタは有線又は無線で接続され、投影面51に投影した投影映像の全面を取得可能である。なお、画像取得部11の設置場所は図3に示す位置に限定されず、投影面51に投影した投影映像の重畳領域とその周囲の領域を取得可能であれば、設置場所は任意でよい。

画像取得部11は、投影映像において他のプロジェクタによる投影映像と重畳している重畳領域とその周囲の領域を、取得対象領域とする。重畳領域周囲の領域を取得対象領域に含めるのは、画像取得部11設置時の位置合わせ作業を容易とし、さらに経時変化に因る重畳領域の移動に対応するためである。ただし、取得対象領域が大きいほど、画像取得部11が取得した取得映像102の容量が大きくなり、ずれ算出部12の処理に影響を与える。従って、取得対象に含める重畳領域の周囲領域は、必要最低限の形状およびサイズとなるように決定する。この周囲領域の形状およびサイズは、プロジェクタが有する光学系の特性と画像取得部11における映像取得の特性に基づいて決定すればよい。

画像取得部11が投影面上に表示されている投影映像を取得する時間間隔は、プロジェクタが投影映像の投影位置を補正する時間間隔に依存する。ここで、プロジェクタが実施する投影位置補正の間隔をα、画像取得部11が実施する投影映像取得の間隔をβとすると、αとβの間には以下の(3)式に示す関係が存在する。

α≦β …(3)
●ずれ算出部12
ずれ算出部12は、差異ベクトル算出部21、絶対値算出部22、および補正実施判定部23を少なくとも含んでいる。

差異ベクトル算出部21は、入力映像101と、画像取得部11が取得した取得映像102から、単位領域毎に差異ベクトル103を算出する。このとき、入力映像101において、取得映像102における重畳領域に対応する領域を特定する必要があるが、画像取得部11における投影映像の取得対象領域が限定されているため、この取得対象領域に準ずれば良い。

本発明は差異ベクトル103の算出手法に依存するものではないため、周知の技術や手段を使用して投影位置のずれを検出し、差異ベクトル103を算出してよい。差異ベクトル103の算出手法の一例として、映像のエッジを基にずれを検出する手法がある。この手法を適用する場合、まず入力映像101と取得映像102にエッジ検出処理を施す。この時、入力映像101と取得映像102の間に時間的な差が存在するならば、エッジ検出処理後の結果に映像遅延回路を適用して、時間的な差を解消しておく必要がある。すなわち、ずれ算出の対象となる入力映像101と取得映像102のそれぞれは、同じ画像が投影されたものであるとする。続いて、取得映像102のエッジ検出結果から、入力映像101のエッジ検出結果を減算する。この減算結果の映像において、値が0である単位領域は、取得映像102と入力映像101にずれが存在しないため、当該単位領域の差異ベクトル103の値は(0,0)である。一方、減算結果の映像において値が0ではない単位領域は、取得映像102と入力映像101にずれが存在するため、(2)式の定義にしたがい、減算結果から当該単位領域の差異ベクトル103(diff)を算出する。

なお、差異ベクトル103の算出手法は映像のエッジに基づく上記手法に限定されず、単位領域毎に差異ベクトル103を算出可能ならば任意の手法を適用してよい。また、差異ベクトル103の算出対象となる入力映像101と取得映像102は、必ずしも同一画像に対応するものでなくてもよい。例えば、入力映像101と取得映像102が同一シーン内で前後するフレームに対応する等、類似の映像であれば問題ない。入力映像101と取得映像102が同一シーン内であるが別フレームの映像である場合、フレーム内で動きが少ない領域を対象として差異ベクトル103を算出することで、フレームの違いに因る誤差の発生を軽減する。

続いて、絶対値算出部22で、差異ベクトル算出部21で算出した差異ベクトル103の絶対値111を算出する。ここで絶対値111をmag、差異ベクトル103をdiff=(x,y)とすると、magは以下の(4)式で算出される。

mag＝√(x²+y²) …(4)
次に補正実施判定部23で、単位領域毎に補正実施を行うか否かを判断し、該判断結果を補正実施信号104として出力する。補正実施信号104は、単位領域毎に補正実施の有無を示す1ビットの信号とする。したがって、単位領域数がkならば補正実施信号104のビット数はkビットである。補正実施信号104は、補正実施の有無に拠り以下の値を取る。尚、以下の割当てにおいてカッコ内はニーモニックコードである。

a)当該単位領域は補正実施有：1(VALID)
b)当該単位領域は補正実施無：0(INVALID)
補正実施判定部23では、注目単位領域の差異ベクトルの絶対値が閾値以上ならばずれ補正を実施するとし、補正実施信号104の値をVALID(補正実施有)に設定する。一方、注目単位領域の差異ベクトルの絶対値が上記閾値未満ならばずれ補正は実施しないとし、補正実施信号104の値をINVALID(補正実施無)に設定する。差異ベクトルの絶対値の閾値としては、プロジェクタの特性に拠り予め決定し、補正実施判定部23に保持しておく。尚、この閾値を固定値とせずに、プロジェクタの使用者が必要に応じて変更可能としてもよい。

●画像補正部13
画像補正部13は、投影位置補正量算出部26と投影画像補正部27を少なくとも含んでいる。投影位置補正量算出部26は、投影位置のずれを補正する補正量115を画素毎に算出する。投影画像補正部27は、補正量115に従って入力映像101を補正し、投影映像105を生成する。この補正量115は、そのx,y成分がすなわち、当該画素のx、y方向へのずれ量を補正するための画素の移動量を示す。

なお、ここで補正対象となる入力映像101としては、ずれ算出時に参照したものと同じ画像であるべきであるが、既に投影された画像に対して補正を施すことは現実的ではない。したがって補正対象となる入力映像101としては、ずれ算出時と同一シーンであれば、ずれ算出時に参照した入力映像101よりも時間的に後の画像であっても構わない。

以下、投影位置補正量算出部26が算出する補正量115とその算出方法を説明する。注目単位領域を第1の単位領域31とし、第1の単位領域31に隣接する単位領域を第2の単位領域32とする。この第1の単位領域31と第2の単位領域32のそれぞれが有する差異ベクトルとその成分を、以下のように定義する。

第1の単位領域31の差異ベクトル：diff1＝(x1,y1)
第2の単位領域32の差異ベクトル：diff2＝(x2,y2)
第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のx成分は、x1とx2の大小関係に依り以下の関係をなす。

a)x1＞x2
補正量115のx成分は、x1を上限、x2を下限とする調和数列
b)x1＜x2
補正量115のx成分は、x2を上限、x1を下限とする調和数列
c)x1=x2
補正量115のx成分は全て等しく、その値はx1(=x2)
同様に、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のy成分は、y1とy2の大小関係に依り以下の関係をなす。

d)y1＞y2
補正量115のy成分は、y1を上限、y2を下限とする調和数列
e)y1＜y2
補正量115のy成分は、y2を上限、y1を下限とする調和数列
f)y1=y2
補正量115のy成分は全て等しく、その値はy1(=y2)
本実施形態ではこのように、単位領域のx,y成分に相当する画素ごとの補正量を、当該単位領域のずれ量と隣接単位領域のずれ量を上限/下限とする調和数列に設定することで、ずれ補正による変移が人間の視覚的に違和感なく受け入れられる。

次に、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素の補正量115とその算出方法について、図4を用いて説明する。

図4(a)に示すように、第1の単位領域31の差異ベクトルdiff1のx成分とy成分をdiff1＝(x1,y1)＝(5,4)とし、第2の単位領域32の差異ベクトルdiff2のx成分とy成分をdiff2＝(x2,y2)＝(3,3)とする。この場合、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上には、それぞれの単位領域の中心画素を含めて6画素が存在する。

まず、補正量115のx成分を求める。本実施形態ではx1=5、x2=3であるから、上記の条件a)に該当する。したがって、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のx成分は、x1=5を上限、x2=3を下限とする、要素数6の調和数列をなす。このように算出された補正量115のx成分を表わす調和数列は以下に示すようになり、逆数が公差2/75の等差数列となっている。

{5,75/17,75/19,75/21,75/23,3}
次に、補正量115のy成分を算出する。本実施形態ではy1=4、y2=3であるから、条件d)に該当する。したがって、第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素が有する補正量115のy成分は、y1=4を上限、y2=3を下限とする、要素数6の調和数列をなす。このように算出された補正量115のy成分を表わす調和数列は以下に示すようになり、逆数が公差1/60の等差数列となっている。

{4,60/16,60/17,60/18,60/19,3}
図4(b)に、以上のように第1の単位領域31と第2の単位領域32の中心を結ぶ線分上に存在する画素からなる画素列に対して算出された補正量115を、画素毎にベクトル表記した例を示す。

続いて、第1の単位領域31と隣接する単位領域の中心を結ぶ線分上以外に存在する画素の補正量115の算出方法を、図5、図6、および図7を用いて説明する。

まず図5を用いて、第1の単位領域31に属する画素が補正量115の算出に適用する差異ベクトルを説明する。図5(a)は、第1の単位領域31と、その周囲に存在する単位領域の配置を示す図である。第1の単位領域31の右側には第2の単位領域32が隣接している。以降左回りに、第3の単位領域33、第4の単位領域34、および第5の単位領域35が隣接している。このように本実施形態では、注目単位領域である第1の単位領域31に対し、その垂直および水平方向に隣接する4つの単位領域(第2の単位領域32〜第5の単位領域35)が、隣接する単位領域となる。このような配置において、第1の単位領域を以下のように分割する。

a)第1の単位領域31の中心から隣接単位領域との境界線の両端に線分を引く
b)第1の単位領域31を、a)で引いた線分と隣接単位領域との境界線がなす矩形に分割
図5(b)に、図5(a)に示す第1の単位領域31を分割した結果を示す。第1の単位領域31は、その中心から隣接単位領域との境界線の両端に引いた線分41と、隣接単位領域との境界線がなす、4個の矩形に分割されている。ここで、分割により生成した矩形を以下のように呼称する。

a)線分41と第2の単位領域32との境界線がなす矩形：第1の矩形36
b)線分41と第3の単位領域33との境界線がなす矩形：第2の矩形37
c)線分41と第4の単位領域34との境界線がなす矩形：第3の矩形38
d)線分41と第5の単位領域35との境界線がなす矩形：第4の矩形39
第1の単位領域31の中心画素と線分41上に存在する画素は、以下の基準に従い、属する矩形を決定する。

a)第1の単位領域31の中心画素は、第1の矩形36から第4の矩形39の全てに属する
b)第1の単位領域31の中心から線分41方向を見通し、右手方向の矩形に属する
図6に、第1の単位領域31に属する画素ごとに、上記規準により属する矩形を決定した結果を示す。図6中、各画素に記入した数字が、その属する矩形を表している。なお、各画素の数字1〜4はそれぞれ、第1の矩形36〜第4の矩形39に属することを示す。

第1の矩形36内の画素については、第1の単位領域31と第2の単位領域32の差異ベクトルを適用して補正量115を算出する。第2の矩形37〜第4の矩形39についても同様に、以下に示す差異ベクトルを補正量115算出に適用する。

a)第1の矩形36内の画素：第1の単位領域31と第2の単位領域32の差異ベクトル
b)第2の矩形37内の画素：第1の単位領域31と第3の単位領域33の差異ベクトル
c)第3の矩形38内の画素：第1の単位領域31と第4の単位領域34の差異ベクトル
d)第4の矩形39内の画素：第1の単位領域31と第5の単位領域35の差異ベクトル
次に、第1の単位領域31の中心と、隣接する単位領域の中心を結ぶ線分上に存在しない画素についての補正量115の算出について、図7を用いて説明する。図7(a)は、第1の単位領域31と隣接する単位領域の中心を結ぶ線分上付近を切り出した図である。図7(a)において、中心線42は、第1の単位領域31と隣接する単位領域の中心を結ぶ線分である。画素a,b,cは第1の単位領域31と隣接する単位領域の中心を結ぶ線分上に存在する。一方、画素1,2,3,4,5,6は、第1の単位領域31と隣接する単位領域の中心を結ぶ線分上に存在しない。

前述のように分割した矩形内で、中心線42上に存在しない画素については、以下の方針により補正量115を決定する。

a)同一の中心線42に垂直な線分上に存在する画素は同一の補正量を有する
この方針は言い換えれば、中心線42上に存在しない画素の補正量を、当該画素から中心線42に垂線を下した位置に存在する画素と同一の補正量にする、ということである。

この方針に従って決定された、図7(a)に示す各画素の補正量115を、図7(b)に示す。図7(b)によれば、中心線42上に存在しない画素1〜6についての補正量115は、以下のように決定されている。

a)画素1,2と画素bは、中心線42に垂直な同一の線分上に存在するため、画素1と画素2の補正量115は画素bと同一
b)画素3〜6と画素cは、中心線42に垂直な同一の線分上に存在するため、画素3〜6の補正量115は画素cと同一
以下、補正量115算出の具体例を示す。ここでは、第1の単位領域31内の画素は図6に示すように各矩形に属するとする。また、第1の単位領域31〜第5の単位領域35が有する差異ベクトルが、以下の値であると仮定する。

第1の単位領域31の差異ベクトル：(5,4)
第2の単位領域32の差異ベクトル：(3,3)
第3の単位領域33の差異ベクトル：(4,6)
第4の単位領域34の差異ベクトル：(7,5)
第5の単位領域35の差異ベクトル：(6,5)
このように仮定された差異ベクトルを用いて、上述した補正量115の算出方法に基づき、中心線42上の画素が有する補正量115を算出した結果を、図8(a)に示す。続いて、中心線42上に存在しない画素の補正量115を、上述した方針と規準に従って決定した結果を、図8(b)に示す。

なお、上述した方針や基準は一例に過ぎず、変更可能である。例えば、単位領域内で矩形の境界上にある画素の属する矩形の決定方法を中心から見て、矩形の境界線の一方端側である右手方向の矩形としたが、これを他方端側である左手方向としてもよい、観察者のスイッチ操作等により切り替え可能としてもよい。ただし、この方針や基準は、マルチプロジェクション・システムを構成する複数のプロジェクタにおいて共通とすべきである。

次に、投影画像補正部27の動作について説明する。投影画像補正部27は、補正実施信号104の値によって、以下のように動作が異なる。

a)補正実施信号104==1(VALID)
入力映像101の該当単位領域に対して位置補正を実施
補正量115に基づき画素を移動(画素値を補正)し投影映像105を生成
b)補正実施信号104==0(INVALID)
入力映像101の該当単位領域に対して位置補正を実施しない
該当単位領域は入力映像101をそのまま投影映像105に出力
なお、本実施形態では投影位置補正量算出部26において画素の補正量を算出することを特徴とし、該補正量に応じた補正方法についてはどのような画像変換手法を適用してもよく、したがって投影画像補正部27は周知の技術によって実施可能である。例えば、補正量に応じた移動によって複数画素が重なる場合には画像の重ね合わせ演算を行うとし、ある画素について小数点以下の画素数分を移動する場合は、その移動方向に重なる画素との間で、画素値を比例配分させればよい。

なお、本実施形態では画像補正部13において、投影位置補正量算出部26で全ての単位領域について補正量115を算出する例を示したが、この算出を行うか否かを補正実施信号104に応じて決定しても良い。すなわち、投影画像補正部27と同様に、補正実施信号104がVALIDである場合に補正量を算出することで、補正量算出にかかる処理量の削減が望める。

以上説明したように本実施形態によれば、複数の投影映像が重畳する重畳領域で生じる投影位置のずれを、動画像である映像の投影中に適応的に調整することが可能となる。特に、投影位置のずれが大きい箇所のみに対して補正を行うため、補正処理量が軽減されるとともに、不均質な投影位置のずれに対しても適切な補正が可能となる。

なお、本実施形態ではマルチプロジェクション・システムを構成する複数のプロジェクタのそれぞれにおいて、投影位置補正を可能とする例を示したが、もちろん全てのプロジェクタで投影位置補正を行う必要はない。実際には、マルチプロジェクション・システムを構成する全てのプロジェクタを、投影位置の補正を行わない基準装置と、投影位置の補正を行う補正装置とに分類することが有効である。例えばマルチ投影を行う場合、投影位置が隣り合うプロジェクタの一方を基準装置、他方を補正装置とすることが有効である。

また、本実施形態では単位領域を5x5画素の正方形とする例を示したが、もちろん単位領域のサイズおよび形状はこの例に限定されず、さらに画像全面において固定でなくてもよい。例えば、一般に重畳領域において周辺部は画素位置のずれが大きく、中央部はずれが小さいため、単位領域のサイズを周辺部で小さくし、中央部で大きくすることも有効である。

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態におけるマルチプロジェクション・システムも、上述した第1実施形態と同様に単位領域ごとのずれ補正を行うが、補正実施の判定方法が異なる。第1実施形態では、画素位置のずれが大きい領域を補正対象とする例を示したが、投影画像が観察者に与える影響は、画素位置のずれ量のみによるものではない。例えば、動きの少ない領域であれば画素位置のずれが小さくても観察者が違和感を覚えるし、輝度が高い領域であれば相対的にずれが目立つ。第2実施形態では画素位置のずれ量に加えて、動きベクトルおよび輝度を用いて、視覚に与える影響が大きいと領域を判定し、補正対象とする。

第2実施形態のマルチプロジェクション・システムの画像処理装置も、上述した第1実施形態と同様に、画像取得部11、ずれ算出部12、および画像補正部13を含むが、ずれ算出部12の詳細構成が異なる。図9に、第2実施形態に係るずれ算出部12の一実施形態を示す。第2実施形態に係るずれ算出部12は、第1実施形態で図2に示した構成と同様に、差異ベクトル算出部21、絶対値算出部22、および補正実施判定部23を含んでいる。第2実施形態に係るずれ算出部12はさらに、動きベクトル算出部24と平均輝度算出部25を有し、第2実施形態に係る補正実施判定部23の機能は、第1実施形態とは異なる。以下、第2実施形態における補正判定について、第1実施形態との違いを中心に説明する。

動きベクトル算出部24は、単位領域毎に入力映像101の動きベクトル112を算出する。この動きベクトルの算出手法としては、フレーム相関を使用した手法を始めとして、種々の周知の手法を適用することができる。

動きベクトル算出部24で算出された動きベクトル112は、絶対値算出部22でベクトルの絶対値を求める。ここで得た動きベクトルの絶対値113は、補正実施判定部23に入力されて補正実施信号104の生成に使用される。補正実施信号104の生成方法については後述する。

平均輝度算出部25は、ある単位領域における輝度の平均値を、以下の(5)式により出力する。(5)式において、kは単位領域に属する画素を識別する画素番号、nは単位領域に属する画素数、bri(k)は画素番号kの画素の輝度を示す。また、Σはn個の全画素におけるbri(k)の総和を示す。そして、aveが平均輝度である。第2実施形態ではフレーム毎に、(5)式によって単位領域の平均輝度114を算出する。

avg＝(Σbri(k))/n …(5)
なお、(7)式では平均輝度として総和平均を算出しているが、算出する平均輝度を総和平均に限定するものではない。また、第2実施形態ではフレーム毎に平均輝度114を算出するが、この算出間隔についてもフレーム毎に限定するものではない。

続いて、第2実施形態における補正実施判定部23の動作について、詳細に説明する。第2実施形態における補正実施判定部23は第1実施形態とは異なり、差異ベクトルの絶対値111に対し、さらに動きベクトルの絶対値113と平均輝度114の双方を加えた三元により、補正実施の有無を判定する。

第2実施形態における補正実施判定部23は第1実施形態と同様に、単位領域毎に補正実施を判断し、該判断結果を第1実施形態と同様の補正実施信号104として出力する。第2実施形態における補正実施の判断は、図10に示す三元相関図を適用して行う。図10に示すように三元相関図は、x,y,zの三次元の直交座標系として表される。なお、図10に示すx,y,zの各軸は、所定の重み付けを行った以下の値である。

x軸：差異ベクトルの絶対値111
y軸：動きベクトルの絶対値113の逆数
z軸：平均輝度114
x,y,zの各軸に付加する重みは、プロジェクタの特性に拠り予め決定し、補正実施判定部23に保持しておく。例えば、平均輝度が与える影響を強くするならば、z軸の重みを大きくする。尚、x,y,zの各軸に付加する重みは、プロジェクタの使用者が必要に応じて書き換え可能としてもよい。

次に、図10に示す三元相関図を適用して補正実施を判断する手順について説明する。第2実施形態における補正実施の判断は、以下の手順で実施する。

1)単位領域ごとに、差異ベクトルの絶対値111、動きベクトルの絶対値113の逆数、および平均輝度114に対応する点を、三元相関図にプロットする
2)プロットした点について、閾値平面43との位置関係により補正実施の有無を以下のように判定する
i)プロット点が閾値平面43より原点側に存在(図中■)：補正実施無
ii)プロット点が閾値平面43より原点と反対側に存在(図中●)：補正実施有
第2実施形態では、単位領域のプロット点と閾値平面を比較することで、画素位置のずれが大きく、動きベクトルの絶対値が小さく、輝度が高い、したがって視覚に与える影響が大きい領域を判定し、補正を実施する。なお閾値平面43は、プロジェクタの特性に依存して予め決定し、補正実施判定部23に保持しておく。尚、閾値平面43は固定とせずに、プロジェクタの使用者が必要に応じて書き換え可能としてもよい。

以上説明したように第2実施形態によれば、視覚に与える影響の大きい領域を動的に判定し、優先して補正することができる。

なお、第2実施形態では差異ベクトルと動きベクトル、および平均輝度の三元を用いて補正対象領域を判定する例を示したが、差異ベクトルと動きベクトル、または差異ベクトルと平均輝度の二元によって補正対象領域を判定することももちろん可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

11:画像取得部、12:ずれ算出部、13:画像補正部

Claims

第１プロジェクタにより投影される第１の投影画像と第２プロジェクタにより投影される第２の投影画像とが重畳する重畳領域の画像を少なくとも含む撮像画像に基づいて、前記重畳領域内の複数の部分領域それぞれにおける前記第１の投影画像と前記第２の投影画像との間の位置ずれに関する情報を取得する情報取得手段と、
前記情報取得手段により取得される前記情報に基づいて、前記重畳領域内の複数の部分領域における前記位置ずれを補正するための複数の補正値を決定する決定手段と、
前記決定手段により決定される補正値を用いて、前記重畳領域内の部分領域における前記位置ずれを補正する補正手段と、を有することを特徴とする画像処理装置。
前記情報取得手段により取得される前記情報が示す特定の部分領域における前記位置ずれの大きさに基づいて、当該特定の部分領域における前記位置ずれを補正するかを判定する判定手段を有し、
前記補正手段は、前記判定手段による判定結果に応じて、前記重畳領域内の部分領域における前記位置ずれを補正することを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、前記情報取得手段により取得される情報のうち、対象の部分領域における前記位置ずれに関する情報と、前記対象の部分領域に隣接する部分領域における前記位置ずれに関する情報とに基づいて、前記対象の部分領域における前記位置ずれを補正するための補正値を決定することを特徴とする請求項１又は２に記載の画像処理装置。
前記決定手段は、前記対象の部分領域の中心画素と前記隣接する部分領域の中心画素を結ぶ線上に存在する各画素についての補正値を、前記対象の部分領域の中心画素についての補正値と前記隣接する部分領域の中心画素についての補正値との間の値に決定することを特徴とする請求項３に記載の画像処理装置。
前記情報取得手段は、前記撮像画像のエッジを検出する検出処理の結果に基づいて前記情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記情報取得手段は、前記第１の投影画像に対応する入力画像と前記撮像画像とに基づいて前記情報を取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
前記補正手段は、前記決定手段により決定される補正値を用いて前記第１プロジェクタによる投影対象の画像を補正することで、前記重畳領域内の部分領域における前記位置ずれを補正することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
前記情報取得手段は、前記複数の部分領域それぞれにおける前記位置ずれの大きさ及び方向を示す情報を、前記情報として取得することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
前記第１の投影画像に対応する入力画像のうち、前記重畳領域内の複数の部分領域それぞれに対応する部分の動き量を示す情報を取得する第２情報取得手段を有し、
前記判定手段は、前記第２情報取得手段により取得される情報が示す特定の部分領域に対応する前記動き量に基づいて、当該特定の部分領域における前記位置ずれを補正するか否かを判定することを特徴とする請求項２に記載の画像処理装置。
前記第１の投影画像に対応する入力画像のうち、前記重畳領域内の複数の部分領域それぞれに対応する部分の明るさを示す情報を取得する第３情報取得手段を有し、
前記判定手段は、前記第３情報取得手段により取得される情報が示す特定の部分領域に対応する前記明るさに基づいて、当該特定の部分領域における前記位置ずれを補正するか否かを判定することを特徴とする請求項２又は９に記載の画像処理装置。
前記第１プロジェクタと、
前記撮像画像を取得する撮像装置と、
請求項１乃至１０の何れか１項に記載の画像処理装置とを有することを特徴とする投影システム。
第１プロジェクタにより投影される第１の投影画像と第２プロジェクタにより投影される第２の投影画像とが重畳する重畳領域の画像を少なくとも含む撮像画像に基づいて、前記重畳領域内の複数の部分領域それぞれにおける前記第１の投影画像と前記第２の投影画像との間の位置ずれに関する情報を取得する情報取得工程と、
前記情報取得工程において取得される前記情報に基づいて、前記重畳領域内の複数の部分領域における前記位置ずれを補正するための複数の補正値を決定する決定工程と、
前記決定工程において決定される補正値を用いて、前記重畳領域内の部分領域における前記位置ずれを補正する補正工程と、
を有することを特徴とする画像処理方法。
前記情報取得工程において取得される前記情報が示す特定の部分領域における前記位置ずれの大きさに基づいて、当該特定の部分領域における前記位置ずれを補正するか否かを判定する判定工程を有し、
前記補正工程においては、前記判定工程における判定結果に応じて、前記重畳領域内の部分領域における前記位置ずれが補正されることを特徴とする請求項１２に記載の画像処理方法。
前記決定工程においては、前記情報取得工程において取得される情報のうち、対象の部分領域における前記位置ずれに関する情報と、前記対象の部分領域に隣接する部分領域における前記位置ずれに関する情報とに基づいて、前記対象の部分領域における前記位置ずれを補正するための補正値が決定されることを特徴とする請求項１２又は１３に記載の画像処理方法。
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。