JP2016099478A - 画像処理装置及びその制御方法、画像処理システム及びその制御方法、コンピュータプログラム - Google Patents

Abstract

【課題】重複領域と非重複領域の継目を目立ちにくくするとともに、投影画像全体のコントラスト低下を更に抑制することを可能にする技術を提供する。
【解決手段】複数の部分画像を互いに一部が重なるように投写型表示装置に投射させて、スクリーン上に一つの画像を表示させる画像処理装置は、スクリーン上に表示された画像についての画像情報を取得する取得手段と、スクリーン上に表示された画像において部分画像が重複する重複領域と、該部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを取得手段が取得した画像情報に基づいて判定する判定手段と、継目が視認できると判定された場合に、当該継目を視認しづらくするための補正を表示対象の画像に対して行う補正手段と、補正が行われた画像を投写型表示装置へ出力する出力手段とを備える。
【選択図】 図１

Description

本発明は画像処理装置及びその制御方法、画像処理システム及びその制御方法、コンピュータプログラムに関し、特に、複数の投射型画像表示装置を用いて重複部分を設けてマルチプロジェクション画面を構成する技術に関する。

従来、複数の投射型画像表示装置を用いてマルチプロジェクション画面を構成する場合、隣接する投射型画像表示装置毎に重複する画像領域を設け、画像重複領域の画像信号に対して輝度補正を行うことで継目を目立たなくしている。また、画像重複領域を所定の広がりを持つ幅とすることにより、投射型画像表示装置毎に輝度や色味などの特性が若干異なっていても、視認されにくくなるという効果がある。

ここで、投射型画像表示装置は、透過型では透過光を、反射型では反射光を完全に遮断することができないため、黒表示でも微小な輝度を持つ。したがって、マルチプロジェクション構成における黒表示では、この微少な輝度成分が重なり合うことによって、有効画像の画像重複領域の輝度が有効画像の画像重複領域外の輝度より高くなってしまい、継目が視認されてしまう。このような黒画像の重ね合わせにより現れる継目を黒浮きという。

これに鑑み、投射型画像表示装置毎に有効画像の重複領域外（非重複領域）の輝度値を、重複領域の黒輝度に合わせるよう補正することで、投影画像全体を均一な黒表示にすることが知られている（特許文献１）。しかし、特許文献１の構成では、投影画像全体の黒輝度が上がるため、投影画像全体のコントラストが低下していた。

そこで、非重複領域の重複領域の端から一定距離までの範囲で、重複領域の黒輝度から非重複領域の黒輝度までの黒の輝度を徐々に変化させるように黒補正することが知られている（特許文献２）。これにより、重複領域と非重複領域の継目を目立ちにくくするとともに、投影画像全体のコントラストが低下することを抑制する。

特開２００２−２６８６２５号公報 特開２００４−０２３２４２号公報

しかし、特許文献２の構成では、投影画像が全体的に低階調の画像では、黒表示の均一性の悪さが目立つ場合がある。また、非重複領域の一部の領域であっても、黒補正をすることにより、投影画像のコントラストが低下していた。

本発明は上記課題に鑑みなされたものであり、重複領域と非重複領域の継目を目立ちにくくするとともに、投影画像全体のコントラスト低下を更に抑制することを可能にする技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
複数の部分画像を互いに一部が重なるように投写型表示装置に投射させて、スクリーン上に一つの画像を表示させる画像処理装置であって、
前記スクリーン上に表示された画像についての画像情報を取得する取得手段と、
前記スクリーン上に表示された画像において前記部分画像が重複する重複領域と、該部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを前記取得手段が取得した前記画像情報に基づいて判定する判定手段と、
前記継目が視認できると判定された場合に、当該継目を視認しづらくするための補正を表示対象の画像に対して行う補正手段と、
補正が行われた前記画像を前記投写型表示装置へ出力する出力手段と
を備える。

本発明によれば、重複領域と非重複領域の継目を目立ちにくくするとともに、投影画像全体のコントラスト低下を更に抑制することを可能にする技術を提供することができる。

画像処理装置の概略構成を示すブロック図。 画像処理装置による画像処理の処理手順を示すフローチャート。 補正対象領域を説明する図。 補正対象小領域を説明する図。 画像処理装置による画像処理の処理手順を示すフローチャート。 着目領域が、黒浮きが目立つ画素を所定割合以上有する例を説明する図。 画像処理装置の概略構成を示すブロック図。 着目領域の画像中の黒浮き目立たない画素が、高周波成分である場合と低周波成分である場合をそれぞれ例示した図。 画像処理装置による画像処理の処理手順を示すフローチャート。 投射型画像表示装置の概略構成を示すブロック図。 投射型画像表示装置による画像処理の処理手順を示すフローチャート。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜実施形態１＞＞
（画像処理装置）
図１は、本発明の一実施形態（実施形態１）に係る画像処理装置の概略構成の一例を示す図である。本実施形態では、２台の投射型画像表示装置（プロジェクタ）Ａ、Ｂを用いて、投射型画像表示装置の投影画面が互いに水平方向に隣接するようにマルチプロジェクション画面を構成する場合を説明する。このような構成において、画像処理装置は、複数の部分画像を互いに一部が重なるように投写型表示装置に投射させて、スクリーン上に一つの画像を表示させる。そして、本実施形態に係る画像処理装置は、人間の視覚により知覚できる継目（黒浮き）が生じる場合のみ必要な黒補正を行い、継目が知覚できない場合は黒補正を行わないことで、画像全体のコントラストを維持する。

図１において、１０は画像処理装置、１１は投射型画像表示装置Ａ、１２は投射型画像表示装置Ｂ、１３はスクリーンである。本実施形態のスクリーンは、投射専用のスクリーンであるが、建造物、彫刻、自然物など画像を投射して表示可能なあらゆる物体をスクリーンとしてもよい。投射型画像表示装置Ａ、Ｂが互いの投影領域の一部が重複するようにスクリーン１３に画像を投影するとき、スクリーン１３上の投影領域は次のように区別することができる。すなわち、投射型画像表示装置Ａだけが投影している領域１４（非重複領域Ａ）、投射型画像表示装置Ｂだけが投影している領域１５（非重複領域Ｂ）、投射型画像表示装置Ａと投射型画像表示装置Ｂが重複して投影している領域１６（重複領域ＡＢ）である。画像処理装置１０は、画像入力部１００、補正部１０１、領域指定部１０２、及び、解析部１０３を備える。以下、投射型画像表示装置Ａ、Ｂを投射型画像表示装置１１、１２と称する。

画像入力部１００は、外部ＰＣ（パーソナルコンピュータ）からＤＶＩやＨＤＭＩ（登録商標）等のインターフェースや記録デバイスを介して取得した入力画像を補正部１０１および解析部１０３に送信する。本実施形態では、投射型画像表示装置毎に分割される前の画像が入力画像として入力されるが、各投射型画像表示装置１１、１２が表示するサイズに予め分割されていてもよい。また、本実施形態では入力画像は静止画像であるが、複数のフレームからなる動画像でも構わない。

補正部１０１は、入力画像に対して黒補正を施して補正画像を生成する。背景技術で説明したように、黒（輝度０）表示であっても、実際には画像重複領域において複数の微少な輝度成分が積み重なって、重複領域と非重複領域との境界に継目が浮き出る可能性がある。黒補正は、このような継目を視認しづらくするために、非重複領域の輝度値を重複領域に合わせて高める補正である。黒補正の具体的な手法は、例えば前述の従来技術で挙げた手法等の、既に知られた黒補正を採用することができる。補正部１０１は、解析部１０３が入力画像を解析する前に、各投射型画像表示装置１１、１２にテスト画像を送信して黒補正を行うことで投影画像の輝度情報を取得し、解析部１０３に送信する。輝度情報の取得は、スクリーン上に表示された画像についての画像情報を取得することで行うことができる。例えば、スクリーン上に表示された画像を不図示の撮像装置（カメラ）が撮影した撮像画像を、画像情報として取得する。例えば、各投射型画像表示装置１１、１２の輝度情報は、不図示の撮像装置を用いて撮影した投影画像の撮像結果を解析したり、あるいは不図示の照度計を用いてスクリーン１３上で計測する等により取得された、投影画像の画素値に対応した輝度値である。あるいは輝度情報は、黒補正する過程でユーザが手動で設定した黒補正値に基づいて算出してもよい。また、補正部１０１は、解析部１０３から黒補正するよう指示があった場合には補正画像を、黒補正するよう指示がなかった場合には入力画像を、各投射型画像表示装置１１、１２が投影する領域に基づいて送信して出力する。

領域指定部１０２は、各投射型画像表示装置１１、１２が投影する投影領域において、非重複領域の位置及び形状と重複領域の位置及び形状を示す領域情報を取得し、補正部１０１と解析部１０３に送信する。領域情報は各投射型画像表示装置１１、１２がスクリーン１３上に投影したときの表示結果を不図示の撮像装置を用いて撮影して得られる撮影画像から特定することができる。あるいは、領域指定部１０２に接続された不図示の入力装置（キーボード、ポインティングデバイス、タッチパネル等）を用いてユーザが領域情報を指定してもよい。図１のように、重複領域と非重複領域が矩形の場合、領域情報は、例えば、重複領域及び非重複領域の各頂点の座標により表すことができる。

解析部１０３は、スクリーン上に表示された画像において部分画像が重複する重複領域と、部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを判定する。具体的には、受信した入力画像と領域情報に基づいて判定領域を定義し、さらに判定領域の内部に定義する着目領域について、所定の関係を評価することで、黒補正が必要かどうかを判定する。後述するように、この所定の関係とは、重複領域と非重複領域との境界において、人間の視覚により継目が知覚されるか否かを表す関係である。そして、黒補正前の入力画像が、黒浮きが目立たない、あるいは知覚できない場合は黒補正をしないことで、投影画像のコントラスト低下を抑制する。また、黒補正が必要な場合は入力画像を黒補正した補正画像を各投射型画像表示装置１１、１２が投影することで、低階調画像表示の均一性を担保する。

判定領域は、図１の１７および１８に示すように、重複領域と非重複領域の境界から一定距離の範囲を占める、重複領域と非重複領域をそれぞれ一部含む領域である。また、着目領域は、上記の所定の関係を評価するための領域であり、判定領域に順次設定される。本実施形態では、判定領域にその部分領域である注目領域を設定し、注目領域を移動させつつ注目領域毎に黒補正の要否を評価することで、判定領域の全領域について黒補正の要否を評価する。換言すると、判定領域を複数の着目領域に分割し、この着目領域毎に、継目が視認できるか判定する。着目領域は、例えば、図１の１９に示すように、重複領域と非重複領域の境界を中心とし、判定領域の一定距離を１辺とする矩形領域とすることができる。

本実施形態での所定の関係とは、着目領域１９内の重複領域の画素値と非重複領域の画素値が同じである場合、投射型画像表示装置１１、１２が画像をスクリーン１３上に投影した時に、人間が視覚によりその輝度の違いを知覚できる関係である。着目領域１９内の重複領域の輝度と非重複領域の輝度は、補正部１０１から取得した投影画像の輝度情報を用いて検知することができる。

所定の関係は、例えばある基礎刺激に対し、別の刺激が与えられたときに、その違いを知覚できる弁別閾を規定したＷｅｂｅｒの法則を用いて評価することができる。この弁別閾とは、標準となる刺激のある属性を変えたとき、変化したことがわかる最小の変化量のことをいう。Ｗｅｂｅｒの法則によれば、ある輝度値Ｌに対して、別の輝度値Ｌ＋ΔＬが違うと知覚するためには、定数Ｗについて、数式（１）に示すような関係が成り立つ以上の輝度差ΔＬが定義される必要がある。

ΔＬ／Ｌ＝Ｗ ・・・ （１）
Ｗｅｂｅｒの法則によれば、数式（１）において少なくともＷ＝０．０１以上であれば、互いの輝度の違いを知覚することができる。本実施形態では、着目領域内の非重複領域の輝度をＬ、重複領域の輝度をＬ＋ΔＬとして、上記関係を評価する。その結果、それぞれの輝度の違いが知覚できる場合（すなわち、ΔＬ／Ｌ≧Ｗ）は、黒補正が必要と判定し、補正部１０１に黒補正を指示する。なお、所定の関係として上記Ｗｅｂｅｒの法則だけでなく、人間の視覚特性をモデル化したＢａｒｔｅｎの法則等の他の評価モデルを用いてもよい。投射型画像表示装置１１、１２は公知のプロジェクタであり、図１の１１や１２のように、補正部１０１から取得した画像をスクリーン１３上に表示する。

なお、画像処理装置１０は、パーソナルコンピュータ（ＰＣ）、タブレット端末等の汎用の情報処理装置や組み込み機器により構成することができる。画像処理装置１０をＰＣにより構成した場合、図１に示した画像処理装置１０の各構成要素は、ＣＰＵ（中央演算処理装置）がコンピュータプログラムに基づき処理を実行することで実現することができる。もちろん、画像処理装置１０の構成要素の一部または全部を専用のハードウェア（半導体集積回路等）により構成しても構わない。

（処理手順）
本実施形態において画像処理装置１０が実行する画像処理を図２を参照して説明する。図２は、画像処理装置１０の画像処理の処理手順を示すフローチャートである。図２の各処理ステップは、不図示のＣＰＵが画像処理装置１０の動作を制御することにより実行される。

ステップＳ２１では、解析部１０３と補正部１０１が画像入力部１００から表示対象の入力画像を取得する。ステップＳ２２では、解析部１０３と補正部１０１が、重複領域及び非重複領域の位置及び形状を示す領域情報を領域指定部１０２から取得する。ステップＳ２３では、補正部１０１が、各投射型画像表示装置１１、１２にテスト画像を送信し、投影画像の輝度情報を取得する。

ステップＳ２４では、解析部１０３が、領域情報に基づいて判定領域と、着目領域のサイズ、位置を定義する。すなわち、撮像等により取得したスクリーン上に表示された画像において、重複領域と非重複領域との境界を含む判定領域を設定する。
ステップＳ２５では、解析部１０３が、選択した着目領域について所定の関係を評価する。その結果、黒補正が必要と判定した場合（Ｓ２５でＹＥＳ）はステップＳ２８へ遷移し、不必要と判定した場合（Ｓ２５でＮＯ）はステップＳ２６へ遷移する。

ステップＳ２６では、解析部１０３は判定領域内に、着目領域として設定されていない未設定領域がないかを評価する。未設定領域がある場合（Ｓ２６でＹＥＳ）は、ステップＳ２７へ遷移し、未設定領域のうち、現在の着目領域と隣り合う領域を着目領域に設定する。また、着目領域が含まれている重複領域と非重複領域の境界上（例えば図１の１７）に、未設定領域が残っていない場合は、別の境界（例えば図１の１８）に対して着目領域を設定する。全ての判定領域の中に未設定領域がないと判定した場合（Ｓ２６でＮＯ）は、ステップＳ２９へ遷移する。このようにして、判定領域の全領域にわたって、重複領域の輝度値と非重複領域の輝度値とに基づき、継目が視認できるか判定する。

ステップＳ２８では、補正部１０１が画像入力部１００から取得した入力画像に対し黒補正を施し、ステップＳ２９へ遷移する。ステップＳ２９では、補正部１０１が各投射型画像表示装置１１、１２に補正画像を送信して、補正画像をスクリーン１３上に投射させる。そして、処理を終了する。

上記のように、本実施形態では各投射型画像表示装置１１、１２が画像をスクリーン１３に投影する際に、継目（黒浮き）が目立つ場合のみ黒補正を行う。このため、継目を目立ちにくくすることと、黒補正による投影画像のコントラスト低下を抑制することとを両立して画像表示を行うことができる。

なお、本実施形態では２台の投射型画像表示装置１１、１２を互いに水平に配置し、各投射型画像表示装置１１、１２が表示する投影領域の一部が重複した場合を説明したが、投写型画像表示装置の数や配置は、これに限られない。例えば、各投射型画像表示装置１１、１２を垂直に配置した場合にも同様の手法を適用することができる。例えば、４台の投射型画像表示装置を用いて、田の字４面に分割画像を投影して、１つの画像を表示した場合にも上記手法を適用することができる。田の字４面に表示する場合、判定領域は以下の各領域の和集合により構成することができる。
・各投射型画像表示装置の非重複領域の少なくとも一部。
・２台の投射型画像表示装置の投影領域が重複している領域の少なくとも一部。
・４台の投射型画像表示装置の投影領域が重複している領域の少なくとも一部。
この場合、着目領域は次の２通りが考えられる。
（イ）非重複領域と、２台の投射型画像表示装置の投影領域が重複している領域と、を跨がる場合。
（ロ）非重複領域と、２台の投射型画像表示装置の投影領域が重複している領域と、４台の投射型画像表示装置の投影領域が重複している領域と、を跨がる領域。
（イ）の場合は、本実施形態ですでに説明した着目領域全体について所定の関係を評価する。（ロ）の場合は、着目領域のうち非重複領域と４台の投射型画像表示装置の投影領域が重複している領域について所定の関係を評価する。４台の投射型画像表示装置の投影領域が重複している領域は４つの黒画像が重複するため、輝度が最も高いと考えられるからである。

なお、上記の構成では、判定領域１７、１８の全ての領域について所定の関係を評価して黒補正の要否を判定したが、判定領域１７、１８の一部のみ黒補正の要否を判定してもよい。例えば、判定領域１７、１８のそれぞれについて、判定領域の上端に接する部分領域と判定領域の下端に接する部分領域との２つの部分領域において黒補正の要否を判定するようにしてもよい。

＜＜実施形態２＞＞
実施形態１では、重複領域と非重複領域の境界を含む領域に判定領域を設定し、判定領域の輝度情報により黒補正の要否を判定して、必要と判定されたときに判定領域の全領域にわたって黒補正を行う構成を説明した。本実施形態では、判定領域の全領域にわたって黒補正を行うのではなく、黒補正が必要と判定された部分領域、または、その部分領域を拡大した領域についてのみ黒補正を行う。したがって、黒補正が必要な箇所のみを重点的に補正して、コントラストを維持しつつ重複部分における継目をより効果的に抑制することが可能となる。

本実施形態における画像処理装置１０の概略構成は、実施形態１と同様に、図１により示される。以下、解析部１０３と補正部１０１を除き、実施形態１で説明した構成要素については、説明を省略する。

（補正対象領域における黒補正）
本実施形態の解析部１０３は、実施形態１で説明した処理内容に加え、入力画像のうち黒補正を適用する領域（補正対象領域）と黒補正の補正量を算出し、補正部１０１に設定する。補正対象領域は、黒補正による投影画像のコントラスト低下を極力抑えるため、判定領域のうち黒補正が必要と判定された領域の隣接する領域に定義する。このとき補正対象領域はそれぞれ、判定領域のうち黒補正が必要と判定された部分領域よりも大きく設定する。すなわち、黒補正が必要と判定された部分領域を拡大した領域から重複領域を除いた領域を補正対象領域とする。図３は補正対象領域の例を示している。判定領域３１０および３１１の中で、黒補正が必要であると判定された領域３１０１２、３１１２２、３１１３２の近傍に補正対象領域３１０１３、３１１２３、３１１３３が定義されている。本実施形態では、判定領域のうち黒補正が必要であると判定された領域それぞれについて、補正対象小領域を定義し、補正対象小領域と非重複領域の積集合を補正対象領域と定義する。

図４は補正対象小領域の一例を模式的に示す図である。図４において４１は、判定領域中の黒補正が必要であると判定された領域のサンプルである。このサンプル領域は、重複領域と非重複領域の境界４２と平行に、入力画像上で長さＬをもつ矩形領域とする。補正対象小領域は、サンプル領域の外に向かって、サンプル領域の矩形枠からＬ／２だけ離れた枠４３より内側の領域である。そして、黒補正を適用する補正対象領域は判定領域中の黒補正が必要であると判定された領域毎に定義され、各領域の補正対象小領域と非重複領域との積集合（例えば図３の３１０１３、３１１２３、３１１３３）で定義される。

このようにして、本実施形態では、判定領域中の黒浮きが目立つと判定された領域よりも大きい範囲を補正対象領域に設定する。これにより、黒補正による投影画像のコントラスト低下をより効果的に抑えつつ、低階調画像を投影する場合でも画像表示の均一性を担保して、黒浮きが視認しづらくする。

また、黒補正量は、黒補正が必要かどうかを判定するために使用した所定の関係に基づいて算出する。例えば、実施形態１で説明したＷｅｂｅｒの法則を用いた場合は、黒補正が必要と判定された領域毎に、Ｗの値を０．０１より小さい値（例えば０．００５）として、数式（２）で示すように補正量を算出することができる。

補正量＝（Ｌ＋ΔＬ）／（Ｗ＋１）−Ｌ ・・・ （２）
補正部１０１は、解析部１０３から黒補正するよう指示があった場合、解析部１０３から取得した黒補正が必要であると判定された領域それぞれに求められた補正量と補正対象領域に基づいて、入力画像に対して黒補正を施して補正画像を生成する。黒補正は、黒補正が必要であると判定された領域内の重複領域と非重複領域との境界から、補正対象領域の端までの範囲で行われる。このとき、境界の黒輝度を黒補正前の非重複領域の輝度に補正量を加えたものとし、特許文献２の手法のように補正対象領域の端の黒輝度まで黒の輝度を徐々に変化させるように補正する。このように、本実施形態では、重複領域の輝度値と非重複領域の輝度値とに基づき算出される補正量により、黒補正を行うことで、継目を効果的に視認しづらくすることができる。

（処理手順）
本実施形態において画像処理装置１０が実行する画像処理を図５を参照して説明する。図５は、画像処理装置１０の画像処理の処理手順を示すフローチャートである。図５の各処理ステップは、不図示のＣＰＵが画像処理装置１０の動作を制御することにより実行される。

ステップＳ５１では、解析部１０３と補正部１０１が画像入力部１００から表示対象の入力画像を取得する。ステップＳ５２では、解析部１０３と補正部１０１が、重複領域及び非重複領域の位置及び形状を示す領域情報を領域指定部１０２から取得する。ステップＳ５３では、補正部１０１が、各投射型画像表示装置１１、１２にテスト画像を送信し、投影画像の輝度情報を取得する。

ステップＳ５４では、解析部１０３が領域情報に基づいて判定領域、着目領域のサイズ、位置を定義する。ステップＳ５５では、解析部１０３が、選択した着目領域について所定の関係を評価する。その結果、黒補正が必要と判定した場合（Ｓ５５でＹＥＳ）はステップＳ５６へ遷移し、その着目領域を識別する情報を不図示のバッファへ記録し、ステップＳ５７へ遷移する。画像処理装置１０をＰＣにより構成した場合、バッファは、メモリ（書込み可能専用メモリ）等の記憶装置に設けることができる。不必要と判定した場合（Ｓ５５でＮＯ）はステップＳ５７へ遷移する。

ステップＳ５７では、解析部１０３は判定領域内に、着目領域として設定されていない未設定領域がないかを評価する。このような未設定領域がある場合（Ｓ５７でＹＥＳ）は、ステップＳ５８へ遷移し、未設定領域のうち、現在の着目領域と隣り合う領域を着目領域に設定する。また、着目領域が含まれている重複領域と非重複領域の境界上に、未設定領域が残っていない場合は、別の境界に対して着目領域を設定する。全ての判定領域の中に未設定領域がないと判定した場合（Ｓ５７でＮＯ）は、ステップＳ５９へ遷移する。

ステップＳ５９では、解析部１０３が、ステップＳ５６で記録した黒補正が必要と判定された領域毎に、補正対象領域を決定する。ステップＳ５１０では、解析部１０３は黒補正が必要と判定された領域毎に黒補正量の補正量を決定する。ステップＳ５１１では、補正部１０１が画像入力部１００から入力画像を、解析部１０３から補正対象領域、補正量をそれぞれ取得し、それらに基づいて黒補正を施す。ステップＳ５１２では、補正部１０１が各投射型画像表示装置１１、１２に補正画像を送信して、補正画像をスクリーン１３上に投射させる。そして、処理を終了する。

本実施形態によれば、黒補正を適用する領域を黒浮きが目立つ領域に限定し、かつ黒補正量をコントラストの低下を極力抑える量にすることで、黒補正による投影画像のコントラストが低下することを抑制することができる。また、黒補正を適用する領域を黒補正の必要性に応じて適宜拡大し、この拡大した領域について黒補正を行うことで、投写型画像表示装置や表示画像の特性に応じた、より適切な黒補正を行うことができる。

＜＜実施形態３＞＞
実施形態１、２では、判定領域において前述の所定の関係を評価して黒補正の要否を判定した。本実施形態では、さらに、重複領域、及び、重複領域に隣接する一定範囲の非重複領域における表示対象画像（入力画像）の画素値に応じて、黒浮きが目立つと判断されるときに黒補正を行う。具体的には、判定領域において、所定の画素値を有する画素の割合が予め定められた割合以上存在する場合に、継目が視認できると判定する。本実施形態における、画像処理装置の概略構成は図１と同じである。以下、解析部１０３を除き、実施形態１で説明した構成要素については、説明を省略する。

解析部１０３は、実施形態１の構成において、着目領域の非重複領域と重複領域がともに、黒浮きが目立つような画素値を有する画素を所定の割合（例えば７０％）以上持っていた場合に、黒補正が必要であると判定する。図６は、着目領域が黒浮きが目立つ画素値の画素を所定割合以上、有する例を説明する図である。

例えば、図６では、着目領域内の重複領域部分６１と非重複領域部分６２はそれぞれ、黒浮きが目立つような画素値である領域６１１および６２１、黒浮きが目立たないような画素値である領域６１２および６２２を持つ。この場合において、６１１、６２１が占める面積（または画素数）が６１、６２の面積（または画素数）に対して所定の割合以上である場合は、解析部１０３は黒補正が必要であると判定する。ここで、黒浮きが目立つような画素値とは、その画素が非重複領域と重複領域に存在すると仮定した場合に、前述の所定の関係を満たすような画素値である。一般に、輝度値が小さいほど黒浮きが目立つので、輝度値が所定の閾値未満の画素値を黒浮きが目立つ画素値とすることができる。なお、本実施形態において、画像処理装置１０が実行する画像処理の処理フローは、実施形態１と同様に、図２のフローチャートにより示される。

実施形態によれば、着目領域の画素値がすべて同じでない場合についても、所定の関係を評価することができるので、あらゆる入力画像について、黒補正の要否を判定し、必要に応じて黒補正を行うことができる。

＜＜実施形態４＞＞
本実施形態では、画像の輝度値の空間周波数によって黒浮きが目立つ度合いが異なることに鑑み、入力画像にローパスフィルタを施してから黒補正の要否を判定することで、より適切な黒補正を行う。

（画像処理装置）
図７は、本発明の他の実施形態（実施形態４）に係る画像処理装置の概略構成の一例を示す図である。図７では、実施形態２において図１に示した構成要素と同様の動作をする構成要素には、同一の参照符号を付加し、実施形態２で説明した構成要素については、説明を省略する。ただし、画像入力部１００および解析部１０３は、次の点で実施形態１と異なる。すなわち、画像入力部１００は、取得した入力画像を画像加工部７０４および補正部１０１に送信する。解析部１０３は、画像加工部７０４から後述する加工画像を取得する。

画像加工部７０４は、画像入力部１００から取得した入力画像に予めユーザにより指定されたフィルタ係数のローパスフィルタを適用して加工画像を生成し、解析部１０３に送信する。この加工画像は、入力画像から閾値未満の空間周波数成分（低周波成分）を抽出して得られた画像である。解析部１０３が所定の関係を評価する際に、着目領域の非重複領域と重複領域がともに、黒浮きが目立つような画素値を所定の割合もたない場合であっても、画像のパターンによっては黒浮きが目立つことが想定される。すなわち、図８に示すように、着目領域の黒浮きが目立たないような画素が高周波成分であるような画像（図８（ａ））は、着目領域の黒浮きが目立たないような画素が低周波成分であるような画像（図８（ｂ））に比べ、黒浮きが目立つ傾向にある。そこで、加工画像を用いて解析部１０３が所定の関係を評価することで、黒浮きが目立つような画像パターンを持つ入力画像に対して、黒補正を施すことができる。

（処理手順）
本実施形態において画像処理装置１０が実行する画像処理を図９を参照して説明する。図９は、画像処理装置１０の画像処理の処理手順を示すフローチャートである。図９の各処理ステップは、不図示のＣＰＵが画像処理装置１０の動作を制御することにより実行される。

ステップＳ８１では、画像加工部７０４と補正部１０１が画像入力部１００から表示対象の入力画像を取得する。ステップＳ８２では、画像加工部７０４が入力画像にローパスフィルタを施して低周波成分を抽出し、この低周波成分からなる加工画像を生成して、解析部１０３に送信する。ステップＳ８３では、解析部１０３と補正部１０１が、重複領域及び非重複領域の位置及び形状を示す領域情報を領域指定部１０２から取得する。ステップＳ８４では、補正部１０１が、各投射型画像表示装置１１、１２に対して、加工画像に基づき生成されたテスト画像を送信し、投影画像の輝度情報を取得する。ステップＳ８５では、解析部１０３が領域情報に基づいて判定領域の位置、着目領域のサイズと位置を定義する。

ステップＳ８６では、解析部１０３が、選択した着目領域について所定の関係を評価する。その結果、黒補正が必要と判定した場合（Ｓ８６でＹＥＳ）はステップＳ８９へ遷移し、不必要と判定した場合（Ｓ８６でＮＯ）はステップＳ８７へ遷移する。ステップＳ８７では、解析部１０３は判定領域内に、着目領域として設定されていない未設定領域がないかを評価する。未設定領域がある場合（Ｓ８７でＹＥＳ）は、ステップＳ８８へ遷移し、未設定領域のうち、現在の着目領域と隣り合う領域を着目領域に設定する。また、着目領域が含まれている重複領域と非重複領域の境界上に、未設定領域が残っていない場合は、別の境界に対して着目領域を設定する。全ての判定領域の中に未設定領域がないと判定した場合（Ｓ８７でＮＯ）は、ステップＳ８１０へ遷移する。

ステップＳ８９では、補正部１０１が画像入力部１００から入力画像に対し黒補正を施す。ステップＳ８１０では、補正部１０１が各投射型画像表示装置１１、１２に補正画像を送信して補正画像をスクリーン１３上に投影させる。

本実施形態によれば、入力画像にローパスフィルタを施した加工画像に基づいて所定の関係を評価する。よって、黒浮きが目立ちやすい画像パターンを持つ画像に対し継目を目立ちにくくすることと、黒補正による投影画像のコントラストが低下することを抑制することを両立した画像表示を実現することができる。

＜＜実施形態５＞＞
前述の実施形態では、画像処理装置が黒補正の要否を判定して黒補正を行い、投写型画像表示装置に補正済みの画像を表示させた。本実施形態では、投写型画像表示装置が自ら黒補正の要否を判定し、必要に応じて黒補正を行う構成例を説明する。図１０は、本発明の他の実施形態（実施形態５）に係る画像処理システムの概略構成の一例を示す図である。

（画像処理システム）
本実施形態では、２台の投射型画像表示装置Ａ、Ｂを用いて、投射型画像表示装置の投影画面が互いに水平方向に隣接するようにマルチプロジェクション画面を構成する場合を想定する。本実施形態に係る画像処理システムは、投写型画像表示装置Ａ、Ｂを備える。図１０において、１００１は投射型画像表示装置Ａ、１００２は投射型画像表示装置Ｂ、１００３はスクリーンである。投射型画像表示装置Ａ、Ｂが互いの投影領域の一部が重複するようにスクリーン１００３に画像を投影するとき、スクリーン１００３上の投影領域は次のように区別することができる。すなわち、投射型画像表示装置Ａだけが投影している領域１００４（非重複領域Ａ）、投射型画像表示装置Ｂだけが投影している領域１００５（非重複領域Ｂ）、投射型画像表示装置Ａ、Ｂが重複して投影している領域１００６（重複領域ＡＢ）である。以下、投射型画像表示装置Ａ、Ｂを投写型画像表示装置１００１、１００２と称する。

投射型画像表示装置１００１は、画像入力部１００１０、補正部１００１１、領域指定部１００１２、解析部１００１３、投影部１００１４を備える。また、投射型画像表示装置１００２は、画像入力部１００２０、補正部１００２１、領域指定部１００２２、解析部１００２３、投影部１００２４を備える。画像入力部１００１０、１００２０は、外部ＰＣからＤＶＩやＨＤＭＩ（登録商標）等のインターフェースや記録デバイスを介して取得した入力画像をそれぞれ補正部１００１１、１００２１および解析部１００１３、１００２３に送信する。本実施形態では、入力画像は、投射型画像表示装置１００１、１００２毎に分割される前の画像であるが、各投射型画像表示装置１００１、１００２が表示するサイズに予め分割されていてもよい。

補正部１００１１、１００２１は、入力画像に対して黒補正を施して補正画像を生成する。補正部の詳細は実施形態１で説明した内容と同じであり、投影画像の輝度情報を解析部１００１３、１００２３にそれぞれ送信する。また、補正部１００１１、１００２１は解析部１００１３、１００２３から黒補正するよう指示があった場合には補正画像を、各投射型画像表示装置１００１、１００２が投影する領域に基づいて投影部１００１４、１００２４に送信する。黒補正するよう指示がなかった場合には入力画像を投影部１００１４、１００２４に送信する。

領域指定部１００１２、１００２２は、各投射型画像表示装置１００１、１００２が投影する投影領域において、非重複領域の位置及び形状と重複領域の位置及び形状を示す領域情報を取得する。そして、それぞれ補正部１００１１と解析部１００１３、補正部１００２１と解析部１００２３に送信する。領域指定部１００１２、１００２２の詳細は、実施形態１で説明した内容と同じである。

解析部１００１３、１００２３は、受信した入力画像と領域情報に基づいて判定領域１００７、１００８を定義し、さらに判定領域の内部に定義する着目領域１００９について、所定の関係を評価することで、黒補正が必要かどうかを判定する。黒補正が必要であると判定された場合は、補正部１００１１、１００２１に黒補正を指示する。解析部１００１３、１００２３の詳細は実施形態１で説明した内容と同じである。投影部１００１４、１００２４は、ランプからの光を光学素子によって制御することにより画像を投影する画像表示装置である。

（画像処理の処理手順）
本実施形態において投写型画像表示装置１００１、１００２が実行する画像処理を図１１を参照して説明する。図１１は、投写型画像表示装置１００１、１００２の画像処理の処理手順を示すフローチャートである。

ステップＳ１１１では、解析部１００１３、１００２３と補正部１００１１、１００２１が画像入力部１００１０、１００２０から入力画像を取得する。ステップＳ１１２では、解析部１００１３、１００２３と補正部１００１１、１００２１が領域指定部１００１２、１００２２から領域情報を取得する。ステップＳ１１３では、補正部１００１１、１００２１が、各投射型画像表示装置１００１、１００２にテスト画像を送信して黒補正を行い、投影画像の輝度情報を取得する。ステップＳ１１４では、解析部１００１３、１００２３が、領域情報に基づいて判定領域と、着目領域のサイズ、位置を定義する。

ステップＳ１１５では、解析部１００１３、１００２３が、選択した着目領域について所定の関係を評価する。その結果、黒補正が必要と判定した場合（Ｓ１１５でＹＥＳ）はステップＳ１１８へ遷移し、不必要と判定した場合（Ｓ１１５でＮＯ）はステップＳ１１６へ遷移する。

ステップＳ１１６では、解析部１００１３、１００２３は判定領域内に、着目領域として設定されていない未設定領域がないかを評価する。未設定領域がある場合（Ｓ１１６でＹＥＳ）は、ステップＳ１１７へ遷移し、未設定領域のうち、現在の着目領域と隣り合う領域を着目領域に設定する。また、着目領域が含まれている重複領域と非重複領域の境界上（例えば図１０の１００７）に、未設定領域が残っていない場合は、別の境界（例えば図１０の１００８）に対して着目領域を設定する。全ての判定領域の中に未設定領域がないと判定した場合（Ｓ１１６でＮＯ）は、ステップＳ１１９へ遷移する。

ステップＳ１１８では、補正部１００１１、１００２１が画像入力部１００１０、１００２０から取得した入力画像に対し黒補正を施す。ステップＳ１１９では、投影部１００１４、１００２４が補正部１００１１、１００２１から画像を取得した画像をスクリーン１００３上に投影する。

上記のように、本実施形態では、各投射型画像表示装置１００１、１００２が入力画像について自ら黒補正の要否を判定し、必要と判定されたときに黒補正を施して画像をスクリーンに投影する。このため、画像処理装置を別途設けなくても、継目を目立ちにくくすることと、黒補正による投影画像のコントラストが低下することを抑制することを両立した画像表示を実現することができる。

以上のように、本発明の各実施形態によれば、複数の投射型画像表示装置を備えたマルチプロジェクション画面において、重複領域と非重複領域の間の継目が目立つか否かを判定し、その判定結果に応じて黒補正を行って、画像を投影する。このため、継目を目立ちにくくし、一体感のある画像を表示することができる。また、継目が目立たないような画像を投影する場合には黒補正を行わないので、投影画像のコントラストが低下することを抑制することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：画像処理装置、１００：画像入力部、１０１：補正部、１０２：領域指定部、１０３：解析部、１１：投射型画像表示装置Ａ、１２：投射型画像表示装置Ｂ、１３：スクリーン、１４：非重複領域Ａ、１５：非重複領域Ｂ、１６：重複領域ＡＢ、１７：判定領域Ａ、１８：判定領域Ｂ、１９：着目領域

Claims (12)

1. 複数の部分画像を互いに一部が重なるように投写型表示装置に投射させて、スクリーン上に一つの画像を表示させる画像処理装置であって、
   前記スクリーン上に表示された画像についての画像情報を取得する取得手段と、
   前記スクリーン上に表示された画像において前記部分画像が重複する重複領域と、該部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを前記取得手段が取得した前記画像情報に基づいて判定する判定手段と、
   前記継目が視認できると判定された場合に、当該継目を視認しづらくするための補正を表示対象の画像に対して行う補正手段と、
   補正が行われた前記画像を前記投写型表示装置へ出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、
   前記取得手段が取得した画像情報に基づいて、前記重複領域と前記非重複領域との境界を含む判定領域を設定し、
   前記判定領域における、前記重複領域の輝度値と前記非重複領域の輝度値とに基づき、前記継目が視認できるか判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記重複領域の輝度値と前記非重複領域の輝度値とに基づき算出される補正量により、前記補正を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記判定領域を複数の着目領域に分割し、当該着目領域毎に、前記継目が視認できるか判定し、
   前記補正手段は、前記継目が視認できると判定された着目領域について、前記補正を行う
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記補正手段は、更に、前記継目が視認できると判定された着目領域を拡大した領域について前記補正を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記判定手段は、前記判定領域において、所定の画素値を有する画素の割合が予め定められた割合以上存在する場合に、継目が視認できると判定することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 表示対象の画像に対してローパスフィルタを適用して加工画像を生成する生成手段を更に備え、
   前記取得手段は、前記加工画像を分割し前記部分画像として前記スクリーン上に投射された画像の画像情報を取得する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、前記スクリーン上に投射された画像の画像情報を撮像により取得することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 部分画像を互いに一部が重なるようにそれぞれ投射し、スクリーン上に一つの画像を表示する複数の投写型表示装置を備えた画像処理システムであって、
   前記複数の投写型表示装置の各々は、
   前記スクリーン上に表示された画像についての画像情報を取得する取得手段と、
   前記スクリーン上に表示された画像において前記部分画像が重複する重複領域と、該部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを前記取得手段が取得した前記画像情報に基づいて判定する判定手段と、
   前記継目が視認できると判定された場合に、当該継目を視認しづらくするための補正を表示対象の部分画像に対して行う補正手段と、
   補正が行われた前記部分画像を前記スクリーン上に投射する投射手段と
   を備えることを特徴とする画像処理システム。
10. 複数の部分画像を互いに一部が重なるように投写型表示装置に投射させて、スクリーン上に一つの画像を表示させる画像処理装置の制御方法であって、
    取得手段が、前記スクリーン上に表示された画像についての画像情報を取得する取得工程と、
    判定手段が、前記スクリーン上に表示された画像において前記部分画像が重複する重複領域と、該部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを前記取得工程において取得した前記画像情報に基づいて判定する判定工程と、
    補正手段が、前記継目が視認できると判定された場合に、当該継目を視認しづらくするための補正を表示対象の画像に対して行う補正工程と、
    出力手段が、補正が行われた前記画像を前記投写型表示装置へ出力する出力工程と
    を備えることを特徴とする画像処理装置の制御方法。
11. 部分画像を互いに一部が重なるようにそれぞれ投射し、スクリーン上に一つの画像を表示する複数の投写型表示装置を備えた画像処理システムの制御方法であって、
    前記複数の投写型表示装置の各々が、
    前記スクリーン上に表示された画像についての画像情報を取得する取得工程と、
    前記スクリーン上に表示された画像において前記部分画像が重複する重複領域と、該部分画像が重複しない非重複領域との、黒画像における継目が視認できるか否かを前記取得手段が取得した前記画像情報に基づいて判定する判定工程と、
    前記継目が視認できると判定された場合に、当該継目を視認しづらくするための補正を表示対象の部分画像に対して行う補正工程と、
    補正が行われた前記部分画像を前記スクリーン上に投射する投射工程と
    を備えることを特徴とする画像処理システムの制御方法。
12. コンピュータを請求項１から８のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのコンピュータプログラム。