JP6300444B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。特に、複数の画像表示装置により投影される投影画面の重複領域の輝度を補正する画像処理技術に関するものである。

従来、複数の投射型画像表示装置を用いてマルチスクリーン画面を構成する場合、隣接する投射型画像表示装置毎に重複する画像領域（画像重複領域）を設け、画像重複領域の画像信号に対して輝度補正を行うことで継目を目立たなくしている。また、画像重複領域を所定の幅とすることにより、投射型画像表示装置毎に輝度や色味などの特性が若干異なっていても、視認されにくくしている。

ここで、輝度補正の方法として電気的な信号の処理（電気的輝度補正）により行う方法がある。例えば、重複画像領域において画像端部に向かって直線的に輝度を下げるようにする場合、ディスプレイガンマ（γ）を考慮して（１）式で算出される出力画像信号とする。

Ｖｏ＝（（ｘ／Ｗ）＾γ）＊Ｖｉ ・・・（１）
ここで、Ｖｏは出力画像信号、Ｖｉは入力画像信号、Ｗは画像重複領域幅、ｘは画像重複領域の画像端からの距離である。画像重複領域幅を可変とする場合、該演算をそのまま回路で構成すると大規模となるため、ＬＵＴを併用した方式が一般に用いられている。（特許文献１、特許文献２）

特開２００５−１１７２６６号公報 特開２００７−２９５０２６号公報

特許文献１に開示される技術は、数式１の（１／Ｗ）をＬＵＴから読み出す係数の乗算と右ビットシフトで実現することで回路規模を削減実現している。しかしながら、ＬＵＴに格納する係数は、可変とする最大Ｗと同数であることが必要である。また、ディスプレイガンマ（γ）に対応した輝度補正のためのＬＵＴが別途必要であり、結果として回路規模削減効果が低いという課題がある。

一方、特許文献２に開示される技術は、基準となる画像重複領域幅をＷｂとして、例えば、（２）式で示すようにディスプレイガンマ（γ）を考慮した輝度補正係数Ｔｂ（ｘ）を基準ＬＵＴに備える。

Ｔｂ（ｘ）＝（ｘ／Ｗｂ）＾γ (ｘ＝０，１、…Ｗｂ)・・・（２）
そして、画像重複領域幅をＷｓに設定した場合、輝度補正係数Ｔｓ（ｘ）として（３）式によりＬＵＴの値を引いてくる。

Ｔｓ（ｘ）＝Ｔｂ（ｘ＊Ｗｂ／Ｗｓ）(ｘ＝０，１、…Ｗｓ)・・・（３）
画像重複領域幅の関係がＷｓ≦Ｗｂの場合、画像重複領域幅Ｗｓ内の位置は基準となる画像重複領域幅Ｗｂの位置に１対１で対応付けられる。しかしながら、Ｗｓ＞Ｗｂの場合、画像重複領域幅Ｗｓ内の位置が基準となる画像重複領域幅Ｗｂの位置に１対１で対応付けられないため、重複領域で適切な輝度補正係数が得られず重複領域が段差として認識されてしまう。図５は従来技術における輝度補正係数Ｔｓの分布を例示する図である。縦軸は輝度補正係数Ｔｓの値を示し、横軸は重複領域の幅を示す。図５は、Ｗｓ＝１００に対して、Ｗｂ＝２５６とした場合の輝度補正係数Ｔｓ（５０１）と、Ｗｂ＝３２とした場合の輝度補正係数Ｔｓ（５０２）とを示している。Ｗｂを可変画像重複領域幅の最大値とすることで常にＷｓ≦Ｗｂとなるようにできるが、Ｗｂの大きさに対応してＬＵＴに備える係数が増大するという課題がある。

本発明は、複数の投射型画像表示装置で構成するマルチスクリーン画面において、隣接する投射型画像表示装置との画像重複領域における輝度補正精度を低下することなく、任意の重複領域幅を設定可能な画像処理技術の提供を目的とする。

上記の目的を達成する本発明の一つの側面に係る画像処理装置は、複数の画像表示装置により投影される投影画面の重複領域の輝度を補正する画像処理装置であって、
前記投影画面における重複領域を設定する設定手段と、
前記重複領域の輝度を補正するための複数の輝度補正データを格納する格納手段と、
前記設定手段により設定された重複領域上の座標値を、前記設定手段で設定可能な最大の重複領域幅以上に対応する領域上の座標値に換算する座標換算手段と、
前記座標換算手段により換算された座標値に対応する第１輝度補正データと、前記第１輝度補正データの座標上次のデータに対応する第２輝度補正データとを選択し、選択された前記第１輝度補正データ及び前記第２輝度補正データと、前記設定手段で設定可能な最大の重複領域幅以上に対応する領域の領域幅と、前記複数の輝度補正データのデータ数と、前記換算された座標値とを用いて、前記第１輝度補正データと前記第２輝度補正データの間の値を補間して輝度補正係数を算出する補間演算手段と、
前記補間演算手段により算出された輝度補正係数を用いて前記重複領域の輝度を補正する補正手段と、を備えることを特徴とする。

本発明によれば、複数の投射型画像表示装置で構成するマルチスクリーン画面において、隣接する投射型画像表示装置との画像重複領域における輝度補正精度を低下することなく、任意の重複領域幅を設定することが可能になる。

本発明の実施形態に係る画像処理装置の概略ブロック図。 マルチスクリーン画面の構成例を示す図。 輝度補正データを例示する図。 重複領域の輝度を補正する画像処理方法を説明する図。 従来技術における輝度補正係数の分布を示す図。

以下、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施形態における画像処理装置の概略ブロックの一例を示す図である。図１において、水平方向座標換算部１０１は、重複領域設定部１１０で設定された水平方向の重複領域における画素座標値を、重複領域設定部１１０で設定可能な最大の水平方向の重複領域幅以上の領域の座標値に換算する。水平方向座標換算部１０１は、重複領域設定部１１０で設定された水平方向の重複領域において、画面端からの画素座標値（ｘ）を（４）式で算出される座標値に換算する。

ｃｏｎｖ＿ｘ＝Ｗ＿ｍａｘ／Ｗｈ＿ｓｅｔ＊ｘ ・・・（４）
ここで、Ｗｈ＿ｓｅｔは重複領域設定部１１０で設定可能な水平方向の設定重複領域幅である（図２）。Ｗ＿ｍａｘは重複領域設定部１１０で設定可能な水平方向の最大の重複領域幅以上となる任意の領域の幅（座標値）であり（図２）、ｘは画面端からの水平方向の画素座標値（設定された重複領域における画素座標値）である。なお、ｘは、図２に示すような右側投射画面２０１の左側の重複領域においては画面左端からの距離を示す。また、ｘは画面の右側の重複領域においては画面右端からの距離を示す。

図２は２つの投射画面を水平方向に並べて構成したマルチスクリーン画面の構成例を示す図である。図２において、右側投射画面２０１と左側投射画面２０２とが重なる領域は重複領域２０３として示される。（４）式のＷｈ＿ｓｅｔは、重複領域２０３の水平方向の幅として示されている。換算重複領域２０３Ａは重複領域２０３を（４）式で換算した領域を示す。重複領域２０３におけるｘは、換算重複領域２０３Ａのｃｏｎｖ＿ｘに対応する。図２では水平方向の重複領域を例示的に説明しているが、垂直方向の重複領域についても同様である。また、図２ではＷ＿ｍａｘが水平方向の最大の重複領域幅と等しい場合を示す。

説明を図１に戻し、ＬＵＴ１０５は、重複領域の輝度を補正するための輝度補正データを格納するテーブルである。例えば、格納数をＮ、画像投射装置のガンマ特性をγとして、（５）式に示す輝度補正データを格納する。

ｉ／（Ｎ−１）＜０．５の時
Ｄ（ｉ）＝（（（ｉ／（Ｎ−１）＊２）＾Ｐ）／２）＾γ
０．５≦ｉ／（Ｎ−１）の時
Ｄ（ｉ）＝（１−（（（１−ｉ／（Ｎ−１））＊２）＾Ｐ）／２）＾γ
（ｉ＝０，１，…Ｎ−１）・・・（５）
ここで、（５）式により示される輝度補正データは重複領域２０３の両端で傾きが小さく、重複領域２０３の中央では直線となる所謂“Ｓ字”曲線となり、（５）式のＰは輝度補正データの曲率を制御するパラメータである。

図３は、輝度補正データを例示する図であり、（５）式で算出される輝度補正データの値を縦軸に示し、横軸の値は、ｉをＮ−１で正規化したものである。“Ｓ字”曲線となる輝度補正データの例を図３の曲線３０１に示す（Ｐ＝α）。

曲率を制御するパラメータＰ＝１の場合（図３の曲線３０２）、ｉ／（Ｎ−１）＜０．５における輝度補正データＤ（ｉ）は、Ｄ（ｉ）＝（ｉ／（Ｎ−１））＾γとなる。０．５≦ｉ／（Ｎ−１）における輝度補正データＤ（ｉ）は、Ｄ（ｉ）＝（１−（（（１−ｉ／（Ｎ−１））＊２））／２）＾γ＝（ｉ／（Ｎ−１））＾γとなり、両者はともに直線として示される次式（ｉ／（Ｎ−１））（ｉ＝０，１，…Ｎ−１）のγ乗となる。

水平補正係数補間演算部１０２は、水平方向座標換算部１０１で換算された座標値ｃｏｎｖ＿ｘに応じて、（６）式で算出される２つのテーブル値（Ｄｈ０、Ｄｈ１）をＬＵＴ１０５から選択する。

Ｄｈ０＝Ｄ（Ｓｈ）
Ｄｈ１＝Ｄ（Ｓｈ＋１）・・・（６）
ここで、Ｓｈ＝ｉｎｔ（ｃｏｎｖ＿ｘ／Ｗ＿ｍａｘ＊（Ｎ−１））
次に、水平補正係数補間演算部１０２は選択した２つのテーブル値Ｄｈ０，Ｄｈ１と水平方向座標換算部１０１で換算された座標値ｃｏｎｖ＿ｘを用いて、（７）式で示す補間演算により水平方向の輝度補正係数（Ｄｈ）を算出する。

Ｄｈ＝Ｄｈ０＋（Ｄｈ１−Ｄｈ０）／Ｄｄｉｓ＊ｅｆｆ＿ｘ・・・（７）
ここで、Ｄｄｉｓ＝Ｗ＿ｍａｘ／（Ｎ−１）
ｅｆｆ＿ｘ＝ｃｏｎｖ＿ｘ−Ｓｈ＊Ｄｄｉｓ
垂直方向座標換算部１０３は、重複領域設定部１１０で設定された垂直方向の重複領域における画素座標値を、重複領域設定部１１０で設定可能な最大の垂直方向の重複領域幅以上の領域の座標値に換算する。垂直方向座標換算部１０３は重複領域設定部１１０で設定された垂直方向の重複領域において、画面端からの画素座標値（ｙ）を（８）式で算出される座標値に換算する。

ｃｏｎｖ＿ｙ＝Ｗ＿ｍａｘ／Ｗｖ＿ｓｅｔ＊ｙ ・・・（８）
ここで、Ｗｖ＿ｓｅｔは重複領域設定部１１０で設定可能な垂直方向の設定重複領域幅である。Ｗ＿ｍａｘは重複領域設定部１１０で設定可能な垂直方向の最大の重複領域幅以上となる任意の領域の幅（座標値）であり、ｙは画面端からの垂直方向の画素座標値（設定された重複領域における画素座標値）である。なお、ｙは、画面上側の重複領域においては画面上端からの距離を示す。また、ｙは画面下側の重複領域においては画面下端からの距離を示す。

垂直補正係数補間演算部１０４は、垂直方向座標換算部１０３で換算された座標値ｃｏｎｖ＿ｙに応じて、（９）式で算出される２つのテーブル値（Ｄｖ０、Ｄｖ１）をＬＵＴ１０５から選択する。

Ｄｖ０＝Ｄ（Ｓｖ）
Ｄｖ１＝Ｄ（Ｓｖ＋１） ・・・（９）
ここで、Ｓｖ＝ｉｎｔ（ｃｏｎｖ＿ｙ／Ｗ＿ｍａｘ＊（Ｎ−１））
次に、垂直補正係数補間演算部１０４は選択した２つのテーブル値Ｄｖ０，Ｄｖ１と垂直方向座標換算部１０３で換算されたｃｏｎｖ＿ｙとを用いて、（１０）式で示す補間演算により垂直方向の輝度補正係数（Ｄｖ）を算出する。

Ｄｖ＝Ｄｖ０＋(Ｄｖ１−Ｄｖ０)／Ｄｄｉｓ＊ｅｆｆ＿ｙ・・・（１０）
ここで、Ｄｄｉｓ＝Ｗ＿ｍａｘ／（Ｎ−１）
ｅｆｆ＿ｙ＝ｃｏｎｖ＿ｙ−Ｓｖ＊Ｄｄｉｓ
乗算部１０６（第１の乗算部）は、水平補正係数補間演算部１０２で算出した水平方向の輝度補正係数Ｄｈを入力画像（入力画像信号）に乗算する（水平方向の輝度補正）。乗算部１０７（第２の乗算部）は、垂直補正係数補間演算部１０４で算出した垂直方向の輝度補正係数Ｄｖを乗算部１０６から出力される乗算結果に乗算する（垂直方向の輝度補正）。

なお、本実施形態では水平方向の輝度補正後に垂直方向の輝度補正を行う構成としているが、補正順は逆であっても良い。

ここまで、Ｗ＿ｍａｘは任意の値として説明したが、具体的には、水平方向に関しては、重複領域設定部１１０で設定可能な水平方向の最大重複領域幅以上で２の累乗となる値とする。また、垂直方向に関しては、重複領域設定部１１０で設定可能なおよび垂直方向の最大重複領域幅以上で２の累乗となる値とする。また、ＬＵＴ１０５の格納数Ｎは、（Ｎ−１）が２の累乗となる値とする。例えば、Ｗ＿ｍａｘ＝２＾ｍ、（Ｎ−１）＝２＾ｎ（Ｎ＝２＾ｎ＋１）、ｍ＞ｎ（ｍ、ｎ：自然数）とする。この場合、（６）式のＳｈ、（９）式のＳｖはそれぞれ以下の（１１）式、（１２）式となる。

Ｓｈ＝ｉｎｔ（ｃｏｎｖ＿ｘ／（２＾（ｍ−ｎ）））・・・（１１）
Ｓｖ＝ｉｎｔ（ｃｏｎｖ＿ｙ／（２＾（ｍ−ｎ）））・・・（１２）
ここで（４）式で算出されるｃｏｎｖ＿ｘおよび（８）式で算出されるｃｏｎｖ＿ｙは、ｍビットであるとすると、Ｓｈはｃｏｎｖ＿ｘの上位ｎビットの値と等しくなり、Ｓｖはｃｏｎｖ＿ｙの上位ｎビットの値と等しくなる。つまり、水平補正係数補間演算部１０２はｃｏｎｖ＿ｘの上位ｎビットを用いてＬＵＴ１０５のテーブル値の選択が可能となる。また、垂直補正係数補間演算部１０４はｃｏｎｖ＿ｙの上位ｎビットを用いてＬＵＴ１０５のテーブル値の選択が可能となる。

また、（７）式のｅｆｆ＿ｘはｃｏｎｖ＿ｘの下位（ｍ−ｎ）ビットの値と等しくなり、（１０）式のｅｆｆ＿ｙはｃｏｎｖ＿ｙの下位（ｍ−ｎ）ビットの値と等しくなる。つまり、ｃｏｎｖ＿ｘおよびｃｏｎｖ＿ｙの下位（ｍ−ｎ）ビットを用いて補間係数演算が可能となる。さらに、（７）式および（１０）式のＤｄｉｓは２＾（ｍ−ｎ）となり、１／Ｄｄｉｓの演算をシフト演算とすることが出来る。なお、本実施形態で、ＬＵＴ１０５はテーブルとして構成しているが、この例に限定されるものでなく、例えば、レジスタとして構成することも可能である。また、本実施形態では、水平／垂直ともに最大の重複領域幅以上となる任意の領域の幅をＷ＿ｍａｘとして説明したが、同じである必要は無い。

また、図４は、投影画面の重複領域の輝度を補正する画像処理装置の画像処理方法の処理の流れを説明するフローチャートである。

ステップＳ４１０において、重複領域設定部１１０は投影画面における重複領域を設定する。ステップＳ４２０において、座標換算部（水平方向座標換算部１０１、垂直方向座標換算部１０３）が、重複領域の座標値を、ステップＳ４１０の設定工程で設定可能な最大の重複領域幅以上の重複領域の座標値に換算する。

ステップＳ４３０において、補間演算部が、換算された座標値に応じて輝度補正データ格納手段から２つのデータを選択し、選択した輝度補正データと換算された座標値と、を用いて輝度補正データを算出する。ここで、水平補正係数補間演算部１０２および垂直補正係数補間演算部１０４は、ステップＳ４３０の補間演算部として機能する。ステップＳ４４０において、補正部（乗算部１０６、乗算部１０７）が、選択した輝度補正データと輝度補正係数とを用いて重複領域の輝度を補正する。

本実施形態によれば、複数の投射型画像表示装置で構成するマルチスクリーン画面において、隣接する投射型画像表示装置との画像重複領域における輝度補正精度を低下することなく、任意の重複領域幅を設定することが可能になる。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 複数の画像表示装置により投影される投影画面の重複領域の輝度を補正する画像処理装置であって、
   前記投影画面における重複領域を設定する設定手段と、
   前記重複領域の輝度を補正するための複数の輝度補正データを格納する格納手段と、
   前記設定手段により設定された重複領域上の座標値を、前記設定手段で設定可能な最大の重複領域幅以上に対応する領域上の座標値に換算する座標換算手段と、
   前記座標換算手段により換算された座標値に対応する第１輝度補正データと、前記第１輝度補正データの座標上次のデータに対応する第２輝度補正データとを選択し、選択された前記第１輝度補正データ及び前記第２輝度補正データと、前記設定手段で設定可能な最大の重複領域幅以上に対応する領域の領域幅と、前記複数の輝度補正データのデータ数と、前記換算された座標値とを用いて、前記第１輝度補正データと前記第２輝度補正データの間の値を補間して輝度補正係数を算出する補間演算手段と、
   前記補間演算手段により算出された輝度補正係数を用いて前記重複領域の輝度を補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記格納手段はＮ（Ｎ＝２＾ｎ＋１（ｎ：自然数））個の輝度補正データを格納し、
   前記座標換算手段は、前記重複領域の座標値を前記最大の重複領域幅以上に対応する領域上の座標値であって、ｍビット（ｍ：自然数、ｍ＞ｎ）の座標値に換算することを特徴とする請求項１に記載の画像処理装置。
3. 前記補間演算手段は、前記座標換算手段で換算された前記座標値の前記ｍビットのうち上位ｎビットを用いて前記格納手段から前記輝度補正データを選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記補間演算手段は、前記座標換算手段で換算された前記座標値の前記ｍビットのうち下位（ｍ−ｎ）ビットを用いて前記輝度補正係数を算出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記補間演算手段は、前記第１輝度補正データが示す値と前記第２輝度補正データが示す値との差分を、前記設定手段で設定可能な最大の重複領域幅以上に対応する領域の領域幅と、前記複数の輝度補正データのデータ数と、前記換算された座標値とを用いて重みづけし、当該重みづけした値と前記第１輝度補正データが示す値との和を前記輝度補正係数として算出することを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
6. 複数の画像表示装置により投影される投影画面の重複領域の輝度を補正する画像処理装置が行う画像処理方法であって、
   前記投影画面における重複領域を設定する設定工程と、
   前記設定工程で設定された重複領域上の座標値を、前記設定工程で設定可能な最大の重複領域幅以上に対応する領域上の座標値に換算する座標換算工程と、
   前記座標換算工程で換算された座標値に対応する第１輝度補正データと、前記第１輝度補正データの座標上次のデータに対応する第２輝度補正データとを選択し、選択された前記第１輝度補正データ及び前記第２輝度補正データと、前記設定工程で設定可能な最大の重複領域幅以上に対応する領域の領域幅と、前記重複領域の輝度を補正するための複数の輝度補正データのデータ数と、前記換算された座標値とを用いて、前記第１輝度補正データと前記第２輝度補正データの間の値を補間して輝度補正係数を算出する補間演算工程と、
   前記算出された輝度補正係数を用いて前記重複領域の輝度を補正する補正工程と、
   を有することを特徴とする画像処理方法。
7. 格納手段はＮ（Ｎ＝２＾ｎ＋１（ｎ：自然数））個の輝度補正データを格納し、
   前記座標換算工程は、前記重複領域の座標値を前記最大の重複領域幅以上に対応する領域上の座標値であって、ｍビット（ｍ：自然数、ｍ＞ｎ）の座標値に換算することを特徴とする請求項６に記載の画像処理方法。
8. 前記補間演算工程は、前記座標換算工程で換算された前記座標値の前記ｍビットのうち上位ｎビットを用いて前記格納手段から前記輝度補正データを選択することを特徴とする請求項７に記載の画像処理方法。
9. 前記補間演算工程は、前記座標換算工程で換算された前記座標値の前記ｍビットのうち下位（ｍ−ｎ）ビットを用いて前記輝度補正係数を算出することを特徴とする請求項７または８に記載の画像処理方法。
10. 前記補間演算工程は、前記第１輝度補正データが示す値と前記第２輝度補正データが示す値との差分を、前記設定工程で設定可能な最大の重複領域幅以上に対応する領域の領域幅と、前記複数の輝度補正データのデータ数と、前記換算された座標値とを用いて重みづけし、当該重みづけした値と前記第１輝度補正データが示す値との和を前記輝度補正係数として算出することを特徴とする請求項６から９までのいずれか１項に記載の画像処理方法。
11. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images