JP2007279643A

JP2007279643A - Ｄｌｐプロジェクタにおける色補正方法

Info

Publication number: JP2007279643A
Application number: JP2006109573A
Authority: JP
Inventors: Atsutada Nakatsuji; 敦忠中辻
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2006-04-12
Filing date: 2006-04-12
Publication date: 2007-10-25

Abstract

【課題】複数のDLPプロジェクタを組み合わせて構成される大型表示盤はDLPの色特性が異なるため、投影される色／輝度が若干異なり人間の目で見たときに不自然になる。
【解決手段】スクリーン毎に点灯させて画像をカメラで取り込み、それらの２値化画像よりその上下左右を基準として補正領域を定める。次いで、テストパターンの画像を投射してカメラで取り込み、補正領域の平均ＲＧＢと基準ＲＧＢとの差を評価関数として、この差の二乗の和が最小となるように、RGBの差の絶対値が最も大きい色の設定パラメータを逆方向に変化させる。そして、収束条件を満たすときの色設定パラメータをDLPプロジェクタに設定する。
【選択図】図１

Description

本発明は、DLP（Digital Light Processing：米国ＴＩ社の登録商標）プロジェクタにおける色補正方法に関する。

DLPプロジェクタは、DMD（Digital Micro-mirror Device）等の反射型光スイッチパネルを用いたディジタルの光変調技術を利用する。DMDは極小サイズの鏡（マイクロミラー）がマトリクス状に敷き詰められた構造の半導体デバイスであり、画像フレームにおける画素とマイクロミラーが対応する。各マイクロミラーの傾斜角度は駆動データ（イメージ符号）に応じてON/OFF制御され、その結果、光源ランプ光はマイクロミラーで反射され投影レンズを通してスクリーンに投影され、またはアブソーバに吸収される。カラー画像を投影するには、RGB３色に分離したカラーホイールでの色切替えを通して光源ランプ光が照射される。このようにして、イメージ符号による画像をスクリーンに映し出す（例えば、特許文献１参照）。

ところで、DLPプロジェクタの設置にあたっては、機器設置・使用環境（スクリーン特性，室内照明の影響等）やプロジェクタの経年変化よる投射画質の差異を少なくして適切な画像投射を行なうために所定の調整作業を行なう必要がある。しかし、この作業に人為的な介入があると客観化できず工数も嵩む。

また、自然動画の色再現の点で従来からのCRT方式のテレビモニターとの対比において劣りがちである。更に、複数のPLDプロジェクタ装置を組み合わせたマルチスクリーン装置の大型表示盤は、各DLPの色特性が異なると、色設定パラメータの設定値が同じであっても表示される色や輝度が異なってしまうので、スクリーン全体を人間の目で見たときに不自然になってしまう。

そこで、DLPでは光源の光量を上限して、そこから光量ゼロの黒までの一定の範囲を元に色再現を行なうものであることに鑑み、マイクロミラーがOFF時のネガ画像を拾うセンサーを設けて、センサーで得られる画像情報により、色再現上極めて重要な光量最大時の白の色補正（ホワイトバランス）をすることにより、自然動画の色再現の改善を図っている（例えば、特許文献２参照）。

また、全画面白から全画面黒まで連続的に変化させる映像をスクリーンに投影して撮影レンズで取り込み、その光をスペクトラム分解した光を撮像素子で撮影し、その出力から各波長の強度を検出、解析することにより、ライトバブルの出力を補正することにより、DLPプロジェクタの経年変化よる投射画質の差異を少なくするようにしている（例えば、特許文献３参照）。

特開2004-163876号公報（第４頁−第５頁、図１１）特開2005-123841号公報（第６頁−第８頁、図１）特開2005-099478号公報（第４頁−第５頁、図１）

しかしながら、上述した特許文献２記載の技術では、ホワイトを自動に補正する方法であり、ホワイト以外の色は補正できないという第１の問題点がある。また、マルチスクリーン装置の場合はスクリーン単位に画像センサーを実装する必要があり、センサーのばらつきが想定されるので、これをも補正する必要が生じるという第２の問題点がある。

更に、スクリーンの内の補正領域はセンサーの取り付け位置に依存し、外光等の外部環境ないしはDLPプロジェクタの設置位置に応じて補正領域を変更するのは容易でないいう第３の問題点がある。

また、上述した特許文献３記載の技術では、スクリーンに投影された映像を撮影レンズで取り込んでライトバブルの出力を補正するのに使用しており、これはマルチスクリーン装置における各DLPプロジェクタの色特性の違いを補正するものではない。

本発明の目的は、上述のすべての問題点を解消し、マルチスクリーン装置における各DLPプロジェクタの色特性の違いを補正する方法を提供することを目的とする。

本発明のDLPプロジェクタにおける色補正方法は、マルチスクリーン構成のDLPプロジェクタにおける色補正方法において、スクリーン毎に少なくとも一つの補正領域を求める第１段階と、マルチスクリーンにテストパターンを投射する第２段階と、補正領域におけるテストパターンの画像をカメラで読み取る第３段階と、カメラで読み取った画像のＲＧＢそれぞれの平均値をスクリーン対応に算出する第４段階と、平均値とＲＧＢそれぞれの基準値との差の二乗の和が最小となるように第２段階〜第４段階の手順をスクリーン対応に繰り返す第５段階と、所定の収束条件を満たしたときのＲＧＢそれぞれの色設定パラメータを各DLPプロジェクタに設定する第６段階を有することを特徴とする。

前記第５段階は、平均値と基準値との差を補正領域についてスクリーン対応に加算する第１ステップと、加算した値が最大の色に対する設定パラメータを差が縮まる方向に変化させる第２ステップを有する。

また、前記第５段階は、平均値とＲＧＢそれぞれの基準値との差の二乗の和をメモリに蓄える第１ステップと、Ｒの色設定パラメータを所定の範囲で変えながら第１ステップを繰り返す第２ステップと、Ｇの色設定パラメータを所定の範囲で変えながら第１ステップを繰り返す第３段階と、Ｂの色設定パラメータを所定の範囲で変えながら第１ステップを繰り返す第４ステップと、第２ステップ〜前記第４ステップを繰り返す第５ステップを有するようにしてもよい。

前記第１段階は、各スクリーンを外周は黒で縁取りして逐次的に白表示させる第１ステップと、画像をカメラで読み取る第２ステップと、読み取った画像の２値化を行い該２値化画像の内で他のスクリーンと隣接する上下左右を基準として所定の領域を検出領域として抽出する第３ステップと、検出領域の中央部の所定領域を補正領域とする第４ステップとする。

本発明の第１効果は、マルチスクリーンを構成するスクリーン毎に点灯させ、スクリーンに投射される画像をカメラで撮影して２値化画像を得、その上下左右を基準に補正領域を求めることとしたため、外部環境ないしはDLPプロジェクタの設置位置に依存することなく、マルチスクリーン装置における各DLPプロジェクタの色特性の違いを補正することができるということである。

本発明の第２効果は、補正領域は指定することにより容易に変更できるので、様々なマルチスクリーン（大型表示盤）構成に対応することができるということである。

本発明の第３効果は、各DLPプロジェクタの色設定パラメータの非線形特性や、ばらつきに依存しない色の最適化ができるということである。DLPプロジェクタの色設定パラメータは非線形であるため、通常の最小二乗法（勾配法やニュートン法などの逐次的最適化手法）では正確な最適化をすることができないし、アニーリング法なども利用できるが計算コストが膨大で実用的ではない。

しかし、本発明では、補正領域のテストパターンに対する画像をカメラで撮影して求めた平均RGB値と基準RGB値との差を評価関数として、その差の絶対値が最も大きいDLPプロジェクタの色設定パラメータを補正して、評価関数が最小となるときの色設定パラメータを採用することとしたため、DLPプロジェクタから出力される色が設定値に対して線形ではなくても正確な補正をすることができるのである。

次に、本発明の実施の形態について図面を参照して詳細に説明する。１つのスクリーン画面内でムラが大きい場合、マルチスクリーンの色補正を行う。図１は、本発明のDLPプロジェクタにおける色補正方法を実行するための装置を示す。この装置は、ｎ個のDLPプロジェクタで構成されるマルチスクリーン装置において、ｎ個のDLPプロジェクタ＃１〜＃ｎの色特性の違いを補正するのに使用される。

DLPプロジェクタとスクリーンは１対１対応であるので、ｎ個のDLPプロジェクタによってｎ個のスクリーンに画像が投射される。スクリーンの前面にはカメラ１が対向して設置され、全スクリーン上の画像を撮影することができる。DLPプロジェクタ＃１〜＃ｎおよびカメラ１はパーソナルコンピュータ（ＰＣ）２に接続され制御される。すなわち、ＰＣ２は、DLPプロジェクタ＃１〜＃ｎとカメラ１の動作を制御してスクリーンに補正用の画像を投射させ、カメラ１から画像を取得して演算処理を施し、その結果によりDLPプロジェクタ＃１〜＃ｎに補正用のパラメータを設定する。

図２は、この色補正方法の手順を示すフローチャートである。先ず、カメラ１を所定の位置にセットし、ＰＣ２をDLPプロジェクタ＃１〜＃ｎに接続して色補正動作の準備をする（図２のステップS1）。ここで、色補正を行うためには、スクリーンのどの部分を見て補正するかという大きな問題がある。この点に関し、スクリーンの境界部分で色／輝度の差があった場合、人間の視覚が感じ易いということが知られている。そこで、各スクリーンの境界付近の領域（検出領域という）を検出し、検出領域の内の中央部を補正領域とする。

（１）検出領域の抽出と補正領域の設定
例えば、２×２のスクリーン構成の場合、図３に示すように、各スクリーンの斜線を施した部分Ａ，Ｂ，Ｃ，Ｄを検出領域として、この領域を検出する（図２のステップS2）が、これはＰＣ２におけるプログラムにより実行される。以下、その手順を詳述する。

最初、スクリーンの番号＃１〜＃ｎに対応する変数ｘ＝１とし、DLPプロジェクタｘの表示パターンを白（RGBの数値が全て255）、それ以外のDLPプロジェクタの表示パターンを黒（RGBの数値が全て0）に設定する。DLPプロジェクタは、このような表示パターンをスクリーンに投射するので、それをカメラ１で撮影してＰＣ２に取り込む。この場合、ノイズや外交の影響を軽減するために５枚撮影して時間平均をとることとする。

色補正は表示パターンが白の画像について行なうが、その内でも良質な部分を採用することが望ましいから、画像の周辺部を排除するため、画像の上下左右の各辺につき５画素を黒にする。そして、画素毎にRGBの数値を次式により輝度値Yに変換する。

Y=0.3R+0.59G+0.11B
次いで、輝度値Yを２値（0と255）化し、画像の内の画素の連結領域の最も大きな領域以外を消去する。これによりノイズを排除する。

以上のようにして求めた２値化画像において、検出領域Ａ，Ｂ，Ｃ，Ｄの重心を求める。先ず、ｕ方向（画像の左から右への方向）座標の最大値と最小値を検出するために、２値化画像についてｕ方向を左（数字が小さいほう）から走査していき、ｕ座標値における「255」の数をカウントする。そして、走査の一つ前との差分Dui（i=0〜width）を計算する。Widthはカメラ１画像の幅を表す。その結果、Duiが最大値となるｕ座標値を補正領域の最小値（min_u）、Duiが最小値となるｕ座標値を検出領域の最大値（max_u）とする。これは、水平方向において、画像が黒から白になる位置をmin_u、画像が白から黒になる位置をmax_uにするということである。

また、以上のようにして求めた２値化画像のｖ方向（画像の上から下への方向）座標の最大値と最小値を検出するために、２値化画像についてｕ方向を上（数字が小さいほう）から走査していき、ｖ座標値における「255」の数をカウントする。そして、走査の一つ前との差分Dvi（i=0〜height）を計算する。heightはカメラ１画像の高さを表す。その結果、Dviが最大値となるｖ座標値を補正領域の最小値（min_v）、Duiが最小値となるｖ座標値を補正領域の最大値（max_v）とする。これは、垂直方向において、画像が黒から白になる位置をmin_v、画像が白から黒になる位置をmax_vにするということである。

いま、図３における長方形の検出領域の短辺をDT1、長辺をDT2、オフセット値をMgとすると、検出領域Ａ，Ｂ，Ｃ，Ｄの重心の座標は以下のように表すことができる。なお、DT1，DT2およびMgの値は目視による評価により適正値に定める。

Ａ：（uc1,vc1）＝（max_u-Mg-DT1/2,vc）
Ｂ：（uc2,vc2）＝（uc,min_v+Mg+DT1/2）
Ｃ：（uc3,vc3）＝（min_u+Mg+DT1/2,vc）
Ｄ：（uc4,vc4）＝（vc,max_v-Mg-DT1/2）
以上の結果、スクリーン＃１について検出領域Ａ，Ｂ，Ｃ，Ｄの重心の座標が求まったので、xを１つ増数して、ｘ=nになるまで上記の処理を繰り返しスクリーン＃２〜＃４についても検出領域Ａ，Ｂ，Ｃ，Ｄの重心の座標を求める。

図３はスクリーン＃１における検出領域Ａ，Ｂ，Ｃ，Ｄを検出した場合を示す。検出領域Ａ，Ｂ，Ｃ，ＤにはＩＤ番号がつけられ、右端を基準とした反時計回りの順番になっている。これをスクリーン＃２〜＃４についても行う。２×２のスクリーン構成の場合、スクリーン＃１における検出領域Ｂ，Ｃは他のスクリーンに接しておらず、前述のように、人間の視覚がスクリーンの境界部分の色／輝度の差に対して敏感な故に境界部分を検出領域とするという趣旨から外れるので、検出領域Ｂ，Ｃは排除する。このようにして求めた全スクリーンの最終的な検出領域を図４に示す。

検出領域はスクリーン上で目視により確認する（図２のステップS3）。その結果、例えば、カメラ１の前を人が横切っていた場合等のように抽出状態が異常な場合はステップS1に戻って、ステップS2の補正領域検出処理をやり直す。抽出状態が正常であれば、各検出領域の中央部を補正領域とする。

なお、１つのスクリーン画面内でムラが小さい場合は、図５に示すように、ステップS2の手順に習ってスクリーンの重心座標を求め、重心座標を中心とした所定の正方形領域ａ，ｂ，ｃ，ｄを検出領域とし、この検出領域ａ，ｂ，ｃ，ｄの中央部を補正領域としてマルチスクリーンの色補正を行う。図３の検出領域Ａ，Ｂ，Ｃ，Ｄと図５の検出領域ａ，ｂ，ｃ，ｄはスクリーンの状態に応じて、例えばＰＣ２のキー操作により切り替える。

（２）基準RGBの設定
さて、何を基準にして補正するか。基準RGBを定義し設定（図２のステップS4）して、各DLPプロジェクタを調整する。DLPプロジェクタは、映像の色合い，輝度，コントラストなどを変えるための設定パラメータをデフォルトとして有する。ここでは、スクリーンが明るい場合と暗い場合について、RGBそれぞれにつき各DLPプロジェクタのデフォルトの内で最も暗い色設定パラメータを基準値とする。これは、色を調整する場合、暗くすることは容易であるが、明るくすることはDLPの特性上難しいからである。例えば、２×２のDLPプロジェクタの場合、各DLPプロジェクタのRGBのデフォルトが下記のようであるとする。

DLP1(RGB)=(100,85,75)
DLP2(RGB)=(120,95,85)
DLP3(RGB)=(150,45,150)
DLP4(RGB)=(110,23,184)
この場合、基準Rref,Gref,Brefは下記のようになる。

Rref,Gref,Bref=100,23,75
このようにして定めた基準RGBは、例えばＰＣ２のキー操作により入力しプログラムによって使用できるようにしておく。

（３）色補正の実行
次いで、テストパターンにより色補正を行なう（図２のステップS5〜S12）。ＰＣ２上で実行されるプログラムはマルチスクリーンにテストパターンを表示させる（図２のステップS5）。テストパターンはDLPプロジェクタから出力される固有のパターンであって、例えば、gray80というテストパターンは白に近い灰色の画像を表示し、gray50というテストパターンは略灰色の画像を表示する。ここでは、スクリーンが明るい場合のパラメータの最適化を図るためにgray80、スクリーンが暗い場合のパラメータの最適化を図るためにgray50を使用する。

カメラ１はマルチスクリーン全面に表示されているテストパターンgray80の画像を読み取ってＰＣ２へ伝える。ＰＣ２では、色補正の制限回数を示す変数N=0とし（図２のステップS6）、各スクリーンに表示されている色を基準色に合わせるように色補正を行なう（図２のステップS7）。この色補正は各DLPプロジェクタ毎に並列して行なわれる。

ＰＣ２で実行される色補正のプログラムには、色補正の最適化を図るために次式のような評価関数Ｊが定義されている。

この式で、ｎは補正領域の数であり、図４の例なら２、図５の例なら１である。また、ｉは補正領域の番号、Ri,Gi,Biは補正領域ｉのR,G,Bの平均値であって、カメラ１から伝えられてくるgray80の画像の内から抽出され補正領域ｉについて演算により求められる。

色補正は評価関数Ｊの値を最少化することにより最適化される。そのために、プログラムには、R,G,B毎に次式のような評価関数Ｊr，Ｊg，Ｊbが定義されている。

上記の式により、評価関数Ｊr，Ｊg，Ｊbの絶対値を計算し、その内で最も大きい設定パラメータを変化させる。例えば、評価関数Ｊrの絶対値が最も大きい場合はＲパラメータを変化させる。変化の方向は、評価関数Ｊrの符号と逆である。すなわち、Ｊr＜０ならＲパラメータを例えば＋１し、Ｊr＞０ならＲパラメータを例えば−１する。±１の１は、１でなくともよく、少し大きな値から始めて収束近くになってから１としてもよい。次に、Ｊgの絶対値が最も大きくなると、Ｇパラメータについて上記のＲパラメータに対する処理と同様な処理を行う。

変数N=0について、以上の色補正を行なうと、N+1→Nとして（図２のステップS8）、収束条件を満たす（図２のステップS9）か、回数制限に達する（図２のステップS10）まで色補正（図２のステップS7）を繰り返す。すなわち、変化させた色設定パラメータによりマルチスクリーン全面に表示されているテストパターンgray80の画像を読み取ってＰＣ２へ伝える。ＰＣ２では、各スクリーンに表示されている色を基準色に合わせるように評価関数Ｊr，Ｊg，Ｊbの絶対値を計算し、その内で最も大きい設定パラメータを変化させる。この過程において、その時々のRi,Gi,Biから評価関数Ｊの値を算出する。収束条件は評価関数Ｊの値が所定値以下になることである。

以上は、テストパターンgray80による色補正の最適化であったが、テストパターンgray50についても同様な色補正を行なう(図２のステップS4〜S10)。そして、規定のテストパターン（いまの場合はgray80とgray50）すべてについて色補正を行なうと(図２のステップS11)、最終的に本当に色補正できたかを目視により確認し（図２のステップS12）、非なら基準色の設定（図２のステップS4）からやり直す。

（４）更なる色補正の実行
（３）に記載した色補正は、いずれかのテストパターンについて、R,G,Bの内のいずれか一つに注目しながら行なっているが、この色補正は、両方のテストパターンを総合して、より良質な色補正を行なうために、R,G,Bの内の複数の組合せについて実行する。

先ず、ＰＣ２で実行される色補正のプログラムは、テストパターンgray80を全DLPプロジェクタにロードし、Ｒパラメータを所定の範囲で変えていく。そして、その都度、マルチスクリーン全面に表示されているテストパターンgray80の画像はカメラ１で読み取られてＰＣ２へ伝えられ、評価関数Ｊの値が算出される。この評価関数Ｊの値は全てがメモリに蓄えられる。

次に、テストパターンgray50をロードし、これについても上記と同様にＲパラメータを所定の範囲で変えていき、評価関数Ｊの値を算出する。ここで算出された評価関数Ｊの値と上記のメモリに蓄えられている評価関数Ｊの値との和をとってメモリに上書き保存される。

次に、テストパターンgray80を再度ロードしてＧパラメータについて、Ｒパラメータについて行なったのと同様の処理を行い、上記メモリに上書き保存される。また、テストパターンgray50を再度ロードしてＧパラメータについて、Ｒパラメータについて行なったのと同様の処理を行、メモリに上書き保存される。

更に、テストパターンgray80を再度ロードしてＢパラメータについて、ＲパラメータとＧパラメータについて行なったのと同様の処理を行い、上記メモリに上書き保存される。また、テストパターンgray50を再度ロードしてＢパラメータについて、ＲパラメータとＧパラメータについて行なったのと同様の処理を行い、メモリに上書き保存される。

以上の処理の過程において、評価関数Ｊの値が算出され、所定の充足条件を満たすか、制限回数に達するまで繰り返される。

上記（３）と（４）のいずれの手法であっても、処理が終結したときの評価関数Ｊの値を与えるＲパラメータ，ＧパラメータおよびＢパラメータが最適な色パラメータである。最適化された色パラメータは各DLPプロジェクタに保存され、実用時の符号データは、この色パラメータによってスクリーンに色表示される。前述のように、各DLPプロジェクタは同一の基準RGBの下に、それぞれの補正領域からカメラ１で採取されたRGB色により色補正されるので、各DLPプロジェクタに色特性の違いがあっても適正に補正され、人間の目で見て可能な限り不自然にならないようにすることができる。

本発明のDLPプロジェクタにおける色補正方法を実行するための装置を示す図本発明の色補正方法の手順を示すフローチャートスクリーンにおける検出領域を例示する図マルチスクリーンにおける検出領域を例示する図マルチスクリーンにおける検出領域を例示する他の図

符号の説明

１カメラ
２ＰＣ
Ａ〜Ｄ検出領域

Claims

マルチスクリーン構成のDLPプロジェクタにおける色補正方法において、
スクリーン毎に少なくとも一つの補正領域を求める第１段階と、
マルチスクリーンにテストパターンを投射する第２段階と、
前記補正領域における前記テストパターンの画像をカメラで読み取る第３段階と、
前記カメラで読み取った画像のＲＧＢそれぞれの平均値をスクリーン対応に算出する第４段階と、
前記平均値とＲＧＢそれぞれの基準値との差の二乗の和が最小となるように前記第２段階〜第４段階の手順をスクリーン対応に繰り返す第５段階と、
所定の収束条件を満たしたときのＲＧＢそれぞれの色設定パラメータを各DLPプロジェクタに設定する第６段階を有することを特徴とするDLPプロジェクタにおける色補正方法。
前記第５段階は、
前記平均値と前記基準値との差を前記補正領域についてスクリーン対応に加算する第１ステップと、
前記加算した値が最大の色に対する設定パラメータを前記差が縮まる方向に変化させる第２ステップを有することを特徴とする請求項１記載のDLPプロジェクタにおける色補正方法。
前記第５段階は、
前記平均値とＲＧＢそれぞれの基準値との差の二乗の和をメモリに蓄える第１ステップと、
Ｒの色設定パラメータを所定の範囲で変えながら前記第１ステップを繰り返す第２ステップと、
Ｇの色設定パラメータを所定の範囲で変えながら前記第１ステップを繰り返す第３段階と、
Ｂの色設定パラメータを所定の範囲で変えながら前記第１ステップを繰り返す第４ステップと、
前記第２ステップ〜前記第４ステップを繰り返す第５ステップを有することを特徴とする請求項１記載のDLPプロジェクタにおける色補正方法。
前記第１段階は、
各スクリーンを外周は黒で縁取りして逐次的に白表示させる第１ステップと、
前記画像をカメラで読み取る第２ステップと、
前記読み取った画像の２値化を行い該２値化画像の内で他のスクリーンと隣接する上下左右を基準として所定の領域を検出領域として抽出する第３ステップと、
前記検出領域の中央部の所定領域を補正領域とする第４ステップとすることを特徴とする請求項１〜請求項３記載のDLPプロジェクタにおける色補正方法。