JP2011145661A - 画像表示装置、情報処理装置及びそれらの制御方法、コンピュータプログラム - Google Patents

Abstract

【課題】画像表示装置の表示している画像の影響により、環境光に対応する画像補正の精度が低下することを防止する技術を提供する。
【解決手段】画像投影手段を用いて画像を表示する画像表示装置であって、前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定手段と、前記推定手段が推定した第２の環境光の情報により、前記画像投影手段に入力される画像信号を補正する補正手段と、前記補正手段により補正された画像信号を、前記画像投影手段を駆動するための色信号に変換する変換手段とを備える。
【選択図】 図１

Description

本発明は、画像表示装置、情報処理装置及びそれらの制御方法、コンピュータプログラムに関する。

画像表示装置として、プロジェクタやＴＶ等が普及している。例えば、プロジェクタは様々な照明環境下で使用されるが、実際の投射環境照明に応じた色再現をするのが望ましい。他方で、Commission Internationale de l'Eclairage（ＣＩＥ）が発行する色順応モデルであるCIECAM02（CAM；Colour Appearance Model）等がカラーマッチング技術用途で開発されてきている。そこで、これらの技術を応用して例えばプロジェクタにおいて、照明環境等を考慮した画像表示をすることができるものも開発されてきている。

この視覚順応を考慮した色再現をプロジェクタに適用する場合、視環境情報として設置環境における光（環境光）に関する情報を取得する必要がある。投影画像の色再現性の劣化を防ぐ方法としては、プロジェクタにＣＣＤカメラや照度センサ等を設置して環境光を測定し、測定した環境光に応じて投射画像のガンマ特性や色温度を調整する方法（特許文献１）がある。

特開２００２−１２５１２５号公報

しかしながら、画像表示装置のように、光センサを用いて環境光を測定する場合、光センサに画像表示装置によって表示された光が周囲に反射するなどして光センサに混入することがあった。そうすると、混入した反射光分の環境光情報が増加してしまうことになり、この環境光情報を用いて表示する画像を補正すると、画像の補正精度が低下してしまうことがあった。たとえば、プロジェクタにおいては、プロジェクタによって出力された画像がスクリーンに投影され、その反射光が光センサに入力してしまうと、画像の補正精度が低下してしまうことになる。

本発明は、このような課題に鑑みてなされたものであり、画像表示装置の表示している画像の影響により、環境光に対応する画像補正の精度が低下することを防止する技術を提供することを目的とする。

上記課題を解決する一つの側面に対応する本発明は、画像を投影する画像投影手段を用いて画像を表示する画像表示装置であって、
前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定手段と、
前記推定手段が推定した第２の環境光の情報により、前記画像投影手段に入力される画像信号を補正する補正手段と、
前記補正手段により補正された画像信号を、前記画像投影手段を駆動するための色信号に変換する変換手段と
を備え、
前記画像投影手段は、前記色信号に基づいて画像の表示を行い、
前記推定手段は、前記画像投影手段の投影光量が異なる複数の条件下のそれぞれにおいて前記取得手段により取得された複数の前記第１の環境光の情報に基づき、前記第２の環境光の情報を推定することを特徴とする。

上記課題を解決する、他の側面に対応する本発明は、画像を投影する画像投影手段を用いて画像を表示する画像表示装置に、画像信号を供給する情報処理装置であって、
前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定手段と、
前記推定手段が推定した第２の環境光の情報により、前記画像信号を補正する補正手段と、
前記補正手段により補正された画像信号を、前記画像表示装置に送信する送信手段と、
を備え、
前記推定手段は、前記画像投影手段の投影光量が異なる複数の条件下のそれぞれにおける前記取得手段により取得された複数の前記第１の環境光の情報に基づき、前記第２の環境光の情報を推定することを特徴とする。

本発明によれば、画像表示装置の表示している画像の影響により、環境光に対応する画像補正の精度が低下することを防止する技術を提供することができる。

画像表示装置１００の構成例を示す機能ブロック図。 画像表示装置１００の使用例を説明する図。 画像処理部１０３の構成例を示す機能ブロック図。 環境光補正処理の一例を示すフローチャート。 ３Ｄ−ＬＵＴの生成処理の一例を示すフローチャート。 第２の環境光の値の推定方法を説明する図。 センサの相対分光感度及び相対分光感度に基づく黒体軌跡を表す図。 標準光源分布を示すrg色度図。 情報処理装置１３０の構成例を示す機能ブロック図。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
本発明を適用する画像表示装置１００の構成を図１に示す。図１は画像表示装置１００の実施形態において主要な構成要素を表した図である。入力信号１０１は、画像表示装置１００に接続された外部の情報処理装置１３０から送信された画像信号である。情報処理装置１３０には、例えばパーソナルコンピュータ、ＤＶＤプレーヤ、テレビチューナ等のソース機器が含まれる。情報処理装置１３０からの入力信号１０１はアナログ・ディジタル（Ａ／Ｄ）変換器１０２でディジタル信号に変換される。但し、情報処理装置１３０からの入力信号１０１がディジタル信号の場合、Ａ／Ｄ変換器１０２でのＡ／Ｄ変換は不要である。画像処理部１０３は、デジタルの画像信号を赤色用、緑色用、青色用の各液晶表示素子１０６に適した解像度に変換し、解像度変換後の画像信号に対して環境光補正を施す。画像処理部１０３はさらに、液晶表示素子駆動部１０４が液晶表示素子１０６を駆動するのに必要な倍速変換、ＶＴガンマ補正等を行い、液晶表示素子駆動信号を生成する。
液晶表示素子１０６は、照明光学系１０５から発せられた光束を受け、液晶表示素子駆動部１０４からの液晶表示素子駆動信号による制御に基づいた光束を投影光学系１０７に送る。投影光学系１０７では、レンズでズーム動作を行い、各液晶表示素子１０６からの光束を投影光として、外部のスクリーン等に向けて投影する。

ランダムアクセスメモリ（ＲＡＭ）やハードディスク等で実現されるデータ格納部１０８には、ＬＵＴ演算部１１２で作成した３次元ルックアップテーブル（３Ｄ−ＬＵＴ）を格納する。データ格納部１０８のＲＡＭ領域は、ＣＰＵ１１０の作業領域としても利用され、ＣＰＵ１１０が実行するプログラムや所定のデータが格納される。リードオンリーメモリ（ＲＯＭ）１０９には、ＣＰＵ１１０で実行されるプログラムやスクリーンの理想的な白色のデータ等が予め書き込まれている。

ＣＰＵ１１０は、ＲＯＭ１０９やデータ格納部１０８に格納された処理プログラムを実行して、画像表示装置１００の全体的な制御を行う中央演算装置である。スイッチ１１１は、ユーザからの操作を受け付け、当該操作に基づく信号をデータバス１２１を通じてＣＰＵ１１０に送る。ＬＵＴ演算部１１２は、環境光センサ１２０からのデータを受けて、後述の動作により色変換のための３Ｄ−ＬＵＴを演算により生成し、データ格納部１０８に格納する。環境光センサ１２０は、Ｒセンサ部１１４、Ｇセンサ部１１５、Ｂセンサ部１１６からなり、各センサは図７（Ａ）に示す相対分光感度を有している。図７（Ａ）において、Ｇセンサ部１１５の最大感度を１として正規化し、Ｒセンサ部１１４、Ｇセンサ部１１５、Ｂセンサ部１１６の相対分光感度を、それぞれ７０１、７０２、７０３に示す。各センサの感度に基づいて黒体軌跡をｒｇ色度図（ＣＩＥ １９３１）に図示すると、図７（Ｂ）の特性となる。

Ｒセンサ部１１４、Ｇセンサ部１１５、Ｂセンサ部１１６で測定したデータは、それぞれアナログ−ディジタル(Ａ／Ｄ)変換器１１７，１１８，１１９でディジタル信号に変換され、センサ制御部１１３に送られる。センサ制御部１１３では、Ａ／Ｄ変換器（Ｒ）１１７，Ａ／Ｄ変換器（Ｇ）１１８，Ａ／Ｄ変換器（Ｂ）１１９の出力データを受け取りＣＰＵ１１０での処理に適したフォーマットに変換すると共に、ＣＰＵ１１０の指示により環境光センサ１２０を駆動する。

なお、環境光センサ１２０及び対応するＡ／Ｄ変換器１１７乃至１１９は、画像表示装置１００が予め搭載していてもよいし、或いは、外付けで後から接続されてもよい。また、センサ１２０を（センサ１２０のみで、或いは、Ａ／Ｄ変換器１１７乃至１１９と共に）、装置の外部に配置しておき、有線接続用或いは無線接続用のインタフェースを介して環境光の情報を取得する形態であってもよい。

図２は、本発明の画像表示装置１００の使用例を示す図である。図１の構成を有する画像表示装置１００は、投影光学系１０７からスクリーン２００に対して投影画像２０１を投射する。このとき、投影画像２０１は、スクリーン２００の色や、周辺光の光源である照明機器２０２が発する照明光２０３の影響を受ける。例えば、白色を表示する場合でもスクリーン２００の種別によっては着色したり明るさが変わったりする。また、照明光２０３の色温度や種類によって色再現が変わってくる。

環境光センサ１２０は、投影画像２０１の投影反射光２０４、照明光２０３、及び、その他の外光を受光して、画像表示装置１００の設置環境における光の情報をセンサ値として出力する。環境光センサ１２０により得られた光情報に基づいて、画像処理部１０３は、表示画像の色の変化の補正、即ち環境光補正を実現する。ここで、環境光センサ１２０で得られる投影反射光２０４と照明光２０３と外光とをまとめた画像表示装置１００の設置環境周辺の第１の光情報のことを「第１の環境光」という。また、第１の環境光から、画像表示装置１００による画像表示が設置環境及ぼす影響分、即ち投影反射光２０４を除外した第２の光情報を、「第２の環境光」と呼ぶ。

次に図３を参照して画像処理部１０３の内部構成を説明する。Ａ／Ｄ変換１０２から入力されるデジタル画像信号は、まず解像度変換部３０１で処理される。解像度変換部３０１は、画像信号を、赤色用、緑色用、青色用の各液晶表示素子１０６に適した解像度に変換し、解像度変換後のＲＧＢの各画像信号を環境光補正部に出力する。測定データ変換部３０２は、環境光センサ１２０が測定した第１の環境光の測定データであるＸＹＺ値（刺激値）を、下記の式に基づいてセンサ値としてのＲＧＢ値に変換して環境光推定部３０３に出力する。

Ｒ＝ ３．２４０１＊Ｘ − １．５３７４＊Ｙ − ０．４９８６＊Ｚ
Ｇ＝−０．９６９２＊Ｘ ＋ １．８７６０＊Ｙ ＋ ０．０４１６＊Ｚ
Ｂ＝ ０．０５５６＊Ｘ − ０．２０４０＊Ｙ ＋ １．０５７０＊Ｚ
環境光推定部３０３は、測定データ変換部３０２から取得した第１の環境光のＲＧＢ値に基づいて、第２の環境光のＲＧＢ値を推定する。第２の環境光のＲＧＢ値は、環境光補正部３０４に提供され、当該第２の環境光の値により解像度変換部３０１からの画像信号が環境光補正部３０４で補正される。

色変換処理部３０５は、第２の環境光から推定される画像表示装置１００の設置環境における光源の種類に対応する３Ｄ−ＬＵＴを用いた色変換処理を行う。この色変換処理では、３Ｄ−ＬＵＴを用いて、入力画像信号を照明光学系１０５、液晶表示素子１０６、投射光学系１０７の統合的な色域に対応する色信号に変換する。すなわち、これらの光学系はある色域を持つが、これらの光学系で投射したときにｓＲＧＢ色域もしくは任意の色域となるように、入力信号を３Ｄ−ＬＵＴを用いて変換するものである。ガンマ補正部３０６により液晶表示素子１０６のＶＴ特性を補正するガンマ変換を行い、液晶表示素子駆動部１０４へ入力される。

次に、図４を参照して本実施形態における環境光補正処理を説明する。まずＳ４０１で、画像表示装置１００の電源がＯＮされると、続くＳ４０２でＣＰＵ１１０は、環境光センサ１２０が第２の環境光のセンサ値Ｒ_Ｌ，Ｇ_Ｌ，Ｂ_Ｌを取得する。具体的には、照度計もしくは輝度計などの環境光センサ１２０でＸＹＺ値を測定し、前述した変換式により測定データ変換部３０２がＲＧＢ値に変換する。このとき画像表示装置１００は、画像を投影しておらず、自身が投影している光の投影反射光２０４の影響を受けないので、そのまま第２の環境光を取得できる。次に、Ｓ４０３では、ＣＰＵ１１０は、画像表示装置１００の照明光学系１０５において発光源を点灯させ、液晶表示素子１０６及び投影光学系１０７を利用した画像投影が行われる。なお、仮にＳ４０１における装置本体の電源ＯＮの時点で、画像投影が行われる場合、Ｓ４０２における第２の環境光のデータ測定を行うことができないが、それ自体は特に大きな問題ではない。但し、第２の環境光の推定精度をより高いものにするためには、Ｓ４０２において測定を行うことが好ましい。

次に、Ｓ４０４では、ＣＰＵ１１０は、図２に示すような画像投影状況下で第１の環境光の測定を行い、環境光センサ１２０からの測定データに基づき、測定データ変換部３０２がセンサ値Ｒ_Ｌ＋Ｒ，Ｇ_Ｌ＋Ｒ，Ｂ_Ｌ＋Ｒを求める。ここでも、照度計もしくは輝度計などの環境光センサ１２０でＸＹＺ値を測定し、前述した変換式により測定データ変換部３０２がＲＧＢ値に変換する。当該センサ値はＣＰＵ１１０により、環境光推定部３０３に提供され、Ｓ４０５において環境光推定部３０３がこれを保持する。Ｓ４０６において、ＣＰＵ１１０は、保持するセンサ値の数に基づいて、第１の環境光の測定回数が所定回数（Ｎ回）に到達したか否かを判定する。なお、Ｎは２以上の自然数であり、設置環境等に応じて任意に設定できる。もし、所定回数の測定が完了している場合（Ｓ４０６で「ＹＥＳ」）、Ｓ４０７に移行する。一方、所定回数に満たない場合（Ｓ４０６で「ＮＯ」）、Ｓ４０４に戻って測定を続ける。その際、測定の度に液晶表示素子１０６を制御して投影光量（表示光量）を変化させる。即ち、投影光量（表示光量）が異なる条件下においてそれぞれの測定が行われることになる。

続くＳ４０７では、ＣＰＵ１１０は環境光推定部３０３に、Ｎ回分の測定により得られた第１の環境光によるセンサ値Ｒ_Ｌ＋Ｒ，Ｇ_Ｌ＋Ｒ，Ｂ_Ｌ＋Ｒに最小二乗法を適用して、第２の環境光の値を推定させる。ここでの推定方法について図６（Ａ）を参照して説明する。図６（Ａ）は、第１の環境光を測定して得られたセンサ値のＮ個分のデータをプロットしたグラフである。横軸は画像表示装置１００の投影光量（ｌｍ）を示し、縦軸はセンサ値を示す。図６（Ａ）は、たとえば、センサ値Ｒ_Ｌ＋Ｒのデータをプロットしたものであり、同様に、それぞれＧ_Ｌ＋Ｒ，Ｂ_Ｌ＋Ｒのデータをプロットしたグラフをそれぞれ使用してもよい。

投影光量は、各色毎に液晶表示素子の制御電圧等に基づいて特定することができる。具体的にはガンマ補正部３０６出力における全画素データを各色毎に積算した値から算出する。ＦｕｌｌＨＤでは各色毎に１９２０ｘ１０８０＝２、０７３、６００個の画素があるが、１フレーム毎にこの画素データを積算することにより、各色毎にフレーム毎の投影光量（ｌｍ）を算出する。グラフ６００では、センサ値６０１がＮ個プロットされ、Ｎ個のセンサ値６０１に最小二乗法を適用して、投影光量を変数とする近似直線６０２を引くことができる。これにより、Ｒ、Ｇ、Ｂの各色について近似直線６０２をそれぞれ以下の式（１）から（３）に従って求めることができる。
Ｒ_Ｌ＋Ｒ ＝ Ａ_Ｒ・ｌ_Ｒ＋Ｒ_Ｌ・・・（１）
Ｇ_Ｌ＋Ｒ ＝ Ａ_Ｇ・ｌ_Ｇ＋Ｇ_Ｌ・・・（２）
Ｂ_Ｌ＋Ｒ ＝ Ａ_Ｂ・ｌ_Ｂ＋Ｂ_Ｌ・・・（３）

このとき、Ａ_Ｒ、Ａ_Ｇ、Ａ_ＢはＲ、Ｇ、Ｂ各色の直線６０２の傾きであり、スクリーンにおける（投射光の）反射率を表している。また、ｌ_Ｒ、ｌ_Ｇ、ｌ_ＢはＲ、Ｇ、Ｂ各色の投射光量を表す。さらに、Ｒ_Ｌ、Ｇ_Ｌ、Ｂ_Ｌは、それぞれ縦軸の切片６０３を表す。ここで、ＲＧＢの各直線６０２の切片６０３は、画像表示装置１００からの投影光量が最小値（０ｌｍ）の時の値と推定できる。従って、矢印６０４で示す領域は、画像表示装置１００の投影反射光２０４によるセンサ値の変化分に相当する。よって、切片６０３に対応する矢印６０５で示す領域が画像表示装置１００の周囲の照明や外光などによる第２の環境光に相当すると推定できる。本実施形態では、この様な方法で第２の環境光を推定したが、第１の環境光によるセンサ値Ｒ_Ｌ＋Ｒ，Ｇ_Ｌ＋Ｒ，Ｂ_Ｌ＋ＲのＮ個分のデータに各々重み付けをした値を使用するなどの他の方法で推定しても良く、ある程度、第２の環境光を推定できるような方法であればよい。

図４の説明に戻って、続くＳ４０８では、ＣＰＵ１１０は環境光推定部３０３に、Ｓ４０７で推定された第２の環境光の各値Ｒ_Ｌ，Ｇ_Ｌ，Ｂ_Ｌを以下の式（４）（５）に代入して照明光２０３の色度を算出させる。
ｒ＝Ｒ_Ｌ／（Ｒ_Ｌ＋Ｇ_Ｌ＋Ｂ_Ｌ）・・・（４）
ｇ＝Ｇ_Ｌ／（Ｒ_Ｌ＋Ｇ_Ｌ＋Ｂ_Ｌ）・・・（５）

ここで算出した色度を、ｒｇ色度図にプロットした例（点８０１）と、比較のため黒体軌跡と９５００Ｋ、６５００Ｋ、３０００Ｋの点を図７（Ｂ）に示す。続くＳ４０９では、Ｓ４０８で算出した色度に基づき周辺光の光源（この場合は照明機器２０２）の種類を推定する。ＲＯＭ１０９には、Ｆ１〜Ｆ１２（蛍光灯）、Ａ（白色光源）、Ｄ５０（５０００Ｋ）、Ｄ６５（昼光）の１５種類の標準光源に関して、尤度（ゆうど）判定用データとして、ｒｇ色度における中心値ならびに主成分情報が予め格納されている。そこで、環境光推定部３０３は、この尤度判定用データを読み出して、Ｓ４０８で算出した色度と比較する。図８（Ａ）は、尤度判定用データをＲＯＭ１０９が格納する標準光源の中心値のｒｇ色度図での分布を示す。また、主成分情報の一例としてＡ光源並びにＦ１２光源の主成分情報を図８（Ｂ）に示す。図８（Ｂ）において、中心値を中心として直交する２軸が主成分を表し、楕円は所定の尤度となる軌跡を表している。環境光推定部３０３は、Ｓ４０８で算出した色度につき、前述の１５種の各光源に対する尤度を求め、最も尤度の高かった光源を、周辺光の光源の種類とする。例えば、Ｓ４０８で算出した色度が図７（Ｂ）ならびに図８（Ｂ）の８０１であった場合、照明機器２０２の光源の種類はＦ１０光源と推定される。すなわち、環境光推定部３０３は、Ｓ４０８で算出した色度に基づいて、前述の１５種の各光源のうち最も近い光源の種類を推定する。

続くＳ４１０では、Ｓ４０９で推定した光源の種類に従い、ＬＵＴ演算部１１２が色変換のための３Ｄ−ＬＵＴを生成すべく演算を行う。人間の視覚特性は、例えばある投射画像について、環境光が存在すると投射画像の見えも変化してしまうからである。同様に環境光の強さや色度によっても見えが変化してしまう。そのため、本実施形態では、人間の視覚特性を考慮して、たとえば、蛍光灯下での投影画像の見えと、白熱球下での投影画像の見えをなるべく同じようにするための色補正を行う３Ｄ−ＬＵＴを生成する。そのため、本実施形態では、Ｓ４０９で環境光の種別を推定しておく。すなわち、ＬＵＴ演算部１１２は、環境光推定部３０３から得られた第２の環境光の値に基づいて、色補正を行うための３Ｄ−ＬＵＴを生成し、色変換処理部３０５は、生成された３Ｄ−ＬＵＴに基づいて、色補正を行う。

ここでの処理の詳細は図５を参照して後述する。Ｓ４１１では、環境光補正部３０４が、環境光推定部３０３から得られた第２の環境光の値に基づいて、解像度変換部３０１からの赤色用、緑色用、青色用の各液晶表示素子１０６に適した画像信号について環境光補正を行う。環境光補正では、Ｒ_Ｌ，Ｇ_Ｌ，Ｂ_Ｌの各値を画像信号から減算する。その際に、各値に対して所定の重み付けを行ってもよい。なお、この環境光補正部３０４による補正後の画像信号には、Ｓ４０９で生成した３Ｄ−ＬＵＴを用いて色変換処理部３０５により色変換が施される。

次に図５を参照して、図４のＳ４１０で行われる３Ｄ−ＬＵＴの作成処理を説明する。なお、この処理はＣＰＵ１１０の指示を受けたＬＵＴ演算部１１２で行う。本処理に先立ち、予めデスティネーション側プロファイルとして、Ｆ１〜１２及びＡ、Ｄ５０、Ｄ６５に相当する照明下ならびに無照明下においてスクリーン２００上の色を測定することで作成したプロファイルを１６種類分準備しておく。これらのプロファイルはデータ格納部１０８またはＲＯＭ１０９に格納してけばよい。

まず、Ｓ５０１で、ＬＵＴ格子点に相当するＲＧＢ値を１つ取得する。続くＳ５０２で、取得したＲＧＢ値を、ＰＣやＤＶＤプレーヤといったソース機器側のデバイスモデルに基づいてＸＹＺ値に変換する。尚、ソース機器側のデバイスモデルにはｓＲＧＢやＡｄｏｂｅＲＧＢなどのモデルを適用できる。本実施形態ではソース機器側のデバイスモデルの例としてｓＲＧＢを使用するがこれに限定されるものではない。Ｓ５０３では、ＣＩＥが発行したソース機器側のＣＩＥＣＡＭ０２に基づいて、Ｓ５０２で算出したＸＹＺ値をＪＣｈ値に変換する。Ｓ５０４で、ソース機器側の色域とデスティネーション機器側の色域とに基づき、色域写像を行う。ここでは、デスティネーション機器側の色域内の色は変換しない。一方、デスティネーション機器側の色域外の色については距離最小のデスティネーション側色域表面に写像するように色域写像を施す。ここでデスティネーション機器とは、画像表示装置１００である。尚、ソース機器側の色域とデスティネーション機器側の色域とは、本処理に先立って予め算出しておく。

Ｓ５０５で、デスティネーション機器側のＣＩＥＣＡＭ０２に基づき、Ｓ５０３で算出したＪＣｈ値をＸＹＺ値に変換する。Ｓ５０６で、Ｓ５０５で算出したＸＹＺ値をデスティネーション機器側のデバイスモデルに基づいてＲＧＢ値に変換する。尚、本ステップで使用するデスティネーション機器側のプロファイルは、先述の１６種のプロファイルから選択される。Ｓ５０７では、ＬＵＴ格子点総てに対し、変換ＲＧＢ値を算出したかどうかを判断し、完了していればＳ５０８へ進み、完了していなければＳ５０１へ戻る。Ｓ５０８では変換用３Ｄ−ＬＵＴをデータ格納部１０８に保存し、処理を終了する。

以上の説明では、画像表示装置１００がＬＵＴ演算部１１２を具備し、ＣＰＵ１１０の指示に応じてハードウェア的に３Ｄ−ＬＵＴを生成する例を挙げたが、３Ｄ−ＬＵＴ生成方法はこれに限ったものではない。即ち、ＬＵＴ演算部１１２を具備せずに、所定のソフトウェアに従ってＣＰＵ１１０での演算で生成してもよい。また、本実施形態では、判定した設置環境における光源の種類に従い、ＬＵＴ演算部１１２で３Ｄ−ＬＵＴを生成する場合を説明した。しかし、これ以外にも、例えばデータ格納部１０８やＲＯＭ１０９に各照明光２０３の種類に対応する３Ｄ−ＬＵＴを予め用意しておき、Ｓ４０９での判定結果に応じて３Ｄ−ＬＵＴを選択してもよい。

また、上記実施形態では、図４のＳ４１０において、ＬＵＴ演算部１１２が色変換のための３Ｄ−ＬＵＴを生成した。しかし、発明の実施形態はこれに限定されるものではない。例えば、本処理に先立ち予め第２の環境光として推定されるＦ１〜１２及びＡ、Ｄ５０、Ｄ６５に相当する照明下で、最適な３Ｄ−ＬＵＴがあらかじめデータ格納部１０８もしくはＲＯＭ１０９に格納されていてもよい。この場合、１５種類の光源を想定しているため、１５種類の３Ｄ−ＬＵＴを格納しているものとするが、これよりも少なくても良い。その場合には、色度によって推定される光源の種類が複数あれば、それらの中間値を演算により算出すればよい。

そして、Ｓ４１０の処理では、Ｓ４０９で環境光推定部３０３により推定された環境光の種類に応じて、最適な３Ｄ−ＬＵＴをＬＵＴ演算部１１２が選択する。すなわち、環境光推定部３０３により、推定された環境光の種類がＦ６であった場合には、ＬＵＴ演算部１１２は、データ格納部１０８もしくはＲＯＭ１０９に格納された、Ｆ６に対応する３Ｄ−ＬＵＴを選択する。環境光の種類がＡであれば、当然、Ａに対応する３Ｄ−ＬＵＴを選択する。また、推定された環境光の種類が、たとえばＦ６とＦ２の間の環境光であると推定された場合には、Ｆ６用の３Ｄ−ＬＵＴとＦ２用の３Ｄ−ＬＵＴとの中間値をＬＵＴ演算部１１２が演算して、最適な３Ｄ−ＬＵＴを生成する。すなわち、ＬＵＴ演算部１１２は、Ｓ４０９で環境光推定部３０３により推定された環境光の種類に応じて、最適な３Ｄ−ＬＵＴを生成、または選択する。また、ユーザによる色の好みを、それぞれの環境光に対応する３Ｄ−ＬＵＴに掛け合わせた、３Ｄ−ＬＵＴを生成しても良い。そして、Ｓ４１１で、色変換処理部３０５では、Ｓ４１０で、ＬＵＴ演算部１１２により生成された３Ｄ−ＬＵＴを用いて、入力された画像信号の色補正を行うことができる。

また、図４のＳ４１１で環境光補正を行うことができるように設定した後も、ＣＰＵ１１０は、任意のタイミングで、Ｓ４０４からＳ４１１の処理を繰り返すことで、画像を表示しながら、環境光の推定を行ってもよい。そして、推定した環境光の種類が変わった場合には、ＬＵＴ演算部１１２は、推定した環境光に適した３Ｄ−ＬＵＴを、データ格納部１０８もしくはＲＯＭ１０９から選択すればよい。或いは、前述のように演算により生成しても良い。

さらにＳ４１１での設定後に、第１の環境光のＲＧＢ値がＳ４０７で求めた近似直線からずれたことを検出して、新たに、３Ｄ−ＬＵＴを選択または生成するようにしても良い。たとえば、ＣＰＵ１１０は、第１の環境光のＲＧＢ値が、Ｓ４０７で求めた近似直線から所定時間連続して所定量以上ずれていることを検出すると、Ｓ４０４からＳ４０９の処理を実行する。そして、ＣＰＵ１１０は、環境光推定部３０３に環境光を推定させ、推定した環境光の種類が変わった場合には、ＬＵＴ演算部１１２は、推定した環境光に適した３Ｄ−ＬＵＴを、データ格納部１０８もしくはＲＯＭ１０９から選択する。または、前述したように演算により生成しても良い。

また、Ｓ４０４からＳ４０９の処理を実行せずとも、近似直線からのずれ量から、環境光を推定させても良い。すなわち、図６の近似直線６０２を、たとえば、６１２のような値が所定時間検出された場合に、６１３切替える。そうすると、オフセット分は、６１４に示す値になる。これにより、第２の環境光のＲGＢ値を算出することができる。そして、環境光推定部３０３は、算出されたＲ値とＧ値とから、図８（ａ）のいずれの光源の種類が最も近いかを検出し、光源を推定する。そして、Ｓ４１０と同様に、ＬＵＴ演算部１１２は、推定された光源に適した３Ｄ−ＬUTを、データ格納部１０８もしくはＲＯＭ１０９から選択する。または、前述したように演算により生成しても良い。

なお、本実施形態では、画像表示装置１００として、液晶表示素子を用いた装置の例を説明したが、液晶表示素子を用いた素子に限定されるものではない。また、プロジェクタ（フロントプロジェクション及びリアプロジェクションの両方を含む）のような投影型の装置であってもよいし、テレビ装置（パソコン用のディスプレイも含む）のように自装置の画面上に表示するタイプの装置であってもよい。すなわち、環境光を考慮した映像を表示することができる表示装置であって、その表示映像が壁や天井などによって反射し、環境光をとらえるセンサに戻ってしまう可能性がある装置であればよい。

以上説明した通り、本実施形態では第１の環境光から投影反射光２０４の成分を除外した第２の環境光を、画像表示装置１００での投影を中断することなく、複数回数の測定で得られた第１の環境光のセンサ値から推定することができる。よって、画像表示装置１００の表示画像の反射光などが、環境光センサ１２０で検出されてしまい、取得される周囲光（環境光）の情報が変化してしまっても、画像補正の精度の低下を防止することができる。また、画像の反射光などの影響をなくすために、画像表示装置の表示を停止しなくとも、画像補正の精度の低下を防止することができる。

［実施形態２］
上述の実施形態１では、画像表示装置１００で画像を投影しているとき、複数回の測定により得られた第１の環境光から、周囲の照明や外光などによる第２の環境光を推定して環境光補正を行った。これに対して、本実施形態では、環境光補正の後に設置環境における明るさが変化し場合に、リアルタイムに環境光補正を行う場合について説明する。本実施形態における画像表示装置１００の主要な構成要素は図１乃至図３に示す通りであり、３Ｄ−ＬＵＴの作成フローチャートも図５と同様である。

本実施形態では、図４のＳ４１１における環境光補正を行ってから一定時間が経過した後に、センサ値Ｒ_Ｌ＋Ｒ，Ｇ_Ｌ＋Ｒ，Ｂ_Ｌ＋Ｒを再度取得する。環境光推定部３０３は、再取得したセンサ値と、Ｓ４０７で算出した近似直線とのズレ量を算出する。このとき、再取得したセンサ値の近似直線に対するズレ量が、所定の閾値Ｔｈよりも大きい場合には、再度Ｓ４０４からＳ４０６の処理を繰り返して、第２の環境光の再推定を行い環境光補正をやり直す。なお、この再推定を行う際に画像表示装置１００がなんらかの画像をスクリーン２００に投影していたとしても、当該投影処理を中断する必要はない。というのも、画像投影時には、投影内容（映画やスポーツ映像など）に応じてスクリーン２００に対する投影光量が変化するのが通常であるため、この変化を利用して複数回の測定を実行すればよい。

図６（Ｂ）を参照して、本実施形態における環境光補正を再度実行する状況を説明する。図６（Ｂ）の上段は、図６（Ａ）と同様に既に行われた所定回数の測定に基づく第１の環境光のセンサ値Ｒ_Ｌ＋Ｒ，Ｇ_Ｌ＋Ｒ，Ｂ_Ｌ＋Ｒをプロットしたものである。横軸は画像表示装置１００の投影光量で、縦軸はセンサ値を示す。直線６０２は、プロットされたデータの近似直線である。このとき、プロットされたデータは、近似直線６０２に対して幅６１１の範囲内で分布しているものとする。これに対して、点６１２は、上述の環境光補正から一定時間経過後に行われた測定で得られたセンサ値をプロットしたものである。この値が近似直線６０２に対して幅６１１の範囲内に含まれない場合は、第２の環境光が大きく変化したものと推定される。より具体的に、点６１２に対して近似直線６０２と同一の傾きを適用して得られる近似直線６１３の縦軸との切片６１４は、切片６０３に比べて大幅に減少していることが分かる。この原因としては、照明光２０３の明るさがユーザにより調節されて設置環境の明るさが低下したことなどが考えられる。

このように本実施形態によれば、画像表示中に周囲の環境光が変わった場合であっても、その変化に対応して環境光を再推定して画像を再補正できるので、画質の低下を防止することができる。

［実施形態３］
上記の実施形態１及び２では、複数回の測定により得られた第１の環境光のセンサ値に基づいて第２の環境光を推定した。第２の環境光の推定方法は、これ以外にも、投影反射光２０４を推定することにより第２の環境光を推定してもよい。例えば、環境光推定部３０３において、スクリーン２００の色（壁色補正）やスクリーン２００の反射率を考慮に入れて入力画像信号を変換することで、投影反射光２０４のセンサ値Ｒ_Ｒ，Ｇ_Ｒ，Ｂ_Ｌを推定できる。推定された投影反射光２０４の値は、第１の環境光のセンサ値からそれぞれ減算されて、第２の環境光のセンサ値Ｒ_Ｌ，Ｇ_Ｌ，Ｂ_Ｌが推定される。

［実施形態４］
以上の実施形態１乃至３では、画像表示装置１００が第２の環境光を推定し、環境光補正を行った。しかし、係る処理は画像表示装置１００自体が行わなくてもよく、画像表示装置１００に画像を供給する、ＤＶＤプレーヤやパソコンなどの情報処理装置１３０が行ってもよい。その場合には、画像表示装置１００の環境光センサ１２０で取得した第１の環境光をソース機器が取得して第２の環境光を推定し、環境光補正を行った画像信号を画像表示装置に出力する。また、３Ｄ−ＬＵＴの生成や選択についても、ソース機器側から、光源の種類、或いは、３Ｄ−ＬＵＴそのものを画像表示装置に対して指定すればよい。例えば、ソース機器がパソコンであれば、そのように動作させるためのプログラムコードが記載されたプログラムをパソコンにインストールしておけばよい。

図９は、情報処理装置１３０のハードウェア構成図の一例を示す図である。図９において、ＣＰＵ９０１は、ＨＤ（ハードディスク）９０３に格納されているＯＳ、アプリケーションプログラム等を実行し、ＲＡＭ９０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。ＲＡＭ９０２は、ＣＰＵ９０１の主メモリ、ワークエリア等として機能する。ＨＤ９０３は、アプリケーションプログラム、ドライバプログラム、ＯＳ、制御プログラム、本実施形態に対応する処理を実行するための処理プログラム等を格納している。

ディスプレイ９０４は、操作部９０９から入力したコマンドや、外部から取得した情報等を表示するための表示手段である。ディスプレイ９０４は、画像表示装置１００であってもよいし、その他のディスプレイであってもよい。インターフェイス（以下、Ｉ／Ｆという）９０５は、外部機器と接続するための通信インターフェイスである。ディスプレイ９０４が画像表示装置１００でない場合、当該Ｉ／Ｆを介して画像表示装置１００と接続して通信を行い、画像信号を提供したり、環境光センサ１２０による測定データを取得することができる。接続プロトコルは、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＨＤＭＩ等、任意のものとすることができる。ＲＯＭ９０６には、基本Ｉ／Ｏプログラム等のプログラムを記憶する。

外部記憶ドライブ９０７は、メディア９０８に記憶されたプログラム等を本コンピュータシステムにロードすることができる。記録媒体としてのメディア９０８は、所定のプログラムおよび関連データを格納する。情報処理装置１３０がＤＶＤプレーヤの場合には、当該メディアはＤＶＤとなる。操作部９０９は、本装置の操作者が、指示入力を行うためのユーザインタフェースであり、キーボードやマウスで構成される。システムバス９１０は、装置内のデータの流れを司るものである。

なお、本実施形態においては、図３の画像処理部１０３の構成要素のうち、測定データ変換部３０２、環境光推定部３０３及び環境光補正部３０４に相当する機能を、ＣＰＵ９０１が対応するプログラムを実行することにより実現できる。当該プログラムは、ＨＤ９０３またはＲＯＭ９０６に格納されている。従って、本実施形態では、画像表示装置１００の解像度変換部は、環境光補正済の画像信号を解像度変換して、直接色変換処理部３０５にて色変換を行う。その際に使用する３Ｄ−ＬＵＴは、情報処理装置１３０が指定されたものを使用するか、或いは、通知された光源の種類に基づいて適切な３Ｄ−ＬＵＴを選択する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. 画像を投影する画像投影手段を用いて画像を表示する画像表示装置であって、
   前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定手段と、
   前記推定手段が推定した第２の環境光の情報により、前記画像投影手段に入力される画像信号を補正する補正手段と、
   前記補正手段により補正された画像信号を、前記画像投影手段を駆動するための色信号に変換する変換手段と
   を備え、
   前記画像投影手段は、前記色信号に基づいて画像の表示を行い、
   前記推定手段は、前記画像投影手段の投影光量が異なる複数の条件下のそれぞれにおいて前記取得手段により取得された複数の前記第１の環境光の情報に基づき、前記第２の環境光の情報を推定する
   ことを特徴とする画像表示装置。
2. 画像を表示する表示手段を有する画像表示装置であって、
   前記表示手段に前記画像を表示している状況で、前記画像表示装置の設置環境における第１の環境光の情報を取得する取得手段と、
   前記表示手段による表示光量が異なる状況で前記取得手段により得られた前記複数の第１の環境光の情報に基づいて、前記環境光の情報から前記表示手段により表示された画像の影響を除外した第２の環境光の情報を推定する推定手段と、
   前記推定された第２の環境光の情報に基づいて、前記表示手段に表示される画像の色を変換する変換手段と
   を有することを特徴とする画像表示装置。
3. 前記推定手段は、前記複数の第１の環境光の情報に基づき、前記光量を変数とする近似直線を算出し、該変数を最小値とした場合の前記近似直線の値に基づいて、前記第２の環境光の情報を推定することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記推定手段は、前記取得手段が取得した前記第１の環境光の情報と前記近似直線とのズレ量が閾値より大きい場合に、再度の複数回の測定により得られた複数の前記第１の環境光の情報を用いて前記第２の環境光の情報の再推定を行う
   ことを特徴とする請求項３に記載の画像表示装置。
5. 前記推定手段は、前記第２の環境光の情報から、前記画像表示装置の前記設置環境における光源の種類を判定し、
   前記変換手段は、前記種類に対応するルックアップテーブルを参照して、前記色信号への変換を行う
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
6. 前記取得手段は、外付けのセンサとして前記画像表示装置の外部に配置され、前記画像表示装置と接続されて、前記第１の環境光の情報を該画像表示装置に提供するように構成されているか、或いは、前記画像表示装置に予め搭載されていることを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
7. 画像を投影する画像投影手段を用いて画像を表示する画像表示装置に、画像信号を供給する情報処理装置であって、
   前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定手段と、
   前記推定手段が推定した第２の環境光の情報により、前記画像信号を補正する補正手段と、
   前記補正手段により補正された画像信号を、前記画像表示装置に送信する送信手段と、
   を備え、
   前記推定手段は、前記画像投影手段の投影光量が異なる複数の条件下のそれぞれにおける前記取得手段により取得された複数の前記第１の環境光の情報に基づき、前記第２の環境光の情報を推定する
   ことを特徴とする情報処理装置。
8. 前記推定手段は、前記第２の環境光の情報から、前記画像表示装置の前記設置環境における光源の種類を判定し、
   前記送信手段は、前記種類の情報を、前記画像信号と共に前記画像表示装置に送信することを特徴とする請求項７に記載の情報処理装置。
9. 画像を表示する表示手段を有する画像表示装置に、画像信号を供給する情報処理装置であって、
   前記表示手段に前記画像を表示している状況で、前記画像表示装置の設置環境における第１の環境光の情報を取得する取得手段と、
   前記表示手段による表示光量が異なる状況で前記取得手段により得られた前記複数の第１の環境光の情報に基づいて、前記環境光の情報から前記表示手段により表示された画像の影響を除外した第２の環境光の情報を推定する推定手段と、
   前記推定された第２の環境光の情報に基づいて、前記表示手段に表示される画像の色を変換する変換手段と、
   を有することを特徴とする情報処理装置。
10. 前記推定手段は、前記複数の第１の環境光の情報に基づき、前記光量を変数とする近似直線を算出し、該変数を最小値とした場合の前記近似直線の値に基づいて、前記第２の環境光の情報を推定することを特徴とする請求項７乃至９のいずれか１項に記載の情報処理装置。
11. 前記推定手段は、前記取得手段が取得した前記第１の環境光の情報と前記近似直線とのズレ量が閾値より大きい場合に、再度の複数回の測定により得られた複数の前記第１の環境光の情報を用いて前記第２の環境光の情報の再推定を行う
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 画像を投影する画像投影手段を用いて画像を表示する画像表示装置の制御方法であって、
    前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、推定手段が、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定工程と、
    補正手段が、前記推定工程において推定された第２の環境光の情報により、前記画像投影手段に入力される画像信号を補正する補正工程と、
    変換手段が、前記補正工程において補正された画像信号を、前記画像投影手段を駆動するための色信号に変換する変換工程と、
    前記画像投影手段が、前記色信号に基づいて画像の表示を行う表示工程と
    を備え、
    前記推定工程では、前記画像投影手段の投影光量が異なる複数の条件下のそれぞれにおける前記取得手段による測定で得られた複数の前記第１の環境光の情報に基づき、前記第２の環境光の情報が推定される
    ことを特徴とする画像表示装置の制御方法。
13. 画像を表示する表示手段を有する画像表示装置の制御方法であって、
    前記表示手段に前記画像を表示している状況で、取得手段が、前記画像表示装置の設置環境における第１の環境光の情報を取得する取得工程と、
    前記表示手段による表示光量が異なる状況で前記取得手段により得られた前記複数の第１の環境光の情報に基づいて、推定手段が、前記環境光の情報から前記表示手段により表示された画像の影響を除外した第２の環境光の情報を推定する推定工程と、
    前記推定された第２の環境光の情報に基づいて、変換手段が、前記表示手段に表示される画像の色を変換する変換工程と
    を有することを特徴とする画像表示装置の制御方法。
14. 画像を投影する画像投影手段を用いて画像を表示する画像表示装置に、画像信号を供給する情報処理装置の制御方法であって、
    前記画像投影手段により前記画像の表示を行っている状況で、前記画像表示装置の設置環境における環境光の情報を取得する取得手段が取得した第１の環境光の情報から、推定手段が、該画像の表示による前記設置環境に対する影響分を除外した第２の環境光の情報を推定する推定工程と、
    補正手段が、前記推定工程において推定された第２の環境光の情報により、前記画像信号を補正する補正工程と、
    送信手段が、前記補正工程において補正された画像信号を、前記画像表示装置に送信する送信工程と、
    を備え、
    前記推定工程では、前記画像投影手段の投影光量が異なる複数の条件下のそれぞれにおける前記取得手段により取得された複数の前記第１の環境光の情報に基づき、前記第２の環境光の情報が推定される
    ことを特徴とする情報処理装置の制御方法。
15. 画像を表示する表示手段を有する表示装置に、画像信号を供給する情報処理装置の制御方法であって、
    前記表示手段に前記画像を表示している状況で、取得手段が、前記表示装置の設置環境における第１の環境光の情報を取得する取得工程と、
    前記表示手段による表示光量が異なる状況で前記取得手段により得られた前記複数の第１の環境光の情報に基づいて、推定手段が、前記環境光の情報から前記表示手段により表示された画像の影響を除外した第２の環境光の情報を推定する推定工程と、
    前記推定された第２の環境光の情報に基づいて、変換手段が、前記表示手段に表示される画像の色を変換する変換工程と、
    を有することを特徴とする情報処理装置の制御方法。
16. 前記推定工程では、前記複数の第１の環境光の情報に基づき、前記光量を変数とする近似直線が算出され、該変数を最小値とした場合の前記近似直線の値に基づいて、前記第２の環境光の情報が推定されることを特徴とする請求項１２乃至１５のいずれか１項に記載の方法。
17. コンピュータを請求項１乃至６のいずれか１項に記載の画像表示装置の各手段として機能させるためのプログラム。
18. コンピュータを請求項７乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images