JPWO2018016572A1 - 表示補正装置、プログラム及び表示補正システム - Google Patents

Abstract

環境光特性を決定するための第一撮像画像と、環境光特性と表示特性とを含む第二撮像画像とを用い、第二撮像画像から環境光の特性を除去することで表示特性を算出し、当該表示特性に基づいて表示補正を行う。これにより、１又は複数の表示装置の表示特性を補正する場合、色測定装置を移動させるといった手間を省き、環境照明によって照らされている部分が広い場合においても、表示構成を行うことが可能な装置を提供することができる。

Description

本発明は、１又は複数のディスプレイに対する、表示補正装置等に関する。

従来から、プレゼンテーションの表示やデジタルサイネージの表示などのためにディスプレイに代表される表示装置が広く用いられている。

ここで、ディスプレイ装置は装置ごとにその特性が異なっている。液晶ディスプレイや、プラズマディスプレイや、有機ＥＬディスプレイといったフラットパネルディスプレイは、均一なグレーレベルが入力されたとき、均一な階調の画像を表示することが望ましい。しかし、液晶ディスプレイの場合、ディスプレイを通過する光の伝達に影響を与えたり、一般的に見ている人を不快にさせたりするムラ型の欠陥は、大抵セルの製造工程における欠陥によって起こる。このようなムラ型の周期的で、ランダムで、低コントラストの欠陥は、特に液晶ディスプレイにおいて、正確な検出と分類を困難にさせる。ディスプレイの様々な部品の製造の変化に伴い、すべての装置において、ディスプレイ領域全体に対して、均一なディスプレイの性質を提供することができない。このような不規則性のため、ディスプレイ装置は十分に均一な画像を表示できるかどうか、装置を視覚的に検査している。

一般的に、不均一性の一つの特有のもので、一般的に比較的小さな円状のものは、ニュートンリングムラと呼ばれる。一般的に、ニュートンリングムラは、円状に現れた不均一性による色である。

ディスプレイのニュートンリングムラ等の欠陥を検出する一つの手法は、手作業による目視検査である。検査者は均一なグレーレベルが表示されている各々のディスプレイを見て、手作業でニュートンリングムラを識別し、ラベリングする。手作業の視覚による識別工程は、一貫性に欠ける傾向にあり、また、識別は検査者の能力と知識に強く依存している。また、異なる検査者は、ディスプレイを検査する時間が異なり、それに併せて、能力のある検査者が限られることにより、ディスプレイの大量生産における限界を生じさせている。さらに、検査者は、時間とともに疲労することにより、検査性能が変化していく傾向にある。

色較正は、ディスプレイの応答が既知の状態になるよう、測定及び／又は、調整する工程である。ＩＣＣ（International Color Consortium）の用語では、この工程は、装置の追加の色特性及び後の仕様付けに対する基礎である。ＩＣＣ以外のワークフローでは、色較正は、しばしば、既知の標準的な色空間との関係を確立することをいう。色較正されるべき装置のことは、しばしば較正元として知られ、標準として使われる色空間は、しばしば較正目標として知られる。色較正は色を管理するワークフローにおいて、重要な役割であり、全てのディスプレイで行われるのが好ましい。残念ながら、色較正は相当の時間と労力がかかる傾向にあり、失敗しがちである。

そこで、色較正の精度を高める発明が幾つか提案されている。例えば、特許文献１には、色測定装置の色測定結果およびデジタルカメラの撮像結果を用いて、マルチディスプレイに対する入力信号値と各ディスプレイに対する出力信号値とを対応付けたＬＵＴ（ルックアップテーブル）をディスプレイ毎に決定する発明が提案されている。

また、特許文献２には、ディスプレイに黒い画像を表示して撮像した第１画像と、色較正用の画像を表示して撮像した第２画像とを用いて、第１画像から環境照明（反射された周囲の照明）の効果が現れていない領域を測定し、当該環境照明の現れていない領域に対応する第２画像の領域を用いて色調整を行う発明が提案されている。

特開２０１３−１０６３４７号公報 米国特許第９３９０６４６号明細書

ここで、ディスプレイを隣接させて構成したマルチディスプレイ構成にしたディスプレイの色較正等を行う場合、色測定装置を使用して色較正等をしようとすると、色測定装置は一度に一つの画面の位置で、色を測定することしかできないため、色測定装置を随時移動させる必要があり、手間がかかるという問題があった。また、ディスプレイにおいて環境照明によって照らされている部分があまりに広い場合は、色較正等に用いることのできない領域が広くなってしまうという問題があった。

上記事情に鑑み、本発明は、表示装置の表示画面を撮像した撮像画像から環境光の影響を適切に除去することにより、前記表示装置の表示補正を適切に行うことが可能な表示補正装置等を提供することを目的としている。

上述した課題を解決するために、本発明の表示補正装置は、
表示画面に画像が表示可能な表示装置の表示補正を行う表示補正装置であって、
前記表示装置が環境光測定状態のときの表示画面が撮像された第１撮像画像から、環境光の特性を算出する環境光特性算出手段と、
前記表示装置が通常状態のときの表示画面が撮像された第２撮像画像から前記表示装置の環境光下の表示特性を算出する環境光下表示特性算出手段と、
前記環境光下の表示特性から、前記環境光の特性を除去することにより、前記表示装置の表示特性を算出する表示特性算出手段と、
前記表示装置の表示特性に基づいて、表示補正を行う表示補正手段と、
を備えたことを特徴とする。

本発明のプログラムは、
表示画面に画像が表示可能な表示装置の表示補正を行うコンピュータに、
前記表示装置が環境光測定状態のときの表示画面が撮像された第１撮像画像から、環境光の特性を算出する環境光特性算出機能と、
前記表示装置が通常状態のときの表示画面が撮像された第２撮像画像から前記表示装置の環境光下の表示特性を算出する環境光下表示特性算出機能と、
前記環境光下の表示特性から、前記環境光の特性を除去することにより、前記表示装置の表示特性を算出する表示特性算出機能と、
前記表示装置の表示特性に基づいて、表示補正を行う補正機能と、
を実行させることを特徴とする。

本発明の表示補正システムは、
撮像装置と、表示画面に画像が表示可能な表示装置と、表示装置の表示補正を行う表示補正装置と、を備えた表示補正システムであって、
前記撮像装置は、
前記表示装置が環境光測定状態のときの表示画面を撮像した第１撮像画像を前記表示補正装置に送信し、
前記表示装置が通常状態のときの表示画面を撮像した第２撮像画像を前記表示補正装置に送信し、
前記表示補正装置は、
前記撮像装置から受信された第１撮像画像から環境光の特性を算出し、
前記撮像装置から受信された第２撮像画像から前記表示装置の環境光下の特性を算出し、
前記環境光下の表示特性から、前記環境光の特性を除去することにより、前記表示装置の表示特性を算出し、
前記表示装置の表示特性に基づいて、前記表示装置の表示補正を行う、
ことを特徴とする。

本発明によれば、撮像装置を用いて撮像した画像に基づいて表示補正を行うため、色測定装置を随時移動させるといった手間を省くことができる。また、ディスプレイ装置を撮像した画像から、環境光の特性を除去した環境光除去後データを用いて表示補正を行うため、環境照明によって照らされている部分が広い場合においても、表示補正を行うことが可能となる。

ムラ検出システムシステムを示した図である。 不均一性の補正の処理を示した図である。 画像装置と、マルチスクリーンディスプレイと、コンピュータとを用いた、表示補正システムの具体例を示した図である。 マルチディスプレイの色較正の処理を示した図である。 マルチディスプレイのムラ補正の処理を示した図である。 ディスプレイの色測定の処理を示した図である。 ディスプレイの色測定における環境光の反射に対する処理を示した図である。 ディスプレイの色測定における環境光の反射に対する処理を示した図である。 ディスプレイの電源を切る事による環境光の推定を示した図である。 閾値による反射された環境光の推定を示した図である。 区分化とヒストグラム解析による反射された環境光の推定を示した図である。 環境光の反射の推定に対する区分化とヒストグラムの結果を示した図である。 ディスプレイモデルを用いた光漏れとガンマ値の推定による環境光の反射の推定を示した図である。 ディスプレイモデルを用いた光漏れとガンマ値の推定に対する結果を示した図である。 ガンマ値推定を示した図である。 ガンマ値推定を示した図である。 色測定に対するシャッター時間の制御手法を示した図である。 色測定に対するシャッター時間の制御手法の代替方法を示した図である。 表示補正システムの別の実施形態の処理手順を示した図である。

以下、本発明の実施の形態について、図面を参照して説明する。本実施形態において、表示装置とは液晶ディスプレイや、プラズマディスプレイや、有機ＥＬディスプレイ等のフラットパネルディスプレイをいい、これらをディスプレイ装置という。また、表示補正とはディスプレイ装置の特性を既知の状態に調整したり、マルチディスプレイ環境においてはマルチディスプレイを構成するそれぞれのディスプレイ装置が実質的に同じ外見となるように調整したりすることをいう。ここで、ディスプレイ装置の特性（表示特性）とは、主にディスプレイ装置の光出力による光特性であり、色温度、輝度、階調値、ガンマ値などをいう。また、表示補正として実施する具体的な補正方法として、表示の不均一性を補正するムラ補正や、ディスプレイ装置が十分な色の正確さをもたらすようにディスプレイ装置のパラメータを調整する色較正を行うものとして説明する。

ムラ検出システム１００について、図１を参照して説明する。まず、撮像装置を用いて、ディスプレイの画像を撮像する（１１０）。例えば、色測定装置等の、いずれの撮像装置によって、ディスプレイ上に表示された均一なグレースケール又はカラーのディスプレイの画像を、十分に高解像度で撮像する。

ニュートンリングムラの場合、これは、一般的に、ディスプレイ上の直径約１０画素以下の小さな円形の斑点である。一般的にムラは、表示された画面の暗い部分において特に目立つ傾向がある、輝度の変化における不均一なパッチである。ある場合では、外部光源とともにディスプレイを明るくすることも望ましい。外部光源によって明るくされたディスプレイの撮像された画像１１０には、ディスプレイ全体に渡って不均一な明るさが分布することになるが、これは、不均一性正規化処理によって減らすことができる（１２０）。

多くの場合、自己発光をするディスプレイでは、測定のために外部の光源を必要としないが、野外でのディスプレイの色補正や較正に対しては、外部の光源を必要としてもよい。また、このようなムラに関する技術としては、例えば、米国特許第８７８００９７号には典型的なムラに関する手法が開示されている。本願明細書において、その内容の全体が取り入れられるものとする。

また、図２は横軸にＣＣＤの画素のＸ座標上の位置を取り、縦軸に強さをとったグラフである。ここで、中心部を照らされたディスプレイにおいて、ディスプレイの水平方向全体で調整して測定された不均一性のグラフ２００は、不均一性正規化処理（１２０）によって、水平方向に均一化された輝度のグラフ２１０に修正される。必要に応じて、ディスプレイの縦方向全体の不均一性も、不均一性正規化処理（１２０）によって、垂直方向に均一化された輝度に補正することができる。

空間領域とは反対に、周波数領域においてムラの検出がされる。この周波数領域における検出とともに、ディスプレイの明るく照らされた部分の境界線が、高周波数の反応を示す傾向にある。誤検出の可能性を減らすために、境界検出処理１３０によって、ディスプレイ上の境界線部分を特定し、取り除く。この結果、ディスプレイの明るく照らされている部分のみが、ムラ検出に用いられる。ムラ検出処理１４０は、ディスプレイのムラ領域を特定するのに使われる。

ムラの検出と調整はディスプレイの３ｘ３アレイのようなビデオウォールのマルチディスプレイにも拡張される。さらに、ムラ検出及びムラの調整は、１または複数のディスプレイの劣化といった変化が原因でディスプレイを設置した後にも必要とされる。

色較正は、単一のディスプレイの表示特性や、デジタルサイネージのようなビデオウォールのマルチディスプレイの表示特性を向上させることとなる。色較正は、ディスプレイ内又はビデオウォールの隣接したディスプレイ間における明らかな色ズレが観察される可能性を減らすことができる。また、色較正は、１又は複数のディスプレイの劣化といった変化が原因でディスプレイを設置した後にディスプレイ又はビデオウォールのディスプレイに適用することができる。

１又はビデオウォールのような複数のディスプレイの色を較正する典型的な手法は、XRite i1Display ProやDatacolor Spyder Proといった接地型測色計や、Konica-Minolta CS-2000 spectroradiometerやKonica-Minolta CS-200 color meterといった遠隔一点測定装置を使って、１又はビデオウォールの複数のディスプレイの様々な場所の色を順次測定することである。測定されたディスプレイの色値に基づいて、ソフトウェア又はハードウェアによる色処理が、ビデオウォールの全てのディスプレイにおける色の見え方を均一にし、そうでなければ、単一のディスプレイの色の見え方を調整する。

上述したように、色較正の処理は時間がかかり、多くの人手を要する。例えば、ビデオウォールの設置要因や保守要因は、ディスプレイの色の状態を測定するために、ビデオウォールの各ディスプレイに物理的に接地型測色計を設置しなければならないし、もしくは、遠隔一点測定装置を目標に向けなければならない。さらに、接地型測色計や遠隔の一点色測定装置は一度に一つの画面の位置で、色を測定することしかできない。

それゆえ、もしビデオウォールにおける全てにディスプレイの、表示画面領域の複数の場所で色を測定しなければならない場合、より一層の人手を要してしまう。また、別の問題として、一点測定装置が、画素方式の不均一性の補正を容易にしないことであり、これにはイメージセンサ（撮像センサ）を必要とする。それゆえ、ムラから生じるような不均一性の補正は、ビデオウォールの設置や保守処理中において行うことができない。

一点測定装置の制約を克服するために、一点測定装置よりも、測定されるべき領域の実質的に２次元以上の視点を含むデジタル撮像装置を用いることが望ましい。さらに、デジタル撮像装置は、色較正と不均一性の補正のための１または複数のディスプレイの主な空間領域のディスプレイの色を、同時に測定することができる。

残念なことに、消費者向けのデジタル一眼レフカメラや、安価な産業用カメラなどの大多数の撮像装置は、色の精度が厳しく制限される。制限された色の精度は、撮像装置の分光感度と人の等色関数における相当の不一致や、画像センサの相当な不均一や、画素位置の関数としての相当な光減衰といった、幾つかの異なった制約をもたらす。制約された色の精度は、光のスペクトルや測色計の精度に相当影響を与える傾向がある。さらに、環境光条件は、撮像装置の色測定の精度に実質的な影響を与える傾向にある。

それゆえ、とりわけ変わりやすい環境光条件のもとで、１又は複数のビデオウォールのディスプレイにおける色較正と不均一性の補正のために、一般的にカメラと呼ばれる色測定装置（例えば撮像装置）を用いることは重大な問題である。色較正と不均一性の補正に対して、撮像装置をより有効的に用いるには、ディスプレイの色測定の正確性を増すために、ディスプレイの表示面から反射された環境光の影響を減らすことが望ましい。環境照明とディスプレイの表面からの物体反射とを検出し、修正する結果として、一つ又は複数のディスプレイの設置中または設置後に発生するような、理想的な状態（全体を暗い部屋とする）より以下での状態で適用される、より正確な色較正やムラ補正が可能となる。

ここで図３を参照して、特にマルチディスプレイの色較正システムについて説明する。ここでは、色測定装置３００が使用され、予め定められた一組の色に対する各ディスプレイの主要な空間領域に表示された色を測定する。ディスプレイ３１０から感知された画像は、コンピュータ３２０（例えば、デスクトップコンピュータや、サーバ又はその他の情報処理装置）によって処理される。

図３の色測定装置３００を用いた色較正手法の具体例を図４に示す。色測定装置３００によって撮影された撮像画像から、表示特性を算出し、表示特性に基づいて色較正を行う。ここでは、表示特性として色（例えば、階調値や、色温度等）を利用した場合について説明する。

ここで、タイル状に並べられた一組のディスプレイ又は単一のディスプレイの装置の特性が、環境照明によって、同じようにまぎれることに注意すべきである。たとえば「較正」は、適切な特性が達成されるまでに、ディスプレイパラメータを調整することとして定義される。

たとえば、出力の特性は、ディスプレイに接続されたコンピュータによって、表示するように意図された画像に適用されるディスプレイプロファイルであったりする（例えば、ＩＣＣ（International Color Consortium）プロファイル）。そこでは、ｓＲＧＢ画像は、ｓＲＧＢ画像に対応した目標のＣＩＥ ＸＹＺを達成する装置のＲＧＢ値となる。タイル状に並べられたディスプレイを動作させるコンピュータは、タイル状に並べられた全てのディスプレイにおいて、正確な色が得られるように、それぞれのタイル状のディスプレイに、それぞれ対応するＩＣＣプロファイルを適用する。

まず、色測定装置３００は、予め定められた色に対して、表示画面上の色の測定をする（４００）。それぞれのディスプレイに対する一組の１又は複数の較正用の画面上の場所（１又は複数の画素の集合）が、色較正に使用するために選択される（４１０）。

それぞれの画面上の箇所の色較正の手法の具体例の一つには、予め定められた一組の色（４００）に基づいて、ディスプレイの色の正確性を評価するために、１又は複数のディスプレイの場所の黒点と、白点と、ガンマ値の計算が含まれる（４２０）。ここで、１又は複数の点は、環境光の反射が最小限か、まったくないディスプレイの領域である。例えば米国特許第８７７３４５１号は、ディスプレイのための色補正方法及び装置について開示しており、参照することによって、本願明細書にその全体を取り入れる。例として、ディスプレイの黒点、白点及びガンマ値が、十分な色の正確さを有するディスプレイをもたらすかどうかの決定がなされる（４３０）。

黒点、白点及びガンマ値が、それぞれのディスプレイに対して十分満たしていれば、色較正は完了する（４３０；Ｙｅｓ→４４０）。黒点、白点及びガンマ値がそれぞれのディスプレイで十分に満たしていない場合は（４３０；Ｎｏ）、十分に満たしていないそれぞれのディスプレイパネルのディスプレイパラメータが調整される（４５０）。ディスプレイパラメータの調整の後、予め定められた色に対して、表示画面の色を色測定装置３００が測定する（４００）。それぞれのディスプレイの黒点と白点とガンマ値とが色精度を満たすまで、この処理が繰り返されて、色較正が完了する。色較正の結果、ビデオウォールの各ディスプレイは、実質的に同じ色の外見を示すようになる。

つづいて、図３の色測定装置３００を用いたムラ補正の手法の具体例を図５に示す。色測定装置３００は、撮影された撮像画像から、表示特性を算出し、表示特性に基づいてムラ補正を行う。ここでは、表示特性として色（例えば、階調値や、色温度等）を利用した場合について説明する。

まず、予め定められた一組の色に対して、画面上に表示された色を測定する（５００）。表示画面の色の測定は、予め定められた一組の色に対する、１又はタイル状のディスプレイの、全て又は主要の部分空間であってもよい。感知された予め定められた一組の色（５００）のそれぞれに対して、システムは、それぞれの表示画面の色の均一性を解析することができる（５１０）。たとえば、表示画面の画素のそれぞれは、表示画面内の色の変化を判定するために解析されるＣＩＥ ＸＹＺといった比色分析の値を含む。色の均一性が十分満たされているかどうかの判定がなされる（５２０）。

もし、それぞれのディスプレイの色の均一性が十分に満たされていれば、ムラ補正は完了する（５２０；Ｙｅｓ→５３０）。もし、それぞれのディスプレイの色の均一性が十分に満たされていなければ（５２０；Ｎｏ）、ディスプレイの色のモデルパラメータのセット５４０に基づいて、システムはムラ補正のパラメータを計算する（５５０）。

計算されたムラ補正のパラメータ（５５０）は、それぞれのディスプレイパネルに対してアップロードされる（５６０）。ディスプレイパネルにパラメータをアップロードしたあと（５６０）、色測定装置３００は、予め定められた一組の色に対して、表示画面の色を測定する（５００）。この処理が、それぞれのディスプレイに対して、色の均一性が満たされるまで繰り返され、ムラ補正が完了する。好ましくは、ムラ補正の結果、ビデオウォールのそれぞれのディスプレイは、実質的にムラのない外見を持つ。

図６を参照すると、色の均一性が制限されている装置を使用する能力を向上させるために、ディスプレイの色測定のための装置としてＰｏｉｎｔ Ｇｒｅｙ Ｒｅｓｅａｒｃｈ Ｉｎｃ．から入手可能な装置のような、特定の色測定装置の特性を特徴づけることが望ましい。色測定装置３００を用いて、１又は複数の表示画面の１又は複数の写真が撮像される（６００）。好ましくは、暗いノイズ特性などの平面較正データ（６２０）に基づく平面補正（６１０）が、撮像された画像に適用される。

平面補正（６１０）のあと、幾何学較正データ（６４０）に基づく幾何学補正（６３０）が、平面補正をした画像に適用される。平面補正（６１０）と幾何学補正（６３０）に基づき、システムは、ディスプレイの配置構成データ（６４５）に基づく位置合わせ補正によって、画面領域を抽出する（６５０）。ディスプレイ配置構成データは、撮像された画面内のそれぞれのディスプレイの位置を識別する。画像処理は、（レンズゆがみ修正のあと）撮像された画像のそれぞれの画面における画素の位置の推定のため、それぞれの画面上に連続的に表示されたチェス盤状の目標画像に基づく。

レンズ補正がされた画像は、それぞれの画面のスクリーン画素内の抽出した画像に対応付けられる。位置合わせ補正（６５０）を基に、色較正のために、色較正データ６７０による色補正（６６０）が用いられる。例えば、色補正は米国特許出願公開第２００５／０１１７１８６号明細書に基づいており、全体として本明細書において参照し取り入れる。色補正（６６０）の結果のデータが、表示画面の色測定データとなる（６８０）。

平面補正（６１０）は、色測定装置の不均一性を特徴づけるために、均一な光源を用いる。これらの不均一性は、イメージセンサや光学センサによって引き起こされる人工的な影響を減らすために、それぞれの撮像された画像において修正される。画像の幾何学補正（６３０）は、ＯｐｅｎＣＶなどのコンピュータビジョンのオープンソースライブラリによってなされる。カメラとレンズによって起こる幾何学的なゆがみは、内在的なパラメータと呼ばれる。現場における、物体に対する色測定装置の相対的な位置（例えばディスプレイの表示面）は、外見又は外在的なパラメータと呼ばれる。

ディスプレイの色測定のために、色測定装置は、Ｋｏｎｉｃａ−Ｍｉｎｏｌｔａ ＣＳ−２０００、ＣＡ−１０００、ＣＡ−２０００、Ｋｏｎｉｃａ−Ｍｉｎｏｌｔａ ＣＳ−２００などの、実質的により正確な色測定装置に対して較正される。色測定装置と機器は、同じ組のディスプレイの色の測定に用いられ、色撮像装置のＲＧＢ値を比色分析値（例えば、ＣＩＥＸＹＺ）に変換するカメラ色較正変換を生成する。

色較正した色測定装置であっても、比較的弱い環境光が含まれる条件において、正確な色較正とムラ補正を達成するには、まだ問題がある。接地型測色計とは違って、表示画面からの環境光の反射は、色測定装置による色測定の正確さに、実質的に悪影響を与える。

すなわち、ステップ６００のように、ディスプレイを撮像した画像の特性は、一般的に、表示特性に、環境光の特性（環境光特性）の影響が含まれている。ここで環境光特性とは、環境光がディスプレイの表面で反射することによる光特性である。したがって、１又は複数のディスプレイ（例えばマルチディスプレイ）の色較正とムラ補正において、環境光特性の影響を減らすことが望ましい。

なお、環境光特性は、厳密には例えば室内等のディスプレイ装置の設置場所における環境光の特性（例えば、明るさ、色、色温度等の色に関する属性）をいう。これを測定するためには、簡易的にディスプレイの表示画面に反射した光の特性を利用する。なお、反射した光には、例えばバックライトから発する光や、ディスプレイの材質による反射率の違い等が生じるが、いずれかの公知の方法を利用することにより、その影響を除外することができ、除外された反射された環境光は、環境光と同じものとして利用可能である。

図７Ａを参照すると、特定の環境において、反射された環境光（詳細は後述する）を推定し（７００）、１又は複数のディスプレイ（例えばマルチディスプレイ）の色較正やムラ補正における色測定において、反射された環境光の影響を減らす。推定された環境光の反射（７００）に基づいて、システムは測定された一組の色（７２０）の測定に基づいて、画像撮像パラメータ（７１０）を最適化する。好ましくは、色較正とディスプレイの特徴づけにとって、ディスプレイの選択された領域は、実質的に反射された環境光がないことがよい。システムは、測定された色（７２０）に基づいて、表示された画像を撮像し、処理する（７３０）。処理された表示画像（７３０）は、推定された環境光の反射（７００）の影響を取り除くことで、環境光の反射により撮像された画像を、修正する（７４０）。色補正（７５０）は、色測定結果（７６０）を生成するために、修正された画像（７４０）に適用される。図７Ｂを参照すると、強い鏡面反射からなる画像を再撮像するためにカメラを動かすことで（７７０）、別の手法を用いることができる。一般的に、システムは、望ましいディスプレイに関する特性を決定するために、適切な方法で、環境光に基づいて、撮像した画像を修正する。

図８を参照すると、１又は複数のディスプレイからの反射された環境光を推定する（７００）具体的な手法の一つは、ディスプレイの電源を切り（８００）、反射された環境光が存在する条件（８１０）で、１又は複数の表示画面の画像を撮像するために色測定装置を使用することである。環境光の反射を撮像したあと（８１０）、ディスプレイの電源が入れられる（８２０）。撮像された画像８１０は、各々の表示画面及び好ましくは各々の表示画面の異なる領域に対する環境光の推定を決定するために、色測定装置によって処理される（８３０）。それぞれの表示画面に対する環境光の推定の結果（８３０）は、反射された環境光の推定（７００）として用いられる。それぞれの表示画面の環境光の推定は、図７Ａ及び図７Ｂにおける環境光の反射の除去に用いられる。ディスプレイの電源を切る事の一つの利点は、視野角特性による減衰や、暗いディスプレイでは目立つ傾向にあるムラの不均一性などの、ディスプレイの均一性に関する不自然な影響を区別し取り除くことで、環境光の反射が推定されることである。

残念なことに、環境光の反射は、程度に依存する傾向にあり、ディスプレイの画素、バックライトの強さ、及び、ディスプレイの光学的な層特有の設計に依存する。さらに、ディスプレイの電源を切り、また点けることは、時間がかかる傾向にあり、タイル状に配置された大きなディスプレイでは特に問題がある。そのうえ、多くのアプリケーションがグラフィカルなコンピュータシステムにより実行されているディスプレイを消して点けることで、コンピュータのウィンドウシステムにタイル状のディスプレイの幾何学的構成を再構築させる事が引き起されることにもなりえる。これは、ディスプレイを切ったり点けたりするたびに、ディスプレイの幾何学的再構成が必要とされ、時間のかかる処理である。

電源を切らないで反射された環境光の特性を推定する方法を、図９に示す。この図の目的としては、反射された環境光は、ディスプレイ上の色とは独立しているという簡単な仮定をすることである。ディスプレイの物理的制約を考えると、好ましくは、できるだけディスプレイを黒に近づけるため、ディスプレイの光出力を無効化する（そうでなければ減らす）（９００）。色測定装置は、ディスプレイのそれぞれの黒画像を撮像する（９１０）。多くの場合、ディスプレイの異なる各々の領域は、目で見ることができる、ディスプレイの黒画像からの、比較的小さい環境光を反射する。環境光の反射を含む黒画像の撮像画像（９１０）は、そのような環境光の反射を識別するために処理される。一例として、環境光反射の閾値９２０は予め設定されてもいい。その環境光反射の閾値９２０は、撮像された黒画像９１０に基づき修正される（９３０）。そして、実数値を絶対値化（９４０）することで、反射された環境光が推定される（７００）

電源を切らないで反射された環境光を推定する方法の代替方法を、図１０に示す。この図の目的としては、反射された環境光は、ディスプレイ上の色とは独立しているという簡単な仮定をすることである。ディスプレイの物理的制約を考えると、好ましくは、できるだけディスプレイを黒に近づけるため、ディスプレイの光出力を無効化する（そうでなければ減らす）（１０００）。色測定装置は、ディスプレイのそれぞれの黒画像を撮像する（１０１０）。多くの場合、ディスプレイの異なる各々の領域は、目で見ることができる、ディスプレイの黒画像からの、比較的小さい環境光を反射する。環境光の反射を含む黒画像の撮像画像（１０１０）は、そのような環境光の反射を識別するために処理される。例を示すと、非環境光反射の閾値１０２０は、撮像された黒画像１０１０に基づいて、適切な方法で決定される。この例では、ディスプレイが、環境光を有すると考えられる領域と、環境光を有しないと考えられる領域とに区分される。非環境光の閾値１０２０は、撮像された黒画像に基づき修正される（１０３０）。そして、実数値を絶対値化（１０４０）することで、反射された環境光が推定される（７００）

図１１（ａ）に、区分の手法の具体例が示されている。図１１（ａ）は、Ｙ_{ｂｌａｃｋ}＜１ｃｄ／ｍ^２を示している。すなわち、白い部分は、環境光がないと考えられる領域を示し、当該領域は輝度が１ｃｄ／ｍ^２未満であることを示す。図１１（ｂ）を参照すると、推定を決定するために用いられる非環境光領域の色値が、ＣＩＥの輝度のヒストグラムとして図示されている。非環境光における主要な色は、非環境光領域における偏差尺度として、また、中央値又は中間色として要約される。閾値は、撮像した黒画像を環境光領域と非環境光領域とに分けるために定義されている（例えば、平均＋３標準偏差）。改められた閾値は、撮像された画像から差し引かれ、環境光の反射を識別する。

ディスプレイの電源を切らないで反射された環境光を推定する代替方法は、異なるグレーレベルの画面を多く測定することを含む。多くのディスプレイでは環境光の反射は異なる均一に表示された色に亘って一定である。一方では、不均一性は階調に依存している。非環境光領域の現在の推定を考えれば、この領域は、より高階調のグレー画像の撮像に適用される。環境光があると考えられる領域において、表示されたグレー値が推定されれば、環境光は、この撮像された画像から推定される。

環境光の推定は、非環境光の境界値から、内挿又は外挿により求められる。例えば、境界値からバイリニア補完が適用される。別には、内挿の手法は、理想的なディスプレイに由来するテンプレートによって誘導される。テンプレートには、ディスプレイの視野角の影響のような要因も含まれる。視野角の影響について説明すると、理想的なディスプレイの視野角特性の挙動に依存して、非環境光の境界から外挿された値は、より明るいか、より暗い（たとえば、ディスプレイは、典型的に、中心が明るく、視野角によって、水平又は垂直の端の近くで輝度が低下する）。環境光の反射がディスプレイの中央付近に起こった場合は、環境光があると考えられる領域の推定値は、それとは別に簡単な内挿によって予測されたものと比べて輝度が高い。

環境光があると考えられる領域に対する推定値が求められたあと、この画像は期待された理想的で、暗い部屋におけるディスプレイの測定値とみなせる。与えられたグレーレベルにおいて、推定された環境光を形成するために、この推定値は測定画像から差し引かれる。この処理を、グレーレベルの範囲全体で繰り返すことで、複数の環境光の反射の推定が導かれる。所望するのであれば、異なるディスプレイレベル範囲に及ぶ複数の推定値から重み乗算方式により１つの環境光の反射の推定値に合わせられる。グレーレベル範囲に及ぶ複数の推定値を活用することで、より正確な環境光の反射の推定を行うことが可能になる。なぜなら、ムラの影響は、単一のグレーレベル（黒画像に相当するような）から導出された環境光の反射の推定に依存することよりも、よりよく除去できるからである。

ディスプレイの電源を切らずに、反射された環境光を推定する方法が、図１２に示されている。これもまた、グレーレベル全体に渡る測定と、ディスプレイの表示動作の知識も用いる。この説明のために、ディスプレイは、測定された輝度が表示レベルの累乗に比例するガンマ特性のような動作をすると仮定する。高い環境光条件下におけるディスプレイの測定画像Ｉは、それぞれのディスプレイ応答に加えられた固定の環境光と仮定して、式（１）に示すように分解できる。ただし、式（１）において、ｖはグレーレベルを表し、０以上１以下の値を取る。

ここで、式（１）のＩ（ｖ）_ｄｉｓｐを式（２）のように近似する。式（２）において、ｆ（）はディスプレイの輝度応答関数であり、ｘはＣＩＥ ＸＹＺ値のベクトルである。漏出した光は、黒い画面に対して測定されたＣＩＥ ＸＹＺの値であり、バックライト付きのディスプレイに対しては、ＬＣＤ素子によって送信されるバックライトの量を表す。さらに、ディスプレイはガンマ関数と近似すると仮定する。

ここで式（２）について輝度Ｙだけ考慮した式を、式（３）に示す。

光漏れと、白色と、ガンマ値の推定値が与えられると、環境光の反射の要素は、式（４）のように推定される。このように、ディスプレイの白色と、光漏れと、ガンマ値の推定値が与えられると、測定値は修正されて、各々の画素に生じる環境光の推定が求められる。

低い環境光領域における光漏れの輝度画像は、次のようにして推定される。
（ａ）望むのであれば、確率論的な改善と決まった閾値を用いた非環境光領域の識別によって。具体例を、図１３（ａ）と図１３（ｂ）とを参照して説明する。図１３（ａ）は、Ｙ_{ｂｌａｃｋ}＜１ｃｄ／ｍ^２を示している。すなわち、図１３（ａ）において白い部分は環境光がないと考えられる領域であり、当該部分は輝度が１ｃｄ／ｍ^２未満であることを示す。また、図１３（ｂ）は、以下の式で表現される領域を示している。

すなわち、表示装置の各箇所において、当該箇所の輝度から、表示装置全体における輝度の平均を引き、さらに表示装置全体における輝度の標準偏差で割った値の絶対値を求め、その値が３未満である箇所を示したものである。

（ｂ）光漏れを１つの値（例えば最頻値、中央値、又は重み付けられた又は平均値）により、又は、各画素において空間的に変化する値により集約することによって。ここで、図１３（ｃ）には、低い環境光領域における輝度のヒストグラムが図示されている。

ガンマ値の画像は、ガンマ値を正規化した輝度反応曲線（グレー値の関数として測定された輝度）に合わせることにより、低環境光領域において推定され、そこでは各画素の正規化された色合いの反応曲線は、次のように与えられる。

図１４Ａと図１４Ｂに、非環境光の画素から推定されたガンマ値が図示されている。図１４Ａは横軸に入力を、縦軸に出力を取ったグラフである。また、グレーレベルに対する正規化された輝度の平均を、プラスマイナス１標準偏差のエラーバーを伴って描画したものである。適合したガンマ曲線が実線として示されている。図１４Ｂは、誤差の平方和を、ガンマ値の関数として図示したもので、横軸にガンマ値、縦軸に誤差の平方和を取ったグラフである。この例では、与えられたディスプレイに対して、ガンマ値２．３１が、非環境光領域において、正規化されたグレーの輝度にもっとも適合する値として与えられる。

標準化された色空間（例えばｓＲＧＢ）が基準であることから、多くのディスプレイでは、この種の動作を示すように設計されているのにもかかわらず、ガンマのようなディスプレイモデルを仮定することは必要ではない。ガンマのようなディスプレイモデルを仮定する代わりに、もし既知であれば、ディスプレイに対する任意の輝度反応関数がディスプレイに対して用いられたり、あるいは、望むのであれば、経験的に導き出された色合いの応答関数が用いられる。このようなカスタマイズされた輝度反応関数は、ディスプレイによる、ガンマのような動作の偏差によるエラーの減少により、正確さを向上させることができる。

色測定装置は、いくつかの自動利得および露光制御能力を含んでもよい。しかしながら、この種の装置で正確な色測定に用いるとき、自動制御機能を無効にして、プログラム制御によりすべてのカメラパラメータをダイナミックに設定することが好ましい。好ましくは、利得のパラメータは、できるだけ最低限に設定し、カメラノイズの影響を減らし、カメラのシャッター時間を調節し、カメラが撮像した画像全体において露光過度（たとえば、飽和状態）とならないように露光制御する。撮像されたカメラセンサ値は、露光時間全体に渡って比較できるようにするために、露光時間によって正規化される。このように、より長い露光時間は、暗い色の撮像画像のノイズをへらすことになり、それ相当のより高い色精度の測定が可能になる。

環境光の反射は、特に、環境光の反射が比較的大きく寄与している暗い色に対して、このようなカメラ露光制御工程を妨げる。カメラによって見られる強い鏡面反射がもたらされる環境光の反射の条件を考えると、ビデオウォール上の全ての表示画面に対するディスプレイの色測定の正確性を向上させるために、画像を撮像するためのカメラのシャッター時間を制御する手法が用いられる。

図１５は、カメラのシャッター時間を制御する具体例を図示している。システムは、カメラ全体のイメージが過度に露光しないことを保証するために、十分に短いシャッター時間から始まる。カメラ画像は、全ての表示画面に対して、画素ごとの画面の画像を得るために処理され、画面の画像は、比色分析の画像に変換される。

しかしながら、短いシャッター時間を用いて得られる色の測定は、より正確ではない。そこで、システムは、画面の一部分が過度に露光するまで段階的にシャッター時間を長くするようにする。部分的に過度に露光された画像が処理され、過度に露光していない画素の部分に対して、より正確な色の測定が得られる。最後に、複数のシャッター時間を使用した測定からの結果が組み合わされ、すべての表示画面に対する単一の色測定が作られる。そこでは、最も長いシャッターが用いられた結果が使われている。この工程により、より高い程度の（強い）環境光の反射が存在しても、表示画面を正確に撮像することができる。

もし、鏡面反射が強すぎれば、過度に露光していない画像を保証するために、非常に短いシャッター時間が用いられる。それは、強い鏡面反射を伴う画面領域に対して、色測定自体を非常に正確にするものではない。したがって、代わりの処理手法が望ましい。一般的に、露光されている画面の領域は、実質的な反射を含んでいない領域である。また、修正された画面領域は、実質的な反射を含んでいない領域であり、結果として、実質的な反射を伴う領域まで、吹き飛ぶことを許している。

図１６を参照すると、代わりの手法として、カメラの位置を変えて別な測定値を作ることを示している。鏡面反射は、カメラの見る角度に敏感影響するので、わずかにカメラの位置を変えることで強い鏡面反射領域を表示画面上の異なる位置に移動させることができる。システムは、異なるカメラ位置からの色測定の結果を解析し、これらを全ての表示画面に対する単一の結果に組み合わせる。

複数の有利な点から取り込んだものを組み合わせる方法は、カメラの位置に対する複数の位置合わせ較正によって可能となる。位置合わせ較正を考慮すると、カメラの画素位置が画面の画素位置に対応付けられ、複数の有利な位置からの結果を、単一のディスプレイ取り込み画像の推定に組み合わせることを可能とする。

画像の環境光の反射を推定するシステムを考慮すると、較正者は、明るい環境光の反射によってもたらされる正確さの問題点が知らされ、重なり合う鏡面反射を避けるための位置を選択することができる。

他に代わるものは、ディスプレイの色較正での強い鏡面反射を避けることを含む。マルチディスプレイの色較正に必要とされているのは、画面の幾つかの場所からの色測定だけであることから、もし本来の場所が鏡面反射のある領域に含まれるなら、システムは、鏡面反射をしていない隣接した場所を、較正のために使用する。ムラ補正に対しては、システムは強い鏡面反射の領域を検出し、ムラ補正処理からその領域を除外する。そして、環境光の反射の画像の推定のために、上述した類似の手法を用いて、これらの領域に対するムラ補正の結果は、隣接した領域の結果から内挿される。

例として、カラーマネジメントは、ディスプレイ装置によって適用される。画像データは、標準的な又は定義された色空間において受信され、ディスプレイ装置によって処理され、望ましい色出力を生み出す。

例として、カラーマネジメントは、ディスプレイとは別々に存在しているディスプレイコントローラによって適用される（例えば、接続されたコンピュータ上のディスプレイドライバ内、接続されたコンピュータのグラフィックスカード内、ディスプレイやディスプレイを駆動するコンピュータとは異なる中間装置）。この場合、色又は均一性処理は、ディスプレイコントローラにおいて適用される。ディスプレイコントローラからの出力画像データは、装置の色空間（たとえば装置依存のＲＧＢ又は装置依存のＹＣｂＣｒ）にあり、ディスプレイ装置に適用される。

例として、カラーマネジメントは、ディスプレイ装置に適用されるディスプレイコントローラに送信される前に、コンテンツに適用される。コンテンツは、画像データや、動画データや、又はＡＰＩによる描画コマンドから構成される（例えば、オペレーティングシステムのグラフィック描画インターフェイス、ＰＤＦ／ＰｏｓｔＳｃｒｉｐｔ描画コマンド、ＨＴＭＬ／ＳＶＧコマンド）。コンテンツを制御するソフトウェアアプリケーションは、コンテンツを送信する前に又はディスプレイコントローラにコンテンツを描画する前に、コンテンツに対しカラーマネジメントを適用する。

一般的に、ディスプレイ上に続けて表示されるように修正されたいかなる画像も、表示コンテントと呼ばれる。

つづいて、別の実施形態を示す。この実施形態は図７Ａと図８とを図１７に置き換えたものである。この実施形態では、はじめに環境光について、撮像された撮像画像から、環境光の特性を算出する。つづいて、環境光が含まれた撮影画像から環境光の特性を除いたディスプレイ装置の表示特性を算出する。

はじめに、環境光の特性を決定するために、環境光下において、１又は複数のディスプレイを撮像装置で撮像し、撮像した画像を第１撮像画像として検出する。ここで、１又は複数のディスプレイは、電源を切っているか又は第１表示画像を表示する。

なお、第１撮像画像は必ずしも単一の画像である必要はなく、時間をずらして撮像した複数の撮像画像であってもよい。また、第１撮像画像は、１又は複数のディスプレイの全体を撮像したものであってもよいし、その一部を撮像したものであってもよい。

第１撮像画像は、環境光の特性を決定するための画像である。環境光の特性を決定するためには、表示特性の影響が小さい方が望ましいため、第１表示画像は黒画像またはそれに近いグレーレベルの画像を用いることが望ましい。

ここで黒画像とは、液晶ディスプレイ装置の場合は、ディスプレイのバックライトを完全に消灯させた状態、または液晶の表示状態を黒表示にした状態であり、いずれにせよ画面に何も表示させない状態を意味する。グレーレベルとは、白表示よりも輝度が小さい所定の輝度値で画面を一様の輝度で表示させる状態を意味する。

第１撮像画像とは、上述のように撮像装置で撮像した画像であり、言いかえると、撮像装置の撮像解像度で区切られた各画素における２次元座標とそれに対応する輝度または色度の度合を記述した情報である。

輝度、色度の度合とは、一例としては、ＣＩＥ ＸＹＺ値やＣＩＥ Ｌａｂのような色空間情報（表色系）のそれぞれ輝度、色度の階調値である。また、別の例としてＲＧＢ表色系である。なお、ＣＩＥ ＸＹＺ値やＣＩＥ Ｌａｂのような色空間情報(表色系)では、輝度と色度の情報を個別の階調値で記述するものではなく、１つの階調値が輝度と色度の情報を両方含んでいるが、このような記述方法であってもよい。

図１７を参照して、ディスプレイの表示特性を決定するフローについて説明する。はじめに、環境光測定状態に切り替え（１７００）、ディスプレイの表示画面を撮像装置で撮像する（１７１０）。

ここで、ディスプレイにおける環境光測定状態とは、環境光下において、撮像対象のディスプレイの電源を切るか、バックライトをオフにするか、輝度を落とすかといった表示装置の状態を切り替えるか、ディスプレイに環境光測定用の画像として第１の表示画像（例えば、「黒画像」）を表示する状態をいう。環境光測定状態は、表示画面がいわゆる「黒画面」となることから、環境光の反射のみが画像に撮影されることになり、反射された環境光の特性が画像から算出することが可能となる。すなわち、ステップ１７１０で撮像された画像は、環境光の特性を決定するための第１撮像画像である。

つづいて、第１撮像画像に基づいて環境光の特性（環境光特性）を算出する（１７２０）。環境光特性とは、第１撮像画像から算出されるディスプレイ装置の複数の箇所それぞれにおける環境光の影響の度合いの情報を意味する。すなわち、ディスプレイ装置に対する環境光の反射光の特性を利用することにより、環境光の特性を算出・決定する。

ここで、環境光の特性は、第１撮像画像から、輝度又は色度の分布情報を利用することによって算出される。なお、撮像された画像から光の特性を算出する場合は、カメラ特有の情報が利用されても良い。例えば、シャッター速度、絞り等の撮影条件や、周辺光量等のレンズに関する情報といったものが利用される。

環境光の影響の度合いは、本実施形態においては、輝度又は色度の度合として表わされる。具体的には、環境光下において第１撮像画像で実際に測定された輝度または色度の度合から、環境光がない暗室でかつ同じディスプレイ状態で表示、測定された輝度または色度の度合（予め測定された既知の値）を差し引いた値である。

ここで、環境光特性を算出する方法として最も単純な方法は、第１撮像画像から算出される特性を、そのまま環境光特性とする方法である。この方法は、ディスプレイからの光出力による光特性による影響が十分に小さくて無視することができ、それ以外の要因についても無視できる場合には特に有効である。

しかし、この方法に限定される必要はなく、例えば第１撮像画像に対して以下のような処理を行ったものを環境光特性としてもよい。たとえば、第１撮像画像の撮像条件として露光時間が設定されている場合は、露光時間を用いて正規化（実際の露光時間と異なる全て同一の特定の露光時間に合わせた場合の数値に変換）を行ってもよい。

また、第１撮像画像におけるディスプレイからの光出力による光特性による影響が無視できない場合は、第１撮像画像からこの影響を除去する処理を行ってもよい。例えば、環境光測定用画像として黒画像が表示されている場合、バックライトが点灯することにより、環境光の測定に影響を及ぼす場合がある。この場合、バックライト分の影響を除去した上で、環境光の特性を算出・決定してもよい。

また、必ずしも第１撮像画像と同じ解像度で環境光特性を決定する必要は無く、必要に応じて解像度を低下させ、より少ない箇所において環境光特性を決定してもよい。

この場合、第１撮像画像をもとに、指定箇所に対応する画素の環境光特性を抽出してその指定箇所の環境光特性としてもよいし、別の方法としては、指定箇所に対応する画素とその周辺画素を含む領域の画素の環境光特性の平均値をその指定箇所の環境光特性としてもよい。具体的には、画面を２次元的に等間隔に区分した領域の中心部を指定箇所として画素の環境光特性を抽出する。

一般的に、ディスプレイ装置内での輝度ムラや色度ムラなどのムラ補正を行う場合は、高い解像度の補正用データが必要なため、環境光特性も高い解像度で決定されることが望ましい。一方で、ディスプレイ装置の所定位置での輝度値や色度の校正を行う場合にはそれよりも低い解像度で十分である場合が多い。

一例として、表示補正のモードに応じて、撮像される解像度を切り替えることができる。例えば、シングル（単体）ディスプレイに対する表示補正モードの場合は、撮像装置３００の設定を高解像度（例えば、画像サイズとして１０Ｍピクセル）に設定し、撮像される。また、マルチ（複数）ディスプレイに対する表示補正モードの場合は、撮像装置３００の設定を低解像度（例えば、画像サイズとして２Ｍピクセル）に設定し、撮像される。

なお、マルチディスプレイに対する表示補正モードの場合は、各ディスプレイ装置を撮像してもよいし、ディスプレイ全体が撮像されてもよい。また、撮像される画像としては１つのサイズ（解像度）であるが、処理する場合に解像度を変換してもよい。すなわち、マルチディスプレイモードの場合は、解像度を落として処理を実行してもよい。

また、マルチディスプレイの場合は、隣接する第１ディスプレイ装置と第２ディスプレイ装置とのうち、第１ディスプレイ装置内の画面端近傍の第１の箇所と、第２ディスプレイ装置内の画面端近傍であって第１の箇所と隣接する第２の箇所とにおいて環境光特性を決定することが望ましい。この場合、第１ディスプレイ装置と第２ディスプレイ装置との境界部においてキャリブレーションを高精度に行うことができる。

つづいて、環境光特性を除いた撮像画像を生成する。具体的には、上記第１撮像画像が撮像されたディスプレイに、表示特性測定用の画像（表示特性測定用画像）として第２表示画像を表示したものを撮像装置３００で第２撮像画像を撮像する。なお、第２撮像画像は、時間をずらして撮像した複数の画像であってもよい。また、第２撮像画像は、１又は複数のディスプレイの全体を撮像したものであってもよいし、その一部を撮像したものであってもよい。

第２撮像画像は、環境光特性の影響を除去したうえで、その後に表示補正として、輝度や色度の補正（キャリブレーション）を行うための補正用データを取得するための画像である。ここでいう補正とは、ディスプレイの所定位置において輝度や色度が適正になるように補正すること以外に、ディスプレイ面内における輝度や色度の二次元的な分布が均一になるように補正するムラ補正が含まれる。第２撮像画像は、ディスプレイの表示特性と、環境光特性の両方が含まれている。

ここで、第２撮像画像は、環境光特性の影響を除外したディスプレイの表示特性を補正用データとして用いるため、第１撮像画像とは反対に、表示特性の影響が大きくなっている方が望ましい。このため、ディスプレイの表示される表示特性測定用画像である第２表示画像は、環境光測定用画像の第１表示画像よりも表示特性の影響が大きくなる画像を選択することが望ましい。

第２表示画像の一例としては、白画像、第１表示画像よりも輝度が大きいグレースレベル画像、ＲＧＢの原色またはそれらの混合色から選択される任意の単一色の画像などである。また、第２表示画像として、ディスプレイ全体が均一な画像以外に、目的に応じて縞状のパターンやチェス板状のパターンなどのパターン画像を用いてもよい。また、第２表示画像は単一の画像である必要は無く、複数の画像であってもよく、それぞれの第２表示画像を撮像した複数の画像を第２撮像画像としてもよい。

第２撮像画像とは、上述のように撮像装置で撮像した画像であり、言いかえると、撮像装置の撮像解像度で区切られた各画素における２次元座標とそれに対応する輝度または色度の度合を記述した情報である。

輝度の度合とは、一例としては輝度の階調値である。また、色度の度合とは、一例としては、ＣＩＥ ＸＹＺ値やＣＩＥ Ｌａｂのような色空間情報（表色系）のそれぞれ輝度、色度の階調値である。また、別の例としてＲＧＢ表色系である。この点において、第２撮像画像は、第１撮像画像と共通である。相違点は、上述のように、ディスプレイに表示させる表示画像の違いである。

具体的に、図１７を参照すると、ディスプレイを通常状態とし、表示特性測定用画像として第２表示画像を表示する（１７３０）。

ここで、ディスプレイを通常状態にするとは、例えば、ディスプレイの電源を切っていた場合には電源を入れ、バックライトの電源を切っていた場合にはバックライトの電源を入れ、輝度を落としていた場合には輝度を上げることにより、通常の表示モードとすることをいう。つづいて、環境光下において対象ディスプレイを撮像装置３００で撮像することにより第２撮像画像を撮像する（１７４０）。

ここで、ステップ１７１０で撮像された環境と、ステップ１７４０で撮像された環境とにおける環境光は略同一であることが必要である。すなわち、ここで環境光が大きく変化してしまうと、適切に環境光の除去ができなくなるためである。

つづいて、第２撮像画像から環境光を除去する前の特性である環境光除去前データを生成する（１７５０）。すなわち、環境光下ディスプレイの表示特性においては、ディスプレイ特有の表示特性に、環境光の特性が重畳されている。

第２撮像画像から環境光除去前データを生成する方法は、上述にて説明した第１撮像画像から環境光特性を決定するための方法と同等の方法を用いることができる。ここでは、第２撮像画像をそのまま環境光除去前データとして使用してもよいし、第２撮像画像に対して上述のような方法により処理を行ったものを環境光除去前データとしてもよい。

つづいて、環境光除去前データから環境光特性の影響を除去した特性である環境光除去後データを作成する（１７６０）。環境光除去前データから環境光除去後データを作成する方法は、一例としては、環境光除去前データの特性（例えば、輝度又は色度の値）から、環境光特性（対応するように輝度又は色度の値）を差し引くことにより行う。

なお、環境光除去前データから環境光除去後データを作成する方法は、少なくとも環境光除去後データが環境光除去前データよりも環境光の影響が低減するような方法であればいずれの方法を用いてもよく、上記のような減算以外に、これに類する他の方法を用いることもできる。

たとえば、データ上の輝度または色度の値が実際の輝度または色度に対して線形性を有さない場合は、単純な減算が成り立たないため、減算の際に各輝度または色度の値に非線形性を考慮した重みづけを行うなど、実情に合わせてより複雑な方法を用いることができる。

また、環境光除去前データから環境光除去後データを作成する方法は、上述のように実空間領域で環境光除去前データから環境光特性の影響を除去する方法に限定されず、実空間領域のデータをフーリエ変換の手法を用いて一旦実空間領域を周波数領域のデータに変換した後に環境光除去前データから環境光特性の影響を除去する方法を用いてもよい。この場合は、特定の周波数で変動する環境光の影響を除去することが容易となる。

第２表示画像が複数存在する場合は、環境光除去後データの作成を全ての第２表示画像に対して行う必要があるため、所望の測定色画像分の撮像をしたかを判定する（１７７０）。所望の測定色画像分の撮像をしていない場合は（１７７０；Ｎｏ）、次の測定色画像を第２表示画像としてディスプレイに表示し、環境光除去後データの作成を行う。例えば、特定の単一色の画像を第２表示画像として表示させて環境光除去後データを作成した後に、必要な他の単一色の画像についても環境光除去後データの作成を行う。

第２表示画像が複数存在する場合とは、例えば、ＲＧＢの単一色の画像それぞれに対して上記の処理を行う必要がある場合が考えられ、この場合はＲＧＢ全ての色の単一色の画像に対して順次環境光除去後データの作成の処理を行う。

なお、第２表示画像が複数存在する場合は、１つの第２表示画像ごとに環境光除去後データの作成を行う必然は無く、全ての第２表示画像に対して環境光除去前データを作成し、その後全ての環境光除去前データに対して環境光除去後データを作成するといったように、適宜フローの流れを変更してもよい。

次に、所望の測定色画像分の撮像した場合は、作成した環境光除去後データから、環境光の影響を除去した後のディスプレイ特有の表示特性を算出する（１７７０；Ｙｅｓ→１７８０）。この後に、上記の算出したデータを用いてディスプレイの輝度や色度の補正を行う。ここで、測定色が１つの場合には、上述した環境光除去後データとして出力される特性が、ディスプレイ特有の表示特性となる。また、測定色（すなわち、第２表示画像）が複数ある場合には、それらの複数の測定色において求められた環境光除去後データを利用することにより、ディスプレイの表示特性を算出・決定する。なお、ディスプレイの表示特性を算出する方法については、公知である何れかの手法を利用すればよいため、その詳細な説明については省略する。

また、算出されたディスプレイの表示特性に基づいて、ディスプレイの表示補正が行われる。表示補正とは、ディスプレイの輝度、色度、階調値、色温度等といった各種設定が補正されることにより、ディスプレイを適切な色で出力されるように設定したり、色ムラ・輝度ムラ等を解消し、均一化して出力したりする処理を実行することをいう。このとき、本処理において出力された表示特性を利用して表示補正を実行する。なお、具体的な表示補正については、上述した他の実施形態で説明した方法であったり、公知の方法を利用したりすることが可能である。

また、第２撮像画像が複数存在する場合、フローのステップ１７７０まで全ての処理が完了した後に、ディスプレイの表示補正（輝度や色度の補正）を行う必要はなく、ディスプレイの表示補正（輝度や色度の補正）に必要なディスプレイの表示特性が１つでも揃った時点で行うなど適宜フローの流れを変更してもよい。

すなわち、本実施形態によれば、ディスプレイの表示補正（輝度や色度の補正）を行うための手法として、環境光の影響を除去した表示特性を利用し、図４、図５で示した方法を用いることができる。環境光の影響が除去されたディスプレイ特有の表示特性に基づき表示補正として、色較正やムラ補正等を行うことが可能となり、環境光条件下において遠隔からディスプレイを撮像した場合であっても、環境光特性の影響を抑えることができる。

また、第１撮像画像と、第２撮像画像とが撮影された環境において、環境光が同一条件であるか否かを判定してもよい。例えば、第１撮像画像が撮影された時間と、第２撮像画像とが撮像された時間とが所定時間以上離れている場合には、環境光が変化している可能性があるとして、再度最初から処理を実行するように促してもよい。

また、表示補正システムに、更に照度計・露出計・カラーメータ等を接続し、照度や色温度が所定範囲以上変化した場合には環境光が変化したとして、再度最初から処理を実行するように促してもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

また、上述した表示装置の表示補正は、表示装置自体が行ってもよい（すなわち、表示補正装置を備えた表示装置）。また、他のコンピュータや、端末装置が接続され、接続された表示装置の表示補正を行ってもよい。

例えば、表示補正装置として、カメラ機能を内蔵したスマートフォンやタブレットに、上記表示補正を行うアプリケーションをインストールし、実行してもよい。また、撮像された撮像画像を、サーバに送信し、サーバから表示装置の表示補正の制御が行われても良い。

また、表示装置の表示補正としては、表示装置においてハードウェアでパラメータが変更されることで補正が行われてもよいし、ソフトウェアで表示の補正が行われてもよい。

また、この発明の実施形態として、表示装置としてフラットパネルディスプレイを用いることとして詳述してきたが、これ以外の表示装置に対して本願発明を適用してもよいことは当然である。例えば、表示装置としてプロジェクタを用いてもよい。この場合は、プロジェクタによって投影されるべき場所について、投影していないときと投影しているときとを撮像装置によって撮像する。そして、撮像した画像からプロジェクタの特性を求めて、所望する表示を実現できるように、プロジェクタを調整すればよい。

また、上述した実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、ＨＤＤやＳＳＤ（solid state drive）などの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

３００ 撮像装置
３１０ ディスプレイ
３２０ コンピュータ

Claims (7)

1. 表示画面に画像が表示可能な表示装置の表示補正を行う表示補正装置であって、
   前記表示装置が環境光測定状態のときの表示画面が撮像された第１撮像画像から、環境光の特性を算出する環境光特性算出手段と、
   前記表示装置が通常状態のときの表示画面が撮像された第２撮像画像から前記表示装置の環境光下の表示特性を算出する環境光下表示特性算出手段と、
   前記環境光下の表示特性から、前記環境光の特性を除去することにより、前記表示装置の表示特性を算出する表示特性算出手段と、
   前記表示装置の表示特性に基づいて、表示補正を行う表示補正手段と、
   を備えたことを特徴とする表示補正装置。
2. 前記環境光測定状態とは、前記表示装置の電源をオフにする、前記表示装置のバックライトの電源をオフにする、第１表示画像を表示する、のうち少なくとも何れか１つであることを特徴とする請求項１に記載の表示補正装置。
3. 前記第１表示画像は、黒画像であることを特徴とする請求項２に記載の表示補正装置。
4. 前記通常状態は、前記表示装置に第２表示画像が表示された状態であることを特徴とする請求項１から３の何れか一項に記載の表示補正装置。
5. 前記環境光の特性は、前記第１撮像画像から、輝度又は色度の分布情報に基づいて算出されることを特徴とする請求項１から４の何れか一項に記載の表示補正装置。
6. 表示画面に画像が表示可能な表示装置の表示補正を行うコンピュータに、
   前記表示装置が環境光測定状態のときの表示画面が撮像された第１撮像画像から、環境光の特性を算出する環境光特性算出機能と、
   前記表示装置が通常状態のときの表示画面が撮像された第２撮像画像から前記表示装置の環境光下の表示特性を算出する環境光下表示特性算出機能と、
   前記環境光下の表示特性から、前記環境光の特性を除去することにより、前記表示装置の表示特性を算出する表示特性算出機能と、
   前記表示装置の表示特性に基づいて、表示補正を行う補正機能と、
   を実行させることを特徴とするプログラム。
7. 撮像装置と、表示画面に画像が表示可能な表示装置と、表示装置の表示補正を行う表示補正装置と、を備えた表示補正システムであって、
   前記撮像装置は、
   前記表示装置が環境光測定状態のときの表示画面を撮像した第１撮像画像を前記表示補正装置に送信し、
   前記表示装置が通常状態のときの表示画面を撮像した第２撮像画像を前記表示補正装置に送信し、
   前記表示補正装置は、
   前記撮像装置から受信された第１撮像画像から環境光の特性を算出し、
   前記撮像装置から受信された第２撮像画像から前記表示装置の環境光下の特性を算出し、
   前記環境光下の表示特性から、前記環境光の特性を除去することにより、前記表示装置の表示特性を算出し、
   前記表示装置の表示特性に基づいて、前記表示装置の表示補正を行う、
   ことを特徴とする表示補正システム。

Images