WO2019187455A1 - 画像処理装置、画像表示システム、画像処理方法、及び、プログラム - Google Patents

Abstract

本発明は、環境光毎に異なる信号分解ＬＵＴを用意することなく、異なる環境光下で入力画像の色をより忠実に再現する画像処理装置を提供する。本発明の一実施形態における画像処理装置は、画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する。当該画像処理装置は、入力画像データに基づいて、画像形成装置に対応する第１の画像データと、画像投影装置に対応する第２の画像データと、を生成する生成手段と、重畳画像が生成される際の環境光に関する環境光情報を取得する第１取得手段と、環境光情報に基づいて、第２の画像データを補正する補正手段と、を備えることを特徴とする。

Description

画像処理装置、画像表示システム、画像処理方法、及び、プログラム

　本発明は、プリンタとプロジェクタを用いて画像を表示する技術に関する。

　近年、広いダイナミックレンジを持った被写体を撮影した場合に、ハイライトからシャドウ部まで情報量が保存された画像を記録するハイダイナミックレンジ画像（ＨＤＲ画像）取得機能を備えたデジタルカメラ等が増えてきている。表示デバイスや出力デバイスでは、このようなＨＤＲ画像を忠実に再現することが求められる。特に、表示デバイスとして画像を大画面で表示できるプロジェクタや、出力デバイスとして高精細な大判出力が可能な大判プリンタ等は、実物（被写体）を迫力のあるサイズで表現できるため、その利用が期待されている。

　しかしながら、プロジェクタや大判プリンタ等が扱うことのできる画像のダイナミックレンジや色域は、ＨＤＲ画像を再現するには十分ではない。そのため、ＨＤＲ画像をこれらのデバイスで表示したり出力したりする場合は、入力画像（すなわち、ＨＤＲ画像）に対してトーンマッピングと呼ばれる階調圧縮処理や、色域圧縮処理が施される。その結果、これらのデバイスから出力される出力画像は、入力画像に忠実なものではなくなってしまう。

　そこで、複数のデバイスを用いて、入力画像のダイナミックレンジや色域をより忠実に再現する技術が提案されている。特許文献１には、プリンタによる印刷画像と、プロジェクタによる投影画像とを重畳させることで、より広いダイナミックレンジや色域で入力画像を表現することが開示されている。具体的には、プロジェクタにおける分光分布特性と、プリンタにおける分光反射率特性とに基づいて生成された信号分解ＬＵＴ（ルックアップテーブル）を用いて、入力画像をプロジェクタ用の画像信号とプリンタ用の画像信号に変換する。そして、変換後の画像信号に基づいてプロジェクタおよびプリンタのそれぞれで形成された画像を重畳させる。また、特許文献１には、信号分解ＬＵＴの作成時に、画像の観察環境における光源（以下、環境光ともいう）の影響を考慮して、入力画像の色を忠実に再現することが開示されている。

特開２０１０－１０３８６３号公報

　しかしながら、特許文献１に開示された技術では、異なる環境光に対応するために、環境光毎に異なる信号分解ＬＵＴを用意する必要があり、信号分解ＬＵＴのデータ量が増加してしまう。

　そこで、本発明は、環境光毎に異なる信号分解ＬＵＴを用意することなく、異なる環境光下で入力画像の色をより忠実に再現することを目的とする。

　本発明の一実施形態における画像処理装置は、画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する。当該画像処理装置は、入力画像データに基づいて、前記画像形成装置に対応する第１の画像データと、前記画像投影装置に対応する第２の画像データと、を生成する生成手段と、前記重畳画像が生成される際の環境光に関する環境光情報を取得する第１取得手段と、前記環境光情報に基づいて、前記第２の画像データを補正する補正手段と、
を備えることを特徴とする。

　本発明によると、異なる環境光下で入力画像の色をより忠実に再現することが可能となる。

　本発明の更なる特徴は、添付の図面を参照して行う以下の実施形態の説明より明らかになる。

第１の実施形態における画像表示システムの構成を示すブロック図である。 信号分解ＬＵＴ２０３の例を示す図である。 信号分解処理のフローチャートを示す図である。 信号分解ＬＵＴ２０３を作成するフローチャートを示す図である。 投影画像補正処理のフローチャートを示す図である。 投影画像補正ＬＵＴ４０３を作成するフローチャートを示す図である。 投影画像補正ＬＵＴ４０３を作成するフローチャートの変形例を示す図である。 第２の実施形態における画像表示システムの構成を示すブロック図である。 環境光の変動範囲を取得するためのＵＩを示す図である。 基準環境光を設定するためのＵＩを示す図である。 変形例における画像表示システムの構成を示すブロック図である。 変形例における画像表示システムの構成を示すブロック図である。

　以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

第１の実施形態

　本実施形態では、画像投影装置が分光センサを用いて環境光（すなわち、環境光情報）を取得し、環境光の変化が重畳色に与える色変動を、投影画像によって補償する例について説明する。

（装置の構成）
　図１は、本実施形態における画像表示システムの構成を示すブロック図である。図１において、１は入力画像、２は画像処理装置（ＰＣ）、３は画像形成装置（プリンタ）、４は画像投影装置（プロジェクタ）をそれぞれ示す。画像表示システムは、画像形成装置３によって記録媒体上に形成された印刷画像５０１の上に、画像投影装置４によって投影された投影画像５０２を重ねることで、入力画像１のダイナミックレンジや色域をより忠実に再現する重畳画像を表示することができる。

　なお、以下の実施形態においては、画像形成装置３をインクジェットプリンタ、画像投影装置４を液晶プロジェクタとして説明する。

　画像処理装置２は、例えば一般的なパーソナルコンピュータにインストールされたプリンタドライバによって実施され得る。その場合、以下に説明する画像処理装置２の各部は、コンピュータのＣＰＵが所定のメモリまたは記憶装置に記憶されたプログラムを実行することにより実現される。また、別の構成として、例えば、画像形成装置３と画像投影装置４のいずれか、または両方を、画像処理装置２が含む構成としても良い。

　画像処理装置２は、画像データ入力端子２０１より入力画像データを受け取る。入力された画像データは信号分解処理部２０２へ送られる。本実施形態では、重畳画像の各画素の再現目標となる三刺激値Ｘｔ、Ｙｔ、Ｚｔが入力画像データとして入力される。

　なお、入力画像データは上記に限らず、たとえばＲＧＢ各８ビットの３チャンネルカラー画像を入力画像として入力してもよい。その場合、画像処理装置２は不図示の色変換処理部を備え、入力画像の各画素に対し、ＲＧＢからＣＩＥＸＹＺ（ＣＩＥ（国際照明委員会）により定義されたＸＹＺ色空間）への変換処理を行う。そうすることで、画像処理装置２は、重畳画像の再現目標となる三刺激値Ｘｔ、Ｙｔ、Ｚｔを取得する。

　信号分解処理部２０２は、上記三刺激値Ｘｔ、Ｙｔ、Ｚｔ（すなわち、入力画像データ）から、画像形成装置３に送出する印刷画像データと、画像投影装置４に送出する投影画像データとを生成する。このとき、信号分解処理部２０２は、信号分解ＬＵＴ（ルックアップテーブル）２０３を参照して、信号分解処理（すなわち、画像データ生成処理）を行う。

　図２は、本実施形態における信号分解ＬＵＴ２０３の例を示す。図示されるように、信号分解ＬＵＴ２０３には、三刺激値ＸＹＺの各格子点に対応した、プリンタＲＧＢとプロジェクタのＲＧＢとの組み合わせが格納されている。これらの組み合わせは、格子点の三刺激値と重畳画像の三刺激値が等しくなるよう、あらかじめ作成されている。信号分解ＬＵＴ２０３の作成は、信号分解ＬＵＴ作成部２０６によって行われる。信号分解ＬＵＴ作成処理の詳細については後述する。

　信号分解処理部２０２が算出した印刷画像データは、出力端子２０４から画像形成装置３へと送出される。画像形成装置３は、取得した印刷画像データを用いて、印刷画像５０１を形成する。

　一方、出力端子２０５からは、投影画像データと印刷画像データの両方が、画像投影装置４へと送出される。また、基準環境光の情報も送出される。ここで基準環境光とは、信号分解ＬＵＴ２０３の作成において、重畳色のＸＹＺを算出する際に用いられる環境光である。詳細は後述する。

　画像投影装置４は、入力端子４０１より投影画像データ、印刷画像データと、基準環境光の情報を受けとる。

　投影画像データは、投影画像補正部４０２により補正される。すなわち、投影画像補正部４０２は、投影画像データ補正手段として機能する。このとき、投影画像補正部４０２は、投影画像補正ＬＵＴ４０３を参照して、投影画像データを補正する。

　投影画像補正ＬＵＴ４０３は、信号分解ＬＵＴ２０３と同様に、プリンタＲＧＢ、プロジェクタＲＧＢ、重畳色のＸＹＺが格納されたＬＵＴである。ただし、入出力の関係が異なっている。即ち、信号分解ＬＵＴ２０３は、ＸＹＺが入力、プリンタＲＧＢとプロジェクタＲＧＢが出力となるＸＹＺ－ＲＧＢＲＧＢのＬＵＴである。一方、投影画像補正ＬＵＴ４０３は、プリンタＲＧＢとＸＹＺが入力、プロジェクタＲＧＢが出力となるＲＧＢＸＹＺ－ＲＧＢのＬＵＴである。

　投影画像補正ＬＵＴ４０３は、投影画像補正ＬＵＴ作成部４０５により作成される。投影画像補正ＬＵＴ作成の詳細については後述する。

　環境光取得部４０４は、重畳画像が表示される環境の環境光情報を取得する。取得した環境光情報は、投影画像補正ＬＵＴ作成部４０５へ送出される。

　投影画像補正ＬＵＴ作成部４０５は、環境光が基準環境光と異なる場合に、投影画像補正ＬＵＴ４０３を作成する。 

（信号分解処理部２０２における信号分解処理）
　以下、図３に示すフローチャートを用いて、信号分解処理部２０２における信号分解処理の流れを説明する。なお、フローチャートで示される一連の処理は、ＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することに行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。

　まず、Ｓ３０１において、信号分解処理部２０２は、信号分解ＬＵＴ２０３を取得する。

　次に、Ｓ３０２において、信号分解処理部２０２は、画像データ入力端子２０１より再現目標となる三刺激値Ｘｔ，Ｙｔ，Ｚｔ（すなわち、入力画像データ）を取得する。なお、取得に際しては、画像全体の再現目標の三刺激値Ｘｔ，Ｙｔ，Ｚｔを取得して、不図示のメモリ内に展開してもよいし、１画素ずつ取得と処理を繰り返して行ってもよい。

　次に、Ｓ３０３において、信号分解処理部２０２は、上述の信号分解ＬＵＴを用いて、補間処理等の周知の変換方法により、各画素の目標三刺激値Ｘｔ，Ｙｔ，Ｚｔから、各画素に対するプロジェクタＲＧＢ値とプリンタＲＧＢ値を算出する。補間処理では、公知の四面体補間処理により、信号分解ＬＵＴ２０３に格納されたプロジェクタＲＧＢ値とプリンタＲＧＢ値とから、各画素のプロジェクタＲＧＢ値とプリンタＲＧＢ値がそれぞれ算出される。

　以上説明したＳ３０１～Ｓ３０３の処理により、再現目標の三刺激値Ｘｔ，Ｙｔ，Ｚｔを重畳画像として再現するプリンタＲＧＢ値とプロジェクタＲＧＢ値とを算出することができる。

（信号分解ＬＵＴ２０３の作成方法）
　以下、図４を参照して、信号分解ＬＵＴ作成部２０６における、信号分解ＬＵＴ２０３の作成方法について説明する。

　図４（ａ）に示すように、信号分解ＬＵＴ作成部２０６は、まずＲＧＢＲＧＢ－ＸＹＺのＬＵＴを作成する（Ｓ４０）。このＬＵＴは、プリンタＲＧＢとプロジェクタＲＧＢを入力とし、重畳色のＸＹＺを出力とする。Ｓ４０の詳細は後述する。

　次いで、信号分解ＬＵＴ作成部２０６は、ＲＧＢＲＧＢ－ＸＹＺのＬＵＴを補間処理により逆引きすることで、ＸＹＺ－ＲＧＢＲＧＢの信号分解ＬＵＴ２０３を生成する（Ｓ４１）。Ｓ４１の詳細は後述する。

（ＲＧＢＲＧＢ－ＸＹＺのＬＵＴの作成）
　図４（ｂ）は、ＲＧＢＲＧＢ－ＸＹＺのＬＵＴの作成処理（Ｓ４０）のフローチャートを示す図である。

　まず、Ｓ４０１において、信号分解ＬＵＴ作成部２０６は、ＲＧＢＲＧＢの格子信号を生成する。例えば、各色５グリッドで均等間隔となるＲＧＢの格子値を、プリンタＲＧＢとプロジェクタＲＧＢのそれぞれに対して生成する。この場合、格子信号は５グリッドの６乗である１５６２５通りとなる。

　次にＳ４０２において、信号分解ＬＵＴ作成部２０６は、Ｓ４０１で生成した格子信号のうちの１格子点に対応する、１つのＲＧＢＲＧＢ値を取得する。

　そしてＳ４０３において、信号分解ＬＵＴ作成部２０６は、Ｓ４０２で取得したプロジェクタＲＧＢ値に対応する、画像投影装置４の分光分布特性を取得する。画像投影装置４の分光分布特性は、予め所定のＲＧＢ値に対する分光分布を測定することで得られており、分光分布プロファイルとして記憶されている。なお、分光分布プロファイルに注目ＲＧＢ値と一致するＲＧＢ値が含まれていない場合には、補間処理等によって注目ＲＧＢ値に対する分光分布特性を算出する。

　次にＳ４０４において、信号分解ＬＵＴ作成部２０６は、Ｓ４０２で取得したプリンタＲＧＢ値に対応する、画像形成装置３の分光反射率特性を取得する。画像形成装置３の分光反射率特性は、予め所定のＲＧＢ値に基づいて対象となるメディアに印刷したパッチを測定するなどして得られており、例えば分光反射率プロファイルとして記憶されている。なお、分光反射率プロファイルに注目ＲＧＢ値と一致するＲＧＢ値が含まれていない場合には、補間処理等によって注目ＲＧＢ値に対する分光反射率特性を算出する。

　次にＳ４０５において、信号分解ＬＵＴ作成部２０６は、Ｓ４０２で取得したプロジェクタＲＧＢ値に基づく投影色と、プリンタＲＧＢ値に基づくプリント色とを重ねた際の、重畳色であるＸＹＺ値を、以下の（１）式により算出する。
X(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ) + Ｓill(λ)} Ｒprn(rgb2,λ) x(λ) dλ
Y(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ) + Ｓill(λ)} Ｒprn(rgb2,λ) y(λ) dλ
Z(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ) + Ｓill(λ)} Ｒprn(rgb2,λ) z(λ) dλ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）

　（１）式において、rgb1、rgb2はそれぞれプロジェクタＲＧＢとプリンタＲＧＢであり、Ｘ(rgb1,rgb2)，Ｙ(rgb1,rgb2)，Ｚ(rgb1,rgb2)は、それらのＲＧＢの組み合わせに対応する重畳色のＸＹＺ値である。また、λは波長を表し、Ｓprj(rgb1,λ)はrgb1に対する投影光の分光分布、Ｒprn(rgb2,λ)はrgb2に対するプリント物の分光反射率である。また、Ｓill(λ)は環境光の分光分布であり、ｘ(λ)，ｙ(λ)，ｚ(λ)は２度視野のＸＹＺ等色関数である。即ち、投影光の分光分布と環境光の分光分布を加算した光がプリント物に照射され、画像形成装置の分光反射率との積として反射されたものが、重畳色の分光分布となる。これにＸＹＺ等色関数で重みづけしてから積分したものが、重畳色のＸＹＺ値である。

　なお、本実施形態では環境光Ｓill(λ)として、ＣＩＥ昼光Ｄ５０の分光分布を用いる。ただし、環境光Ｓill（λ）は限定されず、例えば重畳画像を表示する環境光の分光分布が取得・推定できる場合には、その分光分布を用いることが望ましい。

　次にＳ４０６において、信号分解ＬＵＴ作成部２０６は、Ｓ４０１で生成した全ての格子信号に対するＸＹＺ値を算出したか否かを判定する。全て算出済みであればＳ４０７に進み、そうでない場合はＳ４０２に戻り、まだＸＹＺ値を算出していない格子信号に対する処理を行う。

　次にＳ４０７において、信号分解ＬＵＴ作成部２０６は、Ｓ４０１で生成したＲＧＢＲＧＢ信号と、Ｓ４０５で算出したＸＹＺ信号とをそれぞれ対応づけて、ＲＧＢＲＧＢ－ＸＹＺのＬＵＴを作成する。

　以上で、ＲＧＢＲＧＢ－ＸＹＺのＬＵＴの作成処理（Ｓ４０）が完了し、ＸＹＺ－ＲＧＢＲＧＢのＬＵＴの作成処理（Ｓ４１）を開始する。

（ＸＹＺ－ＲＧＢＲＧＢのＬＵＴの作成）
　図４（ｃ）は、ＸＹＺ－ＲＧＢＲＧＢのＬＵＴの作成処理（Ｓ４１）のフローチャートを示す図である。

　まず、Ｓ４０８において、信号分解ＬＵＴ作成部２０６は、ＸＹＺの格子信号を生成する。本実施形態では、Ｓ４０５で算出したＸＹＺの再現可能域内に均等に分布するＸＹＺ値を生成する。

　次に、Ｓ４０９において、信号分解ＬＵＴ作成部２０６は、Ｓ４０８で生成した格子信号のうちの１格子点に対応する、１色のＸＹＺ値を取得する。

　そしてＳ４１０において、信号分解ＬＵＴ作成部２０６は、Ｓ４０９で取得したＸＹＺ値に対応するプロジェクタＲＧＢとプリンタＲＧＢを、Ｓ４０７で作成したＲＧＢＲＧＢ－ＸＹＺのＬＵＴから取得する。なお、注目ＸＹＺ値と一致するＸＹＺ値が含まれていない場合には、補間処理等によって注目ＸＹＺ値に対するプロジェクタＲＧＢおよびプリンタＲＧＢを算出する。

　次にＳ４１１において、信号分解ＬＵＴ作成部２０６は、Ｓ４０８で生成した全ての格子信号に対するＲＧＢＲＧＢ値を算出したか否かを判定する。全て算出済みであればＳ４１２に進み、そうでない場合はＳ４０９に戻り、まだＲＧＢＲＧＢ値を算出していない格子信号に対する処理が行われる。

　次にＳ４１２において、信号分解ＬＵＴ作成部２０６は、Ｓ４０８で生成したＸＹＺ信号と、Ｓ４１０で算出したＲＧＢＲＧＢ信号とをそれぞれ対応づけて、ＸＹＺ－ＲＧＢＲＧＢの信号分解ＬＵＴ２０３を作成する。

　以上で、信号分解ＬＵＴ２０３の作成処理が完了する。

（投影画像補正部４０２における補正処理）
　以下、図５に示すフローチャートを用いて、投影画像補正部４０２における投影画像補正処理の流れを説明する。

　まずＳ５０１において、投影画像補正部４０２は、投影画像補正ＬＵＴ４０３を取得する。

　次にＳ５０２において、投影画像補正部４０２は、入力端子４０１より、プリンタＲＧＢ、プロジェクタＲＧＢと、基準環境光を取得する。

　次にＳ５０３において、投影画像補正部４０２は、基準環境光における重畳画像のＸＹＺを画素毎に算出する。重畳色の算出は、上述の図４のＳ４０５の処理と同様であり、（１）式を用いる。

　そしてＳ５０４において、重畳画像のＸＹＺとプリンタＲＧＢから、投影画像補正ＬＵＴ４０３を用い、各画素に対するプロジェクタＲＧＢ値を算出する。

　以上説明したＳ５０１～Ｓ５０４の処理により、環境光の変化（すなわち、異なる環境光）に応じてプロジェクタＲＧＢを補正することができる。

（投影画像補正ＬＵＴ４０３の作成方法）
　以下、図６を参照して、投影画像補正ＬＵＴ作成部４０５における、投影画像補正ＬＵＴ作成処理の詳細について説明する。

　図６（ａ）は、投影画像補正ＬＵＴ作成処理のフローチャートを示す。

　まず、Ｓ６０では、投影画像補正ＬＵＴ作成部４０５は、環境光取得部４０４から環境光を取得する。

　次に、Ｓ６１では、投影画像補正ＬＵＴ作成部４０５は、取得した環境光が、想定環境光から変化したかを判定する。ここで想定環境光とは、以前に投影画像補正ＬＵＴを作成した際に用いた環境光である。初期状態では、想定環境光は基準環境光Ｓill(λ)であり、投影画像補正ＬＵＴ作成処理後には、取得した環境光に置き換えられる。取得した環境光が変化していないと判定された場合は、投影画像補正ＬＵＴの作成は不要であるため、処理を終了する。一方、変化していると判定された場合は、Ｓ６２へ進む。

　Ｓ６２では、投影画像補正ＬＵＴ作成部４０５は、ＲＧＢＲＧＢ－ＸＹＺのＬＵＴを作成する。この処理は、図４（ｂ）のＳ４０の処理と同様であるため説明を省略する。ただしＳ６２では、投影画像補正ＬＵＴ作成部４０５は、Ｓ４０５の重畳色算出において、基準環境光Ｓill(λ)の代わりに、環境光取得部４０４より取得した環境光を用いてＸＹＺを算出する。

　次に、Ｓ６３では、投影画像補正ＬＵＴ作成部４０５は、ＲＧＢＸＹＺ－ＲＧＢの投影画像補正ＬＵＴを作成する。このＬＵＴは、プリンタＲＧＢと重畳色のＸＹＺを入力とし、プロジェクタＲＧＢを出力とする。

　図６（ｂ）は、Ｓ６３における処理の詳細を示したフローチャートである。

　まず、Ｓ６０１において、投影画像補正ＬＵＴ作成部４０５は、ＲＧＢＸＹＺの格子信号を生成する。本実施形態では、各色５グリッドで均等間隔となる値を、ＸＹＺとプリンタＲＧＢのそれぞれに対して生成する。この場合、格子信号は５グリッドの６乗である１５６２５通りとなる。

　次にＳ６０２において、投影画像補正ＬＵＴ作成部４０５は、Ｓ６０１で生成した格子信号のうちの１格子点に対応する、１つのＲＧＢＸＹＺ値を取得する。

　そしてＳ６０３において、投影画像補正ＬＵＴ作成部４０５は、Ｓ６０２で取得したＲＧＢＸＹＺ値に対応するプロジェクタＲＧＢを取得する。このとき、Ｓ６２で作成したＲＧＢＲＧＢ－ＸＹＺのＬＵＴを参照し、注目ＲＧＢＸＹＺ値と一致するＲＧＢＸＹＺ値が含まれていない場合には、補間処理等によって注目ＲＧＢＸＹＺ値に対するプロジェクタＲＧＢを取得する。

　次にＳ６０４において、投影画像補正ＬＵＴ作成部４０５は、全ての格子信号に対するプロジェクタＲＧＢ値を算出したか否かを判定する。全て算出済みであればＳ６０５に進み、そうでない場合はＳ６０２に戻り、まだプロジェクタＲＧＢ値を算出していない格子信号に対する処理を行う。

　次にＳ６０５において、投影画像補正ＬＵＴ作成部４０５は、Ｓ６０１で生成したＲＧＢＸＹＺ信号と、Ｓ６０３で算出したプロジェクタＲＧＢ信号をそれぞれ対応づけて、ＲＧＢＸＹＺ－ＲＧＢの投影画像補正ＬＵＴ４０３を作成する。

　以上でＳ６３の処理が完了する。

　次に、Ｓ６４では、投影画像補正ＬＵＴ作成部４０５は、取得した環境光を保持する。ここで保持した環境光は、上述のＳ６１における想定環境光であり、再び投影画像補正ＬＵＴ４０３が作成された際に参照される。

　以上で、投影画像補正ＬＵＴ４０３の作成処理が完了する。

　以上説明したように、本実施形態によれば、分光センサを用いて環境光を取得し、環境光の変化が重畳色に与える影響を、投影画像によって補償することで、入力画像の色をより忠実に再現することができる。

（変形例）
　なお、本実施形態では画像投影装置４への入力が３チャンネルのプロジェクタＲＧＢである例について説明したが、信号の種類は限定されない。例えば、画像投影装置４が分光再現可能なマルチバンドプロジェクタである場合には、３チャンネル以上の分光信号値が入力される。なお、その場合には、図５に示す投影画像補正処理において、環境光変化の差分を分光的に直接補償することができるため、プリンタＲＧＢ取得（Ｓ５０２）や重畳色算出処理（Ｓ５０３）は必須ではない。

　また、本実施形態では図５に示す投影画像補正処理のＳ５０３において、（１）式を用いて基準環境光での重畳色を算出する構成としたが、重畳色の算出方法は限定されない。例えば、Ｓ４０で作成するＲＧＢＲＧＢ－ＸＹＺのＬＵＴを用いてもよい。

　また、本実施形態では環境光取得部４０４として、分光センサを用いて環境光を取得する例について説明したが、分光センサは一般的なカラーセンサに比べて高価であり、装置コストの増加を招く。そこで例えば、分光センサの代わりにＲＧＢカラーセンサを用い、環境光の分光分布を推定する構成としてもよい。その場合、複数の既知の環境光における、ＲＧＢカラーセンサ値と分光分布とを対応づけたテーブルをあらかじめ作成・保持しておくことにより、取得した環境光のＲＧＢ値から環境光の分光分布が推定できる。勿論、上記の対応関係を数式として保持してもよい。

　また、本実施形態では、環境光が想定環境光から変化したかを判定し、変化していると判定された場合に、投影画像補正処理を実行する例について説明したが、実行のタイミングは任意である。例えば、ユーザーが実行を指示する構成としてもよい。

（投影画像補正ＬＵＴ４０３をＸＹＺ－ＲＧＢとして保持する変形例）
　また、本実施形態では、投影画像補正ＬＵＴ４０３として、ＲＧＢＸＹＺ－ＲＧＢのＬＵＴを用いる例を説明した。しかしながら、ＬＵＴの入力が６次元となるため格子点の数が多く、ＬＵＴを保持するために必要な記憶容量が大きくなってしまう。そこで、投影画像補正ＬＵＴ４０３として、入力が重畳色のＸＹＺ、出力が補正後のプロジェクタＲＧＢとなるＸＹＺ－ＲＧＢのＬＵＴを用いる変形例について説明する。

　図７（ａ）は、投影画像補正ＬＵＴ作成部４０５における、投影画像補正ＬＵＴ作成処理のフローチャートを示す。

　Ｓ７０、Ｓ７１、Ｓ７２、およびＳ７４の処理は、上述のＳ６０、Ｓ６１、Ｓ６２およびＳ６４の処理と同様であるため説明を省略する。

　図７（ｂ）は、Ｓ７３におけるＸＹＺ－ＲＧＢの投影画像補正ＬＵＴの作成処理のフローチャートを示す。

　まず、Ｓ７０１において、投影画像補正ＬＵＴ作成部４０５は、ＸＹＺの格子信号を生成する。例えば、各色５グリッドで均等間隔となる値を生成する。

　次にＳ７０２において、投影画像補正ＬＵＴ作成部４０５は、Ｓ７０１で生成した格子信号のうちの１格子点に対応する、１色のＸＹＺ値を取得する。

　そしてＳ７０３において、投影画像補正ＬＵＴ作成部４０５は、Ｓ７０２で取得したＸＹＺ値との平均誤差が最小となるプロジェクタＲＧＢを取得する。ここで平均誤差とは、あるプロジェクタＲＧＢを複数のプリンタＲＧＢに対して重畳した時のＸＹＺを、ＲＧＢＲＧＢ－ＸＹＺのＬＵＴからそれぞれ取得し、上記格子点のＸＹＺとの誤差を算出した後、誤差を平均化したものである。

　Ｓ７０４およびＳ７０５は、上述のＳ６０４およびＳ６０５と同様であるため説明を省略する。

第２の実施形態

　上述の実施形態では、環境光の変化の影響を投影画像によって補償する例について説明した。しかしながら、環境光の変化が大きい場合には、投影画像で補償しきれず、入力画像の色を忠実に再現できないことがある。そこで本実施形態では、環境光の変化しうる範囲（以下、変動範囲情報）を取得し、変動範囲情報を用いてプリンタＲＧＢとプロジェクタＲＧＢを決定することで、環境光の変化が大きい場合にも入力画像の色を忠実に再現する例について説明する。なお、上述の実施形態と共通の部分については説明を簡易化または省略する。

　図８は、本実施形態における画像表示システムの構成を示すブロック図である。本実施形態における画像処理装置２は、変動範囲情報取得部２０７を備える点で、第１の実施形態と異なる。変動範囲情報取得部２０７による処理の詳細については後述する。

　本実施形態における信号分解ＬＵＴ作成部２０６は、変動範囲情報を取得し、信号分解ＬＵＴ２０３を作成する。信号分解ＬＵＴ作成処理の詳細については後述する。

（変動範囲情報取得）
　以下、図９を参照して、変動範囲情報取得部２０７による処理について説明する。ユーザーは、図９に示すＧＵＩ９００を用いて、変動範囲情報を設定することができる。

　ユーザーは、まず、環境光の光源種類を複数入力する「光源選択」、環境光の色温度の範囲を数値で入力する「色温度指定」、分光分布プロファイルを複数指定する「分光分布指定」のいずれかを、チェックボックスで選択する。「光源選択」が選択された場合、その候補としてたとえば、蛍光灯、ハロゲン、屋外（昼）、などが表示される。ユーザーは、想定される光源の種類を複数選択する。また、「色温度指定」が選択された場合、スライダーバーを左右に移動させることにより、色温度の上限と下限が選択される。また、「分光分布指定」が選択された場合、分光センサ等で取得された分光分布プロファイルデータを取得する。ユーザーは、想定される分光プロファイルを複数選択する。

　なお、本実施形態では、「光源選択」、「色温度指定」における候補が選択された場合は、予め対応した分光分布プロファイルが設定されることとする。上記複数の分光分布プロファイルは、変動範囲情報として、信号分解ＬＵＴ作成部２０６へ送出される。

（信号分解ＬＵＴ２０３の作成方法）
　以下、本実施形態における信号分解ＬＵＴ２０３の作成方法について説明する。第１の実施形態と共通の部分については、説明を省略する。本実施形態では、図４（ｂ）に示す重畳色の算出（Ｓ４０５）が、第１の実施形態と異なる。

　Ｓ４０５では、まず、信号分解ＬＵＴ作成部２０６は、変動範囲情報取得部２０７から変動範囲情報を取得する。即ち、複数の環境光の分光分布プロファイルを取得する。さらに、信号分解ＬＵＴ作成部２０６は、分光分布プロファイルの平均を算出し、平均環境光の分光分布プロファイルとしてＳmean(λ)を算出する。

　その後、信号分解ＬＵＴ作成部２０６は、Ｓ４０２で取得したプロジェクタＲＧＢ値とプリンタＲＧＢ値に対応する重畳色のＸＹＺ値を、以下の（２）式により算出する。
X(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ) + Ｓmean(λ)} Ｒprn(rgb2,λ) x(λ) dλ
Y(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ) + Ｓmean (λ)} Ｒprn(rgb2,λ) y(λ) dλ
Z(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ) + Ｓmean (λ)} Ｒprn(rgb2,λ) z(λ) dλ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）

　即ち、本実施形態では、（１）式で用いた環境光Ｓill(λ)の代わりに、平均環境光Ｓmean(λ)を基準環境光として用いて、重畳色のＸＹＺ値を算出する。

（平均環境光を用いる理由）
　以下、平均環境光Ｓmean(λ)を用いる理由について、具体例を挙げて説明する。

　例として、基準環境光にＣＩＥ昼光Ｄ５０を用い、重畳画像を表示する環境が屋外である場合を考える。この場合、昼の時間帯には、環境光取得部４０４が取得する環境光とＳill(λ)との差異が小さい。そのため、投影画像補正部４０２による補正量も小さい。しかし、夕方の時間帯となり、環境光取得部４０４が取得する環境光の赤味が強くなる（色温度が低くなる）と、Ｓill(λ)との差異が大きくなる。その結果、投影画像補正部４０２による補正量が補正の限界を超えてしまう可能性がある。

　一方、本実施形態では、重畳画像を表示する際の環境光が昼（白、色温度８０００Ｋ）から夕方（赤、色温度２０００Ｋ）の範囲で変化することが既知である場合に、その平均の環境光Ｓmean(λ)（やや赤、色温度５０００Ｋ）を基準環境光として用いる。このとき形成される印刷画像５０１は、投影光なしで昼の時間帯に観察するとやや青く見え、夕方の時間帯にはやや赤く見える。即ち、いずれの時間帯でも、取得した環境光と基準環境光との差異が同程度に生じるが、差異が大きくなることは起こりにくい。そのため、投影画像補正部４０２による補正の限界を超えてしまう可能性を低減できる。

　以上説明したように、本実施形態によれば、環境光の変化を投影画像で補償しきれない場合においても、環境光の変化しうる範囲を用いてプリンタＲＧＢとプロジェクタＲＧＢを決定することで、入力画像の色を忠実に再現することができる。

（プロジェクタの色再現域も考慮した変形例）
　環境光の変動範囲情報に加えて、画像投影装置４の色再現範囲情報を用いて、基準環境光を決定してもよい。例えば、画像投影装置４の色再現範囲が赤色側に大きく、青色側に小さい場合には、基準環境光を赤側に寄せる（プリント物を青く寄せる）ほうが、補正の限界を超える可能性をより低減できる。そこで例えば、プロジェクタＲＧＢ＝（２５５，０，０）、（０，２５５，０）、（０，０，２５５）の３色の分光分布の平均を取得し、全波長の合計が０になるようオフセットした分光分布をＱprj（λ）と表す。その場合、Ｓ４０５における重畳色算出は、以下のように（３）式を用いて行うことができる。
X(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ)+Ｓmean(λ)+Ｑprj（λ）} Ｒprn(rgb2,λ) x(λ)dλ
Y(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ)+Ｓmean (λ)+Ｑprj（λ）} Ｒprn(rgb2,λ) y(λ)dλ
Z(rgb1,rgb2)= ∫{Ｓprj(rgb1,λ)+Ｓmean (λ)+Ｑprj（λ）} Ｒprn(rgb2,λ) z(λ)dλ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）

（基準環境光をＵＩで直接指定し、プレビューする変形例）
　本実施形態では、基準環境光として複数の環境光の平均を用いる例を説明したが、基準環境光の決定方法はこれに限定されない。例えば、環境光毎に異なる重みづけをしてもよい。

　また、プレビュー画面を表示し、ユーザーに基準環境光を直接設定させてもよい。図１０は、基準環境光設定ＵＩ１０００の例を示す。

　ユーザーは、基準環境光設定ＵＩ１０００の下部に示すスライダーバーを左右に移動させることにより、基準環境光を設定することができる。また、スライダーバーの移動に合わせて、基準環境光設定ＵＩ１０００の上部にプレビュー画像が表示される。ここで、プレビュー画像は、変動範囲情報取得部２０７で取得した変動範囲情報の上限と下限における重畳画像を推定したものである。

　したがって、投影画像補正部４０２による補正量が補正可能範囲内であれば、いずれのプレビュー画像も入力画像と同一になる。一方、投影画像補正部４０２による補正量が補正可能範囲外であれば、少なくとも一方のプレビュー画像が入力画像と異なる画像となる。ユーザーは、この変化が許容できるか否かを判断しながら、スライダーバーにより基準環境光を調整することができる。なお、プレビュー画像と入力画像とが異なる領域のみを抽出し、画像として表示する構成としてもよい。すなわち、信号分解処理部２０２は、環境光情報の所定範囲に対し、投影画像補正部４０２による補正量が補正可能範囲となるよう、印刷画像データと投影画像データとを生成する。

（変形例）
　上述した実施形態では、環境光の変化が重畳色に与える色変動を、投影画像によって補償したが、印刷画像によって補償してもよい。この場合の画像表示システムの構成を図１１に示す。印刷画像補正部１１０１は、印刷画像データを補正する。印刷画像補正ＬＵＴ作成部１１０３は、印刷画像補正ＬＵＴ１００２を作成する。尚、印刷画像データを補正する処理は、投影画像補正部４０２、投影画像補正ＬＵＴ４０３、投影画像補正ＬＵＴ作成部４０５による処理における投影画像と印刷画像とを置き換えることによって実現できる。

　また、上述した実施形態では、投影画像補正部４０２を画像投影装置４が有していたが、画像処理装置２が投影画像補正部４０２を有していてもよい。この場合の画像表示システムの構成を図１２に示す。尚、上述したように、色変動を印刷画像によって補償してもよいため、画像処理装置２が印刷画像補正部１１０１を有していてもよい。

　また、上述した実施形態では、環境光情報に基づいて補正ＬＵＴを作成したが、補正ＬＵＴを決定する方法は上述した例に限定されない。例えば、環境光情報に基づいて、予め作成された複数種類の補正ＬＵＴから１つの補正ＬＵＴを選択してもよい。

その他の実施形態

　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　実施形態を参照して本発明を説明して来たが、本発明が上述した実施形態に限定されないことは言うまでもない。下記のクレームは最も広く解釈されて、そうした変形例及び同等の構造・機能全てを包含するものとする。

　本願は、２０１８年３月２７日提出の日本国特許出願特願２０１８－６０１０７を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

１　入力画像
２　画像処理装置
３　画像形成装置
４　画像投影装置
２０２　信号分解処理部
４０２　投影画像補正部
４０４　環境光取得部
５０１　印刷画像
５０２　投影画像

Claims (20)

1. 画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する画像処理装置であって、
   入力画像データに基づいて、前記画像形成装置に対応する第１の画像データと、前記画像投影装置に対応する第２の画像データと、を生成する生成手段と、
   前記重畳画像が生成される際の環境光に関する環境光情報を取得する第１取得手段と、
   前記環境光情報に基づいて、前記第２の画像データを補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、さらに前記第１の画像データに基づいて、前記第２の画像データを補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記環境光情報及び前記第１の画像データに基づいて、前記第２の画像データを補正するためのルックアップテーブルを生成し、前記ルックアップテーブルに基づいて、前記第２の画像データを補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記環境光情報は、センサを用いて前記環境光を測定して得られる情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記環境光情報は、分光センサを用いて前記環境光を測定して得られる情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記環境光情報は、前記環境光の分光分布であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記環境光情報の所定範囲に対し、前記補正手段による補正量が補正可能範囲となるよう、前記第１の画像データと前記第２の画像データとを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
8. 前記環境光情報の変動範囲を取得する第２取得手段をさらに備え、
   前記生成手段は、前記環境光情報の変動範囲に基づいて、前記第１の画像データと前記第２の画像データとを生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像投影装置の色再現範囲を取得する第３取得手段をさらに備え、
   前記生成手段は、前記環境光情報の変動範囲と前記色再現範囲とに基づいて、前記第１の画像データと前記第２の画像データとを生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記環境光情報の変動範囲に基づいて基準環境光を設定し、
    前記基準環境光は、ユーザーの指定に応じて決定されることを特徴とする請求項８または９に記載の画像処理装置。
11. 前記基準環境光を前記ユーザーが指定するための表示を制御する表示制御手段をさらに備え、
    前記表示制御手段は、前記補正手段による補正量が補正可能範囲とならない領域を表示手段に表示することを特徴とする請求項１０に記載の画像処理装置。
12. 前記補正手段は、前記環境光の変化に応じた前記重畳画像の色の変化を補償するように補正を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する画像処理装置であって、
    入力画像データに基づいて、前記画像形成装置に対応する第１の画像データと、前記画像投影装置に対応する第２の画像データと、を生成する生成手段と、
    前記重畳画像が生成される際の環境光に関する環境光情報を取得する取得手段と、
    前記環境光情報に基づいて、前記第１の画像データを補正する補正手段と、
    を備えることを特徴とする画像処理装置。
14. 画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する画像処理装置であって、
    前記重畳画像が生成される際の環境光を示す環境光情報を取得する取得手段と、
    前記環境光情報に基づいて、前記画像形成装置に出力する第１の画像データと、前記画像投影装置に出力する第２の画像データと、を生成する生成手段と、を備え、
    前記環境光情報が示す環境光が第１の環境光である場合と、前記環境光情報が示す環境光が前記第１の環境光とは異なる第２の環境光である場合と、で前記画像形成装置によって形成される画像又は前記画像投影装置によって投影される画像が異なることを特徴とする画像処理装置。
15. 前記第１の環境光に対応する時間帯は夕方であり、前記第２の環境光に対応する時間帯は昼であることを特徴とする請求項１４に記載の画像処理装置。
16. 画像形成手段によって形成される画像と、画像投影手段によって投影される画像と、を重畳して、重畳画像を表示する画像表示システムであって、
    前記画像形成手段と、
    前記画像投影手段と、
    入力画像データに基づいて、前記画像形成手段に対応する第１の画像データと、前記画像投影手段に対応する第２の画像データと、を生成する生成手段と、
    前記重畳画像が生成される際の環境光に関する環境光情報を取得する取得手段と、
    前記環境光情報に基づいて、前記第１の画像データを補正する補正手段と、
    を備えることを特徴とする画像表示システム。
17. コンピュータを請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する画像処理方法であって、
    入力画像データに基づいて、前記画像形成装置に対応する第１の画像データと、前記画像投影装置に対応する第２の画像データと、を生成する生成ステップと、
    前記重畳画像が生成される際の環境光に関する環境光情報を取得する取得ステップと、
    前記環境光情報に基づいて、前記第２の画像データを補正する補正ステップと、
    を備えることを特徴とする画像処理方法。
19. 画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する画像処理方法であって、
    入力画像データに基づいて、前記画像形成装置に対応する第１の画像データと、前記画像投影装置に対応する第２の画像データと、を生成する生成ステップと、
    前記重畳画像が生成される際の環境光に関する環境光情報を取得する取得ステップと、
    前記環境光情報に基づいて、前記第１の画像データを補正する補正ステップと、
    を備えることを特徴とする画像処理方法。
20. 画像形成装置によって形成される画像と、画像投影装置によって投影される画像と、を重畳して、重畳画像を生成するためのデータを生成する画像処理方法であって、
    前記重畳画像が生成される際の環境光を示す環境光情報を取得する取得ステップと、
    前記環境光情報に基づいて、前記画像形成装置に出力する第１の画像データと、前記画像投影装置に出力する第２の画像データと、を生成する生成ステップと、を備え、
    前記環境光情報が示す環境光が第１の環境光である場合と、前記環境光情報が示す環境光が前記第１の環境光とは異なる第２の環境光である場合と、で前記画像形成装置によって形成される画像又は前記画像投影装置によって投影される画像が異なることを特徴とする画像処理方法。

Images