JP6028527B2 - 表示処理装置、表示処理方法、及びプログラム - Google Patents

Description

本発明は、表示処理装置、表示処理方法、及びプログラムに関する。

印刷を行う前に、印刷結果を推定したプレビュー画像を表示する装置が知られている（例えば、特許文献１、特許文献２参照）。

特許文献１には、予め設定された複数のパラメータセットから選択された１つのパラメータセットに対応する記録媒体のグレイスケール画像を用いて、プレビュー画像を生成することが開示されている。特許文献２では、予め用意された照明画像データの内の、環境照明の設置情報に応じた照明画像データを選択する。そして、特許文献２には、照明画像データをメディアの変換反射特性を用いて加工することでボケ画像を生成し、生成したボケ画像と、プルーフ対象画像と、を合成した画像を、プレビュー画像として表示することが開示されている。

ここで、プレビュー画像の表示は、様々な表示環境下で行われる。プレビュー画像の表示環境には、例えば、駅ホーム、展示会場、オフィス、書斎等がある。しかしながら、上記従来技術においては、実空間の表示環境を反映させたプレビュー画像を提供することは出来なかった。

本発明は、上記に鑑みてなされたものであって、実空間の表示環境を反映させたプレビュー画像を提供することができる、表示処理装置、表示処理方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の表示処理装置は、第１取得部と、第２取得部と、第３取得部と、生成部と、表示制御部と、を含む。第１取得部は、実空間における表示環境の背景画像、該表示環境に設置された照明の第１照明画像、及び該表示環境における光属性を示す光源情報を取得する。第２取得部は、原稿データを取得する。第３取得部は、画像形成対象の記録媒体の質感情報を取得する。生成部は、取得された前記質感情報に応じて予め定められた補正情報に基づいて前記第１照明画像を補正した第２照明画像を生成する。表示制御部は、前記背景画像と、前記原稿データの表示された原稿面に、前記第２照明画像を環境マッピングすると共に前記光源情報によって特定される前記光属性の設定された原稿表示面と、を重ねた画像を、前記原稿データの印刷結果を推定したプレビュー画像として表示部に表示する制御を行う。

本発明の表示処理方法は、実空間における表示環境の背景画像、該表示環境に設置された照明の第１照明画像、及び該表示環境における光属性を示す光源情報を取得するステップと、原稿データを取得するステップと、画像形成対象の記録媒体の質感情報を取得するステップと、取得された前記質感情報に応じて予め定められた補正情報に基づいて前記第１照明画像を補正した第２照明画像を生成するステップと、前記背景画像と、前記原稿データの表示された原稿面に、前記第２照明画像を環境マッピングすると共に前記光源情報によって特定される前記光属性の設定された原稿表示面と、を重ねた画像を、前記原稿データの印刷結果を推定したプレビュー画像として表示部に表示する制御を行うステップと、を含む表示処理方法である。

本発明のプログラムは、実空間における表示環境の背景画像、該表示環境に設置された照明の第１照明画像、及び該表示環境における光属性を示す光源情報を取得するステップと、原稿データを取得するステップと、画像形成対象の記録媒体の質感情報を取得するステップと、取得された前記質感情報に応じて予め定められた補正情報に基づいて前記第１照明画像を補正した第２照明画像を生成するステップと、前記背景画像と、前記原稿データの表示された原稿面に、前記第２照明画像を環境マッピングすると共に前記光源情報によって特定される前記光属性の設定された原稿表示面と、を重ねた画像を、前記原稿データの印刷結果を推定したプレビュー画像として表示部に表示する制御を行うステップと、をコンピュータに実現させるためのプログラムである。

本発明によれば、実空間の表示環境を反映させたプレビュー画像を提供することができる、という効果を奏する。

図１は、表示処理装置の模式図である。 図２は、制御部の機能構成を示すブロック図である。 図３は、質感情報テーブルのデータ構造の一例を示す模式図である。 図４は、表示処理の手順を示すフローチャートである。 図５は、表示環境テーブルのデータ構造の一例を示す模式図である。 図６は、光源情報テーブルのデータ構造の一例を示す模式図である。 図７は、登録処理の手順を示すフローチャートである。 図８は、照明画像生成処理の手順を示すフローチャートである。 図９は、照明画像生成処理の説明図である。 図１０は、ぼかし画像から補正画像への変換の説明図である。 図１１は、表示制御処理の手順を示すフローチャートである。 図１２は、背景画像及び原稿表示面の一例を示す模式図である。 図１３は、プレビュー画像の一例を示す模式図である。 図１４は、表示処理装置の一例を示す模式図である。 図１５は、表示処理システムの一例を示す模式図である。 図１６は、ハードウェア構成図である。

以下に添付図面を参照して、表示処理装置、表示処理方法、及びプログラムの実施の形態を詳細に説明する。

図１は、本実施の形態の表示処理装置１０の模式図である。

表示処理装置１０は、プレビュー画像の表示を制御する装置である。表示処理装置１０は、携帯可能な携帯端末であってもよいし、固定型の端末であってもよい。

表示処理装置１０は、撮像部１２、制御部１４、記憶部１６、入力部１８、及び表示部２０を備える。撮像部１２、制御部１４、記憶部１６、入力部１８、及び表示部２０は、バス２２により電気的に接続されている。

なお、表示処理装置１０は、少なくとも制御部１４及び記憶部１６を備えた構成であればよく、撮像部１２、入力部１８、及び表示部２０の少なくとも１つを別体として設けた構成であってもよい。

撮像部１２は、プレビュー画像を表示する実空間における表示環境を撮像する。これによって、撮像部１２は、実空間における表示環境の撮像画像として背景画像を取得する。プレビュー画像を表示する実空間の表示環境は、例えば、オフィス、展示会場、駅の構内、駅のホーム、各種建物内等である。撮像部１２は、公知の撮像装置である。

また、撮像部１２は、実空間に設置された照明の撮像画像として第１照明画像を取得する。照明は、実空間に設置された直接照明や間接照明等である。これらの照明を撮像部１２で撮像すると、撮像部１２の自動露出機能により、照明本体や正面から出射した光の反射率の高い領域ほど輝度が高く、照明以外の領域や反射率の低い領域ほど輝度の低い第１照明画像が得られる。なお、撮像部１２の撮像により得られた撮像画像（背景画像、第１照明画像）は、制御部１４において予め定めた大きさ（解像度）となるように拡大または縮小された後に、記憶部１６に記憶される。撮像部１２は、ユーザによる入力部１８の操作指示によって撮像が指示されることで、実空間における表示環境の撮像、及び照明の撮像を行い、背景画像、及び第１照明画像を得る。

入力部１８は、ユーザから各種操作を受け付ける。入力部１８は、例えば、マウス、マイクによる音声認識、ボタン、リモコン、及びキーボード等である。

表示部２０は、各種画像を表示する。表示部２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、画像を投影するプロジェクタ等、公知の表示装置である。本実施の形態では、表示部２０には、後述するプレビュー画像が表示される。

制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。制御部１４は、表示処理装置１０に設けられた装置各部を制御する。

記憶部１６は、メモリやハードディスクドライブ装置（ＨＤＤ）等の記憶媒体であり、後述する各処理を実行するための各種プログラムや、各種データを記憶する。

図２は、制御部１４の機能構成を示すブロック図である。制御部１４は、第１取得部４０、生成部４２、第３取得部４４、表示制御部４６、及び第２取得部４８を備える。

表示制御部４６は、原稿データのプレビュー画像を表示部２０へ表示する制御を行う。本実施の形態では、プレビュー画像は、背景画像上に、原稿データ等を編集した画像の表示された表示面を重ねた画像である（詳細後述）。表示制御部４６は、例えばＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）などの３Ｄエンジンにより実現される。なお、表示制御部４６については詳細を後述する。

背景画像は、プレビュー画像を表示する実空間における表示環境の撮像画像である。背景画像上に重ねる表示面は、本実施の形態では、原稿表示面である。原稿表示面は、原稿データの表示された原稿面に、第１照明画像の補正処理によって生成された第２照明画像を環境マッピングした画像である。また、原稿表示面には、表示環境における光属性が設定される。原稿表示面及びプレビュー画像は、後述する制御部１４によって生成される（詳細後述）。

本実施の形態では、プレビュー画像は、仮想空間に背景画像を配置し、背景画像上の三次元空間上に原稿表示面を配置した三次元モデルを、二次元面に投影した画像である場合を説明する。

３次元モデルは、表示部２０の表示画面の横方向をｘ軸、上下方向をｙ軸、表示画面に垂直な方向をｚ軸とする。なお、プレビュー画像は、背景画像、及び原稿表示面を二次元空間に配置した二次元モデルであってもよい。

また、本実施の形態では、プレビュー画像は、背景画像上に、原稿表示面を配置した画像である場合を説明するが、少なくとも背景画像上に原稿表示面を配置した画像であればよく、更に、他の表示面を含んだ画像であってもよい。

他の表示面としては、例えば、無色の現像剤を用いて形成する透明画像の表示された表示面や、無色の現像剤を用いて紙に与える表面効果を規定した表面効果画像の表示された表示面等が挙げられるが、これらに限られない。

プレビュー画像が、複数の表示面を含む場合には、プレビュー画像は、これらの複数の表示面を、ｚ軸方向に沿ってｚ軸方向に異なる位置に配置した画像とすればよい。

第１取得部４０は、表示環境情報を取得する。

表示環境情報は、プレビュー画像表示時の、実空間における表示環境を示す情報である。具体的には、表示環境情報は、実空間の撮像画像である背景画像、実空間における照明の撮像画像である第１照明画像、及び光源情報を含む。

第１取得部４０は、記憶部１６から表示環境情報を取得する。具体的には、第１取得部４０は、新たな表示環境情報の登録指示がユーザによる入力部１８の操作指示によって入力されると、撮像部１２から背景画像及び第１照明画像を取得し、記憶部１６に記憶する（詳細後述）。また、ユーザによる入力部１８の操作指示によって、記憶部１６に記憶されている表示環境情報の内の１つが選択されると、第１取得部４０は、選択された表示環境情報を記憶部１６から取得する。

光源情報は、プレビュー画像表示時の、実空間の表示環境における光属性を示す。光源情報は、詳細には、プレビュー画像表示時の光を演出するための光源と反射を特定するための情報である。光源情報は、具体的には、光源種、鏡面光の強度、拡散光の強度、環境光の強度、色温度、及び光源位置を含む。本実施の形態では、表示環境に対応する光源情報が、ユーザによる入力部１８の操作指示によって入力され、記憶部１６に記憶される。第１取得部４０は、プレビュー画像を表示する表示環境に対応する光源情報を記憶部１６から取得する。

第３取得部４４は、質感情報を取得する。質感情報とは、プレビュー画像表示時に用いる質感（視覚的な効果）を示す情報である。本実施の形態では、第３取得部４４は、画像形成対象の紙の紙質の種類を、質感情報として取得する。

紙質の種類は、ユーザによる入力部１８の操作指示によって入力される。

紙質の種類は、画像形成された紙を視認したときに、紙質の違いがユーザによって確認される程度に異なる種類毎に予め定められている。本実施の形態では、紙質の種類には、ミラーコート紙、グロス紙、マット紙等があるが、これら以外の種類を含んでいてもよい。

例えば、プレビュー画像生成前に、制御部１４が表示部２０に紙質の種類の設定画面を表示する。そして、ユーザによるユーザによる入力部１８の操作指示によって、表示部２０に表示された紙質の種類の選択画面が選択されると、制御部１４は、予め登録された複数種類の紙質の種類を選択するための選択画面（図示省略）を表示部２０に表示する。そして、ユーザによる入力部１８の操作指示によって、画像形成対象の紙の紙質種が選択されると、画像形成対象の紙の紙質種を示す情報が、入力部１８から制御部１４へ出力される。制御部１４の第３取得部４４では、入力部１８から、紙質の種類を示す情報を質感情報として取得する。

第３取得部４４は、取得した質感情報に対応する照明変換情報及び反射情報を記憶部１６の質感情報テーブルから読み取る。そして、第３取得部４４は、読取った照明変換情報を生成部４２へ出力し、反射情報を表示制御部４６へ出力する。

図３は、記憶部１６に記憶されている質感情報テーブルのデータ構造の一例を示す模式図である。

質感情報テーブルは、質感情報名と、補正情報と、を対応づけたテーブルである。補正情報は、第１照明画像の補正時に用いられる。補正情報は、照明変換情報と、反射情報と、を含む。質感情報名は、質感情報を一意に識別する識別情報である。

照明変換情報とは、第１照明画像を、質感情報（すなわち、画像形成対象の紙の紙質の種類）に応じた質感となるように補正するときに用いる情報である。本実施の形態では、照明変換情報は、ぼかしパラメータと、ガンマ補正値と、を含む。

ぼかしパラメータは、後述する生成部４２が第１照明画像に対してガウシアンフィルタ処理を行うときに用いるパラメータである。ガンマ補正値は、後述する生成部４２がガンマ補正を行うときに用いる補正値である。

反射情報は、質感情報（すなわち、画像形成対象の紙の紙質の種類）に応じた質感を表現するために用いる情報である。反射情報は、鏡面反射、拡散反射、環境反射、自発光、及び鏡面反射指数を含む。鏡面反射は、鏡面反射の反射強度を示す。拡散反射は、拡散反射の反射強度を示す。環境反射は、環境反射の反射強度を示す。

自発光は、物体が自ら発光する光の光量を示す。なお、自発光に示される光量は、通常のプレビュー画像表示においては用いないが、画像形成対象の紙が蛍光増白剤を多く含む紙質の種類である場合には、演出として用いてもよい。

鏡面反射指数は、プレビュー画像における、三次元空間上に疑似的に配置した表示面と、表示制御部４６でサポートしている光源と、の距離に応じて光量の減衰を制御するためのパラメータである。

なお、本実施の形態では、質感情報毎の補正情報が予め設定され、記憶部１６の質感情報テーブルに予め記憶している。なお、詳細は後述するが、新たな質感情報がユーザによる入力部１８の操作指示によって設定された場合には、制御部１４は、質感情報テーブルを更新する。

また、質感情報テーブルに設定されている反射情報は、後述する表示制御部４６でサポートしている光源を利用する場合を想定して設定される。すなわち、表示されるプレビュー画像に含まれる表示面の色や明るさは、表示制御部４６により実現可能な光源の強さと各表示面に設定された反射率によって異なるものとなる。このため、本実施の形態では、１つの質感情報に対して、１つの補正情報を対応づける。

このため、本実施の形態では、実空間の表示環境に対応する質感情報を、１つの表示環境に対して複数用意する必要はない。また、本実施の形態では、生成部４２で生成された第２照明画像を環境マッピングするときには、後述する光源情報によって特定される鏡面光の反射強度や拡散光の反射強度等を、予め設定されている値より低く設定する。これは、生成した第２照明画像以外に、表示制御部４６でサポートしている光源による反射光が表示面に強く映り込むことを抑制するためである。

図２に戻り、第２取得部４８は、画像形成対象の原稿データを取得する。原稿データは、紙に印刷する対象の画像を示す画像データである。

生成部４２は、第１取得部４０から第１照明画像を取得する。また、生成部４２は、第３取得部４４から、画像形成対象の紙の紙質の種類（質感情報）に対応する照明変換情報を取得する。

そして、生成部４２は、取得した第１照明画像を、取得した照明変換情報を用いて補正し、第２照明画像を生成する（詳細後述）。

表示制御部４６は、プレビュー画像を生成すると共に、表示部２０に表示する制御を行う。表示制御部４６は、第１取得部４０から背景画像及び光源情報を受けつける。また、表示制御部４６は、生成部４２から第２照明画像を受け付ける。また、表示制御部４６は、第３取得部４４から、画像形成対象の紙の紙質の種類（質感情報）に対応する反射情報を受け付ける。

そして、表示制御部４６は、背景画像上に、原稿データ等を編集した画像の表示された表示面を重ねた画像をプレビュー画像として、表示部２０へ表示する制御を行う。

次に、表示処理装置１０の制御部１４が実行する表示処理の手順を説明する。

図４は、制御部１４が実行する表示処理の手順を示すフローチャートである。

まず、第２取得部４８が、原稿データを取得する（ステップＳ１００）。次に、第３取得部４４が、質感情報取得処理を実行する（ステップＳ１０２）。

第３取得部４４は、入力部１８から、ユーザの操作指示によって入力された画像形成対象の紙の紙質の種類を質感情報として受け付ける。そして、第３取得部４４は、受け付けた質感情報及び該質感情報に対応する補正情報が、記憶部１６の質感情報テーブルに格納されている場合には、該補正情報を読取る。

第３取得部４４は、読取った補正情報に含まれる照明変換情報を生成部４２へ出力し、読取った補正情報に含まれる反射情報を表示制御部４６へ出力する。

一方、入力部１８から受け付けた質感情報が記憶部１６の質感情報テーブルに格納されていない場合には、第３取得部４４は、質感情報の登録処理を実行する。

詳細には、第３取得部４４は、入力部１８から受け付けた質感情報を質感情報テーブルに登録すると共に、質感情報テーブルに格納されている補正情報登録済の質感情報名の一覧と、新規の補正情報入力を指示するための指示ボタンと、を表示部２０に表示する制御を行う。そして、ユーザによる入力部１８の操作指示によって、登録済の質感情報名の内の１つが選択された場合、選択された質感情報名に対応する補正情報を、新たに登録した質感情報名に対応づけて質感情報テーブルに格納する。

一方、ユーザによる入力部１８の操作指示によって、新規の補正情報入力を指示するための指示ボタンが操作された場合、第３取得部４４は、補正情報の入力を促す画面を表示部２０に表示する制御を行う。そして、ユーザによる入力部１８の操作指示によって、補正情報が入力されると、第３取得部４４は、入力された補正情報を、新たに登録した質感情報名に対応づけて質感情報テーブルに格納する。

そして、第３取得部４４は、格納した補正情報に含まれる照明変換情報を生成部４２へ出力し、該補正情報に含まれる反射情報を表示制御部４６へ出力する。

図４に戻り、次に、第１取得部４０が、表示環境情報取得処理を実行する（ステップＳ１０４）。第１取得部４０は、入力部１８から表示環境を一意に識別するための表示環境名を取得する。表示環境名は、ユーザによる入力部１８の操作指示によって入力される。ユーザは、プレビュー画像表示対象の実空間の表示環境の表示環境名を、入力部１８の操作指示によって入力する。

なお、本実施の形態では、第１取得部４０は、表示環境名を取得する場合を説明するが、表示環境を一意に識別する識別情報を取得すればよく、取得する情報は表示環境名に限られない。

そして、第１取得部４０は、取得した表示環境名が記憶部１６の表示環境テーブルに登録されている場合には、取得した表示環境名に対応する表示環境情報を、記憶部１６に格納されている表示環境テーブル及び光源情報テーブルから読み取ることで、表示環境情報を取得する。

図５は、表示環境テーブルのデータ構造の一例を示す模式図である。

図５に示すように、記憶部１６は、表示環境名と、背景画像と、第１照明画像と、光源情報名と、を対応づけて表示環境テーブルに格納している。光源情報名は、対応する表示環境名によって特定される表示環境における光属性を示す光源情報を一意に識別するための識別情報である。

図６は、光源情報テーブルのデータ構造の一例を示す模式図である。

図６に示すように、光源情報テーブルは、光源情報名と、光源情報と、を対応づけたテーブルである。

なお、光源種は、鏡面反射として光源画像を利用するか、それとも表示制御部４６で用意されている光源（スポット光）を利用するかを示している。本実施の形態では、光源種「１」は、鏡面反射として、生成した第２照明画像を利用することを示す。また、光源種「０」は、鏡面反射として、表示制御部４６で用意されている光源（スポット光）を利用することを示す。なお、光源種には、仮想空間の光源の種類に応じた値を割り当ててもよい。

なお、光源種に「１」が設定されている場合であっても、本実施の形態では、表示制御部４６は、３Ｄエンジンで用意されている仮想光源を利用する。このため、光源種「１」の場合、主に、対応する鏡面光には、鏡面光無しを示す「０」が設定されている。

また、光源情報に含まれる、鏡面光、拡散光、環境光、及び色温度としては、プレビュー画像を表示する表示環境に応じて、該表示環境を表現可能な値を設定する。光源位置は、仮想空間上において、原稿表示面の真上に相当する位置に予め設定してもよいし、プレビュー画像を視認する観察者の視点位置に応じて、鏡面光や拡散光の発生しやすい位置に予め設定してもよい。

図４に戻り、第１取得部４０は、入力部１８から取得した表示環境名が記憶部１６の表示環境テーブルに登録されている場合には、取得した表示環境名に対応する表示環境情報を、記憶部１６に格納されている表示環境テーブル及び光源情報テーブルから読み取ることで、表示環境情報を取得する。

一方、第１取得部４０は、取得した表示環境名が記憶部１６の表示環境テーブルに登録されていない場合には、図７に示す登録処理を実行した後に、取得した表示環境名に対応する表示環境情報を記憶部１６の表示環境テーブル及び光源情報テーブルから取得する。

まず、第１取得部４０が、入力部１８から、記憶部１６に登録されていない表示環境名を取得したとする（ステップＳ２００）。次に、第１取得部４０は、撮像部１２から背景画像を取得する（ステップＳ２０２）。なお、第１取得部４０は、表示部２０に、記憶部１６に登録済の背景画像の一覧を表示し、ユーザによる入力部１８の操作指示によって、一つの背景画像が選択されたときに、選択された背景画像を、ステップＳ２００で取得した表示環境名に対応する背景画像として取得してもよい。

次に、第１取得部４０は、撮像部１２から第１照明画像を取得する（ステップＳ２０４）。なお、第１取得部４０は、表示部２０に、記憶部１６に登録済の第１照明画像の一覧を表示し、ユーザによる入力部１８の操作指示によって１つの第１照明画像が選択されたときに、選択された第１照明画像を、ステップＳ２００で取得した表示環境名に対応する第１照明画像として取得してもよい。

次に、第１取得部４０は、入力部１８から光源情報を取得する（ステップＳ２０６）。例えば、第１取得部４０は、表示部２０に光源情報の入力を行うための設定画面を表示する。そして、ユーザによる入力部１８の操作指示によって、設定画面に表示された光源情報の入力欄にパラメータが入力されることで、光源情報が入力される。そして、第１取得部４０は、入力された光源情報を入力部１８から受け付けることで、光源情報を取得する。

なお、第１取得部４０は、表示部２０に、記憶部１６に登録済の光源情報の一覧を表示し、ユーザによる入力部１８の操作指示によって１つの光源情報が選択されたときに、選択された光源情報を、ステップＳ２００で取得した表示環境名に対応する光源情報として取得してもよい。

そして、第１取得部４０は、ステップＳ２０２〜ステップＳ２０６で取得した背景画像、第１照明画像、及び光源情報名を、ステップＳ２００で取得した表示環境名に対応づけて表示環境テーブルに登録すると共に、ステップＳ２０６で取得した光源情報を、該光源情報名に対応づけて光源情報テーブルに登録する（ステップＳ２０８）。なお、光源情報名には、各光源情報を一意に識別可能な情報を付与すればよい。そして本ルーチンを終了する。

図４に戻り、次に、生成部４２が第２照明画像生成処理（詳細後述）を実行する（ステップＳ１０６）。次に、表示制御部４６が、プレビュー画像の表示制御処理（詳細後述）を実行する（ステップＳ１０８）。

次に、表示制御部４６は、入力部１８から、質感の変更指示、又は、表示環境の変更指示が入力されたか否かを判断する（ステップＳ１１０）。例えば、表示制御部４６は、入力部１８から、前回取得した紙質の種類とは異なる種類を受け付けたか否か、または表示環境の変更指示を受け付けたか否か、を判別することによって、ステップＳ１１０の判断を行う。

ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、上記ステップＳ１０２へ戻る。一方、ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、本ルーチンを終了する。

次に、生成部４２が実行する照明画像生成処理（図４中、ステップＳ１０６参照）の詳細を説明する。

図８は、生成部４２が実行する照明画像生成処理の手順を示すフローチャートである。

まず、生成部４２は、第１取得部４０で取得された第１照明画像を上下反転する上下反転処理を実行する（ステップＳ３００）。図９（Ａ）に示すように、生成部４２は、第１照明画像を上下反転処理することで、上下反転した第１照明画像（図９（Ｂ）参照）を得る。これは、画像形成対象の紙に映り込む照明の光は、紙などで反射するため、上下が反転した画像となるためである。なお、撮像部１２で撮像した第１照明画像は、反射した画像ではない。このため、生成部４２は、撮像部１２で撮像された第１照明画像の上下を反転する。これにより、第１照明画像は、実際の表示環境下において画像の形成された紙を実際に視認したときに該紙に映り込む、照明からの光の映り込みに近い形状となる。

次に、生成部４２は、ぼかし処理を実行する（ステップＳ３０２）。ステップＳ３０２では、生成部４２は、上下反転した第１照明画像（図９（Ｂ）参照）に、上記ステップＳ１０２で取得した質感情報に対応する照明変換情報に示されるぼかしパラメータを適用し、ガウシアンフィルタ処理を実行する。ぼかしパラメータは、ガウシアンフィルタの縦方向サイズと横方向サイズを規定したデータである。これらのサイズが大きいほど、第１照明画像に比べて大きくボケた、ぼかし画像が得られる（図９（Ｃ）参照）。

なお、ぼかし画像の生成時に、質感情報（すなわち、紙質の種類）に対応する照明変換情報に示されるぼかしパラメータを用いる理由は、以下の通りである。すなわち、第１照明画像は、主に、鏡面反射として利用するため、その反射物の性質に依存するためである。たとえば、画像形成対象の紙質の種類がミラーコート紙である場合、第１照明画像は比較的原形を伴ったままシャープな反射画像となる。一方、画像形成対象の紙がマット紙であれば、照明色は判明するが照明の形状は殆ど分からないか、もしくはおぼろげに分かる程度の画像となる。

次に、生成部４２は、ぼかし画像の明るさを補正する、明るさ補正処理を実行する（ステップＳ３０４）。ステップＳ３０４の処理では、生成部４２は、上記ステップＳ１０２で取得した質感情報に対応する照明変換情報に示されるガンマ補正値を用いて、ぼかし画像の明るさを補正した補正画像を得る（図９（Ｄ）参照）。

図１０は、ぼかし画像から補正画像への変換の説明図である。ぼかし画像の輝度値のヒストグラムが、図１０（Ａ）に示すものであるとする。この場合、ぼかし画像の輝度値を、補正画像の輝度値に変換する関数であるガンマ補正値（図１０（Ｂ））を用いて補正を行うことで、図１０（Ｃ）に示す輝度値のヒストグラムを示す補正画像が得られる。

図８に戻り、次に、生成部４２は、高輝度化画像生成処理を実行する（ステップＳ３０６）。高輝度化画像とは、補正画像を構成する各画素における、色を構成する画素値を定数倍することで、高輝度化した画像である。高輝度化画像の各画素の画素値はＲＧＢ値で示される。生成部４２は、該ＲＧＢ値を、下記式（１）により算出する。

高輝度化画像の画素値（Ｒ,Ｇ,Ｂ）＝（ｒ×２５５／α，ｇ×２５５／α，ｂ×２５５／α）・・・式（１）

式（１）中、αは、輝度値（アルファ値、またはアルファチャネルともいう）を示す。また、式（１）中、（ｒ，ｇ，ｂ）は、補正画像を構成する各画素の色値（ＲＧＢ色値）を示す。なお、α＝“０”である場合には、画素値は“０”に設定する。

次に、生成部４２は、輝度画像生成処理を実行する（ステップＳ３０８）。

本実施の形態では、表示制御部４６は、生成部４２で生成された第２照明画像を利用して、画像形成対象の紙への照明の映り込みを表現する。このとき、表示制御部４６は、明るい部分ほど映り込みが大きく、暗い部分ほど映り込みを小さくすることで、照明の映り込みを表現する。このため、生成部４２は、より暗い部分については映り込みがほとんど行われないようにするために、補正画像の輝度値を求める。この補正画像を構成する画素毎に式（１）を用いて求めた輝度値によって示される画像が、輝度画像である（図９（Ｅ）参照）。

また、生成部４２は、補正画像を構成する各画素の画素値から、輝度画像を生成する。具体的には、生成部４２は、補正画像を構成する各画素の画素値を、ｒ，ｇ，ｂとすると、輝度値（α値）を、下記式（２）から求める。

α＝｛ｒ，ｇ，ｂの中の最大値｝ ・・・式（２）

生成部４２は、補正画像を構成する画素毎に式（２）から求めた輝度値によって示される画像を、輝度画像として生成する（図９（Ｅ）参照）。

図８に戻り、次に、生成部４２は、合成処理（ステップＳ３１０）を実行し、本ルーチンを終了する。

合成処理は、ステップＳ３０６で生成した高輝度化画像の各画素の画素値と、ステップＳ３０８で生成した輝度画像の各各画素のα値と、を対応する画素毎に合成する処理である。生成部４２は、合成処理により、第２照明画像を生成する（図９（Ｇ）参照）。なお、図９中、「Ａ」は、α値を示す。

次に、表示制御部４６が実行するプレビュー画像の表示処理（図４中、ステップＳ１０８）を詳細に説明する。

図１１は、表示制御部４６が実行する表示制御処理の手順を示すフローチャートである。

まず、表示制御部４６は、光源設定を行う（ステップＳ４００）。ステップＳ４００では、表示制御部４６は、第１取得部４０から取得した、表示環境に対応する光源情報によって特定される光属性を、仮想空間において光を演出するために仮想的に配置する光源の属性として設定する。

次に、表示制御部４６が、表示面の法線ベクトルを設定する（ステップＳ４０２）。本実施の形態では、表示制御部４６は、表示面の法線ベクトル及び配置位置を記憶部１６から読み取る。なお、本実施の形態では、表示面の配置位置は予め定められており記憶部１６に記憶されているものとする。なお、表示面の表示位置や、プレビュー画像が複数の表示面を含む場合の各表示面の間隔は、ユーザによる入力部１８の操作指示によって、任意の間隔に変更可能としてもよい。

次に、表示制御部４６は、仮想空間におけるステップＳ４０２で設定した位置に、原稿データの表示された原稿面をテクスチャマッピングする（ステップＳ４０４）。

次に、表示制御部４６は、仮想空間に配置した原稿面に、生成部４２で生成された第２照明画像を環境マッピングする（ステップＳ４０６）。ここで、上記ステップＳ４００で光源設定が行われることで、仮想空間に配置した原稿面に生成部４２で生成された第２照明画像を環境マッピングした表示面には、表示環境に対応する光源情報によって特定される光属性が設定された状態となる。これにより、原稿表示面が生成される。

なお、表示制御部４６は、原稿面上に第２照明画像を環境マッピングするときには、原稿面と第２照明画像とのアルファブレンドにより、原稿表示面を生成する。

このため、原稿表示面を構成する各画素の画素値は、α値／２５５：（１−α値／２５５）の比率で合成された値となる。このため、原稿表示面の生成時には、下記式（３）によって示される画素値が、第２照明画像の各画素の画素値として利用されることとなる。

α／２５５×（Ｒ，Ｇ，Ｂ）＝α／２５５×（ｒ×２５５／α，ｇ×２５５／α，ｂ×２５５／α）＝（ｒ，ｇ，ｂ) ・・・式（３）

表示制御部４６が、上記式（３）を用いて原稿面上に第２照明画像を環境マッピングした原稿表示面を生成することで、原稿表示面には、実空間に配置された照明の明るさと色を原稿表示面に映り込ませることができる。言い換えれば、第２照明画像における黒色領域については、原稿表示面に写りこまないように、環境マッピングすることができる。

さらに、第１照明画像として、グレイスケール画像を用いると、更に画像処理の簡易化を図ることができる。すなわち、高輝度画像は全て白になり、輝度画像がグレイスケール画像になる。第１照明画像において、照明や照明を強く反射している部分は明るく、そのような部分は紙によく映り込み、そうではない部分はかなり暗く、紙にあまり映り込まなくなる。撮像部１２の自動露出機能が有効のままで取得された第１照明画像は、照明や照明を強く反射している部分は明るく、そうではない部分はかなり暗くなる。このため、本実施の形態では、第１照明画像には、撮像部１２の自動露出機能が有効のままで撮像された第１照明画像を用いることが好ましい。

次に、表示制御部４６は、第１取得部４０で取得された背景画像を、仮想空間の表示領域に合わせて原稿表示面の背後に配置する（ステップＳ４０８）。そして、表示制御部４６は、上記処理によって生成された、背景画像上に原稿表示面を重ねた画像を、原稿データの印刷結果を推定したプレビュー画像として表示部２０に表示する制御を行う（ステップＳ４１０）。そして、本ルーチンを終了する。

図１２は、背景画像及び原稿表示面の一例を示す模式図である。

図１２に示すように、表示制御部４６は、背景画像３０と、原稿表示面３２と、を重ねたプレビュー画像を生成する。原稿表示面３２は、原稿データの表示された原稿面３２Ａに、第２照明画像３２Ｂを環境マッピングすると共に、表示環境に対応する光源情報によって特定される光属性の設定された画像である。なお、表示環境に対応する光源情報によって特定される光属性とは、例えば、３Ｄエンジンにおける光源の強度と、原稿の反射率と、法線ベクトル、で特定される属性である。

図１３は、プレビュー画像の一例を示す模式図である。

表示制御部４６がプレビュー画像を表示部２０へ表示する制御を行うことで、例えば図１３に示すプレビュー画像を提供することができる。すなわち、視点Ｐから観察されると、仮想空間内に、実空間の表示環境に対応する光源情報が設定されると共に第２照明画像が環境マッピングされた原稿表示面３２を配置すると共に、原稿表示面３２の後方に背景画像３０を配置したプレビュー画像が生成される。

なお、プレビュー画像が表示部２０へ表示された状態で、ユーザによる入力部１８の操作指示によって、表示面の回転指示を受け付けた場合、表示制御部４６は、プレビュー画像に含まれる原稿表示面の回転制御を行ってもよい。

以上説明したように、本実施の形態の表示処理装置１０においては、表示制御部４６は、背景画像と、原稿表示面と、を含むプレビュー画像を表示する制御を行う。背景画像は、プレビュー画像を表示する実空間の表示環境の撮像画像である。

原稿表示面は、原稿データの表示された原稿面に、実空間の表示環境に対応する光源情報によって特定される光属性の設定された表示面である。

このように、本実施の形態の表示処理装置１０では、プレビュー画像を表示する実空間の背景画像を含むプレビュー画像を提供する。また、本実施の形態の表示処理装置１０では、背景画像上に、原稿面に実空間の表示環境に対応する光源情報によって特定される光属性の設定された原稿表示面を重ねたプレビュー画像を提供する。

従って、本実施の形態の表示処理装置１０では、プレビュー画像を表示する実空間の表示環境を反映させたプレビュー画像を提供することができる。

また、本実施の形態の表示処理装置１０では、実空間の表示環境における照明を撮像した第１照明画像を、画像形成対象の紙の紙質の種類としての質感情報に対応する補正値に基づいて補正した第２照明画像を生成し、第２照明画像を原稿面上に環境マッピングする。

このため、本実施の形態の表示処理装置１０では、画像形成対象の紙の紙質の種類にも対応したプレビュー画像を容易に提供することができる。

さらに、本実施の形態の表示処理装置１０では、背景画像、第１照明画像、及び光源情報を、ユーザによる入力部１８の操作指示によって取得してもよいし、既に記憶部１６に記憶されている背景画像、第１照明画像、及び光源情報等を用いて、新たな表示環境情報を生成してもよい。

このため、新たな表示環境情報を容易に設定することができる。

＜変形例１＞
なお、上記実施の形態では、表示処理装置１０が撮像部１２を備え、撮像部１２から第１照明画像及び背景画像を取得する場合を説明した。しかし、表示処理装置１０は、撮像部１２を備えない構成であってもよい。

図１４は、撮像部１２を備えない構成の表示処理装置１０Ａの一例を示す模式図である。

表示処理装置１０Ａは、制御部１４、記憶部１６、入力部１８、表示部２０、及び通信部２４を備える。制御部１４、記憶部１６、入力部１８、表示部２０、及び通信部２４は、バス２２によって電気的にされている。なお、記憶部１６、入力部１８、及び表示部２０は、上記実施の形態と同様である。

通信部２４は、ネットワーク２９を介して外部記憶装置２６と信号授受を行う通信インターフェースである。ネットワーク２９には、表示処理装置１０Ａ、外部記憶装置２６、及びＰＣ（パーソナルコンピュータ）２８が接続されている。

外部記憶装置２６は、表示処理装置１０Ａがプレビュー画像を表示する対象となる様々な表示環境の背景画像、及び第１照明画像を予め記憶する。表示処理装置１０Ａでは、通信部２４及びネットワーク２９を介して外部記憶装置２６から背景画像及び第１照明画像を読取ることにより、これらを取得すればよい。

このように、表示処理装置１０Ａは、外部装置から、背景画像及び第１照明画像を取得してもよい。

＜変形例２＞
なお、上記実施の形態の表示処理装置１０で行っていた処理の一部を、表示処理装置１０とネットワーク等を接続されたクラウド上の一以上の装置で行ってもよい。

図１５は、クラウドを備えた表示処理システムの一例を示す模式図である。

図１５に示すように、表示処理システムは、表示処理装置１０Ｂ、及びサーバ装置５４がネットワーク５２により接続された構成である。

表示処理装置１０Ｂは、撮像部１２、制御部１４Ａ、記憶部１６、入力部１８、表示部２０、及び通信部５０を備える。撮像部１２、制御部１４Ａ、記憶部１６、入力部１８、表示部２０、及び通信部５０は、バス２２で接続されている。なお、撮像部１２、記憶部１６、入力部１８、及び表示部２０は、上記実施の形態と同様である。

制御部１４Ａは、表示制御部４６を備える。制御部１４Ａは、第１取得部４０、生成部４２、第３取得部４４、及び第２取得部４８を備えない構成である以外は、上記実施の形態と同様である。

サーバ装置５４は、クラウド上の位置の装置である。サーバ装置５４は、上記で説明した第１取得部４０、生成部４２、第３取得部４４、及び第２取得部４８を備える。これらの各部の機能は、上記実施の形態と同様である。

なお、上記実施の形態と異なる点は、本変形例においては、第１取得部４０、生成部４２、第３取得部４４、及び第２取得部４８の処理をサーバ装置５４上で実行し、取得した各種情報を、サーバ装置５４から表示処理装置１０Ｂへ送信する点である。また、表示処理装置１０Ｂにおける制御部１４Ａの表示制御部４６は、サーバ装置５４から取得した各種情報から、プレビュー画像の生成及び表示制御を行う。

なお、サーバ装置５４が行う処理は本例に限定されるものではなく、サーバ装置５４は、本実施の形態にかかる画像形成システムが行う処理の一部を行うことができる。

また、画像形成システムは、２以上のサーバ装置を備えてもよい。この場合には、実施の形態にかかる画像形成システムが行う処理の一部を、各サーバ装置に分散させる。さらに、各サーバに分散させる処理については、任意に設定することができる。

次に、上述した表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４のハードウェア構成について説明する。

図１６は、表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４のハードウェア構成図である。表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４は、ハードウェア構成として、装置全体を制御するＣＰＵなどの制御装置２９０１と、各種データや各種プログラムを記憶するＲＯＭやＲＡＭなどの主記憶装置２９０２と、各種データや各種プログラムを記憶するＨＤＤなどの補助記憶装置２９０３と、キーボードやマウス等の入力装置２９０５と、ディスプレイ装置等の表示装置２９０４とを主に備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記実施の形態の表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、上記実施の形態の表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、上記実施の形態の表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上記実施の形態の表示処理装置１０、表示処理装置１０Ａ、表示処理装置１０Ｂ、及びサーバ装置５４で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。

１０、１０Ａ、１０Ｂ 表示処理装置
４２ 生成部
４４ 第３取得部
４６ 表示制御部
４８ 第２取得部
５４ サーバ装置

特開２００９−１３０４６１号公報 特開２０１２−４４４２１号公報

Claims (5)

1. 実空間における表示環境の背景画像、該表示環境に設置された照明の第１照明画像、及び該表示環境における光属性を示す光源情報を取得する第１取得部と、
   原稿データを取得する第２取得部と、
   画像形成対象の記録媒体の質感情報を取得する第３取得部と、
   取得された前記質感情報に応じて予め定められた補正情報に基づいて前記第１照明画像を補正した第２照明画像を生成する生成部と、
   前記背景画像と、前記原稿データの表示された原稿面に、前記第２照明画像を環境マッピングすると共に前記光源情報によって特定される前記光属性の設定された原稿表示面と、を重ねた画像を、前記原稿データの印刷結果を推定したプレビュー画像として表示部に表示する制御を行う表示制御部と、
   を備えた表示処理装置。
2. 前記第１取得部は、撮像部で撮像された前記背景画像、及び撮像部で撮像された前記第１照明画像を取得する、請求項１に記載の表示処理装置。
3. 前記表示制御部は、
   前記背景画像と前記原稿表示面とを三次元空間に配置した前記プレビュー画像を前記表示部に表示する制御を行う、請求項１または請求項２に記載の表示処理装置。
4. 実空間における表示環境の背景画像、該表示環境に設置された照明の第１照明画像、及び該表示環境における光属性を示す光源情報を取得するステップと、
   原稿データを取得するステップと、
   画像形成対象の記録媒体の質感情報を取得するステップと、
   取得された前記質感情報に応じて予め定められた補正情報に基づいて前記第１照明画像を補正した第２照明画像を生成するステップと、
   前記背景画像と、前記原稿データの表示された原稿面に、前記第２照明画像を環境マッピングすると共に前記光源情報によって特定される前記光属性の設定された原稿表示面と、を重ねた画像を、前記原稿データの印刷結果を推定したプレビュー画像として表示部に表示する制御を行うステップと、
   を含む表示処理方法。
5. 実空間における表示環境の背景画像、該表示環境に設置された照明の第１照明画像、及び該表示環境における光属性を示す光源情報を取得するステップと、
   原稿データを取得するステップと、
   画像形成対象の記録媒体の質感情報を取得するステップと、
   取得された前記質感情報に応じて予め定められた補正情報に基づいて前記第１照明画像を補正した第２照明画像を生成するステップと、
   前記背景画像と、前記原稿データの表示された原稿面に、前記第２照明画像を環境マッピングすると共に前記光源情報によって特定される前記光属性の設定された原稿表示面と、を重ねた画像を、前記原稿データの印刷結果を推定したプレビュー画像として表示部に表示する制御を行うステップと、
   をコンピュータに実現させるためのプログラム。