JP2017228947A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】被写体の反射特性に起因するムラを補正する。
【解決手段】画像処理装置は、撮影装置から被写体の画像を表す画像データを取得する手段と、被写体からの反射光の強度の角度依存性を取得する手段と、被写体から撮影装置への反射光の角度を算出する手段と、算出された角度と、取得された角度依存性と、に基づいて、取得された画像データを補正する手段と、を備える。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

撮影画像に含まれるムラには大きく分けて２つある。すなわち、撮影時に照明光源が被写体に不均一に照射されるために発生する照明ムラと、レンズ特性に起因して撮影画像の中央部から周辺部に向けて暗くなる周辺減光ムラと、である。照明ムラは被写体のサイズが１ショット撮影時の画角よりも大きいために複数回撮影を行う場合に発生し、特に縦方向で大きく発生する。また、周辺減光ムラは撮影画像毎に発生する。

撮影画像に生じるムラを補正するための技術としてシェーディング補正技術が知られている。例えば特許文献１に記載される技術では、カラーチャートと照明ムラ補正用チャートとを同一照明下で撮影し、両チャートの撮影値に基づいて上記２つのムラの補正を行っている。また、特許文献２に記載される技術では、フラッシュ撮影と観察光撮影とを行い、フラッシュ撮影された画像の画素値と観察光源で撮影された画素値との対応関係に基づいてシェーディング補正を行うための補正データを作成し、補正を行っている。

特開２００７−８１５８０号公報 特開２０１１−１２４９５４号公報

撮影画角よりも大きい被写体を撮影する場合、カメラの位置を動かさずにピッチアンドロールなどで回転させ、角度を変えて複数枚撮影することがある。この場合、被写体の反射特性と補正用チャートの反射特性との違いによって、被写体と補正用チャートとでムラの出方に差異が発生しうる。このため、被写体と補正用チャートとに同一のムラが発生するという前提の下でシェーディング補正を行う特許文献１の方法では、被写体の撮影画像に生じるムラを適切に補正することは難しい。また、特許文献２の方法でも、角度を変えて被写体を撮影したときの色の変化は考慮していない。さらに、撮影画像に生じる周辺減光ムラは光源や撮影条件に依存して異なるため、特許文献２に記載の方法でも照明ムラと周辺減光ムラを適切に補正することは難しい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、被写体の反射特性に起因するムラを補正できる技術の提供にある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、撮影装置から被写体の画像を表す画像データを取得する手段と、被写体からの反射光の強度の角度依存性を取得する手段と、被写体から撮影装置への反射光の角度を算出する手段と、算出された角度と、取得された角度依存性と、に基づいて、取得された画像データを補正する手段と、を備える。

本発明によれば、被写体の反射特性に起因するムラを補正できる。

カメラの画角と被写体との関係を示す模式図。 第１の実施の形態に係る画像処理装置の機能および構成を示すブロック図。 特性保持部、照明情報保持部の一例を示すデータ構造図。 ＵＩ部により表示されるユーザインタフェースの代表画面図。 図２の画像処理装置における一連の処理の流れを示すフローチャート。 撮影環境、観察環境の模式図。 第２の実施の形態に係る画像処理装置の機能および構成を示すブロック図。 図７の画像処理装置における一連の処理の流れを示すフローチャート。 色抽出ファイルの一例を示すデータ構造図。

以下、図面を参照して本発明の実施の形態を説明する。ただし、本発明の実施の形態は以下の実施の形態に限定されるものではない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

図１（ａ）は、カメラ１０の画角１４と被写体１２との関係を示す模式図である。被写体１２は掛け軸や巻物、絵画等の長尺物であってもよい。被写体１２は縦方向（または垂直方向、上下方向）に長い。縦方向において、被写体１２は、撮影装置であるカメラ１０の画角１４よりも大きい。すなわち、カメラ１０は一回の撮影では被写体１２の縦方向の全体を映すことができない。したがって、撮影者は、カメラ１０が設置されている雲台１６を回すことで、カメラ１０の位置は変えずにカメラ１０の向きを変え、何回かに分けて被写体１２の全体を撮影する。そして、撮影者は、そのようにして得られた複数枚の画像（以下、それぞれを部分画像と称す）をつなぎ合わせて被写体１２の全体を映すひとつの画像（以下、全体画像と称す）を生成する。

カメラ１０は下から上に４回向きを変えて被写体１２を撮影し、計５枚の部分画像を生成する。これは、被写体１２を縦方向に５つに分け、そのそれぞれを撮影することに対応する。カメラ１０の画角１４に入る被写体１２の部分を画角部分と称す。図１（ａ）の例では、被写体１２はカメラ１０の５つの向きにそれぞれ対応する５つの画角部分１８ａ、１８ｂ、１８ｃ、１８ｄ、１８ｅに分割される。

図１（ｂ）は、複数枚の画像のつなぎ合わせの説明図である。５つの画角部分１８ａ、１８ｂ、１８ｃ、１８ｄ、１８ｅのそれぞれを撮影することで５つの部分画像２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅが得られる。撮影者はこれら５つの部分画像２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅをつなぎ合わせ、被写体１２の全体が映るひとつの全体画像２２を生成する。部分画像２０ａは対応する画角部分１８ａの像２４ａを含む。他の部分画像についても同様である。全体画像２２は被写体１２の像２６を含む。

図１（ａ）の例では、被写体１２は太陽光などの自然光により照らされる。自然光の下では被写体１２の照明条件は実質的に一様である。すなわち、被写体１２における照明光の強度は均一（場所によらず一定）であり、照明光が被写体１２に入射する角度（以下、照明入射角度と称す）も均一である。この状況では実質的に照明ムラは存在しない。

しかしながら、被写体１２からの反射光の強度には角度依存性（以下、変角反射特性と称す）がある。したがって、照明ムラがない状態でも変角反射特性の影響で、カメラ１０の画角１４の向きによって輝度が上下することになる。これは部分画像や全体画像における輝度のムラ（以下、角度ムラと称す）となって現れる。本実施の形態に係る画像処理技術では、この角度ムラを低減または除去するように画像を補正する。

被写体１２をスタジオ等の屋内で撮影する場合、蛍光灯や電球などの照明源により被写体１２を照らすので、照明光の強度や照明入射角度は被写体１２上の位置に依存するようになる。図１（ｃ）は、図１（ａ）において自然光の代わりに被写体１２に近い位置に配置された照明源２８を用いる場合の説明図である。５つの画角部分１８ａ、１８ｂ、１８ｃ、１８ｄ、１８ｅのそれぞれにおける縦方向の中央の位置をその画角部分の画角位置３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅと定義する。画角位置における照明入射角度ｉおよび照明光の強度は、画角位置により異なる。画角位置からカメラ１０への反射光の反射角度ｊもまた画角位置により異なる。以下では、このように被写体１２の照明条件が必ずしも一様ではない場合を説明する。この場合、角度ムラおよび照明ムラの両方が考慮される。

（第１の実施の形態）
図２は、第１の実施の形態に係る画像処理装置１０１の機能および構成を示すブロック図である。画像処理装置１０１は、画像取得部１０２と、特性取得部１０５と、照明情報取得部１０６と、推定部１０７と、画像補正部１０８と、ＵＩ部１０９と、を備える。

画像取得部１０２は、被写体１２の全体画像１１０を表す全体画像データをカメラ１０から取得する。全体画像データは、それぞれが複数の部分画像のそれぞれを表す複数の部分画像データを含む。各部分画像データはカメラ１０における一回の撮影により生成される。撮影者は、被写体１２の照明条件に対応する照明条件、例えば同じ照明条件の下で、照明ムラを補正するための補正用チャートをカメラ１０により撮影する。画像取得部１０２は、補正用チャートを撮影して得られる基準画像１１２を表す基準画像データをカメラ１０から取得する。補正用チャートは被写体１２と実質的に同じ大きさを有し、基準画像１１２は全体画像１１０と同様に複数の部分画像をつなぎ合わせて生成される。補正用チャートは全ての面で反射率が均一な拡散反射板であってもよい。

特性取得部１０５は、特性保持部１０３に保持される変角反射特性を取得する。照明情報取得部１０６は、照明情報保持部１０４に保持される照明情報を取得する。推定部１０７は、特性取得部１０５によって取得された変角反射特性と、照明情報取得部１０６によって取得された照明情報と、に基づいて反射光の角度に応じた反射光の強度（以下、変角反射強度と称す）を推定する。

画像補正部１０８は、推定の結果得られた変角反射強度に基づいて、画像取得部１０２によって取得された画像データを補正する。画像補正部１０８は、角度算出部１１８と、補正係数算出部１２０と、補正適用部１２２と、を含む。角度算出部１１８は、画像取得部１０２によって取得された全体画像データに含まれる各部分画像データについて、その部分画像データに対応する画角部分からカメラ１０への反射光の角度（すなわち反射角度ｊ）を算出する。補正係数算出部１２０は、画角部分ごとに補正係数を算出する。補正適用部１２２は、部分画像データをそれに対応する補正係数を用いて補正する。画像補正部１０８は、補正された部分画像データをまとめて補正された全体画像データを生成し、出力する。補正された全体画像データは補正画像１１４を表す。

ＵＩ部１０９は、撮影者が処理の指示を行うためのユーザインタフェースを表示する。ＵＩ部１０９はモニタ、マウス、キーボードにより構成されてもよいし、タッチパネルにより構成されてもよい。なお、本実施の形態に係る画像処理装置１０１のハードウエア構成は、コンピュータなどの公知の技術によって構成可能であるため、ハードウエアの詳細な説明は省略する。

図３（ａ）は、特性保持部１０３の一例を示すデータ構造図である。特性保持部１０３は撮影対象である被写体１２の変角反射特性を保持する。変角反射特性は、反射光の角度と反射率との関係を規定する。特性保持部１０３は、変角反射特性として、色毎に所定の受光角度と照明の入射角度とに応じた被写体１２の反射特性を記述する。反射光の受光角度は、図１（ｃ）における反射角度ｊである。照明の入射角度は、図１（ｃ）における照明入射角度ｉである。図３（ａ）に示される例では、特性保持部１０３は、受光角度＝「４５度」、色を特定する色ＩＤ＝「１」、について、５つの入射角度の値のそれぞれに対する反射率を保持する。本実施の形態では、反射特性を得るため、予め、所定の照明源を用い、入射角度と受光角度との組を様々に変えて被写体１２を撮影することで画像データを生成する。生成された画像データの代表的な色値を抽出して輝度値に変換した値を使用して反射特性を算出する。なお、予め被写体１２または被写体１２の変角反射特性を近似するサンプルを、所定の変角測定器で測定することで特性保持部１０３を生成してもよい。

図３（ｂ）は、照明情報保持部１０４の一例を示すデータ構造図である。照明情報保持部１０４は、カメラ１０が被写体１２を撮影して全体画像データを生成したときの被写体１２の照明条件を示す照明情報を保持する。例えば、照明情報は、被写体１２上の位置に対する照明入射角度ｉの分布および被写体１２上の位置における照明光の強度の分布を含む。本実施の形態では、照明情報保持部１０４は、照明情報として、被写体１２上の位置毎に照明入射角度ｉと入射強度とを対応付けて保持する。被写体１２上の位置を特定する位置ＩＤは、被写体１２を複数回撮影する際の縦方向の撮影位置を示す。例えば、被写体１２を縦方向に５回に分けて分割撮影する際には、位置ＩＤは１〜５のうちのいずれかとなる。位置ＩＤは、図１（ｃ）における画角位置３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅを特定する。照明入射角度ｉおよび入射強度にはそれぞれ、対応する画角位置で測定された数値が登録される。入射強度は測定点における照明の輝度値を示す。なお、横方向（または左右方向、水平方向）の照明ムラが大きい場合は、照明情報保持部１０４は別途横方向の照明ムラのデータを保持してもよい。あるいはまた、照明情報保持部１０４は、全方位カメラの撮影画像データから、照明入射角度と入射強度とを任意の点について推定した結果を保持してもよい。

図４（ａ）は、ＵＩ部１０９により表示されるユーザインタフェース４００の代表画面図である。ユーザインタフェース４００は画像処理に必要な情報をユーザに入力してもらうためのものである。ユーザインタフェース４００は、５つの指示入力部４０１、４０２、４０３、４０４、４０５および実行ボタン４０６を有する。指示入力部４０１は、被写体１２を撮影した画像を指示するための領域である。指示入力部４０２は補正用チャートを撮影した画像を指示するための領域である。指示入力部４０３は被写体１２の変角反射特性を指示するための領域である。指示入力部４０４は撮影環境における照明情報を指示するための領域である。指示入力部４０５は補正後の画像を保存する際のファイル名を指示するための領域である。実行ボタン４０６は被写体１２の撮影画像データに対して補正を行うことを指示するための補正処理実行ボタンである。

以上の構成による画像処理装置１０１の動作を説明する。
図５（ａ）は、図２の画像処理装置１０１における一連の処理の流れを示すフローチャートである。該フローチャートに対応する処理は、例えば、画像処理装置１０１として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。Ｓ１では、ＵＩ部１０９はユーザインタフェース４００を表示する。Ｓ２では、画像取得部１０２は、指示入力部４０１および指示入力部４０２により指示された画像ファイル名に基づき画像データを取得する。取得される画像データは被写体１２の全体画像データおよび補正用チャートの基準画像データを含む。Ｓ３では、特性取得部１０５は、指示入力部４０３により指示されたファイル名に基づき、特性保持部１０３から変角反射特性を取得する。Ｓ４では、照明情報取得部１０６は、指示入力部４０４により指示されたファイル名に基づき、照明情報保持部１０４から照明情報を取得する。Ｓ５では、推定部１０７は、ステップＳ３で取得された変角反射特性とステップＳ４で取得された照明情報とを用いて被写体１２の変角反射強度を推定する。推定部１０７における処理の詳細は後述する。Ｓ６では、画像補正部１０８は、ステップＳ２で取得された画像データとステップＳ５で推定された変角反射強度とに基づいて、全体画像１１０に生じる角度ムラや照明ムラを補正する。画像補正部１０８の処理の詳細は後述する。Ｓ７では、画像補正部１０８は、ステップＳ６で補正された補正画像をバッファに出力し、バッファにて保存することで処理を終了する。

図５（ｂ）は、図５（ａ）の推定ステップＳ５にて実行される処理の流れを示すフローチャートである。Ｓ５１では、推定部１０７は、ステップＳ３で取得された変角反射特性を取得する。Ｓ５２では、推定部１０７は、ステップＳ４で取得された照明情報を取得する。Ｓ５３では、推定部１０７は、撮影時のカメラ１０の幾何条件を取得する。本実施の形態では、角度算出部１１８が、専用の雲台１６の制御パラメータから、カメラ１０を水平面から何度回転させて撮影したかを示す角度データを取得する。角度算出部１１８は、取得された角度データから、被写体１２上の各画角位置における受光角度を算出する。推定部１０７は、角度算出部１１８によって算出された画角位置ごとの受光角度を取得する。

Ｓ５４では、推定部１０７は、ステップＳ５３で取得された受光角度およびステップＳ５２で取得された照明情報に含まれる入射角度を参照する。推定部１０７は、ステップＳ５１で取得された変角反射特性から、参照した受光角度、入射角度の組に最も近い受光角度、入射角度の組に対応する反射特性のデータを取得する。なお、本実施の形態では参照した受光角度、入射角度の組に最も近い受光角度、入射角度の組に対応する反射特性のデータを取得するが、これに限られない。例えば、参照した受光角度、入射角度の組に最も近い受光角度、入射角度の組の反射特性からの角度に基づく補間により、撮影環境での被写体１２の反射特性を取得してもよい。

Ｓ５５では、推定部１０７は、ステップＳ５４で取得された反射特性と照明の入射強度とから下記の式（１）を用いて、被写体１２の各画角部分の反射強度を算出する。
Ｓ（ｍ_ｐ）＝Ｅ（ｍ_ｐ）×Ｉ（ｍ_ｐ） …（１）
ここで、
ｍ_ｐ：位置ＩＤｐで特定される画角位置の縦方向の座標（ｙ座標）
Ｓ（ｍ_ｐ）：ｍ_ｐにおける被写体１２の変角反射強度
Ｅ（ｍ_ｐ）：ｍ_ｐにおける被写体１２の変角反射率
Ｉ（ｍ_ｐ）：ｍ_ｐにおける照明の入射強度
Ｅ（ｍ_ｐ）はステップＳ５４において、位置ＩＤｐで特定される画角位置における受光角度、入射角度の組に最も近い組に対応する反射率として取得される。Ｉ（ｍ_ｐ）は、ステップＳ５２で取得された照明情報のうち、位置ＩＤｐに対応する入射強度である。Ｓ５６では、推定部１０７は、ステップＳ５５で算出された変角反射強度をバッファに保存して処理を終了する。

例えば、図３（ｂ）の位置ＩＤ「１」が特定する画角位置（以下、第１画角位置と称す）について、角度算出部１１８により受光角度が「４５度」と算出されたとする。同様に、位置ＩＤ「２」が特定する画角位置（以下、第２画角位置と称す）について、角度算出部１１８による受光角度が「３０度」と算出される。推定部１０７は、図３（ｂ）と同等の照明情報を参照し、第１画角位置の入射角度は「４５度」であると決定する。同様に、推定部１０７は、第２画角位置の入射角度は「５０度」であると決定する。推定部１０７は、図３（ａ）と同等の変角反射特性を参照し、第１画角位置についての（受光角度、入射角度）＝（４５度、４５度）に最も近い組を特定する。例えば、（４５度、４０度）が特定される。推定部１０７は特定された組に対応する第１反射率を取得する。例えば、色ＩＤ順に（８７％、８３％、８０％、６７％、…）が取得される。同様に、推定部１０７は、第２画角位置について第２反射率を取得する。推定部１０７は、第１画角位置における変角反射強度Ｓ（ｍ_１）を第１反射率（＝Ｅ（ｍ_１））と位置ＩＤ「１」に対応する入射強度（＝Ｉ（ｍ_１））との積として算出する。同様に、推定部１０７は、第２画角位置における変角反射強度Ｓ（ｍ_２）を第２反射率（＝Ｅ（ｍ_２））と位置ＩＤ「２」に対応する入射強度（＝Ｉ（ｍ_２））との積として算出する。

図５（ｃ）は、図５（ａ）の補正ステップＳ６にて実行される処理の流れを示すフローチャートである。Ｓ６１では、画像補正部１０８は、ステップＳ２で取得された画像データを取得する。Ｓ６２では、画像補正部１０８の補正係数算出部１２０は、ステップＳ５で推定された変角反射強度に基づき下記の式（２）を用いて、被写体１２の画角部分ごとに補正係数を算出する。
…（２）
ここで、
ｋ（ｍ_ｐ）：ｍ_ｐにおける補正係数
Ｓ_ａｖｅ：被写体１２の変角反射強度の平均値（全ての位置ＩＤｐにおける変角反射強度の平均）
Ｗ_ａｖｅ：補正用チャートの輝度値の平均値（位置ＩＤｐにおける全ての補正用チャートの輝度値の平均）
Ｗ（ｍ_ｐ）：ｍ_ｐにおける補正用チャートの輝度値

上記の第１画角位置、第２画角位置の例で、第１反射率が第２反射率よりも低い（Ｅ（ｍ_１）＜Ｅ（ｍ_２））とする。また、第１画角位置と第２画角位置とで入射強度は同等である（Ｉ（ｍ_１）≒Ｉ（ｍ_２））とする。さらに、Ｗ（ｍ_１）≒Ｗ（ｍ_２）とする。すると、式（１）より、Ｓ（ｍ_１）＜Ｓ（ｍ_２）であり、式（２）よりｋ（ｍ_１）およびｋ（ｍ_２）はｋ（ｍ_１）＞ｋ（ｍ_２）となるよう設定される。すなわち、反射率が低いほど、補正係数は大きくなる傾向にある。

Ｓ６３では、画像補正部１０８の補正適用部１２２は、ステップＳ６１で取得した全体画像データおよび基準画像データの画素値をＲＧＢ値からＸＹＺ値へと変換する。本実施の形態ではＲＧＢ値からＸＹＺ値への変換には下記の式（３）のｓＲＧＢ変換式を用いるが、他の例ではＡｄｏｂｅＲＧＢ変換式など他の変換式を用いてもよい。
…（３）
ここで、ＲＧＢの各画素値はγ＝２．２で変換される。

Ｓ６４では、補正適用部１２２は、下記の式（４）、式（５）を用いてＸＹＺ値を補正する。
…（４）
ここで、
ｎ：全体画像１１０または基準画像１１２における縦方向の座標（ｙ座標）
Ｙ’（ｎ）：座標ｎにおける全体画像１１０の輝度値
ｋ（ｎ）：座標ｎにおける補正係数（位置ＩＤｐにおける位置座標と座標ｎとの対応を参照し、最も近い位置座標の補正係数に基づき線形補間により算出する）
Ｙ（ｎ）：座標ｎにおける変換前の全体画像１１０の輝度値
Ｙｗ（ｎ）：座標ｎにおける基準画像１１２の輝度値
Ｙｗ_ａｖｅ：基準画像１１２の全画素の輝度値の平均値
…（５）

なお、本実施の形態では縦方向のムラを補正するために縦方向の位置座標を示すｍ_ｐと全体画像１１０の縦方向のｙ座標との対応から補正係数を算出する方法について説明したが、これに限られない。例えば縦方向に横方向の座標を追加して２次元座標上で補正を行ってもよい。

Ｓ６５では、補正適用部１２２は、ステップＳ６３で用いたＲＧＢからＸＹＺへの変換式の逆変換式である下記の式（６）を用いて、ステップＳ６４で算出されたＸＹＺ値をＲＧＢ値に変換する。
…（６）
ここで、ＲＧＢの各画素値はγ＝１／２．２で変換される。すなわち、ステップＳ６３の逆γ補正が行われる。

Ｓ６６では、補正適用部１２２は、ステップＳ６１で取得した全体画像１１０の全ての画素値について上記の補正が実施されたか否かを確認し、変換された画像をバッファに出力して保存することにより処理を終了する。

本実施の形態に係る画像処理装置１０１によると、画像の補正時に被写体１２の変角反射特性に基づいて補正が行われるので、全体画像１１０に生じうる角度ムラを精度よく補正することができる。

（第２の実施の形態）
第１の実施の形態では、全体画像１１０に生じるシェーディングを被写体１２の変角反射特性に基づいて補正する方法について説明した。第２の実施の形態では、ある照明源の下で撮影された画像を異なる照明源の下で撮影された画像に変換するための色補正係数を算出する際に、被写体１２の変角反射特性を利用する。

図６（ａ）は、撮影環境６００の模式図である。撮影環境６００では、撮影用の照明源（例えばストロボ光源６０１など）の下で被写体１２がカメラ１０により撮影される。ストロボ光源６０１の下で被写体１２を撮影して得られる画像を撮影光源画像と称し、そのデータを第１全体画像データと称す。撮影光源画像は、図６（ａ）に示されるように、被写体１２の周囲に複数のストロボ光源６０１を配置し照明ムラが発生しないように被写体１２を撮影して得られる。補正用チャートも被写体１２と同じ照明条件の下で撮影され、第１基準画像データが得られる。

図６（ｂ）は、観察環境６１０の模式図である。観察環境６１０では、実際に観察する環境光（例えば天井など所定の位置に固定された蛍光灯等の観察光源６１２からの光）の下で被写体１２がカメラ１０により撮影される。観察光源６１２からの光の下で被写体１２を撮影して得られる画像を観察光源画像と称し、そのデータを第２全体画像データと称す。観察光源画像は、図６（ｂ）に示されるように、被写体１２とカメラ１０との位置関係を撮影光源画像の撮影時と同一にした上で、照明源を観察光源６１２に変えて被写体１２を撮影して得られる。補正用チャートも被写体１２と同じ照明条件の下で撮影され、第２基準画像データが得られる。

図７は、第２の実施の形態に係る画像処理装置２０１の機能および構成を示すブロック図である。画像処理装置２０１は、第１画像取得部２０２と、特性取得部２０５と、照明情報取得部２０６と、推定部２０７と、第１画像補正部２０８と、第１色抽出部２０９と、抽出色補正部２１０と、色補正係数算出部２１１と、色補正部２１２と、ＵＩ部２１３と、第２画像取得部２１４と、第２画像補正部２１５と、第２色抽出部２１６と、を備える。

第１画像取得部２０２は、被写体１２の撮影光源画像２２０を表す第１全体画像データをカメラ１０から取得する。第１画像取得部２０２はさらに、撮影環境６００の下で補正用チャートを撮影して得られる第１基準画像２２１を表す第１基準画像データをカメラ１０から取得する。第２画像取得部２１４は、被写体１２の観察光源画像２２２を表す第２全体画像データをカメラ１０から取得する。第２画像取得部２１４は、観察環境６１０の下で補正用チャートを撮影して得られる第２基準画像２２３を表す第２基準画像データをカメラ１０から取得する。

特性取得部２０５は、特性保持部２０３に保持される変角反射特性を取得する。照明情報取得部２０６は、照明情報保持部２０４に保持される照明情報を取得する。推定部２０７は、特性取得部２０５によって取得された変角反射特性と、照明情報取得部２０６によって取得された照明情報と、に基づいて変角反射強度を推定する。

第１画像補正部２０８は、第１画像取得部２０２によって取得された撮影光源画像２２０に生じるシェーディングを補正する。第２画像補正部２１５は、第２画像取得部２１４によって取得された観察光源画像２２２に生じるシェーディングを補正する。第１色抽出部２０９は、撮影光源画像２２０から代表的な色値を抽出する。第２色抽出部２１６は、観察光源画像２２２から代表的な色値を抽出する。抽出色補正部２１０は、抽出された色値を変角反射強度に基づいて補正する。色補正係数算出部２１１は、抽出された色値に基づいて色補正係数を算出する。色補正部２１２は、色補正係数を用いて撮影光源画像２２０の色値を補正する。

ＵＩ部２１３は、撮影者が処理の指示を行うためのユーザインタフェースを表示する。ＵＩ部１０９はモニタ、マウス、キーボードにより構成されてもよいし、タッチパネルにより構成されてもよい。なお、本実施の形態に係る画像処理装置２０１のハードウエア構成は、コンピュータなどの公知の技術によって構成可能であるため、ハードウエアの詳細な説明は省略する。

図４（ｂ）は、ＵＩ部２１３により表示されるユーザインタフェース４２０の代表画面図である。ユーザインタフェース４２０は画像処理に必要な情報をユーザに入力してもらうためのものである。ユーザインタフェース４２０は、７つの指示入力部４０７、４０８、４０９、４１０、４１１、４１２、４１３および３つのボタン４１４、４１５、４１６を有する。指示入力部４０７は撮影環境６００で被写体１２を撮影した画像を指示するための領域である。指示入力部４０８は撮影環境６００で補正用チャートを撮影した画像を指示するための領域である。指示入力部４０９は観察環境６１０で被写体１２を撮影した画像を指示するための領域である。指示入力部４１０は観察環境６１０で補正用チャートを撮影した画像を指示するための領域である。指示入力部４１１は画像変換後の画像を保存する際のファイル名を指示するための領域である。指示入力部４１２は被写体１２の変角反射特性を指示するための領域である。指示入力部４１３は撮影環境における照明情報を指示するための領域である。補正ボタン４１４は被写体１２の撮影光源画像２２０のデータに対してシェーディング補正を行うことを指示するためのボタンである。抽出ボタン４１５はシェーディング補正された画像から代表的な色値を抽出することを指示するためのボタンである。実行ボタン４１６は撮影環境６００で撮影されたシェーディング補正済の画像の色味を観察環境６１０での色味に変換する指示を受け付けるボタンである。

以上の構成による画像処理装置２０１の動作を説明する。
図８（ａ）は、図７の画像処理装置２０１における一連の処理の流れを示すフローチャートである。Ｓ２１では、ＵＩ部２１３は、ユーザインタフェース４２０を表示する。Ｓ２２では、第１画像取得部２０２は、指示入力部４０７および指示入力部４０８により指示された画像ファイル名に基づき画像データを取得する。取得される画像データは被写体１２の第１全体画像データおよび第１基準画像データを含む。Ｓ２３では、第２画像取得部２１４は、指示入力部４０９および指示入力部４１０により指示された画像ファイル名に基づき画像データを取得する。取得される画像データは被写体１２の第２全体画像データおよび第２基準画像データを含む。Ｓ２４では、第１画像補正部２０８、第２画像補正部２１５はそれぞれ、ステップＳ２２、Ｓ２３で取得した全体画像データについて下記の式（７）を用いてシェーディング補正を行う。
…（７）
ここで、
Ｘ’_{ｓａｍｐｌｅ}（ｘ、ｙ）：座標（ｘ、ｙ）の全体画像における補正後のＸ値
Ｙ’_{ｓａｍｐｌｅ}（ｘ、ｙ）：座標（ｘ、ｙ）の全体画像における補正後のＹ値
Ｚ’_{ｓａｍｐｌｅ}（ｘ、ｙ）：座標（ｘ、ｙ）の全体画像における補正後のＺ値
Ｘ_{ｓａｍｐｌｅ}（ｘ、ｙ）：座標（ｘ、ｙ）の全体画像における補正前のＸ値
Ｙ_{ｓａｍｐｌｅ}（ｘ、ｙ）：座標（ｘ、ｙ）の全体画像における補正前のＹ値
Ｚ_{ｓａｍｐｌｅ}（ｘ、ｙ）：座標（ｘ、ｙ）の全体画像における補正前のＺ値
Ｘ_{ｃｈａｒｔ}（ｘ、ｙ）：座標（ｘ、ｙ）の基準画像におけるＸ値
Ｙ_{ｃｈａｒｔ}（ｘ、ｙ）：座標（ｘ、ｙ）の基準画像におけるＹ値
Ｚ_{ｃｈａｒｔ}（ｘ、ｙ）：座標（ｘ、ｙ）の基準画像におけるＺ値
Ｘ_{ｃｈａｒｔ＿ａｖｅ}：基準画像の全画素のＸ値の平均値
Ｙ_{ｃｈａｒｔ＿ａｖｅ}：基準画像の全画素のＹ値の平均値
Ｚ_{ｃｈａｒｔ＿ａｖｅ}：基準画像の全画素のＺ値の平均値

Ｓ２５では、第１色抽出部２０９、第２色抽出部２１６はそれぞれ、ステップＳ２４で第１画像補正部２０８、第２画像補正部２１５により補正された全体画像から代表的な色値を抽出する。色値を抽出する方法として、例えば特許第５５１７６８５号に記載の方法が採用されてもよい。

Ｓ２６では、推定部２０７は、第１の実施の形態で説明した方法に準じた方法により、被写体１２の変角反射特性と照明情報とから変角反射強度を推定する。Ｓ２７では、抽出色補正部２１０は、ステップＳ２５で抽出された色値をステップＳ２６で推定された変角反射強度に基づいて補正する。抽出色補正部２１０における処理の詳細は後述する。Ｓ２８では、色補正係数算出部２１１は、ステップＳ２７で補正された色値を用いて、撮影光源画像２２０の光源変換を行うための色補正係数を算出する。色補正係数は、撮影環境６００で撮影された画像を観察環境６１０に依存した色味に変換するための係数であり、本実施の形態では、以下の式（８）に示すような３×９のマトリクスとする。該マトリクスの各項は、撮影環境６００で撮影された画像の代表色の画素値と、ステップＳ２６で補正された観察環境６１０で撮影された画像の代表色の画素値と、から、例えば最小二乗法を用いて算出される。なお、最小二乗法は公知の技術であるから説明を省略する。
…（８）

Ｓ２９では、色補正部２１２は、シェーディング補正済のストロボ光源６０１で撮影された撮影光源画像２２０の色値を、ステップＳ２８で算出した色補正係数を用いて変換する。変換は、以下の式（９）を用いて行われる。式（９）でＲ、Ｇ、Ｂは撮影光源画像２２０の各画素の画素値、Ｒ’、Ｇ’、Ｂ’は色補正係数によって変換された後の画素値である。
…（９）
Ｓ３０では、色補正部２１２は、光源変換された画像２２４をバッファに出力し、保存させることで処理を終了する。

図８（ｂ）は、図８（ａ）の補正ステップＳ２７にて実行される処理の流れを示すフローチャートである。Ｓ２７１では、抽出色補正部２１０は、ステップＳ２５で全体画像から代表的な色値を抽出することにより生成される色抽出ファイル９００を取得する。

図９は、色抽出ファイル９００の一例を示すデータ構造図である。色抽出ファイル９００には、全体画像から抽出した色の色ＩＤのそれぞれについて、抽出した色の画素値を示すＲ値、Ｇ値、Ｂ値と、画像座標と、縦方向の撮影位置を示す位置ＩＤと、が対応付けて保持される。

図８（ｂ）に戻り、Ｓ２７２では、抽出色補正部２１０は、ステップＳ２７１で取得されたＲ値、Ｇ値、Ｂ値を、ｓＲＧＢ変換式などの所定の変換式を用いてＸＹＺ値へ変換する。Ｓ２７３では、抽出色補正部２１０は、ステップＳ２７１で取得された位置座標とステップＳ２６で算出した変角反射強度とに基づいて、式（２）により補正係数を算出する。Ｓ２７４では、抽出色補正部２１０は、ステップＳ２７２で変換したＸＹＺ値を、ステップＳ２７１で取得された位置座標に基づき式（４）および式（５）を用いて、補正する。Ｓ２７５では、抽出色補正部２１０は、ｓＲＧＢ逆変換式を用いてステップＳ２７４で補正されたＸＹＺ値をＲＧＢ値へ変換する。Ｓ２７６では、抽出色補正部２１０は、補正された抽出色の値をバッファに保存して処理を終了する。

本実施の形態に係る画像処理装置２０１によると、第１の実施の形態に係る画像処理装置１０１により奏される作用効果と同様な作用効果が奏される。加えて、第２の実施の形態によると、ある光源の下での全体画像の色味を別の光源の下での色味に変換する際に、被写体の変角反射特性に基づいて色値の補正を行うことで精度のよい色変換を行うことができる。

以上、実施の形態に係る画像処理装置の構成と動作について説明した。これらの実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１および第２の実施の形態では、補正用チャートとして拡散反射板を採用する場合を説明したが、これに限られず、反射率等の光学的特性が既知の基準体が使用されてもよい。

第１および第２の実施の形態では、部分画像を合わせて全体画像とし、この全体画像を表す全体画像データを補正する場合について説明したが、これに限られない。例えば、画像処理装置１０１、２０１は、カメラ１０の一回の撮影により得られる画像を表す画像データを補正してもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０ カメラ、 １２ 被写体、 １０１ 画像処理装置、 １０２ 画像取得部、 １０７ 推定部、 １０８ 画像補正部。

Claims (11)

1. 撮影装置から被写体の画像を表す画像データを取得する手段と、
   前記被写体からの反射光の強度の角度依存性を取得する手段と、
   前記被写体から前記撮影装置への反射光の角度を算出する手段と、
   算出された角度と、取得された前記角度依存性と、に基づいて、取得された前記画像データを補正する手段と、を備える画像処理装置。
2. 前記補正する手段は、前記被写体からの反射光の強度の角度依存性による、取得された前記画像データへの影響を低減するように該画像データを補正する請求項１に記載の画像処理装置。
3. 前記算出する手段は、前記被写体の第１部分、第２部分について第１角度、第２角度をそれぞれ算出し、
   前記被写体からの反射光の強度の角度依存性は、反射光の角度と反射率との関係を規定し、
   前記補正する手段は、前記第１角度に対応する第１反射率と前記第２角度に対応する第２反射率とを特定し、特定された前記第１反射率が特定された前記第２反射率よりも低い場合、前記第１部分に対応する第１補正係数を前記第２部分に対応する第２補正係数よりも大きくなるよう設定する請求項２に記載の画像処理装置。
4. 取得された前記画像データは、それぞれが前記被写体の異なる部分に対応する複数の部分画像データを含み、
   各部分画像データは前記撮影装置における一回の撮影により生成される請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記角度依存性は、前記被写体からの反射光の反射角と反射率との関係を含む請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記撮影装置が前記被写体を撮影して前記画像データを生成したときの前記被写体の照明条件を示す照明情報を取得する手段と、
   前記被写体からの反射光の強度の角度依存性と、取得された前記照明情報と、に基づいて反射光の角度に応じた反射光の強度を推定する手段と、をさらに備え、
   前記補正する手段は、算出された角度と、推定の結果得られた反射光の角度に応じた反射光の強度と、に基づいて、取得された前記画像データを補正する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像データを取得する手段は、光学的特性が既知の基準体を、前記被写体の照明条件に対応する照明条件の下で前記撮影装置により撮影して得られる基準画像データを取得し、
   前記補正する手段は、取得された前記基準画像データを用いて、取得された前記画像データを補正する請求項６に記載の画像処理装置。
8. 前記照明情報は、前記被写体に照明光が入射する角度の分布および前記被写体における照明光の強度の分布のうちの少なくともひとつを含む請求項６または７に記載の画像処理装置。
9. 前記照明条件に依存する色値を別の照明条件に依存する色値に変換するための色補正係数を算出する手段と、
   算出された前記色補正係数を用いて、取得された前記画像データに対して色変換を行う手段と、
   前記色補正係数を算出する際に用いられる色値を、前記被写体からの反射光の強度の角度依存性に基づいて補正する手段と、をさらに備える請求項６から８のいずれか１項に記載の画像処理装置。
10. 撮影装置から被写体の画像を表す画像データを取得することと、
    前記被写体からの反射光の強度の角度依存性を取得することと、
    前記被写体から前記撮影装置への反射光の角度を算出することと、
    算出された角度と、取得された前記角度依存性と、に基づいて、取得された前記画像データを補正することと、を含む画像処理方法。
11. コンピュータを請求項１乃至９のいずれか１項に記載の装置の各手段として機能させるためのプログラム。