JP2022156631A - 画像補正モデル生成方法、画像補正モデル生成プログラム及び画像補正モデル生成装置 - Google Patents

Abstract

【課題】画像補正モデルの訓練に用いる訓練データを削減すること。【解決手段】画像補正モデル生成方法では、訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まるハイライト色を用いて訓練画像に色彩補正が行われた色彩補正画像と訓練画像の正解ラベルとを照合し、照合する処理による照合結果に基づいて画像補正モデルのパラメータを更新する、処理をコンピュータが実行する。【選択図】図１

Description

本発明は、画像補正モデル生成技術に関する。

人物探索や追跡などの画像認識における認識性能の低下を抑制する側面から、異なる照明光の下で撮影される画像の色のずれ、いわゆる色かぶりを補正する画像補正技術が提案されている。

このような画像補正技術の例として、画像を入力として色かぶり補正後の画像を出力する機械学習モデルを画像補正モデルとして用いる機械学習技術と、人や物体などのオブジェクトの画像照合技術とを組み合わせるものがある。

例えば、画像補正モデルの訓練には、画像照合用の正解データ、すなわち同一のオブジェクトが含まれる２つの画像を訓練データとして含むデータセットが用いられる。この場合、２つの画像のうち一方の画像を訓練画像とし、他方の画像を正解ラベルとして用いることができる。このようなデータセットの下、訓練画像が入力された画像補正モデルの出力と正解ラベルとの照合結果、例えば類似度や距離から求まる損失に基づいて画像補正モデルのパラメータを更新することにより、画像補正モデルが訓練される。

特開２０１８－１１２９９６号公報

しかしながら、上記の機械学習技術および上記の画像照合技術の組合せでは、画像補正モデルの訓練時に画像補正モデルのパラメータを収束させるまでに大量の訓練データが必要となる一面がある。

１つの側面では、本発明は、画像補正モデルの訓練に用いる訓練データの削減を実現できる画像補正モデル生成方法、画像補正モデル生成プログラム及び画像補正モデル生成装置を提供することを目的とする。

一態様にかかる画像補正モデル生成方法では、訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、処理をコンピュータが実行する。

画像補正モデルの訓練に用いる訓練データの削減を実現できる。

図１は、画像補正モデル生成装置の機能構成例を示すブロック図である。 図２は、ゲインの一例を示す図である。 図３は、撮像時の階調補正の逆関数の一例を示す図である。 図４は、色彩補正の一例を示す図である。 図５は、階調補正の再実行の一例を示す図である。 図６は、ゲインの一例を示す図である。 図７は、画像補正モデル生成処理の手順を示すフローチャートである。 図８は、応用例に係る画像補正モデル生成装置の機能構成例を示すブロック図である。 図９は、ハードウェア構成例を示す図である。

以下、添付図面を参照して本願に係る画像補正モデル生成方法、画像補正モデル生成プログラム及び画像補正モデル生成装置の実施例について説明する。各実施例には、あくまで１つの例や側面を示すに過ぎず、このような例示により数値や機能の範囲、利用シーンなどは限定されない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、画像補正モデル生成装置の機能構成例を示すブロック図である。図１に示す画像補正モデル生成装置１０は、画像を入力としてハイライト色を出力する画像補正モデルを生成する画像補正モデル生成機能を提供するものである。

このような画像補正モデル生成機能の説明に先立って、参考技術１～参考技術３について説明する。

＜参考技術１＞
参考技術１として、一般的な色かぶり、すなわち照明光の影響で色がずれた画像を画像編集ソフトを用いて補正する技術を挙げる。参考技術１では、画像の階調分布、いわゆるヒストグラムのピーク値を最大値、例えばビットマップ方式の８Ｂｉｔ画像であれば２５５に選択するマニュアル操作を受け付ける。例えば、赤、緑および青のヒストグラムごとに当該ヒストグラムのピーク値を最大値として選択する操作が受けけられる。このようにマニュアル操作で選択されたヒストグラムのピーク値を最大値とするときの傾きから定まるゲインに従ってピーク値以下の画素値が線形に補正される。

また、参考技術１では、ヒストグラムのピーク値を選択させる代わりに、画像の白と思われる場所を選択するマニュアル操作をハイライト色として受け付けることもできる。この場合もヒストグラムのピーク値を選択させる場合と同様に、ハイライト色を最大値とするときの傾きから定まるゲインに従ってピーク値以下の画素値が線形に補正される。

＜参考技術２＞
参考技術２として、「ニューラルネットワークを用いた照明推定による色補正手法に関する研究」を挙げる。参考技術２では、異なる複数の照明条件の下で２４ｂｉｔのＲＧＢ値を５０程度ずつ変えて色の割合が同程度になるように割り当てられた７７色のカラーテーブルが撮影される。例えば、蛍光灯＋ハロゲンランプ、蛍光灯＋自然光、自然光＋ハロゲンランプといった照明条件が挙げられる。

このように照明条件ごとにカラーテーブルが撮影された入力画像のうち対象画素のＲＧＢ値と、基準とする照明条件における基準白色および入力画像における白色の間の基準白色誤差とがニューラルネット（ＮＮ）へ入力される。そして、ＮＮが出力する補正後のＲＧＢ値と、基準とする照明条件でカラーテーブルが撮影されたときの対象画素のＲＧＢ値との二乗平均誤差が閾値以下になるまでＮＮのパラメータが訓練される。

このような参考技術２によれば、画像の中の最も明るい部分が基準白色として用いられるので、基本的には、中間調の補正を自動化する技術と言える側面がある。

＜参考技術３＞
参考技術３として、画像を入力として色かぶり補正後の画像を出力する機械学習モデルを画像補正モデルとして用いる機械学習技術と、人や物体などのオブジェクトの画像照合技術とを組み合わせる画像補正技術を挙げる。

このような画像補正モデルの訓練には、画像照合用の正解データ、すなわち同一のオブジェクトが含まれる２つの画像を訓練データとして含むデータセットが用いられる。この場合、２つの画像のうち一方の画像を訓練画像とし、他方の画像を正解ラベルとして用いることができる。このようなデータセットの下、訓練画像が入力された画像補正モデルの出力と正解ラベルとの照合結果、例えば類似度や距離から求まる損失に基づいて画像補正モデルのパラメータを更新することにより、画像補正モデルが訓練される。

＜参考技術１の課題の一側面＞
上記の参考技術１では、下記に挙げる２つの側面から、十分な補正結果が得られない場合がある。

例えば、参考技術１におけるマニュアル操作には、ヒストグラムのピークの選択や明るい部分の選択など、画像のハイライト色に関わる選択の難しさがある。当然のことながら、上記のマニュアル操作で選択されるハイライト色に照明光の影響が含まれない場合、十分な補正結果は得られない。そして、照明光の影響で色がずれる箇所やそれに対応する画素値は、撮影される画像によって異なるので、マニュアル操作のスキルを持つ者が限られる。このようなスキルは、経験に基づくノウハウであるので、アルゴリズムとして実装することが困難である。

また、参考技術１では、明るい色以外の、中間調の補正が不十分になる場合がある。すなわち、参考技術１では、ハイライト色のみの設定による補正で不十分な場合には、中間調の補正も必要であるが、これにも経験に基づく手作業が必要である。

このことから、参考技術１では、マニュアル操作で適切なハイライト色を選択することができるのであれば十分な補正結果を得ることができる可能性は高まるが、マニュアル操作には経験者のスキルが必要である。それ故、ハイライト色の選択を自動化しようとしても、ヒストグラムのピーク値を選択したり、画素値が最大である部分を選択したりといったシンプルな処理しかアルゴリズム化できない。

＜参考技術２の課題の一側面＞
上記の参考技術２では、ニューラルネットの訓練に用いるデータセットの準備に膨大な手間、すなわち時間や労力がかかる側面がある。例えば、参考技術２では、カラーテーブルを用意する手間や事前に照明条件を定義して照明条件ごとにカラーテーブルを撮影する手間が生じる。

この他にも、参考技術２では、屋外における同一人物の追跡といった用途から、様々な環境に対応する訓練を実施するにはかなりの工数を必要とし、様々な環境で画像を取得している権利保持者の承諾を得る必要がある、といった側面もある。

さらに、参考技術２は、限られたデータを用いた訓練でモデルが作成されているが、補正結果は、まだ誤差が多く精度が十分とは言えない側面もある。例えば、補正前のＲＧＢ値（Ｒ２３４，Ｇ７９，Ｂ４９）から補正後のＲＧＢ値（Ｒ１９２，Ｇ９１，Ｂ４５）へ補正されることが成功例として挙げられている。そして、成功例の補正後のＲＧＢ値（Ｒ１９２，Ｇ９１，Ｂ４５）は、基準画像のＲＧＢ値（Ｒ１５７，Ｇ７６，Ｂ４１）に近づいているとの分析がなされている。ところが、補正の前後で基準画像のＲＧＢ値との差は、Ｒでは８０の差が４０に減っているが、Ｇでは１５程度増加している。

加えて、参考技術２は、ハイライトの選択方法に関しては、上記の参考技術１と同様、画像の明るいところという簡易な選択方式であり、複雑なシーンでは十分に機能しない場合がある。

＜参考技術３の課題の一側面＞
上記の参考技術３では、画像補正モデルの訓練時に画像補正モデルのパラメータを収束させるまでに大量の訓練データが必要となる側面がある。

例えば、参考技術３では、照合結果に応じて画像補正モデルへのフィードバックを行うので、照合対象以外の領域に関しては、正常な補正が行われていなくても、正しい結果が得られたとしてフィードバックされる。したがって、画像全体として補正が正しくなくても正しいものとしてフィードバックされることがあるため、収束しにくい。このため、照合対象の領域に限定して（トリミングして）処理することも可能であるが、画像の一部のみでは入力情報が減るため、正しい補正をすることが困難になる。

＜課題解決アプローチの一側面＞
そこで、本実施例に係る画像補正モデル生成機能では、参考技術３（補正処理のための学習データは不要という利点アリ）に、参考技術１の知見（物理的な制約などを取り込める）を導入するアプローチにより課題を解決する。

このようなアプローチは、次のような根拠に基づいて成立する。すなわち、参考技術３の課題は、訓練の過程で生成されるパラメータでの補正処理が、「照合対象（の画像領域）は正常に補正できている」が「照合対象以外（の画像領域）は正常に補正できていない」という状況が発生することにより生じる、ととらえる。

照明による色のずれは、物理現象（照明光の反射）や、カメラでのデジタル信号の生成課程により発生する。このため、物理現象やデジタル信号生成課程に即した画像処理を行えば「照合対象は正常に補正できている」ならば、「照合対象以外は正常に補正できている」となるとみなす。

参考技術１は、印刷業界やカメラ業界などの知見に基づくものであり、物理現象やデジタル信号生成課程に即したものである。

このことから、本実施例では、参考技術１を（ａ）ルール化や定式化が可能な部分と、（ｂ）経験に基づく判断で定める部分とに分解した上で、（ａ）を参考技術３に付加すると共に、（ｂ）を機械学習によりモデル化することにより、上記アプローチを実現する。

具体的には、本実施例に係る画像補正モデル生成機能では、訓練画像を入力としてハイライト色を出力する画像補正モデルと、ハイライト色に基づく色彩補正処理とにより画像補正処理を実現する。このうち、色彩補正処理は、現状の画像編集ソフト等でもハイライト色さえ与えられれば実現可能な処理であり、参考技術１の（ａ）ルール化や定式化が可能な部分に対応する。一方、画像補正モデルは、参考技術１の（ｂ）経験に基づく判断で定める部分に対応し、この部分に絞って機械学習により訓練する。照合処理を活用して画像補正モデルのパラメータを更新する機械学習には、参考技術３と同様のロジックを採用できる。

このように、参考技術１の（ａ）ルール化や定式化が可能な部分を参考技術３に付加することで、画像補正モデルの出力を色かぶりの補正後の画像からハイライト色へアレンジできる。このため、画像照合の正解ラベルがあれば色かぶり補正用の画像が不要であるといった参考技術３の利点を享受すると共に、大量の訓練データが必要となるといった参考技術３の弱点を克服できる。さらに、参考技術１の（ｂ）経験に基づく判断で定める部分を参考技術３の機械学習によりモデル化することで、ハイライト色の選択というルール化や定式化が困難な部分を機械学習モデルにより実現できる。このため、参考技術１の弱点を参考技術３で克服することができる。

したがって、本実施例に係る画像補正モデル生成機能によれば、参考技術１および参考技術３の弱点を克服しつつ、画像補正モデルの訓練に用いる訓練データを削減できる。

＜画像補正モデル生成装置の構成＞
図１には、上記の画像補正モデル生成機能に関連するブロックが模式化されている。図１に示すように、画像補正モデル生成装置１０は、候補抽出部１２と、モデル実行部１３と、色補正部１４と、照合部１５と、パラメータ更新部１６とを有する。

これら候補抽出部１２、モデル実行部１３、色補正部１４、照合部１５及びパラメータ更新部１６などの機能部は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのハードウェアプロセッサにより仮想的に実現される。なお、図１には、上記の画像補正モデル生成機能に関連する機能部が抜粋して示されているに過ぎず、既存のコンピュータがデフォルトまたはオプションで装備する機能が備わることを妨げない。

ここで、上記の画像補正モデル１３Ｍの訓練には、画像照合用の正解データ、すなわち同一のオブジェクトが含まれる２つの画像を訓練データとして含むデータセットが用いられる。この場合、２つの画像のうち一方の画像を画像補正モデル１３Ｍへ入力する訓練画像１１Ａとし、他方の画像を正解ラベル１１Ｂとして用いることができる。

候補抽出部１２は、訓練画像１１Ａからハイライト候補を抽出する処理部である。ここで、参考技術１でも説明した通り、画像の明るい部位が、ハイライト色として色かぶりの補正処理に用いられることは、従来から知られていることである。したがって、画像の明度値の高い部位がハイライト候補の可能性が高い部位であるみなし、下記（イ）～下記（ル）のルールに従ってハイライト候補画像１２Ａが生成される。なお、１２Ａの生成には、下記（イ）～下記（ル）の全てが必ずしも用いられずともよく、少なくとも１つが用いられればよい。
（イ）画像の明度に対して高いほど可能性が高い
（ロ）単なる明度との線形な関係より、高明度の可能性を高いとする
（ハ）一定明度以下は、可能性なしとする
（ニ）上記（イ）～上記（ハ）は画像の中の最大明度との相対関係で定める
（ホ）表現可能な最大値、例えば８ｂｉｔであれば２５５の画素は情報が失われている可能性があり、利用しない、あるいは可能性「低」とみなす
（ヘ）最大値だけでなく、それに近い値の画素も可能性低とする
（ト）空間的に近傍の画素も可能性低とする
（チ）ハイライトは白色物体が前提なので、彩度が低い画素ほど可能性「高」みなす
（リ）絶対的な彩度を用いる
（ヌ）Ｇｒａｙ Ｗｏｒｌｄ仮説（画像全体を平均化すればグレーになる）に基づき、画像全体の彩度平均を基準とした彩度を用いる
（ル）上記（ヌ）の補間値を用いる

あくまで一例として、候補抽出部１２は、上記（イ）～上記（ル）に従って訓練画像の画素ごとに当該画素の明度、彩度またはこれらの組合せに基づいてハイライト色である尤もらしさ、いわゆる尤度を算出する。これにより、訓練画像１１Ａからハイライト候補画像１２Ａが生成される。

モデル実行部１３は、画像補正モデル１３Ｍを実行する処理部である。あくまで一例として、モデル実行部１３は、訓練画像１１Ａおよびハイライト候補画像１２Ａを入力としてハイライト色１３Ａおよび中間色補正強度１３Ｂを出力する画像補正モデル１３Ｍを実行する。以下では、あくまで一例として、訓練画像１１Ａおよびハイライト候補画像１２Ａが入力される画像補正モデル１３Ｍを例示するが、ハイライト候補画像１２Ａは必ずしも入力されずともよい。また、あくまで一例として、ハイライト色１３Ａおよび中間色補正強度１３Ｂを出力する画像補正モデル１３Ｍを例示するが、中間色補正強度１３Ｂは必ずしも出力されずともよい。

色補正部１４は、色彩補正処理を実行する処理部である。１つの側面として、色補正部１４は、訓練画像１１Ａにハイライト色１３Ａに基づく色彩補正処理を実行する。

３原色を例に挙げれば、カメラに入力する光（Ｒｉ，Ｇｉ，Ｂｉ）は、シーンの対象物の反射率（Ｒｒ，Ｇｒ，Ｂｒ）×照明光（Ｒｌ，Ｇｌ，Ｂｌ）の分布で近似される。デジタル化された信号（Ｒ，Ｇ，Ｂ）は、一般的には、下記の式（１．１）～下記の式（１．３）の通り、（Ｒｉ，Ｇｉ，Ｂｉ）の指数変換で表される。
Ｒ＝（Ｒｉ＝Ｒｒ×Ｒｌ）^γ＝Ｒｒ^γ×Ｒｌ^γ・・・（１．１）
Ｇ＝（Ｇｉ＝Ｇｒ×Ｇｌ）^γ＝Ｇｒ^γ×Ｇｌ^γ・・・（１．２）
Ｂ＝（Ｂｉ＝Ｂｒ×Ｂｌ）^γ＝Ｂｒ^γ×Ｂｌ^γ・・・（１．３）

デジタル信号から、照明光の影響を取り除くことは、（Ｒ，Ｇ，Ｂ）を白色照明下（Ｒｌ，Ｇｌ，Ｂｌ）＝（１，１，１）で撮影した場合の信号（Ｒｃ，Ｇｃ，Ｂｃ）に変換することと等価であるので、下記の式（２．１）～下記の式（２．３）にしたがって演算できる。
Ｒｃ＝Ｒ／Ｒｌ^γ・・・（２．１）
Ｇｃ＝Ｇ／Ｇｌ^γ・・・（２．２）
Ｂｃ＝Ｂ／Ｂｌ^γ・・・（２．３）

一般には、（Ｒｌ^γ，Ｇｌ^γ，Ｂｌ^γ）は未知であるが、ここで、撮影シーンに白色の対象物（Ｒｒ，Ｇｒ，Ｂｒ）＝（１，１，１）があるとすると、その時の画像信号（Ｒｗ，Ｇｗ，Ｂｗ）は、下記の式（３．１）～下記の式（３．３）となる。
Ｒｗ＝Ｒｌ^γ・・・（３．１）
Ｇｗ＝Ｇｌ^γ・・・（３．２）
Ｂｗ＝Ｂｌ^γ・・・（３．３）

したがって、下記の式（４．１）～下記の式（４．３）にしたがって、訓練画像１１Ａのハイライト色１３Ａを白色物体と仮定して、（Ｒｗ，Ｇｗ，Ｂｗ）の除算での補正が可能となる。
Ｒｃ＝Ｒ／Ｒｗ・・・（４．１）
Ｇｃ＝Ｇ／Ｇｗ・・・（４．２）
Ｂｃ＝Ｂ／Ｂｗ・・・（４．３）

図２は、ゲインの一例を示す図である。図２には、ハイライト色１３Ａに基づいて実行される色彩補正のゲインが示されている。図２に示すグラフの横軸は、入力画素値Ｒを指し、グラフの縦軸は、補正後画素値Ｒｃを指す。図２では、入力画素値Ｒおよび補正後画素値Ｒｃが０～１の値に正規化されて示されている。図２に示すように、入力画素値Ｒがハイライト色Ｒｗである場合、補正後画素値Ｒｃとして「１」が出力される。ここで、入力画素値Ｒがハイライト色Ｒｗよりも大きい場合、上記の式（４．１）では１を超える補正後画素値Ｒｃが算出されるが、１にクリップされる。一方、入力画素値Ｒがハイライト色Ｒｗよりも小さい場合、上記の式（４．１）にしたがってＲ／Ｒｗが補正後画素値Ｒｃとして出力される。このように、ハイライト色１３Ａを最大値とするときの傾きから定まるゲインに従って入力画素値Ｒが線形に補正される。

他の側面として、色補正部１４は、ハイライト色１３Ａおよび中間色補正強度１３Ｂに基づく色彩補正処理を実行することもできる。

上記の式（４．１）～上記の式（４．３）は、カメラ側の信号処理が指数変換に基づいて行われる場合に成り立つ数式であり、カメラの種類によっては、さらなる階調補正処理は付加される場合がある。このような階調補正処理のうち一般的な階調補正処理の例として、ＲＧＢの各信号に対して共通の階調補正処理ｆ（）を施すものが挙げられる。ｆ（１）＝１としたとき、上記の式（１．１）～上記の式（１．３）から上記の式（４．１）～上記の式（４．３）までの各式は、下記の式（５．１）～下記の式（５．３）から下記の式（８．１）～下記の式（８．３）までの各式で表される。
Ｒ＝（ｆ（Ｒｉ＝Ｒｒ×Ｒｌ）^γ）＝ｆ（Ｒｒ^γ×Ｒｌ^γ）・・・（５．１）
Ｇ＝（ｆ（Ｇｉ＝Ｇｒ×Ｇｌ）^γ）＝ｆ（Ｇｒ^γ×Ｇｌ^γ）・・・（５．２）
Ｂ＝（ｆ（Ｂｉ＝Ｂｒ×Ｂｌ）^γ）＝ｆ（Ｂｒ^γ×Ｂｌ^γ）・・・（５．３）
Ｒｃ＝ｆ（ｆ^－１（Ｒ）／Ｒｌ^γ）・・・（６．１）
Ｇｃ＝ｆ（ｆ^－１（Ｇ）／Ｇｌ^γ）・・・（６．２）
Ｂｃ＝ｆ（ｆ^－１（Ｂ）／Ｂｌ^γ）・・・（６．３）
Ｒｗ＝ｆ（Ｒｌ^γ）・・・（７．１）
Ｇｗ＝ｆ（Ｇｌ^γ）・・・（７．２）
Ｂｗ＝ｆ（Ｂｌ^γ）・・・（７．３）
Ｒｃ＝ｆ（ｆ^－１（Ｒ）／ｆ^－１（Ｒｗ））・・・（８．１）
Ｇｃ＝ｆ（ｆ^－１（Ｇ）／ｆ^－１（Ｇｗ））・・・（８．２）
Ｂｃ＝ｆ（ｆ^－１（Ｂ）／ｆ^－１（Ｂｗ））・・・（８．３）

ここで、上記の式（４．１）～上記の式（４．３）と、上記の式（８．１）～上記の式（８．３）とを比較する。これら両者の違いは、ｆ（）の逆関数を施した上で除算をし、ｆ（）を改めて施すことである。

図３は、撮像時の階調補正の逆関数の一例を示す図である。図３には、カメラ側で撮像時に実行される階調補正の一例として、Ｓ字補正が行われる例が示されている。図３に示すグラフの縦軸は、Ｓ字補正後の画素値ｆ（ｘ）を指し、グラフの横軸は、Ｓ字補正前の画素値、すなわち撮像時の画素値ｘを指す。図３に示すように、Ｓ字補正後の画素値Ｒを逆関数へ代入することによりＳ字補正前の画素値をｆ^－１（Ｒ）と算出できる。また、Ｓ字補正後のハイライト色１３Ａの画素値Ｒｗも逆関数へ代入することによりＳ字補正前のハイライト色１３Ａの画素値をｆ^－１（Ｒｗ）と算出できる。

図４は、色彩補正の一例を示す図である。図４には、色彩処理の一例として、ハイライト色１３Ａのみを用いる色彩補正が行われる例が示されている。図４に示すグラフの横軸は、色彩補正に入力される入力画素値Ｒを指し、グラフの縦軸は、補正後画素値Ｒ／ｆ^－１（Ｒｗ）を指す。図４に示すように、入力画素値Ｒがハイライト色ｆ^－１（Ｒｗ）である場合、補正後画素値Ｒ／ｆ^－１（Ｒｗ）として「１」が出力される。ここで、入力画素値Ｒがハイライト色ｆ^－１（Ｒｗ）よりも大きい場合、上記の式（８．１）では１を超える補正後画素値Ｒ／ｆ^－１（Ｒｗ）が算出されるが、１にクリップされる。一方、入力画素値Ｒがハイライト色ｆ^－１（Ｒｗ）よりも小さい場合、上記の式（８．１）にしたがってｆ^－１（Ｒ）／ｆ^－１（Ｒｗ）が補正後画素値Ｒｃとして出力される。このように、ハイライト色１３Ａを最大値とするときの傾きから定まるゲインに従って入力画素値Ｒが線形に補正される。

図５は、階調補正の再実行の一例を示す図である。図５に示すグラフの横軸は、補正後画素値Ｒを指し、グラフの縦軸は、Ｓ字補正再実行後の画素値ｆ（Ｒ）を指す。図５に示すように、補正後画素値Ｒがｆ^－１（Ｒ）／ｆ^－１（Ｒｗ）である場合、Ｓ字補正ｆ（）が再実行されることによりｆ（ｆ^－１（Ｒ）／ｆ^－１（Ｒｗ））がＳ字補正再実行後の画素値として得られる。

このように、カメラ側で撮像時にＳ字補正などの階調補正が実行される場合、上記の式（８．１）～上記の式（８．３）にしたがって、図３～図５に示された通りにｆ（）の逆関数を施した上で除算をし、ｆ（）を改めて施される。

ここで、ハイライト色１３Ａが０．５を下回る事態は起こりにくいので無視できることとする。この場合、Ｒｗ、ＧｗおよびＢｗの値が０．５に近づくほど、上記の式（４．１）～上記の式（４．３）に対して上記の式（８．１）～上記の式（８．３）の変化量が大きくなる。つまり、Ｓ字補正が施されたカメラにおいては、（Ｒｗ，Ｇｗ，Ｂｗ）での除算では補正が不足し、値が０．５に近い成分ほど、強めの補正が必要となる。

このことから、中間色補正強度ｋを用いて、上記の式（８．１）～上記の式（８．３）を修正できる。すなわち、Ｒｗ、ＧｗまたはＢｗが小さいほど補正を強くするため、下記の式（９．１）～下記の式（９．３）の指数関数に代表される上に凸の関数、すなわちＲｗ、ＧｗまたはＢｗが小さいほど大きく凸にすることで、ハイライト基準のみの補正を修正できる。
Ｒｃ＝（Ｒ／Ｒｗ）^{（１＊（１－ｋ）＋Ｒｗ＊ｋ）}・・・（９．１）
Ｇｃ＝（Ｇ／Ｇｗ）^{（１＊（１－ｋ）＋Ｇｗ＊ｋ）}・・・（９．２）
Ｂｃ＝（Ｂ／Ｂｗ）^{（１＊（１－ｋ）＋Ｂｗ＊ｋ）}・・・（９．３）

図６は、ゲインの一例を示す図である。図６には、ハイライト色１３Ａおよび中間色補正強度１３Ｂに基づいて実行される色彩補正のゲインが示されている。図６に示すグラフの横軸は、入力画素値Ｒを指し、グラフの縦軸は、補正後画素値Ｒｃを指す。図６では、入力画素値Ｒおよび補正後画素値Ｒｃが０～１の値に正規化されて示されている。図６に示すように、入力画素値Ｒがハイライト色Ｒｗである場合、補正後画素値Ｒｃとして「１」が出力される。ここで、入力画素値Ｒがハイライト色Ｒｗよりも大きい場合、上記の式（９．１）では１を超える補正後画素値Ｒｃが算出されるが、１にクリップされる。一方、入力画素値Ｒがハイライト色Ｒｗよりも小さい場合、上記の式（９．１）にしたがってＲｗが小さいほど大きく凸になる（Ｒ／Ｒｗ）^{（１＊（１－ｋ）＋Ｒｗ＊ｋ）}が補正後画素値Ｒｃとして出力される。

以上のように、訓練画像１１Ａに含まれる画素ごとに図２に示されたゲインまたは図５に示されたゲインを乗算する色彩補正処理を実行することにより色彩補正画像１４Ａが得られる。

照合部１５は、画像補正モデル１３Ｍの出力と正解ラベルとを照合する処理部である。あくまで一例として、照合部１５は、画像補正モデル１３Ｍが出力する色彩補正画像１４Ａおよび正解ラベル１１Ｂに任意の画像照合技術を適用することにより両者の類似度、あるいは距離を算出することができる。例えば、パターンマッチングやテンプレートマッチングを始め、ＣＮＮ（Convolutional Neural Network）系の機械学習モデルを用いるなど、任意の画像照合技術を適用できる。

パラメータ更新部１６は、画像補正モデル１３Ｍのパラメータを更新する処理部である。あくまで一例として、パラメータ更新部１６は、照合部１５による照合結果、例えば類似度や距離から求まる損失に基づいて画像補正モデル１３Ｍのパラメータを更新することにより、画像補正モデルが訓練される。

＜処理の流れ＞
図７は、画像補正モデル生成処理の手順を示すフローチャートである。この処理は、画像補正モデルの生成リクエストが受け付けられた場合に実行される。図７に示すように、画像補正モデル生成装置１０は、データセットに含まれる訓練データの数Ｋに対応する回数の分、下記のステップＳ１０１から下記のステップＳ１０５までの処理を繰り返す。

すなわち、候補抽出部１２は、データセットの中から訓練画像１１Ａを１つ取得する（ステップＳ１０１）。続いて、候補抽出部１２は、ステップＳ１０１で取得された訓練画像１１Ａの画素ごとに当該画素の明度、彩度またはこれらの組合せに基づいてハイライト色である尤もらしさ、いわゆる尤度を算出する（ステップＳ１０２）。これにより、訓練画像１１Ａからハイライト候補画像１２Ａが生成される。

そして、モデル実行部１３は、ステップＳ１０１で取得された訓練画像１１ＡおよびステップＳ１０２で算出されたハイライト候補画像１２Ａを画像補正モデル１３Ｍへ入力する（ステップＳ１０３）。これにより、画像補正モデル１３Ｍによりハイライト色１３Ａおよび中間色補正強度１３Ｂが出力される。

続いて、色補正部１４は、ステップＳ１０１で訓練画像１１Ａに画像補正モデル１３Ｍが出力するハイライト色１３Ａおよび中間色補正強度１３Ｂに基づく色彩補正処理を実行する（ステップＳ１０４）。

そして、照合部１５は、画像補正モデル１３Ｍが出力する色彩補正画像１４Ａおよび正解ラベル１１Ｂに任意の画像照合技術を適用する（ステップＳ１０５）ことにより、両者の類似度、あるいは距離を算出する。

その後、パラメータ更新部１６は、ステップＳ１０５による照合結果、例えば類似度や距離から求まる損失に基づいて画像補正モデル１３Ｍのパラメータを更新する（ステップＳ１０６）。

このようなループ処理１が繰り返されることにより、訓練済みの画像補正モデル１３Ｍを得ることができる。

上述してきたように、本実施例に係る画像補正モデル生成装置１０は、訓練画像１１Ａが入力された画像補正モデル１３Ｍが出力するハイライト色１３Ａを用いて色彩補正が行われた色彩補正画像１４Ａと正解ラベル１１Ｂとに基づいて画像補正モデル１３Ｍのパラメータを更新する。このため、画像補正モデル１３Ｍの出力を画像からハイライト色へ次元圧縮できる。したがって、本実施例に係る画像補正モデル生成装置１０によれば、画像補正モデルの訓練に用いる訓練データの削減を実現することが可能である。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

＜画像補正モデルの出力＞
上記の実施例１では、訓練画像１１Ａを入力としてハイライト色１３Ａを出力する画像補正モデル１３Ｍを例示したが、画像補正モデルの出力は必ずしもハイライト色１３Ａに限定されない。そこで、本実施例では、訓練画像１１Ａを入力として訓練画像の座標値を出力する画像補正モデル１３ｍを応用例として説明する。

図８は、応用例に係る画像補正モデル生成装置の機能構成例を示すブロック図である。図８では、図１に示された機能部と同様の機能を有する機能部には同一の符号を付し、その説明を省略することとする。図８に示すように、画像補正モデル生成装置２０は、図１に示された画像補正モデル生成装置１０と比べて、モデル実行部１３と処理内容の一部が異なるモデル実行部２１および変換部２２を有する点が異なる。

モデル実行部２１は、訓練画像１１Ａおよびハイライト候補画像１２Ａを入力として訓練画像の座標値１３Ｐおよび中間色補正強度１３Ｂを出力する画像補正モデル１３ｍを実行する。このように、画像補正モデル１３ｍは、ハイライト色１３Ａの代わりに訓練画像の座標値１３Ｐを出力する点が異なる。

変換部２２は、訓練画像の座標値１３Ｐをハイライト色１３Ａへ変換する処理部である。あくまで一例として、変換部２２は、訓練画像１１Ａに含まれる画素のうち座標値１３Ｐに対応する画素値をハイライト色１３Ａとして出力することができる。このとき、変換部２２は、画像の中の明るい場所が飛ぶ現象、いわゆる白飛びを抑制する側面から、階調の最大値から閾値以内の画素値を持つ画素、さらにはその周辺画素を除外してハイライト色１３Ａを出力することもできる。

応用例に係る画像補正モデル生成装置２０においても、上記の実施例１と同様、画像補正モデル１３Ｍの出力を画像からハイライト色へ次元圧縮できる。したがって、応用例に係る画像補正モデル生成装置２０によれば、画像補正モデルの訓練に用いる訓練データの削減を実現することが可能である。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、候補抽出部１２、モデル実行部１３、色補正部１４、照合部１５またはパラメータ更新部１６を画像補正モデル生成装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、候補抽出部１２、モデル実行部２１、変換部２２、色補正部１４、照合部１５またはパラメータ更新部１６を画像補正モデル生成装置２０の外部装置としてネットワーク経由で接続するようにしてもよい。また、候補抽出部１２、モデル実行部１３、色補正部１４、照合部１５またはパラメータ更新部１６を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像補正モデル生成装置１０の機能を実現するようにしてもよい。また、候補抽出部１２、モデル実行部２１、変換部２２、色補正部１４、照合部１５またはパラメータ更新部１６を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像補正モデル生成装置２０の機能を実現するようにしてもよい。

［画像補正モデル生成プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、実施例１及び実施例２と同様の機能を有する画像補正モデル生成プログラムを実行するコンピュータの一例について説明する。

図９は、ハードウェア構成例を示す図である。図９に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図９に示すように、上記の実施例１で示された候補抽出部１２、モデル実行部１３、色補正部１４、照合部１５及びパラメータ更新部１６と同様の機能を発揮する画像補正モデル生成プログラム１７０ａが記憶される。あるいは、ＨＤＤ１７０には、応用例で示された候補抽出部１２、モデル実行部２１、変換部２２、色補正部１４、照合部１５及びパラメータ更新部１６と同様の機能を発揮する画像補正モデル生成プログラム１７０ａが記憶されてもよい。この画像補正モデル生成プログラム１７０ａは、図１または図８に示した各構成要素と同様、統合又は分離してもよい。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から画像補正モデル生成プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、画像補正モデル生成プログラム１７０ａは、図９に示すように、画像補正モデル生成プロセス１８０ａとして機能する。この画像補正モデル生成プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち画像補正モデル生成プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、展開された各種データを用いて各種の処理を実行する。例えば、画像補正モデル生成プロセス１８０ａが実行する処理の一例として、図７に示す処理などが含まれ得る。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の画像補正モデル生成プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に画像補正モデル生成プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から画像補正モデル生成プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに画像補正モデル生成プログラム１７０ａを記憶させておく。このように記憶された画像補正モデル生成プログラム１７０ａをコンピュータ１００にダウンロードさせた上で実行させるようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、
前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、
処理をコンピュータが実行することを特徴とする画像補正モデル生成方法。

（付記２）前記訓練画像からハイライト色の候補となる画素を抽出する処理を前記コンピュータがさらに実行し、
前記画像補正モデルは、前記訓練画像および前記ハイライト色の候補となる画素が入力されることを特徴とする付記１に記載の画像補正モデル生成方法。

（付記３）前記抽出する処理は、前記訓練画像に含まれる画素ごとに前記画素の明度または彩度に基づいて前記ハイライト色の候補となる画素を抽出する処理を含む、
ことを特徴とする付記２に記載の画像補正モデル生成方法。

（付記４）前記画像補正モデルは、前記ハイライト色または前記座標値と、中間色の補正強度とを出力することを特徴とする付記１に記載の画像補正モデル生成方法。

（付記５）前記色彩補正画像は、前記ハイライト色または前記座標値から求まる前記ハイライト色と、前記中間色の補正強度とを用いて、前記訓練画像に色彩補正が行われることにより生成されることを特徴とする付記４に記載の画像補正モデル生成方法。

（付記６）訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、
前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、
処理をコンピュータに実行させることを特徴とする画像補正モデル生成プログラム。

（付記７）前記訓練画像からハイライト色の候補となる画素を抽出する処理を前記コンピュータにさらに実行させ、
前記画像補正モデルは、前記訓練画像および前記ハイライト色の候補となる画素が入力されることを特徴とする付記６に記載の画像補正モデル生成プログラム。

（付記８）前記抽出する処理は、前記訓練画像に含まれる画素ごとに前記画素の明度または彩度に基づいて前記ハイライト色の候補となる画素を抽出する処理を含む、
ことを特徴とする付記７に記載の画像補正モデル生成プログラム。

（付記９）前記画像補正モデルは、前記ハイライト色または前記座標値と、中間色の補正強度とを出力することを特徴とする付記６に記載の画像補正モデル生成プログラム。

（付記１０）前記色彩補正画像は、前記ハイライト色または前記座標値から求まる前記ハイライト色と、前記中間色の補正強度とを用いて、前記訓練画像に色彩補正が行われることにより生成されることを特徴とする付記９に記載の画像補正モデル生成プログラム。

（付記１１）訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、
前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、
処理を実行する制御部を含む画像補正モデル生成装置。

（付記１２）前記訓練画像からハイライト色の候補となる画素を抽出する処理を前記制御部がさらに実行し、
前記画像補正モデルは、前記訓練画像および前記ハイライト色の候補となる画素が入力されることを特徴とする付記１１に記載の画像補正モデル生成装置。

（付記１３）前記抽出する処理は、前記訓練画像に含まれる画素ごとに前記画素の明度または彩度に基づいて前記ハイライト色の候補となる画素を抽出する処理を含む、
ことを特徴とする付記１２に記載の画像補正モデル生成装置。

（付記１４）前記画像補正モデルは、前記ハイライト色または前記座標値と、中間色の補正強度とを出力することを特徴とする付記１１に記載の画像補正モデル生成装置。

（付記１５）前記色彩補正画像は、前記ハイライト色または前記座標値から求まる前記ハイライト色と、前記中間色の補正強度とを用いて、前記訓練画像に色彩補正が行われることにより生成されることを特徴とする付記１４に記載の画像補正モデル生成装置。

１０ 画像補正モデル生成装置
１１Ａ 訓練画像
１１Ｂ 正解ラベル
１２ 候補抽出部
１２Ａ ハイライト候補画像
１３ モデル実行部
１３Ａ ハイライト色
１３Ｂ 中間色補正強度
１３Ｍ 画像補正モデル
１４ 色補正部
１４Ａ 色彩補正画像
１５ 照合部
１６ パラメータ更新部

Claims (7)

1. 訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、
   前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、
   処理をコンピュータが実行することを特徴とする画像補正モデル生成方法。
2. 前記訓練画像からハイライト色の候補となる画素を抽出する処理を前記コンピュータがさらに実行し、
   前記画像補正モデルは、前記訓練画像および前記ハイライト色の候補となる画素が入力されることを特徴とする請求項１に記載の画像補正モデル生成方法。
3. 前記抽出する処理は、前記訓練画像に含まれる画素ごとに前記画素の明度または彩度に基づいて前記ハイライト色の候補となる画素を抽出する処理を含む、
   ことを特徴とする請求項２に記載の画像補正モデル生成方法。
4. 前記画像補正モデルは、前記ハイライト色または前記座標値と、中間色の補正強度とを出力することを特徴とする請求項１、２または３に記載の画像補正モデル生成方法。
5. 前記色彩補正画像は、前記ハイライト色または前記座標値から求まる前記ハイライト色と、前記中間色の補正強度とを用いて、前記訓練画像に色彩補正が行われることにより生成されることを特徴とする請求項４に記載の画像補正モデル生成方法。
6. 訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、
   前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、
   処理をコンピュータに実行させることを特徴とする画像補正モデル生成プログラム。
7. 訓練画像が入力された画像補正モデルにより出力されるハイライト色、あるいは訓練画像の座標値から求まる前記ハイライト色を用いて前記訓練画像に色彩補正が行われた色彩補正画像と前記訓練画像の正解ラベルとを照合し、
   前記照合する処理による照合結果に基づいて前記画像補正モデルのパラメータを更新する、
   処理を実行する制御部を含む画像補正モデル生成装置。

Images