JP7378997B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、物体に光を照射する光源に関する情報を推定するための技術に関する。

従来、物体の周囲の環境における光源の方向や位置を推定する技術がある。特許文献１は、物体が配置された環境に鏡状球体を配置して鏡状球体を撮像して得られる画像を基に、光源を含む環境情報を作成する技術を開示している。

特開２０１０－２４３４７８号公報

しかし、特許文献１は、物体に光を照射する光源を含む環境に関する情報を得るために、鏡面球を撮像する必要があった。

本発明は、上記課題を鑑みてなされたものであり、鏡面球を撮像せずに、物体に光を照射する光源に関する情報を推定するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、前記物体を撮像する環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得手段と、前記第１画像データ群と第２画像データ群とを用いた機械学習によって、撮像環境における光源の方向を得るための学習モデルを生成する生成手段と、を有することを特徴とする。

本発明によれば、鏡面球を撮像せずに、物体に対して光源を照射する光源に関する情報を推定することができる。

生徒データを得るための撮像の様子を示す図 光の当たり方に応じた色の変化を説明するための図 教師データを得るための撮像の様子を示す図 撮像された画像内の鏡面球に写り込む光源を説明するための図 色評価システムのハードウェア構成を示すブロック図 色評価システムの機能構成を示すブロック図 ニューラルネットワークを説明するための図 参照物体を撮像する様子を示す図 情報処理装置が実行する処理を示すフローチャート 光源ベクトルを導出する処理を説明するための図 色の評価値を導出する処理を示すフローチャート 色参照テーブルから色情報を取得する処理を説明するための図 評価結果の表示例を示す図 光の当たり方に応じた色の変化を説明するための図

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
従来、物体を撮像して得られる画像を基に、物体の色を評価する技術がある。特に、光の当たり方に応じて色の見え方が異なる物体を評価する場合には、光源がどの方向から物体に対して光を照射しているかを特定する情報が必要となる。光源の方向を推定する技術として、評価対象の物体と鏡面球とを同じ撮像範囲に含めて撮像を行うことにより、評価対象の物体に光を照射する光源の方向を推定する技術がある。しかしこの技術では、物体の色を評価する度に鏡面球を画像内に写り込ませる必要がある。そこで、本実施形態においては、所定の物体を撮像して得られる画像データと、鏡面球を撮像して得られる画像データと、を学習データとして学習モデルを予め生成しておき、学習モデルから出力される情報を基に物体に対する光源の方向を推定する。これにより、鏡面球を毎度用意することなく、物体の色の評価を行うことができる。

本実施形態において色を評価する対象の物体は車である。よって、学習モデルに学習させる入力用の画像データ（以下、生徒データと呼ぶ）は、車を撮像して得られる画像データである。図１は、生徒データを得るための撮像の様子を示す図である。車３は、光源４の方向を変化させながら撮像装置５により撮像される。車のボディは、一般的に金属で作られているため、入射した光を鏡面反射しやすい。このため、車のボディに対する光の当たり方に応じて鏡面反射光がどの程度観察されるかが変わる。図２に光の当たり方に応じた色の見え方を示す。また、学習モデルに学習させる出力用の画像データ（以下、教師データと呼ぶ）は、鏡面球を車と同じ撮像条件において撮像して得られる画像データである。図３は、教師データを得るための撮像の様子を示す図である。鏡面球６は、図１の車３と同一位置に配置され、光源４の方向を変化させながら撮像装置５により撮像される。撮像により得られる画像内の鏡面球には、図４のように光源が写り込む。写り込んだ鏡面球内の光源の位置を基に、光源の方向を推定することができる。鏡面球に対する光の当たり方と車のボディの色味の変化との相関関係を学習モデルに学習させることによって、光源の方向を推定する学習モデルを生成する。具体的には、本実施形態における学習モデルは、物体の撮像画像データを入力とした場合に、該物体に光を照射する光源の方向を推定するために用いられる鏡面球の画像データを出力する学習モデルである。尚、本実施形態においては、光源の方向を変化させながら車と鏡面球とを同一位置に配置して撮像を行い、同じ撮像条件の生徒データと教師データとをセットとして機械学習に用いる。尚、本実施形態においては、車と鏡面球とを同一位置に配置したが、撮像の環境が同じであれば多少位置が異なっていてもよい。

＜色評価システムの構成＞
本実施形態における色評価システムは、図５（ａ）に示すように、学習モデルを生成する情報処理装置１と、学習モデルから出力される画像データを基に光源情報推定及び色の評価を行う情報処理装置２と、から構成される。

＜情報処理装置のハードウェア構成＞
図５（ｂ）は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、情報処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。尚、情報処理装置２も情報処理装置１と同様のハードウェア構成であるため説明を省略する。

＜色評価システムの機能構成＞
図６は、情報処理装置１と情報処理装置２とを含む色評価システムの機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図６に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように色評価システムが構成されていても良い。

情報処理装置１は、学習画像取得部２０１、学習モデル生成部２０２を有する。学習画像取得部２０１は、学習モデルを生成するための学習に用いる生徒データと教師データとの複数のセットを取得する。生徒データは、上述したように、光源の位置を変化させながら車を複数回撮像して得られる画像データである。教師データは、上述したように、光源の位置を変化させながら車と同一位置に配置された鏡面球を複数回撮像して得られる画像データである。学習画像取得部２０１は、光源の位置が同じ条件において撮像された画像データをセットとして取得する。学習モデル生成部２０２は、生徒データと教師データとの複数のセットに基づいて、光源を含む環境に関する情報を推定するための学習モデルを生成する。本実施形態における学習モデルは、入力画像データから、入力画像データに対応する鏡面球の画像データを出力するニューラルネットワークに基づくネットワーク構造とそのパラメータである。

ここでニューラルネットワークについて説明する。尚、ニューラルネットワークの原理自体は公知であるため、簡単に説明する。図７は、ニューラルネットワークを説明する図である。図７では中間層を１層としているが、２層以上で中間層を構成することが望ましい。図７に示すニューラルネットワークでは、入力層はＭｉ個のノード（ｎ１１、ｎ１２、…、ｎ１Ｍｉ）を有し、中間層はＭｈ個のノード（ｎ２１、ｎ２２、…、ｎ２Ｍｈ）を有し、出力層（最終層）はＭｏ個のノード（ｎ３１、ｎ３２、…、ｎ３Ｍｏ）を有している。そして、各層のノードは隣接する層の全てのノードと結合しており、階層間で情報伝達を行う３層の階層型ニューラルネットワークを構成している。

入力層に画像を入力する場合、該入力層には、画素とノードとが１対１となるように、画素数分のノードを設ける。また、出力層においても出力する画素数分のノードが設定されている。例えば、１６画素×１６画素の画像が入力される場合、１６画素×１６画素の画素値を出力するため、入力層および出力層におけるノードは２５６個である。データは、図８の左から右へ、即ち、入力層、中間層、出力層の順で受け渡される。入力層の各ノードは中間層のすべてのノードに接続され、ノード間の接続はそれぞれ重みを持っている。一方のノードから結合を通して他方のノードに伝達される際の出力値は、結合の重みによって増強あるいは減衰される。このような接続に定められた重み係数、バイアス値の集合は学習モデルのパラメータである。なお活性化関数については特に限定しないが、ロジスティックシグモイド関数やＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）関数などを用いれば良い。学習方法としては、種々提案されているニューラルネットワークの学習方法を適用すれば良い。例えば、入力層に生徒データを入力してニューラルネットワークを動作させた場合に出力層から得られる出力と、該生徒データに予め対応づけられている教師データと、の差分を計算し、該差分を極小化するように、重み係数及びバイアス値を調整する。

情報処理装置２は、入力画像取得部２１１、球画像生成部２１２、推定部２１３、色評価部２１４を有する。入力画像取得部２１１は、評価対象の物体を撮像して得られる入力画像データを取得する。本実施形態における評価対象の物体は車である。球画像生成部２１２は、情報処理装置１が生成した学習モデルを用いて、鏡面球画像データを生成する。具体的には、学習モデルに入力画像取得部２１１が取得した入力画像データを入力することによって、学習モデルから出力される鏡面球画像データを取得する。推定部２１３は、鏡面球画像データに基づいて、評価対象の物体を撮像する際の環境に含まれる光源の情報を推定する。本実施形態において推定する光源の情報は、入力画像データを得るための撮像の際に、評価対象の物体に光を照射する光源の方向である。評価対象の物体に光を照射する光源の方向を推定する方法は後述する。

色評価部２１４は、データ取得部２１４１、評価値導出部２１４２、データ保持部２１４３、表示制御部２１４４を有する。データ取得部２１４１は、入力画像データと、光源データと、撮像方向データと、形状データと、を取得する。入力画像データは、入力画像取得部２１１により取得された画像データである。光源データは、推定部２１３が推定した光源の方向を表すデータである。撮像方向データは、入力画像データを得るための撮像の際の撮像方向を表すデータである。形状データは、評価対象の物体の形状を表すデータである。形状データは、予め物体の形状を測定することにより生成しておく。物体の形状を測定する方法には、公知の位相シフト法を用いても良いし、物体にマーカーを配置する方法を用いても良い。またＣＡＤデータを形状データとして用いても良い。

評価値導出部２１４２は、データ取得部２１４１が取得するデータとデータ保持部２１４３が保持する参照色テーブルとに基づいて、評価対象の物体に関する色の評価値を導出する。データ保持部２１４３が保持する参照色テーブルは、評価対象の物体と色を比較するための参照物体を撮像して得られる色を表すデータであり、予め生成しておく。図８は、参照物体を撮像する様子を示す図である。

図８（ａ）において、参照物体８１は色の評価において評価対象の物体の比較対象となる平面状の板である。参照色テーブルは、参照物体８１を撮像して得られるデータである。撮像の方法を図８（ｂ）を用いて説明する。図８（ｂ）に示すように、光源４の位置を固定して、撮像装置５を参照物体８１に対して方位角０度から３５０度まで１０度ずつ移動させ、移動させる度に撮像を行う。この撮像を参照物体８１に対して仰角０度から９０度まで１０度毎に行う。次に、撮像装置５を移動させる度に行う撮像を、光源４を参照物体８１に対して方位角０度から３５０度まで１０度ずつ移動させて行う。さらに、この撮像を、光源４を参照物体８１に対して仰角０度から９０度まで１０度ずつ移動させる度に行う。尚、撮像装置５の位置と光源４の位置とが重複する場合は、撮像は行わない。また、仰角９０度の位置においては方位角を変えられないため、方位角方向の移動は行わない。参照物体８１はどの領域も同じ色であるとして、撮像して得られた撮像画像の任意の画素に記録された色情報（ＲＧＢ値）を各撮像条件における参照物体８１の色情報とする。図８（ｃ）は、各撮像条件における色情報（ＲＧＢ値）が記録された参照色テーブルである。ここで撮像条件は、光源４の位置の方位角及び仰角と、撮像装置５の位置の方位角及び仰角と、によって決まる。尚、撮像装置５及び光源４を移動させる角度は１０度ずつである必要はなく、１度毎にしても良い。また、光源４から参照物体８１への光の鏡面反射方向の付近は反射強度が大きく変化するため、鏡面反射方向の付近においては１度毎の移動とし、鏡面反射方向から離れるにつれて移動させる角度を大きくしても良い。

表示制御部２１４４は、評価値導出部２１４２による色の評価結果をディスプレイ１１５に表示させる。

＜情報処理装置１が実行する処理（学習モデルの生成）＞
図９は、情報処理装置１が実行する処理を示すフローチャートである。以下、図９を参照して情報処理装置１の処理の詳細を説明する。図９のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、学習画像取得部２０１は、生徒データと教師データとの複数のセットを取得する。Ｓ３０２において、学習モデル生成部２０２は、生徒データと教師データとの複数のセットに基づいて、光源の方向を推定するために用いられる学習モデルを生成する。Ｓ３０３において、学習モデル生成部２０２は、生成した学習モデルを情報処理装置２に出力する。

＜情報処理装置２が実行する処理（光源情報の推定及び色の評価＞
Ｓ３１１において、入力画像取得部２１１は、入力画像データを取得する。Ｓ３１２において、球画像生成部２１２は、入力画像データと学習モデルとに基づいて、鏡面球画像データを生成する。Ｓ３１３において、推定部２１３は、鏡面球画像データに基づいて、物体に対する光源の方向を推定する。以下に光源の方向を推定する方法の詳細を説明する。

鏡面球画像データが表す画像内の鏡面球には、図４のように光源が写り込んでいる。図１０は、光源４から評価対象の物体へ照射する光の方向を表す光源ベクトルを導出する処理を説明するための図である。円１００１は、鏡面球画像における鏡面球６であり、評価対象の物体の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円１００２は、評価対象の物体の表面に対して仰角方向のどの角度に光源が存在するかを示している。Ｓ３１３において、推定部２１３は、まず、鏡面球画像における鏡面球６に対応する領域の中心の画素位置を導出する。具体的には、鏡面球画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の鏡面球画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から円又は楕円の輪郭を選択する。円又は楕円の輪郭が１つである場合は、その１つを鏡面球６に対応する領域とし、エッジ位置上において所定の距離以上離れた３点の重心を、鏡面球６に対応する領域の中心の画素位置とする。尚、重心の導出の方法は、エッジ位置上の少なくとも３点を用いればよく、より多くの点を用いることによって、より高精度に鏡面球６に対応する領域の中心の画素位置を導出できる。円又は楕円の輪郭が複数ある場合は、輪郭内の平均輝度が最も高い輪郭を、鏡面球６に対応する領域とする。次に、鏡面球６に映り込んだ光源４の中心の画素位置を導出する。ここでは、鏡面球画像における鏡面球６に対応する領域の中で、輝度が最も大きい画素を光源４の中心の画素位置とする。

次に、推定部２１３は、図１０に示すｘｌ、ｙｌを算出する。ｘｌ、ｙｌはそれぞれ、鏡面球６に対応する領域の中心の画素位置から、光源４の中心の画素位置までのｘ方向、ｙ方向の画素数である。次に、式（１）を用いて、ｚｌを導出する。

ここで、ｒは鏡面球画像における鏡面球６の半径である。半径ｒは、鏡面球６に対応する領域の中心の画素位置から、鏡面球６に対応する領域のエッジ位置までの画素数とする。ｘｌ、ｙｌ、ｚｌを導出した後に、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）を各画素に記録した光源データを生成する。

Ｓ３１４において、データ取得部２１４１は、評価用のデータを取得する。ここで、評価用のデータは、入力画像データと、光源データと、撮像方向データと、形状データである。光源データは、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）が各画素に記録されたデータであり、撮像方向データは、撮像装置から評価対象の物体への方向を表す撮像方向ベクトル（ｘｃ，ｙｃ，ｚｃ）が各画素に記録されたデータである。また、形状データは、評価対象の物体の表面における法線方向を表す法線ベクトル（ｘｎ，ｙｎ，ｚｎ）が各画素に記録されたデータである。

Ｓ３１５において、評価値導出部２１４２は、色の評価値を導出する。図１１は、Ｓ３１５における処理を示すフローチャートである。以下において、Ｓ３１５における処理の流れを図１１を用いて説明する。

Ｓ３１５１において、評価値導出部２１４２は、入力画像の各画素に記録された色情報（ＲＧＢ値）をＸＹＺ値に変換する。ＲＧＢ値からＸＹＺ値への変換は、公知の方法を用いて行う。Ｓ３１５２において、評価値導出部２１４２は、入力画像をディスプレイ１１５に表示し、入力画像における、ユーザにより指定された色の評価領域を表す情報を受け付ける。Ｓ３１５３において、評価値導出部２１４２は、入力画像における評価領域の色情報と比較するための、参照物体の色情報を参照色テーブルから取得する。以下に参照物体の色情報を取得する方法の詳細を説明する。まず、図１２（ａ）に示すように、入力画像における評価領域内の各画素に対応する法線ベクトル（ｘｎ，ｙｎ，ｚｎ）、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）、撮像方向ベクトル（ｘｃ，ｙｃ，ｚｃ）を取得する。

法線ベクトル（ｘｎ，ｙｎ，ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置５が撮像する面に対して正対しているため、（０，０，－１）となる。次に、図１２（ｂ）に示すように、法線ベクトルが真上を向く状態に回転させる回転行列を導出し、光源ベクトル、撮像方向ベクトルを導出した回転行列で回転させる。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、参照色テーブルを生成する際に、参照物体の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ，ｙｎ，ｚｎ）が（０，０，√（ｘｎ^２＋ｙｎ^２＋ｚｎ^２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた参照物体の色情報を、参照色テーブルから取得する。尚、参照物体の色情報は、近い撮像条件の色情報を参照色テーブルから４つ抽出して補間処理によって導出してもよい。さらに、参照物体の色情報（ＲＧＢ値）を、Ｓ３１５１における方法と同じ方法によって、ＸＹＺ値に変換する。

Ｓ３１５４において、評価値導出部２１４２は、入力画像における評価領域の各画素の色情報と、その色情報に対応する参照物体の色情報と、に基づいて、色の評価値を算出する。具体的には、まず、式（２）、（３）、（４）、（５）、（６）を用いて、ＸＹＺ値をＬ^＊ａ^＊ｂ^＊値を変換する。入力画像の色情報を（Ｘｃ，Ｙｃ，Ｚｃ）とし、参照物体の色情報を（Ｘｂ，Ｙｂ，Ｚｂ）とし、基準白色のＸＹＺ値を（Ｘｗ，Ｙｗ，Ｚｗ）とする。基準白色のＸＹＺ値には、予め設定されている値を用いる。式（２）～式（６）を用いて、（Ｘｃ，Ｙｃ，Ｚｃ）、（Ｘｂ，Ｙｂ，Ｚｂ）をそれぞれ（Ｘ，Ｙ，Ｚ）に代入した場合の、（Ｌ^＊ｃ，ａ^＊ｃ，ｂ^＊ｃ）、（Ｌ^＊ｂ，ａ^＊ｂ，ｂ^＊ｂ）をそれぞれ求める。

導出した（Ｌ^＊ｃ，ａ^＊ｃ，ｂ^＊ｃ）、（Ｌ^＊ｂ，ａ^＊ｂ，ｂ^＊ｂ）を用いて、色差ΔＥ、明度差ΔＬ^＊、Δａ^＊、Δｂ^＊、彩度差ΔＣのいずれかを評価値として導出する。評価値の導出は、以下の式（７）を用いる。本実施形態においては、色差ΔＥを評価値とするように予め設定されているものとする。

尚、上述した色差ΔＥ、明度差ΔＬ^＊、Δａ^＊、Δｂ^＊、彩度差ΔＣを複数組み合わせた値を評価値としてもよい。また、ディスプレイ１１５に評価値の候補を表示させて、評価値をユーザに選択させてもよい。

Ｓ３１６において、表示制御部２１４４は、評価値導出部２１４２による色の評価結果をディスプレイ１１５に表示させる。図１３に、評価結果の表示例を示す。領域１３００は、ユーザにより指定された評価領域である。画面１３０１は評価領域１３００に対する評価結果を表示する画面であり、スケール１３０２は評価値のスケールを表す。値１３０３は評価値スケールの最大値である。表示１３０４は、評価値が所定の閾値以下であり、検査が合格（ＯＫ）である場合の表示である。評価値が所定の閾値より大きく検査が不合格である場合はＮＧが表示される。尚、画面１３０１における表示の際、評価値が０の場合に評価値スケール１３０２の１番下の色、評価値が評価値スケールの最大値１３０３以上の場合に評価値スケール１３０２の１番上の色になるように表示する。０以上、かつ、評価値スケール１３０２の最大値以下の場合には線形補間で導出された中間の色を表示する。

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する。該物体を撮像した環境に配置された、表面が鏡面である球を、光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する。第１画像データ群と第２画像データ群とを用いた機械学習によって、学習モデルを生成する。学習モデルは、撮像画像を基に、撮像画像を得るための撮像の際の環境における、物体から光源への方向を推定するために用いられる。これにより、鏡面球を撮像せずに、物体に対して光源を照射する光源に関する情報を推定することができる。

［変形例］
上述した実施形態においては、情報処理装置１と情報処理装置２とが別々の装置であったが、１つの情報処理装置が、学習モデルの生成、光源情報の推定、色の評価を行っても良い。

上述した実施形態においては、生成した学習モデルから出力された鏡面球画像を基に光源の方向を推定したが、光源の位置や、物体の周囲にある光源の数、光源の色温度を推定しても良い。

上述した実施形態においては、評価対象の物体を車としたが、光の当たり方に応じて色の見え方が異なる物体であれば、車以外の物体であってもよい。例えば、人を評価対象としても良い。図１４のような人の髪や肌、衣服の色味の変化と鏡面球に対する光の当たり方との相関関係を学習モデルに学習させることにより、光源の方向を推定できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 情報処理装置
２０１ 学習画像取得部
２０２ 学習モデル生成部

Claims (9)

1. 光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、
   前記物体を撮像する環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得手段と、
   前記第１画像データ群と第２画像データ群とを用いた機械学習によって、撮像環境における光源の方向を得るための学習モデルを生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記学習モデルから出力された画像に基づいて、前記撮像環境における光源の方向を推定する第１推定手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、前記第１画像データ群と前記第２画像データ群とのうち、撮像の条件が同じ画像データをセットにして、前記機械学習に用いることを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記学習モデルは、前記撮像環境における光源の位置を推定するために用いられることを特徴とする請求項１乃至請求項３のいずれか一項に記載の情報処理装置。
5. 複数の光源を映り込ませた鏡面球を撮像して得られる画像データを基にした前記学習モデルに基づいて、前記撮像環境における光源の数を推定する第２推定手段をさらに有することを特徴とする請求項１乃至請求項４のいずれか一項に記載の情報処理装置。
6. 前記学習モデルに基づいて、前記撮像環境における光源の色温度を推定する第３推定手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか一項に記載の情報処理装置。
7. 前記学習モデルを基に推定された光源の方向に基づいて、物体の色を評価する評価手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか一項に記載の情報処理装置。
8. コンピュータを請求項１乃至請求項７のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
9. 光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得ステップと、
   前記物体を撮像する環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得ステップと、
   前記第１画像データ群と第２画像データ群とを用いた機械学習によって、撮像環境における光源の方向を得るための学習モデルを生成する生成ステップと、
   を有することを特徴とする情報処理方法。

Images