JP7378997B2

JP7378997B2 - Information processing device, information processing method and program

Info

Publication number: JP7378997B2
Application number: JP2019134499A
Authority: JP
Inventors: 秀幸 ▲高▼橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-22
Filing date: 2019-07-22
Publication date: 2023-11-14
Anticipated expiration: 2039-07-22
Also published as: JP2021018643A

Description

本発明は、物体に光を照射する光源に関する情報を推定するための技術に関する。 The present invention relates to a technique for estimating information regarding a light source that irradiates an object with light.

従来、物体の周囲の環境における光源の方向や位置を推定する技術がある。特許文献１は、物体が配置された環境に鏡状球体を配置して鏡状球体を撮像して得られる画像を基に、光源を含む環境情報を作成する技術を開示している。 Conventionally, there are techniques for estimating the direction and position of a light source in the environment surrounding an object. Patent Document 1 discloses a technique for creating environment information including a light source based on an image obtained by placing a mirror sphere in an environment where an object is placed and capturing an image of the mirror sphere.

特開２０１０－２４３４７８号公報Japanese Patent Application Publication No. 2010-243478

しかし、特許文献１は、物体に光を照射する光源を含む環境に関する情報を得るために、鏡面球を撮像する必要があった。 However, in Patent Document 1, it was necessary to image a specular sphere in order to obtain information about the environment including a light source that irradiates an object with light.

本発明は、上記課題を鑑みてなされたものであり、鏡面球を撮像せずに、物体に光を照射する光源に関する情報を推定するための処理を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide processing for estimating information regarding a light source that irradiates an object with light without imaging a mirror sphere.

上記課題を解決するために、本発明に係る情報処理装置は、光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、前記物体を撮像する環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得手段と、前記第１画像データ群と第２画像データ群とを用いた機械学習によって、撮像環境における光源の方向を得るための学習モデルを生成する生成手段と、を有することを特徴とする。 In order to solve the above problems, an information processing device according to the present invention includes a first acquisition unit that acquires a first image data group obtained by imaging an object multiple times while changing the position of a light source; a second acquisition means for acquiring a second image data group obtained by imaging a sphere with a mirror surface placed in an imaging environment a plurality of times while changing the position of the light source; and the first image data and a generation means for generating a learning model for obtaining the direction of the light source in the imaging environment by machine learning using the group and the second image data group.

本発明によれば、鏡面球を撮像せずに、物体に対して光源を照射する光源に関する情報を推定することができる。 According to the present invention, it is possible to estimate information regarding a light source that irradiates an object without imaging a specular sphere.

生徒データを得るための撮像の様子を示す図Diagram showing how imaging is performed to obtain student data 光の当たり方に応じた色の変化を説明するための図Diagram to explain the change in color depending on how the light hits it 教師データを得るための撮像の様子を示す図Diagram showing how imaging is performed to obtain training data 撮像された画像内の鏡面球に写り込む光源を説明するための図Diagram to explain the light source reflected in the mirrored sphere in the captured image 色評価システムのハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the color evaluation system 色評価システムの機能構成を示すブロック図Block diagram showing the functional configuration of the color evaluation system ニューラルネットワークを説明するための図Diagram to explain neural network 参照物体を撮像する様子を示す図Diagram showing how to image a reference object 情報処理装置が実行する処理を示すフローチャートFlowchart showing processing executed by the information processing device 光源ベクトルを導出する処理を説明するための図Diagram for explaining the process of deriving a light source vector 色の評価値を導出する処理を示すフローチャートFlowchart showing the process of deriving color evaluation values 色参照テーブルから色情報を取得する処理を説明するための図Diagram for explaining the process of acquiring color information from the color reference table 評価結果の表示例を示す図Diagram showing an example of displaying evaluation results 光の当たり方に応じた色の変化を説明するための図Diagram to explain the change in color depending on how the light hits it

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。 This embodiment will be described below with reference to the drawings. Note that the following embodiments do not necessarily limit the present invention. Furthermore, not all combinations of features described in this embodiment are essential to the solution of the present invention.

［第１実施形態］
従来、物体を撮像して得られる画像を基に、物体の色を評価する技術がある。特に、光の当たり方に応じて色の見え方が異なる物体を評価する場合には、光源がどの方向から物体に対して光を照射しているかを特定する情報が必要となる。光源の方向を推定する技術として、評価対象の物体と鏡面球とを同じ撮像範囲に含めて撮像を行うことにより、評価対象の物体に光を照射する光源の方向を推定する技術がある。しかしこの技術では、物体の色を評価する度に鏡面球を画像内に写り込ませる必要がある。そこで、本実施形態においては、所定の物体を撮像して得られる画像データと、鏡面球を撮像して得られる画像データと、を学習データとして学習モデルを予め生成しておき、学習モデルから出力される情報を基に物体に対する光源の方向を推定する。これにより、鏡面球を毎度用意することなく、物体の色の評価を行うことができる。 [First embodiment]
Conventionally, there is a technique for evaluating the color of an object based on an image obtained by capturing an image of the object. In particular, when evaluating objects whose colors appear differently depending on how the light hits them, information that specifies from which direction the light source is irradiating the object is required. As a technique for estimating the direction of a light source, there is a technique for estimating the direction of a light source that irradiates an object to be evaluated with light by capturing an image of the object to be evaluated and a specular sphere in the same imaging range. However, with this technique, it is necessary to include a mirrored sphere in the image every time the color of an object is evaluated. Therefore, in this embodiment, a learning model is generated in advance using image data obtained by imaging a predetermined object and image data obtained by imaging a specular sphere as learning data, and output from the learning model. The direction of the light source relative to the object is estimated based on the information provided. This makes it possible to evaluate the color of an object without having to prepare a specular sphere each time.

本実施形態において色を評価する対象の物体は車である。よって、学習モデルに学習させる入力用の画像データ（以下、生徒データと呼ぶ）は、車を撮像して得られる画像データである。図１は、生徒データを得るための撮像の様子を示す図である。車３は、光源４の方向を変化させながら撮像装置５により撮像される。車のボディは、一般的に金属で作られているため、入射した光を鏡面反射しやすい。このため、車のボディに対する光の当たり方に応じて鏡面反射光がどの程度観察されるかが変わる。図２に光の当たり方に応じた色の見え方を示す。また、学習モデルに学習させる出力用の画像データ（以下、教師データと呼ぶ）は、鏡面球を車と同じ撮像条件において撮像して得られる画像データである。図３は、教師データを得るための撮像の様子を示す図である。鏡面球６は、図１の車３と同一位置に配置され、光源４の方向を変化させながら撮像装置５により撮像される。撮像により得られる画像内の鏡面球には、図４のように光源が写り込む。写り込んだ鏡面球内の光源の位置を基に、光源の方向を推定することができる。鏡面球に対する光の当たり方と車のボディの色味の変化との相関関係を学習モデルに学習させることによって、光源の方向を推定する学習モデルを生成する。具体的には、本実施形態における学習モデルは、物体の撮像画像データを入力とした場合に、該物体に光を照射する光源の方向を推定するために用いられる鏡面球の画像データを出力する学習モデルである。尚、本実施形態においては、光源の方向を変化させながら車と鏡面球とを同一位置に配置して撮像を行い、同じ撮像条件の生徒データと教師データとをセットとして機械学習に用いる。尚、本実施形態においては、車と鏡面球とを同一位置に配置したが、撮像の環境が同じであれば多少位置が異なっていてもよい。 In this embodiment, the object whose color is to be evaluated is a car. Therefore, input image data (hereinafter referred to as student data) to be learned by the learning model is image data obtained by capturing an image of a car. FIG. 1 is a diagram showing how images are taken to obtain student data. The car 3 is imaged by the imaging device 5 while changing the direction of the light source 4. Since car bodies are generally made of metal, they tend to reflect incident light specularly. For this reason, the extent to which specularly reflected light is observed changes depending on how the light hits the car body. Figure 2 shows how colors appear depending on how the light hits them. Further, output image data (hereinafter referred to as teacher data) to be trained by the learning model is image data obtained by imaging a specular sphere under the same imaging conditions as a car. FIG. 3 is a diagram showing the state of imaging for obtaining teacher data. The mirror sphere 6 is placed at the same position as the car 3 in FIG. 1, and is imaged by the imaging device 5 while changing the direction of the light source 4. The light source is reflected in the mirror sphere in the image obtained by imaging, as shown in FIG. The direction of the light source can be estimated based on the position of the light source within the reflected mirror sphere. A learning model that estimates the direction of the light source is generated by having the learning model learn the correlation between how light hits the mirror sphere and changes in the color of the car's body. Specifically, the learning model in this embodiment, when inputting captured image data of an object, outputs image data of a mirror sphere used to estimate the direction of a light source that irradiates the object with light. It is a learning model. In this embodiment, images are taken with the car and mirror sphere placed at the same position while changing the direction of the light source, and student data and teacher data under the same imaging conditions are used as a set for machine learning. In this embodiment, the car and the mirror sphere are placed at the same position, but the positions may be slightly different as long as the imaging environment is the same.

＜色評価システムの構成＞
本実施形態における色評価システムは、図５（ａ）に示すように、学習モデルを生成する情報処理装置１と、学習モデルから出力される画像データを基に光源情報推定及び色の評価を行う情報処理装置２と、から構成される。 <Configuration of color evaluation system>
As shown in FIG. 5A, the color evaluation system in this embodiment includes an information processing device 1 that generates a learning model, and performs light source information estimation and color evaluation based on image data output from the learning model. It is composed of an information processing device 2.

＜情報処理装置のハードウェア構成＞
図５（ｂ）は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、情報処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。尚、情報処理装置２も情報処理装置１と同様のハードウェア構成であるため説明を省略する。 <Hardware configuration of information processing device>
FIG. 5(b) is a block diagram showing the hardware configuration of the information processing device 1. The information processing device 1 includes a CPU 101, a ROM 102, and a RAM 103. The information processing device 1 also includes a VC (video card) 104, a general-purpose I/F (interface) 105, a SATA (serial ATA) I/F 106, and a NIC (network interface card) 107. The CPU 101 uses the RAM 103 as a work memory to execute an OS (operating system) and various programs stored in a ROM 102, an HDD (hard disk drive) 113, and the like. Further, the CPU 101 controls each component via the system bus 108. Note that the processing according to the flowcharts described later is executed by the CPU 101 after program codes stored in the ROM 102, HDD 113, etc. are loaded into the RAM 103. A display 115 is connected to the VC 104. An input device 110 such as a mouse and a keyboard, and an imaging device 111 are connected to the general-purpose I/F 105 via a serial bus 109 . A general-purpose drive 114 that reads and writes from and to the HDD 113 and various recording media is connected to the SATAI/F 106 via a serial bus 112. The NIC 107 inputs and outputs information to and from external devices. The CPU 101 uses various recording media mounted on the HDD 113 and the general-purpose drive 114 as storage locations for various data. The CPU 101 displays a GUI (graphical user interface) provided by the program on the display 115 and receives input such as user instructions via the input device 110. Note that the information processing device 2 also has the same hardware configuration as the information processing device 1, so a description thereof will be omitted.

＜色評価システムの機能構成＞
図６は、情報処理装置１と情報処理装置２とを含む色評価システムの機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図６に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように色評価システムが構成されていても良い。 <Functional configuration of color evaluation system>
FIG. 6 is a block diagram showing the functional configuration of a color evaluation system including the information processing device 1 and the information processing device 2. As shown in FIG. The CPU 101 functions as the functional configuration shown in FIG. 6 by reading and executing programs stored in the ROM 102 or HDD 113 using the RAM 103 as a work memory. Note that all of the processes described below do not need to be executed by the CPU 101, and the color evaluation system may be configured such that some or all of the processes are executed by one or more processing circuits other than the CPU 101. .

情報処理装置１は、学習画像取得部２０１、学習モデル生成部２０２を有する。学習画像取得部２０１は、学習モデルを生成するための学習に用いる生徒データと教師データとの複数のセットを取得する。生徒データは、上述したように、光源の位置を変化させながら車を複数回撮像して得られる画像データである。教師データは、上述したように、光源の位置を変化させながら車と同一位置に配置された鏡面球を複数回撮像して得られる画像データである。学習画像取得部２０１は、光源の位置が同じ条件において撮像された画像データをセットとして取得する。学習モデル生成部２０２は、生徒データと教師データとの複数のセットに基づいて、光源を含む環境に関する情報を推定するための学習モデルを生成する。本実施形態における学習モデルは、入力画像データから、入力画像データに対応する鏡面球の画像データを出力するニューラルネットワークに基づくネットワーク構造とそのパラメータである。 The information processing device 1 includes a learning image acquisition section 201 and a learning model generation section 202. The learning image acquisition unit 201 acquires a plurality of sets of student data and teacher data used for learning to generate a learning model. As described above, the student data is image data obtained by capturing images of a car multiple times while changing the position of the light source. As described above, the teacher data is image data obtained by imaging a mirror sphere placed at the same position as the car multiple times while changing the position of the light source. The learning image acquisition unit 201 acquires a set of image data captured under conditions where the position of the light source is the same. The learning model generation unit 202 generates a learning model for estimating information regarding the environment including the light source, based on a plurality of sets of student data and teacher data. The learning model in this embodiment is a network structure based on a neural network that outputs image data of a specular sphere corresponding to the input image data from input image data, and its parameters.

ここでニューラルネットワークについて説明する。尚、ニューラルネットワークの原理自体は公知であるため、簡単に説明する。図７は、ニューラルネットワークを説明する図である。図７では中間層を１層としているが、２層以上で中間層を構成することが望ましい。図７に示すニューラルネットワークでは、入力層はＭｉ個のノード（ｎ１１、ｎ１２、…、ｎ１Ｍｉ）を有し、中間層はＭｈ個のノード（ｎ２１、ｎ２２、…、ｎ２Ｍｈ）を有し、出力層（最終層）はＭｏ個のノード（ｎ３１、ｎ３２、…、ｎ３Ｍｏ）を有している。そして、各層のノードは隣接する層の全てのノードと結合しており、階層間で情報伝達を行う３層の階層型ニューラルネットワークを構成している。 Here, neural networks will be explained. Incidentally, since the principle of the neural network itself is well known, it will be briefly explained. FIG. 7 is a diagram illustrating a neural network. In FIG. 7, the intermediate layer is one layer, but it is desirable to configure the intermediate layer with two or more layers. In the neural network shown in FIG. 7, the input layer has Mi nodes (n11, n12, ..., n1Mi), the middle layer has Mh nodes (n21, n22, ..., n2Mh), and the output layer (Final layer) has Mo nodes (n31, n32, . . . , n3Mo). The nodes of each layer are connected to all the nodes of adjacent layers, forming a three-layer hierarchical neural network that transmits information between layers.

入力層に画像を入力する場合、該入力層には、画素とノードとが１対１となるように、画素数分のノードを設ける。また、出力層においても出力する画素数分のノードが設定されている。例えば、１６画素×１６画素の画像が入力される場合、１６画素×１６画素の画素値を出力するため、入力層および出力層におけるノードは２５６個である。データは、図８の左から右へ、即ち、入力層、中間層、出力層の順で受け渡される。入力層の各ノードは中間層のすべてのノードに接続され、ノード間の接続はそれぞれ重みを持っている。一方のノードから結合を通して他方のノードに伝達される際の出力値は、結合の重みによって増強あるいは減衰される。このような接続に定められた重み係数、バイアス値の集合は学習モデルのパラメータである。なお活性化関数については特に限定しないが、ロジスティックシグモイド関数やＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ（ＲｅＬＵ）関数などを用いれば良い。学習方法としては、種々提案されているニューラルネットワークの学習方法を適用すれば良い。例えば、入力層に生徒データを入力してニューラルネットワークを動作させた場合に出力層から得られる出力と、該生徒データに予め対応づけられている教師データと、の差分を計算し、該差分を極小化するように、重み係数及びバイアス値を調整する。 When inputting an image to the input layer, nodes for the number of pixels are provided in the input layer so that there is a one-to-one relationship between pixels and nodes. Further, nodes for the number of pixels to be output are set in the output layer as well. For example, when an image of 16 pixels x 16 pixels is input, pixel values of 16 pixels x 16 pixels are output, so there are 256 nodes in the input layer and the output layer. Data is passed from left to right in FIG. 8, that is, in the order of input layer, intermediate layer, and output layer. Each node in the input layer is connected to all nodes in the hidden layer, and each connection between nodes has a weight. The output value transmitted from one node to another node through a connection is enhanced or attenuated by the weight of the connection. A set of weighting coefficients and bias values determined for such connections are parameters of the learning model. Note that the activation function is not particularly limited, but a logistic sigmoid function, a rectified linear unit (ReLU) function, or the like may be used. As a learning method, various neural network learning methods that have been proposed may be applied. For example, when student data is input to the input layer and a neural network is operated, the difference between the output obtained from the output layer and the teacher data that is previously associated with the student data is calculated, and the difference is calculated. The weighting coefficient and bias value are adjusted to minimize them.

情報処理装置２は、入力画像取得部２１１、球画像生成部２１２、推定部２１３、色評価部２１４を有する。入力画像取得部２１１は、評価対象の物体を撮像して得られる入力画像データを取得する。本実施形態における評価対象の物体は車である。球画像生成部２１２は、情報処理装置１が生成した学習モデルを用いて、鏡面球画像データを生成する。具体的には、学習モデルに入力画像取得部２１１が取得した入力画像データを入力することによって、学習モデルから出力される鏡面球画像データを取得する。推定部２１３は、鏡面球画像データに基づいて、評価対象の物体を撮像する際の環境に含まれる光源の情報を推定する。本実施形態において推定する光源の情報は、入力画像データを得るための撮像の際に、評価対象の物体に光を照射する光源の方向である。評価対象の物体に光を照射する光源の方向を推定する方法は後述する。 The information processing device 2 includes an input image acquisition section 211, a sphere image generation section 212, an estimation section 213, and a color evaluation section 214. The input image acquisition unit 211 acquires input image data obtained by imaging an object to be evaluated. The object to be evaluated in this embodiment is a car. The sphere image generation unit 212 generates specular sphere image data using the learning model generated by the information processing device 1. Specifically, by inputting the input image data acquired by the input image acquisition unit 211 into the learning model, specular sphere image data output from the learning model is acquired. The estimating unit 213 estimates information on a light source included in the environment when the object to be evaluated is imaged, based on the specular sphere image data. The information on the light source estimated in this embodiment is the direction of the light source that irradiates the object to be evaluated with light during imaging to obtain input image data. A method for estimating the direction of the light source that irradiates the object to be evaluated will be described later.

色評価部２１４は、データ取得部２１４１、評価値導出部２１４２、データ保持部２１４３、表示制御部２１４４を有する。データ取得部２１４１は、入力画像データと、光源データと、撮像方向データと、形状データと、を取得する。入力画像データは、入力画像取得部２１１により取得された画像データである。光源データは、推定部２１３が推定した光源の方向を表すデータである。撮像方向データは、入力画像データを得るための撮像の際の撮像方向を表すデータである。形状データは、評価対象の物体の形状を表すデータである。形状データは、予め物体の形状を測定することにより生成しておく。物体の形状を測定する方法には、公知の位相シフト法を用いても良いし、物体にマーカーを配置する方法を用いても良い。またＣＡＤデータを形状データとして用いても良い。 The color evaluation section 214 includes a data acquisition section 2141, an evaluation value derivation section 2142, a data holding section 2143, and a display control section 2144. The data acquisition unit 2141 acquires input image data, light source data, imaging direction data, and shape data. The input image data is image data acquired by the input image acquisition unit 211. The light source data is data representing the direction of the light source estimated by the estimation unit 213. The imaging direction data is data representing the imaging direction during imaging to obtain input image data. Shape data is data representing the shape of the object to be evaluated. The shape data is generated in advance by measuring the shape of the object. As a method for measuring the shape of an object, a known phase shift method may be used, or a method of placing markers on the object may be used. Further, CAD data may be used as the shape data.

評価値導出部２１４２は、データ取得部２１４１が取得するデータとデータ保持部２１４３が保持する参照色テーブルとに基づいて、評価対象の物体に関する色の評価値を導出する。データ保持部２１４３が保持する参照色テーブルは、評価対象の物体と色を比較するための参照物体を撮像して得られる色を表すデータであり、予め生成しておく。図８は、参照物体を撮像する様子を示す図である。 The evaluation value derivation unit 2142 derives a color evaluation value regarding the object to be evaluated based on the data acquired by the data acquisition unit 2141 and the reference color table held by the data storage unit 2143. The reference color table held by the data holding unit 2143 is data representing colors obtained by capturing an image of a reference object for comparing colors with the object to be evaluated, and is generated in advance. FIG. 8 is a diagram showing how a reference object is imaged.

図８（ａ）において、参照物体８１は色の評価において評価対象の物体の比較対象となる平面状の板である。参照色テーブルは、参照物体８１を撮像して得られるデータである。撮像の方法を図８（ｂ）を用いて説明する。図８（ｂ）に示すように、光源４の位置を固定して、撮像装置５を参照物体８１に対して方位角０度から３５０度まで１０度ずつ移動させ、移動させる度に撮像を行う。この撮像を参照物体８１に対して仰角０度から９０度まで１０度毎に行う。次に、撮像装置５を移動させる度に行う撮像を、光源４を参照物体８１に対して方位角０度から３５０度まで１０度ずつ移動させて行う。さらに、この撮像を、光源４を参照物体８１に対して仰角０度から９０度まで１０度ずつ移動させる度に行う。尚、撮像装置５の位置と光源４の位置とが重複する場合は、撮像は行わない。また、仰角９０度の位置においては方位角を変えられないため、方位角方向の移動は行わない。参照物体８１はどの領域も同じ色であるとして、撮像して得られた撮像画像の任意の画素に記録された色情報（ＲＧＢ値）を各撮像条件における参照物体８１の色情報とする。図８（ｃ）は、各撮像条件における色情報（ＲＧＢ値）が記録された参照色テーブルである。ここで撮像条件は、光源４の位置の方位角及び仰角と、撮像装置５の位置の方位角及び仰角と、によって決まる。尚、撮像装置５及び光源４を移動させる角度は１０度ずつである必要はなく、１度毎にしても良い。また、光源４から参照物体８１への光の鏡面反射方向の付近は反射強度が大きく変化するため、鏡面反射方向の付近においては１度毎の移動とし、鏡面反射方向から離れるにつれて移動させる角度を大きくしても良い。 In FIG. 8A, a reference object 81 is a flat plate that is compared with an object to be evaluated in color evaluation. The reference color table is data obtained by imaging the reference object 81. The imaging method will be explained using FIG. 8(b). As shown in FIG. 8(b), the position of the light source 4 is fixed, and the imaging device 5 is moved by 10 degrees from an azimuth angle of 0 degrees to 350 degrees with respect to the reference object 81, and images are captured each time it is moved. . This imaging is performed with respect to the reference object 81 every 10 degrees from an elevation angle of 0 degrees to 90 degrees. Next, imaging is performed each time the imaging device 5 is moved by moving the light source 4 relative to the reference object 81 by 10 degrees from an azimuth angle of 0 degrees to 350 degrees. Further, this imaging is performed every time the light source 4 is moved relative to the reference object 81 by 10 degrees from an elevation angle of 0 degrees to 90 degrees. Note that if the position of the imaging device 5 and the position of the light source 4 overlap, no imaging is performed. Furthermore, since the azimuth cannot be changed at a position with an elevation angle of 90 degrees, no movement in the azimuth direction is performed. Assuming that the reference object 81 has the same color in all regions, the color information (RGB values) recorded in any pixel of the captured image obtained by imaging is used as the color information of the reference object 81 under each imaging condition. FIG. 8C is a reference color table in which color information (RGB values) under each imaging condition is recorded. Here, the imaging conditions are determined by the azimuth and elevation of the position of the light source 4 and the azimuth and elevation of the position of the imaging device 5. Note that the angle at which the imaging device 5 and the light source 4 are moved does not have to be every 10 degrees, but may be every 1 degree. In addition, since the reflection intensity changes greatly near the specular reflection direction of the light from the light source 4 to the reference object 81, the movement is performed in 1 degree increments near the specular reflection direction, and the angle of movement increases as the distance from the specular reflection direction increases. You can make it bigger.

表示制御部２１４４は、評価値導出部２１４２による色の評価結果をディスプレイ１１５に表示させる。 The display control unit 2144 causes the display 115 to display the color evaluation results by the evaluation value derivation unit 2142.

＜情報処理装置１が実行する処理（学習モデルの生成）＞
図９は、情報処理装置１が実行する処理を示すフローチャートである。以下、図９を参照して情報処理装置１の処理の詳細を説明する。図９のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。 <Processing executed by information processing device 1 (generation of learning model)>
FIG. 9 is a flowchart showing the processing executed by the information processing device 1. The details of the processing of the information processing device 1 will be described below with reference to FIG. The process shown in the flowchart of FIG. 9 starts when the user inputs an instruction via the input device 110 and the CPU 101 receives the input instruction. Hereinafter, each step (process) is represented by adding S in front of the code.

Ｓ３０１において、学習画像取得部２０１は、生徒データと教師データとの複数のセットを取得する。Ｓ３０２において、学習モデル生成部２０２は、生徒データと教師データとの複数のセットに基づいて、光源の方向を推定するために用いられる学習モデルを生成する。Ｓ３０３において、学習モデル生成部２０２は、生成した学習モデルを情報処理装置２に出力する。 In S301, the learning image acquisition unit 201 acquires multiple sets of student data and teacher data. In S302, the learning model generation unit 202 generates a learning model used for estimating the direction of the light source based on a plurality of sets of student data and teacher data. In S303, the learning model generation unit 202 outputs the generated learning model to the information processing device 2.

＜情報処理装置２が実行する処理（光源情報の推定及び色の評価＞
Ｓ３１１において、入力画像取得部２１１は、入力画像データを取得する。Ｓ３１２において、球画像生成部２１２は、入力画像データと学習モデルとに基づいて、鏡面球画像データを生成する。Ｓ３１３において、推定部２１３は、鏡面球画像データに基づいて、物体に対する光源の方向を推定する。以下に光源の方向を推定する方法の詳細を説明する。 <Processing executed by the information processing device 2 (estimating light source information and evaluating color)
In S311, the input image acquisition unit 211 acquires input image data. In S312, the sphere image generation unit 212 generates specular sphere image data based on the input image data and the learning model. In S313, the estimation unit 213 estimates the direction of the light source with respect to the object based on the specular sphere image data. The details of the method for estimating the direction of the light source will be explained below.

鏡面球画像データが表す画像内の鏡面球には、図４のように光源が写り込んでいる。図１０は、光源４から評価対象の物体へ照射する光の方向を表す光源ベクトルを導出する処理を説明するための図である。円１００１は、鏡面球画像における鏡面球６であり、評価対象の物体の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円１００２は、評価対象の物体の表面に対して仰角方向のどの角度に光源が存在するかを示している。Ｓ３１３において、推定部２１３は、まず、鏡面球画像における鏡面球６に対応する領域の中心の画素位置を導出する。具体的には、鏡面球画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の鏡面球画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から円又は楕円の輪郭を選択する。円又は楕円の輪郭が１つである場合は、その１つを鏡面球６に対応する領域とし、エッジ位置上において所定の距離以上離れた３点の重心を、鏡面球６に対応する領域の中心の画素位置とする。尚、重心の導出の方法は、エッジ位置上の少なくとも３点を用いればよく、より多くの点を用いることによって、より高精度に鏡面球６に対応する領域の中心の画素位置を導出できる。円又は楕円の輪郭が複数ある場合は、輪郭内の平均輝度が最も高い輪郭を、鏡面球６に対応する領域とする。次に、鏡面球６に映り込んだ光源４の中心の画素位置を導出する。ここでは、鏡面球画像における鏡面球６に対応する領域の中で、輝度が最も大きい画素を光源４の中心の画素位置とする。 A light source is reflected in the mirror sphere in the image represented by the mirror sphere image data, as shown in FIG. FIG. 10 is a diagram for explaining the process of deriving a light source vector representing the direction of light irradiated from the light source 4 to the object to be evaluated. A circle 1001 is the mirror sphere 6 in the mirror sphere image, and indicates at which angle in the azimuth direction the light source is present with respect to the surface of the object to be evaluated. A semicircle 1002 indicates at which angle in the elevation direction the light source exists with respect to the surface of the object to be evaluated. In S313, the estimation unit 213 first derives the pixel position of the center of the area corresponding to the mirror sphere 6 in the mirror sphere image. Specifically, the pixel values of the specular sphere image are binarized. This binarization process is a binarization process in which pixels having a pixel value equal to or greater than a predetermined threshold value are treated as white, and pixels having a pixel value less than a predetermined threshold value are treated as black. Edge positions are extracted using the well-known Canny method in the specular sphere image after binarization processing, and contour extraction is performed in which pixels having edge positions in eight neighboring pixels are regarded as the same contour and grouped. A circular or elliptical contour is selected from among the plurality of extracted contour groups. If the outline of a circle or ellipse is one, one of the outlines is set as the area corresponding to the mirrored sphere 6, and the centroids of three points on the edge position that are separated by a predetermined distance or more are set as the area corresponding to the mirrored sphere 6. Set to the center pixel position. Note that the method for deriving the center of gravity is to use at least three points on the edge position, and by using more points, the pixel position at the center of the area corresponding to the mirror sphere 6 can be derived with higher accuracy. If there are multiple circular or elliptical contours, the contour with the highest average brightness among the contours is determined as the region corresponding to the mirror sphere 6. Next, the pixel position of the center of the light source 4 reflected on the mirror sphere 6 is derived. Here, the pixel with the highest luminance in the area corresponding to the mirror sphere 6 in the mirror sphere image is set as the pixel position at the center of the light source 4.

次に、推定部２１３は、図１０に示すｘｌ、ｙｌを算出する。ｘｌ、ｙｌはそれぞれ、鏡面球６に対応する領域の中心の画素位置から、光源４の中心の画素位置までのｘ方向、ｙ方向の画素数である。次に、式（１）を用いて、ｚｌを導出する。 Next, the estimation unit 213 calculates xl and yl shown in FIG. xl and yl are the numbers of pixels in the x and y directions from the pixel position at the center of the area corresponding to the mirror sphere 6 to the pixel position at the center of the light source 4, respectively. Next, zl is derived using equation (1).

ここで、ｒは鏡面球画像における鏡面球６の半径である。半径ｒは、鏡面球６に対応する領域の中心の画素位置から、鏡面球６に対応する領域のエッジ位置までの画素数とする。ｘｌ、ｙｌ、ｚｌを導出した後に、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）を各画素に記録した光源データを生成する。 Here, r is the radius of the mirror sphere 6 in the mirror sphere image. The radius r is the number of pixels from the center pixel position of the area corresponding to the mirror sphere 6 to the edge position of the area corresponding to the mirror sphere 6. After deriving xl, yl, and zl, light source data is generated in which the light source vector (xl, yl, zl) is recorded in each pixel.

Ｓ３１４において、データ取得部２１４１は、評価用のデータを取得する。ここで、評価用のデータは、入力画像データと、光源データと、撮像方向データと、形状データである。光源データは、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）が各画素に記録されたデータであり、撮像方向データは、撮像装置から評価対象の物体への方向を表す撮像方向ベクトル（ｘｃ，ｙｃ，ｚｃ）が各画素に記録されたデータである。また、形状データは、評価対象の物体の表面における法線方向を表す法線ベクトル（ｘｎ，ｙｎ，ｚｎ）が各画素に記録されたデータである。 In S314, the data acquisition unit 2141 acquires evaluation data. Here, the evaluation data is input image data, light source data, imaging direction data, and shape data. The light source data is data in which a light source vector (xl, yl, zl) is recorded in each pixel, and the imaging direction data is data in which the imaging direction vector (xc, yc, zc) represents the direction from the imaging device to the object to be evaluated. ) is the data recorded in each pixel. Further, the shape data is data in which a normal vector (xn, yn, zn) representing the normal direction on the surface of the object to be evaluated is recorded in each pixel.

Ｓ３１５において、評価値導出部２１４２は、色の評価値を導出する。図１１は、Ｓ３１５における処理を示すフローチャートである。以下において、Ｓ３１５における処理の流れを図１１を用いて説明する。 In S315, the evaluation value deriving unit 2142 derives the color evaluation value. FIG. 11 is a flowchart showing the processing in S315. The flow of processing in S315 will be explained below using FIG. 11.

Ｓ３１５１において、評価値導出部２１４２は、入力画像の各画素に記録された色情報（ＲＧＢ値）をＸＹＺ値に変換する。ＲＧＢ値からＸＹＺ値への変換は、公知の方法を用いて行う。Ｓ３１５２において、評価値導出部２１４２は、入力画像をディスプレイ１１５に表示し、入力画像における、ユーザにより指定された色の評価領域を表す情報を受け付ける。Ｓ３１５３において、評価値導出部２１４２は、入力画像における評価領域の色情報と比較するための、参照物体の色情報を参照色テーブルから取得する。以下に参照物体の色情報を取得する方法の詳細を説明する。まず、図１２（ａ）に示すように、入力画像における評価領域内の各画素に対応する法線ベクトル（ｘｎ，ｙｎ，ｚｎ）、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）、撮像方向ベクトル（ｘｃ，ｙｃ，ｚｃ）を取得する。 In S3151, the evaluation value deriving unit 2142 converts the color information (RGB values) recorded in each pixel of the input image into XYZ values. Conversion from RGB values to XYZ values is performed using a known method. In S3152, the evaluation value deriving unit 2142 displays the input image on the display 115 and receives information representing the evaluation area of the color specified by the user in the input image. In S3153, the evaluation value deriving unit 2142 obtains color information of the reference object from the reference color table for comparison with color information of the evaluation area in the input image. Details of the method for acquiring color information of a reference object will be described below. First, as shown in FIG. 12(a), normal vectors (xn, yn, zn), light source vectors (xl, yl, zl), and imaging direction vectors (xc , yc, zc).

法線ベクトル（ｘｎ，ｙｎ，ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置５が撮像する面に対して正対しているため、（０，０，－１）となる。次に、図１２（ｂ）に示すように、法線ベクトルが真上を向く状態に回転させる回転行列を導出し、光源ベクトル、撮像方向ベクトルを導出した回転行列で回転させる。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、参照色テーブルを生成する際に、参照物体の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ，ｙｎ，ｚｎ）が（０，０，√（ｘｎ^２＋ｙｎ^２＋ｚｎ^２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた参照物体の色情報を、参照色テーブルから取得する。尚、参照物体の色情報は、近い撮像条件の色情報を参照色テーブルから４つ抽出して補間処理によって導出してもよい。さらに、参照物体の色情報（ＲＧＢ値）を、Ｓ３１５１における方法と同じ方法によって、ＸＹＺ値に変換する。 The normal vector (xn, yn, zn) is obtained from the shape data, and the light source vector (xl, yl, zl) is obtained from the light source data. The imaging direction vector is (0, 0, -1) because the imaging device 5 is directly facing the surface to be imaged. Next, as shown in FIG. 12(b), a rotation matrix is derived to rotate the normal vector so that it points directly upward, and the light source vector and imaging direction vector are rotated using the derived rotation matrix. Let the light source vector after rotation be (xl', yl', zl'), and the imaging direction vector after rotation be (xc', yc', zc'). The reason why the normal vector is rotated so that it points directly upward is because when generating the reference color table, the image is captured with the normal to the surface of the reference object pointing directly upward. Note that the state in which the normal vector points directly upward is a state in which the normal vector (xn, yn, zn) is (0, 0, √(xn ² +yn ² +zn ² )). A reference object obtained by imaging under imaging conditions closest to the direction of the light source and the direction of imaging, which are represented by (xl', yl', zl') and (xc', yc', zc'), respectively. Get the color information from the reference color table. Note that the color information of the reference object may be derived by extracting four pieces of color information under similar imaging conditions from the reference color table and performing interpolation processing. Furthermore, the color information (RGB values) of the reference object is converted into XYZ values using the same method as in S3151.

Ｓ３１５４において、評価値導出部２１４２は、入力画像における評価領域の各画素の色情報と、その色情報に対応する参照物体の色情報と、に基づいて、色の評価値を算出する。具体的には、まず、式（２）、（３）、（４）、（５）、（６）を用いて、ＸＹＺ値をＬ^＊ａ^＊ｂ^＊値を変換する。入力画像の色情報を（Ｘｃ，Ｙｃ，Ｚｃ）とし、参照物体の色情報を（Ｘｂ，Ｙｂ，Ｚｂ）とし、基準白色のＸＹＺ値を（Ｘｗ，Ｙｗ，Ｚｗ）とする。基準白色のＸＹＺ値には、予め設定されている値を用いる。式（２）～式（６）を用いて、（Ｘｃ，Ｙｃ，Ｚｃ）、（Ｘｂ，Ｙｂ，Ｚｂ）をそれぞれ（Ｘ，Ｙ，Ｚ）に代入した場合の、（Ｌ^＊ｃ，ａ^＊ｃ，ｂ^＊ｃ）、（Ｌ^＊ｂ，ａ^＊ｂ，ｂ^＊ｂ）をそれぞれ求める。 In S3154, the evaluation value deriving unit 2142 calculates a color evaluation value based on the color information of each pixel in the evaluation area in the input image and the color information of the reference object corresponding to the color information. Specifically, first, the XYZ values are converted into L ^* a ^* b ^* values using equations (2), (3), (4), (5), and (6). Let the color information of the input image be (Xc, Yc, Zc), the color information of the reference object be (Xb, Yb, Zb), and the XYZ values of the reference white color be (Xw, Yw, Zw). Preset values are used as the XYZ values of the reference white color. When (Xc, Yc, Zc) and (Xb, Yb, Zb) are respectively substituted into (X, Y, Z) using equations (2) to (6), (L ^* c, a ^* c, b ^* c) and (L ^* b, a ^* b, b ^* b), respectively.

導出した（Ｌ^＊ｃ，ａ^＊ｃ，ｂ^＊ｃ）、（Ｌ^＊ｂ，ａ^＊ｂ，ｂ^＊ｂ）を用いて、色差ΔＥ、明度差ΔＬ^＊、Δａ^＊、Δｂ^＊、彩度差ΔＣのいずれかを評価値として導出する。評価値の導出は、以下の式（７）を用いる。本実施形態においては、色差ΔＥを評価値とするように予め設定されているものとする。 Using the derived (L ^* c, a ^* c, b ^* c) and (L ^* b, a ^* b, b ^* b), the color difference ΔE, lightness difference ΔL ^* , Δa ^* , Δb ^* , and saturation difference are calculated. One of ΔC is derived as an evaluation value. The following equation (7) is used to derive the evaluation value. In this embodiment, it is assumed that the color difference ΔE is set in advance as the evaluation value.

尚、上述した色差ΔＥ、明度差ΔＬ^＊、Δａ^＊、Δｂ^＊、彩度差ΔＣを複数組み合わせた値を評価値としてもよい。また、ディスプレイ１１５に評価値の候補を表示させて、評価値をユーザに選択させてもよい。 Note that the evaluation value may be a combination of a plurality of the color differences ΔE, brightness differences ΔL ^* , Δa ^* , Δb ^* , and saturation differences ΔC described above. Alternatively, evaluation value candidates may be displayed on the display 115 to allow the user to select an evaluation value.

Ｓ３１６において、表示制御部２１４４は、評価値導出部２１４２による色の評価結果をディスプレイ１１５に表示させる。図１３に、評価結果の表示例を示す。領域１３００は、ユーザにより指定された評価領域である。画面１３０１は評価領域１３００に対する評価結果を表示する画面であり、スケール１３０２は評価値のスケールを表す。値１３０３は評価値スケールの最大値である。表示１３０４は、評価値が所定の閾値以下であり、検査が合格（ＯＫ）である場合の表示である。評価値が所定の閾値より大きく検査が不合格である場合はＮＧが表示される。尚、画面１３０１における表示の際、評価値が０の場合に評価値スケール１３０２の１番下の色、評価値が評価値スケールの最大値１３０３以上の場合に評価値スケール１３０２の１番上の色になるように表示する。０以上、かつ、評価値スケール１３０２の最大値以下の場合には線形補間で導出された中間の色を表示する。 In S316, the display control unit 2144 causes the display 115 to display the color evaluation result by the evaluation value derivation unit 2142. FIG. 13 shows a display example of the evaluation results. Area 1300 is an evaluation area designated by the user. A screen 1301 is a screen that displays evaluation results for the evaluation area 1300, and a scale 1302 represents the scale of the evaluation value. Value 1303 is the maximum value of the evaluation value scale. Display 1304 is a display when the evaluation value is less than or equal to a predetermined threshold and the test is passed (OK). If the evaluation value is greater than a predetermined threshold and the test fails, NG is displayed. In addition, when displaying on the screen 1301, when the evaluation value is 0, the color at the bottom of the evaluation value scale 1302 is displayed, and when the evaluation value is the maximum value 1303 or more of the evaluation value scale, the color at the top of the evaluation value scale 1302 is displayed. Display in color. If the value is greater than or equal to 0 and less than or equal to the maximum value of the evaluation value scale 1302, an intermediate color derived by linear interpolation is displayed.

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する。該物体を撮像した環境に配置された、表面が鏡面である球を、光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する。第１画像データ群と第２画像データ群とを用いた機械学習によって、学習モデルを生成する。学習モデルは、撮像画像を基に、撮像画像を得るための撮像の際の環境における、物体から光源への方向を推定するために用いられる。これにより、鏡面球を撮像せずに、物体に対して光源を照射する光源に関する情報を推定することができる。 <Effects of the first embodiment>
As described above, the information processing apparatus in this embodiment acquires the first image data group obtained by imaging the object multiple times while changing the position of the light source. A second image data group is obtained by imaging a sphere with a mirror surface placed in the environment in which the object was imaged a plurality of times while changing the position of the light source. A learning model is generated by machine learning using the first image data group and the second image data group. The learning model is used to estimate the direction from the object to the light source in the environment during imaging to obtain the captured image, based on the captured image. This makes it possible to estimate information regarding the light source that irradiates the object without imaging the specular sphere.

［変形例］
上述した実施形態においては、情報処理装置１と情報処理装置２とが別々の装置であったが、１つの情報処理装置が、学習モデルの生成、光源情報の推定、色の評価を行っても良い。 [Modified example]
In the embodiment described above, the information processing device 1 and the information processing device 2 are separate devices, but even if one information processing device generates a learning model, estimates light source information, and evaluates color. good.

上述した実施形態においては、生成した学習モデルから出力された鏡面球画像を基に光源の方向を推定したが、光源の位置や、物体の周囲にある光源の数、光源の色温度を推定しても良い。 In the embodiment described above, the direction of the light source was estimated based on the specular sphere image output from the generated learning model, but it is also possible to estimate the position of the light source, the number of light sources around the object, and the color temperature of the light source. It's okay.

上述した実施形態においては、評価対象の物体を車としたが、光の当たり方に応じて色の見え方が異なる物体であれば、車以外の物体であってもよい。例えば、人を評価対象としても良い。図１４のような人の髪や肌、衣服の色味の変化と鏡面球に対する光の当たり方との相関関係を学習モデルに学習させることにより、光源の方向を推定できる。 In the embodiment described above, the object to be evaluated is a car, but any object other than a car may be used as long as the object has a different appearance of color depending on how the light hits it. For example, a person may be the subject of evaluation. The direction of the light source can be estimated by having a learning model learn the correlation between changes in the color of a person's hair, skin, and clothes and the way light hits the specular sphere, as shown in FIG.

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other embodiments]
The present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１情報処理装置
２０１学習画像取得部
２０２学習モデル生成部 1 Information processing device 201 Learning image acquisition unit 202 Learning model generation unit

Claims

光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、
前記物体を撮像する環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得手段と、
前記第１画像データ群と第２画像データ群とを用いた機械学習によって、撮像環境における光源の方向を得るための学習モデルを生成する生成手段と、
を有することを特徴とする情報処理装置。 a first acquisition means for acquiring a first image data group obtained by imaging the object multiple times while changing the position of the light source;
a second acquisition unit that acquires a second image data group obtained by imaging a sphere with a mirror surface placed in an environment where the object is imaged a plurality of times while changing the position of the light source;
generating means for generating a learning model for obtaining the direction of the light source in the imaging environment by machine learning using the first image data group and the second image data group;
An information processing device comprising:

前記学習モデルから出力された画像に基づいて、前記撮像環境における光源の方向を推定する第１推定手段をさらに有することを特徴とする請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a first estimation unit that estimates a direction of a light source in the imaging environment based on the image output from the learning model.

前記生成手段は、前記第１画像データ群と前記第２画像データ群とのうち、撮像の条件が同じ画像データをセットにして、前記機械学習に用いることを特徴とする請求項１又は請求項２に記載の情報処理装置。 1 or 2 , wherein the generating means sets a set of image data having the same imaging conditions from the first image data group and the second image data group, and uses the set for the machine learning. 2. The information processing device according to 2.

前記学習モデルは、前記撮像環境における光源の位置を推定するために用いられることを特徴とする請求項１乃至請求項３のいずれか一項に記載の情報処理装置。 4. The information processing apparatus according to claim 1, wherein the learning model is used to estimate the position of a light source in the imaging environment.

複数の光源を映り込ませた鏡面球を撮像して得られる画像データを基にした前記学習モデルに基づいて、前記撮像環境における光源の数を推定する第２推定手段をさらに有することを特徴とする請求項１乃至請求項４のいずれか一項に記載の情報処理装置。 The method further comprises a second estimating means for estimating the number of light sources in the imaging environment based on the learning model based on image data obtained by imaging a specular sphere in which a plurality of light sources are reflected. The information processing device according to any one of claims 1 to 4.

前記学習モデルに基づいて、前記撮像環境における光源の色温度を推定する第３推定手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 5, further comprising a third estimation unit that estimates a color temperature of a light source in the imaging environment based on the learning model.

前記学習モデルを基に推定された光源の方向に基づいて、物体の色を評価する評価手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか一項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 6, further comprising evaluation means for evaluating the color of the object based on the direction of the light source estimated based on the learning model. .

コンピュータを請求項１乃至請求項７のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the information processing apparatus according to any one of claims 1 to 7.

光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得ステップと、
前記物体を撮像する環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得ステップと、
前記第１画像データ群と第２画像データ群とを用いた機械学習によって、撮像環境における光源の方向を得るための学習モデルを生成する生成ステップと、
を有することを特徴とする情報処理方法。 a first acquisition step of acquiring a first image data group obtained by imaging the object multiple times while changing the position of the light source;
a second acquisition step of acquiring a second image data group obtained by imaging a sphere with a mirror surface placed in an environment where the object is imaged a plurality of times while changing the position of the light source;
a generation step of generating a learning model for obtaining the direction of the light source in the imaging environment by machine learning using the first image data group and the second image data group;
An information processing method characterized by having the following.