WO2021240589A1 - 学習装置、推論装置、プログラム、学習方法及び推論方法 - Google Patents

学習装置、推論装置、プログラム、学習方法及び推論方法 Download PDF

Info

Publication number
WO2021240589A1
WO2021240589A1 PCT/JP2020/020503 JP2020020503W WO2021240589A1 WO 2021240589 A1 WO2021240589 A1 WO 2021240589A1 JP 2020020503 W JP2020020503 W JP 2020020503W WO 2021240589 A1 WO2021240589 A1 WO 2021240589A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
unit
target
sample image
Prior art date
Application number
PCT/JP2020/020503
Other languages
English (en)
French (fr)
Inventor
偉雄 藤田
大祐 鈴木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/020503 priority Critical patent/WO2021240589A1/ja
Priority to JP2022527271A priority patent/JPWO2021240589A5/ja
Publication of WO2021240589A1 publication Critical patent/WO2021240589A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • image processing algorithms By applying image processing to the input image, for example, there are cases where the recognition rate on the image is improved.
  • image processing algorithms often have parameters for adjusting the intensity or characteristics of the processing, and the desired image processing effect can be obtained if the parameters are not properly adjusted according to the characteristics of the input image. Can't.
  • Patent Document 1 describes a technique in which an image pickup unit captures an object, detects the object based on the captured image, and controls the robot based on the detection result.
  • machine learning is used to calculate image processing parameters related to image processing for an image of an object captured by an imaging unit.
  • the image processing parameter calculation unit performs machine learning based on the quality of the detection result of the object in the captured image or based on the quality of the work performed by the robot based on the detection result of the object.
  • the captured image is processed by the image processing parameter so that the robot performs a more desirable work by machine learning.
  • the robot is operated in order to train the image processing parameter calculation unit, and then the detection result of the object or the evaluation result regarding the work of the robot is obtained, and the result is used as feedback. It is necessary to input to the learning device, and it is difficult to apply it to general image processing.
  • the intermediate layer of general learned subject detection processing abstract features for detecting an object are extracted, and the features corresponding to the final subject are obtained from such image processing parameters. Desired. Then, the most probable image processing parameter is output as the final result of the detection process. Therefore, in the method that uses the final detection result or the work evaluation of the robot for feedback, the features corresponding to the second and subsequent detection candidates are truncated, and it is difficult to capture in detail the effect of changes in processing parameters on the image. Therefore, learning may not progress sufficiently. As described above, in the conventional technique, it is necessary to operate another system or perform another process in order to acquire the necessary learning data.
  • one or more aspects of the present disclosure are intended to ensure that the required learning effect can be obtained without operating another system or performing another process.
  • the inference device is predetermined by using processing parameters for the deteriorated sample image generated by performing the first image processing for simulating the deterioration of the image on the sample image.
  • the inference unit that infers the target processing parameter, which is a processing parameter suitable for the target image, from the target image, and the target image, the first, using the target processing parameter. It is characterized in that it includes an image processing unit that generates a target image after processing by performing the image processing of 2.
  • the deterioration processing unit that generates a deteriorated sample image by performing the first image processing that simulates the deterioration of the image on the sample image by the computer, the deteriorated sample image.
  • the image processing unit that generates the processed image, and the sample image and the processed image are used for learning. It is characterized in that it functions as a model generation unit that generates a trained model for inferring suitable processing parameters in the second image processing.
  • the program according to one aspect of the present disclosure predetermines the deteriorated sample image generated by performing the first image processing for simulating the deterioration of the image on the sample image by using the processing parameters.
  • a post-processing image is generated, and by performing learning using the sample image and the post-processing image, suitable processing parameters in the second image processing are inferred.
  • the second image processing it is characterized in that it functions as an image processing unit that generates a target image after processing.
  • a deteriorated sample image is generated by performing a first image processing for simulating the deterioration of the image on the sample image, and the processing parameter is applied to the deteriorated sample image.
  • a suitable process in the second image processing is performed by performing a second image process predetermined by using the image to generate a post-process image, and performing learning using the sample image and the post-process image. It is characterized by generating a trained model for inferring parameters.
  • the inference method is predetermined by using processing parameters for the deteriorated sample image generated by performing the first image processing for simulating the deterioration of the image on the sample image.
  • processing parameters for the deteriorated sample image generated by performing the first image processing for simulating the deterioration of the image on the sample image.
  • the target processing parameter which is a processing parameter suitable for the target image, is inferred from the target image, and the target image is subjected to the second image using the target processing parameter. It is characterized in that a target image is generated after processing by performing processing.
  • the required learning effect can be obtained without operating another system or performing another process.
  • the deterioration processing unit 101 generates a deteriorated sample image DI by performing image processing for simulating the deterioration of the image with respect to the sample image SI.
  • the image processing here is also referred to as a first image processing.
  • the deterioration processing unit 101 performs a process of simulating image quality deterioration due to a decrease in illuminance due to weather or nighttime on the sample image SI input to the learning device 100, and generates a deteriorated sample image DI.
  • the deteriorated sample image DI is given to the image processing unit 102 and the model generation unit 104.
  • the sample image SI is also given to the data acquisition unit 103.
  • the image quality deterioration here means that, for example, when the sample image SI is an image taken by a camera, the resolution of the photographed image is lowered or noise is increased due to the weather or the decrease in illuminance at night.
  • the sample image SI input to the learning device 100 is not limited to the image taken by the camera.
  • the deteriorated sample image DI may be a post-transmission image that has been deteriorated by the compression process at the time of transmission.
  • the sample image SI is an image captured by the scanner
  • the deteriorated sample image DI may be an image read by the scanner that has deteriorated when the document is read.
  • the data acquisition unit 103 generates learning data from the sample image SI and the processed image PI.
  • the training data is given to the model generation unit 104.
  • the model generation unit 104 generates a trained model for inferring suitable processing parameters in the image processing performed by the image processing unit 102 by performing learning using the sample image SI and the processed image PI.
  • the model generation unit 104 outputs the processing parameter PP of the image processing unit 102 by inputting the deteriorated sample image DI by using the learning data including the sample image SI and the processed image PI.
  • the model generation unit 104 refers to the deteriorated sample image DI and generates a learning model that infers the processing parameter PP of the image processing unit 102 so that the processed image PI approaches the input sample image SI.
  • the learning device 100 is used to learn the processing parameters of the image processing unit 102.
  • the learning device 100 may be connected to an input unit that receives an image input via a network (not shown), and may be a separate device or the same device from the device provided with the input unit. Further, the learning device 100 may include such an image input unit. Further, the learning device 100 may exist on the cloud server.
  • the model generation unit 104 includes an inference unit 105 and an evaluation value calculation unit 106.
  • the reasoning unit 105 infers the processing parameter PP of the image processing unit 102 by using a known learning algorithm such as supervised learning, unsupervised learning, or reinforcement learning.
  • a known learning algorithm such as supervised learning, unsupervised learning, or reinforcement learning.
  • the reasoning unit 105 learns the processing parameter PP of the image processing unit 102 by so-called supervised learning according to, for example, a neural network model which is a learning model.
  • supervised learning is a method of learning features in the learning data by giving a set of input and result (label) data, and inferring the result from the input.
  • a neural network is composed of an input layer consisting of a plurality of neurons, an intermediate layer (hidden layer) consisting of a plurality of neurons, and an output layer consisting of a plurality of neurons.
  • the intermediate layer may be one layer or two or more layers.
  • the inference unit 105 inputs the deteriorated sample image DI to the input layer, and the weight W1 so that the processed image PI by the processing parameter PP of the image processing unit 102 output from the output layer approaches the original sample image SI. And the weight W2 are adjusted for learning.
  • the evaluation value calculation unit 106 which will be described later, refers to the evaluation value indicating the similarity between the two images calculated by inputting the sample image SI and the processed image PI, and the similarity becomes higher. Perform learning as such.
  • the evaluation value calculation unit 106 calculates an evaluation value indicating the degree of similarity between the sample image SI and the processed image PI, and the inference unit 105 refers to the evaluation value and processes the sample image SI.
  • a trained model is generated by updating the training model so that the similarity with the rear image PI becomes high.
  • the evaluation value calculation unit 106 when the evaluation value calculation unit 106 further performs the subject detection process for detecting a specific subject from the image, the evaluation value calculation unit 106 is in the middle of executing the subject detection process on the sample image.
  • the evaluation value may be calculated from the value obtained by integrating the difference between the layer output and the intermediate layer output when the subject detection process is executed on the processed image PI.
  • the intermediate layer output MSE of the learned subject detection process may be used.
  • abstract features for detecting the object are extracted, and the features corresponding to the final subject are obtained from this, which is the most probable target.
  • the object is output as the final result of the detection process. Therefore, by comparing the intermediate layer output instead of the final detection result of the subject detection process, an evaluation value of similarity that reflects the abstracted features before the detection result that is unlikely to be truncated can be obtained. Can be done.
  • the sample image SI and the processed image PI are each composed of a neural network prepared in advance according to the application of the device on which the learning device 100 is mounted. Input to the learned subject detection process.
  • the evaluation value calculation unit 106 extracts the intermediate layer data of the subject detection process when each image is input, squares the difference for each data, and obtains the average value.
  • the evaluation value calculation unit 106 selects the intermediate layer in the subsequent stage as a comparison target.
  • the evaluation value calculation unit 106 selects the intermediate layer in the previous stage as a comparison target in order to enhance the similarity as an image.
  • the evaluation value calculation unit 106 refers to the plurality of intermediate layer outputs and uses the weighted average of the values calculated by comparing the outputs of the respective intermediate layers as the evaluation value. May be good.
  • the evaluation value calculation unit 106 is the difference between the intermediate layer output when the subject detection process is executed on the sample image SI and the intermediate layer output when the subject detection process is executed on the processed image PI. The first value obtained by integrating the above is calculated. Further, the evaluation value calculation unit 106 calculates a second value obtained by integrating the difference between the pixel value of the sample image SI and the pixel value of the processed image PI. Then, the evaluation value calculation unit 106 may calculate the evaluation value by the weighted average of the first value and the second value.
  • the evaluation value calculation unit 106 does not use the MSE of the pixel value of the image or the intermediate layer output MSE of the learned subject detection processing independently as the evaluation value, but uses the two values as the weighted average as the evaluation value. You may.
  • the inference unit 105 generates a trained model by executing the above learning.
  • the trained model storage unit 107 stores the generated trained model.
  • the learning device 100 described above can be realized by a computer 110 as shown in FIG.
  • the computer 110 includes an auxiliary storage device 111, a communication device 112, a memory 113, and a processor 114 such as a CPU (Central Processing Unit).
  • a CPU Central Processing Unit
  • the auxiliary storage device 111 stores programs and data necessary for processing by the computer 110.
  • the communication device 112 communicates with another device.
  • the memory 113 provides a working area for the processor 114.
  • the processor 114 performs processing by reading the program stored in the auxiliary storage device 111 into the memory 113 and executing the program.
  • the deterioration processing unit 101, the image processing unit 102, the data acquisition unit 103, and the model generation unit 104 read the program stored in the auxiliary storage device 111 into the memory 113 and execute the program. It can be realized.
  • a program may be provided through a network, or may be recorded and provided on a recording medium. That is, such a program may be provided, for example, as a program product.
  • the trained model storage unit 107 can be realized by the processor 114 using the auxiliary storage device 111.
  • the learning device 100 includes the trained model storage unit 107, but the present embodiment is not limited to the above examples.
  • the trained model storage unit 107 may be provided in a device other than the learning device 100. In such a case, the trained model generated by the model generation unit 104 is sent to another device via the communication device 112.
  • FIG. 4 is a flowchart showing the learning process of the learning device 100.
  • the deterioration processing unit 101 acquires a sample image SI prepared in advance, performs a process of simulating image quality deterioration, and generates a deteriorated sample image DI (S10).
  • a sample image SI used as an input here, it is assumed that an image assumed as an image generally acquired under the environment in which the learning device 100 is used is prepared in advance.
  • the types of image quality deterioration processing and the processing parameter DP used in the image quality deterioration processing are predetermined to have a plurality of types corresponding to the image quality deterioration factors assumed in the environment in which the learning device 100 is used. It shall be. Then, the deterioration processing unit 101 randomly switches the processing parameter DP for each input sample image SI in order to simulate that the environment changes arbitrarily under the actual usage conditions, and executes the processing.
  • the inference unit 105 of the model generation unit 104 receives the deterioration sample image DI from the deterioration processing unit 101, and gives the processing parameter PP to the image processing unit 102 as the output (S11).
  • the inference unit 105 calculates the processing parameter PP from the deteriorated sample image DI by using the neural network.
  • the image processing unit 102 applies image processing to the deteriorated sample image DI given by the deterioration processing unit 101 using the processing parameter PP given by the model generation unit 104, and generates a processed image PI. (S12).
  • the data acquisition unit 103 acquires the sample image SI and the processed image PI (S13).
  • the data acquisition unit 103 acquires the sample image SI and the processed image PI at the same time, but the embodiment is not limited to such an example. If the sample image SI and the corresponding post-processing image PI can be associated with each other, the data acquisition unit 103 may acquire the sample image SI and the corresponding post-processing image PI at different timings.
  • the evaluation value calculation unit 106 of the model generation unit 104 compares the sample image SI acquired by the data acquisition unit 103 with the processed image PI, and calculates their similarity as an evaluation value (S14). ).
  • the inference unit 105 of the model generation unit 104 calculates the processing parameter PP so that the similarity between the sample image SI and the processed image PI becomes higher according to the evaluation value calculated by the evaluation value calculation unit 106.
  • the weights of each layer in the neural network are updated so as to be performed (S15).
  • the inference unit 105 of the model generation unit 104 determines whether or not the predetermined end condition of the learning process is satisfied (S16). If the end condition of the learning process is satisfied (Yes in S16), the process proceeds to step S17, and if the end condition of the learning process is not satisfied (No in S16), the process returns to step S11. ..
  • step S17 the inference unit 105 sends the generated trained model to the trained model storage unit 107, and the trained model storage unit 107 stores the trained model. That is, the trained model storage unit 107 stores the weights of each layer in the neural network.
  • FIG. 5 is a block diagram schematically showing the configuration of the inference device 120.
  • the inference device 120 includes an image acquisition unit 121, a learned model storage unit 122, an inference unit 123, and an image processing unit 124.
  • the image acquisition unit 121 acquires a target image TI, which is an image to be image processed, through an image acquisition device such as an image sensor or a camera module (not shown) or an image transmission device.
  • an image acquisition device such as an image sensor or a camera module (not shown) or an image transmission device.
  • the trained model storage unit 122 stores the trained model learned by the learning device 100.
  • the inference device 120 may be realized by the same device as the learning device 100.
  • the trained model storage unit 122 may be the same storage unit as the trained model storage unit 107.
  • the inference device 120 acquires a learned model from the learning device 100 via, for example, a network (not shown), and stores the learned model. It may be stored in the unit 122.
  • the trained model storage unit 122 may be provided on a cloud connected to a network (not shown).
  • the inference unit 123 infers a suitable processing parameter PP used in the image processing unit 124 from the target image TI by using the learned model stored in the trained model storage unit 122. That is, by inputting the target image TI acquired by the image acquisition unit 121 into this trained model, the inference unit 123 sets the processing parameter PP of the image processing unit 124 suitable for the target image TI affected by the image quality deterioration. Can be inferred.
  • the processing parameter PP inferred here is also referred to as a target processing parameter.
  • the inference unit 123 has been described as calculating the processing parameter PP of the image processing unit 124 by using the trained model learned by the model generation unit 104 of the learning device 100.
  • the embodiment is not limited to the above examples.
  • the trained model storage unit 122 stores the trained model acquired from another image processing device, and the inference unit 123 calculates the processing parameter PP of the image processing unit 124 based on the trained model. May be good. However, even in such a case, it is desirable that the trained model is generated by the same processing as that performed by the learning device 100.
  • the image processing unit 124 applies predetermined image processing to the target image TI and generates a target image OI after processing.
  • the image processing applied here is also referred to as a second image processing.
  • the processing parameter PP used in the second image processing is a target processing parameter inferred by the inference unit 123.
  • the inference device 120 described above can also be realized by a computer 110 as shown in FIG.
  • the image acquisition unit 121, the inference unit 123, and the image processing unit 124 can be realized by the processor 114 reading the program stored in the auxiliary storage device 111 into the memory 113 and executing the program.
  • a program may be provided through a network, or may be recorded and provided on a recording medium. That is, such a program may be provided, for example, as a program product.
  • the trained model storage unit 122 can be realized by the processor 114 using the auxiliary storage device 111.
  • FIG. 6 is a flowchart showing the inference process of the inference device 120.
  • the image acquisition unit 121 acquires the target image TI through an image acquisition device such as an image sensor or a camera module or an image transmission device (S20).
  • the inference unit 123 inputs the target image TI into the trained model stored in the trained model storage unit 122, and calculates the processing parameter PP of the image processing unit 124 (S21). Next, the inference unit 123 gives the processing parameter PP to the image processing unit 124 (S22).
  • the image processing unit 124 performs image processing on the target image TI given by the image acquisition unit 121 using the processing parameter PP given by the inference unit 123, and generates a processed target image OI. (S23).
  • necessary learning data is obtained based on an image corresponding to the deterioration that actually occurs without operating another system or performing another process. Since it can be acquired, the processing parameter PP corresponding to the deterioration that actually occurs can be acquired.
  • Deep learning for learning the extraction of the feature amount itself can also be used, and other known methods such as neural networks, genetic programming, and functions can be used.
  • Machine learning may be performed according to logical programming or support vector machines and the like.
  • the learning device 100 and the inference device 120 may be connected to an image input unit via a network (not shown) and may be a separate device from the input unit. Further, the learning device 100 and the inference device 120 may be built in one device (for example, an image processing device) (not shown) together with the image input unit. Further, the learning device 100 and the inference device 120 may exist on a cloud server (not shown).
  • the model generation unit 104 may learn the processing parameter PP of the image processing unit 102 by using an image acquired from a plurality of image input units (not shown) as a sample image SI.
  • the model generation unit 104 applies the trained model in which the processing parameter PP of the image processing unit 102 is learned for a certain image input unit (not shown) to the target image TI input from another image input unit.
  • the processing parameter PP of the image processing unit 102 may be relearned and updated with respect to the other image input unit.
  • 100 learning device 101 deterioration processing unit, 102 image processing unit, 103 data acquisition unit, 104 model generation unit, 105 inference unit, 106 evaluation value calculation unit, 107 learned model storage unit, 120 inference device, 121 image acquisition unit, 122 Learned model storage unit, 123 Inference unit, 124 Image processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成する劣化処理部（１０１）と、劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成する画像処理部（１０２）と、サンプル画像及び処理後画像を用いて学習を行うことで、第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成するモデル生成部（１０４）と、を備える。

Description

学習装置、推論装置、プログラム、学習方法及び推論方法
　本開示は、学習装置、推論装置、プログラム、学習方法及び推論方法に関する。
　入力された画像に対して、画像処理を適用することで、例えば、画像上における認識率を向上させるケースがある。そのような画像処理のアルゴリズムは、処理の強度又は特性を調整するためのパラメータを有することが多く、入力される画像の特性に合わせて適切にパラメータ調整を行わなければ、望ましい画像処理効果を得ることができない。
　例えば、特許文献１には、撮像部で対象物を撮影し、その撮影画像に基づいて対象物を検出し、検出結果に基づいてロボットを制御する技術が記載されている。
　特許文献１では、機械学習を用いて、撮像部によって撮像された対象物の画像に対する画像処理に関する画像処理パラメータが算出される。その画像処理パラメータの算出部は、撮影画像における対象物の検出結果の良否に基づいて、又は、対象物の検出結果によりロボットが行った作業の良否に基づいて、機械学習を行う。
　特許文献１では、機械学習によってロボットがより望ましい作業を行うような画像処理パラメータで撮影画像が処理されるようになる。
特開２０１８－１２６７９９号公報（３頁３７行～４頁１８行）
　特許文献１に記載された技術は、画像処理パラメータ算出部を学習させるためにはロボットを動作させたうえで、対象物の検出結果若しくはロボットの作業に関する評価結果を得て、その結果をフィードバックとして学習装置に入力する必要があり、一般的な画像処理に応用することが困難である。
　また、一般的な学習済み被写体検出処理の中間層では対象物を検出するための抽象化された特徴量が抽出されており、そのような画像処理パラメータから最終的な被写体に対応する特徴量が求められる。そして、最も可能性が高い画像処理パラメータが検出処理の最終的な結果として出力されるようになっている。そのため最終的な検出結果又はロボットの作業評価をフィードバックに用いる方式では、二番手以降の検出候補に対応する特徴量が切り捨てられて、処理パラメータの変化が画像に与える影響を詳細に捉えることが困難であり、学習が十分に進まない可能性がある。
　以上のように、従来の技術では、必要な学習用データを取得するために、他のシステムを動作させたり、別の処理を行わせたりする必要がある。
　そこで、本開示の一又は複数の態様は、他のシステムを動作させたり、別の処理を行わせたりせずに、必要な学習効果が得られるようにすることを目的とする。
　本開示の一態様に係る学習装置は、サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成する劣化処理部と、前記劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成する画像処理部と、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成するモデル生成部と、を備えることを特徴とする。
　本開示の一態様に係る推論装置は、サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで生成された劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するために生成された学習済モデルを用いて、対象画像から、前記対象画像に好適な処理パラメータである対象処理パラメータを推論する推論部と、前記対象画像に対して、前記対象処理パラメータを用いて前記第２の画像処理を行うことで、処理後対象画像を生成する画像処理部と、を備えることを特徴とする。
　本開示の一態様に係るプログラムは、コンピュータを、サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成する劣化処理部、前記劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成する画像処理部、及び、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成するモデル生成部、として機能させることを特徴とする。
　本開示の一態様に係るプログラムは、コンピュータを、サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで生成された劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するために生成された学習済モデルを用いて、対象画像から、前記対象画像に好適な処理パラメータである対象処理パラメータを推論する推論部、及び、前記対象画像に対して、前記対象処理パラメータを用いて前記第２の画像処理を行うことで、処理後対象画像を生成する画像処理部、として機能させることを特徴とする。
　本開示の一態様に係る学習方法は、サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成し、前記劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成することを特徴とする。
　本開示の一態様に係る推論方法は、サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで生成された劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するために生成された学習済モデルを用いて、対象画像から、前記対象画像に好適な処理パラメータである対象処理パラメータを推論し、前記対象画像に対して、前記対象処理パラメータを用いて前記第２の画像処理を行うことで、処理後対象画像を生成することを特徴とする。
　本開示の一又は複数の態様によれば、他のシステムを動作させたり、別の処理を行わせたりせずに、必要な学習効果を得ることができる。
学習装置の構成を概略的に示すブロック図である。 ３層のニューラルネットワークを説明するための概略図である。 コンピュータの構成を概略的に示すブロック図である。 学習装置の学習処理を示すフローチャートである。 推論装置の構成を概略的に示すブロック図である。 推論装置の推論処理を示すフローチャートである。
実施の形態．
　図１は、実施の形態に係る学習装置１００の構成を概略的に示すブロック図である。
　学習装置１００は、劣化処理部１０１と、画像処理部１０２と、データ取得部１０３と、モデル生成部１０４と、学習済モデル記憶部１０７とを備える。
　劣化処理部１０１は、サンプル画像ＳＩに対して画像の劣化を模擬する画像処理を行うことで、劣化サンプル画像ＤＩを生成する。ここでの画像処理を第１の画像処理ともいう。
　例えば、劣化処理部１０１は、学習装置１００に入力されるサンプル画像ＳＩに対して、天候又は夜間の照度低下等による画質劣化を模擬する処理を行い、劣化サンプル画像ＤＩを生成する。劣化サンプル画像ＤＩは、画像処理部１０２及びモデル生成部１０４に与えられる。なお、サンプル画像ＳＩは、データ取得部１０３にも与えられる。
　ここでの画質劣化は、例えば、サンプル画像ＳＩがカメラの撮影画像である場合、天候又は夜間の照度低下により撮影画像に解像度の低下が生じたり、ノイズが増加したりすることを指す。
　なお、学習装置１００に入力されるサンプル画像ＳＩは、カメラの撮影画像に限定されるものではない。例えば、サンプル画像ＳＩが伝送される画像である場合には、劣化サンプル画像ＤＩは、伝送時の圧縮処理によって劣化を生じた伝送後画像であってもよい。また、サンプル画像ＳＩがスキャナにより取り込まれる画像である場合には、劣化サンプル画像ＤＩは、原稿読み取り時に劣化を生じたスキャナによる読み取り画像であってもよい。
　画像処理部１０２は、劣化サンプル画像ＤＩに対して、処理パラメータＰＰを用いて予め定められた画像処理を行うことで、処理後画像ＰＩを生成する。ここでの画像処理は、第２の画像処理ともいう。処理後画像ＰＩは、データ取得部１０３に与えられる。画像処理の際の処理パラメータＰＰは、モデル生成部１０４から与えられる。
　データ取得部１０３は、サンプル画像ＳＩ及び処理後画像ＰＩから学習用データを生成する。学習用データは、モデル生成部１０４に与えられる。
　モデル生成部１０４は、サンプル画像ＳＩ及び処理後画像ＰＩを用いて学習を行うことで、画像処理部１０２が行う画像処理における好適な処理パラメータを推論するための学習済モデルを生成する。
　例えば、モデル生成部１０４は、サンプル画像ＳＩ及び処理後画像ＰＩを含む学習用データを用いて、劣化サンプル画像ＤＩを入力として、画像処理部１０２の処理パラメータＰＰを出力する。言い換えると、モデル生成部１０４は、劣化サンプル画像ＤＩを参照し、処理後画像ＰＩが入力されるサンプル画像ＳＩに近づくような、画像処理部１０２の処理パラメータＰＰを推論する学習モデルを生成する。
　なお、学習装置１００は、画像処理部１０２の処理パラメータを学習するために使用される。学習装置１００は、例えば、図示しないネットワークを介して画像の入力を受ける入力部と接続され、その入力部を備える装置とは、別個の装置であってもよく、同じ装置であってもよい。
　また、学習装置１００は、そのような画像の入力部を備えていてもよい。さらに、学習装置１００は、クラウドサーバ上に存在していてもよい。
　モデル生成部１０４は、推論部１０５と、評価値算出部１０６とを備える。
　推論部１０５は、教師あり学習、教師なし学習又は強化学習等の公知の学習アルゴリズムを用いて、画像処理部１０２の処理パラメータＰＰを推論する。ここでは、一例として、ニューラルネットワークを適用した場合について説明する。
　推論部１０５は、例えば、学習モデルであるニューラルネットワークモデルに従って、いわゆる教師あり学習により、画像処理部１０２の処理パラメータＰＰを学習する。ここで、教師あり学習は、入力及び結果（ラベル）のデータの組を与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法である。
　ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、及び、複数のニューロンからなる出力層で構成される。中間層は、１層又は２層以上でもよい。
　例えば、図２に示されているような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１～Ｘ３）に入力されると、その値に重みＷ１（Ｗ１１～Ｗ１６）が掛けられる。その重みＷ１が掛けられた値が、中間層（Ｙ１～Ｙ２）に入力され、その結果に、さらに重みＷ２（Ｗ２１～Ｗ２６）が掛けられる。そして、重みＷ２が掛けられた値が出力層（Ｚ１～Ｚ３）から出力される。この出力結果は、重みＷ１の値と、重みＷ２の値とによって変わる。
　図１に戻り、推論部１０５は、ニューラルネットワークを用いて、データ取得部１０３によって取得されるサンプル画像ＳＩ及び処理後画像ＰＩの組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、入力される劣化サンプル画像ＤＩに対応する画像処理部１０２の処理パラメータＰＰを学習する。
　すなわち、推論部１０５は、入力層に劣化サンプル画像ＤＩを入力し、出力層から出力された画像処理部１０２の処理パラメータＰＰによる処理後画像ＰＩが、元のサンプル画像ＳＩに近づくように重みＷ１と、重みＷ２とを調整することで学習する。具体的には、後述する評価値算出部１０６にてサンプル画像ＳＩと、処理後画像ＰＩとを入力として算出される二つの画像の類似度を示す評価値を参照し、類似度がより高くなるように学習を実行する。
　言い換えると、評価値算出部１０６は、サンプル画像ＳＩと、処理後画像ＰＩとの類似度を示す評価値を算出し、推論部１０５は、その評価値を参照して、サンプル画像ＳＩと、処理後画像ＰＩとの類似度が高くなるように学習モデルを更新することで、学習済モデルを生成する。
　評価値算出部１０６は、サンプル画像ＳＩと、処理後画像ＰＩとを比較し、それらの類似度を評価値として算出する。
　例えば、評価値算出部１０６は、サンプル画像ＳＩの画素値と、処理後画像ＰＩの画素値との差を積算した値により、評価値を算出することができる。評価値の計算方法としては、二つの画像の各画素の画素値の差分を二乗して平均することで算出される平均二乗誤差（以下、ＭＳＥという）が用いられてもよい。
　また、評価値算出部１０６が画像から特定の被写体を検出する被写体検出処理をさらに行うものである場合には、評価値算出部１０６は、サンプル画像に対して被写体検出処理を実行した際の中間層出力と、処理後画像ＰＩに対して被写体検出処理を実行した際の中間層出力との差を積算した値により、評価値を算出してもよい。
　例えば、画像から認識される被写体の特徴量を指標とするために、学習済み被写体検出処理の中間層出力ＭＳＥが用いられてもよい。学習済み被写体検出処理の中間層では、対象物を検出するための抽象化された特徴量が抽出されており、ここから最終的な被写体に対応する特徴量が求められ、最も可能性が高い対象物が検出処理の最終的な結果として出力されるようになっている。このため、被写体検出処理の最終検出結果ではなく、中間層出力を比較することで、可能性が低い検出結果が切り捨てられる前の抽象化された特徴量を反映した類似度の評価値を得ることができる。
　学習済み被写体検出処理の中間層出力ＭＳＥが用いられる場合は、サンプル画像ＳＩと、処理後画像ＰＩとが、それぞれ学習装置１００が搭載される装置の用途に合わせて予め用意されたニューラルネットワークから成る学習済み被写体検出処理に入力される。評価値算出部１０６は、それぞれの画像が入力された際の被写体検出処理の中間層データを抽出し、データ毎に差分を二乗して平均値を求める。
　なお、学習済み被写体検出処理が４層以上のニューラルネットワークの場合、複数の中間層が存在するため、比較対象とする中間層を選択する必要がある。ニューラルネットワークにおいては、前段の中間層では個々の画素値の変化に近い特性が得られ、後段になるほどより抽象化され、検出対象となる被写体の特徴が抽出されたデータが得られる。そのため、評価値算出部１０６は、出力される画像の用途に応じて比較対象とする中間層の位置を使い分けることが望ましい。
　すなわち、出力画像が専ら機械学習による被写体検出処理の入力として使われ、人間が目視で処理画像を確認することがない場合には、画像としての類似性よりも抽象化された被写体の特徴が類似していればよいので、評価値算出部１０６は、後段の中間層を比較対象として選択する。
　逆に、出力画像を人間が目視で確認する用途が主であれば、画像としての類似性を高めるため、評価値算出部１０６は、前段の中間層を比較対象として選択する。
　また、複数の用途に出力画像を用いる場合、評価値算出部１０６は、複数の中間層出力を参照し、各中間層出力を比較して算出した値を加重平均したものを評価値として用いてもよい。
　言い換えると、評価値算出部１０６は、サンプル画像ＳＩに対して被写体検出処理を実行した際の中間層出力と、処理後画像ＰＩに対して被写体検出処理を実行した際の中間層出力との差を積算した第１の値を算出する。また、評価値算出部１０６は、サンプル画像ＳＩの画素値と、処理後画像ＰＩの画素値との差を積算した第２の値を算出する。そして、評価値算出部１０６は、第１の値と、第２の値とを加重平均した値により、評価値を算出してもよい。
　また、評価値算出部１０６は、画像の画素値のＭＳＥ又は学習済み被写体検出処理の中間層出力ＭＳＥをそれぞれ単独で評価値として用いるのではなく、二つの値を加重平均して評価値として用いてもよい。
　推論部１０５は、以上のような学習を実行することで学習済モデルを生成する。
　学習済モデル記憶部１０７は、生成された学習済モデルを記憶する。
　以上に記載された学習装置１００は、図３に示されているような、コンピュータ１１０により実現することができる。
　図３に示されているように、コンピュータ１１０は、補助記憶装置１１１と、通信装置１１２と、メモリ１１３と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１１４とを備える。
　補助記憶装置１１１は、コンピュータ１１０での処理に必要なプログラム及びデータを記憶する。
　通信装置１１２は、他の装置と通信を行なう。
　メモリ１１３は、プロセッサ１１４の作業領域を提供する。
　プロセッサ１１４は、補助記憶装置１１１に記憶されているプログラムをメモリ１１３に読み出して、そのプログラムを実行することで、処理を行う。
　例えば、劣化処理部１０１、画像処理部１０２、データ取得部１０３及びモデル生成部１０４は、プロセッサ１１４が補助記憶装置１１１に記憶されているプログラムをメモリ１１３に読み出して、そのプログラムを実行することで実現することができる。
　このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　学習済モデル記憶部１０７は、プロセッサ１１４が補助記憶装置１１１を利用することにより実現することができる。
　なお、以上に記載された実施の形態では、学習装置１００が学習済モデル記憶部１０７を備えているが、本実施の形態は、以上のような例に限定されるものではない。例えば、学習済モデル記憶部１０７は、学習装置１００とは別の装置に備えられていてもよい。このような場合、モデル生成部１０４で生成された学習済モデルは、通信装置１１２を介して、別の装置に送られる。
　次に、図４を用いて、学習装置１００が学習する処理について説明する。
　図４は、学習装置１００の学習処理を示すフローチャートである。
　劣化処理部１０１は、予め用意されたサンプル画像ＳＩを取得し、画質劣化を模擬する処理を行い、劣化サンプル画像ＤＩを生成する（Ｓ１０）。ここで入力として用いられるサンプル画像ＳＩは、学習装置１００が使用される環境下で一般的に取得される画像として想定される画像が予め用意されているものとする。
　また、画質劣化処理の種別、及び、画質劣化処理で用いられる処理パラメータＤＰは、学習装置１００が使用される環境下で想定される画質劣化要因に対応するものを、予め複数種類定められているものとする。そして、劣化処理部１０１は、実際の使用条件で環境が任意に変化するのを模擬するために、入力されるサンプル画像ＳＩ毎に、処理パラメータＤＰをランダムに切り替えて処理を実行する。
　次に、モデル生成部１０４の推論部１０５は、劣化処理部１０１からの劣化サンプル画像ＤＩを受け取り、その出力として画像処理部１０２に処理パラメータＰＰを与える（Ｓ１１）。ここでは、推論部１０５は、ニューラルネットワークを用いて、劣化サンプル画像ＤＩから処理パラメータＰＰを算出するものとする。
　次に、画像処理部１０２は、モデル生成部１０４から与えられた処理パラメータＰＰを用いて、劣化処理部１０１から与えられた劣化サンプル画像ＤＩに画像処理を適用し、処理後画像ＰＩを生成する（Ｓ１２）。
　次に、データ取得部１０３は、サンプル画像ＳＩと、処理後画像ＰＩとを取得する（Ｓ１３）。ここでは、データ取得部１０３は、サンプル画像ＳＩと、処理後画像ＰＩとを同時に取得するものとしたが、実施の形態はこのような例に限定されない。サンプル画像ＳＩと、対応する処理後画像ＰＩとを関連付けることができれば、データ取得部１０３は、サンプル画像ＳＩと、対応する処理後画像ＰＩとをそれぞれ別のタイミングで取得してもよい。
　次に、モデル生成部１０４の評価値算出部１０６は、データ取得部１０３によって取得されるサンプル画像ＳＩと、処理後画像ＰＩとを比較して、それらの類似度を評価値として算出する（Ｓ１４）。
　次に、モデル生成部１０４の推論部１０５は、評価値算出部１０６で算出された評価値に従って、サンプル画像ＳＩと、処理後画像ＰＩとの類似度がより高くなるような処理パラメータＰＰが算出されるように、ニューラルネットワークにおける各層の重みを更新する（Ｓ１５）。
　次に、モデル生成部１０４の推論部１０５は、予め定められた学習処理の終了条件が満たされたか否かを判断する（Ｓ１６）。学習処理の終了条件が満たされた場合（Ｓ１６でＹｅｓ）には、処理はステップＳ１７に進み、学習処理の終了条件が満たされていない場合（Ｓ１６でＮｏ）には、処理はステップＳ１１に戻る。
　ステップＳ１７では、推論部１０５は、生成した学習済モデルを学習済モデル記憶部１０７に送り、学習済モデル記憶部１０７は、その学習済モデルを記憶する。即ち、学習済モデル記憶部１０７は、ニューラルネットワークにおける各層の重みを記憶する。
　図５は、推論装置１２０の構成を概略的に示すブロック図である。
　推論装置１２０は、画像取得部１２１と、学習済モデル記憶部１２２と、推論部１２３と、画像処理部１２４とを備える。
　画像取得部１２１は、図示しないイメージセンサ若しくはカメラモジュール等の画像取得装置又は画像伝送装置を通じて、画像処理の対象となる画像である対象画像ＴＩを取得する。
　学習済モデル記憶部１２２は、学習装置１００で学習された学習済モデルを記憶する。推論装置１２０は、学習装置１００と同じ装置で実現されていてもよい。この場合には、学習済モデル記憶部１２２は、学習済モデル記憶部１０７と同じ記憶部であってもよい。また、推論装置１２０が学習装置１００とは別の装置である場合には、推論装置１２０は、例えば、図示しないネットワークを介して、学習装置１００から学習済モデルを取得して、学習済モデル記憶部１２２に記憶させればよい。なお、学習済モデル記憶部１２２は、図示しないネットワークに接続されているクラウド上に設けられていてもよい。
　推論部１２３は、学習済モデル記憶部１２２に記憶されている学習済モデルを用いて、対象画像ＴＩから、画像処理部１２４で使用される好適な処理パラメータＰＰを推論する。すなわち、この学習済モデルに画像取得部１２１が取得した対象画像ＴＩを入力することで、推論部１２３は、画質劣化の影響を受けた対象画像ＴＩに適した画像処理部１２４の処理パラメータＰＰを推論することができる。ここで推論される処理パラメータＰＰを対象処理パラメータともいう。
　なお、本実施の形態では、推論部１２３は、学習装置１００のモデル生成部１０４で学習された学習済モデルを用いて、画像処理部１２４の処理パラメータＰＰを算出するものとして説明したが、本実施の形態は、以上のような例に限定されない。例えば、学習済モデル記憶部１２２は、他の画像処理装置から取得された学習済モデルを記憶し、推論部１２３は、この学習済モデルに基づいて画像処理部１２４の処理パラメータＰＰを算出してもよい。但し、このような場合でも、学習済モデルは、学習装置１００で行なわれる処理と同様の処理で生成されることが望ましい。
　画像処理部１２４は、対象画像ＴＩに対して、予め定められた画像処理を適用し、処理後対象画像ＯＩを生成する。ここで適用される画像処理は、第２の画像処理ともいう。また、第２の画像処理で用いられる処理パラメータＰＰは、推論部１２３で推論された対象処理パラメータである。
　以上に記載された推論装置１２０も、図３に示されているようなコンピュータ１１０により実現することができる。
　例えば、画像取得部１２１、推論部１２３及び画像処理部１２４は、プロセッサ１１４が補助記憶装置１１１に記憶されているプログラムをメモリ１１３に読み出して、そのプログラムを実行することで実現することができる。
　このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　また、学習済モデル記憶部１２２は、プロセッサ１１４が補助記憶装置１１１を利用することにより実現することができる。
　図６は、推論装置１２０の推論処理を示すフローチャートである。
　まず、画像取得部１２１は、イメージセンサ若しくはカメラモジュール等の画像取得装置又は画像伝送装置を通じて、対象画像ＴＩを取得する（Ｓ２０）。
　次に、推論部１２３は、学習済モデル記憶部１２２に記憶されている学習済モデルに対象画像ＴＩを入力し、画像処理部１２４の処理パラメータＰＰを算出する（Ｓ２１）。
　次に、推論部１２３は、その処理パラメータＰＰを画像処理部１２４に与える（Ｓ２２）。
　次に、画像処理部１２４は、推論部１２３から与えられた処理パラメータＰＰを用いて、画像取得部１２１から与えられた対象画像ＴＩに対して画像処理を行い、処理後対象画像ＯＩを生成する（Ｓ２３）。
　以上のように、本実施の形態によれば、他のシステムを動作させたり、別の処理を行わせたりせずに、実際に生じる劣化に対応した画像に基づいて、必要な学習用データを取得することができるため、実際に生じる劣化に対応した処理パラメータＰＰを取得することができる。
　なお、モデル生成部１０４で用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）を用いることもでき、他の公知の方法、例えば、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング又はサポートベクターマシン等に従って機械学習が実行されてもよい。
　なお、学習装置１００及び推論装置１２０は、例えば、図示しないネットワークを介して画像の入力部と接続され、その入力部とは別個の装置であってもよい。また、学習装置１００及び推論装置１２０は、画像の入力部とともに、図示しない１つの装置、例えば、画像処理装置に内蔵されていてもよい。さらに、学習装置１００及び推論装置１２０は、図示しないクラウドサーバ上に存在していてもよい。
　また、モデル生成部１０４は、図示しない複数の画像入力部から取得される画像をサンプル画像ＳＩとして用いて、画像処理部１０２の処理パラメータＰＰを学習するようにしてもよい。なお、モデル生成部１０４は、図示しないある画像入力部に関して画像処理部１０２の処理パラメータＰＰを学習した学習済モデルを、これとは別の画像入力部から入力される対象画像ＴＩに適用し、その別の画像入力部に関して画像処理部１０２の処理パラメータＰＰを再学習して更新を実行するようにしてもよい。
　１００　学習装置、　１０１　劣化処理部、　１０２　画像処理部、　１０３　データ取得部、　１０４　モデル生成部、　１０５　推論部、　１０６　評価値算出部、　１０７　学習済モデル記憶部、　１２０　推論装置、　１２１　画像取得部、　１２２　学習済モデル記憶部、　１２３　推論部、　１２４　画像処理部。

Claims (10)

  1. 　サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成する劣化処理部と、
    　前記劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成する画像処理部と、
    　前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成するモデル生成部と、を備えること
    　を特徴とする学習装置。
  2. 　前記モデル生成部は、
    　前記サンプル画像と、前記処理後画像との類似度を示す評価値を算出する評価値算出部と、
    　前記評価値を参照して、前記サンプル画像と、前記処理後画像との類似度が高くなるように学習モデルを更新することで、前記学習済モデルを生成する推論部と、を備えること
    　を特徴とする請求項１に記載の学習装置。
  3. 　前記評価値算出部は、前記サンプル画像の画素値と、前記処理後画像の画素値との差を積算した値により、前記評価値を算出すること
    　を特徴とする請求項２に記載の学習装置。
  4. 　前記評価値算出部は、画像から特定の被写体を検出する被写体検出処理をさらに行い、
    　前記評価値算出部は、前記サンプル画像に対して前記被写体検出処理を実行した際の中間層出力と、前記処理後画像に対して前記被写体検出処理を実行した際の中間層出力との差を積算した値により、前記評価値を算出すること
    　を特徴とする請求項２に記載の学習装置。
  5. 　前記評価値算出部は、画像から特定の被写体を検出する被写体検出処理をさらに行い、
    　前記評価値算出部は、前記サンプル画像に対して前記被写体検出処理を実行した際の中間層出力と、前記処理後画像に対して前記被写体検出処理を実行した際の中間層出力との差を積算した第１の値を算出し、
    　前記サンプル画像の画素値と、前記処理後画像の画素値との差を積算した第２の値を算出し、
    　前記第１の値と、前記第２の値とを加重平均した値により、前記評価値を算出すること
    　を特徴とする請求項２に記載の学習装置。
  6. 　サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで生成された劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するために生成された学習済モデルを用いて、対象画像から、前記対象画像に好適な処理パラメータである対象処理パラメータを推論する推論部と、
    　前記対象画像に対して、前記対象処理パラメータを用いて前記第２の画像処理を行うことで、処理後対象画像を生成する画像処理部と、を備えること
    　を特徴とする推論装置。
  7. 　コンピュータを、
    　サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成する劣化処理部、
    　前記劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成する画像処理部、及び、
    　前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成するモデル生成部、として機能させること
    　を特徴とするプログラム。
  8. 　コンピュータを、
    　サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで生成された劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するために生成された学習済モデルを用いて、対象画像から、前記対象画像に好適な処理パラメータである対象処理パラメータを推論する推論部、及び、
    　前記対象画像に対して、前記対象処理パラメータを用いて前記第２の画像処理を行うことで、処理後対象画像を生成する画像処理部、として機能させること
    　を特徴とするプログラム。
  9. 　サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで、劣化サンプル画像を生成し、
    　前記劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、
    　前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するための学習済モデルを生成すること
    　を特徴とする学習方法。
  10. 　サンプル画像に対して画像の劣化を模擬する第１の画像処理を行うことで生成された劣化サンプル画像に対して、処理パラメータを用いて予め定められた第２の画像処理を行うことで、処理後画像を生成し、前記サンプル画像及び前記処理後画像を用いて学習を行うことで、前記第２の画像処理における好適な処理パラメータを推論するために生成された学習済モデルを用いて、対象画像から、前記対象画像に好適な処理パラメータである対象処理パラメータを推論し、
    　前記対象画像に対して、前記対象処理パラメータを用いて前記第２の画像処理を行うことで、処理後対象画像を生成すること
    　を特徴とする推論方法。
PCT/JP2020/020503 2020-05-25 2020-05-25 学習装置、推論装置、プログラム、学習方法及び推論方法 WO2021240589A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/020503 WO2021240589A1 (ja) 2020-05-25 2020-05-25 学習装置、推論装置、プログラム、学習方法及び推論方法
JP2022527271A JPWO2021240589A5 (ja) 2020-05-25 学習装置、プログラム及び学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020503 WO2021240589A1 (ja) 2020-05-25 2020-05-25 学習装置、推論装置、プログラム、学習方法及び推論方法

Publications (1)

Publication Number Publication Date
WO2021240589A1 true WO2021240589A1 (ja) 2021-12-02

Family

ID=78723176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020503 WO2021240589A1 (ja) 2020-05-25 2020-05-25 学習装置、推論装置、プログラム、学習方法及び推論方法

Country Status (1)

Country Link
WO (1) WO2021240589A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KALANTARI ET AL.: "A Machine Learning Approach for Filtering Monte Carlo Noise", ACM TRANSACTIONS ON GRAPHICS, vol. 34, no. 122, 2015, XP055683712, Retrieved from the Internet <URL:https://dl.acm.org/doi/pdf/10.1145/2766977> DOI: 10.1145/2766977 *

Also Published As

Publication number Publication date
JPWO2021240589A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
CN108304795B (zh) 基于深度强化学习的人体骨架行为识别方法及装置
CN107529650B (zh) 闭环检测方法、装置及计算机设备
US11222239B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
US11556739B2 (en) Method for estimating operation of work vehicle, system, method for producing trained classification model, training data, and method for producing training data
KR102564855B1 (ko) 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
CN113196289B (zh) 人体动作识别方法、人体动作识别***及设备
US9619749B2 (en) Neural network and method of neural network training
JP4970408B2 (ja) 物体特性のロバストな推定を用いる適応型運転者支援システム
JP2016139176A (ja) 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
CN111696196B (zh) 一种三维人脸模型重建方法及装置
JP2001236337A (ja) ニューラルネットワークによる予測装置
JP2019152964A (ja) 学習方法および学習装置
JP2021065955A (ja) ロボット制御システム及びその制御方法及びプログラム
WO2021240589A1 (ja) 学習装置、推論装置、プログラム、学習方法及び推論方法
WO2021260822A1 (ja) 学習装置、推論装置、プログラム、学習方法及び推論方法
Sahba Deep reinforcement learning for object segmentation in video sequences
CN111259859B (zh) 一种基于联合变量图片生成的行人重识别方法
JP2021082000A (ja) 学習済モデルの生成方法、コンピュータプログラム、情報処理方法及び情報処理装置
KR20210007234A (ko) 이미지 보정 방법 및 이미지 보정 시스템
Kim et al. Dnn-based isp parameter inference algorithm for automatic image quality optimization
US20230088668A1 (en) Method for training a deterministic autoencoder
JP7117720B1 (ja) 画像生成装置
WO2023233634A1 (ja) モデル生成装置、モデル生成方法、プログラム
KR20230065125A (ko) 기계 학습 모델의 트레이닝 방법 및 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937657

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527271

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20937657

Country of ref document: EP

Kind code of ref document: A1