JP7100783B1 - 学習装置及び推論装置 - Google Patents

Abstract

【課題】機械学習による画像データ処理において人の視覚特性に基づいた成分を用いることで、演算量を抑え、効率よく視覚上より良い画像データを生成するための学習装置、方法、推論装置並びにシステム及びプログラムを提供する。【解決手段】学習装置としての画像処理装置は、学習用画像データの入力を受け付ける入力部１１０と、第一学習用画像データが入力される第一機械学習モデル１１１と、機械学習モデルにおける設定値を学習する処理を実行する学習処理実行部１０１と、設定値を記憶する学習結果記憶部と、を備える。第一学習用画像データは、明るさ成分及び色味成分又は明るさ成分のみを有する第一加工前画像データ及び明るさ成分のみを有する第一加工後画像データから構成される。学習処理実行部は、第一機械学習モデルを用いて、第一加工前画像データ及び第一加工後画像データに基づいて第一機械学習モデルにおける設定値を学習する処理を実行する。【選択図】図２

Description

本発明は、画像処理用の機械学習モデルを用いた学習装置及び推論装置に関する。

従来より、機械学習によるデータ処理方法で、コンピュータプログラムに対して、教師データとなるデータセットを与えて、プログラムのパラメータを学習することで、任意のデータに対してデータ処理を行うことができる学習済みモデルを生成する方法が知られている。

例えば、機械学習を用いた「入力画像（教師データ）→学習用プログラム→出力画像（教師データ）」という処理において、入力画像と出力画像の誤差が一番小さくなるように学習用プログラムのパラメータを計算して「学習済みモデル」を生成する。そして、この「学習済モデル」を用いることで、「入力画像（任意のデータ：例えば低解像度画像）→学習済みモデル→出力画像（推論データ：例えば高解像度画像）」という、入力画像から出力画像を推論することで出力画像を生成することができる。

近年、機械学習のうちニューラルネットワークを用いた機械学習が多くの分野に適用されている。特に画像認識、音声認識の分野にて、ニューラルネットワークを多層構造で使用したディープラーニング（Deep Learning；深層学習） が高い認識精度を発揮している。多層化したディープラーニングでも、入力の特徴を抽出する畳み込み層及びプーリング層を複数回使用した畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた画像処理が行なわれている。

そして、ニューラルネットワークを用いた画像処理としては、信号を高解像度化させる超解像装置（例えば、特許文献１参照）や疾患領域の違いを把握することを容易にして精度の高い診断支援を行う診断支援装置（例えば、特許文献２参照）などがある。

特開2020-27557号公報 特開2018-38789号公報

ニューラルネットワークを用いる画像データ処理においては、機械学習モデルに対象となる画像データが入力される。例えば、機械学習モデルに使用される画像データは、座標ごとに区画されたピクセル(画素)の集まりとして表現され、各ピクセルにはピクセル値（例えば色情報RGBの３つの値）が付与される。機械学習モデルでは、対象となる画像データの有する全てのピクセル値が入力ニューロンに入力されて機械学習が実行されている。

通常、機械学習用の学習／推論用データとしてＲＧＢやYCbCr色空間を用いて表現された画像データを使用する際には、図８に示すように機械学習モデルの入力及び出力側に同数のチャンネルを設定して機械学習を実行する。具体的には、RGBの画像データはＲチャンネル、Ｇチャンネル、Ｂチャンネル、YCbCrの画像データではYチャンネル、Cbチャンネル、Crチャンネルの３入力及び３出力が設定される。

しかしながら、人の視覚は色の変化よりも明るさの変化に非常に敏感であり、色味成分を減らしても人は特に不自然だと感じにくいという視覚特性を有する。従って、このような人の視覚特性を無視して、上述のように複数チャンネルで構成される画像データを全て機械学習モデルに一律に入力／出力することで、学習の処理効率が落ちたり、演算量が増加していると考えられる。

さらに、上記特許文献に示される画像処理方法においても、画像データに対する上述のような人の視覚特性を配慮した演算処理は開示されていない。

本発明は、上記課題に鑑みてなされたものであり、機械学習による画像データ処理において、人の視覚特性に基づいた成分を用いることで、演算量を抑え、効率よく視覚上より良い画像データを生成できる学習装置及び推論装置を提供することを目的とする。

上記目的を達成するために本発明は、所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習装置であって、学習用画像データの入力を受け付ける入力部と、前記入力部から第一学習用画像データが入力される第一機械学習モデルと、学習対象の機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、前記設定値を記憶する学習結果記憶部と、を備え、前記第一学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は明るさ成分のみを有する第一加工前画像データ、及び出力側の学習用画像データとなる明るさ成分のみを有する第一加工後画像データから構成され、前記学習処理実行部は、前記第一機械学習モデルを用いて、前記第一加工前画像データ及び第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく前記第一機械学習モデルにおける設定値を学習する処理を実行し、前記学習装置は、さらに、前記入力部から第二学習用画像データが入力される第二機械学習モデルを備え、前記第二学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとを有する第二加工前画像データ、及び出力側の学習用画像データとなる明るさ成分と色味成分との両方又は色味成分のみを有する第二加工後画像データから構成され、前記学習処理実行部は、前記第二機械学習モデルを用いて、前記第二加工前画像データ及び第二加工後画像データに基づいて、当該第二加工前画像データを入力した前記第二機械学習モデルからの出力と、当該第二加工後画像データとの差分を最小化すべく前記第二機械学習モデルにおける設定値を学習する処理を実行することを特徴とするものである。

この学習装置において、さらに、前記第二加工前画像データの前記第一推論画像データの明るさ成分の代わりに、明るさ成分のみから成る教師用画像データを用いることが好ましい。

また、上記目的を達成するために本発明は、機械学習モデルを用いて対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論装置であって、対象画像データの入力を受け付ける入力部と、前記入力部から第一対象画像データが入力される第一機械学習モデルと、推論処理を実行する機械学習モデルを用いて、対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論処理実行部と、を備え、前記第一機械学習モデルは、明るさ成分及び色味成分、又は明るさ成分のみを有する入力側の第一加工前画像データ、及び明るさ成分のみを有する教師用画像データである出力側の第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく当該第一機械学習モデルにおける設定値を学習したモデルであって、前記推論処理実行部は、前記第一対象画像データを前記第一機械学習モデルに出力し、当該第一対象画像データは、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データであって、前記第一機械学習モデルにおいては、前記第一対象画像データから推論された明るさ成分のみから成る第一推論画像データを生成し、前記推論装置は、さらに、前記入力部から第二対象画像データが入力される第二機械学習モデルを備え、前記推論処理実行部は、前記第二対象画像データを前記第二機械学習モデルに出力し、当該第二対象画像データは、明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとから構成され、前記第二機械学習モデルにおいては、前記第二対象画像データから推論された、明るさ成分及び色味成分、又は色味成分のみを有する第二推論画像データを生成することを特徴とするものである。

また、本発明は、コンピュータを上記記載の学習装置又は推論装置として動作させることを特徴とするコンピュータプログラムである。

また、本発明は、上記に記載の学習装置もしくは推論装置又は上記記載のコンピュータプログラムに向けて前記入力データを送信し、前記出力データを受信して利用することを特徴とするコンピュータシステムである。

また、本発明は、所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習方法であって、学習用画像データの入力を受け付ける入力ステップと、前記入力ステップから第一学習用画像データが入力される第一機械学習モデルにおける第一機械学習ステップと、学習対象の機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップと、前記設定値を記憶する学習結果記憶ステップと、を備え、前記第一学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は明るさ成分のみを有する第一加工前画像データ、及び出力側の学習用画像データとなる明るさ成分のみを有する第一加工後画像データから構成され、前記学習処理実行ステップにおいては、前記第一機械学習モデルを用いて、前記第一加工前画像データ及び第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく前記第一機械学習モデルにおける設定値を学習する処理を実行し、前記学習方法は、さらに、前記入力ステップから第二学習用画像データが入力される第二機械学習モデルを備え、前記第二学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとを有する第二加工前画像データ、及び出力側の学習用画像データとなる明るさ成分と色味成分との両方又は色味成分のみを有する第二加工後画像データから構成され、前記学習処理実行ステップにおいては、前記第二機械学習モデルを用いて、前記第二加工前画像データ及び第二加工後画像データに基づいて、当該第二加工前画像データを入力した前記第二機械学習モデルからの出力と、当該第二加工後画像データとの差分を最小化すべく前記第二機械学習モデルにおける設定値を学習する処理を実行することを特徴とする。

また、本発明は、機械学習モデルを用いて対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論方法であって、対象画像データの入力を受け付ける入力ステップと、前記入力ステップから第一対象画像データが入力される第一機械学習モデルにおける第一機械学習ステップと、推論処理を実行する機械学習モデルを用いて、対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論処理実行ステップと、を備え、前記第一機械学習モデルは、明るさ成分及び色味成分、又は明るさ成分のみを有する入力側の第一加工前画像データ、及び明るさ成分のみを有する教師用画像データである出力側の第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく当該第一機械学習モデルにおける設定値を学習したモデルであって、前記推論処理実行ステップにおいては、前記第一対象画像データを前記第一機械学習モデルに出力し、当該第一対象画像データは、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データであって、前記第一機械学習モデルにおいては、前記第一対象画像データから推論された明るさ成分のみから成る第一推論画像データを生成し、前記推論方法は、さらに、前記入力ステップから第二対象画像データが入力される第二機械学習モデルを備え、前記推論処理実行ステップにおいては、前記第二対象画像データを前記第二機械学習モデルに出力し、当該第二対象画像データは、明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとから構成され、前記第二機械学習モデルにおいては、前記第二対象画像データから推論された、明るさ成分及び色味成分、又は色味成分のみを有する第二推論画像データを生成することを特徴とする。

本発明に係る学習装置は、学習用画像データの入力を受け付ける入力部と、第一学習用画像データが入力される第一機械学習モデルと、機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、設定値を記憶する学習結果記憶部と、を備える。第一学習用画像データは、明るさ成分及び色味成分、又は明るさ成分のみを有する第一加工前画像データ、及び明るさ成分のみを有する第一加工後画像データから構成される。学習処理実行部は、第一機械学習モデルを用いて、第一加工前画像データ及び第一加工後画像データに基づいて第一機械学習モデルにおける設定値を学習する処理を実行する。この構成により、本願発明に係る学習装置では、効率よく視覚上より良い画像データを生成するための学習を実行できる。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 同上画像処理装置の機能ブロック図である。 同上画像処理装置に備わる第一機械学習モデルにおける学習／推論処理のイメージ図である。 同上画像処理装置に備わる第二機械学習モデルにおける学習／推論処理のイメージ図である。 同上画像処理装置の学習動作時の動作手順を示すフローチャートである。 同上画像処理装置の推論動作時の動作手順を示すフローチャートである。 本発明の実施の形態の変形例に係る画像処理装置に備わる第二機械学習モデルにおける学習処理のイメージ図である。 従来の機械学習用の学習／推論用データのイメージ図である。

（実施の形態）
本発明の実施の形態に係る画像処理装置について図１乃至図６を参照して説明する。本実施の形態において、画像処理装置は、所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習装置、及び機械学習モデルを用いて対象画像データに対して所定の推論処理を実行する推論装置の少なくとも一方としての機能を発揮する。

最初に、画像処理装置１に備わる各処理部に関して図１を参照しながら説明する。画像処理装置１は、図１に示すように、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５及び読取部１６を備える。なお、画像処理装置１及び画像処理装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

制御部１０は、ＣＰＵなどのプロセッサやメモリを用いて、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、ＣＰＵ，ＧＰＵ等のプロセッサ、メモリ、さらには記憶部１２及び通信部１３を集積した１ つのハードウェア（ＳｏＣ：System on a Chip）として構成されていてもよい。

記憶部１２は、ハードディスクやフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、機械学習モデル（例えばＣＮＮ）としての機能を発揮させる機械学習ライブラリ１Ｌが記憶されている。また、記憶部１２には、機械学習モデルを定義する定義データ、学習済み機械学習モデルにおける設定値等を含むパラメータなどが記憶される。

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、及び機械学習ライブラリ３Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ及び機械学習ライブラリ１Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ及び機械学習ライブラリ３Ｌを制御部１０が記憶部１２に複製したものであってもよい。

次に、画像処理装置１の画像処理の機能に関して図２を参照しながら説明する。画像処理装置１の制御部１０は学習処理実行部１０１及び推論処理実行部１０２を備える。学習処理実行部１０１は、記憶部１２に記憶してある機械学習ライブラリ１Ｌ、定義データ、パラメータ情報に基づき機械学習モデル（機械学習エンジン）として機能する。すなわち、学習処理実行部１０１は、学習対象の機械学習モデルを用いて、学習用画像データに基づいて、学習対象の機械学習モデルにおける設定値（パラメータ等）を学習する処理を実行する。

推論処理実行部１０２は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、画像処理を行う。すなわち、推論処理実行部１０２は、機械学習モデルを用いて、入力される対象画像データに対して所定の推論処理を実行する。また、推論処理実行部１０２は、ユーザの操作部１５を用いた操作に基づき、入力データである画像データを入力部１１０に入力する画像処理実行部としての機能を発揮する。

本実施の形態において、画像処理部１１の入力部１１０は学習用画像データ又は推論対象となる対象画像データの入力を受け付ける。学習処理実行部１０１は、第一学習用画像データを第一機械学習モデル１１１に、第二学習用画像データを第二機械学習モデル１１２に振り分けて出力する。また、推論処理実行部１０２は、第一推論対象画像データを第一機械学習モデル１１１に、第二推論対象画像データを第二機械学習モデル１１２に振り分けて出力する。各画像データの種類は、例えば画像データのヘッダ部の情報や識別子を読み込むことにより判定できる。

第一機械学習モデル１１１及び第二機械学習モデル１１２は、推論時の機械学習モデルがＣＮＮとなる場合には、定義データにより定義される複数段の畳み込み層及びプーリング層と、全結合層とを含んでもよく、画像データの特徴量を取り出し、取り出された特徴量に基づいて画像加工処理を行う。

第一機械学習モデル１１１で処理された画像データ、及び第二機械学習モデル１１２で処理された画像データは、出力部１１３に入力される。出力部１１３は、画像結合部１１３ａを備え、第一機械学習モデル１１１及び第二機械学習モデル１１２から出力されたデータを、画像結合部１１３ａに入力して画像結合処理を実行することもできる。なお、出力データを画像処理部１１において画像として描画して、表示部１４に出力しても良い。

第一機械学習モデル１１１及び第二機械学習モデル１１２は、学習済みモデル使用時にはそれぞれ既に学習済のパラメータに基づいて画像データの最適化処理（例えば画像の高解像度化やノイズ除去などの処理）を行う。画像結合部１１３ａは、第一機械学習モデル１１１で生成された画像データ及び第二機械学習モデル１１２で生成された画像データを重ね合わせ処理などで結合して、出力データを記憶部１２に出力できる。

次に、第一機械学習モデル１１１における学習／推論処理の具体例に関して図３を参照しながら説明する。第一機械学習モデル１１１に入力される第一学習用画像データは、明るさ成分及び色味成分、又は明るさ成分のみを有する第一加工前画像データ３０１（本図においてY成分、及びCb，Crの色差成分を有する画像データ）、及び明るさ成分（本図においてはY（輝度）成分）のみを有する第一加工後画像データ３０２から構成される。この第一加工前画像データ３０１及び第一加工後画像データ３０２は、典型的にはRGBを用いて表現される画像データ、YCbCrを用いて表現される画像データ、又は明るさ成分（本実施例ではY（輝度）成分）のみを用いて表現される画像データの何れかである。

また、本実施の形態の説明における明るさ成分とは画像データの輝度や明度、濃度などに関する成分であって、典型的にはYCbCrにおける輝度成分Yであり、YCbCrのY以外に、Lab色空間のL、HSV色空間のV、HLS色空間のLなどがある。YCbCrの代わりに、YUVやYPbPrを用いても良い。また、色味成分とは、典型的にはYCbCrにおける色差成分やHSVにおける色相、彩度である。その他、RGB画像等は明るさ成分及び色味成分が混合しているが、学習及び推論用画像データとして用いる場合は、一旦YCbCr等に変換してからその全部もしくは一部の成分を用いてもよい。この場合、当然にRGB画像からYCbCrに色変換するための機能や処理部が画像処理装置１に備わっているものとする。

第一機械学習モデル１１１の学習時には、学習処理実行部１０１は、図３に示すように、第一加工前画像データ３０１及び第一加工後画像データ３０２に基づいて、第一機械学習モデル１１１における設定値を学習する処理を実行する。なお、第一機械学習モデル１１１においては、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データが入力される入力部（本図ではYチャンネル、Cbチャンネル、Crチャンネルの３チャンネル入力）と、明るさチャンネルのみを有する画像データが出力される出力部（本図ではYチャンネルの１チャンネル出力）とが設定されている。このように、第一機械学習モデル１１１においては、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データが入力される少なくとも１チャンネル以上を有する入力部と、明るさチャンネルのみを有する画像データが出力される１チャンネルの出力部とが設定される。

一方、第一機械学習モデル１１１の推論時においては、第一機械学習モデル１１１に入力される第一対象画像データ３０３は、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データである。この第一対象画像データ３０３は、典型的には、RGBを用いて表現される画像データ、YCbCrを用いて表現される画像データ、又は明るさ成分のみを用いて表現される画像データの何れかである。そして、第一機械学習モデル１１１における推論時には、第一対象画像データ３０３から推論された明るさ成分のみから成る第一推論画像データ３０４が生成される。

次に、第二機械学習モデル１１２の学習／推論処理の具体例に関して図４を参照しながら説明する。第二機械学習モデル１１２に入力される第二学習用画像データは、明るさ成分及び色味成分、又は色味成分のみを有する画像データと第一機械学習モデル１１１で推論された明るさ成分のみからなる第一推論画像データ３０４とを有する第二加工前画像データ４０１、及び明るさ成分及び色味成分、又は色味成分のみを有する第二加工後画像データ４０２から構成される。典型的には第二加工前画像データ４０１は、RGBを用いて表現される画像データ、YCbCrを用いて表現される画像データ、又はCbCrを用いて表現される画像データの何れかである。第二加工後画像データ４０２は、RGBを用いて表現される画像データ、YCbCrを用いて表現される画像データ、又はCbCrを用いて表現される画像データの何れかである。

なお、本図においては、第二加工前画像データとしてYCbCr色空間から構成される画像データのYチャンネル、Cbチャンネル、Crチャンネル、及び第一機械学習モデル１１１を用いて推論された明るさ成分（Y成分）のみからなる第一推論画像データ３０４が第二機械学習モデル１１２に対して入力され、Yチャンネル、Cbチャンネル、Crチャンネルが出力されるモデルとなる。第二機械学習モデル１１２は、入力部として２画像入力としても良いし第一推論画像データ入力のためのチャンネルを新たに設定（４チャンネル入力）してもよい。

そして、第二機械学習モデル１１２の学習時には、学習処理実行部１０１は、第二加工前画像データ４０１及び第二加工後画像データ４０２、第一推論画像データ３０４に基づいて、第二機械学習モデル１１２における設定値を学習する処理を実行する。

一方、第二機械学習モデル１１２の推論時において、第二機械学習モデル１１２に入力される第二対象画像データ４０３は、図４に示すように、明るさ成分及び色味成分、又は色味成分のみを有する画像データと第一機械学習モデル１１１を用いて推論された明るさ成分のみからなる第一推論画像データ３０４とから構成される。ここでの画像データは、例えばRGBを用いて表現される画像データ、YCbCrを用いて表現される画像データ、又はCbCrを用いて表現される画像データの何れかである。そして、第二機械学習モデル１１２における推論時には、第二対象画像データ４０３から推論された明るさ成分及び色味成分の少なくとも一方から成る第二推論画像データ４０４を生成する。この第二推論画像データ４０４は、例えばRGBを用いて表現される画像データ、YCbCrを用いて表現される画像データ、又はCbCrを用いて表現される画像データの何れかである。なお、第二推論画像データ４０４がCbCrを用いて表現される画像データの場合には、画像結合部１１３ａにおいて第一推論画像データ３０４の明るさ成分のみの画像データと結合させてYCbCrとする。

なお、図３に示す第一加工前画像データ３０１、第一加工後画像データ３０２、第一対象画像データ３０３と、図４に示す第二加工前画像データ４０１、第二加工後画像データ４０２、第二対象画像データ４０３とは、基本的には対となり同じ画像データであるか、又は同じ画像データから明るさ成分若しくは色味成分を取り出した画像データとなる。

次に、本実施の形態に係る画像処理装置１が学習装置として動作する際の動作手順に関して図５を参照しながら説明する。最初に、入力部１１０において画像データの入力がある場合（Ｓ５０１でＹｅｓ）、入力部１１０は、第一学習用画像データ又は第二学習用画像データか否かを判別し、第一学習用画像データの場合には（Ｓ５０２でＹｅｓ）、第一機械学習モデル１１１に出力する（Ｓ５０３）。次に、第一機械学習モデル１１１では、第一学習用画像データに基づいて、パラメータ更新処理（設定値の更新処理）を行う（Ｓ５０４）。この設定値の更新は、例えばパラメータをミニバッチ勾配降下法で更新するなど入力データと解答データとの差分を最小化する処理である。次に、更新された設定値を記憶部１２に格納する（Ｓ５０５）。

一方、第二学習用画像データの場合には（Ｓ５０２でＮｏ）、第二学習用画像データのうちの明るさ成分及び色味成分、又は明るさ成分のみを有する画像データを第一機械学習モデル１１１及び第二機械学習モデル１１２に出力する（Ｓ５０６）。そして、第一機械学習モデル１１１においては、当該画像データに基づいて推論された明るさ成分のみからなる第一推論画像データを生成してこれを第二機械学習モデル１１２に出力する（Ｓ５０７）。次に、第二機械学習モデル１１２は、第二学習用画像データ（すなわちここでは入力部１１０から受けた画像データ及び第一機械学習モデル１１１から受けた第一推論画像データ）に基づいて、第二機械学習モデル１１２におけるパラメータ更新処理（設定値の更新処理）を行う（Ｓ５０８）。

次に、本実施の形態に係る画像処理装置１が推論装置として動作する際の動作手順に関して図６を参照しながら説明する。最初に、入力部１１０において対象画像データの入力がある場合（Ｓ６０１でＹｅｓ）、第一対象画像データか否かを判定する（Ｓ６０２）。そして、第一対象画像データの場合（Ｓ６０２でＹｅｓ）、入力部１１０は、第一対象画像データを第一機械学習モデル１１１に出力する（Ｓ６０３）。次に、第一機械学習モデル１１１は、入力された第一対象画像データに対してＣＮＮなどによる推論処理を行い、第一推論画像データを生成する（Ｓ６０４）。そして、推論結果を記憶部１２に格納する（Ｓ６０５）。

一方、入力部１１０に入力された対象画像データが第二対象画像データと判定する場合（Ｓ６０２でＮｏ）、入力部１１０は、第二対象画像データのうちの明るさ成分及び色味成分、又は明るさ成分のみを有する画像データを第一機械学習モデル１１１及び第二機械学習モデル１１２に出力する（Ｓ６０６）。そして、第一機械学習モデル１１１においては、当該画像データに基づいて推論された明るさ成分のみからなる第一推論画像データを生成してこれを第二機械学習モデル１１２に出力する（Ｓ６０７）。次に、第二機械学習モデル１１２は、入力部１１０から受けた画像データ及び第一機械学習モデル１１１から受けた第一推論画像データに基づいて、第二機械学習モデル１１２は、推論処理を行い第二推論画像データを生成する（Ｓ６０８）。

以上の説明のように、本実施の形態に係る画像処理装置１では、画像データの明るさ成分（Yチャンネル）のみを出力する第一機械学習モデル１１１を準備し、第二機械学習モデル１１２においては加工前画像データ及び第一機械学習モデル１１１で推論された明るさ成分のみを有する第一推論画像データを用いて学習を行なう。このため、画像処理装置１では、人の視覚において敏感な明るさ成分を、機械学習の学習／推論用データの基準値のように用いることができる。具体的には、学習処理実行部１０１は、加工前画像データを第一機械学習モデル１１１及び第二機械学習モデル１１２の全体に入力して得られる出力データと、既知の加工後画像データとの誤差を最小にする処理を実行し、パラメータ（重み）を更新できる。この学習処理により得られるパラメータは記憶部１２に記憶される。この際、記憶部１２は学習結果記憶部として機能している。

一方、推論装置として機能する場合には、記憶部１２に記憶してある定義データ及びパラメータを用いて、第一機械学習モデル１１１及び第二機械学習モデル１１２を用いて推論画像データの生成を行う。

以上の構成により、画像処理装置１では、機械学習において、画像データは基本的に明るさ成分に多くの情報を含むという特性を利用し、人の視覚特性に基づいた明るさ成分を基準値のように用いることで、演算量を抑え、効率よく視覚上より良い画像データを生成できる。

なお、本実施の形態に係る画像処理装置１のハードウェア構成の内、通信部１３、表示部１４、操作部１５、及び読取部１６は必須ではない。通信部１３については、例えば記憶部１２に記憶される画像処理プログラム１Ｐ、及び機械学習ライブラリ１Ｌを外部サーバ装置から取得する場合に一旦使用された後は使用しない場合がある。読取部１６も同様に、画像処理プログラム１Ｐ、機械学習ライブラリ１Ｌを記憶媒体から読み出して取得した後は使用されない可能性がある。そして通信部１３及び読取部１６は、ＵＳＢ等のシリアル通信を用いた同一のデバイスであってもよい。

画像処理装置１がＷｅｂサーバとして、上述の第一機械学習モデル１１１及び第二機械学習モデル１１２としての機能を、表示部及び通信部を備えるＷｅｂクライアント装置へ提供する構成としてもよい。この場合、通信部１３は、Ｗｅｂクライアント装置からのリクエストを受信し、処理結果を送信するために使用される。

学習時に用いる誤差は、二乗誤差、絶対値誤差、又は交差エントロピー誤差等、入出力されるデータ、学習目的に応じて適切な関数を用いるとよい。例えば、出力が分類である場合、交差エントロピー誤差を用いる。誤差関数を用いることに拘わらずその他の基準を用いるなど柔軟な運用が適用できる。この誤差関数自体に外部の機械学習モデルを用いて評価を行なってもよい。

（変形例１）
本発明の実施の形態に係る画像処理装置１の変形例１に関して図７を参照して説明する。本変形例１に係る画像処理装置１は、第二加工前画像データの第一推論画像データの代わりに、先に学習済みの明るさ成分のみから成る教師用画像データ７０１（第一加工後画像データ３０２）を用いて学習することが出来る。この構成においても、上記実施の形態と同様の作用効果を奏することができる。

（変形例２）
また、図示してはいないが、第二推論画像データ４０４の明るさ成分の代わりに、先に推論済みの明るさ成分のみから成る第一推論画像データ３０４を用いて最終的な出力を生成することもできる。例えば、第二機械学習モデル１１２からの推論画像が色味成分のみから成っており（例えばCbCrのみ）、これに明るさ成分（Y成分）のみから成る第一推論画像データ３０４を組み合わせることができる。この場合には、画像結合部１１３ａにおいて結合させることでYCbCrで表現された画像データとする。

なお、本発明は、上記実施の形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。また、本発明の目的を達成するために、本発明は、画像処理装置（学習装置及び推論装置）に含まれる特徴的な構成手段をステップとする画像処理方法（学習方法及び推論方法）としたり、それらの特徴的なステップを含むプログラムとして実現することもできる。そして、そのプログラムは、ＲＯＭ等に格納しておくだけでなく、ＵＳＢメモリ等の記録媒体や通信ネットワークを介して流通させることもできる。

また、本発明は、画像処理装置又はコンピュータプログラムに向けて入力データを送信し、画像処理装置又はコンピュータプログラムからの出力データを受信して利用するコンピュータシステムとしても実現できる。このシステムは、上述の処理により学習済みの機械学習モデルから得られるデータを利用した処理システムで、種々のサービスを提供できる。本システムに用いる装置は、表示部及び通信部を備えた画像処理装置又はコンピュータと情報を送受信できる情報処理装置などであり、例えば所謂ＰＣ、スマートフォン、携帯端末、ゲーム機器などである。

１ 画像処理装置（学習装置及び推論装置）
１２ 記憶部（学習結果記憶部）
１０１ 学習処理実行部
１０２ 推論処理実行部
１１０ 入力部
１１１ 第一機械学習モデル
１１２ 第二機械学習モデル
１１３ 出力部
１１３ａ 画像結合部
３０１ 第一加工前画像データ
３０２ 第一加工後画像データ
３０３ 第一対象画像データ
３０４ 第一推論画像データ
４０１ 第二加工前画像データ
４０２ 第二加工後画像データ
４０３ 第二対象画像データ
４０４ 第二推論画像データ
７０１ 教師用画像データ

Claims (7)

1. 所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習装置であって、
   学習用画像データの入力を受け付ける入力部と、
   前記入力部から第一学習用画像データが入力される第一機械学習モデルと、
   学習対象の機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、
   前記設定値を記憶する学習結果記憶部と、を備え、
   前記第一学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は明るさ成分のみを有する第一加工前画像データ、及び出力側の学習用画像データとなる明るさ成分のみを有する第一加工後画像データから構成され、
   前記学習処理実行部は、前記第一機械学習モデルを用いて、前記第一加工前画像データ及び第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく前記第一機械学習モデルにおける設定値を学習する処理を実行し、
   前記学習装置は、さらに、
   前記入力部から第二学習用画像データが入力される第二機械学習モデルを備え、
   前記第二学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとを有する第二加工前画像データ、及び出力側の学習用画像データとなる明るさ成分と色味成分との両方又は色味成分のみを有する第二加工後画像データから構成され、
   前記学習処理実行部は、前記第二機械学習モデルを用いて、前記第二加工前画像データ及び第二加工後画像データに基づいて、当該第二加工前画像データを入力した前記第二機械学習モデルからの出力と、当該第二加工後画像データとの差分を最小化すべく前記第二機械学習モデルにおける設定値を学習する処理を実行する、ことを特徴とする学習装置。
2. 前記第二加工前画像データの前記第一推論画像データの明るさ成分の代わりに、明るさ成分のみから成る教師用画像データを用いる、ことを特徴とする請求項１記載の学習装置。
3. 機械学習モデルを用いて対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論装置であって、
   対象画像データの入力を受け付ける入力部と、
   前記入力部から第一対象画像データが入力される第一機械学習モデルと、
   推論処理を実行する機械学習モデルを用いて、対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論処理実行部と、を備え、
   前記第一機械学習モデルは、明るさ成分及び色味成分、又は明るさ成分のみを有する入力側の第一加工前画像データ、及び明るさ成分のみを有する教師用画像データである出力側の第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく当該第一機械学習モデルにおける設定値を学習したモデルであって、
   前記推論処理実行部は、前記第一対象画像データを前記第一機械学習モデルに出力し、当該第一対象画像データは、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データであって、
   前記第一機械学習モデルにおいては、前記第一対象画像データから推論された明るさ成分のみから成る第一推論画像データを生成し、
   前記推論装置は、さらに、
   前記入力部から第二対象画像データが入力される第二機械学習モデルを備え、
   前記推論処理実行部は、前記第二対象画像データを前記第二機械学習モデルに出力し、当該第二対象画像データは、明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとから構成され、
   前記第二機械学習モデルにおいては、前記第二対象画像データから推論された、明るさ成分及び色味成分、又は色味成分のみを有する第二推論画像データを生成する、ことを特徴とする推論装置。
4. コンピュータを請求項１～３の何れか１項に記載の学習装置又は推論装置として動作させる、ことを特徴とするコンピュータプログラム。
5. 請求項１～３の何れか１項に記載の学習装置もしくは推論装置又は請求項４に記載のコンピュータプログラムに向けて入力データを送信し、これら学習装置もしくは推論装置又はコンピュータプログラムからの出力データを受信して利用する、ことを特徴とするコンピュータシステム。
6. 所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習方法であって、
   学習用画像データの入力を受け付ける入力ステップと、
   前記入力ステップから第一学習用画像データが入力される第一機械学習モデルにおける第一機械学習ステップと、
   学習対象の機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップと、
   前記設定値を記憶する学習結果記憶ステップと、を備え、
   前記第一学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は明るさ成分のみを有する第一加工前画像データ、及び出力側の学習用画像データとなる明るさ成分のみを有する第一加工後画像データから構成され、
   前記学習処理実行ステップにおいては、前記第一機械学習モデルを用いて、前記第一加工前画像データ及び第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく前記第一機械学習モデルにおける設定値を学習する処理を実行し、
   前記学習方法は、さらに、
   前記入力ステップから第二学習用画像データが入力される第二機械学習モデルを備え、
   前記第二学習用画像データは、入力側の学習用画像データとなる明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとを有する第二加工前画像データ、及び出力側の学習用画像データとなる明るさ成分と色味成分との両方又は色味成分のみを有する第二加工後画像データから構成され、
   前記学習処理実行ステップにおいては、前記第二機械学習モデルを用いて、前記第二加工前画像データ及び第二加工後画像データに基づいて、当該第二加工前画像データを入力した前記第二機械学習モデルからの出力と、当該第二加工後画像データとの差分を最小化すべく前記第二機械学習モデルにおける設定値を学習する処理を実行する、ことを特徴とする学習方法。
7. 機械学習モデルを用いて対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論方法であって、
   対象画像データの入力を受け付ける入力ステップと、
   前記入力ステップから第一対象画像データが入力される第一機械学習モデルにおける第一機械学習ステップと、
   推論処理を実行する機械学習モデルを用いて、対象画像データに対して明るさ成分のみからなる画像データへの推論処理を実行可能とする推論処理実行ステップと、を備え、
   前記第一機械学習モデルは、明るさ成分及び色味成分、又は明るさ成分のみを有する入力側の第一加工前画像データ、及び明るさ成分のみを有する教師用画像データである出力側の第一加工後画像データに基づいて、当該第一加工前画像データを入力した前記第一機械学習モデルからの出力と、当該第一加工後画像データとの差分を最小化すべく当該第一機械学習モデルにおける設定値を学習したモデルであって、
   前記推論処理実行ステップにおいては、前記第一対象画像データを前記第一機械学習モデルに出力し、当該第一対象画像データは、明るさ成分及び色味成分、又は明るさ成分のみを有する画像データであって、
   前記第一機械学習モデルにおいては、前記第一対象画像データから推論された明るさ成分のみから成る第一推論画像データを生成し、
   前記推論方法は、さらに、
   前記入力ステップから第二対象画像データが入力される第二機械学習モデルを備え、
   前記推論処理実行ステップにおいては、前記第二対象画像データを前記第二機械学習モデルに出力し、当該第二対象画像データは、明るさ成分及び色味成分、又は色味成分のみを有する画像データと前記第一機械学習モデルで推論された明るさ成分のみからなる第一推論画像データとから構成され、
   前記第二機械学習モデルにおいては、前記第二対象画像データから推論された、明るさ成分及び色味成分、又は色味成分のみを有する第二推論画像データを生成する、ことを特徴とする推論方法。

Images