JP7112924B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

特許法第３０条第２項適用 株式会社ビジネスコミュニケーション社 ビジネスコミュニケーション ８月号 第５５巻 第８号 お客様のビジネス課題を解決する画像認識ＡＩサービス「Ｄｅｅｐｔｅｃｔｏｒ」 第２６～２７頁 発行日 平成３０年８月１日

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

例えば画像に対して画像認識を行って画像内に含まれる対象を認識する技術がある。この画像認識技術においては、近年、ニューラルネットワークを多層化したディープラーニング技術を利用して高い精度で対象を認識することが行われている。このディープラーニング技術は、一般的にはニューラルネットワークの入力層と出力層との間の中間層において複数段階に亘って層を重ねることにより高い精度で対象を認識する。

上述のディープラーニング技術によって対象物体をする判定パターンとしては、検出型、分類型、レベル判定型といったものが挙げられる。検出型の判定器は、対象物体の種類、大きさ、確信度を検出する。分類型の判定器は、対象物体の異常・正常を検出する。レベル判定型の判定器は、例えば画像の不適切度などの度合いを数字で表す。

いずれの判定器も、認識処理を行うために、対象物体を撮像した正常データ、および対象物体の異常な状態を撮像した異常データを教師データとして収集し、収集した教師データを学習モデルに入力する必要がある。そして、例えば、正常データを入力した場合には正常である（正常度合いが高い）と判定し、異常データを入力した場合には異常である（異常度合いが高い）と判定するように学習モデルにおける処理パラメータを学習する必要があった。

特開２０１２－０７３７６１号公報

しかしながら、異常な対象物体を収集することが困難な場合があり、この場合、正常データの収集数よりも異常データの収集数が少なくなり、当該正常データおよび異常データを教師データとして構築した学習モデルの判定結果は、十分な精度ではない可能性がある。

本発明は、上記の課題に鑑みてなされたものであって、正常な状態を表すデータの特徴量を用いた判定処理の精度を向上することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的としている。

（１）本発明の一態様は、正常な判定対象に関する複数の特徴量を取得する取得部と、前記取得部により取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換する変換部と、ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けることで、前記変換部により変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定する設定部と、判定対象に関する判定対象データに基づいて前記判定対象の特徴量を抽出する特徴量抽出部を備え、抽出した特徴量の特徴空間を、前記変換部により変換された特徴空間に変換する判定対象取得部と、前記判定対象取得部により特徴空間が変換された特徴量が前記設定部により設定された前記範囲内である場合、前記判定対象取得部により取得された特徴量が正常であると判定し、前記判定対象取得部により取得された特徴量が前記設定部により設定された前記範囲内ではない場合、前記判定対象取得部により取得された特徴量が異常であると判定する判定部と、を備え、前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、情報処理装置である。

（２）本発明の一態様は、上記の情報処理装置であって、前記正常な判定対象に関する判定対象データを、所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデルの処理パラメータを学習する学習処理部を更に備え、前記特徴量抽出部は、前記所定の規則に従って判定対象データを分割し、分割されたデータのそれぞれを用いて前記判定対象の特徴量を抽出し、前記判定部は、前記認識モデルに基づいて、分割されたデータのそれぞれを用いて抽出された特徴量を用いて判定する。

（３）本発明の一態様は、情報処理装置が、正常な判定対象に関する複数の特徴量を取得するステップと、前記情報処理装置が、取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換するステップと、前記情報処理装置が、ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定するステップと、判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出し、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換するステップと、前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定するステップと、を備え、前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、情報処理方法である。

（４）本発明の一態様は、コンピュータに、正常な判定対象に関する複数の特徴量を取得させ、取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換させ、ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定させ、判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出させ、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換させ、前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定させ、前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、プログラムである。

本発明の一態様によれば、正常な状態を表すデータの特徴量を用いた判定処理の精度を向上することができる。

本発明を適用した実施形態の画像判定装置１の機能的な構成を示すブロック図である。 本発明を適用した画像判定装置１の学習処理および認識処理を示す図である。 畳み込みニューラルネットワーク３００の一例を示す図である。 特徴空間を変換する一例を示す図であり、（ａ）は、次元Ａ，Ｂ，Ｃにより特定される特徴空間を表す図であり、（ｂ）は、次元Ｄ，Ｅ，Ｆにより特定される特徴空間を表す図であり、（ｃ）は、次元Ｇ，Ｈにより特定される特徴空間を表す図であり、（ｄ）は、次元Ｉ，Ｊ，Ｋ，Ｌにより特定される特徴空間を表す図ある。 特徴空間を変換したことによる複数の特徴量のばらつきについて説明するための図であり、（ａ）は特徴空間（Ａ，Ｂ，Ｃ）における特徴量の分布を示す図であり、（ｂ）は特徴空間（Ｄ，Ｅ）における特徴量の分布を示す図である。 特徴空間に判定領域を設定する処理を示す図である。 学習処理の一例を示すフローチャートである。 正常判定処理の一例を示すフローチャートである。 入力画像を分割することを説明するための概略図である。 畳み込みニューラルネットワーク３００Ａの一例を示す図である。 第２の実施形態における判定処理の一例を示すフローチャートである。 第２の実施形態における判定処理の他の一例を示すフローチャートである。

以下、本発明を適用した情報処理装置、情報処理方法、およびプログラムを、図面を参照して説明する。

本発明を適用した実施形態の情報処理装置は、例えば、図１に示すような画像判定装置１に備えられる。図１は、本発明を適用した実施形態の画像判定装置１の機能的な構成を示すブロック図である。画像判定装置１は、認識処理の処理パラメータを学習して、認識モデルを構築する。画像判定装置１は、認識モデルを用いた処理によって画像を判定するものである。画像判定装置１は、画像の判定を行うことにより、判定結果に基づいて対象物体が正常か否かを検査させることができる。なお、この実施形態の説明は、画像判定装置１が画像を認識するものについて説明するが、本発明に係る情報処理装置はこれに限定されない。情報処理装置は、例えば、対象物体の検査音や作業音などの音が正常か否かを判定するものであってもよく、後述する正常データによって認識モデルを構築し、認識モデルを用いて正常か否かを判定するものであればよい。

画像判定装置１は、学習画像蓄積部１０と、学習処理部２０と、認識処理部３０と、判定結果管理部４０と、インターフェース部５０と、学習制御部７０とを有する。画像判定装置１は、ソフトウェアを実行する制御装置および記憶部を有するコンピュータである。画像判定装置１は、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部（不図示）に記憶されているプログラムを実行することによって機能するソフトウェア機能部である。また、画像判定装置１は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってよい。画像判定装置１において情報を記憶する記憶部（１４、３２、４２、７２、７４）は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory），ＲＯＭ（Read Only Memory），またはＲＡＭ（Random Access Memory）等により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、および外部から取得した情報などが記憶される。

学習画像蓄積部１０は、画像変換部１２と、学習画像データベース１４とを有する。画像変換部１２は、学習処理に使用される正例画像の入力を受け付ける。正例画像とは、例えば、正常な状態の対象物体を撮像した画像である。なお、正例画像には、当該正例画像の属性情報（タグ、クラス）が付加されない。画像変換部１２は、前処理として、例えば、正例画像を、所定のサイズの画像に分割する。画像変換部１２は、前処理を施した画像を学習画像として学習画像データベース１４に蓄積する。学習画像データベース１４には、画像変換部１２により分割された正例画像が学習画像として複数蓄積される。なお、画像判定装置１には随時正例画像が供給され、正例画像が供給されたことに応じて後述する学習処理を行ってもよい。

学習処理部２０には、学習画像蓄積部１０から出力された学習画像が供給される。学習処理部２０は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部２０は、正常であるという判定結果となるように認識処理部３０（認識モデル３２Ａ）の処理パラメータを学習し、学習結果データを生成する。認識処理部３０（認識モデル３２Ａ）の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ（重み、バイアスともいう）である。学習結果データは、認識処理部３０における学習結果データ記憶部３２に記憶される。

認識処理部３０は、例えば、学習結果データ記憶部３２と、判定部３４とを有する。学習結果データ記憶部３２には、学習結果としての認識処理部３０の処理パラメータが蓄積され、認識処理部３０の処理パラメータは、学習処理部２０によって更新される。認識処理部３０は、対象物体の入力画像を取得した場合、認識処理部３０の処理パラメータに基づく認識モデル３２Ａを用いて特徴量を抽出する。判定部３４は、抽出した特徴量に基づいて、対象物体が正常であるか否かを判定する。認識処理部３０は、判定部３４による判定結果を判定結果管理部４０に出力する。

判定結果管理部４０は、判定結果データ記憶部４２を有する。判定結果データ記憶部４２は、認識処理部３０により出力された判定結果を蓄積する。判定結果管理部４０は、判定情報をインターフェース部５０に出力して、インターフェース部５０により判定結果を出力させる。

判定結果管理部４０における判定結果データ記憶部４２には、管理端末６０が接続されていてもよい。管理端末６０は、管理者が操作するユーザインターフェース部６２を有するコンピュータにより実現される。ユーザインターフェース部６２は、ユーザによる操作を受け付ける操作部、およびユーザに各種情報を提示する表示部を有する。管理端末６０は、ユーザインターフェース部６２により受け付けられた操作に基づいて、異常と判定された正例画像を特定する。管理端末６０は、例えば、異常と判定された正例画像のファイル名やＩＤなどの情報を修正結果として学習制御部７０に出力する。管理端末６０から学習制御部７０に出力された修正結果は、再学習データ記憶部７２に蓄積される。

認識処理部３０は、任意の画像の認識を実施する場合、外部から認識対象となる画像が供給される。認識処理部３０により未知の画像に対して認識処理を行った結果は、判定結果データ記憶部４２に記憶され、未知の画像と共に管理端末６０に読み込まれる。そして、管理端末６０によって判定結果が修正された場合、未知の画像は、修正結果が付加されて学習制御部７０に供給される。

学習制御部７０は、再学習データ記憶部７２および繰り返し学習データ記憶部７４を有する。学習制御部７０には、判定結果管理部４０から出力された判定結果および管理端末６０から出力された修正結果が供給される。学習制御部７０は、異常と判定された正例画像を、再学習データ記憶部７２に記憶させる。すなわち、再学習データは、正常であると判定されるべきであるが、異常と判定された正例画像である。

学習制御部７０は、繰り返し学習データを作成する。学習制御部７０は、再学習データ記憶部７２に記憶された再学習データと、学習画像データベース１４に記憶された学習画像とを組み合わせて、繰り返し学習データ（学習対象データ）を作成する。この繰り返し学習データは、繰り返し学習データ記憶部７４に記憶される。

インターフェース部５０は、画像判定装置１の外部の装置と通信を行う通信インターフェースにより実現される。インターフェース部５０は、判定結果を判定結果管理部４０から入力して、当該判定結果を管理端末６０に出力する。インターフェース部５０は、管理端末６０から修正結果が供給されたことに応じて、修正結果を学習制御部７０に出力する。

図２は、本発明を適用した画像判定装置１の学習処理および認識処理を示す図である。学習処理部２０には、正例画像１００が複数供給される。認識処理部３０は、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network；CNN)３００により実現される。畳み込みニューラルネットワーク３００は、中間層としての複数の特徴量抽出部（畳み込み層、フィルタ部とも呼ばれる）３１０と、判別部（出力層とも呼ばれる）３２０とを有する。

なお、学習処理部２０による学習手法は、畳み込みニューラルネットワークの処理パラメータの設定であってもよく、その他の機械学習手法でもよく、学習結果データ記憶部３２には、学習手法に応じた学習結果が記憶される。認識処理部３０は、学習結果データ記憶部３２に記憶された学習結果に基づいて判定結果を得ることとなる。

特徴量抽出部３１０には、判定対象として入力画像１２０が入力される。入力画像１２０には対象物体の異常を表す黒点が含まれているものとする。特徴量抽出部３１０は、それぞれ、例えば、入力されたデータにフィルタ係数に基づくフィルタリング（乗算処理）を行い、フィルタリング後の画像（特徴）にバイアス値を加算することで特徴量を抽出する。上述した認識処理部３０の処理パラメータは、例えば、特徴量抽出部３１０におけるフィルタ係数である。特徴量抽出部３１０は、入力画像１２０に含まれる特徴量を抽出し、判定部３４に供給する。

判定部３４は、特徴量抽出部３１０から供給された特徴量が所定の領域（正常領域５００）に含まれる場合、正常であると判定し、特徴量抽出部３１０から供給された特徴量が所定の領域に含まれない場合、異常であると判定する。判定部３４は、判定結果として、マップ２００を生成する。マップ２００は、対象物体の箇所に、当該箇所が正常であるか否かを表す画像をマッピングした画像データである。マップ２００には、入力画像１２０において異常と判定された箇所を特定する部分画像２００ａが含まれる。

図３は、畳み込みニューラルネットワーク３００の一例を示す図である。畳み込みニューラルネットワーク３００は、認識モデル３２Ａに相当する。畳み込みニューラルネットワーク３００は、例えば、複数の特徴量抽出部３１０－１、３１０－２と、判別部３２０とを備える。特徴量抽出部３１０－１と判別部３２０との間には、一つの特徴量抽出部３１０－２があるが、これに限定されず、複数の特徴量抽出部３１０が存在していてもよい。

特徴量抽出部３１０－１は、複数の要素３１０－１ａを備える。各要素３１０－１ａは、上述したように、フィルタ処理を行うことで画像の特徴量を抽出する。特徴量抽出部３１０－１の各要素３１０－１ａには判定対象としての入力画像が入力される。要素３１０－１ａに入力される画像は、入力画像を所定の第１のサイズに分割した画像１２２である。要素３１０－１ａは、入力された画像の特徴量を抽出し、抽出した特徴量を上位層としての特徴量抽出部３１０－２における所定の要素３１０－２ａに供給する。なお、特徴量抽出部３１０－１から特徴量が供給される特徴量抽出部３１０－２は、予め設定されている。

特徴量抽出部３１０－２は、複数の要素３１０－２ａを備える。要素３１０－２ａは、複数の要素３１０－１ａのそれぞれから特徴量が供給される。要素３１０－２ａは、複数の特徴量に基づいて、上述したようにフィルタ処理を行うことで第２のサイズの画像１２４の特徴量を抽出する。第２のサイズの特徴量を抽出する。第２のサイズは、第１のサイズよりも大きい。要素３１０－２ａは、抽出した特徴量を、判別部３２０ではなく、判定部３４に供給する。

判別部３２０は、特徴量抽出部３１０－２により抽出された特徴量に基づいて、判別処理を行う。判別部３２０は、正常であるか否かを判定するものであってもよく、正常である度合いを数値（レベル）で出力するものであってもよい。

図４、図５および図６は、判定部３４の処理を説明するための図である。
図４は、特徴空間を変換する一例を示す図である。図４（ａ）は、次元Ａ，Ｂ，Ｃにより特定される特徴空間を表す図であり、図４（ｂ）は、次元Ｄ，Ｅ，Ｆにより特定される特徴空間を表す図であり、図４（ｃ）は、次元Ｇ，Ｈにより特定される特徴空間を表す図であり、図４（ｄ）は、次元Ｉ，Ｊ，Ｋ，Ｌにより特定される特徴空間を表す図ある。

特徴量は、例えば、多次元の特徴ベクトル（ａ，ｂ，ｃ・・・・）を表すデータとして表現される。特徴ベクトル（ａ，ｂ，ｃ・・・・）において、例えば、ａはＡ次元の値であり、ｂはＢ次元の値であり、ｃはＣ次元の値である。特徴ベクトルの次元数は、対象物体の特徴の数に相当する。例えば、対象物体が人間の顔である場合、目（Ａ）、鼻（Ｂ）、口（Ｃ）、耳（Ｄ）という４個（４次元）の特徴があり、それぞれの特徴（Ａ，Ｂ，Ｃ，Ｄ）に値（ａ，ｂ，ｃ，ｄ）が存在する。

判定部３４は、特徴量を表す特徴ベクトルの次元、および次元数を選択することにより、特徴空間を変換する。判定部３４は、特徴ベクトルに含まれる次元のうち、複数の特徴量が適度にまとまっている次元を選択する学習処理を行う。判定部３４が図４（ａ）の特徴空間（Ａ，Ｂ，Ｃ）を選択した場合、複数の特徴量は、当該特徴空間（Ａ，Ｂ，Ｃ）において、特徴ベクトルの次元のうちＡ，Ｂ，Ｃの次元の値ａ，ｂ，ｃに基づいて分布する。

判定部３４は、図４（ａ）に示す特徴空間（Ａ，Ｂ，Ｃ）を、図４（ｂ）に示す特徴空間（Ｄ，Ｅ，Ｆ）に変換してよい。Ｄ，Ｅ，Ｆという特徴は、Ａ，Ｂ，Ｃという特徴とは異なる特徴である。これにより、複数の特徴量は、当該特徴空間（Ｄ，Ｅ，Ｆ）において、特徴ベクトルの次元のうちＤ，Ｅ，Ｆの次元の値ｄ，ｅ，ｆに基づいて分布する。この結果、判定部３４は、特徴空間を変換することで、特徴量の分布を変更することができる。

判定部３４は、図４（ａ）に示す特徴空間（Ａ，Ｂ，Ｃ）を、図４（ｃ）に示す特徴空間（Ｇ，Ｈ）に変換してよい。すなわち、判定部３４は、特徴を減らすことで特徴空間を変換してよい。Ｇ，Ｈという特徴は、Ａ，Ｂ，Ｃという特徴とは異なる特徴である。これにより、複数の特徴量は、当該特徴空間（Ｇ，Ｈ）において、特徴ベクトルの次元のうちＧ，Ｈの次元の値ｇ，ｈに基づいて分布する。この結果、判定部３４は、特徴空間を変換することで、特徴量の分布を変更することができる。なお、判定部３４は、特徴空間（Ａ，Ｂ，Ｃ）を、同じ特徴の特徴空間（Ａ，Ｂ）のように減じてよい。

判定部３４は、図４（ａ）に示す特徴空間（Ａ，Ｂ，Ｃ）を、図４（ｄ）に示す特徴空間（Ｉ，Ｊ，Ｋ，Ｌ）に変換してよい。Ｉ，Ｊ，Ｋ，Ｌという特徴は、Ａ，Ｂ，Ｃという特徴とは異なる特徴である。すなわち、判定部３４は、特徴を増やすことで特徴空間を変換してよい。これにより、複数の特徴量は、当該特徴空間（Ｉ，Ｊ，Ｋ，Ｌ）において、特徴ベクトルの次元のうちＩ，Ｊ，Ｋ，Ｌの次元の値ｉ，ｊ，ｋ，ｌに基づいて分布する。この結果、判定部３４は、特徴空間を変換することで、特徴量の分布を変更することができる。

図５は、特徴空間を変換したことによる複数の特徴量のばらつきについて説明するための図である。図５（ａ）は特徴空間（Ａ，Ｂ，Ｃ）における特徴量の分布を示す図であり、図５（ｂ）は特徴空間（Ｄ，Ｅ）における特徴量の分布を示す図である。判定部３４は、特徴量抽出部３１０から供給された特徴量を示す特徴ベクトルのうち値ａ，ｂ，ｃに従って特徴量を分布させる。この場合、複数の特徴量は、図５（ａ）に示すように、特徴空間（Ａ，Ｂ，Ｃ）における広範囲に分布している。そこで、判定部３４は、特徴空間を、特徴空間（Ａ，Ｂ，Ｃ）から特徴空間（Ｄ，Ｅ）に変換する。すると、複数の特徴量は、図５（ｂ）に示すように、特徴空間（Ｄ，Ｅ）に対応する値ｄ，ｅに従って分布する。これにより、判定部３４は、特徴空間（Ｄ，Ｅ）が特徴空間（Ａ，Ｂ，Ｃ）よりも狭い範囲に複数の特徴量を分布させることができると学習することができる。このように、判定部３４は、特徴空間を変換して特徴量の分布を観測することで、対象物体の判定に適切な特徴空間を学習させることができる。

図６は、特徴空間に判定領域を設定する処理を示す図である。判定部３４は、特徴空間を決定した後、当該特徴空間に正常領域５００を設定する。判定部３４は、例えば、異常検知率および／または正常検知率を表す情報を受け付ける。判定部３４は、例えば、ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付ける。異常検知率および／または正常検知率を表す情報は、異常検知率および／または正常検知率を表す値（パラメータ）であってよい。

判定部３４は、異常検知率を増加させ、正常検知率を減少させる場合、図６（ａ）のように狭い正常領域５００を設定する。これにより、判定部３４は、正常領域５００に含まれない特徴量が発生する確率を高くすることができる。判定部３４は、異常検知率を減少させ、正常検知率を増加させる場合、図６（ｂ）のように広い正常領域５００を設定する。これにより、判定部３４は、正常領域５００に含まれる特徴量が発生する確率を低くすることができる。

判定部３４は、ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けるので、ユーザのタスク（課題）に応じて適切な正常領域５００を設定することができる。すなわち、多数の対象物体のうち正常でない対象物体を厳密に抽出したい場合には、正常領域５００を狭く設定することができる。多数の対象物体のうち正常な対象物体から大幅に逸脱している対象物体を主として抽出したい場合には、正常領域５００を広く設定することができる。

図７は、学習処理の一例を示すフローチャートである。
画像判定装置１は、まず正例画像を入力する（ステップＳ１００）。正例画像は、学習画像データベース１４に蓄積される。学習処理部２０は、正例画像を用いて学習処理を行う（ステップＳ１０２）。なお、正常判定処理において入力画像を分割する場合には、ステップＳ１０２の学習処理において、入力画像を分割し、分割した複数の画像を用いて学習を行うことが望ましい。これにより、学習処理部２０は、認識モデル３２Ａにおける処理パラメータを学習する。学習処理部２０は、学習画像データベース１４に蓄積された正例画像を用いた認識モデル３２Ａの学習が終了したか否かを判定する（ステップＳ１０４）。学習処理部２０は、例えば、学習画像データベース１４に蓄積された全ての正例画像を用いた場合、認識モデル３２Ａの学習処理が終了したと判定する（ステップＳ１０４：ＹＥＳ）。学習処理部２０は、認識モデル３２Ａの学習処理が終了していない場合（ステップＳ１０４：ＮＯ）、ステップＳ１００からの処理を繰り返す。

次に、認識モデル３２Ａにおける特徴量抽出部３１０は、複数の特徴量を抽出する（ステップＳ１０６）。特徴量抽出部３１０は、例えば、学習処理に用いた一つの正例画像から複数の特徴量を抽出する。特徴量抽出部３１０は、学習処理に用いた複数の正例画像のそれぞれから複数の特徴量を抽出してよい。特徴量抽出部３１０は、学習処理に用いていない画像から複数の特徴量を抽出してよい。各特徴量は、上述したように、例えば要素３１０－２ａから出力された特徴量であってよいが、要素３１０－１ａから出力された特徴量であってもよい。

次に、判定部３４は、特徴空間を設定する（ステップＳ１０８）。判定部３４は、例えば特徴量を表す特徴ベクトルがＮ（Ｎは自然数）次元である場合、任意の次元を複数選択することで特徴空間を設定する。判定部３４は、複数の特徴量のばらつきが適切であるか否かを判定する（ステップＳ１１０）。判定部３４は、複数の特徴量のばらつきが適切である場合（ステップＳ１１０：ＹＥＳ）、特徴空間の学習を完了してステップＳ１１２に処理を進める。判定部３４は、複数の特徴量のばらつきが適切ではない場合（ステップＳ１１０：ＮＯ）、特徴空間の再設定をする（ステップＳ１０８）。

次に、判定部３４は、学習した特徴空間に正常領域５００を設定する（ステップＳ１１２）。これにより、画像判定装置１は、認識モデル３２Ａの処理パラメータを学習し、特徴量が正常であるか否かを判定する特徴空間を学習し、特徴空間に正常領域５００を設定することができる。

図８は、正常判定処理の一例を示すフローチャートである。
まず画像判定装置１は、入力画像を取得する（ステップＳ２００）。画像判定装置１は、取得した入力画像を分割する（ステップＳ２０２）。図９は、入力画像を分割することを説明するための概略図である。画像判定装置１は、入力画像１２０を、所定のサイズに分割して、複数の分割画像１２０Ａを取得する。画像判定装置１は、分割画像１２０Ａを、認識モデル３２Ａの特徴量抽出部３１０に入力する（ステップＳ２０４）。なお、入力画像のサイズが分割する必要が無い場合、ステップＳ２０２はスキップされる。

次に判定部３４は、特徴量抽出部３１０から特徴量を取得する（ステップＳ２０６）。判定部３４は、取得した特徴量の特徴空間を、学習処理において学習済みの特徴空間に変換する（ステップＳ２０８）。例えば、取得した特徴量が特徴ベクトル（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，・・・・）により表現され、学習済みの特徴空間が特徴空間（Ｄ，Ｅ）である場合、特徴ベクトルのうち（ｄ，ｅ）を特徴量として取得し、特徴空間（Ｄ，Ｅ）にマッピングする。これにより、判定部３４は、取得した特徴量の特徴空間を変換する。

次に判定部３４は、正常判定処理を行う（ステップＳ２１０）。正常判定処理は、取得した特徴量（ｄ，ｅ）が、学習済みの特徴空間（Ｄ，Ｅ）において設定した正常領域５００の範囲内であるか否かを判定する。判定部３４は、正常判定処理が終了したか否かを判定する（ステップＳ２１２）。判定部３４は、分割画像１２０Ａの全てについて正常判定処理を行っていない場合（ステップＳ２１２：ＮＯ）、未処理の分割画像１２０ＡについてステップＳ２０４以降の処理を行う。判定部３４は、分割画像１２０Ａの全てについて正常判定処理を行った場合（ステップＳ２１２：ＹＥＳ）、処理をステップＳ２１４に進める。

判定部３４は、正常判定処理の判定結果に基づいて、マップを作成する（ステップＳ２１４）。判定部３４は、正常領域５００内の特徴量が得られた入力画像位置よりも、正常領域５００外の特徴量が得られた入力画像位置が目立つようにマップを作成する。判定部３４は、作成したマップを、例えば管理端末６０に出力する（ステップＳ２１６）。

なお、本実施形態において、判定部３４が取得する特徴量は、特徴量抽出部３１０から出力された特徴量であるものとしたが、これに限定されず、対象の特徴量を抽出することができるものであれば、認識モデル３２Ａの特徴量抽出部３１０でなくてもよい。

以上説明した実施形態によれば、正常な判定対象に関する複数の特徴量の特徴空間におけるばらつきに基づいて複数の特徴量の特徴空間を変換し、変換された特徴空間において特徴量が正常であると判定するための範囲を設定する。すなわち、画像判定装置１によれば、正例のみの特徴量が適度なばらつきを持つように特徴空間を学習することができる。具体的に、画像判定装置１は、入力画像の特徴量が、学習済みの正常領域５００内である場合、当該特徴量が正常であると判定し、特徴量が正常領域５００内ではない場合、特徴量が異常であると判定することができる。これにより、画像判定装置１によれば、正例のみの特徴量を用いた判定処理の精度を向上することができる。

また、画像判定装置１によれば、入力画像の特徴量の特徴空間を、学習した特徴空間に変換し、特徴空間が変換された入力画像の特徴量を用いて判定するので、適度なばらつきとなるように学習した特徴空間で入力画像を判定することができる。

さらに、画像判定装置１によれば、ユーザの操作に基づいて正常領域５００が包含する特徴空間における領域を変化させることができる。これにより、画像判定装置１によれば、タスクに応じて正常領域５００を変更することができる。例えば、異常検知率を高くして異常を精密に調査したい合には正常領域５００を狭く設定し、異常検知率を低くして明らかな異常を抽出したい場合には正常領域５００を広く設定することができる。この結果、画像判定装置１は、ユーザの利便性を向上させることができる。

さらに、画像判定装置１によれば、正例画像を所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデル３２Ａの処理パラメータを学習する。また、画像判定装置１によれば、入力画像を所定の規則に従って複数の画像に分割し、それぞれの画像について判定処理を行うことができる。これにより、画像判定装置１によれば、入力画像を縮小するなどの処理により対象物体の特徴がつぶれてしまい、誤判定をすることを抑制することができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第２の実施形態の画像判定装置１は、畳み込みニューラルネットワーク３００Ａにおける複数の特徴量抽出部３１０のうち、任意の階層の特徴量抽出部３１０から特徴量を抽出して、判定対象が正常であるか否かを判定する点で、第１の実施形態の画像判定装置１とは相違する。以下、当該相違点を中心に説明する。

図１０は、畳み込みニューラルネットワーク３００Ａの一例を示す図である。畳み込みニューラルネットワーク３００Ａは、複数の特徴量抽出部３１０を備える。畳み込みニューラルネットワーク３００Ａは、複数の畳み込みニューラルネットワーク３００のうち少なくとも一つの特徴量抽出部３１０から複数の特徴量を判定部３４に出力する。

畳み込みニューラルネットワーク３００Ａにおける特徴量抽出部３１０－１、３１０－２のうち、下位層の特徴量抽出部３１０－１は、第１のサイズの特徴量３００ａ－１を抽出して、当該複数の特徴量を判定部３４に出力する。第１のサイズの特徴量３００ａ－１は、上位層の特徴量抽出部３１０－２により抽出される第２のサイズの特徴量３００ａ－２よりも、小さいサイズの特徴量である。

判定部３４は、特徴量抽出部３１０－１により抽出された特徴量３００ａ－１と、特徴量抽出部３１０－２により抽出された特徴量３００ａ－２とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する。

図１１は、第２の実施形態における判定処理の一例を示すフローチャートである。
画像判定装置１は、例えば、ユーザの操作に基づいて判定処理のタスクを受け付ける（ステップＳ３００）。画像判定装置１は、例えば、対象物体の微小な異常を判定したいというタスク、または、対象物体の大きな異常を判定したいというタスクを受け付ける。対象物体の微小な異常は、例えば、対象物体（生産品など）の細かい傷である。対象物体の大きな異常は、例えば、室内などの所定の空間において存在する異物である。

画像判定装置１は、特徴量抽出部３１０により画像を入力した後（ステップＳ２０４）ステップＳ３００において受け付けたタスクに基づいて、特徴量抽出部３１０を選択する（ステップＳ３０２）。画像判定装置１は、例えば、対象物体の微小な異常を判定したいというタスクを受け付けた場合、第１のサイズの異常を抽出する特徴量抽出部３１０－１を選択する。画像判定装置１は、例えば、対象物体の大きな異常を判定したいというタスクを受け付けた場合、第２のサイズの異常を抽出する得特徴量抽出部３１０－２を選択する。次に画像判定装置１は、選択した特徴量抽出部３１０から特徴量を取得する（ステップＳ３０４）。そして、画像判定装置１は、取得した特徴量を用いて、特徴空間の変換（ステップＳ２０８）、および正常判定処理（ステップＳ２１０）を行う。

図１２は、第２の実施形態における判定処理の他の一例を示すフローチャートである。
画像判定装置１は、特徴量抽出部３１０により画像を入力した後（ステップＳ２０４）複数の特徴量抽出部３１０を選択する（ステップＳ３０２＃）。複数の特徴量抽出部３１０は、例えば、それぞれ抽出する特徴量のサイズが異なる特徴量抽出部３１０である。次に画像判定装置１は、選択した複数の特徴量抽出部３１０から特徴量を取得する（ステップＳ３０４＃）。

次に画像判定装置１は、１つの特徴量抽出部３１０から抽出した複数の特徴量ごとに、特徴空間の変換（ステップＳ２０８＃）、および正常判定処理（ステップＳ３０６＃）を行う。画像判定装置１は、例えば、２つの特徴量抽出部３１０－１，３１０－２を選択した場合、特徴量抽出部３１０－１により抽出された複数の特徴量の特徴空間の変換および第１の正常判定処理と、特徴量抽出部３１０－２により抽出された複数の特徴量の特徴空間の変換および第２の正常判定処理と、を並行して実行する。

画像判定装置１は、正常判定処理（ステップＳ３０６＃）において、複数の正常判定処理の判定結果に基づいて、対象物体が正常であるか否かを判定する。画像判定装置１は、例えば、２つの特徴量抽出部３１０－１，３１０－２を選択した場合、第１の正常判定処理の判定結果と、第２の正常判定処理の判定結果とに基づいて、対象物体が正常であるか否かを判定する。画像判定装置１は、例えば、ある空間において第２のサイズの特徴量を用いた第２の正常判定処理の判定結果が“異常”であった場合、当該第２の特徴量を得るために用いた第１のサイズの特徴量を特定する。画像判定装置１は、特定した第１のサイズの特徴量を用いた第１の正常判定処理の判定結果に基づいて、第１のサイズ（微小）な異常を検出する。

なお、画像判定装置１は、第１の正常判定処理と第２の正常判定処理とを並行して実行するのに限らず、第２の正常判定処理の判定結果に基づいて、特徴量抽出部３１０－１により抽出した第１のサイズの特徴量を用いた特徴空間の変換および第１の正常判定処理を実行するか否かを判定してよい。すなわち、画像判定装置１は、第２のサイズの特徴量を用いた第２の正常判定処理により異常と判定されなかった場合、第１のサイズの特徴量を用いた特徴空間の変換および第１の正常判定処理を実行せず、第２のサイズの特徴量を用いた第２の正常判定処理により異常と判定された場合、第１のサイズの特徴量を用いた特徴空間の変換および第１の正常判定処理を実行する。これにより、画像判定装置１は、まず、大まかな異常を判定し、大まかな異常がある場合に、微小な異常を判定することができる。この結果、画像判定装置１は、大まかな異常と微小な異常とに基づいて対象物体の異常を解析することができる。また、画像判定装置１は、大まかな異常がない場合、微小な異常のための処理を削減することができる。

なお、画像判定装置１は、第１の正常判定処理と第２の正常判定処理とを並行して実行するのに限らず、第１の正常判定処理の判定結果に基づいて、特徴量抽出部３１０－２により抽出した第２のサイズの特徴量を用いた特徴空間の変換および第２の正常判定処理を実行するか否かを判定してよい。すなわち、画像判定装置１は、第１のサイズの特徴量を用いた第１の正常判定処理により異常と判定されなかった場合、第２のサイズの特徴量を用いた特徴空間の変換および第２の正常判定処理を実行せず、第１のサイズの特徴量を用いた第１の正常判定処理により異常と判定された場合、第２のサイズの特徴量を用いた特徴空間の変換および第２の正常判定処理を実行する。これにより、画像判定装置１は、まず、微小な異常を判定し、微小な異常がある場合に、大まか異常を判定することができる。この結果、画像判定装置１によれば、微小な異常がある場合に、当該微小な異常が大まかな異常に影響するかを解析することができる。また、画像判定装置１は、微小な異常がない場合、大まかな異常のための処理を削減することができる。

以上説明した第２の実施形態の画像判定装置１によれば、第１のサイズの判定対象データから特徴量を抽出する第１の特徴量抽出部（３１０－１）と、第１のサイズとは異なる第２のサイズの判定対象データから特徴量を抽出する第２の特徴量抽出部（３１０－２）と、第１の特徴量抽出部により抽出された特徴量と、第２の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部３４と、を備える。これにより、画像判定装置１によれば、タスクによって異なる特徴量を用いて判定対象が正常であるか否かを判定することができ、ユーザの利便性を向上させることができる。

また、第２の実施形態の画像判定装置１によれば、特徴量抽出部３１０および判別部３２０を含む畳み込みニューラルネットワーク３００Ａのうち、特徴量抽出部３１０を用いて特徴量を抽出することができる。

さらに、第２の実施形態の画像判定装置１によれば、特徴量抽出部３１０－１、および特徴量抽出部３１０－２という二つの特徴量抽出部３１０を、同じ学習データを用いて生成することができる。

さらに、第２の実施形態の画像判定装置１によれば、特徴量抽出部３１０－１により抽出された特徴量と特徴量抽出部３１０－２により抽出された特徴量との何れか一方の特徴量を用いて正常判定処理を行うので、ユーザが望むタスクに応じて二つの特徴量抽出部３１０を使い分けることができ、ユーザの利便性を向上させることができる。

さらに、第２の実施形態の画像判定装置１によれば、特徴量抽出部３１０－１により抽出された特徴量と特徴量抽出部３１０－２により抽出された特徴量との双方の特徴量を用いて正常判定処理を行うので、例えば、大まかな異常が検出された箇所で、微小な異常を判定するなど、正常判定処理の判定精度を向上させることができる。

さらに、第２の実施形態の画像判定装置１によれば、正例画像を所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデル３２Ａの処理パラメータを学習する。また、画像判定装置１によれば、入力画像を所定の規則に従って複数の画像に分割し、それぞれの画像について判定処理を行うことができる。これにより、画像判定装置１によれば、入力画像を縮小するなどの処理により対象物体の特徴がつぶれてしまい、誤判定をすることを抑制することができる。

なお、各実施形態、各変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

なお、本実施形態における画像判定装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、画像判定装置１に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

１ 画像判定装置
１０ 学習画像蓄積部
１２ 画像変換部
１４ 記憶部
１４ 学習画像データベース
２０ 学習処理部
３０ 認識処理部
３２ 学習結果データ記憶部
３２Ａ 認識モデル
３４ 判定部
４０ 判定結果管理部
４２ 判定結果データ記憶部
５０ インターフェース部
６０ 管理端末
６２ ユーザインターフェース部
７０ 学習制御部
７２ 再学習データ記憶部
７４ 学習データ記憶部
３００、３００Ａ ニューラルネットワーク
３１０、３１０－１、３１０－２ 特徴量抽出部
３２０ 判別部
５００ 正常領域

Claims (4)

1. 正常な判定対象に関する複数の特徴量を取得する取得部と、
   前記取得部により取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換する変換部と、
   ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けることで、前記変換部により変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定する設定部と、
   判定対象に関する判定対象データに基づいて前記判定対象の特徴量を抽出する特徴量抽出部を備え、抽出した特徴量の特徴空間を、前記変換部により変換された特徴空間に変換する判定対象取得部と、
   前記判定対象取得部により特徴空間が変換された特徴量が前記設定部により設定された前記範囲内である場合、前記判定対象取得部により取得された特徴量が正常であると判定し、前記判定対象取得部により取得された特徴量が前記設定部により設定された前記範囲内ではない場合、前記判定対象取得部により取得された特徴量が異常であると判定する判定部と、を備え、
   前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、情報処理装置。
2. 前記正常な判定対象に関する判定対象データを、所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデルの処理パラメータを学習する学習処理部を更に備え、
   前記特徴量抽出部は、前記所定の規則に従って判定対象データを分割し、分割されたデータのそれぞれを用いて前記判定対象の特徴量を抽出し、
   前記判定部は、前記認識モデルに基づいて、分割されたデータのそれぞれを用いて抽出された特徴量を用いて判定する、
   請求項１に記載の情報処理装置。
3. 情報処理装置が、正常な判定対象に関する複数の特徴量を取得するステップと、
   前記情報処理装置が、取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換するステップと、
   前記情報処理装置が、ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定するステップと、
   判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出し、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換するステップと、
   前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定するステップと、を備え、
   前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である
   情報処理方法。
4. コンピュータに、
   正常な判定対象に関する複数の特徴量を取得させ、
   取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換させ、
   ユーザの操作に基づいて異常検知率および／または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定させ、
   判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出させ、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換させ、
   前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定させ、
   前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、
   プログラム。

Images