JP6995031B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Description

本発明は、画像中の対象物を自動で分類した分類結果に基づいて当該対象物に関する判定を行う判定システムに関し、より詳細には当該判定システムにおける判定結果を管理する情報処理装置等に関する。

機械学習済みのアルゴリズムを用いて画像に写る対象物を自動で分類する技術が知られている。ただし、自動分類の精度は１００％ではない。このため、人による目視判定を併用することにより、分類精度を担保することが行われている。例えば、下記の特許文献１には、コンテンツとそのコンテンツのカテゴリを表すラベルを表示し、利用者がラベルを修正した場合に、上記コンテンツのラベルを修正されたラベルで更新した上で教師データとする構成が記載されている。

特許第６２９１８４４号公報

上述のような従来技術では、目視判定の結果はラベルの更新に用いられるのみであり、それ以外の用途に活用することは想定されていない。本発明の一態様は、目視判定の結果の活用の範囲を広げることのできる情報処理装置等を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、画像中の対象物を機械学習済みの分類部で分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムにおける上記分類部の分類結果を区分する情報処理装置であって、上記分類部による分類済みの対象物について行われた目視判定において、（１）上記対象物の上記所定の分類への属否、および（２）上記分類部による分類結果の正否、が判定された結果である目視判定結果を取得する目視判定結果取得部と、上記目視判定結果における上記（１）、（２）の組み合わせに応じて上記分類部の分類結果を区分する区分部と、を備えている。

上記の課題を解決するために、本発明の一態様に係る情報処理方法は、画像中の対象物を機械学習済みの分類部で分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムにおける上記分類部の分類結果を区分する情報処理装置による情報処理方法であって、上記分類部による分類済みの対象物について行われた目視判定において、（１）上記対象物の上記所定の分類への属否、および（２）上記分類結果の正否、が判定された結果である目視判定結果を取得する目視判定結果取得ステップと、上記目視判定結果における上記（１）、（２）の組み合わせに応じて上記分類部の分類結果を区分する区分ステップと、を含む。

本発明の一態様によれば、目視判定結果の活用の範囲を広げることができる。

本発明の実施形態１に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置を含む情報処理システムの構成例を示す図である。 食品生産工場において生産された食品を上記情報処理システムの判定対象物として撮影した例を示す図である。 上記情報処理装置の判定結果のパターン区分を示す図である。 目視判定におけるＵＩ画面例を示す図である。 分類部による分類を行うことができなかった場合の判定結果のパターン区分を示す図である。 上記情報処理装置が製品の正否を判定すると共に、その判定結果のパターンを区分する処理の一例を示すフローチャートである。 図７のＳ１３で行われる区分処理の一例を示すフローチャートである。 上記情報処理装置が上記パターンの分類に基づいて訓練データを生成する処理の一例を示すフローチャートである。 本発明の実施形態２に係る情報処理装置が誤判定数を算出する処理の一例を示すフローチャートである。 本発明の実施形態３に係る情報処理装置が再学習のタイミングを決定する処理を説明する図である。 本発明の実施形態４に係る情報処理装置の制御部の構成例を示すブロック図である。 上記情報処理装置が実行する処理を説明する図である。

実行する処理を説明する図である。
〔実施形態１〕
本発明の一実施形態について図１～図９に基づいて説明する。

〔システム構成〕
まず、本実施形態に係る情報処理システム５００の構成を図２に基づいて説明する。図２は、情報処理システム５００の構成例を示す図である。情報処理システム５００は、所定の対象物を撮影した画像から、その対象物の正否判定を行う機能を備えている。図示のように、情報処理システム５００は、情報処理装置１と目視検査端末２と端末装置３を含む。

情報処理装置１は、上記対象物を撮影した画像から、当該対象物を所定のアルゴリズムにより所定の複数の分類カテゴリの何れかに自動で分類する。そして、情報処理装置１は、その分類結果が所定の分類カテゴリと一致するか否かによって、当該対象物の正否判定を行う。つまり、情報処理装置１は、分類結果が所定の分類カテゴリと一致すれば正（対象物に問題なし）と判定し、一致しなければ否（対象物に問題あり）と判定する。

目視検査端末２は、情報処理装置１では良と判定されなかった対象物の目視判定を行うための装置である。また、目視検査端末２は、情報処理装置１での分類が困難であった画像も目視判定の対象とする。情報処理システム５００は、情報処理装置１による自動判定と、目視検査端末２による目視判定を併用することにより、判定の効率化と判定の信頼性を両立させている。

端末装置３は、対象物を撮影した画像を取得して情報処理装置１に送信し、その画像に基づく判定結果を情報処理装置から受信する。端末装置３は、判定結果を画像や音声等によって出力する機能を備えていてもよい。

図２では、製造工場で製造された製品Ｐの良否判定を、監視室に配置された情報処理システム５００によって行う例を示している。このため、端末装置３は、製品Ｐを撮影した画像２０１を取得して情報処理装置１に送信している。そして、画像２０１を受信した情報処理装置１は、判定の対象物である製品Ｐの良否判定を行う。

ここで良品と判定された場合には、その判定結果が情報処理装置１から端末装置３に通知され、これにより、製造工場において、製品Ｐが良品であることが認識される。一方、不良品と判定された場合には、判定結果がＮＧ（不良）の画像２０１が情報処理装置１から目視検査端末２に送信される。

目視検査端末２は画像２０１を表示し、目視検査員は表示された画像２０１を目視して製品Ｐの良否判定を行い、その結果を目視検査端末２に入力する。そして、目視検査端末２は、入力された目視判定の結果を情報処理装置１に通知する。これにより、情報処理装置１は、自機の不良判定の結果が誤りであった場合にそれを検出することができる。

なお、情報処理装置１および目視検査端末２は、対象物がある施設（図示の例では製造工場内）に配置されていてもよい。この場合、情報処理システム５００の構成要素から端末装置３を省略してもよいし、情報処理装置１が目視検査端末２と一体の装置として構成されていてもよい。また、情報処理システム５００に含まれる各装置は、据え置き型の装置であってもよいし、携帯型の装置であってもよい。また、目視検査端末２の数、端末装置３の数、および目視検査員の数は、複数であってもよい。

〔装置構成〕
情報処理装置１のより詳細な構成について図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部２０を備えている。また、情報処理装置１は、情報処理装置１に対するデータの入力を受け付ける入力部３０、情報処理装置１が他の装置と通信するための通信部４０、および情報処理装置１がデータを出力するための出力部５０を備えている。

また、制御部１０には、画像取得部１０１、分類部１０２、分類成否判定部１０３、正否判定部（判定部）１０４、判定結果管理部（区分部）１０５、目視判定部（目視判定結果取得部）１０６、訓練データ生成部１０７、誤判定数算出部１０８、および再学習時期決定部１０９が含まれる。また、記憶部２０には、画像２０１と訓練データ２０２が記憶されている。

画像取得部１０１は、情報処理装置１による判定の対象物を撮影した画像を取得する。本実施形態では、対象物を撮影した画像は、入力部３０を介して情報処理装置１に入力されて、記憶部２０に画像２０１として記憶される。このため、画像取得部１０１は、記憶部２０から画像２０１を取得する。無論、画像取得部１０１が画像２０１を取得する方法は特に限定されない。例えば、画像取得部１０１は、撮像装置を制御して対象物を撮像させ、当該撮像装置から画像２０１を取得してもよい。

分類部１０２は、上記対象物を複数の所定の分類カテゴリの何れかに分類する。この分類は、画像と該画像に写る対象物の分類カテゴリとの対応関係を機械学習した結果に基づいて行われる。分類部１０２として適用可能なアルゴリズムは特に限定されないが、高い判定精度が望まれる場合、ニューラルネットワーク等の機械学習アルゴリズムを利用することが好ましく、特に深層学習したニューラルネットワーク（例えばResNet：Residual Network等）により判定を行うものとすることがより好ましい。本実施形態では分類部１０２が、対象物を撮影した画像を入力データとして、所定の複数の分類カテゴリのそれぞれのスコアを出力するResNetである例を説明する。このスコアは、画像に写る対象物が各分類カテゴリに該当する確度（確からしさ）を示す数値であり、スコアが最も高い分類カテゴリが、対象物の分類カテゴリとして最も確からしいということになる。したがって、スコアが最も高い分類カテゴリが分類部１０２の分類結果ということになる。

分類成否判定部１０３は、分類部１０２の分類結果が所定の評価基準を満たしているか否かを判定する。具体的には、分類成否判定部１０３は、分類部１０２が出力するスコアと閾値とを比較することで評価基準を満たしているか否かを判定する。そして、分類成否判定部１０３は、分類部１０２が各分類カテゴリについて出力したスコアの何れもが評価基準を満たしていなければ分類部１０２の分類は失敗と判定し、評価基準を満たしているスコアがあれば分類成功と判定する。

正否判定部１０４は、対象物が所定の分類カテゴリに属するか否かを判定する。具体的には、正否判定部１０４は、分類部１０２の分類結果と、画像２０１に本来写っているべき対象物の分類カテゴリを示す情報を照合して、画像２０１に写る対象物の正否を判定する。例えば、製品Ａの製造ラインで製造された製品を撮影した画像２０１に基づく正否判定を行う場合、正否判定部１０４は、画像２０１に写る製品が製品Ａに分類されていれば正しい製品であると判定し、他の製品に分類されていれば誤った製品であると判定する。

判定結果管理部１０５は、分類部１０２の分類結果を所定のパターンに区分して管理する。詳細は後述するが、分類部１０２による分類済みの対象物について行われた目視判定において、（１）対象物の所定の分類への属否、および（２）分類部１０２による分類結果の正否が判定される。判定結果管理部１０５は、目視判定結果における上記（１）（２）の組み合わせに応じて、分類部１０２の分類結果を所定のパターンに区分する。

目視判定部１０６は、目視検査端末２に画像２０１を表示させて、目視検査員による目視判定を行わせ、その目視判定結果を、目視検査端末２を介して取得する。詳細は後述するが、目視判定部１０６は、目視により、（１）対象物の所定の分類への属否、および（２）分類部１０２の分類結果の正否、が判定された結果である目視判定結果を取得する。上述のようにこれらの目視判定結果は、判定結果管理部１０５による上記区分に用いられる。

訓練データ生成部１０７は、画像２０１に対して、その画像２０１に写る対象物の分類カテゴリを正解データとして対応付けて、分類部１０２の機械学習に用いる訓練データを生成する。詳細は後述するが、訓練データ生成部１０７は、判定結果管理部１０５による上記区分に応じて、画像２０１に応じた適切な正解データを用いることにより、自動で正しい訓練データを生成することができる。

誤判定数算出部１０８は、正否判定部１０４により所定の分類に属すると判定されたが、実際には対象物は所定の分類に属しておらず、分類部１０２が所定の分類に属すると誤分類した回数（誤判定数）を算出する。なお、誤判定数算出部１０８については、実施形態２で説明する。誤判定数の算出が不要であれば、誤判定数算出部１０８は省略してもよい。

再学習時期決定部１０９は、分類部１０２の再学習を行う時期を決定する。なお、再学習時期決定部１０９については、実施形態３で説明する。再学習時期の決定が不要であれば、再学習時期決定部１０９は省略してもよい。

画像２０１は、上述のとおり、判定の対象物を撮影した画像であり、訓練データ２０２は、分類部１０２の機械学習に用いる訓練データである。情報処理装置１の判定の対象となった画像２０１から訓練データ生成部１０７が訓練データを生成し、その訓練データは訓練データ２０２として記憶され、分類部１０２の再学習に用いられる。なお、訓練データ２０２には、訓練データ生成部１０７が生成していない訓練データ（例えば訓練データ生成部１０７が生成した訓練データを加工した訓練データや、ユーザが手作業で作成した訓練データなど）が含まれていてもよい。

なお、上述した情報処理装置１の構成要素のうち、少なくとも分類部１０２と正否判定部１０４により、画像中の対象物を分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムが構築されている。これらの構成要素は情報処理装置１とは別の装置に設けられていてもよい。この場合、判定結果管理部１０５は、分類部１０２の分類結果と正否判定部１０４の判定結果を取得して上述の区分を行う。

〔情報処理システムの用途一例〕
情報処理システム５００の用途（判定対象）は特に限定されないが、例えば食品生産工場の品質管理に利用することができる。これについて図３に基づいて説明する。図３は、食品生産工場において生産された食品を情報処理システム５００の判定対象物として撮影した例を示す図である。

図３の（ａ）には、食品の生産ライン６００の一部を示している。生産ライン６００には、食品６０１を同図の白抜き矢印の方向に搬送する搬送部６０２が含まれている。また、搬送部６０２には、搬送部６０２の上方に撮像装置６０３を保持する撮像台６０４が設けられている。これにより、搬送部６０２にて搬送されている食品６０１を真上から撮影することができる。

図３の（ｂ）には、同図の（ａ）の撮像装置６０３で撮影された画像２０１の例を示している。この画像２０１には、パック詰めされた食肉である食品６０１が写っている。また、画像２０１には、食品６０１のパックに貼られたラベル６０１１と値札シール６０１２も写っている。

情報処理システム５００により、生産ライン６００上の食品６０１の分類カテゴリ（豚肉であるか牛肉であるか、焼き肉用であるか、こま切れであるか等）を判定することにより、生産ライン６００にて正しい食品６０１が搬送されているかを確認することができる。食品生産工場の品質管理には高い精度が求められるため、極めて信頼性の高い判定結果を出力する情報処理システム５００の適用が好適である。

〔判定結果のパターン〕
情報処理装置１の判定結果は、５つのパターンに区分できる。そして、判定結果管理部１０５は、情報処理装置１の判定結果が何れのパターンに該当するかを判定する。これについて、図４に基づいて説明する。図４は、情報処理装置１の判定結果のパターン区分を示す図である。なお、ここでは、情報処理装置１が、工場で製造された製品が正しい製品（製造すべき製品）であるか、正しくない製品（製造すべき製品とは異なる製品）であるかを判定する例を想定している。

図４の例では、正しい製品の製品ＩＤが「ID_A」である。工場では、「ID_A」の製品を製造することになっているが、異なる製品が誤って製造されることがある。誤って製造された製品の製品ＩＤを「ID_B」としている。分類部１０２は、製造された製品の画像から、その製品の分類カテゴリ（製品ＩＤ）を判定する。そして、正否判定部１０４は、分類部１０２の分類結果が「ID_A」であればその製品が正しいと判定し、分類部１０２の分類結果が「ID_A」以外であればその製品は誤っていると判定する。

したがって、図４の（ａ）の１行目のレコードに示すように、「ID_A」の製品が製造され、かつ分類部１０２の分類結果も「ID_A」の製品であれば、正しい製品が製造され、分類部１０２は正しく分類できたということになる。図４では、このパターンの名称を「T_OK」としている。「T_OK」のパターンでは、分類部１０２の分類結果が「ID_A」であるから、正否判定部１０４はその製品を正しいと判定する。

一方、図４の（ａ）の２行目のレコードに示すように、「ID_B」の製品が製造され、かつ分類部１０２の分類結果も「ID_B」の製品であれば、誤った製品が製造されたが、分類部１０２は正しく分類できたということになる。図４では、このパターンの名称を「T_NG」としている。「T_NG」のパターンでは、分類部１０２の分類結果が「ID_B」であるから、正否判定部１０４はその製品を誤りであると判定する。

ここで、図４の（ａ）の３行目のレコードに示すように、「ID_B」の製品が製造された場合に、分類部１０２の分類結果が「ID_A」の製品となることもあり得る。この場合、誤った製品が製造され、分類部１０２の分類も誤りであったが、分類結果が正しい製品と一致したことになる。図４では、このパターンの名称を「F_OK」としている。「F_OK」のパターンでは、分類部１０２の分類結果が「ID_A」であるから、正否判定部１０４はその製品を正しいと判定するが、実際には正しい製品は製造されていない。つまり、正否判定部１０４の判定結果は誤判定ということになる。

また、図４の（ａ）の４行目のレコードに示すように、「ID_A」の製品が製造され、かつ分類部１０２の分類結果が「ID_B」の製品であれば、正しい製品が製造されたが、分類部１０２の分類が誤りであったということになる。図４では、このパターンの名称を「F_NG1」としている。「F_NG1」のパターンでは、分類部１０２の分類結果が「ID_B」であるから、正否判定部１０４はその製品を誤りであると判定する。この場合、目視判定が行われるので、目視判定により正しい製品が製造されたことが確認される。

また、図４の（ａ）の５行目のレコードに示すように、「ID_B」の製品が製造され、かつ分類部１０２の分類結果が「ID_C」（「ID_A」以外）の製品であれば、誤った製品が製造され、分類部１０２の分類も誤りであり、分類結果は正しい製品と不一致となる。図４では、このパターンの名称を「F_NG2」としている。「F_NG2」のパターンでは、分類部１０２の分類結果が「ID_C」であるから、正否判定部１０４はその製品を誤りであると判定する。この場合、目視判定が行われるので、目視判定により誤った製品が製造されたことが確認される。

判定結果管理部１０５は、目視判定結果を利用して、分類部１０２の分類結果、あるいは当該分類に用いられた画像２０１を、上述のようなパターンに区分して管理する。具体的には、図４の（ｂ）に示すように、目視判定では、正しい製品が製造されているか、および分類部１０２により正しい分類がなされているか、について目視検査員に判定させる。

具体的には、目視判定により、正しい製品が製造され、分類部１０２の分類も正しいと判定された場合には、「T_OK」のパターンに該当する。また、目視判定により、正しい製品が製造されたが、分類部１０２の分類は誤りであったと判定された場合には、「F_NG1」のパターンに該当する。また、目視判定により、誤った製品が製造されたが、分類部１０２の分類は正しかったと判定された場合には「T_NG」のパターンに該当する。そして、目視判定により、誤った製品が製造され、分類部１０２の分類も誤りであったと判定された場合には「F_NG2」または「F_OK」のパターンに該当する。

このように、判定結果管理部１０５は、目視判定結果を利用することにより、分類部１０２の分類結果、あるいは当該分類に用いられた画像２０１を、上述のようなパターンに区分して管理することができる。また、目視判定において、目視検査員は、正しい製品が製造されているか、および正しい分類がなされているかの２点について確認すればよいので、目視判定に係る負荷を最小限に抑えることができ、これにより迅速な目視判定が実現できる。

〔目視判定におけるＵＩ画面例〕
目視判定におけるＵＩ（User Interface）画面例について図５に基づいて説明する。図５は、目視判定におけるＵＩ画面例を示す図である。同図の（ａ）の画面例では、正しい製品の画像と、撮影された画像が表示されている。また、この画面例では、質問１として、上記２つの画像に写る製品が一致しているかを問う質問文と、その回答の選択肢（ＹＥＳ／ＮＯ）が表示されている。

このような画面を目視検査端末２が表示した場合、目視検査員は、画面上の画像を見比べて、ＹＥＳまたはＮＯの何れかを目視検査端末２に入力することができる。また、目視検査端末２は、目視検査員の入力内容を情報処理装置１に通知し、これにより情報処理装置１の判定結果管理部１０５は正しい製品が製造されたか否かを特定することができる。

また、図５の（ｂ）の画面例では、撮影された画像と、分類部１０２の分類結果が表示されている。また、この画面例では、質問２として、分類結果が正しいかを問う質問文と、その回答の選択肢（ＹＥＳ／ＮＯ）が表示されている。

このような画面を目視検査端末２が表示した場合、目視検査員は、画面上の画像と分類結果を見比べて、ＹＥＳまたはＮＯの何れかを目視検査端末２に入力することができる。そして、目視検査端末２は、目視検査員の入力内容を情報処理装置１に通知し、これにより情報処理装置１の判定結果管理部１０５は分類結果の正否を特定することができる。

したがって、図５の（ａ）（ｂ）のようなＵＩ画面を目視検査端末２に順次表示させることにより、判定結果管理部１０５は、正しい製品が製造されたか否か、および分類結果の正否を特定することができる。これにより、判定結果管理部１０５は、図４の（ｂ）に示したように、正しい製品が製造されたか否かと、分類の正否の組み合わせから、パターンを判定することができる。

〔他のパターンについて〕
画像２０１に写る製品が、分類部１０２がその分類カテゴリを学習していない製品である場合等には、分類部１０２による分類を行うことができないため、目視判定が必要になる。そして、目視判定結果に基づくパターンの区分は、分類部１０２による分類ができていないことにより、図４の例よりも単純なものとなる。これについて、図６に基づいて説明する。図６は、分類部１０２による分類を行うことができなかった場合の判定結果のパターン区分を示す図である。

図６の（ａ）に示すように、分類部１０２による分類を行うことができなかった場合には、製造された製品が正しい製品であるパターン「OK」と、製造された製品が誤った製品であるパターン「NG」の２通りのパターンが存在する。

この場合、同図の（ｂ）に示すように、目視判定においては、正しい製品が製造されているか否かが判定される。この目視判定では、例えば図５の（ａ）のようなＵＩ画面を表示してもよい。正しい製品が製造されていればパターン「OK」となり、製造された製品が誤った製品であればパターン「NG」となる。

〔処理の流れ（製品の正否判定とパターン区分）〕
情報処理装置１が実行する処理の流れを図７に基づいて説明する。図７は、情報処理装置１が実行する処理（情報処理方法）の一例を示すフローチャートである。なお、以下では、情報処理装置１が、製造された製品（具体的には図３の食品６０１）が正しいか否かの判定を行う例を説明する。

Ｓ１では、画像取得部１０１が、記憶部２０に記憶されている画像２０１を取得する。この画像２０１は、例えば撮像装置６０３で撮影した食品６０１の画像であってもよい（図３参照）。また、正否判定部１０４は、画像２０１に写る製品の製品ＩＤを取得する。なお、図３のような生産ライン６００では、所定の食品６０１を製造し、搬送するので、搬送されている食品６０１の製品ＩＤを取得することができる。ただし、本来製造すべきではない食品６０１が誤って製造されて生産ライン６００に乗ることがあり得るので、情報処理装置１による判定を行って、誤って生産ライン６００に乗った食品６０１を検出する。

Ｓ２では、分類部１０２が、Ｓ１で取得された画像２０１に写っている製品を分類する。具体的には、分類部１０２は、予め設定された複数の分類カテゴリ（それぞれが異なる製品ＩＤに対応）のそれぞれについて、当該分類カテゴリに該当する確度を示すスコアを算出する。なお、この判定における演算処理は、処理負荷が大きくなる場合がある。このため、分類部１０２は、この演算処理を外部のサーバに行わせて、演算結果であるスコアを当該サーバから取得してもよい。

Ｓ３では、分類成否判定部１０３は、Ｓ２の判定結果に閾値以上のスコアが含まれているか否かを判定する。分類成否判定部１０３は、含まれていると判定した場合（Ｓ３でＹＥＳ）、スコアが閾値を超えた分類カテゴリを正否判定部１０４に通知し、処理はＳ４に進む。一方、分類成否判定部１０３は、閾値以上のスコアが含まれていないと判定した場合（Ｓ３でＮＯ）、判定結果を不明とし、Ｓ１で取得された画像２０１を目視判定部１０６に送信し、処理はＳ１２に進む。なお、分類成否判定部１０３は、不明との判定結果を、出力部５０等を介して出力してもよいし、その判定結果を端末装置３に通知して出力させてもよい。

Ｓ４では、正否判定部１０４が、分類結果と製品ＩＤが一致するか否かを判定する。具体的には、正否判定部１０４は、分類成否判定部１０３から通知された分類カテゴリと、Ｓ１で取得した製品ＩＤの示す製品の分類カテゴリとが一致するか否かを判定する。また、正否判定部１０４は、判定結果を出力部５０に出力させてもよいし、その判定結果を端末装置３に通知して出力させてもよい。ここで正否判定部１０４が一致すると判定した場合（Ｓ４でＹＥＳ）には処理はＳ５に進む。一方、正否判定部１０４が一致しないと判定した場合（Ｓ４でＮＯ）には処理はＳ６に進む。

なお、判定結果の出力の態様は任意である。例えば、製品の正否を示す画像を表示させてもよい。また、分類カテゴリのスコアを表示してもよい。また、表示以外の態様で出力を行ってもよい。例えば製品が誤りである場合には端末装置３にブザー等の音を出力させることにより、誤って生産ライン６００に乗った食品６０１があることを報知してもよい。また、例えば生産ライン６００に搬送中の食品６０１の搬送経路を分岐させる機構が設けられている場合には、端末装置３は、その機構を制御して、誤りであると判定された食品６０１を生産ライン６００から除外してもよい。

Ｓ５では、判定結果管理部１０５が、区分は「T_OK」であると判定する。そして、判定結果管理部１０５は、この判定結果をＳ１で取得された画像２０１と対応付けて記憶しておく。例えば、判定結果管理部１０５は、Ｓ１で取得された画像２０１の識別情報（ＩＤ）と判定結果とを対応付けて記憶してもよいし、画像２０１の付加情報として、例えば画像２０１のヘッダ等に判定結果を記憶してもよい。Ｓ５の処理の終了により、情報処理システム５００の処理は終了する。

Ｓ６（目視判定結果取得ステップ）では、目視判定部１０６が目視判定を行う。具体的には、目視判定部１０６は、Ｓ１で取得された画像２０１を目視検査端末２に送信すると共に、Ｓ１で取得された製品ＩＤとＳ２の分類結果を目視検査端末２に通知する。そして、目視判定部１０６は、目視検査端末２から目視検査員による目視判定の結果を取得し、その結果を判定結果管理部１０５に通知する。そして、判定結果管理部１０５は、取得した目視判定結果に基づいて、以下説明するＳ７～Ｓ１１の処理（区分ステップ）により、Ｓ２の分類結果を区分する。

なお、目視判定において、目視検査端末２は、例えば図５に示したような画面を表示させて目視判定結果の入力を受け付けてもよい。また、このような画面は、目視検査端末２が生成する構成としてもよいし、目視判定部１０６が生成して目視検査端末２に送信する構成としてもよい。

Ｓ７では、判定結果管理部１０５が、分類は正しいが製品が誤りであるか否かを判定する。ここで分類は正しいが製品が誤りであると判定された場合（Ｓ７でＹＥＳ）にはＳ８に進む。一方、製品が正しいと判定されるか、または分類が誤りであると判定された場合（Ｓ７でＮＯ）にはＳ９に進む。なお、製品が正しいとは、画像２０１に写る製品が正しい製品（Ｓ１で取得した製品ＩＤの製品）であることを意味する。また、分類が正しいとは、分類部１０２が正しく分類している（Ｓ１で取得した画像に写る製品が、Ｓ３で閾値以上となったスコアの分類カテゴリに属する）ことを意味する。つまり、判定結果管理部１０５は、Ｓ６の目視判定における質問１（図５の（ａ）参照）の回答がＮＯであり、かつ、質問２（図５の（ｂ）参照）の回答がＹＥＳであれば、Ｓ７でＹＥＳと判定する。一方、質問１の回答がＹＥＳであるか、質問２の回答がＮＯであれば、判定結果管理部１０５はＳ７でＮＯと判定する。

Ｓ８では、判定結果管理部１０５が、区分は「T_NG」であると判定する。そして、判定結果管理部１０５は、この判定結果をＳ１で取得された画像２０１と対応付けて記憶しておく。Ｓ８の処理の終了により、情報処理システム５００の処理は終了する。

Ｓ９では、判定結果管理部１０５が、製品は正しいが分類が誤りであるか否かを判定する。ここで製品は正しいが分類が誤りであると判定された場合（Ｓ９でＹＥＳ）にはＳ１０に進む。一方、製品も分類も誤りであると判定された場合（Ｓ９でＮＯ）にはＳ１１に進む。具体的には、判定結果管理部１０５は、Ｓ６の目視判定における質問１の回答がＹＥＳであり、かつ質問２の回答がＮＯであればＳ９でＹＥＳと判定し、質問１、２の回答が何れもＮＯであればＳ９でＮＯと判定する。

Ｓ１０では、判定結果管理部１０５が、区分は「F_NG1」であると判定する。そして、判定結果管理部１０５は、この判定結果をＳ１で取得された画像２０１と対応付けて記憶しておく。Ｓ１０の処理の終了により、情報処理システム５００の処理は終了する。なお、「F_NG1」のパターンでは、分類が誤りであるために、正否判定部１０４の判定結果が誤りとなっているが、実際には製造された製品は正しい（図４参照）から、判定結果管理部１０５は、正否判定の結果を訂正してもよい。例えば、判定結果管理部１０５は、訂正後の判定結果を端末装置３に通知して出力させることにより、当該製品が良品扱いとなるようにしてもよい。

Ｓ１１では、判定結果管理部１０５が、区分は「F_NG2」であると判定する。そして、判定結果管理部１０５は、この判定結果をＳ１で取得された画像２０１と対応付けて記憶しておく。Ｓ１１の処理の終了により、情報処理システム５００の処理は終了する。

Ｓ１２では、Ｓ６と同様に、目視判定部１０６が目視判定を行う。具体的には、目視判定部１０６は、Ｓ１で取得された画像２０１を目視検査端末２に送信すると共に、Ｓ１で取得された製品ＩＤとＳ２の分類結果（最もスコアが高かった分類カテゴリ）を目視検査端末２に通知する。そして、目視判定部１０６は、目視検査端末２から目視検査員による目視判定の結果を取得し、その結果を判定結果管理部１０５に通知する。

Ｓ１３では、判定結果管理部１０５が区分処理を行う。詳細は図８に基づいて後述するが、Ｓ１３の処理により分類部１０２の分類結果が複数のパターンに区分され、Ｓ１２の判定結果とＳ１３の区分とがＳ１で取得された画像２０１と対応付けて記憶される。Ｓ１３の処理の終了により、情報処理システム５００の処理は終了する。また、判定結果管理部１０５は、Ｓ１２の目視判定の判定結果を出力部５０に出力させてもよいし、端末装置３に通知して出力させてもよい。

以上のように、目視判定部１０６は、分類部１０２が分類済みの対象物についての目視判定（Ｓ６、Ｓ１２）において、（１）対象物の上記分類カテゴリへの属否、および（２）分類部１０２の分類結果の正否、が判定された結果である目視判定結果を取得する。そして、判定結果管理部１０５は、目視判定結果における上記（１）（２）の組み合わせに応じて分類部１０２の分類結果を区分する（Ｓ７～Ｓ１１、Ｓ１３）。

これにより、目視判定結果の活用の範囲を広げることができる。例えば、以下説明する訓練データの自動生成、実施形態２で説明するパターン「F_OK」の発生件数の予測値算出、あるいは実施形態３で説明する分類部１０２の適切な再学習時期の決定などに活用することができる。

〔処理の流れ（区分処理）〕
図７のＳ１３で行われる区分処理の詳細を図８に基づいて説明する。図８は、判定結果区分処理の一例を示すフローチャートである。図８のＳ１３１～Ｓ１３７の処理では、図７のＳ４、Ｓ５、Ｓ７～Ｓ１１と同様に、目視判定結果に基づいて分類部１０２の分類結果が複数のパターンに区分される。

Ｓ１３１では、正否判定部１０４が、図７のＳ１２の目視判定結果に基づいて、分類と製品の何れもが正しいか否かを判定する。ここで正否判定部１０４が分類と製品の何れも正しいと判定した場合（Ｓ１３１でＹＥＳ）には処理はＳ１３２に進む。一方、正否判定部１０４が分類および製品の少なくとも何れかが誤りであると判定した場合（Ｓ１３１でＮＯ）には処理はＳ１３３に進む。

Ｓ１３２では、判定結果管理部１０５が区分は「T_OK」であると判定する。そして、判定結果管理部１０５は、この判定結果を図７のＳ１で取得された画像２０１と対応付けて記憶し、区分処理は終了する。なお、ここで画像２０１を記憶する際には、図７のＳ５で「T_OK」に該当するとして記憶された画像２０１と区別できるように記憶しておくことが好ましい。図７のＳ５で「T_OK」に該当するとして記憶された画像２０１には、実際には「F_OK」であるものが含まれている可能性がゼロではないためである。

Ｓ１３３では、判定結果管理部１０５が、分類は正しいが製品が誤りであるか否かを判定する。ここで分類は正しいが製品が誤りであると判定された場合（Ｓ１３３でＹＥＳ）にはＳ１３４に進む。一方、製品が正しいと判定されるか、または分類が誤りであると判定された場合（Ｓ１３４でＮＯ）にはＳ１３５に進む。

Ｓ１３４では、判定結果管理部１０５が区分は「T_NG」であると判定する。そして、判定結果管理部１０５は、この判定結果を図７のＳ１で取得された画像２０１と対応付けて記憶し、区分処理は終了する。なお、ここで画像２０１を記憶する際には、図７のＳ８で「T_NG」に該当するとして記憶された画像２０１と区別できるように記憶しておくことが好ましい。以下で説明するＳ１３６、Ｓ１３７についても同様である。

Ｓ１３５では、判定結果管理部１０５が、製品は正しいが分類が誤りであるか否かを判定する。ここで製品は正しいが分類が誤りであると判定された場合（Ｓ１３５でＹＥＳ）にはＳ１３６に進む。一方、製品も分類も誤りであると判定された場合（Ｓ１３５でＮＯ）にはＳ１３７に進む。

Ｓ１３６では、判定結果管理部１０５が区分は「F_NG1」であると判定する。そして、判定結果管理部１０５は、この判定結果を図７のＳ１で取得された画像２０１と対応付けて記憶し、区分処理は終了する。

Ｓ１３７では、判定結果管理部１０５が区分は「F_NG2」であると判定する。そして、判定結果管理部１０５は、この判定結果を図７のＳ１で取得された画像２０１と対応付けて記憶し、区分処理は終了する。なお、Ｓ１３７において区分が「F_NG2」であると判定されたものの中には、実際には「F_OK」に該当するものも含まれ得る。

〔処理の流れ（訓練データ生成）〕
本実施形態の情報処理装置１は、上述のパターンの区分に基づいて訓練データを生成する。これについて図９に基づいて説明する。図９は、情報処理装置１がパターンの区分に基づいて訓練データを生成する処理（情報処理方法）の一例を示すフローチャートである。

Ｓ２１では、訓練データ生成部１０７は、判定結果管理部１０５によるパターン判定済みの画像２０１を取得する。そして、Ｓ２２では、訓練データ生成部１０７は、Ｓ２１で取得した画像２０１のパターンが「T_OK」に該当するか否かを判定する。該当すると判定された場合（Ｓ２２でＹＥＳ）にはＳ２３に進み、該当しないと判定された場合（Ｓ２２でＮＯ）にはＳ２４に進む。

Ｓ２３では、訓練データ生成部１０７は、Ｓ２１で取得した画像２０１に対し、その画像２０１に対する分類部１０２の分類結果を正解データとして対応付けて訓練データとする。そして、訓練データ生成部１０７は、この訓練データを記憶部２０に記憶し、処理を終了する。なお、この処理および後述のＳ２６、Ｓ２８で記憶されるデータが図１の訓練データ２０２である。

Ｓ２４では、訓練データ生成部１０７は、Ｓ２１で取得した画像２０１のパターンが「T_NG」に該当するか否かを判定する。該当すると判定された場合（Ｓ２４でＹＥＳ）にはＳ２３に進み、上述のようにして訓練データが生成され、記憶される。一方、Ｓ２４で該当しないと判定された場合（Ｓ２４でＮＯ）にはＳ２５に進む。

Ｓ２５では、訓練データ生成部１０７は、Ｓ２１で取得した画像２０１のパターンが「F_NG1」に該当するか否かを判定する。該当すると判定された場合（Ｓ２５でＹＥＳ）にはＳ２６に進み、該当しないと判定された場合、すなわち画像２０１のパターンが「F_NG2」または「F_OK」に該当する場合（Ｓ２５でＮＯ）にはＳ２７に進む。

Ｓ２６では、訓練データ生成部１０７は、Ｓ２１で取得した画像２０１に対し、図７のＳ１で取得された製品ＩＤに対応する分類カテゴリを正解データとして対応付けて訓練データとする。そして、訓練データ生成部１０７は、この訓練データを記憶部２０に記憶し、処理を終了する。

Ｓ２７では、目視判定部１０６が目視判定を行う。目視判定部１０６は、Ｓ２１で取得された画像２０１を目視検査端末２に送信して表示させ、この画像２０１に写る対象物の分類カテゴリを目視検査員に入力させる。そして、目視検査端末２から目視検査員による目視判定の結果を受信し、その結果を訓練データ生成部１０７に通知する。

Ｓ２８では、訓練データ生成部１０７は、Ｓ２１で取得した画像２０１に対し、Ｓ２８の目視判定で入力された分類カテゴリを正解データとして対応付けて訓練データとする。そして、訓練データ生成部１０７は、この訓練データを記憶部２０に記憶し、処理を終了する。

以上のように、訓練データ生成部１０７は、パターン「T_OK」および「T_NG」の何れかに区分された判定に用いられた画像２０１に対して、分類部１０２の分類結果を正解データとして対応付けて訓練データとする（Ｓ２３）。パターン「T_OK」は、正否判定部１０４が、対象物が正しい（所定の分類に属する）と判定したパターンである。また、パターン「T_NG」は、図４の（ｂ）に示すように、分類部１０２の分類が正しいとの目視判定がなされたパターンである。よって、この構成によれば適切な訓練データを自動的に生成することができる。なお、パターン「T_OK」に区分された判定に用いられた画像２０１については、図７のＳ１で取得された製品ＩＤの製品の分類カテゴリ（所定の分類）を正解データとして対応付けてもよい。

また、パターン「T_OK」および「T_NG」は、図７のＳ５およびＳ８で判定された区分であってもよいし、図８のＳ１３２およびＳ１３４で判定された区分であってもよい。特に図７のＳ５でパターン「T_OK」と区分されたものの中には、実際には「F_OK」であるものが含まれている可能性がゼロではない。このため、「F_OK」ではないことが目視検査によって確認されている、図８のＳ１３２で「T_OK」と判定されて記憶された画像２０１から訓練データを生成することが好ましい。

また、図８のＳ１３２およびＳ１３４の区分判定に基づいて記憶された画像２０１は、分類部１０２の分類結果の確度が閾値未満の画像、つまり、分類部１０２による分類が困難であった画像である。よって、このような画像２０１から訓練データを生成し、その訓練データを用いて分類部１０２を再学習させることにより、そのような分類困難な画像についても分類部１０２で分類できるようにすることができる。

また、訓練データ生成部１０７は、パターン「F_NG1」に区分された判定に用いられた画像２０１に対して、製品ＩＤに対応する分類カテゴリ（所定の分類）を正解データとして対応付けて訓練データとする（Ｓ２６）。パターン「F_NG1」は、図４の（ｂ）に示すように、正しい製品が製造されている（対象物が所定の分類に属する）との目視判定がなされたパターンであるから、この構成によれば適切な訓練データを自動的に生成することができる。特に、パターン「F_NG1」では、分類部１０２が誤分類しているので、そのような誤分類が繰り返されないようにするために、パターン「F_NG1」に区分された判定に用いられた画像２０１を訓練データとすることの意義が大きい。なお、パターン「F_NG1」および「F_NG2」は、図７のＳ１０およびＳ１１で判定された区分であってもよいし、図８のＳ１３６およびＳ１３７で判定された区分であってもよい。図８のＳ１３６およびＳ１３７の区分判定に基づいて記憶された画像２０１から訓練データを生成し、その訓練データを用いて分類部１０２を再学習させることにより、分類部１０２の分類結果が不明となるケースを減らすことができる。

なお、図７のＳ１１および図８のＳ１３７でパターン「F_NG2」の区分が対応付けて記憶された画像２０１から訓練データを生成する際には、Ｓ２７の目視判定が必要になるが、正否判定部１０４による判定が行われた件数のうちパターン「F_NG2」に該当する割合は少ない。このため、訓練データ生成部１０７によれば、目視判定にかかる労力を最小限に抑えつつ、多数の適切な訓練データを自動で生成することができる。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。実施形態３以降も同様である。

本実施形態の情報処理装置１は、複数の異なる対象物を撮影した複数の画像２０１のそれぞれについて正否判定部１０４による判定結果が出された場合に、上述のパターンの区分に基づいて、その判定結果に含まれる誤判定の件数（予測値）を算出する。算出した件数は、例えば、正否判定部１０４の判定結果の信頼性を示す指標として利用することができる。なお、誤判定の件数（誤判定数）とは、正否判定部１０４が正しいとした判定が誤りであった件数、すなわちパターン「F_OK」に該当する判定が行われた件数である。

予測値の算出は、図１に示す誤判定数算出部１０８が行う。なお、予測値を算出する場合、判定結果管理部１０５は、下記（Ａ）～（Ｄ）をカウントしておく。例えば、下記（Ａ）～（Ｄ）の各値は、図７のＳ３でＹＥＳと判定された回数、Ｓ１０の処理が行われた回数、Ｓ８の処理が行われた回数、Ｓ１１の処理が行われた回数をそれぞれカウントしたものであってもよい。

（Ａ）分類部１０２が分類成功した画像２０１の総数（正否判定部１０４の総判定回数）：Ｎ
（Ｂ）パターン「F_NG1」のカウント数：ｎ_ｆｎｇ１
（Ｃ）パターン「T_NG」のカウント数：ｎ_ｔｎｇ
（Ｄ）パターン「F_NG2」のカウント数：ｎ_ｆｎｇ２
〔予測値の算出原理〕
本実施形態では、正しい製品が製造される確率ｐと、分類部１０２が正しく分類する確率ｑが何れも一定の値であると仮定して、パターン「F_OK」に該当する判定が行われた件数の予測値（計算値）ｎ_ｆｏｋを算出する。この算出原理について、図４の（ｂ）を参照しながら以下説明する。

正しい製品が製造される事象と、分類部１０２が正しく分類する事象とは、互いに独立した事象である。また、正しい製品が製造される確率がｐであれば、誤った製品が製造される確率は（１－ｐ）と表され、正しく分類される確率がｑであれば、誤った分類がなされる確率は（１－ｑ）と表される。

したがって、正否判定部１０４が正否判定を行った場合に、その判定が図４の（ｂ）に示される各パターンに該当する確率は下記のように表現できる。

（「T_OK」に該当する確率）＝ｐ×ｑ
（「F_NG1」に該当する確率）＝ｐ×（１－ｑ）
（「T_NG」に該当する確率）＝（１－ｐ）×ｑ
（「F_NG2」または「F_OK」に該当する確率）＝（１－ｐ）×（１－ｑ）
また、「F_NG1」に該当する確率はｎ_ｆｎｇ１／Ｎと表される。同様に、「T_NG」に該当する確率はｎ_ｔｎｇ／Ｎと表され、「F_NG2」に該当する確率はｎ_ｆｎｇ２／Ｎと表される。よって、下記の数式（１）、（２）が成り立つ。
ｐ×（１－ｑ）＝ｎ_ｆｎｇ１／Ｎ 数式（１）
（１－ｐ）×ｑ＝ｎ_ｔｎｇ／Ｎ 数式（２）
また、上記（「F_NG2」または「F_OK」に該当する確率）について、ｎ_ｆｎｇ２とｎ_ｆｏｋの和をＮで除した値が（１－ｐ）×（１－ｑ）に等しくなるため、下記の数式（３）が成り立つ。
ｎ_ｆｏｋ＝Ｎ×（１－ｐ）×（１－ｑ）－ｎ_ｆｎｇ２ 数式（３）
したがって、上記数式（１）、（２）から確率ｐ、ｑを算出し、算出した確率ｐ、ｑを数式（３）に代入することにより、パターン「F_OK」に該当する判定が行われた件数の予測値ｎ_ｆｏｋを算出することができる。

〔処理の流れ（誤判定数の算出）〕
情報処理装置１が誤判定数を算出する処理の流れを図１０に基づいて説明する。図１０は、情報処理装置１が誤判定数を算出する処理（情報処理方法）の一例を示すフローチャートである。

Ｓ４１では、誤判定数算出部１０８は、パターン「F_NG1」のカウント数ｎ_ｆｎｇ１と、パターン「T_NG」のカウント数ｎ_ｔｎｇから、製品が正しい確率ｐと、分類部１０２の分類が正しい確率ｑを算出する。具体的には、誤判定数算出部１０８は、確率ｐ、ｑを上述の数式（１）（２）を用いて算出する。

Ｓ４２では、誤判定数算出部１０８は、Ｓ４１で算出した確率ｐ、ｑとパターン「F_NG2」のカウント数ｎ_ｆｎｇ２から、パターン「F_OK」の数の予測値であるｎ_ｆｏｋを算出する。具体的には、誤判定数算出部１０８は、確率ｐ、ｑを上述の数式（３）に代入することにより、ｎ_ｆｏｋを算出する。

Ｓ４３では、誤判定数算出部１０８は、Ｓ４２で算出したパターン「F_OK」の数、すなわち正否判定部１０４が正しいと判定したが、実際には製品が正しくなかった件数を出力部５０に出力させ、これにより処理を終了する。なお、誤判定数算出部１０８は、Ｓ４２で算出したパターン「F_OK」の数をＮで除して、パターン「F_OK」の発生確率を算出することもできる。

以上のように、本実施形態の判定結果管理部１０５は、複数の異なる製品（対象物）を撮影した複数の画像２０１のそれぞれについて正否判定部１０４による判定結果が出された場合（情報処理システム５００による判定が行われた場合）に、その判定における分類部１０２の分類結果を上述のパターンの区分ごとにカウントする。そして、誤判定数算出部１０８は、正否判定部１０４が対象物は正しいとした判定のうち、実際には対象物が誤りであり、分類部１０２の誤分類により対象物が正しいとされた件数を、上記カウントの結果に基づいて算出する。

ここで、上述のパターンには、「F_NG1」（製品は正しく、分類部１０２の分類が誤りのパターン）と、「T_NG」（製品が誤りであり、分類部１０２の分類は正しいパターン）が含まれている。このため、確率ｐ、ｑが一定であると仮定すれば、これらのパターンの件数と正否判定部１０４の総判定回数から、上述の数式（１）（２）を用いて当該確率ｐ、ｑを算出することができる。

また、パターン「F_OK」は、「F_NG2」と同じく、製品は誤りであり、分類部１０２の分類も誤りのパターンに該当するから、パターン「F_OK」と「F_NG2」の合計件数は、Ｎ×（１－ｐ）×（１－ｑ）と表される。よって、この合計件数からパターン「F_NG2」のカウント数を減算することにより、パターン「F_OK」の件数を算出することができる（数式（３））。このように、誤判定数算出部１０８によれば、判定結果管理部１０５によるパターンの区分ごとのカウント数を利用して、パターン「F_OK」の件数を算出することができる。

なお、図８のＳ１３２、Ｓ１３４、Ｓ１３６、およびＳ１３７で判定された各区分のカウント数からパターン「F_OK」の件数を算出することもできる。この場合、上記数式（１）（２）の代わりに下記数式（１）’～（３）’のうち何れか２つを用いて確率ｐ、ｑを算出し、下記数式（４）’を用いてパターン「F_OK」の件数を算出する。下記数式（１）’～（４）’において、Ｎ’は図７のＳ３でＮＯと判定された回数（図７のＳ３でＮＯと判定された画像２０１の数）である。また、下記数式（３）’において、ｎ_ｔｏｋは、パターン「T_OK」のカウント数である。
ｐ×（１－ｑ）＝ｎ_ｆｎｇ１／Ｎ’ 数式（１）’
（１－ｐ）×ｑ＝ｎ_ｔｎｇ／Ｎ’ 数式（２）’
ｐ×ｑ＝ｎ_ｔｏｋ／Ｎ’ 数式（３）’
ｎ_ｆｏｋ＝Ｎ’×（１－ｐ）×（１－ｑ）－ｎ_ｆｎｇ２ 数式（４）’
〔実施形態３〕
本実施形態の情報処理装置１は、実施形態１で説明したパターンの区分に基づいて、分類部１０２の再学習のタイミングを決定する。再学習のタイミングは、図１に示す再学習時期決定部１０９が決定する。なお、再学習のタイミングを決定する場合、判定結果管理部１０５は、下記（Ａ）～（Ｃ）をカウントしておく。

（Ａ）分類部１０２が分類成功した画像２０１の総数（正否判定部１０４の総判定回数）：Ｎ
（Ｂ）パターン「F_NG1」のカウント数：ｎ_ｆｎｇ１
（Ｃ）パターン「T_NG」のカウント数：ｎ_ｔｎｇ
〔再学習のタイミングについて〕
上述の５つのパターン区分のうち「F_OK」は、実際には誤った製品が製造されているのに、正否判定部１０４が正しいと判定してしまうパターンであり、このようなパターンが発生することは極力避ける必要がある。例えば、正しい製品Ｘと類似した新製品Ｙが新たに追加されたが、分類部１０２は新製品Ｙについて未学習であったとする。この場合、新製品Ｙの画像２０１を分類部１０２に入力すると、製品Ｘの分類カテゴリのスコアが閾値以上となる可能性がある。そして、スコアが閾値以上となった場合には、分類部１０２の分類結果が正しい製品と一致するので、実際には誤って新製品Ｙが製造されているにもかかわらず、正否判定部１０４が正しいと判定してしまう。これにより、新製品Ｙが、製品Ｘとして出荷されてしまうといった事態も生じ得る。

ここで、「F_OK」の発生リスクを減らす方法の一つとして、最新の訓練データ２０２を用いて分類部１０２の再学習を行うという方法がある。再学習を行うことにより、上述のような未学習の製品についても分類することが可能になり、分類部１０２が誤分類する確率を下げることができるので、その結果として「F_OK」の発生確率も下げることができる。ただし、再学習に要する労力、時間、費用などを考慮すれば、頻繁に再学習を行うことは必ずしも得策ではない。

そこで、再学習時期決定部１０９は、実施形態１で説明したパターンの区分に基づいて、分類部１０２の適切な再学習タイミング（分類部１０２の分類精度の劣化が許容できなくなる直前のタイミング）を決定する。

例えば、再学習時期決定部１０９は、誤判定数算出部１０８が算出したパターン「F_OK」の件数が所定の閾値に達するまでの期間内で、分類部１０２の再学習の時期を決定してもよい。これにより、パターン「F_OK」が発生しない可能性を高めることができる。特に、上記閾値は１未満とすることが好ましい。これにより、パターン「F_OK」が１回以上発生する可能性を低減することができる。例えば、再学習時期決定部１０９は、正否判定部１０４による判定が所定回数行われる毎に、誤判定数算出部１０８にパターン「F_OK」の件数を算出させてもよい。そして、算出された件数が閾値以上となったときに、分類部１０２の再学習時期であると決定してもよい。

〔「F_OK」の発生回数の予測について〕
再学習時期決定部１０９は、パターン「F_OK」の発生回数の予測値が閾値未満である範囲で再学習タイミングを決定してもよい。パターン「F_OK」の発生回数の予測値は、例えば下記の数式（４）で表すことができる。数式（４）において、ｍは製品の種類数であり、Ｎは成否判定の総回数である。なお、数式（４）におけるＮは、上記（Ａ）でカウントした数ではなく変数である。ｐ、ｑの定義は実施形態２と同じである。

（パターン「F_OK」の発生回数）＝Ｎ×（１－ｐ）×（１－ｑ）／ｍ 数式（４）
なお、上記数式（４）は、確率ｐ、ｑが一定であり、かつｍ種類の製品の何れについても確率ｐ、ｑが同一の値であるとの前提に基づいている。この前提において、上記数式（４）が成立する理由について以下説明する。

図４の（ｂ）に示すように、製品が誤りであり、かつ、分類も誤りであるという事象は、パターン「F_NG2」または「F_OK」に該当する。そして、このパターンが発生する確率は、（１－ｐ）×（１－ｑ）となる。よって、Ｎ回の判定が行われた場合、パターン「F_NG2」と「F_OK」の合計発生回数は、Ｎ×（１－ｐ）×（１－ｑ）と算出される。なお、上述のように、ここでは確率ｐ、ｑが一定であることを前提としている。このため、正否判定部１０４による判定が所定回数行われるまでの期間（例えば図１１の（ｂ）のグラフにおける破線部分の期間）にカウントした上記（Ａ）～（Ｃ）の値から算出した確率ｐ、ｑは、それ以降の期間にも適用できる。

また、製品がｍ種類であり、何れの製品についても確率ｐ、ｑが同一の値であるから、パターン「F_OK」の１回の発生に対し、パターン「F_NG2」は（ｍ－１）回発生する。よって、ｎ_ｆｎｇ２とｎ_ｆｏｋの比は（ｍ－１）：１である。したがって、パターン「F_NG2」と「F_OK」の合計発生回数のうち、１／ｍが「F_OK」の発生回数ということになる。よって、Ｎ回の正否判定を行った場合のパターン「F_OK」の発生回数は、上記数式（４）で表すことができる。

〔処理の流れ〕
本実施形態の情報処理装置１が実行する処理の流れを図１１に基づいて説明する。図１１の（ｂ）は、情報処理装置１がパターン「F_OK」の発生回数の予測値を算出する処理（情報処理方法）の一例を示すフローチャートである。また、図１１の（ｂ）には、パターン「F_OK」の発生回数とＮとの関係を示すグラフを示している。

Ｓ６１では、再学習時期決定部１０９は、パターン「F_NG1」のカウント数ｎ_ｆｎｇ１と、パターン「T_NG」のカウント数ｎ_ｔｎｇから、製品が正しい確率ｐと、分類部１０２の分類が正しい確率ｑを算出する。確率ｐ、ｑの算出には、実施形態２に記載した数式（１）、（２）を用いる。

Ｓ６２では、再学習時期決定部１０９は、Ｓ６１で算出した確率ｐ、ｑと製品の種類数ｍから、パターン「F_OK」の発生回数を算出する。具体的には、再学習時期決定部１０９は、上述の数式（４）を用いて上記発生回数を算出する。

Ｓ６３では、再学習時期決定部１０９は、Ｓ６２で算出したパターン「F_OK」の発生回数が閾値未満となる範囲で再学習のタイミングを決定する。具体的には、再学習時期決定部１０９は、パターン「F_OK」の発生回数が閾値付近（ただし閾値を超えない）となるＮを算出する。そして、再学習時期決定部１０９は、正否判定部１０４の判定回数が該算出した判定回数Ｎに達する時期を、分類部１０２の再学習のタイミング（時期）と決定する。これにより、図１１の処理は終了となる。

なお、Ｓ６２で算出される発生回数は、Ｎを変数とする一次関数で表される。よって、パターン「F_OK」の発生回数とＮとの関係をグラフにすると同図の（ｂ）のようになる。図示のように、分類部１０２が分類する画像２０１の総数Ｎが増加するのに比例して、縦軸の値である発生回数が増加する。再学習時期決定部１０９は、このグラフ上で閾値付近となるＮを算出すればよい。

以上のように、再学習時期決定部１０９は、数式（４）の値が所定の閾値に達しないＮの値を算出し、正否判定部１０４の判定回数が該算出したＮの値に達する時期を、分類部１０２の再学習の時期と決定する。なお、数式（４）において、Ｎは正否判定部１０４の判定回数、すなわち分類部１０２の分類回数のうち、図７のＳ３でＹＥＳと判定された回数である。また、（１－ｐ）×（１－ｑ）は製品（対象物）が誤りであり（所定の分類に属しておらず）、かつ分類部１０２が誤分類する、という事象が発生する確率を表している。そして、１／ｍは、上記事象が発生する場合のうち分類部１０２の分類結果が正しい製品の分類カテゴリと一致する割合を表している。

従って、再学習時期決定部１０９によれば、「F_OK」の発生回数が許容範囲を超えないような適切な再学習時期を決定することができる。例えば、図１１の（ｂ）の例では、閾値を０．７５に設定している。この場合、再学習時期決定部１０９は、例えば上記数式（４）の値が０．７５となるＮの値を求め、その値から正否判定部１０４の判定回数の上限値を求めてもよい。この場合、再学習時期は、正否判定部１０４の判定回数が上記決定した上限に達するまでの時期となる。上記閾値は０．７５に限られないが、１未満とすることが好ましい。これにより、「F_OK」が１回以上発生する可能性を低減することができる。

なお、図８のＳ１３２、Ｓ１３４、Ｓ１３６、およびＳ１３７で判定された各区分のカウント数から再学習時期を決定することもできる。この場合、再学習時期決定部１０９は、下記数式（５）’の値が所定の閾値に達しないＮ’（分類部１０２の分類回数のうち、図７のＳ３でＮＯと判定された回数）を算出する。そして、図７のＳ３でＮＯと判定された回数が、上記算出したＮ’の値に達する時期を、分類部１０２の再学習の時期と決定する。

（パターン「F_OK」の発生回数）＝Ｎ’×（１－ｐ）×（１－ｑ）／ｍ 数式（５）’
また、上記の例では、確率ｐ、ｑが何れも一定であるとして再学習時期を決定しているが、確率ｐ、ｑ、特に確率ｑの変動を考慮して再学習時期を決定してもよい。これにより、より適切な再学習時期を決定することが可能になる。例えば、Ｎ_０≦Ｎ＜Ｎ_１の区間ではｑ_１、Ｎ_１≦Ｎ＜Ｎ_２の区間ではｑ_２のように、Ｎの区間ごとに異なる値のｑを用いて上記発生確率を算出してもよい（Ｎ_２＞Ｎ_１＞Ｎ_０）。

また、上記の例では、製品が誤りであり、かつ分類部１０２が誤分類する、という事象が発生する場合のうち分類部１０２の分類結果が正しい製品の分類カテゴリと一致する割合を１／ｍとしているが、この例に限られない。例えば、製品ごとに異なる確率ｐ、ｑを用いて上記割合を算出してもよい。

また、再学習時期決定部１０９は、分類部１０２の不明判定の回数（最後に学習を行ってから後の累積回数）、あるいは不明判定の頻度が上限値に達したときに、再学習時期であると決定してもよい。これにより、不明判定となる画像２０１の数を少なく抑えることができるので、目視判定が行われる回数も少なく抑えることができる。

〔実施形態４〕
本実施形態の情報処理装置１は、実施形態１で説明したパターンの区分に基づいて、分類部１０２の分類成否判定に用いる閾値を決定する。また、本実施形態の情報処理装置１は、実施形態３で説明した方法で決定した再学習タイミングに分類部１０２の再学習を行う。これについて、図１２および図１３に基づいて説明する。

図１２は、本実施形態の情報処理装置１の制御部１０の構成例を示すブロック図である。本実施形態の情報処理装置１の制御部１０には、閾値決定部１２１と学習部１２２が含まれている点で、図１の情報処理装置１と相違している。閾値決定部１２１と学習部１２２の詳細は以下説明する。

図１３は、本実施形態の情報処理装置１が実行する処理を説明する図である。同図の（ａ）には分類部１０２の分類結果のスコアＳｃと、分類部１０２の分類が正しい確率ｑとの相関関係の一例を示すグラフを記載している。なお、確率ｑは、分類部１０２の分類結果のうち正しい分類結果の割合であり、分類成功率と表現することもできる。また、同図の（ｂ）には、本実施形態の情報処理装置１が実行する処理の流れを示すフローチャートを記載している。

図１３の（ａ）に示すように、分類部１０２が分類結果と共に出力したスコアＳｃが大きいほどその分類が正しい分類である確率ｑは高くなる。このため、閾値を大きく設定するほど分類部１０２の誤分類を減らすことができる。ただし、閾値Ｔが大きいほど不明判定となる場合が増える。また、スコアＳｃの最大値付近（図１３の例では１００％付近）では、スコアＳｃの増加率に対する確率ｑの増加率が低下する。このため、必要以上に閾値Ｔを大きく設定しても確率ｑの大幅な増加は期待できない上、不明判定が増えて情報処理システム５００の処理効率が落ちてしまう。そこで、閾値決定部１２１は、以下説明するようにして妥当な閾値を決定する。

図１３の（ｂ）に示すように、閾値決定部１２１は、まず閾値の初期値Ｔ_０を決定する（Ｓ８１）。Ｔ_０をどのような値に設定するかは予め決めておいてもよいし、入力部３０を介した操作等によりユーザが指定してもよい。この後、情報処理システム５００は、Ｓ８１で決定された閾値Ｔ_０を用いて図７に示した処理を繰り返し実行する。そして、これにより、判定結果管理部１０５によってパターンの区分結果、すなわち各パターンのカウント数が記録・更新されていく。

パターンの区分結果がある程度蓄積された段階（例えば、区分結果の総数が所定数に達した段階）で、閾値決定部１２１は、確率ｑとスコアＳｃの相関関係を示す関係式を求める（Ｓ８２）。なお、上記関係式を求めるため、図７のＳ２で行われた分類において分類部１０２が出力したスコアを記憶しておく。

関係式の導出は、（１）スコアを複数の数値範囲で区分し、（２）各区分について確率ｑを算出し、（３）区分ごとの確率ｑの値から、近似曲線すなわちスコアと確率ｑの関係式を求める、という手順で行ってもよい。なお、確率ｑの算出方法は、実施形態２、３で説明したとおりであるからここでは説明を繰り返さない。

例えば、図７のＳ２で行われた分類のうち、分類結果のスコアが８０％以上９０％未満であった件数が１００件であれば、それら１００件の区分結果から確率ｑを算出する。これにより、スコアが８０％以上９０％未満であった場合に分類部１０２が正しく分類する確率ｑを算出することができる。そして、他の数値範囲のスコアについても同様にして確率ｑを算出し、各数値範囲における確率ｑの値から近似曲線を導出することにより、図１３の（ａ）のグラフのような関係式を得ることができる。

次に、閾値決定部１２１は、Ｓ８２で求めた関係式を用いて新たな閾値Ｔ_１を決定する（Ｓ８３）。ここで、閾値決定部１２１は、その閾値Ｔ_１を適用した場合に確率ｑが所定の下限値以上となるように閾値Ｔ_１を決定する。例えば、図１３の（ａ）の例では、所定の下限値を０．７５としている。この場合、例えば、図１３の（ａ）の関係式（グラフ）に０．７５を代入することにより算出した値を閾値Ｔ_１と決定してもよい。また、確率ｑが確実に０．７５以上となるように、０．７５よりも大きな値（ただしＴ_０よりは小さい値であることが好ましい）を上記関係式に代入することにより算出した値を閾値Ｔ_１と決定してもよい。

この後、情報処理システム５００は、Ｓ８３で決定された閾値Ｔ_１を用いて図７に示した処理を繰り返し実行し、これにより判定結果管理部１０５によるパターンの区分結果が蓄積されていく。パターンの区分結果がある程度蓄積された段階（例えば、区分結果の総数が所定数に達した段階）で、再学習時期決定部１０９は、パターン「F_OK」の発生回数の予測値を算出する（Ｓ８４）。また、再学習時期決定部１０９は、Ｓ８４で算出したパターン「F_OK」の発生回数が閾値未満となる範囲で再学習のタイミングを決定する（Ｓ８５）。なお、Ｓ８４、Ｓ８５の処理は、図１１のＳ６２、Ｓ６３と同様であるからここでは説明を繰り返さない。

そして、学習部１２２は、Ｓ８５で決定されたタイミングに分類部１０２の再学習を行う（Ｓ８６）。再学習は、例えば記憶部２０に記憶されている訓練データ２０２を用いて行うことができる。この再学習により分類部１０２が分類に用いる学習済みモデルが更新される。

従ってＳ８６の処理により、確率ｑとスコアＳｃの関係式も変化するので、Ｓ８６の終了後、処理はＳ８１に戻り、閾値決定部１２１が閾値の初期値Ｔ_０を決定する。なお、再学習後に決定する閾値は、Ｔ_０と異なる値に設定してもよい。この後は、上記と同様に、Ｓ８２～Ｓ８３で閾値Ｔ_１が決定され、Ｓ８４～Ｓ８５で再学習タイミングが決定されて、Ｓ８６で再学習が行われる。このように、図１３の（ｂ）の処理によれば、閾値Ｔ_１の決定と再学習が繰り返し行われる。

以上のように、分類部１０２と正否判定部１０４を含む判定システムでは、分類部１０２の分類結果のスコアが閾値以上であった場合に、当該分類結果に基づいて対象物が所定の分類に属するか否かを判定する。また、閾値決定部１２１は、分類部１０２による分類結果のスコアと、当該スコアの分類結果のうち正しい分類結果の割合である確率ｑ（分類成功率）との相関関係に基づき、確率ｑが所定の下限値以上となる閾値Ｔ_１を決定する。これにより、確率ｑに対する要求水準を満たす範囲で妥当な閾値Ｔ_１を決定することができる。なお、閾値Ｔ_１の決定に用いるスコアは、上記閾値以上のスコアに限られない。例えば、閾値決定部１２１は、分類部１０２が出力したスコアのうち、目視判定により分類結果の成否が確認されたスコアの全てを用いて閾値Ｔ_１を決定してもよい。

また、閾値決定部１２１は、分類部１０２が出力したスコアと、判定結果管理部１０５が区分した各パターンのカウント数から算出した確率ｑに基づいて閾値Ｔ_１を決定するから、分類部１０２の学習状態に応じた閾値Ｔ_１を決定することができる。例えば、図１３の（ｂ）の例のように、閾値決定部１２１は、分類部１０２の再学習が行われる度に、再学習後における、分類部１０２が出力したスコアと、当該スコアの分類結果における確率ｑとの相関関係に基づいて閾値Ｔ_１を決定してもよい。これにより、再学習により分類部１０２の分類精度を維持または向上しつつ、閾値Ｔ_１も適切な値に維持することができる。

〔システムによる実現例〕
情報処理装置１の機能は、相互に通信可能な複数の装置からなるシステムで実現することもできる。この場合、上述の各処理は、該システムを構成する複数の装置の何れかが行う。例えば、判定結果管理部１０５を備えた第１の情報処理装置と、誤判定数算出部１０８を備えた第２の情報処理装置とを設けてもよい。この場合、第２の情報処理装置は、第１の情報処理装置でカウントされた各パターンのカウント数などの情報を用いて誤判定数を算出する。また、例えば、再学習時期決定部１０９を備えた第３の情報処理装置を設けてもよく、この場合、第３の情報処理装置は、第１の情報処理装置でカウントされた各パターンのカウント数などの情報を用いて再学習時期を決定する。

〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。これは、目視検査端末２および端末装置３の制御ブロックについても同様である。

後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔付記事項〕
本発明の一態様にかかる情報処理装置は、画像中の対象物を機械学習済みの分類部で分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムにおける上記分類部の分類結果を区分する情報処理装置であって、上記分類部による分類済みの対象物について行われた目視判定において、（１）上記対象物の上記所定の分類への属否、および（２）上記分類部による分類結果の正否、が判定された結果である目視判定結果を取得する目視判定結果取得部と、上記目視判定結果における上記（１）、（２）の組み合わせに応じて上記分類部の分類結果を区分する区分部と、を備えている。

上記情報処理装置は、上記（１）、（２）の組み合わせに応じた区分のうち、上記（２）の目視判定結果が上記分類結果は正しいとの結果である区分に係る分類に用いられた上記画像に対して、上記分類部の分類結果を正解データとして対応付けて、上記分類部の再学習に用いる訓練データとする訓練データ生成部を備えていてもよい。

上記情報処理装置は、上記（１）、（２）の組み合わせに応じた区分のうち、上記（１）の目視判定結果が上記対象物は上記所定の分類に属するとの結果である区分に係る分類に用いられた上記画像に対して、上記所定の分類を正解データとして対応付けて、上記分類部の再学習に用いる訓練データとする訓練データ生成部を備えていてもよい。

上記訓練データ生成部は、上記分類部の分類結果の確度が閾値未満であった上記画像から上記訓練データを生成するものであってもよい。

上記情報処理装置は、上記判定システムの判定結果が上記対象物は上記所定の分類に属するとの結果であった判定に用いられた上記画像に対して、上記分類部の分類結果または上記所定の分類を正解データとして対応付けて、上記分類部の再学習に用いる訓練データとする訓練データ生成部を備えていてもよい。

上記情報処理装置では、複数の異なる対象物を撮影した複数の画像のそれぞれについて上記判定システムによる判定が行われた場合に、上記区分部は上記各区分に該当する分類結果の件数をカウントし、上記複数の異なる対象物についての判定のうち、上記判定システムにより上記対象物は上記所定の分類に属すると判定されたが、実際には上記対象物は上記所定の分類に属しておらず、上記分類部が上記所定の分類に属すると誤分類した件数を、上記カウントの結果に基づいて算出する誤判定数算出部を備えていてもよい。

上記情報処理装置は、上記誤判定数算出部が算出した上記件数が所定の閾値に達するまでの期間内で、上記分類部の再学習の時期を決定する再学習時期決定部を備えていてもよい。

上記情報処理装置は、（上記対象物が上記所定の分類に属しておらず、かつ上記分類部が誤分類する事象が発生する確率）×（上記分類部の分類回数）×（上記事象が発生する場合のうち上記分類部の分類結果が上記所定の分類となる割合）＜（所定の閾値）
との数式を満たす上記分類部の分類回数を算出し、上記分類部の分類回数が該算出した分類回数に達する時期を、上記分類部の再学習の時期と決定する再学習時期決定部を備えていてもよい。

本発明の一態様にかかる情報処理方法は、画像中の対象物を機械学習済みの分類部で分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムにおける上記分類部の分類結果を区分する情報処理装置による情報処理方法であって、上記分類部による分類済みの対象物について行われた目視判定において、（１）上記対象物の上記所定の分類への属否、および（２）上記分類結果の正否、が判定された結果である目視判定結果を取得する目視判定結果取得ステップと、上記目視判定結果における上記（１）、（２）の組み合わせに応じて上記分類部の分類結果を区分する区分ステップと、を含む。

上記情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記目視判定結果取得部および上記区分部としてコンピュータを機能させるための情報処理プログラムも本発明の範疇に含まれる。

１ 情報処理装置
１０２ 分類部
１０４ 正否判定部（判定部）
１０５ 判定結果管理部（区分部）
１０６ 目視判定部（目視判定結果取得部）
１０７ 訓練データ生成部
１０８ 誤判定数算出部
１０９ 再学習時期決定部

Claims (12)

1. 画像中の対象物を機械学習済みの分類部で分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムにおける上記分類部の分類結果を区分する情報処理装置であって、
   上記分類部による分類済みの対象物について行われた目視判定において、（１）上記対象物の上記所定の分類への属否、および（２）上記分類部による分類結果の正否、が判定された結果である目視判定結果を取得する目視判定結果取得部と、
   上記目視判定結果における上記（１）、（２）の組み合わせに応じて上記分類部の分類結果を区分する区分部と、を備えていることを特徴とする情報処理装置。
2. 上記（１）、（２）の組み合わせに応じた区分のうち、上記（２）の目視判定結果が上記分類部の分類結果は正しいとの結果である区分に係る分類に用いられた上記画像に対して、上記分類部の分類結果を正解データとして対応付けて、上記分類部の再学習に用いる訓練データとする訓練データ生成部を備えていることを特徴とする請求項１に記載の情報処理装置。
3. 上記（１）、（２）の組み合わせに応じた区分のうち、上記（１）の目視判定結果が上記対象物は上記所定の分類に属するとの結果である区分に係る分類に用いられた上記画像に対して、上記所定の分類を正解データとして対応付けて、上記分類部の再学習に用いる訓練データとする訓練データ生成部を備えていることを特徴とする請求項１に記載の情報処理装置。
4. 上記訓練データ生成部は、上記分類部の分類結果の確度が閾値未満であった上記画像から上記訓練データを生成することを特徴とする請求項２または３に記載の情報処理装置。
5. 上記判定システムの判定結果が上記対象物は上記所定の分類に属するとの結果であった判定に用いられた上記画像に対して、上記分類部の分類結果または上記所定の分類を正解データとして対応付けて、上記分類部の再学習に用いる訓練データとする訓練データ生成部を備えていることを特徴とする請求項１に記載の情報処理装置。
6. 複数の異なる対象物を撮影した複数の画像のそれぞれについて上記判定システムによる判定が行われた場合に、上記区分部は上記各区分に該当する上記分類部の分類結果の件数をカウントし、
   上記複数の異なる対象物についての判定のうち、上記判定システムにより上記対象物は上記所定の分類に属すると判定されたが、実際には上記対象物は上記所定の分類に属しておらず、上記分類部が上記所定の分類に属すると誤分類した件数を、上記カウントの結果に基づいて算出する誤判定数算出部を備えていることを特徴とする請求項１から５の何れか１項に記載の情報処理装置。
7. 上記誤判定数算出部が算出した上記件数が所定の閾値に達するまでの期間内で、上記分類部の再学習の時期を決定する再学習時期決定部を備えていることを特徴とする請求項６に記載の情報処理装置。
8. （上記対象物が上記所定の分類に属しておらず、かつ上記分類部が誤分類する事象が発生する確率）×（上記分類部の分類回数）×（上記事象が発生する場合のうち上記分類部の分類結果が上記所定の分類となる割合）＜（所定の閾値）
   との数式を満たす上記分類部の分類回数を算出し、上記分類部の分類回数が該算出した分類回数に達する時期を、上記分類部の再学習の時期と決定する再学習時期決定部を備えていることを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
9. 上記判定システムでは、上記分類部の分類結果の確度が閾値以上であった場合に、当該分類結果に基づいて上記対象物が所定の分類に属するか否かを判定し、
   上記確度と、当該確度の分類結果のうち正しい分類結果の割合である分類成功率との相関関係に基づき、上記分類成功率が所定の下限値以上となる上記閾値を決定する閾値決定部を備えていることを特徴とする請求項１から８の何れか１項に記載の情報処理装置。
10. 上記閾値決定部は、上記分類部の再学習が行われる度に、再学習後における、上記確度と、当該確度の分類結果における分類成功率との相関関係に基づき、上記閾値を決定することを特徴とする請求項９に記載の情報処理装置。
11. 画像中の対象物を機械学習済みの分類部で分類することにより当該対象物が所定の分類に属するか否かを判定する判定システムにおける上記分類部の分類結果を区分する情報処理装置による情報処理方法であって、
    上記分類部による分類済みの対象物について行われた目視判定において、（１）上記対象物の上記所定の分類への属否、および（２）上記分類部の分類結果の正否、が判定された結果である目視判定結果を取得する目視判定結果取得ステップと、
    上記目視判定結果における上記（１）、（２）の組み合わせに応じて上記分類部の分類結果を区分する区分ステップと、を含むことを特徴とする情報処理方法。
12. 請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記目視判定結果取得部および上記区分部としてコンピュータを機能させるための情報処理プログラム。

Images