JP7263074B2 - 情報処理装置、及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、機械学習を利用して画像から対象を検知する技術に関する。

橋梁などの構造物壁面の点検や、部品や製品外装の外観検査等では、調査技術者がひび割れや欠陥などの変状を近接目視で確認することが行われている。このような点検作業は作業コストが高いため、近年、パターン認識手法を用いて、検査対象を撮影した画像から、変状を自動的に検知する方法による点検が提案されている（特許文献１）。

特許５３８４４２９号公報

特許文献１のようなパターン認識手法において、目標とする検知精度を達成するように識別器を学習するためには、検知したい変状の特性に応じた多様かつ十分な量の学習データが必要となる。この学習データを作成する方法として、検査対象を撮影した画像の一部に対し、ユーザが目視により確認した変状データを手動で入力し、これを学習データとする方法がある。学習データを十分蓄積できたら、それらにより識別器を学習し、残りの画像に対して、学習済みの識別器を用いて変状を検知する処理を行う。これにより、検査対象の構造物に生じた変状を見つける作業を効率化することができる。しかし、学習データを作成作業には時間や手間がかかるため、必要な量の学習データを効率的に蓄積したいという要望がある。

そこで、本発明は、検査対象を被写体として撮影した画像からひび割れなどの変状を検知するための学習データの作成及び蓄積に係るユーザの作業を支援し効率化させることを目的とする。

上記課題を解決するために、画像に含まれる検知対象の位置を指定する入力を受け付ける受付手段と、前記画像を示す情報と前記入力された位置を示す情報との組からなる学習データの蓄積量を取得する取得手段と、蓄積された前記学習データに基づいて前記画像から前記検知対象を検知するための学習モデルを学習する学習手段と、前記蓄積量と前記学習手段が前記学習モデルを学習するために必要な前記学習データの量として設定された前記学習データの基準量とを表示手段に比較可能に表示する制御を行う表示制御手段と、備える。

本発明によれば、検査対象を被写体として撮影した画像からひび割れなどの変状を検知するための学習データの作成及び蓄積に係るユーザの作業が効率化される。

学習データとして蓄積する変状データの一例を表す図。 検査対象画像に変状データを入力した場合の画面遷移を模式的に表す図。 情報処理装置３００の構成の一例を示す図。 データ分類テーブルの一例を表す図。 情報処理装置３００が実行する処理の一例を示すフローチャート。 学習データが蓄積される流れを模式的に表す図。 情報処理装置３００により表示される表示データの一例を示す図。 情報処理装置３００により表示される表示データの一例を示す図。 情報処理装置の構成の一例を示す図。 情報処理装置３００が実行する処理の一例を示すフローチャート。 検査対象画像群と、対応する変状データの例を表す図。 優先的に変状データの入力を促す部分領域を注目表示する処理の流れを模式的に表す図。 修正作業を行う前後の変状検知結果の一例を示す図。 情報処理装置３００により表示される表示データの一例を示す図。 情報処理装置３００が実行する処理の一例を示すフローチャート。 情報処理装置３００により表示される表示データの一例を示す図。

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。

＜第１の実施形態＞
第１の実施形態として、検査対象の画像を目視し変状を特定する作業を行うユーザに対して、学習データの蓄積状況を表示し、その蓄積状況に応じて、ユーザに蓄積された学習データによる学習の実行を指示するように促す処理の例を説明する。特に本実施形態では、橋などの建築物の経年劣化を点検するようないわゆるインフラ点検を行うため情報処理システムを例に説明する。

本実施形態の説明において利用される用語は以下のように定義する。「検査対象」とは、インフラ点検を行うため情報処理システムを説明する場合には、コンクリート構造物等を指す。本実施形態で説明する情報処理システムのユーザは、検査対象を撮像した画像を基に、表面にひび割れなどの変状がないか、変状領域を検査することを目的としている。「変状領域」とは、例えば、コンクリート構造物の場合、コンクリートのひび割れや浮き、剥落がある。他にも、エフロレッセンスや、鉄筋露出、錆、漏水、水垂れ、腐食、損傷（欠損）、コールドジョイント、析出物、ジャンカなどがある領域を指す。

「変状データ」とは、変状の種類と、変状領域が存在する位置を示す位置情報とを組み合わせたデータである。例えば、ユーザが検査対象を撮像した画像を目視することによって、特定した変状を線で表現した位置情報と変状の種類の情報が変状データとなる。さらにひび割れの幅などの詳細情報を含む場合もある。変状データは、情報処理装置による変状検知処理の結果として得られた変状の種類と位置情報でもよい。ただし、変状の種類が１種類に特定できる場合や、種類の区別が不要な場合は、位置を示すデータを変状データとして扱う。「学習データ」とは、検査対象を被写体として撮影した画像と、変状データのペア（組）である。本実施形態では、特に、検査対象を撮影した画像は「入力データ」であり、変状データが「正解データ（教師データ）」となる学習データを用いて、変状検知手法の識別器が学習される。なお、本実施形態では、学習データに用いる変状データには、ユーザが入力した変状データを使用する。ただし、変状検知手法の結果を、ユーザが修正した結果を変状データとして使用することもできる。

「データ分類」とは、学習データの特性や性質を区分するための分類情報である。本実施形態では、学習データの蓄積状況をデータ分類毎に表示して、好ましい学習データが蓄積されているか否かをユーザが判断可能となるようにする。本実施形態での、インフラ点検に係る情報処理システムにおけるデータ分類は、例えば、変状領域を含むコンクリート壁面の種類である。具体的には、コンクリート壁面の色や表面粗さといった種類ごとにデータを分類する。

まず、図１及び図２を用いて本実施形態に係る情報処理装置が表示する画面の一例を説明する。図１は、アプリケーションのウインドウ１００に、コンクリート壁面を写した画像、変状領域を入力した結果を示す変状データを示す図である。図１（Ａ）は、点検対象であるコンクリート壁面を撮影した画像１１０のみを表示した状態である。なお以下では、コンクリート壁面を撮影した画像を単に画像、あるいは検査対象画像という。画像１１０には、ひび割れ（変状領域）１１１、１１２、１１３が存在している。データの入力担当者や調査責任者（以下、ユーザとする）は、画像１１０に存在しているひび割れを目視確認し、変状データの入力作業を行う。変状データの入力作業とは、例えばマウスやペンタブレットを利用した変状をトレースすることで、画像上に線状データを入力する作業である。これによりユーザは、画像に対応付けられた座標系に基づき、本実施形態における検知対象であるひび割れの位置を示すデータを入力することができる。図１（Ｂ）は、図１（Ａ）の画像１１０からユーザにより入力された変状データ１２１、１２２、１２３を表示した状態を示している。ここで、実際のひび割れは、図１（Ａ）に示したように面積を持つ領域である場合もあるが、図１（Ｂ）以降の図面に示す各変状データは、発明の説明のため、細い実線で表示する。ただし、変状データを領域として、その位置と面積が定義されるような入力作業を受け付けても構わない。図１（Ｃ）は、図１（Ａ）の画像１１０に、図１（Ｂ）の変状データ１２１、１２２、１２３を重ねて表示した図である。

変状データを入力する作業は、検査対象画像の枚数が多い場合や検査対象画像のサイズが大きい場合に、特に手間のかかる作業となる。このような場合には、作業を効率化するため、手動のトレース作業のみによらず、画像に含まれる変状の識別を行う識別器を利用して変状を検知する変状検知手法を用いて、変状データを取得する方法が有効である。その場合にはユーザは、変状検知結果が正しいかどうかを、検査対象画像と変状データとを比較確認しながら必要がある時だけ修正すればよいため、変状データを一から入力する場合に比べて作業負荷が低減する。以下、本実施形態では、変状の種類を識別する処理に対応するため識別器を学習させることを前提に説明する。しかしながら、画像から変状（ひび割れ）を検知するという機能において、識別器は検出器あるいは検知器と呼ばれる学習モデル（学習済みモデル）と同等であり、置き換えても構わない。

識別器を学習するには、多様かつ十分な量の学習データを用意する必要がある。ここで、ユーザが変状データを入力すると、図１（Ｃ）のように画像と変状データのペア（組）が得られる。このペアを学習データとして活用することができる。具体的には、ユーザが変状データを入力すると同時に、画像と変状データのペアを学習データとして蓄積していき、所定の種類の学習データがそれぞれ十分な量に達したら、蓄積された学習データによる識別器の学習を実行する。そして、学習した識別器を用いて、残りの検査対象画像に対して変状検知手法を適用し、検知結果を得る。これにより、変状データ入力作業が削減される。

本実施形態では、変状データを入力している間に、所定の表示部において学習データの蓄積状況を種類毎に表示する。これにより、ユーザは、学習データの種類毎の蓄積状況がわかるため、必要な量の学習データを得るための変状データの入力作業を効率的に行うことができる。

次に、学習データの蓄積状況を表示する方法について、図２を用いて説明する。図２は、検査対象画像に変状データを入力した場合の画面遷移を模式的に表す図である。検査対象画像群２００の中から１枚ずつ順に画像を表示し、画像上の変状の有無を確認しながら、変状データを入力している状態を示している。ウインドウ２１０には、選択した１枚の画像２０１と、学習データの蓄積状況を示す進捗表示領域２２０において、種類毎の進捗バーを並べて表示している。図２では、１つの進捗バー２２１のゲージは、上限に達しておらず、学習を行うためには学習データが不足している状態を示している。ここで、ユーザは、画像２０１を目視しながら変状データを入力する作業を行う。変状データを入力した時の表示状態をウインドウ２１１に示す。このとき、ウインドウ２１１上の画像２０１と変状データ（変状２３１、２３２、２３３）のペアが、学習データとして蓄積され、進捗バー２２２のゲージが上昇する。このように、変状データを入力すると同時に、学習データが種類毎に蓄積されていく。

ウインドウ２１２は、変状データ入力作業を一定枚数分進め、種類毎の学習データが十分蓄積した時点の表示状態である。ウインドウ２１２上の進捗表示領域２４０ではすべてのゲージが上限に達している。このタイミングで、学習の実行指示を促す表示を行う。例えば、学習実行ボタン２４１をウインドウに表示させる。学習データの蓄積状況を表示する方法の詳細や、ユーザへ学習を促すか否かを判定する方法の詳細については、後述する。

なお、以降の説明において、本実施形態で扱う画像は、検査対象であるコンクリート壁面を撮影した可視光画像（ＲＧＢ画像）とするが、これに限らない。例えば、赤外線カメラで撮影した熱画像やラインセンサカメラで撮影した画像などにも適用可能である。

図３に、本実施形態に係る情報処理装置３００の構成の一例を示す。図３（Ａ）は、本実施形態に係る情報処理装置３００のハードウェア構成の一例を示すブロック図である。情報処理装置３００は、ＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、操作部３０４、表示部３０５、ネットワークＩ／Ｆ３０６、システムバス３０７により構成される計算機によって実行することで実現できる。各要素は、システムバス３０７を介して相互に通信可能に接続されている。なお、計算機については、汎用のパーソナルコンピュータ（ＰＣ）を使用してもよいし、サーバ装置、タブレット装置、組み込み型のコンピュータ等の他の情報処理装置であることとしてもよい。また、本発明の処理に最適設計されたハードウェアを用いてもよい。

ＣＰＵ３０１は、情報処理装置３００を制御する中央演算装置である。主記憶装置３０２は、ＣＰＵ３０１のワークエリア、データの一時的な記憶領域等として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置３０３は、各種プログラム、各種設定情報、各種表示条件、閲覧データ等を記憶する記憶装置である。補助記憶装置３０３は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。主記憶装置３０２、補助記憶装置３０３それぞれは、記憶部の一例である。

操作部３０４は、マウス、キーボード、タッチパッド、タッチパネル、ペンタブレッド等の情報処理装置３００への情報の入力に用いられる入力装置である。表示部３０５は、モニタ、ディスプレイ、タッチパネルの表示部等の表示装置である。ネットワークＩ／Ｆ３０６は、外部の装置との間であのネットワークを介した通信に用いられるインタフェースである。本実施形態では、操作部３０４と表示部３０５とは、別個の構成要素であるとした。ただし、他の例として、操作部３０４と表示部３０５とは、タッチパネル、タブレット等の入力装置と表示装置との双方の機能を有する単一の構成要素であることとしてもよい。また、これらは情報処理装置３００に入出力用のインタフェースを介して接続された外部装置であっても構わない。

図３（Ｂ）は、情報処理装置３００のソフトウェアの構成を示すブロック図の一例である。情報処理装置３００は、受付部３１１、取得部３１３、設定部３１４、表示制御部３１５、学習部３１７、検知部３１８で構成される。これらの各機能部は、ＣＰＵ３０１が、補助記憶装置３０３に格納されたプログラムを主記憶装置３０２に展開し、後述する各フローチャートに従った処理を実行することで実現されている。そして、各処理の実行結果を主記憶装置３０２に保持する。また例えば、ＣＰＵ３０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

受付部３１１は、ユーザにより操作部３０４を介して入力された操作情報を受け付ける。本実施形態では、検査対象を撮影した画像（検査対象画像）に含まれる検知対象の位置を指定する入力を受け付ける。本実施形態において検知対象とは、ひび割れである。また、受付部３１１は、表示部３０５に表示されたＧＵＩアイテムに対するユーザ操作を受付け、関係する各機能部に通知する。取得部３１３は、格納部３１２に格納された学習データの蓄積量を取得する。設定部３１４は、ユーザの入力もしくは過去の学習実績に基づいて、学習に必要な学習データの基準量を設定する。本実施形態において基準量とは、求められる精度の検知処理を行うために学習することが必要な学習データの量であり、下限値を示す１つの値として予め設定される。例えば、所定サイズの検知対象画像の少なくともＸ枚に対して入力された変状データが必要であるという場合に「Ｘ枚」を基準量の定義とするなどの設定の方法がある。表示制御部３１５は、表示部３０５に表示される内容を制御する機能部である。本実施形態では、検査対象画像に重ねて、検知対象を表す変状データを表示するとともに、学習データの基準量と蓄積量とが比較可能であるように表示する。

判定部３１６は、学習データの蓄積量が、設定されている基準量に達したかを判定する。本実施形態の場合は、学習データの蓄積量が、設定されている基準量に達したと判定した場合には表示制御部３１５に通知し、表示制御部３１５は、ユーザに対して、学習を実行することを指示するためのグラフィカルユーザインタフェース（ＧＵＩ）を提示する。図２に示した学習実行ボタン２４１のような表示アイテムを表示させることにより、ユーザに学習を実行するか否かの判断を促す。

学習部３１７は、学習データの蓄積量が、設定されている基準量に達した後で、蓄積された学習データに基づいて検査対象画像から検出対象を検出するための学習モデルを学習する。本実施形態の場合は、判定部３１６による判定の結果として表示されたＧＵＩである学習実行ボタン２４１を指示するユーザ操作が受け付けられたのに応じて、学習を実行する。検知部３１８は、学習部３１７によって学習された識別器（学習済みモデル）を利用して検査対象画像から検知対象を検知する。ただし、情報処理装置３００が、学習を行う学習装置と検知を行う検知装置が分けて構成される情報処理システムにおける学習装置である場合には検知部３１８は省略されてもよい。

また、格納部３１２は、補助記憶装置３０３、あるいはネットワークＩ／Ｆ３０６を介して接続された外部記憶装置の機能部である。格納部３１２には、検査対象画像、検査対象画像に対応する変状データ、及び、検査対象画像の質感等の特性情報や変状の種類に基づく情報がデータ分類テーブルとして格納されている。このうち、検査対象画像と変状データの組が、本実施形態における学習データである。すなわち、格納部３１２には学習データが格納される。なお、検査対象画像は、特徴抽出を行った結果の特徴量に替えても良い。画像データではなく特徴量データを蓄積するように構成することで、格納部３１２に格納されるデータ量を削減できる場合がある。いずれにしても、検査対象画像を示す情報が学習データのうち入力データとして蓄積される。

ここで、図４は、格納部３１２に格納されるデータ分類テーブルの一例を表す図である。本実施形態におけるデータ分類とは、学習データの性質を分類するための分類情報であり、必要な性質をもつ学習データが蓄積されているかを判断するために使用される。図４は、インフラ点検に用いる学習データのデータ分類テーブルの例を示している。データ分類テーブルは、分類ＩＤをはじめとする項目ごとの情報を持つ。分類ＩＤとは、データ分類が登録された順に自動的に割り当てられる、ユニークな数値である。この分類ＩＤにより、あらかじめ学習データの性質を分類しておく。図４に示す分類ＩＤが対応する１つ１つの分類は、背景の特徴と検知対象の組合せに対応する。図４では一例として、コンクリ―ト壁面の色やテクスチャ感（背景の特徴）、変状パターン（検知対象の種類）の組み合わせを、分類を定義するための項目とするが、他の項目を使用してもよい。

次にフローチャートを参照して、本実施形態において情報処理装置３００が実行する具体的な処理の内容を説明する。図５は、本実施形態における情報処理装置のメイン処理の一例を表すフローチャートである。以下、各工程（ステップ）は、それら符号の先頭にはＳを付与して説明することとする。本実施形態では、情報処理装置３００において、検査対象画像からの変状検知処理を行うためのアプリケーションが起動されたことに応じて、ＣＰＵ３０１のワークエリアが初期化され、Ｓ５０１の処理が開始される。

Ｓ５０１で、設定部３１４は、学習を実行するために必要なデータ量である、学習データ基準量を設定する。本実施形態における基本的な基準量は、画像や変状の種類毎に、あらかじめ決められた所定の量とする。学習データ基準量を設定する方法は、どのような方法を用いてもよいが、例えば、実験的に求める方法が考えられる。また、他の方法として、ユーザが、種類毎の学習データ基準量を直接指定できるようにしてもよい。

Ｓ５０２で、表示制御部３１５は、格納部３１２から検査対象画像群のうちの少なくとも１画像を読み込み、表示部３０５に表示させる。Ｓ５０３では、受付部３１１が、表示された検査対象画像において、変状データの位置を指定する操作を受け付ける。本実施形態のＳ５０２～Ｓ５０３の処理によって表示部３０５に表示される表示画面の態様は、図２のウインドウ２１０～２１２に示した通りである。なおここで、ユーザに対して、変状の位置に加えて変状パターン（種類）を選択肢から選択する等により指定可能としてもよい。受付部３１１は、変状データの入力が受け付けられる度に、表示されている検査対象画像とペアにして学習データとして格納部３１２に格納する。Ｓ５０４では、取得部３１３が、格納部３１２から学習データの蓄積状況を取得する。本実施形態では、ユーザが入力した変状データと対応する画像のペアから成る学習データの、格納部３１２における蓄積状況を取得する。

ここで、本実施形態における学習データの蓄積処理について図６を参照して説明する。図６は、第１の実施形態において学習データが蓄積される流れを模式的に表す。本実施形態では、検査対象画像群を１枚ずつ表示して、ユーザにより変状データの入力を得る。そして、入力された変状データと表示していた画像の組を、学習データとして蓄積する。従って、検査対象画像群のうち、全ての画像について変状データの入力を終える前の段階で、途中まで行われている作業の結果が、学習データとして蓄積される。その蓄積量が、基準量に達した時点で、検査対象画像群２００のうち残りの画像に対して識別器を用いたひび割れの検知及び識別を行うための学習が実行可能となる。図６（Ａ）は、検査対象画像群６０１に対して、一部に当たる画像群６０２に対して変状データの入力が行われ、変状データ６１１が得られた状態を表す。図６（Ａ）では、点線で囲われた画像群６０２と変状データ６１１のペアが、学習データとなる。

本実施形態の情報処理装置３００では、この学習データを分析し、画像の性質や変状種類を取得する。そして取得された情報と、データ分類テーブルに登録されているデータ分類情報とに基づいて、分類ごとに学習データが蓄積されていく。本実施形態では、画像（検査対象画像）の性質を示す情報として、画像中のコンクリート壁面色や、画像の滑らかさを示すテクスチャ感を求める。インフラ点検では、コンクリート壁面を撮影した画像を用いるため、輝度値平均等の特徴量から、コンクリート壁面色を判断することができる。また、画像のテクスチャ感を求める方法として、例えば、ＦＦＴにより得られる空間周波数情報に基づいて、凸凹や滑らか、といったテクスチャ感を判断することができる。また、変状の種類は、変状データ自体が保持する情報であるため、変状データを分析することにより、取得することができる。これらの分析により得られた情報と、格納部３１２に格納されているデータ分類テーブルの情報とに基づいて、学習データをデータ分類毎に蓄積することが可能となる。分類した後、データ分類毎のデータ量を算出することにより、図６（Ｂ）に示すような、学習データに含まれる種類（データ分類）と、分類毎のデータ量を求めることができる。Ｓ５０４において、取得部３１３は、このようにして学習データの蓄積量を分類毎に取得する。

図５のフローチャートの説明に戻り、Ｓ５０５では、表示制御部３１５が、取得部３１３によって取得された学習データの蓄積状況を、表示部３０５に表示させるための表示データを作成し、出力する。本実施形態では、図２に示したように、Ｓ５０１で設定した学習データ基準量に対する蓄積量を示す進捗バー表示領域２２０を、画面上部に表示する。蓄積量が、基準量に対する進捗の程度を表す進捗バーとして表現されることにより、ユーザは蓄積量と基準量を容易に比較し、その差を確認できる。

Ｓ５０６では、判定部３１６が、取得した学習データの蓄積量が、設定された基準量に達したかを判定する。本実施形態では、特に設定がなされていない限り、すべてのデータ分類の学習データ蓄積量が、所定の量に達したか否かを総合的に判定する。具体的には、Ｓ５０４で求めた蓄積量が、Ｓ５０１で設定した学習データ基準量に達しているかどうか判定する。その判定方法は、例えば、以下の式１で表すことができる。

ここで、パラメータＤｐとＶｐは、ｐ番目のデータ分類における、学習データ基準量と学習データ蓄積量を示している。式１では、すべてのデータ分類における学習データ蓄積量がそれぞれ基準量に達したかどうかを判定する。

Ｓ５０６において、蓄積量が基準量に達したと判定される場合（Ｓ５０６でＹＥＳ）には、Ｓ５０７へ進む。Ｓ５０７では、表示制御部３１５が、学習実行ボタン２４１を表示部３０５に表示させることにより、ユーザへ学習の実行を促す。Ｓ５０８では、判定部３１６が、学習の実行が指示されたかを判定する。本実施形態の場合は、学習実行ボタン２４１に対するユーザ操作があった場合に、学習の実行が指示されたと判定する。学習の実行が指示されたと判定される場合（Ｓ５０８でＹＥＳ）は、Ｓ５０９に進む。Ｓ５０９では、学習部３１７が、蓄積された学習データにより識別器（学習モデル）の学習を実行する。

Ｓ５１０では、ＣＰＵ３０１により、検査対象画像からの変状検知処理を行うためのアプリケーションの終了が指示されたかの判定が行われる。まだアプリケーションの終了が指示されていないと判定される場合（Ｓ５１０でＮＯ）には、再びＳ５０２に進み、同一の検査対象画像あるいは別の検査対象画像に対して、再び変状入力作業を受け付ける。一方、終了が指示されたと判定される場合（Ｓ５１０でＹＥＳ）には、図５のフローチャートの処理が終了する。Ｓ５０６において、蓄積量が基準量に達していないと判定される場合（Ｓ５０６でＮＯ）には、Ｓ５０７～Ｓ５０９の処理を経ずにＳ５１０に進む。また、Ｓ５０８において、学習の実行が指示されていないと判定される場合（Ｓ５０８でＮＯ）には、Ｓ５０２に戻って次の検査対象画像に対して変状入力作業を受け付ける。以上が、本実施形態において情報処理装置３００が実行するメイン処理の一例である。

なお、上述したＳ５０６の処理において、蓄積量が基準量に達したかを判定する方法は、検査対象あるいは検知対象の性質や、ユーザが所望とする検知結果の精度に応じて変更することも可能である。例えば、分類毎に独立した判定を行うこともできる。その場合、５つのデータ分類のうちいずれか１以上の分類の学習データの蓄積量が、基準量に達したかを式１などに基づいて判定する。このように、データ量の多い一部のデータ分類の蓄積量に基づいて判定すれば、稀にしか発生しないような変状に関する学習データの蓄積量は無視することができる。また、予め設定されたいずれか１以上の分類の学習データの蓄積量が、基準量に達したかどうかを判定してもよい。これは、好ましい学習データの分類が事前に特定できているケースを想定可能な場合に有効な判定方法である。この場合、ユーザが、蓄積したいデータ分類をあらかじめ設定しておくことにより、実現することができる。さらにまた、他の判定方法として、データ分類の種類によらず、学習データ蓄積量の合計が、基準量に達したかどうかを判定することもできる。

図７及び図８を参照して、上述したメイン処理において表示制御部３１５により表示部３０５に表示される表示データの詳細を説明する。図７（Ａ）は、Ｓ５０５の処理により、学習データの蓄積状況が表示された状態を表す図である。アプリケーションウインドウ７００に、検査対象画像７０１とともに、全体の蓄積状況を示す進捗バー７０２と進捗率７０３が表示されている。受付部３１１により変状データの入力が受け付けられ、新たな学習データが蓄積されるのに応じて、進捗バー７０２のゲージや進捗率７０３が増え、すなわち蓄積量が増える様子が表示される。進捗バー７０２のゲージや進捗率７０３の文字は、蓄積状況に応じて色や太さを変化させてもよい。蓄積状況に応じて表示を変更することにより、蓄積状況が直観的にわかりやすくなる。

また、図７（Ｂ）に、学習データの蓄積状況を詳細表示する例を示す。図７（Ｂ）では、アプリケーションウインドウ７１１上に、データ分類毎の蓄積状況７１２を一覧表示している。このように、詳細な情報を表示すれば、ユーザは、学習データが種類毎にどの程度蓄積されているか詳細に把握しやすい。表示する項目は、コンクリート壁面色、テクスチャ感、変状パターン、蓄積量、蓄積割合だが、それ以外の項目を表示してもよい。また、蓄積状況の表示順序は、蓄積割合が高い順を初期状態とするが、ユーザが自由に変更できることが望ましい。表示順を制御する方法は、例えば、表示順を決定するプルダウン７１３の中から選択する方法や、項目毎のソート制御アイコン７１４をクリックする方法が考えられる。

このような、学習データの蓄積状況の表示方法は、ユーザにより必要に応じて切り替えられてもよい。例えば、図７（Ａ）の表示において、進捗バー７０２や進捗率７０３をクリックすると、図７（Ｂ）の詳細表示に切り替わり、図７（Ｂ）の表示切替ボタン７１５をクリックすると、図７（Ａ）の表示に切り替わる。このように切り替え可能とすることで、ユーザは、その時々で必要な粒度の情報を必要に応じて閲覧することができる。なお、１枚の検査対象画像に変状データが入力され学習データが追加されるタイミングと、学習データの蓄積状況を示す進捗バーの進行状況や進捗率の数値が更新されるタイミングは、蓄積量の算出方法によってはずれが生じ得る。そこで進捗バーの進捗率が１００を達成するタイミングと、Ｓ５０６における蓄積量と基準量の比較判定処理と連動させるように、蓄積状況の算出方法を調整してもよい。進捗バーのゲージが上限に達するタイミング（進捗率が１００％に達するタイミング）と、蓄積量が基準量に達すると判定されるタイミングとが、一致することで、学習が実行可能になるタイミングが、ユーザにとってよりわかりやすくなる。

次に、図８（Ａ）は、蓄積量が基準量に達した結果、Ｓ５０７の処理により表示される画面を表す。アプリケーションウインドウ８００には、図７と同様に、検査対象画像８０１と進捗表示領域８０２、および進捗率８０３を表示している。１つ前の検査対象画像に対する変状データの入力が完了し、次の画像への切り替えが行われた直後であるため、検査対象画像８０１にはユーザによって入力された変状データが重畳されていない。進捗表示領域８０２において、進捗バーのゲージは上限に達し、進捗率８０３も１００％となり、学習に必要なデータが十分蓄積されていることを示している。このとき、本実施形態では、進捗率８０３の近傍に、学習実行ボタン８０４を表示し、ユーザに学習の実行が可能になったことを示すとともに、学習実行の指示を促す。なお、本実施形態では、学習実行ボタン８０４は、Ｓ５０６の判定後に表示させる方法が考えられるが、その他の表示方法を用いてもよい。例えば、無効化状態の学習実行ボタン８０４を常時表示しておき、Ｓ５０６の判定処理直後に、学習実行ボタン８０４を有効化する方法が考えられる。無効化状態と有効化後の状態は、色を変化させるなどして表現することができる。

ユーザへ学習の実行指示を促す表示方法として、上記以外の方法を用いてもよい。例えば、学習の実行を促すポップアップ表示を行う方法が考えられる。図８（Ｂ）にポップアップ表示の例を示す。このとき、ポップアップ表示のみアクティブ状態とし、その他のウインドウは、非アクティブ化にする。このようにアクティブ状態を変更することで、ユーザが変状データの入力作業をしている途中であっても、学習が可能になったことに気付きやすい。ポップアップを表示させる基本的なタイミングは、Ｓ５０６の判定結果の直後であれば、最も速やかに必要な学習を行うことが容易となる。ただし、他のタイミングでもよい。例えば、アプリケーションを中断あるいは終了するタイミングで、ポップアップを表示させ、学習の実行を促してもよい。

ここまで第１の実施形態では、学習データの蓄積状況を表示するとともに、学習データの蓄積状況に応じて、ユーザに学習が可能であることを通知し、学習実行の指示を促す表示を行う実施形態について説明した。このようにユーザに学習を実行するかの判断を委ねる形式は、例えば、識別器の学習及び学習後の識別器による検知対象の検知処理が有料オプションとなるようなサービスに組み込まれたアプリケーションにおいて、特に有効に活用され得る。このような場合、ユーザは、自らが行う変状データの入力作業に係る負荷を体感しながら、必要最低限の作業を行ったあとは識別器による自動検知に頼る、もしくは頼らない、という判断を自ら行うことができる。ただし、学習の実行は、ユーザの指示によらず、自動的に行うようにしてもよい。具体的には、Ｓ５０６の判定部３１６による判定の結果がＹＥＳであった場合、Ｓ５０９に進んで、学習部３１７が学習を実行する。自動で学習を実行することにより、必要以上の学習データを蓄積せずにすむことに加え、ユーザによる学習実行の指示のし忘れを防ぐことができる。

以上の実施形態では、検査対象画像のうち、ユーザが入力した変状データと対応する画像のペアを学習データとして蓄積する場合について説明したが、本発明では、学習データにその他のデータを利用してもよい。例えば、あらかじめ学習データＤＢを用意しておき、Ｓ５０４の処理において学習データの蓄積量を算出する際に、学習データＤＢの中からデータを取り出し、学習データとして利用してもよい。

また、以上の実施形態では、インフラ点検における検査対象を撮影した画像確認作業において、ひび割れ等の変状を確認する実施形態について説明した。本発明の適用先は、特定の分野に限定されない。例えば、工場などで製品（検査対象）の画像からキズなどの欠陥（検知対象）を確認する外観検査の作業や、病院などで人体（検査対象）の撮影画像から病変（検知対象）を確認する医療診断の作業などに、本発明を用いてもよい。また、また画像は、必ずしも光学的に撮影された画像に限らず、例えば、ベクタデータであってもよい。

以上説明した第１の実施形態によれば、ひび割れやキズ等の変状を検知および識別するための学習データを入力している作業中に、学習データの蓄積状況を画面上で確認することができるようになる。また、学習データが所定の量に達すると同時に、学習が可能になったことを示すような表示出力が行われるため、ユーザは、学習を行うタイミングを適切に判断することができるようになる。

＜第２の実施形態＞
第１の実施形態では、変状データの入力作業の途中段階までに、検査対象画像の一部に入力した変状データと対応する画像とのペア（組）を、学習データとして蓄積し、その蓄積状況を表示する例を説明した。基準量（必要な量）に対して学習データが不足している間は、その不足分を補うために、変状データの入力作業を継続することになる。この入力作業を効率的に行うためには、不足している種類（データ分類）の学習データを優先的に蓄積することができるように、変状データを入力する必要がある。第２の実施形態では、基準量に対して不足している学習データの種類に対応する画像を、検査対象画像群から選択して表示させ、優先的に変状データの入力作業が行われるように支援する例を示す。具体的には、学習データの蓄積状況に基づいて、学習データが基準量に対して不足している分類を特定し、そのデータ分類と背景テクスチャが一致（または類似）する画像を、検査対象画像群から選択する。選択した画像を、変状データの入力画面において表示させ、ユーザが変状データを入力した結果、不足しているデータ分類に合致する変状が含まれていた場合、その分類に属する学習データとして蓄積する。本実施形態では、このように、基準量に対して不足している学習データとなる可能性の高い検査対象画像を優先的に、変状データを入力する作業用に表示し、ユーザに変状データの入力を促す。以下、第１の実施形態との差分を中心に第２の実施形態を説明する。

第２の実施形態に係る情報処理装置３００のハードウェア構成は、図３（Ａ）に示した第１の実施形態の構成に準じるため、説明を省略する。図９（Ａ）は、第２の実施形態に係る情報処理装置３００のソフトウェア構成の一例を表す図である。第１の実施形態において図３（Ｂ）に示した構成に対して、分析部９０１と選択部９０２が追加されている点が異なる。分析部９０１は、ＣＰＵ３０１の機能部であって、格納部３１２に格納されている変状データの入力作業を行う前の検査対象画像を分析することにより、各検査対象画像の性質を取得する。選択部９０２は、ＣＰＵ３０１の機能部であって、格納部３１２に格納された検査対象画像群から、変状データの入力を促すために特定された画像を選択する。

図１０は、第２の実施形態に係る情報処理装置３００が実行するメイン処理の一例を示すフローチャートである。図１０のフローチャートにおいて、第１の実施形態で説明した図５のフローチャートと同じ番号を付したステップでは、第１の実施形態と同等の処理が実行される。第２の実施形態の場合、Ｓ５０１で基準量が設定された後、処理はＳ１００１に進む。Ｓ１００１では、分析部９０１が、格納部３１２に格納されている検査対象画像を読み込んで分析し、それぞれについて画像の性質を示す情報を取得する。本実施形態で取得する画像の性質は、第１の実施形態と同様に、コンクリート壁面色やテクスチャ感とする。また、それらの取得方法は、第１の実施形態で説明した方法（Ｓ５０４）と同様であるため、ここでの詳細な説明を省略する。また、第２の実施形態では、Ｓ５０８において、学習の実行が指示されていないと判定された場合（Ｓ５０８でＮＯ）、及び、Ｓ５１０においてアプリケーションの終了が指示されていないと判定された場合（Ｓ５１０でＮＯ）にＳ１００２に進む。Ｓ１００２では、選択部９０２が、Ｓ１００１で取得された検査対象画像の性質と、Ｓ５０４で取得した学習データの蓄積状況に基づいて、残りの検査対象画像群の中から変状データの入力を促す画像を選択する。そして、Ｓ５０２に戻り、選択された画像が表示制御部３１５により、表示部３０５に表示される。

ここで、図１１を参照し、変状データの入力を促す画像を選択するＳ１００２の処理の詳細を説明する。図１１（Ａ）に、本実施形態で扱う検査対象画像群１１０１と、対応する変状データ１１０２の例を模式的に示す。変状データ１１０２は、一部に当たる画像群１１０３に対応する変状データである。図１１（Ｂ）は、学習データの蓄積状況を示す図であり、第１の実施形態において図７（Ｂ）に示した例に対応する。図１１（Ｂ）では、一部のデータ分類１１１１の学習データが不足している。以下、この不足分を補うために、図１１（Ａ）の画像１１０４の中から、データ分類１１１１に対応する検査対象画像を選択し、選択された画像に対して優先的にユーザによる変状データ入力作業が行われることを支援する例を説明する。

まだ現状データの入力が行われていない画像群１１０４の中から、変状データの入力を促す画像を選択するために、本実施形態では、図１０のＳ１００１で取得した検査対象画像の性質に関する情報を用いる。具体的には、画像群１１０４の中から、データ分類１１１１における画像の性質（コンクリート壁面色が灰色、滑らかなテクスチャ）が同じの画像を選択する。図１１（Ｃ）に示す画像（１１０５、１１０６、１１０７）は、画像群１１０４の中から選択した、データ分類１１１１と画像の性質が同じ画像を表す。Ｓ１００２では、さらにそのうちの１枚を選択し、変状データの入力が優先的に行われるように表示部３０５表示する。図１１（Ｄ）は、図１１（Ｃ）に示したうち画像１１０５と、学習データの蓄積状況を示す表示アイテムである進捗表示領域１１２２とが、共にウインドウ１１２１に表示されている状態の一例を示す。ユーザは、画像１１０５を確認しながら、変状データを入力する作業を行う。その結果、得られた変状データの変状パターンが、データ分類１１１１と同じ「ひび割れ」であれば、変状データと画像１１０５のペアが分類１１１１に属する学習データとして蓄積される。第２の実施形態の場合、Ｓ１００１で得られる情報は、検査対象画像の背景情報のみであるため、結果的に入力された変状データの種類が「ひび割れ」でない場合には、分類１１１１に属する学習データは増加しない。

画像１１０５に対する変状データの入力作業の後、分類１１１１の学習データの蓄積量が基準量に達するまでは、別の画像１１０６、１１０７に表示が切り替わり、優先的に変状データの入力が受け付けられる。ウインドウ上の画像を切り替える方法は、どのような方法でもよいが、例えば、図１１（Ｄ）に示す画像切替ボタン１１２３をクリックして切り替える方法が考えられる。なお、第２の実施形態においても、分類１１１１の学習データの蓄積量が基準量に達した段階で、学習実行ボタンが表示される。第２の実施形態では、上述したように優先的に学習データとして蓄積することが推奨される画像を選択してユーザに提示するので、ユーザは、多数の画像の中から、変状データを入力する画像を探索する必要なく効率よく学習データが生成できる。

なお、第２の実施形態は、以下のように部分的な変形を加えた場合にも、同様の効果を得ることができる。蓄積量が足りていない学習データを優先的に生成するために、ユーザに特定の分類の変状データの入力を促す画像の表示方法は、上述したように１枚ずつ画像を表示する方法に限られない。例えば、表示している１枚の画像の中でも、優先的に変状データの入力を促すべき部分領域を注目表示させてもよい。インフラ点検において、検査対象の１枚当たりのサイズは非常に大きい（例：１０，０００×１０，０００画素以上）。従って、画像を端から順に確認して変状データを入力するのは手間がかかる。このような場合、１枚の画像の中でも、基準量に対して不足している学習データに相当する可能性の高い部分領域を、優先的に変状データの入力を促す箇所として表示する。これにより、ユーザは、効率的に学習データを蓄積することができる。

１枚の画像の中で、優先的に変状データの入力を促す部分領域を注目表示する処理について、図１２を参照して詳細を説明する。なお、ここで説明する表示処理は、図１０のフローチャートにおいて、例えばＳ１００２の後に挿入されればよい。表示制御部３１５は、格納部３１２から検査対象画像を取得し、一定サイズで区分する。区分サイズは、例えば、８００ｘ６００画素など、閲覧しやすい任意のサイズとする。図１２（Ａ）は、検査対象画像１２００と、画像を区分するグリッド１２０１を表示している図である。図１２（Ａ）の部分領域１２０２は、区分された１つの領域の例である。次に、区分された部分領域毎に、画像の性質を示す情報を取得する。取得する画像の性質は、コンクリート壁面色やテクスチャ感であり、それらの取得方法は第１の実施形態と同様であるため説明は省略する。そして、部分領域毎に取得した画像の性質と、学習データの蓄積状況に基づいて、アプリケーションウインドウに、変状データの入力を促す領域部分を表示する。

図１２（Ｂ）は、アプリケーションウインドウ１２０３上に、データ分類毎の蓄積状況１２０４と、検査対象画像の一部である領域１２０５を表示している図である。ここで、点線で囲われている枠１２０６は、不足している学習データのデータ分類１２０７に対応する部分領域を示している。このように画像中の一部領域を注目表示することにより、ユーザは、不足している学習データを蓄積するために、どの領域を確認すればよいかわかりやすい。なお、周辺領域を探索しやすいようなユーザインタフェース、例えばスクロールバーの表示アイテムがさらに表示されていてもよい。なお、図１２（Ｂ）では、単一のデータ分類に該当する領域を表示しているが、ウインドウ上の画像表示範囲を広げ、複数のデータ分類に該当する領域を同時に枠表示してもよい。また、データ分類毎に枠の色や装飾、太さ等を変えて表示してもよい。

なお、注目表示を行うタイミングは、データの蓄積状況に合わせて自動で表示してもよいし、ユーザの指示に基づいて表示してもよい。ユーザが指示する場合は、例えば、データ分類のいずれかの項目を選択する操作があったことに応じて、注目表示を実行すればよい。具体的には、図１２（Ｂ）のデータ分類毎のチェックボックス１２０８をクリックすることにより、領域１２０５上に、注目表示の表示ＯＮ／ＯＦＦを切り替える。また、注目表示の他の方法として、対象領域部分または対象画像をポップアップ表示させることもできる。図１２（Ｃ）は、例として、検査対象画像の中から、学習データが不足している領域を抽出し、ポップアップ表示している図である。変状データ入力作業が終わったら、表示領域切替ボタン１２０９をクリックして、表示を切り替える。ユーザは、ウインドウ上で検査対象画像の表示位置を移動させる必要がなく、少ない手間で変状データ入力作業を進めることができる。

また、検査対象画像群から優先的に変状データの入力を促す画像を選択する方法は、上記のように背景情報（背景色とテクスチャ感）による絞り込みに限らずともよい。例えば、あらかじめ用意した簡易的な変状検知器を用い、変状の存在する可能性が高い順に画像または領域を選択する方法が考えられる。ここでの変状検知器は、画像中の変状が含む可能性を示すスコア値を０～１の実数値で出力する、事前に学習済みの検知器とする。この検知器を使用して識別処理を行い、画像毎もしくは領域毎に、変状の存在可能性を示すスコアを取得する。得られたスコアに基づき、スコアが高い順に画像または領域を表示部３０５に表示し、変状データの入力を促すようにする。このように選択することにより、変状を多く含む学習データを効率的に蓄積しやすくなる。いずれの変形を採用した場合であっとも、第２の実施形態では、蓄積量が基準量に達した段階で、第１の実施形態と同様、ユーザへ学習の実行指示を促す表示を行う。以上のように、第２の実施形態によれば、必要とされる学習データをより効率的に蓄積することができる。

＜第３の実施形態＞
第１及び第２の実施形態では、変状データの入力作業の途中段階までに、検査対象画像の一部に入力した変状データと対応する画像とのペア（組）を、学習データとして蓄積し、その蓄積状況を表示する例を説明した。それに対し、第３の実施形態では、学習済みの識別器（学習済みモデル）を用いた検知の結果として得られた変状データに対し、ユーザによって行われた修正作業の結果を学習データとして識別器を再学習する例を示す。

例えば、過去に行ったインフラ点検の結果等に基づいて学習済の識別器が存在する場合、新たに得られた検査対象画像群に対する変状データ入力効率化のため、いったん識別器を用いた変状検知処理を実行することが可能である。そして、ユーザは、得られた検知結果の修正作業を行うことで、一から変状データをトレース作業によって入力するのに比べて大幅に作業を効率化できるという利点がある。しかし、過去に点検した構造物と新たに点検する構造物の性質が大きく異なる場合など、様々な要因により、変状検知性能が低い場合、検知結果を修正する作業が多くなるため、ユーザの作業が削減されない。このような時には、途中まで修正した検知結果を再学習データとして用い、識別器を再学習する。そして、変状検知性能を向上させたうえで、修正作業を行っていない残りの画像群に対して再度変状検知を行う。この結果、残りの画像群についての変状検知結果は、再学習前よりも改善されたデータに更新されるので、ユーザの修正作業の負荷を低減することができる。

ただし、変状検知性能が十分に高い場合は、再学習を行っても修正作業を削減するという面での効果は得られにくい。つまり、性能が十分高い識別器よりも、性能の低い識別器を再学習したほうが、再学習による効果は大きい。そこで、第３の実施形態では、変状検知結果をユーザが修正している途中に、検知性能を算出し、その算出した検知性能を、再学習の実行を促すタイミングを決定するための要素とする例を説明する。より具体的には、検知性能が予め定めた基準より低い状況、つまりは再学習することでユーザの修正作業の負荷を低減できる可能性が高い状況において、ユーザに再学習の実行を促すような表示制御を行う。

本実施形態でも、コンクリート構造物の壁面画像点検を想定し、検査対象がコンクリート壁面、検出対象はひび割れである例を基に説明する。検知性能を比較するための指標の一例として、本実施形態では、誤検知結果と未検知結果の両方を加味した性能指標であるＦ値（Ｆ－ｍｅａｓｕｒｅ）を用いる。Ｆ値は、０から１までの値をとり、性能が高いほど１に近い値となる。ただし、本実施形態に用いる指標はこれに限られない。

第３の実施形態に係る情報処理装置３００のハードウェア構成は、図３（Ａ）に示した第１の実施形態の構成に準じるため、説明を省略する。図９（Ｂ）は、第３の実施形態に係る情報処理装置３００のソフトウェア構成の一例を表す図である。第１の実施形態において図３（Ｂ）に示した構成に対して、評価部９１１が追加されている点が異なる。また、第３の実施形態において、受付部３１１は、変状データの情報（位置及び種類）を修正する操作を受け付ける。評価部９１１は、ＣＰＵ３０１の機能部であって、修正操作の結果に基づいて、検知部３１８による検知処理の性能を評価する。本実施形態ではＦ値を算出することによる評価を行う。本実施形態では、判定部３１６は、学習データの蓄積量、および算出されたＦ値に基づく判定処理を行う。そして、表示制御部３１５は、判定結果に応じて、再学習の実行指示をユーザに促すような表示制御を行う。

図１３は、第３の実施形態に係る変状検知結果を示す変状データの例を示す図であり、ユーザが修正作業を行う前後の変状データの一例を示す。画像１３０１は、複数のひび割れを含むコンクリート壁面を撮影した検査対象画像である。ただし、ひび割れの様子を模式的に表すため、ひび割れ以外の要素を省略して示している。実際の検査対象画像には、コンクリートの継ぎ目の線、汚れや凹凸等の要素がひび割れとともに写りこんでいる。検知結果１３０２は、画像１３０１に対して変状検知手法を適用し、得られた結果である変状データを示している。そして、検知結果１３０３は、検知結果１３０２を基に、ユーザが修正した結果である変状データを示す。検知結果１３０２のうち変状データ１３１１は、元の画像１３０１には対応するひび割れが存在していない。すなわち、誤検知である。誤検知は、例えば、ひび割れ以外の何らかの要素を識別器が誤ってひび割れとして検知してしまうことに起因して起こる。ユーザは、修正作業により変状データ１３１１を削除する。従って、検知結果１３０３では、変状データ１３１１は含まれない。また、検知結果１３０３に示される変状データ１３１２は、ユーザにより新たに入力されたものであり、検知結果１３０２では未検知であった。このように、検知結果１３０２は、ひび割れを正しく検知できていない結果として、誤検知結果や未検知結果を含んでいる。この修正前後の検知結果１３０２、１３０３を基に、検知結果の正解と不正解の量を算出することができる。本実施形態で用いるＦ値は、この算出量から求めることができる。

図１４は、本実施形態により表示される表示データの一例である。ユーザが変状検知結果を修正している途中における、再学習データの蓄積状況を示す表示データの例である。図１４は、第１の実施形態で示した図７（Ｂ）のアプリケーションウインドウ７１１に対応する。第３の実施形態の場合は、表示要素として検知性能を示すＦ値１４０１を表示する項目が存在する。本実施形態では、再学習を促すか否かを判定するため、Ｆ値が所定の値未満かどうかを判定する。判定方法は、例えば、以下の式２で表すことができる。

ここで、パラメータｆｐは、ｐ番目のデータ分類における、検知性能を示すＦ値である。また、パラメータγは、データ分類毎の性能基準を示し、０から１までの任意の定数を設定する。このパラメータγを決定する方法は、例えば、実験的に決定する方法が考えられる。

図１５は、本実施形態における情報処理装置のメイン処理の一例を表すフローチャートである。ただし、図１で説明した図５のフローチャートと同じ処理が行われるステップには同じ番号を付し、詳細な説明は省略する。第３の実施形態では、検査対象画像からの変状検知処理を行うためのアプリケーションにおいて、学習済みの識別器による変状検知結果が表示されたこと応じて、ＣＰＵ３０１のワークエリアが初期化され、図１５のＳ１５０１の処理が開始される。Ｓ１５０１では、設定部３１４が、再学習のために必要とされる新たな学習データの基準量を設定する。本実施形態では所定の値を読み込む。Ｓ１５０２では、表示制御部３１５が、検査対象画像とその画像から検知された変状データとを重ねて表示部３０５に表示させる。Ｓ１５０３では、受付部３１１が、修正作業を受け付け、修正作業により生成される新たな学習データ（検査対象画像と変状データのペア）を格納部３１２に格納する。Ｓ１５０４は、取得部３１３が、格納部３１２から、新たな学習データの蓄積状況を表示する。Ｓ１５０５では、表示制御部３１５が、学習データの蓄積状況とＳ１５０１で設定された基準量を比較可能であるように表示部３０５に表示させる。なお、Ｓ１５０５とＳ１５０６で処理される学習データは、設定された基準量の定義によっては、修正作業前に蓄積されていた学習データと合わせたものであってもよい。

Ｓ１５０６では、評価部９１１が、各データ分類に関してＦ値を算出する。Ｆ値の算出方法は、公知のものを利用することができる。ただし、修正されたデータがある程度蓄積されるまでは正確なＦ値は算出されないため、データ量が不十分なうちは算出を行わずにＳ１５０７に進んでもよい。また、本実施形態では、表示制御部３１５により、例えば図１４に示したような表示データを生成することで、算出されたＦ値を表示部３０５に表示する。Ｓ１５０７では、判定部３１６が、取得した学習データの蓄積量が、設定された基準量に達したかを判定する。本実施形態でも、特に設定がなされていない限り、すべてのデータ分類の学習データ蓄積量が、所定の量に達したか否かを総合的に判定する。Ｓ１５０７において、蓄積量が基準量に達したと判定される場合（Ｓ１５０７でＹＥＳ）には、Ｓ１５０８へ進む。蓄積量が基準量に達していないと判定される場合（Ｓ１５０７でＮＯ）には、Ｓ５１０に進む。Ｓ１５０８では、判定部３１６が、式２に従って、いずれかの分類のＦ値が所定値に満たないかを判定する。Ｓ１５０８において、１つでもＦ値が所定値に満たない分類がある場合（Ｓ１５０８でＹＥＳ）には、Ｓ５０７へ進む。全ての分類のＦ値が所定値に満たす場合（Ｓ１５０８でＮＯ）には、Ｓ５１０に進む。ただし、Ｓ１５０６においてＦ値が算出されていない場合には、Ｓ１５０８は常にＮＯの判定とすればよい。Ｓ５０７以降の処理は、第１の実施形態に準じるため説明を省略する。

以上説明したように、本実施形態では、いずれかのデータ分類の検知性能が、式２を満たす場合に、再学習を促す表示を行う（Ｓ１５０８）。Ｆ値は、ユーザによって修正される誤検知あるいは未検知データが多いほど、低くなる値である。従って、本実施形態によれば、作業が進んでＦ値が所定値を下回った段階で、再学習の実行が促されることになる。これにより、適切なタイミングでユーザに学習の実行指示を促すことができ、結果的にユーザの作業が効率化される。ただし、分類毎に式２によって判定を行う方法は一例であり、他の判定基準あるいは判定方法を用いることもできる。例えば、データ分類毎の性能指標ではなく、学習データ全体の検知性能が、基準値未満か否かを確認する方法が考えられる。さらにまた、他の判定方法として、データ分類毎のＦ値のうち、学習データ蓄積量または割合が上位５つのいずれかのＦ値が一定値未満である時に、再学習を促す表示を行うようにしてもよい。なお、式２では「Ｆ値が所定の値以下か」を判定したが、比較対象同士が一致する場合を、所定の性能が不足しているとみなすか足りているとみなすかは、判定方法とパラメータを選ぶ際に任意に決定されればよい。

第３の実施形態において、再学習を促す表示方法は、第１の実施形態において示した、図８の表示方法などを用いることができる。以上の方法により、変状検知結果を修正しているときに、変状検知性能に基づいて、再学習を促すか否かを判定することができる。したがって、再学習を行うタイミングをユーザが判断できるようになる。当初より検知性能が十分に高く、修正作業を進めてもＦ値が所定値を下回ることがない場合には、ユーザは、再学習によって作業が中断されることなく、最後まで修正作業を行うことができる。なお本実施形態では、学習済みの識別器による検知結果を修正する場合を例に挙げたが、修正対象の変状データには識別器による検知結果のみでなくユーザのトレース作業によって入力された変状データが含まれてもよい。

なお、第３の実施形態では、蓄積状況による判定（Ｓ１５０７）を省略するような変形も可能である。すなわち、Ｆ値が算出可能である程度まで修正作業が進んだ段階から、さらに修正作業が行われ、いずれかの分類でＦ値が所定値を下回った場合に、（Ｓ１５０８でＹＥＳ）には、Ｓ５０７において学習実行ボタンを表示する。この場合には、Ｓ１５０４とＳ１５０５によって表示されている学習データの蓄積状況を確認したユーザ自身の判断により、蓄積量が十分になったとき、あるいは任意のタイミングで再学習を実行することが可能である。

＜変形例＞
ここで、第１～第３の実施形態に適用可能な変形例を示す。図１６は、変形例において表示される表示データの一例を示す。上述した第１～第３の実施形態では、学習データの基準量は、例えば画像の枚数などの絶対的な量で設定された。そして表示データでは基準量を１００％として学習データの進捗の程度を進捗バーで示した。しかしながら、基準量は、相対的な量で設定されてもよい。例えば、入力として与えられた大量の検査対象画像のうちの４０％を基準量として設定する。図１６（Ａ）のアプリケーションウインドウ１６００では、図８のウインドウ８００と同様に、進捗表示領域１６０１が表示される。ここで学習データの蓄積の進捗は全体の２０％であることが、進捗バー１６０２と進捗率１６０４によって示される。変形例では、指標１６０３によって、基準量（４０％とした例）が示される。ユーザが変状データの入力作業を続け、学習データが基準量に達した時の表示状態を図１６（Ｂ）に示す。図１６（Ｂ）では、進捗バー１６０２が指標１６０３に達し、進捗率１６０４が４０％を示す。また、学習実行ボタン１６０５が表示されていることから、ユーザは、学習データが基準量まで蓄積されたことを確認できる。ここで４０％という基準量は、一例にすぎない。基準量は、相対的な量で定義する場合も、検査対象の大きさや検査対象画像の全体量、及び識別器の内容等に応じて設定されればよい。

なお、図１６（Ａ）及び（Ｂ）のように、基準量を進捗バーの終点ではなく途中に、指標として表現する表示方法は、基準量が絶対的な量で設定される場合であっても使用することができる。この表示方法によれば、ユーザは、学習データを学習することが可能になった一方で、変状データの手動入力を継続することも可能であることを認識しやすい。これは例えば、基準量を越えて学習データを生成することでさらに識別器の性能を向上させることが可能な場面や、追加学習が有料オプションである場面で、ユーザが自身の作業負荷の状況によって作業の継続可否を判断しやすいという利点がある。

また、図１６（Ｃ）のように、学習実行ボタン１６０５とともに、学習後に学習済みの識別器を利用した検知処理の実行を指示する検知実行ボタン１６０６をともに表示してもいい。この場合、ユーザによって検知実行ボタン１６０６が操作されたことに応じ、検知部３１８による検知処理が実行され、表示部３０５では検知結果を表示する画面への表示内容が遷移する。上述したいずれの実施形態においても、学習データを学習させる目的は、検知対象の検知であるので、学習データが十分に得られた時点で検知の実行を指示できるＧＵＩを設けることで、全体の作業効率が向上する場合がある。なお、学習と検知を一度に指示可能であるように、学習実行ボタン１６０５と検知実行ボタン１６０６の機能を１つに集約したボタンアイコンのような表示アイテムを表示させてもよい。検知実行ボタン１６０６は、図８のウインドウ８００のように、設定された基準量を１００％とする進捗表示領域とともに表示されても同様の効果を得られることはいうまでもない。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３１１ 受付部
３１２ 格納部
３１３ 取得部
３１４ 設定部
３１５ 表示制御部
３１６ 判定部
３１７ 学習部
３１８ 検知部

Claims (20)

1. 画像に含まれる検知対象の位置を指定する入力を受け付ける受付手段と、
   前記画像を示す情報と前記入力された位置を示す情報との組からなる学習データの蓄積量を取得する取得手段と、
   蓄積された前記学習データに基づいて前記画像から前記検知対象を検知するための学習モデルを学習する学習手段と、
   前記蓄積量と、前記学習手段が前記学習モデルを学習するために必要な前記学習データの量として設定された前記学習データの基準量とを表示手段に比較可能に表示する制御を行う表示制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記受付手段によって前記入力が受け付けられるのに応じて前記蓄積量が変化する様子を前記表示手段に表示する制御を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記学習手段は、前記蓄積量が前記基準量に達したことに応じて、前記学習を実行することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示制御手段は、前記蓄積量が前記基準量に達した場合、前記学習手段に前記学習モデルの学習の実行させる指示を受け付けるアイテムを前記表示手段に表示させ、
   前記学習手段は、前記表示されたアイテムに対するユーザの操作に応じて前記学習を実行することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記学習手段は、前記蓄積量が前記基準量に達した場合、前記学習を実行することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 前記画像とは、検査対象となる構造物を被写体として撮影した画像であり、前記検知対象とは、前記構造物の表面に生じた変状であって、
   前記学習モデルに基づいて、前記画像から前記変状を検知する検知手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記変状とは、前記構造物の表面に生じたひび割れを含むことを特徴とする請求項６に記載の情報処理装置。
8. ユーザの入力もしくは過去の学習実績に基づいて前記基準量を設定する設定手段を更に備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記学習データは、前記画像の特性及び前記検知対象の種類に基づいて分類され、
   前記取得手段は、前記分類ごとに前記学習データの蓄積量を取得し、
   前記表示制御手段は、前記分類ごとに前記蓄積量と前記学習データの基準量とを比較可能に表示する制御を行うことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段は、前記受付手段が前記入力を受付ける間、前記画像と、入力される前記検知対象の位置を示すデータとを前記表示手段に表示するとともに、前記受付手段によって前記入力が受け付けられるのに応じて前記蓄積量が変化する様子を前記表示手段に表示する制御を行うことを請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記受付手段は、前記表示手段に表示された前記画像上で、前記検知対象をトレースすることで位置情報を入力する操作を受け付けることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記学習手段によって学習された学習済みモデルに基づいて、前記画像から前記検知対象を検知する検知手段を更に備え、
    前記受付手段は、前記検知手段によって前記画像から検知された前記検知対象を示す位置情報を修正する操作を受け付けることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記学習手段は、前記受付手段によって受け付けられた前記修正する操作の結果に基づいて、前記学習済みモデルの再学習を実行することを特徴とする請求項１２に記載の情報処理装置。
14. 前記検知手段による検知結果を評価する評価手段を更に備え、
    前記学習手段は、前記評価手段によって、前記検知手段による検知処理の性能が所定の基準より低いと評価された場合、前記再学習を実行することを特徴とする請求項１３に記載の情報処理装置。
15. 前記表示制御手段は、前記評価手段によって、前記検知手段による検知処理の性能が所定の基準より低いと評価された場合、前記学習手段に前記再学習の実行させる指示を受け付けるアイテムをさらに前記表示手段に表示させ、
    前記学習手段は、前記表示されたアイテムに対するユーザの操作に応じて前記再学習を実行することを特徴とする請求項１４に記載の情報処理装置。
16. 前記表示制御手段は、前記蓄積量が前記基準量に達した場合に、蓄積された前記学習データを学習した前記学習モデルに基づいて、前記画像から前記変状を検知する処理の実行指示を受け付けるアイテムをさらに前記表示手段に表示させ、
    前記検知手段は、前記表示されたアイテムに対するユーザの操作に応じて前記検知を実行することを特徴とする請求項６に記載の情報処理装置。
17. 情報処理装置の制御方法であって、
    受付手段により、画像に含まれる検知対象の位置を指定する入力を受け付け、
    取得手段により、前記画像を示す情報と前記入力された位置を示す情報との組からなる学習データの、蓄積量を取得し、
    学習手段により、蓄積された前記学習データに基づいて前記画像から前記検知対象を検知するための学習モデルを学習し、
    表示制御手段により、前記蓄積量と、前記学習手段が前記学習モデルを学習するために必要な前記学習データの量として設定された前記学習データの基準量とを所定の表示部において比較可能に表示させる、
    ことを特徴とする情報処理装置の制御方法。
18. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至１６のいずれか１項に記載の情報処理装置として機能させるプログラム。
19. 請求項１８に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
20. 画像に含まれる検知対象の位置を指定する入力を受け付ける受付手段と、
    前記画像を示す情報と前記入力された位置を示す情報との組からなる学習データの、蓄積量を取得する取得手段と、
    蓄積された前記学習データに基づいて前記画像から前記検知対象を検知するための学習モデルを学習する学習手段と、
    前記蓄積量と、前記学習手段が前記学習モデルを学習するために必要な前記学習データの量として設定された前記学習データの基準量とを表示手段に比較可能に表示する制御を行う表示制御手段と、
    前記蓄積量が前記基準量に達した後で前記学習手段によって学習された学習済みモデルに基づいて、前記画像から前記検知対象を検知する検知手段と、
    を備えることを特徴とする情報処理システム。

Images