JP7051571B2 - 教師データ作成装置および方法 - Google Patents

Description

本発明は、教師データ作成装置および方法に関し、特に画像判定を行う学習型判別器に用いられる教師データを作成する技術に関する。

近年、画像の分類を行う際に、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）をはじめとした学習型判別器が利用されることが増えている。学習型判別器を構築するためには、教師画像とラベルとの組み合わせからなる教師データを複数用意する必要がある。

例えば、学習型判別器を用いて画像による異常検出を行う場合には、対象物の正常な状態の画像、対象物にキズが含まれる画像、および対象物に汚れが含まれている画像などと、「正常」、「キズ」、および「汚れ」などの各分類クラス情報を示すラベルとの組み合わせからなる教師データが用いられる。

例えば、特許文献１および特許文献２は、検査対象の画像情報を教師データとした学習モデルを用いて欠陥の存在を判定、または欠陥の種別を分類する欠陥検出装置を開示している。

従来から、学習型判別器の学習や、学習型判別器を利用した検査を行う際には、分割された検査対象の画像が用いられる場合がある。その第１の理由は、画像を分割することで画像データを低次元化して計算量を削減させるためである。また、その第２の理由は、画像に占める特徴の割合を確保するためである。

まず、第１の理由に関して、一般に画像処理を行う際には、行列の掛け算が頻発する。そのため、対象となる画像のサイズが大きい場合、計算量も指数関数的に増加してしまう場合がある。また、上記第２の理由に関して、画像に含まれる様々な要素のうち、ラベルと関係のある特徴量を優先的に認識することで、学習効率が上がり、また判別の正答率も向上することが知られている。

従来の学習型判別器を用いた学習や判別では、格子状に分割した対象物の画像が用いられる。図１８および図１９は、画像を分割して切り取る従来の手法を説明する図である。図１８に示すように、対象物の画像は格子状に分割されている。また、対象物の画像における背景には、同心円が描かれている。太線の四角形の枠で示す切り取り領域が教師データの教師画像として用いられる。図１８に示すように、太線の四角形の枠で示す画像の切り取り領域ごとに背景のパタンが変化している。なお、図１８および図１９において「×」は、検査の対象物に含まれる欠陥などを示している。

図１８のように、画像における切り取り領域の場所ごとに背景が変化する場合には、従来から図１９の（ａ）に示すような、切り取り領域の場所ごとにモデルを作る手法、あるいは、図１９の（ｂ）に示すように、切り取り領域の場所に関係なくモデルを作る手法が用いられている。

特開第２００４－０３８８８５号公報 特開第２０１０－０７１８２６号公報

しかしながら、画像の切り取り領域の場所ごとにモデルを作る従来の手法では、１モデル当たりのデータ数が少なくなってしまう。他方、画像における切り取り領域の場所に関係なくモデルを作る場合、背景情報の差異がノイズとなってしまう。その結果、学習型判別器による判別の正答率が下がってしまう恐れがある。

本発明は、上述した課題を解決するためになされたものであり、対象物において切り取り領域の場所ごとに背景が変化する場合であっても、背景情報の差異を抑えることができる教師データ作成装置および方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る教師データ作成装置は、対象物の画像判定に用いられる教師データを作成する教師データ作成装置であって、前記対象物における複数の切り取り領域の画像を取得するように構成された切り取り領域設定部と、前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定するように構成された判定部と、前記判定部によって前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させるように構成された変換部と、前記変換部によって移動された切り取り領域の画像を、予め定められたラベルと関連付けて記憶するように構成された記憶部とを備えることを特徴とする。

また、本発明に係る教師データ作成装置において、前記対象物の画像を取得するように構成された第１取得部と、取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第１基準点設定部と、をさらに備え、前記切り取り領域設定部は、前記第１取得部によって取得された前記対象物の画像に対して、互いに異なる複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点に応じた１つの切り取り領域を基準切り取り領域として設定し、前記判定部は、前記基準として、前記基準切り取り領域の画像に含まれる背景画像と前記複数の切り取り領域のうち前記基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致するか否かを判定してもよい。

また、本発明に係る教師データ作成装置において、前記対象物の背景における中心点に関する情報を取得するように構成された第２取得部と、取得された前記中心点に関する情報に基づいて、前記背景の基準点を設定するように構成された第２基準点設定部と、をさらに備え、前記切り取り領域設定部は、前記対象物の少なくとも一部の画像に対して前記切り取り領域を設定し、前記判定部は、前記基準として、前記切り取り領域の前記基準点に対する相対的位置が予め設定された範囲で一致しているか否かを判定してもよい。

また、本発明に係る教師データ作成装置において、前記変換部は、前記基準点と前記切り取り領域の中心点とを結ぶ各直線と、前記基準点を通る基準となる任意の軸とのなす角が１８０°となるための回転角度を算出し、前記一致していないと判定された切り取り領域を、前記基準点を中心として前記回転角度だけそれぞれ回転させてもよい。

また、本発明に係る教師データ作成装置において、前記対象物の画像を取得するように構成された第１取得部と、取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第１基準点設定部と、前記複数の切り取り領域に含まれる背景画像の向きを検出するように構成された向き検出部と、をさらに備え、前記切り取り領域設定部は、前記第１取得部によって取得された前記対象物の画像に対して、前記複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点と対応付けられる１つの切り取り領域を、前記基準となる基準切り取り領域として設定し、前記判定部は、前記基準として、検出された前記向きに基づいて、前記基準切り取り領域の画像に含まれる背景画像の向きと前記切り取り領域の画像に含まれる背景画像の向きとが予め設定された範囲で一致するか否かを判定し、前記変換部は、前記判定部によって一致していないと判定された切り取り領域の画像に含まれる背景画像の向きが、前記基準切り取り領域の画像に含まれる背景画像の向きと揃うように、前記一致していないと判定された切り取り領域の画像に含まれる背景画像を移動させてもよい。

また、本発明に係る教師データ作成装置において、前記切り取り領域設定部は、前記基準点に対する前記切り取り領域の位置およびサイズを設定してもよい。

また、本発明に係る教師データ作成方法は、対象物の画像判定に用いられる教師データを作成する教師データ作成方法であって、前記対象物における複数の切り取り領域の画像を取得する切り取り領域設定ステップと、前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する判定ステップと、前記判定ステップで前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させる変換ステップと、前記変換ステップで移動した切り取り領域の画像を、予め定められたラベルと関連付けて記憶部に記憶する記憶ステップとを備えることを特徴とする。

本発明によれば、対象物における複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たすように、切り取り領域または切り取り領域に含まれる画像を移動させるので、画像の切り取り領域の場所ごとに背景が変化している場合であっても、背景情報の差異を抑えることができる。

図１は、本発明の第１の実施の形態に係る教師データ作成装置の機能構成を示すブロック図である。 図２は、本発明の第１の実施の形態に係る教師データ作成装置のハードウェア構成を示すブロック図である。 図３は、本発明の第１の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。 図４は、本発明の第１の実施の形態に係る教師データ作成処理を説明するフローチャートである。 図５は、本発明の第１の実施の形態に係る変換処理を説明する図である。 図６は、本発明の第１の実施の形態に係る変換処理を説明する図である。 図７は、本発明の第１の実施の形態に係る変換処理を説明する図である。 図８は、本発明の第２の実施の形態に係る教師データ作成装置の機能構成を示すブロック図である。 図９は、本発明の第２の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。 図１０は、本発明の第１の実施の形態に係る変換処理を説明する図である。 図１１は、本発明の第１の実施の形態に係る変換処理を説明する図である。 図１２は、本発明の第３の実施の形態に係る教師データ作成装置の機能構成を示すブロック図である。 図１３は、本発明の第３の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。 図１４は、本発明の第３の実施の形態に係る変換処理を説明するフローチャートである。 図１５は、本発明の第３の実施の形態に係る教師データ作成処理を説明する図である。 図１６は、本発明の第３の実施の形態に係る変換処理を説明する図である。 図１７は、本発明の第３の実施の形態に係る変換処理を説明する図である。 図１８は、従来の画像の切り取り方法による教師データ作成処理を説明する図である。 図１９は、従来の画像の切り取り方法による教師データ作成処理を説明する図である。

以下、本発明の好適な実施の形態について、図１から図１７を参照して詳細に説明する。各図について共通する構成要素には、同一の符号が付されている。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態に係る教師データ作成装置１について説明する。
本実施の形態に係る教師データ作成装置１は、学習型判別器の学習に用いられる画像とラベルとの組み合わせからなる教師データを作成する。学習型判別器としては、例えば、ディープラーニングなど多層ニューラルネットワークが用いられる。学習型判別器は、教師データを用いた学習により、製品など対象物の画像における特徴量を抽出し、例えば、対象物が正常か異常であるかを判別する。

教師データ作成装置１は、画像データ取得部（第１取得部）１０、基準点設定部（第１基準点設定部）１１、切り取り領域設定部１２、判定部１３、変換部１４、記憶部１５、および出力部１６を備える。

画像データ取得部１０は、製品などの対象物の画像を取得する。画像データ取得部１０は、例えば、外部に設置されたカメラなどから、通信ネットワークを介して、カメラなどによって撮像された対象物の画像を取得してもよい。また、画像データ取得部１０は、予め用意されている対象物の画像を、記憶部１５または外部の記憶装置から取得してもよい。

画像データ取得部１０は、取得された対象物の画像データに対して、フィルタリングなどによるノイズの除去や画像の明るさの正規化などを必要に応じて行う。また、画像データ取得部１０は画像データを所定のサイズに揃える。画像データ取得部１０によって取得された画像は、記憶部１５に記憶される。

ここで、本実施の形態で用いられる対象物の画像は、平面的な画像であり、幾何学的に類似している模様が続く背景を有する。具体的には、本実施の形態では、対象物の背景が同心円のパタンである場合を例に挙げて説明する。

基準点設定部１１は、画像データ取得部１０によって取得された画像に含まれる背景画像を検出し、その背景画像の基準点を設定する。より詳細には、基準点設定部１１は、予め定められている製品のキズや汚れなど、学習型判別器が、対象物の異常と正常とを判別することに直接関係する情報以外の画像情報を背景画像として検出する。基準点設定部１１は、後述する対象物情報記憶部１０７ｃに予め記憶されている対象物および背景に関する情報を参照して上記背景画像の検出を行う。

基準点設定部１１は、同心円状の背景画像における円の中心点を背景画像の基準点として設定する。この基準点は、後述する切り取り領域設定部１２、判定部１３、および変換部１４によって用いられる。基準点設定部１１によって設定された基準点に関する情報は、記憶部１５に記憶される。

切り取り領域設定部１２は、対象物の画像に対して、互いに異なる複数の切り取り領域を設定する。また、切り取り領域設定部１２は、複数の切り取り領域のうちの基準点に応じた１つの切り取り領域を基準切り取り領域として設定する。切り取り領域設定部１２は、例えば、背景画像の基準点を通る水平軸上（基準となる任意の軸上）に基準切り取り領域を設定してもよい。なお、切り取り領域は、教師データとして用いられる画像データを抽出するために、対象物の画像の一部に設定される領域である。

また、切り取り領域設定部１２は、基準点に対する切り取り領域および基準切り取り領域の位置および領域のサイズを設定する。例えば、各切り取り領域（基準切り取り領域）は、長方形の領域としてもよい。この場合、長方形のサイズは、各切り取り領域（基準切り取り領域）で同一とする。

また、切り取り領域設定部１２は、切り取り領域および基準切り取り領域それぞれの中心点を設定する。これらの中心点に関する情報は、後述する変換部１４によって用いられる。

判定部１３は、複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する。より詳細には、判定部１３は、基準として、基準切り取り領域の画像に含まれる背景画像と、基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致するか否かを判定する。判定部１３は、例えば、基準切り取り領域と切り取り領域の濃淡コードを作成し、濃淡値を比較して、値が一致する桁（ドット）が多いほど（予め設定された範囲）、画像の類似度が高い、すなわち「背景情報が一致する」と判定する。

判定部１３は、判定結果を各切り取り領域の情報と紐づけて記憶部１５に記憶する。

変換部１４は、判定部１３によって切り取り領域の画像に含まれる背景画像が基準を満たしていないと判定された切り取り領域が基準を満たすように切り取り領域を移動させる。

より具体的には、変換部１４は、基準点設定部１１によって設定された対象物の背景画像の中心点（基準点）と切り取り領域の中心点とを結ぶ直線と、基準点を通る水平軸とのなす角が１８０°となる回転角度を算出する。変換部１４は、判定部１３によって背景情報が一致していないと判定された切り取り領域を、算出された回転角度だけ回転させて座標変換する。

記憶部１５は、変換部１４によって移動された切り取り領域を水平な切り取り領域の画像として、予め定められた教師データのラベルと関連付けて記憶する。また、記憶部１５は同様に、判定部１３によって背景情報が一致すると判定された切り取り領域の画像についても、予め定められた教師データのラベルと関連付けて記憶する。

出力部１６は、記憶部１５に記憶されている切り取り領域の画像とラベルとが関連付けられている教師データを、図示しない学習型判別器に出力する。出力部１６は、例えば、通信ネットワークを介して学習型判別器が実装されている計算機に教師データを送出してもよい。また、出力部１６は、表示画面において対象物の画像や、切り取り領域とラベルとが関連付けられた情報を提示してもよい。

［教師データ作成装置のハードウェア構成］
次に、上述した機能を有する教師データ作成装置１のハードウェア構成について図２を用いて説明する。

教師データ作成装置１は、バス１０１を介して接続されるＣＰＵ１０３と主記憶装置１０４とを有する演算装置１０２、通信制御装置１０５、カメラ１０６、外部記憶装置１０７、表示装置１０８等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。

ＣＰＵ１０３と主記憶装置１０４とは、演算装置１０２を構成する。主記憶装置１０４には、ＣＰＵ１０３が各種制御や演算を行うためのプログラムが予め格納されている。

通信制御装置１０５は、教師データ作成装置１と各種外部電子機器との間を通信ネットワークＮＷを介して接続するための制御装置である。通信制御装置１０５は、教師データ作成装置１によって作成された教師データを、通信ネットワークＮＷを介して外部の機器などに送信してもよい。

カメラ１０６は、教師データ作成装置１に接続されており、対象物である製品の光学像を撮像する。カメラ１０６は、２次元ＣＣＤなどのイメージセンサを用い、受光面（図示しない）に結像された光学像を電気信号に変換する。

外部記憶装置１０７は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置１０７には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置１０７は、画像データ記憶部１０７ａ、設定情報記憶部１０７ｂ、対象物情報記憶部１０７ｃ、教師データ記憶部１０７ｄ、プログラム格納部１０７ｅ、図示しないその他の格納装置で、例えば、この外部記憶装置１０７内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。

画像データ記憶部１０７ａ、設定情報記憶部１０７ｂ、および教師データ記憶部１０７ｄは、図１で説明した記憶部１５に対応する。
画像データ記憶部１０７ａは、カメラ１０６などから取得された対象物の画像を記憶する。
設定情報記憶部１０７ｂは、対象物の画像における基準点に関する設定情報や切り取り領域の位置やサイズに関する情報を記憶する。
教師データ記憶部１０７ｄは、座標変換が行われ、背景画像が揃った切り取り領域の画像と、予め定められているラベルとが関連付けられた教師データを記憶する。

対象物情報記憶部１０７ｃは、対象物である製品などの異常に関する情報、対象物の背景情報などラベルに関する情報が記憶されている。演算装置１０２は、対象物情報記憶部１０７ｃに記憶されている対象物に関する情報に基づいて、画像に含まれる特徴量に関係する部分と、背景画像とを区別して検出する。

プログラム格納部１０７ｅには、本実施の形態における画像データの取得処理、基準点の設定処理、切り取り領域の設定処理、背景画像における一致または不一致の判定処理、および変換処理など教師データ作成装置１が教師データを作成する際に必要な演算処理を実行するための各種プログラムが格納されている。

表示装置１０８は、図１で説明した出力部１６の表示画面を構成する。表示装置１０８は液晶ディスプレイなどによって実現される。

［教師データ作成装置の動作］
次に、上述した構成を有する教師データ作成装置１の動作について、図３および図４のフローチャート、並びに図４および図５の説明図を用いて説明する。

まず、画像データ取得部１０は、対象物の画像を外部に設置されたカメラなどから取得する（ステップＳ１）。取得された画像は記憶部１５に記憶される。次に、基準点設定部１１は、取得された対象物の画像に含まれる背景画像を検出し、背景画像の基準点、すなわち回転の中心軸を背景画像に設定する（ステップＳ２）。

図５に示すように、対象物の画像Ａは、対象物に存在する欠陥など（「×」で示す点）と、同心円のパタンからなる背景画像とで構成される。基準点設定部１１は、同心円の中心点Ｏを基準点として設定する。また、基準点設定部１１は、背景画像の同心円の中心点Ｏを通る水平軸ｈを設定する。

次に、切り取り領域設定部１２は、対象物の画像において、複数の切り取り領域を規定するための中心点を設定する（ステップＳ３）。具体的には、切り取り領域設定部１２は、図５に示すように、画像Ａにおいて、互いに異なる切り取り領域ａ０、ａ１、ａ２、ａ３、ａ４を規定するため、中心点ｏ、ｏ１、ｏ２、ｏ３、ｏ４を設定する。

次に、切り取り領域設定部１２は、設定した各切り取り領域の中心点に基づいて、予め定められている幅および高さの領域を、ステップＳ３で設定した各中心点に対して設ける（ステップＳ４）。例えば、図５に示すように、中心点ｏ、ｏ１、ｏ２、ｏ３、ｏ４を中心として、互いに同じサイズの切り取り領域ａ０、ａ１、ａ２、ａ３、ａ４が設定される。

また、切り取り領域設定部１２は、切り取り領域ａ０、ａ１、ａ２、ａ３、ａ４のうち、水平軸ｈ上にある切り取り領域ａ０を、基準切り取り領域として設定する。

その後、判定部１３は、基準切り取り領域の画像に含まれる背景画像と複数の切り取り領域のうち基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致しないと判定した場合には（ステップＳ５：ＮＯ）、変換部１４による変換処理が実行される（ステップＳ６）。例えば、図５に示すように、切り取り領域ａ１、ａ２、ａ３、ａ４の背景画像はいずれも基準切り取り領域ａ０の背景画像と一致していない。よって判定部１３は、これらの背景画像については互いに背景情報が一致していないと判定する。

一方、基準切り取り領域の背景情報と一致する切り取り領域については（ステップＳ５：ＹＥＳ）、その切り取り領域の画像が抽出されて記憶部１５に記憶される（ステップＳ７）。より詳細には、記憶部１５は、背景情報が一致している切り取り領域の画像と、予め定められているラベルとを関連付けて教師データとして記憶する。

ここで、変換部１４による変換処理について図４のフローチャートを用いて説明する。
まず、変換部１４は、対象物の画像に含まれる同心円の中心点（基準点）とその周辺に設定されている複数の切り取り領域の中心点とを結ぶ直線と、画像に設定された水平軸との角度が１８０°となる回転角度を求める（ステップＳ５０）。

より詳細には、変換部１４は、図５に示すように、同心円の中心点Ｏと切り取り領域ａ１、ａ２、ａ３、ａ４の中心点ｏ１、ｏ２、ｏ３、ｏ４とを結ぶ点線で示される直線と、水平軸ｈとの角度が１８０°に達するための回転角度を算出する。なお、基準切り取り領域ａ０の中心点ｏと同心円の中心点Ｏとを結ぶ点線で示される直線ｌ０は、水平軸ｈ上にある。この場合、水平軸ｈの代わりに直線ｌ０を用いて上記回転角度を算出してもよい。

変換部１４は、図５に示すように、切り取り領域ａ１については回転角度θ１、切り取り領域ａ２については回転角度θ２、切り取り領域ａ３については回転角度θ３、および切り取り領域ａ４については回転角度θ４をそれぞれ算出する。算出された回転角度は記憶部１５に記憶される。

次に、変換部１４は、ステップＳ５０で求めた回転角度を用いて、中心点Ｏ（基準点）を中心として各切り取り領域を回転させる（ステップＳ５１）。図６および図７に示すように、変換部１４によってそれぞれの回転角度θ１、θ２、θ３、θ４だけ回転した切り取り領域ａ１、ａ２、ａ３、ａ４の背景画像は、基準切り取り領域ａ０の背景画像とおおよそ一致している。

その後、判定部１３は、切り取り領域の画像における背景情報が互いに一致しているか否かを判定し、一致していると判定した場合（ステップＳ５：ＹＥＳ）、記憶部１５は、変換処理を行った切り取り領域の画像を抽出して、教師データに用いる水平な画像として記憶する（ステップＳ７）。

このとき、記憶部１５は、予め定められているラベルと、抽出した各切り取り領域および基準切り取り領域の画像とを関連付けて教師データとして記憶する。また、出力部１６は、記憶部１５に記憶されている背景情報が互いに一致する切り取り領域および基準切り取り領域の画像を含む教師データを、通信ネットワークなどを介して学習型判別器に送出してもよい。

以上説明したように、第１の実施の形態に係る教師データ作成装置１によれば、対象物の画像に設定された切り取り領域を移動させて、切り取り領域の背景情報を互いに一致させるので、分割された画像の切り取り場所ごとに背景画像が変化する場合であっても、背景画像の情報の差異を抑えることができる。

その結果として、背景画像の情報の差異が抑えられた切り取り領域の画像とラベルとからなる教師データを用いて学習型判別器を学習させることができ、判別の精度を向上させることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第１の実施の形態に係る教師データ作成装置１では、複数の切り取り領域の画像に含まれる背景画像の各々の類似度が、予め設定された範囲で一致しているか否かを判定する場合について説明した。これに対し、第２の実施の形態に係る教師データ作成装置１Ａは、切り取り領域の画像に含まれる背景画像の向きを検出する向き検出部１７を備える。そして、判定部１３は、向き検出部１７の検出結果に基づいて切り取り領域の背景画像の向きが互いに一致するか否かを判定する。また、第１の実施の形態では、対象物の背景画像が同心円のパタンであったのに対し、第２の実施の形態では、背景画像として、合同な三角形と逆三角形が交互に並ぶパタンが用いられる。
以下、第１の実施の形態と異なる構成を中心に説明する。

図８は、第２の実施の形態に係る教師データ作成装置１Ａの機能構成を示すブロック図である。
基準点設定部１１は、対象物の画像から、三角形と逆三角形とが交互に並ぶ背景画像を検出し、背景画像における基準点を設定する。本実施の形態では、基準点設定部１１は、背景画像の基準点として一つの三角形を定める。

切り取り領域設定部１２は、対象物の画像において、交互に並ぶ三角形と逆三角形が一つずつ均等に収まるような切り取り領域を設定する。また、切り取り領域設定部１２は、設定された複数の切り取り領域のうち、基準点として定められた三角形が含まれる切り取り領域を基準切り取り領域として設定する。

向き検出部１７は、基準切り取り領域の画像と切り取り領域の画像とに含まれる背景画像の向きを検出する。より詳細には、向き検出部１７は、基準切り取り領域の三角形の向き、および各切り取り領域の三角形の向きを検出する。

判定部１３は、向き検出部１７による検出結果に基づいて、基準切り取り領域の画像に含まれる背景画像の向きと、切り取り領域に含まれる画像それぞれの背景画像の向きとが予め設定された範囲で一致しているか否かを判定する。すなわち、判定部１３は、切り取り領域の三角形の向きが基準切り取り領域の三角形の向きと一致しているか否かを判定する。

変換部１４は、切り取り領域の三角形の向きが、基準切り取り領域の三角形の向きと揃うように、切り取り領域の画像に含まれる背景画像の三角形自体を各切り取り領域内で移動させる。なお、変換部１４による背景画像の移動の詳細については後述する。

次に、上述した構成を有する教師データ作成装置１Ａの動作について、図９のフローチャートを用いて説明する。
まず、画像データ取得部１０は、対象物の画像を取得する（ステップＳ２０）。

次に、基準点設定部１１は、対象物の画像において、基準点となる三角形を設定する（ステップＳ２１）。より詳細には、基準点設定部１１は、対象物情報記憶部１０７ｃに記憶されている対象物に関する情報を参照して、ステップＳ２０で取得された対象物の画像から背景画像を検出する。基準点設定部１１は、三角形が交互に並ぶパタンを有する背景画像において、基準点となる一つの三角形を設定する。

具体的には、基準点設定部１１は、図１０に示すように、対象物の画像Ａ１の背景画像を構成する複数の三角形のうち、紙面で最も左上に位置する三角形を基準とする三角形Ｒとして設定する。

次に、切り取り領域設定部１２は、背景画像を構成する複数の三角形が一つずつ収まるような切り取り領域を設定する（ステップＳ２１）。具体的には、図１０に示すように、対象物の画像Ａ１を格子状に分割した切り取り領域を設定してもよい。なお、基準点として設定された三角形Ｒが存在する切り取り領域は、基準切り取り領域として設定される。

次に、向き検出部１７は、基準切り取り領域の画像と切り取り領域の画像とに含まれる背景画像の三角形の向きを検出する（ステップＳ２３）。より具体的には、向き検出部１７は、例えば、よく知られたハフ（Ｈｏｕｇｈ）変換などを用いた直線検出を行い、各切り取り領域における三角形の底辺の位置を検出する。向き検出部１７は、検出した底辺が切り取り領域の上半分の領域に存在する場合には、その切り取り領域の背景の三角形は下向き、下半分の領域に存在する場合には、三角形は上向きと検出する。

また、向き検出部１７による三角形の向き検出の別の例として、向き検出部１７は、図１０に示すように、格子状の切り取り領域に分割された画像Ａ１の切り取り領域および基準切り取り領域に対して縦方向および横方向にそれぞれ番号を振る。図１０の例では、縦と横の番号の合計が偶数であれば、向き検出部１７はその切り取り領域の三角形が上向き、奇数であれば下向きと判断する。

次に、判定部１３は、基準切り取り領域の三角形と切り取り領域の三角形の向きが異なる場合には、基準切り取り領域の画像に含まれる背景画像と切り取り領域の画像に含まれる背景情報が一致しないと判定し（ステップＳ２４：ＮＯ）、変換部１４による変換処理が実行される（ステップＳ２５）。具体的には、図１０に示すように、向き検出部１７によって検出された切り取り領域の三角形の向きが下向きである場合には、判定部１３は、その切り取り領域の背景情報は基準切り取り領域の背景情報と一致していないと判定する。

次に、変換部１４は、基準切り取り領域の背景情報と一致しないと判定された切り取り領域の画像に含まれる背景画像の向きが、基準切り取り領域の画像に含まれる背景画像の向きと予め設定された範囲で一致するように切り取り領域の画像に含まれる背景画像を移動させる（ステップＳ２５）。

より詳細には、変換部１４は、切り取り領域に存在する下向きの三角形が上向きとなるように三角形自体を１８０°回転させる。例えば、三角形が正三角形である場合には、正三角形の重心を回転の中心として用いればよい。変換部１４による変換処理後の画像Ａ１は、図１１に示すように、基準切り取り領域の三角形Ｒと各切り取り領域の三角形の向きが上向きに揃った状態となる。

その後、記憶部１５は、切り取り領域および基準切り取り領域の画像を抽出して、教師データに用いる画像として記憶する（ステップＳ２６）。このとき、記憶部１５は、予め定められているラベルと各切り取り領域および基準切り取り領域の画像とを関連付けて教師データとして記憶する。また、出力部１６は、記憶部１５に記憶されている背景画像の情報が互いに一致する画像を含む教師データを、通信ネットワークなどを介して学習型判別器に送出してもよい。

以上説明したように、第２の実施の形態によれば、教師データ作成装置１Ａは、対象物の画像の背景画像が、互いに合同な図形が複数並ぶパタンであっても、各図形に対して切り取り領域を設定し、検出した図形の向きに基づいて切り取り領域の画像に含まれる背景画像を移動させるので、切り取り領域の背景画像における情報の差異を抑えることができる。

その結果として、背景画像の情報の差異が抑えられた切り取り領域の画像とラベルとからなる教師データを用いて学習型判別器を学習させて、判別の精度を向上させることができる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１および第２の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第１および第２の実施の形態に係る教師データ作成装置１、１Ａでは、画像データ取得部１０が外部のカメラや記憶装置から対象物の画像を取得し、取得された対象物の画像データ上に基準点や切り取り領域が設定される場合について説明した。これに対し、第３の実施の形態では、教師データ作成装置１Ｂは、画像データ取得部１０の代わりに背景画像の中心点に関する情報を取得する中心点情報取得部（第２取得部）１０Ｂを備える。また、切り取り領域設定部１２は、対象物における互いに異なる切り取り領域の撮像画像を撮像部１８から取得する。

また、第３の実施の形態では、背景画像が第１の実施の形態と同様に同心円のパタンで構成される場合について説明する。
以下、第１および第２の実施の形態と異なる構成を中心に説明する。

図１２は、教師データ作成装置１Ｂの機能構成を示すブロック図である。
中心点情報取得部１０Ｂは、対象物の背景における中心点に関する情報を取得する。中心点情報取得部１０Ｂは、例えば、外部のカメラで撮像された対象物の画像や、記憶装置に記憶されている対象物に関する情報から、同心円状の背景の中心点の位置を示す情報を抽出する。

基準点設定部（第２基準点設定部）１１は、中心点情報取得部１０Ｂによって取得された中心点に関する情報に基づいて、背景の基準点を設定する。本実施の形態では、この基準点は同心円の中心点に相当する。

撮像部１８は、例えば、２台のカメラ（図示しない）で実現され、対象物における互いに異なる複数の領域の画像（以下、「領域画像」という。）を撮像する。撮像部１８は、対象物を異なる箇所で撮像する。撮像部１８によって撮像された領域画像およびその対象物における位置などの情報は、記憶部１５に記憶される。

切り取り領域設定部１２は、対象物の少なくとも一部の画像に対して切り取り領域を設定する。より詳細には、切り取り領域設定部１２は、複数の領域画像を撮像部１８から取得し、各領域画像の一部の領域を切り取り領域として設定する。また、切り取り領域設定部１２は、基準点に対する切り取り領域の位置および領域のサイズを設定する。さらに、切り取り領域設定部１２は、各切り取り領域の中心点を設定する。中心点に関する情報は、変換処理の際に変換部１４によって用いられる。

判定部１３は、切り取り領域の基準点に対する相対的位置が予め設定された範囲で一致しているか否かを判定する。

次に、上述した構成を有する教師データ作成装置１Ｂの動作について図１３および図１４のフローチャート、並びに図１５の説明図を用いて説明する。
まず、中心点情報取得部１０Ｂは、対象物における背景の中心点に関する情報を取得する（ステップＳ３０）。次に、撮像部１８は、対象物における互いに異なる領域画像を撮像する（ステップＳ３１）。

より詳細には、撮像部１８は、図１５に示すように、２つの互いに異なる領域画像ｃ１、ｃ２を撮像する。これらの領域画像ｃ１、ｃ２は撮像部１８を構成する各カメラの視野の範囲を示している。

次に、基準点設定部１１は、中心点情報取得部１０Ｂによって取得された対象物の背景の中心点に関する情報から、回転の中心軸となる基準点を設定する（ステップＳ３２）。具体的には、基準点設定部１１は、図１５に示すように、中心点情報取得部１０Ｂによって取得された同心円状の背景の中心点を示す情報に基づいて、背景の基準点を同心円の中心点Ｏに設定し、中心点Ｏを回転の中心軸として設定する。また、基準点設定部１１は、中心点Ｏを通る水平軸ｈ（図１５の破線）を設定する。

次に、切り取り領域設定部１２は、撮像部１８によって撮像された領域画像の中心点を設定する（ステップＳ３３）。具体的には、切り取り領域設定部１２は、図１５に示すように、撮像部１８によって撮像された領域画像ｃ１、ｃ２の中心点ｏ１、ｏ２を設定する。

次に、切り取り領域設定部１２は、各領域画像の中心点に基づいて、切り取り領域の幅および高さを設定する（ステップＳ３４）。例えば、図１５に示すように、切り取り領域設定部１２は、中心点ｏ１、ｏ２に基づいて、予め定められている切り取り領域の幅および高さを設定し、切り取り領域ｃ１０、ｃ２０を規定する。

その後、判定部１３は、切り取り領域の中心点に対する相対的位置が予め設定された範囲で一致していない場合には（ステップＳ３５：ＮＯ）、変換部１４による変換処理が実行される（ステップＳ３６）。

例えば、図１５に示すように、切り取り領域ｃ１０の中心点ｏ１と背景の中心点Ｏとを結ぶ直線と、切り取り領域ｃ２０の中心点ｏ２と背景の中心点Ｏとを結ぶ直線とのなす角を考える。このなす角の角度が、一定の値より大きい（または小さい）ような場合には、これら切り取り領域の画像に含まれる背景画像は予め設定されている基準を満たしておらず、背景情報が一致しないと判定される。

次に、変換部１４による変換処理について図１４のフローチャートを用いて説明する。
変換部１４は、変換処理を実行して切り取り領域の背景画像が互いに揃うように切り取り領域を移動させる。まず、変換部１４は、各切り取り領域を移動させる回転角度を求める（ステップＳ３５０）。

より詳細には、変換部１４は、図１５に示すように、ステップＳ３２で設定された同心円状の背景の中心点Ｏ（基準点）と切り取り領域ｃ１０、ｃ２０の中心点ｏ１、ｏ２とをそれぞれ結ぶ直線と、水平軸ｈとのなす角が１８０°となるための回転角度を求める。変換部１４は、切り取り領域ｃ１０については回転角度θ１０、切り取り領域ｃ２０については回転角度θ２０を求める。

次に、変換部１４は、求めた回転角度分だけ、中心点Ｏ（基準点）を中心として各切り取り領域を回転させる（ステップＳ３５１）。図１６は、変換部１４によって回転された切り取り領域ｃ１０、ｃ２０を示している。

その後、回転された切り取り領域の背景情報が互いに一致していると判定されると（ステップＳ３５）、記憶部１５は、切り取り領域の画像を抽出し、教師データに用いる画像として記憶する（ステップＳ３７）。具体的には、図１７に示す水平な切り取り領域ｃ１０、ｃ２０の画像が記憶部１５に記憶される。

また、このときに記憶部１５は、予め定められているラベルと各切り取り領域の画像とを関連付けて教師データとして記憶する。また、出力部１６は、記憶部１５に記憶されている背景画像の情報が互いに一致する画像を含む教師データを、通信ネットワークなどを介して学習型判別器に送出してもよい。

以上説明したように、第３の実施の形態に係る教師データ作成装置１Ｂは、対象物における背景の中心点に関する情報と、撮像部１８によって撮像された互いに異なる複数の切り取り領域の画像とに基づいて、切り取り領域の背景情報が互いに一致するように切り取り領域を移動させる。そのため、切り取り領域の背景画像における情報の差異を抑えることができる。

また、その結果として、背景画像の情報の差異が抑えられた切り取り領域の画像とラベルとからなる教師データを用いて学習型判別器を学習させて、判別の精度を向上させることができる。

以上、本発明の教師データ作成装置および教師データ作成方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

１、１Ａ、１Ｂ…教師データ作成装置、１０…画像データ取得部、１０Ｂ…中心点情報取得部、１１…基準点設定部、１２…切り取り領域設定部、１３…判定部、１４…変換部、１５…記憶部、１６…出力部、１７…向き検出部、１８…撮像部、１０１…バス、１０２…演算装置、１０３…ＣＰＵ、１０４…主記憶装置、１０５…通信制御装置、１０６…カメラ、１０７…外部記憶装置、１０７ａ…画像データ記憶部、１０７ｂ…設定情報記憶部、１０７ｃ…対象物情報記憶部、１０７ｄ…教師データ記憶部、１０７ｅ…プログラム格納部、１０８…表示装置。

Claims (7)

1. 対象物の画像判定に用いられる教師データを作成する教師データ作成装置であって、
   前記対象物における複数の切り取り領域の画像を取得するように構成された切り取り領域設定部と、
   前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定するように構成された判定部と、
   前記判定部によって前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させるように構成された変換部と、
   前記変換部によって移動された切り取り領域の画像を、予め定められたラベルと関連付けて記憶するように構成された記憶部と
   を備えることを特徴とする教師データ作成装置。
2. 請求項１に記載の教師データ作成装置において、
   前記対象物の画像を取得するように構成された第１取得部と、
   取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第１基準点設定部と、
   をさらに備え、
   前記切り取り領域設定部は、前記第１取得部によって取得された前記対象物の画像に対して、互いに異なる複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点に応じた１つの切り取り領域を基準切り取り領域として設定し、
   前記判定部は、前記基準として、前記基準切り取り領域の画像に含まれる背景画像と前記複数の切り取り領域のうち前記基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致するか否かを判定する
   ことを特徴とする教師データ作成装置。
3. 請求項１に記載の教師データ作成装置において、
   前記対象物の背景における中心点に関する情報を取得するように構成された第２取得部と、
   取得された前記中心点に関する情報に基づいて、前記背景の基準点を設定するように構成された第２基準点設定部と、
   をさらに備え、
   前記切り取り領域設定部は、前記対象物の少なくとも一部の画像に対して前記切り取り領域を設定し、
   前記判定部は、前記基準として、前記切り取り領域の前記基準点に対する相対的位置が予め設定された範囲で一致しているか否かを判定する
   ことを特徴とする教師データ作成装置。
4. 請求項２または請求項３に記載の教師データ作成装置において、
   前記変換部は、前記基準点と前記切り取り領域の中心点とを結ぶ各直線と、前記基準点を通る基準となる任意の軸とのなす角が１８０°となるための回転角度を算出し、前記一致していないと判定された切り取り領域を、前記基準点を中心として前記回転角度だけそれぞれ回転させる
   ことを特徴とする教師データ作成装置。
5. 請求項１に記載の教師データ作成装置において、
   前記対象物の画像を取得するように構成された第１取得部と、
   取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第１基準点設定部と、
   前記複数の切り取り領域に含まれる背景画像の向きを検出するように構成された向き検出部と、
   をさらに備え、
   前記切り取り領域設定部は、前記第１取得部によって取得された前記対象物の画像に対して、前記複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点と対応付けられる１つの切り取り領域を、前記基準となる基準切り取り領域として設定し、
   前記判定部は、前記基準として、検出された前記向きに基づいて、前記基準切り取り領域の画像に含まれる背景画像の向きと前記切り取り領域の画像に含まれる背景画像の向きとが予め設定された範囲で一致するか否かを判定し、
   前記変換部は、前記判定部によって一致していないと判定された切り取り領域の画像に含まれる背景画像の向きが、前記基準切り取り領域の画像に含まれる背景画像の向きと揃うように、前記一致していないと判定された切り取り領域の画像に含まれる背景画像を移動させる
   ことを特徴とする教師データ作成装置。
6. 請求項２から５のいずれか１項に記載の教師データ作成装置において、
   前記切り取り領域設定部は、前記基準点に対する前記切り取り領域の位置およびサイズを設定することを特徴とする教師データ作成装置。
7. 対象物の画像判定に用いられる教師データを作成する教師データ作成方法であって、
   前記対象物における複数の切り取り領域の画像を取得する切り取り領域設定ステップと、
   前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する判定ステップと、
   前記判定ステップで前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させる変換ステップと、
   前記変換ステップで移動した切り取り領域の画像を、予め定められたラベルと関連付けて記憶部に記憶する記憶ステップと
   を備えることを特徴とする教師データ作成方法。

Images