JP2019049780A - 教師データ作成プログラム、教師データ作成装置、及び教師データ作成方法 - Google Patents

Abstract

【課題】物体を自動で分別するための教師データであって、人による分別作業の結果を反映した教師データを効率よく作成する。【解決手段】教師データ作成プログラムは、以下の３つの処理をコンピュータに実行させる。第１の処理は、物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、作業が行われた後の第２のタイミングに撮像された第２の画像とを取得する処理である。第２の処理は、第１の画像及び第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出する処理である。第３の処理は、物体を自動で分別するための教師データを記憶する記憶部に、第１の画像と第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、第１の画像と第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を記憶する処理である。【選択図】図５

Description

本発明は、教師データ作成プログラム、教師データ作成装置、及び教師データ作成方法に関する。

画像を利用した物体の分別作業には、例えば、各種製品の生産ラインにおける生産物の外観検査や、生鮮食品を加工する工場における加工に使用できない食品等の除去等がある。この種の分別作業では、問題のない物体（正常品）の画像についての情報と、何らかの問題があるため取り除くべき物体（異常品）の画像についての情報とを含む教師データに基づいて、コンピュータが画像内の物体を取り除くか否かを判別する。

教師データを作成する際には、コンピュータ（又は人間）は、分別対象である物体を撮像した多数の画像を収集し、画像毎に正常品及び異常品のいずれの物体を撮像した画像であるかを分別するラベルを付与する。この際、収集する画像が多いほど判別精度は高くなるが、その反面、ラベルを付与する作業の回数が多くなり作業時間が長くなる。特に、ラベルを付与する作業を人（作業員）が入力装置を操作して行っている場合には、画像が多くなるほど作業員の作業負担が増大する。このため、近年、画像データに含まれる情報を利用して教師データを効率よく作成する方法が提案されている。

教師データを作成する方法の１つとして、人手によりラベル付けされたデータをカテゴリ毎に用意し、ラベルが未知であるデータのカテゴリを、ラベル付けされたデータのうちの類似度が最も高いデータのカテゴリに決定する方法がある（例えば、特許文献１を参照）。

また、事前に定義した特徴に基づいて類似画像を教師無し学習によりクラスタに分割しておき、新規に入力された画像がどのクラスタに属するかにより正常か異常かを判定する方法がある（例えば、特許文献２を参照）。

特開２００１−１５８３７３号公報 特開２００６−３３０７９７号公報

画像データに含まれる情報に基づいて教師データを作成する場合、分別の基準となる特徴が適切に設定されていないと、誤ったラベルが付与されてしまい教師データによる判別精度が低下する可能性がある。特に、問題のない物体の外形、寸法、色等が一意的ではない物体である場合には、画像データに含まれる情報のみで教師データを作成することが困難である。

１つの側面において、本発明は、画像による物体分別のための教師データであって、人による分別作業の結果を反映した教師データを効率よく作成することを目的とする。

１つの態様の教師データ作成プログラムは、以下の３つの処理をコンピュータに実行させる。第１の処理は、物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、作業が行われた後の第２のタイミングに撮像された第２の画像とを取得する処理である。第２の処理は、第１の画像及び第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出する処理である。第３の処理は、物体を自動で分別するための教師データを記憶する記憶部に、第１の画像と第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、第１の画像と第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を記憶する処理である。

上述の態様によれば、画像による物体分別のための教師データであって、人による分別作業の結果を反映した教師データを効率よく作成することが可能となる。

一実施形態に係る教師データ作成装置の適用例を説明する斜視図である。 一実施形態に係る教師データ作成装置の機能的構成を示す図である。 一実施形態に係る教師データ作成装置が行う処理を説明するフローチャートである。 特徴量抽出処理の内容を説明するフローチャートである。 登録処理の内容を説明するフローチャートである。 画像の収集方法を説明する図（その１）である。 画像の収集方法を説明する図（その２）である。 教師データ作成装置が収集した画像を示す図である。 特徴量テーブルの内容を説明する図である。 教師データの内容の一例を説明する図である。 登録処理の内容の変形例を説明するフローチャートである。 登録処理の変形例により作成される教師データの内容の一例を示す図である。 教師データの更に別の例を説明する図である。 教師データの利用方法の第１の例を説明する図である。 教師データの利用方法の第２の例を説明する図である。 取得する画像の別の例を説明する図である。 画像の撮像方法の別の例を説明する斜視図である。 コンピュータのハードウェア構成を示す図である。

図１は、一実施形態に係る教師データ作成装置の適用例を説明する斜視図である。
本実施形態の教師データ作成装置は、例えば、複数種類の物体を所望の条件を満たす物体と他の物体とに分別する作業を機械により行う際に分別の基準とする教師データを作成する装置である。図１には、教師データ作成装置１の適用例の１つとして、ベルトコンベア２により搬送される複数の物体３のなかから異物を取り除く作業についての教師データを作成する例を示している。

教師データ作成装置１により教師データを作成する際には、図１のように、作業員４が物体３の分別作業（異物を取り除く作業）を行っている作業ライン１０を利用する。図１の作業ライン１０において分別対象となっている物体３には、外形が円柱状の物体３０１〜３０４，３０６〜３０８，及び３１０と、外形が直方体状の物体３００，３０５，及び３０９とが含まれる。作業員４は、ベルトコンベア２により搬送される物体３を、円柱状の物体と、外形がその他の形状の物体とに分別する作業を行う。この際、作業員４は、ベルトコンベア２で搬送される物体３のなかから、直方体状の物体３０５等の、外見が円柱状ではない物体を発見すると、該物体を取り上げて回収容器５に入れる。これにより、ベルトコンベア２の搬送路における作業員４よりも下流側には、円柱状の物体３０１〜３０４，３０６〜３０８，及び３１０のみが搬送される。この種の作業は、例えば、生鮮食品を加工する工場等で行われる。生鮮食品を加工する工場では、例えば、仕入れた食品のうちの加工に使用できない食品等を異物として取り除く作業を行う。

ベルトコンベア２で搬送される物体３を分別する作業についての教師データを作成する場合、教師データ作成装置１は、例えば、第１のカメラ６Ａで撮像した画像と、第２のカメラ６Ｂで撮像した画像とを取得する。第１のカメラ６Ａは、ベルトコンベア２の搬送路における、作業員４が異物を取り除く作業を行う作業領域よりも上流側に位置する第１の撮像領域７Ａを撮像する。一方、第２のカメラ６Ｂは、搬送路における、作業領域よりも下流側に位置する第２の撮像領域７Ｂを撮像する。第１のカメラ６Ａでは分別対象である全ての物体３を撮像し、第２のカメラ６Ｂでは分別対象である全ての物体３のうちの作業員４が取り除かなかった物体３のみを撮像する。すなわち、第１のカメラ６Ａは分別する前の複数の物体の画像を撮像し、第２のカメラ６Ｂは分別した後の作業員４が取り除かなかった物体の画像のみを撮像する。したがって、第１のカメラ６Ａにより撮像された物体３の画像毎に、第２のカメラ６Ｂにより撮像された画像も存在するか否かを判定して分別することで、画像に基づいた物体の分別基準（教師データ）が得られる。例えば、図１における円柱状の物体３０１は、第１のカメラ６Ａにより撮像された画像及び第２のカメラ６Ｂにより撮像された画像が存在する。このため、教師データ作成装置１は、円柱状の物体３０１の画像を、取り除かない物体の画像として教師データに登録する。一方、図１における直方体状の物体３０５は、第１のカメラ６Ａにより撮像された画像は存在するが、第２のカメラ６Ｂにより撮像された画像は存在しない。このため、教師データ作成装置１は、直方体状の物体３０５の画像を、取り除く物体の画像として教師データに登録する。

図２は、一実施形態に係る教師データ作成装置の機能的構成を示す図である。
図２に示すように、本実施形態の教師データ作成装置１は、画像取得部１１０と、特徴量抽出部１２０と、登録部１３０と、出力部１４０とを備える。また、教師データ作成装置１は、画像データ保持部１９１、特徴量テーブル１９２、及び教師データ１９３を含む各種情報を記憶する記憶部１９０を備える。

画像取得部１１０は、第１のカメラ６Ａにより撮像された画像と、第２のカメラ６Ｂにより撮像された画像とを取得する。第１のカメラ６Ａにより撮像された画像は、分別対象である複数の物体を分別していない状態で撮像された画像である。一方、第２のカメラ６Ｂにより撮像された画像は、作業員が目視により複数の物体を所定の分別基準に従って分別した後の１つのグループに含まれる物体のみを撮像した画像である。すなわち、画像取得部１１０は、物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、作業が行われた後の第２のタイミングで撮像された第２の画像とを取得する。以下の説明では、第１のカメラ６Ａにより撮像された第１の画像を分別前の画像といい、第２のカメラ６Ｂにより撮像された第２の画像を分別後の画像とする。画像取得部１１０は、取得した分別前の画像及び分別後の画像を、それぞれ、撮像したカメラ及び撮像時刻を識別可能な状態で記憶部１９０の画像データ保持部１９１に格納する。

特徴量抽出部１２０は、分別前の画像及び分別後の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出する。特徴量抽出部１２０は、分別前の画像及び分別後の画像のそれぞれから、分別対象である物体が撮像されている領域を検出し、該物体についての特徴量を抽出する。特徴量抽出部１２０は、既知の検出方法に従って画像内の物体を検出する。例えば、特徴量抽出部１２０は、ベルトコンベア２上に物体がない状態で撮像した背景画像と、物体の検出対象である画像との差分に基づいて、取得した画像に物体が存在するか否かを判定して物体を検出する。また、特徴量抽出部１２０は、既知の抽出方法に従って画像内から検出した物体の特徴量を抽出する。例えば、特徴量抽出部１２０は、画像内における物体を含む所定の部分領域の色ヒストグラム、或いは画像内における物体のエッジの勾配ヒストグラムを、特徴量として抽出する。なお、１枚の画像に複数の物体が含まれる場合、特徴量抽出部１２０は、１枚の画像から検出した複数の物体のそれぞれについての特徴量を抽出する。特徴量抽出部１２０は、各画像から抽出した物体の特徴量を、画像の撮像時刻と対応付けて記憶部１９０の特徴量テーブル１９２に格納する。

登録部１３０は、分別前の画像から検出した物体毎に、物体についての情報と、該物体が分別後の画像にも存在する物体であるか否かを示す情報とを記憶部１９０の教師データ１９３に登録する。登録部１３０は、照合部１３１と、分別部１３２とを含む。照合部１３１は、分別前の画像から検出した物体毎に、分別前の画像から抽出した該物体の特徴量と、分別後の画像から抽出した物体の特徴量とを照合する。照合部１３１は、例えば、分別前の画像から抽出した物体の特徴量と、分別後の画像から抽出した物体の特徴量との距離を算出し、算出した距離が閾値以下となる特徴量の組み合わせが存在するか否かを判定する。距離が閾値以下となる特徴量の組み合わせが存在する場合、照合部１３１は、分別前の画像から検出した物体が分別後の画像も存在する物体であると認識する。一方、距離が閾値以下となる特徴量の組み合わせが存在しない場合、照合部１３１は、分別前の画像から検出した物体は分別後の画像が存在しない物体であると認識する。分別部１３２は、分別前の画像から検出した物体毎に、該物体についての情報と、照合部１３１での照合結果（分別後の画像が存在する物体であるか否か）を示す情報とを教師データ１９３に登録する。分別部１３２は、例えば、照合部１３１での照合結果を示す情報として、分別後の画像が存在しない物体についての情報に、ベルトコンベア２上から取り除くことを示すラベルを付与する。この場合、教師データ１９３に登録された複数の物体についての情報は、ラベルが付与されているか否かにより、ベルトコンベア２上から取り除く物体についての情報と、取り除かない物体についての情報とに識別可能となる。また、分別部１３２は、例えば、照合部１３１での照合結果を示す情報として、分別後の画像が存在する物体であることを示すラベルと、分別後の画像が存在しない物体であることを示すラベルとを用いてもよい。

出力部１４０は、作成した教師データ１９３を外部装置１１に出力する。外部装置１１は、例えば、教師データ１９３を利用して物体を分別する分別機であってもよいし、分別機に教師データ１９３を提供するサーバ装置であってもよい。

図３は、一実施形態に係る教師データ作成装置が行う処理を説明するフローチャートである。

本実施形態の教師データ作成装置１は、図３に示すように、画像を収集する処理（ステップＳ１）と、特徴量抽出処理（ステップＳ２）と、登録処理（ステップＳ３）とを行う。

ステップＳ１の処理は、画像取得部１１０が行う。画像取得部１１０は、分別対象である複数の物体３を分別する作業を行っているときに第１のカメラ６Ａにより撮像された画像（分別前の画像）及び第２のカメラ６Ｂにより撮像された画像（分別後の画像）を取得する。画像取得部１１０は、例えば、所定の時間間隔で分別前の画像及び分別後の画像を取得し、取得した分別前の画像及び分別後の画像を、それぞれ、撮像したカメラと撮像時刻とを識別可能な状態で記憶部１９０の画像データ保持部１９１に格納する。

ステップＳ２の特徴量抽出処理は、特徴量抽出部１２０が行う。特徴量抽出部１２０は、分別前の画像及び分別後の画像のそれぞれから、分別対象である物体を検出し、検出した物体の特徴量を抽出する。特徴量抽出部１２０は、抽出した物体の特徴量を、それぞれ、該物体の画像を撮像したカメラと画像の撮像時刻とを識別可能な状態で記憶部１９０の特徴量テーブル１９２に格納する。

ステップＳ３の登録処理は、登録部１３０が行う。登録部１３０は、分別前の画像から検出した物体毎に、該物体の特徴量と、分別後の画像から抽出した物体の特徴量とを照合し、分別後の画像が存在する物体であるか否かを判別する。登録部１３０は、照合する特徴量同士の距離（差異）を算出し、分別後の画像から抽出した物体の特徴量のなかに距離が閾値以下となる特徴量があるか否かにより、分別後の画像が存在する物体であるか否かを判別する。分別後の画像から抽出した物体の特徴量のなかに、分別前の画像から検出した物体についての特徴量との距離が閾値以下となる特徴量が存在する場合、登録部１３０は、分別前の画像から検出した該物体を、分別後の画像が存在する物体であると認識する。分別前の画像から検出した物体のうちの分別後の画像が存在する物体は、作業員４の目視による分別作業においてベルトコンベア２から取り除かれなかった物体である。このため、分別前の画像から検出した物体を分別後の画像が存在する物体であると認識した場合、登録部１３０は、例えば、該物体についての情報を、ラベルを付与せずに教師データ１９３に登録する。一方、分別後の画像から抽出した物体の特徴量のなかに、分別前の画像から検出した物体についての特徴量との距離が閾値以下となる特徴量が存在しない場合、登録部１３０は、分別前の画像から検出した該物体を、分別後の画像が存在しない物体であると認識する。分別前の画像から検出した物体のうちの分別後の画像が存在しない物体は、作業員４の目視による分別作業においてベルトコンベア２から取り除かれた物体である。このため、分別前の画像から検出した物体を分別後の画像が存在しない物体であると認識した場合、登録部１３０は、例えば、該物体についての情報に、取り除くことを示すラベルを付与して教師データ１９３に登録する。

なお、本実施形態の教師データ作成装置１におけるステップＳ１の処理、ステップＳ２の処理、及びステップＳ３の処理を行うタイミングは、適宜変更可能である。例えば、教師データ作成装置１により教師データを作成する際には、物体の分別作業を行っている期間にステップＳ１の処理を行い、分別作業を終了した後でステップＳ２の処理及びステップＳ３の処理を行うことが可能である。この際、教師データ作成装置１は、ステップＳ２の処理とステップＳ３の処理のそれぞれの処理を個別に行ってもよいし、２つの処理をパイプライン化して行ってもよい。また、教師データを作成する際には、例えば、教師データ作成装置１は、ステップＳ１の処理、ステップＳ２の処理、及びステップＳ３の処理の３つの処理をパイプライン化して行ってもよい。更に、教師データを作成する際には、例えば、教師データ作成装置１は、ステップＳ１の処理とステップＳ２処理とをパイプライン化して行い、その後にステップＳ３の処理のみを行ってもよい。

図３のフローチャートにおけるステップＳ２の特徴量抽出処理は、上記のように、教師データ作成装置１の特徴量抽出部１２０が行う。特徴量抽出部１２０は、特徴量抽出処理として、例えば、図４のフローチャートに沿った処理を行う。

図４は、特徴量抽出処理の内容を説明するフローチャートである。
特徴量抽出部１２０は、図４に示すように、まず、画像データ保持部１９１で保持している画像を１つ選択し（ステップＳ２０１）、選択した画像から分別対象の物体を検出する（ステップＳ２０２）。ステップＳ２０１において、特徴量抽出部１２０は、所定の選択規則に従って、画像データベース１９１に登録された複数の画像のうちの１つの画像を選択して読み出す。また、ステップＳ２０２において、特徴量抽出部１２０は、背景差分法等の所定の検出方法に従って、選択した画像における物体が撮像されている領域を検出する。背景差分法により物体が撮像されている領域を検出する場合、特徴量抽出部１２０は、ベルトコンベア２上に物体が存在しない状態で撮像した背景画像と、選択中の画像との差分とに基づいて、物体の有無を判定して物体が撮像されている領域を検出する。この場合、特徴量抽出部１２０は、背景画像の各画素と選択中の画像の各画素との色情報又は輝度情報の差分を算出し、例えば、差分が閾値以上である画素が所定の個数以上含まれる領域を物体が撮像されている領域として検出する。

次に、特徴量抽出部１２０は、選択した画像から物体が検出されたか否かを判定する（ステップＳ２０３）。ステップＳ２０３において、特徴量抽出部１２０は、物体が撮像されている領域が選択中の画像から検出された場合に、画像から物体が検出されたと判定する。選択した画像から物体が検出された場合（ステップＳ２０３；ＹＥＳ）、特徴量抽出部１２０は、選択中の画像から該物体の特徴量を抽出し（ステップＳ２０４）、抽出した特徴量を特徴量テーブル１９２に格納する（ステップＳ２０５）。ステップＳ２０４において、特徴量抽出部１２０は、既知の抽出方法に従って、選択した画像から物体の特徴量を抽出する。特徴量抽出部１２０は、例えば、画像内における物体を含む所定の部分領域の色ヒストグラム、或いは画像内における物体のエッジの勾配ヒストグラムを、特徴量として抽出する。ステップＳ２０５において、特徴量抽出部１２０は、抽出した特徴量を、例えば、選択中の画像を撮像したカメラ及び該画像の撮像時刻を識別可能な態様で特徴量テーブル１９２に格納する。なお、選択中の画像から複数の物体を検出した場合、特徴量抽出部１２０は、検出した物体毎に、特徴量を抽出し、抽出した特徴量を特徴量テーブル１９２に登録する。

ステップＳ２０４及びＳ２０５の処理を終えると、特徴量抽出部１２０は、次に、選択していない画像があるか否かを判定する（ステップＳ２０６）。また、選択中の画像から物体が検出されなかった場合（ステップＳ２０３；ＮＯ）、特徴量抽出部１２０は、ステップＳ２０４及びＳ２０５の処理を省略し、ステップＳ２０６の判定を行う。画像データ保持部１９１にまだ選択していない画像がある場合（ステップＳ２０６；ＹＥＳ）、特徴量抽出部１２０は、ステップＳ２０１以降の処理を繰り返す。そして、画像データ保持部１９１内の選択可能な全ての画像に対してステップＳ２０１以降の処理を行った場合（ステップＳ２０６；ＮＯ）、特徴量抽出部１２０は、特徴量抽出処理を終了する。

特徴量抽出部１２０は、特徴量抽出処理（ステップＳ２）を終了する際に、登録部１３０に処理が終了したことを通知する。この通知が入力されると、登録部１３０は、登録処理（ステップＳ３）を開始する。登録部１３０は、登録処理として、例えば、図５のフローチャートに沿った処理を行う。

図５は、登録処理の内容を説明するフローチャートである。
登録部１３０は、図５に示すように、まず、特徴量テーブル１９２を参照し、分別前の画像から検出した物体を１つ選択し、該物体の特徴量を取得する（ステップＳ３０１）。ステップＳ３０１の処理は、例えば、登録部１３０の照合部１３１が行う。ステップＳ３０１において、照合部１３１は、所定の選択規則に従って、特徴量を取得する物体を選択する。例えば、照合部１３１は、特徴量テーブル１９２において対応付けられた撮像時刻が最も早い物体から順に１つずつ選択し、該物体の特徴量を読み出す。

次に、登録部１３０は、分別後の画像から抽出した物体の特徴量のうちの、ステップＳ３０１で読み出した物体の特徴量と照合する特徴量を特定する（ステップＳ３０２）。ステップＳ３０２の処理は、照合部１３１が行う。ステップＳ３０２において、照合部１３１は、例えば、まず、ステップＳ３０１で選択した物体が第２のカメラ６Ｂの撮像範囲内に到達する時刻を算出する。この時刻は、例えば、選択中の物体と対応付けられた撮像時刻と、第１のカメラ６Ａの撮像範囲７Ａから第２のカメラ６Ｂの撮像範囲７Ｂまでの距離と、ベルトコンベア２上の物体の移動速度とに基づいて算出する。その後、照合部１３１は、算出した時刻を含む所定の時間範囲内に撮像された分別後の画像を特定し、該分別後の画像から抽出した物体の特徴量を照合する特徴量に特定する。

次に、登録部１３０は、分別前の画像から抽出した選択中の物体の特徴量と、分別後の画像から抽出した物体の特徴量との、特徴量同士の距離を算出する（ステップＳ３０３）。ステップＳ３０３の処理は、照合部１３１が行う。照合部１３１は、既知の算出方法に従って、特徴量同士の距離（差異）を算出する。なお、ステップＳ３０２において特定した、分別後の画像から抽出した物体の特徴量が複数である場合、照合部１３１は、特定した複数の物体の特徴量毎に、分別前の画像から抽出した物体の特徴量との距離を算出する。

次に、登録部１３０は、算出した距離が閾値以下となる特徴量の組み合わせがあるか否かを判定する（ステップＳ３０４）。ステップＳ３０４の判定は、例えば、照合部１３１が行う。距離が閾値以下となる特徴量の組み合わせがない場合、分別後の画像から検出した物体のなかに、分別前の画像から検出した物体のうちの選択中の物体と対応する物体が存在しない。すなわち、距離が閾値以下となる特徴量の組み合わせがない場合、分別前の画像から検出した物体のうちの選択中の物体と対応する物体は、分別作業により取り除かれた物体であるといえる。よって、距離が閾値以下となる組み合わせがない場合（ステップＳ３０４；ＮＯ）、登録部１３０は、分別前の画像から検出した物体のうちの選択中の物体についての情報に取り除くことを示すラベルを付与して教師データ１９３に登録する（ステップＳ３０５）。一方、距離が閾値以下となる組み合わせがある場合（ステップＳ３０４；ＹＥＳ）、登録部１３０は、分別前の画像から検出した物体のうちの選択中の物体についての情報を、ラベルを付与せずに教師データ１９３に登録する（ステップＳ３０６）。ステップＳ３０５及びＳ３０６の処理は、分別部１３２が選択的に行う。分別部１３２は、分別前の画像から検出した物体のうちの選択中の物体（すなわち教師データ１９３への登録の対象となっている物体）が分別後の画像も存在する物体である場合には、該物体についての情報を、ラベルを付与せずに教師データ１９３に登録する。一方、選択中の物体が分別後の画像が存在しない物体である場合には、該物体についての情報にラベルを付与して教師データ１９３に登録する。

ステップＳ３０５又はＳ３０６の処理を終えると、登録部１３０は、分別前の画像から検出した物体のなかに選択していない物体があるか否かを判定する（ステップＳ３０７）。ステップＳ３０７の判定は、例えば、照合部１３１が行う。まだ選択していない物体がある場合（ステップＳ３０７；ＹＥＳ）、登録部１３０は、ステップＳ３０１以降の処理を繰り返す。そして、選択可能な全ての物体に対してステップＳ３０１以降の処理を行った場合（ステップＳ３０７；ＮＯ）、登録部１３０は、登録処理を終了する。

登録処理を終えた後、教師データ作成装置１は、作成した教師データ１９３を外部装置１１に出力する処理等を行う。

このように、本実施形態の教師データ作成装置１は、物体の分別作業を行う前に撮像された分別前の画像から検出した物体の特徴量と、分別作業を行った後に撮像された分別後の画像から検出した物体の特徴量とに基づいて、教師データを作成する。このとき、教師データ作成装置１は、分別前の画像から検出した物体毎に、分別前の画像から抽出した該物体の特徴量と、分別後の画像から抽出した物体の特徴量とに基づいて、分別後の画像が存在するか否かを判別する。そして、教師データ作成装置１は、分別後の画像が存在しない物体についての情報を教師データ１９３に登録する際に、該情報に分別作業でベルトコンベア２から取り除くことを示すラベルを付与して登録する。すなわち、本実施形態の教師データ作成装置１は、分別前の画像における物体についての情報を教師データ１９３に登録する際に、自動的にラベルを付与する。このため、多数の画像のそれぞれから分別対象である物体を検出して教師データ１９３を作成する際に、オペレータ（作業員４）が入力装置を操作して各物体にラベルを付与する作業を行う場合と比べ、オペレータの作業負担が軽減される。

図６Ａは、画像の収集方法を説明する図（その１）である。図６Ｂは、画像の収集方法を説明する図（その２）である。

図６Ａの（ａ）には、時刻Ｔ１にベルトコンベア２上に存在する物体３と、撮像範囲７Ａ及び７Ｂとの例を示している。ベルトコンベア２は、物体３がｘ方向（右方向）に移動するよう動作している。すなわち、図６Ａの（ａ）では作業者４の左方がベルトコンベア２の上流となり、右方が下流となる。よって、分別前の画像を撮像する第１のカメラ６Ａの撮像範囲７Ａは作業者４よりも左方となり、分別後の画像を撮像する第２のカメラ６Ｂの撮像範囲７Ｂは作業者４よりも右方となる。このとき、第１のカメラ６Ａの撮像範囲７Ａと第２のカメラ６Ｂの撮像範囲７Ｂとの距離Ｌは、例えば、撮像範囲７Ａにおける物体３の搬送方向の寸法Ｌ０の整数倍（図６Ａの（ａ）では４倍）とする。このようにすると、撮像範囲７Ａにおける搬送方向の寸法Ｌ０と対応した移動量の分だけベルトコンベア２が動作する毎に第１のカメラ６Ａ及び第２のカメラ６Ｂで各撮像範囲７Ａ，７Ｂを撮像することで、取得した画像間の切れ目をなくすことが可能となる。すなわち、ベルトコンベア２上の物体が撮像範囲７Ａの寸法Ｌ０と対応する距離だけ移動するのに要する時間ＤＴ毎に第１のカメラ６Ａ及び第２のカメラ６Ｂで各撮像範囲７Ａ，７Ｂを撮像することで、物体の検出漏れを防ぐことが可能となる。

例えば、時刻Ｔ１において、第１のカメラ６Ａで撮像範囲７Ａを撮像するとともに、第２のカメラ６Ｂで撮像範囲７Ｂを撮像したとする。このとき、第１のカメラ６Ａの撮像範囲７Ａ内には物体３２４が存在するため、時刻Ｔ１に第１のカメラ６Ａで撮像した画像は物体３２４を含む。このため、時刻Ｔ１に第１のカメラ６Ａで撮像範囲７Ａを撮像した場合、教師データ作成装置１は、第１のカメラ６Ａにより撮像された物体３２４を含む画像を、分別前の画像の１つとして取得する。また、時刻Ｔ１に第２のカメラ６Ｂで撮像範囲７Ｂを撮像した場合、教師データ作成装置１は、第２のカメラ６Ｂにより撮像された物体３２１を含む画像を、分別後の画像の１つとして取得する。

時刻Ｔ１から時間ＤＴだけ経過した時刻Ｔ２（＝Ｔ１＋ＤＴ）になると、図６Ａの（ｂ）のように、ベルトコンベア２上の各物体３２２〜３２４はそれぞれ寸法Ｌ０分だけｘ方向（右方）に移動する。ここで、時間ＤＴ（＝Ｔ２−Ｔ１）は、ベルトコンベア２上の物体が撮像範囲７Ａの寸法Ｌ０に相当する移動量の分だけ移動するのに要する時間である。すなわち、図６Ａの（ｂ）におけるベルトコンベア２上の物体は、（ａ）における位置から撮像範囲１個分だけ右方に移動した位置となる。

時刻Ｔ２には、新たな分別対象の物体３２５が第１のカメラ６Ａの撮像範囲７Ａ内に移動してくる。このため、時刻Ｔ２に第１のカメラ６Ａで撮像範囲７Ａを撮像した場合、教師データ作成装置１は、物体３２５を含む画像を、分別前の画像の１つとして取得する。なお、物体３２５は、他の円柱状の物体３２２〜３２４とは異なり、外形が直方体状である。すなわち、物体３２５は、作業員４により取り除かれる物体（異物）である。また、時刻Ｔ２に第２のカメラ６Ｂで撮像範囲７Ｂを撮像した場合、教師データ作成装置１は、物体の存在しない画像を、分別後の画像の１つとして取得する。

時刻Ｔ２から時間２・ＤＴだけ経過した時刻Ｔ４（＝Ｔ１＋３・ＤＴ）になると、図６Ａの（ｃ）のように、直方体状の物体３２５が作業者４の前に到達する。このとき、作業者４は、自身の前を通過する物体３２５を取り除くべき物体であると認識し、該物体３２５をベルトコンベア２上から取り上げて図示しない回収容器に入れる。時刻Ｔ４に第１のカメラ６Ａで撮像範囲７Ａを撮像した場合、教師データ作成装置１は、物体３２７を含む画像を、分別前の画像の１つとして取得する。また、時刻Ｔ４に第２のカメラ６Ｂで撮像範囲７Ｂを撮像した場合、教師データ作成装置１は、物体３２３を含む画像を、分別後の画像の１つとして取得する。

そして、時刻Ｔ４から時間ＤＴだけ経過した時刻Ｔ５（＝Ｔ１＋４・ＤＴ）になると、図６Ｂの（ｄ）のように、ベルトコンベア２上の物体３２４が第２のカメラ６Ｂの撮像範囲７Ｂ内に到達する。物体３２４は、時刻Ｔ１に第１のカメラ６Ａで撮像した画像に含まれる物体である。時刻Ｔ５に第２のカメラ６Ｂで撮像範囲７Ｂを撮像した場合、教師データ作成装置１は、物体３２４を含む画像を、分別後の画像の１つとして教師データ作成装置１に入力される。また、時刻Ｔ５に第１のカメラ６Ａで撮像範囲７Ａを撮像した場合、教師データ作成装置１は、物体３２８を含む画像を、分別前の画像の１つとして取得する。

更に、時刻Ｔ５から時間ＤＴだけ経過した時刻Ｔ６（＝Ｔ２＋４・ＤＴ）になると、
図６Ｂの（ｅ）のように、ベルトコンベア２における物体３２５が存在していた部分領域３２５’が第２のカメラ６Ｂの撮像範囲７Ｂ内に到達する。物体３２５は、撮像範囲７Ｂに到達する前に、作業者４によりベルトコンベア２上から取り除かれている。このため、時刻Ｔ６における撮像範囲内７Ｂには物体が存在しない。よって、時刻Ｔ６に第２のカメラ６Ｂで撮像範囲７Ｂを撮像した場合、教師データ作成装置１は、物体の存在しない画像を、分別後の画像の１つとして取得する。また、時刻Ｔ６に第１のカメラ６Ａで撮像範囲７Ａを撮像した場合、教師データ作成装置１は、物体３２９を含む画像を、分別前の画像の１つとして取得する。

その後、教師データ作成装置１は、時間ＤＴ毎に第１のカメラ６Ａ及び第２のカメラ６Ｂで撮像した画像の取得を続ける。そして、所定数の画像が得られると、教師データ作成装置１は、画像を収集するステップＳ１の処理を終了する。ステップＳ１の処理を終了すると、教師データ作成装置１には、例えば、図７に示したような撮像時間の関係を有する複数の画像が蓄積される。

図７は、教師データ作成装置が収集した画像を示す図である。
教師データ作成装置１が第１のカメラ６Ａ及び第２のカメラ６Ｂから取得した（収集した）画像は、教師データ作成装置１の画像データ保持部１９１に蓄積される。このとき、画像データ保持部１９１には、図７に示すように、分別前の画像の集合である第１の画像群Ｇ１と、分別後の画像の集合である第２の画像群Ｇ２とが蓄積される。第１の画像群Ｇ１に含まれる分別前の画像及び第２の画像群Ｇ２に含まれる分別後の画像は、それぞれ、撮像時刻を示す情報と対応付けられている。

例えば、第１の画像群Ｇ１の画像１２１１は、図６Ａの（ａ）に示した時刻Ｔ１に、第１のカメラ６Ａで撮像した画像である。このため、画像１２１１には、時刻Ｔ１に撮像範囲７Ａ内に存在する物体３２４が写っている。一方、第２の画像群Ｇ２の画像１２２１は、時刻Ｔ１に、第２のカメラ６Ｂで撮像した画像である。このため、画像１２２１には、時刻Ｔ１に撮像範囲７Ｂ内に存在する物体３２１が写っている。

また、第１の画像群Ｇ１の画像１２１２は、図６Ａの（ｂ）に示した時刻Ｔ２に第１のカメラ６Ａで撮像した画像である。このため、画像１２１２には、時刻Ｔ２に撮像範囲７Ａ内に存在する直方体状の物体３２５が写っている。一方、第２の画像群Ｇ２の画像１２２２は、時刻Ｔ２に第２のカメラ６Ｂで撮像した画像である。このため、画像１２２１には、物体が写っていない。

また、第２の画像群Ｇ２における画像１２２５は、図６Ｂの（ｄ）に示した時刻Ｔ５に第２のカメラ６Ｂで撮像した画像である。時刻Ｔ５は、時刻Ｔ１に第１のカメラ６Ａの撮像範囲７Ａ内に存在した物体３２４が、第２のカメラ６Ｂの撮像範囲７Ｂ内に到達する時刻である。そして、物体３２４は外形が円柱状であるため、作業員４は、物体３２４を取り除かずにベルトコンベア２の下流に通過させる物体であると認識する。よって、時刻Ｔ５に第２のカメラ６Ｂで撮像した画像１２２５には、時刻Ｔ１に第１のカメラ６Ａで撮像した物体３２４が写っている。

また、第２の画像群Ｇ２における画像１２２６は、図６Ｂの（ｅ）に示した時刻Ｔ６に第２のカメラ６Ｂで撮像した画像である。時刻Ｔ６は、時刻Ｔ２に第１のカメラ６Ａの撮像範囲７Ａ内に存在した物体が、第２のカメラ６Ｂの撮像範囲７Ｂ内に到達する時刻である。ところが、時刻Ｔ２に撮像範囲７Ａに存在した物体３２５（言い換えると、時刻Ｔ２に第１のカメラ６Ａで撮像した画像１２１２に写っている物体３２５）は、外形が円柱状ではない。このため、作業員４は、図６Ａの（ｃ）のように、自身の前を移動する物体３２５をベルトコンベア２上から取り除く。よって、時刻Ｔ６に第２のカメラ６Ｂで撮像した画像１２２６には、物体３２５が写っていない。

本実施形態の教師データ作成装置１は、図７のような第１の画像群Ｇ１及び第２の画像群Ｇ２を収集した後、収集した画像群Ｇ１，Ｇ２に含まれる画像のそれぞれから撮像された物体の特徴量を抽出する処理を行う。教師データ作成装置１は、物体の特徴量を抽出する処理として、例えば、図４のフローチャートに沿った処理を行う。教師データ作成装置１は、収集した画像毎に、例えば、背景差分法により物体を検出し、検出した物体についての特徴量を抽出する。教師データ作成装置１は、画像から抽出した物体の特徴量を特徴量テーブル１９２に格納する。

図８は、特徴量テーブルの内容を説明する図である。
図８には、特徴量テーブル１９２の一例を示している。図８の特徴量テーブル１９２における画像群Ｇ１及びＧ２は、それぞれ、図７の第１の画像群Ｇ１及び第２の画像群Ｇ２と対応している。特徴量テーブル１９２における物体ＩＤは、それぞれ、１つの画像群に含まれる複数の画像から検出された複数の物体を識別する数値である。特徴量テーブル１９２における画像ファイル名及び撮像時刻は、それぞれ、物体を検出した画像データを識別するファイル名及び画像を撮像した時刻である。特徴量テーブル１９２における特徴量は、物体を検出した画像から抽出した該物体についての特徴量である。特徴量は、例えば、画像内における物体を含む所定の部分領域の色ヒストグラム、或いは画像内における物体のエッジの勾配ヒストグラムである。

例えば、図７の画像１２１１から検出した物体３２４に対する物体ＩＤを「１」とする場合、教師データ作成装置１は、画像１２１１のファイル名（XXX-1.jpg）、撮像時刻Ｔ１、及び物体の特徴量ＰＶ１１を、画像群Ｇ１の物体ＩＤ＝１と対応付けて特徴量テーブル１９２に格納する。このとき、教師データ作成装置１は、画像１２１２から検出した物体３２５の物体ＩＤを「２」とし、画像１２１２のファイル名（XXX-2.jpg）、撮像時刻Ｔ２、及び物体の特徴量ＰＶ１２を、画像群Ｇ１の物体ＩＤ＝２と対応付けて特徴量テーブル１９２に格納する。

また、図７の画像１２２１から検出した物体３２１に対する物体ＩＤを「１」とする場合、教師データ作成装置１は、画像１２２１のファイル名（YYY-1.jpg）、撮像時刻Ｔ１、及び物体の特徴量ＰＶ２１を、画像群Ｇ２の物体ＩＤ＝１と対応付けて特徴量テーブル１９２に格納する。

ここで、図４のステップＳ２０１において特徴量抽出部１２０が物体を検出する画像を画像群毎に時系列で選択しているとすると、画像１２２１の次に選択される画像は、時刻Ｔ２に第２のカメラ６Ｂで撮像した画像１２２２となる。ところが、図７に示したように、画像１２２２には物体が写っていない。このため、特徴量抽出部１２０が背景差分法等により画像１２２２から物体を検出する処理を行っても、物体は検出されない。よって、教師データ作成装置１の特徴量抽出部１２０は、画像１２２２から物体の特徴量を抽出する処理を省略し、次に、時刻Ｔ３に第２のカメラ６Ｂで撮像した画像１２２３から物体を検出する処理を行う。図７に示したように、画像１２２３には物体３２３が写っている。このため、特徴量抽出部１２０は、画像１２２３から物体３２３が撮像された領域を検出し、物体３２３についての特徴量を抽出する。よって、教師データ作成装置１は、特徴量テーブル１９２における画像群Ｇ２の物体ＩＤ＝２に、画像１２２３のファイル名（YYY-3.jpg）、撮像時刻Ｔ３、及び物体の特徴量ＰＶ２３を対応付ける。

収集した画像に対する特徴量抽出処理が終了して特徴量テーブル１９２が得られると、教師データ作成装置１は、特徴量テーブル１９２に基づいて、分別前の画像から検出した物体を分別して教師データ１９３に登録する登録処理を行う。登録処理において、教師データ作成装置１の登録部１３０は、分別前の画像から検出した物体毎に、分別前の画像から抽出した該物体の特徴量と、分別後の画像から抽出した物体の特徴量とを照合する。この際、照合する物体の特徴量が多くなると教師データ作成装置１の処理負荷が増大する。このため、本実施形態の教師データ作成装置１では、分別前の画像から検出した物体を選択したときに、該物体を検出した画像の撮像時刻と、ベルトコンベア２上の物体の移動速度とに基づいて、照合する物体の特徴量を抽出した画像の撮像時刻を絞り込む。例えば、図６Ａ及び図６Ｂ、並びに図７の例では、第１のカメラ６Ａにより撮像された物体が第２のカメラ６Ｂの撮像範囲７Ｂ内に到達するまでに要する時間は４・ＤＴである。このため、図７の画像１２１１から検出した物体３２４を選択した場合、登録部１３０は、画像１２１１の撮像時刻Ｔ１から時間４・ＤＴが経過した時刻を含む所定の時間範囲内に撮像された画像から検出された物体についての特徴量を、照合する特徴量に特定する。例えば、登録部１３０は、撮像時刻Ｔ１から時間４・ＤＴが経過した時刻Ｔ５を中心とする±ＤＴの時間範囲内、すなわち時刻Ｔ４から時刻Ｔ６までの期間内に第２のカメラ６Ｂにより撮像された画像から抽出した物体の特徴量を、照合する特徴量に特定する。この場合、登録部１３０は、時刻Ｔ４に撮像した画像１２２４から抽出した物体３２３の特徴量、及び時刻Ｔ５に撮像した画像１２２５から抽出した物体３２４の特徴量を、照合する特徴量に特定する。

照合する特徴量を特定した後、登録部１３０は、分別前の画像から抽出した物体の特徴量と、分別後の画像から抽出した物体の特徴量との距離を算出する。ここで、分別後の画像から抽出した特徴量が、分別前の画像から検出した物体を撮像した画像から抽出した特徴量である場合、特徴量の距離は小さくなる。例えば、図７の画像１２１１から抽出した物体３２４の特徴量と、画像１２２５から抽出した物体３２４の特徴量とは略同一の値となるため、該２つの特徴量の距離は非常に小さくなる。逆に、図７の画像１２１１から抽出した物体３２４の特徴量と、画像１２２４から抽出した物体３２３の特徴量とは差異が大きいため、該２つの特徴量の距離は大きくなる。よって、照合する２つの特徴量が同一の物体の特徴量である場合の距離に基づいて閾値を設定することで、登録部１３０は、距離が閾値以下となる場合には取り除かない物体であると判別することが可能となる。

また、図７の画像１２１２から検出した物体３２５を選択すると、登録部１３０は、時刻Ｔ５から時刻Ｔ７までの期間内に第２のカメラ６Ｂにより撮像された画像から抽出した物体の特徴量を、照合する特徴量に特定する。ただし、画像１２１２から検出した物体３２５は、外形が円柱状ではないため作業員４に取り除かれており、物体３２５を撮像した分別後の画像は存在しない。このため、画像１２１２から検出した物体３２５の特徴量と照合する特徴量は、物体３２５とは外形の異なる物体３２４の特徴量、及び物体３２６の特徴量となる。このとき、物体３２５の特徴量と物体３２４の特徴量との距離、及び物体３２５の特徴量と物体３２６の特徴量との距離は、いずれも大きな値となる。よって、登録部１３０は、画像１２１２から検出した物体３２５は取り除く物体であると判別する。

このようにして、教師データ作成装置１の登録部１３０は、分別前の画像から検出した物体毎に、特徴量を照合して取り除く物体か否かを判別し、物体についての情報と判別結果を示す情報とを教師データ１９３に登録する。

図９は、教師データの内容の一例を説明する図である。
図９には、登録部１３０において図５のフローチャートに沿った登録処理を行った場合の教師データ１９３の一例を示している。教師データ１９３におけるＩＤは、登録した物体を識別する値である。教師データ１９３における画像ファイル名は、物体を検出した画像データを識別するファイル名である。教師データ１９３におけるラベルは、分別時に取り除くか否かを示す情報であり、「（無し）」はラベルを付与していないことを示す。図５のフローチャートでは、分別前の画像から検出した物体のうちの、分別後の画像から抽出した物体の特徴量との特徴量同士の距離が閾値以下とならない物体に対し、取り除くことを示すラベルを付与している（ステップＳ３０５）。一方、分別前の画像から検出した物体のうちの、分別後の画像から抽出した物体の特徴量との特徴量同士の距離が閾値以下となる特徴量の組み合わせが存在する物体は、取り除かない物体ではあるためラベルを付与しない（ステップＳ３０６）。

教師データ１９３におけるＩＤ＝１の物体が、図７の画像１２１１から検出した物体３２４であるとすると、特徴部１３０は、画像１２１１から抽出した物体３２４の特徴量と、画像１２２５から抽出した物体３２４の特徴量との距離を算出する。このとき、特徴量同士の距離は閾値以下となるため、登録部１３０は、物体３２４についての情報を、ラベルを付与せずに教師データ１９３に登録する（ステップＳ３０６）。

また、このとき、教師データ１９３におけるＩＤ＝２の物体が、図７の画像１２１２から検出した物体３２５であるとすると、第２の画像群Ｇ２に含まれる分別後の画像のなかに物体３２５を撮像した画像は存在しない。このため、画像１２１２から抽出した物体３２５の特徴量と、分別後の画像から抽出した物体の特徴量との距離は閾値よりも大きくなる。よって、登録部１３０は、物体３２５についての情報を、取り除くことを示すラベルを付与して教師データ１９３に登録する（ステップＳ３０５）。

このように、本実施形態の教師データ作成装置１では、分別前の画像から検出した物体のうちの、分別後の画像が存在しない物体についての情報に取り除くことを示すラベルを付与して教師データ１９３に登録する。これにより、教師データ１９３を参照するコンピュータや人は、ラベルがない物体を取り除かない物体であると判別することが可能となる。

以上のように、本実施形態の教師データ作成装置１は、分別前の画像から抽出した物体の特徴量と、分別後の画像から抽出した物体の特徴量とに基づいて、分別前の画像から検出した物体が分別作業により取り除かれたか否かを判定する。そして、教師データ作成装置１は、分別前の画像から検出した物体についての情報とともに、判定結果に応じた分別作業により取り除くか否かを示す情報を教師データ１９３に登録する。このとき、人手による物体の分別作業を行っていれば、教師データ作成装置１は、該分別作業と同時に、人による分別基準を反映した教師データ１９３を作成して記憶部１９０に記憶させることが可能となる。このため、本実施形態の教師データ作成装置１によれば、教師データ１９３に分別対象である物体についての情報を登録する際に作業員が手作業で取り除くか否かを示す情報（ラベル）を付与する場合と比べ、作業員の作業負担が軽減される。また、本実施形態の教師データ作成装置１は、分別前の画像から抽出した物体の特徴量と分別後の画像から抽出した物体の特徴量とに基づいて取り除くか否かを判別し、判別結果を示す情報を付与する。このため、本実施形態の教師データ作成装置１によれば、教師データ１９３を効率よく作成することが可能となる。更に、教師データ作成装置１が取得する分別後の画像には、作業員４が目視により物体３を分別した後でベルトコンベア２上に残っている物体のみが写っている。このような作業員４の目視による分別を行う場合、わずかな差異（異常）がある物体を発見して取り除くことが可能であるため、高精度の分別が可能となる。よって、本実施形態の教師データ作成装置１は、誤りが少なく且つ効率よく教師データ１９３を作成することが可能となる。

なお、図４のフローチャートは、画像から物体の特徴量を抽出する処理の一例に過ぎない。また、図５のフローチャートは、物体の特徴量に基づいて分別時に取り除くか否かを判別し、判別結果を示す情報を物体についての情報とともに教師データ１９３に登録する処理の一例に過ぎない。本実施形態の教師データ作成装置１が行う特徴量を抽出する処理、及び物体についての情報を教師データ１９３に登録する処理は、それぞれ、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。

図１０は、登録処理の内容の変形例を説明するフローチャートである。図１１は、登録処理の変形例により作成される教師データの内容の一例を示す図である。

図１０のフローチャートに沿った処理は、教師データ作成装置１の登録部１３０が行う。登録部１３０は、まず、分別前の画像から検出した物体についての特徴量と、分別後の画像から抽出した物体の特徴量との距離を算出する処理（ステップＳ３０１〜Ｓ３０３）を行う。このステップＳ３０１〜Ｓ３０３の処理は、登録部１３０の照合部１３１が行う。照合部１３１は、例えば、上記の手順によりステップＳ３０１〜Ｓ３０３の処理を行う。

ステップＳ３０１〜Ｓ３０３の処理を終えると、登録部１３０は、次に、ステップＳ３０３で算出した距離が閾値以下となる特徴量の組み合わせがあるか否かを判定する（ステップＳ３０４）。そして、距離が閾値以下となる特徴量の組み合わせがない場合（ステップＳ３０４；ＮＯ）、登録部１３０は、選択中の物体についての情報に取り除くことを示すラベルを付与して教師データ１９３に登録する（ステップＳ３０５）。一方、距離が閾値以下となる特徴量の組み合わせがある場合（ステップＳ３０４；ＹＥＳ）、登録部１３０は、選択中の物体についての情報に取り除かないことを示すラベルを付与して教師データ１９３に登録する（ステップＳ３１６）。

ステップＳ３０５又はＳ３１６の処理を終えると、登録部１３０は、分別前の画像から検出した物体のなかに選択していない物体があるか否かを判定する（ステップＳ３０７）。選択していない物体がある場合（ステップＳ３０７；ＹＥＳ）、登録部１３０は、ステップＳ３０１以降の処理を繰り返す。そして、選択可能な全ての物体に対してステップＳ３０１以降の処理を行った場合（ステップＳ３０７；ＮＯ）、登録部１３０は、登録処理を終了する。

このように、教師データ作成装置１は、分別前の画像から検出した物体のうちの、分別後の画像から抽出した物体の特徴量との特徴量同士の距離が閾値以下である物体についての情報に、取り除かないことを示すラベルを付与して教師データ１９３に登録してもよい。上記の登録処理の変形例により作成される教師データ１９３は、例えば、図１１に示すような内容となる。

図１１には、図７の第１の画像群Ｇ１の画像及び第２の画像群Ｇ２の画像から抽出した物体の特徴量に基づいて作成した教師データ１９３の一例を示している。図１０のフローチャートに沿った処理では、登録部１３０は、特徴量同士の距離が閾値以下である物体についての情報を教師データ１９３に登録する際に、該物体についての情報に取り除かないことを示すラベルを付与する。したがって、教師データ１９３におけるラベルは、取り除くことを示すラベルと、取り除かないことを示すラベルとの２通りのラベルとなる。

教師データ１９３を利用して物体の分別作業を機械化（自動化）する際には、例えば、分別作業時に取り除く物体についての情報がわかればよい場合がある。このような分別作業に対する教師データを作成する教師データ作成装置１は、図５に示したフローチャートに沿った処理を行い、取り除く物体についての情報に取り除くことを示すラベルを付与した教師データ１９３を作成するものであればよい。また、教師データ１９３を利用した分別作業では、物体毎に、取り除く物体であるのか、取り除かない物体であるのかを判別する必要がある場合もある。このような分別作業に対する教師データを作成する教師データ作成装置１は、登録処理（ステップＳ３）として図１０のフローチャートに沿った処理を行うものとする。

また、物体についての情報に付与するラベルが示す情報は、取り除くか否かを示す情報に限らず、他の情報であってもよい。また、教師データ１９３に登録する物体についての情報は、画像ファイル名に限らず、画像から抽出した物体の特徴量であってもよい。

図１２は、教師データの更に別の例を説明する図である。
図１２の（ａ）には、教師データ１９３のラベルが示す情報の別の例を示している。例えば、図１の作業ライン１０では、作業者４或いは物体を分別する装置が、ベルトコンベア２で搬送される複数の物体３を、所望の条件（規格）を満たす正常品と条件を満たさない異常品とに分別し、異常品を取り除く作業を行うことがある。この場合、教師データ１９３は、例えば、物体についての情報に付与するラベルを、正常であることを示すラベルと、異常であることを示すラベルとの２種類のラベルとしてもよい。ラベルを正常品及び異常品のいずれであるかを示す情報とした場合、例えば、物体を分別する装置が正常品をベルトコンベア２上から取り除き、異常品を通過させる作業ラインに、教師データ１９３内のラベルを変更することなく適用することが可能となる。

図１２の（ｂ）には、教師データ１９３に登録する物体についての情報の別の例を示している。図１２の（ａ）等に示した教師データ１９３における物体についての情報は、物体を検出した画像ファイルを特定する情報である。このような画像ファイルを特定する情報を教師データ１９３に登録した場合、例えば、教師データ１９３を利用して物体を分別する装置は、分別に用いる物体の特徴量を適宜変更することが可能となる。ただし、画像ファイルを特定する情報を教師データ１９３に登録した場合、教師データ１９３を利用して物体を分別する装置は、物体の分別を行う際に、都度教師データ１９３の物体についての特徴量を算出することとなる。このため、教師データ１９３を利用する際に用いる特徴量がわかっている場合、教師データ作成装置１は、図１２の（ｂ）のように、物体についての情報として、画像から抽出した物体の特徴量を教師データ１９３に登録してもよい。なお、教師データ１９３に登録する物体の特徴量は、ステップＳ２の特徴量抽出処理で算出した特徴量に限らず、別途算出した、教師データ１９３を利用する際に用いる特徴量であってもよい。また、図１２の（ｂ）では、教師データ１９３のラベルが正常品であることを示すラベルと、異常品であることを示すラベルとの２種類のラベルになっているが、これに限らず、ラベルの内容は適宜変更可能である。

図１３は、教師データの利用方法の第１の例を説明する図である。
本実施形態の教師データ作成装置１で作成した教師データ１９３は、例えば、図１３に示すように、作業員４が分別作業を行っている作業ライン１０に検査装置１３を導入して分別作業を機械化（自動化）する場合に利用可能である。

この場合、教師データ作成装置１は、検査装置１３を導入する前の作業ライン１０（１０−１）において作業員４による物体を分別する作業が行われる前に撮像された画像と、分別する作業が行われた後で撮像された画像とを取得する。教師データ作成装置１は、ベルトコンベア２における作業員４よりも左方に位置する第１のカメラ６Ａにより撮像された画像を、物体を分別する作業が行われる前に撮像された画像として取得する。また、教師データ作成装置１は、ベルトコンベア２における作業員４よりも右方に位置する第２のカメラ６Ｂにより撮像された画像を、分別する作業が行われた後で撮像された画像として取得する。教師データ作成装置１は、所定数の画像の取得（収集）が完了すると、ステップＳ２及びステップＳ３の処理を行って教師データ１９３を作成する。教師データ作成装置１で作成した教師データ１９３は、例えば、可搬型記録媒体２１に記録して保存する。

その後、作業員４とは別の工員等が、第１のカメラ６Ａ及び第２のカメラ６Ｂ等を撤去し、図１３における右方の作業ライン１０（１０−２）のように、ベルトコンベア２の搬送路に検査装置１３を設置する。検査装置１３は、カメラ６と、分別機１４とを含む。カメラ６は、ベルトコンベア２上の物体を撮像する。分別機１４は、カメラ６で撮像した画像と教師データ１９３とに基づいて、ベルトコンベア２上の物体のうちの取り除く物体を判別してベルトコンベア２から取り除く装置である。分別機１４は、可搬型記録媒体２１に記録した教師データ１９３を利用して、カメラ６で撮像した画像から検出した物体が取り除く物体であるか否かを判別する。また、分別機１４は、取り除くと判定した物体をベルトコンベア２上から取り除き、ベルトコンベア２により搬送される物体を分別する。

図１４は、教師データの利用方法の第２の例を説明する図である。
本実施形態の教師データ作成装置１で作成した教師データ１９３は、例えば、作業員４が分別作業を行っている作業ラインの設置地域とは異なる地域に、同一の分別作業を行う機械化（自動化）された作業ラインを新規に設置する場合にも利用可能である。

図１４における左方の作業ライン１０Ａは、第１の地域の工場に設置された稼働中の作業ラインである。作業ライン１０Ａでは、ベルトコンベア２で搬送される物体の分別作業を作業員４が行っている。一方、図１４における右方の作業ライン１０Ｂは、第２の地域の工場に新たに設置された作業ラインである。作業ライン１０Ｂでは、作業ライン１０Ａにおいて作業員４が行っている分別作業と同一の分別作業を、カメラ６及び分別機１４を含む検査装置１３により行う。このような場合、作業ライン１０Ｂの分別機１４で利用する教師データ１９３は、作業ライン１０Ａで作成する。すなわち、教師データ作成装置１は、作業ライン１０Ａにおいて作業員４による物体を分別する作業が行われる前に撮像された画像と、分別する作業が行われた後で撮像された画像とを取得する。教師データ作成装置１は、ベルトコンベア２における作業員４よりも左方に位置する第１のカメラ６Ａにより撮像された画像を、物体を分別する作業が行われる前に撮像された画像として取得する。また、教師データ作成装置１は、ベルトコンベア２における作業員４よりも右方に位置する第２のカメラ６Ｂにより撮像された画像を、分別する作業が行われた後で撮像された画像として取得する。教師データ作成装置１は、所定数の画像の取得（収集）が完了すると、ステップＳ２及びステップＳ３の処理を行って教師データ１９３を作成する。教師データ作成装置１は、例えば、作成した教師データ１９３をサーバ装置１５に送信する。この場合、例えば、教師データ作成装置１の出力部１４０は、インターネット等のネットワーク１６に接続可能な通信機能を備えたものとする。これにより、データ作成装置１で作成した教師データ１９３を、ネットワーク１６を介してサーバ装置１５に送信することが可能となる。

一方、第２の地域の工場における作業ライン１０Ｂでは、工員が、物体を搬送するベルトコンベア２と、カメラ６及び分別機１４を含む検査装置１３とを設置するとともに、分別機１４に教師データを導入する。分別機１４は、例えば、ネットワーク１６に接続可能な通信機能を備えており、ネットワーク１６を介してサーバ装置１５から教師データ１９３を取得する。分別機１４は、サーバ装置１５から取得した教師データ１９３を利用して、カメラ６で撮像した画像から検出した物体が取り除く物体であるか否かを判別する。また、分別機１４は、取り除くと判定した物体をベルトコンベア２上から取り除き、ベルトコンベア２により搬送される物体を分別する
このように教師データ１９３は、画像の収集に用いた作業ライン１０を機械化（自動化）する場合に限らず、同一の分別作業を行う他の機械化された作業ラインにも利用可能である。

また、例えば、分別対象である物体３が生鮮食品である場合、季節や産地により外形や色の特徴が変化する。このため、例えば、図１４の第１の地域の工場における作業ライン１０Ａにおいて定期的に教師データ１９３を作成し、作成した教師データ１９３を第２の地域の工場の分別機１４等に送信してもよい。

なお、図１４は、作業ライン１０Ａに教師データ作成装置１を設置して教師データ１９３を作成する例を示している。図１４に示すようにネットワーク１６を利用して教師データ１９３を含む各種情報を転送可能な場合、例えば、教師データ作成装置１に含まれる機能の一部又は全てをサーバ装置１５に含めることも可能である。例えば、第１のカメラ６Ａで撮像した画像及び第２のカメラ６Ｂで撮像した画像を取得する装置は、画像取得部１１０と、特徴量抽出部１２０と、出力部とを備える情報処理装置であってもよい。この場合、情報処理装置は、特徴量抽出部１２０で抽出した特徴量を、登録部１３０を備えたサーバ装置１５に送信する。サーバ装置１５は、情報処理装置から受信した特徴量に基づいて、教師データ１９３を作成する。

図１５は、取得する画像の別の例を説明する図である。
図６Ａ及び図６Ｂ、並びに図７では、分別前の画像及び分別後の画像を撮像する際に、それぞれ画像内に１個の物体のみが存在する状態で撮像可能になるような間隔で複数の物体を搬送している。しかしながら、分別前の画像及び分別後の画像は、例えば、図１５に示すように、１枚の画像１２に複数個の物体３３１〜３３９が含まれる状態で撮像された画像であってもよい。１枚の画像１２に複数個の物体３３１〜３３９が含まれる場合、特徴量抽出部１２０は、１枚の画像１２から複数個の物体３３１〜３３９を検出し、検出した物体毎に特徴量を算出する。このとき、特徴量抽出部１２０は、例えば、検出した物体毎に、該物体を中心とする所定の領域７Ｓを特定し、該領域７Ｓ内における部分画像の情報に基づいて特徴量を算出する。また、特徴量抽出部１２０は、１枚の画像１２から検出した複数の物体３３１〜３３９のそれぞれに、異なる物体ＩＤを割り当て、撮像時刻や特徴量等を特徴量テーブル１９２に格納する。この場合、例えば、図８の特徴量テーブル１９２における１つの画像群（例えば第１の画像群Ｇ１）には、撮像時刻が同一であり、かつ特徴量の異なる複数の物体が登録される。

なお、図１５の画像１２は、分別前の画像の一例である。すなわち、教師データを作成する際には、教師データ作成装置１は、画像１２に写っている物体のうちの、円柱状ではない物体３３４及び３３６が取り除かれた分別後の画像を取得し、該画像から各物体の特徴量を抽出する。教師データ作成装置１は、分別後の画像から、画像１２における円柱状ではない物体３３４及び３３６を検出しない。そのため、教師データ作成装置１は、画像１２から検出した物体３３４及び３３６についての情報に、取り除くことを示すラベルを付与して教師データ１９３に登録する。

また、本実施形態の教師データ作成装置１が取得する画像は、物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像（分別前の画像）と、作業が行われた後の第２のタイミングで撮像された第２の画像（分別後の画像）とであればよい。このため、教師データ作成装置１は、１個のカメラにより撮像された分別前の画像と分別後の画像とを取得してもよい。

図１６は、画像の撮像方法の別の例を説明する斜視図である。
作業員４が分別対象である複数の物体を２つのグループに分別する作業は、ベルトコンベア２で搬送される物体（移動している物体）を分別する作業に限らず、例えば、図１６に示すように、所定の領域内に静止している複数の物体を分別する作業の場合もある。

図１６には、テーブル１７上にランダムに配置された複数の物体３（３４１〜３４５）のなかから、外形が円柱状ではない物体３４４及び３４５を取り除く作業の例を示している。この種の作業についての教師データを作成する場合、教師データ作成装置１は、例えば、テーブル１７の上方に設置した１個のカメラ６により撮像された画像を取得して教師データを作成する。すなわち、教師データ作成装置１は、作業員４が物体を分別する作業を行う前にテーブル１７における所定の撮像領域７Ｄ内をカメラ６で撮像した画像と、作業員４が作業を行った後の撮像領域７Ｄ内をカメラ６で撮像した画像とを取得して、教師データを作成する。

なお、本実施形態で説明した教師データ１９３の作成方法は、物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、作業が行われた後の第２のタイミングで撮像された第２の画像とに基づいて教師データを作成する方法の一例に過ぎない。例えば、本実施形態では、分別対象である複数の物体を２つのグループに分別する作業の前後における物体の画像を利用しており、分別前の画像が第１の画像となり、分別後の画像が第２の画像となる。しかしながら、教師データ１９３を作成する場合には、これに限らず、第２の画像が分別前の物体を撮像した画像となってもよい。すなわち、分別前の画像及び分別後の画像を撮像するときには、分別後の２つのグループのうちの一方のグループに含まれる物体のみを撮像した後、作業員４等が他方のグループに含まれる物体を追加して撮像してもよい。この場合、第１のタイミングで撮像した第１の画像は分別後の画像となり、第２のタイミングで撮像した第２の画像は分別前の画像となる。

更に、本実施形態で説明した教師データ１９３におけるラベルは、分別前の画像から検出された物体が分別作業で取り除く物体であるか否かを示す情報の一例である。言い換えると、教師データ１９３におけるラベルは、分別前の画像から検出された物体を、分別前の画像のみに存在する物体であるか、分別前の画像及び分別後の画像の両方に存在する物体であるかを示す情報の一例である。したがって、教師データ１９３のラベルは、上記のように、分別後の２つのグループを識別可能な情報であればよい。すなわち、教師データ１９３は、第１の画像と第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は第１の画像と第２の画像とのいずれか一方のみに撮像されている物体に対応する領域の特徴量を記憶したものであればよい。

加えて、本実施形態では、分別対象である物体を分別作業により取り除くグループと取り除かないグループの２つのグループに分別する例を挙げている。しかしながら、本実施形態に係る教師データ１９３の作成方法は、例えば、２段階以上のステップにより３通り以上のグループに分別する場合の教師データの作成にも適用可能である。

上記の教師データ作成装置１は、コンピュータと、該コンピュータに実行させるプログラムとにより実現可能である。以下、図１７を参照して、コンピュータとプログラムとにより実現される教師データ作成装置１について説明する。

図１７は、コンピュータのハードウェア構成を示す図である。
図１７に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、出力装置２００５と、入出力インタフェース２００６と、通信制御装置２００７と、媒体駆動装置２００８と、を備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

プロセッサ２００１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２００１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２０の全体の動作を制御する。また、プロセッサ２００１は、例えば、図３、図４、及び図５のフローチャートにおける各処理を含む教師データ作成プログラムを実行することにより、教師データ１９３を作成する。

主記憶装置２００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２００２のＲＯＭには、例えば、コンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置２００２のＲＡＭは、プロセッサ２００１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２００２のＲＡＭは、例えば、画像データ、特徴量テーブル１９２、及び教師データ１９３等の記憶に利用可能である。

補助記憶装置２００３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置２００２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置２００３は、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２００３は、例えば、図３、図４、及び図５のフローチャートにおける各処理を含む教師データ作成プログラムの記憶に利用可能である。また、補助記憶装置２００３は、例えば、画像データ、特徴量テーブル１９２、及び教師データ１９３等の記憶に利用可能である。

入力装置２００４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ２０のオペレータ（利用者）が入力装置２００４に対して所定の操作を行うと、入力装置２００４は、その操作内容に対応付けられている入力情報をプロセッサ２００１に送信する。また、入力装置２００４は、第１のカメラ６Ａ及び第２のカメラ６Ｂ等のカメラを含んでもよい。入力装置２００４がカメラを含む場合、例えば、該カメラから入力される画像データを教師データ１９３の作成に利用可能である。

出力装置２００５は、例えば、液晶表示装置等の表示装置やスピーカ等の音声再生装置である。

入出力インタフェース２００６は、コンピュータ２０と、他の電子機器とを接続する。入出力インタフェース２００６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース２００６は、例えば、コンピュータ２０と、第１のカメラ６Ａ及び第２のカメラ６Ｂのそれぞれとの接続等に利用可能である。

通信制御装置２００７は、コンピュータ２０をインターネット等のネットワークに接続し、ネットワークを介したコンピュータ２０と他の電子機器との各種通信を制御する装置である。通信制御装置２００７は、例えば、コンピュータ２０とサーバ装置１５との間で教師データ等の送受信に利用可能である。

媒体駆動装置２００８は、可搬型記録媒体２１に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記録媒体２１への書き込みを行う。媒体駆動装置２００８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２００８としてメモリカード用リーダ／ライタを用いる場合、可搬型記録媒体２１としては、メモリカード用リーダ／ライタが対応している規格のメモリカード、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２１としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ２０が媒体駆動装置２００８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２１として利用可能である。可搬型記録媒体２１として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（登録商標）等がある。可搬型記録媒体２１は、例えば、図３、図４、及び図５のフローチャートにおける各処理を含む教師データ作成プログラムの記憶に利用可能である。また、可搬型記録媒体２１は、例えば、画像データ、特徴量テーブル１９２、及び教師データ１９３等の記憶に利用可能である。

オペレータが入力装置２００４等を利用して教師データの作成処理の開始命令をコンピュータ２０に入力すると、プロセッサ２００１が、補助記憶装置２００３等の非一時的な記録媒体に記憶させた教師データ作成プログラムを読み出して実行する。教師データ作成プログラムを実行している間、プロセッサ２００１は、教師データ作成装置１における画像取得部１１０、特徴量抽出部１２０、登録部１３０として機能する（動作する）。また、コンピュータ２０において教師データ作成プログラムを実行している間、主記憶装置２００２のＲＡＭや補助記憶装置２００３は、教師データ作成装置１における記憶部１９０として機能する。

また、コンピュータ２０は、教師データ１９３の作成が完了した後、教師データ１９３を可搬型記録媒体２１に記録して保存することが可能である
なお、教師データ作成装置１として動作させるコンピュータ２０は、図１７に示した全ての要素２００１〜２００８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２０は、媒体駆動装置２００８が省略されたものであってもよい。

また、コンピュータ２０に実行させる教師データ作成プログラムは、図５のフローチャートにおける各処理の代わりに、図１０のフローチャートにおける各処理を含むプログラムであってもよい。

以上記載した実施形態に関し、更に以下の付記を開示する。
（付記１）
物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、前記作業が行われた後の第２のタイミングに撮像された第２の画像とを取得し、
前記第１の画像及び前記第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出し、
物体を自動で分別するための教師データを記憶する記憶部に、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を記憶する、
処理をコンピュータに実行させることを特徴とする教師データ作成プログラム。
（付記２）
前記第１の画像と前記第２の画像とを取得する処理は、前記物体を搬送する搬送路における作業員が前記物体を分別する作業を行う位置よりも上流側を撮像した前記第１の画像と、前記搬送路における前記作業員が前記作業を行う位置よりも下流側を撮像した前記第２の画像とを取得する、
ことを特徴とする付記１に記載の教師データ作成プログラム。
（付記３）
前記領域の特徴量を記憶する処理は、
前記第１の画像に撮像されている前記物体に対応する領域の特徴量のうちの、前記第２の画像に撮像されている前記物体に対応する領域の特徴量との差が閾値以下となる特徴量の組み合わせが存在する前記領域の特徴量を、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量として前記記憶部に記憶させる、
ことを特徴とする付記１に記載の教師データ作成プログラム。
（付記４）
前記領域の特徴量を記憶する処理は、前記第１の画像に撮像されている前記物体に対応する領域の特徴量とともに、該領域の特徴量のそれぞれが、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量であるか、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量であるかを識別する情報を前記記憶部に記憶させる、
ことを特徴とする付記１に記載の教師データ作成プログラム。
（付記５）
前記領域の特徴量を記憶する処理は、
前記第１の画像に撮像されている前記物体に対応する領域の特徴量のうちの、前記第２の画像に撮像されている前記物体に対応する領域の特徴量との差が閾値以下となる特徴量の組み合わせが存在しない前記領域の特徴量を、前記第１の画像のみに撮像されている物体に対応する領域の特徴量として前記記憶部に記憶させる、
ことを特徴とする付記１に記載の教師データ作成プログラム。
（付記６）
前記領域の特徴量を記憶する処理では、
前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量は、正常な物体であることを示すラベルを付与して前記記憶部に記憶させ、
前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量は、異常な物体であることを示すラベルを付与して前記記憶部に記憶させる、
ことを特徴とする付記１に記載の教師データ作成プログラム。
（付記７）
前記第１の画像と前記第２の画像とを取得する処理は、
所定の撮像範囲内に複数の物体を配置した状態で撮像された前記第１の画像と、前記複数の物体のうちの１個以上の物体を前記撮像範囲内から取り除いた状態で撮像された前記第２の画像とを取得する、
ことを特徴とする付記１に記載の教師データ作成プログラム。
（付記８）
物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、前記作業が行われた後の第２のタイミングに撮像された第２の画像とを取得する画像取得部と、
前記第１の画像及び前記第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出する特徴量抽出部と、
物体を自動で分別するための教師データに、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を登録する登録部と、
を備えることを特徴とする教師データ作成装置。
（付記９）
コンピュータが、
物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、前記作業が行われた後の第２のタイミングに撮像された第２の画像とを取得し、
前記第１の画像及び前記第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出し、
物体を自動で分別するための教師データを記憶する記憶部に、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を記憶する、
処理を実行することを特徴とする教師データ作成方法。

１ 教師データ作成装置
１１０ 画像取得部
１２０ 特徴量算出部
１３０ 登録部
１３１ 照合部
１３２ 分別部
１４０ 出力部
１９０ 記憶部
１９１ 画像データ保持部
１９２ 特徴量テーブル
１９３ 教師データ
２ ベルトコンベア
４ 作業員
６，６Ａ，６Ｂ カメラ
１０ 作業ライン
１１ 外部装置
１３ 検査装置
１４ 分別機
１５ サーバ装置
２０ コンピュータ
２００１ プロセッサ
２００２ 主記憶装置
２００３ 補助記憶装置
２００４ 入力装置
２００５ 出力装置
２００６ 入出力インタフェース
２００７ 通信制御装置
２００８ 媒体駆動装置
２０１０ バス
２１ 可搬型記録媒体

Claims (6)

1. 物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、前記作業が行われた後の第２のタイミングに撮像された第２の画像とを取得し、
   前記第１の画像及び前記第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出し、
   物体を自動で分別するための教師データを記憶する記憶部に、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を記憶する、
   処理をコンピュータに実行させることを特徴とする教師データ作成プログラム。
2. 前記第１の画像と前記第２の画像とを取得する処理は、前記物体を搬送する搬送路における作業員が前記物体を分別する作業を行う位置よりも上流側を撮像した前記第１の画像と、前記搬送路における前記作業員が前記作業を行う位置よりも下流側を撮像した前記第２の画像とを取得する、
   ことを特徴とする請求項１に記載の教師データ作成プログラム。
3. 前記領域の特徴量を記憶する処理は、前記第１の画像に撮像されている前記物体に対応する領域の特徴量とともに、該領域の特徴量のそれぞれが、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量であるか、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量であるかを識別する情報を前記記憶部に記憶させる、
   ことを特徴とする請求項１に記載の教師データ作成プログラム。
4. 前記領域の特徴量を記憶する処理では、
   前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量は、正常な物体であることを示すラベルを付与して前記記憶部に記憶させ、
   前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量は、異常な物体であることを示すラベルを付与して前記記憶部に記憶させる、
   ことを特徴とする請求項１に記載の教師データ作成プログラム。
5. 物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、前記作業が行われた後の第２のタイミングに撮像された第２の画像とを取得する画像取得部と、
   前記第１の画像及び前記第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出する特徴量抽出部と、
   物体を自動で分別するための教師データに、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を登録する登録部と、
   を備えることを特徴とする教師データ作成装置。
6. コンピュータが、
   物体を分別する作業が行われる前の第１のタイミングで撮像された第１の画像と、前記作業が行われた後の第２のタイミングに撮像された第２の画像とを取得し、
   前記第１の画像及び前記第２の画像のそれぞれにおいて物体が撮像されている領域の特徴量を抽出し、
   物体を自動で分別するための教師データを記憶する記憶部に、前記第１の画像と前記第２の画像との両方に撮像されている物体に対応する領域の特徴量、又は、前記第１の画像と前記第２の画像とのいずれか一方にのみ撮像されている物体に対応する領域の特徴量を記憶する、
   処理を実行することを特徴とする教師データ作成方法。

Images