JP2019057250A - ワーク情報処理装置およびワークの認識方法 - Google Patents

Abstract

【課題】ワークの形状認識に必要な画像特徴の選定や最適条件の選択に人間の試行錯誤や専門知識を必要としない、機械学習によるワーク情報処理装置を提供する。【解決手段】ワークの形状認識に用いるワーク情報処理装置１は、ワーク８の設計情報に基づいて、学習に必要な訓練データを作成する学習データ作成部３と、訓練データを学習するワーク学習部５と、訓練データとワーク学習部５における学習結果とを保存するデータ保存部７とを備える。好ましくは、ワーク情報処理装置１は、設計情報からワークの基本画像と座標データとを含むワークデータを作成するワークデータ作成部２をさらに備える。学習データ作成部３は、基本画像を変更して訓練データを作成する。【選択図】図１

Description

この発明は、機械加工または組立の対象物であるワークの形状を認識するワーク情報処理装置に関する。

機械加工または組立作業において、対象物であるワークは、ロボットまたは組立装置等によって自動的にピックアップされて加工装置または組立物の筐体などにセットされることが多い。このようなピックアップ時には、ワークの形状や姿勢を認識してピックアップアームを制御する必要がある。例えば、ロボットや組立装置等によるワークの取り出し作業で必要なワークの姿勢検出や形状認識などにワーク情報処理装置が利用される。

特開平１０−３３２３３３号公報（特許文献１）および特開平１１−０６６３２１公報（特許文献２）には、重ねて積まれたワークをカメラで撮影し、得られた画像を微分して輪郭抽出を行なうワーク情報処理装置が開示されている。

特開平１０−３３２３３３号公報（特許文献１）に開示された装置では、抽出した輪郭線から曲率を求め、曲率が局所的に最大になる画素を頂点として検出する。あらかじめ理想的な条件で撮影した画像をマスタパターン、実際にカメラで撮影したワークの画像を入力パターンとし、曲率が互いに等しいマスタパターンと入力パターンの頂点を対応付け、対応の付いた頂点が最も多い入力パターンの輪郭とマスタパターンの輪郭との平面位置や回転角度のズレ量を検出している。

特開平１１−０６６３２１公報（特許文献２）に開示された装置では、あらかじめ理想的な条件で撮影した画像をテンプレートとし、実際にカメラで撮影したワークの画像を入力画像として、それぞれ画像の輪郭線を追跡し、輪郭線上の各画素の接線角度を求め、テンプレートと入力画像の接線角度のヒストグラムを重ね合わせ、最も一致したときの角度のズレを回転角度として検出している。

特開平１０−３３２３３３号公報 特開平１１−０６６３２１公報

上記先行文献に開示された装置には、以下のような課題がある。
第１に、把持できるワークを検出するための最適な検出条件を設定しなければならない。検出条件が適切に設定されていない場合、たとえば、輪郭線抽出に失敗し、重なり状態を誤認識して把持動作の成功率を低下させる。このような状況が頻繁に起きると作業の効率が悪い。

第２に、あらゆるワークの姿勢、外乱を考慮した検出アルゴリズムを構築しなければならない。重なり状態のワークではワークの姿勢がさまざまであるため、照明が一様に当たらず見え方が一定でない。また、外乱として、ワーク表面の油などの付着物や外乱光の影響も考慮しなければならない。すべての条件を網羅した検出アルゴリズムの考案は容易ではなく、多くの試行錯誤が必要で、開発は長期に亘る。

これらの問題点を解決するために機械学習による検出法が提案されている。特にディープラーニングによる画像認識では人間を凌駕する認識率を達成する例も報告されている（ImageNet Large Scale Visual Recognition Challenge 2015）。この理由は、インターネット等を利用し、非常に多くの画像データを入手して学習させることができたことによる。

しかしながら、ロボットや組立装置等が扱う工業製品の場合、機械学習には非常に多くの画像データが必要であるにもかかわらず、製造工程で多くの画像を収集することは難しい。したがって、学習に必要となる多くの画像データを収集することが課題となっている。

この発明は、上記の課題を解決するためになされたものであって、その目的は、ワークの形状認識に必要な画像特徴の選定や最適条件の選択に人間の試行錯誤や専門知識を必要としない、機械学習によるワーク情報処理装置を提供することである。

この発明は、要約すると、ワークの形状認識に用いるワーク情報処理装置であって、ワークの設計情報に基づいて、学習に必要な訓練データを作成する学習データ作成部と、訓練データを学習するワーク学習部と、訓練データとワーク学習部における学習結果とを保存するデータ保存部とを備える。

好ましくは、ワーク情報処理装置は、設計情報からワークの基本画像と座標データとを含むワークデータを作成するワークデータ作成部をさらに備える。学習データ作成部は、基本画像を変更して訓練データを作成する。

より好ましくは、学習データ作成部は、基本画像に対して、平行移動、回転、縮小および拡大のうちの少なくともいずれか１つの処理を行なうことによって、訓練データを作成する。

より好ましくは、学習データ作成部は、基本画像に対して、ワークの表面の色の変更、ワークに照射する光の照射方向の変更、およびワークに照射する光の強度の変更のうちの少なくともいずれか１つの処理を行なうことによって、訓練データを作成する。

好ましくは、ワーク情報処理装置は、ワークを撮影するワーク観察部をさらに備える。訓練データは、学習データ作成部によって作成された第１の画像データと、ワーク観察部によって撮影された第２の画像データとを含む。

好ましくは、ワークの設計情報は、二次元ＣＡＤまたは三次元ＣＡＤの設計情報を含む。

好ましくは、ワーク情報処理装置は、ワークを撮影した画像を受けてワークの形状を認識するワーク認識部をさらに備える。ワーク学習部は、訓練データを学習することによってワーク認識部の内部パラメータを変更する。

この発明は、他の局面では、ワークの認識方法であって、ワークの設計情報に基づいて、学習に必要な訓練データを作成するステップと、訓練データを学習するステップと、訓練データと訓練データの学習結果とを保存するステップと、ワークを撮影した画像を受け、学習結果を用いてワークの形状を認識するステップとを備える。

本発明によれば、ワークの形状認識に必要な画像特徴の選定や最適条件の選択に人間の試行錯誤や専門知識を必要としないワーク情報処理装置を実現することができる。

本実施の形態のワーク情報処理装置１の構成例を示す図である。 学習データ作成部３が作成する訓練データを説明するための図である。 訓練データの一例を示す図である。 データ名とワークの形状の対応関係の一例を示す図である。 訓練用画像の第１作成手順を説明するためのフローチャートである。 訓練用画像の第２作成手順に使用される構成を示す図である。 訓練用画像の第２作成手順を説明するためのフローチャートである。 ワーク学習部５における学習を説明するための図である。 ワーク学習手順を説明するためのフローチャートである。 ワーク識別部で実行されるワーク識別工程を説明するためのフローチャートである。

以下、本発明の実施の形態について図面を参照しつつ説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付し、その説明は繰返さない。

図１は、本実施の形態のワーク情報処理装置１の構成例を示す図である。図１を参照して、ワーク情報処理装置１は、ワークデータ作成部２と、学習データ作成部３と、ワーク観察部４と、ワーク学習部５と、ワーク認識部６と、データ保存部７とを備える。

ワークデータ作成部２は、学習に必要な訓練データの基準となるワークデータを作成する。ワークデータ作成部２は、ワーク８の材質や加工方法（表面性状）を含むワーク８の設計情報に基づいてワークデータを作成し、データ保存部７に保存する。ワーク８の設計情報は、二次元ＣＡＤまたは三次元ＣＡＤの設計情報を含む。

「ワークデータ」の実態は画像であるが、ワークデータには、二次元または三次元の寸法情報が併せて格納され、一般的に使われる二次元または三次元のＣＡＤデータ形式で保存される。また、材質や加工方法、表面性状等の情報も必要に応じて保存される。この形式としてＤＸＦ（Drawing Exchange Format）やＩＧＥＳ（Initial Graphics Exchange Specification）、ＳＴＥＰ（Standard for the Exchange of Product model data）などがあり、本実施の形態ではこれらを用いることができる。

学習データ作成部３は、ワークデータ作成部２で作成されたワークデータに基づいて学習に必要な訓練データを作成する。このような訓練データは、実際にカメラ等で撮影された画像が用いられることが多いが、工作機械等ではこのような画像を多数用意することは手間がかかる。したがって、本実施の形態では、元となるワークデータから多数の訓練データを学習データ作成部３が自動的に生成する。図２は、学習データ作成部３が作成する訓練データを説明するための図である。学習データ作成部３は、基本画像１００を変更して訓練データを作成する。図２に示すように、学習データ作成部３は、基本画像１００に対して、プログラムにより平行移動、回転、縮小および拡大のうちの少なくともいずれか１つの処理を行なうことによって、訓練データ１００Ａ，１００Ｂを作成する。

好ましくは、図２に示すように、学習データ作成部３は、基本画像１００に対して、プログラムによりワークの表面の色の変更、ワークに照射する光の照射方向の変更、およびワークに照射する光の強度の変更のうちの少なくともいずれか１つの処理を行なうことによって、訓練データ１００Ｃ，１００Ｄを作成する。

このように、学習データ作成部３は、実際の撮影画像ではなくＣＡＤデータから、人工的にさまざまな訓練データを作成する。学習データ作成部３は、上述の平行移動、回転、縮小および拡大のうちの少なくともいずれか１つの処理を行なうプログラムと、上述のワーク表面の色の変更や照射する光の方向の変更、強度の変更のうちの少なくともいずれか１つの処理を行なうプログラムの組み合わせであり、処理の順序も任意に変更可能である。

図３は、訓練データの一例を示す図である。図３に示すように、訓練データは各標本点（画素）が集合した画像である。訓練データには、ワークの輪郭Ｗ１が含まれている。

訓練データはワーク表面の各標本点の三次元座標（Ｘ，Ｙ，Ｚ）、ワークの色（Ｒ，Ｇ，Ｂ）、明るさＩからなり、それぞれ配列に格納され、データ名と関連付けてデータ保存部７に保存される。データ名は作成したデータの種類を示すもので、たとえば、１から順に番号を付けてもよいし、Ａ，ＡＢＣなどの文字で表してもよい。

図４は、データ名とワークの形状の対応関係の一例を示す図である。データ名「１」〜「５」という数字が５種類のワーク形状に対応することとする。具体的には、データ名「１」には、正方形のワークが対応し、データ名「２」には、円形のワークが対応し、データ名「３」には、平行四辺形のワークが対応し、データ名「４」には、３角形のワークが対応し、データ名「５」には、二重丸のワークが対応する。なお、図４には、簡単のため形状例として単純な二次元の形状を示したが、実際はワークの形状は三次元であっても良い。

また、データ名に関連付けて、訓練データを作成したときの条件、たとえば、ワークの種類、平行移動量、回転角度、縮尺値、色、光の照射方向、光の強度等が訓練データとともにデータ保存部７に保存される。

再び図１に戻って、ワーク観察部４は、ワーク表面の各標本点の三次元座標（Ｘ，Ｙ，Ｚ）、色（Ｒ，Ｇ，Ｂ）、明るさＩを出力する。図１の構成例では、ワーク観察部４は、ワーク８を撮影する２台のカメラを含み、ステレオ計測によりワーク表面の各標本点の三次元座標（Ｘ，Ｙ，Ｚ）を求める。これらはカラーカメラであり、ワーク表面の各標本点の色（Ｒ，Ｇ，Ｂ）、明るさＩを出力できる。

また、ワーク観察部４は、ワーク学習部５およびワーク認識部６と接続される。ワーク学習部５およびワーク認識部６では、データ（Ｘ，Ｙ，Ｚ）、（Ｒ，Ｇ，Ｂ）、Ｉを用いて学習処理および認識処理がそれぞれ実行される。

ワーク学習部５は、学習データ作成部３で作成した訓練データを用いて学習を行なう。学習法としては、サポートベクタマシンやバックプロバケーション（誤差逆伝播法）などの教師あり学習法や、オートエンコーダ（自己符号化器）やｋ平均法、主成分分析などの教師なし学習法、およびそれらを複合した機械学習法を用いる。

ワーク認識部６は、ワーク観察部４の出力データとワーク学習部５の学習結果を用いてワークの認識処理を行なう。ワーク認識部６は、上記機械学習法に対応したニューラルネットワークやサポートベクタマシンなどの認識モデルを用い、ワーク学習部５の学習結果に基づいて、ワーク観察部４から出力されるワーク表面の各標本点の三次元座標（Ｘ，Ｙ，Ｚ）、色（Ｒ，Ｇ，Ｂ）、明るさＩを入力として認識処理を行なうように構成される。

ワークデータ作成部２、学習データ作成部３、ワーク学習部５、ワーク認識部６の各々は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行なう。ワークデータ作成部２、学習データ作成部３、ワーク学習部５、ワーク認識部６のうち２以上の部分の機能が１つのＣＰＵで処理されていても良い。データ保存部７は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。データ保存部７は、ワークデータ作成部２、学習データ作成部３、ワーク学習部５、ワーク認識部６の各々で実行されるプログラムおよびワークデータ作成部２や学習データ作成部３で作成されたデータおよびワーク学習部５の学習結果を記憶する。

［訓練用画像の準備］
ワーク学習部５は以下に説明する第１作成手順で用意された第１の画像データと第２作成手順で用意された第２の画像データとを組み合わせてワーク認識部６の内部パラメータを変更する学習処理を実行する。内部パラメータは、たとえば、ニューラルネットワークにおける入力層から出力層までの各層間の重みやバイアスなどが該当する。すなわち、ワーク学習部５で学習される訓練データは、第１の画像データと第２の画像データとを含む。第１作成手順は、設計データ（ＣＡＤデータ）から訓練用の第１の画像データを多数生成する手順である。第２作成手順は、ワーク観察部４で取得された実際のワークの画像を訓練用の第２の画像データとする手順である。

図５は、訓練用画像の第１作成手順を説明するためのフローチャートである。第１作成手順は、図１の学習データ作成部３において実行される。図１、図５を参照して、学習データ作成部３は、ステップＳ１において、ワークデータ作成部２が作成したＣＡＤデータ（もともとの設計データ）を読み込む。ステップＳ２において、学習データ作成部３は、読み込んだＣＡＤデータが、どのデータ名に対応するのかを問合せ、ユーザは、ＣＡＤデータに対応するデータ名を選択する。

続いて、学習データ作成部３は、ステップＳ３において、ユーザが入力したデータ名に対応する正解を作成する。正解は、ワーク認識部６が出力する認識結果に対応するものである。たとえばワーク認識部６から図４のデータ名「１」〜「５」にそれぞれ対応する確率が認識結果Ｐ１〜Ｐ５として出力される場合、データ名「３」に対応する正解は、（Ｐ１＝０、Ｐ２＝０、Ｐ３＝１、Ｐ４＝０、Ｐ５＝０）となる。

続いて、学習データ作成部３は、ステップＳ４においてパラメータの変更範囲を決定する。パラメータは、平行移動量、回転角、縮小または拡大倍率、ワークの色、光の照射方向と強度などである。学習データ作成部３は、上記パラメータの変更範囲をユーザからの入力によって決定する。また、学習データ作成部３は、上記パラメータの変更範囲を予め標準的に決められている値に設定しても良い。

続いてステップＳ５において、学習データ作成部３は、ステップＳ４で決定された変更範囲内で、パラメータを変更しながら画像を生成する。たとえば、平行移動量、回転角、倍率、ワークの色、光の照射方向、光の照射強度の６つのパラメータについて、変更範囲内で各々５段階に変更することとすると、５^６の画像が生成される。

ステップＳ６では、学習データ作成部３は、生成された画像を、パラメータおよびデータ名と関連付けて、データ保存部７に保存する。

図６は、訓練用画像の第２作成手順に使用される構成を示す図である。
第２作成手順では、ワーク観察部４で撮影した画像を利用する。第１作成手順で用意した訓練用画像または第２作成手順で用意した訓練用画像のいずれか一方しか用いなくても良いが、第１作成手順で用意した訓練用画像と、第２作成手順で用意した訓練用画像とを組み合わせることにより、さらに認識率を向上させることができる。ワーク観察部４で実際の対象ワークを観察して得られた訓練データを併せて学習させることにより、学習データ作成部３で作成した訓練データを補強する。第１作成手順で生成される画像は、ワーク画像の周辺には何も配置されていない。これに対し、第２作製手順で作成される画像は、ワークの周囲に他のワークが写っている場合がある。後の学習工程において、ワーク学習部５は、周囲の画像ごとワークを認識するように学習を実行する。したがって、ワーク８が容器に複数入っており一部が重なっているような場合であっても、そのうちの１つのワークを特定して認識できるようになる。

ワーク観察部４は、ワーク表面の各標本点の三次元座標（Ｘ，Ｙ，Ｚ）、色（Ｒ，Ｇ，Ｂ）、明るさＩを出力する。これらはデータ名と関連付けられていないため、取得時にデータ名との関連付けを行なう。

図７は、訓練用画像の第２作成手順を説明するためのフローチャートである。ワーク学習部５は、ステップＳ２１においてワーク観察部４から撮影された画像を取得する。ワーク学習部５は、撮影された取得データ１２をワーク学習部５に接続されたモニタ９に表示する。さらにステップＳ２２において、ワーク学習部５に接続されたキーボード１０やマウス１１を用いて、ユーザがデータ名１３の内の一つを選択することによって取得データ１２に対応するデータ名を取得する。この際、モニタ９に表示された取得データ１２と選択されたデータ名１３が関連付けられてデータ保存部７に保存される。続いて、学習データ作成部３は、ステップＳ２３において、ユーザが入力したデータ名１３に対応する正解を作成する。正解は、ワーク認識部６が出力する認識結果に対応するものである。たとえばワーク認識部６から図４のデータ名「１」〜「５」にそれぞれ対応する確率が認識結果Ｐ１〜Ｐ５として出力される場合、データ名「３」に対応する正解は、（Ｐ１＝０、Ｐ２＝０、Ｐ３＝１、Ｐ４＝０、Ｐ５＝０）となる。

図６では、モニタ９はワーク学習部５に接続され、ワーク学習部５で上記の第２作成手順を実施したが、モニタ９をワーク認識部６に接続し、ワーク認識部６に接続されたキーボード１０やマウス１１を用いてワーク認識部６で上記の第２作成手順を実施してもよい。この場合、ワーク認識部６とデータ保存部７を接続し、データを保存できるようにする。

ステップＳ２４〜Ｓ２７では、上記の関連付けにおいて、モニタ９に表示された取得データ１２を見ながらユーザがキーボード１０やマウス１１を用い、ワークの位置や回転角度、縮尺等を入力する。

ステップＳ２４において、ワーク学習部５は、モニタ９上に取得した画像を表示する。続いて、ステップＳ２５において、ワーク学習部５は、ユーザから画像中のワークの中心位置の指定を受け、平行移動量を算出する。なお、平行移動量は、画像の左上端を原点とする水平方向および垂直方向の座標値として与えられる。

さらに、ステップＳ２６において、ワーク学習部５は、ユーザに指定された画像中のワークの２点に基づいて回転角を算出する。たとえばワークが四角形の場合、ユーザは、対角の２頂点を指定する。これによりワーク学習部５は回転角を認識できる。また、ステップＳ２７において、ユーザが外形を画像上で指定すると、ワーク学習部５は、画像中に撮影されているワークの倍率を算出することができる。

そしてステップＳ２８において、入力された位置や回転角度、縮尺等は取得データ１２に関連付けてデータ保存部７に保存される。

以上の第１作成手順または第２作成手順で訓練データが用意された後に、ワーク学習部５は、以下に説明する手順で学習を行なう。

［訓練用画像を用いた学習］
図８は、ワーク学習部５における学習を説明するための図である。図９は、ワーク学習部で実行されるワーク学習手順を説明するためのフローチャートである。以下は、データ名「３」を学習する場合を例として説明する。

学習データ作成部３では訓練データと関連付けてデータ名を保存している。ステップＳ３１において、ワーク学習部５は、訓練データとともに、データ保存部７から、データ名「３」の教師データとして（Ｐ１＝０、Ｐ２＝０、Ｐ３＝１、Ｐ４＝０、Ｐ５＝０）を得る。

ステップＳ３２において、ワーク学習部５は、画像枚数をカウントする変数ｎを１に初期化する。ステップＳ３３において変数ｎが画像枚数以下であるか否かが判断される。ステップＳ３３において、変数ｎが画像枚数以下である場合、ステップＳ３４〜Ｓ３７の処理が実行される。ステップＳ３３において、変数ｎが画像を超えた場合、ステップＳ３４〜Ｓ３７の処理は実行されずステップＳ３８に処理が進められる。

ステップＳ３４において、ワーク学習部５は、ワーク認識部６に訓練データを入力する。そして、ステップＳ３５においてワーク学習部５はワーク認識部６の認識結果を取得する。

ステップＳ３６において、ワーク学習部５は、ワーク認識部６の出力結果が教師データと一致するようにワーク認識部６の内部パラメータを修正する。変更後の内部パラメータで再度認識を行ない、ワーク認識部６の出力が教師データと一致しない場合は、ワーク学習部５は再度内部パラメータを修正する。ワーク学習部５はステップＳ３６において内部パラメータの修正と認識の処理を繰り返し行ない、ワーク認識部６の出力を教師データに近づける。

図８において、認識結果Ｐ１〜Ｐ５は、データ名「１」〜「５」にそれぞれ該当する確率を示す。（Ｐ１＝１，Ｐ２＝０，Ｐ３＝０．５，Ｐ４＝１，Ｐ５＝０）は、内部パラメータを調整する前のワーク認識部６における訓練データの認識結果を示す。図８に示される教師データ（Ｐ１＝０，Ｐ２＝０，Ｐ３＝１，Ｐ４＝０，Ｐ５＝０）は、データ名「３」の確率が１であり、データ名「１」，「２」，「４」，「５」である確率がゼロであるという認識結果を示す。ワーク学習部５は、訓練データを認識した結果が教師データ（Ｐ１＝０，Ｐ２＝０，Ｐ３＝１，Ｐ４＝０，Ｐ５＝０）に近づくように、ステップＳ３６において、ワーク認識部６の内部パラメータを調整する学習処理を実行する。

ステップＳ３６に続き、ステップＳ３７において変数ｎがインクリメントされ、再びステップＳ３３の判定処理が実行される。ステップＳ３３の判定処理において変数ｎが訓練画像の枚数を超えていた場合、ステップＳ３８に処理が進められ、学習結果が保存される。具体的には、ステップＳ３８において、ワーク学習部５は、調整していたワーク認識部６の内部パラメータを固定し、学習を終了する。

なお、以上の説明では、データ名を学習する手順を例示したが、ワーク学習部５ではデータ名に加え、学習データを作成したときの取得データに対応するワークの平行移動量や回転角度、縮尺等を教師データとして与え、これらを直接学習しても良い。この場合、ワーク認識部６の認識処理の結果、平行移動量や回転角度、縮尺等がワーク認識部６から出力される。なお、平行移動量は、画像の左上端を原点とする水平方向および垂直方向の座標値として与えられる。

［ワークの識別処理］
学習工程で内部パラメータが調整されたワーク認識部６は、ワーク観察部４で撮影されたワークがどのデータ名に該当するものであるか識別することが可能となる。

図１０は、ワーク識別部で実行されるワーク識別工程を説明するためのフローチャートである。まず、ステップＳ４１において、ワーク認識部６は、ワーク観察部４で撮影した画像を取得する。続いてステップＳ４２において、ワーク認識部６は、ワーク学習部５によって調整済みの内部パラメータを用いて認識処理を実行する。そしてステップＳ４３において、ワーク認識部６は認識結果を出力する。

以上のフローチャートで説明したワークの認識方法を要約して説明する。本実施の形態の係るワークの認識方法は、ワークの設計情報に基づいて、学習に必要な訓練データを作成するステップ（Ｓ１〜Ｓ６）と、訓練データを学習するステップ（Ｓ３１〜Ｓ３８）と、ワークを撮影した画像を受け、学習結果を用いてワークの形状を認識するステップ（Ｓ４１〜Ｓ４３）とを備える。

このように、訓練データをワークの設計情報に基づいて多数作成するので、実際にワークをカメラで撮影して学習用の訓練画像を多数用意するという手間を軽減することができる。

また、機械学習は、外乱を含んだデータそのものから正解がわかるため、誤認識した場合でも上記のワークの認識方法における処理内容の変更は必要ない。新規の誤認識画像データが発生した場合は、そのデータ自身を学習させるだけで済むため、画像処理の専門知識も不要であるという利点もある。

なお、このような認識結果は、たとえば、ワークを入れる容器に図４に示した５つの形状のいずれのワークが入っているのかを認識することに使用できる。また、認識結果に含まれる平行移動量や回転角度、縮尺等によってワークの姿勢を検出することもできる。

ワークの姿勢検出に必要な画像特徴はワーク学習部５およびワーク認識部６からなるニューラルネットワーク自身が学習するため、検出アルゴリズムを検討する工数を削減できる。また、最適な検出条件の探索や調整も必要としないため、複雑な作業を省略でき、認識装置を構築する工数を削減できる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ワーク情報処理装置、２ ワークデータ作成部、３ 学習データ作成部、４ ワーク観察部、５ ワーク学習部、６ ワーク認識部、７ データ保存部、９ モニタ、１０ キーボード、１１ マウス。

Claims (8)

1. ワークの形状認識に用いるワーク情報処理装置であって、
   前記ワークの設計情報に基づいて、学習に必要な訓練データを作成する学習データ作成部と、
   前記訓練データを学習するワーク学習部と、
   前記訓練データと前記ワーク学習部における学習結果とを保存するデータ保存部とを備える、ワーク情報処理装置。
2. 前記設計情報から前記ワークの基本画像と座標データとを含むワークデータを作成するワークデータ作成部をさらに備え、
   前記学習データ作成部は、前記基本画像を変更して前記訓練データを作成する、請求項１に記載のワーク情報処理装置。
3. 前記学習データ作成部は、前記基本画像に対して、平行移動、回転、縮小および拡大のうちの少なくともいずれか１つの処理を行なうことによって、前記訓練データを作成する、請求項２に記載のワーク情報処理装置。
4. 前記学習データ作成部は、前記基本画像に対して、前記ワークの表面の色の変更、前記ワークに照射する光の照射方向の変更、および前記ワークに照射する光の強度の変更のうちの少なくともいずれか１つの処理を行なうことによって、前記訓練データを作成する、請求項２または３に記載のワーク情報処理装置。
5. 前記ワークを撮影するワーク観察部をさらに備え、
   前記訓練データは、
   前記学習データ作成部によって作成された第１の画像データと、
   前記ワーク観察部によって撮影された第２の画像データとを含む、請求項１〜４のいずれか１項に記載のワーク情報処理装置。
6. 前記ワークの設計情報は、二次元ＣＡＤまたは三次元ＣＡＤの設計情報を含む、請求項１〜５のいずれか１項に記載のワーク情報処理装置。
7. 前記ワークを撮影した画像を受けて前記ワークの形状を認識するワーク認識部をさらに備え、
   前記ワーク学習部は、前記訓練データを学習することによって前記ワーク認識部の内部パラメータを変更する、請求項１〜６のいずれか１項に記載のワーク情報処理装置。
8. ワークの設計情報に基づいて、学習に必要な訓練データを作成するステップと、
   前記訓練データを学習するステップと、
   前記ワークを撮影した画像を受け、学習結果を用いて前記ワークの形状を認識するステップとを備える、ワークの認識方法。