JP2018179859A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2018179859A JP2018179859A JP2017082365A JP2017082365A JP2018179859A JP 2018179859 A JP2018179859 A JP 2018179859A JP 2017082365 A JP2017082365 A JP 2017082365A JP 2017082365 A JP2017082365 A JP 2017082365A JP 2018179859 A JP2018179859 A JP 2018179859A
- Authority
- JP
- Japan
- Prior art keywords
- data
- gripping
- work
- workpiece
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
【課題】バラ積み状態のワークであっても、事前に登録された位置での把持の成否に関する統計データに基づいて、3Dピッキングにおけるマニピュレータによるピッキング動作を制御する画像処理装置、画像処理方法及びコンピュータプログラムを提供する。【解決手段】バラ積みされたワークが搭載されている作業空間を三次元計測し、事前に記憶されている複数のワークモデルを登録する。把持される位置及び姿勢で構成される把持データを設定し、把持データごとに把持の成否に関する統計データを記憶する。取得した三次元計測データに対し、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行し、検出スコアが大きいワークについて、他のワークと干渉するか否かを判定する。他のワークと干渉しないと判定された把持データの中から、統計データにおける把持の成功率に基づいて把持データを選択してピキング動作を制御する。【選択図】図4
Description
本発明は、バラ積み状態のワークであっても、事前に登録された位置での把持の成否に関する統計データに基づいて、3Dピッキングにおけるマニピュレータによるピッキング動作を制御する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
工場において、マニピュレータによるピッキング動作を自動的に行うことができるように、3Dピッキングの技術が向上している。3Dピッキングでは、まずピッキング対象のワークがばら積みされた作業空間を三次元計測センサにより三次元計測して三次元計測データを取得する。次に画像処理装置を用いて三次元計測データの中からあらかじめ登録されているワークモデルを用いた三次元サーチ処理を実行し、ワークの位置及び姿勢を検出する。位置及び姿勢が検出されたワークに対し、あらかじめ登録された把持データを用いてマニピュレータにより把持すべきワーク上の位置と把持すべきワーク上の位置を把持する場合のマニピュレータの把持姿勢を決定し、ロボットコントローラが実際にマニピュレータを動作させる、あるいは画像処理装置のシミュレータの3D−CAD上でマニピュレータの把持部を移動させる。このようにマニピュレータの把持部をワークを把持することが可能な位置へと誘導し、ワークとマニピュレータの把持部との位置関係を検出して登録しておく。これにより、マニピュレータの把持部をワークを把持することが可能な位置へと確実に移動制御することができる。
しかし、100%確実にワークを把持できるものではなく、状況によっては把持することができない場合も生じうる。したがって、少しでもワークを把持することができる確率を高めるために、マニピュレータ及び把持部の動作制御に過去の把持の成否に関する統計データを用いることが考えられている。
例えば特許文献1では、過去のワーク取り出しの成否をデータベース化し、計測特徴と取り出しの成否に関する情報に基づいて掴みやすさを推定し、掴みやすい計測特徴を優先して掴むよう制御するワーク取り出し装置が開示されている。特許文献1では、ハンドの開閉量、把持力、動作速度のうち、少なくとも1つを自動調整し、掴みにくそうなワークを取り出すこともできる。
しかし、特許文献1に開示されている方法では、ワーク単位にデータベース化された情報に基づいて掴みやすいワークを取り出すよう動作を制御しているので、同一のワークで複数の把持可能部位がある場合に、どの位置を把持するかを変更することができないという問題点があった。また、把持可能な部位の把持優先順位を統計的な情報に基づいて変更することもできない。
本発明は斯かる事情に鑑みてなされたものであり、バラ積み状態のワークであっても、事前に登録された位置での把持の成否に関する統計データに基づいて、3Dピッキングにおけるマニピュレータによるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る画像処理装置は、バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置において、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング部と、事前に記憶されている複数のワークモデルを登録するワークモデル登録部と、前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定部と、前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶部と、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行部と、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定部と、他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択部とを備えることを特徴とする。
また、第2発明に係る画像処理装置は、第1発明において、前記センシング部は、前記作業空間内のワークを撮像して画像データを取得するワーク撮像部と、撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出部とを備えることが好ましい。
また、第3発明に係る画像処理装置は、第1又は第2発明において、前記統計データ記憶部は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、前記把持データ選択部は、前記干渉判定部で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することが好ましい。
また、第4発明に係る画像処理装置は、第1乃至第3発明のいずれか1つにおいて、前記統計データ記憶部は、前記統計データに把持データの選択回数も含めて記憶し、前記干渉判定部は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことが好ましい。
次に、上記目的を達成するために第5発明に係る画像処理方法は、バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得する第一の工程と、事前に記憶されている複数のワークモデルを登録する第二の工程と、前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する第三の工程と、前記把持データごとにワークの把持の成否に関する統計データを記憶する第四の工程と、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行する第五の工程と、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する第六の工程と、他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する第七の工程とを含むことを特徴とする。
また、第6発明に係る画像処理方法は、第5発明において、前記第一の工程は、前記作業空間内のワークを撮像して画像データを取得する第八の工程と、撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する第九の工程とを含むことが好ましい。
また、第7発明に係る画像処理方法は、第5又は第6発明において、前記第四の工程は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、前記第七の工程は、前記第六の工程で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することが好ましい。
また、第8発明に係る画像処理方法は、第5乃至第7発明のいずれか1つにおいて、前記第四の工程は、前記統計データに把持データの選択回数も含めて記憶し、前記第六の工程は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことが好ましい。
次に、上記目的を達成するために第9発明に係るコンピュータプログラムは、バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング手段、事前に記憶されている複数のワークモデルを登録するワークモデル登録手段、前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定手段、前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶手段、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行手段、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定手段、及び他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択手段として機能させることを特徴とする。
また、第10発明に係るコンピュータプログラムは、第9発明において、前記センシング手段を、前記作業空間内のワークを撮像して画像データを取得するワーク撮像手段、及び撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出手段として機能させることが好ましい。
また、第11発明に係るコンピュータプログラムは、第9又は第10発明において、前記統計データ記憶手段を、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶する手段として機能させ、前記把持データ選択手段を、前記干渉判定手段で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択する手段として機能させることが好ましい。
また、第12発明に係るコンピュータプログラムは、第9乃至第11発明のいずれか1つにおいて、前記統計データ記憶手段を、前記統計データに把持データの選択回数も含めて記憶する手段として機能させ、前記干渉判断手段を、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行う手段として機能させることが好ましい。
第1発明、第5発明及び第9発明では、画像処理装置は、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得する。事前に記憶されている複数のワークモデルを登録しておき、ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持するマニピュレータの把持部の姿勢で構成される把持データを設定する。把持データごとにワークの把持の成否に関する統計データを記憶し、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行する。三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定し、他のワークと干渉しないと判定された把持データの中から、統計データにおける把持の成功率に基づいて把持データを選択する。これにより、マニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。
第2発明、第6発明及び第10発明では、作業空間内のワークを撮像して画像データを取得し、取得された画像データに基づいて、三次元サーチ処理の対象となる作業空間内におけるワークの三次元データを三次元計測データとして抽出するので、高価な三次元形状センサを用いることなく、作業空間内におけるワークのバラ積み状態を三次元計測データとして取得することが可能となる。
第3発明、第7発明及び第11発明では、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶しておき、干渉しないと判定された把持データのうち、統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択するので、把持の成功率が高い部分領域及び該部分領域で把持対象として検出されたワークのワークモデルに設定された把持データを用いることでマニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。
第4発明、第8発明及び第12発明では、統計データに把持データの選択回数も含めて記憶しておき、統計データにおいて選択回数の多い把持データから順に干渉判定を行うので、把持の成功率が高いと過去に判断されて選択された回数の多い把持データを用いることでマニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。
本発明によれば、検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定し、他のワークと干渉しないと判定された把持データの中から、統計データにおける把持の成功率に基づいて把持データを選択する。これにより、マニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。
以下、本発明の実施の形態に係る画像処理装置について、図面に基づいて具体的に説明する。本実施の形態では、マニピュレータのピッキング動作において、マニピュレータの把持部を少しでも把持に成功する確率の高い位置及び姿勢へと誘導することに用いている。
図1は、本発明の実施の形態に係る画像処理装置を用いた、ピッキングシステムの構成例を示すブロック図である。画像処理装置1には、バラ積みされたワーク等を撮像する撮像部2がセンシング部として接続されており、キーボード111及びマウス112等の入力装置で画像処理の設定を行い、表示装置113で設定や動作状態の確認を行うことができる。
図2は、本発明の実施の形態に係る画像処理装置1の構成を示すブロック図である。図2に示すように、本実施の形態に係る画像処理装置1は、少なくともCPU11、メモリ12、ハードディスク等の記憶装置13、I/Oインタフェース14、ビデオインタフェース15、通信インタフェース16、可搬型ディスクドライブ17及び上述したハードウェアを接続する内部バス18で構成されている。
CPU11は、内部バス18を介して画像処理装置1の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置13に記憶しているコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ12は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。
記憶装置13は、内蔵される固定型記憶装置(ハードディスク)、ROM等で構成されている。記憶装置13に記憶しているコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ17によりダウンロードされ、実行時には記憶装置13からメモリ12へ展開して実行される。もちろん、通信インタフェース16を介してネットワークに接続されている外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。
I/Oインタフェース14は、キーボード111、マウス112等の入力装置と接続され、データの入力を受け付ける。また、ビデオインタフェース15は、CRTモニタ、LCD等の表示装置113と接続され、画像処理装置1の設定データ、マニピュレータの動作状態等を表示する。
通信インタフェース16は内部バス18に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、ロボットコントローラ4、撮像部2、外部のコンピュータ等とデータ送受信することが可能となっている。
図1に戻って、撮像部2は、作業空間内にバラ積みされたワークを三次元的に撮像する。図3は、本発明の実施の形態に係る画像処理装置1の撮像部2の構成を示す例示図である。
図3に示すように、本実施の形態に係る撮像部2は、1個のプロジェクタ21を中心として、ワークの移動方向に対して前後左右方向に1基ずつ、合計4基のカメラ22(22a〜22d)を備えている。これにより、バラ積みされたワークの状態によらず、死角を作ることなく作業空間内におけるワークそれぞれの位置及び姿勢を把握するための三次元計測データを取得することができる。もちろん、カメラ22の数は少なくとも1基以上備えていれば足り、プロジェクタ21を除いたカメラ22だけの構成でも三次元モデルを生成することができれば良い。
プロジェクタ21の光源は、例えば白色光を出射するハロゲンランプ、白色光を出射する白色LED(発光ダイオード)等であれば良い。出射口の近傍に、図示しないパターン生成部を備え、縞パターンを生成する。パターン生成部としては、例えばDMD(デジタルマイクロミラーデバイス)、LCOS(登録商標)(Liquid Crystal on Silicon:反射型液晶素子)、マスク等であれば良い。
カメラ22a〜22dは、バラ積みされたワークの移動方向に対して前後左右方向の4か所に配置されている。カメラ22a〜22dは、例えばモノクロCCD(電荷結合素子)、CMOS(相補性金属酸化膜半導体)イメージセンサ等の撮像素子を備えている。撮像素子の画素ごとに受光量に対応する受光信号が出力される。そして、受光信号に基づいて画像が生成される。
図1に戻って、画像処理装置1はマニピュレータ5の動作を制御するロボットコントローラ4とデータ通信することが可能に接続されている。画像処理装置1で作業空間上のワークWの位置及び姿勢が特定されるので、画像処理装置1は、ロボットコントローラ4がマニピュレータ5及び把持部50の動作を制御してワークWを把持するために必要な情報をロボットコントローラ4に出力する。ロボットコントローラ4は、マニピュレータ5の動作信号を生成して、マニピュレータ5及び把持部50の動作を制御する。
なお、ロボットコントローラ4にはペンダント6がデータ通信することが可能に接続されており、マニピュレータ5及び把持部50の動作に関する設定データの入力を受け付ける。
(実施の形態1)
以上の構成における画像処理装置1の動作について説明する。図4は、本発明の実施の形態1に係る画像処理装置1の機能ブロック図である。図4において、センシング部1001は、バラ積みされたワークWが搭載されている作業空間を、例えば撮像部2を介して、三次元計測して三次元計測データを取得する。本実施の形態では、センシング部1001は、ワーク撮像部1002及び三次元データ抽出部1003を備えている。
以上の構成における画像処理装置1の動作について説明する。図4は、本発明の実施の形態1に係る画像処理装置1の機能ブロック図である。図4において、センシング部1001は、バラ積みされたワークWが搭載されている作業空間を、例えば撮像部2を介して、三次元計測して三次元計測データを取得する。本実施の形態では、センシング部1001は、ワーク撮像部1002及び三次元データ抽出部1003を備えている。
ワーク撮像部1002は、作業空間内のワークWを撮像部2で撮像して画像データを取得する。そして、取得した画像データに基づいて三次元データを生成しておく。三次元データ抽出部1003は、取得された画像データに基づいて、三次元サーチ処理の対象となる作業空間内におけるワークWの三次元データを抽出して三次元計測データとする。ここで、「三次元データ」とは、バラ積みされていないワークW単体の三次元データとし、「三次元計測データ」とは、バラ積みされている状態でのワークW全体の三次元データを意味するものとする。すなわち、三次元計測データをサーチ対象として、三次元データをキー情報として三次元サーチ処理を実行することになる。
ワークモデル登録部1004は、生成された三次元データの中から三次元サーチ処理に用いる一又は複数の三次元データ(以下、ワークモデル)を登録する。登録されたワークモデルが、三次元サーチ処理のキー情報となる。なお、三次元データ(ワークモデル)は、ワークWのCADデータから取得しても良い。
把持データ設定部1005は、ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持するマニピュレータ5の把持部50の姿勢で構成される把持データを設定する。具体的には、ワークWの姿勢を順次変更しつつ三次元計測により取得した三次元計測データに対して、登録されている一又は複数のワークモデルそれぞれについて、モデル座標系の設定及び把持データの設定を繰り返し、複数の把持データをワークモデルごとに対応付けて記憶装置13に記憶しておく。
図5は、本発明の実施の形態1に係る画像処理装置1の把持データとして記憶される把持部50の位置及び姿勢の例示図である。図5(a)は、把持対象となるワークWのワークモデルを例示した斜視図であり、図5(b)〜図5(g)は、把持データとして記憶される把持部50の位置及び姿勢を例示した斜視図である。
図5(a)に示すように、把持する位置が複数存在するワークWが把持対象である場合、把持する位置に応じて把持部50の位置及び姿勢が相違する。図5(b)、図5(c)は、ワークWの長軸方向のフランジ部W1が把持対象である場合の把持部50の位置及び姿勢を示している。同様に、図5(d)、図5(e)は、ワークWの環状部W2が把持対象である場合の把持部50の位置及び姿勢を、図5(f)、図5(g)は、ワークWの短軸方向のフランジ部W3が把持対象である場合の把持部50の位置及び姿勢を、それぞれ示している。
このように、ワークWのどの部分をどの方向から把持するかに応じて、把持データを事前に設定しておくことにより、バラ積みされたワークがどのような位置及び姿勢で検出されたとしても、把持対象となる部位を検出することができる。
図4に戻って、統計データ記憶部1006は、把持データごとにワークWの把持の成否に関する統計データを記憶する。すなわち、毎回選択した把持データに基づいてワークWをピッキングし、把持に成功したか否かの実績データを統計データとして記憶装置13に記憶する。また、統計データ記憶部1006は、把持データごとに後述する干渉判定部1008による干渉するか否かの実績データも統計データとして記憶装置13に記憶する。
把持の成否判断の方法は、特に限定されるものではない。図6は、本発明の実施の形態1に係る画像処理装置1と接続されているロボットコントローラ4における把持の成否判断の一例を示す模式図である。図6(a)は、マニピュレータ5の把持部50の構成を示す模式図である。2つの把持部材501を移動させて、把持部材501、501間の距離B1を検出する。
把持対象であるワークWの把持する部位の幅をB2とすると、B1>B2ならば把持する過程であることがわかる(図6(a)の状態)。そして、B1=B2である場合には、ワークWを把持することに成功していることがわかる(図6(b)の状態)。しかし、B1<B2である場合には、把持に失敗していると判断することができる(図6(c)の状態)。
もちろん、把持の成否判断の方法は、これに限定されるものではない。例えば、把持部に重量センサ、あるいは圧力センサを取り付けておき、センサの出力値に応じてワークWの把持に成功しているか否かを判断しても良い。
また、単純に把持部50の把持部材501の先端に電極を設けておき、通電した場合には警告信号を出力するようにしておくだけでも良い。図6(c)の状態になった場合にのみ電極が接触して警告信号が出力される。
また、把持したワークWを目的地で解放し、その位置を他のカメラで撮像するようにしても良い。所定の位置にワークWが存在しない、あるいは位置が異なっていると、撮像により取得した画像データの解析から判断された場合には、把持に失敗したと判断することができる。
同様に、把持したワークWを目的地まで移動する途中で他のカメラで撮像するようにしても良い。移動中にワークWが存在していないと、撮像により取得した画像データの解析から判断された場合には、把持に失敗したと判断することができる。
さらに、把持部50が、空気の吸入による吸着を用いる方式である場合、エア流量の相違により把持の成否判断をすることもできる。もちろん、センサ等によるデータ取得のみをロボットコントローラ4の指示で実行し、把持の成否判断を画像処理装置1で実行しても良い。
図4に戻って、サーチ処理実行部1007は、三次元計測により取得した三次元計測データに対して、登録された一又は複数のワークモデルを用いてワークWの位置及び姿勢を特定する三次元サーチ処理を実行する。サーチ処理実行部1007では、ワークWごとに検出スコアを算出して三次元サーチ処理の結果として出力する。
図7は、本発明の実施の形態に係る画像処理装置1のワークモデルの例示図である。図7に示すように、ワークモデルの表面において特徴点を抽出している。特徴点とは、三次元サーチ処理において必要な特徴を示す点を意味しており、例えば形状の輪郭を表す輪郭上の特徴点、表面形状を表す表面上の特徴点の2種類の特徴点又はいずれかの特徴点で構成されていれば良い。
図8は、本発明の実施の形態に係る画像処理装置1の三次元サーチ処理の説明図である。図8(a)に示すように、作業空間にワークWがバラ積みされている。この状態で、図7に示すワークモデルを用いて、三次元サーチ処理を実行することにより、ワーク81、82が検出されている。
三次元サーチ処理では、ワークモデルと対応する特徴点がどの程度存在するかを示す割合に基づいて検出スコアを算出する。例えば、高さ画像に対して、一定の距離以下の誤差を有する特徴点の点数の割合等を用いる。無効画素が多く含まれている場合には対応する特徴点が存在しないので検出スコアが低くなる。したがって、検出スコアが高いほど、三次元サーチ処理の結果として信頼性が高いことになる。また、一定の閾値以下の検出スコアである場合には、誤検出している可能性が高いことから、把持対象から除外することもできる。
図4に戻って、干渉判定部1008は、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークWについて、他のワークWと干渉するか否かを判定する。信頼性が高く、把持対象として検出されているワークWについてのみ、他のワークWとの干渉チェックを行う。これにより、干渉するワークWを把持対象から除外することができる。
把持データ選択部1009は、他のワークWと干渉しないと判定された把持データのうち、統計データにおいて把持の成功率の最も高い把持データを選択する。また、把持データ選択部1009は、統計データに基づいて、他のワークWと干渉しないと判定された把持データのうち、把持成功率が低い把持データを選択対象の把持データ候補から除外する。この場合、把持データ選択部1009は、除外された把持データを除いた把持データの中から、三次元サーチ処理により得られた検出スコアが最も高くなる把持データを選択する。
すなわち、把持データ選択部1009は、三次元サーチ処理により所定の閾値よりも高い検出スコアが得られた把持データについて干渉判定を実行し、干渉しないと判定された把持データについて、統計データ記憶部1006が記憶装置13に記憶されている統計データを参照することにより、実際に把持に成功する確率が高い把持データを選択する。図1に示すロボットコントローラ4は、把持対象として検出されているワークWのワークモデルに設定された把持データに基づいて、マニピュレータ5及び把持部50の動作を制御する。
図9は、本発明の実施の形態1に係る画像処理装置1のCPU11の三次元サーチ処理以降の処理手順を示すフローチャートである。図9に示すように、画像処理装置1のCPU11は、上述したような三次元サーチ処理を実行し(ステップS901)、一又は複数のワークモデルを用いてワークWの位置及び姿勢を特定し、ワークWを検出したか否かを判断する(ステップS902)。
CPU11が、ワークWを検出したと判断した場合(ステップS902:YES)、CPU11は、検出された一又は複数のワークWの中から優先度が最も高いワークWを選択し(ステップS903)、優先度が最も高い把持データを用いた場合の他のワークWとの干渉判定を実行する(ステップS904)。CPU11は、他のワークWとの干渉があるか否かを判断する(ステップS905)。
CPU11が、他のワークWとの干渉がないと判断した場合(ステップS905:NO)、CPU11は、選択されたワークWを選択された把持データで把持するようロボットコントローラ4へ指示を送信する(ステップS911)。CPU11が、他のワークWとの干渉があると判断した場合(ステップS905:YES)、CPU11は、他の把持データが存在するか否かを判断する(ステップS906)。
CPU11が、他の把持データが存在すると判断した場合(ステップS906:YES)、CPU11は、優先度が次に高い把持データを用いた場合の他のワークWとの干渉判定を実行し(ステップS907)、処理をステップS905に戻して上述した処理を繰り返す。CPU11が、他の把持データが存在しないと判断した場合(ステップS906:NO)、CPU11は、他のワークWが存在するか否かを判断する(ステップS908)。
CPU11が、他のワークWが存在すると判断した場合(ステップS908:YES)、CPU11は、優先度が次に高いワークWを選択し(ステップS909)、処理をステップS904へ戻して上述した処理を繰り返す。CPU11が、他のワークWが存在しないと判断した場合(ステップS908:NO)、及びワークWを検出していないと判断した場合(ステップS902:NO)、CPU11は、把持不可であると判断して(ステップS910)、処理を終了する。
なお、上述した処理は、把持データの存否を優先した処理としているが、他のワークWの存否を優先しても良い。この場合、ステップS906及びステップS907と、ステップS908及びステップS909とが入れ替わる。
また、把持データの優先度は、様々な方法で決定することができる。例えば、統計データ記憶部1006において、統計データに把持データの選択回数も含めて記憶しておき、干渉判定部1008において、統計データにおける選択回数の多い把持データの優先度を高くして干渉判定を行う方法であっても良い。図10は、本発明の実施の形態1に係る画像処理装置1のCPU11の把持データの優先度決定処理の手順を示すフローチャートである。
図10に示すように、画像処理装置1のCPU11は、把持データごとのカウンタを‘0’に初期化設定し(ステップS1001)、把持データの優先度の仮設定を行う(ステップS1002)。CPU11は、図9に示す処理を実行し(ステップS1003)、選択された把持データのカウンタを加算する(ステップS1004)。
CPU11は、カウンタの値に従って把持データの優先度を入れ替え(ステップS1005)、初期化するか否かを判断する(ステップS1006)。CPU11が、初期化しないと判断した場合(ステップS1006:NO)、CPU11は、処理をステップS1003へ戻し、上述した処理を繰り返す。CPU11が、初期化すると判断した場合(ステップS1006:YES)、CPU11は、処理を終了する。
また、把持データの把持の成否に関する統計データも同様に成否カウンタを用いることで作成することができる。図11は、本発明の実施の形態1に係る画像処理装置1のCPU11の把持成功率の高い把持データの優先度決定処理の手順を示すフローチャートである。
図11に示すように、画像処理装置1のCPU11は、把持データごとの成否カウンタを初期化し(ステップS1101)、把持データの優先度の仮設定を行う(ステップS1102)。CPU11は、図9に示す処理を実行し(ステップS1103)、選択された把持データをロボットコントローラ4へ出力する(ステップS1104)。
CPU11は、ロボットコントローラ4から、選択された把持データでの把持の成否に関する把持成否データを取得し(ステップS1105)、把持に成功したか否かを判断する(ステップS1106)。CPU11が、把持に成功したと判断した場合(ステップS1106:YES)、CPU11は、選択された把持データの成否カウンタを更新する(ステップS1107)。
CPU11が、把持に失敗したと判断した場合(ステップS1106:NO)、CPU11は、選択された把持データの成否カウンタを更新し(ステップS1108)、処理を終了するか否かを判断する(ステップS1109)。CPU11が、処理を終了しないと判断した場合(ステップS1109:NO)、CPU11は、処理をステップS1103へ戻し、上述した処理を繰り返す。CPU11が、処理を終了すると判断した場合(ステップS1109:YES)、CPU11は、処理を終了する。
以上のように本実施の形態1によれば、検出スコアが所定の閾値より大きいワークWについて、他のワークWと干渉するか否かを判定し、他のワークWと干渉しないと判定された把持データのうち、統計データにおいて把持の成功率の最も高い把持データを選択する。選択された把持データに基づいてマニピュレータ5及び把持部50の動作を制御することにより、マニピュレータ5の把持部50がワークWを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。
(実施の形態2)
本発明の実施の形態2に係る画像処理装置1の構成及び機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態2は、把持データに基づいて統計データを生成するのではなく、部分領域に干渉しない把持データが存在するか否かに基づいて統計データを生成する点で実施の形態1とは相違する。
本発明の実施の形態2に係る画像処理装置1の構成及び機能ブロック図は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態2は、把持データに基づいて統計データを生成するのではなく、部分領域に干渉しない把持データが存在するか否かに基づいて統計データを生成する点で実施の形態1とは相違する。
本実施の形態2では、図9に示す三次元サーチ処理以降の処理手順において、他のワークWの存否を優先する場合と同様となる。したがって、図9において、ステップS906及びステップS907と、ステップS908及びステップS909とが入れ替わった状態を前提に説明する。
上述の図4における把持データ選択部1009は、部分領域に干渉しない把持データが存在すると判定された把持データのうち、把持対象として検出されたワークWのワークモデルに設定された把持データを選択する。図1に示すロボットコントローラ4は、把持対象として検出されたワークWのワークモデルに設定された把持データに基づいてマニピュレータ5及び把持部50の動作を制御する制御信号を受信して、把持部50の動作を制御する。
把持対象となるワークWを示す部分領域の優先度は、以下の手順で決定することができる。図12は、本発明の実施の形態2に係る画像処理装置1のCPU11のワークWを示す部分領域の優先度決定処理の手順を示すフローチャートである。
図12に示すように、画像処理装置1のCPU11は、部分領域ごとのカウンタを‘0’に初期化設定し(ステップS1201)、部分領域の優先度の仮設定を行う(ステップS1202)。CPU11は、図9に示す処理を実行し(ステップS1203)、選択された把持データが部分領域内に存在するか否かを判断する(ステップS1204)。CPU11が、部分領域内に存在すると判断した場合(ステップS1204:YES)、CPU11は、把持データが存在する部分領域のカウンタを加算する(ステップS1205)。CPU11が、部分領域内に存在しないと判断した場合(ステップS1204:NO)、CPU11は、ステップS1205をスキップする。
CPU11は、部分領域ごとのカウンタの値に従って部分領域の優先度を入れ替え(ステップS1206)、処理を終了するか否かを判断する(ステップS1207)。CPU11が、処理を終了しないと判断した場合(ステップS1207:NO)、CPU11は、処理をステップS1203へ戻し、上述した処理を繰り返す。CPU11が、処理を終了すると判断した場合(ステップS1207:YES)、CPU11は、処理を終了する。
また、部分領域ごとの把持の成否に関する統計データも同様に成否カウンタを用いることで作成することができる。図13は、本発明の実施の形態2に係る画像処理装置1のCPU11の把持成功率の高い部分領域の優先度決定処理の手順を示すフローチャートである。
図13に示すように、画像処理装置1のCPU11は、部分領域ごとの成否カウンタを初期化し(ステップS1301)、部分領域の優先度の仮設定を行う(ステップS1302)。CPU11は、図9に示す処理を実行し(ステップS1303)、選択された部分領域及び部分領域で把持対象として検出されたワークWのワークモデルに設定された把持データをロボットコントローラ4へ出力する(ステップS1304)。
CPU11は、ロボットコントローラ4から、選択された部分領域及び部分領域で把持対象として検出されたワークWのワークモデルに設定された把持データでの把持の成否に関する把持成否データを取得し(ステップS1305)、把持に成功したか否かを判断する(ステップS1306)。CPU11が、把持に成功したと判断した場合(ステップS1306:YES)、CPU11は、選択された部分領域の成否カウンタを更新する(ステップS1307)。
CPU11が、把持に失敗したと判断した場合(ステップS1306:NO)、CPU11は、処理を終了するか否かを判断する(ステップS1308)。CPU11が、処理を終了しないと判断した場合(ステップS1308:NO)、CPU11は、処理をステップS1303へ戻し、上述した処理を繰り返す。CPU11が、処理を終了すると判断した場合(ステップS1308:YES)、CPU11は、処理を終了する。
以上のように本実施の形態2によれば、把持の成功率が高い部分領域及び該部分領域で把持対象として検出されたワークWのワークモデルに設定された把持データを用いることでマニピュレータ5の把持部50がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば統計データのみを別の外部コンピュータ、あるいはクラウド環境に記憶しておいても良い。
図14は、本発明の実施の形態に係る画像処理装置1を用いた、ピッキングシステムの処理の手順を示すフローチャートである。図14では、統計データが統計データ外部記憶装置7に記憶されている点で上述した実施の形態とは相違している。
図14において、画像処理装置1は、上述した処理により把持データを選択して(ステップS1411)、把持データをロボットコントローラ4へ出力する(ステップS1412)。
ロボットコントローラ4は、画像処理装置1から把持データの入力を受け付け(ステップS1441)、マニピュレータ5及び把持部50の動作を制御する(ステップS1442)。そして、上述の処理を実行して把持の成否を判断して(ステップS1443)、選択された把持データ及び把持の成否に関する把持成否データを統計データ外部記憶装置7へ出力する(ステップS1444)。
統計データ外部記憶装置7は、ロボットコントローラ4からの把持データ及び把持成否データの入力を受け付け(ステップS1471)、把持データ又は部分領域に対応付けられている成否カウンタを更新する(ステップS1472)。更新された成否カウンタに基づいて、把持データ又は部分領域の優先度を更新して(ステップS1473)、更新された優先度を画像処理装置1へ出力する(ステップS1474)。
画像処理装置1は統計データ外部記憶装置7からの優先度の入力を受け付けて(ステップS1413)、次のピッキング動作に適用する。これにより、統計データを記憶する位置的制約から解放され、ビッグデータとしての取り扱いも容易となる。
なお、上述した実施例では、画像処理装置1を1基設ける場合について説明しているが、特に1基に限定せず、複数の画像処理装置1を設けても良い。この場合、複数の画像処理装置1で同じ処理を行うので、統計データとしては共通の統計データを用いれば良い。
例えば、複数の画像処理装置1で得られた把持データ及び把持成否結果等を、複数の画像処理装置1に共有される統計データとして一又は複数の画像処理装置1の記憶装置13に統計データとして記憶する。記憶されている統計データに基づいて優先順位を特定し、複数の画像処理装置1で利用する。もちろん、外部に統計データのみを集約して記憶する統計データ共有記憶装置を設けても良いことは言うまでもない。
また、それぞれの画像処理装置1で得られた把持データ及び把持成否結果等を、それぞれ別個独立してそれぞれの記憶装置13に記憶し、それぞれの統計データに基づいて得られた優先順位のみを複数の画像処理装置1でそれぞれ利用しても良い。
1 画像処理装置
2 撮像部
4 ロボットコントローラ
5 マニピュレータ
11 CPU
50 把持部
W ワーク
2 撮像部
4 ロボットコントローラ
5 マニピュレータ
11 CPU
50 把持部
W ワーク
Claims (12)
- バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置において、
バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング部と、
事前に記憶されている複数のワークモデルを登録するワークモデル登録部と、
前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定部と、
前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶部と、
三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行部と、
三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定部と、
他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択部と
を備えることを特徴とする画像処理装置。 - 前記センシング部は、
前記作業空間内のワークを撮像して画像データを取得するワーク撮像部と、
撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出部と
を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記統計データ記憶部は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、
前記把持データ選択部は、前記干渉判定部で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記統計データ記憶部は、前記統計データに把持データの選択回数も含めて記憶し、
前記干渉判定部は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。 - バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能な画像処理方法において、
前記画像処理装置は、
バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得する第一の工程と、
事前に記憶されている複数のワークモデルを登録する第二の工程と、
前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する第三の工程と、
前記把持データごとにワークの把持の成否に関する統計データを記憶する第四の工程と、
三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行する第五の工程と、
三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する第六の工程と、
他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する第七の工程と
を含むことを特徴とする画像処理方法。 - 前記第一の工程は、
前記作業空間内のワークを撮像して画像データを取得する第八の工程と、
撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する第九の工程と
を含むことを特徴とする請求項5に記載の画像処理方法。 - 前記第四の工程は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、
前記第七の工程は、前記第六の工程で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することを特徴とする請求項5又は6に記載の画像処理方法。 - 前記第四の工程は、前記統計データに把持データの選択回数も含めて記憶し、
前記第六の工程は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことを特徴とする請求項5乃至7のいずれか一項に記載の画像処理方法。 - バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理装置を、
バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング手段、
事前に記憶されている複数のワークモデルを登録するワークモデル登録手段、
前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定手段、
前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶手段、
三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行手段、
三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定手段、及び
他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択手段として機能させることを特徴とするコンピュータプログラム。 - 前記センシング手段を、
前記作業空間内のワークを撮像して画像データを取得するワーク撮像手段、及び
撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出手段
として機能させることを特徴とする請求項9に記載のコンピュータプログラム。 - 前記統計データ記憶手段を、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶する手段として機能させ、
前記把持データ選択手段を、前記干渉判定手段で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択する手段として機能させることを特徴とする請求項9又は10に記載のコンピュータプログラム。 - 前記統計データ記憶手段を、前記統計データに把持データの選択回数も含めて記憶する手段として機能させ、
前記干渉判断手段を、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行う手段として機能させることを特徴とする請求項9乃至11のいずれか一項に記載のコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082365A JP2018179859A (ja) | 2017-04-18 | 2017-04-18 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082365A JP2018179859A (ja) | 2017-04-18 | 2017-04-18 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018179859A true JP2018179859A (ja) | 2018-11-15 |
Family
ID=64276137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017082365A Pending JP2018179859A (ja) | 2017-04-18 | 2017-04-18 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018179859A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020163502A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
JP2022552628A (ja) * | 2019-10-25 | 2022-12-19 | デクステリティ・インコーポレーテッド | ワークフローを満たし衝突を回避するための複数のロボットの連係 |
WO2023084884A1 (ja) * | 2021-11-15 | 2023-05-19 | パナソニックIpマネジメント株式会社 | 把持装置、衣類処理装置、及び衣類処理方法 |
-
2017
- 2017-04-18 JP JP2017082365A patent/JP2018179859A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020163502A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
JP7275759B2 (ja) | 2019-03-28 | 2023-05-18 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
JP2022552628A (ja) * | 2019-10-25 | 2022-12-19 | デクステリティ・インコーポレーテッド | ワークフローを満たし衝突を回避するための複数のロボットの連係 |
US11752636B2 (en) | 2019-10-25 | 2023-09-12 | Dexterity, Inc. | Singulation of arbitrary mixed items |
US11780096B2 (en) | 2019-10-25 | 2023-10-10 | Dexterity, Inc. | Coordinating multiple robots to meet workflow and avoid conflict |
JP7522829B2 (ja) | 2019-10-25 | 2024-07-25 | デクステリティ・インコーポレーテッド | システム、方法及びコンピュータプログラム製品 |
WO2023084884A1 (ja) * | 2021-11-15 | 2023-05-19 | パナソニックIpマネジメント株式会社 | 把持装置、衣類処理装置、及び衣類処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11338435B2 (en) | Gripping system with machine learning | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6586532B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
JP6415026B2 (ja) | 干渉判定装置、干渉判定方法、コンピュータプログラム | |
JP6642968B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN101479082B (zh) | 机器人装置和机器人装置的控制方法 | |
JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
JP2018116599A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2009523623A (ja) | ワーク自動把持の方法と装置 | |
JP2014205209A (ja) | ロボットシステム、及びロボットシステムの制御方法 | |
US11833697B2 (en) | Method of programming an industrial robot | |
JP2019018272A (ja) | モーション生成方法、モーション生成装置、システム及びコンピュータプログラム | |
JP2018179859A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
US11590657B2 (en) | Image processing device, control method thereof, and program storage medium | |
JP2018126862A (ja) | 干渉判定装置、干渉判定方法、コンピュータプログラム | |
WO2021039775A1 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
JP7066671B2 (ja) | 干渉判定装置、干渉判定方法、プログラム及びシステム | |
JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6265784B2 (ja) | 姿勢推定システム、プログラムおよび姿勢推定方法 | |
JP7376318B2 (ja) | アノテーション装置 | |
CN116188559A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN116175542A (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
KR20170101754A (ko) | 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법 |