JP2024080766A - ワークピッキング方法 - Google Patents
ワークピッキング方法 Download PDFInfo
- Publication number
- JP2024080766A JP2024080766A JP2022193982A JP2022193982A JP2024080766A JP 2024080766 A JP2024080766 A JP 2024080766A JP 2022193982 A JP2022193982 A JP 2022193982A JP 2022193982 A JP2022193982 A JP 2022193982A JP 2024080766 A JP2024080766 A JP 2024080766A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- workpiece
- work
- topmost
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000007493 shaping process Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 210000000078 claw Anatomy 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】ピッキング工程に要する時間を短縮する。【解決手段】ワークピッキング方法であって、定形部と不定形部とをそれぞれ有する積まれた複数のワークを上方から撮像し、二次元画像を得る工程と、二次元画像と、第1機械学習モデルと、を利用して、最上位置ワークの二次元位置を特定する工程と、最上位置ワークの二次元位置と、第2機械学習モデルと、を利用して、最上位置定形部の二次元位置を特定する工程と、最上位置定形部の二次元位置を利用して、最上位置定形部を含み、二次元画像の撮像範囲よりも小さい領域を撮像して三次元画像を取得する工程と、三次元画像と、定形部の三次元モデルと、のマッチングを行い、最上位置定形部の三次元位置および姿勢を特定する工程と、三次元位置および姿勢を利用して、最上位置ワークをピッキングする工程と、を備える。【選択図】図1
Description
本開示は、ワークピッキング方法に関する。
定形部と不定形部とを有するワークをピッキング対象として、ロボットハンドによってピッキングを行う場合がある。特許文献1では、ピッキング対象のワークを識別するためのワーク識別方法として、機械学習モデルを利用して、ワーク置き場において最も上方に位置する定形部を識別し、さらに定形部の三次元モデルとのマッチングを行うことにより、識別した定形部の三次元座標および姿勢を特定する方法が開示されている。
しかしながら、特許文献1に記載のワーク識別方法では、ピッキング対象の定形部の三次元座標および姿勢の特定のためにワーク置き場全体を対象として三次元モデルとのマッチングを行うため、定形部の三次元座標および姿勢の特定に時間がかかる。
本開示は、以下の形態として実現することが可能である。
本開示の一形態によれば、ワークピッキング方法が提供される。このワークピッキング方法は、ワークピッキング装置により、定形部と不定形部とをそれぞれ有する積まれた複数のワークを上方から撮像し、二次元画像を得る工程と、前記ワークピッキング装置により、前記二次元画像と、前記複数のワークのうちの最上位置ワークを識別するように学習された第1機械学習モデルと、を利用して、前記最上位置ワークの二次元位置を特定する工程と、前記ワークピッキング装置により、前記最上位置ワークの二次元位置と、前記定形部を識別するように学習された第2機械学習モデルと、を利用して、前記最上位置ワークが有する前記定形部である最上位置定形部の二次元位置を特定する工程と、前記ワークピッキング装置により、前記最上位置定形部の二次元位置を利用して、前記最上位置定形部を含み、前記二次元画像の撮像範囲よりも小さい領域を撮像して三次元画像を取得する工程と、前記ワークピッキング装置により、前記三次元画像と、予め用意されている前記定形部の三次元モデルと、のマッチングを行い、前記最上位置定形部の三次元位置および姿勢を特定する工程と、前記ワークピッキング装置により、前記三次元位置および前記姿勢を利用して、前記最上位置ワークをピッキングする工程と、を備える。
この形態のワークピッキング方法によれば、ワーク置き場全体を撮像した二次元画像の撮像範囲よりも小さい領域であって、少なくとも最上位置定形部を含む領域を撮像した三次元画像を取得し、取得した三次元画像と定形部の三次元モデルとのマッチングを行うことにより、最上位置定形部の三次元位置および姿勢を特定する。このため、ワーク置き場全体を撮像した三次元画像と定形部の三次元モデルとのマッチングを行う構成と比較して、最上位置定形部の三次元位置および姿勢の特定に要する時間を短縮し、ピッキング工程に要する時間を短縮できる。
この形態のワークピッキング方法によれば、ワーク置き場全体を撮像した二次元画像の撮像範囲よりも小さい領域であって、少なくとも最上位置定形部を含む領域を撮像した三次元画像を取得し、取得した三次元画像と定形部の三次元モデルとのマッチングを行うことにより、最上位置定形部の三次元位置および姿勢を特定する。このため、ワーク置き場全体を撮像した三次元画像と定形部の三次元モデルとのマッチングを行う構成と比較して、最上位置定形部の三次元位置および姿勢の特定に要する時間を短縮し、ピッキング工程に要する時間を短縮できる。
A.実施形態:
A-1.装置構成
図1は、本実施形態のワークピッキング装置100の概略構成を示す説明図である。ワークピッキング装置100は、床面FLに配置されたワーク箱WBの内部(以下、「ワーク置き場」とも呼ぶ)に置かれたワークWを1つずつ把持して取り出す。本実施形態では、ワークWはワイヤハーネスである。
A-1.装置構成
図1は、本実施形態のワークピッキング装置100の概略構成を示す説明図である。ワークピッキング装置100は、床面FLに配置されたワーク箱WBの内部(以下、「ワーク置き場」とも呼ぶ)に置かれたワークWを1つずつ把持して取り出す。本実施形態では、ワークWはワイヤハーネスである。
図2は、ワーク置き場におけるワークWの配置の一例を示す説明図である。図2には、互いに直交する3つの座標軸であるX、Y、Z軸を表す矢印が示されている。図2において、X軸およびY軸は、床面FLに平行であり、Z軸は、床面FLに垂直である。以下の説明において、X、Y、Z軸それぞれに平行な方向を、X軸方向、Y軸方向、Z軸方向とも呼ぶ。
図2に示す例では、ワーク置き場には、ワイヤハーネスW1とワイヤハーネスW2とが積まれて置かれている。ワイヤハーネスW1は、ケーブル部CB1と、ケーブル部CB1の両端に設けられた2つのコネクタ部CN11、CN12とを有する。ワイヤハーネスW2は、ケーブル部CB2と、ケーブル部CB2の両端に設けられた2つのコネクタ部CN21、CN22とを有する。ワイヤハーネスW1とワイヤハーネスW2とは、交差部CPにおいてケーブル部CB1がケーブル部CB2の上に位置するように、Z軸方向に積まれて置かれている。なお、図2に示す例では、ワーク置き場には2本のワイヤハーネスW1、W2のみが置かれているが、ワーク置き場に置かれているワイヤハーネスは3本以上の任意の数であってもよい。
コネクタ部CN11、CN12、CN21、CN22はそれぞれ、本開示における「定形部」に相当する。「定形部」は、物体において、外力が加えられても変形しない部分を意味する。なお、実際には、定形部に外力が加えられた場合にも、極僅かに定形部が変形することもあるが、変形量が所定の大きさ以下である場合には、その部分を定形部であるとみなしてよい。また、ケーブル部CB1、CB2は、本開示における「不定形部」に相当する。「不定形部」は、物体において、外力が加えられた場合に、外力の大きさに応じて変形する部分を意味する。
図1に示すように、ワークピッキング装置100は、把持ロボット10と、3Dカメラ20と、制御部30とを備える。
把持ロボット10は、多関節アーム部11と、多関節アーム部11の先端に取り付けられてワークWを把持する把持部12とを有する。把持ロボット10は、把持部12によって、ワーク置き場に置かれたワークWのコネクタ部を把持し、把持したワークWを、ワーク置き場から取り出す。
3Dカメラ20は、把持ロボット10の先端部に取り付けられている。3Dカメラ20は、二次元画像および三次元画像を撮像可能に構成されている。本実施形態では、3Dカメラ20は、ステレオカメラとして構成されている。
制御部30は、メモリ31とCPU32とを有するコンピュータとして構成されている。メモリ31は、第1機械学習モデル311と、第2機械学習モデル312と、第3機械学習モデル313と、三次元モデル314とを記憶している。CPU32は、プログラムを実行することにより、画像処理部321とロボット制御部322として機能する。
本実施形態の第1機械学習モデル311は、ワーク置き場において複数のワークWのうち最も上方に位置するワーク(以下、「最上位置ワーク」とも呼ぶ)を識別するように、ワーク置き場に複数のワークWが様々な位置に配置されている複数の配置パターンの画像と、それぞれの配置パターンにおける最上位置ワークとの組み合わせデータを予め学習させた機械学習モデルである。本実施形態の第2機械学習モデル312は、複数のワークWがそれぞれ有するコネクタ部を識別するように予め学習された機械学習モデルである。本実施形態の第3機械学習モデル313は、ワーク置き場にワークWが存在するか否かを識別するように、ワーク置き場にワークWが存在する場合とワークWが存在しない場合とのそれぞれ複数の配置パターンの画像と、各画像においてワークWが存在するか否かを示すデータとの組み合わせデータを予め学習させた機械学習モデルである。本実施形態の三次元モデル314は、予め用意されたコネクタ部の三次元形状を示す3DCADデータである。
画像処理部321は、3Dカメラ20によって取得された二次元画像を対象として画像処理を行い、ワーク置き場における最上位置ワークおよび最上位置ワークが有するコネクタ部(以下、「最上位置コネクタ部」とも呼ぶ)の二次元位置の特定、およびワーク置き場にワークWが存在するか否かの判定を行う。最上位置コネクタ部は、本開示における「最上位置定形部」に相当する。なお、「二次元位置」は、X軸方向およびY軸方向それぞれにおける位置を示すパラメータを意味する。また、画像処理部321は、3Dカメラ20によって取得された三次元画像を対象として画像処理を行い、ワーク置き場における最上位置コネクタ部の三次元位置および姿勢を特定する。なお、「三次元位置」は、二次元位置に加えてZ軸方向における位置を示すパラメータを意味する。「姿勢」は、X、Y、Z軸それぞれに対する傾斜角度を示すパラメータを意味する。
ロボット制御部322は、把持ロボット10の動きを制御する。より具体的には、ロボット制御部322は、画像処理部321によって特定された最上位置コネクタ部の二次元位置を利用して、把持ロボット10の多関節アーム部11を制御することによって、3Dカメラ20の撮像位置の制御を行う。また、ロボット制御部322は、画像処理部321によって特定された最上位置コネクタ部の三次元位置および姿勢を利用して、把持ロボット10の多関節アーム部11および把持部12の動作を制御することによって、把持部12によって最上位置コネクタ部を把持させて、最上位置ワークをワーク置き場から取り出させる制御を行う。
A-2.ピッキング工程
図3は、本実施形態のピッキング工程の手順を示すフローチャートである。本実施形態のワークピッキング装置100は、図3に示すピッキング工程を繰り返し実行して、ワーク置き場に置かれた複数のワークWを1つずつ把持して取り出す。本実施形態のピッキング工程は、作業者によりプログラムの開始が指示されることにより開始される。
図3は、本実施形態のピッキング工程の手順を示すフローチャートである。本実施形態のワークピッキング装置100は、図3に示すピッキング工程を繰り返し実行して、ワーク置き場に置かれた複数のワークWを1つずつ把持して取り出す。本実施形態のピッキング工程は、作業者によりプログラムの開始が指示されることにより開始される。
ステップS10において、ロボット制御部322は、把持ロボット10を制御して、第1撮像位置に3Dカメラ20を移動させ、3Dカメラ20によりワーク置き場を撮像して二次元画像を取得する。「第1撮像位置」は、3Dカメラ20の撮像範囲にワーク置き場全体が収まるように予め設定されている位置を意味する。
ステップS20において、画像処理部321は、撮像された二次元画像と第1機械学習モデル311とを利用して、最上位置ワークの二次元位置を特定する。図2に示す例においては、画像処理部321は、ワイヤハーネスW1を最上位置ワークとしてその二次元位置を特定する。より具体的には、本実施形態では、画像処理部321は、取得された二次元画像中の各ワークWを認識し、第1機械学習モデル311を利用して、各ワークWについて、当該ワークWが最上位置ワークである確率を示すスコアを算出する。画像処理部321は、算出されたスコアが最も高いワークWを最上位置ワークとして、最上位置ワークを含む矩形領域AR1を特定する。矩形領域AR1は、図2において破線により囲って示す領域である。
図3に示すステップS30において、画像処理部321は、特定された最上位置ワークの二次元位置と第2機械学習モデル312とを利用して、最上位置コネクタ部の二次元位置を特定する。図2に示す例においては、画像処理部321は、コネクタ部CN12を最上位置コネクタ部としてその二次元位置を特定する。より具体的には、本実施形態では、第2機械学習モデル312を利用して特定された複数のコネクタ部のうち、矩形領域AR1に含まれるコネクタ部であって、矩形領域AR1の頂点に最も近いコネクタ部CN11を最上位置コネクタ部として、複数のコネクタ部のうちの最上位置コネクタ部のみを含む矩形領域AR2を特定する。矩形領域AR2は、図2において一点鎖線により囲って示す領域である。図2に示すように、矩形領域AR2は、上述の二次元画像の撮像範囲であるワーク置き場全体の大きさよりも小さい領域である。
図3に示すステップS40において、ロボット制御部322は、把持ロボット10を制御して、第2撮像位置まで3Dカメラ20を移動させ、3Dカメラ20により最上位置コネクタ部を撮像して三次元画像を取得する。「第2撮像位置」は、3Dカメラ20の撮像範囲と矩形領域AR2とが一致するように、最上位置コネクタ部の二次元位置を利用して決定される位置を意味する。より具体的には、第2撮像位置は、第1撮像位置よりも最上位置コネクタ部に対して3Dカメラ20を接近させた位置である。つまり、第2撮像位置における3Dカメラ20の撮像範囲は、第1撮像位置における3Dカメラ20の撮像範囲よりも小さくなる。
ステップS50において、画像処理部321は、取得された三次元画像と三次元モデル314とを利用して、ワーク置き場における最上位置コネクタ部の三次元位置および姿勢を特定する。より具体的には、画像処理部321は、取得された三次元画像を利用して得られる最上位置コネクタ部の三次元計測データと、三次元モデル314とをマッチングさせることによって、最上位置コネクタ部の三次元位置と姿勢を特定する。上述のように、第2撮像位置における撮像範囲は第1撮像位置における撮像範囲よりも小さいので、ワーク置き場全体よりも小さい領域を対象としてマッチングを実行でき、最上位置コネクタ部の三次元位置と姿勢の特定に要する時間を短縮できる。
ステップS60において、ロボット制御部322は、特定された最上位置コネクタ部の三次元位置と姿勢を利用して、把持部12により最上位置コネクタ部を把持し、最上位置ワークをワーク置き場から取り出す。取り出された最上位置ワークは、例えば、コンベア等に載置されて次工程に搬送され、または、把持された状態で直接他の部材に組み付けられてよい。
ステップS70において、ロボット制御部322は、把持ロボット10を制御して、再度、第1撮像位置まで3Dカメラ20を移動させ、3Dカメラ20によりワーク置き場を撮像して二次元画像を取得する。
ステップS80において、画像処理部321は、取得された二次元画像と第3機械学習モデル313を利用して、ワーク置き場にワークWが存在するか否かを判定する。本実施形態では、画像処理部321は、第3機械学習モデル313を利用して、取得された二次元画像においてワークWが存在する確率を示すスコア(以下、「第1スコア」とも呼ぶ)と、二次元画像においてワークWが存在しない確率を示すスコア(以下、「第2スコア」とも呼ぶ)とをそれぞれ算出する。画像処理部321は、第1スコアと第2スコアとを比較し、第1スコアが第2スコアよりも高い場合にワーク置き場にワークWが存在すると判定し、第2スコアが第1スコアよりも高い場合にワーク置き場にワークWが存在しないと判定する。
ワーク置き場にワークWが存在する場合(ステップS80:Yes)、ワークピッキング装置100は、ステップS10~ステップS80を繰り返し実行する。
他方、ワーク置き場にワークWが存在しない場合(ステップS80:No)、図示しない搬送ロボットによりワーク箱WBが交換され(ステップS90)、ワークピッキング装置100は、ステップS10~ステップS80を繰り返し実行する。
以上説明した実施形態のワークピッキング装置100によるピッキング方法によれば、ワーク置き場全体を撮像した二次元画像の撮像範囲よりも小さい領域であって、少なくとも最上位置コネクタ部を含む領域を撮像した三次元画像を取得し、取得した三次元画像と三次元モデル314とのマッチングを行うことにより、最上位置コネクタ部の三次元位置および姿勢を特定する。このため、ワーク置き場全体を撮像した三次元画像と三次元モデル314とのマッチングを行う構成と比較して、最上位置コネクタ部の三次元位置および姿勢の特定に要する時間を短縮し、ピッキング工程に要する時間を短縮できる。
B.他の実施形態:
(B1)上記実施形態において、ワークWはワイヤハーネスであるが、本開示はこれに限定されない。ワークWは、例えば、フィルムまたはケーブルクリップでもよい。フィルムをワークWとして上述のピッキング工程を行う場合、画像処理部321は、フィルムのエッジ部を定形部とみなすことができる。また、開閉してケーブルを保持する爪部、および爪部を支持する基部を有するケーブルクリップをワークWとして上述のピッキング工程を行う場合、画像処理部321は、基部を定形部とみなすことができる。
(B1)上記実施形態において、ワークWはワイヤハーネスであるが、本開示はこれに限定されない。ワークWは、例えば、フィルムまたはケーブルクリップでもよい。フィルムをワークWとして上述のピッキング工程を行う場合、画像処理部321は、フィルムのエッジ部を定形部とみなすことができる。また、開閉してケーブルを保持する爪部、および爪部を支持する基部を有するケーブルクリップをワークWとして上述のピッキング工程を行う場合、画像処理部321は、基部を定形部とみなすことができる。
(B2)上記実施形態において、ワークピッキング装置100は、3Dカメラ20により二次元画像と三次元画像とを取得するが、本開示はこれに限定されない。ワークピッキング装置100は、3Dカメラ20に加えて2Dカメラを備え、2Dカメラにより二次元画像を取得し、3Dカメラ20により三次元画像を取得してもよい。かかる形態のワークピッキング装置100によっても、上記実施形態と同様の効果を奏する。
(B3)上記実施形態において、矩形領域AR2は、複数のコネクタ部のうちの最上位置コネクタ部のみを含むように決定されるが、本開示はこれに限定されない。矩形領域AR2は、ワーク置き場全体の大きさよりも小さい領域であれば、最上位置コネクタ部に加えて他のコネクタ部を含んでもよい。かかる形態のワークピッキング方法であっても、上記実施形態と同様の効果を奏する。
10…把持ロボット、11…多関節アーム部、12…把持部、20…3Dカメラ、30…制御部、31…メモリ、32…CPU、100…ピッキング装置、311…第1機械学習モデル、312…第2機械学習モデル、313…第3機械学習モデル、314…三次元モデル、321…画像処理部、322…ロボット制御部、AR1、AR2…矩形領域、CB1、CB2…ケーブル部、CN11、CN12、CN21、CN22…コネクタ部、CP…交差部、FL…床面、W…ワーク、W1、W2…ワイヤハーネス、WB…ワーク箱
Claims (1)
- ワークピッキング方法であって、
ワークピッキング装置により、定形部と不定形部とをそれぞれ有する積まれた複数のワークを上方から撮像し、二次元画像を得る工程と、
前記ワークピッキング装置により、前記二次元画像と、前記複数のワークのうちの最上位置ワークを識別するように学習された第1機械学習モデルと、を利用して、前記最上位置ワークの二次元位置を特定する工程と、
前記ワークピッキング装置により、前記最上位置ワークの二次元位置と、前記定形部を識別するように学習された第2機械学習モデルと、を利用して、前記最上位置ワークが有する前記定形部である最上位置定形部の二次元位置を特定する工程と、
前記ワークピッキング装置により、前記最上位置定形部の二次元位置を利用して、前記最上位置定形部を含み、前記二次元画像の撮像範囲よりも小さい領域を撮像して三次元画像を取得する工程と、
前記ワークピッキング装置により、前記三次元画像と、予め用意されている前記定形部の三次元モデルと、のマッチングを行い、前記最上位置定形部の三次元位置および姿勢を特定する工程と、
前記ワークピッキング装置により、前記三次元位置および前記姿勢を利用して、前記最上位置ワークをピッキングする工程と、
を備える、
ワークピッキング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022193982A JP2024080766A (ja) | 2022-12-05 | 2022-12-05 | ワークピッキング方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022193982A JP2024080766A (ja) | 2022-12-05 | 2022-12-05 | ワークピッキング方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024080766A true JP2024080766A (ja) | 2024-06-17 |
Family
ID=91483259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022193982A Pending JP2024080766A (ja) | 2022-12-05 | 2022-12-05 | ワークピッキング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024080766A (ja) |
-
2022
- 2022-12-05 JP JP2022193982A patent/JP2024080766A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7467041B2 (ja) | 情報処理装置、情報処理方法及びシステム | |
JP5778311B1 (ja) | ピッキング装置およびピッキング方法 | |
JP5685027B2 (ja) | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム | |
CN108827154B (zh) | 一种机器人无示教抓取方法、装置及计算机可读存储介质 | |
JP6725587B2 (ja) | バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法 | |
US11213954B2 (en) | Workpiece identification method | |
JP2012030320A (ja) | 作業システム、作業ロボット制御装置および作業プログラム | |
JP7106571B2 (ja) | 線状物把持方法および制御装置 | |
US11126844B2 (en) | Control apparatus, robot system, and method of detecting object | |
JP7163506B2 (ja) | 作業ロボットおよび作業システム | |
CN113858188A (zh) | 工业机器人的抓取方法和设备、计算机存储介质以及工业机器人 | |
US20190287258A1 (en) | Control Apparatus, Robot System, And Method Of Detecting Object | |
JP5879704B2 (ja) | ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法 | |
US20220203517A1 (en) | Non-transitory storage medium and method and system of creating control program for robot | |
KR20220139254A (ko) | 워크 식별 방법 | |
JP2015182212A (ja) | ロボットシステム、ロボット、制御装置、及び制御方法 | |
CN112338922B (zh) | 一种五轴机械臂抓取放置方法及相关装置 | |
CN113894774A (zh) | 一种机器人抓取控制方法、装置、存储介质和机器人 | |
TWI760596B (zh) | 線狀物之前端移動方法、控制裝置以及三維相機 | |
JP2024080766A (ja) | ワークピッキング方法 | |
JP7177639B2 (ja) | 帯状物の3次元計測方法および帯状物の3次元計測装置 | |
CN116175542B (zh) | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 | |
JPH0797059A (ja) | 物体取出装置 | |
JP7217109B2 (ja) | 帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステム | |
TW201945144A (zh) | 握持控制裝置 |