JP2024080766A - ワークピッキング方法 - Google Patents

Abstract

【課題】ピッキング工程に要する時間を短縮する。【解決手段】ワークピッキング方法であって、定形部と不定形部とをそれぞれ有する積まれた複数のワークを上方から撮像し、二次元画像を得る工程と、二次元画像と、第１機械学習モデルと、を利用して、最上位置ワークの二次元位置を特定する工程と、最上位置ワークの二次元位置と、第２機械学習モデルと、を利用して、最上位置定形部の二次元位置を特定する工程と、最上位置定形部の二次元位置を利用して、最上位置定形部を含み、二次元画像の撮像範囲よりも小さい領域を撮像して三次元画像を取得する工程と、三次元画像と、定形部の三次元モデルと、のマッチングを行い、最上位置定形部の三次元位置および姿勢を特定する工程と、三次元位置および姿勢を利用して、最上位置ワークをピッキングする工程と、を備える。【選択図】図１

Description

本開示は、ワークピッキング方法に関する。

定形部と不定形部とを有するワークをピッキング対象として、ロボットハンドによってピッキングを行う場合がある。特許文献１では、ピッキング対象のワークを識別するためのワーク識別方法として、機械学習モデルを利用して、ワーク置き場において最も上方に位置する定形部を識別し、さらに定形部の三次元モデルとのマッチングを行うことにより、識別した定形部の三次元座標および姿勢を特定する方法が開示されている。

特開２０２０－１８３０１９号公報

しかしながら、特許文献１に記載のワーク識別方法では、ピッキング対象の定形部の三次元座標および姿勢の特定のためにワーク置き場全体を対象として三次元モデルとのマッチングを行うため、定形部の三次元座標および姿勢の特定に時間がかかる。

本開示は、以下の形態として実現することが可能である。

本開示の一形態によれば、ワークピッキング方法が提供される。このワークピッキング方法は、ワークピッキング装置により、定形部と不定形部とをそれぞれ有する積まれた複数のワークを上方から撮像し、二次元画像を得る工程と、前記ワークピッキング装置により、前記二次元画像と、前記複数のワークのうちの最上位置ワークを識別するように学習された第１機械学習モデルと、を利用して、前記最上位置ワークの二次元位置を特定する工程と、前記ワークピッキング装置により、前記最上位置ワークの二次元位置と、前記定形部を識別するように学習された第２機械学習モデルと、を利用して、前記最上位置ワークが有する前記定形部である最上位置定形部の二次元位置を特定する工程と、前記ワークピッキング装置により、前記最上位置定形部の二次元位置を利用して、前記最上位置定形部を含み、前記二次元画像の撮像範囲よりも小さい領域を撮像して三次元画像を取得する工程と、前記ワークピッキング装置により、前記三次元画像と、予め用意されている前記定形部の三次元モデルと、のマッチングを行い、前記最上位置定形部の三次元位置および姿勢を特定する工程と、前記ワークピッキング装置により、前記三次元位置および前記姿勢を利用して、前記最上位置ワークをピッキングする工程と、を備える。
この形態のワークピッキング方法によれば、ワーク置き場全体を撮像した二次元画像の撮像範囲よりも小さい領域であって、少なくとも最上位置定形部を含む領域を撮像した三次元画像を取得し、取得した三次元画像と定形部の三次元モデルとのマッチングを行うことにより、最上位置定形部の三次元位置および姿勢を特定する。このため、ワーク置き場全体を撮像した三次元画像と定形部の三次元モデルとのマッチングを行う構成と比較して、最上位置定形部の三次元位置および姿勢の特定に要する時間を短縮し、ピッキング工程に要する時間を短縮できる。

本実施形態のワークピッキング装置の概略構成を示す説明図である。 ワーク置き場におけるワークの配置の一例を示す説明図である。 本実施形態のピッキング工程の手順を示すフローチャートである。

Ａ．実施形態：
Ａ－１．装置構成
図１は、本実施形態のワークピッキング装置１００の概略構成を示す説明図である。ワークピッキング装置１００は、床面ＦＬに配置されたワーク箱ＷＢの内部（以下、「ワーク置き場」とも呼ぶ）に置かれたワークＷを１つずつ把持して取り出す。本実施形態では、ワークＷはワイヤハーネスである。

図２は、ワーク置き場におけるワークＷの配置の一例を示す説明図である。図２には、互いに直交する３つの座標軸であるＸ、Ｙ、Ｚ軸を表す矢印が示されている。図２において、Ｘ軸およびＹ軸は、床面ＦＬに平行であり、Ｚ軸は、床面ＦＬに垂直である。以下の説明において、Ｘ、Ｙ、Ｚ軸それぞれに平行な方向を、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向とも呼ぶ。

図２に示す例では、ワーク置き場には、ワイヤハーネスＷ１とワイヤハーネスＷ２とが積まれて置かれている。ワイヤハーネスＷ１は、ケーブル部ＣＢ１と、ケーブル部ＣＢ１の両端に設けられた２つのコネクタ部ＣＮ１１、ＣＮ１２とを有する。ワイヤハーネスＷ２は、ケーブル部ＣＢ２と、ケーブル部ＣＢ２の両端に設けられた２つのコネクタ部ＣＮ２１、ＣＮ２２とを有する。ワイヤハーネスＷ１とワイヤハーネスＷ２とは、交差部ＣＰにおいてケーブル部ＣＢ１がケーブル部ＣＢ２の上に位置するように、Ｚ軸方向に積まれて置かれている。なお、図２に示す例では、ワーク置き場には２本のワイヤハーネスＷ１、Ｗ２のみが置かれているが、ワーク置き場に置かれているワイヤハーネスは３本以上の任意の数であってもよい。

コネクタ部ＣＮ１１、ＣＮ１２、ＣＮ２１、ＣＮ２２はそれぞれ、本開示における「定形部」に相当する。「定形部」は、物体において、外力が加えられても変形しない部分を意味する。なお、実際には、定形部に外力が加えられた場合にも、極僅かに定形部が変形することもあるが、変形量が所定の大きさ以下である場合には、その部分を定形部であるとみなしてよい。また、ケーブル部ＣＢ１、ＣＢ２は、本開示における「不定形部」に相当する。「不定形部」は、物体において、外力が加えられた場合に、外力の大きさに応じて変形する部分を意味する。

図１に示すように、ワークピッキング装置１００は、把持ロボット１０と、３Ｄカメラ２０と、制御部３０とを備える。

把持ロボット１０は、多関節アーム部１１と、多関節アーム部１１の先端に取り付けられてワークＷを把持する把持部１２とを有する。把持ロボット１０は、把持部１２によって、ワーク置き場に置かれたワークＷのコネクタ部を把持し、把持したワークＷを、ワーク置き場から取り出す。

３Ｄカメラ２０は、把持ロボット１０の先端部に取り付けられている。３Ｄカメラ２０は、二次元画像および三次元画像を撮像可能に構成されている。本実施形態では、３Ｄカメラ２０は、ステレオカメラとして構成されている。

制御部３０は、メモリ３１とＣＰＵ３２とを有するコンピュータとして構成されている。メモリ３１は、第１機械学習モデル３１１と、第２機械学習モデル３１２と、第３機械学習モデル３１３と、三次元モデル３１４とを記憶している。ＣＰＵ３２は、プログラムを実行することにより、画像処理部３２１とロボット制御部３２２として機能する。

本実施形態の第１機械学習モデル３１１は、ワーク置き場において複数のワークＷのうち最も上方に位置するワーク（以下、「最上位置ワーク」とも呼ぶ）を識別するように、ワーク置き場に複数のワークＷが様々な位置に配置されている複数の配置パターンの画像と、それぞれの配置パターンにおける最上位置ワークとの組み合わせデータを予め学習させた機械学習モデルである。本実施形態の第２機械学習モデル３１２は、複数のワークＷがそれぞれ有するコネクタ部を識別するように予め学習された機械学習モデルである。本実施形態の第３機械学習モデル３１３は、ワーク置き場にワークＷが存在するか否かを識別するように、ワーク置き場にワークＷが存在する場合とワークＷが存在しない場合とのそれぞれ複数の配置パターンの画像と、各画像においてワークＷが存在するか否かを示すデータとの組み合わせデータを予め学習させた機械学習モデルである。本実施形態の三次元モデル３１４は、予め用意されたコネクタ部の三次元形状を示す３ＤＣＡＤデータである。

画像処理部３２１は、３Ｄカメラ２０によって取得された二次元画像を対象として画像処理を行い、ワーク置き場における最上位置ワークおよび最上位置ワークが有するコネクタ部（以下、「最上位置コネクタ部」とも呼ぶ）の二次元位置の特定、およびワーク置き場にワークＷが存在するか否かの判定を行う。最上位置コネクタ部は、本開示における「最上位置定形部」に相当する。なお、「二次元位置」は、Ｘ軸方向およびＹ軸方向それぞれにおける位置を示すパラメータを意味する。また、画像処理部３２１は、３Ｄカメラ２０によって取得された三次元画像を対象として画像処理を行い、ワーク置き場における最上位置コネクタ部の三次元位置および姿勢を特定する。なお、「三次元位置」は、二次元位置に加えてＺ軸方向における位置を示すパラメータを意味する。「姿勢」は、Ｘ、Ｙ、Ｚ軸それぞれに対する傾斜角度を示すパラメータを意味する。

ロボット制御部３２２は、把持ロボット１０の動きを制御する。より具体的には、ロボット制御部３２２は、画像処理部３２１によって特定された最上位置コネクタ部の二次元位置を利用して、把持ロボット１０の多関節アーム部１１を制御することによって、３Ｄカメラ２０の撮像位置の制御を行う。また、ロボット制御部３２２は、画像処理部３２１によって特定された最上位置コネクタ部の三次元位置および姿勢を利用して、把持ロボット１０の多関節アーム部１１および把持部１２の動作を制御することによって、把持部１２によって最上位置コネクタ部を把持させて、最上位置ワークをワーク置き場から取り出させる制御を行う。

Ａ－２．ピッキング工程
図３は、本実施形態のピッキング工程の手順を示すフローチャートである。本実施形態のワークピッキング装置１００は、図３に示すピッキング工程を繰り返し実行して、ワーク置き場に置かれた複数のワークＷを１つずつ把持して取り出す。本実施形態のピッキング工程は、作業者によりプログラムの開始が指示されることにより開始される。

ステップＳ１０において、ロボット制御部３２２は、把持ロボット１０を制御して、第１撮像位置に３Ｄカメラ２０を移動させ、３Ｄカメラ２０によりワーク置き場を撮像して二次元画像を取得する。「第１撮像位置」は、３Ｄカメラ２０の撮像範囲にワーク置き場全体が収まるように予め設定されている位置を意味する。

ステップＳ２０において、画像処理部３２１は、撮像された二次元画像と第１機械学習モデル３１１とを利用して、最上位置ワークの二次元位置を特定する。図２に示す例においては、画像処理部３２１は、ワイヤハーネスＷ１を最上位置ワークとしてその二次元位置を特定する。より具体的には、本実施形態では、画像処理部３２１は、取得された二次元画像中の各ワークＷを認識し、第１機械学習モデル３１１を利用して、各ワークＷについて、当該ワークＷが最上位置ワークである確率を示すスコアを算出する。画像処理部３２１は、算出されたスコアが最も高いワークＷを最上位置ワークとして、最上位置ワークを含む矩形領域ＡＲ１を特定する。矩形領域ＡＲ１は、図２において破線により囲って示す領域である。

図３に示すステップＳ３０において、画像処理部３２１は、特定された最上位置ワークの二次元位置と第２機械学習モデル３１２とを利用して、最上位置コネクタ部の二次元位置を特定する。図２に示す例においては、画像処理部３２１は、コネクタ部ＣＮ１２を最上位置コネクタ部としてその二次元位置を特定する。より具体的には、本実施形態では、第２機械学習モデル３１２を利用して特定された複数のコネクタ部のうち、矩形領域ＡＲ１に含まれるコネクタ部であって、矩形領域ＡＲ１の頂点に最も近いコネクタ部ＣＮ１１を最上位置コネクタ部として、複数のコネクタ部のうちの最上位置コネクタ部のみを含む矩形領域ＡＲ２を特定する。矩形領域ＡＲ２は、図２において一点鎖線により囲って示す領域である。図２に示すように、矩形領域ＡＲ２は、上述の二次元画像の撮像範囲であるワーク置き場全体の大きさよりも小さい領域である。

図３に示すステップＳ４０において、ロボット制御部３２２は、把持ロボット１０を制御して、第２撮像位置まで３Ｄカメラ２０を移動させ、３Ｄカメラ２０により最上位置コネクタ部を撮像して三次元画像を取得する。「第２撮像位置」は、３Ｄカメラ２０の撮像範囲と矩形領域ＡＲ２とが一致するように、最上位置コネクタ部の二次元位置を利用して決定される位置を意味する。より具体的には、第２撮像位置は、第１撮像位置よりも最上位置コネクタ部に対して３Ｄカメラ２０を接近させた位置である。つまり、第２撮像位置における３Ｄカメラ２０の撮像範囲は、第１撮像位置における３Ｄカメラ２０の撮像範囲よりも小さくなる。

ステップＳ５０において、画像処理部３２１は、取得された三次元画像と三次元モデル３１４とを利用して、ワーク置き場における最上位置コネクタ部の三次元位置および姿勢を特定する。より具体的には、画像処理部３２１は、取得された三次元画像を利用して得られる最上位置コネクタ部の三次元計測データと、三次元モデル３１４とをマッチングさせることによって、最上位置コネクタ部の三次元位置と姿勢を特定する。上述のように、第２撮像位置における撮像範囲は第１撮像位置における撮像範囲よりも小さいので、ワーク置き場全体よりも小さい領域を対象としてマッチングを実行でき、最上位置コネクタ部の三次元位置と姿勢の特定に要する時間を短縮できる。

ステップＳ６０において、ロボット制御部３２２は、特定された最上位置コネクタ部の三次元位置と姿勢を利用して、把持部１２により最上位置コネクタ部を把持し、最上位置ワークをワーク置き場から取り出す。取り出された最上位置ワークは、例えば、コンベア等に載置されて次工程に搬送され、または、把持された状態で直接他の部材に組み付けられてよい。

ステップＳ７０において、ロボット制御部３２２は、把持ロボット１０を制御して、再度、第１撮像位置まで３Ｄカメラ２０を移動させ、３Ｄカメラ２０によりワーク置き場を撮像して二次元画像を取得する。

ステップＳ８０において、画像処理部３２１は、取得された二次元画像と第３機械学習モデル３１３を利用して、ワーク置き場にワークＷが存在するか否かを判定する。本実施形態では、画像処理部３２１は、第３機械学習モデル３１３を利用して、取得された二次元画像においてワークＷが存在する確率を示すスコア（以下、「第１スコア」とも呼ぶ）と、二次元画像においてワークＷが存在しない確率を示すスコア（以下、「第２スコア」とも呼ぶ）とをそれぞれ算出する。画像処理部３２１は、第１スコアと第２スコアとを比較し、第１スコアが第２スコアよりも高い場合にワーク置き場にワークＷが存在すると判定し、第２スコアが第１スコアよりも高い場合にワーク置き場にワークＷが存在しないと判定する。

ワーク置き場にワークＷが存在する場合（ステップＳ８０：Ｙｅｓ）、ワークピッキング装置１００は、ステップＳ１０～ステップＳ８０を繰り返し実行する。

他方、ワーク置き場にワークＷが存在しない場合（ステップＳ８０：Ｎｏ）、図示しない搬送ロボットによりワーク箱ＷＢが交換され（ステップＳ９０）、ワークピッキング装置１００は、ステップＳ１０～ステップＳ８０を繰り返し実行する。

以上説明した実施形態のワークピッキング装置１００によるピッキング方法によれば、ワーク置き場全体を撮像した二次元画像の撮像範囲よりも小さい領域であって、少なくとも最上位置コネクタ部を含む領域を撮像した三次元画像を取得し、取得した三次元画像と三次元モデル３１４とのマッチングを行うことにより、最上位置コネクタ部の三次元位置および姿勢を特定する。このため、ワーク置き場全体を撮像した三次元画像と三次元モデル３１４とのマッチングを行う構成と比較して、最上位置コネクタ部の三次元位置および姿勢の特定に要する時間を短縮し、ピッキング工程に要する時間を短縮できる。

Ｂ．他の実施形態：
（Ｂ１）上記実施形態において、ワークＷはワイヤハーネスであるが、本開示はこれに限定されない。ワークＷは、例えば、フィルムまたはケーブルクリップでもよい。フィルムをワークＷとして上述のピッキング工程を行う場合、画像処理部３２１は、フィルムのエッジ部を定形部とみなすことができる。また、開閉してケーブルを保持する爪部、および爪部を支持する基部を有するケーブルクリップをワークＷとして上述のピッキング工程を行う場合、画像処理部３２１は、基部を定形部とみなすことができる。

（Ｂ２）上記実施形態において、ワークピッキング装置１００は、３Ｄカメラ２０により二次元画像と三次元画像とを取得するが、本開示はこれに限定されない。ワークピッキング装置１００は、３Ｄカメラ２０に加えて２Ｄカメラを備え、２Ｄカメラにより二次元画像を取得し、３Ｄカメラ２０により三次元画像を取得してもよい。かかる形態のワークピッキング装置１００によっても、上記実施形態と同様の効果を奏する。

（Ｂ３）上記実施形態において、矩形領域ＡＲ２は、複数のコネクタ部のうちの最上位置コネクタ部のみを含むように決定されるが、本開示はこれに限定されない。矩形領域ＡＲ２は、ワーク置き場全体の大きさよりも小さい領域であれば、最上位置コネクタ部に加えて他のコネクタ部を含んでもよい。かかる形態のワークピッキング方法であっても、上記実施形態と同様の効果を奏する。

１０…把持ロボット、１１…多関節アーム部、１２…把持部、２０…３Ｄカメラ、３０…制御部、３１…メモリ、３２…ＣＰＵ、１００…ピッキング装置、３１１…第１機械学習モデル、３１２…第２機械学習モデル、３１３…第３機械学習モデル、３１４…三次元モデル、３２１…画像処理部、３２２…ロボット制御部、ＡＲ１、ＡＲ２…矩形領域、ＣＢ１、ＣＢ２…ケーブル部、ＣＮ１１、ＣＮ１２、ＣＮ２１、ＣＮ２２…コネクタ部、ＣＰ…交差部、ＦＬ…床面、Ｗ…ワーク、Ｗ１、Ｗ２…ワイヤハーネス、ＷＢ…ワーク箱

Claims (1)

1. ワークピッキング方法であって、
   ワークピッキング装置により、定形部と不定形部とをそれぞれ有する積まれた複数のワークを上方から撮像し、二次元画像を得る工程と、
   前記ワークピッキング装置により、前記二次元画像と、前記複数のワークのうちの最上位置ワークを識別するように学習された第１機械学習モデルと、を利用して、前記最上位置ワークの二次元位置を特定する工程と、
   前記ワークピッキング装置により、前記最上位置ワークの二次元位置と、前記定形部を識別するように学習された第２機械学習モデルと、を利用して、前記最上位置ワークが有する前記定形部である最上位置定形部の二次元位置を特定する工程と、
   前記ワークピッキング装置により、前記最上位置定形部の二次元位置を利用して、前記最上位置定形部を含み、前記二次元画像の撮像範囲よりも小さい領域を撮像して三次元画像を取得する工程と、
   前記ワークピッキング装置により、前記三次元画像と、予め用意されている前記定形部の三次元モデルと、のマッチングを行い、前記最上位置定形部の三次元位置および姿勢を特定する工程と、
   前記ワークピッキング装置により、前記三次元位置および前記姿勢を利用して、前記最上位置ワークをピッキングする工程と、
   を備える、
   ワークピッキング方法。

Images