JP5265296B2 - ワーク取り出し方法 - Google Patents

Description

この発明は、ワーク取り出し方法に関し、特に、バラ積みされて整列されていない状態の複数のワークの中から一つずつワークを取り出す場合に用いられるワーク取り出し方法に関するものである。

ワークをロボットにより取り出す場合に、バラ積み状態とされたワークをカメラで撮影して得られた２次元画像をマスタモデルと比較して一致度が閾値以上である場合にこれを把持する技術が知られている（特許文献１参照）。マスタモデルにはワークの全体である第１のマスタモデルと把持位置に対応した第２のマスタモデルがありこれを記憶している。
特開平２００２−２００５８８号公報

しかしながら、上記従来技術にあっては、第１のマスタモデルと照合することにより把持可能候補となるワークを抽出し、その後、把持可能ワークに対して第２マスタモデルと照合することにより把持可能かどうかを判断しているが、実際のバラ積みされたワークは重なり合って積載されている場合が多く、予め算出した把持姿勢とのマッチングは難しいという問題がある。また、長さのあるワークや複雑な形状のワークでは取り出し時に他のワークと引っ掛かり、他のワークも一緒に取り出してしまう可能性が高く、取り出し方向を考慮して取り出し方向に適した把持位置を選択する必要がある。

そこで、この発明は、短時間でワークの取り出しを行うことができ、かつワークを取り出す際に他のワークとの引っ掛かりを防止できるワーク取り出し方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載した発明は、把持対象となる各ワーク（例えば、実施形態におけるワークＷ）に含まれる代表的な部分形状と、当該代表的な部分形状に適した把持位置の優先順位であって、他のワークに引っ掛かり難く、ワークがバラ積みされたバケット（例えば、実施形態におけるバケット２）から抜き出し易くて取り出しに適した把持位置の優先順位を、ワークのマスタモデル情報を用いることなく記憶するステップと、積載されたワークをセンシングしてワークの画像情報を取得すると共にワーク周辺のエリアの画像情報を取得するステップと、前記エリア内にあるワークの前記画像情報によりワークのエッジ検出を行って外部に露出しているワークの部分を認識するステップと、認識されたワークの外部に露出している部分の中から前記代表的な部分形状を備えたワークを選択するステップと、前記代表的なワークの部分形状に一致する部分形状を、記憶された代表的な部分形状から選択するステップと、選択された代表的な形状に適した把持位置を前記優先順位に基づいて決定するステップと、前記決定した把持位置を把持するための把持指令を出力するステップとを備えたことを特徴とする。
ここで、優先順位としては請求項２，３に記載したように、エッジ検出され、面積の算出がなされて選択されたワークをバケットから取り出す際に他のワークが引っ掛かり難い部分を優先して設定したり、ワークを把持するロボットがクリアランス情報に基づいて把持し易い部分を優先したりすることができる。

請求項１に記載した発明によれば、予め選択された部分形状及び把持位置の優先順位を決めていることで、バラ積みされたワークの把持位置を短時間で決定でき迅速にワークの取り出しを行うことができる。また、部分形状毎で取り出しに適した把持位置の優先順位の高い部分を選択することにより、取り出しを行っているワークと他のワークとの引っ掛かりを確実に防止できる効果がある。
また、請求項２、請求項３に記載したように、他のワークが引っ掛かり難い部分や、ロボットが把持し易い部分を把持位置として優先することで、スムーズにワークを把持できる効果がある。

次に、この発明の実施形態を図面に基づいて説明する。図１はこの発明の実施形態のワーク取り出し装置１を示している。このワーク取り出し装置１はバケット２にバラ積みされたワークＷをロボット３のロボットアーム３Ａにより一個ずつ取り出して、例えば、自動車組立ラインに投入するものである。４はステレオカメラを示し、このステレオカメラ４はロボット３のロボットアーム３Ａに取り付けられ、バケット２に積載された多数の同一形状のワークＷを上側から見て３次元の画像情報を取得する。
ステレオカメラ４により取得された画像情報は画像情報記憶部５に記憶される。ここで画像情報とは輝度の画像情報である各画素毎のＲＧＢ値と距離の画像情報である各画素毎の距離（ｍｍ，ｃｍ）である。尚、ステレオカメラ４に代えてレーザによる３次元スキャン、距離を検出できる画像センサにより３次元でセンシングすることで輝度の画像情報に加えた距離の画像情報を対応する各画素毎に得るようにしてもよい。

画像情報記憶部５には記憶された画像情報に基づいて画像におけるエッジ検出を行うためのエッジ検出部６が接続されている。エッジ検出部６にはエッジ検出により得られたエッジ部分、つまり外部に露出しているワークＷの部分の境界部分Ｋ（図６参照）を境にして各部分画像を切り出す画像抽出部７が接続されている。この画像抽出部７により、バラ積みされたワークＷのうち比較的上に存在する重なり度合いが少ないワークＷが数個選択される。ここで、ワークＷが上にあるか否かの選択基準は距離の画像情報によって選別された画像の中から選択されエッジ検出部６による検出時に選別される。切り出された部分画像は画像情報記憶部５に記憶される。
８はワークＷの部分形状記憶部を示している。この部分形状記憶部８は取り扱われるワークＷの一部に存在する部分形状を記憶すると共に、この部分形状の把持位置を記憶するものであり、部分形状の各把持位置には把持することが最も適切な部位から順に優先順位が付けられている。優先順位については後述するが、優先順位の数字が小さい程他のワークＷに引っ掛かること無く把持し易い部位となる。この部分形状記憶部８には予めワークＷの部分形状データと把持のための優先順位データが記憶される。

９はマッチング判定部を示している。このマッチング判定部９は、画像情報記憶部５に記憶されたワークＷの外部に露出している部分の画像情報と、ワークＷの部分形状記憶部８に記憶された部分形状とがパターンマッチングによりマッチングするか否かを判定する。マッチング判定部９によって、対象となるワークＷに部分形状記憶部８に記憶された部分形状とマッチングする部位が存在する場合には、把持位置設定部１０において、ワークＷの部分形状に設定された把持のための優先順位の最も高い部分がそのワークＷの把持位置として設定される。
把持位置設定部１０はロボットアーム３Ａの作動を制御するコントローラ１１に接続されている。
ここで、把持位置設定部１０には、画像情報記憶部５から画像情報に含まれる把持位置周辺のクリアランス情報も入力され、ロボットアーム３Ａが把持位置を把持できるクリアランスが確保されていた場合に、その部分を把持する。ここで、把持位置周辺のクリアランスを見る場合には、３次元の画像情報から取得することもできるが、ロボットアーム３Ａを把持位置の近傍まで移動させ、角度を変えて画像情報を取得しクリアランスの有無を確認することも可能である。

図２は、把持対象となるワークＷに含まれる代表的な部分形状と取り出しに適した把持位置の優先順位を示している。取り出しに適したとは、最も引っ掛かり難い方向に取り出すことを前提に、取り出した際に他のワークに引っ掛かり難く、抜き出し易いことを意味する。また、優先順位は同一部分形状間だけではなく、異なる部分形状間においても序列がわかるように絶対評価で順位付けをしている。

図２（ａ）はＵ字型であって、この部分形状はワークＷをバケット２から取り出す場合に、把持位置の如何によっては他のワークＷと引っ掛かり易い形状である。弧状部２０と弧状部２０の両端から伸び互いに平行な延出部２１，２１とで形成されている。このＵ字型の把持位置の優先順位１位は弧状部２０、優先順位２位は弧状部２０に連なる直線部２２，２２、優先順位３位はこれら直線部２２，２２に連なる端部を含む直線部２３，２３である。
つまり、図３に示すように、端部を含む直線部２３，２３をロボットアーム３Ａで把持すると、他のワークＷの弧状部２０が引っ掛かり易いが、図４に示すように、弧状部２０を把持すると引き抜き易く、他のワークＷが引っ掛かる可能性が最も低い。尚、弧状部を有するワークであって、弧状部を把持することにより他のワークと引っ掛かり難く、引く抜き易くなるものであれば、Ｊ字型などのように部分形状がＵ字型のものに限られない。

図２（ｂ）はＬ字型であって、長辺部２４と短片部２５とが直角に接続されている。把持位置の優先順位１位は長辺部２４と短片部２５とのコーナ部分２６、優先順位２位はコーナ部分２６に隣接する長辺部２４側と短片部２５側の直線部２７，２７、優先順位３位はこれら直線部２７，２７に連なる端部を含む直線部２８，２８である。尚、コーナー部分を有するワークであって、コーナー部分を把持することにより他のワークと引っ掛かり難く、引く抜き易くなるものであれば、Ｖ字型などのように部分形状がＬ字型のものに限られない。

図２（ｃ）はＩ字型であって、この部分形状は直線的であり引っ掛かり難い形状であるため、把持位置の優先順位は２位から始まり、優先順位２位は両端側の直線部２９、優先順位３位は中央の直線部３０である。

図２（ｄ）は板状の四角型であって、この部分形状では把持位置の優先順位１位は中央部を除く各辺の中央部分３１であり、優先順位２位は各コーナ部３２であり、優先順位３位は中央部３３である。このようなワークの代表的な部分形状及び把持位置の優先順位は予め部分形状記憶部８に記憶されている。尚、図２において優先順位１位はクロスハッチング、優先順位２位はハッチング、優先順位３位は点ハッチングで示す。

次に、バケット２にバラ積みされたワークＷをロボット３のロボットアーム３Ａで取り出す手順について説明する。
先ず、図２に示すように、把持対象となるワークＷに含まれる代表的な部分形状データと、この代表的な部分形状に対応した把持位置の優先順位データを部分形状記憶部８に記憶しておく。以下に示す例では、部分形状としてＵ字型の部分を備えたワークＷを把持するため、このＵ字型のデータと、把持位置の優先順位１位、優先順位２位、優先順位３位の各部分をそれぞれ記憶しておく。

次に、図５に示すように、バケット２にバラ積みされたワークＷを図１に示すロボット３のロボットアーム３Ａに取り付けられたステレオカメラ４で撮影する。取得された外部に露出している部分の画像情報は画像情報記憶部５に記憶される。
図６に示すように、画像情報記憶部５に記憶された画像情報はエッジ検出部６によってエッジ検出され、面積の算出も行う。そして、比較的上に位置するワークＷで重なり度合いが比較的少ないワークＷ、つまり面積の大きいワークＷが数個（ここでは面積の大きい順に３個）選択される。したがって、ワークＷの選択を高速で行うことができる。

ここで、エッジ検出部６によって行われるエッジ検出は、画像情報において基本的に輝度の値の変化率が大きい部分を境界部分Ｋとして判定することができるが、このように輝度のみによるエッジ検出ができない場合には、距離の画像情報の距離を所定の範囲に固定して、その範囲内の画像だけを抽出し、その画像に対応する輝度の画像情報のみを用いエッジ検出することができる。尚、図６において、太線で示したのは境界部分Ｋである。

そして、選択されたワークＷは画像抽出部７によって抽出されて画像情報記憶部５に記憶される。このとき、図７に示すように、抽出された画像にはワークＷの周辺のエリア（図７に３つの四角ａ，ｂ，ｃで示す）も含まれている。したがって、このエリア内に絞ってワークＷの部分形状と、部分形状記憶部８に予め記憶されている代表的な部分形状とがマッチングしているか否かをマッチング判定部９によって判定し選択する。このように、エリアを絞っているためマッチング速度を速めることができる。

判定の結果、マッチングしている部分を備えたワークＷ（図７の点ハッチングの部分）について、図８に示すように、把持するための優先順位の高い部分をマッピングして把持位置設定部１０により把持位置を優先順位に基づいて決定する（図８のクロスハッチング、ハッチング部分、点はハッチング部分）。したがって、形状によって優先順位が予め決定されているので、把持位置の設定を迅速に行うことができる。
ここで、把持位置設定部１０には画像情報記憶部５から把持位置の周囲のクリアランス情報が入力されるため、図９の四角ａ、四角ｂの領域内に点ハッチングで示すように、ワークＷを把持するクリアランスがある場合に限り（図８のクロスハッチング部分、ハッチング部分にのみクリアランスがある）、クリアランス情報に基づいて把持位置を正確に計算してコントローラ１１に把持指令として出力する。尚、クリアランスが十分でない場合には、次に優先順位の高い把持位置が選択される。

そして、指令を受けたコントローラ１１はロボット３を駆動し、ロボットアーム３Ａによって、取り出すべきワークＷのクリアランスのある最適な把持位置（優先順位の高い把持位置）を把持し、ワークＷをバケット２から取り出す。

上記実施形態によれば、ワークＷのマスタモデルを記憶しておく必要がなく、選択されたＵ字型、Ｌ字型、Ｉ字型、四角型などの代表的な部分形状と、各部分形状について把持する際に他のワークＷと引っ掛かり難い程度を示した優先順位１位〜優先順位３位を、部分形状記憶部８に記憶しておけば済むため、データベースの容量も少なくて済み、構成が簡素化するメリットがある。
また、予め選択されたＵ字型、Ｌ字型、Ｉ字型、四角型などの部分形状と、各部分形状について把持する際に他のワークＷと引っ掛かり難い程度を示した優先順位を優先順位１位〜優先順位３位と段階的に設定しているので、バラ積みされたワークＷの把持位置を短時間で決定でき迅速にワークＷの取り出しを行うことができる。また、部分形状毎で取り出しに適した把持位置の優先順位の高い部分を選択することにより、取り出しを行っているワークＷと他のワークＷとの引っ掛かりを確実に防止できる効果がある。

また、ワークをロボット３のロボットアーム３Ａによりワークを把持するに先だって、ワークＷの把持位置に把持するためのクリアランスが存在していることを条件にしているため、ワークＷを確実に把持することができる。
また、把持位置に優先順位を付けているため、クリアランスが無くワークが把持できない場合には、順位を下げて把持位置を変更すれば良く、把持までの時間を短縮できる。

尚、この発明は上記実施形態に限られるものではなく、例えば、把持位置の優先順位を決定するにあたっては、形状のみならずロボット３のロボットアーム３Ａが把持し易い部分であることを加味して設定することができる。具体的には凹凸が少ない部分、平坦な部分の方が把持し易いので、凹凸が少ないこと、平坦なことを条件に加味することができる。更に、滑り難い程把持し易いので滑り難さの優先順位や傷の付き難い部分を優先順位に加味することもできる。また、代表的な部分形状として４種類を例にしたが、４種類に限られるものではない。

この発明の実施形態のブロック図である。 前記実施形態のワークの代表的な形状を示す図であり、（ａ）はＵ字型、（ｂ）はＬ字型、（ｃ）はＩ字型、（ｄ）は四角型を示している。 前記実施形態のＵ字型のワークの端部を把持した状態の斜視図である。 前記実施形態のＵ字型のワークの弧状部を把持した状態の斜視図である。 前記実施形態のバラ積みされたワークの斜視図である。 図５において選択されたワークを示した斜視図である。 図６においてワークの代表的な部分形状をエリアと共に示す斜視図である。 図７において把持の優先順位を示す斜視図である。 図８においてクリアランスを示した斜視図である。

符号の説明

２ バケット
Ｗ ワーク

Claims (3)

1. 把持対象となる各ワークに含まれる代表的な部分形状と、当該代表的な部分形状に適した把持位置の優先順位であって、他のワークに引っ掛かり難く、ワークがバラ積みされたバケットから抜き出し易くて取り出しに適した把持位置の優先順位を、ワークのマスタモデル情報を用いることなく記憶するステップと、
   積載されたワークをセンシングしてワークの画像情報を取得すると共にワーク周辺のエリアの画像情報を取得するステップと、
   前記エリア内にあるワークの前記画像情報によりワークのエッジ検出を行って、外部に露出しているワークの部分を認識するステップと、
   認識されたワークの外部に露出している部分の中から前記代表的な部分形状を備えたワークを選択するステップと、
   前記代表的なワークの部分形状に一致する部分形状を、記憶された代表的な部分形状から選択するステップと、
   選択された代表的な形状に適した把持位置を前記優先順位に基づいて決定するステップと、
   前記決定した把持位置を把持するための把持指令を出力するステップとを備えたことを特徴とするワーク取り出し方法。
2. 前記優先順位は、前記エッジ検出され、面積の算出がなされて選択されたワークをバラ積みされた前記バケットから取り出す際に他のワークが引っ掛かり難い部分を優先して設定することを特徴とする請求項１記載のワーク取り出し方法。
3. 前記優先順位はワークをバラ積みされた前記バケットから取り出す際にロボットがクリアランス情報に基づいて把持し易い部分を優先して設定することを特徴とする請求項１又は請求項２記載のワーク取り出し方法。

Images