JP2017042859A - ピッキングシステム、並びに、そのための処理装置、方法及びプログラム - Google Patents

ピッキングシステム、並びに、そのための処理装置、方法及びプログラム Download PDF

Info

Publication number
JP2017042859A
JP2017042859A JP2015166183A JP2015166183A JP2017042859A JP 2017042859 A JP2017042859 A JP 2017042859A JP 2015166183 A JP2015166183 A JP 2015166183A JP 2015166183 A JP2015166183 A JP 2015166183A JP 2017042859 A JP2017042859 A JP 2017042859A
Authority
JP
Japan
Prior art keywords
candidate
workpiece
picking
workpieces
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015166183A
Other languages
English (en)
Inventor
貴文 伊藤
Takafumi Ito
貴文 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015166183A priority Critical patent/JP2017042859A/ja
Priority to US15/228,186 priority patent/US10040199B2/en
Publication of JP2017042859A publication Critical patent/JP2017042859A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40609Camera to monitor end effector as well as object to be handled
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45063Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

【課題】 ピッキングのタクトタイムを短縮する。【解決手段】 容器内は、複数の部分領域から成り、各部分領域には、ある部分領域に位置するワークをピッキングするときにロボットが他の部分領域を遮蔽する面積に基づくピッキングの順序の優先度が付与されている。処理装置は、撮像装置により撮像された容器内の領域の画像に基づいて各ワークの位置および姿勢の情報を取得し、前記情報に基づいてピッキングが可能な候補ワークを選定し、候補ワークが複数存在する場合に、各候補ワークが位置する部分領域の中で高い優先度が付与された部分領域に位置する候補ワークをピッキングの対象ワークとして決定する。【選択図】 図3

Description

本発明は、山積みされたワークからピッキング可能なワークを認識してピッキングするピッキングシステムと、ピッキングの対象ワークを決定するための処理装置、方法及びプログラムに関する。
産業用ロボットを用いてパレット上に不規則に山積みされたワークをピッキングするために、ピッキング可能なワークを認識し、その三次元計測を行う三次元計測装置が開発されている。このような三次元計測装置としては、例えば、パターン光を照射して山積みされたワークを撮像することで、ワークの三次元位置および姿勢を計測する装置が知られている。三次元計測を行った際に、山積みされたワークの中からピッキングが可能な複数の候補ワークが見つかる場合がある。しかし、複数の候補ワークが見つかった場合でも、その内の1つをピッキングした後、再びパターン光の照射と撮像とを行い、三次元計測を繰り返すことが一般的である。
特許文献1には、複数の候補ワークが見つかった場合に、候補ワークの位置変化が生じたか否かを判断し、位置変化が生じていない候補ワークが存在する場合には三次元計測を繰り返さないことで、タクトタイムを短縮することが示されている。特許文献1では、位置変化が生じたか否かを判断するために、ピッキング前後で撮像した2つの画像の比較を行う方法が示されている。しかしながら、特許文献1では、複数の候補ワークの中のどれをピッキングの対象ワークとして決定するのかについては示されていない。そのため、位置変化を判断するためにピッキング後の画像を取得しようとした際に、例えば、ロボットのアームが候補ワークを隠してしまうと、隠された候補ワークの位置変化が分からなくなり、次のピッキングの候補として良いか否かを判断できない。したがって、特許文献1の手法では、ピッキング後の画像を取得する際に、ロボットのアームによって隠される候補ワークが存在する場合には、ロボットアームがパレット上から退避するのを待つ必要があり、タクトタイムを短縮できない。
特許文献2には、ロボットアームが候補ワークの1つをピッキングする際に、他の候補ワークを隠す面積の割合である遮蔽率を計算して、遮蔽率が小さい候補ワークから優先してピッキングすることが示されている。特許文献2では、このようにすることにより、ロボットアームがパレット上から退避するのを待たずとも、ピッキング対象ワーク以外の他の候補ワークのピッキング後の画像を取得することを可能としている。
特許第5201411号公報 特開2012−125886号公報
特許文献2は、ロボットアームが他の候補ワークをできるだけ隠さない候補ワークからピッキングすることを開示している。しかし、特許文献2では、候補ワークのそれぞれについて遮蔽率の計算を行うために、その計算負担が大きく、タクトタイムをあまり短縮できないという課題がある。
そこで、本発明は、ピッキングのタクトタイムを短縮することを目的とする。
本発明の1つの側面は、撮像装置により撮像された複数のワークが積まれた容器内の領域の画像を用いて、前記複数のワークの中からロボットによりピッキングを行うワークを決定する処理装置であって、前記領域は、複数の部分領域から成り、前記複数の部分領域のそれぞれには、ある部分領域に位置するワークを前記ロボットがピッキングするときに前記ロボットが他の部分領域を前記撮像装置に対して遮蔽する面積に基づくピッキングの順序の優先度が付与されており、前記処理装置は、前記画像に基づいて前記複数のワークそれぞれの三次元位置および姿勢の情報を取得し、前記情報に基づいて前記複数のワークのうちでピッキングが可能な候補ワークを選定し、前記候補ワークが複数存在する場合に、該複数の候補ワークのそれぞれが位置する部分領域の中で高い優先度が付与された部分領域に位置する候補ワークをピッキングの対象ワークとして決定し、前記対象ワークのピッキング後に前記撮像装置により再撮像された前記領域の画像と前記対象ワークのピッキング前に前記撮像装置により撮像された先の画像との比較結果に基づいて、ピッキングの前後における位置および姿勢の変化が許容範囲内の候補ワークを、次にピッキングが可能な候補ワークとして選定し、前記次にピッキングが可能な候補ワークが複数存在する場合に、該複数の候補ワークのそれぞれが位置する部分領域の中で高い優先度が付与された部分領域に位置する候補ワークを、次のピッキングの対象ワークとして決定することを特徴とする。
本発明によれば、ピッキングのタクトタイムを短縮することができる。
本発明のピッキングシステムを示す図である。 ブロックに対する優先度の付与の手法を説明する図である。 第1実施形態におけるブロックに対して優先度を付与した結果を示す図である。 第1実施形態におけるブロックに対して優先度を付与するためのフローチャートである。 第1実施形態における撮像およびピッキングのフローチャートである。 第1実施形態における撮像およびピッキングのタイムチャートである。 第2実施形態における同一のブロックに位置するワークに対して優先度の付与の手法を説明する図である。 第2実施形態における撮像およびピッキングのフローチャートである。 ブロック分けの別の態様を示す図である。
〔第1実施形態〕
以下、本発明による第1実施形態の説明を行う。なお、本実施形態において、撮像装置を含む三次元計測装置はパターン投影を用いたものとして説明するが、これに限定されるものでは無く、その他の形態であってもよい。図1は、第1実施形態におけるピッキングシステムの全体構成および複数のワークが置かれたパレット(容器)を示す図である。図1を用いて第1実施形態における三次元計測装置の通常の計測動作について説明を行う。
三次元計測装置100は、計測制御部110、投光部120、撮像装置130を含む。投光部120は、光源121とパターン光を生成するパターン光生成部122および投影光学系123を含む。光源121は、例えばLEDである。パターン光生成部122は、例えばDMD(デジタル・ミラー・デバイス)である。撮像装置130は、撮像素子131と撮像光学系132とを含む。撮像素子131は、例えばCMOSイメージセンサなどである。
三次元計測装置100の制御を行う計測制御部110は、処理装置200からの指令に従い、投光部120によりパレット400に対してパターン光を投光すると同時に、撮像装置130によりパレット400内(容器内)の領域の撮像を行う。処理装置200は、例えばPCである。なお、処理装置200が、計測制御部110の機能も行うようにしてもよい。パレット400の内部には、ピッキングシステムのピッキング対象であり、三次元計測装置100の計測対象であるワークが多数山積みされている。計測制御部110は、撮像装置130による撮像結果を処理装置200へ送信する。処理装置200は、撮像装置130の撮像した画像のデータを基にパレット400内のワークの認識および位置および姿勢の情報を取得し、ピッキングが可能な候補ワークを選定する。ピッキングが可能な候補ワークの情報は、処理装置200からロボット300へ送信され、ロボット300は、その情報を基に、ハンド310とアーム320を動かし、所定のワークのピッキングを行う。三次元計測装置の従来の計測動作においては、上記の工程をロボット300がワークをピッキングする都度に繰り返し行っていた。
次に、本発明によるピッキング作業の対象とする対象ワークの決定方法について説明を行う。図2の(a)から(c)は、ロボット300とパレット400を三次元計測装置100の設置位置から見た図である。図中、パレット400を点線により12のブロック(部分領域)に区分けしているが、このブロックの分けは撮像した画像上でのブロックの区分けと対応付けられるとする。
図2の(a)は、パレット400内の領域に積まれた多数のワーク410のうち、図面上で右端上段のブロック内のワークをピッキングする際のロボット300の姿勢を示している。ロボット300は、図中点線で示される退避位置350から実線の様に、アーム320とハンド310を動かして、図面上で右端上段のブロック内のワークをピッキングしようとする。この際には、図から分かる様に、三次元計測装置100の位置から見て、アーム320とハンド310は、図面上で右端上段のブロック以外のブロック内のワークを遮蔽してはいない。
図2の(b)は、図面上で右端中段のブロック内のワークをピッキングする際のロボット300の姿勢を示している。この際には、三次元計測装置100の位置から見て、アーム320とハンド310は、右端中段のブロック以外にも、右端上段のブロック内のワークを遮蔽している。よって、できるだけワークを隠さないようにブロックに対するピッキングの順序の優先度を設定するには、図面上で右端上段のブロックの優先度を右端中段のブロックの優先度よりも高く設定する必要がある。
図2の(c)は、図面上で左端上段のブロック内のワークをピッキングする際のロボット300の姿勢を示している。この際には、図から分かるように、図2の(a)と同じく、三次元計測装置100の位置から見て、アーム320とハンド310は、右端上段のブロック以外のブロック内のワークを遮蔽してはいない。ただし、ピッキングの対象ワークが位置するブロックが、図2の(a)と比べロボット300の退避位置350からの距離が遠い。そのため、アーム320とハンド310がピッキングの対象ワークの位置まで動く際にかかる時間と動線上に隠れるワークの数は、図2の(c)の方が(a)より多い。そこで、左端上段のブロックの優先度は、右端上段のブロックの優先度よりも低いと設定する。本発明は、これら図2の(a)から(c)で示したように、各ブロックのワークをピッキングする際のロボット300の姿勢を基にして、アーム320とハンド310とにより遮蔽される面積の大きさに基づいて、予め各ブロックの優先度を付与する。
本実施形態における優先度の付与の結果を図3に示す。なお、仮に本実施形態では、アーム320とハンド310は、パレット400に対して左右対称に動作し、図面上で右側のブロックの優先度は左側よりも高く、かつ右側と左側でブロックの優先度の設定を左右対称としている。図3の各ブロック内に記載された数字1〜12が、各ブロックの優先度を表している。この例では、図面上で右端上段のブロックの優先度が最も高く、次にその左隣のブロック、その次に右端中段のブロック、・・・という順序でパレット400の右側の6つのブロックの優先度1〜6を設定している。そして、パレット400の左側の6つのブロックについては、上左端上段のブロックの優先度を7とし、そこから右側のブロック群の優先度の設定と対称となるような順序で、優先度12まで設定している。
いま、図3に示すように、ピッキングが可能な候補ワーク411から候補ワーク416までの6つの候補ワークが存在するとする。この場合、6つの候補ワーク411〜416のピッキングの順序は、各候補ワークが位置するブロックに付与された優先度の高さに従って次の順序になる。なお、図3に示したブロックの優先度の順序はあくまで一例であり、これに限定されるものではない。
第1候補ワーク411→第2候補ワーク412→第3候補ワーク413→第6候補ワーク416→第5候補ワーク415→第4候補ワーク414
ここまで説明したブロックの優先度を付与する手順について、図4のフローチャートを用いて説明する。しかし、このブロックの優先度の付与は、ピッキングシステム外の装置を用いて行ってもよい。本実施形態では、ブロックの優先度の付与作業は、処理装置200が行うとする。ブロックの優先度の付与作業を開始すると、まずS11で、処理装置200は、撮像範囲内のパレット400内の領域を複数のブロックに分ける。図2の例では、パレット400内の領域を縦横均等に12の矩形形状のブロックに分けている。次に、S12で、処理装置200は、三次元計測装置100から見た、各ブロック内のワークをピッキングする際のロボット300の姿勢をそれぞれ求める。ロボット300の姿勢は、三次元計測装置100による実際の撮像によって求めてもよいし、三次元CADモデルなどを用いたシミュレーションによって求めてもよい。
S13で、処理装置200は、S12で求めたロボット300の姿勢を基に、他のブロック内のワークをできるだけ遮蔽しないブロックから優先度を高くするように付与していき、全てのブロックの優先度を付与する。このとき、ブロックの優先度を付与するための基準は、他のブロック内のワークをできるだけ遮蔽しないという基準以外にも、例えばワークの搬送先との距離など、その他の設定基準を含んでいてもよい。図4のように、三次元計測装置の設置時など計測の事前にブロックの優先度を付与しておくことで、ピッキング時には、速やかに、ロボットがその他の候補ワークをできるだけ遮蔽しないようにしながら候補ワークをピッキングすることが可能となる。
続いて、本実施形態における計測およびピッキングの手順について、図5のフロー図を用いて説明する。まず、S21で、三次元計測装置100は、通常の三次元計測を行う。この三次元計測は、例えば山積みされたワークに対しパターン光を投影し、これを撮像することで、ワークの三次元位置を計測するといった公知の技術によるものであり、詳細の説明は省略する。S22で、処理装置200は、S21で計測された山積みされたワークのうち、ピッキングが可能な候補ワークが複数存在するか否かを判定する。ここで、ピッキングが可能な候補ワークが1つだけと判定された場合には、S23へ進み、処理装置200は、該当の候補ワークをピッキングするようにロボット300へ指令する。そして、再びS21へ戻って三次元計測を行う。S22でピッキングが可能な候補ワークが複数あると判定された場合には、S24へと進む。処理装置200は、S24で、事前に設定されたブロック分けの情報から、優先度の高いブロック内にあるピッキングが可能なワークを次のピッキングの対象ワークとして決定する。そして、S25で、処理装置200は、該当の対象ワークをピッキングするようにロボット300へ指令する。
その後、ロボット300が決定された対象ワークのピッキング動作を行う。その際にS26でロボット300が対象ワークのピッキングを完了した後、かつ退避を完了する前に、撮像装置130がパレット400の再撮像を行う。この再撮像は、S27で、ロボット300のピッキング動作により、ピッキングした対象ワーク以外のピッキングが可能な候補ワークの位置に変化が生じたかを確認して、候補ワークが引き続きピッキング可能か否かを判定するためである。対象ワークのピッキング前のS21で撮像されたピッキングが可能な候補ワークのうち、ロボット300のピッキング動作中の位置変化が生じていなければ、S21で取得した三次元計測結果の情報をそのまま使用することができる。よって、S27のピッキングが可能な候補ワークが存在するかの判定は、ピッキング前の先の画像とピッキング後の画像との比較結果からピッキング前後における位置および姿勢の変化を求めることによって判定してもよい。またそれとは別に、ピッキングの撮像画像を用いて粗い位置計測を行って判定してもよい。
S27で、ピッキングの前後における位置および姿勢の変化が許容範囲内の候補ワークが存在していると判断された場合には、改めて三次元計測を行わなくても、元々の位置情報を基にピッキングが可能であるから、再びS24へ進む。そして、処理装置200は、それらワークのなかで優先度の高いブロック内にある候補ワークを次のピッキングの対象ワークとして決定する。一方、S27で、ピッキング可能な候補ワークが存在していないと判断されたら、最初にS21で計測された複数のピッキング可能な候補ワークを全てピッキングしたと考えられるから、再びS21の三次元計測を行うことになる。
続いて、第1実施形態における計測およびピッキングのタイムチャートを、図6に示す。まず、通常の三次元計測を行う際のタイムチャートについて説明を行う。本実施形態における三次元計測装置100は、パターン光を投影するのに同期して三次元計測用の撮像を行う。ここで、三次元計測用には複数種類のパターンを照射とそれに応じた複数枚の撮像画像が必要なのが一般的である。そのため、三次元計測用の撮像が完了するのには時間がかかる。本実施形態の例では、三次元計測用の撮像に要する時間を1.5sとする。次に、三次元計測装置100は、取得した撮像データを随時処理装置200へと転送する。そして、処理装置200は、撮像データを基に、ワークの三次元計測演算を行い、ワークの位置や姿勢を求める。処理装置200は、この情報をロボット300へ転送し、ロボット300はその情報を基に、ピッキング動作を行う。本実施形態の例では、三次元計測用の撮像が完了してから、ロボット300へワークの位置や姿勢の情報が送られるまでにかかる時間を1sとする。そして、ロボット300のピッキング動作にかかる時間を2.5sとする。なお、ピッキング動作としては、ロボット300の移動に1s、ピッキングに0.5s、退避に1sという内訳とする。
このように、通常の三次元計測を行い、その結果を基にロボット300がピッキング動作を完了するまでの時間としては、全部で5sかかるとする。通常は、この5sのタクトタイムで計測とピッキング動作を繰り返す。これに対して、本発明による三次元計測装置100では、ロボット300がピッキングを終えて、退避を完了する前に、ピッキングが可能かを判定するための画像の撮像を行う。このピッキングが可能かの判定には、例えばピッキング前後での画像の差分判定が出来ればよい。そのため、ピッキングが可能かを判定するための画像の撮像は、三次元計測用の撮像と比べ短時間に完了することができる。三次元計測装置100は、ピッキングが可能かを判定するための画像を処理装置200へと送信し、処理装置200はその画像を基にピッキングが可能な候補ワークが存在しているかを判定する。その結果、ピッキング可能なワークが存在していれば、処理装置200は、その情報をロボット300へ転送し、ロボット300は、その情報を基にピッキング動作を行う。この結果、毎回計測とピッキング動作を繰り返す場合に比べ、本発明による三次元計測装置100では、ピッキング可能かの判定用の撮像だけで済み、さらにブロックに対する優先度の付与によりロボット300の退避を待たなくてもよい。そのため、本発明においては、タクトタイムの短縮が可能となる。例えば、本実施形態の例では、2.2sとタクトタイムの大幅な短縮が可能である。
このように、第1実施形態によれば、優先度を付与してブロック分けを行うことで、計算コストを大きくせずに、アーム320がその他の候補ワークをできるだけ遮蔽しない候補ワークからピッキングすることが可能となる。またそれにより、アーム320がパレット400上から退避するのを待たずとも、ピッキングが可能な候補ワークが存在しているかを判断可能な三次元計測装置100を実現できる。
本実施形態では、パレット400内の領域は、矩形形状のブロック(部分領域)から成っている。しかし、パレット400内の領域は、図9に示されるように、例えば、退避位置にあるロボット300のハンド310からの距離が互いに異なる複数の帯状のブロック(部分領域)から成っていてもよい。また、本実施形態では、各ブロックが同じ面積となるようにパレット400内の領域が区分けされていたが、均等ではないように区分けされていてもよい。
〔第2実施形態〕
次に、本発明の第2実施形態について図7を用いて説明する。なお、第1実施形態と同じ構成の部分には、同符号を割り当てて説明を省略する。第2実施形態では、1つのブロックに候補ワークが複数存在する場合に、当該複数の候補ワークからピッキングの対象ワークを決定するためのワークを対象とする別の優先度を併せて使用する。
図7では、12番目の優先度が付与されたブロック内に、第4候補ワーク414と第7候補ワーク417と2つの候補ワークが存在している。このとき、ロボット300の退避位置350からみて第7候補ワーク417は第4候補ワーク414より奥に位置する。そのため、第7候補ワーク417から先にピッキングしようとすると、アーム320やハンド310が第4候補ワーク414を遮蔽してしまうことが分かる。よって、第2実施形態では、1つのブロック内に候補ワークが複数存在する場合には、退避位置または搬送先に位置するロボット300の把持部と各候補ワークとの間の距離を求め、その距離が小さいものをピッキングの対象ワークとして決定する。
図7の例では、図中太い矢印で表わしている、ロボット300の退避位置350におけるロボット300の把持部先端から、第4候補ワーク414および第7候補ワーク417の把持される部位までの距離を計算する。この結果、第7候補ワーク417よりも第4候補ワーク414の方が距離の値が小さいので、第4候補ワーク414の優先度がより高く設定される。
この距離による優先度設定の結果は、1つのブロック内に複数の候補ワークが存在する場合の複数の候補ワーク間のピッキングの順序の決定に用いられる。ブロックが異なる複数の候補ワーク間の優先度は、第1実施形態の例のように各候補ワークが位置するブロックに付された優先度に従う。よって、図7の例では、各候補ワークのピッキングの順序は、次のようになる。
第1候補ワーク411→第2候補ワーク412→第3候補ワーク413→第6候補ワーク416→第5候補ワーク415→第4候補ワーク414→第7候補ワーク417
続いて図8を用いて、本実施形態における計測およびピッキングのフローを説明する。図8のフローと第1実施形態における図5のフローとの違いは、S24で優先度が高いブロック内の候補ワークを選択した後に、S28で該ブロック内に候補ワークが複数存在するか否かを判定する点である。このとき、同じブロック内に候補ワークが複数存在しないと判定された場合には、第1実施形態と同じく、S25へ進み、処理装置200は、該当の候補ワークをピッキングするようにロボット300へ指令する。
一方、該ブロック内に候補ワークが複数存在すると判定された場合には、S29へと進み、処理装置200は、各候補ワークとロボット300との間の距離を計算し、それらの中でも最も距離が小さい候補ワークを次のピッキングの対象ワークとして決定する。そしてS25へと進み、その後のフローは第1実施形態と同じとなる。
第2実施形態によれば、1つのブロック内に候補ワークが複数存在する場合でも、候補ワークとロボット300との距離を計算して、アーム320がその他の候補ワークを遮蔽しないような候補ワークからピッキングしうる。またそれにより、アーム320がパレット400上から退避するのを待たずとも、ピッキングが可能な候補ワークが存在しているかを判断可能な三次元計測装置100を実現できる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。本発明は、上記実施形態にとらわれず、その要旨の範囲内で種々の変形および変更が可能である。
100:三次元計測装置。130:撮像装置。200:処理装置。300:ロボット。400:パレット(容器)。410:ワーク。411〜418:候補ワーク。500:搬送先。

Claims (10)

  1. 撮像装置により撮像された、複数のワークが置かれた容器内の領域の画像を用いて、前記複数のワークの中からロボットによりピッキングを行うワークを決定する処理装置であって、
    前記領域は、複数の部分領域から成り、前記複数の部分領域のそれぞれには、ある部分領域に位置するワークを前記ロボットがピッキングするときに前記ロボットが他の部分領域を前記撮像装置に対して遮蔽する面積に基づくピッキングの順序の優先度が付与されており、
    前記処理装置は、
    前記画像に基づいて前記ワークの位置および姿勢の情報を取得し、
    前記情報に基づいて前記複数のワークのうちでピッキングが可能な候補ワークを選定し、
    前記候補ワークが複数存在する場合に、該複数の候補ワークのそれぞれが位置する部分領域の中で高い前記優先度が付与された部分領域に位置する候補ワークをピッキングの対象ワークとして決定し、
    前記対象ワークのピッキング後に前記撮像装置により再撮像された前記領域の画像と前記対象ワークのピッキング前に前記撮像装置により撮像された先の画像との比較結果に基づいて、ピッキングの前後における位置および姿勢の変化が許容範囲内の候補ワークを、次にピッキングが可能な候補ワークとして選定し、
    前記次にピッキングが可能な候補ワークが複数存在する場合に、該複数の候補ワークのそれぞれが位置する部分領域の中で高い前記優先度が付与された部分領域に位置する候補ワークを、次のピッキングの対象ワークとして決定することを特徴とする処理装置。
  2. 前記優先度は、前記撮像装置が前記先の画像を撮像する前に、前記処理装置により付与されることを特徴とする請求項1に記載の処理装置。
  3. 前記処理装置は、1つの部分領域に複数の候補ワークが存在する場合に、該複数の候補ワークのそれぞれとピッキングを行う前の前記ロボットの把持部との間の距離に基づいて、前記対象ワークを決定することを特徴とする請求項1または2に記載の処理装置。
  4. 前記距離は、前記複数の候補ワークのそれぞれの把持される部位と、退避位置または搬送先に位置する前記ロボットの前記把持部との間の距離であることを特徴とする請求項3に記載の処理装置。
  5. 前記処理装置は、前記候補ワークが1つ存在する場合に、該候補ワークを前記対象ワークとして決定することを特徴とする請求項1ないし4のいずれか1項に記載の処理装置。
  6. 前記領域は、複数の矩形形状の部分領域から成ることを特徴とする請求項1ないし5のいずれか1項に記載の処理装置。
  7. 前記領域は、前記ロボットのアームからの距離が互いに異なる複数の帯状の部分領域から成ることを特徴とする請求項1ないし5のいずれか1項に記載の処理装置。
  8. 撮像装置により撮像された、複数のワークが置かれた容器内の領域の画像を用いて、前記複数のワークの中からロボットによりピッキングを行うワークを決定する方法であって、
    前記領域を構成する複数の部分領域のそれぞれに対して、ある部分領域に位置するワークを前記ロボットがピッキングするときに前記ロボットが他の部分領域を前記撮像装置に対して遮蔽する面積に基づいて、ピッキングの順序の優先度を付与する工程と、
    前記画像に基づいて前記ワークの位置および姿勢の情報を取得する工程と、
    前記情報に基づいて前記複数のワークのうちでピッキングが可能な候補ワークを選定する工程と、
    前記候補ワークが複数存在する場合に、該複数の候補ワークのそれぞれが位置する部分領域の中で高い前記優先度が付与された部分領域に位置する候補ワークを、ピッキングの対象ワークとして決定する工程と、
    前記対象ワークのピッキング後に前記撮像装置により再撮像された前記領域の画像と前記対象ワークのピッキング前に前記撮像装置により撮像された先の画像との比較結果に基づいて、ピッキングの前後における位置および姿勢の変化が許容範囲内の候補ワークを、次にピッキングが可能な候補ワークとして選定する工程と、
    前記次にピッキングが可能な候補ワークが複数存在する場合に、該複数の候補ワークのそれぞれが位置する部分領域の中で高い前記優先度が付与された部分領域に位置する候補ワークを、次のピッキングの対象ワークとして決定する工程と、
    を含むことを特徴とする方法。
  9. 請求項8に記載の方法をコンピュータに実行させるためのプログラム。
  10. 複数のワークが置かれた容器からワークをピッキングして搬送先まで搬送するピッキングシステムであって、
    前記容器内の領域を撮像する撮像装置と、
    請求項1ないし7のいずれか1項に記載の処理装置と、
    前記ワークをピッキングし前記搬送先まで搬送するロボットと、
    を備え、
    前記容器内の領域は、複数の部分領域から成り、前記複数の部分領域のそれぞれには、ある部分領域に位置するワークを前記ロボットがピッキングするときに前記ロボットが他の部分領域を前記撮像装置に対して遮蔽する面積に基づくピッキングの順序の優先度が付与されていることを特徴とするピッキングシステム。
JP2015166183A 2015-08-25 2015-08-25 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム Pending JP2017042859A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015166183A JP2017042859A (ja) 2015-08-25 2015-08-25 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
US15/228,186 US10040199B2 (en) 2015-08-25 2016-08-04 Apparatus and method for determining work to be picked

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015166183A JP2017042859A (ja) 2015-08-25 2015-08-25 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2017042859A true JP2017042859A (ja) 2017-03-02

Family

ID=58097557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015166183A Pending JP2017042859A (ja) 2015-08-25 2015-08-25 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US10040199B2 (ja)
JP (1) JP2017042859A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053888A1 (ja) * 2017-09-15 2019-03-21 株式会社Fuji 部品供給システム
CN109896094A (zh) * 2017-12-11 2019-06-18 株式会社大福 物品输送设备
JP2020146823A (ja) * 2019-03-15 2020-09-17 株式会社デンソーウェーブ ロボットの部品ピッキングシステム
KR20210014033A (ko) * 2019-07-29 2021-02-08 한국기계연구원 작업대상물의 피킹 및 플레이스 방법
JP2021020266A (ja) * 2019-07-26 2021-02-18 オムロン株式会社 ロボットの動作を決定する装置、方法およびプログラム
JPWO2021053750A1 (ja) * 2019-09-18 2021-03-25
JP2021088011A (ja) * 2019-12-02 2021-06-10 Arithmer株式会社 ピッキングシステム、ピッキング方法、及びプログラム
WO2021149429A1 (ja) * 2020-01-23 2021-07-29 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
KR102307047B1 (ko) * 2020-07-03 2021-10-01 주식회사 두산 로봇의 피킹 우선 순위 선정 장치 및 방법
WO2022013935A1 (ja) * 2020-07-14 2022-01-20 株式会社Fuji ロボットシステム
WO2022054505A1 (ja) 2020-09-09 2022-03-17 オムロン株式会社 ロボットシステム及びピッキング方法
JP2022066882A (ja) * 2020-10-19 2022-05-02 カワダロボティクス株式会社 ピック・アンド・プレース計画策定方法およびピック・アンド・プレースシステム
US11390469B2 (en) 2018-03-20 2022-07-19 Fanuc Corporation Article takeout apparatus and article takeout method using sensor and robot
WO2023013056A1 (ja) * 2021-08-06 2023-02-09 株式会社Fuji ワーク採取方法およびワーク採取システム
JP7454132B2 (ja) 2020-01-23 2024-03-22 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360531B1 (en) * 2016-12-19 2019-07-23 Amazon Technologies, Inc. Robot implemented item manipulation
JP6773588B2 (ja) 2017-03-10 2020-10-21 株式会社東芝 搬送装置
CN110494259B (zh) 2017-04-04 2020-11-10 牧今科技 控制装置、拾取***、物流***、程序、控制方法以及生产方法
CN115385039A (zh) 2017-04-04 2022-11-25 牧今科技 控制装置、信息处理装置、控制方法以及信息处理方法
DE112017007394B4 (de) 2017-04-04 2020-12-03 Mujin, Inc. Informationsverarbeitungsvorrichtung, Greifsystem, Verteilersystem, Programm und Informationsverarbeitungsverfahren
DE112017007398B4 (de) * 2017-04-04 2021-11-18 Mujin, Inc. Steuervorrichtung, Greifsystem, Verteilersystem, Programm und Steuerverfahren
DE112017007392B4 (de) * 2017-04-04 2021-11-04 Mujin, Inc. Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
US10933533B2 (en) * 2017-06-23 2021-03-02 Kindred Systems Inc. Systems, devices, articles, and methods for stow verification
US11117262B2 (en) 2017-08-01 2021-09-14 eBots Inc. Intelligent robots
US10933526B2 (en) * 2018-04-23 2021-03-02 General Electric Company Method and robotic system for manipulating instruments
US11584016B2 (en) * 2018-04-24 2023-02-21 Fanuc Corporation Robot controller and system
JP7233858B2 (ja) * 2018-06-13 2023-03-07 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
CN109807903B (zh) * 2019-04-10 2021-04-02 博众精工科技股份有限公司 一种机器人控制方法、装置、设备和介质
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP5201411B2 (ja) 2008-11-21 2013-06-05 株式会社Ihi バラ積みピッキング装置とその制御方法
JP5382621B2 (ja) * 2010-06-03 2014-01-08 株式会社安川電機 移載装置
JP4938115B2 (ja) * 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5582126B2 (ja) * 2011-10-13 2014-09-03 株式会社安川電機 ワーク取出システム、ロボット装置および被加工物の製造方法
JP5911299B2 (ja) * 2011-12-27 2016-04-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053888A1 (ja) * 2017-09-15 2019-03-21 株式会社Fuji 部品供給システム
JPWO2019053888A1 (ja) * 2017-09-15 2019-12-19 株式会社Fuji 部品供給システム
CN109896094A (zh) * 2017-12-11 2019-06-18 株式会社大福 物品输送设备
CN109896094B (zh) * 2017-12-11 2022-04-15 株式会社大福 物品输送设备
US11390469B2 (en) 2018-03-20 2022-07-19 Fanuc Corporation Article takeout apparatus and article takeout method using sensor and robot
JP2020146823A (ja) * 2019-03-15 2020-09-17 株式会社デンソーウェーブ ロボットの部品ピッキングシステム
JP7275688B2 (ja) 2019-03-15 2023-05-18 株式会社デンソーウェーブ ロボットの部品ピッキングシステム
JP2021020266A (ja) * 2019-07-26 2021-02-18 オムロン株式会社 ロボットの動作を決定する装置、方法およびプログラム
JP7331527B2 (ja) 2019-07-26 2023-08-23 オムロン株式会社 ロボットの動作を決定する装置、方法およびプログラム
KR102267514B1 (ko) * 2019-07-29 2021-06-21 한국기계연구원 작업대상물의 피킹 및 플레이스 방법
KR20210014033A (ko) * 2019-07-29 2021-02-08 한국기계연구원 작업대상물의 피킹 및 플레이스 방법
JP7163506B2 (ja) 2019-09-18 2022-10-31 株式会社Fuji 作業ロボットおよび作業システム
CN114286740B (zh) * 2019-09-18 2024-02-27 株式会社富士 作业机器人以及作业***
CN114286740A (zh) * 2019-09-18 2022-04-05 株式会社富士 作业机器人以及作业***
WO2021053750A1 (ja) * 2019-09-18 2021-03-25 株式会社Fuji 作業ロボットおよび作業システム
JPWO2021053750A1 (ja) * 2019-09-18 2021-03-25
WO2021111929A1 (ja) * 2019-12-02 2021-06-10 Arithmer株式会社 ピッキングシステム、ピッキング方法、及びプログラム
JP2021088011A (ja) * 2019-12-02 2021-06-10 Arithmer株式会社 ピッキングシステム、ピッキング方法、及びプログラム
WO2021149429A1 (ja) * 2020-01-23 2021-07-29 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP7454132B2 (ja) 2020-01-23 2024-03-22 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
KR102307047B1 (ko) * 2020-07-03 2021-10-01 주식회사 두산 로봇의 피킹 우선 순위 선정 장치 및 방법
JP7440635B2 (ja) 2020-07-14 2024-02-28 株式会社Fuji ロボットシステム
WO2022013935A1 (ja) * 2020-07-14 2022-01-20 株式会社Fuji ロボットシステム
WO2022054505A1 (ja) 2020-09-09 2022-03-17 オムロン株式会社 ロボットシステム及びピッキング方法
JP7062041B1 (ja) 2020-10-19 2022-05-02 カワダロボティクス株式会社 ピック・アンド・プレース計画策定方法およびピック・アンド・プレースシステム
JP2022066882A (ja) * 2020-10-19 2022-05-02 カワダロボティクス株式会社 ピック・アンド・プレース計画策定方法およびピック・アンド・プレースシステム
WO2023013056A1 (ja) * 2021-08-06 2023-02-09 株式会社Fuji ワーク採取方法およびワーク採取システム

Also Published As

Publication number Publication date
US20170057092A1 (en) 2017-03-02
US10040199B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
JP2017042859A (ja) ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
CN110348279B (zh) 物体识别处理装置和方法、以及物体拣选装置和方法
JP5911299B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
US7966094B2 (en) Workpiece picking apparatus
JP5767464B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN111683798B (zh) 工件拾取装置以及工件拾取方法
KR20180120647A (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
JP5911934B2 (ja) 輪郭線計測装置およびロボットシステム
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
US10286557B2 (en) Workpiece position/posture calculation system and handling system
US9916512B2 (en) Information processing apparatus, processing system, object moving system, and object moving method
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
WO2020022302A1 (ja) 把持装置
US20210283782A1 (en) Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
US20190287258A1 (en) Control Apparatus, Robot System, And Method Of Detecting Object
US11126844B2 (en) Control apparatus, robot system, and method of detecting object
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP2011093058A (ja) 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
EP4094904B1 (en) Robot system control device, robot system control method, computer control program, and robot system
JP2020040143A (ja) マニピュレータおよび移動ロボット
CN112775961A (zh) 控制装置、控制装置的控制方法以及控制***
US11698434B2 (en) Machine control device
JP7450857B2 (ja) 計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム
JP2017064844A (ja) プログラム自動生成装置
JP2021133458A (ja) 3次元計測装置および3次元計測システム