JPH07319525A - High-speed picking device for piled parts - Google Patents
High-speed picking device for piled partsInfo
- Publication number
- JPH07319525A JPH07319525A JP13659394A JP13659394A JPH07319525A JP H07319525 A JPH07319525 A JP H07319525A JP 13659394 A JP13659394 A JP 13659394A JP 13659394 A JP13659394 A JP 13659394A JP H07319525 A JPH07319525 A JP H07319525A
- Authority
- JP
- Japan
- Prior art keywords
- collation
- specific
- matching
- parts
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
- Control Of Conveyors (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ロボットによりトレー
内に収容された山積み部品の中から一つずつ部品を把持
することができる高速ピッキング装置に関する。特に、
部品の握持部分を高速で認識することが可能な装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-speed picking device capable of gripping a stack of parts stored in a tray by a robot one by one. In particular,
The present invention relates to a device capable of recognizing a gripped part of a component at high speed.
【０００２】[0002]
【従来技術】従来、複数の部品の中から部品を一つずつ
ピッキングする手段として、画像入力用カメラにて取り
込まれた映像信号から濃淡画像データを生成し、微分し
たエッジ画像データの稜線を追跡して輪郭線を抽出し線
分画像を得る。この線分画像と把持する部品形状に対応
した照合モデルとのパターンマッチングを行い、最上部
に位置する部品を認識してピックアップする方法が知ら
れている。2. Description of the Related Art Conventionally, as a means for picking one part from a plurality of parts one by one, grayscale image data is generated from a video signal captured by an image input camera, and a ridge line of differentiated edge image data is traced. Then, the contour line is extracted to obtain a line segment image. A method is known in which pattern matching is performed between the line segment image and a matching model corresponding to the shape of the gripped component, and the component located at the top is recognized and picked up.
【０００３】[0003]
【発明が解決しようとする課題】ところで、一般的な工
業製品における部品などは、通常、トレーなどに山積み
状態にて供給される。すると、それら部品は互いに重な
り合い、それぞれ傾きが激しい状態にて存在することに
なる。このような、山積みの最上部に位置する部品が傾
きがない場合の照合モデルとほぼ一致するということは
極めて稀であり、山積み部品から一つの部品を認識しピ
ッキングすることは不可能に近いという問題があった。By the way, parts and the like in general industrial products are usually supplied in a pile in a tray or the like. Then, these parts overlap each other and exist in a state in which each part has a sharp inclination. It is extremely rare that the parts located at the top of the pile match the matching model when there is no inclination, and it is almost impossible to recognize and pick one part from the pile parts. There was a problem.
【０００４】又、この問題を解決するために、特開平５
−１２７７２２号公報に記載されたように、ワークの握
持可能な単純形状から成る複数の特定部位に対応した複
数の照合モデルを記憶しておき、２次元画像の中におい
て、１つの照合モデルと照合する部位を検出し、その部
位を握持するようにした装置が知られている。この装置
は、１つのワークに対して形状簡単な複数の照合モデル
を設けることで、部位の認識を容易にしたものである。Further, in order to solve this problem, Japanese Patent Laid-Open No.
As described in JP-A-127722, a plurality of collation models corresponding to a plurality of specific parts having a simple shape capable of gripping a work are stored, and one collation model is stored in a two-dimensional image. There is known a device that detects a part to be collated and holds the part. This device facilitates recognition of a part by providing a plurality of collation models with simple shapes for one work.
【０００５】しかしながら、上記の装置は複数の照合モ
デルの照合準位が予め決定された準位であるために、２
次元画像の中から照合可能な照合モデルを検出するに
は、時間が掛かった。又、上記のように照合準位が固定
されていると、照合準位が先の照合モデルが検出された
ワークだけが先に握持されていくので、ワークのピッキ
ングが進行して行くに連れて、照合準位が高い照合モデ
ルが検出されずに、照合準位の低い照合モデルが検出さ
れるワークだけが残る。However, in the above apparatus, since the matching levels of the plurality of matching models are predetermined levels, the
It took time to detect a collation model that can be collated from a three-dimensional image. Further, if the collation level is fixed as described above, only the workpiece for which the collation model with the earlier collation level is detected is gripped first, so as the picking of the workpiece progresses. As a result, a collation model with a high collation level is not detected, but only a work in which a collation model with a low collation level is detected remains.
【０００６】従って、それらのワークに対しても、固定
順序で照合モデルの照合が実行されるので、照合準位の
高い照合モデルに対する照合判定の演算が無駄に実行さ
れ、特定の部位を認識するまでに時間がかかるという問
題がある。Therefore, since the collation models are collated in a fixed order even for those works, the computation of the collation determination for the collation model having a high collation level is unnecessarily executed, and the specific part is recognized. There is a problem that it takes time until.
【０００７】本発明は、上記の課題を解決するために成
されたものであり、その目的とするところは、山積み部
品の中から、ロボットのハンドにより把持可能な部品の
単純形状から成る特定部位を高速に認識することであ
る。The present invention has been made in order to solve the above-mentioned problems, and an object of the present invention is to select a specific portion consisting of a simple shape of a part that can be gripped by a robot hand from a pile of parts. Is to recognize at high speed.
【０００８】[0008]
【課題を解決するための手段】上記課題を解決するため
の発明の構成は、図６にその概念を示したように、２次
元画像から山積み部品の輪郭線を求め、その輪郭線から
輪郭線を構成する複数の構成線分を抽出し、その構成線
分から前記部品を認識してロボットのハンドにより把持
させる高速ピッキング装置において、前記２次元画像に
おいて前記部品の把持可能な単純形状から成る複数の特
定部位を認識するための該複数の特定部位に対応した複
数のモデルであって、前記複数の特定部位がそれぞれ基
準姿勢をとるときの形状を特定するデータにより予め設
定される複数の照合モデルを記憶する照合モデル記憶手
段と、前記複数の特定部位に対応して該複数の特定部位
をそれぞれ把持し得る複数のハンドの情報を記憶したハ
ンド情報記憶手段と、前記２次元画像と、可変的に決定
される優先準位に従って前記照合モデル記憶手段に記憶
されている前記複数の照合モデルを、順次、照合させ
て、１つの照合モデルが前記２次元画像に存在すると判
定された場合に、照合演算を終了して、照合により認識
された１つの部分を前記複数の特定部位のうちの１つと
して検出する特定部位検出手段と、前記各照合モデル毎
に、前記特定部位検出手段により認識された回数を記憶
し、その回数の多い順に前記優先準位を決定する照合優
先準位決定手段と、検出された前記特定部位の位置を決
定する位置決定手段と、決定された前記位置の前記特定
部位に対応する前記複数のハンドのうちの１つを選択す
ると共に位置決めして前記特定部位をピックアップさせ
る指令手段とを備えたことを特徴とする。The constitution of the invention for solving the above-mentioned problems is, as the concept is shown in FIG. 6, obtaining a contour line of a piled-up component from a two-dimensional image, and calculating the contour line from the contour line. In a high-speed picking device that extracts a plurality of constituent line segments that make up the component, recognizes the part from the constituent line segments, and grips the part with a robot hand, a plurality of simple shapes that can hold the part in the two-dimensional image are formed. A plurality of models corresponding to the plurality of specific parts for recognizing the specific part, wherein a plurality of matching models preset by data specifying a shape when each of the plurality of specific parts has a reference posture is selected. Collation model storage means for storing, and hand information storage means for storing information of a plurality of hands capable of gripping the plurality of specific parts corresponding to the plurality of specific parts. , The two-dimensional image and the plurality of collation models stored in the collation model storage means in accordance with a variably determined priority level are sequentially collated, and one collation model is converted into the two-dimensional image. When it is determined that there is, a specific part detection unit that ends the matching calculation and detects one part recognized by the matching as one of the plurality of specific parts; and for each of the matching models, The number of times recognized by the specific part detection means is stored, collation priority level determination means for determining the priority level in the order of the number of times, and position determination means for determining the position of the detected specific part, Commanding means for selecting and positioning one of the plurality of hands corresponding to the specific portion at the determined position and picking up the specific portion. .
【０００９】[0009]
【作用】照合モデル記憶手段には２次元画像において部
品の把持可能な単純形状から成る複数の特定部位を認識
するためのそれら特定部位に対応した複数のモデルであ
って、上記複数の特定部位がそれぞれ基準姿勢をとると
きの形状を特定するデータにより予め設定された複数の
照合モデルが記憶されている。又、ハンド情報記憶手段
には上記複数の特定部位に対応してそれら複数の特定部
位をそれぞれ把持し得る複数のハンドの情報が記憶され
ている。In the collation model storage means, a plurality of models corresponding to the specific parts for recognizing a plurality of specific parts having a simple shape that can hold a part in a two-dimensional image are provided. A plurality of collation models preset by the data specifying the shape when the reference posture is taken are stored. In addition, the hand information storage means stores information on a plurality of hands that can grip the plurality of specific parts, corresponding to the plurality of specific parts.
【００１０】特定部位検出手段により、２次元画像は、
可変的に決定される優先準位に従って複数の照合モデル
と、順次、照合される。そして、１つの照合モデルが２
次元画像に存在すると判定された場合に、照合演算は終
了し、照合により認識された１つの部分は複数の特定部
位のうちの１つとして検出される。次に、位置決定手段
により検出された上記特定部位の位置が決定される。こ
の後、指令手段により上記位置決定手段にて決定された
位置に上記ハンド情報記憶手段に記憶された複数のハン
ドの情報のうちの１つからハンドを選択し位置決めして
上記特定部位をピックアップさせる指令がロボット側に
出力される。By the specific part detecting means, the two-dimensional image is
A plurality of collation models are sequentially collated according to the priority levels variably determined. And one matching model is 2
When it is determined that the three-dimensional image exists, the matching calculation ends, and one part recognized by the matching is detected as one of the plurality of specific parts. Next, the position of the specific portion detected by the position determining means is determined. Then, the hand is selected from one of the information of the plurality of hands stored in the hand information storage means and positioned at the position determined by the position determination means by the command means to pick up the specific portion. The command is output to the robot side.
【００１１】[0011]
【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明に係る山積み部品の高速ピッキン
グ装置を示した全体構成図であり、図２は同実施例装置
の主要部の構成を示したブロックダイヤグラムである。
高速ピッキング装置１００は主として、画像入力用カメ
ラ１０と物体認識装置２０とフィンガが先端に配設され
山積み部品の中から一つの部品（以下、ワークともい
う）Ｗを把持するためのハンド４０を有するピッキング
用ロボット３０と交換用ハンド４１，４２，４３とから
成る。尚、各ハンドはワークＷの特定部位に対応し適宜
ピッキング用ロボット３０に装着される。例えば、図の
ピッキング用ロボット３０に装着されたハンド４０はワ
ークＷの単純形状から成る特定部位として丸穴の内径な
ど、交換用ハンド４１はワークＷの外形など、交換用ハ
ンド４２はワークＷの穴に挿入して裏側からの引っ掛け
など、又、交換用ハンド４３はワークＷの平面部に吸着
などによりそれぞれワークＷを把持可能である。そし
て、作業台の上には山積み状態でワークＷが収容された
トレーＴが載置されている。EXAMPLES The present invention will be described below based on specific examples. FIG. 1 is an overall configuration diagram showing a high-speed picking device for piled parts according to the present invention, and FIG. 2 is a block diagram showing a configuration of a main part of the device of the same embodiment.
The high-speed picking device 100 mainly has an image input camera 10, an object recognizing device 20, and a hand 40 for gripping one component (hereinafter, also referred to as a work) W from among piled components with a finger arranged at the tip. It comprises a picking robot 30 and replacement hands 41, 42, 43. Each hand corresponds to a specific part of the work W and is appropriately mounted on the picking robot 30. For example, the hand 40 attached to the picking robot 30 shown in the drawing is the inner diameter of a round hole as a specific portion having a simple shape of the work W, the replacement hand 41 is the outer shape of the work W, and the replacement hand 42 is the work W. The work W can be held by being inserted into the hole and hooked from the back side, or the replacement hand 43 can be sucked onto the flat surface of the work W, for example. Then, on the workbench, there are placed trays T that accommodate the works W in a piled state.
【００１２】図２において、トレーＴ内には山積み状態
でワークＷが収容されており、そのトレーＴの上部から
ワークＷを撮像する画像入力用カメラ１０が設けられて
いる。又、トレーＴの中央上部からワークＷを一様に照
明する照明装置Ｌが設けられている。物体認識装置２０
は、照合、判定等のデータ処理を行う中央処理装置２１
と、画像入力用カメラ１０により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エッジ画像を求めるなど
のデータ処理を行う画像処理装置２２と、照合モデルに
関するデータや検出物体に関するデータを記憶する記憶
装置２３と、照明制御回路２４とで構成されている。In FIG. 2, the trays T accommodate the workpieces W in a piled state, and an image input camera 10 for picking up images of the workpieces W from the upper portion of the tray T is provided. Further, an illuminating device L for uniformly illuminating the work W from the upper center of the tray T is provided. Object recognition device 20
Is a central processing unit 21 that performs data processing such as collation and determination.
And data for processing the video signal obtained by the image input camera 10 to detect the contour line of the detected object, extracting the constituent line segments forming the contour line, and obtaining a composite edge image. An image processing device 22 that performs processing, a storage device 23 that stores data regarding a matching model and data regarding a detected object, and an illumination control circuit 24.
【００１３】更に、画像処理装置２２は、画像入力用カ
メラ１０の出力する映像信号をサンプリングして、濃淡
レベルをディジタル化した濃淡画像データを生成する画
像入力装置２２１と、その濃淡画像データから微分演算
により明度勾配を求め、物体画像のエッジを表すエッジ
画像データを生成するエッジ検出装置２２２と、そのエ
ッジ画像データから輪郭線を追跡し、その輪郭線を構成
する構成線分を抽出し、その構成線分の位置に関するデ
ータを生成する線分抽出装置２２３とで構成されてい
る。Further, the image processing device 22 samples the video signal output from the image input camera 10 to generate grayscale image data in which the grayscale level is digitized, and differentiates from the grayscale image data. An edge detecting device 222 that obtains edge gradient image data representing an edge of an object image by calculating a lightness gradient, a contour line is traced from the edge image data, and a constituent line segment that constitutes the contour line is extracted. The line segment extracting device 223 generates data on the positions of the constituent line segments.
【００１４】又、記憶装置２３はＲＡＭ等で構成されて
おり、ワークＷの複数の特定部位が基準姿勢をとるとき
の形状を特定するデータにより予め設定される複数の照
合モデルを記憶し、照合モデル記憶手段を達成する照合
モデルメモリ領域２３１と、複数の特定部位をそれぞれ
把持し得る複数のハンドの情報を記憶し、ハンド情報記
憶手段を達成するハンド情報メモリ領域２３２と、トレ
ーＴ内の山積みの多数のワークＷに対応する線分画像が
照合された結果を記憶する認識結果メモリ領域２３３、
照合モデルの照合準位を記憶する照合準位メモリ領域２
３４などから成る。Further, the storage device 23 is composed of a RAM or the like, and stores a plurality of collation models preset by data for identifying the shapes when a plurality of specific parts of the work W assume the reference posture, and collates them. A collation model memory area 231 that achieves a model storage means, a hand information memory area 232 that stores information about a plurality of hands that can each hold a plurality of specific parts, and achieves a hand information storage means, and a stack in the tray T. Recognition result memory area 233 for storing the result of matching of line segment images corresponding to a large number of workpieces W,
Collation level memory area 2 for storing the collation level of the collation model
It consists of 34 etc.
【００１５】次に、画像入力用カメラ１０により山積み
状態の多数のワークＷの映像信号を入力して構成線分抽
出後、雑多な構成線分群の中から複数の特定部位とし
て、次の５つの照合モデルを設けることができる。例え
ば、図４の状態３の傾斜状態で示されるピンがワークＷ
である。この形状のワークにおいて、図４に示すよう
に、No. １〜No. ５までの単純形状の照合モデルが準備
される。この照合モデルはワークの握持可能な部分で且
つ照合が簡単な形状をしたものである。Next, after inputting the video signals of a large number of workpieces W in the piled state by the image input camera 10 and extracting the constituent line segments, the following five parts are selected as a plurality of specific portions from the various constituent line segment groups. A matching model can be provided. For example, the pin shown in the inclined state of state 3 in FIG.
Is. In the work of this shape, as shown in FIG. 4, collation models of simple shapes No. 1 to No. 5 are prepared. This collation model is a grippable part of the work and has a shape that is easy to collate.
【００１６】No. １、No. ２、No. ５、No. ６の照合モ
デルは、“平行で長さの等しい線分”とするモデルであ
り、No. ３とNo. ４は丸孔で“円”とするモデルであ
る。No. 1, No. 2, No. 5, and No. 6 collation models are "parallel and equal-length line segments", and No. 3 and No. 4 are round holes. It is a model of "yen".
【００１７】次に、物体認識装置２０の処理手順を示し
た図３のフローチャートに基づいて本装置の作用を説明
する。照明制御回路２４により照明装置Ｌが点燈され、
画像入力用カメラ１０で得られた映像信号が画像入力装
置２２１に入力される。そして、画像入力装置２２１で
は、映像信号をサンプリングしてディジタル信号に変換
して濃淡画像が生成される。その濃淡画像データはエッ
ジ検出装置２２２に入力し、微分されてエッジ画像が生
成される。そのエッジ画像データは線分抽出装置２２３
に入力し、稜線を追跡することで物体の輪郭線が抽出さ
れる。更に、その輪郭線は折線や円などで近似され線分
画像が得られる。Next, the operation of the present apparatus will be described based on the flowchart of FIG. 3 showing the processing procedure of the object recognition apparatus 20. The lighting device L is lit by the lighting control circuit 24,
The video signal obtained by the image input camera 10 is input to the image input device 221. Then, in the image input device 221, the video signal is sampled and converted into a digital signal to generate a grayscale image. The grayscale image data is input to the edge detection device 222 and differentiated to generate an edge image. The edge image data is the line segment extraction device 223.
Then, the contour line of the object is extracted by tracing the edge line. Further, the contour line is approximated by a polygonal line or a circle to obtain a line segment image.
【００１８】そして、ステップ１００において、中央処
理装置１は画像処理装置２２にて得られた線分画像を入
力する。次にステップ１０２に移行して、優先準位変数
ｉが１の初期値に設定される。次に、優先準位ｉの照合
モデル番号ｋを優先準位メモリ領域２３４に記憶されて
いる優先準位テーブルから決定する。この優先準位テー
ブルは、図５に示すように、優先準位ｉ、照合モデルN
o. ｋ、照合成功回数ｎとで構成されている。この優先
準位テーブルはワークを山積みした１つのパレットのピ
ッキングが終了する毎に、優先準位１〜５は、照合モデ
ルNo. １〜No. ５に順次割り当てられ、照合成功回数ｎ
は０に初期設定される。Then, in step 100, the central processing unit 1 inputs the line segment image obtained by the image processing unit 22. Next, the routine proceeds to step 102, where the priority level variable i is set to an initial value of 1. Next, the collation model number k of the priority level i is determined from the priority level table stored in the priority level memory area 234. This priority level table, as shown in FIG. 5, has priority level i and collation model N.
o, k, and the number of successful collations n. In this priority level table, the priority levels 1 to 5 are sequentially assigned to the verification models No. 1 to No. 5 each time picking of one pallet with a pile of works is completed, and the number of successful verifications n
Is initialized to 0.
【００１９】次に、ステップ１０４において、優先準位
テーブルがサーチされ、優先準位変数ｉに対応した照合
モデルNo. ｋが決定される。次に、ステップ１０６にお
いて、入力された線分画像から一続きの線分群が抽出さ
れ、照合モデルNo. ｋによる探索が実行される。次に、
ステップ１０８において、ステップ１０６の照合モデル
No. ｋと照合される部分を有する該当ワークが見つかっ
たか否かが判定される。Next, in step 104, the priority level table is searched to determine the matching model No. k corresponding to the priority level variable i. Next, in step 106, a series of line segment groups is extracted from the input line segment image, and a search by the matching model No. k is executed. next,
In step 108, the matching model of step 106
It is determined whether or not a corresponding work having a portion matched with No. k has been found.
【００２０】ステップ１０８で該当ワークがあると判定
されると、ステップ１１０に移行し、照合モデルNo. ｋ
にて探索されたワークＷの特定部位の位置（方向を有す
る中心座標位置）及びその特定部位を把持できるハンド
（ハンド番号）などの情報をピッキング用ロボット３０
側へ送信する。そして、ステップ１１２へ移行して、優
先準位テーブルの照合モデルNo. ｋの欄の照合成功回数
ｎが１だけ加算更新される。そして、ステップ１１４へ
移行して、優先準位テーブルの照合モデルNo.ｋと照合
成功回数ｎとが、照合成功回数ｎの大きい順に優先準位
１〜５に再整列される。これにより、照合モデルNo. ｋ
は、照合成功回数の多い順に並べ代えられる。そして、
ステップ１００へ戻り、上記の処理が繰り返され、次の
ワークに対する照合モデルの探索が実行される。If it is determined in step 108 that there is a corresponding work, the process proceeds to step 110 and the collation model No. k
The picking robot 30 is provided with information such as the position (center coordinate position having a direction) of the specific portion of the work W searched for in (1) and the hand (hand number) capable of gripping the specific portion.
Send to the side. Then, the process proceeds to step 112, and the number n of successful collations in the column of collation model No. k of the priority level table is incremented by 1 and updated. Then, the process shifts to step 114, and the matching model No. k and the successful matching number n in the priority level table are rearranged into the priority levels 1 to 5 in descending order of the successful matching number n. As a result, the collation model No. k
Are sorted in descending order of the number of successful collations. And
Returning to step 100, the above processing is repeated, and the search of the matching model for the next work is executed.
【００２１】一方、ステップ１０８で該当ワークがない
と、ステップ１１６で優先準位変数ｉの値が最終値（本
実施例では５）か否かが判定され、最終値でなければ、
ステップ１１８に移行して、優先準位変数ｉが１だけ加
算更新されて、ステップ１０４に戻り、次の優先準位の
照合モデルの探索が実行される。又、ステップ１１６で
優先準位変数ｉが最終値と判定されると、画像の中には
照合モデルと照合される部分が全く存在しないことにな
る。よって、この場合には、ステップ１２０へ移行し
て、次回の画像入力時には山積みされたワークＷの状態
を変え、照合モデルにて探索される確率を増すために図
示しない加振装置にトレーＴの加振指令が出力される。On the other hand, if there is no corresponding work in step 108, it is determined in step 116 whether or not the value of the priority level variable i is the final value (5 in this embodiment).
In step 118, the priority level variable i is incremented by 1 and updated, and the process returns to step 104 to search for the matching model of the next priority level. Further, when the priority level variable i is determined to be the final value in step 116, there is no part in the image to be matched with the matching model. Therefore, in this case, the process proceeds to step 120, the state of the piled works W is changed at the next image input, and the tray T is attached to the shaker (not shown) in order to increase the probability of being searched by the matching model. Excitation command is output.
【００２２】次にステップ１２２に移行し、加振回数Ｃ
がカウントされる。この加振回数は、プログラムの最初
に０とされ、全ての照合モデルについて各１回の探索が
不成功に終わる毎にカウントアップされる。そして、ス
テップ１２４で、加振回数Ｃ≧３であるか否かが判定さ
れる。即ち、３回加振しても状態が変わらず全ての照合
モデルについて各３回の探索が不成功であれば、トレー
Ｔ内にワークＷがなくなっているか或いはトレーＴ内の
ワークＷが存在する状態が余程悪く、これ以上ワーク探
索を続けることは不適当であるとして、本プログラムを
終了する。Next, the routine proceeds to step 122, where the vibration frequency C
Is counted. The number of times of vibration is set to 0 at the beginning of the program, and is counted up each time one search is unsuccessful for all matching models. Then, in step 124, it is determined whether or not the number of vibrations C ≧ 3. That is, if the state does not change even after being vibrated three times and the search is unsuccessful three times for all matching models, there is no work W in the tray T or there is a work W in the tray T. The condition is so bad that it is inappropriate to continue the work search anymore, and this program is terminated.
【００２３】一方、ステップ１２４で加振回数Ｃが３以
上でない場合には、ステップ１００に戻り、次のワーク
に対する照合モデルとの照合演算が繰り返し実行され
る。On the other hand, if the number C of vibrations is not 3 or more in step 124, the process returns to step 100, and the collation calculation with the collation model for the next work is repeatedly executed.
【００２４】このようにして、ステップ１０４〜１１８
のループで優先準位の高い順で照合モデルの画像中での
探索が実行される。又、優先準位は過去の照合成功回数
の多い順に決定されることから、最も照合され安いもの
から順に照合モデルの探索が実行されるので、照合不成
功に終わる照合モデルの無駄な探索の実行が行わなくな
り、ワークＷの特定部位の決定が速く行われる。In this way, steps 104 to 118 are performed.
In the loop, the search in the image of the matching model is executed in descending order of priority level. In addition, since the priority levels are determined in the order of the number of successful collations in the past, the collation model search is executed in order from the one with the lowest collation, and the unnecessary collation model search results in unsuccessful collation. Is not performed, and the specific portion of the work W is quickly determined.
【００２５】尚、照合モデルNo. １、No. ２、No. ５、
No. ６は、“平行（幅ｍ1 ) で長さ（ｌ1,ｌ2 ) の異な
る線分”という情報で照合される。又、照合モデルNo.
３、No. ４は“円（半径ｒ1 ) ”という情報で照合され
る。The verification models No. 1, No. 2, No. 5,
No. 6 is collated with the information "a line segment that is parallel (width m 1 ) and has different lengths (l 1, l 2 )". Also, collation model No.
No. 3 and No. 4 are collated by the information "circle (radius r 1 )".
【００２６】又、ステップ１１０において、ハンドで握
持するためのワークＷの特定部位の位置の演算が実行さ
れる。これは、照合モデルNo. １、No. ２、No. ５、N
o. ６と照合した場合には、その平行線の中心点の座標
が演算される。そして、その中心点の座標と幅ｍ1 、長
さ（ｌ1,ｌ2 ) と共に、その平行線で表される部位を握
持するのに適切なハンド（ハンド番号）などの情報をピ
ッキング用ロボット３０側へ送信する。又、照合モデル
No. ３、No. ４の場合には、その円の中心点の座標と半
径ｒ1 と共にその円柱部を握持するのに適切なハンド
（ハンド番号）などの情報をピッキング用ロボット３０
側へ送信する。In step 110, the position of a specific portion of the work W to be gripped by the hand is calculated. This is collation model No. 1, No. 2, No. 5, N
o.6, the coordinates of the center point of the parallel line are calculated. Then, along with the coordinates of the center point, the width m 1 and the length (l 1, l 2 ), information such as a hand (hand number) suitable for gripping the part represented by the parallel line is used for picking. Send to the robot 30 side. Also, the matching model
In the case of No. 3 and No. 4, the picking robot 30 provides information such as the coordinates of the center point of the circle and the radius r 1 and an appropriate hand (hand number) for gripping the cylindrical portion.
Send to the side.
【００２７】尚、上述のステップ１０６における各照合
モデルNo.1〜No.5はワークＷの特定部位が基準姿勢をと
るときの形状を特定するデータにより予め設定されるの
であるが、ワークＷが傾斜した場合にも把持可能となる
許容限界角度などにより照合の一致範囲が拡大されて探
索される。The collation models No. 1 to No. 5 in step 106 are set in advance by the data for specifying the shape when the specific portion of the work W takes the reference posture. The matching range of matching is expanded and searched by the allowable limit angle or the like that allows gripping even when tilted.
【００２８】ここで、特定部位検出手段はステップ１０
０〜１１８、位置決定手段はステップ１１０、指令手段
はステップ１１０、照合優先準位決定手段はステップ１
１２、１１４にてそれぞれ達成される。Here, the specific portion detecting means is step 10
0 to 118, step 110 for position determining means, step 110 for commanding means, step 1 for collation priority level determining means
12 and 114 respectively.
【００２９】上述のプログラムが実行されることによ
り、部品の複数の特定部位に対応した複数の照合モデル
の何れかにて認識された部品はピッキング用ロボット３
０のハンド４０或いは交換用ハンド４１，４２，４３の
何れかによりピッキングされることになる。このよう
に、部品の複数の特定部位に対応した複数のハンドによ
るピッキングではピッキング用ロボット３０による部品
のピッキング速度を大幅に向上できるという効果があ
る。By executing the above-mentioned program, the part recognized by any of the plurality of collation models corresponding to the plurality of specific parts of the part is picked by the robot 3 for picking.
It is picked by either the 0 hand 40 or the replacement hands 41, 42, 43. Thus, in picking with a plurality of hands corresponding to a plurality of specific parts of a component, the picking speed of the component by the picking robot 30 can be significantly improved.
【００３０】前述の実施例においては、特定部位を探索
する照合モデルとピッキングするためのロボットのハン
ドが１対１に対応しているように説明されているが、認
識する特定部位が異なってもそれらを同一のハンドにて
ピッキングできる場合には、複数のハンドを必ずしも用
意する必要はない。この例としては、幅が異なった平行
な特定部位などがある。In the above-mentioned embodiment, the hand of the robot for picking and the collation model for searching for a specific part are explained as having a one-to-one correspondence, but even if the specific part to be recognized is different. If they can be picked with the same hand, it is not always necessary to prepare a plurality of hands. An example of this is a parallel specific portion having a different width.
【００３１】又、前述の実施例においては、部品の複数
の特定部位として円や平行な部分を選定した場合を述べ
たが、この他、長穴、直線、円弧、コーナ部などを特定
部位として選定することもできる。更に、外形形状では
ない刻印又は印刷マークなどを特定部位として選定する
こともできる。この場合には、特定部位の認識によりそ
の位置から確定される外形形状の部位を把持位置として
選定すれば良い。In the above embodiment, the case where circles or parallel parts are selected as a plurality of specific parts of the component has been described, but in addition to this, elongated holes, straight lines, arcs, corners, etc. are specified parts. It can also be selected. Furthermore, it is also possible to select a marking or a printing mark that is not the outer shape as the specific portion. In this case, a part having an outer shape determined by recognizing the specific part may be selected as the grip position.
【００３２】前述の実施例においては、一つの部品に把
持可能な幾つかの特定部位がある場合を想定したピッキ
ングについて述べたが、トレー内に異種の部品が混在収
容されているような場合にも本装置は適用可能である。
この場合には、各部品の特定部位をそれぞれ限定認識さ
せることにより、それぞれの特定部位に適したハンドに
より部品を確実に把持させることができる。又、本発明
は山積み部品を対象としているが、平面上に単独に１個
だけ置かれた部品や数個散在した状態で置かれた部品、
更に、仕切りの付いたトレー内に分離された状態で置か
れた部品に対しても同様に適用可能なことは明白であ
る。In the above-described embodiment, picking was described assuming that one part has several specific parts that can be held, but when different kinds of parts are accommodated in the tray in a mixed manner. This device is also applicable.
In this case, the specific parts of the respective parts are limitedly recognized, so that the parts can be reliably gripped by the hands suitable for the respective specific parts. Further, although the present invention is directed to a piled-up component, only one component placed on a plane alone or several components placed in a scattered state,
Furthermore, it is clear that the same applies to parts placed separately in a tray with partitions.
【００３３】[0033]
【発明の効果】本発明は、以上説明したように構成さ
れ、部品の把持可能な単純形状から成る複数の特定部位
が基準姿勢をとるときの形状を特定するデータにより予
め設定された複数の照合モデルと、複数の特定部位に対
応してそれら複数の特定部位をそれぞれ把持し得る複数
のロボットのハンドの情報とが記憶され、２次元画像の
中から複数の照合モデルとの照合により認識された１つ
の部分が上記複数の特定部位のうちの１つとして検出さ
れ、その検出された特定部位の位置が決定され、その位
置に複数のハンドのうちの１つを選択し位置決めして特
定部位をピックアップさせる指令がロボット側に送信さ
れる。そして、２次元画像において照合モデルを探索す
る場合に、可変的に決定される優先準位に従って複数の
照合モデルが、順次、照合され、１つの照合モデルが２
次元画像に存在すると判定された場合に、照合演算を終
了される。又、各照合モデル毎に、特定部位検出手段に
より認識された回数を記憶し、その回数の多い順に照合
の優先準位が決定される。The present invention is configured as described above, and a plurality of collations set in advance by data specifying the shape when a plurality of specific parts of a simple shape that can be held by a component assume a reference posture. The model and the information of the hands of the plurality of robots capable of respectively gripping the plurality of specific parts corresponding to the plurality of specific parts are stored and recognized by the matching with the plurality of matching models from the two-dimensional image. One part is detected as one of the plurality of specific parts, the position of the detected specific part is determined, and one of the plurality of hands is selected and positioned at that position to identify the specific part. A command to pick up is sent to the robot side. Then, when searching for a matching model in a two-dimensional image, a plurality of matching models are sequentially matched according to a priority level that is variably determined, and one matching model is
When it is determined that the three-dimensional image exists, the matching calculation is ended. Further, the number of times recognized by the specific part detecting means is stored for each matching model, and the matching priority level is determined in descending order of the number of times.
【００３４】従って、部品の複数の特定部位のうち一つ
でも照合され認識される限りその特定部位を把持するの
に適したロボットのハンドが選択され、認識され決定さ
れた特定部位の位置にそのハンドが位置決めされ部品が
ピックアップされる。又、照合の可能性の高い照合モデ
ルから順に照合モデルの探索が実行され、１つの照合モ
デルが検出された時点で探索演算は停止するので、特定
部位の認識が極めて速くなる。よって、山積み部品の高
速ピッキングが可能となる。Therefore, as long as at least one of the plurality of specific parts of the part is collated and recognized, a robot hand suitable for gripping the specific part is selected and placed at the recognized and determined position of the specific part. The hand is positioned and the parts are picked up. Further, the search for the matching model is executed in order from the matching model having the highest possibility of matching, and the search operation is stopped when one matching model is detected, so that the recognition of the specific part becomes extremely fast. Therefore, high-speed picking of piled parts is possible.
【図１】本発明の具体的な一実施例に係る山積み部品の
高速ピッキング装置を示した全体構成図である。FIG. 1 is an overall configuration diagram showing a high-speed picking device for piled parts according to a specific embodiment of the present invention.
【図２】同実施例装置の主要部の構成を示したブロック
ダイヤグラムである。FIG. 2 is a block diagram showing a configuration of a main part of the apparatus of the embodiment.
【図３】同実施例装置で使用されている中央処理装置の
処理手順を示したフローチャートである。FIG. 3 is a flowchart showing a processing procedure of a central processing unit used in the apparatus of the embodiment.
【図４】同実施例に係るワークが山積みでトレー内に収
容されている状態を示した説明図である。FIG. 4 is an explanatory view showing a state in which works according to the embodiment are stacked and accommodated in a tray.
【図５】優先準位テーブルを示した説明図。FIG. 5 is an explanatory diagram showing a priority level table.
【図６】本発明の概念を示したブロックダイヤグラムで
ある。FIG. 6 is a block diagram showing the concept of the present invention.
１０…画像入力用カメラ ２０…物体認識装置 ２１…中央処理装置 ２２…画像処理装置 ２３…記憶装置 ２４…照明制御回路 ３０…ピッキング用ロボット ４０…（ロボットの）ハンド ４１，４２，４３…交換用ハンド Ｔ…トレー Ｗ…ワーク（部品） １００…高速ピッキング装置 10 ... Image input camera 20 ... Object recognition device 21 ... Central processing device 22 ... Image processing device 23 ... Storage device 24 ... Illumination control circuit 30 ... Picking robot 40 ... (Robot) hands 41, 42, 43 ... Replacement Hand T ... Tray W ... Work (part) 100 ... High-speed picking device
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｂ 19/19 Ｈ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G05B 19/19 H
Claims (1)
め、その輪郭線から輪郭線を構成する複数の構成線分を
抽出し、その構成線分から前記部品を認識してロボット
のハンドにより把持させる高速ピッキング装置におい
て、 前記２次元画像において前記部品の把持可能な単純形状
から成る複数の特定部位を認識するための該複数の特定
部位に対応した複数のモデルであって、前記複数の特定
部位がそれぞれ基準姿勢をとるときの形状を特定するデ
ータにより予め設定される複数の照合モデルを記憶する
照合モデル記憶手段と、 前記複数の特定部位に対応して該複数の特定部位をそれ
ぞれ把持し得る複数のハンドの情報を記憶したハンド情
報記憶手段と、 前記２次元画像と、可変的に決定される優先準位に従っ
て前記照合モデル記憶手段に記憶されている前記複数の
照合モデルを、順次、照合させて、１つの照合モデルが
前記２次元画像に存在すると判定された場合に、照合演
算を終了して、照合により認識された１つの部分を前記
複数の特定部位のうちの１つとして検出する特定部位検
出手段と、 前記各照合モデル毎に、前記特定部位検出手段により認
識された回数を記憶し、その回数の多い順に前記優先準
位を決定する照合優先準位決定手段と、 検出された前記特定部位の位置を決定する位置決定手段
と、 決定された前記位置の前記特定部位に対応する前記複数
のハンドのうちの１つを選択すると共に位置決めして前
記特定部位をピックアップさせる指令手段とを備えたこ
とを特徴とする山積み部品の高速ピッキング装置。1. A contour line of a piled-up component is obtained from a two-dimensional image, a plurality of constituent line segments constituting the contour line are extracted from the contour line, the component is recognized from the constituent line segment, and grasped by a robot hand. In the high-speed picking device, a plurality of models corresponding to the plurality of specific parts for recognizing a plurality of specific parts that can be grasped by the component in the two-dimensional image, Collation model storage means for storing a plurality of collation models preset by data for identifying the shape when each takes a reference posture, and each of the plurality of specific portions can be gripped in correspondence with the plurality of specific portions. The hand information storage means stores information of a plurality of hands, the two-dimensional image, and the collation model storage means according to the variably determined priority level. When it is determined that one of the matching models exists in the two-dimensional image by sequentially matching the plurality of stored matching models, the matching calculation is ended, and one portion recognized by the matching is recognized. A specific site detecting means for detecting as one of the plurality of specific sites, and the number of times recognized by the specific site detecting means is stored for each of the matching models, and the priority level is stored in descending order of the number of times. Collation priority level determining means, position determining means for determining the position of the detected specific portion, and selecting one of the plurality of hands corresponding to the specific portion at the determined position And a commanding means for positioning and picking up the specific portion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13659394A JP3225740B2 (en) | 1994-05-25 | 1994-05-25 | High-speed picking device for piled parts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13659394A JP3225740B2 (en) | 1994-05-25 | 1994-05-25 | High-speed picking device for piled parts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07319525A true JPH07319525A (en) | 1995-12-08 |
| JP3225740B2 JP3225740B2 (en) | 2001-11-05 |
Family
ID=15178929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13659394A Expired - Fee Related JP3225740B2 (en) | 1994-05-25 | 1994-05-25 | High-speed picking device for piled parts |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3225740B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11300670A (en) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | Article picking-up device |
| US7200260B1 (en) | 1999-04-08 | 2007-04-03 | Fanuc Ltd | Teaching model generating device |
| JP2007319997A (en) * | 2006-06-01 | 2007-12-13 | Nissan Motor Co Ltd | Teaching device and teaching method |
| US7474939B2 (en) | 2003-01-30 | 2009-01-06 | Fanuc Ltd | Object taking-out apparatus |
| WO2010041371A1 (en) * | 2008-10-10 | 2010-04-15 | 本田技研工業株式会社 | Method for taking out work |
| JP2011110629A (en) * | 2009-11-24 | 2011-06-09 | Idec Corp | Robot control method and robot control system |
| US7996114B2 (en) | 2006-05-29 | 2011-08-09 | Fanuc Ltd | Workpiece picking device and method |
| JP2018535320A (en) * | 2015-10-30 | 2018-11-29 | シューラット テクノロジーズ, インク.Seurat Technologies Inc. | Additional manufacturing system and method |
| CN109015653A (en) * | 2018-08-30 | 2018-12-18 | 黄河科技学院 | Grab control method, device, storage medium and electronic equipment |
| CN109186457A (en) * | 2018-09-14 | 2019-01-11 | 天津玛特检测设备有限公司 | A kind of Parts Recognition method and apparatus of binocular and production line using the device |
| KR102218246B1 (en) * | 2020-06-30 | 2021-02-22 | 파워오토메이션 주식회사 | Gripping System for Hybrid Multi Insertion Robot Machine |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5464176B2 (en) * | 2011-06-20 | 2014-04-09 | 株式会社安川電機 | Picking system |
| JP5787642B2 (en) | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | Object holding device, method for controlling object holding device, and program |
-
1994
- 1994-05-25 JP JP13659394A patent/JP3225740B2/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6328523B1 (en) | 1998-04-21 | 2001-12-11 | Fanuc Ltd. | Apparatus for picking up articles using a vision controlled robot |
| JPH11300670A (en) * | 1998-04-21 | 1999-11-02 | Fanuc Ltd | Article picking-up device |
| US7200260B1 (en) | 1999-04-08 | 2007-04-03 | Fanuc Ltd | Teaching model generating device |
| US7474939B2 (en) | 2003-01-30 | 2009-01-06 | Fanuc Ltd | Object taking-out apparatus |
| US7996114B2 (en) | 2006-05-29 | 2011-08-09 | Fanuc Ltd | Workpiece picking device and method |
| JP2007319997A (en) * | 2006-06-01 | 2007-12-13 | Nissan Motor Co Ltd | Teaching device and teaching method |
| WO2010041371A1 (en) * | 2008-10-10 | 2010-04-15 | 本田技研工業株式会社 | Method for taking out work |
| JP2011110629A (en) * | 2009-11-24 | 2011-06-09 | Idec Corp | Robot control method and robot control system |
| JP2018535320A (en) * | 2015-10-30 | 2018-11-29 | シューラット テクノロジーズ, インク.Seurat Technologies Inc. | Additional manufacturing system and method |
| US11666971B1 (en) | 2015-10-30 | 2023-06-06 | Seurat Technologies, Inc. | Additive manufacturing system and method |
| CN109015653A (en) * | 2018-08-30 | 2018-12-18 | 黄河科技学院 | Grab control method, device, storage medium and electronic equipment |
| CN109186457A (en) * | 2018-09-14 | 2019-01-11 | 天津玛特检测设备有限公司 | A kind of Parts Recognition method and apparatus of binocular and production line using the device |
| KR102218246B1 (en) * | 2020-06-30 | 2021-02-22 | 파워오토메이션 주식회사 | Gripping System for Hybrid Multi Insertion Robot Machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3225740B2 (en) | 2001-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2555822B2 (en) | High-speed picking device for piled parts | |
| JPH07319525A (en) | High-speed picking device for piled parts | |
| EP1945416B1 (en) | A method and an arrangement for locating and picking up objects from a carrier | |
| US7283661B2 (en) | Image processing apparatus | |
| US5446835A (en) | High-speed picking system for stacked parts | |
| US6845296B2 (en) | Object taking out apparatus | |
| JP2555824B2 (en) | High-speed picking device for piled parts | |
| JPH0788791A (en) | Robot device and its peripheral device | |
| CN112464410B (en) | Method and device for determining workpiece grabbing sequence, computer equipment and medium | |
| JP2679490B2 (en) | High-speed picking device for piled parts | |
| JP2555823B2 (en) | High-speed picking device for piled parts | |
| JPH04244391A (en) | Step disordering device using robot | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP2000263482A (en) | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot | |
| JPH02189691A (en) | Device for recognizing object | |
| JPH10118975A (en) | Handling position recognizing method and recognizing device | |
| JP3151900B2 (en) | Parts supply device | |
| Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping | |
| JP2001105361A (en) | Picking system | |
| JPH0739827A (en) | Method for identifying many kinds of articles | |
| RU2806224C1 (en) | Waste sorting method | |
| JPH01277977A (en) | Pattern collating device | |
| JP3375242B2 (en) | Robot object recognition method and apparatus | |
| CN113953211B (en) | Workpiece sorting method and device and computer readable storage medium | |
| WO2022239477A1 (en) | Information processing device, system, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |