JP5936108B2 - Object extraction apparatus and method - Google Patents
Object extraction apparatus and method Download PDFInfo
- Publication number
- JP5936108B2 JP5936108B2 JP2011266364A JP2011266364A JP5936108B2 JP 5936108 B2 JP5936108 B2 JP 5936108B2 JP 2011266364 A JP2011266364 A JP 2011266364A JP 2011266364 A JP2011266364 A JP 2011266364A JP 5936108 B2 JP5936108 B2 JP 5936108B2
- Authority
- JP
- Japan
- Prior art keywords
- order
- objects
- determination
- degree
- gripping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
本発明は、設置スペースに置かれている複数の対象物を1つずつ順に把持して取り出す対象物取り出し装置と方法に関する。 The present invention relates to an object taking-out apparatus and method for grasping and taking out a plurality of objects placed in an installation space one by one in order.
従来において、例えばバラ積みされている複数の対象物を、ロボットハンドにより、1つずつ順に把持して取り出すことが行われている。この場合、複数の対象物の位置や姿勢を、レーザ距離計やカメラなどを用いて認識し、認識した対象物を把持して取り出している。 2. Description of the Related Art Conventionally, for example, a plurality of objects stacked in bulk are grasped and taken out one by one by a robot hand. In this case, the positions and postures of a plurality of objects are recognized using a laser distance meter or a camera, and the recognized objects are grasped and taken out.
このような技術は、例えば、下記の特許文献1に記載されている。特許文献1では、次のように、対象物を認識して把持している。まず、対象物における複数の代表的な部分形状と、これらにそれぞれ適した把持位置と、これらの把持位置の優先順位とを予め求めておく。次に、バラ積みされた複数の対象物の画像データを取得する。この画像データに基づいて、エッジを検出することにより、各対象物の形状を部分的に認識する。認識した形状に基づいて、外部に露出している複数の代表的な部分形状を選択する。選択した代表的な部分形状を把持する順序を、予め求めておいた優先順位に基づいて定める。 Such a technique is described in Patent Document 1 below, for example. In Patent Document 1, an object is recognized and held as follows. First, a plurality of representative partial shapes of the object, gripping positions suitable for them, and priorities of these gripping positions are obtained in advance. Next, image data of a plurality of stacked objects is acquired. The shape of each object is partially recognized by detecting an edge based on this image data. A plurality of representative partial shapes exposed to the outside are selected based on the recognized shape. The order of gripping the selected representative partial shape is determined based on the priorities obtained in advance.
しかし、特許文献1では、対象物を把持して取り出す場合に、この対象物が、これに隣接する他の対象物に干渉するかどうかを考慮していない。従って、対象物を把持して取り出す時に、この対象物が、これに隣接する対象物に干渉する可能性がある。そのため、このような干渉の可能性を小さくすることが望まれる。 However, Patent Document 1 does not consider whether or not the object interferes with another object adjacent to the object when the object is grasped and taken out. Therefore, when the object is gripped and taken out, the object may interfere with an object adjacent to the object. Therefore, it is desirable to reduce the possibility of such interference.
そこで、本発明の目的は、対象物を把持して取り出す時に、この対象物が隣接する対象物に干渉する可能性を小さくできる対象物取り出し装置と方法を提供することにある。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an object extraction apparatus and method that can reduce the possibility that the object will interfere with an adjacent object when the object is gripped and extracted.
上述した目的を達成するため、本発明によると、設置スペースに置かれている複数の対象物を順に把持して取り出す対象物取り出し装置であって、
対象物を把持するロボットハンドと、
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、
定められた取り出し順序に従って、設置スペースから、対象物を把持して取り出すようにロボットハンドを制御する制御装置と、を備え、
把持順決定装置は、
(A)位置が認識された複数の対象物を順に選択し、
(B)選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第1の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行い、
(C)この判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定める、ことを特徴とする対象物取り出し装置が提供される。
In order to achieve the above-described object, according to the present invention, an object take-out device that sequentially holds and takes out a plurality of objects placed in an installation space,
A robot hand that holds an object;
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A grasping order determining device for determining the order of taking out a plurality of objects whose positions are recognized;
A control device for controlling the robot hand so as to grasp and take out the object from the installation space in accordance with a predetermined take-out order;
The gripping order determination device is
(A) Select a plurality of objects whose positions are recognized in order,
(B) Perform interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(C) There is provided an object extraction device characterized in that an object for which this determination is denied is not included in the extraction order, and a plurality of objects are extracted in the order in which the determination is affirmed. .
本発明の好ましい実施形態によると、把持順決定装置は、前記(A)において、位置が認識された複数の対象物を、上方に位置するものから順に選択する。 According to a preferred embodiment of the present invention, the gripping order determining device selects a plurality of objects whose positions are recognized in the order (A) in order from the one located above.
また、本発明の好ましい実施形態によると、前記認識装置は、前記複数の対象物の位置と姿勢を認識し、
対象物において複数の把持位置が設定されており、当該複数の把持位置にはそれぞれ優先度が設定されており、
予め定めた基準値より高い優先度の把持位置が把持可能な姿勢を対象物がとっている状態においては、この対象物の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっており、
前記基準値より低い優先度の把持位置が把持可能な姿勢を対象物がとっている状態においては、この対象物の下側部分が、水平方向または斜め上方に突出する部分を有するようになっており、
把持順決定装置は、干渉度判定において、
選択された対象物において把持可能な把持位置の優先度が、この対象物に隣接する他の対象物において把持可能な把持位置の優先度以上であるかを判定し、
この判定が肯定された場合には、第1の度合いが第2の度合い以下であると判定する。
According to a preferred embodiment of the present invention, the recognition device recognizes positions and postures of the plurality of objects,
A plurality of gripping positions are set on the object, and a priority is set for each of the plurality of gripping positions,
In a state where the object is in a posture in which a grip position with a priority higher than a predetermined reference value can be gripped, the lower part of the object does not have a part protruding in the horizontal direction, and It does not have a part that projects diagonally upward,
In a state where the target object is in a posture in which a grip position with a lower priority than the reference value can be gripped, the lower part of the target object has a part protruding in the horizontal direction or obliquely upward. And
The gripping order determination device determines the degree of interference,
Determining whether the priority of the gripping position that can be gripped by the selected object is equal to or higher than the priority of the gripping position that can be gripped by another object adjacent to the target object;
If this determination is positive, it is determined that the first degree is less than or equal to the second degree.
本発明の好ましい実施形態によると、把持順決定装置は、
選択された各対象物について、障害物判定を行い、
障害物判定では、対象物を把持して取り出すときに、当該対象物が障害物に衝突するかを判定し、
衝突すると判定された対象物について、干渉度判定を行わず、かつ、当該対象物を取り出し順序に組み入れない。
According to a preferred embodiment of the present invention, the gripping order determination device comprises:
For each selected object, perform obstacle determination,
In the obstacle determination, when the object is grasped and taken out, it is determined whether the object collides with the obstacle,
The object determined to collide is not subjected to the interference degree determination, and the object is not included in the extraction order.
また、上述した目的を達成するため、本発明によると、設置スペースに置かれている複数の対象物を、ロボットハンドにより順に把持して取り出す対象物取り出し方法であって、
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、を用意し、
(a)認識装置により、複数の対象物の位置を認識し、
(b)把持順決定装置により、位置が認識された複数の対象物を順に選択し、
(c)把持順決定装置により、選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第1の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行い、
(d)把持順決定装置により、この判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定め、
(e)定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す、ことを特徴とする対象物取り出し方法が提供される。
Further, in order to achieve the above-described object, according to the present invention, there is provided a method for taking out a plurality of objects placed in an installation space by sequentially grasping and taking out the objects by a robot hand,
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A gripping order determining device for determining the order of taking out a plurality of objects whose positions are recognized, and
(A) Recognizing the position of a plurality of objects by a recognition device;
(B) A plurality of objects whose positions are recognized are sequentially selected by the grasping order determination device,
(C) The gripping order determination device performs interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(D) By the grasping order determination device, the objects for which this determination is denied are not included in the extraction order, and the plurality of objects are extracted in the order in which the determination is affirmed,
(E) There is provided an object extraction method characterized in that an object is grasped and extracted by a robot hand in accordance with a predetermined extraction order.
本発明の好ましい実施形態によると、
(f)前記(e)の後に、前記(a)を新たに行うことにより、設置スペースに残っている複数の対象物の位置を新たに認識し、
(g)次に、把持順決定装置により、新たに位置が認識された当該複数の対象物に対して、前記(b)(c)(d)を新たに行うことにより、当該複数の対象物の取り出し順序を新たに定め、
(h)次いで、新たに定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す。
According to a preferred embodiment of the present invention,
(F) After the step (e), the position of a plurality of objects remaining in the installation space is newly recognized by newly performing the step (a).
(G) Next, by performing the above (b), (c) and (d) on the plurality of objects whose positions are newly recognized by the gripping order determination device, the plurality of objects A new order for taking out
(H) Next, the object is grasped and taken out by the robot hand in accordance with the newly determined take-out order.
前記(e)の後であって前記(f)の前に、前記(d)において取り出し順序に組み入れなかった対象物がある場合には、ロボットハンドにより、この対象物を把持して取り出してよい。 If there is an object that is not included in the extraction order in (d) after (e) and before (f), the object may be grasped and extracted by the robot hand. .
上述した本発明によると、次のように取り出し順序が定められる。まず、複数の対象物を順に選択する。次に、選択された順に複数の対象物について干渉度判定を行う。干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第1の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行う。この判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定める。 According to the present invention described above, the take-out order is determined as follows. First, a plurality of objects are selected in order. Next, the degree of interference is determined for a plurality of objects in the selected order. In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. The degree that the other object interferes with the selected object is set as the second degree, and it is determined whether the first degree is equal to or less than the second degree. The objects for which this determination is denied are not included in the extraction order, but the order for extracting a plurality of objects is determined in the order in which the determination is affirmed.
このように、干渉度判定が否定された対象物は取り出し順序に組み入れないので、対象物を実際に把持して取り出す時に、対象物が隣接する他の対象物に干渉する可能性が小さくなる。 Thus, since the object whose interference degree determination is denied is not included in the extraction order, the possibility that the object interferes with other adjacent objects when the object is actually grasped and extracted is reduced.
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 A preferred embodiment of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図1は、本発明の実施形態による対象物取り出し装置10の構成を示す。対象物取り出し装置10は、ロボットハンド3と、認識装置5と、把持順決定装置7と、制御装置9とを備える。 FIG. 1 shows a configuration of an object take-out device 10 according to an embodiment of the present invention. The object take-out device 10 includes a robot hand 3, a recognition device 5, a gripping order determination device 7, and a control device 9.
ロボットハンド3は、設置スペースSに置かれた対象物1a〜1hを上方から把持するように動作する。図1の例では、ロボットハンド3は、互いに対して回転可能に連結された複数のリンク11a〜11dにより構成されている。複数のリンク11a〜11dのうち最先端にある第1のリンク11aに把持部4が固定されている。第1のリンク11aは、第1の関節13aを介して第2のリンク11bに連結されているとともに、第1の関節13aの回転軸C1回りに第2のリンク11bに対して回転可能である。第2のリンク11bは、第2の関節13bを介して第3のリンク11cに連結されているとともに、第2の関節13bの回転軸C2回りに第3のリンク11cに対して回転可能である。第3のリンク11cは、第3の関節13cを介して第4のリンク11dに連結されているとともに、第3の関節13cの回転軸C3回りに第4のリンク11dに対して回転可能である。第4のリンク11dは、自身の中心軸である回転軸C4回りに回転可能に設置台15に支持されている。 The robot hand 3 operates to grip the objects 1a to 1h placed in the installation space S from above. In the example of FIG. 1, the robot hand 3 includes a plurality of links 11a to 11d that are rotatably connected to each other. The grip portion 4 is fixed to the first link 11a at the forefront of the plurality of links 11a to 11d. The first link 11a is connected to the second link 11b via the first joint 13a, and is rotatable with respect to the second link 11b around the rotation axis C1 of the first joint 13a. . The second link 11b is connected to the third link 11c via the second joint 13b and is rotatable with respect to the third link 11c around the rotation axis C2 of the second joint 13b. . The third link 11c is connected to the fourth link 11d via the third joint 13c, and is rotatable with respect to the fourth link 11d around the rotation axis C3 of the third joint 13c. . The fourth link 11d is supported by the installation base 15 so as to be rotatable around the rotation axis C4 that is the central axis of the fourth link 11d.
この構成で、第1〜第4のリンク11a〜11dが、それぞれ、図示しない複数の駆動装置(例えば、サーボモータ)により対応する回転軸C1〜C4回りに回転駆動される。これらの回転駆動が制御装置9によって制御されることにより、ロボットハンド3は動作する。 With this configuration, the first to fourth links 11a to 11d are driven to rotate around the corresponding rotation axes C1 to C4 by a plurality of drive devices (for example, servo motors) (not shown). The robot hand 3 operates by controlling the rotational drive by the control device 9.
認識装置5は、複数の対象物の位置を上方から認識する。本実施形態では、複数の対象物は、同じ寸法と形状を有する。以下において、複数の対象物を、互いに区別するときには、これらの対象物にそれぞれ符号1a〜1hを付し、互いに区別しないときには、これらの対象物に符号1を付す。図1の例では、認識装置5は、レーザ距離計を有する。レーザ距離計は、レーザ射出点から、下方を向く各計測方向にレーザを発することにより、各計測方向において、レーザ射出点から、計測範囲内に存在する物体上の各被計測点までの距離を計測する。認識装置5は、各計測方向について計測した距離に基づいて、レーザ距離計による計測範囲に存在する物体の位置と形状を認識する。認識装置5は、このように認識した形状と、その記憶部に記憶されている対象物1の3次元的な形状とを比べることにより、各対象物1の位置と姿勢を認識する。 The recognition device 5 recognizes the positions of a plurality of objects from above. In the present embodiment, the plurality of objects have the same size and shape. Hereinafter, when a plurality of objects are distinguished from each other, the objects are denoted by reference numerals 1a to 1h, respectively, and when not distinguished from each other, these objects are denoted by reference numeral 1. In the example of FIG. 1, the recognition device 5 includes a laser distance meter. The laser distance meter emits laser in each measurement direction facing downward from the laser emission point, and in each measurement direction, the distance from the laser emission point to each measured point on the object existing in the measurement range is calculated. measure. The recognition device 5 recognizes the position and shape of an object existing in the measurement range by the laser rangefinder based on the distance measured in each measurement direction. The recognition device 5 recognizes the position and orientation of each object 1 by comparing the shape recognized in this way with the three-dimensional shape of the object 1 stored in the storage unit.
把持順決定装置7は、位置が認識された(以下、単に認識されたともいう)複数の対象物1の取り出し順序を定める。把持順決定装置7は、認識された複数の対象物1を、上方に位置するものから順に選択し、選択された順に複数の対象物1について干渉度判定を行う。干渉度判定では、把持順決定装置7は、次のように判定を行う。すなわち、選択された対象物1を取り出す場合に、当該選択された対象物1が、これに水平方向に隣接する他の対象物1に干渉する度合いを第1の度合いとし、当該他の対象物1を取り出す場合に、当該他の対象物1が、当該選択された対象物1に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行う。把持順決定装置7は、この判定が否定された対象物1については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物1の順位が上位になるように取り出し順序を定める。 The grasping order determination device 7 determines the order of taking out the plurality of objects 1 whose positions have been recognized (hereinafter also simply recognized). The grasping order determination device 7 selects the recognized plurality of objects 1 in order from the one located above, and performs the interference degree determination for the plurality of objects 1 in the selected order. In the interference degree determination, the gripping order determination device 7 performs the determination as follows. That is, when the selected object 1 is taken out, the degree to which the selected object 1 interferes with another object 1 that is adjacent to the selected object 1 in the horizontal direction is set as the first degree, and the other object When 1 is taken out, the degree to which the other object 1 interferes with the selected object 1 is set as the second degree, and it is determined whether the first degree is equal to or less than the second degree. The gripping order determination device 7 does not incorporate the object 1 for which this determination is denied into the extraction order, but determines the extraction order so that the ranking of the plurality of objects 1 is higher in the order in which the determination is affirmed.
以下、干渉度判定に関して、上述の「水平方向に隣接する」を、単に「隣接する」という。
2つの対象物1が「隣接する」とは、両者のうち一方を上方に取り出したら他方に干渉する可能性があることを意味する。例えば、2つの対象物1が「隣接する」とは、水平方向において、両者の中心の間隔が、設定距離より小さいこと意味してよい。ここで、設定距離は、対象物1の寸法と形状に応じて適切に定められてよい。
なお、選択された対象物1(選択対象物という)が、これに隣接する対象物1(隣接対象物という)に干渉する場合とは、ロボットハンド3により選択対象物を把持して取り出す時に、選択対象物が、隣接対象物との接触点から隣接対象物に力を作用させることを意味する。例えば、選択対象物が、隣接対象物を動かしてしまうことを意味する。
Hereinafter, regarding the interference degree determination, the above-mentioned “adjacent in the horizontal direction” is simply referred to as “adjacent”.
The phrase “the two objects 1 are“ adjacent ”” means that if one of the two objects is taken upward, it may interfere with the other. For example, “adjacent” of the two objects 1 may mean that the distance between the centers of the two objects 1 is smaller than the set distance in the horizontal direction. Here, the set distance may be appropriately determined according to the size and shape of the object 1.
Note that the case where the selected object 1 (referred to as the selection object) interferes with the object 1 adjacent thereto (referred to as the adjacent object) means that when the selected object is grasped by the robot hand 3 and taken out, This means that the selected object applies a force to the adjacent object from the contact point with the adjacent object. For example, it means that the selected object moves the adjacent object.
制御装置9は、定められた取り出し順序に従って複数の対象物1を順に把持して取り出すようにロボットハンド3を制御する。 The control device 9 controls the robot hand 3 so that the plurality of objects 1 are sequentially grasped and taken out in accordance with a predetermined taking-out order.
図2と図3に基づいて、本発明の実施形態による対象物取り出し方法を説明する。図2は、本発明の実施形態による対象物取り出し方法を示すフローチャートである。図3(A)は、図1の部分拡大図である。図3(B)は、後述のステップS6を行った直後の状態を示し、図3(C)は、後述のステップS7を行った直後の状態を示す。なお、本発明の実施形態による対象物取り出し方法は、上述した対象物取り出し装置10により行われる。 Based on FIG. 2 and FIG. 3, the method for taking out the object according to the embodiment of the present invention will be described. FIG. 2 is a flowchart illustrating a method for taking out an object according to an embodiment of the present invention. FIG. 3A is a partially enlarged view of FIG. FIG. 3B shows a state immediately after performing step S6 described later, and FIG. 3C shows a state immediately after performing step S7 described later. In addition, the target object taking-out method by embodiment of this invention is performed by the target object taking-out apparatus 10 mentioned above.
ステップS1において、認識装置5により、設置スペースSに集って置かれている複数の対象物1の3次元的な位置と姿勢を認識する。図3(A)の例では、対象物1a,1b,1c,1dの3次元的な位置と姿勢を認識する。なお、対象物1e,1f,1g,1hは、対象物1a,1b,1c,1dに隠れているため、認識装置5により認識されない。 In step S <b> 1, the recognition device 5 recognizes the three-dimensional positions and postures of the plurality of objects 1 placed in the installation space S. In the example of FIG. 3A, the three-dimensional positions and postures of the objects 1a, 1b, 1c, and 1d are recognized. The objects 1e, 1f, 1g, and 1h are hidden by the objects 1a, 1b, 1c, and 1d and are not recognized by the recognition device 5.
ステップS2において、把持順決定装置7により、ステップS1で認識された複数の対象物1を、上方に位置するものから順に選択する。図3(A)の例では、把持順決定装置7により、下記の表1に示すテーブルデータを作成し、表1のデータに基づいて、複数の対象物1a,1b,1c,1dを、上方に位置するものから順に選択する。すなわち、表1には、複数の対象物1a,1b,1c,1dの高さの順位が記録されており、この高さの順位に従って、複数の対象物1a,1b,1c,1dを、上方に位置するものから順に選択する。この高さの順位は、ステップS1において認識した各対象物1a,1b,1c,1dの3次元的位置に基づいて定められる。図3(A)の例では、表1において、対象物1a、対象物1c、対象物1b、対象物1dの順に、高さの順位が定められる。なお、2つ以上の対象物1の高さが同じ場合には、これらの対象物1の間で、任意に高さの順位を定める。図3(A)の例では、対象物1b、1dは、同じ高さにあるので、ここでは、対象物1b、対象物1dの順に順位を定めている。なお、高さの順位は、各対象物1における最上点の高さを比べることにより定められてよい。 In step S2, the plurality of objects 1 recognized in step S1 are selected in order from the one positioned above by the gripping order determination device 7. In the example of FIG. 3A, the table data shown in Table 1 below is created by the gripping order determination device 7, and a plurality of objects 1a, 1b, 1c, 1d are moved upward based on the data in Table 1. Select in order from the one located at. That is, in Table 1, the order of heights of the plurality of objects 1a, 1b, 1c, and 1d is recorded, and the objects 1a, 1b, 1c, and 1d are moved upward according to the order of the heights. Select in order from the one located at. The rank of the height is determined based on the three-dimensional position of each object 1a, 1b, 1c, 1d recognized in step S1. In the example of FIG. 3A, in Table 1, the order of height is determined in the order of the object 1a, the object 1c, the object 1b, and the object 1d. When two or more objects 1 have the same height, the height order is arbitrarily determined between these objects 1. In the example of FIG. 3A, since the objects 1b and 1d are at the same height, the order is determined in the order of the object 1b and the object 1d. Note that the height order may be determined by comparing the heights of the top points of the objects 1.
ステップS3において、把持順決定装置7により、障害物判定を行う。この障害物判定では、選択された各対象物1について、当該対象物1を、ロボットハンド3により取り出した場合に、当該対象物1が、他の対象物1以外の障害物8に衝突するかを判定する。例えば、対象物1の真上に障害物8が存在する場合には、当該対象物1が障害物8に衝突すると判定する。図3(A)の場合には、対象物1a〜1dのうち、対象物1aは、障害物8に衝突すると判定され、対象物1b〜1dは、障害物8に衝突しないと判定される。従って、表1において、障害物判定の列において、対象物1aについては、衝突する旨の記号(×印)が記入され、対象物1b〜1dについては、衝突しない旨の記号(○印)が記入される。すなわち、表1のデータは、次の表2のようになる。なお、認識装置5により、障害物8の位置が認識され、これにより、把持順決定装置7は、認識された障害物8と選択された対象物1との位置関係に基づいて障害物判定を行う。 In step S <b> 3, the obstacle determination is performed by the gripping order determination device 7. In this obstacle determination, for each selected object 1, whether the object 1 collides with an obstacle 8 other than the other object 1 when the object 1 is taken out by the robot hand 3. Determine. For example, when the obstacle 8 exists directly above the object 1, it is determined that the object 1 collides with the obstacle 8. In the case of FIG. 3A, among the objects 1a to 1d, the object 1a is determined to collide with the obstacle 8, and the objects 1b to 1d are determined not to collide with the obstacle 8. Therefore, in Table 1, in the obstacle determination column, the object 1a is filled with a symbol (X mark) indicating that it collides, and the objects 1b to 1d are marked with a symbol (○ mark) indicating that there is no collision. Filled in. That is, the data in Table 1 is as shown in Table 2 below. Note that the position of the obstacle 8 is recognized by the recognition device 5, whereby the gripping order determination device 7 performs obstacle determination based on the positional relationship between the recognized obstacle 8 and the selected object 1. Do.
ステップS4において、把持順決定装置7により、ステップS2で選択された順に複数の対象物1について干渉度判定を行う。ただし、ステップS3で、障害物8に干渉すると判定された対象物1については、ステップS4の干渉度判定を行わない。すなわち、ステップS3で、障害物8に衝突すると判定されなかった対象物1について、ステップS2で選択された順にステップS4を行う。
ステップS4の干渉度判定では、選択された対象物1を取り出す場合に、当該選択された対象物1が、これに隣接する他の対象物1に干渉する度合いを第1の度合いとし、当該他の対象物1を取り出す場合に、当該他の対象物1が、当該選択された対象物1に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行う。ここで、隣接する他の対象物1は、ステップS1で位置と形状が認識された対象物1に含まれるものである。
In step S <b> 4, the gripping order determination device 7 determines the interference level for the plurality of objects 1 in the order selected in step S <b> 2. However, for the object 1 determined to interfere with the obstacle 8 in step S3, the interference degree determination in step S4 is not performed. That is, step S4 is performed in the order selected in step S2 for the object 1 that has not been determined to collide with the obstacle 8 in step S3.
In the interference degree determination in step S4, when the selected object 1 is taken out, the degree to which the selected object 1 interferes with another object 1 adjacent to the selected object 1 is set as the first degree. When the target 1 is taken out, the degree of interference of the other target 1 with the selected target 1 is set as the second degree, and it is determined whether the first degree is equal to or less than the second degree. I do. Here, other adjacent objects 1 are included in the object 1 whose position and shape are recognized in step S1.
ステップS4を詳しく説明する。 Step S4 will be described in detail.
ステップS4では、把持位置の優先度を用いる。対象物1において複数の(2つまたは3つ以上の)把持位置が設定されており、当該複数の把持位置にはそれぞれ優先度が設定されている。 In step S4, the priority of the grip position is used. A plurality of (two or three or more) gripping positions are set in the object 1, and a priority is set for each of the plurality of gripping positions.
優先度の値は、次のように設定される。
予め定められた基準値より高い優先度の把持位置が把持可能な姿勢を対象物1がとっている状態においては、この対象物1の下側部分が、水平方向に突出する部分を有さず、かつ、(水平方向に対して)斜め上方に突出する部分を有さないようになっている。
一方、前記基準値より低い優先度の把持位置が把持可能な姿勢を対象物1がとっている状態においては、この対象物1の下側部分が、水平方向または(水平方向に対して)斜め上方に突出する部分を有するようになっている。
The priority value is set as follows.
In a state where the target object 1 is in a posture in which a grip position with a priority higher than a predetermined reference value can be gripped, the lower portion of the target object 1 does not have a portion protruding in the horizontal direction. And it does not have a part which protrudes diagonally upwards (relative to the horizontal direction).
On the other hand, in a state in which the target object 1 is in a posture in which a grip position with a priority lower than the reference value can be gripped, the lower part of the target object 1 is horizontally or obliquely (relative to the horizontal direction). It has a portion protruding upward.
優先度が高い把持位置を把持して対象物1を上方に取り出した場合ほど、当該対象物1が、これに隣接する他の対象物1に干渉する可能性が低くなる。
ステップS4の干渉度判定において、選択された対象物1において把持可能な把持位置の優先度が、この対象物1に隣接する他の対象物1において把持可能な把持位置の優先度以上である場合には、干渉度判定は、肯定の判定となる。すなわち、上述した第1の度合いが第2の度合い以下であると判定する。
As the object 1 is picked up by grasping a grip position having a higher priority, the possibility that the object 1 interferes with another object 1 adjacent to the object 1 becomes lower.
When the priority of the gripping position that can be gripped by the selected target object 1 is equal to or higher than the priority of the gripping position that can be gripped by another target object 1 adjacent to the target object 1 in the interference degree determination in step S4. In other words, the interference degree determination is an affirmative determination. That is, it determines with the 1st degree mentioned above being below a 2nd degree.
図4に基づいて、複数の把持位置の例を説明する。図4(A)は、対象物1を側方から見た図であり、図4(B)は、図4(A)のB−B線矢視図である。図4の例では、対象物1には、2つの把持位置P1、P2が設定されている。図4において、対象物1は、その軸X方向一方側に、軸X方向と直交する方向に突出しているフランジ部17を有する。ロボットハンド3の把持部4は、対象物1の穴18に挿入される2つの爪19、21(図1や図5を参照)を有する。2つの爪19、21は、穴18に挿入された状態で、互いに離れる方向に駆動されて、穴18を区画する内周面23へ互いに反対方向に押し付けられる。これにより、把持部4の2つの爪19、21は、対象物1を把持する。把持位置P1は、図5(A)のように、フランジ部17側から穴18に爪19、21を挿入して対象物1を把持する時に、対象物1が把持される位置(内周面23の位置)である。把持位置P2は、図5(B)のように、フランジ部17と反対側から穴18に爪19、21を挿入して対象物1を把持する時に、対象物1が把持される位置(内周面23の位置)である。 An example of a plurality of gripping positions will be described based on FIG. 4A is a view of the object 1 as viewed from the side, and FIG. 4B is a view taken along line BB in FIG. 4A. In the example of FIG. 4, two gripping positions P <b> 1 and P <b> 2 are set for the object 1. In FIG. 4, the object 1 has a flange portion 17 projecting in a direction orthogonal to the axis X direction on one side in the axis X direction. The grip part 4 of the robot hand 3 has two claws 19 and 21 (see FIG. 1 and FIG. 5) inserted into the hole 18 of the object 1. The two claws 19, 21 are driven in directions away from each other while being inserted into the hole 18, and are pressed against the inner peripheral surface 23 defining the hole 18 in opposite directions. Thereby, the two claws 19 and 21 of the grip portion 4 grip the object 1. As shown in FIG. 5A, the gripping position P1 is a position (inner peripheral surface) where the object 1 is gripped when the claws 19 and 21 are inserted into the holes 18 from the flange portion 17 side to grip the object 1. 23 position). As shown in FIG. 5 (B), the gripping position P2 is a position (internal) where the object 1 is gripped when the claws 19 and 21 are inserted into the holes 18 from the opposite side of the flange portion 17 to grip the object 1. The position of the peripheral surface 23).
把持位置P1が把持可能な姿勢を対象物1がとっている図5(A)の状態においては、対象物1の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっている。一方、把持位置P2が把持可能な姿勢を対象物1がとっている図5(B)の状態においては、対象物1の下側部分が、水平方向に突出したフランジ部17を有するようになっている。図5(A)の状態の対象物1に上方から近づいて、把持位置P1で対象物1を把持し、この対象物1を上方へ取り出す場合と、図5(B)の状態の対象物1に上方から近づいて、把持位置P2で対象物1を把持し、この対象物1を上方へ取り出す場合とでは、前者の場合(把持位置P1で対象物1を把持する場合)のほうが、対象物1のフランジ部17が他の対象物1に干渉する可能性が小さい。例えば、図3(A)の状態で、対象物1bの把持位置P1を爪19、21で把持して、この対象物1bを取り出す場合には、フランジ部17が他の対象物に干渉する可能性が小さい。フランジ部17が上方側に位置するからである。これに対し、図3(A)の状態で、対象物1cの把持位置P2を爪19、21で把持して、この対象物1bを取り出す場合には、対象物1bのフランジ部17が他の対象物1b、1dに干渉する可能性が高い。フランジ部17が下方側にあるからである。そこで、図3(A)の例では、把持位置P1の優先度は、把持位置P2の優先度よりも高く設定されている。なお、図4の符号Xは、対象物1に固定された仮想の基準直線(軸)Xを示す。 In the state of FIG. 5A in which the object 1 is in a posture in which the gripping position P1 can be gripped, the lower part of the object 1 does not have a part protruding in the horizontal direction and is obliquely upward There are no protruding parts. On the other hand, in the state of FIG. 5 (B) where the object 1 is in a posture in which the gripping position P2 can be gripped, the lower portion of the object 1 has a flange portion 17 protruding in the horizontal direction. ing. When the object 1 in the state of FIG. 5A is approached from above, the object 1 is grasped at the grasping position P1, and the object 1 is taken out upward, and the object 1 in the state of FIG. In the case where the object 1 is gripped at the gripping position P2 and is taken out upward, the former case (when the object 1 is gripped at the gripping position P1) is closer to the object. The possibility that one flange portion 17 interferes with another object 1 is small. For example, in the state shown in FIG. 3A, when the gripping position P1 of the object 1b is gripped by the claws 19 and 21 and the object 1b is taken out, the flange portion 17 may interfere with other objects. The nature is small. This is because the flange portion 17 is located on the upper side. On the other hand, when the gripping position P2 of the target object 1c is gripped by the claws 19 and 21 and the target object 1b is taken out in the state of FIG. There is a high possibility of interference with the objects 1b and 1d. This is because the flange portion 17 is on the lower side. Therefore, in the example of FIG. 3A, the priority of the gripping position P1 is set higher than the priority of the gripping position P2. 4 indicates a virtual reference straight line (axis) X fixed to the object 1.
干渉度判定では、上述のように、選択された対象物1において把持可能な把持位置の優先度が、この対象物1に隣接する他の対象物1において把持可能な把持位置の優先度以上であるかを判定する。この判定は、表2の高さの順位に従って行われる。すなわち、対象物1a、対象物1c、対象物1b、対象物1dの順に行われる。ただし、対象物1aは、ステップS2で、障害物8に干渉すると判定されているので、対象物1aについては、ステップS4の干渉度判定を行わない。 In the interference degree determination, as described above, the priority of the gripping position that can be gripped by the selected object 1 is equal to or higher than the priority of the gripping position that can be gripped by another object 1 adjacent to the target object 1. Determine if there is. This determination is made in accordance with the height ranking in Table 2. That is, it is performed in the order of the object 1a, the object 1c, the object 1b, and the object 1d. However, since it is determined that the object 1a interferes with the obstacle 8 in step S2, the interference degree determination in step S4 is not performed for the object 1a.
まず、対象物1cについて、この対象物1cに隣接する対象物1b、1dと干渉度判定をする。この場合、図3(A)では、選択された対象物1cにおいて把持可能な把持位置P2の優先度は、この対象物1cに隣接する他の対象物1b、1dにおいて把持可能な把持位置P1の優先度より低い。この場合には、対象物1cは、対象物1b、1dに干渉する可能性が相対的に大きいと判定する。すなわち、選択された対象物1cを取り出す場合に、当該選択された対象物1cが、これに隣接する他の対象物1b、1dに干渉する度合いを第1の度合いとし、当該他の対象物1b、1dを取り出す場合に、当該他の対象物1b、1dが、当該選択された対象物1cに干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下ではないと否定の判定をする。従って、対象物1cを取り出す時に、これが対象物1b、1dに干渉する可能性があるとして、次の表3に示すように、「隣接対象物との干渉度判定」の行において、これらの対象物1b、1dを示す記号1b、1dが記入される。 First, the degree of interference of the object 1c with the objects 1b and 1d adjacent to the object 1c is determined. In this case, in FIG. 3A, the priority of the gripping position P2 that can be gripped by the selected object 1c is the priority of the gripping position P1 that can be gripped by the other objects 1b and 1d adjacent to the target 1c. Lower than priority. In this case, it is determined that the object 1c is relatively likely to interfere with the objects 1b and 1d. That is, when the selected object 1c is taken out, the degree to which the selected object 1c interferes with the other objects 1b and 1d adjacent thereto is set as the first degree, and the other object 1b is selected. 1d is taken out, the degree of interference of the other objects 1b and 1d with the selected object 1c is the second degree, and it is negative if the first degree is not less than the second degree. Make a decision. Therefore, when the object 1c is taken out, there is a possibility that it may interfere with the objects 1b and 1d. As shown in the following Table 3, in the row of “determination of interference with adjacent objects”, these objects Symbols 1b and 1d indicating the objects 1b and 1d are entered.
対象物1bについて、この対象物1bに隣接する対象物1a、1cと干渉度判定をする。この場合、図3(A)では、選択された対象物1bにおいて把持可能な把持位置P1の優先度は、この対象物1bに隣接する他の対象物1a、1cにおいてそれぞれ把持可能な把持位置P1、P2の優先度以上である。この場合には、対象物1bは、対象物1a、1cに干渉する可能性が小さいと判定する。すなわち、選択された対象物1bを取り出す場合に、当該選択された対象物1bが、これに隣接する他の対象物1a、1cに干渉する度合いを第1の度合いとし、当該他の対象物1a、1cを取り出す場合に、当該他の対象物1a、1cが、当該選択された対象物1bに干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であると肯定の判定する。従って、表3に示すように、「隣接対象物との干渉度判定」の行において、対象物1bについて、その旨を示す記号(○印)が記入される。 The degree of interference with the objects 1a and 1c adjacent to the object 1b is determined for the object 1b. In this case, in FIG. 3A, the priority of the gripping position P1 that can be gripped by the selected target object 1b is the gripping position P1 that can be gripped by the other target objects 1a and 1c adjacent to the target object 1b. , P2 or higher. In this case, it is determined that the object 1b is less likely to interfere with the objects 1a and 1c. That is, when the selected object 1b is taken out, the degree to which the selected object 1b interferes with the other objects 1a and 1c adjacent thereto is set as the first degree, and the other object 1a is selected. When taking out 1c, the degree to which the other objects 1a and 1c interfere with the selected object 1b is set as the second degree, and it is affirmed that the first degree is equal to or less than the second degree. judge. Therefore, as shown in Table 3, in the row of “determination of interference with adjacent object”, a symbol (◯ mark) indicating that is entered for the object 1b.
対象物1dについて、この対象物1dに隣接する対象物1cと干渉度判定をする。この場合、図3(A)では、選択された対象物1dにおいて把持可能な把持位置P1の優先度は、この対象物1dに隣接する他の対象物1cにおいて把持可能な把持位置P2の優先度より高い。この場合には、対象物1dは、対象物1cに干渉する可能性が相対的に小さいと判定する。すなわち、選択された対象物1dを取り出す場合に、当該選択された対象物1dが、これに隣接する他の対象物1cに干渉する度合いを第1の度合いとし、当該他の対象物1cを取り出す場合に、当該他の対象物1cが、当該選択された対象物1dに干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であると肯定の判定する。従って、表3に示すように、「隣接対象物との干渉度判定」の行において、対象物1dについて、その旨を示す記号(○印)が記入される。 For the object 1d, the degree of interference with the object 1c adjacent to the object 1d is determined. In this case, in FIG. 3A, the priority of the gripping position P1 that can be gripped by the selected object 1d is the priority of the gripping position P2 that can be gripped by another object 1c adjacent to the target 1d. taller than. In this case, it is determined that the object 1d has a relatively low possibility of interfering with the object 1c. That is, when the selected object 1d is taken out, the degree to which the selected object 1d interferes with another object 1c adjacent thereto is set as the first degree, and the other object 1c is taken out. In this case, the degree of interference of the other object 1c with the selected object 1d is set as the second degree, and it is determined that the first degree is equal to or less than the second degree. Therefore, as shown in Table 3, in the row of “determination of interference with adjacent object”, a symbol (◯ mark) indicating that is entered for the object 1d.
なお、干渉度判定の対象となっている対象物1に隣接する他の対象物1が、今回、ステップS1で認識されていない場合には、この対象物1が当該他の対象物に干渉する可能性が小さいとする。すなわち、干渉度判定の対象となっているこの対象物1について、肯定の判定をする。 In addition, when the other target object 1 adjacent to the target object 1 which is the target of the interference degree determination is not recognized at step S1 this time, the target object 1 interferes with the other target object. The possibility is small. That is, an affirmative determination is made for the object 1 that is the target of the interference degree determination.
ステップS5において、把持順決定装置7により、ステップS4の結果に基づいて取り出し順序を定め、これを出力する。すなわち、ステップS5において、ステップS4の判定が否定された対象物1については取り出し順序に組み入れずに、ステップS4の判定が肯定された順に複数の対象物1を組み入れた取り出し順序を示す把持順指令を、把持順決定装置7から制御装置9に出力する。表3の例では、この取り出し順序は、対象物1b、対象物1dの順である。 In step S5, the gripping order determination device 7 determines the extraction order based on the result of step S4, and outputs this. In other words, in step S5, the object 1 for which the determination in step S4 is negative is not included in the extraction order, but the gripping order command indicating the extraction order in which a plurality of objects 1 are incorporated in the order in which the determination in step S4 is affirmed. Is output from the gripping order determination device 7 to the control device 9. In the example of Table 3, the extraction order is the order of the object 1b and the object 1d.
ステップS6において、ステップS5で定められた取り出し順序に従って、複数の対象物1を把持して取り出す。すなわち、ステップS6において、制御装置9は、把持順指令が示す取り出し順序に従って、設置スペースSの対象物1を1つずつ順に把持して取り出し、取り出した対象物1を別の場所へ置く。これにより、取り出された対象物1b、1dについて、次の表4のように、「取り出しフラグ」を「0」から「1」に変更する。また、ステップS6で対象物1b、1dを取り出した直後では、図3(A)から図3(B)の状態になっている。 In step S6, the plurality of objects 1 are grasped and taken out according to the take-out order determined in step S5. That is, in step S6, the control device 9 grips and takes out the objects 1 in the installation space S one by one in accordance with the take-out order indicated by the gripping order command, and places the taken-out objects 1 in another place. As a result, “takeout flag” is changed from “0” to “1” for the taken objects 1b and 1d as shown in Table 4 below. Further, immediately after the objects 1b and 1d are taken out in step S6, the state is changed from FIG. 3 (A) to FIG. 3 (B).
ステップS7において、把持順決定装置7により、ステップS5において取り出し順序に組み入れなかった対象物1があるかどうかを判断する。取り出し順序に組み入れなかった対象物1は、ステップS4の判定が否定されたことにより、ステップS5において取り出し順序に組み入れなかった対象物1である。ステップS7において、取り出し順序に組み入れなかった対象物1がないと判断された場合には、そのまま、ステップS1へ戻る。一方、ステップS7において、取り出し順序に組み入れなかった対象物1があると判断される場合には、この対象物1を、以下のように、ロボットハンド3が、設置スペースSから把持して取り出す。 In step S7, the gripping order determination device 7 determines whether there is an object 1 that has not been incorporated in the extraction order in step S5. The object 1 that has not been incorporated into the take-out order is the object 1 that has not been incorporated into the take-out order in Step S5 due to the negative determination in Step S4. If it is determined in step S7 that there is no object 1 that has not been incorporated in the extraction order, the process directly returns to step S1. On the other hand, when it is determined in step S7 that there is an object 1 that has not been incorporated in the removal order, the robot hand 3 grips and removes the object 1 from the installation space S as follows.
すなわち、ステップS5において取り出し順序に組み入れなかった対象物1を取り出す旨の指令が、把持順決定装置7から制御装置9に出力される。制御装置9は、この指令に従って、該当する対象物1を、ロボットハンド3が、設置スペースSから把持して取り出すようにロボットハンド3を制御する。 That is, a command to take out the object 1 that has not been incorporated in the take-out order in step S5 is output from the gripping order determining device 7 to the control device 9. In accordance with this command, the control device 9 controls the robot hand 3 so that the robot object 3 grips and takes out the target object 1 from the installation space S.
ステップS7において、ステップS5において取り出し順序に組み入れなかった対象物1が複数ある場合には、ロボットハンド3は、ステップS1で認識された位置が高い順に、これらの対象物1を、設置スペースSから把持して取り出すのがよい。その旨の指令が、把持順決定装置7から制御装置9に出力され、これにより、制御装置9は、認識された位置が高い順に複数の対象物1を把持して取り出すようにロボットハンド3を制御する。 In step S7, when there are a plurality of objects 1 that are not incorporated in the extraction order in step S5, the robot hand 3 moves these objects 1 from the installation space S in descending order of the positions recognized in step S1. It is good to grasp and take out. A command to that effect is output from the gripping order determination device 7 to the control device 9, whereby the control device 9 moves the robot hand 3 so as to grip and take out the plurality of objects 1 in order of the recognized positions. Control.
ステップS7は、図3(B)の例では次のように行われる。 Step S7 is performed as follows in the example of FIG.
表4において、高さの順位に従って、1番目のものから順に、取り出すべき対象物かどうかを判断する表検索を行い、取り出すべきと判断された対象物を取り出す。詳しくは、次の通りである。
最初に、 表4において、高さの順位が1番目の対象物1aは、「障害物判定」が「×」になっているので、把持順決定装置7は、対象物1aを取り出さないと判断する。
次に、高さの順位が2番目の対象物1cは、「隣接対象物との干渉度判定」の行において、対象物1b、1dを示す記号1b、1dが記入されているので、把持順決定装置7は、表4において、対象物1b、1dの「取り出しフラグ」を参照する。対象物1b、1dの「取り出しフラグ」は、いずれも1になっている。従って、把持順決定装置7は、対象物1cを、取り出すべきであると判断する。すなわち、把持順決定装置7は、対象物1cを取り出す旨の指令を制御装置9に出力する。制御装置9は、ロボットハンド3に対象物1cを取り出させ、これにより、図3(B)から図3(C)の状態になる。次いで、把持順決定装置7は、対象物1cの「取り出しフラグ」を0から1に変える。その結果、表4は、下記の表5に更新される。
次に、表5において、高さの順位が3番目の対象物1bは、「取り出しフラグ」が1になっているので、把持順決定装置7は、対象物1bを無視する。
次に、表5において、高さの順位が4番目の対象物1dは、「取り出しフラグ」が1になっているので、把持順決定装置7は、対象物1bを無視する。
In Table 4, according to the order of height, a table search is performed in order from the first to determine whether the object is to be extracted, and the objects determined to be extracted are extracted. Details are as follows.
First, in Table 4, since the object 1a having the first height ranking has an “obstacle determination” of “x”, the gripping order determination device 7 determines that the object 1a is not taken out. To do.
Next, since the object 1c with the second highest rank is filled with the symbols 1b and 1d indicating the objects 1b and 1d in the row of “determination of interference with adjacent objects”, the grasping order In Table 4, the determining device 7 refers to the “takeout flag” of the objects 1b and 1d. The “takeout flags” of the objects 1b and 1d are all 1. Accordingly, the gripping order determination device 7 determines that the object 1c should be taken out. In other words, the gripping order determination device 7 outputs a command for taking out the object 1 c to the control device 9. The control device 9 causes the robot hand 3 to take out the object 1c, whereby the state is changed from FIG. 3 (B) to FIG. 3 (C). Next, the gripping order determination device 7 changes the “takeout flag” of the object 1 c from 0 to 1. As a result, Table 4 is updated to Table 5 below.
Next, in Table 5, since the “extraction flag” is “1” for the object 1b with the third highest rank, the grasping order determination device 7 ignores the object 1b.
Next, in Table 5, since the “extraction flag” is “1” for the object 1d having the fourth height, the gripping order determination device 7 ignores the object 1b.
その後、再び、表5において、高さの順位に従って、1番目のものから順に、取り出すべき対象物かどうかを判断をする表検索を行い、取り出すべきと判断された対象物を取り出す。詳しくは、次の通りである。
最初に、表5において、高さの順位が1番目の対象物1aは、「障害物判定」が「×」になっているので、把持順決定装置7は、対象物1aを取り出さないと判断する。
次に、 表5において、高さの順位が2番目の対象物1cは、「取り出しフラグ」が1になっているので、把持順決定装置7は、対象物1cを無視する。
次に、表5において、高さの順位が3番目の対象物1bは、「取り出しフラグ」が1になっているので、把持順決定装置7は、対象物1bを無視する。
次に、表5において、高さの順位が4番目の対象物1dは、「取り出しフラグ」が1になっているので、把持順決定装置7は、対象物1bを無視する。
今回の表検索では、取り出すべき対象物1が1つも無かったので、ステップS1で認識された対象物1の中で、取り出せるものは無いとして、ステップS7を終えて、ステップS1へ戻る。
After that, again in Table 5, according to the order of height, in order from the first one, a table search is performed to determine whether or not the object is to be taken out, and the objects that are judged to be taken out are taken out. Details are as follows.
First, in Table 5, since the object 1a having the first height ranking has an “obstacle determination” of “x”, the gripping order determination device 7 determines that the object 1a is not taken out. To do.
Next, in Table 5, since the “takeout flag” is “1” for the object 1c with the second highest rank, the grasping order determination device 7 ignores the object 1c.
Next, in Table 5, since the “extraction flag” is “1” for the object 1b with the third highest rank, the grasping order determination device 7 ignores the object 1b.
Next, in Table 5, since the “extraction flag” is “1” for the object 1d having the fourth height, the gripping order determination device 7 ignores the object 1b.
In this table search, there is no target 1 to be extracted. Therefore, it is determined that there is no target 1 recognized in step S1, and step S7 is finished and the process returns to step S1.
このように、ステップS6とステップS7で複数の対象物1を取り出すので、1回のステップS1における認識で、より多くの対象物1を取り出すことができる。しかも、ステップS4〜S7により、干渉する度合いの小さい対象物1が先に取り出されるので、対象物1を取り出す時に、この対象物1が隣接する対象物1に干渉する可能性が小さくなる。 Thus, since the some target object 1 is taken out by step S6 and step S7, more target objects 1 can be taken out by recognition in one step S1. In addition, since the object 1 having a small degree of interference is extracted first in steps S4 to S7, the possibility that the object 1 interferes with the adjacent object 1 is reduced when the object 1 is extracted.
ステップ7の後に、新たに、上述と同様にステップS1〜S7を行う。図3(C)の場合には、次のように、ステップS1〜S7を新たに行う。 Steps S1 to S7 are newly performed after step 7 in the same manner as described above. In the case of FIG. 3C, steps S1 to S7 are newly performed as follows.
ステップS1において、認識装置5により、設置スペースSに残っている対象物1f、1g,1hの3次元的な位置と姿勢を認識する。 In step S1, the recognition device 5 recognizes the three-dimensional positions and postures of the objects 1f, 1g, and 1h remaining in the installation space S.
ステップS2において、ステップS1で認識された複数の対象物1f,1g,1hを、上方に位置するものから順に選択する。図3(C)では、複数の対象物1f,1g,1hは、高さが同じであるので、これらの高さの順位は任意に定められてよい。ここでは、複数の対象物1f,1g,1hの順に高さの順位を定める。従って、把持順決定装置7により、表5のデータは次の表6のように更新される。更新された表6においては、新たに認識された対象物1f,1g,1hについての行が、追加されている。 In step S2, a plurality of objects 1f, 1g, and 1h recognized in step S1 are selected in order from the one located above. In FIG. 3C, the plurality of objects 1f, 1g, and 1h have the same height, and therefore the order of the heights may be arbitrarily determined. Here, the height order is determined in the order of the plurality of objects 1f, 1g, and 1h. Accordingly, the data in Table 5 is updated as shown in Table 6 below by the gripping order determination device 7. In the updated table 6, rows for newly recognized objects 1f, 1g, and 1h are added.
ステップS3において、障害物判定を行う。図3(C)の例では、複数の対象物1f,1g,1hの真上には、障害物8が存在しないので、複数の対象物1f,1g,1hは、障害物8に干渉しないと判定される。従って、表6における「障害物判定」の列において、対象物1f,1g,1hについて、衝突しない旨の記号(○印)が記入される。これにより、表6のデータは、次の表7のようになる。 In step S3, obstacle determination is performed. In the example of FIG. 3C, since the obstacle 8 does not exist immediately above the plurality of objects 1f, 1g, 1h, the objects 1f, 1g, 1h must interfere with the obstacle 8. Determined. Therefore, in the column of “obstacle determination” in Table 6, a symbol (◯ mark) indicating that the objects 1f, 1g, and 1h do not collide is entered. As a result, the data in Table 6 is as shown in Table 7 below.
ステップS4において、ステップS2で選択された順に複数の対象物1について干渉度判定を行う。
干渉度判定では、選択された対象物1において把持可能な把持位置の優先度が、この対象物1に隣接する他の対象物1において把持可能な把持位置の優先度以上であるかを判定する。この判定は、表7の高さの順位に従って行われる。すなわち、対象物1f,1g,1hの順に行われる。より詳しくは、ステップS2で障害物8に干渉すると判定されておらず、表7において、「取り出しフラグ」が「0」になっている複数の対象物1f,1g,1hについて、ステップS4を行う。
In step S4, the degree of interference is determined for a plurality of objects 1 in the order selected in step S2.
In the interference degree determination, it is determined whether the priority of the gripping position that can be gripped by the selected object 1 is equal to or higher than the priority of the gripping position that can be gripped by another object 1 adjacent to the target object 1. . This determination is performed in accordance with the height ranking in Table 7. That is, it is performed in the order of the objects 1f, 1g, and 1h. More specifically, step S4 is performed for a plurality of objects 1f, 1g, and 1h that are not determined to interfere with the obstacle 8 in step S2 and whose “takeout flag” is “0” in Table 7. .
対象物1f,1g,1hの干渉度判定は、上述と同様に行われる。その結果は、次のようになる。
対象物1fについては、これを取り出す時に、これが隣接する対象物1gに干渉する可能性があるとする(すなわち、否定の判定をする)。従って、対象物1fについて、下記の表8のように、「隣接対象物との干渉度判定」の行において、対象物1gを示す記号が記入される。
対象物1gについては、これが隣接する対象物1f、1hに干渉する可能性が低いとする(すなわち、肯定の判定をする)。従って、対象物1gについては、表8のように、「隣接対象物との干渉度判定」の行において、その旨を示す記号(○印)が記入される。
対象物1hについては、これを取り出す時に、これが隣接する対象物1gに干渉する可能性があるとする(すなわち、否定の判定をする)。従って、対象物1hについて、表8のように、「隣接対象物との干渉度判定」の行において、対象物1gを示す記号が記入される。
The interference degree determination of the objects 1f, 1g, and 1h is performed in the same manner as described above. The result is as follows.
It is assumed that the object 1f may interfere with the adjacent object 1g when it is taken out (that is, a negative determination is made). Therefore, for the object 1f, as shown in Table 8 below, a symbol indicating the object 1g is entered in the “determination of interference with adjacent object” row.
It is assumed that the object 1g is unlikely to interfere with the adjacent objects 1f and 1h (that is, a positive determination is made). Therefore, for the object 1g, as shown in Table 8, a symbol (◯ mark) indicating that is entered in the row of “determination of interference with adjacent object”.
It is assumed that the object 1h may interfere with the adjacent object 1g when it is taken out (that is, a negative determination is made). Therefore, for the object 1h, as shown in Table 8, a symbol indicating the object 1g is entered in the “determination of interference with adjacent object” row.
ステップS5において、ステップS4の結果に基づいて取り出し順序を定め、これを出力する。すなわち、ステップS5において、ステップS4の判定が否定された対象物1f,1hについては取り出し順序に組み入れずに、ステップS4の判定が肯定された順に対象物1を組み入れた取り出し順序を示す把持順指令を制御装置9に出力する。図3(C)の例では、この取り出し順序に組み入れられたものは、対象物1gだけである。 In step S5, the extraction order is determined based on the result of step S4, and this is output. In other words, in step S5, the objects 1f and 1h for which the determination in step S4 is negative are not included in the extraction order, but the grasping order command indicating the extraction order in which the objects 1 are incorporated in the order in which the determination in step S4 is affirmed. Is output to the control device 9. In the example of FIG. 3C, only the object 1g is incorporated in this take-out order.
ステップS6において、ステップS5で定められた取り出し順序に従って、ロボットハンド3により複数の対象物1を把持して取り出す。図3(C)の例では、対象物1gを、設置スペースSから、ロボットハンド3により把持して取り出す。これにより、取り出された対象物1gについて、下記表9のように、「取り出しフラグ」を「0」から「1」に変更する。 In step S6, a plurality of objects 1 are grasped and taken out by the robot hand 3 in accordance with the taking-out order determined in step S5. In the example of FIG. 3C, the object 1g is grasped and taken out from the installation space S by the robot hand 3. As a result, the “takeout flag” is changed from “0” to “1” as shown in Table 9 below for the taken out object 1g.
次いで、ステップS7において、ステップS5において取り出し順序に組み入れなかった対象物1f,1hを、順に、ロボットハンド3により、設置スペースSから把持して取り出す。なお、この後、取り出していない対象物1a,1eが残る。これらの対象物1a,1eは、ロボットハンド3により取り出せない対象物1となる。すなわち、対象物1aは、障害物8のために取り出すことができず、対象物1eは、対象物1aの真下にあるので、その位置が認識されないことにより取り出すことができない。 Next, in step S7, the objects 1f and 1h that have not been incorporated in the extraction order in step S5 are sequentially grasped and extracted from the installation space S by the robot hand 3. After this, the objects 1a and 1e that have not been taken out remain. These objects 1 a and 1 e are objects 1 that cannot be taken out by the robot hand 3. That is, the object 1a cannot be taken out due to the obstacle 8, and the object 1e cannot be taken out because its position is not recognized because it is directly under the object 1a.
上述した本発明の実施形態によると、以下の効果が得られる。 According to the embodiment of the present invention described above, the following effects can be obtained.
ステップS4の干渉度判定において判定が否定された対象物1は取り出し順序に組み入れないので、対象物1を実際に把持して取り出す時に、対象物1が隣接する他の対象物1に干渉する可能性が小さくなる。 Since the object 1 whose determination is negative in the interference degree determination in step S4 is not included in the extraction order, the object 1 may interfere with other adjacent objects 1 when the object 1 is actually gripped and extracted. The sex becomes smaller.
また、上方に位置する対象物1から干渉度判定を行う。上方に位置する対象物1ほど、干渉度判定が否定される可能性が小さくなる。例えば、図3(A)において、対象物1b,1dが存在しない場合には、最初に、対象物1cに対して干渉度判定が行われる。この対象物1cに隣接する対象物1は存在しないので、対象物1cの干渉度判定は肯定される。
このように、干渉度判定が否定される可能性を小さくできるので、干渉度判定が肯定された対象物1を取り出し順序に効率よく組み入れることができる。
Further, the degree of interference is determined from the object 1 located above. The higher the target object 1 is, the lower the possibility that the interference degree determination is denied. For example, in FIG. 3A, when the objects 1b and 1d do not exist, the interference degree determination is first performed on the object 1c. Since there is no target object 1 adjacent to the target object 1c, the determination of the interference level of the target object 1c is affirmed.
Thus, since possibility that an interference degree determination is denied can be made small, the target object 1 by which the interference degree determination was affirmed can be efficiently integrated in the extraction order.
よって、対象物1を把持して取り出す時に、この対象物1が隣接する対象物1に干渉する可能性を小さくし、かつ、対象物1の取り出し順序を効率よく定めることができる。 Therefore, when the object 1 is grasped and taken out, the possibility that the object 1 interferes with the adjacent object 1 can be reduced, and the order in which the object 1 is taken out can be determined efficiently.
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、次の変更例1〜7のいずれかを単独で採用してもよいし、変更例1〜7を任意に組み合わせて採用してもよい。この場合、以下で説明しない点は、上述と同様である。 The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the scope of the present invention. For example, any one of the following modification examples 1 to 7 may be employed alone, or modification examples 1 to 7 may be arbitrarily combined and employed. In this case, the points not described below are the same as described above.
(変更例1)
ステップS2において、把持順決定装置7は、ステップS1で位置が認識された複数の対象物1を、上述とは異なる方法で順に選択してもよい。
例えば、把持順決定装置7は、ステップS1で位置が認識された複数の対象物1を、これらの対象物1の当該位置がそれぞれ記憶されている複数のメモリ要素の配列順序に従って選択してもよい。なお、複数のメモリ要素は、把持順決定装置7の記憶部を構成する。
代わりに、把持順決定装置7は、ステップS1でその位置が認識された順に、複数の対象物1を選択してもよい。
(Modification 1)
In step S <b> 2, the gripping order determination device 7 may sequentially select a plurality of objects 1 whose positions are recognized in step S <b> 1 by a method different from the above.
For example, the gripping order determination device 7 may select the plurality of objects 1 whose positions are recognized in step S1 according to the arrangement order of the plurality of memory elements in which the positions of these objects 1 are stored. Good. Note that the plurality of memory elements constitute a storage unit of the gripping order determination device 7.
Instead, the gripping order determination device 7 may select a plurality of objects 1 in the order in which the positions are recognized in step S1.
(変更例2)
上述では、取り出し順序に組み入れた複数の対象物1を把持して取り出した後に、新たに、ステップS1で、対象物1を認識していた。この代わりに、上述のステップS6において、ステップS5で定められた取り出し順序において1番目の対象物1を把持して取り出したら、ステップS7を省略してステップS1へ戻ってもよい。すなわち、ステップS6において、取り出し順序において2番目以降の対象物1を把持して取り出すことなく、ステップS1へ戻る。この時、取り出し順序において1番目の対象物1についてのみ、「取り出しフラグ」を「0」から「1」に変更する。これにより、取り出し順序において1番目の対象物1の下にある対象物1を、次のステップS1で認識できる。
(Modification 2)
In the above description, the object 1 is newly recognized in step S1 after the plurality of objects 1 incorporated in the taking-out order are grasped and taken out. Instead, in step S6 described above, when the first object 1 is grasped and taken out in the take-out order determined in step S5, step S7 may be omitted and the process may return to step S1. That is, in step S6, the process returns to step S1 without grasping and taking out the second and subsequent objects 1 in the take-out order. At this time, only the first object 1 in the extraction order is changed from “0” to “1”. Thereby, the target object 1 under the first target object 1 in the extraction order can be recognized in the next step S1.
このような処理により、取り出しにくい対象物1が優先して取り出されるようになる。これにより、以降において、対象物1をより円滑に取り出せる可能性が高くなる。 By such processing, the object 1 that is difficult to take out is preferentially taken out. Thereby, after that, possibility that the target object 1 can be taken out more smoothly will increase.
(変更例3)
障害物8が存在しない場合には、ステップS3の障害物判定を省略してよい。
(Modification 3)
When the obstacle 8 does not exist, the obstacle determination in step S3 may be omitted.
(変更例4)
対象物1は、図6に示す形状を有するものであってもよい。図6(B)は、図6(A)のB−B線矢視図である。図6に示す対象物1は、中央部25と、中央部25に結合され中央部25の両側に位置する側部27とを有する。また、図6の対象物1を把持する把持部4は、対象物1を吸引することにより、対象物1を吸着して把持する吸引装置である(図7を参照)。
(Modification 4)
The object 1 may have a shape shown in FIG. FIG. 6B is a view taken along line BB in FIG. The object 1 shown in FIG. 6 includes a central portion 25 and side portions 27 that are coupled to the central portion 25 and are located on both sides of the central portion 25. 6 is a suction device that sucks and holds the object 1 by sucking the object 1 (see FIG. 7).
この対象物1には、例えば、図6に示すように、把持位置P1〜P6が設定されている。把持位置P1,P2,P3には、基準値よりも高い優先度が設定されており、把持位置P4,P5,P6には、前記基準値よりも低い優先度が設定されている。すなわち、基準値よりも高い優先度の把持位置P1,P2またはP3が把持可能な姿勢(例えば、図7の対象物1aの姿勢)を対象物1がとっている状態においては、この対象物1の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっている。一方、基準値より低い優先度の把持位置P4,P5またはP6が把持可能な姿勢(例えば、図7の対象物1bの姿勢)を対象物1がとっている状態においては、この対象物1の下側部分が、水平方向または斜め上方に突出する部分を有するようになっている。
なお、この例では、把持位置P1〜P6のうち、優先度は、把持位置P1が最も高く、把持位置P2、P3がその次に高く、把持位置P4、P5がその次に高く、把持位置P6が最も低い。なお、把持位置P2,P3の優先度は同じ値であり、把持位置P4,P5の優先度は同じ値であってよい。
For example, as illustrated in FIG. 6, gripping positions P <b> 1 to P <b> 6 are set for the object 1. A higher priority than the reference value is set for the gripping positions P1, P2, and P3, and a lower priority than the reference value is set for the gripping positions P4, P5, and P6. That is, in a state where the target object 1 is in a posture in which the grip position P1, P2 or P3 having a higher priority than the reference value can be gripped (for example, the posture of the target object 1a in FIG. 7), the target object 1 The lower side portion does not have a portion protruding in the horizontal direction and does not have a portion protruding obliquely upward. On the other hand, in a state where the target object 1 is in a posture in which the grip position P4, P5 or P6 having a lower priority than the reference value can be gripped (for example, the posture of the target object 1b in FIG. 7), The lower portion has a portion protruding in the horizontal direction or obliquely upward.
In this example, among the gripping positions P1 to P6, the gripping position P1 has the highest priority, the gripping positions P2 and P3 are the second highest, the gripping positions P4 and P5 are the second highest, and the gripping position P6. Is the lowest. The priorities of the gripping positions P2 and P3 may be the same value, and the priorities of the gripping positions P4 and P5 may be the same value.
上述のステップS1において位置と姿勢が認識された対象物1において、図6のように、把持可能な複数の把持位置がある場合には、これらの把持位置の優先度のうち最も高い優先度が、ステップS4の干渉度判定において、比較される。すなわち、干渉度判定において、ステップS2で選択された対象物1において把持可能な1つまたは複数の把持位置の優先度のうち最も高い優先度が、この対象物1に隣接する他の対象物1において把持可能な1つまたは複数の把持位置の優先度のうち最も高い優先度以上であるかを判定する。
また、ステップS6,S7において、ロボットハンド3は、対象物1における把持可能な複数の把持位置のうち、最も高い優先度の把持位置で対象物1を把持することにより、対象物1を取り出す。
If the object 1 whose position and orientation are recognized in step S1 described above has a plurality of gripping positions that can be gripped as shown in FIG. 6, the highest priority among the priorities of these gripping positions is given. In the determination of the degree of interference in step S4, comparison is made. That is, in the interference determination, the other priority object 1 adjacent to the target object 1 has the highest priority among the priority levels of one or more gripping positions that can be gripped by the target object 1 selected in step S2. It is determined whether or not the priority of one or a plurality of gripping positions that can be gripped is higher than the highest priority.
In steps S <b> 6 and S <b> 7, the robot hand 3 takes out the target 1 by gripping the target 1 at the highest priority gripping position among a plurality of gripping positions that can be gripped by the target 1.
(変更例5)
上述のステップS2の後であってステップS4の前において、ステップS2の障害物判定に加えて、または、この障害物判定の代わりに、把持順決定装置7は、次の姿勢判定、高さ判定および一致度判定の1つまたは複数を行ってもよい。
(Modification 5)
After the above-described step S2 and before step S4, in addition to or instead of the obstacle determination in step S2, the gripping order determination device 7 performs the next posture determination and height determination. One or more of the degree of coincidence determination may be performed.
姿勢判定では、ステップS2で選択された各対象物1について、ステップS1で認識された対象物1の姿勢が、把持可能な姿勢範囲内にあるかを判定する。この姿勢判定において、その姿勢が把持可能な姿勢範囲内にないと判定された対象物1については、ステップS4の干渉度判定を行わない。すなわち、姿勢判定で、その姿勢が把持可能な姿勢範囲内にあると判定された対象物1について、ステップS2で選択された順にステップS4を行う。 In the posture determination, for each target object 1 selected in step S2, it is determined whether the posture of the target object 1 recognized in step S1 is within a grippable posture range. In this posture determination, the interference degree determination in step S4 is not performed for the target object 1 that is determined not to be within the gripping posture range. That is, step S4 is performed in the order selected in step S2 for the target object 1 determined by the posture determination to be within the gripping posture range.
このような姿勢判定は、図4に示す対象物1の場合には、例えば図8(A)または図8(B)のように、鉛直方向Dzに対する対象物1の基準直線(軸)Xの傾き角度θが、上限角度(例えば45度)以下である場合には、対象物1の姿勢は把持可能な範囲内にあると判定し、そうでない場合には、対象物1の姿勢は把持可能な範囲内にないと判定する。図8(A)と図8(B)で例示されている対象物1は、図4に示す対象物1と同じものである。なお、傾き角度θは、0度より大きく90度より小さい角度として定義される。 In the case of the object 1 shown in FIG. 4, such posture determination is performed on the reference straight line (axis) X of the object 1 with respect to the vertical direction Dz, for example, as shown in FIG. 8A or 8B. When the tilt angle θ is equal to or smaller than the upper limit angle (for example, 45 degrees), it is determined that the posture of the target object 1 is within the grippable range. Otherwise, the posture of the target object 1 can be gripped. It is determined that it is not within the proper range. The object 1 illustrated in FIGS. 8A and 8B is the same as the object 1 shown in FIG. The tilt angle θ is defined as an angle that is greater than 0 degree and less than 90 degrees.
図4に示す対象物1の場合には、基準直線Xは、次のように定義されてよい。対象物1の基準直線Xが鉛直方向Dzを向いている場合に、把持部4の爪19、21を、鉛直方向Dzに上方から対象物1の穴18に挿入することにより、鉛直方向Dzに関して、対象物1の把持位置P1またはP2に把持部4の爪19、21を位置決めできる。この位置決めにより、把持部4が対象物1に当たって対象物1を動かすことはない。次いで、爪19、21を水平方向に開くことにより、把持部4の爪19、21により対象物1を把持できる。 In the case of the object 1 shown in FIG. 4, the reference straight line X may be defined as follows. When the reference straight line X of the object 1 is oriented in the vertical direction Dz, the claws 19 and 21 of the grip portion 4 are inserted into the hole 18 of the object 1 from above in the vertical direction Dz, so that the vertical direction Dz is related. The claws 19 and 21 of the grip portion 4 can be positioned at the grip position P1 or P2 of the object 1. By this positioning, the grip portion 4 does not hit the object 1 and move the object 1. Next, the object 1 can be gripped by the claws 19 and 21 of the grip portion 4 by opening the claws 19 and 21 in the horizontal direction.
高さ判定では、ステップS2で選択された各対象物1について、ステップS1で認識された対象物1の高さ(位置)が、制限高さより高いかを判定する。この高さ判定において、その高さが、制限高さより高くないと判定された対象物1については、ステップS4の干渉度判定を行わない。すなわち、高さ判定で、対象物1の高さが制限高さより高いと判定された対象物1について、ステップS2で選択された順にステップS4を行う。 In the height determination, for each target object 1 selected in step S2, it is determined whether the height (position) of the target object 1 recognized in step S1 is higher than the limit height. In this height determination, the interference degree determination in step S4 is not performed for the object 1 whose height is determined not to be higher than the limit height. That is, step S4 is performed in the order selected in step S2 for the object 1 that is determined to be higher than the limit height in the height determination.
このような高さ判定において、対象物1の高さが制限高さより高いと判定された対象物1が1つもない場合には、制限高さを、設定量だけ低くして、高さ判定を再び行う。このように、ステップS2の後であってステップS4の前において、ステップS2で選択された対象物1のうち、1つ以上(好ましくは、2つ以上)の対象物1の高さが制限高さより高いと判定されるまで、高さ判定と、制限高さを設定量だけ低くすることとを、順に繰り返す。 In such a height determination, when there is no target 1 determined that the height of the target 1 is higher than the limit height, the limit height is lowered by a set amount, and the height determination is performed. Do it again. Thus, after step S2 and before step S4, the height of one or more (preferably two or more) objects 1 among the objects 1 selected in step S2 is the restricted height. Until it is determined that the height is higher than the predetermined height, the height determination and lowering the limit height by the set amount are repeated in order.
一致度判定では、ステップS2で選択された各対象物1について、ステップS1で認識された対象物1の3次元的な形状とモデル形状との一致度が、しきい値以上であるかを判定する。モデル形状は、予め作成されたデータであり、対象物1の3次元形状を表す。 In the degree of coincidence determination, for each object 1 selected in step S2, it is determined whether the degree of coincidence between the three-dimensional shape of the object 1 recognized in step S1 and the model shape is greater than or equal to a threshold value. To do. The model shape is data created in advance and represents the three-dimensional shape of the object 1.
この一致度判定において、ステップS1で認識された対象物1の3次元的な形状とモデル形状との一致度が、しきい値より高くないと判定された対象物1については、ステップS4の干渉度判定を行わない。すなわち、一致度判定で、その3次元的な形状とモデル形状との一致度がしきい値より高いと判定された対象物1について、ステップS2で選択された順にステップS4を行う。なお、一致度の値が高いほど、認識された対象物1の3次元的な形状とモデル形状とは、より高く一致している。 In this coincidence determination, for the object 1 determined that the coincidence between the three-dimensional shape of the object 1 recognized in step S1 and the model shape is not higher than the threshold value, the interference in step S4 is performed. Do not perform degree judgment. That is, step S4 is performed in the order selected in step S2 for the target object 1 that has been determined in the matching degree determination that the matching degree between the three-dimensional shape and the model shape is higher than the threshold value. Note that the higher the matching value, the higher the three-dimensional shape of the recognized object 1 matches the model shape.
一致度は、次のように求められてよい。仮想的な3次元空間において、認識された対象物1の3次元的な形状と、モデル形状とを、互いに対して回転および併進させることにより、両者を最も一致させる。この状態における両者が一致している度合いを一致度とする。 The degree of coincidence may be obtained as follows. In the virtual three-dimensional space, the three-dimensional shape of the recognized object 1 and the model shape are rotated and translated with respect to each other, so that they are most matched. The degree of coincidence in this state is defined as the degree of coincidence.
(変更例6)
上述のステップS4において、選択された対象物1において把持可能な把持位置の優先度が、この対象物1に隣接する他の対象物1において把持可能な把持位置の優先度と同じである場合には、次のようにしてもよい。すなわち、当該選択された対象物1の基準直線Xと鉛直方向とのなす角度が、当該他の対象物1の基準直線Xと鉛直方向とのなす角度より大きい場合には、把持順決定装置7は、ステップS5において、当該選択された対象物1を取り出し順序に組み入れないようにする。
(Modification 6)
In the above-described step S4, when the priority of the gripping position that can be gripped by the selected object 1 is the same as the priority of the gripping position that can be gripped by another object 1 adjacent to the target object 1. May be as follows. That is, when the angle formed by the reference straight line X of the selected object 1 and the vertical direction is larger than the angle formed by the reference straight line X of the other object 1 and the vertical direction, the gripping order determining device 7 In step S5, the selected object 1 is not included in the extraction order.
ここでの基準直線Xは、次のように定義される。すなわち、その基準直線Xが鉛直方向を向いている姿勢で、対象物1が水平面に置かれた場合に、対象物1は、この姿勢のままで、水平面によってのみ支持される。 The reference straight line X here is defined as follows. That is, when the target 1 is placed on a horizontal plane in a posture in which the reference straight line X faces the vertical direction, the target 1 is supported only by the horizontal plane in this posture.
(変更例7)
上述のステップS7を省略してもよい。この場合、ステップS6を終えたら、ステップS1へ戻り、ステップS1〜S6を再び行う。
(Modification 7)
Step S7 described above may be omitted. In this case, after step S6 is completed, the process returns to step S1 and steps S1 to S6 are performed again.
1,1a〜1h 対象物、3 ロボットハンド、4 把持部、5 認識装置、7 把持順決定装置、8 障害物、9 制御装置、10 対象物取り出し装置、11a〜11d リンク、13a〜13c 関節、15 設置台、17 フランジ部、18 対象物の穴、19,21 爪 、23 内周面、25 中央部、27 側部、S 設置スペース 1, 1a-1h Object, 3 Robot hand, 4 Gripping part, 5 Recognition device, 7 Grasping order determination device, 8 Obstacle, 9 Control device, 10 Object take-out device, 11a-11d Link, 13a-13c Joint, 15 installation base, 17 flange part, 18 object hole, 19, 21 claw, 23 inner peripheral surface, 25 center part, 27 side part, S installation space
Claims (7)
対象物を把持するロボットハンドと、
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、
定められた取り出し順序に従って、設置スペースから、対象物を把持して取り出すようにロボットハンドを制御する制御装置と、を備え、
把持順決定装置は、
(A)位置が認識された複数の対象物を順に選択し、
(B)選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第1の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行い、
(C)この判定の結果を否定にする前記他の対象物が存在する場合には、前記判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定める、対象物取り出し装置。 An object take-out device that sequentially holds and takes out a plurality of objects placed in an installation space,
A robot hand that holds an object;
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A grasping order determining device for determining the order of taking out a plurality of objects whose positions are recognized;
A control device for controlling the robot hand so as to grasp and take out the object from the installation space in accordance with a predetermined take-out order;
The gripping order determination device is
(A) Select a plurality of objects whose positions are recognized in order,
(B) Perform interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(C) If there is the other object that negates the result of this determination, the objects for which the determination is denied are not included in the order of extraction, and a plurality of objects are determined in the order in which the determination is affirmed. defining the extraction order of the objects, object extraction device.
前記認識装置は、前記複数の対象物の位置と姿勢を認識し、
対象物において複数の把持位置が設定されており、当該複数の把持位置にはそれぞれ優先度が予め設定されており、
予め定めた基準値より高い優先度の把持位置が把持可能な第1の姿勢を対象物がとっている第1の状態においては、この対象物の下側部分が、水平方向に突出する部分を有さず、かつ、斜め上方に突出する部分を有さないようになっており、
前記基準値より低い優先度の把持位置が把持可能な第2の姿勢を対象物がとっている第2の状態においては、この対象物の下側部分が、水平方向または斜め上方に突出する部分を有するようになっており、
前記第1の状態では、前記基準値より低い優先度の前記把持位置は把持可能ではなく、前記第2の状態では、前記基準値より高い優先度の前記把持位置は把持可能ではなく、
把持順決定装置は、干渉度判定において、
選択された対象物において把持可能な1つまたは複数の把持位置の優先度のうち最も高い優先度が、この対象物に隣接する他の対象物において把持可能な1つまたは複数の把持位置の優先度のうち最も高い優先度以上であるかを判定し、
この判定が肯定された場合には、第1の度合いが第2の度合い以下であると判定する、請求項1または2に記載の対象物取り出し装置。 The robot hand grips an object and takes it out upward,
The recognition device recognizes positions and postures of the plurality of objects;
A plurality of gripping positions are set on the object, and priorities are set in advance for the plurality of gripping positions,
In a first state in which the object is in a first posture in which a grip position with a higher priority than a predetermined reference value can be gripped, the lower part of the object is a part protruding in the horizontal direction. It has no part that protrudes diagonally upward,
In the second state in which the object is in the second posture in which the grip position with a lower priority than the reference value can be gripped, the lower part of the object protrudes horizontally or obliquely upward And have
In the first state, the grip position with a priority lower than the reference value is not grippable, and in the second state, the grip position with a priority higher than the reference value is not grippable,
The gripping order determination device determines the degree of interference,
Of the one or more gripping positions that can be gripped by the selected object, the highest priority is the priority of the one or more gripping positions that can be gripped by another object adjacent to the object. To determine if it ’s higher than the highest priority ,
If this determination is affirmative, determining that the first degree is less than or equal to the second degree, the object extraction device according to claim 1 or 2.
選択された各対象物について、障害物判定を行い、
障害物判定では、対象物を把持して取り出すときに、当該対象物が障害物に衝突するかを判定し、
衝突すると判定された対象物について、干渉度判定を行わず、かつ、当該対象物を取り出し順序に組み入れない、請求項1、2または3に記載の対象物取り出し装置。 The gripping order determination device is
For each selected object, perform obstacle determination,
In the obstacle determination, when the object is grasped and taken out, it is determined whether the object collides with the obstacle,
For the determined object and collides, without interference determination, and not incorporated in order take-out the object, the object extraction device according to claim 1, 2 or 3.
設置スペースに置かれている複数の対象物の位置を認識する認識装置と、
位置が認識された複数の対象物の取り出し順序を定める把持順決定装置と、を用意し、
(a)認識装置により、複数の対象物の位置を認識し、
(b)把持順決定装置により、位置が認識された複数の対象物を順に選択し、
(c)把持順決定装置により、選択された順に複数の対象物について干渉度判定を行い、
干渉度判定では、選択された対象物を取り出す場合に、当該選択された対象物がこれに隣接する他の対象物に干渉する度合いを第1の度合いとし、当該他の対象物を取り出す場合に、当該他の対象物が当該選択された対象物に干渉する度合いを第2の度合いとし、第1の度合いが第2の度合い以下であるかの判定を行い、
(d)この判定の結果を否定にする前記他の対象物が存在する場合には、把持順決定装置により、前記判定が否定された対象物については取り出し順序に組み入れずに、前記判定が肯定された順に複数の対象物の取り出し順序を定め、
(e)定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す、対象物取り出し方法。 A method of taking out a plurality of objects placed in an installation space by sequentially grasping them with a robot hand,
A recognition device for recognizing the positions of a plurality of objects placed in the installation space;
A gripping order determining device for determining the order of taking out a plurality of objects whose positions are recognized, and
(A) Recognizing the position of a plurality of objects by a recognition device;
(B) A plurality of objects whose positions are recognized are sequentially selected by the grasping order determination device,
(C) The gripping order determination device performs interference degree determination for a plurality of objects in the selected order,
In the interference degree determination, when the selected object is taken out, the degree to which the selected object interferes with another object adjacent to the selected object is a first degree, and the other object is taken out. And determining whether the other object interferes with the selected object as the second degree and determining whether the first degree is equal to or less than the second degree.
(D) if the other object to be a negative result of the determination exists, the gripping order determination device, without incorporating the sequence extraction for object the determination is negative, the determination is affirmative Determine the order of picking up multiple objects in the order
(E) A method for taking out an object in which the object is grasped and taken out by a robot hand in accordance with a predetermined taking-out order.
(g)次に、把持順決定装置により、新たに位置が認識された当該複数の対象物に対して、前記(b)(c)(d)を新たに行うことにより、当該複数の対象物の取り出し順序を新たに定め、
(h)次いで、新たに定められた取り出し順序に従って、ロボットハンドにより対象物を把持して取り出す、請求項5に記載の対象物取り出し方法。 (F) After the step (e), the position of a plurality of objects remaining in the installation space is newly recognized by newly performing the step (a).
(G) Next, by performing the above (b), (c) and (d) on the plurality of objects whose positions are newly recognized by the gripping order determination device, the plurality of objects A new order for taking out
(H) Then, according extraction order defined newly, taken by gripping the object by the robot hand, the object extraction method according to claim 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011266364A JP5936108B2 (en) | 2011-12-06 | 2011-12-06 | Object extraction apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011266364A JP5936108B2 (en) | 2011-12-06 | 2011-12-06 | Object extraction apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013119121A JP2013119121A (en) | 2013-06-17 |
JP5936108B2 true JP5936108B2 (en) | 2016-06-15 |
Family
ID=48772035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011266364A Active JP5936108B2 (en) | 2011-12-06 | 2011-12-06 | Object extraction apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5936108B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6036662B2 (en) * | 2013-11-22 | 2016-11-30 | 三菱電機株式会社 | Robot simulation apparatus, program, recording medium and method |
JP6552221B2 (en) * | 2015-03-02 | 2019-07-31 | キヤノン株式会社 | Information processing apparatus, information processing method |
JP6570036B2 (en) * | 2016-04-21 | 2019-09-04 | スズデン株式会社 | Robot hand for picking up bulk goods and system for automatically picking up bulk goods |
JP6546883B2 (en) * | 2016-06-27 | 2019-07-17 | 株式会社関ヶ原製作所 | Suspended item holding device |
JP6773588B2 (en) * | 2017-03-10 | 2020-10-21 | 株式会社東芝 | Transport device |
JP7154815B2 (en) * | 2018-04-27 | 2022-10-18 | キヤノン株式会社 | Information processing device, control method, robot system, computer program, and storage medium |
WO2021044751A1 (en) * | 2019-09-02 | 2021-03-11 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
WO2023248353A1 (en) * | 2022-06-21 | 2023-12-28 | ファナック株式会社 | Device for acquiring position data pertaining to workpiece, control device, robot system, method, and computer program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3805302B2 (en) * | 2002-12-13 | 2006-08-02 | ファナック株式会社 | Work take-out device |
JP4655309B2 (en) * | 2005-11-09 | 2011-03-23 | 株式会社Ihi | Picking order determination method, apparatus and program thereof, and picking system |
JP4940715B2 (en) * | 2006-03-15 | 2012-05-30 | 日産自動車株式会社 | Picking system |
JP5265296B2 (en) * | 2008-10-10 | 2013-08-14 | 本田技研工業株式会社 | Work removal method |
JP5289087B2 (en) * | 2009-02-10 | 2013-09-11 | ファナック株式会社 | Work picking device |
-
2011
- 2011-12-06 JP JP2011266364A patent/JP5936108B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013119121A (en) | 2013-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5936108B2 (en) | Object extraction apparatus and method | |
JP6807949B2 (en) | Interference avoidance device | |
JP6487495B2 (en) | Work removal system | |
Morrison et al. | Cartman: The low-cost cartesian manipulator that won the amazon robotics challenge | |
JP5788460B2 (en) | Apparatus and method for picking up loosely stacked articles by robot | |
CN112589791B (en) | Robotic system with wall-based packaging mechanism and method of operation thereof | |
JP5558585B2 (en) | Work picking device | |
JP4940715B2 (en) | Picking system | |
JP6805465B2 (en) | Box positioning, separation, and picking using sensor-guided robots | |
EP2345515B1 (en) | Method for picking up work pieces | |
CN105082133B (en) | Sorting plant and picking method | |
EP1905548B1 (en) | Workpiece picking apparatus | |
JP2020069636A (en) | Automated package registration system, device, and method | |
JP2014161965A (en) | Article takeout device | |
JP2022036243A (en) | Method and computing system for performing object detection and robot interaction planning based on image information generated by camera | |
CN1699033A (en) | Object picking system | |
JP7481427B2 (en) | Removal system and method | |
KR20170012455A (en) | Real-time determination of object metrics for trajectory planning | |
JP5458274B2 (en) | Gripping position calculation device and gripping position calculation method | |
KR20140037943A (en) | Component supply apparatus | |
JP2012024903A (en) | Workpiece removing device and workpiece removing method | |
JP7486986B2 (en) | Control device and program | |
CN116728399A (en) | System and method for a robotic system with object handling | |
JP6945209B1 (en) | Method and calculation system for generating a safety volume list for object detection | |
JP6948033B1 (en) | Method and calculation system for performing grip area detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160428 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5936108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |