JP6846951B2 - Robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording equipment - Google Patents
Robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording equipment Download PDFInfo
- Publication number
- JP6846951B2 JP6846951B2 JP2017040974A JP2017040974A JP6846951B2 JP 6846951 B2 JP6846951 B2 JP 6846951B2 JP 2017040974 A JP2017040974 A JP 2017040974A JP 2017040974 A JP2017040974 A JP 2017040974A JP 6846951 B2 JP6846951 B2 JP 6846951B2
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- robot
- work
- posture
- end effector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000036544 posture Effects 0.000 claims description 250
- 239000012636 effector Substances 0.000 claims description 172
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000010363 phase shift Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 101000631616 Homo sapiens Translocation protein SEC62 Proteins 0.000 description 10
- 102100029007 Translocation protein SEC62 Human genes 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Description
本発明は、ロボット設定装置、ロボットシステム、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。 The present invention relates to a robot setting device, a robot system, a robot setting method, a robot setting program, a computer-readable recording medium, and a recording device.
マニピュレータにロボットビジョンを組み合わせて、対象となるワークを撮像して高さ情報を取得した上で、適切な位置を把持(ピック又はピッキング)して、所望の位置に載置(プレース又はプレースメント)可能なロボット装置が開発されている。このようなロボット装置を用いて、バラ積みピッキングと呼ばれる、通い箱に入れられた多数のワークを、ロボットビジョンを構成するカメラやセンサ部で撮像して姿勢を把握し、適切な把持位置を把握した上で、この把持位置までロボットのアーム部を移動させ、ハンド部等のエンドエフェクタで把持して、通い箱の外の決められた位置に載置することが行われている。 By combining robot vision with a manipulator, the target work is imaged to obtain height information, and then the appropriate position is grasped (picked or picked) and placed in the desired position (placement or placement). Possible robot devices are being developed. Using such a robot device, a large number of workpieces placed in a returnable box, which is called bulk picking, are imaged by the cameras and sensors that make up the robot vision to grasp the posture and grasp the appropriate gripping position. After that, the arm portion of the robot is moved to this gripping position, gripped by an end effector such as a hand portion, and placed at a predetermined position outside the return box.
このバラ積みピッキングを正しく運用できるよう、運用前の設定段階で、バラ積みピッキングを行うロボットが、ワークをピックする把持位置や、載置する載置位置を予め教示(ティーチング)し、基準となる把持位置や姿勢などを登録しておく必要がある。 In order to operate this bulk picking correctly, the robot performing bulk picking teaches (teaching) the gripping position to pick the work and the mounting position to be placed in advance at the setting stage before operation, and serves as a reference. It is necessary to register the gripping position and posture.
しかしながら、従来のピッキングのための把持位置と姿勢のティーチングは、載置を考慮せずに行うものであった。このため、ピッキングでは問題のない把持位置や姿勢であっても、載置時に支障が出る設定が存在し得た。例えば、図14に示すバラ積みピッキングを考える。この図においては、左側の作業位置(ピッキング位置)に積まれたL字状のワークWKLを、ロボットのエンドエフェクタEETでもって把持し、ロボットのアーム部ARMをZ軸を回転軸として旋回させて右側の載置位置(プレース位置)に載置するものとする。すなわち載置位置のステーションはピッキング位置のステーションとロボットを挟んで対向していると仮定する。 However, the conventional teaching of the gripping position and the posture for picking is performed without considering the placement. For this reason, even if the gripping position and posture are not a problem in picking, there may be a setting that causes a problem during placement. For example, consider the bulk picking shown in FIG. In this figure, the L-shaped work WKL stacked at the work position (picking position) on the left side is gripped by the robot end effector EET, and the robot arm ARM is swiveled around the Z axis as the rotation axis. It shall be placed at the placement position (place position) on the right side. That is, it is assumed that the station at the mounting position faces the station at the picking position with the robot in between.
この場合において、ロボットの動作可能な範囲は、ロボットの手首に当たる可動点を示すP点を基準として、P点を位置させることが可能な範囲をもって判定する。図14の例では、P点を移動させることが可能な範囲の境界線を二点鎖線で示している。この境界線を越えた範囲、図14において境界線の右側は動作範囲外となる。図14においては、P点は動作範囲内にあるので、この状態での載置が可能となる。 In this case, the movable range of the robot is determined based on the range in which the P point can be positioned with reference to the P point indicating the movable point that hits the wrist of the robot. In the example of FIG. 14, the boundary line of the range in which the point P can be moved is indicated by a chain double-dashed line. The range beyond this boundary line, the right side of the boundary line in FIG. 14, is outside the operating range. In FIG. 14, since the point P is within the operating range, it can be placed in this state.
ここで、ワークの把持位置をティーチング(教示)する場合に、複数の把持位置を教示(ティーチング)する。例えば図15に示すような姿勢を把持教示位置HTP1として、図16に示すような姿勢を把持教示位置HTP2として、それぞれティーチングを行う。この例では、把持教示位置HTP2は、把持教示位置HTP1をZ軸回りに180度回転させた把持位置となっている。 Here, when teaching (teaching) the gripping position of the work, a plurality of gripping positions are taught (teaching). For example, teaching is performed with the posture shown in FIG. 15 as the gripping teaching position HTP1 and the posture shown in FIG. 16 as the gripping teaching position HTP2. In this example, the gripping instruction position HTP2 is a gripping position obtained by rotating the gripping instruction position HTP1 by 180 degrees around the Z axis.
ここで、図17に示すように複数のワークがバラ積みされた状態で、ワークWK1を、把持教示位置HTP1(図15)で把持して載置することを考える。この場合は、把持教示位置HTP1の把持では、図17に示すように載置時にP点の第6軸で大きく回転させなければならない。このため、エンドエフェクタEETの設計上、P点がワークの奥まで移動された状態でエンドエフェクタEETを第6軸で旋回させることになる。しかしながら、ロボットのアーム部ARMのリーチ次第では、図17に示すようにP点が動作範囲外になってしまう。すなわち、この把持教示位置HTP1では、ピッキングはできても、載置ができないことになる。 Here, it is considered that the work WK1 is gripped and placed at the gripping teaching position HTP1 (FIG. 15) in a state where a plurality of workpieces are stacked separately as shown in FIG. In this case, in gripping the gripping instruction position HTP1, as shown in FIG. 17, it is necessary to rotate a large amount along the sixth axis of point P at the time of mounting. Therefore, due to the design of the end effector EET, the end effector EET is swiveled on the sixth axis with the point P moved to the back of the work. However, depending on the reach of the arm portion ARM of the robot, the point P may be out of the operating range as shown in FIG. That is, at this gripping teaching position HTP1, although picking is possible, it cannot be placed.
一方で、図17と同じようにバラ積みされたワークの中から、図18に示すようにワークWK2を、把持教示位置HTP2(図16)で把持する場合を検討する。この場合は、図18に示すように、把持教示位置HTP2の把持では載置時の第6軸の回転角はゼロで済むため、ワークWK2を載置することが可能となる。このように、把持教示位置HTP1、2のいずれも、図17、図18に示すようにピッキング自体は可能であるものの、載置は不可能な場合(把持教示位置HTP1)が存在する。よってティーチング時にはピッキング可能と判定され、そのようにティーチングした場合でも、実運用時には載置ができないこととなって、ティーチングの不具合が生じる。 On the other hand, a case will be examined in which the work WK2 is gripped at the gripping teaching position HTP2 (FIG. 16) as shown in FIG. 18 from the workpieces stacked separately as in FIG. In this case, as shown in FIG. 18, when the gripping instruction position HTP2 is gripped, the rotation angle of the sixth axis at the time of mounting is zero, so that the work WK2 can be mounted. As described above, in both the gripping teaching positions HTP1 and 2, there are cases where picking itself is possible as shown in FIGS. 17 and 18, but mounting is not possible (grasping teaching position HTP1). Therefore, it is determined that picking is possible at the time of teaching, and even if such teaching is performed, it cannot be placed during actual operation, resulting in a problem of teaching.
また、ティーチング時に、ピッキング位置と同様に載置する際の位置や姿勢を教示することも可能である。例えば図19に示すようなエンドエフェクタEET4を用いて、図15と同様の姿勢で把持したワークWKLを載置する例を考える。このワークWKLは、断面視L字状の細い棒状部分と太い棒状部分で構成されている。このワークWKLに対して図19のエンドエフェクタEET4を用いて、ワークWKLの細い棒状部分を把持して、この部分を上に向けた姿勢で載置するようにティーチングしたと仮定する。この場合、図20Aに示すように同じ形状のワークWK3の太い棒状部分を把持した場合であっても、ワークWK3を同じ姿勢、すなわち図20Bに示すように細い棒状部分を上に向けた姿勢で載置するように、エンドエフェクタEET4の位置や姿勢をロボット設定装置に演算させる。 In addition, at the time of teaching, it is also possible to teach the position and posture at the time of placement as well as the picking position. For example, consider an example in which a work WKL gripped in the same posture as in FIG. 15 is placed by using the end effector EET4 as shown in FIG. This work WKL is composed of a thin rod-shaped portion having an L-shaped cross section and a thick rod-shaped portion. It is assumed that the end effector EET4 of FIG. 19 is used for the work WKL to grasp a thin rod-shaped part of the work WKL and teach the work WKL so that the work WKL is placed in an upward posture. In this case, even when the thick rod-shaped portion of the work WK3 having the same shape is gripped as shown in FIG. 20A, the work WK3 is held in the same posture, that is, in the posture in which the thin rod-shaped portion faces upward as shown in FIG. 20B. Let the robot setting device calculate the position and posture of the end effector EET4 so that it can be mounted.
しかしながら、この場合は図20Cに示すように、エンドエフェクタEET4が把持位置の床面と抵触してしまうため、実現困難となる。このような場合も、ティーチング時には把持が可能と判定された把持位置であっても、実運用時にはエンドエフェクタEET4の形状等の制約によって載置ができないことがあり、このことがティーチングの精度に影響を与えていた。 However, in this case, as shown in FIG. 20C, the end effector EET4 conflicts with the floor surface at the gripping position, which makes it difficult to realize. Even in such a case, even if the gripping position is determined to be grippable during teaching, it may not be possible to place the end effector EET4 due to restrictions such as the shape of the end effector EET4 during actual operation, which affects the accuracy of teaching. Was giving.
本発明は、このような事情に鑑みてなされたものであり、その目的の一は、載置時の制約も加味したティーチングを実現可能なロボット設定装置、ロボットシステム、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。 The present invention has been made in view of such circumstances, and one of the purposes thereof is a robot setting device, a robot system, a robot setting method, and a robot setting program capable of realizing teaching in consideration of restrictions at the time of mounting. And to provide computer-readable recording media and recording equipment.
本発明の第1の形態に係るロボット設定装置によれば、作業空間に配置されたワークの三次元形状を測定し、ロボットが備えるアーム部及びアーム部の先端に設けられたワークを把持するためのエンドエフェクタを駆動させて把持し、把持したワークを所定の載置位置に載置するようにロボットの動作設定を行うためのロボット設定装置であって、ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定可能な把持設定部と、前記把持設定部により設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する基準載置姿勢設定部と、前記把持設定部により設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、前記第一把持候補位置及び第二把持候補位置の差分、前記第一把持姿勢及び第二把持姿勢の差分、及び前記基準載置姿勢とを用いた演算処理により算出する載置姿勢算出部とを備え、前記把持設定部は、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、前記載置姿勢算出部により算出された載置姿勢を、各把持候補位置と対応付けて設定可能に構成できる。これにより、従来、ワークの把持候補位置とエンドエフェクタの把持姿勢を設定した上で、これらの把持位置姿勢条件毎に、ワークをこの把持位置姿勢条件で把持して載置する際のエンドエフェクタの載置姿勢を、実際にエンドエフェクタを操作しながら1対1で個別に設定する必要があったところ、上記構成によれば、一の基準載置姿勢を設定するのみで、他の把持位置姿勢条件に対応する載置姿勢を演算により求めることができるので、ユーザ側の作業負担を大幅に省力化できる利点が得られる。
According to the robot setting device according to the first aspect of the present invention, in order to measure the three-dimensional shape of the work arranged in the work space and to grip the arm portion provided in the robot and the work provided at the tip of the arm portion. This is a robot setting device for setting the operation of the robot so that the gripped workpiece is placed in a predetermined mounting position by driving and gripping the end effector of the above, and a plurality of gripping candidates when gripping the workpiece. A grip setting unit that can set the position in association with the grip posture of the end effector when gripping each grip candidate position, and a first grip candidate position among a plurality of grip candidate positions set by the grip setting unit. Is gripped by the end effector in the first gripping posture associated with the first gripping candidate position, and the first mounting posture of the end effector required for mounting the work in the mounting position in a desired state. Is associated with the second gripping candidate position among the reference mounting posture setting unit that sets the reference mounting posture and the plurality of gripping candidate positions set by the gripping setting unit. The second mounting posture of the end effector, which is necessary for gripping the work with the end effector in the second gripping posture and mounting the work in the desired state, is set to the first gripping candidate position and the second. The grip setting unit includes a mounting posture calculation unit calculated by arithmetic processing using the difference between the gripping candidate positions, the difference between the first gripping posture and the second gripping posture, and the reference mounting posture. Among a plurality of gripping candidate positions, for each of the gripping candidate positions excluding the first gripping candidate position, the mounting posture calculated by the above-described placement posture calculation unit can be set in association with each gripping candidate position. it can. As a result, conventionally, after setting the gripping candidate position of the work and the gripping posture of the end effector, the end effector when the work is gripped and placed under the gripping position posture condition for each of these gripping position posture conditions. It was necessary to individually set the mounting posture on a one-to-one basis while actually operating the end effector. However, according to the above configuration, only one reference mounting posture is set, and the other gripping position postures are set. Since the mounting posture corresponding to the condition can be obtained by calculation, there is an advantage that the work load on the user side can be significantly reduced.
また、第2の形態に係るロボット設定装置によれば、上記構成に加えて、ロボットのアーム部及び/又はエンドエフェクタの動作可能範囲を規定した動作条件を記憶する記憶部と、前記載置姿勢算出部により算出された載置姿勢を取るためのロボットのアーム部及び/又はエンドエフェクタの動作が、前記記憶部に記憶された動作条件を満たすか否かを判定するためのロボット動作条件判定部とを備え、前記把持設定部は、前記ロボット動作条件判定部により前記動作条件を満たさないと判定された載置姿勢に対応する把持候補位置を、登録から除外するよう構成できる。上記構成により、算出された載置姿勢の内で、実際に載置可能な載置姿勢のみを登録することが可能となる。すなわち、従来の方法では、実際にロボットを動作させて載置位置を設定していたため、載置不能な載置位置が登録されることはなかったものの、ロボットを動作させることなく載置姿勢を算出して求める方法では、実際にはロボット設定装置と接続するロボットの動作条件によっては、載置不能な姿勢も演算されることが起こり得る。そこで、ロボットの動作条件に合致しない、すなわち載置できない載置姿勢については、登録から除外することにより、このような新たに発生した問題を回避することが可能となる。 Further, according to the robot setting device according to the second embodiment, in addition to the above configuration, a storage unit that stores operating conditions that define the movable range of the robot arm and / or end effector, and a previously described stationary posture. Robot operation condition determination unit for determining whether or not the operation of the robot arm and / or end effector for taking the mounting posture calculated by the calculation unit satisfies the operation condition stored in the storage unit. The grip setting unit can be configured to exclude from the registration the grip candidate positions corresponding to the mounting postures determined by the robot operation condition determination unit to not satisfy the operation conditions. With the above configuration, it is possible to register only the mounting postures that can actually be mounted among the calculated mounting postures. That is, in the conventional method, since the robot is actually operated to set the mounting position, the mounting position that cannot be mounted is not registered, but the mounting posture is set without operating the robot. In the method of calculating and obtaining, the posture that cannot be placed may be calculated depending on the operating conditions of the robot that is actually connected to the robot setting device. Therefore, it is possible to avoid such a newly generated problem by excluding the mounting posture that does not meet the operating conditions of the robot, that is, the mounting posture that cannot be mounted, from the registration.
さらに、第3の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、前記把持設定部は、前記載置姿勢算出部による載置姿勢の算出に際して、前記第一把持姿勢との差分が所定値よりも大きい第二把持姿勢については、登録から除外するよう構成できる。上記構成により、載置が不適切となる把持候補位置が選択されないように除外することで、無用な把持候補位置の検討を排除して処理の効率化を図ることができる。 Further, according to the robot setting device according to the third embodiment, in addition to any of the above configurations, the grip setting unit may be used with the first grip posture when calculating the mounting posture by the previously described placement posture calculation unit. The second gripping posture in which the difference between the two is larger than the predetermined value can be excluded from the registration. With the above configuration, by excluding the gripping candidate positions that are inappropriately placed so as not to be selected, it is possible to eliminate the examination of unnecessary gripping candidate positions and improve the processing efficiency.
さらにまた、第4の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、さらに、ワークを前記載置位置に載置可能なロボットの動作条件を設定するためのロボット動作条件設定部と、ワークの三次元形状を示す三次元形状データに基づいて、前記ロボットにより把持が可能なワーク上の一以上の把持候補位置を認識するためのワーク把持候補位置認識部と、前記ワーク把持候補位置認識部により認識されたワーク上の把持候補位置で把持し、前記載置位置に載置するために必要なロボットの動作を、前記ロボット動作条件設定部で設定されたロボット動作条件に従い算出するためのロボット動作算出部と、前記ロボット動作条件判定部の判定により、前記ロボット動作条件を満たすと判定された載置姿勢に基づいて、実際にロボットがワークを把持する把持位置を決定するための把持位置決定部とを備えることができる。上記構成によって、ワークを予め所定の基準載置姿勢で載置可能であると前提で把持候補位置を算出することで、把持は可能でも載置できないという事態を回避することが可能となる。 Furthermore, according to the robot setting device according to the fourth embodiment, in addition to any of the above configurations, the robot operating conditions for setting the operating conditions of the robot capable of mounting the work at the previously described placement position are further provided. A work gripping candidate position recognition unit for recognizing one or more gripping candidate positions on a work that can be gripped by the robot based on a setting unit and three-dimensional shape data indicating the three-dimensional shape of the work, and the work. The robot operation required for gripping at the gripping candidate position on the work recognized by the gripping candidate position recognition unit and mounting at the previously described placement position is performed according to the robot operation condition set by the robot operation condition setting unit. Based on the determination of the robot motion calculation unit for calculation and the robot motion condition determination unit, the gripping position at which the robot actually grips the work is determined based on the mounting posture determined to satisfy the robot motion condition. It can be provided with a gripping position determining unit for the purpose. With the above configuration, by calculating the gripping candidate position on the premise that the work can be mounted in a predetermined reference mounting posture in advance, it is possible to avoid a situation in which gripping is possible but mounting is not possible.
さらにまた、第5の形態に係るロボット設定装置によれば、上記構成に加えて、前記ロボット動作条件が、アーム部及びエンドエフェクタの、物理的な動作範囲を含むことができる。 Furthermore, according to the robot setting device according to the fifth embodiment, in addition to the above configuration, the robot operating condition can include the physical operating range of the arm portion and the end effector.
さらにまた、第6の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、前記ロボット動作条件を、アーム部の長さ、エンドエフェクタの回転角度、又は傾斜角度の少なくとも何れかで規定できる。 Furthermore, according to the robot setting device according to the sixth embodiment, in addition to any of the above configurations, the robot operating condition is set to at least one of the length of the arm portion, the rotation angle of the end effector, or the inclination angle. Can be specified in.
さらにまた、第7の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、さらに、前記作業空間に配置されたワークの三次元形状を三次元計測するためのセンサ部を備え、前記ワーク把持候補位置認識部は、前記センサ部を制御して計測されたワークの三次元計測データを三次元形状データとして、前記ロボットにより把持が可能なワーク上の一以上の把持候補位置を認識するよう構成できる。
Furthermore, according to the robot setting device according to the seventh embodiment, in addition to any of the above configurations, a sensor unit for three-dimensionally measuring the three-dimensional shape of the work arranged in the work space is further provided. The work gripping candidate position recognition unit uses the three-dimensional measurement data of the work measured by controlling the sensor unit as three-dimensional shape data to obtain one or more gripping candidate positions on the work that can be gripped by the robot. Can be configured to recognize.
さらにまた、第8の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、前記センサ部が、カメラとプロジェクタを含み、前記作業空間の上方に配置されたカメラとプロジェクタで、該作業空間に積み上げられた複数のワークの三次元形状を計測するよう構成できる。 Furthermore, according to the robot setting device according to the eighth embodiment, in addition to any of the above configurations, the sensor unit includes a camera and a projector, and the camera and the projector are arranged above the work space. It can be configured to measure the three-dimensional shape of a plurality of workpieces stacked in the work space.
さらにまた、第9の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、さらに、三次元形状データを取得するための三次元形状データ入力部と、三次元形状データ中に含まれるワークの位置と姿勢を認識するためのワーク位置姿勢認識部と、ワークとエンドエフェクタと位置関係を登録するための位置関係登録部と、ワークを載置する際のエンドエフェクタの位置と姿勢を算出するためのエンドエフェクタ位置姿勢算出部と、エンドエフェクタの位置姿勢をセンサの座標空間からロボットの座標空間へ変換する変換部と、載置時のエンドエフェクタの位置を登録するための載置位置登録部とを備えることができる。 Furthermore, according to the robot setting device according to the ninth aspect, in addition to any of the above configurations, a three-dimensional shape data input unit for acquiring three-dimensional shape data and a three-dimensional shape data are included in the three-dimensional shape data. A work position / orientation recognition unit for recognizing the position and orientation of the included work, a positional relationship registration unit for registering the positional relationship between the work and the end effector, and the position and orientation of the end effector when the work is placed. The end effector position / orientation calculation unit for calculating the position, the conversion unit that converts the position / orientation of the end effector from the coordinate space of the sensor to the coordinate space of the robot, and the placement for registering the position of the end effector at the time of mounting. It can be provided with a location registration unit.
さらにまた、第10の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、前記ワーク把持候補位置認識部は、ワークの三次元形状を示すCADデータを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータに対して、前記ロボットにより把持が可能なワーク上の一以上の把持候補位置を認識するよう構成できる。 Furthermore, according to the robot setting device according to the tenth embodiment, in addition to any of the above configurations, the work gripping candidate position recognition unit uses CAD data indicating the three-dimensional shape of the work as a virtual work space. It can be configured to recognize one or more gripping candidate positions on the work that can be gripped by the robot with respect to the virtual loose stacking data piled up in the virtual work space.
さらにまた、第11の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、前記三次元計測データを、位相シフト法に基づいて生成できる。 Furthermore, according to the robot setting device according to the eleventh embodiment, in addition to any of the above configurations, the three-dimensional measurement data can be generated based on the phase shift method.
さらにまた、第12の形態に係るロボット設定装置によれば、上記何れかの構成に加えて、作業空間に無作為に積み上げられた複数のワークを順次取り出すバラ積みピッキング動作を、ロボットに行わせることができる。 Furthermore, according to the robot setting device according to the twelfth embodiment, in addition to any of the above configurations, the robot is made to perform a loose picking operation for sequentially taking out a plurality of works randomly stacked in the work space. be able to.
さらにまた、第13の形態に係るロボットシステムによれば、上記何れかのロボット設定装置と、ワークを把持するための前記エンドエフェクタと、前記エンドエフェクタを可動させるアーム部とを備えるロボットと、前記把持位置決定部で決定された把持位置でワークを把持するように、前記エンドエフェクタ及びアーム部を駆動するためのロボットコントローラとを備えることができる。 Furthermore, according to the robot system according to the thirteenth aspect, a robot including any of the above robot setting devices, the end effector for gripping the work, and an arm portion for moving the end effector, and the robot. The robot controller for driving the end effector and the arm portion can be provided so that the work is gripped at the gripping position determined by the gripping position determining unit.
さらにまた、第14の形態に係るロボットシステムによれば、作業空間に配置されたワークの三次元形状を測定し、エンドエフェクタで把持し、把持したワークを所定の載置位置に載置するロボットシステムであって、ワークを把持するための前記エンドエフェクタと、前記エンドエフェクタを可動させるアーム部と、ワークの三次元形状を計測するため、ワークの形状を撮像するためのセンサ部と、ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際の前記エンドエフェクタの把持姿勢と対応付けて設定可能な把持設定部と、前記把持設定部により設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要な前記エンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する基準載置姿勢設定部と、前記把持設定部により設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、前記第一把持候補位置及び第二把持候補位置の差分、前記第一把持姿勢及び第二把持姿勢の差分、及び前記基準載置姿勢とを用いた演算処理により算出する載置姿勢算出部と、前記アーム部及び/又はエンドエフェクタの動作可能範囲を規定した動作条件を記憶する記憶部と、前記載置姿勢算出部により算出された載置姿勢を取るための前記アーム部及び/又はエンドエフェクタの動作が、前記記憶部に記憶された動作条件を満たすか否かを判定するためのロボット動作条件判定部と、前記ロボット動作条件判定部の判定により、動作条件を満たすと判定された載置姿勢に基づいて、実際にロボットがワークを把持する把持位置を決定するための把持位置決定部と、前記把持位置決定部で決定された把持位置でワークを把持するように、前記エンドエフェクタ及びアーム部を駆動するためのロボットコントローラとを備え、前記把持設定部は、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、前記載置姿勢算出部により算出された載置姿勢を、各把持候補位置と対応付けて設定可能に構成できる。これにより、従来、ワークの把持候補位置とエンドエフェクタの把持姿勢を設定した上で、これらの把持位置姿勢条件毎に、ワークをこの把持位置姿勢条件で把持して載置する際のエンドエフェクタの載置姿勢を、実際にエンドエフェクタを操作しながら1対1で個別に設定する必要があったところ、上記構成によれば、一の基準載置姿勢を設定するのみで、他の把持位置姿勢条件に対応する載置姿勢を演算により求めることができるので、ユーザ側の作業負担を大幅に省力化できる利点が得られる。
Furthermore, according to the robot system according to the fourteenth aspect, a robot that measures the three-dimensional shape of a work placed in a work space , grips it with an end effector, and places the gripped work in a predetermined mounting position. In the system, the end effector for gripping the work, the arm part for moving the end effector, the sensor part for imaging the shape of the work for measuring the three-dimensional shape of the work, and the work. A grip setting unit that can set a plurality of grip candidate positions for gripping in association with a grip posture of the end effector when gripping each grip candidate position, and a plurality of grip candidates set by the grip setting unit. Among the positions, it is necessary to grip the first gripping candidate position with the end effector in the first gripping posture associated with the first gripping candidate position, and to mount the work in the mounting position in a desired state. The reference mounting posture setting unit that sets the first mounting posture of the end effector as the reference mounting posture, and the second gripping candidate position among the plurality of gripping candidate positions set by the gripping setting unit. The second mounting posture of the end effector required for gripping with the end effector in the second gripping posture associated with the second gripping candidate position and mounting the work at the mounting position in the desired state is obtained. , The mounting posture calculation unit calculated by arithmetic processing using the difference between the first gripping candidate position and the second gripping candidate position, the difference between the first gripping posture and the second gripping posture, and the reference mounting posture. , The storage unit that stores the operating conditions that define the movable range of the arm unit and / or the end effector, and the arm unit and / or the end effector for taking the mounting posture calculated by the above-described placement posture calculation unit. The robot operation condition determination unit for determining whether or not the operation of the robot satisfies the operation condition stored in the storage unit, and the placement determined to satisfy the operation condition by the determination of the robot operation condition determination unit. Based on the posture, the gripping position determining unit for determining the gripping position where the robot actually grips the work, and the end effector and the arm so as to grip the work at the gripping position determined by the gripping position determining unit. A robot controller for driving the unit is provided, and the grip setting unit calculates each of the grip candidate positions other than the first grip candidate position among the plurality of grip candidate positions by the above-described stationary posture calculation unit. The mounted posture can be configured to be set in association with each gripping candidate position. As a result, conventionally, after setting the gripping candidate position of the work and the gripping posture of the end effector, the end effector when the work is gripped and placed under the gripping position posture condition for each of these gripping position posture conditions. It was necessary to individually set the mounting posture on a one-to-one basis while actually operating the end effector. However, according to the above configuration, only one reference mounting posture is set, and the other gripping position postures are set. Since the mounting posture corresponding to the condition can be obtained by calculation, there is an advantage that the work load on the user side can be significantly reduced.
さらにまた、第15の形態に係るロボット設定方法によれば、作業空間に配置されたワークの三次元形状を測定し、ロボットが備えるアーム部及びアーム部の先端に設けられたワークを把持するためのエンドエフェクタを駆動させて把持し、把持したワークを所定の載置位置に載置するようにロボットの動作設定を行う方法であって、ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定する工程と、前記設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する工程と、前記設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、前記第一把持候補位置及び第二把持候補位置の差分、前記第一把持姿勢及び第二把持姿勢の差分、及び前記基準載置姿勢とを用いた演算処理により算出し、該算出された載置姿勢を、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、各把持候補位置と対応付けて設定する工程とを含むことができる。これにより、従来、ワークの把持候補位置とエンドエフェクタの把持姿勢を設定した上で、これらの把持位置姿勢条件毎に、ワークをこの把持位置姿勢条件で把持して載置する際のエンドエフェクタの載置姿勢を、実際にエンドエフェクタを操作しながら1対1で個別に設定する必要があったところ、上記構成によれば、一の基準載置姿勢を設定するのみで、他の把持位置姿勢条件に対応する載置姿勢を演算により求めることができるので、ユーザ側の作業負担を大幅に省力化できる利点が得られる。
Furthermore, according to the robot setting method according to the fifteenth aspect, in order to measure the three-dimensional shape of the work arranged in the work space and to grip the arm portion provided in the robot and the workpiece provided at the tip of the arm portion. This is a method of setting the operation of the robot so that the end effector of the robot is driven and gripped, and the gripped work is placed in a predetermined mounting position. The step of setting in association with the gripping posture of the end effector when gripping the gripping candidate position, and the first gripping candidate position among the plurality of set gripping candidate positions are associated with the first gripping candidate position. The process of setting the first mounting posture of the end effector, which is necessary for gripping with the end effector in the first gripping posture and mounting the work in the desired mounting position, as the reference mounting posture. The second gripping candidate position among the plurality of set gripping candidate positions is gripped by the end effector in the second gripping posture associated with the second gripping candidate position, and the work is placed at the mounting position. The second mounting posture of the end effector required for mounting in a desired state is the difference between the first gripping candidate position and the second gripping candidate position, the difference between the first gripping posture and the second gripping posture, and It is calculated by arithmetic processing using the reference mounting posture, and the calculated mounting posture is used for each gripping candidate position other than the first gripping candidate position among the plurality of gripping candidate positions. It can include a step of setting in association with the candidate position. As a result, conventionally, after setting the gripping candidate position of the work and the gripping posture of the end effector, the end effector when the work is gripped and placed under the gripping position posture condition for each of these gripping position posture conditions. It was necessary to individually set the mounting posture on a one-to-one basis while actually operating the end effector. However, according to the above configuration, only one reference mounting posture is set, and the other gripping position postures are set. Since the mounting posture corresponding to the condition can be obtained by calculation, there is an advantage that the work load on the user side can be significantly reduced.
さらにまた、第16の形態に係るロボット設定プログラムによれば、作業空間に配置されたワークの三次元形状を測定し、ロボットが備えるアーム部及びアーム部の先端に設けられたワークを把持するためのエンドエフェクタを駆動させて把持し、把持したワークを所定の載置位置に載置するようにロボットの動作設定を行うためのプログラムであって、ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定する機能と、前記設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する機能と、前記設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、前記第一把持候補位置及び第二把持候補位置の差分、前記第一把持姿勢及び第二把持姿勢の差分、及び前記基準載置姿勢とを用いた演算処理により算出する機能と、前記算出された載置姿勢を、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、各把持候補位置と対応付けて設定する機能とをコンピュータに実現させることができる。これにより、従来、ワークの把持候補位置とエンドエフェクタの把持姿勢を設定した上で、これらの把持位置姿勢条件毎に、ワークをこの把持位置姿勢条件で把持して載置する際のエンドエフェクタの載置姿勢を、実際にエンドエフェクタを操作しながら1対1で個別に設定する必要があったところ、上記構成によれば、一の基準載置姿勢を設定するのみで、他の把持位置姿勢条件に対応する載置姿勢を演算により求めることができるので、ユーザ側の作業負担を大幅に省力化できる利点が得られる。 Furthermore, according to the robot setting program according to the 16th embodiment, in order to measure the three-dimensional shape of the work arranged in the work space and to grip the arm portion provided in the robot and the workpiece provided at the tip of the arm portion. This is a program for setting the operation of the robot so that the gripped workpiece is placed in a predetermined mounting position by driving and gripping the end effector of the robot, and a plurality of gripping candidate positions when gripping the workpiece are set. , The function of setting in association with the gripping posture of the end effector when gripping each gripping candidate position, and the first gripping candidate position among the plurality of set gripping candidate positions are set to the first gripping candidate position. The first mounting posture of the end effector required for gripping with the end effector in the associated first gripping posture and mounting the work in the desired mounting position is set as the reference mounting posture. The function and the second gripping candidate position among the plurality of set gripping candidate positions are gripped by the end effector in the second gripping posture associated with the second gripping candidate position, and the work is placed in the mounting position. The second mounting posture of the end effector required for mounting in the desired state is the difference between the first gripping candidate position and the second gripping candidate position, and the difference between the first gripping posture and the second gripping posture. , And the function calculated by arithmetic processing using the reference mounting posture, and the calculated mounting posture of each of the plurality of gripping candidate positions except the first gripping candidate position. Can be realized in the computer with a function of setting in association with each gripping candidate position. As a result, conventionally, after setting the gripping candidate position of the work and the gripping posture of the end effector, the end effector when the work is gripped and placed under the gripping position posture condition for each of these gripping position posture conditions. It was necessary to individually set the mounting posture on a one-to-one basis while actually operating the end effector. However, according to the above configuration, only one reference mounting posture is set, and the other gripping position postures are set. Since the mounting posture corresponding to the condition can be obtained by calculation, there is an advantage that the work load on the user side can be significantly reduced.
さらにまた、第17の形態に係るコンピュータで読み取り可能な記録媒体または記憶した機器は、上記ロボット設定プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。 Furthermore, the computer-readable recording medium or stored device according to the seventeenth embodiment stores the robot setting program. Recording media include CD-ROM, CD-R, CD-RW, flexible disc, magnetic tape, MO, DVD-ROM, DVD-RAM, DVD-R, DVD + R, DVD-RW, DVD + RW, Blu-ray, HD. A medium capable of storing a magnetic disk such as a DVD (AOD), an optical disk, a magneto-optical disk, a semiconductor memory, or other programs is included. Further, the program includes a program stored in the above-mentioned recording medium and distributed, and a program distributed by download through a network line such as the Internet. Further, the stored device includes a general-purpose or dedicated device in which the above program is implemented in a state in which it can be executed in the form of software, firmware, or the like. Furthermore, each process and function included in the program may be executed by program software that can be executed by a computer, and each part of the process may be executed by hardware such as a predetermined gate array (FPGA, ASIC), or program software. It may be realized in a form in which and a partial hardware module that realizes a part of the hardware are mixed.
以下、本発明の実施形態を図面に基づいて説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施形態の部材に特定するものでは決してない。特に実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一若しくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
(ロボットシステム)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments shown below are examples for embodying the technical idea of the present invention, and the present invention is not specified as the following. In addition, the present specification does not specify the members shown in the claims as the members of the embodiment. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the components described in the embodiments are not intended to limit the scope of the present invention to the specific description unless otherwise specified, and are merely explanatory examples. It's just that. The size and positional relationship of the members shown in each drawing may be exaggerated to clarify the explanation. Further, in the following description, members of the same or the same quality are shown with the same name and reference numeral, and detailed description thereof will be omitted as appropriate. Further, each element constituting the present invention may be configured such that a plurality of elements are composed of the same member and the plurality of elements are combined with one member, or conversely, the function of one member is performed by the plurality of members. It can also be shared and realized.
(Robot system)
ワークのピッキングを行うためのロボットシステム1000の構成例を図1に示す。この例では、作業空間に積み上げられた複数のワークWKを、ロボットを用いて順次取り出し、所定の位置に配置するバラ積みピッキングを行う例について示している。ロボットは、アーム部ARMと、アーム部ARMの先端に設けられたエンドエフェクタEETを備える。このロボットは、ロボットコントローラ6で駆動される。またロボットコントローラ6はロボット設定装置100から、ロボットの制御に必要な情報を取得する。ロボット設定装置100とロボットコントローラ6で、ロボット設定装置を構成している。例えば、収納容器BXに無作為に投入された多数の部品であるワークWKを、カメラや照明等のセンサ部2で三次元形状を取得し、ロボット設定装置100でワークの位置や姿勢を検出して、情報をロボットコントローラ6に送る。ロボットコントローラ6は、ワークWKを一つづつ、ロボットのアーム部ARMの先端に設けられたエンドエフェクタEETでもって把持し、ステージSTG上の所定の位置、例えばコンベアベルト上に並べていく。
FIG. 1 shows a configuration example of the
ロボットシステム1000の機能ブロック図を図2に示す。この図に示すロボットシステム1000は、ロボット設定装置100と、センサ部2と、表示部3と、操作部4と、ロボット本体5と、ロボット操作具7とを備える。ロボット設定装置100は、ロボット設定装置100と、ロボットコントローラ6を含んでいる。
A functional block diagram of the
操作部4では、画像処理に関する設定を行う。またセンサ部2で、ワークを撮像しての三次元形状を取得する。さらに表示部3で、設定や動作状態の確認を行う。さらにまたロボット設定装置100で、三次元サーチや干渉判定、把持解の算出等を行う。一方、ロボットコントローラ6はロボット設定装置100の結果に従い、ロボットの制御を行う。またロボット操作具7は、ロボットの動作設定を行う。なお、図2の例では操作部4とロボット操作具7を別個の部材としているが、これらを共通の部材としてもよい。また図2の例では、ロボットコントローラ6はロボット設定装置100に組み込まれているが、この構成に限られず、ロボットコントローラをロボット設定装置と個別に設けてもよい。
The
センサ部2は、作業空間やワークを撮像する部材である。撮像された画像から、バラ積みされたワークの三次元形状を示す三次元形状データが取得される。なお三次元形状を取得する方法は、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法、TOF方式などがある。本実施形態においては、パターン投影法の内、位相シフト法を用いている。
The
選択された三次元形状計測技術に応じて、センサ部2の構成が決定される。センサ部2は、カメラ、照明又はプロジェクタ等を備える。例えば位相シフト法でワークの三次元形状を計測する場合は、センサ部2として図3に示すように、プロジェクタPRJと複数のカメラCME1、CME2、CME3、CME4を備える。センサ部2は、カメラやプロジェクタといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラやプロジェクタを統合してヘッド状とした3D撮像ヘッドを、センサ部とすることができる。
The configuration of the
また三次元形状データの生成自体を、センサ部側で行うこともできる。この場合、センサ部側に三次元形状データの生成機能を実現する画像処理IC等を設ける。あるいは、三次元形状データの生成を、画像処理部側で行わず、センサ部で撮像した生画像を、画像処理部側で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。 Further, the generation of the three-dimensional shape data itself can be performed on the sensor unit side. In this case, an image processing IC or the like that realizes a function of generating three-dimensional shape data is provided on the sensor unit side. Alternatively, the three-dimensional shape data is not generated on the image processing unit side, but the raw image captured by the sensor unit is image-processed on the image processing unit side to generate three-dimensional shape data such as a three-dimensional image. May be good.
ロボット設定装置100は、このようにして得られたワークの三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。このロボット設定装置100は、専用のロボット設定プログラムをインストールした汎用のコンピュータや、専用のコントローラ等が利用できる。なお図2では、ロボット設定装置100を別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部とロボット設定装置を一体化したり、あるいはロボットコントローラにロボット設定装置を組み込むこともできる。
The
表示部3は、ロボット設定装置100で取得されたワークの三次元形状を表示させたり、各種設定や動作状態の確認を行うための部材であり、液晶モニタや有機ELディスプレイ、CRT等が利用できる。操作部4は、画像処理等の各種設定を行うための部材であり、キーボードやマウス等の入力デバイスが利用できる。また表示部3をタッチパネルとすることで、操作部と表示部を一体化することもできる。
The
例えばロボットコントローラ6やロボット設定装置100を、ロボット設定プログラムをインストールしたコンピュータとした場合、表示部3上にはロボット設定プログラムのグラフィカルユーザインターフェース(GUI)画面が表示される。表示部3上に表示されたGUI上から各種の設定を行うことができ、またシミュレーション結果等の処理結果を表示させることができる。この場合、表示部3を各種の設定を行うための設定部として利用できる。
For example, when the
ロボットコントローラ6は、センサ部2で撮像した情報に基づいてロボットの動作を制御する。またロボット操作具7は、ロボット本体5の動作設定を行うための部材であり、ペンダントなどが利用できる。
The
ロボット本体5は、可動式のアーム部ARMと、アーム部ARMの先端に固定されたエンドエフェクタEETを備える。このロボット本体5はロボットコントローラ6に駆動されて、アーム部ARMを動作させ、一個のワークWKをピッキングして、これを所望の位置に移動させて載置した後、リリースする。このためアーム部ARMの先端には、ワークWKを把持するためのエンドエフェクタEETを備えている。またワークWKを載置する載置位置は、例えばトレイ上やコンベア上等が挙げられる。
The
ワークWKは、図1に示すように複数個が通い箱等の収容容器BXに無作為に収納されている。このような作業空間の上方には、センサ部2が配置されている。センサ部2はカメラや照明を備えており、このセンサ部2で、ワークWKの三次元形状を計測することができる。ロボットコントローラ6は、センサ部2で計測されたワークWKの三次元形状に基づいて、複数のワークの内から、把持対象のワークWKを特定して、このワークWKを把持するよう、ロボットを制御する。そして、ワークWKを把持したまま、アーム部ARMを動作させて予め定められた載置位置、例えばステージSTG上まで移動させ、所定の姿勢でワークWKを載置する。いいかえると、ロボットコントローラ6は、センサ部2でピッキング対象のワークWKを特定し、このワークWKをエンドエフェクタEETで把持して、把持したワークWKを所定の基準載置姿勢にて、載置する位置である載置位置に載置してエンドエフェクタEETを開放するようにロボットの動作を制御する。
As shown in FIG. 1, a plurality of work WKs are randomly stored in a storage container BX such as a returnable box. The
ここで本明細書においてバラ積みピッキングとは、図4Aに示すような収納容器BXに入れられて無作為に積み上げられたワークWKを、ロボットで把持して、所定の位置に載置する他、図4Bに示すような収納容器を用いずに所定の領域に積み上げられたワークWKに対して把持、載置を行う例、あるいは図4Cに示すような所定の姿勢で並べられて積み上げられたワークWKを順次把持、載置する例も含む意味で使用する。 Here, in the present specification, bulk picking refers to work WK that is randomly stacked in a storage container BX as shown in FIG. 4A by a robot and placed in a predetermined position. An example in which the work WKs stacked in a predetermined area are gripped and placed without using the storage container as shown in FIG. 4B, or the works arranged and stacked in a predetermined posture as shown in FIG. 4C. It is used in the sense of including an example in which WKs are sequentially gripped and placed.
また、図1の例ではセンサ部2を作業空間の上方に固定しているが、作業空間を撮像できる位置であれば足り、例えば斜めや側方、下方など、任意の定位置に配置できる。ただし、アーム部ARM上のような、可動する不定位置にセンサ部を配置する態様は除かれる。さらにセンサ部2が有するカメラや照明の数も、一個に限らず複数個としてもよい。さらにまたセンサ部2やロボット、ロボットコントローラ6との接続は、有線接続に限られず、無線接続としてもよい。
Further, in the example of FIG. 1, the
またワークの把持とは、図5Aに示すようにワークWKの外側を挟み込む他、図5Bに示すような、空洞を有するワークWK2の内部にエンドエフェクタEET2の爪部を挿入して拡開させることによって保持する例や、図5Cに示すような板状のワークWK3を吸引して保持するエンドエフェクタEET3の例を含む意味で使用する。以下では、ワークの把持の例としてワークの外側面を両側から掴む態様について説明する。またワークは、図1に示すように収納容器BXに多数個が収納されて無作為に積み上げられた状態で、このような複数のワークWKに対して一つづつ、エンドエフェクタEETで把持して、載置位置に載置する作業を繰り返すバラ積みピッキング動作における把持位置の設定(ティーチング作業)について、以下説明する。 Further, gripping the work means sandwiching the outside of the work WK as shown in FIG. 5A, and inserting the claw portion of the end effector EET2 into the inside of the work WK2 having a cavity as shown in FIG. 5B to expand the work. It is used in the sense of including an example of holding the work WK3 by suction and an example of an end effector EET3 that sucks and holds the plate-shaped work WK3 as shown in FIG. 5C. Hereinafter, as an example of gripping the work, a mode of gripping the outer surface of the work from both sides will be described. Further, as shown in FIG. 1, a large number of workpieces are stored in the storage container BX and randomly stacked, and one workpiece is gripped by the end effector EET for each of the plurality of workpieces WK. The setting of the gripping position (teaching work) in the bulk picking operation in which the work of placing the container in the mounting position is repeated will be described below.
ロボットシステム1000でバラ積みピッキング動作を行うにあたり、予めバラ積みピッキング動作を行わせるためのティーチングを行う。具体的には、ワークのどの部位を、エンドエフェクタがどのような姿勢で把持するのか、把持位置などの登録を行う。このような設定は、ペンダント等のロボット操作具7で行う。
(ティーチング作業)
When performing the bulk picking operation in the
(Teaching work)
従来のティーチング作業では、実際にロボットを動作させて、一個のワークに対して、エンドエフェクタで把持する把持位置と、この把持位置で把持したワークを載置する載置位置を、それぞれユーザが手動で登録していた。この方法では、ワークに対して複数の把持位置があったり、複数個のワークが存在する場合は、登録すべき位置の数が増え、ティーチング作業に手間がかかる。そこで、このようなティーチング作業の省力化を図るために、まず一個のワークに対して、基準となる把持位置と、この把持位置でワークを載置した時のエンドエフェクタの位置(載置位置)を登録する。これにより、このワークの把持位置と載置位置の相対的な位置関係が決定される。そして、同じワークの他の把持位置については、把持位置のみをそれぞれ登録する。各把持位置に対する載置位置は、決定された位置関係に基づいてそれぞれ演算する。これによって、把持位置毎に載置位置を個別にロボットを動作させて登録する作業を省くことができ、ティーチング作業の労力を軽減できる。 In the conventional teaching work, the user manually operates the robot to manually set the gripping position where the robot is gripped by the end effector and the mounting position where the work gripped at this gripping position is placed. I was registered at. In this method, when there are a plurality of gripping positions for the work or there are a plurality of works, the number of positions to be registered increases, and the teaching work takes time and effort. Therefore, in order to save labor in such teaching work, first, for one work, a reference gripping position and the position of the end effector when the work is mounted at this gripping position (mounting position). To register. As a result, the relative positional relationship between the gripping position and the mounting position of the work is determined. Then, for other gripping positions of the same work, only the gripping positions are registered. The mounting position for each gripping position is calculated based on the determined positional relationship. As a result, it is possible to omit the work of individually operating the robot to register the mounting position for each gripping position, and it is possible to reduce the labor of the teaching work.
しかしながら、この自動計算方法では、ロボットを実際に動作させることなく計算にて各載置位置を求めているところ、実運用時においては物理的な制約のため、実施できない載置位置となってしまうことがある。例えばロボットを構成するアーム部の可動範囲や、アーム部の長さによって決まる、取り得る姿勢の制限、移動可能な物理的な範囲(水平方向や高さ方向の移動限界)、あるいはワークを収納する収納容器の壁や周囲の異物が存在するため、これらの異物がアーム部と干渉して取り得ない姿勢となることがある。このような物理的な制約が現実には存在するため、演算によって求められた仮想的な載置位置の中には、現実には利用できない載置位置が生じてしまう。この結果、ロボットシステムのティーチング作業を完了できたとしても、実運用時においては計画したとおりに動作できない状態が生じてしまい、ロボットの動作計画自体を見直さないといけないという、大きな手戻りが発生する虞があった。 However, in this automatic calculation method, when each mounting position is calculated by calculation without actually operating the robot, the mounting position cannot be implemented due to physical restrictions during actual operation. Sometimes. For example, the movable range of the arm part that constitutes the robot, the limit of the posture that can be taken, the physical range that can be moved (the movement limit in the horizontal direction and the height direction), or the work is stored, which is determined by the length of the arm part. Since there are foreign substances on the wall and surroundings of the storage container, these foreign substances may interfere with the arm portion and become an impossible posture. Since such physical restrictions actually exist, some virtual placement positions obtained by calculation may not be available in reality. As a result, even if the teaching work of the robot system can be completed, a state may occur in which the robot system cannot operate as planned during actual operation, and a large rework occurs in which the robot operation plan itself must be reviewed. There was a risk.
そこで、本実施形態においては、ティーチング作業の段階において、事前にこのような利用不可能な載置位置を検知して除去することで、このような手戻りの発生を低減する。
(載置位置に基づく把持位置設定機能)
Therefore, in the present embodiment, the occurrence of such rework is reduced by detecting and removing such an unusable mounting position in advance at the stage of the teaching work.
(Grip position setting function based on mounting position)
一方で従来のティーチング作業では、エンドエフェクタによるワークの把持のし易さでもって把持位置を登録するものが多かった。しかしながら、把持し易い位置として一以上の把持位置が登録されていても、このような把持位置でエンドエフェクタで把持されたワークが、必ずしも載置に適しているとは限らないという問題があった。すなわち、把持は可能であっても、把持した姿勢で載置できない場合は、その姿勢での把持は適切でないということになる。 On the other hand, in the conventional teaching work, the gripping position is often registered by the ease of gripping the work by the end effector. However, even if one or more gripping positions are registered as easy-to-grip positions, there is a problem that the work gripped by the end effector at such gripping positions is not always suitable for mounting. .. That is, even if gripping is possible, if the vehicle cannot be placed in the gripped posture, gripping in that posture is not appropriate.
これに対して本実施形態に係るロボット設定装置では、載置可能な位置に着目して、この載置位置及び姿勢から、このような載置を実現可能とするにはどのように把持すればよいかを算出することで、載置可能な把持を実現する姿勢及び位置を得たものである。すなわち、載置状態という結果から逆算して、把持状態の条件を演算するものであり、これにより載置可能な状態と把持可能な状態を結びつけることを可能としている。いいかえると、載置に適しない把持位置は対象から外すことで、載置位置の解がある把持位置の解のみを得ることが可能となり、従来のようにティーチング時に把持位置を登録した後、運用時においてこの把持位置では載置できないために登録作業をやり直すという手戻りを回避でき、効率良くティーチング作業を行えるようになる。以下、詳細を説明する。
(ティーチング作業の例)
On the other hand, in the robot setting device according to the present embodiment, paying attention to the mountable position, how to grip the robot setting device to make such mountable possible from the mountable position and posture. By calculating whether it is good or not, the posture and position for realizing the grip that can be placed are obtained. That is, the condition of the gripping state is calculated by back calculation from the result of the mounting state, which makes it possible to connect the mountingable state and the gripping state. In other words, by excluding the gripping position that is not suitable for mounting from the target, it is possible to obtain only the solution of the gripping position that has a solution of the mounting position. Since it cannot be placed at this gripping position at times, it is possible to avoid reworking the registration work, and the teaching work can be performed efficiently. The details will be described below.
(Example of teaching work)
上述した載置位置に基づいて把持位置をティーチングする機能を実現するロボット設定装置を含むロボットシステムの機能ブロック図を、図6に示す。この図に示すロボットシステム1000は、ロボット設定装置100と、センサ部2と、ロボットを備える。
FIG. 6 shows a functional block diagram of a robot system including a robot setting device that realizes a function of teaching a gripping position based on the above-mentioned mounting position. The
センサ部2は、作業位置に配置されたワークの三次元形状を三次元計測する。このセンサ部2は、センサ制御部2bにより制御される。なお、この例ではセンサ制御部2bをセンサ部2と個別に設けているが、センサ部にセンサ制御部を組み込んでもよい。ロボット部は、アーム部ARMとエンドエフェクタEETを備える。このロボットは、ロボット設定装置100に制御されて、ワークを把持位置で把持して、載置位置に載置する。ここでは、ワークを把持する際のワークに対するエンドエフェクタの位置姿勢を、センサ部2で撮像して登録する。
The
図6のロボット設定装置100は、記憶部9と、演算部10を備える。演算部10は、設定部8と、載置姿勢算出部10eと、ワーク把持候補位置認識部10aと、ロボット動作算出部10bと、ロボット動作条件判定部10cと、把持位置決定部10dを含む。設定部8は、把持設定部8cと、基準載置姿勢設定部8aと、ロボット動作条件設定部8bを含む。
The
設定部8は、各種の設定を行うための部材であり、ユーザの操作を受け付けるインターフェースとなる。好適には、外部に接続された操作部やロボット操作具などの入力デバイスを介して、各種の設定を受け付けるよう、表示部3上に表示されたグラフィカルユーザインターフェース(GUI)が利用できる。
The
このような設定部8に含まれる把持設定部8cは、ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定するための部材である。また基準載置姿勢設定部8aは、把持設定部8cにより設定された複数の把持候補位置の内、第一把持候補位置を、この第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定するための部材である。
The
載置姿勢算出部10eは、把持設定部8cにより設定された複数の把持候補位置の内、第二把持候補位置を、この第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を算出するための部材である。第二載置姿勢の算出は、第一把持候補位置及び第二把持候補位置の差分、第一把持姿勢及び第二把持姿勢の差分、及び基準載置姿勢とを用いた演算処理により行われる。また把持設定部8cは、複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、載置姿勢算出部10eにより算出された載置姿勢を、各把持候補位置と対応付けて設定する。これにより、従来、ワークの把持候補位置とエンドエフェクタの把持姿勢を設定した上で、これらの把持位置姿勢条件毎に、ワークをこの把持位置姿勢条件で把持して載置する際のエンドエフェクタの載置姿勢を、実際にエンドエフェクタを操作しながら1対1で個別に設定する必要があったところ、上記構成によれば、一の基準載置姿勢を設定するのみで、他の把持位置姿勢条件に対応する載置姿勢を演算により求めることができるので、ユーザ側の作業負担を大幅に省力化できる利点が得られる。把持設定部8cは、載置姿勢算出部10eによる載置姿勢の算出に際して、前記第一把持姿勢との差分が所定値よりも大きい第二把持姿勢については、登録から除外するよう構成してもよい。これにより、載置が不適切となり得る把持候補位置が予め除外され、無用な把持候補位置の検討を排除して処理の効率化を図ることができる。
The mounting
また記憶部9は、各種設定を保持するための部材であり、不揮発性メモリやハードディスク、記憶媒体等が利用できる。この記憶部9は、例えばロボットのアーム部及び/又はエンドエフェクタの動作可能範囲を規定した動作条件を記憶する。
Further, the
一方演算部10は、複数の機能を実現する演算回路であり、例えばマイクロプロセッサ(MPU)やCPU、LSI、FPGAやASIC等のゲートアレイ、DSP等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図6等に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図6に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。
On the other hand, the
演算部10に含まれるワーク把持候補位置認識部10aは、ワークの三次元計測データに基づいて、ロボットにより把持が可能なワーク上の把持候補位置を認識するための部材である。ここでは、センサ制御部2bによりセンサ部2を制御してワークを計測した三次元計測データを取得し、この三次元計測データからワーク上の把持候補位置を認識する。ロボット動作算出部10bは、ワーク把持候補位置認識部10aにより認識されたワーク上の把持候補位置を把持し、基準載置姿勢設定部8aで設定された基準載置姿勢で、載置位置に載置するために必要なロボットの動作を算出するための部材である。
The work gripping candidate
ロボット動作条件判定部10cは、載置姿勢算出部10eにより算出された載置姿勢を取るためのロボットのアーム部及び/又はエンドエフェクタの動作が、記憶部9に記憶された動作条件を満たすか否かを判定するための部材である。把持設定部8cは、ロボット動作条件判定部により動作条件を満たさないと判定された載置姿勢に対応する把持候補位置を、登録から除外する。これにより、算出された載置姿勢の内で、実際に載置可能な載置姿勢のみを登録することが可能となる。すなわち、従来の方法では、実際にロボットを動作させて載置位置を設定していたため、載置不能な載置位置が登録されることはなかったものの、ロボットを動作させることなく載置姿勢を算出して求める方法では、実際にはロボット設定装置と接続するロボットの動作条件によっては、載置不能な姿勢も演算されることが起こり得る。そこで、ロボットの動作条件に合致しない、すなわち載置できない載置姿勢については、登録から除外することにより、このような新たに発生した問題を回避することが可能となる。
Whether the robot operation
把持位置決定部10dは、ロボット動作条件判定部10cの判定により、動作条件を満たすと判定された載置姿勢に基づいて、最終的な把持位置を決定するための部材である。
The gripping
一以上の把持候補位置は、ユーザが予め手動で登録することができる。あるいは、把持候補位置を、ロボット設定装置側で自動的に演算して登録するよう構成してもよい。またワーク把持候補位置認識部10aは、予め与えられた複数の把持候補位置の内で、現状のワークの姿勢及び位置に応じて現実に把持可能な把持候補位置を、自動で選択するよう構成してもよい。さらにワーク把持候補位置認識部10aは、予め与えられた複数の把持候補位置の内で、現状のワークの姿勢及び位置に応じて現実に把持可能な把持候補位置を、ユーザに選択させて該選択を受け付けるよう構成することもできる。
The user can manually register one or more gripping candidate positions in advance. Alternatively, the gripping candidate position may be configured to be automatically calculated and registered on the robot setting device side. Further, the work gripping candidate
把持位置決定部10dは、複数の把持候補位置に対応する載置時のエンドエフェクタの姿勢が、基準載置姿勢に近い順に把持位置の優先順位を決定し、この優先順位に基づいて実際にロボットがワークを把持する把持位置を決定するよう構成できる。これにより、複数の把持候補位置の中から、基準載置姿勢に近いものを選択することで、より好ましい姿勢での把持、載置を実現することが可能となる。
The gripping
以上のロボット設定装置を用いて、ロボットのバラ積みピッキングを行う実運用に先立ち、必要な設定を行う。具体的には、設定作業の内、ワークの把持位置や載置位置、把持姿勢などをロボットシステム側にユーザが教示するティーチング作業を行う。以下では、ワークをエンドエフェクタで把持する例について説明し、ピッキング(把持)の一例として把持に読み替えて説明する。ただし、上述の通り本発明はエンドエフェクタがワークを掴む態様に限らず、他の把持態様にも適用できることは言うまでもない。 Using the above robot setting device, necessary settings are made prior to the actual operation of picking the robots in bulk. Specifically, among the setting work, the teaching work is performed in which the user teaches the robot system side the gripping position, the mounting position, the gripping posture, and the like of the work. In the following, an example of gripping the work with an end effector will be described, and the description will be replaced with gripping as an example of picking (grasping). However, as described above, it goes without saying that the present invention is not limited to the mode in which the end effector grips the work, and can be applied to other gripping modes.
ワークを把持する際に、事前にユーザが教示した複数の把持位置候補の中から、最終的な把持位置を決定するよう、把持候補位置の優先順位を定める。ここでは、各把持候補位置に対応する載置時のエンドエフェクタの位置姿勢が、事前に載置位置として教示した際のエンドエフェクタの位置及び姿勢に近くなる順序で、把持位置の優先順位を定める。例えば図17〜図18の例では、ワークWK1の把持よりも、ワークWK2の把持を優先させることで、動作範囲外にロボットが移動しようとしてしまう事態を回避できる。 When gripping the work, the priority of the gripping candidate positions is determined so as to determine the final gripping position from the plurality of gripping position candidates taught by the user in advance. Here, the priority of the gripping position is determined in the order in which the position and orientation of the end effector at the time of mounting corresponding to each gripping candidate position are close to the position and posture of the end effector when the mounting position is taught in advance. .. For example, in the examples of FIGS. 17 to 18, by giving priority to gripping the work WK2 over gripping the work WK1, it is possible to avoid a situation in which the robot tries to move out of the operating range.
また、載置位置として教示したときのエンドエフェクタの位置姿勢と、ピッキング時に選択した把持での載置時のエンドエフェクタ位置姿勢との差分に上限値を設けることで、そもそも図17のワークWK1の把持や、図20のエンドエフェクタEET4が床に衝突する把持が選択されないようにすることもできる。 Further, by setting an upper limit value for the difference between the position and orientation of the end effector when taught as the mounting position and the position and orientation of the end effector at the time of mounting in the grip selected at the time of picking, the work WK1 of FIG. It is also possible to prevent selection of gripping or gripping where the end effector EET4 of FIG. 20 collides with the floor.
次に、載置位置から把持位置を決定する手順の一例について、図7のフローチャートに基づいて説明する。 Next, an example of the procedure for determining the gripping position from the mounting position will be described with reference to the flowchart of FIG. 7.
まず、ステップS701において、ワーク載置位置を決定する。ここでは、所定の載置位置にワークを配置し、この位置をワーク載置位置とする。例えばロボットでワークを把持、移動させて載置させたいワークの載置位置に、ユーザが手動でワークを載置する。 First, in step S701, the work placement position is determined. Here, the work is placed at a predetermined mounting position, and this position is set as the work mounting position. For example, the user manually places the work at the place where the work is to be placed by grasping and moving the work with a robot.
次にステップS702において、基準載置姿勢を登録する。上述のワーク載置位置に載置したワークを把持できる位置にエンドエフェクタが位置するように、ロボットを操作する。このときのエンドエフェクタの姿勢を基準載置姿勢として、記憶部9に記録する。
Next, in step S702, the reference mounting posture is registered. The robot is operated so that the end effector is positioned at a position where the workpiece mounted on the work mounting position can be gripped. The posture of the end effector at this time is recorded in the
次にステップS703において、載置基準把持を登録する。ここでは、ワーク載置位置に配置したワークをロボットで基準載置姿勢で把持し、ロボットを操作してワークをセンサ部の視野内に搬送して、載置する。この視野内での載置時のエンドエフェクタの位置を載置基準把持として、記憶部9に記録する。
Next, in step S703, the mounting reference grip is registered. Here, the work placed at the work mounting position is gripped by the robot in the reference mounting posture, and the robot is operated to convey the work within the field of view of the sensor unit and place the work. The position of the end effector at the time of mounting in this field of view is recorded in the
その後、ステップS704において、基準把持情報を登録する。ここでは、ロボットをセンサ部の視野外に退避させて、先ほどの視野内に載置したワークの位置姿勢を認識して、記憶部9に記録する。このワークの位置姿勢と、載置基準把持の相対的位置関係を、基準把持情報として記憶部9に記録する。このワークの位置姿勢が、第一把持候補位置となる。
Then, in step S704, the reference gripping information is registered. Here, the robot is retracted out of the field of view of the sensor unit, the position and orientation of the work placed in the field of view are recognized, and the robot is recorded in the
さらにステップS705において、登録把持情報を登録する。ここでは、ワークに対して、追加の把持位置を登録し、ワークの位置姿勢とこの把持位置の相対的位置関係を記録する。このときの把持位置を登録把持情報とする。この登録把持情報が、第二把持候補位置となる。 Further, in step S705, the registered grip information is registered. Here, an additional gripping position is registered with respect to the work, and the relative positional relationship between the position and orientation of the work and the gripping position is recorded. The gripping position at this time is used as the registered gripping information. This registered grip information becomes the second grip candidate position.
次にステップS706において、エンドエフェクタの載置姿勢を算出する。把持の結果、上述した所定のワーク載置位置にワークを載置する際のエンドエフェクタの位置、姿勢は、登録把持情報と基準把持情報のそれぞれのエンドエフェクタの把持位置の相対的位置関係と基準載置姿勢とに基づいて算出できる。このようにして算出されたエンドエフェクタの位置・姿勢を載置姿勢とする。 Next, in step S706, the mounting posture of the end effector is calculated. As a result of gripping, the position and posture of the end effector when the work is placed in the predetermined work mounting position described above are the relative positional relationship and the reference of the gripping position of each end effector of the registered gripping information and the reference gripping information. It can be calculated based on the placement posture. The position / posture of the end effector calculated in this way is defined as the mounting posture.
さらにステップS707において、各登録把持情報の把持判定を行う。ここでは、載置姿勢と基準載置姿勢の近さを、登録把持情報のすべてに対して評価し、最も近い登録把持情報から順に、把持できるかどうかの判定を行う。 Further, in step S707, the grip determination of each registered grip information is performed. Here, the closeness between the mounting posture and the reference mounting posture is evaluated with respect to all the registered gripping information, and it is determined whether or not the gripping can be performed in order from the closest registered gripping information.
このようにして、載置位置から把持位置を決定することができる。この結果、従来のように把持の条件のみを最適化して、ロボットの動作範囲の制約などで載置できないケースが発生することを回避できる。特に本実施形態に係るロボット設定装置では、予め登録した載置時のエンドエフェクタの位置姿勢と、同じく予め登録したそのときのワークに対するエンドエフェクタの把持位置姿勢とに基づいて、ワークに対する任意の把持におけるエンドエフェクタの載置位置姿勢を計算し、載置に適した把持位置を選択できる。
(実施形態2)
In this way, the gripping position can be determined from the mounting position. As a result, it is possible to optimize only the gripping conditions as in the conventional case and avoid a case where the robot cannot be mounted due to restrictions on the operating range of the robot. In particular, in the robot setting device according to the present embodiment, an arbitrary grip on the work is performed based on the position and orientation of the end effector at the time of mounting registered in advance and the gripping position and posture of the end effector with respect to the work at that time also registered in advance. The mounting position and posture of the end effector can be calculated and the gripping position suitable for mounting can be selected.
(Embodiment 2)
以上の例では、実際に作業空間にワークを載置して、ロボットでこのワークを把持したり、センサ部2で撮像したりしながらティーチング作業を行う例について説明した。ただ本発明はこの構成に限らず、実際にワークの現物を用意したりロボットを操作したりセンサ部で撮像したりする作業を必ずしもすべて行わずとも、一部あるいはすべてを仮想的に行わせることもできる。例えばワークのCADデータ等を利用して、仮想作業空間内で演算により行わせることもできる。このような例を実施形態2として、図8に示す。この図に示すロボットシステムは、演算部10と、表示部3と、操作部4を備える。
In the above example, an example in which the work is actually placed in the work space and the teaching work is performed while the robot grips the work or the
この構成においては、ワークの三次元形状データに代えて、CADデータを利用したワークモデルや、エンドエフェクタやアーム部のCADデータを用いたロボットモデル(エンドエフェクタモデル、ワークモデル)収納容器をモデル化した収納容器モデル、センサ部を模したセンサモデルなどを用いて、仮想作業空間上で演算により三次元サーチや干渉判定、把持解算出等を行う。この構成によれば、ロボットを用いずに、仮想作業空間上で設定することが可能となり、ティーチング作業等をより簡便に行える利点が得られる。
(演算部10の機能ブロック図)
In this configuration, instead of the 3D shape data of the work, a work model using CAD data and a robot model (end effector model, work model) storage container using CAD data of the end effector and arm are modeled. Three-dimensional search, interference determination, gripping solution calculation, etc. are performed by calculation in the virtual workspace using the storage container model, the sensor model that imitates the sensor unit, and the like. According to this configuration, it is possible to set in a virtual work space without using a robot, and there is an advantage that teaching work and the like can be performed more easily.
(Functional block diagram of arithmetic unit 10)
ここで演算部10の機能ブロック図の一例を、図9に示す。この図に示す演算部10は、三次元形状データ入力部1aと、ワーク位置姿勢認識部1bと、位置関係登録部1cと、エンドエフェクタ位置姿勢算出部1dと、変換部1eと、載置位置登録部1fとを備える。
Here, an example of the functional block diagram of the
三次元形状データ入力部1aは、センサ部2から三次元形状データを取得する。この例では、センサ部2側に、三次元画像生成部を備えており、センサ部2側の三次元画像生成部で生成された三次元画像を三次元形状データとして、三次元形状データ入力部1aで取得する。ただ上述の通り、例えばセンサ部2で撮像した生画像を、画像処理部側で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。
The three-dimensional shape
ワーク位置姿勢認識部1bは、三次元形状データ中に含まれるワークの位置と姿勢を認識するための部材である。
The work position /
位置関係登録部1cは、ワークとエンドエフェクタと位置関係を登録するための部材である。 The positional relationship registration unit 1c is a member for registering the positional relationship between the work and the end effector.
エンドエフェクタ位置姿勢算出部1dは、ワークの載置時のエンドエフェクタの位置と姿勢を算出するための部材である。
The end effector position /
変換部1eは、ある位置のセンサの座標空間における位置と、ロボットの座標空間における位置との対応関係を規定する。ここでは、ビジョン−ロボットのキャリブレーションデータに従って、センサ部2の座標空間からロボットの座標空間へ座標位置を変換する。
The
載置位置登録部1fは、載置時のエンドエフェクタの位置を登録するための部材である。
(載置条件を利用した把持設定の手順)
The mounting
(Procedure for gripping setting using mounting conditions)
次に、載置条件を利用して把持設定を行う手順を、図10のフローチャートに基づいて説明する。 Next, a procedure for performing the gripping setting using the mounting conditions will be described with reference to the flowchart of FIG.
まずステップS1001において、載置基準把持を教示する。
(載置把持条件)
First, in step S1001, the placement reference gripping is taught.
(Mounting and gripping conditions)
次にステップS1002において、載置把持条件を設定する。載置把持条件としては、例えば教示した載置位置でのエンドエフェクタの姿勢に対する傾斜角の上限を設定することが含まれる。また、算出したエンドエフェクタの位置がロボットの動作範囲内であることを含めてもよい。この場合は、例えばロボットの標準の判定機能を使用したり、ロボットの制御点がロボットの動作可能範囲内かどうかを計算する等の方法が利用できる。さらに他の載置把持条件として、載置位置周囲の干渉物とロボットのエンドエフェクタとの干渉を含めてもよい。この場合、仮想作業空間上で載置対象のワークの位置を基準に、障害物のオブジェクト(例えば床)を配置して、載置姿勢におけるエンドエフェクタとの干渉有無を判定することができる。 Next, in step S1002, the mounting and gripping conditions are set. The mounting and gripping condition includes, for example, setting the upper limit of the inclination angle with respect to the posture of the end effector at the taught mounting position. Further, it may be included that the calculated position of the end effector is within the operating range of the robot. In this case, for example, a method such as using a standard determination function of the robot or calculating whether or not the control point of the robot is within the operable range of the robot can be used. Still other mounting and gripping conditions may include interference between an interfering object around the mounting position and the robot end effector. In this case, an obstacle object (for example, the floor) can be arranged based on the position of the work to be placed on the virtual work space, and the presence or absence of interference with the end effector in the placement posture can be determined.
さらにステップS1003において、ワークをセンサ部の撮像視野内に配置する。 Further, in step S1003, the work is arranged in the imaging field of view of the sensor unit.
さらにステップS1004において、把持位置を教示する。 Further, in step S1004, the gripping position is taught.
次にステップS1005において、把持位置を追加するか否かを判定する。追加する場合はステップS1004に戻って上記工程を繰り返す。一方、追加しない場合はステップS1006に進み、把持設定作業を終了し、必要に応じて実運用に移行する。実運用とは、例えば載置把持条件を利用したバラ積みピッキングの運用である。
(載置基準把持を教示する手順)
Next, in step S1005, it is determined whether or not to add the gripping position. When adding, the process returns to step S1004 and the above step is repeated. On the other hand, if it is not added, the process proceeds to step S1006, the grip setting work is completed, and the actual operation is started as necessary. The actual operation is, for example, the operation of bulk picking using the mounting and gripping condition.
(Procedure to teach gripping the mounting standard)
ここで、上記図10のステップS1001において、載置基準把持を教示する手順の詳細を、図11のフローチャートに基づいて説明する。まず、ステップS1101において、所定のワーク載置位置に、ワークを設置する。 Here, in step S1001 of FIG. 10, the details of the procedure for teaching the placement reference gripping will be described with reference to the flowchart of FIG. First, in step S1101, the work is installed at a predetermined work placement position.
次にステップS1102において、ワークを把持できる位置にロボットのエンドエフェクタを移動させる。 Next, in step S1102, the robot end effector is moved to a position where the work can be gripped.
さらにステップS1103において、エンドエフェクタの位置姿勢を基準載置姿勢として記憶部9に記録する。
Further, in step S1103, the position and orientation of the end effector is recorded in the
さらにステップS1104において、基準載置姿勢でワーク載置位置のワークを把持する。 Further, in step S1104, the work at the work mounting position is gripped in the reference mounting posture.
そしてステップS1105において、ワークをロボットで搬送してヘッド部の撮像視野内に配置させる。 Then, in step S1105, the work is conveyed by the robot and placed in the imaging field of view of the head portion.
さらにステップS1106において、エンドエフェクタの位置姿勢を載置基準把持として記録する。 Further, in step S1106, the position and orientation of the end effector is recorded as the mounting reference grip.
さらにステップS1107において、ワークをリリースしてエンドエフェクタを撮像視野外に退避させる。 Further, in step S1107, the work is released and the end effector is retracted out of the imaging field of view.
さらにステップS1108において、ヘッド部でワークの位置姿勢を記録する。 Further, in step S1108, the position and orientation of the work are recorded at the head portion.
最後にステップS1109において、ワークとロボットエンドエフェクタの把持時の相対位置関係を基準把持情報として記録する。
(把持位置教示の手順)
Finally, in step S1109, the relative positional relationship between the work and the robot end effector at the time of gripping is recorded as reference gripping information.
(Procedure for teaching the grip position)
さらに図10のステップS1004において、把持位置を教示する手順の一例を、図12のフローチャートに基づいて説明する。まずステップS1201において、ヘッド部でワークの位置姿勢を記録する。 Further, in step S1004 of FIG. 10, an example of a procedure for teaching the gripping position will be described with reference to the flowchart of FIG. First, in step S1201, the position and orientation of the work are recorded at the head portion.
次にステップS1202において、ワークを把持できる位置へロボットエンドエフェクタを移動させる。 Next, in step S1202, the robot end effector is moved to a position where the work can be gripped.
さらにステップS1203において、ロボットエンドエフェクタの位置姿勢を記録する。 Further, in step S1203, the position and orientation of the robot end effector are recorded.
最後にステップS1204において、ワークとロボットエンドエフェクタの把持時の相対位置関係を記録する。
(載置条件を利用したバラ積みピッキングの運用時の手順)
Finally, in step S1204, the relative positional relationship between the work and the robot end effector when gripped is recorded.
(Procedures for operating bulk picking using placement conditions)
以上のようにして、ティーチング作業を終了してワークの把持位置や載置位置を登録し設定作業を終えることで、バラ積みピッキングの運用が行える。最後に、載置条件を利用したバラ積みピッキングの運用時の手順の一例について、図13のフローチャートに基づいて説明する。まずステップS1301において、バラ積みされたワーク群をヘッド部で撮像して、各ワークの位置姿勢を認識する。 As described above, by completing the teaching work, registering the gripping position and the mounting position of the work, and completing the setting work, the bulk picking operation can be performed. Finally, an example of a procedure at the time of operation of bulk picking using the placement condition will be described with reference to the flowchart of FIG. First, in step S1301, the work group stacked separately is imaged by the head portion to recognize the position and orientation of each work.
次にステップS1302において、認識したワークの中から一つのワークを選択する。 Next, in step S1302, one work is selected from the recognized works.
さらにステップS1303において、教示した把持の中から一つの把持を選択する。 Further, in step S1303, one grip is selected from the taught grips.
さらにまたステップS1304において、算出載置位置を計算する。 Furthermore, in step S1304, the calculated mounting position is calculated.
次にステップS1305において、載置姿勢と基準載置姿勢の差分値を計算する。 Next, in step S1305, the difference value between the mounting posture and the reference mounting posture is calculated.
そしてステップS1306において、演算された差分値が所定の最小差分値より小さいか否かを判定し、小さい場合はステップS1307において、最小差分値を更新した後、ステップS1308に進む。一方、小さくない場合は、そのままステップS1308に進む。 Then, in step S1306, it is determined whether or not the calculated difference value is smaller than the predetermined minimum difference value, and if it is smaller, the minimum difference value is updated in step S1307, and then the process proceeds to step S1308. On the other hand, if it is not small, the process proceeds to step S1308 as it is.
ステップS1308おいて、未計算の把持が残っているか否かを判定し、残っている場合はステップS1303に戻って上記工程を繰り返す。一方、残っていない場合はステップS1309に進み、未計算のワークが残っているか否かを判定する。残っている場合はステップS1302に戻り、上記工程を繰り返す。残っていない場合はステップS1310において、載置把持条件の範囲内か否かを判定し、範囲内の場合はステップS1311において、最小差分値のときのワークと把持を選択して処理を終了する。一方、範囲外の場合はそのまま処理を終了する。 In step S1308, it is determined whether or not uncalculated grip remains, and if so, the process returns to step S1303 and the above step is repeated. On the other hand, if there is no remaining work, the process proceeds to step S1309 to determine whether or not uncalculated work remains. If it remains, the process returns to step S1302 and the above step is repeated. If it does not remain, it is determined in step S1310 whether or not it is within the range of the mounting gripping condition, and if it is within the range, the work and grip at the time of the minimum difference value are selected and the process ends. On the other hand, if it is out of the range, the process is terminated as it is.
このようにして、載置条件を利用したバラ積みピッキングの運用を行うことができる。 In this way, it is possible to perform the operation of bulk picking using the placement conditions.
以上のように本実施形態に係るロボット設定装置によれば、事前にワークが載置可能であることを前提に、把持位置や把持姿勢といった把持位置姿勢条件を設定することで、実運用の開始後に、登録した把持位置では載置ができないことが発覚して、ロボット動作計画の見直しを迫られるケースを回避できる。 As described above, according to the robot setting device according to the present embodiment, on the premise that the work can be placed in advance, the actual operation is started by setting the gripping position posture conditions such as the gripping position and the gripping posture. Later, it is possible to avoid the case where it is discovered that the robot cannot be placed at the registered gripping position and the robot motion plan is forced to be reviewed.
また、把持設定の段階で、登録した把持位置から求められる載置姿勢が、載置把持条件を満たしているかどうかを判定し、満たしていないと判定されれば、警告を発するように構成してもよい。例えばロボット動作条件判定部10cが、このような載置姿勢が載置把持条件の範囲内かどうかを判定し、範囲外の場合は、設定として不適切である旨をユーザに告知して、再設定を促す。これによって、適切な設定が行えることに加えて、運用時に載置把持条件の範囲内かどうかの計算をする必要性をなくすことができ、運用時の処理の負担を軽減できる利点も得られる。
(追加の把持条件)
In addition, at the stage of gripping setting, it is determined whether or not the mounting posture obtained from the registered gripping position satisfies the mounting and gripping condition, and if it is determined that the mounting posture does not satisfy the mounting and gripping condition, a warning is issued. May be good. For example, the robot operation
(Additional gripping conditions)
あるいは、載置把持条件とは異なる把持条件を追加で設定することも考えられる。追加の把持条件としては、例えば周囲の障害物とエンドエフェクタとの干渉判定が挙げられる。このような追加の把持条件を設定している場合は、差分が最小値になる把持だけを扱うのではなく、登録した把持を差分が小さい順にソートして、その順に追加の把持条件を判定して、条件に最初に適合する把持を選択するように構成してもよい。 Alternatively, it is conceivable to additionally set a gripping condition different from the mounting gripping condition. Additional gripping conditions include, for example, interference determination between surrounding obstacles and the end effector. When such additional gripping conditions are set, the registered grips are sorted in ascending order of the difference, and the additional gripping conditions are determined in that order, instead of handling only the grips having the minimum difference. It may be configured to select the grip that first meets the conditions.
さらにまた、条件に適合しない把持が発覚した際には、基準載置姿勢を変更することで、登録済みのすべての把持が載置把持条件の範囲内かどうかを再判定することもできる。 Furthermore, when a grip that does not meet the conditions is discovered, it is possible to redetermine whether or not all the registered grips are within the range of the mounting grip conditions by changing the reference mounting posture.
本発明のロボット設定装置、ロボットシステム、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、ロボットのバラ積みピッキングの動作を検証する用途に好適に利用できる。 The robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording device of the present invention can be suitably used for verifying the operation of bulk picking of a robot.
1000…ロボットシステム
100…ロボット設定装置
1a…三次元形状データ入力部;1b…ワーク位置姿勢認識部;1c…位置関係登録部;1d…エンドエフェクタ位置姿勢算出部;1e…変換部;1f…載置位置登録部
2…センサ部;2b…センサ制御部
3…表示部
4…操作部
5…ロボット本体
6…ロボットコントローラ
7…ロボット操作具
8…設定部;8a…基準載置姿勢設定部;8b…ロボット動作条件設定部;8c…把持設定部
9…記憶部
10…演算部;10a…ワーク把持候補位置認識部;10b…ロボット動作算出部;
10c…ロボット動作条件判定部;10d…把持位置決定部;10e…載置姿勢算出部
EET、EET2、EET3、EET4…エンドエフェクタ
ARM…アーム部
STG…ステージ
WK、WKL、WK1、WK2、WK3…ワーク
HTP1、HTP2…把持教示位置
PRJ…プロジェクタ
CME1、CME2、CME3、CME4…カメラ
BX…収納容器
1000 ...
10c ... Robot operation condition determination unit; 10d ... Gripping position determination unit; 10e ... Placement posture calculation unit EET, EET2, EET3, EET4 ... End effector ARM ... Arm unit STG ... Stage WK, WKL, WK1, WK2, WK3 ... Work HTP1, HTP2 ... Gripping teaching position PRJ ... Projector CME1, CME2, CME3, CME4 ... Camera BX ... Storage container
Claims (17)
ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定可能な把持設定部と、
前記把持設定部により設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する基準載置姿勢設定部と、
前記把持設定部により設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、
前記第一把持候補位置及び第二把持候補位置の差分、
前記第一把持姿勢及び第二把持姿勢の差分、及び
前記基準載置姿勢
とを用いた演算処理により算出する載置姿勢算出部と
を備え、
前記把持設定部は、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、前記載置姿勢算出部により算出された載置姿勢を、各把持候補位置と対応付けて設定可能に構成されてなるロボット設定装置。 The three-dimensional shape of the work placed in the work space is measured, and the arm portion provided in the robot and the end effector for gripping the workpiece provided at the tip of the arm portion are driven and gripped, and the gripped work is gripped by a predetermined value. It is a robot setting device for setting the operation of the robot so that it is mounted at the mounting position.
A grip setting unit capable of setting a plurality of grip candidate positions when gripping a work in association with a grip posture of an end effector when gripping each grip candidate position.
Among the plurality of gripping candidate positions set by the gripping setting unit, the first gripping candidate position is gripped by the end effector in the first gripping posture associated with the first gripping candidate position, and the work is placed. A reference mounting posture setting unit that sets the first mounting posture of the end effector required for mounting in a desired position at a position as a reference mounting posture, and a reference mounting posture setting unit.
Of the plurality of gripping candidate positions set by the gripping setting unit, the second gripping candidate position is gripped by the end effector in the second gripping posture associated with the second gripping candidate position, and the work is placed. The second mounting posture of the end effector required for mounting in the desired state at the position,
Difference between the first gripping candidate position and the second gripping candidate position,
It is provided with a mounting posture calculation unit calculated by arithmetic processing using the difference between the first gripping posture and the second gripping posture and the reference mounting posture.
Among the plurality of gripping candidate positions, the gripping setting unit sets the mounting posture calculated by the previously described placement posture calculation unit as each gripping candidate position for each of the gripping candidate positions excluding the first gripping candidate position. A robot setting device that is configured so that it can be set in association with each other.
ロボットのアーム部及び/又はエンドエフェクタの動作可能範囲を規定した動作条件を記憶する記憶部と、
前記載置姿勢算出部により算出された載置姿勢を取るためのロボットのアーム部及び/又はエンドエフェクタの動作が、前記記憶部に記憶された動作条件を満たすか否かを判定するためのロボット動作条件判定部と
を備え、
前記把持設定部は、前記ロボット動作条件判定部により前記動作条件を満たさないと判定された載置姿勢に対応する把持候補位置を、登録から除外するよう構成してなるロボット設定装置。 The robot setting device according to claim 1.
A storage unit that stores operating conditions that define the operable range of the robot arm and / or end effector, and
A robot for determining whether or not the operation of the arm portion and / or the end effector of the robot for taking the mounting posture calculated by the above-described placement posture calculation unit satisfies the operation condition stored in the storage unit. Equipped with an operating condition judgment unit
The grip setting unit is a robot setting device configured to exclude from registration the grip candidate positions corresponding to the mounting postures determined by the robot operation condition determination unit to not satisfy the operation conditions.
前記把持設定部は、前記載置姿勢算出部による載置姿勢の算出に際して、前記第一把持姿勢との差分が所定値よりも大きい第二把持姿勢については、登録から除外するよう構成してなるロボット設定装置。 The robot setting device according to claim 1 or 2.
The grip setting unit is configured to exclude from registration the second grip posture in which the difference from the first grip posture is larger than a predetermined value when the mounting posture is calculated by the above-described placement posture calculation unit. Robot setting device.
ワークを前記載置位置に載置可能なロボットの動作条件を設定するためのロボット動作条件設定部と、
ワークの三次元形状を示す三次元形状データに基づいて、前記ロボットにより把持が可能なワーク上の一以上の把持候補位置を認識するためのワーク把持候補位置認識部と、
前記ワーク把持候補位置認識部により認識されたワーク上の把持候補位置で把持し、前記載置位置に載置するために必要なロボットの動作を、前記ロボット動作条件設定部で設定されたロボット動作条件に従い算出するためのロボット動作算出部と、
前記ロボット動作条件判定部の判定により、前記ロボット動作条件を満たすと判定された載置姿勢に基づいて、実際にロボットがワークを把持する把持位置を決定するための把持位置決定部と
を備えるロボット設定装置。 The robot setting device according to claim 2, further
A robot operating condition setting unit for setting operating conditions for a robot that can place a work in the previously described placement position, and a robot operating condition setting unit.
A work gripping candidate position recognition unit for recognizing one or more gripping candidate positions on the work that can be gripped by the robot based on the three-dimensional shape data indicating the three-dimensional shape of the work.
The robot operation required for gripping at the gripping candidate position on the work recognized by the work gripping candidate position recognition unit and placing the robot at the previously described placement position is set by the robot operation condition setting unit. A robot motion calculation unit for calculating according to conditions, and
A robot including a gripping position determining unit for determining a gripping position at which the robot actually grips a work based on a mounting posture determined by the determination of the robot operating condition determining unit to satisfy the robot operating condition. Setting device.
前記ロボット動作条件が、アーム部及びエンドエフェクタの、物理的な動作範囲を含むロボット設定装置。 The robot setting device according to claim 4.
A robot setting device in which the robot operating conditions include the physical operating range of the arm portion and the end effector.
前記ロボット動作条件が、アーム部の長さ、エンドエフェクタの回転角度、又は傾斜角度の少なくとも何れかで規定されてなるロボット設定装置。 The robot setting device according to claim 4 or 5.
A robot setting device in which the robot operating conditions are defined by at least one of the length of the arm portion, the rotation angle of the end effector, and the inclination angle.
前記作業空間に配置されたワークの三次元形状を三次元計測するためのセンサ部を備え、
前記ワーク把持候補位置認識部は、前記センサ部を制御して計測されたワークの三次元計測データを三次元形状データとして、前記ロボットにより把持が可能なワーク上の一以上の把持候補位置を認識するよう構成してなるロボット設定装置。 The robot setting device according to any one of claims 4 to 6, further comprising:
A sensor unit for three-dimensionally measuring the three-dimensional shape of the work placed in the work space is provided.
The work gripping candidate position recognition unit recognizes one or more gripping candidate positions on the work that can be gripped by the robot by using the three-dimensional measurement data of the work measured by controlling the sensor unit as three-dimensional shape data. A robot setting device that is configured to do so.
前記センサ部が、カメラとプロジェクタを含み、
前記作業空間の上方に配置されたカメラとプロジェクタで、該作業空間に積み上げられた複数のワークの三次元形状を計測するよう構成してなるロボット設定装置。 The robot setting device according to claim 7.
The sensor unit includes a camera and a projector.
A robot setting device configured to measure the three-dimensional shapes of a plurality of workpieces stacked in the work space by a camera and a projector arranged above the work space.
三次元形状データを取得するための三次元形状データ入力部と、
三次元形状データ中に含まれるワークの位置と姿勢を認識するためのワーク位置姿勢認識部と、
ワークとエンドエフェクタと位置関係を登録するための位置関係登録部と、
ワークを載置する際のエンドエフェクタの位置と姿勢を算出するためのエンドエフェクタ位置姿勢算出部と、
エンドエフェクタの位置姿勢をセンサの座標空間からロボットの座標空間へ変換する変換部と
載置時のエンドエフェクタの位置を登録するための載置位置登録部と
を備えるロボット設定装置。 The robot setting device according to claim 7 or 8, further
A 3D shape data input unit for acquiring 3D shape data,
A work position / orientation recognition unit for recognizing the position and orientation of the work included in the 3D shape data,
A positional relationship registration unit for registering the positional relationship between the work, the end effector, and
The end effector position / orientation calculation unit for calculating the position and orientation of the end effector when the work is placed, and the end effector position / orientation calculation unit.
A robot setting device including a conversion unit that converts the position and orientation of the end effector from the coordinate space of the sensor to the coordinate space of the robot and a mounting position registration unit for registering the position of the end effector at the time of mounting.
前記ワーク把持候補位置認識部は、ワークの三次元形状を示すCADデータを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータに対して、前記ロボットにより把持が可能なワーク上の一以上の把持候補位置を認識するよう構成してなるロボット設定装置。 The robot setting device according to any one of claims 7 to 9.
The work gripping candidate position recognition unit grips the virtual loose stacking data obtained by stacking CAD data indicating the three-dimensional shape of the work in the virtual work space, which is a virtual work space, by the robot. A robot setting device configured to recognize one or more gripping candidate positions on a possible workpiece.
前記三次元計測データが、位相シフト法に基づいて生成されてなるロボット設定装置。 The robot setting device according to any one of claims 7 to 10.
A robot setting device in which the three-dimensional measurement data is generated based on the phase shift method.
作業空間に無作為に積み上げられた複数のワークを順次取り出すバラ積みピッキング動作を、ロボットに行わせてなるロボット設定装置。 The robot setting device according to any one of claims 4 to 11.
A robot setting device that allows a robot to perform a bulk picking operation that sequentially takes out multiple workpieces randomly stacked in a work space.
ワークを把持するための前記エンドエフェクタと、前記エンドエフェクタを可動させるアーム部とを備えるロボットと、
前記把持位置決定部で決定された把持位置でワークを把持するように、前記エンドエフェクタ及びアーム部を駆動するためのロボットコントローラと
を備えるロボットシステム。 The robot setting device according to any one of claims 4 to 12.
A robot including the end effector for gripping the work and an arm portion for moving the end effector.
A robot system including a robot controller for driving the end effector and the arm portion so as to grip the work at the gripping position determined by the gripping position determining unit.
ワークを把持するための前記エンドエフェクタと、
前記エンドエフェクタを可動させる前記アーム部と、
ワークの三次元形状を計測するため、ワークの形状を撮像するためのセンサ部と、
ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際の前記エンドエフェクタの把持姿勢と対応付けて設定可能な把持設定部と、
前記把持設定部により設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要な前記エンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する基準載置姿勢設定部と、
前記把持設定部により設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、
前記第一把持候補位置及び第二把持候補位置の差分、
前記第一把持姿勢及び第二把持姿勢の差分、及び
前記基準載置姿勢
とを用いた演算処理により算出する載置姿勢算出部と、
前記アーム部及び/又はエンドエフェクタの動作可能範囲を規定した動作条件を記憶する記憶部と、
前記載置姿勢算出部により算出された載置姿勢を取るための前記アーム部及び/又はエンドエフェクタの動作が、前記記憶部に記憶された動作条件を満たすか否かを判定するためのロボット動作条件判定部と、
前記ロボット動作条件判定部の判定により、動作条件を満たすと判定された載置姿勢に基づいて、実際にロボットがワークを把持する把持位置を決定するための把持位置決定部と、
前記把持位置決定部で決定された把持位置でワークを把持するように、前記エンドエフェクタ及びアーム部を駆動するためのロボットコントローラと
を備え、
前記把持設定部は、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、前記載置姿勢算出部により算出された載置姿勢を、各把持候補位置と対応付けて設定可能に構成されてなるロボットシステム。 The three-dimensional shape of the work placed in the work space is measured, and the arm portion provided in the robot and the end effector for gripping the workpiece provided at the tip of the arm portion are driven and gripped, and the gripped work is gripped by a predetermined value. It is a robot system for mounting in the mounting position.
The end effector for gripping the work and
The arm portion that moves the end effector and
In order to measure the three-dimensional shape of the work, a sensor unit for imaging the shape of the work, and
A grip setting unit capable of setting a plurality of grip candidate positions when gripping a work in association with a grip posture of the end effector when gripping each grip candidate position.
Among the plurality of gripping candidate positions set by the gripping setting unit, the first gripping candidate position is gripped by the end effector in the first gripping posture associated with the first gripping candidate position, and the work is placed. A reference mounting posture setting unit that sets the first mounting posture of the end effector required for mounting in a desired state at a position as a reference mounting posture, and a reference mounting posture setting unit.
Of the plurality of gripping candidate positions set by the gripping setting unit, the second gripping candidate position is gripped by the end effector in the second gripping posture associated with the second gripping candidate position, and the work is placed. The second mounting posture of the end effector required for mounting in the desired state at the position,
Difference between the first gripping candidate position and the second gripping candidate position,
A mounting posture calculation unit calculated by arithmetic processing using the difference between the first gripping posture and the second gripping posture and the reference mounting posture.
A storage unit that stores operating conditions that define the operable range of the arm unit and / or the end effector, and
Robot operation for determining whether or not the operation of the arm unit and / or the end effector for taking the mounting posture calculated by the above-described placement posture calculation unit satisfies the operation condition stored in the storage unit. Condition judgment unit and
A gripping position determining unit for determining the gripping position at which the robot actually grips the work based on the mounting posture determined to satisfy the operating condition by the determination of the robot operating condition determining unit.
A robot controller for driving the end effector and the arm portion is provided so as to grip the work at the gripping position determined by the gripping position determining unit.
Among the plurality of gripping candidate positions, the gripping setting unit sets the mounting posture calculated by the previously described placement posture calculation unit as each gripping candidate position for each of the gripping candidate positions excluding the first gripping candidate position. A robot system that is configured so that it can be associated and set.
ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定する工程と、
前記設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する工程と、
前記設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、
前記第一把持候補位置及び第二把持候補位置の差分、
前記第一把持姿勢及び第二把持姿勢の差分、及び
前記基準載置姿勢
とを用いた演算処理により算出し、該算出された載置姿勢を、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、各把持候補位置と対応付けて設定する工程と
を含むロボット設定方法。 The three-dimensional shape of the work placed in the work space is measured, and the arm portion provided in the robot and the end effector for gripping the workpiece provided at the tip of the arm portion are driven and gripped, and the gripped work is gripped by a predetermined value. It is a method of setting the operation of the robot so that it is mounted at the mounting position.
A step of setting a plurality of gripping candidate positions when gripping a work in association with a gripping posture of an end effector when gripping each gripping candidate position.
Among the plurality of set gripping candidate positions, the first gripping candidate position is gripped by the end effector in the first gripping posture associated with the first gripping candidate position, and the work is desired to be placed at the mounting position. The process of setting the first mounting posture of the end effector required for mounting in the state as the reference mounting posture, and
Among the plurality of set gripping candidate positions, the second gripping candidate position is gripped by the end effector in the second gripping posture associated with the second gripping candidate position, and the work is placed in the desired mounting position. The second mounting posture of the end effector required for mounting in the state of
Difference between the first gripping candidate position and the second gripping candidate position,
Calculated by arithmetic processing using the difference between the first gripping posture and the second gripping posture and the reference mounting posture, and the calculated mounting posture is the first gripping among the plurality of gripping candidate positions. A robot setting method including a step of setting each gripping candidate position excluding the candidate position in association with each gripping candidate position.
ワークを把持する際の複数の把持候補位置を、各把持候補位置を把持する際のエンドエフェクタの把持姿勢と対応付けて設定する機能と、
前記設定された複数の把持候補位置の内、第一把持候補位置を、該第一把持候補位置に対応付けられた第一把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に所望の状態で載置するために必要なエンドエフェクタの第一載置姿勢を、基準載置姿勢として設定する機能と、
前記設定された複数の把持候補位置の内、第二把持候補位置を、該第二把持候補位置に対応付けられた第二把持姿勢にてエンドエフェクタで把持し、ワークを載置位置に前記所望の状態で載置するために必要なエンドエフェクタの第二載置姿勢を、
前記第一把持候補位置及び第二把持候補位置の差分、
前記第一把持姿勢及び第二把持姿勢の差分、及び
前記基準載置姿勢
とを用いた演算処理により算出する機能と、
前記算出された載置姿勢を、前記複数の把持候補位置の内、第一把持候補位置を除く各把持候補位置のそれぞれについて、各把持候補位置と対応付けて設定する機能と
をコンピュータに実現させるためのロボット設定プログラム。 The three-dimensional shape of the work placed in the work space is measured, and the arm portion provided in the robot and the end effector for gripping the workpiece provided at the tip of the arm portion are driven and gripped, and the gripped work is gripped by a predetermined value. It is a program for setting the operation of the robot so that it is mounted at the mounting position.
A function to set a plurality of gripping candidate positions when gripping a work in association with a gripping posture of an end effector when gripping each gripping candidate position.
Among the plurality of set gripping candidate positions, the first gripping candidate position is gripped by the end effector in the first gripping posture associated with the first gripping candidate position, and the work is desired to be placed at the mounting position. A function to set the first mounting posture of the end effector required for mounting in the state as the reference mounting posture, and
Among the plurality of set gripping candidate positions, the second gripping candidate position is gripped by the end effector in the second gripping posture associated with the second gripping candidate position, and the work is placed in the desired mounting position. The second mounting posture of the end effector required for mounting in the state of
Difference between the first gripping candidate position and the second gripping candidate position,
A function calculated by arithmetic processing using the difference between the first gripping posture and the second gripping posture and the reference mounting posture, and
The computer realizes a function of setting the calculated mounting posture in association with each gripping candidate position for each of the gripping candidate positions other than the first gripping candidate position among the plurality of gripping candidate positions. Robot setting program for.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040974A JP6846951B2 (en) | 2017-03-03 | 2017-03-03 | Robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040974A JP6846951B2 (en) | 2017-03-03 | 2017-03-03 | Robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018144159A JP2018144159A (en) | 2018-09-20 |
JP6846951B2 true JP6846951B2 (en) | 2021-03-24 |
Family
ID=63589179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040974A Active JP6846951B2 (en) | 2017-03-03 | 2017-03-03 | Robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6846951B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210394361A1 (en) * | 2019-03-15 | 2021-12-23 | Omron Corporation | Grasping position and orientation registration device, grasping position and orientation registration method, and program |
JP2021091055A (en) | 2019-12-12 | 2021-06-17 | 株式会社キーエンス | measuring device |
JP2021091056A (en) * | 2019-12-12 | 2021-06-17 | 株式会社キーエンス | measuring device |
JP7464710B2 (en) | 2020-06-09 | 2024-04-09 | ファナック株式会社 | Work removal device |
JP2022017739A (en) | 2020-07-14 | 2022-01-26 | 株式会社キーエンス | Image processing apparatus |
JP2022174815A (en) * | 2021-05-12 | 2022-11-25 | 東京ロボティクス株式会社 | Information processing device, system, method and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0774971B2 (en) * | 1990-10-31 | 1995-08-09 | 三洋電機株式会社 | Robot work planning device |
JPH0767673B2 (en) * | 1991-10-09 | 1995-07-26 | 三洋電機株式会社 | Robot work planning device |
JP4962123B2 (en) * | 2007-04-27 | 2012-06-27 | 日産自動車株式会社 | Gripping candidate position selection device, gripping candidate position selection method, gripping route generation device, and gripping route generation method |
JP5685027B2 (en) * | 2010-09-07 | 2015-03-18 | キヤノン株式会社 | Information processing apparatus, object gripping system, robot system, information processing method, object gripping method, and program |
JP6429450B2 (en) * | 2013-10-31 | 2018-11-28 | キヤノン株式会社 | Information processing apparatus and information processing method |
JP6642968B2 (en) * | 2014-03-20 | 2020-02-12 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2017
- 2017-03-03 JP JP2017040974A patent/JP6846951B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018144159A (en) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6846951B2 (en) | Robot setting device, robot system, robot setting method, robot setting program, computer-readable recording medium, and recording equipment | |
CN112074382B (en) | Robot and method for positioning robot sensor | |
US7881917B2 (en) | Apparatus simulating operations between a robot and workpiece models | |
JP6807949B2 (en) | Interference avoidance device | |
JP6833777B2 (en) | Object handling equipment and programs | |
US9415511B2 (en) | Apparatus and method for picking up article randomly piled using robot | |
US10675759B2 (en) | Interference region setting apparatus for mobile robot | |
KR101453234B1 (en) | Workpiece pick-up apparatus | |
JP2019214084A (en) | Route planning device, route planning method, and route planning program | |
JP2014205209A (en) | Robot system and control method of the same | |
JP2019027947A (en) | Shape measuring device and shape measurement method | |
JP6950638B2 (en) | Manipulator controller, manipulator control method, and manipulator control program | |
US11833697B2 (en) | Method of programming an industrial robot | |
JP7233858B2 (en) | ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL PROGRAM | |
JP7346133B2 (en) | Robot setting device and robot setting method | |
JP6662836B2 (en) | Work placement system for placing work in the accommodation area or jig | |
WO2021039775A1 (en) | Image processing device, image capturing device, robot, and robot system | |
JP2019028770A (en) | Robot simulation device and robot simulation method | |
US20230330764A1 (en) | Autonomous assembly robots | |
JP7233508B2 (en) | Shape measuring device and shape measuring method | |
US11590652B2 (en) | Measuring device | |
JP2021091056A (en) | measuring device | |
JP2022017738A (en) | Image processing apparatus | |
JP2019028773A (en) | Robot simulation device and robot simulation method | |
WO2023188407A1 (en) | Robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6846951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |