JP6750406B2 - Failure factor identification method in loading/unloading work of loading/unloading device - Google Patents

Failure factor identification method in loading/unloading work of loading/unloading device Download PDF

Info

Publication number
JP6750406B2
JP6750406B2 JP2016170817A JP2016170817A JP6750406B2 JP 6750406 B2 JP6750406 B2 JP 6750406B2 JP 2016170817 A JP2016170817 A JP 2016170817A JP 2016170817 A JP2016170817 A JP 2016170817A JP 6750406 B2 JP6750406 B2 JP 6750406B2
Authority
JP
Japan
Prior art keywords
robot arm
loading
camera
work
unloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016170817A
Other languages
Japanese (ja)
Other versions
JP2018034271A (en
Inventor
貴士 町田
貴士 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2016170817A priority Critical patent/JP6750406B2/en
Publication of JP2018034271A publication Critical patent/JP2018034271A/en
Application granted granted Critical
Publication of JP6750406B2 publication Critical patent/JP6750406B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、ワークピースの搬入出装置において、前記ワークピースの搬入出作業が失敗したとき、その失敗の要因の所在を特定する方法に関する。 The present invention relates to a method for identifying a location of a cause of failure when a work loading/unloading operation for a workpiece fails in a work loading/unloading device.

下記特許文献１に記載されているように、ワークピース（製品、部品など）を持ち上げて所定の場所に載置するロボットアームを備えたワークピースの搬入出装置は知られている。この搬入出装置は、ワークピースが載置されたステージ全体をカメラで撮影し、その画像に基づいて、ロボットアームの座標系におけるワークピースの位置を検出している。 As described in Patent Document 1 below, a work piece loading/unloading device including a robot arm that lifts a work piece (products, parts, etc.) and places the work piece at a predetermined place is known. This loading/unloading device photographs the entire stage on which the workpiece is placed with a camera, and detects the position of the workpiece in the coordinate system of the robot arm based on the image.

特許第４２８９６１９号公報Japanese Patent No. 4289619

上記従来のワークピースの搬入出装置においては、ワークピースの搬入出作業が失敗したときの処置については考慮されていない。一般に、ワークピースの搬入出作業が失敗したとき、カメラ、ロボットアームなど、前記失敗の要因の所在としての可能性が高い箇所をユーザが点検して、前記失敗の要因を特定している。点検箇所の選定及びそれらの点検順序は、ユーザの経験に基づいており、ユーザが搬入出装置に不慣れな場合には、前記失敗の要因が特定されるまでに長い時間がかかる虞がある。 In the above-described conventional work piece loading/unloading apparatus, no consideration is given to the measures to be taken when the work piece loading/unloading work fails. In general, when the work loading/unloading work fails, the user inspects the places such as the camera and the robot arm that are likely to be the cause of the failure, and identifies the cause of the failure. The selection of inspection points and the inspection order thereof are based on the experience of the user, and if the user is unfamiliar with the loading/unloading apparatus, it may take a long time to identify the cause of the failure.

本発明は上記問題に対処するためになされたもので、その目的は、ワークピースの搬入出装置において搬入出作業が失敗したとき、その失敗の要因の所在を簡単に特定することができる失敗要因特定方法を提供することにある。なお、下記本発明の各構成要件の記載においては、本発明の理解を容易にするために、実施形態の対応箇所の符号を括弧内に記載しているが、本発明の各構成要件は、実施形態の符号によって示された対応箇所の構成に限定解釈されるべきものではない。 The present invention has been made to address the above problems, and an object thereof is a failure factor that can easily identify the location of the failure factor when the loading/unloading work of a workpiece fails. To provide a specific method. In the following description of each constituent feature of the present invention, in order to facilitate understanding of the present invention, reference numerals of corresponding portions of the embodiment are described in parentheses, but each constituent feature of the present invention is It should not be construed as being limited to the configuration of corresponding portions indicated by the reference numerals of the embodiment.

上記目的を達成するために、本発明の特徴は、ワークピース（Ｗ）を搬入出するロボットアーム（３０）と、ワークピースを撮影するカメラ（４０）と、カメラ座標系におけるワークピースの位置を表すカメラ座標系ワークデータを計算し、カメラ座標系ワークデータを、ロボットアーム座標系におけるワークピースの位置を表すロボットアーム座標系ワークデータに変換し、ロボットアーム座標系ワークデータに基づいて、ロボットアームがワークピースを搬入出するようにロボットアームを制御する制御装置（６０）と、を備えたワークピースの搬入出装置（１）においてロボットアームによるワークピースの搬入出作業が失敗したときに、その失敗の要因の所在を特定する、搬入出装置の搬入出作業における失敗要因特定方法であって、ロボットアームにより、ロボットアーム座標系における基準位置及び基準方向を表す基準マーク（Ｔ）が設けられたステージ（１３）の所定の位置に、位置及び向きを特定することができるマスターワーク（ＭＷＳ）を所定の方向へ向けて載置する載置ステップ（Ｓ３０３）と、ステージに載置されたマスターワーク及び基準マークをカメラにより撮影する撮影ステップ（Ｓ３０４）と、前記撮影したマスターワーク及び基準マークの画像における基準マークの位置及び向きのずれ、並びに前記画像におけるマスターワークの位置及び向きのずれに基づいて、前記失敗の要因がカメラにあるかロボットアームにあるかを判定する失敗要因判定ステップ（Ｓ３０５〜Ｓ３１０）と、を含む、搬入出装置の搬入出作業における失敗要因特定方法としたことにある。なお、カメラ座標系は、撮影した画像を構成する複数のピクセルのうちの１つのピクセルの座標を規定する際に用いられる座標系である。カメラ座標系の原点は、撮影された画像内の所定の点（例えば画像の左下の点）である。また、ロボットアーム座標系は、ロボットアームが設定された空間内の１つの点の座標を規定する際に用いられる座標系である。ロボットアーム座標系の原点は、ロボットアームが設置された空間内の所定の点（例えばロボットアームの１つの関節）である。 To achieve the above object, the features of the present invention are: a robot arm (30) for loading and unloading a workpiece (W); a camera (40) for photographing the workpiece; and a position of the workpiece in a camera coordinate system. The robot coordinate system work data is calculated, the camera coordinate system work data is converted into the robot arm coordinate system work data that represents the position of the workpiece in the robot arm coordinate system, and the robot arm is based on the robot arm coordinate system work data. And a control device (60) for controlling the robot arm so as to load and unload the workpiece, when the loading and unloading work of the workpiece by the robot arm fails in the workpiece loading and unloading device (1). A method for identifying a failure factor in a loading/unloading operation of a loading/unloading device for identifying a location of a failure factor, wherein a reference mark (T) indicating a reference position and a reference direction in a robot arm coordinate system is provided by a robot arm. A mounting step (S303) of mounting a master work (MWS) whose position and orientation can be specified at a predetermined position of the stage (13) in a predetermined direction, and the master work mounted on the stage. And a photographing step (S304) of photographing the reference mark with a camera, based on the deviation of the position and the orientation of the reference mark in the image of the masterwork and the reference mark, and the deviation of the position and the orientation of the masterwork in the image. The failure factor determining step (S305 to S310) for determining whether the failure factor is in the camera or the robot arm is a method for identifying a failure factor in the loading/unloading operation of the loading/unloading device. The camera coordinate system is a coordinate system used when defining the coordinates of one pixel among a plurality of pixels that form a captured image. The origin of the camera coordinate system is a predetermined point (for example, the lower left point of the image) in the captured image. The robot arm coordinate system is a coordinate system used when defining the coordinates of one point in the space in which the robot arm is set. The origin of the robot arm coordinate system is a predetermined point (for example, one joint of the robot arm) in the space where the robot arm is installed.

この場合、失敗要因判定ステップにおいて、基準マークの正規の位置及び正規の向きに対する、撮影ステップで撮影された画像における基準マークの位置及び向きのうちの少なくとも一方のずれが、所定の閾値（ΔＶＴ，ΔθＴ）を超えるとき、前記失敗の要因がカメラにあると判定するとよい。 In this case, in the failure factor determination step, the deviation of at least one of the position and orientation of the reference mark in the image captured in the imaging step with respect to the regular position and orientation of the reference mark is a predetermined threshold value (ΔV T , Δθ T ) is exceeded, it may be determined that the camera is the cause of the failure.

さらにこの場合、失敗要因判定ステップにおいて、基準マークの正規の位置及び正規の向きに対する、撮影ステップで撮影された画像における基準マークの位置及び向きのうちの少なくとも一方のずれが、所定の閾値（ΔＶＴ，ΔθＴ）を超え、且つ、撮影ステップで撮影された画像における基準マークの位置及び向きに基づいて計算されたマスターワークの正規の位置及び正規の向きに対する、撮影ステップで撮影された画像におけるマスターワークの位置のずれが所定の閾値（ΔＶＭＷＳ）以下であるとき、前記失敗の要因がカメラにあると判定してもよい。 Further, in this case, in the failure factor determination step, the deviation of at least one of the position and the orientation of the reference mark in the image captured in the imaging step with respect to the regular position and the orientation of the reference mark is a predetermined threshold value (ΔV). T , Δθ T ) and in the image captured in the capturing step for the regular position and the regular orientation of the masterwork calculated based on the position and orientation of the reference mark in the image captured in the capturing step. When the deviation of the position of the master work is less than or equal to a predetermined threshold value (ΔV MWS ), it may be determined that the cause of the failure is the camera.

また、この場合、失敗要因判定ステップにおいて、前記撮影ステップで撮影された画像における基準マークの位置及び向きに基づいてマスターワークの正規の位置及び正規の向きを計算するとともに、前記計算したマスターワークの正規の位置及び正規の向きに対する、前記撮影ステップで撮影された画像におけるマスターワークの位置及び向きのずれをそれぞれ計算し、前記計算したマスターワークの位置のずれ及び向きのずれのうちの少なくとも一方が所定の閾値を超えるとき、前記失敗の要因がロボットアームにあると判定するとよい。 In this case, in the failure factor determination step, the normal position and the normal orientation of the masterwork are calculated based on the position and the orientation of the reference mark in the image captured in the imaging step, and the calculated masterwork With respect to the regular position and the regular direction, the deviation of the position and the orientation of the master work in the image photographed in the imaging step is calculated, and at least one of the deviation of the position and the orientation of the calculated master work is calculated. When a predetermined threshold is exceeded, it may be determined that the cause of the failure is the robot arm.

搬入出作業の失敗の要因は、カメラ及びロボットアームのいずれか一方又は両方にある可能性が高い。前記失敗の要因がカメラ及びロボットアームのいずれか一方又は両方にある場合には、カメラで撮影した画像にずれが生じる。そこで、本発明においては、ロボットアーム座標系における基準位置及び基準向きを表す基準マークを設けておき、その基準マークを撮影した画像における基準マークのずれ及び前記画像における基準マークに対するマスターワークの位置のずれに基づいて、前記失敗の要因の所在を特定している。本発明によれば、搬入出作業が失敗したとき、前記失敗の要因の所在を簡単に特定することができる。なお、失敗要因判定ステップを実行した結果、前記失敗の要因がカメラ及びロボットアームにはない場合には、ワークピースに何らかの問題が生じていると考えられるので、ユーザはワークピースの形状、寸法などを確認すればよい。 It is highly possible that one or both of the camera and the robot arm is the cause of the failure of the loading/unloading work. When the cause of the failure is in one or both of the camera and the robot arm, a shift occurs in the image taken by the camera. Therefore, in the present invention, a reference mark indicating the reference position and the reference direction in the robot arm coordinate system is provided, and the reference mark shift in the image captured by the reference mark and the position of the master work with respect to the reference mark in the image. The location of the cause of the failure is specified based on the deviation. According to the present invention, when the loading/unloading work fails, the location of the failure factor can be easily specified. As a result of performing the failure factor determination step, if the cause of the failure is not in the camera and the robot arm, it is considered that some problem has occurred in the workpiece, and therefore the user is required to determine the shape, size, etc. of the workpiece. You can check.

本発明の一実施形態に係る搬入出装置の概略図である。It is the schematic of the carrying in/out apparatus which concerns on one Embodiment of this invention. 図１の搬入出装置の平面図である。It is a top view of the loading/unloading apparatus of FIG. ワークピースの斜視図である。It is a perspective view of a workpiece. ワークピースを保持した状態を示す斜視図である。It is a perspective view which shows the state which hold|maintained the workpiece. 保持装置及びカメラの斜視図である。It is a perspective view of a holding device and a camera. トレイの平面図である。It is a top view of a tray. キャリブレーション処理のフローチャートである。It is a flowchart of a calibration process. マスターワークを載置する座標を示す図である。It is a figure which shows the coordinate which mounts a masterwork. キャリブレーションステージを撮影する際のロボットアームの姿勢を示す側面図である。It is a side view which shows the posture of the robot arm at the time of photographing a calibration stage. キャリブレーションステージを撮影した画像を示す図である。It is a figure which shows the image which imaged the calibration stage. パレタイジング処理におけるロボットアーム座標系とカメラ座標系との関係を示す図である。It is a figure which shows the relationship between a robot arm coordinate system and a camera coordinate system in a palletizing process. パレタイジング処理のフローチャートである。It is a flowchart of a palletizing process. パレットの１つの区画を撮影した画像を示す図である。It is a figure which shows the image which imaged one division of a palette. 失敗要因特定処理のフローチャートである。It is a flow chart of failure factor specific processing. 基準マークのずれを示す図である。It is a figure which shows the gap of a reference mark. マスターワークのずれを示す図である。It is a figure which shows the gap of masterwork.

本発明の一実施形態に係る搬入出装置１について説明する。まず、搬入出装置１の概略について簡単に説明しておく。搬入出装置１は、図１に示すように、フレーム１０、パレット２０、ロボットアーム３０、カメラ４０、コンベア５０、及び制御装置６０を含む。図２に示すように、搬入出装置１は、パレット２０内のワークピースＷを取り出してコンベア５０に載置する作業（ワークピースの搬入出作業）を繰り返す。なお、図２においては、ロボットアーム３０の一部（ベース３１）のみを図示している。 A carrying-in/out apparatus 1 according to an embodiment of the present invention will be described. First, an outline of the loading/unloading device 1 will be briefly described. As shown in FIG. 1, the loading/unloading device 1 includes a frame 10, a pallet 20, a robot arm 30, a camera 40, a conveyor 50, and a control device 60. As shown in FIG. 2, the loading/unloading device 1 repeats the work of loading the workpiece W in the pallet 20 and placing it on the conveyor 50 (workpiece loading/unloading work). In addition, in FIG. 2, only a part (base 31) of the robot arm 30 is illustrated.

つぎに、搬入出装置１の構成について具体的に説明する。フレーム１０は、メインステージ１１、パレットステージ１２、キャリブレーションステージ１３を有する（図１参照）。メインステージ１１は、平面視において長方形を呈する天板１１１と、天板１１１を支持する脚１１２からなる。天板１１１の上面にパレットステージ１２、キャリブレーションステージ１３及びロボットアーム３０が取り付けられている。 Next, the configuration of the loading/unloading device 1 will be specifically described. The frame 10 has a main stage 11, a pallet stage 12, and a calibration stage 13 (see FIG. 1). The main stage 11 includes a top plate 111 having a rectangular shape in plan view and legs 112 that support the top plate 111. The pallet stage 12, the calibration stage 13, and the robot arm 30 are attached to the top surface of the top plate 111.

パレットステージ１２は、平面視において長方形を呈する天板１２１と、天板１２１を支持する脚１２２からなる。天板１２１の上面は平面状である。ただし、天板１２１の上面であって、天板１２１の向かいあう１組の角部に、上方へ突出したパレットガイド１２３，１２３が設けられている（図２参照）。パレットガイド１２３は、天板１２１の長辺に沿って延びる凸部１２３ａと天板１２１の短辺に沿って延びる凸部１２３ｂとからなる。凸部１２３ａ及び凸部１２３ｂの延設方向に垂直な断面は長方形を呈する。後述するように、天板１２１の上面にパレット２０が載置されるが、パレットガイド１２３，１２３は、パレット２０の位置決め部材として機能する。 The pallet stage 12 includes a top plate 121 having a rectangular shape in plan view and legs 122 that support the top plate 121. The top surface of the top plate 121 is flat. However, on the upper surface of the top plate 121 and at a pair of corners facing the top plate 121, pallet guides 123, 123 protruding upward are provided (see FIG. 2 ). The pallet guide 123 includes a convex portion 123a extending along the long side of the top plate 121 and a convex portion 123b extending along the short side of the top plate 121. A cross section perpendicular to the extending direction of the convex portions 123a and 123b has a rectangular shape. As will be described later, the pallet 20 is placed on the upper surface of the top plate 121, but the pallet guides 123, 123 function as positioning members for the pallet 20.

キャリブレーションステージ１３は、平面視において矩形を呈する天板１３１と、天板１３１を支持する脚１３２からなる（図１参照）。天板１３１の上面は平面状である。キャリブレーションステージ１３の天板１３１は、パレットステージ１２の天板１２１よりも小さい。キャリブレーションステージ１３は、詳しくは後述するように、ロボットアーム３０の座標系とカメラ４０の座標系との関係を表すキャリブレーションデータを設定する際に利用される。また、天板１３１の上面には、基準マークＴが印刷されている（図２及び１５参照）。基準マークＴは、天板１３１の角部（図２において左上の角部）に設けられている。基準マークＴは、座標軸Ｘ及び座標軸Ｙにそれぞれ平行に延びる線分ＴＸ及び線分ＴＹからなり、線分ＴＸの一端（図１５において線分ＴＸの左端）が線分ＴＹの中央に交わっている。線分ＴＸと線分ＴＹの交点が本発明の基準位置に相当し、線分ＴＸ（又は線分ＴＹ）の方向が本発明の基準方向に相当する。基準マークＴは、詳しくは後述するように、搬入出作業の失敗の要因の所在を特定する際に利用される。 The calibration stage 13 includes a top plate 131 having a rectangular shape in plan view and legs 132 that support the top plate 131 (see FIG. 1 ). The top surface of the top plate 131 is flat. The top plate 131 of the calibration stage 13 is smaller than the top plate 121 of the pallet stage 12. The calibration stage 13 is used when setting the calibration data indicating the relationship between the coordinate system of the robot arm 30 and the coordinate system of the camera 40, as described later in detail. A reference mark T is printed on the top surface of the top plate 131 (see FIGS. 2 and 15). The reference mark T is provided at a corner (top left corner in FIG. 2) of the top plate 131. The reference mark T is composed of a line segment T X and a line segment T Y extending parallel to the coordinate axis X and the coordinate axis Y, respectively, and one end of the line segment T X (the left end of the line segment T X in FIG. 15) has the line segment T Y. It intersects in the center. The intersection of the line segment T X and the line segment T Y corresponds to the reference position of the present invention, and the direction of the line segment T X (or the line segment T Y ) corresponds to the reference direction of the present invention. The reference mark T is used to identify the location of the cause of the failure of the loading/unloading work, as will be described later in detail.

パレット２０は、浅い箱状に形成されている。すなわち、パレット２０は、内部に空間を有する直方体であって、その上面は開放されている。パレット２０がパレットステージ１２に載置された状態において、パレット２０の対向する一組の角部の外周面がパレットガイド１２３，１２３に当接する。つまり、パレット２０の短辺に平行な方向の移動が凸部１２３ａ，１２３ａによって規制されるとともに、パレット２０の長辺に平行な方向の移動が凸部１２３ｂ，１２３ｂによって規制される。これにより、天板１２１の上面におけるパレット２０の位置及び姿勢が決定される。パレット２０の内部は、複数の仕切り板（仕切り壁）によって複数の区画Ｄに分割されている。具体的には、パレット２０の短辺方向に沿って６つの区画Ｄが形成され、パレット２０の長辺方向に沿って８つの区画Ｄが形成されている（図２参照）。つまり、パレット２０は、４８個の区画Ｄを有する。なお、上記のキャリブレーションステージ１３の天板１３１の面積及び形状は、パレット２０の１つの区画Ｄの面積及び形状と略同一である。また、この搬入出装置１による作業工程とは別の工程において、パレット２０の各区画Ｄに１つのワークピースＷが予め格納されている。 The pallet 20 is formed in a shallow box shape. That is, the pallet 20 is a rectangular parallelepiped having a space inside, and its upper surface is open. When the pallet 20 is placed on the pallet stage 12, the outer peripheral surfaces of a pair of facing corners of the pallet 20 abut the pallet guides 123, 123. That is, the movement of the pallet 20 in the direction parallel to the short side is restricted by the protrusions 123a and 123a, and the movement of the pallet 20 in the direction parallel to the long side is restricted by the protrusions 123b and 123b. As a result, the position and orientation of the pallet 20 on the upper surface of the top plate 121 is determined. The inside of the pallet 20 is divided into a plurality of sections D by a plurality of partition plates (partition walls). Specifically, six sections D are formed along the short side direction of the pallet 20 and eight sections D are formed along the long side direction of the pallet 20 (see FIG. 2 ). That is, the pallet 20 has 48 sections D. The area and shape of the top plate 131 of the calibration stage 13 are substantially the same as the area and shape of one section D of the pallet 20. Further, in a process different from the work process performed by the loading/unloading device 1, one work piece W is stored in advance in each section D of the pallet 20.

ここでワークピースＷについて説明しておく。ワークピースＷは、図３に示すように、細長い板状の部材である。ワークピースＷの先端側から末端側へ向かうに従って、ワークピースＷの幅方向（ワークピースＷの長手方向及び板厚方向に垂直な方向）の寸法が徐々に大きくなっている。ワークピースＷの平面視において、ワークピースＷの先端及び末端は、円弧状を呈する。また、ワークピースＷの末端側の部分には、ワークピースＷの板厚方向に貫通する貫通孔Ｈが形成されている。 Here, the workpiece W will be described. The workpiece W is an elongated plate-shaped member as shown in FIG. The dimension of the workpiece W in the width direction (direction perpendicular to the longitudinal direction and the plate thickness direction of the workpiece W) gradually increases from the front end side to the end side of the workpiece W. In a plan view of the workpiece W, the tip and the end of the workpiece W have an arc shape. Further, a through hole H penetrating the workpiece W in the plate thickness direction is formed in the end portion of the workpiece W.

なお、ワークピースＷがパレット２０に格納された状態において、各ワークピースＷの板厚方向が鉛直方向に一致しているが、各区画におけるワークピースＷの位置及び姿勢は統一されていない（図２参照）。全ての区画にワークピースＷが格納されたパレット２０が、パレットステージ１２の天板１２１の上面に載置される。ロボットアーム３０によってパレット２０内の全てのワークピースＷが取り出されて空になったパレット２０は、パレットステージ１２から取り除かれ、次のパレット２０がパレットステージ１２に載置される。なお、このパレット２０の交換作業は、搬入出装置１とは別の装置により実行される。 In the state where the workpiece W is stored in the pallet 20, the plate thickness direction of each workpiece W coincides with the vertical direction, but the position and orientation of the workpiece W in each section are not uniform (Fig. 2). The pallet 20 in which the work pieces W are stored in all the compartments is placed on the upper surface of the top plate 121 of the pallet stage 12. The robot arm 30 removes all the workpieces W in the pallet 20 and the pallet 20 that has become empty is removed from the pallet stage 12, and the next pallet 20 is placed on the pallet stage 12. The replacement work of the pallet 20 is executed by a device different from the loading/unloading device 1.

ロボットアーム３０は、周知の垂直多関節型ロボットである。すなわち、ロボットアーム３０は、各関節に対応したサーボモータを備えている。関節を介して接続された部位同士の角度をサーボモータによって変更することができる。これにより、ロボットアーム３０の姿勢を任意に設定可能である。以下、ロボットアーム３０の具体的構成について説明する。ロボットアーム３０は、ベース３１、旋回ボディ３２、第１アーム３３、第２アーム３４、第３アーム３５及びロボットハンド３６を有する（図１参照）。 The robot arm 30 is a well-known vertical articulated robot. That is, the robot arm 30 includes a servo motor corresponding to each joint. The angle between the parts connected through the joint can be changed by the servo motor. Thereby, the posture of the robot arm 30 can be set arbitrarily. Hereinafter, a specific configuration of the robot arm 30 will be described. The robot arm 30 has a base 31, a swing body 32, a first arm 33, a second arm 34, a third arm 35, and a robot hand 36 (see FIG. 1).

ベース３１は、円柱状に形成されていて、メインステージ１１の天板１１１の上面に固定されている。ベース３１の中心軸の方向が鉛直方向に一致している。ベース３１の上面の中心が、ロボットアーム３０の座標系の原点Ｏｒである（図１及び図２参照）。ロボットアーム３０の座標軸Ｘ、座標軸Ｙ及び座標軸Ｚは、原点Ｏｒにて互いに直交する。座標軸Ｚは、鉛直方向に一致している。パレット２０の短辺方向及び長辺方向は、座標軸Ｘ及び座標軸Ｙにそれぞれ一致している。以下の説明において、ロボットアーム３０の座標系をロボットアーム座標系と呼ぶ。また、ロボットアーム座標系における「Ａ」の座標を「Ａ（ｘＡ，ｙＡ，ｚＡ）」のように標記する。 The base 31 is formed in a cylindrical shape and is fixed to the upper surface of the top plate 111 of the main stage 11. The direction of the central axis of the base 31 coincides with the vertical direction. Center of the upper surface of the base 31, the origin O r of the coordinate system of the robot arm 30 (see FIGS. 1 and 2). Coordinate axes X, axis Y and axis Z of the robot arm 30 is orthogonal to each other at the origin O r. The coordinate axis Z coincides with the vertical direction. The short side direction and the long side direction of the pallet 20 correspond to the coordinate axis X and the coordinate axis Y, respectively. In the following description, the coordinate system of the robot arm 30 is called the robot arm coordinate system. Also, the title of the coordinates of "A" in the robot arm coordinate system, such as "A (x A, y A, z A)".

旋回ボディ３２は、円柱状に形成されていて、ベース３１の上面に取り付けられている。旋回ボディ３２は、座標軸Ｚのまわりに回動可能である。 The revolving body 32 is formed in a columnar shape, and is attached to the upper surface of the base 31. The swivel body 32 is rotatable about the coordinate axis Z.

第１アーム３３は、長尺状に形成され、その長手方向における末端部が旋回ボディ３２の上部に取り付けられている。第１アーム３３は、旋回ボディ３２の径方向に平行な方向に延びる軸のまわりに回動可能である。 The first arm 33 is formed in an elongated shape, and a distal end portion in the longitudinal direction thereof is attached to the upper part of the swivel body 32. The first arm 33 is rotatable about an axis extending in a direction parallel to the radial direction of the revolving body 32.

第２アーム３４は、長尺状に形成され、その長手方向における末端部が第１アーム３３の長手方向における先端部に取り付けられている。第２アーム３４は、旋回ボディ３２の径方向に平行な方向に延びる軸のまわりに回動可能である。 The second arm 34 is formed in an elongated shape, and its end in the longitudinal direction is attached to the tip in the longitudinal direction of the first arm 33. The second arm 34 is rotatable about an axis extending in a direction parallel to the radial direction of the revolving body 32.

第３アーム３５は、長尺状に形成され、その長手方向における末端部が第２アーム３４の長手方向における先端部に取り付けられている。第３アーム３５の末端面が第２アーム３４の先端面に対向している。第３アーム３５は、第２アーム３４の長手方向（第２アーム３４の中心軸方向）に延びる軸のまわりに回動可能である。 The third arm 35 is formed in an elongated shape, and its end in the longitudinal direction is attached to the tip in the longitudinal direction of the second arm 34. The end surface of the third arm 35 faces the tip surface of the second arm 34. The third arm 35 is rotatable about an axis extending in the longitudinal direction of the second arm 34 (the central axis direction of the second arm 34).

ロボットハンド３６は、長尺状に形成され、その長手方向における末端部が第３アーム３４の長手方向における先端部に取り付けられている。ロボットハンド３６は、第３アーム３４の長手方向に垂直な方向に延びる軸のまわりに回動可能である。 The robot hand 36 is formed in an elongated shape, and its end in the longitudinal direction is attached to the tip in the longitudinal direction of the third arm 34. The robot hand 36 is rotatable about an axis extending in a direction perpendicular to the longitudinal direction of the third arm 34.

ロボットハンド３６の先端部には、各種工具、装置などが着脱可能である。本実施形態では、ワークピースＷを保持する保持装置３７が取り付けられている。保持装置３７は、円柱状に形成された基部３７１と、基部３７１の先端面に設けられた３つの指部３７２からなる。ロボットハンド３６には、基部３７１をロボットハンド３６の中心軸のまわりに回転させる回動装置が設けられている。３つの指部３７２は、基部３７１の周方向に互いに１２０°の間隔をおいて、基部３７１の先端面に取り付けられている。指部３７２は、基部３７１の径方向に移動可能である。 Various tools and devices can be attached to and detached from the tip of the robot hand 36. In this embodiment, a holding device 37 that holds the workpiece W is attached. The holding device 37 includes a cylindrical base 371 and three fingers 372 provided on the tip surface of the base 371. The robot hand 36 is provided with a rotating device that rotates the base portion 371 around the central axis of the robot hand 36. The three finger portions 372 are attached to the distal end surface of the base portion 371 at intervals of 120° in the circumferential direction of the base portion 371. The finger portion 372 is movable in the radial direction of the base portion 371.

ロボットアーム３０は、次のようにしてワークピースＷを保持する。まず、３つの指部３７２を基部３７１の径方向における中心側へ移動させて、３つの指部３７２が互いに近接した状態に設定する。つぎに、ワークピースＷの貫通孔Ｈに３つの指部３７２の先端部を挿入する。つぎに、３つの指部３７２を基部３７１の径方向における中心側とは反対側へ移動させて、３つの指部３７２を貫通孔Ｈの内周面に押し当てる（図４参照）。これにより、ワークピースＷがロボットアーム３０に保持される。 The robot arm 30 holds the workpiece W as follows. First, the three finger portions 372 are moved to the center side in the radial direction of the base portion 371, and the three finger portions 372 are set in a state of being close to each other. Next, the tips of the three fingers 372 are inserted into the through holes H of the workpiece W. Next, the three finger portions 372 are moved to the side opposite to the center side in the radial direction of the base portion 371, and the three finger portions 372 are pressed against the inner peripheral surface of the through hole H (see FIG. 4). As a result, the workpiece W is held by the robot arm 30.

カメラ４０は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）によって構成されたデジタルカメラである。ロボットハンド３６には、カメラ４０をロボットハンド３６の中心軸のまわりに回転させる回動装置が設けられていて、この回動装置にカメラ４０が取り付けられている。カメラ４０の光軸は、ロボットハンド３６の長手方向に平行である。カメラ４０のレンズがロボットアーム３０の先端側へ向けられている。また、カメラ４０は、撮影対象物を照らす照明装置を備える。なお、基部３７１の回動装置とカメラ４０の回動装置が別々に設けられている。つまり、図５に示すように、基部３７１とカメラ４０とを独立して回動させることができる。 The camera 40 is a digital camera composed of a CCD (Charge-Coupled Device). The robot hand 36 is provided with a rotating device that rotates the camera 40 around the central axis of the robot hand 36, and the camera 40 is attached to this rotating device. The optical axis of the camera 40 is parallel to the longitudinal direction of the robot hand 36. The lens of the camera 40 is directed toward the tip side of the robot arm 30. The camera 40 also includes an illumination device that illuminates the object to be photographed. The rotating device for the base 371 and the rotating device for the camera 40 are separately provided. That is, as shown in FIG. 5, the base 371 and the camera 40 can be independently rotated.

以下の説明において、カメラ４０にて撮影した画像の左下をカメラ４０の座標系の原点Ｏｃとする（図１０、図１３、図１５及び図１６参照）。カメラ４０の座標軸Ｕ及び座標軸Ｖは、原点Ｏｃにて互いに直交する。座標軸Ｕは、画像の横方向に一致している。また、座標軸Ｖは、画像の縦方向に一致している。以下の説明において、カメラ４０の座標系をカメラ座標系と呼ぶ。また、カメラ座標系における「Ａ」の座標を「Ａ（ｕＡ，ｖＡ）」のように標記する。 In the following description, the lower left of the image captured by the camera 40 is the origin O c of the coordinate system of the camera 40 (see FIGS. 10, 13, 15 and 16). Axes U and axis V of the camera 40 are orthogonal to each other at the origin O c. The coordinate axis U coincides with the horizontal direction of the image. Further, the coordinate axis V coincides with the vertical direction of the image. In the following description, the coordinate system of the camera 40 is called the camera coordinate system. Further, the coordinates of "A" in the camera coordinate system are marked as "A(u A , v A )".

コンベア５０は、ロボットアーム３０によってパレット２０から取り出されたワークピースＷを載置するトレイ５１と、図示しないモータによって駆動されてトレイ５１を次の工程へ搬送するベルト５２とを備える（図１参照）。トレイ５１の搬送方向は、座標軸Ｘに平行である。トレイ５１は平板状に形成されている。図６に示すように、トレイ５１には、ワークピースＷの位置及び姿勢を規定するワークピースガイド５１１が設けられている。つまり、図６において座標軸Ｘに平行な方向に対して反時計まわりに角度θ０だけ回転した方向へワークピースＷの先端が向けられた状態で、ワークピースＷがトレイ５１に載置される。 The conveyor 50 includes a tray 51 on which the workpiece W taken out from the pallet 20 by the robot arm 30 is placed, and a belt 52 which is driven by a motor (not shown) to convey the tray 51 to the next step (see FIG. 1). ). The transport direction of the tray 51 is parallel to the coordinate axis X. The tray 51 is formed in a flat plate shape. As shown in FIG. 6, the tray 51 is provided with a workpiece guide 511 that defines the position and orientation of the workpiece W. That is, the workpiece W is placed on the tray 51 in a state in which the tip of the workpiece W is oriented in the direction rotated counterclockwise by the angle θ 0 with respect to the direction parallel to the coordinate axis X in FIG.

制御装置６０は、演算装置、記憶装置、入力装置、表示装置などを備えたコンピュータ装置である。制御装置６０は、所定のコンピュータプログラムに従って、ロボットアーム３０、カメラ４０及びコンベア５０を制御する。つまり、制御装置６０は、所定のコンピュータプログラムに従って、ロボットアーム３０の姿勢を所定の姿勢に設定して、ロボットアーム３０の先端（３つの指部３７２を閉じた状態における指部３７２の先端）の位置を所定の位置に設定する。また、制御装置６０は、所定のコンピュータプログラムに従って、ロボットハンド３６の中心軸まわりのカメラ４０の回動位置を制御するとともに、カメラ４０に対象物を撮影させ、その画像データを取得して、前記取得した画像データを解析する。また、制御装置６０は、所定のコンピュータプログラムに従って、ベルト５２を駆動するモータを回転させてトレイ５１を搬送する。 The control device 60 is a computer device including an arithmetic device, a storage device, an input device, a display device, and the like. The controller 60 controls the robot arm 30, the camera 40, and the conveyor 50 according to a predetermined computer program. That is, the control device 60 sets the posture of the robot arm 30 to a predetermined posture in accordance with a predetermined computer program, and sets the tip of the robot arm 30 (the tip of the finger portion 372 when the three finger portions 372 are closed). Set the position to the given position. In addition, the control device 60 controls the rotational position of the camera 40 around the central axis of the robot hand 36 according to a predetermined computer program, causes the camera 40 to photograph an object, acquires the image data thereof, and Analyze the acquired image data. Further, the control device 60 rotates the motor that drives the belt 52 to convey the tray 51 according to a predetermined computer program.

つぎに、搬入出装置１の動作について説明する。搬入出装置１が設置されたとき、ロボットアーム座標系とカメラ座標系とを対応付ける必要がある。つまり、両座標系の関係を表すキャリブレーションデータ（後述するキャリブレーション係数αｘ及びキャリブレーション係数αｙ、並びに角度θＲ−Ｃ）を設定する必要がある。以下、キャリブレーションデータを設定するキャリブレーション処理について説明する。 Next, the operation of the loading/unloading device 1 will be described. When the loading/unloading device 1 is installed, it is necessary to associate the robot arm coordinate system with the camera coordinate system. That is, it is necessary to set the calibration data (the calibration coefficient α x and the calibration coefficient α y , which will be described later, and the angle θ R−C ) representing the relationship between the two coordinate systems. Hereinafter, the calibration process for setting the calibration data will be described.

ユーザが入力装置を用いてキャリブレーション処理の開始を指示すると、制御装置６０は、図７に示すステップＳ１００にて、キャリブレーション処理を開始する。つぎに、制御装置６０は、ステップＳ１０１にて、初期化処理を実行する。具体的には、制御装置６０は、ロボットアーム３０の姿勢を所定の初期状態に設定するとともに、ロボットハンド３６の中心軸まわりのカメラ４０の回動位置を所定の初期位置に設定する。 When the user gives an instruction to start the calibration process using the input device, the control device 60 starts the calibration process in step S100 shown in FIG. Next, the control device 60 executes an initialization process in step S101. Specifically, the control device 60 sets the posture of the robot arm 30 to a predetermined initial state, and sets the rotational position of the camera 40 around the central axis of the robot hand 36 to a predetermined initial position.

つぎに、制御装置６０は、ステップＳ１０２にて、ロボットアーム３０に、キャリブレーション用のワークピースであるマスターワークＭＷを保持させ、キャリブレーションステージ１３の天板１３１における第１ポイントＰ１に載置させる（図８参照）。なお、マスターワークＭＷは、円環状に形成されている。初期状態において、マスターワークＭＷは、所定の位置（例えば、天板１３１の中央）に載置されている（図２参照）。また、ロボットアーム座標系における第１ポイントＰ１の座標Ｐ１（ｘＰ１，ｙＰ１，ｚＰ１）は予め設定されている。つぎに、制御装置６０は、ステップＳ１０３にて、ロボットアーム３０を所定の姿勢に設定し、カメラ４０にキャリブレーションステージ１３を撮影させる。具体的には、図９に示すように、キャリブレーションステージ１３の天板１３１の中心の直上にロボットアーム３０の先端を位置させる。この際、制御装置６０は、カメラ４０が下方を向くように、ロボットアーム３０の姿勢を設定する。また、ロボットアーム３０の先端と天板１３１との距離Δｚは、天板１３１の全体がカメラ４０の画角内に収まり、且つピントが合うような値に予め設定されている。制御装置６０は、撮影された画像を表す画像データをカメラ４０から取得する。 Next, in step S102, the control device 60 causes the robot arm 30 to hold the master work MW, which is a work piece for calibration, and place the master work MW at the first point P1 on the top plate 131 of the calibration stage 13. (See Figure 8). The master work MW is formed in an annular shape. In the initial state, the master work MW is placed at a predetermined position (for example, the center of the top plate 131) (see FIG. 2). Further, the coordinates P1 (x P1 , y P1, z P1 ) of the first point P1 in the robot arm coordinate system are preset. Next, the control device 60 sets the robot arm 30 in a predetermined posture and causes the camera 40 to photograph the calibration stage 13 in step S103. Specifically, as shown in FIG. 9, the tip of the robot arm 30 is positioned directly above the center of the top plate 131 of the calibration stage 13. At this time, the control device 60 sets the posture of the robot arm 30 so that the camera 40 faces downward. The distance Δz between the tip of the robot arm 30 and the top plate 131 is set in advance so that the whole top plate 131 is within the angle of view of the camera 40 and is in focus. The control device 60 acquires image data representing a captured image from the camera 40.

つぎに、制御装置６０は、ステップＳ１０４にて、カメラ座標系における第１ポイントＰ１の座標を検出する。すなわち、制御装置６０は、前記取得した画像データ及び周知の画像認識技術を用いて、カメラ座標系におけるマスターワークＭＷの中心座標を検出し、座標Ｐ１（ｕＰ１，ｖＰ１）として記憶する（図１０参照）。なお、上記のように、ロボットハンド３６の中心軸まわりのカメラ４０の回動位置が所定の初期位置に設定されているが、この状態では、ロボットアーム座標系の座標軸Ｘ（座標軸Ｙ）の方向と、カメラ座標系の座標軸Ｕ（座標軸Ｖ）の方向とがずれている可能性が高い。図１０に示す例においては、ロボットアーム座標系の座標軸Ｘ（座標軸Ｙ）の方向に対し、カメラ座標系の座標軸Ｕ（座標軸Ｖ）の方向が時計回りに角度θＲ−Ｃだけずれている。 Next, the control device 60 detects the coordinates of the first point P1 in the camera coordinate system in step S104. That is, the control device 60 detects the center coordinates of the master work MW in the camera coordinate system by using the acquired image data and the well-known image recognition technique, and stores it as coordinates P1 (u P1 , v P1 ). 10). As described above, the rotational position of the camera 40 around the central axis of the robot hand 36 is set to a predetermined initial position. In this state, the direction of the coordinate axis X (coordinate axis Y) of the robot arm coordinate system is set. And the direction of the coordinate axis U (coordinate axis V) of the camera coordinate system is likely to be deviated. In the example shown in FIG. 10, the direction of the coordinate axis U (coordinate axis V) of the camera coordinate system is offset clockwise by the angle θ RC from the direction of the coordinate axis X (coordinate axis Y) of the robot arm coordinate system.

つぎに、制御装置６０は、ステップＳ１０５にて、ロボットアーム３０に、マスターワークＭＷを保持させ、第１ポイントＰ１から座標軸Ｘに平行な方向に「Δｘ」だけずれた第２ポイントＰ２に移動させる（図８参照）。つまり、制御装置６０は、マスターワークＭＷを座標Ｐ２（ｘＰ２，ｙＰ２，ｚＰ２）に載置させる。つぎに、制御装置６０は、ステップＳ１０６にて、ロボットアーム３０を所定の姿勢に設定し、カメラ４０にキャリブレーションステージ１３を撮影させて、その画像データを取得する。ステップＳ１０６におけるロボットアーム３０の姿勢及びカメラ４０の回動位置は、ステップＳ１０３におけるロボットアーム３０の姿勢及びカメラ４０の回動位置と同一である。つぎに、制御装置６０は、ステップＳ１０７にて、カメラ座標系における第２ポイントＰ２の座標を検出する。すなわち、制御装置６０は、前記取得した画像データ及び周知の画像認識技術を用いて、カメラ座標系におけるマスターワークＭＷの中心座標を検出して、座標Ｐ２（ｕＰ２，ｖＰ２）として記憶する（図１０参照）。 Next, in step S105, the control device 60 causes the robot arm 30 to hold the master work MW and move it to the second point P2 which is deviated from the first point P1 by “Δx” in the direction parallel to the coordinate axis X. (See Figure 8). That is, the control device 60 places the master work MW on the coordinates P2 (x P2 , y P2 , z P2 ). Next, in step S106, the control device 60 sets the robot arm 30 in a predetermined posture, causes the camera 40 to photograph the calibration stage 13, and acquires the image data thereof. The posture of the robot arm 30 and the rotation position of the camera 40 in step S106 are the same as the posture of the robot arm 30 and the rotation position of the camera 40 in step S103. Next, the control device 60 detects the coordinates of the second point P2 in the camera coordinate system in step S107. That is, the control device 60 detects the center coordinates of the master work MW in the camera coordinate system by using the acquired image data and the well-known image recognition technique, and stores it as the coordinates P2 (u P2 , v P2 ). (See FIG. 10).

つぎに、制御装置６０は、ステップＳ１０８にて、ロボットアーム３０に、マスターワークＭＷを保持させ、第１ポイントＰ１から座標軸Ｙに平行な方向にΔｙだけずれた第３ポイントＰ３に移動させる（図８参照）。つまり、制御装置６０は、マスターワークＭＷを座標Ｐ３（ｘＰ３，ｙＰ３，ｚＰ３）に載置させる。つぎに、制御装置６０は、ステップＳ１０９にて、ロボットアーム３０を所定の姿勢に設定し、カメラ４０にキャリブレーションステージ１３を撮影させて、その画像データを取得する。ステップＳ１０９におけるロボットアーム３０の姿勢及びカメラ４０の回動位置は、ステップＳ１０３におけるロボットアーム３０の姿勢及びカメラ４０の回動位置と同一である。つぎに、制御装置６０は、ステップＳ１１０にて、カメラ座標系における第３ポイントＰ３の座標を検出する。すなわち、制御装置６０は、前記取得した画像データ及び周知の画像認識技術を用いて、カメラ座標系におけるマスターワークＭＷの中心座標を検出して、座標Ｐ３（ｕＰ３，ｖＰ３）として記憶する（図１０参照）。 Next, in step S108, the control device 60 causes the robot arm 30 to hold the master work MW and move the master work MW to a third point P3 which is deviated from the first point P1 by Δy in the direction parallel to the coordinate axis Y (FIG. 8). That is, the control device 60 places the master work MW on the coordinate P3 (x P3 , y P3 , z P3 ). Next, in step S109, the control device 60 sets the robot arm 30 in a predetermined posture, causes the camera 40 to photograph the calibration stage 13, and acquires the image data thereof. The posture of the robot arm 30 and the rotation position of the camera 40 in step S109 are the same as the posture of the robot arm 30 and the rotation position of the camera 40 in step S103. Next, the control device 60 detects the coordinates of the third point P3 in the camera coordinate system in step S110. That is, the control device 60 detects the center coordinate of the master work MW in the camera coordinate system by using the acquired image data and the well-known image recognition technique, and stores it as the coordinate P3 (u P3 , v P3 ). (See FIG. 10).

ここで、座標Ｐ１（ｕＰ１，ｖＰ１）と座標Ｐ２（ｕＰ２，ｖＰ２）を結ぶ直線は、ロボットアーム座標系においては座標軸Ｘに平行である。また、座標Ｐ１（ｕＰ１，ｖＰ１）と座標Ｐ３（ｕＰ３，ｖＰ３）を結ぶ直線は、ロボットアーム座標系においては座標軸Ｙに平行である。座標Ｐ１（ｕＰ１，ｖＰ１）と座標Ｐ２（ｕＰ２，ｖＰ２）との距離Δｄ１−２がロボットアーム座標系における距離Δｘに対応している。また、座標Ｐ１（ｕＰ１，ｖＰ１）と座標Ｐ３（ｕＰ３，ｖＰ３）との距離Δｄ１−３がロボットアーム座標系における距離Δｙに対応している。制御装置６０は、ステップＳ１１１にて、前記検出した座標Ｐ１（ｕＰ１，ｖＰ１）、座標Ｐ２（ｕＰ２，ｖＰ２）、及び座標Ｐ３（ｕＰ３，ｖＰ３）に基づいて、キャリブレーション係数αｘ及びキャリブレーション係数αｙを計算する。キャリブレーション係数αｘは、距離Δｄ１−２と距離Δｘの比に相当し、キャリブレーション係数αｙは、距離Δｄ１−３と距離Δｙの比に相当する。具体的には、キャリブレーション係数αｘ及びキャリブレーション係数αｙは、下記の式（１）及び式（２）に基づいてそれぞれ計算される。

Figure 0006750406
Figure 0006750406
 Here, the straight line connecting the coordinates P1 (u P1 , v P1 ) and the coordinates P2 (u P2 , v P2 ) is parallel to the coordinate axis X in the robot arm coordinate system. A straight line connecting the coordinates P1(u P1 , v P1 ) and the coordinates P3(u P3 , v P3 ) is parallel to the coordinate axis Y in the robot arm coordinate system. A distance Δd 1-2 between the coordinate P1 (u P1 , v P1 ) and the coordinate P2 (u P2 , v P2 ) corresponds to the distance Δx in the robot arm coordinate system. Further, the distance Δd 1-3 between the coordinate P1(u P1 , v P1 ) and the coordinate P3(u P3 , v P3 ) corresponds to the distance Δy in the robot arm coordinate system. The controller 60, in step S111, based on the detected coordinates P1 (u P1 , v P1 ), coordinates P2 (u P2 , v P2 ), and coordinates P3 (u P3 , v P3 ), Calculate α x and calibration coefficient α y . The calibration coefficient α x corresponds to the ratio between the distance Δd 1-2 and the distance Δx, and the calibration coefficient α y corresponds to the ratio between the distance Δd 1-3 and the distance Δy. Specifically, the calibration coefficient α x and the calibration coefficient α y are calculated based on the following equations (1) and (2), respectively.
Figure 0006750406
Figure 0006750406

つぎに、制御装置６０は、ステップＳ１１２にて、前記検出した座標Ｐ１（ｕＰ１，ｖＰ１）、座標Ｐ２（ｕＰ２，ｖＰ２）、及び座標Ｐ３（ｕＰ３，ｖＰ３）に基づいて、ロボットアーム座標系に対するカメラ座標系の角度θＲ−Ｃを計算する。具体的には、角度θＲ−Ｃは、下記の式（３）又は式（４）に基づいて計算される。

Figure 0006750406
Figure 0006750406
 Next, in step S112, the control device 60, based on the detected coordinates P1 (u P1 , v P1 ), coordinates P2 (u P2 , v P2 ), and coordinates P3 (u P3 , v P3 ), The angle θ R−C of the camera coordinate system with respect to the robot arm coordinate system is calculated. Specifically, the angle θ R−C is calculated based on the following formula (3) or formula (4).
Figure 0006750406
Figure 0006750406

つぎに、制御装置６０は、ステップＳ１１３にて、カメラ４０を、ロボットハンド３６の中心軸まわりに角度θＲ―Ｃだけ回動させて、ロボットアーム３０の座標軸Ｘ（座標軸Ｙ）の方向とカメラ４０の座標軸Ｕ（座標軸Ｖ）の方向を一致させる。つぎに、制御装置６０は、ステップＳ１１４にて、キャリブレーション処理を終了する。 Next, in step S113, the control device 60 rotates the camera 40 about the central axis of the robot hand 36 by an angle θ RC to determine the direction of the coordinate axis X (coordinate axis Y) of the robot arm 30 and the camera. The directions of the coordinate axes U (coordinate axes V) of 40 are matched. Next, the control device 60 ends the calibration process in step S114.

つぎに、パレット２０内のワークピースＷを取り出してコンベア５０に載置するパレタイジング処理について説明する。この処理においては、制御装置６０は、カメラ４０が常に下方へ向けられた状態になるようにロボットアーム３０の姿勢を制御する。さらに、制御装置６０は、図１１に示すように、座標軸Ｘ（座標軸Ｙ）と座標軸Ｕ（座標軸Ｖ）が常に平行である（ロボットアーム座標系に対するカメラ座標系の角度θＲ―Ｃが常に０°である）ように、カメラ４０の回動装置を制御する。つまり、制御装置６０は、ロボットアーム３０（旋回ボディ３２）を座標軸Ｚのまわりに角度θだけ回動させたとき、カメラ４０をロボットアーム３０の回動方向とは逆方向へ角度θだけ回動させる。 Next, the palletizing process of taking out the workpiece W from the pallet 20 and placing it on the conveyor 50 will be described. In this process, the control device 60 controls the posture of the robot arm 30 so that the camera 40 is always directed downward. Further, as shown in FIG. 11, the control device 60 is such that the coordinate axis X (coordinate axis Y) and the coordinate axis U (coordinate axis V) are always parallel (the angle θ RC of the camera coordinate system with respect to the robot arm coordinate system is always 0). The rotation device of the camera 40 is controlled so that That is, the control device 60 rotates the camera 40 by the angle θ in the direction opposite to the rotation direction of the robot arm 30 when the robot arm 30 (the turning body 32) is rotated about the coordinate axis Z by the angle θ. Let

ユーザが入力装置を用いてパレタイジング処理の開始を指示すると、制御装置６０は、図１２に示すステップＳ２００にてパレタイジング処理を開始する。つぎに、制御装置６０は、ステップＳ２０１にて、初期化処理を実行する。この初期化処理において、ユーザは、入力装置を用いて、パレット２０の区画に関する情報を入力する。具体的には、ユーザは、パレット２０の長辺方向の分割数及び短辺方向の分割数を入力する。なお、パレット２０の寸法及びロボットアーム座標系におけるパレット２０の座標（例えば、パレット２０の中心の座標、パレット２０の角部の座標など）は予め設定されている。制御装置６０は、前記入力された分割数、並びに予め設定されているパレット２０の寸法及び座標に基づいて、ロボットアーム座標系における各区画Ｄの中心の座標Ｄ（ｘＤ，ｙＤ，ｚＤ）を計算する。 When the user gives an instruction to start the palletizing process using the input device, the control device 60 starts the palletizing process in step S200 shown in FIG. Next, the control device 60 executes an initialization process in step S201. In this initialization processing, the user uses the input device to input information regarding the sections of the pallet 20. Specifically, the user inputs the number of divisions in the long side direction and the number of divisions in the short side direction of the pallet 20. Note that the dimensions of the pallet 20 and the coordinates of the pallet 20 in the robot arm coordinate system (for example, the coordinates of the center of the pallet 20 and the coordinates of the corners of the pallet 20) are preset. The control device 60, based on the input number of divisions and preset dimensions and coordinates of the pallet 20, coordinates D(x D , y D , z D) of the center of each section D in the robot arm coordinate system. ) Is calculated.

つぎに、制御装置６０は、ステップＳ２０２にて、処理対象として設定する１つの区画Ｄを選択する。このとき、未だワークピースＷが取り出されていない区画のうちの１つの区画Ｄを選択する。つぎに、制御装置６０は、ステップＳ２０３にて、ロボットハンド３６を、前記選択した区画Ｄの中心の直上に移動させる。なお、この際のロボットアーム３０の先端と前記選択した区画Ｄとの距離は、キャリブレーション処理のステップＳ１０３におけるロボットアーム３０の先端と天板１３１との距離Δｚと同一である。上記のように、天板１３１の面積及び形状は、１つの区画Ｄの面積及び形状と略同等であるので、ロボットアーム３０がこの姿勢に設定されれば、前記選択した区画Ｄの全体がカメラ４０の画角内に収まり、且つピントが合う。 Next, the control device 60 selects one section D to be set as a processing target in step S202. At this time, one of the sections in which the workpiece W has not yet been taken out is selected. Next, in step S203, the control device 60 moves the robot hand 36 directly above the center of the selected section D. The distance between the tip of the robot arm 30 and the selected section D at this time is the same as the distance Δz between the tip of the robot arm 30 and the top plate 131 in step S103 of the calibration process. As described above, the area and shape of the top plate 131 are substantially the same as the area and shape of one section D. Therefore, when the robot arm 30 is set in this posture, the entire section D selected is the camera. It is within the angle of view of 40 and is in focus.

つぎに、制御装置６０は、ステップＳ２０４にて、カメラ４０に、前記選択した区画Ｄの全体を撮影させ、その画像データを取得する。つぎに、制御装置６０は、ステップＳ２０５にて、前記取得した画像データ及び周知の画像認識技術を用いて、カメラ座標系におけるワークピースＷの座標Ｗ（ｕｗ，ｖｗ）を検出して記憶する（図１３参照）。なお、ワークピースＷの座標とは、ワークピースＷの貫通孔Ｈの中心の座標を意味する。座標Ｗ（ｕｗ，ｖｗ）は、本発明のカメラ座標系ワークデータに相当する。 Next, in step S204, the control device 60 causes the camera 40 to photograph the entire selected section D and acquires the image data thereof. Next, in step S205, the control device 60 detects and stores the coordinates W(u w , v w ) of the workpiece W in the camera coordinate system using the acquired image data and a known image recognition technique. (See FIG. 13). The coordinates of the workpiece W mean the coordinates of the center of the through hole H of the workpiece W. The coordinates W(u w , v w ) correspond to the camera coordinate system work data of the present invention.

つぎに、制御装置６０は、ステップＳ２０６にて、前記取得した画像データ及び周知の画像認識技術を用いて、カメラ座標系における前記選択した区画Ｄの中心の座標Ｄ（ｕＤ，ｖＤ）を検出して記憶する（図１３参照）。つぎに、制御装置６０は、ステップＳ２０７にて、座標Ｗ（ｕＷ，ｖＷ）及び座標Ｄ（ｕＤ，ｖＤ）、並びにキャリブレーション係数αｘ及びキャリブレーション係数αｙを用いて、ロボットアーム座標系におけるワークピースＷの座標Ｗ（ｘＷ，ｙＷ，ｚＷ）を、下記の式（５）に従って計算する。なお、「ｚＷ」は、座標Ｄ（ｘＤ，ｙＤ，ｚＤ）の座標軸Ｚの方向の成分である「ｚＤ」と同一である。座標Ｗ（ｘＷ，ｙＷ，ｚＷ）は本発明のロボットアーム座標系ワークデータに相当する。

Figure 0006750406
Next, in step S206, the control device 60 determines the coordinates D(u D , v D ) of the center of the selected section D in the camera coordinate system using the acquired image data and a known image recognition technique. It is detected and stored (see FIG. 13). Next, in step S207, the control device 60 uses the coordinates W (u W , v W ) and the coordinates D (u D , v D ) as well as the calibration coefficient α x and the calibration coefficient α y . coordinate W of the workpiece W in the arm coordinate system (x W, y W, z W) to be calculated according to the following equation (5). Note that “z W ”is the same as “z D ”, which is the component of the coordinate D (x D , y D , z D ) in the direction of the coordinate axis Z. Coordinates W (x W, y W, z W) corresponds to the robot arm coordinate system workpiece data of the present invention.
Figure 0006750406

つぎに、制御装置６０は、ステップＳ２０８にて、前記取得した画像データ及び周知の画像認識技術を用いて、ワークピースＷの向きを検出する。すなわち、制御装置６０は、カメラ座標系におけるワークピースＷの長手方向と座標軸Ｕとの間の角度θＷを検出する。 Next, in step S208, the control device 60 detects the orientation of the workpiece W using the acquired image data and the well-known image recognition technique. That is, the control device 60 detects the angle θ W between the longitudinal direction of the workpiece W and the coordinate axis U in the camera coordinate system.

つぎに、制御装置６０は、ステップＳ２０９にて、ロボットアーム３０の先端を座標Ｗ（ｘＷ，ｙＷ，ｚＷ）に移動させる。そして、ロボットアーム３０に、ワークピースＷを持ち上げさせ、ロボットアーム３０の先端をトレイ５１の上方に移動させる。なお、ロボットアーム座標系におけるトレイ５１の座標は予め設定されている。つぎに、制御装置６０は、ステップＳ２１０にて、トレイ５１にワークピースＷを載置する際のワークピースＷの角度θ０（図６参照）と前記検出した角度θＷ（図１３参照）との差分だけ、保持装置３７の基部３７１を回転させる。つぎに、制御装置６０は、ステップＳ２１１にて、ロボットアーム３０の先端を降下させ、ワークピースＷをトレイ５１に載置させる。つぎに、制御装置６０は、ステップＳ２１２にて、トレイ５１を次の工程へ搬送させ、空のトレイ５１を予め設定された座標に搬入させる。 Next, the control unit 60, at step S209, moves the end of the robot arm 30 coordinates W (x W, y W, z W) to. Then, the robot arm 30 is caused to lift the workpiece W, and the tip of the robot arm 30 is moved above the tray 51. The coordinates of the tray 51 in the robot arm coordinate system are preset. Next, in step S210, the control device 60 determines the angle θ 0 (see FIG. 6) of the workpiece W when the workpiece W is placed on the tray 51 and the detected angle θ W (see FIG. 13). The base portion 371 of the holding device 37 is rotated by the difference of. Next, in step S211, the control device 60 lowers the tip of the robot arm 30 to place the work piece W on the tray 51. Next, in step S212, the control device 60 causes the tray 51 to be conveyed to the next step, and the empty tray 51 to be carried into the preset coordinates.

つぎに、制御装置６０は、ステップＳ２１３にて、全てのワークピースＷがパレット２０から取り出されたか否かを判定する。すなわち、ワークピースＷがパレット内に残っている場合（ステップＳ２０２乃至ステップＳ２１２からなる一連の処理が実行された回数が区画数より小さいとき）、制御装置６０は、「Ｎｏ」と判定して、ステップＳ２０２に処理を進める。この場合において、前回選択した区画Ｄと、今回以降に選択する区画Ｄとの相対的な位置関係は、パレット２０の長辺方向の分割数及び短辺方向の分割数、パレット２０の寸法により、予め定められている。従って、前回選択した区画Ｄと今回選択する区画Ｄとの間における相対的な位置関係に基づいて、ロボットハンド３６を、今回選択した区画Ｄの中心の直上に移動させることができる。一方、全てのワークピースＷがパレット２０から取り出された場合（つまり、ステップＳ２０２乃至ステップＳ２１２からなる一連の処理が区画数と同じ回数だけ繰り返されたとき）、制御装置６０は、「Ｙｅｓ」と判定して、ステップＳ２１４にて、パレタイジング処理を終了する。 Next, the control device 60 determines whether or not all the workpieces W have been taken out from the pallet 20 in step S213. That is, when the work piece W remains in the pallet (when the number of times the series of processes including steps S202 to S212 has been executed is smaller than the number of partitions), the control device 60 determines “No”, The process proceeds to step S202. In this case, the relative positional relationship between the section D selected last time and the section D selected after this time is determined by the number of divisions in the long side direction and the number of divisions in the short side direction of the pallet 20 and the size of the pallet 20. It is predetermined. Therefore, the robot hand 36 can be moved directly above the center of the section D selected this time based on the relative positional relationship between the section D selected last time and the section D selected this time. On the other hand, when all the workpieces W have been taken out from the pallet 20 (that is, when the series of processes including steps S202 to S212 is repeated the same number of times as the number of partitions), the control device 60 returns “Yes”. After making a determination, in step S214, the palletizing process ends.

つぎに、ワークピースＷを安定して保持できないとき、ワークピースＷをトレイ５０に適切に載置できないときなど、搬入出作業が失敗したとき、その失敗の要因の所在を特定する失敗要因特定処理について説明する。この失敗要因特定処理においては、キャリブレーション処理において用いたマスターワークＭＷとは異なるマスターワークＭＷＳを用いる。マスターワークＭＷＳは、マスターワークＭＷと同様の円環状に形成されているが、その向きを表すための指標線Ｌが設けられている（図１６参照）。なお、失敗要因特定処理の開始前において、マスターワークＭＷＳは、キャリブレーションステージ１３の所定の初期位置（例えば角部）に載置されている。マスターワークＭＷＳの初期位置の座標は、制御増置６０内の記憶装置に予め記憶されている。 Next, when the loading/unloading work fails, such as when the workpiece W cannot be held stably and when the workpiece W cannot be properly placed on the tray 50, a failure factor identifying process for identifying the location of the factor of the failure. Will be described. In this failure factor identification process, a master work MWS different from the master work MW used in the calibration process is used. The master work MWS is formed in an annular shape similar to the master work MW, but is provided with an index line L for indicating its direction (see FIG. 16). The master work MWS is placed at a predetermined initial position (for example, a corner) of the calibration stage 13 before the failure factor identification processing is started. The coordinates of the initial position of the master work MWS are stored in advance in the storage device in the control expansion 60.

ユーザが入力装置を用いて失敗要因特定処理の開始を指示すると、制御装置６０は、図１４に示すステップＳ３００にて失敗要因特定処理を開始する。つぎに、制御装置６０は、ステップＳ３０１にて、初期化処理を実行する。具体的には、制御装置６０は、前記失敗の要因がカメラ４０にあるか否かを表すフラグＦＣを、前記失敗の要因がカメラ４０にはないことを表す「０」に設定する。また、制御装置６０は、前記失敗の要因がロボットアーム３０にあるか否かを表すフラグＦＲを、前記失敗の要因がロボットアーム３０にはないことを表す「０」に設定する。 When the user gives an instruction to start the failure factor specifying process using the input device, the control device 60 starts the failure factor specifying process in step S300 shown in FIG. Next, the control device 60 executes an initialization process in step S301. Specifically, the control device 60 sets a flag FC indicating whether or not the failure factor is in the camera 40 to “0” indicating that the failure factor is not in the camera 40. Further, the control device 60 sets a flag FR indicating whether or not the cause of the failure is in the robot arm 30, to “0” indicating that the cause of the failure is not in the robot arm 30.

つぎに、制御装置６０は、ステップＳ３０２にて、ロボットアーム３０に、マスターワークＭＷＳを移動させる。具体的には、制御装置６０は、マスターワークＭＷＳが天板１３１の中央にて座標軸Ｘのプラス側（図２において右側）へ向くようにマスターワークＭＷＳを載置することを表す制御データ（ロボットアーム座標系における天板１３１の中央の座標、保持装置３７の基部３７１の回動角度など）をロボットアーム３０に供給する。なお、マスターワークＭＷＳを保持する際、マスターワークＭＷＳの初期座標を制御装置６０からロボットアーム３０に供給すればよい。ただし、ユーザがロボットアーム３０を手動操作して、ロボットアーム３０にマスターワークＭＷＳを保持させてもよい。 Next, the control device 60 causes the robot arm 30 to move the master work MWS in step S302. Specifically, the control device 60 controls data indicating that the master work MWS is placed so that the master work MWS faces the plus side (right side in FIG. 2) of the coordinate axis X at the center of the top plate 131 (robot). The center coordinates of the top plate 131 in the arm coordinate system, the rotation angle of the base 371 of the holding device 37, etc.) are supplied to the robot arm 30. When holding the master work MWS, the initial coordinates of the master work MWS may be supplied from the control device 60 to the robot arm 30. However, the user may manually operate the robot arm 30 so that the robot arm 30 holds the master work MWS.

つぎに、制御装置６０は、ステップＳ３０３にて、カメラ４０（ロボットアーム３０の先端）をキャリブレーションステージ１３の上方へ移動させる。具体的には、制御装置６０は、カメラ４０がキャリブレーションステージ１３の上方に位置し、ロボットアーム３０の座標軸Ｘ（座標軸Ｙ）の方向とカメラ４０の座標軸Ｕ（座標軸Ｖ）の方向が一致するようにロボットアーム３０及びカメラ４０の回動装置を駆動させることを表す制御データをロボットアーム３０及びカメラ４０の回動装置に供給する。つまり、この制御データが表すロボットアーム３０の姿勢及びカメラ４０の回動角度は、上記のステップＳ１１３を実行した直後の状態と同一である。 Next, the control device 60 moves the camera 40 (the tip of the robot arm 30) above the calibration stage 13 in step S303. Specifically, in the control device 60, the camera 40 is located above the calibration stage 13, and the direction of the coordinate axis X (coordinate axis Y) of the robot arm 30 and the direction of the coordinate axis U (coordinate axis V) of the camera 40 match. As described above, the control data indicating that the rotating device of the robot arm 30 and the camera 40 is driven is supplied to the rotating device of the robot arm 30 and the camera 40. That is, the posture of the robot arm 30 and the rotation angle of the camera 40 represented by the control data are the same as the state immediately after the execution of step S113.

つぎに、制御装置６０は、ステップＳ３０４にて、カメラ４０にキャリブレーションステージ１３（基準マークＴ及びマスターワークＭＷＳ）を撮影させて、その画像を表す画像データを取得する。 Next, the control device 60 causes the camera 40 to photograph the calibration stage 13 (the reference mark T and the master work MWS) in step S304, and acquires image data representing the image.

上記のように、ステップＳ３０３にて、カメラ４０をキャリブレーションステージ１３の上方へ移動させることを表す制御データがロボットアーム３０及びカメラ４０の回動装置に供給されている。しかし、ロボットアーム３０及びカメラ４０の回動装置のいずれか一方又は両方に何等かの不具合が生じ、ロボットアーム３０の先端の位置及びカメラ４０の回動角度のいずれか一方又は両方が制御データ通りに設定されなかった場合、ステップＳ３０３にて撮影された画像における基準マークＴの位置及び向きのいずれか一方又は両方がずれる（図１５参照）。すなわち、前記画像における基準マークＴの位置及び向きのいずれか一方又は両方が、基準マークＴの正規の位置及び正規の向きとは異なる。基準マークＴの正規の位置及び正規の向きは、ロボットアーム座標系におけるロボットアーム３０の先端の位置及びカメラ４０の回動角度が正常である場合に撮影された画像における基準マークＴの位置及び向きを意味する。図１５に示す例では、ロボットアーム座標系におけるロボットアーム３０の先端の位置及びカメラ４０の回動角度が正常である場合の基準マークＴを破線で示している。また、同図において、ロボットアーム座標系におけるロボットアーム３０の先端の位置及びカメラ４０の回動角度のいずれか一方又は両方がずれている場合の基準マークＴを実線で示している。なお、図１５においては、マスターワークＭＷＳの図示を省略している。 As described above, in step S303, the control data indicating that the camera 40 is moved above the calibration stage 13 is supplied to the robot arm 30 and the rotation device of the camera 40. However, some trouble occurs in either or both of the rotation device of the robot arm 30 and the camera 40, and either one or both of the position of the tip of the robot arm 30 and the rotation angle of the camera 40 passes the control data. If not set, one or both of the position and the orientation of the reference mark T in the image captured in step S303 are displaced (see FIG. 15). That is, one or both of the position and the orientation of the reference mark T in the image are different from the regular position and the regular orientation of the reference mark T. The normal position and the normal direction of the reference mark T are the position and the direction of the reference mark T in the image taken when the position of the tip of the robot arm 30 and the rotation angle of the camera 40 in the robot arm coordinate system are normal. Means In the example shown in FIG. 15, the reference mark T when the position of the tip of the robot arm 30 and the rotation angle of the camera 40 in the robot arm coordinate system are normal is indicated by a broken line. Further, in the same figure, the reference mark T when one or both of the position of the tip of the robot arm 30 and the rotation angle of the camera 40 in the robot arm coordinate system are deviated is shown by a solid line. Note that the master work MWS is not shown in FIG. 15.

ここで、前記画像を解析しただけで、基準マークＴのずれがロボットアーム３０及びカメラ４０のうちのいずれに起因するのかを厳密に判定することは困難である。そこで、本実施形態では、処理を簡単にするために、基準マークＴのずれは、ロボットアーム３０には起因せず、カメラ４０に起因するものとみなす。 Here, it is difficult to strictly determine which of the robot arm 30 and the camera 40 causes the deviation of the reference mark T, only by analyzing the image. Therefore, in the present embodiment, in order to simplify the processing, it is considered that the deviation of the reference mark T does not originate in the robot arm 30 but originates in the camera 40.

また、上記のように、ステップＳ３０２にて、マスターワークＭＷＳを天板１３１の中央に載置させることを表す制御データがロボットアーム３０に供給されている。しかし、ロボットアーム３０に何等かの不具合が生じ、ロボットアーム３０の先端の位置及びロボットハンド３６の回動角度のいずれか一方又は両方が制御データ通りに設定されなかった場合、ステップＳ３０３にて撮影された画像におけるマスターワークＭＷＳの位置及び向きのいずれか一方又は両方がずれる（図１６参照）。すなわち、前記画像におけるマスターワークＭＷＳの位置及び向きのいずれか一方又は両方が、マスターワークＭＷＳの正規の位置及び正規の向きとは異なる。マスターワークＭＷＳの正規の位置とは、天板１３１の中央を意味し、正規の向きとは、座標軸Ｘのプラス側を意味する。前記画像におけるマスターワークＭＷＳの正規の位置及び正規の向きは、前記画像における基準マークＴの位置及び向きに基づいて計算可能である。図１６に示す例では、ロボットアーム３０が正常である場合にキャリブレーションステージ１３に載置されたマスターワークＭＷＳを破線で示している。また、同図において、ロボットアーム３０に不具合が生じているときにキャリブレーションステージ１３に載置されたマスターワークＭＷＳを実線で示している。 Further, as described above, the control data indicating that the master work MWS is placed on the center of the top plate 131 is supplied to the robot arm 30 in step S302. However, if some trouble occurs in the robot arm 30 and one or both of the position of the tip of the robot arm 30 and the rotation angle of the robot hand 36 is not set according to the control data, the image capturing is performed in step S303. Either or both of the position and orientation of the master work MWS in the captured image are displaced (see FIG. 16). That is, one or both of the position and the orientation of the master work MWS in the image are different from the regular position and the regular orientation of the master work MWS. The regular position of the master work MWS means the center of the top plate 131, and the regular orientation means the plus side of the coordinate axis X. The regular position and the regular orientation of the master work MWS in the image can be calculated based on the position and the orientation of the reference mark T in the image. In the example shown in FIG. 16, the master work MWS placed on the calibration stage 13 when the robot arm 30 is normal is shown by a broken line. Further, in the same figure, the master work MWS placed on the calibration stage 13 when the robot arm 30 is in trouble is shown by a solid line.

制御装置６０は、上記のような基準マークＴの位置及び向きのずれ、並びにマスターワークＭＷＳの位置及び向きのずれに基づいて、搬入出作業の失敗の要因の所在を特定する。まず、制御装置６０は、ステップＳ３０５にて、基準マークＴのずれを計算する。具体的には、制御装置６０は、周知の画像認識技術を用いて、前記画像における基準マークＴの正規の位置からのずれを表すベクトルＶＴを計算する（図１５参照）。また、制御装置６０は、周知の画像処理技術に基づいて、前記画像における基準マークＴの正規の向きからのずれを表す角度θＴを計算する。なお、基準マークＴの正規の位置及び向きを表すデータは制御装置６０内の記憶装置に予め記憶されている。 The control device 60 identifies the location of the cause of the failure of the loading/unloading work based on the deviation of the position and the orientation of the reference mark T and the deviation of the position and the orientation of the master work MWS as described above. First, the control device 60 calculates the deviation of the reference mark T in step S305. Specifically, the control device 60 calculates the vector V T representing the deviation from the normal position of the reference mark T in the image using a known image recognition technique (see FIG. 15). Further, the control device 60 calculates the angle θ T representing the deviation from the normal orientation of the reference mark T in the image based on a known image processing technique. The data indicating the normal position and orientation of the reference mark T is stored in advance in the storage device in the control device 60.

つぎに、制御装置６０は、ステップＳ３０６にて、マスターワークＭＷＳのずれを計算する。具体的には、制御装置６０は、周知の画像認識技術を用いて、前記画像における基準マークＴの位置及び向きを検出するとともに、前記画像におけるマスターワークＭＷＳの位置及び向きを検出する。さらに、制御装置６０は、前記検出した基準マークＴの位置及び向きに基づいて、前記画像におけるマスターワークＭＷＳの正規の位置を計算する（図１６参照）。具体的には、制御装置６０は、前記画像における基準マークＴの線分ＴＸと線分ＴＹとの交点を基準位置とし、この基準位置から線分ＴＸに平行な方向及び線分ＴＹに平行な方向へそれぞれ所定の距離（ピクセル数）だけ離れた位置を計算する。このようにして計算された位置が、マスターワークＭＷＳの正規の位置である。なお、前記所定の距離（ピクセル数）は、制御増値６０内の記憶装置に予め記憶されている。ただし、前記画像における線分ＴＸ及び線分ＴＹの長さに基づいて、前記所定の距離（ピクセル数）を決定してもよい。また、マスターワークＭＷＳの正規の向きは、基準マークＴの線分ＴＸの向きに平行な向きである。したがって、制御装置６０は、マスターワークＭＷＳの正規の向きを角度θＴに設定する。そして、制御装置６０は、前記画像におけるマスターワークＭＷＳの正規の位置からのずれを表すベクトルＶＭＷＳを計算する。また、制御装置６０は、前記画像におけるマスターワークＭＷＳの正規の向きからのずれを表す角度θＭＷＳを計算する。 Next, the control device 60 calculates the deviation of the master work MWS in step S306. Specifically, the control device 60 detects the position and orientation of the reference mark T in the image and the position and orientation of the master work MWS in the image by using a well-known image recognition technique. Further, the control device 60 calculates the regular position of the master work MWS in the image based on the detected position and orientation of the reference mark T (see FIG. 16). Specifically, the control device 60 sets the intersection of the line segment T X and the line segment T Y of the reference mark T in the image as a reference position, and the direction parallel to the line segment T X from this reference position and the line segment T Y. The positions separated by a predetermined distance (number of pixels) in the direction parallel to Y are calculated. The position calculated in this way is the regular position of the master work MWS. The predetermined distance (number of pixels) is stored in advance in the storage device in the control increase value 60. However, the predetermined distance (number of pixels) may be determined based on the lengths of the line segment T X and the line segment T Y in the image. Also, the regular orientation of the master work MWS is oriented parallel to the orientation of the line segment T X of the reference mark T. Therefore, the control device 60 sets the regular orientation of the master work MWS to the angle θ T. Then, the control device 60 calculates a vector V MWS indicating the deviation of the master work MWS from the normal position in the image. Further, the control device 60 calculates an angle θ MWS indicating the deviation of the master work MWS from the normal orientation in the image.

つぎに、制御装置６０は、ステップＳ３０７にて、前記計算したベクトルＶＴ及び角度θＴに基づいて、前記失敗の要因がカメラ４０にあるか否かを判定する。具体的には、制御装置６０は、ベクトルＶＴの長さが所定の閾値ΔＶＴ以下であって，且つ角度θＴが所定の閾値ΔθＴ以下であるとき、「失敗の要因はカメラにはない」と判定し、ステップＳ３０９に処理を進める。一方、ベクトルＶＴの長さが所定の閾値ΔＶＴを超えるとき，及び／又は角度θＴが所定の閾値ΔθＴを超えるとき、「失敗の要因はカメラにある」と判定し、ステップＳ３０８にて、フラグＦＣを、前記失敗の要因がカメラ４０にあることを表す「１」に設定し、ステップＳ３０９に処理を進める。 Next, in step S307, the control device 60 determines whether or not the cause of the failure is in the camera 40, based on the calculated vector V T and angle θ T. Specifically, when the length of the vector V T is less than or equal to the predetermined threshold ΔV T and the angle θ T is less than or equal to the predetermined threshold Δθ T , the control device 60 “provides a failure factor to the camera. “No”, and the process proceeds to step S309. On the other hand, when the length of the vector V T exceeds the predetermined threshold ΔV T and/or when the angle θ T exceeds the predetermined threshold Δθ T , it is determined that “the cause of failure lies in the camera”, and the process proceeds to step S308. Then, the flag FC is set to "1" indicating that the cause of the failure is the camera 40, and the process proceeds to step S309.

つぎに、制御装置６０は、ステップＳ３０９にて、前記計算したベクトルＶＭＷＳ及び角度θＭＷＳに基づいて、前記失敗の要因がロボットアーム３０にあるか否かを判定する。具体的には、制御装置６０は、ベクトルＶＭＷＳの長さが所定の閾値ΔＶＭＷＳ以下であって，且つ角度θＭＷＳが所定の閾値ΔθＭＷＳ以下であるとき、「失敗の要因はロボットアームにはない」と判定し、ステップＳ３１１に処理を進める。一方、ベクトルＶＭＷＳの長さが所定の閾値ΔＶＭＷＳを超えるとき，及び／又は角度θＭＷＳが所定の閾値ΔθＭＷＳを超えるとき、「失敗の要因はロボットアームにある」と判定し、ステップＳ３１０にて、フラグＦＲを、前記失敗の要因がロボットアーム３０にあることを表す「１」に設定し、ステップＳ３１１に処理を進める。 Next, in step S309, the control device 60 determines whether or not the cause of the failure is the robot arm 30, based on the calculated vector V MWS and the angle θ MWS . Specifically, when the length of the vector V MWS is less than or equal to a predetermined threshold ΔV MWS and the angle θ MWS is less than or equal to a predetermined threshold Δθ MWS , the control device 60 “provides a failure factor to the robot arm. No,” and the process proceeds to step S311. On the other hand, when the length of the vector V MWS exceeds the predetermined threshold ΔV MWS and/or when the angle θ MWS exceeds the predetermined threshold Δθ MWS , it is determined that “the robot arm is the cause of failure”, and step S310. At, the flag FR is set to "1" indicating that the cause of the failure is the robot arm 30, and the process proceeds to step S311.

つぎに、制御装置６０は、ステップＳ３１１にて、フラグＦＣ及びフラグＦＲの値に従って、前記失敗の要因を表す文字列、図形などを表示する。例えば、フラグＦＣが「１」であるとき、制御装置６０は、「カメラ」と表示する。また、フラグＦＲが「１」であるとき、制御装置６０は、「ロボットアーム」と表示する。また、フラグＦＣが「０」であり、且つフラグＦＲが「０」であるとき、制御装置６０は、「正常」と表示する。そして、制御装置６０は、ステップＳ３１２にて、失敗要因特定処理を終了する。 Next, in step S311, the control device 60 displays a character string, a graphic or the like indicating the cause of the failure according to the values of the flag FC and the flag FR. For example, when the flag FC is “1”, the control device 60 displays “camera”. Further, when the flag FR is "1", the control device 60 displays "robot arm". Further, when the flag FC is “0” and the flag FR is “0”, the control device 60 displays “normal”. Then, control device 60 ends the failure factor identification processing in step S312.

搬入出装置１によれば、搬入出作業が失敗したとき、失敗要因特定処理を実行することにより、前記失敗の要因の所在を簡単に特定することができる。また、搬入出作業が失敗したにもかかわらず、失敗要因特定処理の結果が「正常」である場合には、ワークピースＷに何らかの問題が生じていると考えられるので、ユーザはワークピースＷの形状、寸法などを確認すればよい。 According to the carry-in/carry-out device 1, when the carry-in/carry-out work has failed, the location of the cause of the failure can be easily specified by executing the failure factor specifying process. If the result of the failure factor identification processing is “normal” despite the failure of the loading/unloading work, it is considered that some problem has occurred in the work piece W, and the user is Check the shape and dimensions.

さらに、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。 Furthermore, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the object of the present invention.

上記実施形態において、ベクトルＶＭＷＳの長さが閾値ΔＶＭＷＳを超えるということは、ロボットアーム３０の先端が正しい位置に設定されていないことを意味する。上記のように、この状態において、前記撮影した画像を解析しただけで、基準マークＴのずれがカメラ４０に起因するか否かを判定することは困難である。上記実施形態では、処理を簡単にするために、基準マークＴのずれはカメラ４０に起因するとみなし、制御装置６０は、「失敗の要因はカメラにある」と判定している。しかし、これに代えて、ベクトルＶＭＷＳが閾値ΔＶＭＷＳを超えている場合、制御装置６０は、「失敗の要因がカメラにあるか否かは判定不能」と結論付けてもよい。 In the above embodiment, that the length of the vector V MWS exceeds the threshold value ΔV MWS means that the tip of the robot arm 30 is not set at the correct position. As described above, in this state, it is difficult to determine whether or not the deviation of the reference mark T is caused by the camera 40 only by analyzing the captured image. In the above-described embodiment, in order to simplify the processing, it is considered that the deviation of the reference mark T is caused by the camera 40, and the control device 60 determines that “the cause of failure is in the camera”. However, instead of this, when the vector V MWS exceeds the threshold ΔV MWS , the control device 60 may conclude that “it is impossible to determine whether or not the failure factor is in the camera”.

これに対し、ベクトルＶＭＷＳの長さが閾値ΔＶＭＷＳ以下であるということは、ロボットアーム３０の先端が正しい位置に設定されていることを意味する。この状態において、基準マークＴのずれは、カメラ４０のみに起因する。そこで、ベクトルＶＭＷＳが閾値ΔＶＭＷＳ以下であり、ベクトルＶＴが閾値ΔＶＴ以下であって、且つ角度θＴが閾値ΔθＴ以下であるとき、制御装置６０は、「失敗の要因はカメラにない」と判定するとよい。一方、ベクトルＶＭＷＳが閾値ΔＶＭＷＳ以下であり、ベクトルＶＴ及び角度θＴのうちの少なくとも一方がその閾値を超えるとき、制御装置６０は、「失敗の要因はカメラにある」と判定するとよい。これによれば、上記実施形態よりも若干処理が煩雑になるが、前記失敗の要因の所在を上記実施形態よりも正確に特定できる。なお、ロボットアーム３０の先端が正しい位置に設定されていたとしても、ロボットハンド３６の回動角度がずれている可能性はある。したがって、失敗の要因がロボットアーム３０にあるか否かは、上記実施形態と同様に、ベクトルＶＭＷＳ及び角度θＭＷＳのずれに基づいて判定すればよい。 On the other hand, that the length of the vector V MWS is equal to or less than the threshold value ΔV MWS means that the tip of the robot arm 30 is set at the correct position. In this state, the deviation of the reference mark T is caused only by the camera 40. Therefore, when the vector V MWS is less than or equal to the threshold value ΔV MWS , the vector V T is less than or equal to the threshold value ΔV T , and the angle θ T is less than or equal to the threshold value Δθ T , the control device 60 indicates that “the cause of failure is the camera. It is good to judge that there is no. On the other hand, when the vector V MWS is equal to or smaller than the threshold ΔV MWS and at least one of the vector V T and the angle θ T exceeds the threshold, the control device 60 may determine that “the cause of the failure is in the camera”. .. According to this, although the processing becomes slightly more complicated than in the above-described embodiment, the location of the cause of the failure can be specified more accurately than in the above-described embodiment. Even if the tip of the robot arm 30 is set at the correct position, the rotation angle of the robot hand 36 may be deviated. Therefore, whether or not the failure factor is in the robot arm 30 may be determined based on the deviation between the vector V MWS and the angle θ MWS , as in the above embodiment.

また、上記実施形態では、ロボットアーム３０にカメラ４０が取り付けられているが、本発明に係る失敗要因特定方法は、上記従来の搬入出装置のように、カメラ４０がフレーム１０に固定されている搬入出装置にも適用可能である。この場合には、上記実施形態とは異なり、基準マークＴのずれはカメラのみに起因する。したがって、前記失敗の要因の所在をより正確に特定できる。 Further, in the above-described embodiment, the camera 40 is attached to the robot arm 30, but in the failure factor identification method according to the present invention, the camera 40 is fixed to the frame 10 like the conventional loading/unloading device. It can also be applied to a loading/unloading device. In this case, unlike the above embodiment, the deviation of the reference mark T is caused only by the camera. Therefore, the location of the cause of the failure can be specified more accurately.

１・・・搬入出装置、１０・・・フレーム、１１・・・メインステージ、１２・・・パレットステージ、１３・・・キャリブレーションステージ、２０・・・パレット、３０・・・ロボットアーム、３１・・・ベース、３２・・・旋回ボディ、３３・・・第１アーム、３４・・・第２アーム、３５・・・第３アーム、３６・・・ロボットハンド、３７・・・保持装置、４０・・・カメラ、５０・・・コンベア、５１・・・トレイ、５２・・・ベルト、６０・・・制御装置、３７１・・・基部、３７２・・・指部、Ｄ・・・区画、ＭＷ，ＭＷＳ・・・マスターワーク、Ｐ１・・・第１ポイント、Ｐ２・・・第２ポイント、Ｐ３・・・第３ポイント、Ｘ，Ｙ，Ｚ・・・座標軸（ロボットアーム座標系）、Ｕ，Ｖ・・・座標軸（カメラ座標系）、Ｗ・・・ワークピース、αｘ，αｙ・・・キャリブレーション係数、Ｔ・・・基準マーク 1... loading/unloading device, 10... frame, 11... main stage, 12... pallet stage, 13... calibration stage, 20... pallet, 30... robot arm, 31 ... Base, 32... Revolving body, 33... First arm, 34... Second arm, 35... Third arm, 36... Robot hand, 37... Holding device, 40... Camera, 50... Conveyor, 51... Tray, 52... Belt, 60... Control device, 371... Base, 372... Finger, D... Section, MW, MWS... Masterwork, P1... First point, P2... Second point, P3... Third point, X, Y, Z... Coordinate axes (robot arm coordinate system), U , V... Coordinate axis (camera coordinate system), W... Workpiece, α x , α y ... Calibration coefficient, T... Reference mark

Claims (3)

ワークピースを搬入出するロボットアームと、前記ワークピースを撮影するカメラと、カメラ座標系における前記ワークピースの位置を表すカメラ座標系ワークデータを計算し、前記カメラ座標系ワークデータを、ロボットアーム座標系における前記ワークピースの位置を表すロボットアーム座標系ワークデータに変換し、前記ロボットアーム座標系ワークデータに基づいて、前記ロボットアームがワークピースを搬入出するように前記ロボットアームを制御する制御装置と、を備えたワークピースの搬入出装置において前記ロボットアームによる前記ワークピースの搬入出作業が失敗したときに、その失敗の要因の所在を特定する、搬入出装置の搬入出作業における失敗要因特定方法であって、
前記ロボットアームにより、ロボットアーム座標系における基準位置及び基準方向を表す基準マークが設けられたステージの所定の位置に、位置及び向きを特定することができるマスターワークを所定の方向へ向けて載置する載置ステップと、
前記ステージに載置された前記マスターワーク及び前記基準マークを前記カメラにより撮影する撮影ステップと、
前記撮影した前記マスターワーク及び前記基準マークの画像における前記基準マークの位置及び向きのずれ、並びに前記画像における前記マスターワークの位置及び向きのずれに基づいて、前記失敗の要因が前記カメラにあるか前記ロボットアームにあるかを判定する失敗要因判定ステップと、
を含む、搬入出装置の搬入出作業における失敗要因特定方法。 A robot arm for loading and unloading a work piece, a camera for photographing the work piece, camera coordinate system work data representing the position of the work piece in the camera coordinate system is calculated, and the camera coordinate system work data is calculated as the robot arm coordinates. A controller for converting the robot arm coordinate system work data representing the position of the workpiece in the system, and controlling the robot arm so that the robot arm carries the workpiece in and out based on the robot arm coordinate system work data. When the loading/unloading work of the workpiece by the robot arm fails in the loading/unloading device for the workpiece, the location of the factor of the failure is identified, and the failure factor identification in the loading/unloading work of the loading/unloading device is specified. Method,
By the robot arm, a master work whose position and orientation can be specified is placed in a predetermined direction at a predetermined position of a stage provided with reference marks indicating a reference position and a reference direction in the robot arm coordinate system. Mounting step to
A photographing step of photographing the masterwork and the reference mark placed on the stage with the camera;
Whether the cause of the failure lies in the camera based on the position and orientation deviation of the reference mark in the image of the masterwork and the reference mark taken, and the position and orientation deviation of the masterwork in the image. A failure factor determining step of determining whether the robot arm is present,
And a method for identifying a failure factor in loading/unloading work of the loading/unloading device. 請求項１に記載の搬入出装置の搬入出作業における失敗要因特定方法において、
前記失敗要因判定ステップにおいて、前記基準マークの正規の位置及び正規の向きに対する、前記撮影ステップで撮影された画像における前記基準マークの位置及び向きのうちの少なくとも一方のずれが、所定の閾値を超えるとき、前記失敗の要因が前記カメラにあると判定する、搬入出装置の搬入出作業における失敗要因特定方法。 A method for identifying a failure factor in a loading/unloading operation of the loading/unloading device according to claim 1,
In the failure factor determination step, at least one of the position and the orientation of the reference mark in the image captured in the imaging step with respect to the regular position and the regular orientation of the reference mark exceeds a predetermined threshold value. At this time, the failure factor identifying method in the loading/unloading operation of the loading/unloading device, which determines that the failure factor is in the camera. 請求項１又は２に記載の搬入出装置の搬入出作業における失敗要因特定方法において、
前記失敗要因判定ステップにおいて、前記撮影ステップで撮影された画像における前記基準マークの位置及び向きに基づいて前記マスターワークの正規の位置及び正規の向きを計算するとともに、前記計算した前記マスターワークの正規の位置及び正規の向きに対する、前記撮影ステップで撮影された画像におけるマスターワークの位置及び向きのずれをそれぞれ計算し、前記計算したマスターワークの位置のずれ及び向きのずれのうちの少なくとも一方が所定の閾値を超えるとき、前記失敗の要因が前記ロボットアームにあると判定する、搬入出装置の搬入出作業における失敗要因特定方法。 In the failure factor identification method in the loading/unloading work of the loading/unloading device according to claim 1 or 2,
In the failure factor determination step, the normal position and the normal orientation of the masterwork are calculated based on the position and the orientation of the reference mark in the image captured in the imaging step, and the calculated regularity of the masterwork is calculated. Of the position and orientation of the master work in the image captured in the imaging step, and at least one of the calculated displacement and orientation of the master work is predetermined. When the threshold value is exceeded, it is determined that the cause of the failure is in the robot arm.
JP2016170817A 2016-09-01 2016-09-01 Failure factor identification method in loading/unloading work of loading/unloading device Active JP6750406B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016170817A JP6750406B2 (en) 2016-09-01 2016-09-01 Failure factor identification method in loading/unloading work of loading/unloading device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016170817A JP6750406B2 (en) 2016-09-01 2016-09-01 Failure factor identification method in loading/unloading work of loading/unloading device

Publications (2)

Publication Number Publication Date
JP2018034271A JP2018034271A (en) 2018-03-08
JP6750406B2 true JP6750406B2 (en) 2020-09-02

Family

ID=61566773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016170817A Active JP6750406B2 (en) 2016-09-01 2016-09-01 Failure factor identification method in loading/unloading work of loading/unloading device

Country Status (1)

Country Link
JP (1) JP6750406B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108909A (en) * 2019-01-07 2020-07-16 トヨタ自動車株式会社 State determination device
JP7281910B2 (en) * 2019-01-28 2023-05-26 株式会社Fuji robot control system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2806604B2 (en) * 1990-06-29 1998-09-30 ファナック株式会社 Camera displacement detection method
JP3087191B2 (en) * 1991-10-04 2000-09-11 富士通株式会社 Automatic connection changer with self-diagnosis function
JPH11347985A (en) * 1998-06-10 1999-12-21 Honda Motor Co Ltd Trouble diagnostic method for robot system with visual sensor
JP5494384B2 (en) * 2010-09-16 2014-05-14 株式会社デンソーウェーブ Robot monitoring system
JP6424560B2 (en) * 2014-10-17 2018-11-21 株式会社リコー Abnormality cause estimation device, picking device, and abnormality cause estimation method in picking device
JP2016078195A (en) * 2014-10-21 2016-05-16 セイコーエプソン株式会社 Robot system, robot, control device and control method of robot

Also Published As

Publication number Publication date
JP2018034271A (en) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6848269B2 (en) Palletizing device
US9957120B2 (en) Stowage pattern calculation device and stowage device for stowing plurality types of objects
US10551821B2 (en) Robot, robot control apparatus and robot system
JP6687591B2 (en) Article transport device, robot system, and article transport method
EP3173194B1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
US10675759B2 (en) Interference region setting apparatus for mobile robot
JP5893695B1 (en) Article transport system
JP6950638B2 (en) Manipulator controller, manipulator control method, and manipulator control program
JP2006035397A (en) Conveyance robot system
TW200402117A (en) Carriage robot system and controlling method thereof
JP6741537B2 (en) Robot, robot control device, and robot position teaching method
CN110587592B (en) Robot control device, robot control method, and computer-readable recording medium
CN109835706B (en) Workpiece configuration system
US20190030722A1 (en) Control device, robot system, and control method
JP4289619B2 (en) Tool position correction method for articulated robots
JP6750406B2 (en) Failure factor identification method in loading/unloading work of loading/unloading device
JP2007088110A (en) Method of teaching reference position of substrate transfer robot
JP7173048B2 (en) Abnormal noise inspection device, abnormal noise inspection method, program and work manufacturing method
CN109916346B (en) Workpiece flatness detection device and method based on vision system
JP2006269497A (en) Substrate-treating device and substrate storage method
JP2016182648A (en) Robot, robot control device and robot system
JP5868257B2 (en) Work position detection method and work transfer method using the same
JP2007237394A (en) Workpiece positioning device
US10656097B2 (en) Apparatus and method for generating operation program of inspection system
WO2020157875A1 (en) Work coordinate generation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200727

R151 Written notification of patent or utility model registration

Ref document number: 6750406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151