JP2010125583A - Robot arm device, and control method and control program of the robot arm device - Google Patents
Robot arm device, and control method and control program of the robot arm device Download PDFInfo
- Publication number
- JP2010125583A JP2010125583A JP2008306052A JP2008306052A JP2010125583A JP 2010125583 A JP2010125583 A JP 2010125583A JP 2008306052 A JP2008306052 A JP 2008306052A JP 2008306052 A JP2008306052 A JP 2008306052A JP 2010125583 A JP2010125583 A JP 2010125583A
- Authority
- JP
- Japan
- Prior art keywords
- robot arm
- conveyed
- image
- work area
- arm device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、ロボットアーム装置、ロボットアーム装置の制御方法および制御プログラムに関する。 The present invention relates to a robot arm device, a control method for a robot arm device, and a control program.
製品や部品がロボットアーム装置の作業領域内に搬送されると、ロボットアーム装置は、ロボットアームの先端に取り付けたカメラによって製品や部品を撮像し、撮像された画像を用いて製品や部品の位置を検出する。そして、検出した製品や部品の位置に、ロボットアームの先端に取り付けられた工具やマニュピュレータなどを移動させ、加工、組み立て、検査などを行う。例えば、特許文献1では、視覚センサをロボットに装着し、視覚センサが計測したワークの積載状況に応じて、ワークを取り出す方法が提案されている。
When the product or part is transported into the work area of the robot arm device, the robot arm device takes an image of the product or part with a camera attached to the tip of the robot arm, and uses the captured image to position the product or part. Is detected. Then, the tool or manipulator attached to the tip of the robot arm is moved to the position of the detected product or part to perform processing, assembly, inspection, and the like. For example,
しかしながら、カメラによって撮像された画像における製品や部品の位置を算出するために行う画像処理の時間を確保する必要がある。そのため、例えば、搬送ベルトに載って複数の製品や部品が並んで順次搬送されるとき、製品や部品を撮像した画像の処理時間を確保しながら、ロボットアーム装置の作業領域に、製品や部品を供給する。従って、画像処理時間が長くかかると、搬送ベルトの搬送速度が遅くなってしまうという課題がある。 However, it is necessary to secure time for image processing performed to calculate the position of the product or part in the image captured by the camera. For this reason, for example, when a plurality of products and parts are transported side by side on the transport belt, the products and parts are placed in the work area of the robot arm device while ensuring the processing time of the images of the products and parts. Supply. Accordingly, when the image processing time is long, there is a problem that the conveyance speed of the conveyance belt is slowed down.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms or application examples.
[適用例1]搬送ベルトによって順次、搬送物が搬送される前記搬送ベルト上の作業領域で作業を行うロボットアーム装置であって、ロボットアームに取り付けられ、前記作業領域の上流側の前記搬送ベルト上の第1の位置にある搬送物の画像を撮像するカメラと、前記画像から前記第1の位置を算出する第1の位置算出部と、前記第1の位置と、前記搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて、前記搬送物が前記作業領域に搬送される第2の位置を算出する第2の位置算出部と、を備えたことを特徴とするロボットアーム装置。 Application Example 1 A robot arm device that performs work in a work area on the transport belt where a transported object is sequentially transported by a transport belt, the robot arm apparatus being attached to the robot arm and upstream of the work area A camera that captures an image of a transported object at a first position above; a first position calculating unit that calculates the first position from the image; the first position; A second position calculation unit that calculates a second position at which the conveyed object is conveyed to the work area based on a distance conveyed from one position to the work area. Robot arm device.
この構成によれば、作業領域の上流側の搬送ベルト上の第1の位置にある搬送物の画像を撮像するカメラを備え、第1の位置算出部は、そのカメラによって撮像された画像から第1の位置を算出する。これにより、搬送物が第1の位置から作業領域に向かって搬送されている時間に画像処理を行って第1の位置を算出し、算出された第1の位置と搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて第2の位置を算出する。そのため、画像処理が終了するまでの時間に合わせて搬送ベルトの搬送速度が遅くなることを抑制できる。 According to this configuration, the camera is provided that captures an image of the transported object at the first position on the transport belt on the upstream side of the work area, and the first position calculation unit is configured to extract the first image from the image captured by the camera. The position of 1 is calculated. As a result, the first position is calculated by performing image processing at the time when the conveyed product is conveyed from the first position toward the work area, and the calculated first position and the conveyed item are the first position. The second position is calculated based on the distance from the position to the work area. Therefore, it is possible to suppress a decrease in the conveyance speed of the conveyance belt according to the time until the image processing is completed.
[適用例2]更に、前記画像のぶれ量を検出するぶれ量検出部と、前記ぶれ量に基づいて、前記画像のぶれを補正するぶれ補正部と、を備えたことを特徴とする上記ロボットアーム装置。 Application Example 2 The robot described above, further comprising: a blur amount detection unit that detects the blur amount of the image; and a blur correction unit that corrects the blur of the image based on the blur amount. Arm device.
この構成によれば、第1の位置で撮像された画像にぶれが生じていたとしても、ぶれ補正を行うことでぶれが抑制された画像を取得することができる。これにより、画像ぶれに起因する第1の位置の誤検出を抑制できる。 According to this configuration, even if the image captured at the first position is blurred, it is possible to obtain an image in which the blur is suppressed by performing the blur correction. As a result, erroneous detection of the first position due to image blur can be suppressed.
[適用例3]前記第1の位置に初めに搬送された搬送物の画像から検出されたぶれ量に基づいて、前記搬送物が搬送される以降、前記第1の位置にある搬送物を撮像した画像を補正することを特徴とする上記ロボットアーム装置。 Application Example 3 After the transported object is transported based on the amount of blur detected from the image of the transported object initially transported to the first position, the transported object at the first position is imaged. The robot arm device described above, wherein the image is corrected.
この構成によれば、搬送ベルト上を搬送物が順次、搬送される毎に画像のぶれを補正するためのぶれ量を算出するための時間を確保しなくてもよい。そのため、搬送ベルトの搬送速度が遅くなることを抑制できる。 According to this configuration, it is not necessary to secure time for calculating the blur amount for correcting the blur of the image every time the transported object is sequentially transported on the transport belt. Therefore, it can suppress that the conveyance speed of a conveyance belt becomes slow.
[適用例4]搬送ベルトによって順次、搬送物が搬送される作業領域で作業を行うロボットアーム装置において、ロボットアームに取り付けられたカメラによって、前記搬送ベルト上の前記作業領域の上流側の前記搬送ベルト上の第1の位置にある搬送物の画像を撮像する工程と、前記画像から前記第1の位置を算出する第1の位置算出工程と、前記第1の位置と、前記搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて、前記搬送物が前記作業領域に搬送される第2の位置を算出する第2の位置算出工程と、を備えたことを特徴とするロボットアーム装置の制御方法。 Application Example 4 In a robot arm apparatus that performs work in a work area in which conveyed objects are sequentially conveyed by a conveyance belt, the conveyance upstream of the work area on the conveyance belt is performed by a camera attached to the robot arm. A step of capturing an image of a conveyed product at a first position on the belt; a first position calculating step of calculating the first position from the image; the first position; And a second position calculating step of calculating a second position at which the conveyed product is transported to the work area based on a distance transported from the first position to the work area. A control method for the robot arm device.
[適用例5]搬送ベルトによって順次、搬送物が搬送される作業領域で作業を行うロボットアーム装置において、ロボットアームに取り付けられたカメラによって、前記搬送ベルト上の前記作業領域の上流側の前記搬送ベルト上の第1の位置にある搬送物の画像を撮像する機能と、前記画像から前記第1の位置を算出する第1の位置算出機能と、前記第1の位置と、前記搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて、前記搬送物が前記作業領域に搬送される第2の位置を算出する第2の位置算出機能と、をコンピュータに実現させることを特徴とするロボットアーム装置の制御プログラム。 Application Example 5 In a robot arm apparatus that performs work in a work area in which a conveyed product is sequentially conveyed by a conveyance belt, the conveyance upstream of the work area on the conveyance belt is performed by a camera attached to the robot arm. A function for capturing an image of a conveyed product at a first position on the belt; a first position calculating function for calculating the first position from the image; the first position; Causing the computer to realize a second position calculation function for calculating a second position at which the conveyed product is transported to the work area based on a distance transported from the first position to the work area. A control program for a robot arm device.
以下、具体化した実施例について図面に従って説明する。
(第1実施例)
図1は、ロボットアーム装置100の外観斜視図である。ロボットアーム装置100における上側台座13は、下側台座15に備えられ、回転位置14でモータ(不図示)の駆動によって回転される。ロボットアーム10は、上側台座13に備えられ、回転位置11でモータ12の駆動によって回転される。
Hereinafter, specific embodiments will be described with reference to the drawings.
(First embodiment)
FIG. 1 is an external perspective view of the
ロボットアーム7は、ロボットアーム10に接続され、回転位置8でモータ9の駆動によって回転される。ロボットアーム5は、ロボットアーム7に接続され、回転位置6でモータ(不図示)の駆動によって回転される。
The robot arm 7 is connected to the
ロボットアーム4は、ロボットアーム5に備えられ、回転軸Aを中心としてモータ(不図示)により回転される。ロボットアーム2は、ロボットアーム4に接続され、回転位置3でモータ(不図示)の駆動によって回転される。
The robot arm 4 is provided in the
ロボットアーム2の先端には、マニュピュレータ1が装着される。生産ラインにおける部品や製品の形状、組み立て方法、加工方法などに応じて、マニュピュレータを選択し、ロボットアーム2の先端に装着することができる。
A
ロボットアーム4には、支持部材21が取り付けられ、支持部材21には、カメラ20が取り付けられる。カメラ20は、搬送された製品(不図示)や部品(不図示)の位置を算出するための画像を撮像する。
A
制御ボックス18は、ロボットアーム装置100の本体と電源ケーブル16、制御ケーブル17によって接続される。制御ボックス18には、電源回路(不図示)と、上述したモータを駆動するためのモータ駆動回路部(不図示)と、コントローラ(不図示)とが内蔵されている。コントローラは、モータ駆動回路部を制御したり、カメラ20によって撮像された画像から製品や部品の位置を算出したりする。
The
図2は、ロボットアーム装置100が搬送物を移動させるときの様子を説明する図である。図2には、搬送物40〜43を搬送方向D1に搬送する搬送ベルト30、パレット61〜63を搬送方向D2に搬送する搬送ベルト60が示される。搬送ベルト30、搬送ベルト60は、それぞれモータ(不図示)によって駆動される。搬送ベルト30によって搬送される搬送物40〜43において、搬送方向D1における隣接する距離L1は、それぞれ異なる。
FIG. 2 is a diagram for explaining a state in which the
搬送ベルト30を支持する支持部31,32は、ロボットアーム装置100の下側台座15が置かれた床面(不図示)に対して固定される。支持部32には、搬送ベルト30の搬送速度を検出する搬送速度検出部71が備えられる。搬送速度検出部71によって検出された搬送速度は、信号ケーブル72を介して、ロボットアーム装置100の制御ボックス18に出力される。
The
搬送ベルト30には、搬送方向D1と直角方向に伸びた複数の直線からなる、太い実線で示すストライプ70が搬送方向D1に伸びるようにして形成されている。ストライプ70を形成する搬送方向D1における直線間の隣接距離は一定である。搬送速度検出部71は、時間を計時する計時部(不図示)を備える。
A
搬送ベルト30が回転することによりストライプ70における複数の直線が搬送速度検出部71を通過すると、搬送速度検出部71は、直線の本数をフォトトランジスタ(不図示)によって光学的に検出し、検出された本数と直線間の隣接距離と、時間とに基づいて、搬送物40〜43が置かれた搬送ベルト30の面が、搬送方向D1に移動する搬送速度を検出する。
When the plurality of straight lines in the
A2に示す領域は、ロボットアーム装置100に取り付けられたマニュピュレータ1が、搬送ベルト30上で作業を行う作業領域を示す。作業領域A2では、ロボットアーム装置100は、搬送ベルト30に置かれた搬送物40を図1のマニュピュレータ1によって把持し、搬送物40を作業領域A2から図2に示す位置で停止しているパレット62の穴部64に移動させる。
A region indicated by A <b> 2 indicates a work region in which the
ロボットアーム装置100によって、作業領域A2に上流側から順次、搬送される搬送物をパレット62に移動させている間は、搬送ベルト60の回転は停止される。パレット62に形成されたすべての穴部64に搬送物が置かれると、搬送ベルト60は、再び回転し、パレット61〜63を搬送方向D2に移動させる。穴部64に搬送物が置かれていないパレット61は、図2のパレット62の位置に移動されるとともに、すべての穴部64に搬送物が置かれたパレット62は、パレット63の位置に移動される。
While the
破線で囲むGは、支持部材21を介してロボットアーム2に取り付けられたカメラ20から見た画像視野である。搬送物43が搬送ベルト30上における撮像領域A1にあるとき、図1のマニュピュレータ1が作業領域A2とパレット62との間を移動するときの経路において、ロボットアーム2の向きを設定し、カメラ20によって搬送物43を含む画像視野Gの画像が撮像されるようにする。
G surrounded by a broken line is an image field viewed from the
支持部31には、マーク33,34が形成され、支持部32には、マーク35,36が形成される。画像視野Gで撮像されるとき、搬送物43は、P0に示すマーク34,35の位置から、P1に示すマーク33,36の位置までの範囲である撮像領域A1に示す位置にある。
図3は、本実施例におけるロボットアーム装置100の電気的なブロック構成を示す図である。図1の制御ボックス18内に備えられたコントローラ54は、CPU50、ROM51、RAM52、インターフェース(I/F)53から構成される。CPU50は、ROM51に記憶された制御プログラムをRAM52に読み出して実行する。
FIG. 3 is a diagram illustrating an electrical block configuration of the
制御ボックス18内に備えられたモータ駆動回路部56は、I/F53を介してCPU50から出力される制御信号に基づいて、モータ57の駆動制御を行う。モータ57は、図1のロボットアーム装置100のロボットアーム7、10をそれぞれ回転させるためのモータ9,12、上側台座13、ロボットアーム2、4、5をそれぞれ回転させるためのモータ(不図示)を含む。
A motor
計時機能を有する計時部55は、制御ボックス18内に備えられ、I/F53を介して時間情報をCPU50に出力する。
The
搬送速度検出部71(図2参照)は、搬送ベルト30が搬送物40〜43を搬送する搬送速度を検出し、I/F53を介してCPU50に出力する。
The conveyance speed detection unit 71 (see FIG. 2) detects the conveyance speed at which the
図4は、作業領域A2の上流側で撮像された画像を用いて、作業領域A2に搬送される搬送物の位置を算出する方法を説明する図である。カメラ20は、作業領域A2の上流側の位置である第1の位置を搬送される搬送物43を第1の時間t1において画像視野Gで撮像する。
FIG. 4 is a diagram for explaining a method of calculating the position of a conveyed product conveyed to the work area A2 using an image captured on the upstream side of the work area A2. The
図3の第1の位置算出部58は、画像視野Gで撮像された画像から第1の時間t1における搬送物43の第1の位置を算出する。第1の位置は、本実施例では、図4のマーク34,35を基準とし、搬送方向D1における距離X1、搬送方向D1と直交する方向における距離Y1として算出される。
The first
次に、図3の第2の位置算出部59が、図4の作業領域A2に搬送された第2の時間t2における搬送物43の第2の位置を算出する方法について説明する。
Next, a method in which the second
図4の搬送方向D1における距離L2は、撮像領域A1における最も下流側の位置P1の位置から、作業領域A2における最も上流側の位置P2の位置までの距離を示す。距離L2は、撮像領域A1と作業領域A2との最短距離である。従って、撮像領域A1にある搬送物43が、撮像領域A1から作業領域A2までに搬送される最短時間は、距離L2と搬送ベルト30の搬送速度とから算出される。
The distance L2 in the transport direction D1 in FIG. 4 indicates the distance from the position of the most downstream position P1 in the imaging area A1 to the position of the most upstream position P2 in the work area A2. The distance L2 is the shortest distance between the imaging area A1 and the work area A2. Therefore, the shortest time that the conveyed
搬送方向D1における距離L3は、撮像領域A1における最も上流側の位置P0の位置から、作業領域A2における最も下流側の位置P3の位置までの距離を示す。距離L3は、撮像領域A1と作業領域A2との最長距離である。従って、撮像領域A1にある搬送物43が、撮像領域A1から作業領域A2までに搬送される最長時間は、距離L3と搬送ベルト30の搬送速度とから算出される。
A distance L3 in the transport direction D1 indicates a distance from the position of the most upstream position P0 in the imaging area A1 to the position of the most downstream position P3 in the work area A2. The distance L3 is the longest distance between the imaging area A1 and the work area A2. Therefore, the longest time that the conveyed
そこで、本実施例では、上記で算出された最短時間と最長時間との中間の時間を、第2の時間t2として算出する。 Therefore, in this embodiment, an intermediate time between the shortest time and the longest time calculated above is calculated as the second time t2.
図3の第2の位置算出部59は、算出された第2の時間t2における第2の位置を算出する。第2の位置は、図4に示すように、搬送方向D1におけるP0に示す基準位置からの距離L4である。
The second
距離L4は、第1の位置算出部58によって算出された、第1の時間t1における距離X1に、搬送物43が第1の時間t1から第2の時間t2までに搬送される距離X2を加算することによって算出される。
The distance L4 is calculated by adding the distance X2 calculated by the
距離X2は、搬送速度検出部71によって検出された搬送速度に、第1の時間t1から第2の時間t2までの時間を乗ずることによって算出される。
The distance X2 is calculated by multiplying the conveyance speed detected by the conveyance
搬送物43は、搬送ベルト30上の位置を変えることなく、第1の時間t1から第2の時間t2までそのまま搬送されるので、第2の時間t2における搬送方向D1と直交する方向における位置は、第1の時間t1における距離Y1に示す位置と同じである。
Since the conveyed
第1の位置算出部58、第2の位置算出部59は、プログラムから構成され、CPU50がROM51に記憶されたプログラムをRAM52に読み出して実行することにより機能する。
The first
図5は、第2の時間t2における搬送物43の第2の位置を算出する処理のフローチャートである。図4、図5を用いて、第2の位置を算出する処理方法について説明する。
FIG. 5 is a flowchart of a process for calculating the second position of the conveyed
ステップS200では、CPU50は、第1の時間t1に、作業領域A2の上流側に位置する搬送物43を、撮像領域A1を含む画像視野Gで撮像する。
In step S200, the
ステップS210では、第1の位置算出部58は、ステップS200で撮像した画像に基づいて画像処理を行い、搬送方向D1におけるP0に示す原点からの距離X1を搬送物43の第1の位置として算出する。ステップS220では、第2の位置算出部59は、搬送速度検出部71から搬送ベルト30の搬送速度を取得する。
In step S210, the first
ステップS230では、第2の位置算出部59は、第1の時間t1から第2の時間t2までの時間と、搬送ベルト30の搬送速度との積を算出することにより、第1の時間t1から第2の時間t2までの距離X2を算出する。
In step S230, the second
ステップS240では、ステップS210で算出した距離X1と、ステップS230で算出した距離X2とを加算し、第2の時間t2におけるP0に示す原点からの距離L4を算出する。 In step S240, the distance X1 calculated in step S210 and the distance X2 calculated in step S230 are added to calculate a distance L4 from the origin indicated by P0 at the second time t2.
本実施例の搬送速度検出部71は、ストライプ70を光学的に検出する方式であったが、搬送ベルト30に接触するローラ(不図示)を備え、ローラの回転数に基づいて、搬送ベルト30の搬送速度を検出する方法でもよい。
The conveyance
また、本実施例の搬送速度検出部71は、搬送速度検出部71に備えられた計時部55からの時間に基づいて搬送速度を出力したが、ストライプ70の移動量を取得し、ロボットアーム装置100に備えられた計時部55からの時間に基づいて、ロボットアーム装置100のCPU50で搬送速度を算出してもよい。
In addition, the transport
本実施例では、第2の時間t2は、搬送ベルト30の搬送速度を一定とし、撮像領域A1から作業領域A2までにかかる最短時間と最長時間との中間の時間を、第2の時間t2として算出したが、搬送ベルト30が搬送と停止を繰り返すような場合には、搬送ベルト30を搬送する制御方法から、搬送物43が作業領域A2の範囲にあることが予測される所定の時間を設定するようにしてもよい。
In the present embodiment, the second time t2 is such that the transport speed of the
以上、本実施例で説明したロボットアーム装置100は、搬送ベルト30によって順次、搬送物が搬送される作業領域A2で作業を行うロボットアーム装置100であって、ロボットアーム2に取り付けられ、搬送ベルト30上の作業領域A2の上流側に位置する第1の位置を搬送する搬送物43の画像を撮像するカメラ20と、この撮像された画像から搬送物43の第1の位置を算出する第1の位置算出部58と、第1の位置としてのP0に示す原点からの距離X1と、搬送物43が第1の位置から搬送された距離X2とに基づいて、作業領域A2に搬送される搬送物43の第2の位置としてのP0に示す基準位置からの距離L4を算出する第2の位置算出部59と、を備える(図4参照)。
As described above, the
この構成によれば、作業領域A2の上流側の搬送ベルト30上の第1の位置にある搬送物43の画像を撮像するカメラ20を備え、第1の位置算出部58は、そのカメラ20によって撮像された画像から第1の位置を算出する。これにより、搬送物43が第1の位置から作業領域A2に向かって搬送されている時間に画像処理を行って第1の位置を算出し、算出された第1の位置に基づいて第2の位置を算出する。そのため、画像処理が終了するまでの時間に合わせて搬送ベルト30の搬送速度が遅くなることを抑制できる。
According to this configuration, the
(第2実施例)
第2実施例では、画像のぶれを補正するぶれ補正部を備えたロボットアーム装置について説明する。図6は、本実施例におけるロボットアーム装置100aの外観斜視図である。
(Second embodiment)
In the second embodiment, a robot arm apparatus including a shake correction unit that corrects image blur will be described. FIG. 6 is an external perspective view of the
ロボットアーム装置100aは、第1実施例で説明したロボットアーム装置100の支持部材21に、回転角速度を検出するジャイロセンサ22が備えられたものである。
In the
図7は、本実施例における電気的な構成を示すブロック図である。図7は、第1実施例で説明した図3の電気的な構成を示すブロック図に、ジャイロセンサ22、画像のぶれを補正するぶれ補正部80を備えた図である。
FIG. 7 is a block diagram showing an electrical configuration in the present embodiment. FIG. 7 is a block diagram showing the electrical configuration of FIG. 3 described in the first embodiment, and includes a
ぶれ補正部80は、ジャイロセンサ22によって検出した回転角速度に応じて、水平方向と垂直方向における画素単位でのぶれ量を算出する。ぶれ補正部80は、算出したぶれ量に基づいて、図2、図4で示す画像視野Gで撮像した画像のぶれを補正する。
The
図8は、本実施例における搬送物43が作業領域A2に搬送される第2の位置を算出する処理のフローチャートである。図8は、第1実施例で説明した図5のフローチャートに、ステップS202、ステップS206、ステップS208を追加したものである。
FIG. 8 is a flowchart of a process for calculating the second position at which the conveyed
ステップS202では、ジャイロセンサ22から、カメラ20が画像視野Gの画像を撮像したときに発生した回転角速度を取得する。ステップS206では、ぶれ補正部80は、取得した回転角速度に応じて、水平方向と垂直方向における画素単位でのぶれ量を算出する。
In step S <b> 202, the rotational angular velocity generated when the
ステップS208では、ぶれ補正部80は、ステップS200で撮像された画像を、ステップS206で算出したぶれ量に基づいて補正する。
In step S208, the
この構成によれば、画像視野Gで撮像した画像がぶれた場合に、第1の位置算出部58が第1の位置を誤検出するのを抑制することができる。
According to this configuration, it is possible to prevent the first
本実施例のぶれ補正部80は、画像視野Gで撮像された画像についてのぶれを補正したが、カメラ20にレンズ(不図示)の光軸を移動させるアクチュエータ(不図示)を備え、カメラ20が画像視野Gにおける画像を撮像するときに、ジャイロセンサ22が検出した回転角速度に応じて、レンズの光軸を補正してもよい。
The
あるいは、カメラ20にCCDなどの撮像素子(不図示)を移動させるアクチュエータ(不図示)を備え、カメラ20が画像視野Gにおける画像を撮像するときに、ジャイロセンサ22が検出した回転角速度に応じて、撮像素子を補正してもよい。
Alternatively, the
(第3実施例)
第3実施例では、撮像領域A1に初めに搬送された搬送物の画像のぶれを補正したときに用いたずれ量を用いて、以降に、順次、撮像領域A1に搬送される搬送物の画像の補正を行う場合について説明する。
(Third embodiment)
In the third embodiment, using the deviation amount used when correcting the blur of the image of the transported object first transported to the imaging area A1, the images of the transported object sequentially transported to the imaging area A1 thereafter. A case where the correction is performed will be described.
ロボットアーム2は、同じ形状で同じ重量の搬送物をマニュピュレータ1により把持しながら、同じ経路を繰り返して移動する。ロボットアーム2に取り付けられたカメラ20は、順次、撮像領域A1に搬送される搬送物の画像を同じ位置で画像視野Gの画像を撮像する。そのため、カメラ20が撮像するときにおけるジャイロセンサ22が検出する回転角速度は、ほぼ同じとなる。
The
そこで、本実施例では、撮像領域A1に初めに搬送された搬送物の画像のぶれを補正したときに用いたずれ量を用いて、以降に、順次、撮像領域A1に搬送される搬送物の画像の補正を行う。 Therefore, in this embodiment, the shift amount used when correcting the blur of the image of the transported object first transported to the imaging area A1 is used, and thereafter the transported objects sequentially transported to the imaging area A1 are sequentially used. Correct the image.
図9は、本実施例における搬送物43が作業領域A2に搬送される第2の位置を算出する処理のフローチャートである。図9は、第2実施例で説明した図8のフローチャートに、ステップS201、ステップS204、ステップS207を追加したものである。
FIG. 9 is a flowchart of a process for calculating a second position at which the conveyed
ステップS201では、図4の撮像領域A1に搬送された搬送物は、初めに搬送されたものであるか否かを判断する。初めの搬送物であるときは(Yes)、ステップS202に進む。初めの搬送物でないときは(No)、ステップS204に進む。 In step S201, it is determined whether the conveyed product conveyed to the imaging area A1 in FIG. 4 is the one conveyed first. If it is the first transported item (Yes), the process proceeds to step S202. If it is not the first transported item (No), the process proceeds to step S204.
ステップS202では、ジャイロセンサ22から回転角速度を取得する。ステップS206では、検出された回転角速度に応じた画素単位のぶれ量を算出する。ステップS207では、算出したぶれ量をRAM52に記憶する。
In step S202, the rotational angular velocity is acquired from the
ステップS204では、補正するためのぶれ量をRAM52から取得し、ステップS208に進む。
In step S204, the amount of shake for correction is acquired from the
このようにすることにより、搬送ベルト30上を搬送物が順次、搬送される毎に回転角速度を検出し、検出した回転角速度に応じた画素単位のぶれ量を算出する時間を確保しなくてもよい。そのため、搬送ベルトの搬送速度が遅くなることを抑制できる。
By doing so, the rotational angular velocity is detected each time the conveyed object is sequentially conveyed on the conveying
2…ロボットアーム、20…カメラ、30…搬送ベルト、40〜43…搬送物、58…第1の位置算出部、59…第2の位置算出部、80…ぶれ補正部、100,100a…ロボットアーム装置、A2…作業領域。
DESCRIPTION OF
Claims (5)
ロボットアームに取り付けられ、前記作業領域の上流側の前記搬送ベルト上の第1の位置にある搬送物の画像を撮像するカメラと、
前記画像から前記第1の位置を算出する第1の位置算出部と、
前記第1の位置と、前記搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて、前記搬送物が前記作業領域に搬送される第2の位置を算出する第2の位置算出部と、を備えたことを特徴とするロボットアーム装置。 A robot arm device that performs work in a work area on the transport belt where transported materials are sequentially transported by a transport belt,
A camera attached to a robot arm and capturing an image of a transported object at a first position on the transport belt upstream of the work area;
A first position calculation unit for calculating the first position from the image;
Based on the first position and a distance by which the conveyed product is conveyed from the first position to the work area, a second position for calculating a second position at which the conveyed object is conveyed to the work area is calculated. A position calculating unit.
更に、前記画像のぶれ量を検出するぶれ量検出部と、
前記ぶれ量に基づいて、前記画像のぶれを補正するぶれ補正部と、を備えたことを特徴とするロボットアーム装置。 The robot arm device according to claim 1,
Furthermore, a shake amount detection unit for detecting the shake amount of the image,
A robot arm device, comprising: a shake correction unit that corrects a shake of the image based on the shake amount.
前記第1の位置に初めに搬送された搬送物の画像から検出されたぶれ量に基づいて、前記搬送物が搬送された以降、前記第1の位置にある搬送物を撮像した画像を補正することを特徴とするロボットアーム装置。 The robot arm device according to claim 2,
Based on the amount of blur detected from the image of the conveyed object first conveyed to the first position, the image obtained by imaging the conveyed object at the first position is corrected after the conveyed object is conveyed. A robot arm device characterized by that.
ロボットアームに取り付けられたカメラによって、前記搬送ベルト上の前記作業領域の上流側の前記搬送ベルト上の第1の位置にある搬送物の画像を撮像する工程と、
前記画像から前記第1の位置を算出する第1の位置算出工程と、
前記第1の位置と、前記搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて、前記搬送物が前記作業領域に搬送される第2の位置を算出する第2の位置算出工程と、を備えたことを特徴とするロボットアーム装置の制御方法。 A robot arm device that performs work in a work area in which transported materials are sequentially transported by a transport belt,
Capturing an image of a transported object at a first position on the transport belt upstream of the work area on the transport belt by a camera attached to a robot arm;
A first position calculating step of calculating the first position from the image;
Based on the first position and a distance by which the conveyed product is conveyed from the first position to the work area, a second position for calculating a second position at which the conveyed object is conveyed to the work area is calculated. And a position calculating step of the robot arm apparatus.
ロボットアームに取り付けられたカメラによって、前記搬送ベルト上の前記作業領域の上流側の前記搬送ベルト上の第1の位置にある搬送物の画像を撮像する機能と、
前記画像から前記第1の位置を算出する第1の位置算出機能と、
前記第1の位置と、前記搬送物が前記第1の位置から前記作業領域まで搬送される距離とに基づいて、前記搬送物が前記作業領域に搬送される第2の位置を算出する第2の位置算出機能と、をコンピュータに実現させることを特徴とするロボットアーム装置の制御プログラム。 A robot arm device that performs work in a work area in which transported materials are sequentially transported by a transport belt,
A function of capturing an image of a transported object at a first position on the transport belt on the upstream side of the work area on the transport belt by a camera attached to a robot arm;
A first position calculating function for calculating the first position from the image;
Based on the first position and a distance by which the conveyed product is conveyed from the first position to the work area, a second position for calculating a second position at which the conveyed object is conveyed to the work area is calculated. A control program for a robot arm apparatus, characterized by causing a computer to realize the position calculation function of
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306052A JP2010125583A (en) | 2008-12-01 | 2008-12-01 | Robot arm device, and control method and control program of the robot arm device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306052A JP2010125583A (en) | 2008-12-01 | 2008-12-01 | Robot arm device, and control method and control program of the robot arm device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010125583A true JP2010125583A (en) | 2010-06-10 |
Family
ID=42326314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008306052A Withdrawn JP2010125583A (en) | 2008-12-01 | 2008-12-01 | Robot arm device, and control method and control program of the robot arm device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010125583A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105437249A (en) * | 2014-09-18 | 2016-03-30 | 株式会社安川电机 | Robot system and method for picking workpiece |
CN109665307A (en) * | 2017-10-16 | 2019-04-23 | 发那科株式会社 | Operating system, operation implementation method and robot to article |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS642890A (en) * | 1987-06-23 | 1989-01-06 | Omron Tateisi Electron Co | Plane work device with visual device |
JPH04159087A (en) * | 1990-10-19 | 1992-06-02 | Tokico Ltd | Part mounting device |
JPH11238113A (en) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | Image input device |
JP2001158413A (en) * | 1999-12-01 | 2001-06-12 | Seiko Seiki Co Ltd | Labeling device |
JP2005111607A (en) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | Material flow tracking device using robot |
JP2007015055A (en) * | 2005-07-07 | 2007-01-25 | Toshiba Mach Co Ltd | Handling device, working device and program |
JP2007319938A (en) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | Robot device and method of obtaining three-dimensional shape of object |
-
2008
- 2008-12-01 JP JP2008306052A patent/JP2010125583A/en not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS642890A (en) * | 1987-06-23 | 1989-01-06 | Omron Tateisi Electron Co | Plane work device with visual device |
JPH04159087A (en) * | 1990-10-19 | 1992-06-02 | Tokico Ltd | Part mounting device |
JPH11238113A (en) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | Image input device |
JP2001158413A (en) * | 1999-12-01 | 2001-06-12 | Seiko Seiki Co Ltd | Labeling device |
JP2005111607A (en) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | Material flow tracking device using robot |
JP2007015055A (en) * | 2005-07-07 | 2007-01-25 | Toshiba Mach Co Ltd | Handling device, working device and program |
JP2007319938A (en) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | Robot device and method of obtaining three-dimensional shape of object |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105437249A (en) * | 2014-09-18 | 2016-03-30 | 株式会社安川电机 | Robot system and method for picking workpiece |
CN109665307A (en) * | 2017-10-16 | 2019-04-23 | 发那科株式会社 | Operating system, operation implementation method and robot to article |
US10850927B2 (en) * | 2017-10-16 | 2020-12-01 | Fanuc Corporation | Work system, method for executing work on object, and robot |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6646026B2 (en) | Work system, work execution method for article, and robot | |
JP5887383B2 (en) | Article alignment apparatus for aligning articles on a conveyor | |
JP5849403B2 (en) | Robot controller, robot, and robot system | |
JP5464176B2 (en) | Picking system | |
JP5930037B2 (en) | Robot system and article transfer method | |
JP6496333B2 (en) | Article conveying apparatus using at least one sensor | |
JP5893695B1 (en) | Article transport system | |
WO2009148089A1 (en) | Handling apparatus, control device, control method, and program | |
JP5544320B2 (en) | Stereoscopic robot picking device | |
JP2008087074A (en) | Workpiece picking apparatus | |
JP2010120141A (en) | Picking device for workpieces loaded in bulk and method for controlling the same | |
KR20130085438A (en) | Image processing apparatus and image processing system | |
JP2012093104A (en) | Shape measuring device, robot system, and shape measuring method | |
JP5198155B2 (en) | HANDLING DEVICE, WORK HANDLING METHOD, AND SIGNAL PROCESSING DEVICE | |
JP2016147330A (en) | Control apparatus based on object recognition | |
JP6545936B2 (en) | Parts transfer system and attitude adjustment device | |
CN110081816B (en) | Article carrying system | |
JP2010125582A (en) | Robot arm device, and method and program for controlling robot arm device | |
JP2011143496A (en) | Device and method for tray transfer | |
JP6546215B2 (en) | Supply control device and supply control method | |
JP5198161B2 (en) | Handling apparatus and work handling method | |
US20140081458A1 (en) | Robot system and article manufacturing method | |
JP2010125583A (en) | Robot arm device, and control method and control program of the robot arm device | |
EP3407696A1 (en) | Mounting apparatus and image processing method | |
TWI765247B (en) | Robotic hands, robots and robotic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20110905 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121018 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20121127 |