JP2009269155A - Teaching device and teaching method - Google Patents
Teaching device and teaching method Download PDFInfo
- Publication number
- JP2009269155A JP2009269155A JP2008124082A JP2008124082A JP2009269155A JP 2009269155 A JP2009269155 A JP 2009269155A JP 2008124082 A JP2008124082 A JP 2008124082A JP 2008124082 A JP2008124082 A JP 2008124082A JP 2009269155 A JP2009269155 A JP 2009269155A
- Authority
- JP
- Japan
- Prior art keywords
- teaching
- robot
- workpiece
- image
- force information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は、例えばロボット等の教示の際に好適に使用可能な教示装置及び教示方法に関する。 The present invention relates to a teaching apparatus and a teaching method that can be suitably used for teaching, for example, a robot.
生産現場において、溶接や塗装、組み立てなどの作業を行うロボットは、教示装置により作業対象の位置や順番などを予め教示した後、この教示内容に従って作業を行っている。この位置を教示する装置は、ロボットの動作機能が割り当てられた複数の押しボタンで構成されている。例えば特許文献1に記載されたように、教示装置は、移動方向の正逆動作が指示できる2つのボタン、指示した位置を記録領域に保存する確定ボタン、その他、移動速度を変更する速度調整ボタンや、位置を直接数値入力できる数値ボタンなどを有している。さらに現在位置の情報や複数の教示位置情報を表示させる機能を有するものもある。
しかしながら、このような教示装置には以下の解決すべき課題がある。 However, such a teaching apparatus has the following problems to be solved.
第1に、例えば棒状の部品の上端部をハンドで掴んで被組付け対象物に穿設された有底の穴に挿入するような作業を教示する場合、直接目視のみではワークの下端が穴にどの程度挿入されているか、即ちワークの下端が穴の底面にどの程度近づいているかを判断しづらく、ワークの下端が穴の底面に接触しているか否かが分からない。これに加えて、ワークの下端が穴の底面に接触している場合であってもその接触力が分からない。 First, for example, when teaching an operation of grasping the upper end of a bar-shaped part with a hand and inserting it into a hole with a bottom drilled in an object to be assembled, the lower end of the workpiece is not directly holed by direct visual observation alone. It is difficult to determine how close the lower end of the workpiece is to the bottom surface of the hole, and it is not known whether the lower end of the workpiece is in contact with the bottom surface of the hole. In addition to this, even if the lower end of the workpiece is in contact with the bottom surface of the hole, the contact force is not known.
第2に、ロボットの先端ツールであるハンドがロボット本体やその他の装置構成部品の陰になってハンドの把持したワークが教示者から直接見えないような場合、教示作業が困難になる。 Second, if the hand, which is the tip tool of the robot, is behind the robot body and other device components and the work gripped by the hand is not directly visible to the teacher, the teaching operation becomes difficult.
第3に、例えば半導体チップ部品などの極めて小さいワークをロボットでピックアンドプレース(ハンドリング)する作業を教示する場合、この教示作業を直接目視によって行うことは困難である。 Thirdly, when teaching an operation of picking and placing (handling) an extremely small work such as a semiconductor chip component by a robot, it is difficult to directly perform the teaching operation by visual observation.
本発明の目的は、ロボットの教示を実際の目視によって行い難いような場合であっても教示作業を確実に行うことができる教示装置及び教示方法を提供することにある。 An object of the present invention is to provide a teaching apparatus and a teaching method capable of reliably performing teaching work even when it is difficult to teach a robot by actual visual observation.
上述した課題を解決するために、請求項1に記載の教示装置は、
ワークと関連する動作位置をロボットへ教示する教示装置において、
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を入力する力情報入力手段と、
前記ロボットの作業領域を撮影するカメラからの画像データを取得する画像
情報入力手段と、
ロボット教示用の操作指令入力信号を入力する操作指令入力手段を備えると共に、
前記力情報と、画像データと、前記操作指令入力信号に基づき、教示の際に前記ワークを実際に撮像した画像及び前記ワーク把持部に作用する3次元の力情報を同時に表示する画像表示手段を備えたことを特徴としている。
In order to solve the above-described problem, a teaching device according to
In a teaching device for teaching a robot an operation position related to a workpiece,
Force information input means for inputting three-dimensional force information received by the work gripping unit detected by the force detection unit installed in the robot;
Image information input means for acquiring image data from a camera that captures the work area of the robot;
With operation command input means for inputting an operation command input signal for robot teaching,
Image display means for simultaneously displaying an image obtained by actually capturing the workpiece during teaching and three-dimensional force information acting on the workpiece gripping portion based on the force information, the image data, and the operation command input signal. It is characterized by having prepared.
また、本発明の請求項3に記載の教示方法は、
ワークと関連する動作位置をロボットへ教示する教示方法において、
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を力情報入力手段に入力すると共に、
前記ロボットの作業領域を撮影するカメラからの画像データを画像情報入力手段で取得し、かつ
ロボット教示用の操作指令入力信号を操作指令入力手段に入力するようにした教示方法であって、
前記3次元の力情報と、前記画像データと、前記操作指令入力信号に基づき、教示の際に画像表示手段に前記ワークを実際に撮像した画像及び前記ワーク把持部に作用する3次元の力情報を同時に表示することを特徴としている。
Further, the teaching method according to claim 3 of the present invention includes:
In a teaching method for teaching a robot an operation position related to a workpiece,
While inputting the three-dimensional force information received by the workpiece gripping portion detected by the force detection portion installed in the robot into the force information input means,
An image data from a camera that captures the work area of the robot is acquired by an image information input unit, and an operation command input signal for teaching a robot is input to the operation command input unit,
Based on the three-dimensional force information, the image data, and the operation command input signal, an image obtained by actually capturing the workpiece on the image display means at the time of teaching, and three-dimensional force information acting on the workpiece gripping portion Is displayed at the same time.
請求項1に記載の教示装置及び請求項3に記載の教示方法がこのような構成を有することで、目視により行い難い教示作業を撮像した画像と、ワーク把持部が受ける3次元の力情報を同時に表示するので、微小又は脆弱なワークであっても、3次元の力情報が表示された画像を見ながら教示操作を行うことができる。そのため、ロボット先端のハンドで把持されたワークとこのワークの被組付け対象物との接近度合いや接触状況を容易に把握することができ、作業効率が向上すると共に、ワークに無理な応力を発生させないように教示できる。
Since the teaching device according to
また、本発明の請求項2に記載の教示装置は、
ワークと関連する動作位置をロボットへ教示する教示装置において、
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を入力する力情報入力手段と、
前記ロボットの作業領域を撮影するカメラからの画像データを取得する画像情報入力手段と、
ロボット教示用の操作指令入力信号を入力する操作指令入力手段を備えると共に、
前記3次元の力情報と、前記画像データと、前記操作指令入力信号に基づき、教示の際に前記ワークを実際に撮像した画像及び前記ワーク把持部に作用する3次元の力情報の表示を同時に行う画像表示手段と、
少なくとも前記ロボットに備わったワークハンドリング用のハンド及び前記ワーク並びに前記ワークの被組付け対象物や被取り出し対象物の設計上の3次元モデルデータと前記実際に撮像した画像の位置を合わせ、前記3次元モデルデータを前記実際に撮像した画像に重ね合わせて表示することを特徴としている。
A teaching device according to
In a teaching device for teaching a robot an operation position related to a workpiece,
Force information input means for inputting three-dimensional force information received by the work gripping unit detected by the force detection unit installed in the robot;
Image information input means for acquiring image data from a camera that images the work area of the robot;
With operation command input means for inputting an operation command input signal for robot teaching,
Based on the three-dimensional force information, the image data, and the operation command input signal, an image obtained by actually capturing the workpiece at the time of teaching and display of the three-dimensional force information acting on the workpiece gripping unit are simultaneously displayed. Image display means to perform;
At least the 3D model data on the design of the workpiece handling hand and the workpiece, and the workpiece to be assembled and the workpiece to be taken out of the robot are aligned with the position of the actually captured image, The dimensional model data is displayed superimposed on the actually captured image.
また、本発明の請求項4に記載の教示方法は、
ワークと関連する動作位置をロボットへ教示する教示方法において、
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を力情報入力手段に入力すると共に、
前記ロボットの作業領域を撮影するカメラからの画像データを画像情報入力手段で取得し、かつ
ロボット教示用の操作指令信号を操作指令入力手段に入力するようにした教示方法であって、
前記3次元の力情報と、前記画像データと、前記操作指令入力信号に基づき、教示の際に画像表示手段に前記ワークを実際に撮像した画像及び3次元の力情報の表示を同時に行うことに加えて、
少なくとも前記ロボットに備わったワークハンドリング用のハンド及び前記ワーク並びに前記ワークの被組付け対象物や被取り出し対象物の設計上の3次元モデルデータと前記実際に撮像した画像の位置を合わせ、前記3次元モデルデータを前記実際に撮像した画像に重ね合わせることを特徴としている。
A teaching method according to claim 4 of the present invention is:
In a teaching method for teaching a robot an operation position related to a workpiece,
While inputting the three-dimensional force information received by the workpiece gripping portion detected by the force detection portion installed in the robot into the force information input means,
An image data from a camera that captures the work area of the robot is acquired by an image information input means, and an operation command signal for robot teaching is input to the operation command input means,
Based on the three-dimensional force information, the image data, and the operation command input signal, simultaneously displaying an image obtained by actually capturing the workpiece and three-dimensional force information on the image display means during teaching. in addition,
At least the 3D model data on the design of the workpiece handling hand and the workpiece, and the workpiece to be assembled and the workpiece to be taken out of the robot are aligned with the position of the actually captured image, The dimensional model data is superimposed on the actually captured image.
請求項2に記載の教示装置及び請求項4に記載の教示方法がこのような構成を有することで、教示時にロボット先端のハンドや他の装置などによりワークが視認できなくなってしまった場合や、例えば棒状の部品の上端部をハンドで掴んで被組付け対象物に穿設された有底の穴に挿入するような作業を教示する場合でも、ハンドやワーク、及びワークの被組付け対象物や被取り出し対象物の3次元モデルデータの輪郭をこれに対応する実際の画像に重ねて表示することができる。その結果、ワークと被組付け対象物や被取り出し対象物との相対位置関係を容易に認識することが可能となる。これにより、ロボットの教示作業や操作性が向上すると共に、微小なワークや脆弱なワークに無理な応力が発生するような教示を回避することができる。
When the teaching device according to
本発明に係る教示装置によれば、ロボットの教示を実際の目視によって行い難いような場合であっても教示作業を確実に行うことができる教示装置及び教示方法を提供することができる。 According to the teaching device of the present invention, it is possible to provide a teaching device and a teaching method capable of reliably performing teaching work even when it is difficult to teach a robot by actual visual observation.
以下、本発明の実施形態に係る教示装置を図面を参照しながら詳細に説明する。本発明の第1の実施形態に係る教示装置1は、画像処理部110と、画像処理部110に電気的に接続した教示操作部120と、画像処理部110で処理する画像を撮像するカメラ131,132(130)と、画像処理部110とロボットコントローラ200との間に介在した教示装置側情報送受信部(力情報入力手段)140を備えている。
Hereinafter, a teaching device according to an embodiment of the present invention will be described in detail with reference to the drawings. The
画像処理部110は、画像生成部111と、画像生成部111にカメラ画像を送るカメラ画像入力部112を有し、カメラ画像入力部112には上述したカメラ130で撮像した画像を入力するようになっている。
The
カメラ130は、教示時に教示者が目視による教示が困難で教示作業の難しい作業ステーションごとに設置されている。具体的には、一例として図2に示すように、ロボットの先端ツールであるハンドHによってハンドリングされるワークWの取り出しや組み付けに関連する対象物を同時に撮像できる位置であって教示が困難な位置に設置されている。即ち、図2においては、ワークWを被取り出し対象物であるパレットから取り出す作業ステーションS1及びワークWを部品組付け対象物に組付ける作業ステーションS2にカメラ130がそれぞれ設置されている。
The
なお、カメラ130は、本実施形態では図2に示すように2台設置されているが、必ずしも2台に限定されず1台もしくは3台以上であっても良い。
In the present embodiment, two
画像生成部111には、教示時にハンドに備わった力センサ310によって検出される3次元の力情報が教示装置側情報送受信部140を介して入力されると共に、カメラ130によって実際に撮像した教示領域の実画像がカメラ画像入力部112から入力されるようになっている。そして、画像生成部111は、この実画像と3次元の力情報を教示操作部120の画像表示部121で同時に表示するための演算処理を行うようになっている。
The
教示操作部120は、画像生成部111で生成された画像を表示する画像表示部121と、ロボットへの教示内容を教示装置側情報送受信部140を介してロボットコントローラ200に伝える操作指令入力部122を有している。
The
画像処理部110と教示操作部120とは互いに電気的に接続され、図1においては実線で囲まれた教示ボックス内に収容されている。しかしながら、同図の二点鎖線で示すように、これらが別々の教示ボックス内に収容され、ケーブルで電気的に接続されていても良い。
The
図3は、図1に示した第1の実施形態にかかる教示操作部120を示す斜視図であり、画像処理部110と教示操作部120が分離して別々に構成され、これらがケーブルで電気的に接続された場合の教示操作部120を示している。図3に示すように、教示操作部120は、画像表示部121と操作指令入力部122のみを備えているので、小型化が図られて教示作業を行い易くしている。
FIG. 3 is a perspective view showing the
ロボットコントローラ200は、教示装置側情報送受信部140との間で信号を送受信するコントローラ側情報送受信部240と、コントローラ側情報送受信部240に電気的に接続されロボット300の制御を行うロボット制御部210を有している。
The
教示装置1により教示されるロボット300は、ワークWをハンドリングする先端ツールであるハンド320と、ハンド320に備わった力センサ310をロボット本体部に有している。そして、ロボット300が直交座標型ロボットの場合、ロボットコントローラ200のロボット制御部210を介してロボットのXYZ方向の駆動モータをそれぞれ制御すると共に、ハンド320の回転軸回りの駆動モータを制御する。また、ロボット300が極座標型ロボットの場合、ロボットコントローラ200のロボット制御部210を介してロボット300のθ、r方向の駆動モータをそれぞれ制御すると共に、ハンド320の回転軸回りの駆動モータを制御する。
The
力センサ310は、ワークWを保持したハンド320が教示時にワークWを介して受ける反力をXYZ軸方向の分力ごとに3次元の力情報として検出する。そして、教示時に力センサ310の検出した3次元の力情報がコントローラ側情報送受信部240及び教示装置側情報送受信部(力情報入力手段)140を介して画像生成部111に伝えられるようになっている。
The
続いて、上述した第1の実施形態に係る教示装置1を用いたロボット300の教示方法について具体的に説明する。なお、この教示作業においては、脆性材料からなる円柱状のワークをある程度厚みがある金属製のプレート体の上面に形成された有底の穴に挿入する挿入作業をロボット300に教示する。従って、カメラ130はこの円柱状のワークをハンド320が把持してプレート体の有底の穴に挿入する作業を実画像として撮像できる位置に設置しておく。
Subsequently, a teaching method of the
そして、ロボット300に実際の教示作業を行う。具体的には、ワークをハンド320で保持したまま予め設定入力され教示作業に対応した位置にロボット300を位置決めし、ロボット300の教示操作部120の操作指令入力部122を介してロボット300を動かし、ハンド320に把持されたワークをプレート体の穴の上側開口部から挿入する。
Then, actual teaching work is performed on the
次いで、ワークの下端部が穴の底面に当接するまでワークを下降させる。この教示動作の際、ハンド320に取り付けられた力センサ310が検出する反力を3次元の力情報としてコントローラ側情報送受信部240及び教示装置側情報送受信部140を介して画像生成部111に入力する。これと同時に、上述したカメラ130で撮像した実画像をカメラ画像入力部112を介して画像生成部111に入力する。そして、実画像と力センサ310が検出した3次元の力情報を画像生成部111で合成し、この合成した合成画像を教示操作部120の画像表示部121に表示させる。
Next, the work is lowered until the lower end of the work comes into contact with the bottom surface of the hole. During this teaching operation, the reaction force detected by the
図4は、この合成画像の一例を示しており、図5は、この合成画像の他の一例を示している。図4においては、実画像の右下片隅に力センサ310が検出した反力を3次元の力情報としてXYZ軸方向別々に棒グラフで表示している。この表示例では、棒グラフの長さが長くなればなるほど該当する軸方向の反力が大きいことを示している。図4では、特にZ軸方向において棒グラフの上部が濃いドットで示され、Z軸方向(ワークの挿入方向)に関して許容される反力より大きい反力が力センサ310で検出されたことを教示者に教えている。
FIG. 4 shows an example of this composite image, and FIG. 5 shows another example of this composite image. In FIG. 4, the reaction force detected by the
図4の表示内容をより詳しく説明すると、この教示作業において力センサ310を介してワークの側面が穴の内周面から許容値以下の反力を受けると共に(図中X軸及びY軸に関する棒グラフ参照)、ワークの下端が穴の底面に押し付けられて許容値を超える反力を受け(図中Z軸に関する棒グラフ参照)、この教示作業においてワークを穴に挿入しすぎて不適切な教示を行っていることを教示操作部120の画像表示部121で教示者に知らせている。
4 will be described in more detail. In this teaching work, the side surface of the workpiece receives a reaction force less than an allowable value from the inner peripheral surface of the hole via the force sensor 310 (a bar graph relating to the X axis and the Y axis in the figure). (See Fig.), And the lower end of the workpiece is pressed against the bottom of the hole and receives a reaction force exceeding the allowable value (see the bar graph for the Z-axis in the figure). In this teaching operation, the workpiece is inserted too much into the hole and improper teaching is performed. The teacher is notified by the
本実施形態による教示装置1を用いない教示作業によると、教示者がワークの下端と穴の底面との相対位置関係を直接目視することができないが、本実施形態に係る教示装置を用いることで、それを瞬時に認識でき、適切な教示作業を手際良く行えるようになる。
According to the teaching work that does not use the
なお、画像表示部121に実画像と力センサ310が受ける反力である3次元の力情報を同時に表示する表示の仕方については、図4に示すようにXYZ軸方向の反力を棒グラフとして別々に表示する代わりに、図5に示すようにこれらの3次元の力情報を合成した反力としてベクトル表示しても良い。この際、ベクトルの長さは合成した反力の大きさを表わし、ベクトルの向きは合成した反力の作用する方向を表わしている。
As for the display method for displaying the real image and the three-dimensional force information, which is the reaction force received by the
このようなベクトルによる3次元の力情報を画像表示部121の実画像においてワークが穴に挿入される位置に重ね合わせることで、教示者が画像表示部121を介して適切な教示作業を行っているか否かを瞬時に判断することができるようになる。
By superimposing the three-dimensional force information based on such vectors on the position where the workpiece is inserted into the hole in the real image of the
以上説明した第1の実施形態において、実際に撮像する領域を拡大して撮像するためのレンズをカメラに備えるようにしても良い。このようなレンズ付きカメラを用いることで、例えば2mm角や3mm角程度の極めて小さい半導体チップのピックアンドプレース作業を教示する際に、これを拡大して教示操作部120の画像表示部121に表示させるようにすることができ、実際の目視による教示作業よりもはるかに教示作業を行い易くすることができる。
In the first embodiment described above, the camera may be provided with a lens for enlarging the area to be actually imaged. By using such a camera with a lens, for example, when teaching pick-and-place work of an extremely small semiconductor chip of about 2 mm square or 3 mm square, this is enlarged and displayed on the
続いて、本発明の第2の実施形態に係る教示装置及びこれを用いた教示方法について説明する。なお、第1の実施形態に係る教示装置及びこれを用いた教示方法と同等の構成については、対応する符号を付して詳細な説明を省略する。 Next, a teaching apparatus and a teaching method using the teaching apparatus according to the second embodiment of the present invention will be described. In addition, about the structure equivalent to the teaching apparatus which concerns on 1st Embodiment, and the teaching method using this, corresponding code | symbol is attached | subjected and detailed description is abbreviate | omitted.
この第2の実施形態に係る教示装置2は、第1の実施形態に係る教示装置1と異なり、図6に示すように、新たに3次元モデルデータ部153を画像処理部150内に備えると共に、画像処理部150の画像生成部151に画像マッチングさせる手動の画像マッチング機能を新たに備えている。
Unlike the
3次元モデルデータ部153は、ロボット先端ツールであるハンド320のCADデータと、ハンド320を介してハンドリングされるワークのCADデータと、ワークの被組付け対象物や被取り出し対象物(以下、「被組付け対象物」とする)のCADデータと、これらの周辺領域のロボット300のCADデータに基づいた3次元モデルデータを3次元モデルデータ部153に格納している。
The three-dimensional
そして、本実施形態では、カメラ130で撮像しカメラ画像入力部152で画像生成部151に入力された教示領域の実画像にこの3次元モデルデータ部153の3次元モデルデータをワイヤフレームとして画像生成部151で重ね合わすようになっている。
In the present embodiment, the real image of the teaching area captured by the
なお、上述した第2の実施形態に係る教示装置2では、画像生成部151にはカメラ130で撮像しカメラ画像入力部152を介して入力された実画像と3次元モデルデータ部153の3次元モデルデータのマッチングを行なうにあたって、教示者がカメラ130を3次元モデルデータに目視しながら手動で微調整して位置合わせする。
In the
図7は、ロボット300の教示領域の実画像にこの部分に対応する3次元モデルデータを重ね合わせた状態を教示操作部120の画像表示部121に示した表示例である。同図から明らかなように、カメラ130で撮像した実画像のみではワークの下端部とプレート体の穴の底面との相対位置関係を教示者が視認することができないが、この相対位置関係を3次元モデルデータのワイヤフレームから視認することが可能となっている。
FIG. 7 is a display example showing the
これによって、教示者がワークをプレート体の穴の上側開口部から挿入する教示を行う際に、ワークの下端が穴の底面にどの程度近づいたかを教示操作部120の画像表示部121から常に把握することができ、ワークの下端がプレート体の穴の底面に近づいた際にこれを認識して教示作業をより慎重に行うことができるようになる。その結果、教示者が教示時にワークの下端が穴の底面に当たるまでワークを穴に勢い良く挿入してワークの下端が穴の底面にあたって破損してしまうのを回避することができる。
Thus, when the instructor teaches that the workpiece is inserted from the upper opening of the hole in the plate body, the
なお、この際、ワークが被組付け対象物から反力を受け易い領域であってワイヤフレームで囲まれた特定領域を色付けすることによって、ワークと被組付け対象物との教示時の相対位置関係を強調表示して教示者がこれを一目で認識できるようにしても良い。 At this time, the relative position at the time of teaching the work and the object to be assembled is colored by coloring the specific area surrounded by the wire frame, which is an area where the work is likely to receive a reaction force from the object to be assembled. The relationship may be highlighted so that the teacher can recognize it at a glance.
具体的には、図7に示す表示内容の場合、例えばワークの下端面のワイヤフレームで囲まれた楕円領域を半透明のピンク色で表示し、プレート体の穴の底面を半透明のグリーン色で表示しても良い。このように表示することによって、実際に撮像した実画像を残しながら、教示に際して最も重要となる部分であるワークと被組付け対象物の特定領域の相対位置関係を教示者が教示操作部120の画像表示部121から瞬時に認識することが可能となる。
Specifically, in the case of the display content shown in FIG. 7, for example, an elliptical area surrounded by a wire frame on the lower end surface of the workpiece is displayed in a semi-transparent pink color, and the bottom surface of the hole in the plate body is displayed in a semi-transparent green color. May be displayed. By displaying in this way, the instructor can use the
なお、図7においては力センサ310が検出する教示時にワークが受ける反力である3次元の力情報を教示操作部120の画像表示部121に表示していない。しかしながら、本実施形態においても上述した第1の実施形態と同様にこの3次元の力情報を、図4に示す棒グラフを介してXYZ軸方向別々に棒グラフとして表示するか、図5に示すように合力としてベクトル表示するようになっている。
In FIG. 7, three-dimensional force information, which is a reaction force received by the workpiece during teaching detected by the
図8は、教示装置1,2の教示操作部120の他の変形例を示した斜視図である。同図から明らかなように、この変形例にかかる教示操作部120’は、画像表示部121’と操作指令入力部122’とが一体化しており、画像表示部121’に表示されたタッチスイッチを操作することによって教示作業を行うことができるようになっている。このような教示操作部120’を用いることで、教示操作部自体の大きさが小さくて済むので、教示作業を行い易くすることができる。
FIG. 8 is a perspective view showing another modification of the
なお、上述の各実施形態においては、ハンド320で把持されたワークが被作業対象物から受ける反力を3次元の力情報として力センサ310で検出したが、これとは異なる力検出部を介して3次元の力情報を検出しても良い。具体的には、ロボットを駆動する例えばXYZ軸方向の各軸の駆動モータの電流値から計算されるトルクからロボット先端のハンドに伝わる反力をそれぞれ各軸ごとに求め、これを各軸ごとに棒グラフとして表示したりこの合力をベクトル表示しても良い。
In each of the above-described embodiments, the reaction force received from the work target by the work gripped by the
また、上述の実施形態においては、実際の教示内容の一例としてロボット300のハンド320が円柱状のワークを保持し、この円柱状のワークをプレート体の上面に穿設された有底の穴にその穴の上部開口部からワークを挿入する教示動作を説明した。しかしながら、本発明の有用性はこのような教示内容に限定されるものではなく、例えば教示者の教示位置から教示すべき作業ステーションがロボット本体の影に隠れて教示者がこれを直接目視できない場合等においても十分に発揮することができる。
In the above-described embodiment, as an example of the actual teaching content, the
また、図1及び図6に示すように教示装置の教示操作部120と画像処理部110,150とが一体化して教示ボックス内に収容されている代わりに、教示操作部120と画像処理部110,150とがそれぞれ別々のボックス内に収容されてケーブルで互いに接続されていても良い(図1及び図6の一点鎖遷参照)。このようにすることで、画像処理部110,150をロボットの適所に固定することができると共に、教示操作部120のみを教示者が手で持って教示作業を行うことができる。その結果、カメラ130と画像処理部110,150を接続するケーブルを教示操作部120が有さなくなるので、教示操作部120から導出するケーブルの本数を減らし、太さを細くすることができ、教示作業を行い易くすることが可能となる。
In addition, as shown in FIGS. 1 and 6, instead of the
また、上述の各実施形態においてカメラで撮像した画像は、ワークのピックアンドプレース作業においてワークを被組付け対象物に組付けるステーションにおける実画像であったが、これに加えて、図2に示すようにワークを被取り出し対象物から取り出すピッキングステーションにおいても本発明を適用すれば、同様の効果を得られる。 In addition, the image captured by the camera in each of the above-described embodiments is an actual image at a station where the workpiece is assembled to the assembly target object in the workpiece pick-and-place operation. In addition to this, FIG. Thus, if the present invention is applied to a picking station that takes out a workpiece from an object to be taken out, the same effect can be obtained.
また、上述の各実施形態において、ハンドはワークを把持するタイプのロボットの教示について説明したが、このタイプには必ずしも限定されず、ロボットの先端ツールとしてワーク吸着用ノズルを備えたタイプのロボットの教示に本発明を適用しても同様の効果を得ることができる。 Further, in each of the above-described embodiments, the teaching of the robot that holds the workpiece is described. However, the present invention is not necessarily limited to this type, and the robot of the type that includes a workpiece suction nozzle as a tip tool of the robot. The same effect can be obtained even if the present invention is applied to teaching.
以上説明したように、本発明によると、教示時にハンドで把持されたワークが被組付け対象物や被取出し対象物から受ける反力を3次元の力情報としてこの教示領域の実画像と同時に表示するので、教示者がこの表示内容を見ながら教示操作を行うことができるようになる。その結果、ロボット先端ツールに把持されたワークと被組付け対象物や被取り出し対象物との接触状況が容易に把握でき、ワークに無理な応力を生じさせる誤った教示を行うのを回避できる。 As described above, according to the present invention, the reaction force received by the work gripped by the hand during teaching from the object to be assembled or the object to be removed is displayed as three-dimensional force information at the same time as the actual image in this teaching area. Therefore, the teacher can perform the teaching operation while viewing the displayed content. As a result, it is possible to easily grasp the contact state between the work held by the robot tip tool and the object to be assembled or the object to be removed, thereby avoiding erroneous teaching that causes excessive stress on the work.
また、この教示内容に従ってその後の作業を続けることで、ワークや被組付け対象物に組付け上の不良品を発生させるのを防止することができる。そのため、特に脆性材料でできたワークを被組付け対象物に組付ける教示作業を行う場合、ワークを破損させずに教示作業を行うことができる。 Further, by continuing the subsequent work in accordance with the teaching contents, it is possible to prevent a defective product during assembly from being generated on the workpiece or the object to be assembled. Therefore, in particular, when performing a teaching operation for assembling a workpiece made of a brittle material to an assembly target object, the teaching operation can be performed without damaging the workpiece.
また、ハンドに把持されたワークと被組付け対象物との相対位置関係で最も慎重に教示すべき部分の領域が直接目視できない場合、特に本発明の第2の実施形態にかかる教示装置を用いることで、ワークや被組付け対象物に無理な応力を発生させることなく教示作業を行うことができる。 In addition, when the region of the portion to be taught most carefully cannot be directly visually recognized in the relative positional relationship between the work gripped by the hand and the assembly target object, the teaching device according to the second embodiment of the present invention is used. Thus, the teaching work can be performed without causing excessive stress on the workpiece or the object to be assembled.
また、例えばワークが半導体チップ部品のように極めて小さい部品であって直接目視による教示が行い難い場合、特にレンズ付きのカメラを介してこの教示領域を拡大した実画像として表示すると共に、ワークが受ける反力を3次元の力情報としてこの実画像と同時に表示させることで、このような難しい教示作業を容易に行うことができるようになる。 For example, when the work is an extremely small part such as a semiconductor chip part and direct teaching is difficult to perform, the teaching area is displayed as an enlarged real image through a camera with a lens, and the work receives. By displaying the reaction force as three-dimensional force information at the same time as the actual image, such a difficult teaching operation can be easily performed.
1,2 教示装置
110 画像処理部
110,150 画像処理部
111 画像生成部
112 カメラ画像入力部
120,120’ 教示操作部
121,121’ 画像表示部
122,122’ 操作指令入力部
130(131,132) カメラ
140 教示装置側情報送受信部
151 画像生成部
152 カメラ画像入力部
152 画像情報入力手段
153 3次元モデルデータ部
200 ロボットコントローラ
210 ロボット制御部
240 コントローラ側情報送受信部
300 ロボット
310 力センサ
320 ハンド
H ハンド
W ワーク
DESCRIPTION OF
Claims (4)
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を入力する力情報入力手段と、
前記ロボットの作業領域を撮影するカメラからの画像データを取得する画像
情報入力手段と、
ロボット教示用の操作指令入力信号を入力する操作指令入力手段を備えると共に、
前記3次元の力情報と、前記画像データと、前記操作指令入力信号に基づき、教示の際に前記ワークを実際に撮像した画像及び前記ワーク把持部に作用する3次元の力情報を同時に表示する画像表示手段を備えたことを特徴とする教示装置。 In a teaching device for teaching a robot an operation position related to a workpiece,
Force information input means for inputting three-dimensional force information received by the work gripping unit detected by the force detection unit installed in the robot;
Image information input means for acquiring image data from a camera that images the work area of the robot;
With operation command input means for inputting an operation command input signal for robot teaching,
Based on the three-dimensional force information, the image data, and the operation command input signal, an image obtained by actually capturing the workpiece at the time of teaching and the three-dimensional force information acting on the workpiece gripping portion are simultaneously displayed. A teaching device comprising image display means.
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を入力する力情報入力手段と、
前記ロボットの作業領域を撮影するカメラからの画像データを取得する画像情報入力手段と、
ロボット教示用の操作指令入力信号を入力する操作指令入力手段を備えると共に、
前記3次元の力情報と、前記画像データと、前記操作指令入力信号に基づき、教示の際に前記ワークを実際に撮像した画像及び前記ワーク把持部に作用する3次元の力情報の表示を同時に行う画像表示手段と、
少なくとも前記ロボットに備わったワークハンドリング用のハンド及び前記ワーク並びに前記ワークの被組付け対象物や被取り出し対象物の設計上の3次元モデルデータと前記実際に撮像した画像の位置を合わせ、前記3次元モデルデータを前記実際に撮像した画像に重ね合わせて表示することを特徴とする教示装置。 In a teaching device for teaching a robot an operation position related to a workpiece,
Force information input means for inputting three-dimensional force information received by the work gripping unit detected by the force detection unit installed in the robot;
Image information input means for acquiring image data from a camera that images the work area of the robot;
With operation command input means for inputting an operation command input signal for robot teaching,
Based on the three-dimensional force information, the image data, and the operation command input signal, an image obtained by actually capturing the workpiece at the time of teaching and display of the three-dimensional force information acting on the workpiece gripping unit are simultaneously displayed. Image display means to perform;
At least the 3D model data on the design of the workpiece handling hand and the workpiece, and the workpiece to be assembled and the workpiece to be taken out of the robot are aligned with the position of the actually captured image, A teaching apparatus for displaying dimensional model data superimposed on the actually captured image.
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を力情報入力手段に入力すると共に、
前記ロボットの作業領域を撮影するカメラからの画像データを画像情報入力手段で取得し、かつ
ロボット教示用の操作指令入力信号を操作指令入力手段に入力するようにした教示方法であって、
前記3次元の力情報と、前記画像データと、前記操作指令入力信号に基づき、教示の際に画像表示手段に前記ワークを実際に撮像した画像及び前記ワーク把持部に作用する3次元の力情報を同時に表示することを特徴とする教示方法。 In a teaching method for teaching a robot an operation position related to a workpiece,
While inputting the three-dimensional force information received by the workpiece gripping portion detected by the force detection portion installed in the robot into the force information input means,
An image data from a camera that captures the work area of the robot is acquired by an image information input unit, and an operation command input signal for teaching a robot is input to the operation command input unit,
Based on the three-dimensional force information, the image data, and the operation command input signal, an image obtained by actually capturing the workpiece on the image display means at the time of teaching, and three-dimensional force information acting on the workpiece gripping portion Are simultaneously displayed.
前記ロボットに設置された力検出部が検知するワーク把持部の受ける3次元の力情報を力情報入力手段に入力すると共に、
前記ロボットの作業領域を撮影するカメラからの画像データを画像情報入力手段で取得し、かつ
ロボット教示用の操作指令信号を操作指令入力手段に入力するようにした教示方法であって、
前記3次元力情報と、前記データと、前記操作指令入力信号に基づき、教示の際に画像表示手段に前記ワークを実際に撮像した画像及び3次元の力情報の表示を同時に行うことに加えて、
少なくとも前記ロボットに備わったワークハンドリング用のハンド及び前記ワーク並びに前記ワークの被組付け対象物や被取り出し対象物の設計上の3次元モデルデータと前記実際に撮像した画像の位置を合わせ、前記3次元モデルデータを前記実際に撮像した画像に重ね合わせることを特徴とする教示方法。
In a teaching method for teaching a robot an operation position related to a workpiece,
While inputting the three-dimensional force information received by the workpiece gripping portion detected by the force detection portion installed in the robot into the force information input means,
An image data from a camera that captures the work area of the robot is acquired by an image information input means, and an operation command signal for robot teaching is input to the operation command input means,
In addition to simultaneously displaying an image obtained by actually capturing the workpiece and three-dimensional force information on the image display means during teaching based on the three-dimensional force information, the data, and the operation command input signal. ,
At least the 3D model data on the design of the workpiece handling hand and the workpiece, and the workpiece to be assembled and the workpiece to be taken out of the robot are aligned with the position of the actually captured image, A teaching method characterized by superimposing dimensional model data on the actually captured image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008124082A JP5203037B2 (en) | 2008-05-09 | 2008-05-09 | Teaching apparatus and teaching method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008124082A JP5203037B2 (en) | 2008-05-09 | 2008-05-09 | Teaching apparatus and teaching method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009269155A true JP2009269155A (en) | 2009-11-19 |
JP5203037B2 JP5203037B2 (en) | 2013-06-05 |
Family
ID=41436150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008124082A Active JP5203037B2 (en) | 2008-05-09 | 2008-05-09 | Teaching apparatus and teaching method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5203037B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106239476A (en) * | 2015-06-08 | 2016-12-21 | 发那科株式会社 | The robot controller of robot and the display function possessing power |
CN108687748A (en) * | 2017-04-10 | 2018-10-23 | 发那科株式会社 | Robot system, processing unit with external force display function and teaching operation disk |
JP2019081242A (en) * | 2017-10-31 | 2019-05-30 | セイコーエプソン株式会社 | Simulation device, control device and robot |
JP2019093491A (en) * | 2017-11-24 | 2019-06-20 | ファナック株式会社 | Teaching device for performing teaching operation of robot and teaching method |
JP2020049558A (en) * | 2018-09-25 | 2020-04-02 | ファナック株式会社 | Article extraction system |
CN111055265A (en) * | 2018-10-17 | 2020-04-24 | 株式会社安川电机 | Robot system and robot control method |
JP2020093385A (en) * | 2020-03-19 | 2020-06-18 | ファナック株式会社 | Robot system with external force display function and processing apparatus |
JP2020116702A (en) * | 2019-01-25 | 2020-08-06 | アズビル株式会社 | Teaching device and teaching method |
US11192254B2 (en) | 2018-12-18 | 2021-12-07 | Fanuc Corporation | Robot system and adjustment method therefor |
US11613012B2 (en) | 2019-08-23 | 2023-03-28 | Fanuc Corporation | Robot controller |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101716805B1 (en) * | 2014-12-26 | 2017-03-16 | 전자부품연구원 | Robot control visualization apparatus |
CN105108763B (en) * | 2015-09-16 | 2017-02-01 | 北京雅昌文化发展有限公司 | Three-dimensional reconstructing information collecting system for article |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11338532A (en) * | 1998-05-22 | 1999-12-10 | Hitachi Ltd | Teaching device |
JP2004009209A (en) * | 2002-06-06 | 2004-01-15 | Yaskawa Electric Corp | Teaching device for robot |
JP2008093814A (en) * | 2006-10-16 | 2008-04-24 | Yamatake Corp | Operation support device and method thereof |
-
2008
- 2008-05-09 JP JP2008124082A patent/JP5203037B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11338532A (en) * | 1998-05-22 | 1999-12-10 | Hitachi Ltd | Teaching device |
JP2004009209A (en) * | 2002-06-06 | 2004-01-15 | Yaskawa Electric Corp | Teaching device for robot |
JP2008093814A (en) * | 2006-10-16 | 2008-04-24 | Yamatake Corp | Operation support device and method thereof |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106239476A (en) * | 2015-06-08 | 2016-12-21 | 发那科株式会社 | The robot controller of robot and the display function possessing power |
DE102016006704A1 (en) | 2015-06-08 | 2016-12-22 | Fanuc Corporation | Robot controller with function for displaying robot and force |
JP2017001122A (en) * | 2015-06-08 | 2017-01-05 | ファナック株式会社 | Robot and robot control device with force display function |
US9889561B2 (en) | 2015-06-08 | 2018-02-13 | Fanuc Corporation | Robot controller having function for displaying robot and force |
DE102016006704B4 (en) * | 2015-06-08 | 2021-02-11 | Fanuc Corporation | Robot controller with a function to display robot and force |
US10810770B2 (en) | 2017-04-10 | 2020-10-20 | Fanuc Corporation | Robot system, processing device and teach pendant, having external force displaying function |
CN108687748A (en) * | 2017-04-10 | 2018-10-23 | 发那科株式会社 | Robot system, processing unit with external force display function and teaching operation disk |
JP2018176331A (en) * | 2017-04-10 | 2018-11-15 | ファナック株式会社 | Robot system with external display function, processor and teaching operation panel |
JP2019081242A (en) * | 2017-10-31 | 2019-05-30 | セイコーエプソン株式会社 | Simulation device, control device and robot |
JP7155664B2 (en) | 2017-10-31 | 2022-10-19 | セイコーエプソン株式会社 | Simulation equipment, controllers and robots |
JP2019093491A (en) * | 2017-11-24 | 2019-06-20 | ファナック株式会社 | Teaching device for performing teaching operation of robot and teaching method |
US11173601B2 (en) | 2017-11-24 | 2021-11-16 | Fanuc Corporation | Teaching device for performing robot teaching operations and teaching method |
JP2020049558A (en) * | 2018-09-25 | 2020-04-02 | ファナック株式会社 | Article extraction system |
CN111055265A (en) * | 2018-10-17 | 2020-04-24 | 株式会社安川电机 | Robot system and robot control method |
CN111055265B (en) * | 2018-10-17 | 2023-03-21 | 株式会社安川电机 | Robot system and robot control method |
US11192254B2 (en) | 2018-12-18 | 2021-12-07 | Fanuc Corporation | Robot system and adjustment method therefor |
JP2020116702A (en) * | 2019-01-25 | 2020-08-06 | アズビル株式会社 | Teaching device and teaching method |
US11613012B2 (en) | 2019-08-23 | 2023-03-28 | Fanuc Corporation | Robot controller |
JP2020093385A (en) * | 2020-03-19 | 2020-06-18 | ファナック株式会社 | Robot system with external force display function and processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5203037B2 (en) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5203037B2 (en) | Teaching apparatus and teaching method | |
CN105666505B (en) | Robot system having display for augmented reality | |
US8666141B2 (en) | Robot system, robot control device and method for controlling robot | |
JP4167954B2 (en) | Robot and robot moving method | |
JP6361213B2 (en) | Robot control apparatus, robot, robot system, teaching method, and program | |
WO2020090809A1 (en) | External input device, robot system, control method for robot system, control program, and recording medium | |
JP5471355B2 (en) | 3D visual sensor | |
JP2009269110A (en) | Assembly equipment | |
KR20040103382A (en) | Robot system | |
KR102121973B1 (en) | Robot, control device of robot and method of teaching the position of robot | |
JP2018167334A (en) | Teaching device and teaching method | |
CN116157837A (en) | Calibration method and device for robot | |
JP2019025578A (en) | Control device, robot system, and control method | |
JP2014184543A (en) | Robot control device, robot system, robot, robot control method and robot control program | |
CN115803155A (en) | Programming device | |
JP2008168372A (en) | Robot device and shape recognition method | |
JP2014151377A (en) | Robot control method, robot control device, robot system, robot, and program | |
JP5556552B2 (en) | Robot control device, robot, and teaching method of robot control device | |
JP2011104759A (en) | Teaching auxiliary tool for robot control system, teaching method using the teaching auxiliary tool, and robot control system performing teaching by the teaching method | |
CN117881507A (en) | Instruction value generation device, method, and program | |
JP2011083883A (en) | Robot device | |
CN112566758A (en) | Robot control device, robot control method, and robot control program | |
JP2018043300A (en) | Remote control system for working robot | |
CN116630733A (en) | Apparatus and method for training machine learning model to generate descriptor images | |
JP2020112470A (en) | Tip member position estimating method, tip member holding method, tip member connecting method, tip member position estimating system and tip member holding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5203037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |