JP5098846B2 - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP5098846B2 JP5098846B2 JP2008163406A JP2008163406A JP5098846B2 JP 5098846 B2 JP5098846 B2 JP 5098846B2 JP 2008163406 A JP2008163406 A JP 2008163406A JP 2008163406 A JP2008163406 A JP 2008163406A JP 5098846 B2 JP5098846 B2 JP 5098846B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- marker
- component
- display
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
Description
通常、ロボットに保持された部品の撮像と同時に、その時のロボット位置を把握するためにロボット位置を記憶し、撮像された部品の位置および姿勢と記憶されたロボット位置とに基づき、ロボットが保持した部品の位置および姿勢を把握する。
しかし、撮像とロボット位置の記憶とに微小な時間的ズレが生じるため、ロボットが保持した部品の位置および姿勢が、現実とロボットシステムの認識とでズレが生ずることとなる。このズレにより、ロボットシステムが把握するロボットが保持した部品の位置および姿勢と、現実のロボットが保持した部品の位置および姿勢とにズレが生じ、精密な組立作業を実施する場合に組立作業ができない等の問題が生ずることがあった。
上記問題の解決手段として、特許文献1に記載されているように、位置が既知であるマーカをロボットに固定し、部品を保持した後にマーカと部品が一つの画像内に収まるように撮像装置で撮像し、その画像のマーカを基準として保持された部品の位置および姿勢を把握し、ロボットの動作指令を補正して組立作業を行う技術が知られている。
近年、多品種少量生産に適したセル生産方式の自動組立ラインの構築が要求されている。セル生産方式では1つのロボットシステムで複数の部品の組立を行う必要がある。そのため、特許文献1の技術をそのままセル生産方式のロボットシステムに利用しようとすると、マーカを部品毎に設けることとなる。
このように複数のマーカを有する場合には、ロボットが保持した一の部品の位置および姿勢を把握するために撮像した画像に、本来不用であるマーカが含まれることとなる。この不用であるマーカが画像処理を行うときにノイズとなり、部品の位置および姿勢の把握精度が悪化することがある。
さらに、複数のマーカが固定されている場合には、マーカと部品が同一画像内に写るようにするため、部品によってロボットの移動軌道や撮像装置の配置位置の変更を要する場合があり、部品を変えたときの設定に時間を要することがあった。
また、セル生産方式のロボットシステムにおいては、例えば部品の供給装置や組立治具なども複数の部品で共有することが望まれ、当然にマーカにおいても複数の部品で共有することが求められる。
さらに、照明なども部品の種類毎に異なる照明装置を用いることが要求されることもある。
そこで、本発明は上記課題に鑑みてなされたもので、ロボットにて製品の組立を自動的に行うロボットシステムにおいて、部品をロボットで保持した時の部品の位置および姿勢のズレを画像処理により把握する際に利用するマーカを、部品毎に最適な形状や色とし、多種類の部品の組立精度を向上することを目的とする。
請求項2に係る発明は、請求項1のロボットシステムにおいて、前記マーカ表示部は、前記表示機に部品毎に設定されたマーカを表示させることを特徴とする。
請求項3に係る発明は、請求項1または2に記載のロボットシステムにおいて、前記マーカ表示部は、前記表示機に任意の形状および色のマーカを表示させることを特徴とする。
複数の部品を取り扱う場合でも、ロボットが保持している部品のマーカのみを表示することができるため、ノイズとなる不用なマーカがない画像を用いて画像処理が可能となり、保持された部品の位置および姿勢の把握精度が高くなり、組立精度の向上が実現される。
さらに、表示機に表示するマーカを任意の位置に表示できるので、全ての部品においてロボットの移動軌道や撮像装置の配置位置を共通化しておき、マーカと部品が同一画像内に写るようにマーカを表示する位置を変えることで、部品による設定の変更等の手間を少なくすることができる。
図1はロボットシステム全体のシステム構成の概略図である。
図2はロボットシステム全体のブロック図である。
本発明に係るロボットシステムは、ロボット20、ロボットに固定された表示機10、撮像装置30、これらを制御する制御装置40から構成されている。ロボット20のアーム先端には部品1を保持する機能を有している。例えば、負圧により部品を吸着保持する吸着保持部を有することにより、部品1の保持機能を実現できる。
制御装置40は、マーカ表示部41と部品姿勢演算部42と補正部43とロボット制御部44より構成されている。
マーカ表示部41は、表示機10に表示させるマーカを指令するとともに、部品毎に表示すべきマーカを記憶している。
部品姿勢演算部42は、撮像装置30からの画像データとマーカ表示部からのマーカ情報とに基づき画像処理にて部品とマーカとの位置および姿勢の相対関係を演算し、予め記憶された部品とマーカとの正規の位置および姿勢の相対関係である基準情報と比較し、保持された部品の位置および姿勢のズレを演算する。
補正部43は、部品姿勢演算部42から受け取った保持された部品の位置および姿勢のズレ情報に基づき、部品を正しい組立位置に移動させるためのロボットへの動作指令の補正量を演算する。
なお図示していないが、制御装置40は、CPU、メモリ、入出力部(I/O)、インターフェース部(I/F)、記憶装置等により構成され、予め記憶装置等に記憶されたプログラムがCPUにて実行されることで、上記各機能が実現される。
次に、動作について、フローチャートに基づき説明する。
まず、マーカの設定動作について,図4のマーカの設定動作に関するフローチャートを用いて説明する。
S11にて、ロボット20に部品1を位置および姿勢のズレが無い状態で保持させ、部品1を撮像装置30にて撮像できる位置までロボット20を動作させる。
S12にて、マーカ表示部41より表示機10を部品1の色や材質等に合わせた色や明るさで表示させる。具体的には、画像処理において部品1の形状を把握しやすい色や明るさで表示機を表示させる。例えば部品1が黒色である場合には白色を表示させ、部品1が赤色である場合には青色を表示する等、部品に合わせて色を変えることができる。
S13にて、部品1と表示機10とが包含される一の画像を撮像装置30で撮像し取得する。
S14にて、S13で撮影した前記画像を画像処理して部品の形状を把握し、後述する部品とマーカとの位置および姿勢の相対関係を把握するための部品の認識基準を決定する。ここで、認識基準とは、頂点、中心点、重心、輪郭線など部品形状の特徴を表す要素であり、かつ、部品の位置および姿勢を表現できる要素のことである。なお、認識基準は画像処理により最も精度よく検出できる画像要素であることが望ましく、これらを複数組み合せたものであってもよい。
認識基準の決定方法は、S13で撮像した画像を画像処理し、いくつかの候補を制御装置40のインターフェースを用いて表示し、人がその中から選択して決定するようにしても良いし、公知の技術を用いて自動で決定してもよい。例えば、自動で決定する方法として、部品形状の重心と一の輪郭線を認識基準として自動に決定することができる。部品形状の重心位置の移動により部品の位置のズレが把握でき、一の輪郭線の回転角度により相対的な部品姿勢のズレが把握できるからである。
マーカの設定は、制御装置40のインターフェースを利用して部品の画像を表示するとともに、人が任意の形状、色、位置にマーカを制御装置40のインターフェース(I/F)を利用して設定することができる。また、公知の技術を用いて自動で決定することもできる。例えば、S14にて認識している部品の輪郭線から、予め設定されている距離だけ離れた位置に輪郭線と平行となるようにマーカを配置することにより自動で設定することができる。
S16にて、S15で設定されたマーカを表示し、マーカおよび部品の画像を撮像装置30にて撮像し、位置および姿勢のズレが無い状態の部品とマーカとの位置および姿勢の相対関係を基準情報として部品姿勢演算部42に記憶させる。
図3は、表示機10の表示面に垂直な方向から見た、マーカ設定時の表示機および部品を示した図である。図3において、1は部品、10は表示機、11はマーカを表している。なお、12は部品1の形状を画像処理で認識しやすくするための背景部である。
次に、組立作業時おける動作について,図5の組立作業に関するフローチャートを用いて説明する。
S21にて、ロボット20は図1に図示しない部品供給部にて部品1を把持する。この時、ロボット20は部品1を常に同じ位置および姿勢で保持できないため、ロボットに保持された部品1は位置および姿勢のズレが生じる。
S22にて、マーカ表示部41により予め設定された保持した部品用のマーカを表示機に表示させる。図6は、表示機10の表示面に垂直な方向から見た、部品1と表示機10の状態を具体的に示した図である。なお、部品1の位置および姿勢が異なるが、表示機10、マーカ11、背景12は、図3と同一である。
S23にて、部品を撮像位置に移動させ、撮像装置30により表示機10と部品1とが含まれる画像を撮像する。
S24にて、部品姿勢演算部42でマーカ11の画像内における位置および姿勢を画像処理により計測し、次いで部品1の位置および姿勢を画像処理により計測し、マーカ11と部品1との位置および姿勢の相対関係を計算する。次に、前記相対関係と予め記憶されている基準情報との差異を演算し、ロボット20による部品保持の位置ズレ量と姿勢ズレ量を算出する。
S25にて、S24で求めたロボット20による部品保持の位置ズレ量と姿勢ズレ量に基づき、ロボット動作指令に対する補正量を演算する。具体的には、ロボット20をそのまま動作させると部品1が組立作業に不適切な位置および姿勢で搬送されるため、部品1を保持した位置および姿勢のズレ量に基づき、ロボット20の搬送位置および搬送姿勢の補正量を求めることとなる。
S26にて、S25で求めた補正量をロボット制御部44に指令する。S27にて、ロボット20はロボット制御部44から与えられた補正後の目標位置および目標姿勢に基づき、組立作業に適切な位置に部品を搬送することとなる。
上記S21からS27を組立部品毎に実行することで、複数の部品による組立作業においても、精度良くロボットを使用した部品の組立作業が可能となる。
マーカ11のその他の実施例を図7から図12に示す。
図9,10はマーカ11を点とした具体例である。なお、点は十字である必要はなく、円であっても良い。さらに、マーカ11を3点以上としてもよい。
図11はマーカ11を点と直線とした具体例である。なお、複数の点と複数の直線との組み合せとしても良い。
図12はマーカ11を部品の外形形状の相似形状とした具体例である。部品の外形形状を画像処理で把握できれば、容易に自動でマーカ形状を決定できる利点がある。
20 ロボット
30 撮像装置
40 制御装置
41 マーカ表示部
42 部品姿勢演算部
43 補正部
44 ロボット制御部
Claims (3)
- 部品を搬送するロボットと、
前記部品と前記ロボットのアーム先端を撮像する撮像装置と、
前記ロボットと前記撮像装置を制御する制御装置と、から構成され、
前記ロボットは、カラー画像を表示する表示機をロボットのアーム先端に備え、
前記制御装置は、
前記表示機にマーカを表示させるマーカ表示部と、
前記撮像装置で撮像された前記部品と前記マーカとが含まれる画像を用いて、前記マーカを基準に前記ロボットと前記部品との位置および姿勢の相対関係を求める部品姿勢演算部と、
前記位置および姿勢の相対関係に基づきロボットの動作補正量を演算する補正部と、
前記動作補正量を用いてロボットの動作を制御するロボット制御部と、
を有すること、
を特徴とするロボットシステム。 - 前記マーカ表示部は、前記表示機に部品毎に設定されたマーカを表示させることを特徴とする請求項1のロボットシステム。
- 前記マーカ表示部は、前記表示機に任意の形状および色のマーカを表示させることを特徴とする請求項1または2に記載のロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008163406A JP5098846B2 (ja) | 2008-06-23 | 2008-06-23 | ロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008163406A JP5098846B2 (ja) | 2008-06-23 | 2008-06-23 | ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010000589A JP2010000589A (ja) | 2010-01-07 |
JP5098846B2 true JP5098846B2 (ja) | 2012-12-12 |
Family
ID=41582720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008163406A Expired - Fee Related JP5098846B2 (ja) | 2008-06-23 | 2008-06-23 | ロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5098846B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190099140A (ko) * | 2018-02-16 | 2019-08-26 | 니혼 덴산 산쿄 가부시키가이샤 | 산업용 로봇의 보정값 산출 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5223683B2 (ja) * | 2009-01-05 | 2013-06-26 | 富士電機株式会社 | ワーク保持位置姿勢計測システムおよびワーク搬送システム |
JP6382918B2 (ja) * | 2016-12-02 | 2018-08-29 | ファナック株式会社 | 成形機および成形品取出し装置を備える成形システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5216804A (en) * | 1991-05-21 | 1993-06-08 | U.S. Philips Corp. | Method and device for placing a component on a printed circuit board |
JP3434004B2 (ja) * | 1994-03-17 | 2003-08-04 | 芝浦メカトロニクス株式会社 | 部品認識装置及び部品実装装置 |
JP3750170B2 (ja) * | 1995-12-28 | 2006-03-01 | ソニー株式会社 | ロータリーヘッド方式部品吸着状態確認装置 |
JP2004087941A (ja) * | 2002-08-28 | 2004-03-18 | Seiko Epson Corp | 電気光学装置の製造方法および製造装置、並びに、電子機器の製造方法および製造装置 |
JP4421281B2 (ja) * | 2003-12-12 | 2010-02-24 | ヤマハ発動機株式会社 | 部品認識方法、部品認識装置、表面実装機、部品試験装置および基板検査装置 |
-
2008
- 2008-06-23 JP JP2008163406A patent/JP5098846B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190099140A (ko) * | 2018-02-16 | 2019-08-26 | 니혼 덴산 산쿄 가부시키가이샤 | 산업용 로봇의 보정값 산출 방법 |
KR102205638B1 (ko) | 2018-02-16 | 2021-01-21 | 니혼 덴산 산쿄 가부시키가이샤 | 산업용 로봇의 보정값 산출 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2010000589A (ja) | 2010-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10232512B2 (en) | Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus | |
JP6429473B2 (ja) | ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体 | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
EP2921267A2 (en) | Robot system, calibration method in robot system, and position correcting method in robot system | |
CN109996653B (zh) | 作业位置校正方法及作业机器人 | |
US20160349741A1 (en) | Production system including robot having function for correcting position | |
WO2015079740A1 (ja) | ロボットシステムおよびロボットシステムの制御方法 | |
JP5272617B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
US11173608B2 (en) | Work robot and work position correction method | |
US11230011B2 (en) | Robot system calibration | |
US20150209963A1 (en) | Robot programming apparatus for creating robot program for capturing image of workpiece | |
TW201947078A (zh) | 自動校正針頭位置的方法及系統 | |
JP2012230041A (ja) | 位置検出方法、位置検出装置、ロボットシステム | |
JP2010122777A (ja) | ワーク識別方法およびワーク識別装置 | |
JP5098846B2 (ja) | ロボットシステム | |
JP7502003B2 (ja) | 移動機械の移動軌跡のずれを取得する装置、及び方法 | |
JP7281910B2 (ja) | ロボット制御システム | |
JP2011104759A (ja) | ロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システム | |
JP6585529B2 (ja) | 部品搭載方法および部品実装装置 | |
JP2011140084A (ja) | 制御装置、ロボット、ロボットシステム及びロボットの追従方法 | |
WO2020157875A1 (ja) | 作業座標作成装置 | |
JP2012228757A (ja) | ロボット教示方法、ロボット教示装置およびプログラム | |
US20220105641A1 (en) | Belt Conveyor Calibration Method, Robot Control Method, and Robot System | |
JP2010214546A (ja) | 組立装置および組立方法 | |
JP5223683B2 (ja) | ワーク保持位置姿勢計測システムおよびワーク搬送システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |