JP5803119B2 - ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 - Google Patents
ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 Download PDFInfo
- Publication number
- JP5803119B2 JP5803119B2 JP2011021877A JP2011021877A JP5803119B2 JP 5803119 B2 JP5803119 B2 JP 5803119B2 JP 2011021877 A JP2011021877 A JP 2011021877A JP 2011021877 A JP2011021877 A JP 2011021877A JP 5803119 B2 JP5803119 B2 JP 5803119B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- target
- image data
- goal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
ところで、近年、電子機器のますますの小型化、精密化に伴って、電子機器には精密部品が多数使用されている。組立ロボットが、そのような精密部品の取付け作業を行うためには、極めて高精度な位置決めを行う必要がある。
ここで、物体に設けられるターゲット領域が微少である場合、このターゲット領域を含むマーカー領域は、微少なターゲット領域よりも広い領域である。よって、マーカー検出部は、比較的広い領域であるマーカー領域の検出精度を比較的低くしてもよく、そうすることによって検出処理にかかる負荷を軽くして高速処理を実現することができる。一方、ターゲット検出部は、検出対象が微少なターゲット領域であることによって狭く、高い検出精度で処理する。しかし、検出対象領域をマーカー領域内に限定することにより、検出処理にかかる負荷はさほど重くならない。よって、全体として、ロボット装置は、物体の位置を高速に且つ高精度に検出することができる。
この構成によれば、ロボット装置は、サブピクセルレベルの精度で、物体のターゲット領域内の超微細な基準位置を検出することができる。そして、ロボット装置は、サブピクセルレベルの精度で位置合わせを行い、全体として高速に且つ高精度に物体をゴール位置に移動させることができる。
ここで、ロボット本体は、例えば6軸等の垂直多関節ロボットである。そして、マーカー領域を円周の曲線により区分される領域とすることにより、マーカー領域が画像の面内で回転した場合でも、正確に識別することができる。
ここで、ロボット本体は、例えば並進移動のみを行う直交ロボットである。このように並進移動のみの場合、マーカー領域が画像の面内で回転することを考慮する必要はなく、マーカー領域を、多角形の線により区分される領域、例えば四角形の枠による領域としてもよい。
ここで、オブジェクトに設けられるターゲット領域が微少である場合、このターゲット領域を含むマーカー領域は、微少なターゲット領域よりも広い領域である。よって、マーカー検出部は、比較的広い領域であるマーカー領域の検出精度を比較的低くしてもよく、そうすることによって検出処理にかかる負荷を軽くして高速処理を実現することができる。一方、ターゲット検出部は、検出対象が微少なターゲット領域であることによって狭く、高い検出精度で処理する。しかし、検出対象領域をマーカー領域内に限定することにより、検出処理にかかる負荷はさほど重くならない。よって、全体として、位置検出装置は、オブジェクトの位置を高速に且つ高精度に検出することができる。
[第1の実施の形態]
図1は、本発明の第1実施形態であるロボット装置の機能構成を表すブロック図である。このロボット装置は、ビジュアルフィードバック制御によって部品を目標位置まで搬送し、アセンブリ部品の組立作業を行う装置である。本実施形態における部品は、小型電子機器や精密機器等に組み込まれるアセンブリ部品を構成する精密部品である。
同図に示すように、ロボット装置1は、ロボット本体10と、撮像装置(撮像部)20と、位置検出装置30と、ロボット制御装置(ロボット制御部)50とを備える。
なお、同図では、位置検出装置30およびロボット制御装置50の図示を省略している。また、同図における部品や構造等の縮尺は、図を明りょうなものとするために実際のものとは異なる(後述する図3および図4についても同様)。
なお、ロボット本体10の自由度は6軸によるものに限られない。また、支持台10aは、壁や天井等、地面に対して固定された場所に設置してもよい。
図2に示す組立製造ラインでは、ロボット装置1は、アセンブリ部品の軸210が部品220(平歯車)の軸穴に貫通するように、部品220をアセンブリ部品に取り付ける作業を行うものである。
撮像装置20の撮影に際しては、コンベヤー100は、配列した複数のアセンブリ部品それぞれについて、軸210が撮像装置20の略直下、すなわち、レンズ光学系の光軸と軸210とが略一致する位置で可動載置台の動作を停止させる。撮像装置20は、可動載置台の動作が停止しているときに、位置検出装置30から供給される撮像要求コマンドにしたがってアセンブリ部品と部品220とを被写体として撮像し、この撮像により得られた画像データを位置検出装置30に供給する。
粗検出モードは、部品220に設けたマーカーの領域(以下、単にマーカーともいう。)を検出対象物とし、位置検出装置30がそのマーカーを検出して、目標位置である軸210の軸中心を含む位置(マーカーゴール位置)にマーカーを移動させるよう制御する処理のモードである。
また、微細検出モードは、部品220に設けられた位置合わせの基準の部位であるターゲット(例えば平歯車の軸穴)の領域(以下、単にターゲットともいう。)を検出対象物とし、位置検出装置30がマーカーの領域内においてそのターゲットを検出して、目標位置である軸210の軸中心の位置(ターゲットゴール位置)にターゲットの基準位置(平歯車の軸穴の中心位置)を移動させるよう制御する処理のモードである。
テンプレートマッチングは、公知のオブジェクト検出方式の一つであり、例えば、検索対象画像をテンプレート画像で走査して、両画像の輝度差の絶対値の総和、または輝度差の二乗和を計算することによって類似度を求め、この類似度にしたがってオブジェクトを検出する。
また、位置検出装置30は、ロボット制御装置50から供給されるロボット制御ステータスを取り込むと、このロボット制御ステータスの内容に応じて撮像装置20に撮像要求コマンドを供給する。
マーカー222は、例えば、同図に示すような円周の曲線であり、その円周の内側にターゲットである軸穴221が入るように設けられる。ただし、マーカー222の円の中心点は、軸穴221の中心点に必ずしも一致しなくてよい。
マーカー222を円周の曲線とすることにより、被写体が画像の面内で回転した場合でも、正確に識別することができる。
図6は、ロボット装置1の処理手順を表すフローチャートである。図2に示した工場の組立製造ラインにおいて、コンベヤー100が、可動載置台に配列した複数のアセンブリ部品のうち、組立対象であるアセンブリ部品の軸210が撮像装置20の略直下、すなわち、レンズ光学系の光軸と軸210とが略一致する位置で可動載置台の動作を停止させ、位置検出装置30が粗検出モードに設定された後、図6のフローチャートの処理が実行される。
図7は、本発明の第2実施形態であるロボット装置における位置検出装置の機能構成を表すブロック図である。なお、上述した第1実施形態と同一の構成については、同一の符号を付してその説明を省略する。
同図において、位置検出装置30aは、第1実施形態における位置検出装置30に対して、ターゲット検出部(サブピクセル検出部)40と、ターゲット位置調整部41とが新たに追加された構成を有する。
サブピクセル推定検出モードは、画素(ピクセル)サイズ未満の距離の精度でターゲットの位置を検出して、目標位置である軸210の軸中心の位置(ターゲットゴール位置)にターゲットの基準位置(平歯車の軸穴の中心位置)を移動させるよう制御する処理のモードである。
図8は、ロボット装置1の処理手順を表すフローチャートである。同図において、ステップS1からステップS10までの処理は、第1実施形態における処理と同一であるため、その説明を省略する。
同図(a)は、円周の曲線を二重に設けたマーカーである。このマーカーによれば、単一の円周の曲線によるマーカーに比べて、テンプレートマッチング処理におけるマーカーの誤検出率を低減することができる。
同図(b)は、円周の曲線を破線としたマーカーである。このように、マーカーの線は必ずしも閉ループである必要はなく、マーカー検出部33が、線分が無い区間を補完してマーカー内外の領域を区分すればよい。
同図(c)は、単一の四角形の枠をマーカーとしたものである。ロボット本体10が、直交ロボットのような並進移動のみを行うロボット装置である場合は、マーカー222が画像の面内で回転することを考慮する必要はない。なお、マーカー222は、四角形の枠に限らず多角形の枠であってもよい。
同図(d)は、二つの四角形の枠を変位させて重ね合わせたマーカーである。このマーカーによれば、単一の四角形の枠によるマーカーに比べて、テンプレートマッチング処理におけるマーカーの誤検出率を低減することができる。
10 ロボット本体
10a 支持台
10b アーム部
10c ハンド部
10d 把持部
20 撮像装置(撮像部)
30,30a 位置検出装置
31 画像データ取得部
32 マーカーゴール画像記憶部
33 マーカー検出部
35 マーカー位置調整部
36 ターゲットゴール画像記憶部
37 ターゲット検出部
40 ターゲット検出部(サブピクセル検出部)
39,41 ターゲット位置調整部
50 ロボット制御装置(ロボット制御部)
Claims (7)
- 位置合わせの基準位置を含むターゲット領域と前記ターゲット領域を含むマーカー領域とを設けた物体を、ゴール位置まで搬送可能に保持するロボット本体と、
前記ゴール位置と前記物体とを視野に含めて撮像する撮像部と、
前記マーカー領域が前記ゴール位置を含むよう前記物体を配置した状態の画像であるマーカーゴール画像データを記憶するマーカーゴール画像記憶部と、
前記基準位置が前記ゴール位置に一致する位置に、前記物体を配置した状態の画像であるターゲットゴール画像データを記憶するターゲットゴール画像記憶部と、
前記マーカーゴール画像記憶部に記憶された前記マーカーゴール画像データを用いて、前記撮像部から取得する画像データから前記画像データにおけるマーカー領域を検出し、前記画像データにおけるマーカー領域と前記マーカーゴール画像データにおけるマーカー領域との位置のずれを検出するマーカー検出部と、
前記ターゲットゴール画像記憶部に記憶された前記ターゲットゴール画像データを用いて、前記マーカー検出部が検出した前記画像データにおけるマーカー領域内から、前記ゴール位置に対する前記基準位置のずれを検出するターゲット検出部と、
前記マーカー検出部が検出した前記位置のずれと前記ターゲット検出部が検出した前記ゴール位置に対する前記基準位置のずれとをなくす位置に、前記物体を搬送するよう前記ロボット本体を制御するロボット制御部と、
を備えることを特徴とするロボット装置。 - 前記ターゲットゴール画像記憶部に記憶された前記ターゲットゴール画像データを用いて、前記ターゲット検出部が検出した前記ターゲット領域内の前記基準位置と、前記ゴール位置に対する前記ターゲット領域内の前記基準位置とのずれをサブピクセル推定処理によって検出するサブピクセル検出部をさらに備え、
前記ロボット制御部は、前記サブピクセル検出部が検出した前記ターゲット領域内の前記基準位置のずれをなくす位置に、前記物体を搬送するよう前記ロボット本体を制御する
ことを特徴とする請求項1記載のロボット装置。 - 前記ロボット本体は、可動のアーム部と前記アーム部に連結される可動のハンド部とを備えるとともに、前記ハンド部に前記撮像部が設けられており、
前記マーカー領域は、円周の曲線により区分される領域であることを特徴とする請求項1または2記載のロボット装置。 - 前記ロボット本体は、並進可動に前記撮像部を設けたものであり、
前記マーカー領域は、多角形の線により区分される領域であることを特徴とする請求項1または2記載のロボット装置。 - オブジェクトに含まれるマーカー領域がゴール位置を含むよう前記オブジェクトを配置した状態の画像であるマーカーゴール画像データを記憶するマーカーゴール画像記憶部と、
前記マーカー領域に含まれるターゲット領域内の基準位置が前記ゴール位置に一致する位置に、前記オブジェクトを配置した状態の画像であるターゲットゴール画像データを記憶するターゲットゴール画像記憶部と、
前記ターゲット領域と前記マーカー領域とを有する前記オブジェクトを含む画像データを取得する画像データ取得部と、
前記マーカーゴール画像記憶部に記憶された前記マーカーゴール画像データを用いて、前記画像データ取得部が取得した画像データから前記画像データにおけるマーカー領域を検出するマーカー検出部と、
前記ターゲットゴール画像記憶部に記憶された前記ターゲットゴール画像データを用いて、前記マーカー検出部が検出した前記画像データにおけるマーカー領域内から前記ターゲット領域を検出するターゲット検出部と、
を備えることを特徴とする位置検出装置。 - オブジェクトに含まれるマーカー領域がゴール位置を含むよう前記オブジェクトを配置した状態の画像であるマーカーゴール画像データを記憶するマーカーゴール画像記憶部と、前記マーカー領域に含まれるターゲット領域内の基準位置が前記ゴール位置に一致する位置に、前記オブジェクトを配置した状態の画像であるターゲットゴール画像データを記憶するターゲットゴール画像記憶部とを備えるコンピューターを、
前記ターゲット領域と前記マーカー領域とを有する前記オブジェクトを含む画像データを取得する画像データ取得部と、
前記マーカーゴール画像記憶部に記憶された前記マーカーゴール画像データを用いて、前記画像データ取得部が取得した画像データから前記画像データにおけるマーカー領域を検出するマーカー検出部と、
前記ターゲットゴール画像記憶部に記憶された前記ターゲットゴール画像データを用いて、前記マーカー検出部が検出した前記画像データにおけるマーカー領域内から前記ターゲット領域を検出するターゲット検出部と、
として機能させるための位置検出プログラム。 - 画像データ取得部が、位置合わせの基準位置を含むターゲット領域と前記ターゲット領域を含むマーカー領域とを有するオブジェクトを含む画像データを取得する画像データ取得ステップと、
マーカー検出部が、前記オブジェクトに含まれる前記マーカー領域がゴール位置を含むよう前記オブジェクトを配置した状態の画像であるマーカーゴール画像データを記憶するマーカーゴール画像記憶部から読み込む前記マーカーゴール画像データを用いて、前記画像データ取得部が取得した画像データから前記画像データにおける前記マーカー領域を検出するマーカー検出ステップと、
ターゲット検出部が、前記マーカー領域に含まれる前記ターゲット領域内の前記基準位置が前記ゴール位置に一致する位置に、前記オブジェクトを配置した状態の画像であるターゲットゴール画像データを記憶するターゲットゴール画像記憶部から読み込む前記ターゲットゴール画像データを用いて、前記マーカー検出部が検出した前記画像データにおけるマーカー領域内から前記ターゲット領域を検出するターゲット検出ステップと、
を有することを特徴とする位置検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011021877A JP5803119B2 (ja) | 2011-02-03 | 2011-02-03 | ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011021877A JP5803119B2 (ja) | 2011-02-03 | 2011-02-03 | ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015173103A Division JP2015214022A (ja) | 2015-09-02 | 2015-09-02 | ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012161850A JP2012161850A (ja) | 2012-08-30 |
JP5803119B2 true JP5803119B2 (ja) | 2015-11-04 |
Family
ID=46841796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011021877A Expired - Fee Related JP5803119B2 (ja) | 2011-02-03 | 2011-02-03 | ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5803119B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11257177B2 (en) | 2019-03-14 | 2022-02-22 | Kabushiki Kaisha Toshiba | Moving object action registration apparatus, moving object action registration system, and moving object action determination apparatus |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014144516A (ja) * | 2013-01-30 | 2014-08-14 | Seiko Epson Corp | ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム |
JP2014144515A (ja) * | 2013-01-30 | 2014-08-14 | Seiko Epson Corp | ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム |
JP6390088B2 (ja) * | 2013-10-31 | 2018-09-19 | セイコーエプソン株式会社 | ロボット制御システム、ロボット、プログラム及びロボット制御方法 |
JP6326765B2 (ja) * | 2013-11-06 | 2018-05-23 | セイコーエプソン株式会社 | 教示装置、ロボット、ロボットシステム、方法、及びプログラム |
CN110425978A (zh) * | 2019-07-31 | 2019-11-08 | 合肥康普曼数字技术有限公司 | 一种电池托盘的质量检测***及其方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2897890B2 (ja) * | 1990-03-30 | 1999-05-31 | 株式会社日立製作所 | 印刷精度計測方法およびその装置 |
JP5550253B2 (ja) * | 2009-04-22 | 2014-07-16 | キヤノン株式会社 | マーク位置検出装置及びマーク位置検出方法、それを用いた露光装置及びデバイスの製造方法 |
-
2011
- 2011-02-03 JP JP2011021877A patent/JP5803119B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11257177B2 (en) | 2019-03-14 | 2022-02-22 | Kabushiki Kaisha Toshiba | Moving object action registration apparatus, moving object action registration system, and moving object action determination apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2012161850A (ja) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111482959B (zh) | 机器人运动视觉***的自动手眼标定***与方法 | |
JP5803124B2 (ja) | ロボット、位置検出装置、位置検出プログラム、および位置検出方法 | |
JP5803119B2 (ja) | ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 | |
CN111452040B (zh) | 在引导装配环境中将机器视觉坐标空间关联的***和方法 | |
CN106182004B (zh) | 基于视觉引导的工业机器人自动销孔装配的方法 | |
JP6427972B2 (ja) | ロボット、ロボットシステム及び制御装置 | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
KR102062423B1 (ko) | 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템 | |
EP3407088A1 (en) | Systems and methods for tracking location of movable target object | |
US12002240B2 (en) | Vision system for a robotic machine | |
JP2012254518A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
JP2015214022A (ja) | ロボット | |
US20220092330A1 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
CN112529856A (zh) | 确定操作对象位置的方法、机器人和自动化*** | |
CN107756391B (zh) | 机械手臂校正***的校正方法 | |
EP3602214B1 (en) | Method and apparatus for estimating system error of commissioning tool of industrial robot | |
JP2013173191A (ja) | ロボット装置、ロボット制御装置、ロボット制御方法及びロボット制御プログラム | |
CN112238453A (zh) | 视觉导引机器手臂校正方法 | |
CN113302027B (zh) | 作业坐标生成装置 | |
JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
TWI617405B (zh) | Correction method for robot arm correction system | |
JP2010214546A (ja) | 組立装置および組立方法 | |
CN115397634A (zh) | 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人***、方法以及计算机程序 | |
Xu et al. | Intelligent Operation of Robot for Handling and Assembly Based on Vision Guidance | |
TW201923498A (zh) | 自走設備的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5803119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |