JP6919623B2 - 制御システム、制御方法、および制御プログラム - Google Patents
制御システム、制御方法、および制御プログラム Download PDFInfo
- Publication number
- JP6919623B2 JP6919623B2 JP2018085122A JP2018085122A JP6919623B2 JP 6919623 B2 JP6919623 B2 JP 6919623B2 JP 2018085122 A JP2018085122 A JP 2018085122A JP 2018085122 A JP2018085122 A JP 2018085122A JP 6919623 B2 JP6919623 B2 JP 6919623B2
- Authority
- JP
- Japan
- Prior art keywords
- visual sensor
- imaging
- control
- actual position
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 230000000007 visual effect Effects 0.000 claims description 149
- 238000003384 imaging method Methods 0.000 claims description 121
- 230000007246 mechanism Effects 0.000 claims description 110
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 36
- 230000015654 memory Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Manipulator (AREA)
- Control Of Position Or Direction (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
まず、図1を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に従う制御システム1の概要を示す模式図である。
図2は、制御システム1の装置構成の一例を示す図である。図2に示されるように、制御システム1は、視覚センサ50と、コントローラ200と、1つ以上のサーボドライバ300(図2の例では、サーボドライバ300X,300Y)と、移動機構400とを含む。視覚センサ50は、画像処理装置100と、1つ以上のカメラ(図2の例では、カメラ102および104)とを含む。
図3および図4を参照して、視覚センサ50を構成する画像処理装置100およびコントローラ200のハードウェア構成について順に説明する。
図3は、視覚センサ50を構成する画像処理装置100のハードウェア構成の一例を示す模式図である。図3を参照して、画像処理装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
図4は、コントローラ200のハードウェア構成を示す模式図である。図4を参照して、コントローラ200は、主制御ユニット210とを含む。図4には、3軸分のサーボモータ410X,410Y,410θが示されており、この軸数に応じた数のサーボドライバ300X,300Y,300θが設けられる。
内部バスコントローラ230は、内部バス226を介したデータの遣り取りを制御する。より具体的には、内部バスコントローラ230は、バッファメモリ236と、DMA(Dynamic Memory Access)制御回路232と、内部バス制御回路234とを含む。
上述のように、コントローラ200は、移動機構400の移動速度が所定値よりも小さいときに視覚センサ50に撮像処理を実行させることで被写体ぶれを抑制する。被写体ぶれを抑制するための方法としては、(a)視覚センサ50に撮像トリガTRを出力するタイミングを調整することと、(b)サーボドライバ300に対する移動指令MVを調整することと、(c)視覚センサ50によって計測されたワークWの実位置PVvを更新するタイミングを調整することとが挙げられる。
まず、図5および図6を参照して、上記抑制方法(a)について説明する。本例においては、コントローラ200は、移動機構400の移動速度が所定値よりも小さいときに、撮像トリガTRを視覚センサ50に出力する。
ステップS120において、プロセッサ214は、視覚センサ50が撮像可能状態であるか否かを判断する。ここでいう撮像可能状態とは、撮像指示を待っている状態のことをいう。典型的には、視覚センサ50が撮像トリガTRを受け付けてから撮像が終了するまでの時間は撮像不可能状態であり、それ以外の時間は撮像可能状態である。プロセッサ214は、視覚センサ50が撮像可能状態であると判断した場合(ステップS120においてYES)、制御をステップS130に切り替える。そうでない場合には(ステップS120においてNO)、プロセッサ214は、制御をステップS134に切り替える。
次に、図7および図8を参照して、上記抑制方法(b)について説明する。本例においては、コントローラ200は、視覚センサ50がワークWを撮像している間において移動機構400の移動速度が所定値よりも小さくなるように移動指令MVを調整する。
ステップS222において、プロセッサ214は、視覚センサ50によって計測されたワークWの実位置PVvと、エンコーダ412から得られるエンコーダ値PVmとに基づいて、現時点におけるワークWの推定位置PVを決定する。推定位置PVの決定方法の詳細については後述する。
次に、図9および図10を参照して、上記抑制方法(c)について説明する。本例においては、コントローラ200は、視覚センサ50から新たな実位置PVvが得られたときに、視覚センサ50による撮像が可能な状態になっている場合には、実位置PVvの更新よりも視覚センサ50の撮像を優先する。そして、視覚センサ50の撮像が完了したことに基づいて、現在記憶されている実位置PVvを新たな実位置PVvで更新する。通常、実位置PVvの更新直後においては、移動機構400の速度が上がる傾向にあるが、実位置PVvの更新が撮像中には止められることで、被写体ぶれが抑制される。
ステップS320において、プロセッサ214は、更新待機フラグがTRUEに設定されているか否かを判断する。更新待機フラグは、視覚センサ50によって計測された実位置PVvの更新タイミングを管理するためのフラグである。プロセッサ214は、更新待機フラグがTRUEに設定されていると判断した場合(ステップS320においてYES)、制御をステップS350に切り替える。そうでない場合には(ステップS350においてNO)、プロセッサ214は、制御をステップS330に切り替える。
位置決定部252は、たとえば、図10のフローチャートに示すような処理を行なうことで、推定位置PVを算出する。図10は、図5に示されるステップS134、図7に示されるステップS222、および図9に示されるステップS360のサブルーチンの処理内容を示すフローチャートである。
ステップS426において、位置決定部252は、算出した推定位置PVをフィードバック制御部254に出力する。また、位置決定部252は、この推定位置PVを参照推定位置PVpとし、この時刻のエンコーダ値PVmを参照エンコーダ値PVmpとして記憶する。
<F.付記>
以上のように、本実施形態は以下のような開示を含む。
対象物を移動させるための移動機構(400)と、
撮像指示を受け付けたことに基づいて前記対象物を撮像し、撮像により得られた画像から前記対象物の実位置を計測するための視覚センサ(50)と、
前記撮像指示が前記視覚センサ(50)に出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構(400)の位置に関する位置関連情報を検出するための検出部(412)と、
前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するための位置決定部(252)と、
前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構(400)に出力するフィードバック制御部(254)と、
前記移動機構(400)の移動速度が所定値よりも小さいときに前記視覚センサ(50)に前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するための調整部(256)とを備える、制御システム(1)。
前記調整部(256)は、前記視覚センサ(50)が撮像可能状態である場合において、前記位置関連情報から特定される前記移動機構(400)の移動速度が所定値よりも小さいときに、前記撮像指示を前記視覚センサ(50)に出力する、構成1に記載の制御システム(1)。
前記調整部(256)は、前記視覚センサ(50)が前記対象物を撮像している間において前記移動機構(400)の移動速度が前記所定値よりも小さくなるような移動指令を前記フィードバック制御部(254)に生成させる、構成1に記載の制御システム(1)。
前記位置決定部(252)は、前記視覚センサ(50)が撮像可能状態である場合に、前記実位置が前記視覚センサ(50)によって新たに計測されたときには、前回に計測された前記実位置と、前記位置関連情報とに基づいて、前記推定位置を決定する、構成1に記載の制御システム(1)。
前記調整部(256)は、前記視覚センサ(50)の撮像が終了したことに基づいて前回に計測された前記実位置を新たに計測された前記実位置で更新する、構成4に記載の制御システム(1)。
対象物を移動させるための移動機構(400)の制御方法であって、
撮像指示を視覚センサ(50)に出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサ(50)に計測させるステップと、
前記撮像指示が前記視覚センサ(50)に出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構(400)の位置に関する位置関連情報を検出するステップと、
前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構(400)に出力するステップと、
前記移動機構(400)の移動速度が所定値よりも小さいときに前記視覚センサ(50)に前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを備える、制御方法。
対象物を移動させるための移動機構(400)の制御プログラムであって、
前記制御プログラムは、前記移動機構(400)を制御するためのコントローラに、
撮像指示を視覚センサ(50)に出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサ(50)に計測させるステップと、
前記撮像指示が前記視覚センサ(50)に出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構(400)の位置に関する位置関連情報を検出するステップと、
前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構(400)に出力するステップと、
前記移動機構(400)の移動速度が所定値よりも小さいときに前記視覚センサ(50)に前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを実行させる、制御プログラム。
Claims (7)
- 対象物を移動させるための移動機構と、
撮像指示を受け付けたことに基づいて前記対象物を撮像し、撮像により得られた画像から前記対象物の実位置を計測するための視覚センサと、
前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構の位置に関する位置関連情報を検出するための検出部と、
前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するための位置決定部と、
前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構に出力するフィードバック制御部と、
前記移動機構の移動速度が所定値よりも小さいときに前記視覚センサに前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するための調整部とを備える、制御システム。 - 前記調整部は、前記視覚センサが撮像可能状態である場合において、前記位置関連情報から特定される前記移動機構の移動速度が所定値よりも小さいときに、前記撮像指示を前記視覚センサに出力する、請求項1に記載の制御システム。
- 前記調整部は、前記視覚センサが前記対象物を撮像している間において前記移動機構の移動速度が前記所定値よりも小さくなるような移動指令を前記フィードバック制御部に生成させる、請求項1に記載の制御システム。
- 前記位置決定部は、前記視覚センサが撮像可能状態である場合に、前記実位置が前記視覚センサによって新たに計測されたときには、前回に計測された前記実位置と、前記位置関連情報とに基づいて、前記推定位置を決定する、請求項1に記載の制御システム。
- 前記調整部は、前記視覚センサの撮像が終了したことに基づいて前回に計測された前記実位置を新たに計測された前記実位置で更新する、請求項4に記載の制御システム。
- 対象物を移動させるための移動機構の制御方法であって、
撮像指示を視覚センサに出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構の位置に関する位置関連情報を検出するステップと、
前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構に出力するステップと、
前記移動機構の移動速度が所定値よりも小さいときに前記視覚センサに前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを備える、制御方法。 - 対象物を移動させるための移動機構の制御プログラムであって、
前記制御プログラムは、前記移動機構を制御するためのコントローラに、
撮像指示を視覚センサに出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに前記移動機構の位置に関する位置関連情報を検出するステップと、
前記実位置と前記位置関連情報とに基づいて、現時点における前記対象物の推定位置を前記制御周期ごとに決定するステップと、
前記推定位置を前記対象物の目標位置に合わせるための移動指令を前記制御周期ごとに前記移動機構に出力するステップと、
前記移動機構の移動速度が所定値よりも小さいときに前記視覚センサに前記対象物を撮像させるために、前記撮像指示の出力タイミングと、前記移動指令と、前記実位置の更新タイミングとの少なくとも1つを調整するステップとを実行させる、制御プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085122A JP6919623B2 (ja) | 2018-04-26 | 2018-04-26 | 制御システム、制御方法、および制御プログラム |
CN201980018674.5A CN111902785B (zh) | 2018-04-26 | 2019-03-29 | 控制***、控制方法以及计算机可读存储介质 |
KR1020207026081A KR102613860B1 (ko) | 2018-04-26 | 2019-03-29 | 제어 시스템, 제어 방법 및 컴퓨터 판독 가능한 기억 매체 |
PCT/JP2019/014125 WO2019208107A1 (ja) | 2018-04-26 | 2019-03-29 | 制御システム、制御方法、および制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085122A JP6919623B2 (ja) | 2018-04-26 | 2018-04-26 | 制御システム、制御方法、および制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019188550A JP2019188550A (ja) | 2019-10-31 |
JP6919623B2 true JP6919623B2 (ja) | 2021-08-18 |
Family
ID=68295197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018085122A Active JP6919623B2 (ja) | 2018-04-26 | 2018-04-26 | 制御システム、制御方法、および制御プログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6919623B2 (ja) |
KR (1) | KR102613860B1 (ja) |
CN (1) | CN111902785B (ja) |
WO (1) | WO2019208107A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7059968B2 (ja) * | 2019-03-01 | 2022-04-26 | オムロン株式会社 | 制御装置および位置合わせ装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7499584B2 (en) * | 2004-10-21 | 2009-03-03 | Mitutoyo Corporation | Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection |
JP4991887B2 (ja) * | 2010-01-13 | 2012-08-01 | シャープ株式会社 | 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体 |
JP5621265B2 (ja) * | 2010-01-27 | 2014-11-12 | カシオ計算機株式会社 | 手ぶれ補正装置、撮像処理方法及びプログラム |
JP5834545B2 (ja) * | 2011-07-01 | 2015-12-24 | セイコーエプソン株式会社 | ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
US10099365B2 (en) * | 2012-08-02 | 2018-10-16 | Fuji Corporation | Work machine provided with articulated robot and electric component mounting machine |
JP6167622B2 (ja) * | 2013-04-08 | 2017-07-26 | オムロン株式会社 | 制御システムおよび制御方法 |
JP2015213139A (ja) * | 2014-05-07 | 2015-11-26 | 国立大学法人 東京大学 | 位置決め装置 |
JP6174636B2 (ja) | 2015-07-24 | 2017-08-02 | ファナック株式会社 | ワークを位置決めするためのワーク位置決め装置 |
CN105827951B (zh) * | 2016-01-29 | 2019-05-17 | 维沃移动通信有限公司 | 一种运动对象拍照方法及移动终端 |
JP6779721B2 (ja) * | 2016-09-14 | 2020-11-04 | キヤノン株式会社 | 検出装置、検出方法、リソグラフィ装置、および物品の製造方法 |
-
2018
- 2018-04-26 JP JP2018085122A patent/JP6919623B2/ja active Active
-
2019
- 2019-03-29 KR KR1020207026081A patent/KR102613860B1/ko active IP Right Grant
- 2019-03-29 CN CN201980018674.5A patent/CN111902785B/zh active Active
- 2019-03-29 WO PCT/JP2019/014125 patent/WO2019208107A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN111902785B (zh) | 2024-06-21 |
JP2019188550A (ja) | 2019-10-31 |
CN111902785A (zh) | 2020-11-06 |
WO2019208107A1 (ja) | 2019-10-31 |
KR102613860B1 (ko) | 2023-12-14 |
KR20210004956A (ko) | 2021-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167622B2 (ja) | 制御システムおよび制御方法 | |
CN110581945B (zh) | 控制***、控制装置、图像处理装置以及存储介质 | |
JP2019215633A (ja) | 制御システム、制御装置、画像処理装置およびプログラム | |
TW202029879A (zh) | 控制裝置及控制方法 | |
JP6919623B2 (ja) | 制御システム、制御方法、および制御プログラム | |
JP6919622B2 (ja) | 制御システム、制御方法、および制御プログラム | |
JP4660309B2 (ja) | 電子部品実装装置 | |
WO2020003945A1 (ja) | 位置決めシステム、制御方法およびプログラム | |
CN115816833B (zh) | 图像校正数据的确定方法、装置、电子设备及存储介质 | |
JP5740649B2 (ja) | 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム | |
JP7020262B2 (ja) | 制御システム、制御方法およびプログラム | |
JP6922829B2 (ja) | 制御システム、制御方法、および制御プログラム | |
JP2009264898A (ja) | ワーク位置姿勢計測方法および計測装置 | |
CN110581944B (zh) | 控制***、控制装置以及存储介质 | |
JP7035902B2 (ja) | 計測システム、計測方法、および計測プログラム | |
JPH0882505A (ja) | カメラパラメーターのキャリブレーション方法および物体の位置計測方法 | |
WO2024023974A1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
JP7374354B1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
CN115265598A (zh) | 用于标定惯性测量单元的方法、装置和*** | |
JP2548721Y2 (ja) | 自動キャリブレーション機能付ワーク位置決め装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6919623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |