JP7172151B2 - 制御システム、制御装置およびプログラム - Google Patents
制御システム、制御装置およびプログラム Download PDFInfo
- Publication number
- JP7172151B2 JP7172151B2 JP2018111386A JP2018111386A JP7172151B2 JP 7172151 B2 JP7172151 B2 JP 7172151B2 JP 2018111386 A JP2018111386 A JP 2018111386A JP 2018111386 A JP2018111386 A JP 2018111386A JP 7172151 B2 JP7172151 B2 JP 7172151B2
- Authority
- JP
- Japan
- Prior art keywords
- movement
- imaging
- imaging timing
- timing
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 292
- 238000003384 imaging method Methods 0.000 claims description 258
- 230000007246 mechanism Effects 0.000 claims description 89
- 230000000007 visual effect Effects 0.000 claims description 67
- 238000013459 approach Methods 0.000 claims description 17
- 238000003909 pattern recognition Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 53
- 238000005259 measurement Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012890 quintic function Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position Or Direction (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
まず、本実施の形態に係る制御システムの一つの適用例について説明する。図1は、本実施の形態に係る制御システム1の全体構成を示す模式図である。図1に示す制御システム1は、画像処理を用いてアライメントを行う。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワーク」とも称す)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板であるワーク2に対する回路パターンの焼付処理前に、露光マスク4に対するワーク2の位置決めを制御する。ワーク2には、予め定められた位置に位置決め用の特徴部分であるマーク5a,5bが設けられている。制御システム1は、ワーク2上に設けられたマーク5a,5bを撮像し、撮像により得られた画像に対して画像処理を行うことで、ワーク2の位置決めを実現する。
次に、本実施の形態に係る制御システム1の具体例について説明する。
図2は、本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。図2を参照して、画像処理装置304は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
図3は、実施の形態に係る制御システムを構成するモーションコントローラ400のハードウェア構成を示す模式図である。モーションコントローラ400は、チップセット412と、プロセッサ414と、不揮発性メモリ416と、主メモリ418と、システムクロック420と、メモリカードインターフェイス422と、通信インターフェイス428と、内部バスコントローラ430と、フィールドバスコントローラ438とを含む。チップセット412と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
図4は、図1に示される制御システムの機能構成を示すブロック図である。図4に示されるように、画像処理装置304は、画像取得部32と、位置特定部34とを含む。
図4に示されるように、モーションコントローラ400は、移動制御部41と、推定部45と、撮像制御部46とを備える。移動制御部41と推定部45と撮像制御部46とは、図3に示すプロセッサ414が制御プログラム440を実行することにより実現される。
移動制御部41は、視覚センサ300によって特定された、マーク5aの最新の計測位置PSaおよびマーク5bの最新の計測位置PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。
推定部45は、最新の計測位置PSa,PSbと、移動制御部41によって生成される移動指令MVX,MVY,MVθとに基づいて、次の撮像予定タイミングtkにおける画像上の、マーク5aの移動速度Vaとマーク5bの移動速度Vbとを推定する。撮像予定タイミングtkは、撮像周期Tbに従って予め定められる。推定部45は、撮像予定タイミングtkよりも制御周期Tsのq倍(qは、1以上の整数である)の期間だけ前の第1中間タイミングtm1において、移動速度Va,Vbを推定する。制御周期Tsのq倍が撮像周期Tbよりも十分に小さくなるように、qは予め定められる。qは、たとえば1、2または3である。以下、推定部45の具体的な処理方法について説明する。
=(PVmX(m1)-PVmX(k-1),PVmY(m1)-PVmY(k-1),PVmθ(m1)-PVmθ(k-1)) ・・・式(1)。
式(2)において、Saは、ワールド座標系における計測位置PSaのX座標xsaおよびY座標ysaの転置行列である(xsa,ysa)Tを示す。Ra( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSaとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量とに基づいて定められる。ここでは、回転移動量としてΔθ1が用いられる。T( )は、並進移動に対応する変換式を示し、撮像タイミングt(k-1)からの、Xステージ110XおよびYステージ110Yの並進移動量に応じて定められる。ここでは、並進移動量としてΔX1およびΔY1が用いられる。Sa’は、ワーク2を移動量Δp1だけ移動させたときの、ワールド座標系におけるマーク5aの位置のX座標,Y座標の転置行列を示す。ここでは、Sa’は、推定位置PM1aのX座標xm1aおよびY座標ym1aの転置行列である(xm1a,ym1a)Tを示す。
式(3)において、Sbは、ワールド座標系における計測位置PSbのX座標xsbおよびY座標ysbの転置行列である(xsb,ysb)Tを示す。Rb( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSbとの距離と、撮像タイミングt(k-1)からのθステージ110θの回転移動量とに基づいて定められる。ここでは、回転移動量としてΔθ1が用いられる。T( )は、並進移動に対応する変換式を示し、撮像タイミングt(k-1)からの、Xステージ110XおよびYステージ110Yの並進移動量と応じて定められる。ここでは、並進移動量としてΔX1およびΔY1が用いられる。Sb’は、ワーク2を移動量Δp1だけ移動させたときの、ワールド座標系におけるマーク5bの位置のX座標,Y座標の転置行列を示す。ここでは、Sb’は、推定位置PM1bのX座標xm1bおよびY座標ym1bの転置行列である(xm1b,ym1b)Tを示す。
Vb=(PEb-PM1b)/(tk-tm1) ・・・式(5)
式(4)において、「PEa-PM1a」は、予測位置PEaと推定位置PM1aとの距離を示し、予測位置PEaと推定位置PM1aとのローカル座標系におけるX座標,Y座標に基づいて算出される。式(5)において、「PEb-PM1b」は、予測位置PEbと推定位置PM1bとの距離を示し、予測位置PEbと推定位置PM1bとのローカル座標系におけるX座標,Y座標に基づいて算出される。「tk-tm1」は、第1中間タイミングtm1から撮像予定タイミングtkまでの時間を示す。
撮像制御部46は、視覚センサ300の動作を制御する。撮像制御部46は、上位の制御装置から位置決め処理の開始指示を受けると、撮像周期Tbに従って、撮像トリガTR(撮像指示)を画像処理装置304に出力する。具体的には、撮像制御部46は、位置決め処理の開始指示を受けると、1回目の撮像トリガTRを出力する。その後、撮像制御部46は、撮像周期Tbだけ経過するたびに、2回目以降の撮像トリガTRを出力する。
<3-1.制御システムの位置決め処理の流れ>
図6を参照して、制御システム1の位置決め処理の流れの一例について説明する。図6は、制御システムの位置決め処理の流れの一例を示すフローチャートである。
図7は、移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。まずステップS21において、位置決定部42は、画像処理装置304によって特定された最新の計測位置PSa,PSbを取得する。位置決定部42は、上記の第1キャリブレーションデータ,第2キャリブレーションデータを用いて、画像処理装置304から受けた計測位置PSa,PSbの座標(ローカル座標系)をワールド座標系の座標にそれぞれ変換する。
ここで、Kkは、内挿補間係数である。制御周期をTsとし、エンコーダ値PVmXの伝送遅延時間をTedとし、撮像トリガTRの伝送遅延時間をTsdとして、Ts-Ted≦Tsd<2Ts-Tedの場合、内挿補間係数Kkは、次の式(7)を用いて算出される。
このような内挿補間値の算出方法を用いることによって、撮像時刻tviのエンコーダ値PVmsX(vi)を高精度に算出できる。同様にして、撮像時刻tviのエンコーダ値PVmsY(vi),PVmsθ(vi)が算出される。なお、撮像時刻がエンコーダ値の算出時刻と一致する場合には、このエンコーダ値をそのまま用いればよい。
以上のように、制御システム1は、視覚センサ300と、移動制御部41と、推定部45と、撮像制御部46とを備える。視覚センサ300は、ワーク2を撮像タイミングごとに撮像することにより画像を取得し、画像に基づいて、ワーク2のマーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。移動制御部41は、視覚センサ300によって特定された計測位置PSa,PSbに基づいて、ワーク2の位置が目標位置に近づくように移動機構100を制御する。推定部45は、最新の撮像タイミングt(k-1)で撮像された画像から特定された最新の計測位置PSa,PSbと、参照情報とに基づいて、次の撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbをそれぞれ推定する。参照情報は、移動機構100からの情報および移動制御部41によって生成される情報を含む。撮像制御部46は、移動速度Va,Vbが閾値Th1未満である場合に撮像予定タイミングtkで撮像させ、移動速度Va,Vbが閾値Th1を超える場合に撮像予定タイミングtkで撮像させないように、視覚センサ300を制御する。
<4-1.変形例1>
推定部45は、撮像タイミングt(k-1)から第1中間タイミングtm1までに出力されたエンコーダ値PVmX,PVmY,PVmθに基づいて、次の撮像予定タイミングtkにおけるマーク5a,5bの移動速度Va,Vbを推定してもよい。
Vb=(PM1b-PM2b)/(tm1-tm2) ・・・(9)
式(8)において、「PM1a-PM2a」は、推定位置PM1aと推定位置PM2aとの距離を示す。式(9)において、「PM1b-PM2b」は、推定位置PM1bと推定位置PM2bとの距離を示す。「tm1-tm2」は、第2中間タイミングtm2から第1中間タイミングtm1までの時間を示す。
上記の説明では、撮像タイミングt(k-1)から第1中間タイミングtm1までの間のワーク2の移動量Δp1は、エンコーダ値PVmX,PVmY,PVmθに基づいて推定された。しかしながら、推定部45は、撮像タイミングt(k-1)から第1中間タイミングtm1までの期間に生成された移動指令MVX,MVY,MVθに基づいて、当該期間におけるワーク2の移動量Δp1を推定してもよい。
上記の説明では、移動制御部41は、推定位置PVが目標位置SPに近づくように、移動指令MVX,MVY,MVθを生成する。しかしながら、ワーク2をより滑らかに移動させるための移動機構100の目標軌道が決定され、決定された目標軌道に従って移動機構100が制御されてもよい。この場合、決定された目標軌道に基づいて、撮像予定タイミングtkにおける画像上のマーク5a,5bの移動速度Va,Vbが推定されてもよい。
図9は、変形例3に係る制御システム1Aの機能構成を示すブロック図である。図9に示されるように、制御システム1Aは、図4に示す制御システム1と比較して、モーションコントローラ400の代わりにモーションコントローラ400Aを備える点で相違する。モーションコントローラ400Aは、モーションコントローラ400と比較して、移動制御部41および推定部45の代わりに、移動制御部41Aおよび推定部45Aをそれぞれ含む点で相違する。移動制御部41Aは、移動制御部41と比較して、位置決定部42、減算部43および演算部44の代わりに目標軌道決定部47および演算部44Aを備える点で相違する。
目標軌道決定部47は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbと、目標位置SPとに基づいて、移動機構100の目標軌道を決定する。具体的には、以下のようにして目標軌道を決定する。
演算部44Aは、関数LX(t),LY(t),Lθ(t)に基づいて、制御周期Tsごとに移動指令MVX、MVY,MVθをそれぞれ算出する。具体的には、演算部44Aは、関数LX(t)に現時刻tを代入することにより、目標位置SPXに対する目標軌道TGXにおける現時刻tの位置の偏差を算出する。演算部44Aは、算出した偏差に対してたとえばP演算を行なうことにより、移動指令MVXを算出する。演算部44Aは、同様の方法により、移動指令MVY,MVθを算出する。
推定部45Aは、目標軌道決定部47によって決定された目標軌道TGX,TGY,TGθに基づいて、撮像タイミングt(k-1)から第1中間タイミングtm1までのワーク2の移動量Δp1を推定する。具体的には、図10に示されるように、推定部45Aは、目標軌道TGXにおける撮像タイミングt(k-1)から第1中間タイミングtm1までの移動量を、ワーク2のX方向の並進移動量ΔX1として算出する。同様に、推定部45Aは、目標軌道TGYにおける撮像タイミングt(k-1)から第1中間タイミングtm1までの移動量を、ワーク2のY方向の並進移動量ΔY1として算出する。推定部45Aは、目標軌道TGθにおける撮像タイミングt(k-1)から第1中間タイミングtm1までの移動量を、ワーク2の回転移動量Δθ1として算出する。
図11は、目標軌道決定部における処理の流れを示すフローチャートである。図11に示される処理は、画像処理装置304によってマーク5a,5bの計測位置PSa,PSbが特定されるたびに行なわれる。
上記式(13)に示される「Amax」は、最大加速度を表わす。「f()」は、最大加速度Amaxで必要移動距離を移動機構100に移動させた場合にかかる軌道時間を求めるための関数である。「Tmin」は、所定の最小軌道時間である。「max(α,β)」は、数値α,βの内から最大値を取得するための関数である。
LY(t)=LYm*[1-(t/T)3{10-15(t/T)+6(t/T)2}]・・・(15)
Lθ(t)=Lθm*[1-(t/T)3{10-15(t/T)+6(t/T)2}]・・・(16)
式(14)~(16)に示されるように、関数LX(t),LY(t),Lθ(t)は、必要移動距離LXm,LYm,Lθmと時刻tとを少なくとも説明変数とし、目標位置SpX,SPY,SPθとの偏差を目的変数とする多次関数である。
C1=60C2(2C2 2-3C2+1) ・・・(18)
C2=0.5-31/2/6 ・・・(19)
このようにして、目標軌道決定部47は、計測位置PSa,PSbが特定されるたびに、移動機構100が目標位置SPに到達するまでの間の目標軌道TGX,TGY,TGθをそれぞれ示す関数LX(t),LY(t),Lθ(t)を一括して算出する。
上記の説明では、移動機構100はXYθテーブルとした。しかしながら、移動機構100は、θXYテーブル、UVWテーブル、XYテーブル、XYZテーブル、多関節ロボットなどであってもよい。
以上のように、本実施の形態および変形例は以下のような開示を含む。
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)であって、
前記対象物(2)を撮像タイミングごとに撮像することにより画像を取得し、当該画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための視覚センサ(300)と、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(41,41A)と、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記移動制御部(41,41A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するための推定部(45,45A)と、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するための撮像制御部(46)とを備える、制御システム(1,1A)。
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータを含み、
前記参照情報は、前記最新の撮像タイミングからの前記モータの駆動量を示す情報を含む、構成1に記載の制御システム(1)。
前記移動制御部(41,41A)は、制御周期ごとに前記移動機構(100)に対する移動指令を生成し、
前記参照情報は、前記最新の撮像タイミング以降に前記移動制御部(41,41A)によって生成された移動指令を示す情報を含む、構成1または2に記載の制御システム(1)。
前記移動制御部(41A)は、前記最新の位置に基づいて前記移動機構(100)の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構(100)を制御し、
前記参照情報は、前記目標軌道を示す情報を含む、構成1に記載の制御システム(1A)。
対象物(2)を移動させる移動機構(100)と、前記対象物(2)を撮像することにより画像を取得し、当該画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための視覚センサ(300)とを制御して、前記対象物(2)の位置決めを行なう制御装置(400)であって、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(41,41A)と、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記移動制御部(41,41A)によって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するための推定部(45,45A)と、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するための撮像制御部(46)とを備える、制御装置(400)。
構成1から4のいずれかの制御システム(1,1A)に用いられる制御装置(400)であって、
前記移動制御部(41,41A)と、
前記推定部(45,45A)と、
前記撮像制御部(46)とを備える、制御装置。
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)をサポートするためのプログラムであって、
前記制御システム(1,1A)は、前記対象物(2)を撮像することにより画像を取得し、当該画像に基づいて、前記対象物(2)の特徴部分(5a,5b)の位置を特定するための視覚センサ(300)を備え、
コンピュータに、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するステップと、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するステップとを実行させる、プログラム。
構成1から4のいずれかの制御システム(1,1A)をサポートするためのプログラムであって、
コンピュータに、
前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
最新の撮像タイミングで撮像された画像から前記視覚センサ(300)によって特定された前記特徴部分(5a,5b)の最新の位置と、前記移動機構(100)からの情報および前記制御するステップによって生成される情報の少なくとも一方を含む参照情報とに基づいて、次の撮像予定タイミングにおける前記特徴部分(5a,5b)の移動速度を推定するステップと、
前記移動速度が閾値未満である場合に前記撮像予定タイミングで撮像させ、前記移動速度が閾値を超える場合に前記撮像予定タイミングで撮像させないように、前記視覚センサ(300)を制御するステップとを実行させる、プログラム。
Claims (5)
- 対象物に対して並進移動と回転移動とを行わせる移動機構を制御して、前記対象物の位置を目標位置に合わせる制御システムであって、
前記対象物は、予め定められた位置に設けられる特徴部分を有し、
前記制御システムは、
撮像指示を受けたことに応じて、前記対象物を撮像することにより画像を取得し、当該画像に対して前記特徴部分のパターンを用いたパターン認識を実行することにより、前記特徴部分の位置を特定する視覚センサと、
前記視覚センサによって特定された前記特徴部分の位置から推定される前記対象物の位置と前記目標位置との偏差を求め、前記偏差を0に収束させる移動指令を生成し、生成した移動指令を前記移動機構に出力して、前記対象物の位置が前記目標位置に近づくように前記移動機構を制御する移動制御部と、
最新の撮像タイミングで撮像された画像から前記視覚センサによって特定された前記特徴部分の最新の位置と、前記移動機構の駆動量に関する第1情報および前記移動制御部によって生成される前記移動指令に関する第2情報の少なくとも一方を含む参照情報とに基づいて、前記最新の撮像タイミングから予め定められた撮像周期だけ経過した次の撮像予定タイミングにおける前記特徴部分の移動速度を推定する推定部と、
前記移動速度が閾値未満である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力し、前記移動速度が閾値以上である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力しない撮像制御部とを備え、
前記推定部は、
前記回転移動の回転中心と前記最新の位置との間の距離と、前記参照情報とを用いて、前記最新の撮像タイミングから前記撮像予定タイミングまでの期間における2つの時点の前記特徴部分の位置を計算し、
前記2つの時点の前記特徴部分の位置間の距離を前記2つの時点の時間差で除算することにより前記移動速度を計算する、制御システム。 - 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
前記参照情報は、前記第1情報を含み、
前記第1情報は、前記最新の撮像タイミングからの前記モータの駆動量を示す情報を含む、請求項1に記載の制御システム。 - 前記移動制御部は、前記撮像周期よりも短い制御周期ごとに前記移動指令を生成し、
前記参照情報は、前記第2情報を含み、
前記第2情報は、前記最新の撮像タイミング以降に前記移動制御部によって生成された前記移動指令を示す情報を含む、請求項1または2に記載の制御システム。 - 対象物に対して並進移動と回転移動とを行わせる移動機構と、視覚センサとを制御して、前記対象物の位置を目標位置に合わせる制御装置であって、
前記対象物は、予め定められた位置に設けられる特徴部分を有し、
前記視覚センサは、撮像指示を受けたことに応じて、前記対象物を撮像することにより画像を取得し、当該画像に対して前記特徴部分のパターンを用いたパターン認識を実行することにより、前記特徴部分の位置を特定し、
前記制御装置は、
前記視覚センサによって特定された前記特徴部分の位置から推定される前記対象物の位置と前記目標位置との偏差を求め、前記偏差を0に収束させる移動指令を生成し、生成した移動指令を前記移動機構に出力して、前記対象物の位置が前記目標位置に近づくように前記移動機構を制御する移動制御部と、
最新の撮像タイミングで撮像された画像から前記視覚センサによって特定された前記特徴部分の最新の位置と、前記移動機構の駆動量に関する情報および前記移動制御部によって生成される前記移動指令に関する情報の少なくとも一方を含む参照情報とに基づいて、前記最新の撮像タイミングから予め定められた撮像周期だけ経過した次の撮像予定タイミングにおける前記特徴部分の移動速度を推定する推定部と、
前記移動速度が閾値未満である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力し、前記移動速度が閾値以上である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力しない撮像制御部とを備え、
前記推定部は、
前記回転移動の回転中心と前記最新の位置との間の距離と、前記参照情報とを用いて、前記最新の撮像タイミングから前記撮像予定タイミングまでの期間における2つの時点の前記特徴部分の位置を計算し、
前記2つの時点の前記特徴部分の位置間の距離を前記2つの時点の時間差で除算することにより前記移動速度を計算する、制御装置。 - 対象物に対して並進移動と回転移動とを行わせる移動機構と視覚センサとを備える制御システムに、前記対象物の位置を目標位置に合わせさせるプログラムであって、
前記対象物は、予め定められた位置に設けられる特徴部分を有し、
前記視覚センサは、撮像指示を受けたことに応じて、前記対象物を撮像することにより画像を取得し、当該画像に対して前記特徴部分のパターンを用いたパターン認識を実行することにより、前記特徴部分の位置を特定し、
前記プログラムは、コンピュータに、
前記視覚センサによって特定された前記特徴部分の位置から推定される前記対象物の位置と前記目標位置との偏差を求め、前記偏差を0に収束させる移動指令を生成し、生成した移動指令を前記移動機構に出力して、前記対象物の位置が前記目標位置に近づくように前記移動機構を制御するステップと、
最新の撮像タイミングで撮像された画像から前記視覚センサによって特定された前記特徴部分の最新の位置と、前記移動機構の駆動量に関する情報および前記移動指令に関する情報の少なくとも一方を含む参照情報とに基づいて、前記最新の撮像タイミングから予め定められた撮像周期だけ経過した次の撮像予定タイミングにおける前記特徴部分の移動速度を推定するステップと、
前記移動速度が閾値未満である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力し、前記移動速度が閾値以上である場合に前記撮像予定タイミングにおいて前記撮像指示を前記視覚センサに出力しないステップとを実行させ、
前記推定するステップは、
前記回転移動の回転中心と前記最新の位置との間の距離と、前記参照情報とを用いて、前記最新の撮像タイミングから前記撮像予定タイミングまでの期間における2つの時点の前記特徴部分の位置を計算するステップと、
前記2つの時点の前記特徴部分の位置間の距離を前記2つの時点の時間差で除算することにより前記移動速度を計算するステップとを含む、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018111386A JP7172151B2 (ja) | 2018-06-11 | 2018-06-11 | 制御システム、制御装置およびプログラム |
CN201910384145.9A CN110581944B (zh) | 2018-06-11 | 2019-05-09 | 控制***、控制装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018111386A JP7172151B2 (ja) | 2018-06-11 | 2018-06-11 | 制御システム、制御装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019215634A JP2019215634A (ja) | 2019-12-19 |
JP7172151B2 true JP7172151B2 (ja) | 2022-11-16 |
Family
ID=68810799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018111386A Active JP7172151B2 (ja) | 2018-06-11 | 2018-06-11 | 制御システム、制御装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7172151B2 (ja) |
CN (1) | CN110581944B (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203365A (ja) | 2013-04-08 | 2014-10-27 | オムロン株式会社 | 制御システムおよび制御方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06258051A (ja) * | 1993-03-06 | 1994-09-16 | Taiyo Yuden Co Ltd | マーク検出方法 |
US7499584B2 (en) * | 2004-10-21 | 2009-03-03 | Mitutoyo Corporation | Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection |
CN101893894B (zh) * | 2010-06-30 | 2012-01-04 | 上海交通大学 | 可重构微型移动机器人集群定位跟踪*** |
KR101826068B1 (ko) * | 2011-07-04 | 2018-02-07 | 삼성디스플레이 주식회사 | 유기층 증착 장치 |
JP5987205B2 (ja) * | 2011-08-10 | 2016-09-07 | 富士機械製造株式会社 | 電子回路部品装着機の位置決め不良検出方法 |
CN104427114A (zh) * | 2013-09-03 | 2015-03-18 | 中兴通讯股份有限公司 | 拍摄方法、装置及移动终端 |
CN105827951B (zh) * | 2016-01-29 | 2019-05-17 | 维沃移动通信有限公司 | 一种运动对象拍照方法及移动终端 |
JP6779721B2 (ja) * | 2016-09-14 | 2020-11-04 | キヤノン株式会社 | 検出装置、検出方法、リソグラフィ装置、および物品の製造方法 |
-
2018
- 2018-06-11 JP JP2018111386A patent/JP7172151B2/ja active Active
-
2019
- 2019-05-09 CN CN201910384145.9A patent/CN110581944B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203365A (ja) | 2013-04-08 | 2014-10-27 | オムロン株式会社 | 制御システムおよび制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110581944A (zh) | 2019-12-17 |
CN110581944B (zh) | 2022-10-11 |
JP2019215634A (ja) | 2019-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7078894B2 (ja) | 制御システム、制御装置、画像処理装置およびプログラム | |
JP6167622B2 (ja) | 制御システムおよび制御方法 | |
CN111185901A (zh) | 机器人装置 | |
CN110581945B (zh) | 控制***、控制装置、图像处理装置以及存储介质 | |
JP7143643B2 (ja) | 位置決めシステム、監視装置、監視方法およびプログラム | |
CN111886556B (zh) | 控制***、控制方法以及计算机可读存储介质 | |
JP6950631B2 (ja) | 位置決めシステム、制御方法およびプログラム | |
JP7172151B2 (ja) | 制御システム、制御装置およびプログラム | |
JP6813000B2 (ja) | 制御システム、制御方法およびプログラム | |
CN111902785B (zh) | 控制***、控制方法以及计算机可读存储介质 | |
US11999068B2 (en) | Control device and alignment device | |
JP7020262B2 (ja) | 制御システム、制御方法およびプログラム | |
TW202021754A (zh) | 自動定位方法以及自動控制裝置 | |
JP7040567B2 (ja) | 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体 | |
JP7052840B2 (ja) | 位置特定装置、位置特定装置の制御方法、情報処理プログラム、および記録媒体 | |
CN111210469B (zh) | 基于数字图像相关技术的机器人机加工位移参量测量方法 | |
JP7258259B1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
WO2024023975A1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
JP2024019166A (ja) | アライメントシステム、アライメント方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7172151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |