JP7078894B2 - 制御システム、制御装置、画像処理装置およびプログラム - Google Patents
制御システム、制御装置、画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP7078894B2 JP7078894B2 JP2018111385A JP2018111385A JP7078894B2 JP 7078894 B2 JP7078894 B2 JP 7078894B2 JP 2018111385 A JP2018111385 A JP 2018111385A JP 2018111385 A JP2018111385 A JP 2018111385A JP 7078894 B2 JP7078894 B2 JP 7078894B2
- Authority
- JP
- Japan
- Prior art keywords
- movement
- imaging timing
- image processing
- unit
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 137
- 230000033001 locomotion Effects 0.000 claims description 325
- 238000003384 imaging method Methods 0.000 claims description 203
- 230000007246 mechanism Effects 0.000 claims description 93
- 238000013459 approach Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 description 57
- 238000000034 method Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 15
- 230000036544 posture Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012887 quadratic function Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position Or Direction (AREA)
Description
まず、本実施の形態に係る制御システムの一つの適用例について説明する。図1は、本実施の形態に係る制御システム1の全体構成を示す模式図である。図1に示す制御システム1は、画像処理を用いてアライメントを行う。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワーク」とも称す)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板であるワーク2に対する回路パターンの焼付処理前に、露光マスク4に対するワーク2の位置決めを制御する。ワーク2には、予め定められた位置に位置決め用の特徴部分であるマーク5a,5bが設けられている。制御システム1は、ワーク2上に設けられたマーク5a,5bを撮像し、撮像により得られた画像に対して画像処理を行うことで、ワーク2の位置決めを実現する。
次に、本実施の形態に係る制御システム1の具体例について説明する。
図3は、本実施の形態に係る制御システムを構成する画像処理装置のハードウェア構成を示す模式図である。図3を参照して、画像処理装置304は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
図4は、実施の形態に係る制御システムを構成するモーションコントローラ400のハードウェア構成を示す模式図である。モーションコントローラ400は、チップセット412と、プロセッサ414と、不揮発性メモリ416と、主メモリ418と、システムクロック420と、メモリカードインターフェイス422と、通信インターフェイス428と、内部バスコントローラ430と、フィールドバスコントローラ438とを含む。チップセット412と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
図5は、図1に示される制御システムの機能構成を示すブロック図である。図5に示されるように、画像処理装置304は、画像取得部32と、受付部34と、位置特定部36とを含む。
図5に示されるように、モーションコントローラ400は、指示部41と、推定部42と、範囲決定部43と、移動制御部44とを備える。指示部41と推定部42と範囲決定部43と移動制御部44とは、図4に示すプロセッサ414が制御プログラム440を実行することにより実現される。
指示部41は、画像処理装置304に対して動作指示を出力する。指示部41は、上位の制御装置から位置決め処理の開始指示を受けると、撮像周期Tbに従って、撮像トリガTR(撮像指示)を画像処理装置304に出力する。具体的には、指示部41は、上位の制御装置から位置決め処理の開始指示を受けると、1回目の撮像トリガTRを出力する。その後、指示部41は、撮像周期Tbだけ経過するたびに、2回目以降の撮像トリガTRを出力する。
推定部42は、(k-1)回目(kは2以上の整数)の撮像トリガTRに対応する撮像タイミングt(k-1)からk回目の撮像トリガTRに対応する撮像タイミングtkまでの間のワーク2の移動量Δp=(ΔX,ΔY,Δθ)を推定する。ΔXは、Xステージ110XのX方向の並進移動量を示す。ΔYは、Yステージ110YのY方向の並進移動量を示す。Δθは、θステージ110θの回転移動量を示す。
=(PVmX(k)-PVmX(k-1),PVmY(k)-PVmY(k-1),PVmθ(k)-PVmθ(k-1)) ・・・式(1)。
範囲決定部43は、撮像タイミングt(k-1)で撮像された画像から特定されたマーク5aの計測位置PSaと、推定部42によって推定された移動量Δpとに基づいて、撮像タイミングtkにおけるマーク5aの予測位置PEaを予測する。以下、範囲決定部43による予測位置PEaの予測手順について説明する。
式(2)において、Saは、ワールド座標系における計測位置PSaのX座標xsaおよびY座標ysaの転置行列である(xsa,ysa)Tを示す。Ra( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSaとの距離と、θステージ110θの回転移動量Δθとに基づいて定められる。T( )は、並進移動に対応する変換式を示し、Xステージ110Xの移動量ΔXとYステージ110Yの移動量ΔYと応じて定められる。Eaは、ワールド座標系における予測位置PEaのX座標xeaおよびY座標yeaの転置行列である(xea,yea)Tを示す。
式(3)において、Sbは、ワールド座標系における計測位置PSbのX座標xsbおよびY座標ysbの転置行列である(xsb,ysb)Tを示す。Rb( )は、回転移動に対応する変換式を示し、θステージ110θの回転中心と計測位置PSbとの距離と、θステージ110θの回転移動量Δθとに基づいて定められる。T( )は、並進移動に対応する変換式を示し、Xステージ110Xの移動量ΔXとYステージ110Yの移動量ΔYと応じて定められる。Ebは、ワールド座標系における予測位置PEbのX座標xebおよびY座標yebの転置行列である(xeb,yeb)Tを示す。
移動制御部44は、画像処理装置304によって特定された、マーク5aの計測位置PSaおよびマーク5bの計測位置PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。
<3-1.制御システムの位置決め処理の流れ>
図7を参照して、制御システム1の位置決め処理の流れの一例について説明する。図7は、制御システムの位置決め処理の流れの一例を示すフローチャートである。
図8は、移動制御部による移動機構の制御処理の流れの一例を示すフローチャートである。まずステップS21において、位置決定部45は、画像処理装置304によって特定された最新の計測位置PSa,PSbを取得する。位置決定部45は、上記の第1キャリブレーションデータ,第2キャリブレーションデータを用いて、画像処理装置304から受けた計測位置PSa,PSbの座標(ローカル座標系)をワールド座標系の座標にそれぞれ変換する。
ここで、Kkは、内挿補間係数である。制御周期をTsとし、エンコーダ値PVmXの伝送遅延時間をTedとし、撮像トリガTRの伝送遅延時間をTsdとして、Ts-Ted≦Tsd<2Ts-Tedの場合、内挿補間係数Kkは、次の式(5)を用いて算出される。
このような内挿補間値の算出方法を用いることによって、撮像時刻tviのエンコーダ値PVmsX(vi)を高精度に算出できる。同様にして、撮像時刻tviのエンコーダ値PVmsY(vi),PVmsθ(vi)が算出される。なお、撮像時刻がエンコーダ値の算出時刻と一致する場合には、このエンコーダ値をそのまま用いればよい。
以上のように、制御システム1は、画像処理装置304と移動制御部44とを備える。画像処理装置304は、ワーク2を撮像するカメラ302a,302bによって撮像タイミングごとに得られる画像の中から、ワーク2の特徴部分であるマーク5a,5bを探索し、マーク5a,5bの計測位置PSa,PSbをそれぞれ特定する。移動制御部44は、画像処理装置304によって特定された計測位置PSa,PSbに基づいて、ワーク2の位置が目標位置SPに近づくように移動機構100を制御する。さらに、制御システム1は、推定部42と範囲決定部43とを備える。推定部42は、移動機構100からの情報に基づいて、撮像タイミングt(k-1)から次の撮像タイミングtkまでの間のワーク2の移動量Δpを推定する。範囲決定部43は、撮像タイミングt(k-1)で撮像された画像から特定された計測位置PSa,PSbと移動量Δpとに基づいて、撮像タイミングtkにおけるマーク5a、5bの位置をそれぞれ予測する。範囲決定部43、予測したマーク5a、5bの位置を含む探索範囲SRa,SRbをそれぞれ決定する。画像処理装置304は、撮像タイミングtkで撮像された画像のうち探索範囲SRa,SRbの中からマーク5a,5bをそれぞれ探索して、マーク5a,5bの位置を特定する。
<4-1.変形例1>
推定部42は、撮像タイミングt(k-1)から撮像タイミングtkまでの間に生成された移動指令MVX,MVY,MVθに基づいて、当該期間におけるワーク2の移動量Δpを推定してもよい。
推定部42は、撮像タイミングt(k-1)から中間タイミングtmまでの間のワーク2の移動量(以下、「前半移動量Δp1」という)と、中間タイミングtmから撮像タイミングtkまでの間のワーク2の移動量(以下、「後半移動量Δp2」という)とを推定してもよい。中間タイミングtmは、撮像タイミングt(k-1)と撮像タイミングtkとの間のタイミングである。推定部42は、前半移動量Δp1と後半移動量Δp2とを合わせて、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2の移動量Δpを推定する。
=(PVmX(m)-PVmX(k-1),PVmY(m)-PVmY(k-1),PVmθ(m)-PVmθ(k-1)) ・・・式(9)。
Δp=Δp1+Δp2
=(ΔX1+ΔX2,ΔY1+ΔY2,Δθ1+Δθ2) ・・・式(10)。
上記の説明では、移動制御部44は、推定位置PVが目標位置SPに近づくように、移動指令MVX,MVY,MVθを生成する。しかしながら、ワーク2をより滑らかに移動させるための移動機構100の目標軌道が決定され、決定された目標軌道に従って移動機構100が制御されてもよい。この場合、ワーク2は、決定された目標軌道に従って移動する。そのため、制御システムは、撮像タイミングtkの前に、目標軌道に基づいて、撮像タイミングt(k-1)から撮像タイミングtkまでの期間におけるワーク2の移動量Δpを推定することができる。これにより、変形例1,2と同様に、撮像トリガTRが出力されてから計測位置PSa,PSbが特定されるまでの時間を短縮できる。
図10は、変形例3に係る制御システム1Aの機能構成を示すブロック図である。図10に示されるように、制御システム1Aは、図4に示す制御システム1と比較して、モーションコントローラ400の代わりにモーションコントローラ400Aを備える点で相違する。モーションコントローラ400Aは、モーションコントローラ400と比較して、推定部42および移動制御部44の代わりに、推定部42Aおよび移動制御部44Aをそれぞれ含む点で相違する。移動制御部44Aは、移動制御部44と比較して、位置決定部45、減算部46および演算部47の代わりに目標軌道決定部48および演算部47Aを備える点で相違する。
目標軌道決定部48は、画像処理装置304によって特定されたマーク5aの計測位置PSaおよびマーク5bの計測位置PSbと、目標位置SPとに基づいて、移動機構100の目標軌道を決定する。具体的には、以下のようにして目標軌道を決定する。
演算部47Aは、関数LX(t),LY(t),Lθ(t)に基づいて、制御周期Tsごとに移動指令MVX、MVY,MVθをそれぞれ算出する。具体的には、演算部47Aは、関数LX(t)に現時刻tを代入することにより、目標位置SPXに対する目標軌道TGXにおける現時刻tの位置の偏差を算出する。演算部47Aは、算出した偏差に対してたとえばP演算を行なうことにより、移動指令MVXを算出する。演算部47Aは、同様の方法により、移動指令MVY,MVθを算出する。
推定部42Aは、目標軌道決定部48によって決定された目標軌道TGX,TGY,TGθに基づいて、撮像タイミングt(k-1)から撮像タイミングtkまでのワーク2の移動量Δpを推定する。具体的には、図11に示されるように、推定部42Aは、目標軌道TGXにおける撮像タイミングt(k-1)から撮像タイミングtkまでの移動量を、ワーク2のX方向の並進移動量ΔXとして算出する。同様に、推定部42Aは、目標軌道TGYにおける撮像タイミングt(k-1)から撮像タイミングtkまでの移動量を、ワーク2のY方向の並進移動量ΔYとして算出する。推定部42Aは、目標軌道TGθにおける撮像タイミングt(k-1)から撮像タイミングtkまでの移動量を、ワーク2の回転移動量Δθとして算出する。
図12は、目標軌道決定部における処理の流れを示すフローチャートである。図12に示される処理は、画像処理装置304によってマーク5a,5bの計測位置PSa,PSbが特定されるたびに行なわれる。
上記式(11)に示される「Amax」は、最大加速度を表わす。「f()」は、最大加速度Amaxで必要移動距離を移動機構100に移動させた場合にかかる軌道時間を求めるための関数である。「Tmin」は、所定の最小軌道時間である。「max(α,β)」は、数値α,βの内から最大値を取得するための関数である。
LY(t)=LYm*[1-(t/T)3{10-15(t/T)+6(t/T)2}]・・・(13)
Lθ(t)=Lθm*[1-(t/T)3{10-15(t/T)+6(t/T)2}]・・・(14)
式(12)~(14)に示されるように、関数LX(t),LY(t),Lθ(t)は、必要移動距離LXm,LYm,Lθmと時刻tとを少なくとも説明変数とし、目標位置SpX,SPY,SPθとの偏差を目的変数とする多次関数である。
C1=60C2(2C2 2-3C2+1) ・・・(16)
C2=0.5-31/2/6 ・・・(17)
このようにして、目標軌道決定部48は、計測位置PSa,PSbが特定されるたびに、移動機構100が目標位置SPに到達するまでの間の目標軌道TGX,TGY,TGθをそれぞれ示す関数LX(t),LY(t),Lθ(t)を一括して算出する。
撮像タイミングtkよりも前に探索範囲SRa,SRbが決定される上記の変形例1~3では、指示部41は、画像取得範囲が探索範囲SRaとなるようにカメラ302aに指示し、画像取得範囲が探索範囲SRbとなるようにカメラ302bに指示してもよい。具体的には、指示部41は、撮像トリガTRと合わせて探索範囲SRa,SRbを画像取得部32に出力する。画像取得部32は、画像取得範囲が探索範囲SRaとなるようにカメラ302aを制御するとともに、画像取得範囲が探索範囲SRbとなるようにカメラ302bを制御する。このように、指示部41は、画像取得部32を介して、カメラ302a,302bに画像取得範囲を指示する。
上記の説明では、範囲決定部43は、所定サイズの探索範囲SRa,SRbを決定する。しかしながら、範囲決定部43は、推定部42,42Aによって推定された移動量Δpが大きいほど探索範囲SRa,SRbのサイズを大きくしてもよい。移動量Δpが大きい場合、範囲決定部43によって予測される予測位置PEa,PEbの誤差が大きくなる。そのため、移動量Δpが大きいほど探索範囲SRa,SRbのサイズを大きくすることにより、マーク5a,5bが探索範囲SRa,SRbから外れることを抑制できる。
範囲決定部43は、撮像タイミングtkにおけるマーク5a,5bの姿勢も予測し、予測した姿勢に応じて、探索範囲SRa,SRbの姿勢を決定してもよい。
上記の説明では、移動機構100はXYθテーブルとした。しかしながら、移動機構100は、θXYテーブル、UVWテーブル、XYテーブル、XYZテーブル、多関節ロボットなどであってもよい。
以上のように、本実施の形態および変形例は以下のような開示を含む。
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)であって、
前記対象物(2)を撮像する撮像部によって撮像タイミングごとに得られる画像の中から、前記対象物(2)の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置(304)と、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(44,44A)と、
前記移動機構(100)からの第1情報および前記移動制御部(44,44A)によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するための推定部(42,42A)と、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の第1位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部(43)とを備え、
前記画像処理装置(304)は、前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索して、前記特徴部分の第2位置を特定する、制御システム(1,1A)。
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータ(120X,120Y,120θ)を含み、
前記推定部(42)は、前記第1撮像タイミングから前記第2撮像タイミングまでの間の前記モータの駆動量を示す前記第1情報に基づいて、前記移動量を推定する、構成1に記載の制御システム(1)。
前記移動機構(100)は、前記対象物(2)を移動させるために駆動されるモータを含み、
前記移動制御部(44)は、制御周期ごとに前記移動機構(100)に対する移動指令を生成し、
前記推定部(42)は、前記第1撮像タイミングから前記第1撮像タイミングと前記第2撮像タイミングとの間の中間タイミングまでの間の前記モータの駆動量を示す前記第1情報と、前記中間タイミングから前記第2撮像タイミングまでの間に前記フィードバック制御部によって生成された移動指令を示す前記第2情報とに基づいて、前記移動量を推定する、構成1に記載の制御システム(1)。
前記移動制御部(44A)は、前記目標位置に対する前記対象物(2)の位置の偏差に基づいて前記移動機構(100)の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構(100)を制御し、
前記推定部(42A)は、前記目標軌道を示す前記第2情報に基づいて、前記移動量を推定する、構成1に記載の制御システム(1A)。
画像取得範囲が前記探索範囲となるように前記撮像部に指示するための指示部(41)をさらに備える、構成3または4に記載の制御システム(1,1A)。
前記決定部(43)は、前記移動量が大きいほど前記探索範囲のサイズを大きくする、構成1から5のいずれかに記載の制御システム(1,1A)。
対象物(2)を移動させる移動機構(100)と、前記対象物(2)を撮像する撮像部によって撮像タイミングごとに得られた画像の中から、前記対象物(2)の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置(304)とを制御して、前記対象物(2)の位置決めを行なう制御装置であって、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するための移動制御部(44,44A)と、
前記移動機構(100)からの第1情報および前記移動制御部(44,44A)によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するための推定部(42,42A)と、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部(43)と、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するための指示部(41)とを備える、制御装置(400,400A)。
構成1から6のいずれかの制御システム(1,1A)に用いられる制御装置(400,400A)であって、
前記移動制御部(44,44A)と、
前記推定部(42,42A)と、
前記決定部(43)と、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するための指示部(41)とを備える、制御装置(400,400A)。
対象物(2)を撮像することにより得られた画像に基づいて前記対象物(2)の特徴部分の位置を特定する画像処理装置(304)であって、
探索範囲の指定を受け付けるための受付部(32)と、
前記画像のうちの前記探索範囲の中から前記特徴部分を探索し、前記特徴部分の位置を特定するための位置特定部(34)とを備える、画像処理装置(304)。
構成1から6のいずれかの制御システム(1,1A)に用いられる画像処理装置(304)であって、
探索範囲の指定を受け付けるための受付部(32)と、
前記画像のうちの前記探索範囲の中から前記特徴部分を探索し、前記特徴部分の位置を特定するための位置特定部(34)とを備える、画像処理装置(304)。
対象物(2)を移動させる移動機構(100)を制御して、前記対象物(2)の位置決めを行なう制御システム(1,1A)をサポートするためのプログラム(440)であって、
前記制御システム(1,1A)は、撮像タイミングごとに前記対象物(2)を撮像することにより得られた画像の中から前記対象物(2)の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置(304)を備え、
コンピュータに、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
前記移動機構(100)からの第1情報および前記制御するステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するステップと、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップと、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するステップとを実行させる、プログラム(440)。
構成1から6のいずれかの制御システム(1,1A)をサポートするためのプログラム(440)であって、
コンピュータに、
前記画像処理装置(304)によって特定された前記特徴部分の位置に基づいて、前記対象物(2)の位置が目標位置に近づくように前記移動機構(100)を制御するステップと、
前記移動機構(100)からの第1情報および前記制御するステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物(2)の移動量を推定するステップと、
前記第1撮像タイミングで撮像された画像から前記画像処理装置(304)によって特定された前記特徴部分の位置と前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップと、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置(304)に指示するステップとを実行させる、プログラム(440)。
Claims (8)
- 対象物を少なくとも回転移動させる移動機構を制御して、前記対象物の位置決めを行なう制御システムであって、
前記対象物を撮像する撮像部によって撮像タイミングごとに得られる画像の中から、前記対象物の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置と、
前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するための移動制御部と、
前記移動機構からの第1情報および前記移動制御部によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物の移動量を推定するための推定部と、
前記第1撮像タイミングで撮像された画像から前記画像処理装置によって特定された前記特徴部分の第1位置と前記回転移動の回転中心との距離と、前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部とを備え、
前記画像処理装置は、前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索して、前記特徴部分の第2位置を特定する、制御システム。 - 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
前記推定部は、前記第1撮像タイミングから前記第2撮像タイミングまでの間の前記モータの駆動量を示す前記第1情報に基づいて、前記移動量を推定する、請求項1に記載の制御システム。 - 前記移動機構は、前記対象物を移動させるために駆動されるモータを含み、
前記移動制御部は、制御周期ごとに前記移動機構に対する移動指令を生成し、
前記推定部は、前記第1撮像タイミングから前記第1撮像タイミングと前記第2撮像タイミングとの間の中間タイミングまでの間の前記モータの駆動量を示す前記第1情報と、
前記中間タイミングから前記第2撮像タイミングまでの間に前記移動制御部によって生成された移動指令を示す前記第2情報とに基づいて、前記移動量を推定する、請求項1に記載の制御システム。 - 前記移動制御部は、前記目標位置に対する前記対象物の位置の偏差に基づいて前記移動機構の目標軌道を決定し、決定した前記目標軌道に従って移動するように前記移動機構を制御し、
前記推定部は、前記目標軌道を示す前記第2情報に基づいて、前記移動量を推定する、請求項1に記載の制御システム。 - 画像取得範囲が前記探索範囲となるように前記撮像部に指示するための指示部をさらに備える、請求項3または4に記載の制御システム。
- 前記決定部は、前記移動量が大きいほど前記探索範囲のサイズを大きくする、請求項1から5のいずれか1項に記載の制御システム。
- 対象物を少なくとも回転移動させる移動機構と、前記対象物を撮像する撮像部によって撮像タイミングごとに得られた画像の中から、前記対象物の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置とを制御して、前記対象物の位置決めを行なう制御装置であって、
前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するための移動制御部と、
前記移動機構からの第1情報および前記移動制御部によって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物の移動量を推定するための推定部と、
前記第1撮像タイミングで撮像された画像から前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するための決定部と、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置に指示するための指示部とを備える、制御装置。 - 対象物を少なくとも回転移動させる移動機構を制御して、前記対象物の位置決めを行なう制御システムをサポートするためのプログラムであって、
前記制御システムは、撮像タイミングごとに前記対象物を撮像することにより得られた画像の中から前記対象物の特徴部分を探索し、前記特徴部分の位置を特定するための画像処理装置を備え、
コンピュータに、
前記画像処理装置によって特定された前記特徴部分の位置に基づいて、前記対象物の位置が目標位置に近づくように前記移動機構を制御するステップと、
前記移動機構からの第1情報および前記制御するステップによって生成される第2情報の少なくとも一方に基づいて、第1撮像タイミングから次の第2撮像タイミングまでの間の前記対象物の移動量を推定するステップと、
前記第1撮像タイミングで撮像された画像から前記画像処理装置によって特定された前記特徴部分の位置と前記回転移動の回転中心との距離と、前記移動量とに基づいて、前記第2撮像タイミングにおける前記特徴部分の位置を予測し、予測した位置を含む探索範囲を決定するステップと、
前記第2撮像タイミングで撮像された画像のうち前記探索範囲の中から前記特徴部分を探索するように前記画像処理装置に指示するステップとを実行させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018111385A JP7078894B2 (ja) | 2018-06-11 | 2018-06-11 | 制御システム、制御装置、画像処理装置およびプログラム |
CN201910384650.3A CN110581946B (zh) | 2018-06-11 | 2019-05-09 | 控制***、控制装置、图像处理装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018111385A JP7078894B2 (ja) | 2018-06-11 | 2018-06-11 | 制御システム、制御装置、画像処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019215633A JP2019215633A (ja) | 2019-12-19 |
JP7078894B2 true JP7078894B2 (ja) | 2022-06-01 |
Family
ID=68810773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018111385A Active JP7078894B2 (ja) | 2018-06-11 | 2018-06-11 | 制御システム、制御装置、画像処理装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7078894B2 (ja) |
CN (1) | CN110581946B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220111526A (ko) * | 2021-02-02 | 2022-08-09 | 자이메드 주식회사 | 실시간 생체 이미지 인식 방법 및 장치 |
CN114684611B (zh) * | 2022-04-29 | 2023-04-25 | 深圳格芯集成电路装备有限公司 | 检测设备 |
JP7374353B1 (ja) | 2022-07-27 | 2023-11-06 | 三菱電機株式会社 | アライメントシステム、アライメント方法及びプログラム |
JP7374354B1 (ja) | 2022-07-27 | 2023-11-06 | 三菱電機株式会社 | アライメントシステム、アライメント方法及びプログラム |
WO2024023976A1 (ja) * | 2022-07-27 | 2024-02-01 | 三菱電機株式会社 | アライメントシステム、アライメント方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295416A (ja) | 2003-03-26 | 2004-10-21 | Matsushita Electric Works Ltd | 画像処理装置 |
JP2014203365A (ja) | 2013-04-08 | 2014-10-27 | オムロン株式会社 | 制御システムおよび制御方法 |
JP2014211404A (ja) | 2013-04-22 | 2014-11-13 | 株式会社ノビテック | モーションキャプチャー方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050128291A1 (en) * | 2002-04-17 | 2005-06-16 | Yoshishige Murakami | Video surveillance system |
JP6984130B2 (ja) * | 2017-01-17 | 2021-12-17 | オムロン株式会社 | 画像処理装置、制御システム、画像処理装置の制御方法、制御プログラム、および記録媒体 |
-
2018
- 2018-06-11 JP JP2018111385A patent/JP7078894B2/ja active Active
-
2019
- 2019-05-09 CN CN201910384650.3A patent/CN110581946B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295416A (ja) | 2003-03-26 | 2004-10-21 | Matsushita Electric Works Ltd | 画像処理装置 |
JP2014203365A (ja) | 2013-04-08 | 2014-10-27 | オムロン株式会社 | 制御システムおよび制御方法 |
JP2014211404A (ja) | 2013-04-22 | 2014-11-13 | 株式会社ノビテック | モーションキャプチャー方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019215633A (ja) | 2019-12-19 |
CN110581946B (zh) | 2021-05-14 |
CN110581946A (zh) | 2019-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7078894B2 (ja) | 制御システム、制御装置、画像処理装置およびプログラム | |
JP6167622B2 (ja) | 制御システムおよび制御方法 | |
CN111185901A (zh) | 机器人装置 | |
JP7078895B2 (ja) | 制御システム、制御装置、画像処理装置およびプログラム | |
JP2019119027A (ja) | ロボットシステムの制御方法、およびロボットシステム | |
JP2004001122A (ja) | ピッキング装置 | |
JP7143643B2 (ja) | 位置決めシステム、監視装置、監視方法およびプログラム | |
JP6950631B2 (ja) | 位置決めシステム、制御方法およびプログラム | |
CN111886556B (zh) | 控制***、控制方法以及计算机可读存储介质 | |
JP6813000B2 (ja) | 制御システム、制御方法およびプログラム | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
JP7172151B2 (ja) | 制御システム、制御装置およびプログラム | |
JP7059968B2 (ja) | 制御装置および位置合わせ装置 | |
CN111902785B (zh) | 控制***、控制方法以及计算机可读存储介质 | |
JP7374354B1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
JP7258259B1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
JP7374353B1 (ja) | アライメントシステム、アライメント方法及びプログラム | |
WO2019202944A1 (ja) | 制御システム、制御方法およびプログラム | |
WO2023013739A1 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
WO2023013698A1 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
JP7040567B2 (ja) | 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体 | |
JP7188481B2 (ja) | 位置検出装置およびプログラム | |
JP3028789B2 (ja) | 認識分解能計測方法、およびボンディング装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220503 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7078894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |