JP7485153B2 - 制御装置、検査システム、制御方法、プログラム - Google Patents
制御装置、検査システム、制御方法、プログラム Download PDFInfo
- Publication number
- JP7485153B2 JP7485153B2 JP2023080807A JP2023080807A JP7485153B2 JP 7485153 B2 JP7485153 B2 JP 7485153B2 JP 2023080807 A JP2023080807 A JP 2023080807A JP 2023080807 A JP2023080807 A JP 2023080807A JP 7485153 B2 JP7485153 B2 JP 7485153B2
- Authority
- JP
- Japan
- Prior art keywords
- display surface
- inspection
- contact
- coordinates
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 138
- 238000000034 method Methods 0.000 title claims description 47
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、制御装置、検査システム、制御方法、プログラムに関する。
検査対象装置を製造した後の出荷の点検の自動化が行われている。関連する技術として特許文献1が開示されている。特許文献1には、ステレオカメラと、アームを有するロボットと、ステレオカメラとロボットとを駆動し制御する制御装置とを有するロボットビジョンシステムにおいて、チェッカーボードをロボットアームの先端部に固定することが記載されている。当該ロボットビジョンシステムでは、ステレオカメラがチェッカーボードを撮影して得た画像を用いて、ロボットアームの移動方向を決定することが記載されている。
上述のような検査対象装置の点検の技術として、表示装置を有する検査対象装置の当該表示装置の所定位置に対してロボット機構の所定部位を接触するなどの力を加えて検査を行う為に好適な技術が望まれている。
そこでこの発明は、上述の課題を解決する制御装置、検査システム、制御方法、プログラムを提供することを目的としている。
発明の第1の態様によれば、制御装置は、表示装置の表示面に表示されたパターンの撮影画像から得た情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、を備えることを特徴とする。
発明の第2の態様によれば、検査システムは、制御装置と検査対象装置とにより構成される検査システムにおいて、前記制御装置が、表示装置の表示面に表示されたパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、を備え、前記検査対象装置が、前記表示面に前記パターンを表示する表示制御部と、前記表示面の所定位置における前記所定部位の接触の有無に基づく検査処理を行う検査処理部と、を備えることを特徴とする。
発明の第3の態様によれば、制御方法は、表示装置の表示面に表示されたパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出し、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行うことを特徴とする。
発明の第4の態様によれば、プログラムは、制御装置のコンピュータを、表示装置の表示面に表示されたパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出手段、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御手段、として機能させることを特徴とする。
本発明によれば、表示装置を有する検査対象装置の当該表示装置の所定位置に対して力を加える検査を自動化することができる。
以下、本発明の一実施形態による検査システムを図面を参照して説明する。
図1は本実施形態による検査システムの構成を示す図である。
図1が示すように検査システム100は、制御装置1、ステレオカメラ2、ロボットアーム3、バッテリ20が台車5に積載された検査装置10を有する。また検査システム100は、表示装置40を備えた検査対象装置4を有する。
図1は本実施形態による検査システムの構成を示す図である。
図1が示すように検査システム100は、制御装置1、ステレオカメラ2、ロボットアーム3、バッテリ20が台車5に積載された検査装置10を有する。また検査システム100は、表示装置40を備えた検査対象装置4を有する。
制御装置1はロボットアーム3を制御する。
ステレオカメラ2は検査対象装置4に設けられた表示装置40を撮影する。ステレオカメラ2には撮影画像を認識する画像認識装置21が接続されているものとする。
ロボットアーム3は、制御装置1の制御に基づいてロボットアーム3の所定部位を表示装置40に接触させる。本実施形態においてロボットアーム3の所定部位はロボットアーム3の先端を成すタッチペンの接触部材であるとする。ロボットアーム3にはロボットアームを制御装置1の制御に基づいて駆動させるロボット駆動装置31が接続されているものとする。
バッテリ20は、制御装置1、画像認識装置21、ロボット駆動装置31、台車5の動力に対して電力を供給する。台車5には車輪と走行駆動部とが設けられる。台車5は、外部からの制御に基づいて、所望の検査対象装置4に対向して検査可能な位置に移動することができる。
ステレオカメラ2は検査対象装置4に設けられた表示装置40を撮影する。ステレオカメラ2には撮影画像を認識する画像認識装置21が接続されているものとする。
ロボットアーム3は、制御装置1の制御に基づいてロボットアーム3の所定部位を表示装置40に接触させる。本実施形態においてロボットアーム3の所定部位はロボットアーム3の先端を成すタッチペンの接触部材であるとする。ロボットアーム3にはロボットアームを制御装置1の制御に基づいて駆動させるロボット駆動装置31が接続されているものとする。
バッテリ20は、制御装置1、画像認識装置21、ロボット駆動装置31、台車5の動力に対して電力を供給する。台車5には車輪と走行駆動部とが設けられる。台車5は、外部からの制御に基づいて、所望の検査対象装置4に対向して検査可能な位置に移動することができる。
検査対象装置4は一例としては現金自動預け払い機である。検査対象装置4は少なくとも表示装置40を備えている。検査対象装置4が現金自動預け払い機である場合には表示装置40はタッチパネルであるとする。以下、検査対象装置4が表示機能と情報入力機能を備えたタッチパネルを表示装置40として備える場合の例について説明する。なお検査対象装置4はタブレット端末や、車載端末、などの他の表示装置40を備えた情報機器、電子機器などであってもよい。
図2は検査システムに備わる各装置のハードウェア構成を示す図である。
制御装置1、画像認識装置21、ロボット駆動装置31、検査対象装置4は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、データベース104、通信モジュール105等の各ハードウェアを備えたコンピュータであってよい。制御装置1、画像認識装置21、ロボット駆動装置31、検査対象装置4は、その他のハードウェアを備えてよい。
制御装置1、画像認識装置21、ロボット駆動装置31、検査対象装置4は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、データベース104、通信モジュール105等の各ハードウェアを備えたコンピュータであってよい。制御装置1、画像認識装置21、ロボット駆動装置31、検査対象装置4は、その他のハードウェアを備えてよい。
図3は制御装置と検査対象装置の機能ブロック図である。
制御装置1は、ロボット制御プログラムを実行することにより、変換式算出部11、検査制御部12、通信部13の各機能を備える。
変換式算出部11は、表示装置40の表示面に表示されたパターン400の撮影画像から得られた情報に基づいて、表示面の座標を、表示面に接触させる所定部位を有するロボットアーム3(ロボット機構)の原点を基準とする三次元空間座標系の座標(以下、ロボット空間座標と呼ぶ)に変換する変換式を算出する。
検査制御部12は、変換式に基づいて、表示装置40の表示面の所定位置にロボットアーム3の所定部位を接触させる制御を行う。
通信部14は検査対象装置4と通信処理を行う。
なお制御装置1が画像認識装置21や、ロボット駆動装置31の機能を備えてもよい。
制御装置1は、ロボット制御プログラムを実行することにより、変換式算出部11、検査制御部12、通信部13の各機能を備える。
変換式算出部11は、表示装置40の表示面に表示されたパターン400の撮影画像から得られた情報に基づいて、表示面の座標を、表示面に接触させる所定部位を有するロボットアーム3(ロボット機構)の原点を基準とする三次元空間座標系の座標(以下、ロボット空間座標と呼ぶ)に変換する変換式を算出する。
検査制御部12は、変換式に基づいて、表示装置40の表示面の所定位置にロボットアーム3の所定部位を接触させる制御を行う。
通信部14は検査対象装置4と通信処理を行う。
なお制御装置1が画像認識装置21や、ロボット駆動装置31の機能を備えてもよい。
検査対象装置4は、検査処理プログラムを実行することにより、表示制御部41、検査処理部42、通信部43の機能を備える。表示制御部41はパターン400等を表示する。検査処理部42は自装置の検査における処理を行う。通信部43は制御装置1と通信接続する。
本実施形態においては、検査時に検査対象装置4が表示装置40の表示面に所定のパターン400を表示する。制御装置1の積載された検査装置10は、台車5が移動することにより、表示装置40を画角内に収める位置であってロボットアーム3の先端が表示装置40に届く位置に移動する。この状態において、ステレオカメラ2が表示装置300の表示面に表示されているパターン400を撮影した画像から得られる情報を算出し、制御装置1へ出力する。制御装置1は、画像認識装置21から取得した情報を用いて、表示面の座標を、表示面に接触させる所定部位を有するロボットアーム3(ロボット機構)の原点を基準とするロボット空間座標系の座標に変換する変換式を算出する。制御装置1は、その変換式に基づいて、表示装置40の表示面の所定位置にロボットアーム3の所定部位を接触させる制御を行う。以下、検査システムの処理の詳細について説明する。
図4は検査システムの処理フローを示す図である。
ロボットアーム3を駆動するロボット駆動装置31は予めロボット空間座標系における、ステレオカメラ2の撮影空間の原点の位置を記憶しているものとする。これにより画像認識装置21は、ロボットアームの原点とステレオカメラ2の撮影空間の原点との相対位置の情報を記憶することができる。まず制御装置1は、例えば検査装置10の指示元から、検査対象装置4を検査するための位置に移動し検査を開始することを示す検査処理開始情報を取得する(ステップS101)。すると制御装置1の検査制御部12は、画像認識装置21へ検査処理の開始を指示する(ステップS102)。また制御装置1の検査制御部12は、通信部13を介して検査対象装置4に検査処理の開始を指示する(ステップS103)。
ロボットアーム3を駆動するロボット駆動装置31は予めロボット空間座標系における、ステレオカメラ2の撮影空間の原点の位置を記憶しているものとする。これにより画像認識装置21は、ロボットアームの原点とステレオカメラ2の撮影空間の原点との相対位置の情報を記憶することができる。まず制御装置1は、例えば検査装置10の指示元から、検査対象装置4を検査するための位置に移動し検査を開始することを示す検査処理開始情報を取得する(ステップS101)。すると制御装置1の検査制御部12は、画像認識装置21へ検査処理の開始を指示する(ステップS102)。また制御装置1の検査制御部12は、通信部13を介して検査対象装置4に検査処理の開始を指示する(ステップS103)。
検査対象装置4の検査処理部42は、検査処理の開始の指示を受け付けると、パターン400の表示装置40への出力を表示制御部41へ指示する。表示制御部41はパターン400を表示装置40の表示面に表示する(ステップS104)。パターン400は一例としては黒い矩形と白い矩形が交互に表示されるチェッカーマークの画像パターンであるとする。画像認識装置21は制御装置1から取得した検査処理の開始の指示に基づいてステレオカメラ2を駆動する。ステレオカメラ2は撮影画像を画像認識装置21へ出力する。撮影画像の画像範囲には検査対象装置4の表示装置40の表示面が含まれている。画像認識装置21は表示面に出力しているパターン400を撮影画像において認識する(ステップS105)。すると画像認識装置21はパターン400の撮影画像中の黒い矩形と白い矩形の形状の状態に基づいて、表示装置40の表示面のパターン400内の所定位置の表示面座標と、その座標の撮影空間座標系の座標と、表示面の撮影空間座標系における法線ベクトルを算出する(ステップS106)。
表示装置40の表示面のパターン400内の所定位置の表示面座標は撮影画像における表示面の領域の縦横比や縦横の撮影画像中のサイズと、当該表示面の所定の原点と、表示面の規定の実サイズとに基づいて当該所定位置を算出することができる。表示装置40の表示面のパターン400内の所定位置の表示面座標に対応する撮影空間座標は、一例としては、パターン400の白黒の複数の矩形の撮影画像中の範囲における縦横の画素数と、予めキャリブレーション等により記憶したステレオカメラ2と表示面とが規定の相対位置である場合における当該矩形の縦横の画素数との対応関係に基づいて算出してよい。
または、表示装置40の表示面のパターン400内の所定位置の表示面座標とその座標に対応する撮影空間座標の算出は、一例としては、ステレオカメラ2から得られた2つの撮影画像を用いて、公知のステレオマッチングの手法により算出してもよい。また表示面のパターン400における少なくとも3つの表示面座標が算出できれば、それらの座標で構成される面の法線ベクトルを算出することができる。一例としては矩形状のパターン400の4つの角の座標等を算出すればよい。
画像認識装置21は、表示装置40の表示面の法線ベクトルとパターン400の所定位置の撮影空間における座標とを制御装置1へ出力する。変換式算出部11は画像認識装置21から表示装置40の表示面の法線ベクトルとパターン400の所定位置の撮影空間における座標とを取得する。変換式算出部11は表示装置40の表示面の法線ベクトルとパターン400の複数の所定位置の表示面座標とその座標に対応する撮影空間座標と、さらに、ロボット空間座標系におけるステレオカメラ2の撮影空間の原点の位置(ロボットアームの原点とステレオカメラ2の撮影空間の原点との相対位置の情報)に基づいて、それらを、公知の変換式算出処理に入力する。その結果、変換式算出部11は、表示装置40の表示面座標を、ロボット空間座標系の座標に変換する変換式を算出する(ステップS107)。変換式算出部11は算出した変換式を検査制御部12へ出力する。
検査制御部12は変換式を算出すると、通信部13を介して変換式の算出完了を示す情報を検査対象装置4へ出力する(ステップS108)。検査対象装置4の検査処理部42は通信部43を介して変換式の算出完了を示す情報を取得する。すると検査処理部42は記憶部から操作手順情報を読み取る。この操作手順情報には表示装置40の表示面の座標とその操作順番とが記録されている。検査処理部42は操作手順情報に記録されている一つ目の操作順番の操作座標を読み取る。検査処理部42は一つ目の操作順番の操作座標を、通信部43を介して制御装置1へ出力する(ステップS109)。制御装置1の検査制御部12は一つ目の操作順番の操作座標を変換式に入力し、ロボット空間座標系の座標に変換する(ステップS110)。検査制御部12は一つ目の操作順番のロボット空間座標系の座標にロボットアーム3の先端を合わせるようロボット駆動装置31に指示する(ステップS111)。するとロボット駆動装置31はロボットアーム3の先端が一つ目の操作順番の表示面の操作座標に対応するロボット空間座標系の座標に合うよう、ロボットアーム3を制御する(ステップS112)。
このような処理により、制御装置1は、検査対象装置4の表示装置40の表示面の所定の座標にロボットアーム3の所定部位を合わせる制御を行うことができる。本実施形態においては上述したように、表示装置40が入力機能を備えたタッチパネルであるとする。検査処理部42は表示装置40にロボットアーム3の選択が接触したことにより検出した接触座標を表示装置40から取得する(ステップS113)。検査処理部42は一つ目の操作順番の座標と、接触を検出した接触座標とが一致するか否かを判定する。当該一致の判定は、所定の座標のズレがある場合でも一致と判定するものであってよい。検査処理部42は一つ目の操作順番の操作座標に対するロボットアーム3の接触有無の情報を記憶部に記録する(ステップS114)。検査処理部42は全ての操作順番について同様の処理を行ったかを判定する(ステップS115)。全ての操作順番について同様の処理を行っていない場合には、ステップS109からの処理を繰り返す。これにより操作手順情報に記録されている各操作順番の表示面の座標に対するロボットアーム3による接触(入力)の検査を行うことができる。
なお上述の処理においては、検査対象装置4が操作手順情報を記憶して、制御装置1に対してロボットアーム3を各操作順番において接触させる表示面の座標を指示している。しかしながら制御装置1が操作手順情報を記憶して、各操作順番においてロボットアーム3を接触させる表示面の座標を指示してもよい。
または上述の処理において、表示制御部41が操作手順情報に記録される各操作順番における表示面の座標に接触位置マークを表示し、その接触位置マークをステレオカメラ2が撮影して撮影画像を生成し、その撮影画像に基づいて制御装置1の検査制御部12が接触位置マークの表示装置の表示面における表示面座標を検出してもよい。この場合、検査制御部12は検出した接触位置マークの表示面座標を変換式に入力してロボット座標系の座標を算出し、その座標にロボットアーム3の先端位置を合わせるようにしてもよい。
検査処理部42は操作手順情報に記録されている操作順番の表示面の座標と、ロボットアーム3の先端位置の接触位置が一致している場合、検査対象装置4の状態が良好であると判定する。当該判定結果は検査対象装置4が他の装置に出力するようにしてもよい。
以上、本発明の一実施形態について説明したが、上述の検査システムの処理によれば、表示装置を有する検査対象装置の当該表示装置の所定位置に対して力を加える検査を自動化することができる。
また上述の検査システムによれば、検査対象装置の表示装置40とロボットアーム3とステレオカメラ2の相対位置を予め固定する膨大な作業が必要なく、表示装置40の所定位置にロボットアーム3の先端位置等の所定部位を接触させて検査を行うことができる。このため量産品の出荷検査など短時間で大量の検査対象装置の表示装置に接触して検査を行う際の労力を軽減することができる。
上述の検査システムの態様において、検査制御部12は、取得した振動情報に基づいて所定の閾値以上の振動を検知した場合に、変換式の算出と、表示装置40の表示面の所定位置にロボットアーム3の先端位置を接触させる制御を繰り返すと判定してもよい。例えば制御装置1が振動センサを備えているとする。検査制御部12は振動センサから振動が与えられた際の加速度を取得する。検査制御部12は加速度が所定の閾値以上である場合、振動が与えられたと判定し、変換式の算出と、その変換式によるロボットアーム3の先端位置を表示面へ接触させる処理を繰り返す。これにより振動が与えられても、精度良く検査を行うことができる。なお制御装置1は加速度が所定の閾値以上である場合には、検査対象装置4に対しても検査処理の繰り返しを指示する。これにより上述のステップS102の処理が繰り返される。
上述の検査システムの態様において、検査制御部12は、ステレオカメラ2や検査装置0や検査対象装置4に力が加わりステレオカメラ2やロボットアーム3と検査対象装置4の表示装置40との相対位置の関係がずれたことにより、撮影画像における表示面に表示されたパターン400の移動による撮影画像のずれを検知した場合に、変換式の算出と、表示装置40の表示面の所定位置にロボットアーム3の先端位置を接触させる制御を繰り返すと判定してもよい。例えば画像認識装置21はステレオカメラ2から得た撮影画像に含まれる表示面の範囲と、次に取得した撮影画像に映る表示面の範囲とにずれが生じたかを判定する。画像認識装置21はずれが生じた場合には制御装置1にずれが発生したことを示す情報を出力する。すると制御装置1は、変換式の算出と、その変換式によるロボットアーム3の先端位置を表示面へ接触させる処理を繰り返す。これにより振動が与えられても、精度良く検査を行うことができる。この場合、制御装置1は検査対象装置4に対しても検査処理の繰り返しを指示する。
なお上述の例において表示制御部41はパターン400を表示装置の表示面の端や中央に表示することができてよい。そしてパターン400を表示しながら、そのパターン400の範囲外の表示面における接触座標に、ロボットアーム3の先端位置を接触させる制御を行ってもよい。
またパターン400にはコード情報などが含まれてもよい。コード情報は検査対象装置4の識別番号などの任意の情報を含んだ情報であってよい。これにより画像認識装置21はパターン400からコード情報を検知し、そのコード情報を制御装置1に出力して、制御装置1がコード情報を用いて何等かの処理を行うようにしてもよい。
図5は制御装置の最小構成を示す図である。
図6は制御装置の最小構成による処理フローを示す図である。
制御装置1は少なくとも、変換式算出部と、検査制御部とを備える。
変換式算出部11は、表示装置40の表示面に表示されたパターン400の撮影画像から得た情報に基づいて、表示面の座標を、表示面に接触させる所定部位を有するロボット機構(ロボットアーム3など)の原点を基準とする三次元空間座標系の座標に変換する変換式を算出する(ステップS601)。
検査制御部12は、変換式に基づいて、表示面の所定位置にロボット機構の所定部位を接触させる制御を行う(ステップS602)。
図6は制御装置の最小構成による処理フローを示す図である。
制御装置1は少なくとも、変換式算出部と、検査制御部とを備える。
変換式算出部11は、表示装置40の表示面に表示されたパターン400の撮影画像から得た情報に基づいて、表示面の座標を、表示面に接触させる所定部位を有するロボット機構(ロボットアーム3など)の原点を基準とする三次元空間座標系の座標に変換する変換式を算出する(ステップS601)。
検査制御部12は、変換式に基づいて、表示面の所定位置にロボット機構の所定部位を接触させる制御を行う(ステップS602)。
上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1・・・制御装置
2・・・ステレオカメラ
3・・・ロボットアーム
4・・・検査対象装置
5・・・台車
10・・・検査装置
20・・・バッテリ
11・・・変換式算出部
12・・・検査制御部
13・・・通信部
21・・・画像認識装置
31・・・ロボット駆動装置
40・・・表示装置
41・・・表示制御部
42・・・検査処理部
43・・・通信部
100・・・検査システム
400・・・パターン
2・・・ステレオカメラ
3・・・ロボットアーム
4・・・検査対象装置
5・・・台車
10・・・検査装置
20・・・バッテリ
11・・・変換式算出部
12・・・検査制御部
13・・・通信部
21・・・画像認識装置
31・・・ロボット駆動装置
40・・・表示装置
41・・・表示制御部
42・・・検査処理部
43・・・通信部
100・・・検査システム
400・・・パターン
Claims (7)
- 検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得する取得手段と、
前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力する指示手段と、
前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像から得た情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、
前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、
を備える制御装置。 - 前記検査制御部は、前記表示面における所定位置を前記変換式に入力して前記三次元空間座標における接触位置を算出し、当該接触位置に前記所定部位を接触させる制御を行う
請求項1に記載の制御装置。 - 前記検査制御部は、取得した振動情報に基づいて所定の閾値以上の振動を検知した場合に、前記撮影画像の取得と、前記変換式の算出と、前記所定位置に前記所定部位を接触させる制御を繰り返すと判定する
請求項1または請求項2に記載の制御装置。 - 前記検査制御部は、前記撮影画像における前記表示面に表示された情報の移動による前記撮影画像のずれを検知した場合に、前記撮影画像の取得と、前記変換式の算出と、前記所定位置に前記所定部位を接触させる制御を繰り返すと判定する
請求項1または請求項2に記載の制御装置。 - 制御装置と検査対象装置とにより構成される検査システムにおいて、
前記制御装置が、
検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得する取得手段と、
前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力する指示手段と、
前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、
前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、を備え、
前記検査対象装置が、
前記表示面に前記パターンを表示する表示制御部と、
前記表示面の所定位置における前記所定部位の接触の有無に基づく検査処理を行う検査処理部と、を備える
検査システム。 - 検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得し、
前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力し、
前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出し、
前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う
制御方法。 - 制御装置のコンピュータを、
検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得する取得手段、
前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力する指示手段、
前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出手段、
前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御手段、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023080807A JP7485153B2 (ja) | 2019-03-15 | 2023-05-16 | 制御装置、検査システム、制御方法、プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048912A JP7283150B2 (ja) | 2019-03-15 | 2019-03-15 | 制御装置、検査システム、制御方法、プログラム |
JP2023080807A JP7485153B2 (ja) | 2019-03-15 | 2023-05-16 | 制御装置、検査システム、制御方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019048912A Division JP7283150B2 (ja) | 2019-03-15 | 2019-03-15 | 制御装置、検査システム、制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023096033A JP2023096033A (ja) | 2023-07-06 |
JP7485153B2 true JP7485153B2 (ja) | 2024-05-16 |
Family
ID=72431480
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019048912A Active JP7283150B2 (ja) | 2019-03-15 | 2019-03-15 | 制御装置、検査システム、制御方法、プログラム |
JP2023080807A Active JP7485153B2 (ja) | 2019-03-15 | 2023-05-16 | 制御装置、検査システム、制御方法、プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019048912A Active JP7283150B2 (ja) | 2019-03-15 | 2019-03-15 | 制御装置、検査システム、制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7283150B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290852A (ja) | 2008-04-30 | 2009-12-10 | Japan Novel Corp | 機器、装置の機能チェック装置 |
JP2010172986A (ja) | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | ロボットビジョンシステムおよび自動キャリブレーション方法 |
US20180126557A1 (en) | 2015-04-02 | 2018-05-10 | Abb Schweiz Ag | Method for industrial robot commissioning, industrial robot system and control system using the same |
-
2019
- 2019-03-15 JP JP2019048912A patent/JP7283150B2/ja active Active
-
2023
- 2023-05-16 JP JP2023080807A patent/JP7485153B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290852A (ja) | 2008-04-30 | 2009-12-10 | Japan Novel Corp | 機器、装置の機能チェック装置 |
JP2010172986A (ja) | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | ロボットビジョンシステムおよび自動キャリブレーション方法 |
US20180126557A1 (en) | 2015-04-02 | 2018-05-10 | Abb Schweiz Ag | Method for industrial robot commissioning, industrial robot system and control system using the same |
Also Published As
Publication number | Publication date |
---|---|
JP2020146825A (ja) | 2020-09-17 |
JP7283150B2 (ja) | 2023-05-30 |
JP2023096033A (ja) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
JP6960980B2 (ja) | 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定 | |
US9604363B2 (en) | Object pickup device and method for picking up object | |
JP6025386B2 (ja) | 画像計測装置、画像計測方法及び画像計測プログラム | |
CN101927494B (zh) | 形状检测*** | |
US10812778B1 (en) | System and method for calibrating one or more 3D sensors mounted on a moving manipulator | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
US20160117824A1 (en) | Posture estimation method and robot | |
US20060269123A1 (en) | Method and system for three-dimensional measurement | |
CN109835706B (zh) | 工件配置*** | |
CN110587592B (zh) | 机器人控制装置、机器人控制方法及计算机可读记录介质 | |
JP2011112401A (ja) | 3次元計測のためのキャリブレーション方法および3次元視覚センサ | |
JP2017033429A (ja) | 3次元物体検査装置 | |
US20220205776A1 (en) | Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device | |
US20220215582A1 (en) | Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device | |
JP2016078180A (ja) | 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法 | |
JP7485153B2 (ja) | 制御装置、検査システム、制御方法、プログラム | |
JP5891399B2 (ja) | 作業検知システムの設定方法及びそれを用いた作業検知システム | |
US10140539B2 (en) | Calibration device for camera-finger—offset | |
US20230321823A1 (en) | Robot control device, and robot system | |
CN112566758A (zh) | 机器人控制装置、机器人控制方法及机器人控制程序 | |
JP2007152371A (ja) | 溶接打点位置検査システム | |
JP2012145381A (ja) | 3次元座標計測装置 | |
JP2008014857A (ja) | プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム | |
JP5580553B2 (ja) | カメラ設置位置検出装置及び検出方法並びにカメラ設置位置検出用治具 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7485153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |