JP7485153B2 - 制御装置、検査システム、制御方法、プログラム - Google Patents

Description

本発明は、制御装置、検査システム、制御方法、プログラムに関する。

検査対象装置を製造した後の出荷の点検の自動化が行われている。関連する技術として特許文献１が開示されている。特許文献１には、ステレオカメラと、アームを有するロボットと、ステレオカメラとロボットとを駆動し制御する制御装置とを有するロボットビジョンシステムにおいて、チェッカーボードをロボットアームの先端部に固定することが記載されている。当該ロボットビジョンシステムでは、ステレオカメラがチェッカーボードを撮影して得た画像を用いて、ロボットアームの移動方向を決定することが記載されている。

特開２０１０－１７２９８６号公報

上述のような検査対象装置の点検の技術として、表示装置を有する検査対象装置の当該表示装置の所定位置に対してロボット機構の所定部位を接触するなどの力を加えて検査を行う為に好適な技術が望まれている。

そこでこの発明は、上述の課題を解決する制御装置、検査システム、制御方法、プログラムを提供することを目的としている。

発明の第１の態様によれば、制御装置は、表示装置の表示面に表示されたパターンの撮影画像から得た情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、を備えることを特徴とする。

発明の第２の態様によれば、検査システムは、制御装置と検査対象装置とにより構成される検査システムにおいて、前記制御装置が、表示装置の表示面に表示されたパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、を備え、前記検査対象装置が、前記表示面に前記パターンを表示する表示制御部と、前記表示面の所定位置における前記所定部位の接触の有無に基づく検査処理を行う検査処理部と、を備えることを特徴とする。

発明の第３の態様によれば、制御方法は、表示装置の表示面に表示されたパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出し、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行うことを特徴とする。

発明の第４の態様によれば、プログラムは、制御装置のコンピュータを、表示装置の表示面に表示されたパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出手段、前記変換式に基づいて、前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御手段、として機能させることを特徴とする。

本発明によれば、表示装置を有する検査対象装置の当該表示装置の所定位置に対して力を加える検査を自動化することができる。

本発明の一実施形態による検査システムの構成を示す図である。 本発明の一実施形態による検査システムを構成する各装置のハードウェア構成を示す図である。 本発明の一実施形態による制御装置と検査対象装置の機能ブロック図である。 本発明の一実施形態による検査システムの処理フローを示す図である。 本発明の一実施形態による制御装置の最小構成を示す図である。 本発明の一実施形態による制御装置の最小構成による処理フローを示す図である。

以下、本発明の一実施形態による検査システムを図面を参照して説明する。
図１は本実施形態による検査システムの構成を示す図である。
図１が示すように検査システム１００は、制御装置１、ステレオカメラ２、ロボットアーム３、バッテリ２０が台車５に積載された検査装置１０を有する。また検査システム１００は、表示装置４０を備えた検査対象装置４を有する。

制御装置１はロボットアーム３を制御する。
ステレオカメラ２は検査対象装置４に設けられた表示装置４０を撮影する。ステレオカメラ２には撮影画像を認識する画像認識装置２１が接続されているものとする。
ロボットアーム３は、制御装置１の制御に基づいてロボットアーム３の所定部位を表示装置４０に接触させる。本実施形態においてロボットアーム３の所定部位はロボットアーム３の先端を成すタッチペンの接触部材であるとする。ロボットアーム３にはロボットアームを制御装置１の制御に基づいて駆動させるロボット駆動装置３１が接続されているものとする。
バッテリ２０は、制御装置１、画像認識装置２１、ロボット駆動装置３１、台車５の動力に対して電力を供給する。台車５には車輪と走行駆動部とが設けられる。台車５は、外部からの制御に基づいて、所望の検査対象装置４に対向して検査可能な位置に移動することができる。

検査対象装置４は一例としては現金自動預け払い機である。検査対象装置４は少なくとも表示装置４０を備えている。検査対象装置４が現金自動預け払い機である場合には表示装置４０はタッチパネルであるとする。以下、検査対象装置４が表示機能と情報入力機能を備えたタッチパネルを表示装置４０として備える場合の例について説明する。なお検査対象装置４はタブレット端末や、車載端末、などの他の表示装置４０を備えた情報機器、電子機器などであってもよい。

図２は検査システムに備わる各装置のハードウェア構成を示す図である。
制御装置１、画像認識装置２１、ロボット駆動装置３１、検査対象装置４は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータであってよい。制御装置１、画像認識装置２１、ロボット駆動装置３１、検査対象装置４は、その他のハードウェアを備えてよい。

図３は制御装置と検査対象装置の機能ブロック図である。
制御装置１は、ロボット制御プログラムを実行することにより、変換式算出部１１、検査制御部１２、通信部１３の各機能を備える。
変換式算出部１１は、表示装置４０の表示面に表示されたパターン４００の撮影画像から得られた情報に基づいて、表示面の座標を、表示面に接触させる所定部位を有するロボットアーム３（ロボット機構）の原点を基準とする三次元空間座標系の座標（以下、ロボット空間座標と呼ぶ）に変換する変換式を算出する。
検査制御部１２は、変換式に基づいて、表示装置４０の表示面の所定位置にロボットアーム３の所定部位を接触させる制御を行う。
通信部１４は検査対象装置４と通信処理を行う。
なお制御装置１が画像認識装置２１や、ロボット駆動装置３１の機能を備えてもよい。

検査対象装置４は、検査処理プログラムを実行することにより、表示制御部４１、検査処理部４２、通信部４３の機能を備える。表示制御部４１はパターン４００等を表示する。検査処理部４２は自装置の検査における処理を行う。通信部４３は制御装置１と通信接続する。

本実施形態においては、検査時に検査対象装置４が表示装置４０の表示面に所定のパターン４００を表示する。制御装置１の積載された検査装置１０は、台車５が移動することにより、表示装置４０を画角内に収める位置であってロボットアーム３の先端が表示装置４０に届く位置に移動する。この状態において、ステレオカメラ２が表示装置３００の表示面に表示されているパターン４００を撮影した画像から得られる情報を算出し、制御装置１へ出力する。制御装置１は、画像認識装置２１から取得した情報を用いて、表示面の座標を、表示面に接触させる所定部位を有するロボットアーム３（ロボット機構）の原点を基準とするロボット空間座標系の座標に変換する変換式を算出する。制御装置１は、その変換式に基づいて、表示装置４０の表示面の所定位置にロボットアーム３の所定部位を接触させる制御を行う。以下、検査システムの処理の詳細について説明する。

図４は検査システムの処理フローを示す図である。
ロボットアーム３を駆動するロボット駆動装置３１は予めロボット空間座標系における、ステレオカメラ２の撮影空間の原点の位置を記憶しているものとする。これにより画像認識装置２１は、ロボットアームの原点とステレオカメラ２の撮影空間の原点との相対位置の情報を記憶することができる。まず制御装置１は、例えば検査装置１０の指示元から、検査対象装置４を検査するための位置に移動し検査を開始することを示す検査処理開始情報を取得する（ステップＳ１０１）。すると制御装置１の検査制御部１２は、画像認識装置２１へ検査処理の開始を指示する（ステップＳ１０２）。また制御装置１の検査制御部１２は、通信部１３を介して検査対象装置４に検査処理の開始を指示する（ステップＳ１０３）。

検査対象装置４の検査処理部４２は、検査処理の開始の指示を受け付けると、パターン４００の表示装置４０への出力を表示制御部４１へ指示する。表示制御部４１はパターン４００を表示装置４０の表示面に表示する（ステップＳ１０４）。パターン４００は一例としては黒い矩形と白い矩形が交互に表示されるチェッカーマークの画像パターンであるとする。画像認識装置２１は制御装置１から取得した検査処理の開始の指示に基づいてステレオカメラ２を駆動する。ステレオカメラ２は撮影画像を画像認識装置２１へ出力する。撮影画像の画像範囲には検査対象装置４の表示装置４０の表示面が含まれている。画像認識装置２１は表示面に出力しているパターン４００を撮影画像において認識する（ステップＳ１０５）。すると画像認識装置２１はパターン４００の撮影画像中の黒い矩形と白い矩形の形状の状態に基づいて、表示装置４０の表示面のパターン４００内の所定位置の表示面座標と、その座標の撮影空間座標系の座標と、表示面の撮影空間座標系における法線ベクトルを算出する（ステップＳ１０６）。

表示装置４０の表示面のパターン４００内の所定位置の表示面座標は撮影画像における表示面の領域の縦横比や縦横の撮影画像中のサイズと、当該表示面の所定の原点と、表示面の規定の実サイズとに基づいて当該所定位置を算出することができる。表示装置４０の表示面のパターン４００内の所定位置の表示面座標に対応する撮影空間座標は、一例としては、パターン４００の白黒の複数の矩形の撮影画像中の範囲における縦横の画素数と、予めキャリブレーション等により記憶したステレオカメラ２と表示面とが規定の相対位置である場合における当該矩形の縦横の画素数との対応関係に基づいて算出してよい。

または、表示装置４０の表示面のパターン４００内の所定位置の表示面座標とその座標に対応する撮影空間座標の算出は、一例としては、ステレオカメラ２から得られた２つの撮影画像を用いて、公知のステレオマッチングの手法により算出してもよい。また表示面のパターン４００における少なくとも３つの表示面座標が算出できれば、それらの座標で構成される面の法線ベクトルを算出することができる。一例としては矩形状のパターン４００の４つの角の座標等を算出すればよい。

画像認識装置２１は、表示装置４０の表示面の法線ベクトルとパターン４００の所定位置の撮影空間における座標とを制御装置１へ出力する。変換式算出部１１は画像認識装置２１から表示装置４０の表示面の法線ベクトルとパターン４００の所定位置の撮影空間における座標とを取得する。変換式算出部１１は表示装置４０の表示面の法線ベクトルとパターン４００の複数の所定位置の表示面座標とその座標に対応する撮影空間座標と、さらに、ロボット空間座標系におけるステレオカメラ２の撮影空間の原点の位置（ロボットアームの原点とステレオカメラ２の撮影空間の原点との相対位置の情報）に基づいて、それらを、公知の変換式算出処理に入力する。その結果、変換式算出部１１は、表示装置４０の表示面座標を、ロボット空間座標系の座標に変換する変換式を算出する（ステップＳ１０７）。変換式算出部１１は算出した変換式を検査制御部１２へ出力する。

検査制御部１２は変換式を算出すると、通信部１３を介して変換式の算出完了を示す情報を検査対象装置４へ出力する（ステップＳ１０８）。検査対象装置４の検査処理部４２は通信部４３を介して変換式の算出完了を示す情報を取得する。すると検査処理部４２は記憶部から操作手順情報を読み取る。この操作手順情報には表示装置４０の表示面の座標とその操作順番とが記録されている。検査処理部４２は操作手順情報に記録されている一つ目の操作順番の操作座標を読み取る。検査処理部４２は一つ目の操作順番の操作座標を、通信部４３を介して制御装置１へ出力する（ステップＳ１０９）。制御装置１の検査制御部１２は一つ目の操作順番の操作座標を変換式に入力し、ロボット空間座標系の座標に変換する（ステップＳ１１０）。検査制御部１２は一つ目の操作順番のロボット空間座標系の座標にロボットアーム３の先端を合わせるようロボット駆動装置３１に指示する（ステップＳ１１１）。するとロボット駆動装置３１はロボットアーム３の先端が一つ目の操作順番の表示面の操作座標に対応するロボット空間座標系の座標に合うよう、ロボットアーム３を制御する（ステップＳ１１２）。

このような処理により、制御装置１は、検査対象装置４の表示装置４０の表示面の所定の座標にロボットアーム３の所定部位を合わせる制御を行うことができる。本実施形態においては上述したように、表示装置４０が入力機能を備えたタッチパネルであるとする。検査処理部４２は表示装置４０にロボットアーム３の選択が接触したことにより検出した接触座標を表示装置４０から取得する（ステップＳ１１３）。検査処理部４２は一つ目の操作順番の座標と、接触を検出した接触座標とが一致するか否かを判定する。当該一致の判定は、所定の座標のズレがある場合でも一致と判定するものであってよい。検査処理部４２は一つ目の操作順番の操作座標に対するロボットアーム３の接触有無の情報を記憶部に記録する（ステップＳ１１４）。検査処理部４２は全ての操作順番について同様の処理を行ったかを判定する（ステップＳ１１５）。全ての操作順番について同様の処理を行っていない場合には、ステップＳ１０９からの処理を繰り返す。これにより操作手順情報に記録されている各操作順番の表示面の座標に対するロボットアーム３による接触（入力）の検査を行うことができる。

なお上述の処理においては、検査対象装置４が操作手順情報を記憶して、制御装置１に対してロボットアーム３を各操作順番において接触させる表示面の座標を指示している。しかしながら制御装置１が操作手順情報を記憶して、各操作順番においてロボットアーム３を接触させる表示面の座標を指示してもよい。

または上述の処理において、表示制御部４１が操作手順情報に記録される各操作順番における表示面の座標に接触位置マークを表示し、その接触位置マークをステレオカメラ２が撮影して撮影画像を生成し、その撮影画像に基づいて制御装置１の検査制御部１２が接触位置マークの表示装置の表示面における表示面座標を検出してもよい。この場合、検査制御部１２は検出した接触位置マークの表示面座標を変換式に入力してロボット座標系の座標を算出し、その座標にロボットアーム３の先端位置を合わせるようにしてもよい。

検査処理部４２は操作手順情報に記録されている操作順番の表示面の座標と、ロボットアーム３の先端位置の接触位置が一致している場合、検査対象装置４の状態が良好であると判定する。当該判定結果は検査対象装置４が他の装置に出力するようにしてもよい。

以上、本発明の一実施形態について説明したが、上述の検査システムの処理によれば、表示装置を有する検査対象装置の当該表示装置の所定位置に対して力を加える検査を自動化することができる。

また上述の検査システムによれば、検査対象装置の表示装置４０とロボットアーム３とステレオカメラ２の相対位置を予め固定する膨大な作業が必要なく、表示装置４０の所定位置にロボットアーム３の先端位置等の所定部位を接触させて検査を行うことができる。このため量産品の出荷検査など短時間で大量の検査対象装置の表示装置に接触して検査を行う際の労力を軽減することができる。

上述の検査システムの態様において、検査制御部１２は、取得した振動情報に基づいて所定の閾値以上の振動を検知した場合に、変換式の算出と、表示装置４０の表示面の所定位置にロボットアーム３の先端位置を接触させる制御を繰り返すと判定してもよい。例えば制御装置１が振動センサを備えているとする。検査制御部１２は振動センサから振動が与えられた際の加速度を取得する。検査制御部１２は加速度が所定の閾値以上である場合、振動が与えられたと判定し、変換式の算出と、その変換式によるロボットアーム３の先端位置を表示面へ接触させる処理を繰り返す。これにより振動が与えられても、精度良く検査を行うことができる。なお制御装置１は加速度が所定の閾値以上である場合には、検査対象装置４に対しても検査処理の繰り返しを指示する。これにより上述のステップＳ１０２の処理が繰り返される。

上述の検査システムの態様において、検査制御部１２は、ステレオカメラ２や検査装置０や検査対象装置４に力が加わりステレオカメラ２やロボットアーム３と検査対象装置４の表示装置４０との相対位置の関係がずれたことにより、撮影画像における表示面に表示されたパターン４００の移動による撮影画像のずれを検知した場合に、変換式の算出と、表示装置４０の表示面の所定位置にロボットアーム３の先端位置を接触させる制御を繰り返すと判定してもよい。例えば画像認識装置２１はステレオカメラ２から得た撮影画像に含まれる表示面の範囲と、次に取得した撮影画像に映る表示面の範囲とにずれが生じたかを判定する。画像認識装置２１はずれが生じた場合には制御装置１にずれが発生したことを示す情報を出力する。すると制御装置１は、変換式の算出と、その変換式によるロボットアーム３の先端位置を表示面へ接触させる処理を繰り返す。これにより振動が与えられても、精度良く検査を行うことができる。この場合、制御装置１は検査対象装置４に対しても検査処理の繰り返しを指示する。

なお上述の例において表示制御部４１はパターン４００を表示装置の表示面の端や中央に表示することができてよい。そしてパターン４００を表示しながら、そのパターン４００の範囲外の表示面における接触座標に、ロボットアーム３の先端位置を接触させる制御を行ってもよい。

またパターン４００にはコード情報などが含まれてもよい。コード情報は検査対象装置４の識別番号などの任意の情報を含んだ情報であってよい。これにより画像認識装置２１はパターン４００からコード情報を検知し、そのコード情報を制御装置１に出力して、制御装置１がコード情報を用いて何等かの処理を行うようにしてもよい。

図５は制御装置の最小構成を示す図である。
図６は制御装置の最小構成による処理フローを示す図である。
制御装置１は少なくとも、変換式算出部と、検査制御部とを備える。
変換式算出部１１は、表示装置４０の表示面に表示されたパターン４００の撮影画像から得た情報に基づいて、表示面の座標を、表示面に接触させる所定部位を有するロボット機構（ロボットアーム３など）の原点を基準とする三次元空間座標系の座標に変換する変換式を算出する（ステップＳ６０１）。
検査制御部１２は、変換式に基づいて、表示面の所定位置にロボット機構の所定部位を接触させる制御を行う（ステップＳ６０２）。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・制御装置
２・・・ステレオカメラ
３・・・ロボットアーム
４・・・検査対象装置
５・・・台車
１０・・・検査装置
２０・・・バッテリ
１１・・・変換式算出部
１２・・・検査制御部
１３・・・通信部
２１・・・画像認識装置
３１・・・ロボット駆動装置
４０・・・表示装置
４１・・・表示制御部
４２・・・検査処理部
４３・・・通信部
１００・・・検査システム
４００・・・パターン

Claims (7)

1. 検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得する取得手段と、
   前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力する指示手段と、
   前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像から得た情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、
   前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、
   を備える制御装置。
2. 前記検査制御部は、前記表示面における所定位置を前記変換式に入力して前記三次元空間座標における接触位置を算出し、当該接触位置に前記所定部位を接触させる制御を行う
   請求項１に記載の制御装置。
3. 前記検査制御部は、取得した振動情報に基づいて所定の閾値以上の振動を検知した場合に、前記撮影画像の取得と、前記変換式の算出と、前記所定位置に前記所定部位を接触させる制御を繰り返すと判定する
   請求項１または請求項２に記載の制御装置。
4. 前記検査制御部は、前記撮影画像における前記表示面に表示された情報の移動による前記撮影画像のずれを検知した場合に、前記撮影画像の取得と、前記変換式の算出と、前記所定位置に前記所定部位を接触させる制御を繰り返すと判定する
   請求項１または請求項２に記載の制御装置。
5. 制御装置と検査対象装置とにより構成される検査システムにおいて、
   前記制御装置が、
   検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得する取得手段と、
   前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力する指示手段と、
   前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出部と、
   前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御部と、を備え、
   前記検査対象装置が、
   前記表示面に前記パターンを表示する表示制御部と、
   前記表示面の所定位置における前記所定部位の接触の有無に基づく検査処理を行う検査処理部と、を備える
   検査システム。
6. 検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得し、
   前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力し、
   前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出し、
   前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う
   制御方法。
7. 制御装置のコンピュータを、
   検査対象装置に設けられた表示装置の表示面にロボット機構の所定部位が接触できる位置に前記ロボット機構が移動したことに基づいて検査処理開始情報を取得する取得手段、
   前記検査処理開始情報の取得に基づいて前記検査対象装置に検査処理の開始指示を出力する指示手段、
   前記開始指示の結果、前記表示装置が表示面に表示したパターンの撮影画像の情報に基づいて、前記表示面の座標を、前記表示面に接触させる所定部位を有するロボット機構の原点を基準とする三次元空間座標に変換する変換式を算出する変換式算出手段、
   前記検査対象装置が前記表示面に表示した接触位置マークの前記三次元空間座標と前記変換式に基づいて、前記接触位置マークに対応する前記表示面の座標を算出し、当該座標を示す前記表示面の所定位置に前記ロボット機構の所定部位を接触させる制御を行う検査制御手段、
   として機能させるプログラム。

Images