JP2023146927A - コンピュータプログラム、および、端末装置 - Google Patents

Abstract

【課題】三次元物体データを使用して位置を決定する【解決手段】三次元センサにより測定される三次元点群に基づく対象三次元物体データと、三次元センサの測定位置の座標を表す測定座標データと、を取得する。デジタルカメラにより撮影される二次元画像データと、デジタルカメラの撮影位置の座標を表す撮影座標データと、デジタルカメラの視野に関連する視野データと、二次元画像内の特定位置であって操作部を示す特定位置を表す特定位置データと、を取得する。対象三次元物体データと、測定座標データと、撮影座標データと、視野データと、特定位置データと、を使用して、対象三次元物体データによって表される対象物体の表面上の位置であって特定位置に対応する位置である対応位置を決定する。【選択図】 図１

Description

本明細書は、物体の表面を表す三次元物体データを処理する技術に関する。

部品の移動作業、挿入作業、組み立て作業などの作業に、ロボットが使用され得る。ロボットに関連して、特許文献１は、以下の技術を開示している。ロボットのハンドに作用する力を検出する力センサの力センサ信号からハンドに加わる力を算出する。ロボットアームの各関節軸駆動モータの位置検出信号から部品の移動量の移動速度を算出する。ハンドに加わる力と移動速度の積を時間積分して移動時に消費される仕事量を算出する。移動量を第１軸、仕事量を第２軸とする２次元平面内において、ハンドリング作業完了時の移動量と仕事量が予め設定した閉領域の外側にある場合に把持部品とハンド間の滑りが発生したと判定する。

特開２０１１－８８２６０号公報

ロボットが部品や製品などの物体を扱う場合、ロボットに対する部品の位置と姿勢とを取得するために、物体の表面を表す三次元物体データ（例えば、三次元点群データ、三次元メッシュデータなど）が使用され得る。また、ロボットは、物体の特定の部分（例えば、ボタンやタッチパネルなどの操作されるべき部分）の操作に、使用され得る。ところが、三次元物体データを使用して物体の特定の部分の位置を決定することは、容易ではなく、工夫の余地があった。

本明細書は、三次元物体データを使用して位置を決定する技術を開示する。

本明細書に開示された技術は、以下の適用例として実現することが可能である。

［適用例１］コンピュータを有する処理装置のコンピュータプログラムであって、操作部を含む対象物体の表面を表す対象三次元物体データであって三次元センサにより測定される三次元点群に基づく前記対象三次元物体データと、前記三次元センサの測定位置の座標を表す測定座標データと、を取得する第１取得機能と前記操作部の画像を含む二次元画像の二次元画像データであってデジタルカメラにより撮影される前記二次元画像データと、前記デジタルカメラの撮影位置の座標を表す撮影座標データと、前記デジタルカメラの視野に関連する視野データと、前記二次元画像内の特定位置であって前記操作部を示す前記特定位置を表す特定位置データと、を取得する第２取得機能と、前記対象三次元物体データと、前記測定座標データと、前記撮影座標データと、前記視野データと、前記特定位置データと、を使用して、前記対象三次元物体データによって表される前記対象物体の前記表面上の位置であって前記特定位置に対応する前記位置である対応位置を決定する位置決定機能と、をコンピュータに実現させる、コンピュータプログラム。

この構成によれば、対象三次元物体データと、測定座標データと、撮影座標データと、視線方向データと、特定位置データと、を使用して、対象三次元物体データの座標系における特定位置に対応する位置である対応位置を適切に決定できる。

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、データを処理する方法およびデータを処理する装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

一実施例としての端末装置を示す概略図である。 （Ａ）－（Ｃ）は、座標系の説明図である。 （Ａ）－（Ｄ）は、テストの概要を示す説明図である。 第１処理の例を示すフローチャートである。 キャリブレーションの例を示すフローチャートである。 モデル点群ＰＣｍを取得する処理の例を示すフローチャートである。 三次元センサ１５０の測定位置の例を示す説明図である。 シーン点群ＰＣｓを取得する処理の例を示すフローチャートである。 撮影配置の決定処理の例を示すフローチャートである。 （Ａ）は、目標配置の例を示す説明図である。（Ｂ）は、撮影画像ＩＭＧａの例を示している。（Ｃ）は、撮影画像ＩＭＧｂの例を示している。 スクリプトＳＣの例を示す概略図である。 第２処理の例を示すフローチャートである。 デジタルカメラ１４０の移動処理の例を示すフローチャートである。 対応位置を決定する処理の例のフローチャートである。

Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としての端末装置を示す概略図である。端末装置２００は、例えば、パーソナルコンピュータである。端末装置２００には、ロボットアーム１２０とカメラシステム１６０とが接続されている。ロボットアーム１２０には、ツール１３０とカメラシステム１６０とが固定されている。図中には、対象装置３００が示されている。端末装置２００は、ツール１３０とカメラシステム１６０とを使用して、対象装置３００をテストする。本実施例では、対象装置３００は、本体３９０と、本体３９０に取り付けられた操作パネル３１０と、を有する複合機である。操作パネル３１０は、画面３２０と、画面３２０上に配置されたタッチパネル３３０と、第１ボタン３４０と、第２ボタン３５０と、を有している。画面３２０には、操作用のボタンが表示され得る。ユーザは、タッチパネル３３０のうちのボタンに重なる部分を押下することによって、対象装置３００に指示を入力できる。ボタン３４０、３５０は、物理的なボタンである。ユーザは、ボタン３４０、３５０を押下することによって、対象装置３００に指示を入力できる。操作パネル３１０は、本体３９０に対して可動である。具体的には、本体３９０に対する操作パネル３１０の角度（すなわち、回転位置）は、調整可能である。

ロボットアーム１２０は、基部１２１と、基部１２１に接続されたアーム１２２と、を有している。基部１２１は、図示しない作業場に固定される。アーム１２２は、複数のリンクを有している。複数のリンクは、回転、並進などの種々の動きを許容するジョイントによって接続されている。本実施例では、アーム１２２は、６軸のロボットアームである。図示を省略するが、６軸のそれぞれのジョイントは、ジョイントを駆動するサーボモータと、ジョイントの駆動位置（例えば、回転角度）を検出する位置検出器（例えば、エンコーダ）と、を有している。端末装置２００は、各ジョイントの駆動モータを制御することによって、各ジョイントを独立に動かすことができる。また、端末装置２００は、各ジョイントの位置検出器から出力されるデータを使用することによって、アーム１２２の動作状態（例えば、アーム１２２の全体の形状）を取得できる。

アーム１２２の端部１２３には、ツール１３０とカメラシステム１６０とが固定されている。本実施例では、ツール１３０は、１本の棒状の部材である（棒状の部材は、指とも呼ばれる）。対象装置３００の操作のために、ツール１３０の端部が、対象装置３００に接触する。環境（ここでは、対象装置３００）と相互作用する部材は、エンドエフェクタとも呼ばれる。ツール１３０は、エンドエフェクタの例である。

カメラシステム１６０は、２次元の画像データを生成するデジタルカメラ１４０と、物体の表面上の複数の点のそれぞれの三次元座標を測定する三次元センサ１５０と、を有している。三次元センサ１５０の種類は、種々の種類であってよく、例えば、立体視、構造化光パターン、飛行時間のいずれかであってよい。立体視は、パッシブステレオ方式とも呼ばれ、複数のカメラによる撮影画像を使用して物体の表面上の三次元座標を測定する方式である。構造化光パターンは、アクティブステレオ方式とも呼ばれ、物体に投影された光のパターンを使用して物体の表面上の三次元座標を測定する方式である。飛行時間は、レーザや赤外線などの光が送信されてから、物体からの反射光が戻るまでの時間を使用して物体の表面上の三次元座標を測定する方式である。三次元センサは、三次元センサから物体の表面までの距離（深度とも呼ばれる）を測定する深度センサとも呼ばれる。三次元センサ１５０は、対象装置３００を含む空間（シーンとも呼ぶ）を測定する。

本実施例では、デジタルカメラ１４０と三次元センサ１５０とは、同じ方向を向いている。三次元センサ１５０は、デジタルカメラ１４０によって撮影される対象物（例えば、対象装置３００）の表面上の複数の点のそれぞれの三次元座標を測定可能である。

端末装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を有している。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の指示を端末装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。通信インタフェース２７０には、ロボットアーム１２０と、カメラシステム１６０と、が接続される。

プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、第１プログラム２３１と、第２プログラム２３２と、を格納している。また、不揮発性記憶装置２３０は、モデル点群ＰＣｍのデータと、シーン点群ＰＣｓのデータと、視野データＤＳと、を格納している。これらのプログラムとデータとの詳細については、後述する。

本実施例では、プロセッサ２１０は、カメラシステム１６０からのデータを使用して、対象装置３００の操作パネル３１０の操作対象（ボタンなど）の位置を取得する。プロセッサ２１０は、ツール１３０によって操作対象を操作することによって、対象装置３００をテストする。

Ａ２．座標系：
図２（Ａ）－図２（Ｃ）は、座標系の説明図である。図２（Ａ）には、ロボットアーム１２０とツール１３０とカメラシステム１６０と対象装置３００とが示されている。図中には、以下の座標系が示されている。
（１）ロボット座標系Ｃｒｂ
（２）ツール座標系Ｃｒｔ
（３）カメラ座標系Ｃｒｃ
（４）モデル座標系Ｃｒｍ
座標系Ｃｒｂ、Ｃｒｔ、Ｃｒｃ、Ｃｒｍの符号の末尾の文字（ｂ、ｔ、ｃ、ｍ）は、座標系の基準を示している。「ｂ」はロボットアーム１２０を示し、「ｔ」はツール１３０を示し、「ｃ」はカメラシステム１６０を示し、「ｍ」はモデル点群ＰＣｍを示している。これらの座標系Ｃｒｂ、Ｃｒｔ、Ｃｒｃ、Ｃｒｍは、いずれも、三次元の直交座標系である（直交座標系は、デカルト座標系とも呼ばれる）。

ロボット座標系Ｃｒｂは、ロボットアーム１２０の予め決められた基準点Ｃｂを原点とする座標系である。本実施例では、ロボット座標系Ｃｒｂは、基部１２１に固定されており、アーム１２２の動きから独立している。

ツール座標系Ｃｒｔは、ツール１３０の予め決められたツールセンタポイントＣｔを原点とする座標系である。本実施例では、ツールセンタポイントＣｔは、ツール１３０のうちの対象装置３００と接触すべき部分に、配置されている。ツール座標系Ｃｒｔは、ツール１３０に固定されている。なお、ツール座標系Ｃｒｔの原点は、他の位置に配置されてもよい。

カメラ座標系Ｃｒｃは、カメラシステム１６０の予め決められた基準点Ｃｃを原点とする座標系である。本実施例では、基準点Ｃｃは、カメラシステム１６０の被写体側の部分（例えば、デジタルカメラ１４０のレンズの表面）に、配置されている。カメラ座標系Ｃｒｃは、カメラシステム１６０に固定されている。なお、本実施例では、デジタルカメラ１４０の位置は、三次元センサ１５０の位置とおおよそ同じであり、デジタルカメラ１４０の視野（すなわち、撮影可能範囲）と三次元センサ１５０の視野（すなわち、測定可能範囲）とは、おおよそ同じ方向を向いている。カメラ座標系Ｃｒｃは、デジタルカメラ１４０と三次元センサ１５０とに共通に使用される。なお、カメラ座標系Ｃｒｃの原点は、他の位置に配置されてもよい。

モデル座標系Ｃｒｍは、対象装置３００の表面を示すモデル点群ＰＣｍの基準点Ｃｍを原点とする座標系である。後述するように、モデル点群ＰＣｍは、三次元センサ１５０の測定データを使用して、形成され得る。この場合、モデル座標系Ｃｒｍは、カメラ座標系Ｃｒｃと同じであり得る。

三次元の直交座標系は、互いに直交する３個の基底ベクトルによって定められる。或る座標系の基底ベクトルから他の座標系の基底ベクトルへの変換は、基底変換行列によって表され得る。図２（Ａ）には、複数の基底変換行列Ｔｂｔ、Ｔｔｃ、Ｔｂｍ、Ｔｍｃが示されている（成分の詳細については、図示省略）。これらの行列の概要は、以下の通りである。
（１）行列Ｔｂｔ：算出可：ロボット座標系Ｃｒｂからツール座標系Ｃｒｔへの変換
（２）行列Ｔｔｃ：固定 ：ツール座標系Ｃｒｔからカメラ座標系Ｃｒｃへの変換
（３）行列Ｔｂｍ：未知 ：ロボット座標系Ｃｒｂからモデル座標系Ｃｒｍへの変換
（４）行列Ｔｍｃ：未知 ：モデル座標系Ｃｒｍからカメラ座標系Ｃｒｃへの変換

基底変換行列は、いわゆる同次変換行列によって表現可能である。図２（Ｂ）は、ロボット座標系Ｃｒｂの基底ベクトルをツール座標系Ｃｒｔの基底ベクトルに変換する基底変換行列Ｔｂｔを示している。基底変換行列Ｔｂｔは、回転と平行移動（並進とも呼ばれる）とを表す４行４列の行列である。要素Ｒｂｔは、回転を示す３行３列の回転行列である。回転行列Ｒｂｔの下の「０（ゼロ）」は、回転行列Ｒｂｔの下の３個の要素（すなわち、第４行の第１－第３列の３個の要素）のそれぞれがゼロであることを示している。要素Ｏｂｔは、平行移動を示す３行１列の列ベクトルである（並進ベクトルとも呼ばれる）。

図２（Ｃ）は、ツール座標系Ｃｒｔの座標（Ｘｔ，Ｙｔ，Ｚｔ）とロボット座標系Ｃｒｂの座標（Ｘｂ，Ｙｂ，Ｚｂ）との関係の例を示している。座標の変換は、基底ベクトルの変換と同様に、同次変換行列によって表現可能である。図中の座標変換行列ＴＣｔｂは、回転と並進とを表す４行４列の行列である。要素Ｒｔｂは、回転を示す３行３列の回転行列である。回転行列Ｒｔｂは、３個の列ベクトルＢＸ、ＢＹ、ＢＺの要素を配置したものと同じである。列ベクトルＢＸ、ＢＹ、ＢＺは、それぞれ、ツール座標系Ｃｒｔで見たロボット座標系Ｃｒｂの基底ベクトルＢＸ、ＢＹ、ＢＺの成分を示している。要素ＢＯは、並進ベクトルを示す３行１列のベクトルである。要素ＢＯは、ツール座標系Ｃｒｔで見たロボット座標系Ｃｒｂの原点Ｃｂの座標（Ｃｂｘ、Ｃｂｙ，Ｃｂｚ）を示している。

座標変換行列ＴＣｔｂは、ツール座標系Ｃｒｔの座標（Ｘｔ，Ｙｔ，Ｚｔ）を、ロボット座標系Ｃｒｂの座標（Ｘｂ，Ｙｂ，Ｚｂ）を使用して表現するための変換行列である。この座標変換行列ＴＣｔｂは、図２（Ｂ）に示す基底変換行列Ｔｂｔの逆行列で表される。同次変換行列の逆行列は、公知の方法で算出可能である。

ロボット座標系Ｃｒｂからツール座標系Ｃｒｔへの変換の行列Ｔｂｔは、ロボットアーム１２０の幾何学的な形状から、算出可能である。例えば、ロボットアーム１２０の各ジョイントの駆動位置から、基底変換行列Ｔｂｔは算出される。基底変換行列Ｔｂｔを使用することによって、ロボット座標系Ｃｒｂでのツール１３０の位置を算出することができる。なお、ジョイントのパラメータからツール１３０などのエンドエフェクタの位置を算出する技術は、フォワードキネマティクスとも呼ばれる。

本実施例では、ツール１３０（図２（Ａ））とカメラシステム１６０との間の相対的な位置関係は、固定されている。従って、ツール座標系Ｃｒｔからカメラ座標系Ｃｒｃへの変換の行列Ｔｔｃは、予め決められている。

モデル座標系Ｃｒｍに関連する行列Ｔｂｍ、Ｔｍｃは、未知である。後述するように、対象装置３００のテストのための処理で、モデル座標系Ｃｒｍが決定され、ロボット座標系Ｃｒｂからモデル座標系Ｃｒｍへの変換を示す行列Ｔｂｍが算出される。

なお、基底変換行列Ｔｂｔと座標変換行列ＴＣｔｂとの間の関係と同様に、他の基底変換行列Ｔｔｃ、Ｔｂｍ、Ｔｍｃと対応する座標変換行列との間の関係も、逆行列によって表される。

Ａ３．テストの概要：
図３（Ａ）－図３（Ｄ）は、テストの概要を示す説明図である。図３（Ａ）には、ロボットアーム１２０とツール１３０とカメラシステム１６０と対象装置３００とが示されている。端末装置２００は、ツール１３０で対象装置３００の操作パネル３１０を操作することによって、対象装置３００をテストする。

デジタルカメラ１４０は、対象装置３００の操作パネル３１０を撮影する。図３（Ｂ）は、撮影画像ＩＭＧの例を示している。本実施例では、操作パネル３１０は、画面３２０とタッチパネル３３０とを有している。図中には、撮影画像ＩＭＧのうちの画面３２０を含む一部分が示されている。撮影画像ＩＭＧは、画面３２０に表示されたコピーボタン３２１と、スキャンボタン３２２と、プリントボタン３２３と、を示している。ここで、スキャンボタン３２２が操作対象であることとする。端末装置２００は、予め準備されたスキャンボタン３２２の画像を使用して、撮影画像ＩＭＧ内のスキャンボタン３２２の位置Ｐａ１を検出する。この位置Ｐａ１は、操作すべき位置を示している（以下、特定位置Ｐａ１とも呼ぶ）。

図３（Ａ）には、対象装置３００上の操作位置Ｐｍ１が示されている。この操作位置Ｐｍ１は、対象装置３００の操作パネル３１０上の、特定位置Ｐａ１（図３（Ｂ））によって示される部分の位置である。視線Ｌ１は、デジタルカメラ１４０（例えば、基準点Ｃｃ）から特定位置Ｐａ１に対応する部分（ここでは、対象装置３００上の操作位置Ｐｍ１）へ向かう線である。一般的に、撮影画像ＩＭＧ上の種々の位置Ｐａに、デジタルカメラ１４０から位置Ｐａに対応する部分へ向かう視線Ｌが対応付けられる。カメラ座標系Ｃｒｃで表される視線Ｌと撮影画像ＩＭＧ上の位置Ｐａとの間の対応関係は、デジタルカメラ１４０の構成に応じて決まる。視線Ｌは、デジタルカメラ１４０の構成に応じて決まる種々の線であり得る（例えば、視線Ｌは、直線部分に加えて、曲がる部分を含み得る）。

位置Ｐａに対応付けられる視線Ｌは、デジタルカメラ１４０の構成を示すパラメータを使用して算出されてよい。そのようなパラメータは、例えば、カメラ座標系Ｃｒｃで表される被写体の三次元の座標を、撮影画像ＩＭＧ内の被写体の位置を示す二次元の座標に変換するパラメータ（例えば、座標変換行列）であってよい。このようなパラメータは、内部パラメータとも呼ばれる。内部パラメータは、画角、レンズの歪み、などのデジタルカメラ１４０の構成に応じて、予め決定される。

撮影画像ＩＭＧは、デジタルカメラ１４０の撮影可能領域（すなわち、視野１４０ｖ）の画像を示している。位置Ｐａが撮影画像ＩＭＧ内で変化する場合に、視線Ｌは、視野１４０ｖ内で、種々に変化する。このように、内部パラメータは、撮影画像ＩＭＧとデジタルカメラ１４０の視野１４０ｖとの関係を定めている。内部パラメータを示すデータは、デジタルカメラ１４０の視野１４０ｖに関連する視野データの例である。以下、視野データＤＳ（図１）が、デジタルカメラ１４０の内部パラメータを示していることとする。

端末装置２００は、操作位置Ｐｍ１の座標を算出するために、対象装置３００の表面上の複数の点のそれぞれの座標を示すモデル点群ＰＣｍを参照する。端末装置２００は、視線Ｌ１と、モデル点群ＰＣｍによって表される対象装置３００の表面と、の交点の座標を算出する。算出される座標が、操作位置Ｐｍ１を示している。

モデル点群ＰＣｍの座標は、モデル座標系Ｃｒｍで表されている。端末装置２００は、モデル座標系Ｃｒｍの座標をカメラ座標系Ｃｒｃの座標に変換することによって、カメラ座標系Ｃｒｃで表される操作位置Ｐｍ１の座標を算出する。この座標変換には、モデル座標系Ｃｒｍからカメラ座標系Ｃｒｃへの変換を示す基底変換行列Ｔｍｃ（図２（Ａ））に対応付けられる座標変換行列（例えば、行列Ｔｍｃの逆行列）を使用可能である。

図３（Ｃ）は、基底変換行列Ｔｍｃの説明図である。或る座標系に複数の基底変換行列を順番に適用する場合、合成された基底変換行列は、各基底変換行列を順番に右に乗じて得られる行列と同じである。図３（Ｃ）に示すように、モデル座標系Ｃｒｍからカメラ座標系Ｃｒｃへの変換の行列Ｔｍｃは、座標系Ｃｒｍ、Ｃｒｂ、Ｃｒｔ、Ｃｒｃの順番に基底ベクトルを変換する基底変換行列と同じである。図中のＴｂｍ^－１は、Ｔｂｍの逆行列であり、モデル座標系Ｃｒｍからロボット座標系Ｃｒｂへの基底変換行列と同じである。行列Ｔｂｔは、ロボット座標系Ｃｒｂからツール座標系Ｃｒｔへの変換を示し、行列Ｔｔｃは、ツール座標系Ｃｒｔからカメラ座標系Ｃｒｃへの変換を示している。

図３（Ｄ）は、モデル座標系Ｃｒｍの座標（Ｘｍ，Ｙｍ，Ｚｍ）とカメラ座標系Ｃｒｃの座標（Ｘｃ，Ｙｃ，Ｚｃ）との関係の例を示している。図中のＴｍｃ^－１は、図３（Ｃ）に示す基底変換行列Ｔｍｃの逆行列である。モデル点群ＰＣｍの座標は、図３（Ｄ）の式に従って、カメラ座標系Ｃｒｃの座標に変換される。行列Ｔｍｃの算出には、図３（Ｃ）に示すように、行列Ｔｂｍ、Ｔｂｔ、Ｔｔｃが使用される。上述したように、行列Ｔｂｔは、算出可能であり、行列Ｔｔｃは、予め決められている。従って、行列Ｔｂｍを推定することによって、行列Ｔｍｃが推定される。

端末装置２００は、ロボットアーム１２０を駆動することによって、ツール１３０に操作パネル３１０の操作位置Ｐｍ１を押下させる。この押下の後、端末装置２００は、デジタルカメラ１４０に、画面３２０を撮影させる。撮影画像が操作位置Ｐｍ１の押下後に表示すべき適切な画面（例えば、スキャンの進行中を示す画面）を示す場合、端末装置２００は、対象装置３００の機能が適切であると判断する。

Ａ４．テストのための処理：
対象装置３００のテストのための処理は、第１処理（図４）と後述する第２処理（図１２）とを含んでいる。第１処理は、準備処理であり、第２処理は、テスト処理である。本実施例では、複数個の対象装置３００のそれぞれが、１つずつ順番に、テストされる。第１処理は、複数の対象装置３００のために、１回実行される。第２処理は、対象装置３００毎に実行される。

Ａ４－１．第１処理（準備処理）：
図４は、第１処理の例を示すフローチャートである。作業者は、第１処理の開始時に、対象装置３００の電源をオフにする。端末装置２００のプロセッサ２１０は、第１プログラム２３１に従って、第１処理を進行する。Ｓ１１０では、キャリブレーションが行われる。キャリブレーションは、基底変換行列Ｔｂｍを推定する処理である。図５は、キャリブレーションの例を示すフローチャートである。

Ｓ２１０では、プロセッサ２１０は、モデル点群ＰＣｍを取得済であるか否かを判断する。種々の場合に、Ｓ２１０の判断結果はＮｏである。そのような場合としては、例えば、第１処理が初めて実行される場合、取得済のモデル点群ＰＣｍのデータが削除された場合、などがある。Ｓ２１０の判断結果がＮｏである場合、Ｓ２２０で、プロセッサ２１０は、モデル点群ＰＣｍを取得する。

図６は、モデル点群ＰＣｍを取得する処理の例を示すフローチャートである。Ｓ３１０では、三次元センサ１５０が、対象装置３００の表面を測定可能な新たな位置に移動される。図７は、三次元センサ１５０の測定位置の例を示す説明図である。図中には、ロボットアーム１２０とカメラシステム１６０と対象装置３００とが示されている。本実施例では、三次元センサ１５０による測定は、複数の位置で行われる。図中には、測定位置の例を示す基準点Ｃｃ（ａ）、Ｃｃ（ｂ）、Ｃｃ（ｃ）が示されている。これらの基準点Ｃｃ（ａ）、Ｃｃ（ｂ）、Ｃｃ（ｃ）は、測定位置に配置されたカメラシステム１６０の基準点Ｃｃを示している。各基準点Ｃｃ（ａ）、Ｃｃ（ｂ）、Ｃｃ（ｃ）において、三次元センサ１５０の視野１５０ｖは、対象装置３００に向けられる。

Ｓ３１０（図６）では、三次元センサ１５０の位置と向き（すなわち、カメラシステム１６０の位置と向き）は、三次元センサ１５０による対象装置３００の測定が可能な位置と向きとに、設定される。本実施例では、作業者が、カメラシステム１６０を移動させる（ロボットアーム１２０は、カメラシステム１６０の移動に追随して動くように構成される）。位置と向きとの調整が完了した場合、作業者は、操作部２５０を操作することによって、処理の進行の指示を入力する。これにより、プロセッサ２１０は、Ｓ３１５を開始する。

Ｓ３１５では、プロセッサ２１０は、三次元センサ１５０に対象装置３００を含む空間を測定させることによって、三次元センサ１５０から点群データを取得する。取得される点群データは、三次元センサ１５０の視野１５０ｖ内の対象装置３００の表面のうち、三次元センサ１５０から視認可能な表面上の複数の点のそれぞれの座標を示している。取得される座標は、カメラ座標系Ｃｒｃで表されている。この点群データをモデル点群ＰＣｍとして使用する場合、カメラ座標系Ｃｒｃは、モデル座標系Ｃｒｍを示している。

Ｓ３２０では、プロセッサ２１０は、取得された点群のデータを、モデル点群ＰＣｍのデータとして、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。

Ｓ３２５では、プロセッサ２１０は、ロボット座標系Ｃｒｂからカメラ座標系Ｃｒｃへの変換を示す基底変換行列Ｔｂｃを算出する。ここで、Ｔｂｃ＝Ｔｂｔ Ｔｔｃである。プロセッサ２１０は、ロボットアーム１２０の各ジョイントの駆動位置から、行列Ｔｂｔを算出する。プロセッサ２１０は、算出された行列Ｔｂｔに、予め決められた行列Ｔｔｃを乗じることによって、行列Ｔｂｃを算出する。

Ｓ３３０では、プロセッサ２１０は、算出された基底変換行列Ｔｂｃを示すデータを、基底変換行列Ｔｂｍを示すデータとして、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。上述したように、Ｓ３１５の点群データは、カメラ座標系Ｃｒｃで表されている。このカメラ座標系Ｃｒｃは、モデル座標系Ｃｒｍを示している。従って、行列Ｔｂｃは、行列Ｔｂｍを示している。

続くＳ３４０、Ｓ３４５、Ｓ３５５は、Ｓ３１０、Ｓ３１５、Ｓ３２５と、それぞれ同じである。プロセッサ２１０は、新たな測定位置で測定された新たな点群データを取得し（Ｓ３４０、Ｓ３４５）、新たな点群データの基底変換行列Ｔｂｃを算出する（Ｓ３５５）。

Ｓ３６０では、プロセッサ２１０は、基底変換行列Ｔｍｃを算出する。ここで、Ｔｍｃ＝Ｔｂｍ^－１ Ｔｂｃである。行列Ｔｂｍは、Ｓ３３０で格納された行列であり、行列Ｔｂｃは、Ｓ３５５で算出された行列である。プロセッサ２１０は、行列Ｔｂｍの逆行列を算出し、算出された逆行列に行列Ｔｂｃを乗じることによって、行列Ｔｍｃを算出する。

Ｓ３６５では、プロセッサ２１０は、Ｓ３４５で取得された点群データの座標を、Ｓ３６０で算出された行列Ｔｍｃを使用して、カメラ座標系Ｃｒｃの座標からモデル座標系Ｃｒｍの座標に変換する。この座標変換は、図３（Ｄ）に示すように、行列Ｔｍｃの逆行列を使用して行われる。この座標変換により、Ｓ３４５で取得された点群データは、モデル点群ＰＣｍのデータ（すなわち、Ｓ３１５で取得された点群データ）の座標系（すなわち、モデル座標系Ｃｒｍ）と同じ座表現で表される。

Ｓ３７０では、プロセッサ２１０は、Ｓ３６５で変換された点群データを、モデル点群ＰＣｍのデータに合成する。プロセッサ２１０は、合成済のモデル点群ＰＣｍのデータを、不揮発性記憶装置２３０に格納する。合成済のモデル点群ＰＣｍは、合成前の２個の点群を足し合わせたものである。

Ｓ３７５では、プロセッサ２１０は、終了条件が満たされるか否かを判断する。終了条件は、モデル点群ＰＣｍが対象装置３００の表面を示す十分な密度の複数の点を含むことを示す任意の条件であってよい。例えば、終了条件は、合成された点群の総数が予め決められた閾値以上であることであってよい。これに代えて、終了条件は、予め決められた複数の配置設定のリストの全ての配置設定が処理されたことであってよい。終了条件が満たされない場合（Ｓ３７５：Ｎｏ）、プロセッサ２１０は、Ｓ３４０へ移行する。そして、プロセッサ２１０は、新たな点群データを処理する。終了条件が満たされる場合（Ｓ３７５：Ｙｅｓ）、プロセッサ２１０は、図６の処理、すなわち、図５のＳ２２０の処理を終了する。このように、Ｓ２２０では、プロセッサ２１０は、モデル点群ＰＣｍを取得し、基底変換行列Ｔｂｍを算出する。モデル点群ＰＣｍのデータは、対象装置３００の形状の基準を示すデータとして、使用される。

Ｓ２４０では、プロセッサ２１０は、基底変換行列Ｔｂｍの算出後に、対象物体（ここでは、対象装置３００）の位置が変更されたか否かを判断する。作業者は、対象装置３００を、別の対象装置３００に置換し得る（例えば、テスト済の対象装置３００が、未テストの対象装置３００に置換される）。この置換により、対象装置３００の位置は、変化し得る。また、作業者は、テストのために、対象装置３００の位置を調整し得る。

Ｓ２４０の判断方法は、種々の方法であってよい。本実施例では、作業者は、対象装置３００の置換や位置の調整等により対象装置３００の位置が変化し得る場合に、端末装置２００の操作部２５０を操作することによって、位置が変化し得ることを示す位置変化情報を入力する。プロセッサ２１０は、行列Ｔｂｍの算出後に位置変化情報が入力される場合に、対象装置３００の位置が変更されたと判断する（Ｓ２４０：Ｙｅｓ）。これに代えて、端末装置２００には、対象装置３００の位置を検出する位置センサが接続されてよい。そして、プロセッサ２１０は、位置センサからのデータを分析することによって、行列Ｔｂｍの算出後に、対象装置３００の位置が変更されたか否かを判断してよい。

Ｓ２４０の判断結果がＮｏである場合、プロセッサ２１０は、図５の処理、すなわち、図４のＳ１１０の処理を終了する。第１処理（図４）が初めて実行される場合、通常は、Ｓ２４０の判断結果は、Ｎｏである。図５の処理で準備されるモデル点群ＰＣｍは、複数の対象装置３００のテストに、共通に使用可能である。

図５の処理は、種々の環境下で実行され得る。Ｓ２１０の判断結果は、種々の場合に、Ｙｅｓである。後述するように、図５のキャリブレーションは、テスト済の対象装置３００が未テストの対象装置３００に置換された後に、再び実行される。このように、今回のキャリブレーションが２回目以降のキャリブレーションである場合、Ｓ２１０の判断結果はＹｅｓであり得る。また、モデル点群ＰＣｍのデータは、対象装置３００の立体的な形状を示すＣＡＤデータから予め生成されてよい（ＣＡＤは、computer-aided designの略）。この場合、Ｓ２１０の判断結果はＹｅｓであり得る。Ｓ２１０の判断結果がＹｅｓである場合、Ｓ２３０で、プロセッサ２１０は、基底変換行列Ｔｂｍが算出済であるか否かを判断する。モデル点群ＰＣｍがＣＡＤデータから生成される場合、モデル点群ＰＣｍは取得済であり、かつ、行列Ｔｂｍは未算出であり得る。行列Ｔｂｍが未算出である場合（Ｓ２３０：Ｎｏ）、プロセッサ２１０は、Ｓ２５０へ移行する。行列Ｔｂｍが算出済である場合（Ｓ２３０：Ｙｅｓ）、プロセッサ２１０は、Ｓ２４０に移行する。Ｓ２４０の判断結果がＹｅｓである場合、プロセッサ２１０は、Ｓ２５０へ移行する。

Ｓ２５０では、プロセッサ２１０は、シーン点群ＰＣｓを取得する。図８は、シーン点群ＰＣｓを取得する処理の例を示すフローチャートである。シーン点群ＰＣｓは、対象装置３００の表面上の複数の点の座標を示している。図８の処理は、以下の相違点を除いて、図６の処理と同じである。なお、図８の各ステップの符号は、図６の対応するステップの符号の末尾に文字「ｓ」を付加したものである。例えば、Ｓ３１５ｓは、図６のＳ３１５に対応している。
（相違点１）点群データは、モデル点群ＰＣｍのデータではなく、シーン点群ＰＣｓのデータとして使用される。
（相違点２）Ｓ３１５ｓのカメラ座標系Ｃｒｃは、モデル座標系Ｃｒｍではなく、シーン座標系Ｃｒｓとして使用される。
（相違点３）Ｓ３３０ｓでは、行列Ｔｂｃは、行列Ｔｂｍではなく、ロボット座標系Ｃｒｂからシーン座標系Ｃｒｓへの変換を示す基底変換行列Ｔｂｓとして使用される。
（相違点４）Ｓ３６０ｓ、Ｓ３６５ｓでは、行列Ｔｍｃではなく、基底変換行列Ｔｂｓの逆行列と基底変換行列Ｔｂｃとの積で表される基底変換行列Ｔｓｃが使用される（Ｔｓｃ＝Ｔｂｓ^－１ Ｔｂｃ）。
これらの相違点を除いて、図８の各ステップの処理は、図６の対応するステップの処理と同じである。

Ｓ２６０（図５）では、プロセッサ２１０は、モデル点群ＰＣｍとシーン点群ＰＣｓとのマッチングによって、基底変換行列Ｔｂｍを算出する。ここで、Ｔｂｍ＝Ｔｂｓ Ｔｓｍである。行列Ｔｂｓは、Ｓ２５０で算出される。行列Ｔｓｍは、シーン座標系Ｃｒｓからモデル座標系Ｃｒｍへの変換を示す基底変換行列である。この行列Ｔｓｍは、以下のように、算出可能である。モデル点群ＰＣｍによって表される対象装置３００の形状は、シーン点群ＰＣｓによって表される対象装置３００の形状と、同じである。従って、モデル点群ＰＣｍによって表される対象装置３００を、シーン点群ＰＣｓによって表される対象装置３００に一致するように、投影することができる。この投影は、座標変換の一種であり、回転と並進とを示す同次変換行列によって表すことが可能である。ここで、モデル点群ＰＣｍが、シーン点群ＰＣｓの取得時の対象装置３００の配置（具体的には、位置と向き）と同じ配置の対象装置３００の測定によって取得されたと仮定する。基底変換行列Ｔｓｍは、この仮定の下での基底変換行列であり、上述の投影を示す座標変換に対応付けられる基底変換行列である。例えば、基底変換行列Ｔｓｍは、図２（Ｃ）で説明した座標変換行列ＴＣｔｂと基底変換行列Ｔｂｔとの間の関係と同様の関係に従って、投影を示す座標変換行列から算出される。

投影を示す座標変換行列（ひいては、基底変換行列Ｔｓｍ）の算出方法は、投影済のモデル点群ＰＣｍとシーン点群ＰＣｓとの間で対象装置３００が一致するように行列を算出する任意の方法であってよい。例えば、ベクトルペアマッチング（Vector Pair Matching）と呼ばれる方法が採用されてよい。ベクトルペアマッチングの方法によれば、３個の点によって形成される三次元のベクトルペアであって、特徴的なベクトルペアが、モデル点群ＰＣｍから抽出される。そして、シーン点群ＰＣｓから、特徴的なベクトルペアに類似するベクトルペアが、検出される。特徴的なベクトルペアと類似するベクトルペアとの間で位置を合せる姿勢変換パラメータ（すなわち、上記の投影を示す座標変換行列）が算出される。また、モデルベーストマッチング（Model-Based Matching）と呼ばれる方法が採用されてよい。モデルベーストマッチングの方法によれば、モデル点群ＰＣｍが幾何変換され、シーン点群ＰＣｓと直接照合されることで、投影を示す座標変換行列が決定される。

Ｓ２６０で算出される基底変換行列Ｔｂｍは、モデル点群ＰＣｍの取得時の対象装置３００の位置と向きとがシーン点群ＰＣｓの取得時の位置と向きとそれぞれ同じであると仮定する場合のロボット座標系Ｃｒｂからモデル座標系Ｃｒｍへの変換を示している。この行列Ｔｂｍとモデル点群ＰＣｍとを組み合わせて使用することによって、シーン点群ＰＣｓの代わりにモデル点群ＰＣｍを使用することができる。

Ｓ２７０では、プロセッサ２１０は、Ｓ２６０による投影済のモデル点群ＰＣｍとシーン点群ＰＣｓとの間の差を示す第１評価値Ｖ１が第１閾値ＴＨ１を超えるか否かを判断する。第１評価値Ｖ１は、投影済のモデル点群ＰＣｍによって表される対象装置３００と、シーン点群ＰＣｓによって表される対象装置３００と、の間の違いの大きさを示している。このような評価値の算出方法は、種々の方法であってよい。本実施例では、プロセッサ２１０は、投影済のモデル点群ＰＣｍの複数の点のうちの対象装置３００を示す複数の点のそれぞれに関して、シーン点群ＰＣｓの複数の点のうちの最も近い点との距離を算出する。投影済の対象装置３００が、シーン点群ＰＣｓの対象装置３００と一致する場合、各点の距離は、小さくなる。投影済の対象装置３００とシーン点群ＰＣｓの対象装置３００との間のズレが大きい場合、各点の距離は、大きくなる。プロセッサ２１０は、投影済の対象装置３００を示す複数の点のそれぞれの距離の平均値を、評価値として算出する。評価値が小さいほど、投影済の対象装置３００とシーン点群ＰＣｓの対象装置３００との間のズレが小さい。

本実施例では、対象装置３００（図１）の本体３９０に対する操作パネル３１０の回転位置は調整可能である。モデル点群ＰＣｍの測定時（図５：Ｓ２２０）とシーン点群ＰＣｓの測定時（図５：Ｓ２５０）との間で、操作パネル３１０の回転位置の差が大きい場合、第１評価値Ｖ１は大きい。第１閾値ＴＨ１は、回転位置の差が、対象装置３００のテストに適する値よりも大きい場合に、第１評価値Ｖ１が第１閾値ＴＨ１を超えるように、予め実験的に決められる。第１評価値Ｖ１が第１閾値ＴＨ１以下であるような操作パネル３１０の回転位置の範囲は、回転位置の許容範囲を示している。

なお、モデル点群ＰＣｍとシーン点群ＰＣｓとは、対象装置３００の表面とは異なる部分を示す複数の点（非対象点と呼ぶ）を含み得る。非対象点は、第１評価値Ｖ１の算出から除かれることが好ましい。非対象点を除く方法は、任意の方法であってよい。例えば、プロセッサ２１０は、モデル点群ＰＣｍの複数の点が分布する領域のうちの第１評価値Ｖ１の算出に使用すべき領域の選択を、作業者に許容してよい。作業者による領域の選択方法は、任意の方法であってよい。例えば、プロセッサ２１０は、モデル点群ＰＣｍの複数の点の立体図を、表示部２４０に表示する。作業者は、表示された領域のうち対象装置３００を示す領域を、操作部２５０を操作することによって選択する。作業者による領域の選択（すなわち、点の選択）は、Ｓ２７０より前の種々の段階で行われてよい（例えば、Ｓ２６０とＳ２７０の間、または、Ｓ２５０とＳ２６０の間）。

第１評価値Ｖ１が第１閾値ＴＨ１以下である場合（Ｓ２７０：Ｎｏ）、シーン点群ＰＣｓの操作パネル３１０の回転位置は、許容範囲内である。この場合、プロセッサ２１０は、図５の処理、すなわち、図４のＳ１１０の処理を終了する。

第１評価値Ｖ１が第１閾値ＴＨ１を超える場合（Ｓ２７０：Ｙｅｓ）、シーン点群ＰＣｓの操作パネル３１０の回転位置は、許容範囲の外である。この場合、Ｓ２８０で、プロセッサ２１０は、報知処理を実行する。報知処理は、操作パネル３１０の回転位置が許容範囲の外であることを作業者に報知する任意の処理であってよい。例えば、プロセッサ２１０は、メッセージを表示部２４０に表示してよい。また、プロセッサ２１０は、図示しないスピーカから、警告音を出力してよい。Ｓ２８０の後、プロセッサ２１０は、図５の処理、すなわち、図４のＳ１１０の処理を終了する。なお、Ｓ２８０の報知処理が実行される場合、作業者は、第１処理（図４）を中止してよい。そして、作業者は、操作パネル３１０の回転位置を調整し、改めて第１処理を開始してよい。

Ｓ１２０－Ｓ１４０（図４）では、プロセッサ２１０は、予め決められたｎ個（ｎは、１以上の整数）の操作対象のそれぞれの撮影配置を決定する。撮影配置は、撮影対象を撮影するためのデジタルカメラ１４０の位置と向きを示している。操作対象は、対象装置３００のテストで操作される部材である。本実施例では、後述するように、操作対象は、タッチパネル３３０とボタン３４０、３５０とを含んでいる。各撮影対象には、ゼロから始まる昇順の識別番号が予め割り振られている。Ｓ１３０は、ｉ番（ｉは、ゼロ以上、ｎ－１以下の整数）の操作対象の撮影配置を決定する処理である。プロセッサ２１０は、ゼロ番からｎ－１番まで１つずつ順番に、Ｓ１３０を実行する。

図９は、撮影配置の決定処理の例を示すフローチャートである。Ｓ４１０では、デジタルカメラ１４０の配置（ここでは、位置と向き）が、ｉ番の操作対象の撮影に適する配置である目標配置に設定される。撮影に適する位置と向きは、ｉ番の操作対象を撮影画像の中央部分に配置するような位置と向きである。

図１０（Ａ）は、デジタルカメラ１４０の目標配置の例を示す説明図である。図中には、ロボットアーム１２０とカメラシステム１６０と対象装置３００とが示されている。デジタルカメラ１４０の位置と向きとは、デジタルカメラ１４０を含むカメラシステム１６０に固定されたカメラ座標系Ｃｒｃによって、示すことが可能である。以下、ｉ番の操作対象のための目標配置を示すカメラ座標系Ｃｒｃを、カメラ座標系Ｃｒｃ（ｉ）とも呼ぶ。図中には、目標配置をそれぞれ示すカメラ座標系Ｃｒｃ（ａ）、Ｃｒｃ（ｂ）が示されている。

第１カメラ座標系Ｃｒｃ（ａ）は、画面３２０に表示されるスキャンボタン３２２のための目標配置を示している。この目標配置に配置されるデジタルカメラ１４０の視野１４０ｖは、スキャンボタン３２２に向けられる。図１０（Ｂ）は、この目標配置で撮影される撮影画像ＩＭＧａの例を示している。図中には、撮影画像ＩＭＧａのうちの画面３２０を含む一部分が示されている。撮影画像ＩＭＧａは、画面３２０に表示されたスキャンボタン３２２の画像を含んでいる。

図１０（Ａ）の第２座標系Ｃｒｃ（ｂ）は、ボタン３４０、３５０のための目標配置を示している。本実施例では、第２ボタン３５０が第１ボタン３４０の近くに配置されている。この目標配置は、第１ボタン３４０と第２ボタン３５０とに共通である。この目標配置に配置されるデジタルカメラ１４０の視野１４０ｖは、ボタン３４０、３５０に向けられる。図１０（Ｃ）は、この目標配置で撮影される撮影画像ＩＭＧｂの例を示している。図中には、撮影画像ＩＭＧｂのうちのボタン３４０、３５０を含む一部分が示されている。

本実施例では、Ｓ４１０（図９）では、作業者が、カメラシステム１６０を移動することによって、デジタルカメラ１４０の位置と向き（すなわち、カメラシステム１６０の位置と向き）を、ｉ番の操作対象の撮影に適する位置と向きとに、設定する（ロボットアーム１２０は、カメラシステム１６０の移動に追随して動くように構成される）。作業者は、デジタルカメラ１４０がｉ番の操作対象を撮影できるように、デジタルカメラ１４０による撮影画像を観察することによって、カメラシステム１６０の位置と向きとを調整してよい。位置と向きとの調整が完了した場合、作業者は、操作部２５０を操作することによって、処理の進行の指示を入力する。これにより、プロセッサ２１０は、Ｓ４１５へ移行する。

Ｓ４１５では、プロセッサ２１０は、基底変換行列Ｔｂｃ（ｉ）を算出する。基底変換行列Ｔｂｃ（ｉ）は、ロボット座標系Ｃｒｂからｉ番のカメラ座標系Ｃｒｃ（ｉ）（Ｓ４１０）への変換を示している。基底変換行列Ｔｂｃ（ｉ）の算出方法は、図６のＳ３２５の基底変換行列Ｔｂｃの算出方法と、同じである。

Ｓ４２０では、プロセッサ２１０は、基底変換行列Ｔｍｃ（ｉ）を算出する。基底変換行列Ｔｍｃ（ｉ）は、モデル座標系Ｃｒｍからｉ番のカメラ座標系Ｃｒｃ（ｉ）（Ｓ４１０）への変換を示している。ここで、Ｔｍｃ（ｉ）＝Ｔｂｍ^－１ Ｔｂｃ（ｉ）である。行列Ｔｂｍは、図４のＳ１１０で算出される。

Ｓ４２５では、プロセッサ２１０は、算出された基底変換行列Ｔｍｃ（ｉ）を示すデータを、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図９の処理、すなわち、図４のＳ１３０の処理を終了する。

なお、図１０（Ａ）の第２座標系Ｃｒｃ（ｂ）のように、１個の目標配置は、２以上の操作対象に共通であり得る。この場合、複数の操作対象の複数の行列Ｔｍｃは、同じ行列を示し得る。例えば、第１ボタン３４０に関連付けられる行列Ｔｍｃは、第２ボタン３５０に関連付けられる行列Ｔｍｃと同じである。複数の操作対象に同じ目標配置を関連付ける方法は、種々の方法であってよい。例えば、作業者は、図９のＳ４１０で、デジタルカメラ１４０を動かさずに、処理の進行の指示を端末装置２００に入力してよい。また、Ｓ４１０では、プロセッサ２１０は、他の操作対象のために設定済の目標配置を選択する作業者の指示を、受け付けてよい。

ｎ個の操作対象のそれぞれの撮影配置（ここでは、行列Ｔｍｃ（ｉ））が決定された後、Ｓ１５０－Ｓ１７０（図４）で、プロセッサ２１０は、ｎ個の操作対象のそれぞれの撮影画像である対象画像を取得する。Ｓ１６０は、ｉ番の操作対象のための処理である。Ｓ１５０－Ｓ１７０では、プロセッサ２１０は、ゼロ番からｎ－１番まで１つずつ順番に、Ｓ１６０を実行する。

Ｓ１６０では、プロセッサ２１０は、基底変換行列Ｔｍｃ（ｉ）（Ｓ１３０）に従ってロボットアーム１２０を駆動することにより、デジタルカメラ１４０をｉ番の目標配置に配置する。ロボットアーム１２０の幾何学的な形状には、基底変換行列Ｔｂｔが対応付けられる。ここで、Ｔｂｔ＝Ｔｂｍ Ｔｍｃ（ｉ） Ｔｔｃ^－１である。行列Ｔｂｍは、Ｓ１１０（図４）で算出される。行列Ｔｍｃ（ｉ）は、Ｓ１３０（図４）で算出される。行列Ｔｔｃ（すなわち、逆行列Ｔｔｃ^－１）は、予め決められている。プロセッサ２１０は、これらの行列を使用して、行列Ｔｂｔを算出する。プロセッサ２１０は、算出される行列Ｔｂｔに対応付けられる形状にロボットアーム１２０の形状がなるように、ロボットアーム１２０を制御する。なお、Ｓ１６０では、デジタルカメラ１４０の位置と向きとは、作業者によって、調整されてもよい。作業者は、デジタルカメラ１４０がｉ番の操作対象を撮影できるように、デジタルカメラ１４０による撮影画像を観察することによって、カメラシステム１６０の位置と向きとを調整してよい。

デジタルカメラ１４０の配置の後、プロセッサ２１０は、デジタルカメラ１４０に対象装置３００を撮影させ、デジタルカメラ１４０から撮影画像のデータを取得する。撮影画像は、ｉ番の操作対象を示している。プロセッサ２１０は、撮影画像の周辺部を切り落とすクロップ処理を実行する。本実施例では、作業者が、操作部２５０を操作することによって、クロップ処理によって抽出すべき領域を示す領域情報を入力する。抽出すべき領域は、ｉ番の操作対象の画像を含む領域である。プロセッサ２１０は、入力される領域情報に従って、クロップ処理を実行する。以下、Ｓ１６０で取得されるｉ番の操作対象の画像を、対象画像ＩＴ（ｉ）とも呼ぶ。プロセッサ２１０は、対象画像ＩＴ（ｉ）のデータを、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。なお、クロップ処理によって切り落とされる領域は、予め決められてよい。

ｎ個の操作対象のそれぞれの対象画像が取得された後、Ｓ１８０で、プロセッサ２１０は、スクリプトを生成する。スクリプトは、テストの手順を示している。図１１は、スクリプトＳＣの例を示す概略図である。本実施例では、スクリプトＳＣは、ｋ個（ｋは１以上の整数）のコマンドのそれぞれの設定を示している。図中の１つの行が、１個のコマンドを示している。１個のコマンドは、１個の操作対象の操作を示している。１個のコマンドには、番号ＣＮと、対象画像ＩＴと、撮影配置ＣＦと、操作方法ＭＴと、判定画像ＩＲとが、関連付けられる。

番号ＣＮは、コマンドの実行順を示している。対象画像ＩＴは、Ｓ１６０（図４）で取得される対象画像ＩＴ（ｉ）を示している。この対象画像ＩＴ（ｉ）によって示されるｉ番の操作対象が、コマンドの操作対象である。撮影配置ＣＦは、Ｓ１３０（図４）で決定される行列Ｔｍｃ（ｉ）を示している。操作方法ＭＴは、操作対象の操作方法を示している。本実施例では、操作方法ＭＴは、「押下」に設定される。なお、「引き」、「回転」など、「押下」とは異なる操作方法が、採用されてよい。判定画像ＩＲは、操作対象の操作の後の判定に使用される画像である。判定画像ＩＲ（ｕ）は、ｕ番のコマンドの操作によって得られる適切な結果を示している。例えば、画面３２０に表示されたスキャンボタン３２２の押下の後、画面３２０がスキャンの進行中を示す状態画像を表示すべきである場合、判定画像ＩＲは、状態画像を表示する画面３２０を示す。また、第１ボタン３４０の押下の後、第１ボタン３４０のランプが点灯すべきである場合、判定画像ＩＲは、点灯状態の第１ボタン３４０を示す。

図１１の例では、１番のコマンドは、スキャンボタン３２２の操作を示し、２番と３番のコマンドは、第１ボタン３４０の操作を示し、４番のコマンドは、第２ボタン３５０の操作を示している。このように、スクリプトＳＣは、１個の操作対象の複数のコマンドを、含み得る。なお、複数のコマンドの間で操作対象が共通であっても、判定画像ＩＲは、異なり得る。例えば、３番のコマンドの判定画像ＩＲ（３）は、２番のコマンドの判定画像ＩＲ（２）と異なり得る。また、各コマンドの撮影配置ＣＦは、対象画像ＩＴによって示されるｉ番の操作対象に関連付けられる行列Ｔｍｃ（ｉ）を示している。図１０（Ａ）、図１０（Ｂ）で説明したように、ボタン３４０、３５０には、同じ目標配置が、関連付けられる。従って、第２ボタン３５０の行列Ｔｍｃ（３）は、第１ボタン３４０の行列Ｔｍｃ（２）と同じである。

Ｓ１８０（図４）では、プロセッサ２１０は、作業者の指示に応じて、スクリプトＳＣを生成する。作業者は、コマンド毎に、操作対象の識別番号と、操作方法ＭＴ（ここでは「押下」）と、判定画像ＩＲのデータと、を指定する。プロセッサ２１０は、対象画像ＩＴと撮影配置ＣＦとを、入力される操作対象の識別番号（ｒ番とする）に関連付けられる対象画像ＩＴ（ｒ）と行列Ｔｍｃ（ｒ）とに決定する。判定画像ＩＲのデータは、作業者によって予め準備される。全てのコマンドの情報ＣＮ、ＩＴ、ＣＦ、ＭＴ、ＩＲの決定完了に応じて、プロセッサ２１０は、スクリプトＳＣを示すデータを記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納し、図４の処理を終了する。

Ａ４－２．第２処理（テスト処理）：
図１２は、第２処理の例を示すフローチャートである。第１処理（図４）の後、第２処理が実行される。第２処理は、対象装置３００の動作をテストする。作業者は、第２処理の開始時に、対象装置３００の電源をオンにする。端末装置２００のプロセッサ２１０は、第２プログラム２３２に従って、第２処理を進行する。Ｓ５１０では、プロセッサ２１０は、キャリブレーション処理を実行する。キャリブレーション処理は、図４のＳ１１０の処理（すなわち、図５の処理）と同じである。第１処理（図４）の実行後に、第２処理が初めて実行される場合、図５において、Ｓ２１０の判断結果はＹｅｓであり、Ｓ２３０の判断結果はＹｅｓである。Ｓ２４０の判断結果がＮｏである場合、プロセッサ２１０は、基底変換行列Ｔｂｍを変更せずに、図５の処理、すなわち、図１２のＳ５１０の処理を終了する。

Ｓ５１５では、プロセッサ２１０は、不揮発性記憶装置２３０からスクリプトＳＣのデータを読み込む。

Ｓ５２０－Ｓ５６５では、プロセッサ２１０は、ｋ個のコマンド（図１１）のそれぞれを実行する。Ｓ５２５－Ｓ５５５は、ｊ番（ｊは１以上、ｋ以下の整数）のコマンドのための処理である。プロセッサ２１０は、１番からｋ番まで１つずつ順番に、Ｓ５２５－Ｓ５５５を実行する。

Ｓ５２５では、プロセッサ２１０は、スクリプトＳＣ（図１１）を参照して、ｊ番のコマンドの撮影配置ＣＦを取得する。ここで、ｊ番のコマンドの操作対象の識別番号がｑ番であることとする。Ｓ５２５では、行列Ｔｍｃ（ｑ）が取得される。プロセッサ２１０は、行列Ｔｍｃ（ｑ）に対応する撮影配置で対象装置３００が撮影済であるか否かを判断する。行列Ｔｍｃ（ｑ）が、処理済のコマンドの撮影配置ＣＦ（すなわち、行列Ｔｍｃ）に含まれない場合、判断結果はＮｏである。この場合、Ｓ５３０で、プロセッサ２１０は、デジタルカメラ１４０を、行列Ｔｍｃ（ｑ）に対応する撮影配置に移動させる。

図１３は、デジタルカメラ１４０の移動処理の例を示すフローチャートである。Ｓ６１０では、プロセッサ２１０は、ロボット座標系Ｃｒｂからカメラ座標系Ｃｒｃへの変換を示す基底変換行列Ｔｂｃ（ｑ）を算出する。ここで、Ｔｂｃ（ｑ）＝Ｔｂｍ Ｔｍｃ（ｑ）である。行列Ｔｂｍは、図１２のＳ５１０で決定される。行列Ｔｍｃ（ｑ）は、Ｓ５２５で取得される。

Ｓ６２０では、プロセッサ２１０は、基底変換行列Ｔｂｃ（ｑ）に対応する撮影配置に、カメラシステム１６０を移動させる。ここで、行列Ｔｂｃ（ｑ）は、Ｔｂｃ（ｑ）＝Ｔｂｔ（ｑ） Ｔｔｃの関係式で表現可能である。Ｔｂｔ（ｑ）は、Ｔｂｃ（ｑ）に関連付けられる基底変換行列Ｔｂｔである。この関係式から、行列Ｔｂｔ（ｑ）は、Ｔｂｔ（ｑ）＝Ｔｂｃ（ｑ） Ｔｔｃ^－１の関係式で表される。行列Ｔｔｃ（すなわち、逆行列Ｔｔｃ^－１）は、予め決められている。プロセッサ２１０は、この関係式に従って、行列Ｔｂｔ（ｑ）を算出する。プロセッサ２１０は、算出される行列Ｔｂｔ（ｑ）に対応付けられる形状にロボットアーム１２０の形状がなるように、ロボットアーム１２０を制御する。以上により、デジタルカメラ１４０は、基底変換行列Ｔｂｃ（ｑ）に対応する撮影配置に、配置される。そして、プロセッサ２１０は、図１３の処理、すなわち、図１２のＳ５３０の処理を終了する。

Ｓ５３５では、プロセッサ２１０は、デジタルカメラ１４０に対象装置３００を撮影させることによって、デジタルカメラ１４０から撮影画像のデータを取得する。撮影画像は、ｑ番の操作対象を示している。プロセッサ２１０は、撮影画像のデータを記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、Ｓ５４０へ移行する。

行列Ｔｍｃ（ｑ）に対応する撮影配置で対象装置３００が撮影済である場合（Ｓ５２５：Ｙｅｓ）、プロセッサ２１０は、Ｓ５３０、Ｓ５３５をスキップして、Ｓ５４０へ移行する。

Ｓ５４０では、プロセッサ２１０は、撮影画像を使用して、ｑ番の操作対象の位置である対応位置の三次元座標を決定する。図１４は、対応位置を決定する処理の例のフローチャートである。Ｓ７１０では、プロセッサ２１０は、スクリプトＳＣ（図１１）を参照して、ｊ番のコマンドの対象画像ＩＴを取得する（ｑ番の操作対象を示す対象画像ＩＴ（ｑ）が取得される）。プロセッサ２１０は、画像認識（例えば、パターンマッチング）によって、撮影画像中の対象画像ＩＴ（ｑ）の位置である特定位置Ｐａ（ｑ）を決定する。図１０（Ｂ）、図１０（Ｃ）には、特定位置の例が示されている。図１０（Ｂ）の特定位置Ｐａ１は、スキャンボタン３２２の位置を示している。図１０（Ｃ）中では、特定位置Ｐａ２は、第１ボタン３４０の位置を示し、特定位置Ｐａ３は、第２ボタン３５０の位置を示している。

Ｓ７２０（図１４）では、プロセッサ２１０は、撮影画像から、対象画像ＩＴ（ｑ）に対応する部分画像を検出する（第１検出画像と呼ぶ）。プロセッサ２１０は、第１検出画像と対象画像ＩＴ（ｑ）との間の差を示す第２評価値Ｖ２が第２閾値ＴＨ２を超えるか否かを判断する。第２評価値Ｖ２は、対象画像ＩＴ（ｑ）によって示される操作対象の画像と、第１検出画像によって表される操作対象の画像と、の間の違いの大きさを示している。このような評価値の算出方法は、種々の方法であってよい。本実施例では、プロセッサ２１０は、対象画像ＩＴ（ｑ）と第１検出画像との間の対応する位置での色値の差分の絶対値を、複数の画素位置で算出する。プロセッサ２１０は、算出される複数の絶対値の和を、第２評価値Ｖ２として算出する。第２評価値Ｖ２の算出に使用される複数の画素位置は、例えば、対象画像ＩＴ（ｑ）に含まれる全部の画素の画素位置であってよく、対象画像ＩＴ（ｑ）から予め選択された一部の複数の画素の画素位置であってよい。

本実施例では、対象装置３００（図１）の本体３９０に対する操作パネル３１０の回転位置は調整可能である。対象画像ＩＴ（ｑ）の撮影時（図４：Ｓ１６０）と撮影画像の撮影時（図１２：Ｓ５３５）との間で、操作パネル３１０の回転位置の差が大きい場合、第１検出画像と対象画像ＩＴ（ｑ）との間で、操作対象の画像の歪み（例えば、キーストーン歪み）の差が大きい。この結果、第２評価値Ｖ２は、大きい。第２閾値ＴＨ２は、回転位置の差が、対象装置３００のテストに適する値よりも大きい場合に、第２評価値Ｖ２が第２閾値ＴＨ２を超えるように、予め実験的に決められる。第２評価値Ｖ２が第２閾値ＴＨ２以下であるような操作パネル３１０の回転位置の範囲は、回転位置の許容範囲を示している。

なお、第２評価値Ｖ２は、第１検出画像と対象画像ＩＴ（ｑ）との間の操作対象の画像の差の大きさを示す種々の値であってよい。例えば、プロセッサ２１０は、正規化相互相関、ゼロ平均正規化相互相関、など、２枚の画像の間の相関を示す類似度を算出してよい。類似度が小さいほど、第１検出画像と対象画像ＩＴ（ｑ）との間の差は大きい。Ｓ７２０では、プロセッサ２１０は、類似度が所定の類似度閾値を下回る場合に、画像の差が第２閾値ＴＨ２を超えると判断してよい（類似度閾値は、第２閾値ＴＨ２に対応する類似度を示している）。

第２評価値Ｖ２が第２閾値ＴＨ２以下である場合（Ｓ７２０：Ｎｏ）、シーン点群ＰＣｓの操作パネル３１０の回転位置は、許容範囲内である。この場合、プロセッサ２１０は、Ｓ７４０へ移行する。

第２評価値Ｖ２が第２閾値ＴＨ２を超える場合（Ｓ７２０：Ｙｅｓ）、シーン点群ＰＣｓの操作パネル３１０の回転位置は、許容範囲の外である。この場合、Ｓ７３０で、プロセッサ２１０は、報知処理を実行する。Ｓ７３０の報知処理は、操作パネル３１０の回転位置が許容範囲の外であることを作業者に報知する任意の処理であってよい。例えば、Ｓ７３０の報知処理は、図５のＳ２８０の報知処理と同じであってよい。Ｓ７３０の後、プロセッサ２１０は、Ｓ７４０へ移行する。なお、Ｓ７３０の報知処理が実行される場合、作業者は、第２処理（図１２）を中止してよい。そして、作業者は、操作パネル３１０の回転位置を調整し、改めて第２処理を開始してよい。

Ｓ７４０では、プロセッサ２１０は、視野データＤＳを不揮発性記憶装置２３０から取得する。プロセッサ２１０は、視野データＤＳを使用して、撮影画像中の特定位置Ｐａ（ｑ）に対応するデジタルカメラ１４０の視線Ｌ（ｑ）を決定する。図３（Ａ）で説明したように、撮影画像ＩＭＧ上の種々の位置Ｐａに、デジタルカメラ１４０から位置Ｐａに対応する部分へ向かう視線Ｌが対応付けられる。プロセッサ２１０は、視野データＤＳ（本実施例では、デジタルカメラ１４０の内部パラメータ）を使用して、特定位置Ｐａ（ｑ）に対応する視線Ｌ（ｑ）を示す視線データを生成する。視線データは、例えば、視線Ｌ（ｑ）上の複数の点のそれぞれの座標を示している。視線Ｌ（ｑ）は、カメラシステム１６０に固定されたカメラ座標系Ｃｒｃで表される。

Ｓ７５０では、プロセッサ２１０は、モデル点群ＰＣｍの座標変換を、行列Ｔｍｃ（ｑ）を使用して実行する。行列Ｔｍｃ（ｑ）は、図１２のＳ５２５でスクリプトＳＣ（図１１）から取得される。プロセッサ２１０は、図３（Ｄ）で説明した関係式に従って、座標を変換する。この座標変換により、モデル点群ＰＣｍの複数の点のそれぞれの座標は、カメラシステム１６０に固定されるカメラ座標系Ｃｒｃの座標に変換される。

Ｓ７６０では、プロセッサ２１０は、視線Ｌ（ｑ）と、変換済のモデル点群ＰＣｍによって表される対象装置３００の表面と、の交点Ｐｍ（ｑ）を算出する。交点Ｐｍ（ｑ）は、対象装置３００の表面上の位置であって特定位置Ｐａ（ｑ）に対応する位置を示している（以下、対応位置Ｐｍ（ｑ）とも呼ぶ）。交点Ｐｍ（ｑ）の算出方法は、種々の方法であってよい。本実施例では、プロセッサ２１０は、変換済のモデル点群ＰＣｍの複数の点のうち、視線Ｌ（ｑ）に最も近い点を、交点Ｐｍ（ｑ）として採用する。モデル点群ＰＣｍの複数の点の密度が十分に高い場合、視線Ｌ（ｑ）に最も近い点は、交点Ｐｍ（ｑ）の良い近似である。本実施例では、視線Ｌ（ｑ）の視線データは、視線Ｌ（ｑ）上の複数の点を示している。プロセッサ２１０は、視線データの点と変換済のモデル点群ＰＣｍの点とで構成される点ペアのうち、最小の２点間距離を有する点ペアを検索する。そして、プロセッサ２１０は、最小の２点間距離を有する点ペアを形成するモデル点群ＰＣｍの点を、交点Ｐｍ（ｑ）として採用する。これに代えて、プロセッサ２１０は、変換済のモデル点群ＰＣｍの複数の点を使用して、対象装置３００の表面を形成する複数の部分平面のそれぞれの近似平面を算出してよい。そして、プロセッサ２１０は、近似平面と視線Ｌ（ｑ）との交点を算出してよい。部分平面の近似平面は、例えば、部分平面を形成する複数の点から算出される最小二乗平面であってよい。各部分平面を形成する複数の点は、作業者によって選択されてよい。

Ｓ７７０では、プロセッサ２１０は、交点Ｐｍ（ｑ）での近似法線ベクトルを算出する。近似法線ベクトルは、対象装置３００の表面の法線ベクトルを近似するベクトルである。近似法線ベクトルの算出方法は、種々の方法であってよい。本実施例の算出方法は、以下の通りである。プロセッサ２１０は、変換済のモデル点群ＰＣｍの複数の点のうち、交点Ｐｍ（ｑ）を含む部分領域（例えば、交点Ｐｍ（ｑ）からの距離が所定値以下である領域）に含まれる複数の点を使用する主成分分析を行う。プロセッサ２１０は、主成分分析によって、分散共分散行列の３個の固有ベクトルを算出する。プロセッサ２１０は、３個の固有ベクトルのうち、最小の固有値（すなわち、最小の分散）に対応付けられる固有ベクトルを、近似法線ベクトルとして採用する。

Ｓ７７０の後、プロセッサ２１０は、図１４の処理、すなわち、図１２のＳ５４０の処理を終了する。

Ｓ５４５では、プロセッサ２１０は、ロボットアーム１２０を制御することによって、ツール１３０に対応位置Ｐｍ（ｑ）を押下させる。ここで、プロセッサ２１０は、ツール１３０を、近似法線ベクトル（図１４：Ｓ７７０）に平行に移動させる。この結果、対応位置Ｐｍ（ｑ）、すなわち、ｑ番の操作対象は、操作対象に対しておおよそ垂直な方向から、ツール１３０によって押下される。

Ｓ５５０の処理は、Ｓ５３０の処理と同じである。プロセッサ２１０は、デジタルカメラ１４０を、行列Ｔｍｃ（ｑ）に対応する撮影配置に移動させる。

Ｓ５５５では、プロセッサ２１０は、デジタルカメラ１４０に対象装置３００を撮影させることによって、デジタルカメラ１４０から撮影画像のデータを取得する。

Ｓ５６０では、プロセッサ２１０は、スクリプトＳＣ（図１１）を参照して、ｊ番のコマンドの判定画像ＩＲ（ｊ）のデータを取得する。プロセッサ２１０は、取得された判定画像ＩＲ（ｊ）とＳ５５５で取得された撮影画像とを比較して、Ｓ５４５による操作の結果が適切であるか否かを判断する。判断方法は、撮影画像が判定画像ＩＲ（ｊ）と同じ結果を示しているか否かを判断する種々の方法であってよい。本実施例では、プロセッサ２１０は、撮影画像から、判定画像ＩＲ（ｊ）に対応する部分画像を検出する（第２検出画像と呼ぶ）。プロセッサ２１０は、第２検出画像と判定画像ＩＲ（ｊ）との間の差を示す第３評価値が第３閾値を超えるか否かを判断する。第３評価値は、判定画像ＩＲ（ｊ）によって示される適切な結果の画像と、第２検出画像によって表される実際の結果の画像と、の間の違いの大きさを示している。このような評価値の算出方法は、種々の方法であってよい。本実施例では、第３評価値の算出方法は、図１４のＳ７２０の第２評価値Ｖ２の算出方法と同じである。第３閾値は、実際の結果が不適切である場合に、第３評価値が第３閾値を超えるように、予め実験的に決められる。プロセッサ２１０は、判断結果を示すデータを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、Ｓ５６０を終了する。

ｋ個のコマンドのそれぞれのＳ５２５－Ｓ５６０の完了に応じて、プロセッサ２１０は、第２処理を終了する。

準備処理（図４）の後、テスト済の対象装置３００を未テストの対象装置３００に置換する処理と、図１２のテスト処理とが、交互に繰り返される。２回目以降のテスト処理において、Ｓ５１０のキャリブレーション、すなわち、図５の処理は、以下のように進行する。Ｓ２１０の判断結果はＹｅｓであり、Ｓ２３０の判断結果はＹｅｓである。対象装置３００が置換されるので、Ｓ２４０の判断結果は、Ｙｅｓである。Ｓ２５０では、プロセッサ２１０は、新たに配置された対象装置３００を示すシーン点群ＰＣｓを取得する。Ｓ２６０では、プロセッサ２１０は、新たに取得されたシーン点群ＰＣｓを使用して、基底変換行列Ｔｂｍを算出する。この行列Ｔｂｍとモデル点群ＰＣｍとを組み合わせて使用することによって、新たなシーン点群ＰＣｓの代わりにモデル点群ＰＣｍを使用することができる。例えば、図１２のＳ５３０（より具体的には、図１３のＳ６１０）では、プロセッサ２１０は、キャリブレーションによって更新された行列Ｔｂｍを使用する。図１２のＳ５５０（具体的には、図１４のＳ７５０）では、プロセッサ２１０は、モデル点群ＰＣｍを使用する。シーン点群ＰＣｓの代わりにモデル点群ＰＣｍを使用する理由は、以下の通りである。上述したように、第１処理（図４）、すなわち、モデル点群ＰＣｍの取得は、対象装置３００の電源がオフである状態で、行われる。一方、第２処理、すなわち、対象装置３００のテストは、対象装置３００の電源がオンである状態で行われる。この場合、画面３２０やランプなどの発光装置が点灯する。発光装置からの光は、三次元センサ１５０の測定誤差を増大し得る。すなわち、シーン点群ＰＣｓの座標は、モデル点群ＰＣｍの座標と比べて、大きな誤差を含み得る。交点Ｐｍ（ｑ）の決定（図１４：Ｓ７６０）でシーン点群ＰＣｓが使用される場合、不適切な交点Ｐｍ（ｑ）が算出され得る。交点Ｐｍ（ｑ）の決定でモデル点群ＰＣｍが使用される場合、不適切な交点Ｐｍ（ｑ）の算出の可能性は、低減する。

なお、図１１の撮影配置ＣＦを示す行列Ｔｍｃ（ｉ）は、ロボット座標系Ｃｒｂとモデル座標系Ｃｒｍとの間の関係に依存せずに、モデル座標系Ｃｒｍとカメラ座標系Ｃｒｃとの間の関係を示している。従って、図１２のＳ５１０のキャリブレーションで行列Ｔｂｍが更新された後も、行列Ｔｍｃ（ｉ）は、そのまま使用可能である。

以上のように、本実施例では、対象装置３００は、タッチパネル３３０とボタン３４０、３５０とを有している。これらの部材３３０、３４０、３５０のそれぞれは、ユーザによって操作されるための操作部の例である。

また、端末装置２００のプロセッサ２１０は、以下の処理を実行する。図１２のＳ５１０、具体的には、図５のＳ２５０では、プロセッサ２１０は、操作部（ここでは、部材３３０、３４０、３５０）を含む対象装置３００の表面を表すシーン点群ＰＣｓのデータを取得する（以下、シーン点群ＰＣｓのデータを対象三次元物体データとも呼ぶ）。上述したように、Ｓ２５０では、図８の処理が実行される。プロセッサ２１０は、図８のＳ３１５ｓ、Ｓ３４５ｓ、Ｓ３７０ｓを実行することによって、シーン点群ＰＣｓのデータを取得する。シーン点群ＰＣｓのデータは、三次元センサ１５０により測定される三次元点群に基づくデータである。

プロセッサ２１０は、図８のＳ３２５ｓ、Ｓ３３０ｓで、基底変換行列Ｔｂｓを取得する。基底変換行列Ｔｂｓは、対象装置３００の測定時の基底変換行列Ｔｂｃと同じである。行列Ｔｂｃは、ロボット座標系Ｃｒｂからカメラ座標系Ｃｒｃへの変換を示している。図２（Ｃ）に示すように、基底変換行列は、一方の座標系で見た他方の座標系の３個の基底ベクトルと原点の座標とによって、定められる。基底変換行列Ｔｂｃは、ロボット座標系Ｃｒｂで見たカメラ座標系Ｃｒｃの原点の座標を定めている。カメラ座標系Ｃｒｃの原点は、カメラシステム１６０の位置を示している。このように、プロセッサ２１０は、Ｓ３２５ｓ、Ｓ３３０ｓで、基底変換行列Ｔｂｓを表すデータ、すなわち、三次元センサ１５０の測定位置の座標を表すデータを取得する（以下、測定座標データとも呼ぶ）。

プロセッサ２１０は、図１２のＳ５３５で、操作対象の画像を含む二次元画像の二次元画像データであってデジタルカメラ１４０により撮影される二次元画像データを取得する。Ｓ５３５の前のＳ５３０では、プロセッサ２１０は、デジタルカメラ１４０を撮影配置に移動させる。ここで、図１３の処理が実行される。Ｓ６１０では、プロセッサ２１０は、基底変換行列Ｔｂｃ（ｑ）を算出する。上述したように、基底変換行列Ｔｂｃ（ｑ）は、ロボット座標系Ｃｒｂで見たカメラ座標系Ｃｒｃの原点の座標を定めている。カメラ座標系Ｃｒｃの原点は、カメラシステム１６０の位置を示している。このように、プロセッサ２１０は、Ｓ６１０で、基底変換行列Ｔｂｃ（ｑ）を表すデータ、すなわち、デジタルカメラ１４０の撮影位置の座標を表すデータを取得する（以下、撮影座標データとも呼ぶ）。

図１４のＳ７４０では、プロセッサ２１０は、デジタルカメラ１４０の視野１４０ｖに関連する視野データＤＳを取得する。Ｓ７１０では、プロセッサ２１０は、撮影画像内の操作対象を示す特定位置Ｐａ（ｑ）を表すデータを取得する（特定位置データとも呼ぶ）。

図１２のＳ５４０、具体的には、図１４のＳ７６０では、プロセッサ２１０は、対応位置Ｐｍ（ｑ）を決定する。この決定のために、プロセッサ２１０は、上述した種々のパラメータを使用する。図１２のＳ５１０、具体的には、図５のＳ２６０では、プロセッサ２１０は、対象三次元物体データ（ここでは、シーン点群ＰＣｓのデータ）と、測定座標データ（ここでは、Ｔｂｓ）と、を使用するして、行列Ｔｂｍを決定する。図１２のＳ５３０、具体的には、図１３のＳ６２０では、プロセッサ２１０は、撮影座標データ（ここでは、Ｔｂｃ（ｑ））を使用して、カメラシステム１６０を移動させる。図１２のＳ５４０、具体的には、図１４のＳ７４０では、プロセッサ２１０は、視野データＤＳと特定位置データ（ここでは、Ｐａ（ｑ））とを使用して、視線Ｌ（ｑ）を決定する。図１２の処理では、プロセッサ２１０は、これらの情報を使用して、対応位置Ｐｍ（ｑ）を決定する。対応位置Ｐｍ（ｑ）は、モデル点群ＰＣｍによって表される対象装置３００の表面上の位置であって、特定位置Ｐａ（ｑ）に対応する位置である。図１２のＳ５１０、具体的には、図５のＳ２６０では、プロセッサ２１０は、モデル点群ＰＣｍによって表される対象装置３００が、シーン点群ＰＣｓによって表される対象装置３００に一致するように、基底変換行列Ｔｂｍを算出する。このＴｂｍは、図１３の処理（カメラの移動）で使用される。従って、対応位置Ｐｍ（ｑ）は、対象三次元物体データ（ここでは、シーン点群ＰＣｓのデータ）によって表される対象装置３００の表面上の同じ位置（すなわち、特定位置Ｐａ（ｑ）に対応する位置）を示している。

このように、プロセッサ２１０は、シーン点群ＰＣｓによって表される対象装置３００の表面上の位置であって、特定位置Ｐａ（ｑ）に対応する対応位置Ｐｍ（ｑ）を、適切に決定できる。

また、対応位置Ｐｍ（ｑ）を決定する処理は、以下の処理を含んでいる。図１２のＳ５１０、具体的には、図５のＳ２６０では、プロセッサ２１０は、モデル点群ＰＣｍのデータと、シーン点群ＰＣｓのデータと、のマッチングの結果を使用して、基底変換行列Ｔｓｍを決定する。基底変換行列Ｔｓｍは、モデル座標系Ｃｒｍからシーン座標系Ｃｒｓへの座標変換に対応付けられる。この座標変換は、モデル点群ＰＣｍの対象装置３００をシーン点群ＰＣｓのデータのシーン座標系Ｃｒｓに投影する。このように、基底変換行列Ｔｓｍは、上記の投影のための投影パラメータの例である。また、上述したように、モデル点群ＰＣｍは、複数の対象装置３００のそれぞれのテストに、共通に使用される。このように、モデル点群ＰＣｍのデータは、対象装置３００の基準である基準物体の表面を表す基準三次元物体データの例である。

プロセッサ２１０は、上述したように、対応位置Ｐｍ（ｑ）の決定のために、測定座標データ（ここでは、Ｔｂｓ）と、撮影座標データ（ここでは、Ｔｂｃ（ｑ））と、視野データＤＳと、特定位置データ（ここでは、Ｐａ（ｑ））と、を使用する。プロセッサ２１０は、さらに、図１２のＳ５１０、具体的には、図５のＳ２６０で、基底変換行列Ｔｂｓと、モデル点群ＰＣｍのデータと、を使用する。従って、プロセッサ２１０は、シーン点群ＰＣｓがノイズを含む場合であっても、モデル点群ＰＣｍを使用して、対応位置Ｐｍ（ｑ）を適切に決定できる。

また、図１に示すように、端末装置２００は、ロボットアーム１２０と通信するように構成されている。ロボットアーム１２０は、操作部（例えば、部材３３０、３４０、３５０）との接触のための部材であるツール１３０と、ツール１３０を移動させる移動装置の例であるアーム１２２と、を有している。図１２のＳ５４５では、端末装置２００のプロセッサ２１０は、対応位置Ｐｍ（ｑ）をツール１３０によって押下するようにロボットアーム１２０を制御する。このように、プロセッサ２１０は、ロボットアーム１２０に、対応位置Ｐｍ（ｑ）に対応する操作部を押下させることができる。

また、プロセッサ２１０は、図１２のＳ５４０、具体的には、図１４のＳ７７０で、近似法線ベクトルを算出する。近似法線ベクトルは、対応位置Ｐｍ（ｑ）での法線ベクトルを近似するベクトルである（ここで、法線ベクトルは、対象装置３００の表面の法線ベクトルである）。図１２のＳ５４５では、プロセッサ２１０は、近似法線ベクトルに平行にツール１３０を移動させることによって対応位置Ｐｍ（ｑ）をツール１３０によって押下するように、ロボットアーム１２０を制御する。従って、プロセッサ２１０は、ロボットアーム１２０に、対応位置Ｐｍ（ｑ）に対応する操作部を適切に押下させることができる。例えば、対象装置３００の表面（より具体的には、操作部の表面）に対して斜めにツール１３０が移動する場合、ツール１３０が操作部に対して滑り得る。この結果、操作部が押下されない可能性がある。本実施例では、押下の失敗の可能性は、低減する。

また、図１で説明したように、対象装置３００のボタン３４０、３５０は、それぞれ、物理的なボタンである。図１１のスクリプトＳＣは、第１ボタン３４０を押下する２個のコマンド（２番、３番）を含んでいる。テスト処理（図１２）では、プロセッサ２１０は、第１ボタン３４０の押下を、２回、実行する。１回目の押下のための処理では、Ｓ５２５の判断結果がＮｏである。プロセッサ２１０は、Ｓ５３０、Ｓ５３５で、撮影画像を取得する。２回目の押下のための処理では、Ｓ５２５の判断結果がＹｅｓである。プロセッサ２１０は、Ｓ５４０で、取得済の同じ撮影画像を使用して、対応位置Ｐｍ（ｑ）を決定する。従って、１回目の押下と２回目の押下とのそれぞれでは、同じ対応位置Ｐｍ（ｑ）が共通に使用される。第１ボタン３４０を押下するコマンドの総数が３以上である場合も、同じ対応位置Ｐｍ（ｑ）が共通に使用される。このように、プロセッサ２１０は、ロボットアーム１２０に、物理的なボタン３４０を、複数回、適切に押下させることができる。

なお、プロセッサ２１０は、Ｓ５４０で、対応位置Ｐｍ（ｑ）を示すデータを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納してよい。そして、同じ操作部のための２回目以降のＳ５４０では、格納済のデータを参照して、対応位置Ｐｍ（ｑ）を取得してよい。また、操作対象のボタンが画面３２０に表示されるボタン（例えば、スキャンボタン３２２）である場合、画面３２０内のボタンの位置は、対象装置３００の操作に起因して変化し得る（例えば、画面のスクロールによって、ボタンの位置が移動し得る）。このように操作対象の位置が変化し得る場合、Ｓ５２５の判断結果に拘わらずに、プロセッサ２１０は、Ｓ５３０、Ｓ５３５で新たな撮影画像を取得することが好ましい。

また、図４のＳ１３０、具体的には、図９のＳ４１０では、プロセッサ２１０は、撮影位置の目標位置のユーザ（例えば、作業者）による設定を受け付ける。そして、図１２のＳ５３０、Ｓ５３５では、プロセッサ２１０は、目標位置に従って調整される撮影位置で撮影される二次元画像データを取得する。このように、プロセッサ２１０は、適切な撮影位置で撮影される二次元画像データを取得できる。

また、図１０（Ａ）－図１０（Ｃ）で説明したように、対象装置３００のタッチパネル３３０と第１ボタン３４０とは、それぞれ、操作対象である。操作対象の総数ｎが、２以上である場合、図４のＳ１３０、具体的には、図９の処理は、操作対象毎に実行される。プロセッサ２１０は、タッチパネル３３０の撮影のための作業者による目標位置の設定を受け付ける。この目標位置で撮影される二次元画像データは、図１０（Ｂ）の撮影画像ＩＭＧａのように、タッチパネル３３０の画像を含む二次元画像を示している。また、プロセッサ２１０は、第１ボタン３４０の撮影のための作業者による目標位置の設定を、受け付ける。この目標位置で撮影される二次元画像データは、図１０（Ｃ）の撮影画像ＩＭＧｂのように、第１ボタン３４０の画像を含む二次元画像を示している。このように、プロセッサ２１０は、第１の操作部の適切な第１の二次元画像データと、第２の操作部の適切な第２の二次元画像データと、を取得できる。

また、図１０（Ａ）、図１０（Ｃ）で説明したように、対象装置３００の第１ボタン３４０と第２ボタン３５０とは、それぞれ、操作対象である。そして、これらのボタン３４０、３５０には、同じ目標配置（すなわち、同じ撮影位置）が関連付けられる。この目標位置で撮影される二次元画像データは、図１０（Ｃ）の撮影画像ＩＭＧｂのように、第１ボタン３４０の画像と第２ボタン３５０の画像とを含んでいる。このように、図１２のＳ５３５では、プロセッサ２１０は、第１ボタン３４０の画像と第２ボタン３５０の画像とを含む二次元画像の画像データを取得する。このように、プロセッサ２１０は、第１ボタン３４０の画像と第２ボタン３５０の画像を含む撮影画像の二次元画像データを使用可能である。例えば、図１２のＳ５２５で説明したように、撮影の回数を低減可能である。

また、図１で説明したように、操作パネル３１０、ひいては、操作パネル３１０に設けられた操作部（ここでは、部材３３０、３４０、３５０）は、対象装置３００の本体３９０に対して可動である。図５のＳ２７０では、プロセッサ２１０は、三次元センサ１５０による測定時に、操作部の位置（ここでは、回転位置）が許容範囲の外であるか否かを判断する。位置が許容範囲の外である場合（Ｓ２７０：Ｙｅｓ）、Ｓ２８０で、プロセッサ２１０は、操作部の位置が許容範囲の外であることの報知のための処理を行う。また、図１４のＳ７２０では、プロセッサ２１０は、デジタルカメラ１４０による撮影時に、操作部の位置が許容範囲の外であるか否かを判断する。位置が許容範囲の外である場合（Ｓ７２０：Ｙｅｓ）、Ｓ７３０で、プロセッサ２１０は、操作部の位置が許容範囲の外であることの報知のための処理を行う。以上により、不適切な対応位置Ｐｍ（ｑ）の決定の可能性は、低減する。

Ｂ．変形例：
（１）第１処理（すなわち、準備処理）と第２処理（すなわち、テスト処理）とは、上記実施例の処理に代えて、他の種々の処理であってよい。例えば、Ｓ３１０では、プロセッサ２１０が、ロボットアーム１２０を駆動することによって、カメラシステム１６０の位置と向きとを調整してよい。例えば、プロセッサ２１０は、予め決められた複数の配置設定を有する第１リストを参照してよい。配置設定は、位置と向きとを示している。プロセッサ２１０は、第１リストから未使用の配置設定を選択し、選択された配置設定に従ってカメラシステム１６０の位置と向きとを調整してよい。

（２）図９のＳ４１０では、プロセッサ２１０が、ロボットアーム１２０を駆動することによって、カメラシステム１６０の位置と向きとを調整してよい。例えば、プロセッサ２１０は、カメラシステム１６０の移動と、デジタルカメラ１４０による撮影と、撮影画像からのｉ番の操作対象の検出とを、撮影画像からｉ番の操作対象が検出されるまで繰り返してよい。カメラシステム１６０の移動の処理では、プロセッサ２１０は、予め決められた複数の配置設定を有する第２リストから未使用の配置設定を選択し、選択された配置設定に従ってカメラシステム１６０の位置と向きとを調整してよい。撮影画像からの操作対象の検出処理では、プロセッサ２１０は、ｉ番の操作対象を示す基準画像を使用するパターンマッチングによって、操作対象を検出してよい。

（３）図５のＳ２７０、Ｓ２８０と、図１４のＳ７２０、Ｓ７３０と、のうちの一方、または、両方が、省略されてよい。

（４）図１４のＳ７７０では、プロセッサ２１０は、モデル点群ＰＣｍに代えて、シーン点群ＰＣｓを使用して、近似法線ベクトルを算出してよい。なお、Ｓ７７０は省略されてよい。そして、図１２のＳ５４５では、ツール１３０による対応位置Ｐｍ（ｑ）の押下方向は、任意の方向であってよい。例えば、プロセッサ２１０は、ツール１３０の現行の位置から、対応位置Ｐｍ（ｑ）に向かって真っ直ぐに、ツール１３０を移動させてよい。

（５）図１４のＳ７４０で、視線Ｌ（ｑ）の決定方法は、デジタルカメラ１４０の内部パラメータを示す視野データＤＳを使用する方法に限らず、他の任意の方法であってよい。例えば、撮影画像ＩＭＧ（図３（Ａ））上の位置Ｐａと、視線Ｌを示すパラメータと、の対応関係が、予め決められてよい（位置視線対応関係と呼ぶ）。視線Ｌを示すパラメータは、例えば、視線Ｌ上の点の座標と、視線Ｌに平行なベクトルとの組み合わせであってよい。プロセッサ２１０は、位置視線対応関係を参照して、特定位置Ｐａ（ｑ）に対応する視線Ｌ（ｑ）を決定してよい。位置視線対応関係も、内部パラメータと同様に、撮影画像ＩＭＧとデジタルカメラ１４０の視野１４０ｖとの関係を定めている。従って、位置視線対応関係を示すデータは、視野に関連する視野データの例である。

（６）図１１の実施例では、第１ボタン３４０と第２ボタン３５０とに同じ撮影配置ＣＦが関連付けられている。これに代えて、全ての操作対象の間で、撮影配置ＣＦが互いに異なってよい。

（７）図１２のＳ５５０での撮影配置は、Ｓ５３０での撮影配置と異なってよい。例えば、プロセッサ２１０は、第１ボタン３４０が操作された後に、画面３２０に表示される画像が適切であるか否かを判断してよい。この場合、Ｓ５５０、Ｓ５５５では、デジタルカメラ１４０は、第１ボタン３４０に代えて、画面３２０を撮影することが好ましい。スクリプトＳＣ（図１０）は、Ｓ５３０のための撮影配置ＣＦとは別に、Ｓ５５０のための撮影位置を示すことが好ましい。

（８）モデル点群ＰＣｍは、対象装置３００の設計図（例えば、ＣＡＤデータ）から予め生成されてよい。この場合、モデル座標系Ｃｒｍとしては、設計図からのモデル点群ＰＣｍの生成時に使用された座標系を採用可能である。また、図１４の処理では、モデル点群ＰＣｍに代えて、シーン点群ＰＣｓが使用されてよい。すなわち、プロセッサ２１０は、モデル点群ＰＣｍによって表される対象装置３００の表面ではなく、シーン点群ＰＣｓによって表される対象装置３００の表面を使用して、対応位置Ｐｍ（ｑ）を決定してよい。

（９）対象装置３００の操作部は、タッチパネル３３０とボタン３４０、３５０とに限らず、ユーザによって操作されるための任意の部材であってよい。例えば、操作部は、ダイアル、レバー、スライダなど、押下とは異なる操作を受け付ける装置であってよい。そして、ロボットアーム１２０のエンドエフェクタの構成は、ツール１３０（具体的には、指）の構成に限らず、操作部の操作に適する任意の構成であってよい。例えば、エンドエフェクタは、複数の指を有するハンド、吸盤など、他の種々の種類の装置であってよい。ハンドは、操作部を引くことができる。また、ハンドは、操作部を回転させることができる。吸盤は、操作部を引くことができる。

（１０）対応位置Ｐｍ（ｑ）は、点に限らず、操作部の位置に関連する種々の情報を示してよい。例えば、対応位置Ｐｍ（ｑ）は、領域を示してよい。操作部が、矩形状のタッチパネルである場合に、対応位置Ｐｍ（ｑ）は、タッチパネルの４個の角の位置を示してよい。

（１１）図１２のＳ５４５－５６０は、省略されてよい。この代わりに、Ｓ５４０で決定された対応位置Ｐｍ（ｑ）のデータを記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する処理が追加されてよい。対応位置Ｐｍ（ｑ）は、操作に限らず、他の種々の処理に使用可能である。例えば、対象装置３００の製造時に、操作部にステッカーなどの他の部材が固定される場合がある。対応位置Ｐｍ（ｑ）の座標は、他の部材の固定位置として使用可能である。

（１２）デジタルカメラ１４０と三次元センサ１５０と対象装置３００とのそれぞれの向きは、予め決められてよい。そして、プロセッサ２１０は、デジタルカメラ１４０と三次元センサ１５０と対象装置３００とのそれぞれの向きを変更せずに、対象装置３００に対するデジタルカメラ１４０と三次元センサ１５０とのそれぞれの相対的な位置を調整することによって、対応位置Ｐｍ（ｑ）を決定してよい。例えば、対象装置３００は、移動可能な支持装置によって支持されてよい。ここで、支持装置は、対象装置３００が予め決められた向きを向いた状態で対象装置３００を支持するように構成されてよい。

（１３）三次元物体データは、三次元点群に限らず、複数の点を含む種々のデータであってよい。例えば、三次元物体データは、物体の表面を表すメッシュデータであってよい。メッシュデータは、複数の点と、点と点とを接続する複数の辺と、複数の辺で囲まれる複数の面と、によって三次元の形状を示すデータであり、ポリゴンデータとも呼ばれる。メッシュデータは、三次元センサにより測定される三次元点群に基づいて生成されてよい。メッシュデータが使用される場合、図１４のＳ７６０では、プロセッサ２１０は、メッシュデータによって示される面と、視線Ｌ（ｑ）と、の交点を算出してよい。

（１４）処理対象の物体である対象物体は、複合機に代えて、プリンタ、ミシン、カッティングマシーン、スキャナ、スマートフォンなど、任意の製品であってよい。また、操作部は、対象物体に対して移動可能な装置ではなく、対象物体に固定されてよい（ただし、操作のための動きは、許容される）。

（１５）三次元物体データを処理する処理装置の構成は、図１の端末装置２００の構成に代えて、他の種々の構成であってよい。例えば、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、処理装置によるデータ処理の機能を一部ずつ分担して、全体として、データ処理の機能を提供してもよい（これらの装置を備えるシステムが処理装置に対応する）。例えば、第１処理装置が第１処理（図４）を実行し、第２処理装置が第２処理（図１２）を実行してよい。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１４の対応位置Ｐｍ（ｑ）の決定の処理は、専用のハードウェア回路によって実行されてよい。

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１２０…ロボットアーム、１２１…基部、１２２…アーム、１２３…端部、１３０…ツール、１４０…デジタルカメラ、１４０ｖ…視野、１５０…三次元センサ、１５０ｖ…視野、１６０…カメラシステム、２００…端末装置、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３１…第１プログラム、２３２…第２プログラム、２４０…表示部、２５０…操作部、２７０…通信インタフェース、３００…対象装置、３１０…操作パネル、３２０…画面、３２１…コピーボタン、３２２…スキャンボタン、３２３…プリントボタン、３３０…タッチパネル、３４０…第１ボタン、３５０…第２ボタン、３９０…本体

Claims (10)

1. コンピュータを有する処理装置のコンピュータプログラムであって、
   操作部を含む対象物体の表面を表す対象三次元物体データであって三次元センサにより測定される三次元点群に基づく前記対象三次元物体データと、前記三次元センサの測定位置の座標を表す測定座標データと、を取得する第１取得機能と
   前記操作部の画像を含む二次元画像の二次元画像データであってデジタルカメラにより撮影される前記二次元画像データと、前記デジタルカメラの撮影位置の座標を表す撮影座標データと、前記デジタルカメラの視野に関連する視野データと、前記二次元画像内の特定位置であって前記操作部を示す前記特定位置を表す特定位置データと、を取得する第２取得機能と、
   前記対象三次元物体データと、前記測定座標データと、前記撮影座標データと、前記視野データと、前記特定位置データと、を使用して、前記対象三次元物体データによって表される前記対象物体の前記表面上の位置であって前記特定位置に対応する前記位置である対応位置を決定する位置決定機能と、
   をコンピュータに実現させる、コンピュータプログラム。
2. 請求項１に記載のコンピュータプログラムであって、
   前記位置決定機能は、
   前記対象物体の基準である基準物体の表面を表す基準三次元物体データと、前記対象三次元物体データと、のマッチングの結果を使用して、前記基準物体を前記対象三次元物体データの座標系に投影する投影パラメータを決定する機能と、
   前記投影パラメータと、前記基準三次元物体データによって表される前記基準物体の前記表面と、前記測定座標データと、前記撮影座標データと、前記視野データと、前記特定位置データと、を使用して、前記対応位置を決定する機能と、
   を含む、コンピュータプログラム。
3. 請求項１または２に記載のコンピュータプログラムであって、
   前記処理装置は、前記操作部との接触のための第１部材と前記第１部材を移動させる移動装置とを有するロボットと通信するように構成されており、
   前記コンピュータプログラムは、さらに、
   前記対応位置を前記第１部材によって押下するように前記ロボットを制御する押下機能をコンピュータに実現させる、
   コンピュータプログラム。
4. 請求項３に記載のコンピュータプログラムであって、
   前記押下機能は、
   前記対象物体の前記表面の法線ベクトルであって前記対応位置での前記法線ベクトルを近似する近似法線ベクトルを算出する機能と、
   前記近似法線ベクトルに平行に前記第１部材を移動させることによって前記対応位置を前記第１部材によって押下するように、前記ロボットを制御する機能と、
   を含む、コンピュータプログラム。
5. 請求項３または４に記載のコンピュータプログラムであって、
   前記操作部は、物理的なボタンであり、
   前記コンピュータプログラムは、前記押下機能を、複数回、コンピュータに実現させるように構成されており、
   複数回の前記押下機能のそれぞれでは、前記対応位置が共通に使用される、
   コンピュータプログラム。
6. 請求項１から５のいずれかに記載のコンピュータプログラムであって、さらに、
   前記撮影位置の目標位置のユーザによる設定を受け付ける受付機能をコンピュータに実現させ、
   前記第２取得機能は、前記目標位置に従って調整される前記撮影位置で撮影される前記二次元画像データを取得する、
   コンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムであって、
   前記対象物体は、第１の操作部と第２の操作部とを含み、
   前記受付機能は、
   前記第１の操作部の画像を含む第１の二次元画像の第１の二次元画像データの撮影のための第１の撮影位置の第１の目標位置の前記ユーザによる設定を受け付ける機能と、
   前記第２の操作部の画像を含む第２の二次元画像の第２の二次元画像データの撮影のための第２の撮影位置の第２の目標位置の前記ユーザによる設定を受け付ける機能と、
   を含む、コンピュータプログラム。
8. 請求項６に記載のコンピュータプログラムであって、
   前記対象物体は、第１の操作部と第２の操作部とを含み、
   前記二次元画像データは、前記第１の操作部の画像と前記第２の操作部の画像とを含む前記二次元画像の画像データである、
   コンピュータプログラム。
9. 請求項１から８のいずれかに記載のコンピュータプログラムであって、
   前記操作部は、前記対象物体に対して移動可能であり、
   前記コンピュータプログラムは、さらに、
   前記三次元センサによる測定時、または、デジタルカメラによる撮影時に、前記操作部の位置が許容範囲の外である場合に、前記操作部の前記位置が前記許容範囲の外であることの報知のための処理を行う機能を、コンピュータに実現させる、
   コンピュータプログラム。
10. 処理装置であって、
    操作部を含む対象物体の表面を表す対象三次元物体データであって三次元センサにより測定される三次元点群に基づく前記対象三次元物体データと、前記三次元センサの測定位置の座標を表す測定座標データと、を取得する第１取得部と
    前記操作部の画像を含む二次元画像の二次元画像データであってデジタルカメラにより撮影される前記二次元画像データと、前記デジタルカメラの撮影位置の座標を表す撮影座標データと、前記デジタルカメラの視野に関連する視野データと、前記二次元画像内の特定位置であって前記操作部を示す前記特定位置を表す特定位置データと、を取得する第２取得部と、
    前記対象三次元物体データと、前記測定座標データと、前記撮影座標データと、前記視野データと、前記特定位置データと、を使用して、前記対象三次元物体データによって表される前記対象物体の前記表面上の位置であって前記特定位置に対応する前記位置である対応位置を決定する位置決定部と、
    を備える、処理装置。

Images