JP6594129B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本発明は、計測対象である物体の位置及び姿勢を高精度に計測するための計測装置の配置を決定する方法に関する。

近年、ロボット技術の発展とともに、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。工業製品の組立作業における部品の把持や部品同士の組付けをロボットが行うためには、ロボットから見た部品の位置及び姿勢を高精度に計測する必要がある。部品の位置及び姿勢の計測方法としては、カメラや距離センサから得られる濃淡画像や距離画像に対して部品の３次元形状モデルが当てはまるように位置及び姿勢を算出するモデルフィッティングが代表的な方法である。この方法では、濃淡画像から検出される画像特徴や距離画像から得られる３次元点と３次元形状モデルに含まれるモデル特徴との対応付けを行い、それぞれの対応についての画像平面上または３次元空間中の誤差の和が最小となるように位置及び姿勢を算出する。

濃淡画像や距離画像に対するモデルフィッティングにより部品の位置及び姿勢を計測する場合、部品に対するカメラや距離センサの配置が位置及び姿勢の計測精度を決める大きな要因となるため、なるべく高精度な計測ができるような配置にする必要がある。例えば距離センサを利用する場合には、互いに法線ベクトルが異なる３つの面上の点が十分観測できるように距離センサを配置することで部品の高精度な位置及び姿勢の計測が可能になる。非特許文献１では、距離センサから得られる計測データに含まれる不確実性（誤差）をもとに計測対象物体の位置及び姿勢の不確実性を予測することで、距離センサの複数の配置の候補の中から最適な配置を選択する方法が開示されている。

特開２０１１−０２７６２３号公報

見持、金出、"３台のレンジファインダを用いた物体の姿勢決定における最適センサ配置の設計"、電子情報通信学会論文誌、ｖｏｌ．Ｊ７８−Ｄ２、ｎｏ．１２、ｐｐ．１７７７−１７８６、１９９５．

非特許文献１では、計測データと３次元形状モデル間の対応付けに誤りはなく、モデルフィッティングによって得られる位置及び姿勢の誤差は計測データの誤差のみに起因することを前提としている。しかし、実用上は計測データと３次元形状モデルとの対応付けには誤りが生じるため、計測データにのみ誤差が含まれている場合に比べて計測される位置及び姿勢の精度は低い。例えば、濃淡画像から検出されるエッジに物体の３次元形状モデル（線分モデル）を当てはめる際に、画像上で複数のエッジが近接している場合には誤ったエッジにモデルの線分が当てはまることによって位置及び姿勢の精度が著しく低下する。そのため、非特許文献１の方法に基づいてカメラや距離センサの配置を決定したとしても、対応付けに誤りが生じる場合には、計測される位置及び姿勢は必ずしも高精度ではないという課題がある。

本発明は、以上の課題に鑑みてなされたものであり、高精度に位置及び姿勢を計測可能なカメラや距離センサの配置を決定できるようにする。

上記課題を解決するために、本発明の情報処理装置は、例えば、物体を撮像する位置姿勢を決定するための情報処理装置であって、物体の三次元形状を表す三次元形状モデルを保持する保持手段と、前記物体に対する撮像装置の位置姿勢の候補を生成する生成手段と、前記生成手段によって生成された位置姿勢に前記撮像装置を配置した場合に観察される前記物体を仮想的に生成したデータと、前記三次元形状モデルとを対応づけた結果に基づいて、前記物体の位置姿勢を導出する導出手段と、前記導出手段で導出された位置姿勢を評価することにより、前記物体に対する撮像装置の位置姿勢の候補を評価する評価手段と、前記評価手段により評価された結果に基づいて、前記物体に対する撮像装置の位置姿勢を決定する決定手段とを備え、前記導出手段は、前記生成手段によって生成された位置姿勢の近傍に、前記位置姿勢とは異なる複数の位置姿勢を生成し、前記位置姿勢から観察される前記物体を仮想的に生成したデータの特徴と、前記位置姿勢の近傍で生成された位置姿勢それぞれで前記三次元形状モデルを配置した際の前記三次元形状モデルの特徴と、を対応づけることにより、前記物体の複数の位置姿勢を導出することを特徴とする。

本発明によって、高精度に位置及び姿勢を計測可能なカメラや距離センサの配置を決定することができる。

第１の実施形態における情報処理装置１の構成を示す図である。 第１の実施形態におけるロボット、カメラ、部品の配置を説明する図である。 第１の実施形態におけるカメラの配置を決定する処理手順を示すフローチャートである。 濃淡画像上のエッジと３次元形状モデルとの対応付けについて説明する図である。 第２の実施形態における位置及び姿勢のサンプリング方法を説明する図である。 第３の実施形態におけるＧＵＩの一例を示す図である。 本発明の情報処理装置のハードウェア構成の例を示す図である。 第１の実施形態におけるカメラの配置の候補の決定の一例を示す図である。

本発明にかかる各実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図７を用いて説明する。

図７は、本実施形態における情報装置のハードウェア構成図である。同図において、ＣＰＵ７１０は、バス７００を介して接続する各デバイスを統括的に制御する。ＣＰＵ７１０は、読み出し専用メモリ（ＲＯＭ）７２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ７２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）７３０に一時記憶され、ＣＰＵ７１０によって適宜実行される。また、入力Ｉ／Ｆ７４０は、外部の装置（表示装置や操作装置など）から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ７５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。

これらの各機能部は、ＣＰＵ７１０が、ＲＯＭ７２０に格納されたプログラムをＲＡＭ７３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ７１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

（第１の実施形態）
第１の実施形態では、カメラから得られる濃淡画像を用いたモデルフィッティングにより物体（例えば工業製品を構成する部品）の位置及び姿勢の計測を行う場合に、部品に対する複数のカメラの配置の候補の中から最適な配置を決定する方法について説明する。本実施形態では計測対象の部品がシーン中（例えば作業台上）に固定されており、カメラは垂直多関節ロボットのアーム上に設置されている場合を想定する（図２）。本実施形態で説明する方法は、例えば工業製品の組立の工程設計におけるロボットの移動経路の決定に利用される。実際に組立を行う際には、本実施形態における方法により決定された部品に対するカメラの配置になるようにロボットを移動させる。

図１は、本実施形態における情報処理装置１の構成を示す図である。情報処理装置１は、配置候補生成部１０、モデル保持部２０、配置評価部３０、配置決定部４０から構成されている。また、配置決定部４０は情報処理装置１の外部にある配置情報保存部５０に接続されている。

図２は、本実施形態におけるロボット、カメラ、部品の配置を説明する図である。垂直多関節ロボットのアームの先端には部品を把持するためのハンドが取り付けられている。垂直多関節ロボットはハンドによって把持した部品を作業台に置かれた別の部品に組付ける。垂直多関節ロボットのアーム上には作業台に置かれた部品のロボット（ハンド）に対する位置及び姿勢を計測するためのカメラが搭載されている。カメラには情報処理装置１が接続されており、カメラによって撮像された画像は情報処理装置１に送られる。垂直多関節ロボット上のハンドとカメラとの相対位置及び姿勢は、例えば以下の非特許文献の方法により予めキャリブレーションされているものとし、部品のハンドに対する位置及び姿勢はカメラに対する位置及び姿勢に変換可能であるとする。
Ｒ．Ｈｏｒａｕｄ ａｎｄ Ｆ．Ｄｏｒｎａｉｋａ，“Ｈａｎｄ−Ｅｙｅ Ｃａｌｉｂｒａｔｉｏｎ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，ｖｏｌ．１４，ｎｏ．３，ｐｐ．１９５−２１０，１９９５．
また、カメラの焦点距離や画像中心（光軸と画像面の交点の座標）、レンズ歪みパラメータといった内部パラメータは、例えば以下の方法により予めキャリブレーションされているものとする。
Ｚ．Ｚｈａｎｇ，“Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２２，ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．
以下、情報処理装置１を構成する各部について説明する。

配置候補生成部１０は、計測対象の部品に対するカメラの配置の候補を複数生成する。ここで計測対象の部品に対するカメラ（撮像装置）の配置とは、計測対象の部品に対するカメラの３次元空間における６自由度の位置及び姿勢である。本実施形態では、カメラはロボットのアーム上に設置されていることを想定しているため、候補として生成されるカメラの位置及び姿勢をアームの稼働範囲内でとり得る位置及び姿勢に限定する。以下では、モデルフィッティングにより計測される部品の位置及び姿勢と、カメラの配置を表す位置及び姿勢の混同を避けるため、前者を計測時位置姿勢、後者を配置時位置姿勢と呼ぶものとする。

モデル保持部２０は、計測対象の部品の三次元形状モデルを保持する。本実施形態では、３次元形状モデルとして計測対象の部品のポリゴンモデルを保持する。ポリゴンモデルは物体の形状を多面体近似したモデルであり、多面体の頂点、辺、面の情報から構成される。頂点情報にはモデル上に規定された３次元の座標系（以下、モデル座標系）における各頂点の３次元座標が含まれている。辺の情報には頂点の接続関係が含まれている。面の情報には面の法線の情報が含まれている。ポリゴンモデルは、例えば部品の設計データ（ＣＡＤデータ）から作成してもよいし、実物の画像や３次元計測データ（三次元点群）をもとに作成してもよい。本実施形態では、モデルフィッティングによる位置及び姿勢の計測方法として、多面体を構成する辺を画像上のエッジに当てはめる方法を用いる。この方法は、例えば、以下の非特許文献に開示されている。
Ｔ．Ｄｒｕｍｍｏｎｄ ａｎｄ Ｒ．Ｃｉｐｏｌｌａ，“Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．９３２−９４６，２００２．
配置評価部３０は、配置候補生成部１０において生成された配置時位置姿勢の候補の各々について配置の適切度を表す指標を算出する。この配置の適切度は、計測時位置姿勢の精度を表す指標であり、計測データの誤差の影響と対応付けの誤りの影響の双方を考慮する指標である。配置の適切度を表す指標は、計測データの誤差に起因する計測時位置姿勢の不確実性、及び候補の配置時位置姿勢を中心とした一定範囲内で生成した位置及び姿勢を初期値とした時に実際にモデルフィッティングによって導出される位置及び姿勢をもとに算出する。

配置決定部４０は、配置評価部４０において算出された各配置候補の配置の適切度を表す指標をもとに配置候補の中から、最も適切度の高い配置を選択（決定）し、配置情報保存部５０に出力する。実際に組立を行う際には、配置情報保存部５０に保存されたカメラの配置になるようにロボットを制御し、その配置で撮影した画像をもとに部品の位置及び姿勢を計測する。

これらの各機能部は、ＣＰＵ７１０が、ＲＯＭ７２０に格納されたプログラムをＲＡＭ７３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ７１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

次に、高精度に計測対象の部品の位置及び姿勢を計測できる配置を決定する処理手順について説明する。図３は、本実施形態におけるカメラの配置を決定する処理手順を示すフローチャートである。

（ステップＳ１００５）
ステップＳ１００５では、配置評価部３０は、計測対象の部品の３次元形状モデルをモデル保持部２０から読み込むことにより取得する。前述したように、本実施形態では部品の３次元形状モデルとして計測対象の部品のポリゴンモデルを保持する。

（ステップＳ１０１０）
ステップＳ１０１０では、配置評価部３０は、カメラの配置の候補をＮ個生成する。前述したように、カメラの配置は６自由度の位置及び姿勢で表される。また、カメラはロボットのアーム上に設置されていることを想定しているため、生成される配置時位置姿勢はアームの稼働範囲内でとり得る位置及び姿勢の範囲に含まれるようにする。カメラの配置の候補の決定は、例えば次のように行う。まず、部品の重心を中心とした半径Ｒの球を設定し、球を多面体（例えば、八十面体）近似する。半径Ｒはカメラからの部品の観察距離である。半径Ｒとして、例えばカメラのレンズ中心からピント位置までの距離を用いる。多面体の頂点毎に、頂点位置にカメラのレンズ中心があり、カメラの光軸が球の中心を向くような部品の位置及び姿勢を設定することにより、多面体の頂点数と同じ数（正八十面体の場合には８０個）の位置及び姿勢が得られる。得られたカメラの位置及び姿勢を前述のハンドとカメラとの相対位置及び姿勢を用いてハンドの位置及び姿勢に変換し、変換されたハンドの位置及び姿勢がアームの可動範囲内にない場合には候補から除外する。

（ステップＳ１０２０）
ステップＳ１０２０では、配置評価部３０は、初期化を行う。具体的には、配置候補の番号を表すｉを１に初期化する。

（ステップＳ１０３０）
ステップＳ１０３０では、配置評価部３０は、ｉ番目の配置候補に相当する配置時位置姿勢において計測を行う場合の計測データの誤差に起因する計測時位置姿勢の不確実性Ｕ_ｉの算出を行う。本実施形態では、計測データは濃淡画像上のエッジであるため、エッジの検出誤差をもとに計測時位置姿勢の不確実性を算出する。計測データ（エッジ検出誤差）に基づく位置及び姿勢の不確実性の算出には、以下の非特許文献に記載の方法を用いる。
Ｗ．Ｈｏｆｆ ａｎｄ Ｔ．Ｖｉｎｃｅｎｔ，“Ａｎａｌｙｓｉｓ ｏｆ ｈｅａｄ ｐｏｓｅ ａｃｃｕｒａｃｙ ｉｎ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ｖｏｌ．６，ｎｏ．４，ｐｐ．３１９−３３４，２０００．）
Ｈｏｆｆらの方法では、計測データと位置及び姿勢の関係が線形であると仮定した上で、計測データの誤差の共分散行列を位置及び姿勢の誤差の共分散行列に変換する。本実施形態ではエッジを用いた位置及び姿勢の算出を行うため、エッジ検出誤差の共分散行列が必要となる。エッジ検出誤差の共分散行列は、例えば各エッジの検出誤差は互いに独立であると仮定し、非対角成分がゼロで対角成分に共通の分散の値を持つ行列として与える。共通の分散の値は、例えば計測対象の部品をカメラの前に固定して撮影した複数枚の画像からエッジ検出を行い、同一箇所のエッジの検出位置の分散の平均値として求める。位置及び姿勢の不確実性を表す共分散行列は６×６行列である。共分散行列同士は比較しにくいため、部品の３次元形状モデルに含まれる頂点のうち、モデル座標系の原点から最も遠い点Ｐ_ｆのばらつきを不確実性の指標として用いる。Ｐ_ｆのモデル座標系における３次元座標をＸ_ｆ＝（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）、点Ｐ_ｆのカメラ座標をＸ_ｃ＝（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）とする。Ｘ_ｃはカメラの位置及び姿勢を用いてＸ_ｆを座標変換することで得られる。部品に対するカメラの位置を表す３次元ベクトルをｔ_ｉ、姿勢を表す３×３回転行列をＲ_ｉと表すとＸ_ｆからＸ_ｃへの座標変換は数１のように表すことができる。
Ｘ_ｃ＝Ｒ_ｉＸ_ｆ＋ｔ_ｉ （数１）
姿勢を表す３×３回転行列Ｒ_ｉの自由度は３である。姿勢を表す３自由度のパラメータをω_ｉと表す。ここでｉ番目の配置候補に相当するカメラの配置時位置姿勢を表す６自由度のパラメータをｓ_ｉと表す。ｓ_ｉは、位置を表す３自由度のパラメータｔ_ｉ、姿勢を表す３自由度のパラメータω_ｉとから構成される。カメラ座標Ｘ_ｃの位置及び姿勢についてのヤコビ行列をＪとすると、位置及び姿勢ｓ_ｉの微小変化Δｓ_ｉとカメラ座標Ｘ_ｃの微小変化の関係は数２のように近似される。

カメラの位置及び姿勢の６×６共分散行列をＣ_ｃａｍとすると、数２の関係からＸ_ｃの３×３共分散行列Ｃ_ｆは数３のように算出することができる。
Ｃ_ｆ＝ＪＣ_ｃａｍＪ^Ｔ （数３）
点Ｐ_ｆのばらつきを不確実性の指標としては、共分散行列Ｃ_ｆの最大固有値の平方根σ_ｍａｘを用いる。σ_ｍａｘは点Ｐ_ｆの位置が最もばらつく方向における標準偏差に相当する。以上のようにして得られた最遠点Ｐ_ｆの不確実性の指標σ_ｍａｘをｉ番目の配置候補に相当する配置時位置姿勢における計測時位置姿勢の不確実性の指標Ｕ_ｉとする。

（ステップＳ１０４０）
ステップＳ１０４０では、配置評価部３０は、ｉ番目の配置候補に相当する配置時位置姿勢ｓ_ｉを中心とした一定範囲内で生成した位置及び姿勢を初期値とした時に実際にモデルフィッティングによって得られる位置及び姿勢を算出する。なお、ここではモデルフィッティングに実際の画像からのエッジ検出は行わずに、配置時位置姿勢ｓ_ｉ及びキャリブレーション済みのカメラの内部パラメータ用いて算出された線分の画像上の位置を利用する。すなわち、配置位置姿勢から物体を観察した際に得られるべき画像データを、三次元形状モデルを用いて仮想的に描画する。

まず配置時位置姿勢ｓ_ｉの近傍において位置及び姿勢のサンプリングを行う。サンプリングを行う範囲は実際の利用場面を想定して決定する。例えば、カメラ（ロボット）の位置・姿勢制御の精度、作業台に部品を置く時の配置の精度などをもとに位置及び姿勢のサンプリングを行う範囲を決定する。本実施形態では、３自由度の位置のそれぞれの成分を±δ［ｍｍ］の範囲で、３自由度の姿勢のうち光軸周りの回転成分を±θ［度］の範囲でサンプリングするものとする。なお、サンプリングはランダムサンプリングであっても一様サンプリングであってもよい。なおサンプルされる位置及び姿勢の数はＭ個とする。

前述の範囲でランダムにサンプルされたＭ個の位置及び姿勢のそれぞれをｈ_ｊ（ｊ＝１，２，．．．，Ｍ）と表す。まず、ｈ_ｊ（ｊ＝１，２，．．．，Ｍ）を位置及び姿勢の初期値として、前述のＤｒｕｍｍｏｎｄらの方法により位置及び姿勢の算出を行う。Ｄｒｕｍｍｏｎｄらの方法では撮影画像からエッジ検出を行っている。これに対し、本実施形態では画像からのエッジ検出は行わない。その代わりに、位置及び姿勢ｓ_ｉ及びキャリブレーション済みのカメラの内部パラメータ用いて３次元形状モデルを構成する各線分の画像上の位置を算出しておく。対応付けの際には、線分の画像上の位置の算出結果からモデルに最も近いエッジを探索する。

ｈ_ｊ（ｊ＝１，２，．．．，Ｍ）を位置及び姿勢の初期値として算出された計測時位置姿勢をｈ’_ｊ（ｊ＝１，２，．．．，Ｍ）とする。ある位置及び姿勢ｓが計測される確率が正規分布に従うとすると、その確率はステップＳ１０３０で求めた位置及び姿勢の共分散Ｃ_ｃａｍから数４のように計算できる。

ここでは、ｈ’_ｊが得られる確率が閾値（例えば０．９）を下回る場合にはｈ’_ｊは計測データのばらつき以外の要因による誤差を持つ解（以下、局所解）であると判定し、局所解と判定されるｈ’_ｊの個数Ｌ_ｉを計数する。局所解と判定されるｈ’_ｊをｈ’’_ｋ（ｋ＝１，２，．．．，Ｌ_ｉ）と表す。

（ステップＳ１０５０）
ステップＳ１０５０では、配置評価部３０は、ステップＳ１０３０、Ｓ１０４０で得られた各配置時位置姿勢ｓ_ｉの不確実性の指標Ｕ_ｉと局所解に関する情報を用いてｓ_ｉの適切度を表す指標Ａ_ｉを算出する。Ｕ_ｉとＬ_ｉは計量空間が異なるため、統一された計量空間での指標となるようにする。ここでは、数５の指標Ａ_ｉを用いる。

ここでＸ_ｃ（ｈ’’_ｋ）、Ｘ_ｃ（ｓ_ｉ）はそれぞれｈ’’_ｋ、ｓ_ｉによって変換した時の点Ｐ_ｆのカメラ座標である。指標Ａ_ｉの分母の第２項、第３項ともに３次元空間における長さによって表されるため、指標Ａ_ｉは計量空間が統一された指標となる。また、指標Ａ_ｉは局所解の数及び局所解のｓ_ｉとの差が減るほど値が大きくなるような指標であり、指標Ａ_ｉの値が大きいほど適切度が高い。

（ステップＳ１０６０）
ステップＳ１０６０では、配置評価部３０は、すべての配置候補について適切度を表す指標Ａ_ｉを算出したかどうかの判定を行い、算出していればステップＳ１０８０に、していなければステップＳ１０７０に進む。

（ステップＳ１０７０）
ステップＳ１０７０では、配置評価部３０は、ｉを１増分する。

（ステップＳ１０８０）
ステップＳ１０８０では、配置決定部４０は、ステップＳ１０５０で算出された適切度を表す指標Ａ_ｉをもとに、高精度に部品の位置及び姿勢を計測するために最も適した配置を選択する。ここでは、指標Ａ_ｉが最大となる配置時位置姿勢ｓ_ｂｅｓｔを選択する。選択された配置時位置姿勢は配置情報保存部５０に保存され、実際に位置及び姿勢の計測を行う場合には、部品に対するカメラの配置時位置姿勢がｓ_ｂｅｓｔとなるようにロボットを移動させる。

以上述べたように、第１の実施形態では、部品に対するカメラ配置の各候補について計測される位置及び姿勢の不確定性及び実際にモデルフィッティングを行ったときに得られる局所解の情報に基づいて配置の適切度を算出し、最も適した配置の選択を行った。

第１の実施形態における方法により、計測データの誤差の影響による計測時位置姿勢の不確実性及び計測データの対応付けの誤りの影響における計測時位置姿勢の誤差の双方を考慮して、部品に対して最も良いカメラの配置を決定することができる。

（変形例）
第１の実施形態のステップＳ１０８０では、配置決定部４０は、ステップＳ１０５０で算出された適切度を表す指標Ａ_ｉをもとに、高精度に部品の位置及び姿勢を計測するために最も適した配置を選択する例を示した。しかしながら、適切度を表す指標Ａ_ｉをもとに、新たに位置姿勢を計測するための配置を生成するようにしてもよい。例えば、ここでは、指標Ａ_ｉが最大となる配置時位置姿勢と２番目の指標をもつ配置位置姿勢とを選択し、それら２つの間に新たに位置姿勢を生成するようにしてもよい。また、その際には、中間となる位置姿勢に生成してもよいし、指標の値に応じて重みづけすることにより位置姿勢を生成してもよい。

（第２の実施形態）
第１の実施形態では、候補となるカメラの配置時位置姿勢の近傍で位置及び姿勢のサンプリングを行い、サンプリングされた各位置及び姿勢を初期値として実際にモデルフィッティングを行って局所解が存在するか調べた。第２の実施形態では、モデルフィッティングは行わずに評価関数の値の計算のみで局所解の存在を調べる方法について説明する。

第２の実施形態における情報処理装置の構成は第１の実施形態と同一であるので説明を省略する。また、第２の実施形態におけるカメラの配置を決定する処理手順も基本的には第１の実施形態と同一であるので図及び重複する部分の説明を省略し、ステップＳ１０４０に相当する処理をステップＳ２０４０として説明する。

（ステップＳ２０４０）
ステップＳ２０４０では、配置評価部３０は、ｉ番目の配置候補に相当する配置時位置姿勢ｓ_ｉの近傍におけるモデルフィッティングの局所解の存在を調べる。

まず、第１の実施形態のステップＳ１０４０と同様に、配置時位置姿勢ｓ_ｉの近傍において複数の位置及び姿勢をサンプリングする。ただし、本ステップではモデルフィッティングによる位置及び姿勢の算出は行わず、サンプリングされた各位置及び姿勢における評価関数の値をもとに局所解の有無を調べる。ここで評価関数とは、モデルフィッティングによる位置及び姿勢の算出を行う際に最小化の対象とする関数のことである。本実施形態では、第１の実施形態のようにランダムなサンプリングではなく、位置及び姿勢の空間を等間隔かつ密にサンプリングする。サンプリングを行う範囲は、第１の実施形態と同様に決定する。本実施形態では、６自由度すべてのサンプリングは行わず、カメラ座標系における位置のＸ座標、Ｙ座標の２自由度空間をサンプリングする。サンプリングされるＸ座標、Ｙ座標の数をＳ個とすると、サンプリングされる位置及び姿勢の数はＳ^２個となる。サンプリングされたＳ^２個の位置及び姿勢のそれぞれをｈ_ｊ（ｊ＝１，２，．．．，Ｓ^２）と表し、各ｈ_ｊにおいてモデルフィッティングにおいて位置及び姿勢の最適化を行うための評価関数を算出する。

次に、配置時位置姿勢ｓ_ｉ及びキャリブレーション済みのカメラの内部パラメータ用いて３次元形状モデルを構成する各線分の画像上の位置を算出し、位置及び姿勢が配置時位置姿勢ｓ_ｉの場合の画像上でのエッジ位置を算出しておく。

次に、サンプリングされた位置及び姿勢ｈ_ｊ（ｊ＝１，２，．．．，Ｓ^２）についてモデルフィッティングの評価関数を算出する。前述のＤｒｕｍｍｏｎｄらの方法では、３次元形状モデルにおける線分を位置及び姿勢の初期値とカメラの内部パラメータを用いて画像上に投影する。そして、図４に示すように、投影された線分を画像上で等間隔になるように分割して分割点を設定し、分割点毎に投影された線分の法線方向に近接するエッジを探索して対応付ける。そして、対応付けられたエッジと３次元形状モデル（線分）との距離の二乗和を評価関数（誤差関数）として、評価関数が最小になるように位置及び姿勢を推定する。そこで、各サンプリングされた位置及び姿勢ｈ_ｊの評価関数の算出を次のように行う。まず３次元形状モデルの各線分の両端点の画像上の座標をサンプリングされた位置及び姿勢ｈ_ｊ及びカメラの内部パラメータ用いて算出し画像上の線分とする。そして、算出された画像上の線分上に等間隔（Ｔピクセル）に分割点を設定し、分割点毎に線分の法線方向において最も分割点に近接するエッジを前述のエッジ位置算出結果から探索する。設定された分割点の画像上の位置を（ｕ_ｓ，ｖ_ｓ）、対応付けられたエッジの位置を（ｕ’_ｓ，ｖ’_ｓ）、モデルの線分を投影して得られた画像上の線分の法線ベクトルを（ｎ_ｘｓ，ｎ_ｙｓ）とする。画像上に投影されたすべての線分から得られる分割点の数をＮ_ｄとすると、評価関数Ｅ_ｊは数６のようになる。

サンプリングされた各位置及び姿勢ｈ_ｊについて数６の評価関数を用いて評価値を算出した後、評価値が極小となる位置及び姿勢の存在を調べる。図５に示すように、本実施形態ではカメラ座標系におけるＸ座標、Ｙ座標の２自由度空間を等間隔にサンプリングしているので、Ｘ方向、Ｙ方向に隣接するサンプリングされた位置のすべてに対して評価値が極小となる局所解ｈ_ｊが存在するか調べる。局所解と判定されるｈ_ｊをｈ’’_ｋ（ｋ＝１，２，．．．，Ｌ_ｉ）と表す。Ｌ_ｉは局所解の数である。

以降のカメラの配置を決定する処理手順は実施形態と同一であるため説明を省略する。

以上述べたように、第２の実施形態では、モデルフィッティングを行ったときに得られる局所解の情報を得る際に、実際にモデルフィッティングは行わずに評価関数の値の計算のみでサンプリングされた位置及び姿勢における評価値を利用して局所解の有無を調べた。

第２の実施形態で示す方法により、局所解となりそうな位置及び姿勢を予め知ることができるため、それらを回避してより精度の高い位置及び姿勢の計測が可能な配置にすることができる。また、第２の実施形態では密にサンプリングされた位置及び姿勢のそれぞれについて評価を行っているため、配置を決定する段階では想定できない解が実利用場面で得られる可能性を考慮して最善な配置を決定することができる。

（第３の実施形態）
第３の実施形態では、第１の実施形態または第２の実施形態で説明した部品に対するカメラの配置の決定方法をユーザがグラフィカルユーザインタフェース（以下、ＧＵＩ）を介して利用する方法について説明する。

図６は、本実施形態におけるＧＵＩの一例を示す図である。ＧＵＩ３０００は、モデル読込みボタン３１００、カメラパラメータ読込みボタン３２００、観察距離設定用スライダー３３００、計算ボタン３４００、配置決定ボタン３５００、前の候補ボタン３６００、次の候補ボタン３７００、評価値提示部３８００、モデル表示部３９００を備える。

ユーザは、まずモデル読込みボタン３１００を用いて計測対象部品の３次元形状モデルを読み込む。モデル読込みボタン３１００が押下されると、例えばファイル選択用のダイアログが表示され、ユーザは所望の３次元形状モデルのファイルを選択する。第１の実施形態で述べたように、３次元形状モデルは例えば部品のポリゴンモデルである。

次に、ユーザは、カメラパラメータ読込みボタン３２００を用いて、位置及び姿勢の計測に利用するカメラの内部パラメータを読み込む。カメラパラメータ読込みボタン３２００が押下されると、例えばファイル選択用のダイアログが表示され、ユーザは所望の内部パラメータのファイルを選択する。第１の実施形態で述べたように、カメラの内部パラメータは予めキャリブレーションされており、読込み対象のファイルにはキャリブレーションされた内部パラメータが記載されている。なお、三次元形状モデルの読込みと内部パラメータの読込みは順番が前後してもよい。

続いて、ユーザは、観察距離設定用スライダー３３００を用いて、位置及び姿勢を計測するための画像を撮影する際の、カメラから部品までの距離を入力する。スライダーの両端には、設定可能な観察距離の最小値と最大値を割り当てる。観察距離の最小値と最大値はＧＵＩを介してユーザが入力してもよいし、前述の内部パラメータのファイルに記載しておいてもよい。ここで設定された観察距離は、第１の実施形態のステップＳ１０１０におけるカメラの配置の候補を生成する際の球の半径Ｒとして利用される。

三次元形状モデル及びカメラの内部パラメータの読込み、及び観察距離の設定が完了した後で、ユーザは計算ボタン３４００を押すことにより、カメラ配置の候補を複数生成し、各配置候補の適切度を表す指標を算出し、最も適切な配置を選択する。選択された配置の適切度を表す指標は、評価値提示部３８００に数値として提示される。同時に、選択された配置でのカメラによって部品を撮影した時の部品の見えがモデル表示部３９００に提示される。モデル表示部３９００に提示される部品の見えは、例えば３次元形状モデルを選択された配置における部品に対するカメラの位置及び姿勢と内部パラメータを用いてＣＧ画像をレンダリングすることにより生成する。３次元形状モデルのレンダリングは、例えばＯｐｅｎＧＬなどのグラフィクスライブラリを用いて行う。なお、例えば局所解となる位置及び姿勢での見えをワイヤフレームモデルなどでレンダリングして重畳表示し、どの程度ずれが生じる可能性があるのかをユーザが確認できるようにしてもよい。また、部品全体ではなく、部品の部位を指定し、指定した部位がどの程度ずれが生じる可能性があるのかをユーザに提示してもよい。なお、部品の見えの画像をレンダリングする際に、位置及び姿勢の計測に利用する３次元形状モデルをそのまま用いる必要はなく、レンダリングされた時にユーザが視認可能であれば他のモデルであってもよい。例えば、形状が粗いポリゴンモデルであってもよい。

さらには、最遠点Ｐ_ｆの場所を一緒に提示してもよいし、エッジ検出誤差に起因するカメラ位置及び姿勢のばらつきに関する情報を提示してもよい。

さらにユーザは、次の候補ボタン３７００を用いて、配置候補の適切度が次点の配置に関する情報を提示させることができる。この機能によって、例えば最も適切な配置と判断された配置が物理的に実現させにくい場合などに、他の候補の情報を確認することによって選択肢を拡大することができる。前の候補ボタン３６００を用いることで、より適切度が高い配置に戻すことも可能である。

最終的に利用する配置をユーザが判断したら、ユーザは配置決定ボタン３５００を押下することによって配置を確定させる。確定した配置は配置情報保存部５０に保存される。

以上述べたように、第３の実施形態では、ＧＵＩを用いることでユーザが配置の適切度を視認したり、ユーザ判断を加えてより適切な配置を決定したりすることができる。

（変形例１）
以上述べた実施形態では、カメラから得られる濃淡画像上で検出されたエッジに対するモデルフィッティングにより部品の位置及び姿勢を計測していた。しかしながら、部品の位置及び姿勢の計測方法はこれに限るものではない。例えば、濃淡画像上で検出された特徴点を利用してもよい。また、濃淡画像の各画素の輝度値を用いた方法であってもよい。

また、距離センサによって計測される３次元点群に部品の３次元形状モデルを当てはめて位置及び姿勢を計測してもよい。距離センサとしては、複数台のカメラ（ステレオカメラ）から構成されるパッシブ式のセンサや、カメラとプロジェクタによって構成されるアクティブ式のセンサを利用することができる。また、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ方式によって計測を行う距離センサを用いてもよい。この場合、距離センサがカメラの代わりにロボットアーム上に設置され、部品に対する距離センサの配置を決定する。

他にも、特許文献１に記載の方法 のように、濃淡画像上の画像特徴と距離センサによって計測される３次元点群の双方に３次元形状モデルを当てはめて位置及び姿勢を計測してもよい。この場合、撮影装置としては、濃淡画像撮影用のカメラと距離センサがリジッドに組み合わされた装置を利用してもよいし、前述のカメラとプロジェクタによって構成される距離センサのカメラを濃淡画像撮影用にも利用できる装置でもよい。

（変形例２）
以上述べた実施形態では、各エッジの検出誤差は互いに独立でかつ共通の分散の値を持つと仮定してエッジ検出誤差の共分散行列を与えていた。しかしながら、エッジ検出誤差の共分散行列の与え方はこれに限るものではない。例えば、反射特性を含む３次元形状モデルと光源の情報、カメラの内部パラメータ、カメラのノイズパラメータに基づいて各候補の位置及び姿勢における画像を複数生成し、生成された画像から検出されたエッジの位置の分散を算出してもよい。また、エッジ周辺の輝度値からのエッジ位置の算出方法をもとに、輝度値のばらつきをエッジ位置のばらつきに変換してもよい。なおカメラのノイズパラメータは、例えば同一のシーンの画像を複数枚撮影したときの各画素の輝度値の分散を求め、その中央値を利用する。また、実際にロボットアームを制御してカメラと部品の配置を各配置候補と類似させた画像を複数枚撮影し、複数枚の撮影画像からのエッジ検出結果からエッジ位置の分散を求めてもよい。

（変形例３）
以上述べた実施形態では、計測時位置姿勢の不確実性を表す指標として、モデル座標系の原点から最も遠い点Ｐ_ｆのばらつきを用いていた。しかしながら、計測時位置姿勢の不確実性を表す指標はこれに限るものではなく、他の指標であってもよい。例えば、モデル座標系の原点から最も遠い点ではなく、他の点のばらつきであってもよい。例えば、モデル座標系の原点からの距離が中央値になる点を用いてもよい。また、点のばらつきは、点の位置の共分散行列の最大固有値の平方根である必要はなく、点の位置の共分散行列の固有値の和であってもよい。さらには、位置及び姿勢の共分散行列の固有値に基づく指標であってもよい。例えば、位置及び姿勢の共分散行列の最大固有値や、固有値の和を指標として用いてもよい。

（変形例４）
以上述べた実施形態では、配置時位置姿勢の適切度を表す指標として、数５で表される指標を用いていた。しかしながら、配置時位置姿勢の適切度を表す指標はこれに限るものではなく、他の指標であってもよい。例えば、数５における分母の第２項と第３項の重み付けを変えてもよい。第１項の重みを大きくすると、局所解に陥らない場合のばらつきを重視した指標となる。第２項の重みを大きくすると、局所解になるべく陥らないような配置がより適切な配置として評価される。

（変形例５）
以上述べた実施形態では、モデルフィッティングを行う場合の画像上のエッジ位置として計算により求めたものを利用していた。しかしながら、エッジ位置を計算で求める必要は必ずしもない。例えば、実際にロボットアームを制御してカメラと部品の配置を各配置候補と類似させて撮影された複数枚の撮影画像それぞれについてエッジ検出を行ってモデルフィッティングを行ってもよい。また、反射特性を含む３次元形状モデルと光源の情報、カメラの内部パラメータ、カメラのノイズパラメータに基づいて各候補の位置及び姿勢における画像を複数生成し、生成された画像からエッジ検出を行ってモデルフィッティングしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

＜定義＞
位置姿勢候補生成手段は、計測対象の部品に対するカメラの配置の候補を生成する手段であればいかなる手段であってもよい。例えば、第１の実施形態で述べたように、部品の重心を中心とした半径Ｒの球を多面体近似し、多面体の頂点毎にカメラのレンズ中心を置き、カメラの光軸が球の中心を向くように配置の候補を生成してもよい。これ以外にも、部品の重心を中心とした立方体の上や内部にランダムに点を配置し、各点にカメラのレンズ中心を置いて配置の候補を生成してもよい。

また、カメラがロボットのアーム上に設置される場合には、カメラの位置及び姿勢をロボットハンドの位置及び姿勢に変換し、変換されたハンドの位置及び姿勢がアームの可動範囲内にない場合には候補から除外するようにしてもよい。

また、以上述べた第１の実施形態では、候補の位置及び姿勢の近傍における位置及び姿勢のサンプリングを行う際に、位置３自由度、姿勢１自由度の範囲でのサンプリングを行っていた。しかしながら、サンプリングする自由度はこれに限るものではない。例えば、位置３自由度、姿勢３自由度の範囲からサンプリングすることで６自由度すべてをサンプリングしてもよい。

また第２の実施形態でも、カメラ座標系における位置のＸ座標、Ｙ座標の２自由度空間のサンプリングを行っていた。しかしながら、サンプリングする自由度はこれに限るものではない。例えば、位置のＸ座標、Ｙ座標に加えて、カメラの光軸まわりの回転についてサンプリングしてもよい。

さらに、以上述べた実施形態では、カメラはロボットのアーム上に固定され、シーン中に固定された部品のハンドに対する位置及び姿勢を計測するための画像を撮影することを前提としていた。しかしながらカメラの配置はこれに限るものではない。例えば、カメラがシーン中に固定され、ロボットのハンドが把持する部品の計測を高精度に行うための配置の決定を行ってもよい。また、部品を把持しているロボットとは別のロボットにカメラを固定し、ロボットに把持されている部品とロボット上のカメラとの配置を決定してもよい。

位置姿勢評価手段は、計測対象の部品に対するカメラの配置を評価する手段であればいかなる手段であってもよい。例えば、第１の実施形態で述べたように、配置時位置姿勢の近傍において複数の位置及び姿勢をサンプリングし、サンプリングされた位置及び姿勢を初期値としてモデルフィッティングを行った時に得られる位置及び姿勢をもとにカメラ配置を評価してもよい。また、第２の実施形態で述べたように、配置時位置姿勢の近傍において複数の位置及び姿勢を密にサンプリングし、それぞれの位置及び姿勢におけるモデルフィッティングの最小化の対象となる評価関数の値から局所解の有無を調べてカメラ配置を評価してもよい。

位置姿勢決定部は、計測対象の部品に対するカメラの複数の配置候補の中から適切な配置を選択する方法であればいかなる方法であってもよい。第１の実施形態で述べたように適切度が最大となる配置を選択してもよいし、第３の実施形態で述べたように適切度で順位付けされた配置のリストを示し選択はユーザが行ってもよい。

モデル保持手段は、記憶装置から読み込まれた計測対象の部品の３次元形状モデルを保持する手段であればいかなる手段であってもよい。例えば、モデル保持手段はコンピュータ上のＲＡＭとして実現される。また、以上述べた実施形態では、部品の３次元形状モデルとして部品を多面体近似したポリゴンモデルを利用していた。しかしながら３次元形状モデルはこれに限るものではなく、濃淡画像や距離画像に対してモデルフィッティングが可能であればいかなるモデルであってもよい。例えば、モデルフィッティングに利用する点をあらかじめポリゴンモデル上からサンプリングすることによって得られる点の集合データであってもよい。また、点の集合データは、ポリゴンモデルからサンプリングしたものに限らず、実際の部品を計測することによって得られるデータであってもよい。さらには、多面体近似したモデルではなく、正確な形状を保持したＳＴＥＰ形式などのＣＡＤデータであってもよい。

＜効果のまとめ＞
本発明により、計測データの誤差の影響による計測時位置姿勢の不確実性に加えて、計測データの対応付けの誤りの影響における計測時位置姿勢の誤差を考慮した指標を用いることにより、より計測対象の部品に対するカメラの配置をより適切に決定することができる。

さらに、上記指標とＧＵＩを組み合わせることでユーザが配置の適切度を視認したり、ユーザ判断を加えてより適切な配置を決定したりすることができる。

１ 情報処理装置
１０ 配置候補生成部
２０ モデル保持部
３０ 配置評価部
４０ 配置決定部
５０ 配置情報保存部

Claims (12)

1. 物体を撮像する撮像装置の位置姿勢を決定するための情報処理装置であって、
   物体の三次元形状を表す三次元形状モデルを保持する保持手段と、
   前記物体に対する撮像装置の位置姿勢の候補を生成する生成手段と、
   前記生成手段によって生成された位置姿勢に前記撮像装置を配置した場合に観察される前記物体を仮想的に生成したデータと、前記三次元形状モデルとを対応づけた結果に基づいて、前記物体の位置姿勢を導出する導出手段と、
   前記導出手段で導出された位置姿勢を評価することにより、前記物体に対する撮像装置の位置姿勢の候補を評価する評価手段と、
   前記評価手段により評価された結果に基づいて、前記物体に対する撮像装置の位置姿勢を決定する決定手段とを備え、
   前記導出手段は、前記生成手段によって生成された位置姿勢の近傍に、前記位置姿勢とは異なる複数の位置姿勢を生成し、前記位置姿勢から観察される前記物体を仮想的に生成したデータの特徴と、前記位置姿勢の近傍で生成された位置姿勢それぞれで前記三次元形状モデルを配置した際の前記三次元形状モデルの特徴と、を対応づけることにより、前記物体の複数の位置姿勢を導出することを特徴とする情報処理装置。
2. 前記導出手段は、前記生成手段によって生成された位置姿勢に前記撮像装置を配置した場合に観察される前記物体を仮想的に生成したデータの特徴と、前記三次元形状モデルの特徴とを対応づけることにより、前記物体の位置姿勢を導出することを特徴とする請求項１に記載の情報処理装置。
3. 前記評価手段は、前記導出された位置姿勢が得られる確率を求め、該確率に基づいて、前記導出された位置姿勢を評価することを特徴とする請求項１に記載の情報処理装置。
4. 前記複数の位置姿勢それぞれに対して、前記評価手段により前記確率が閾値よりも小さい位置姿勢の個数を算出し、該個数に基づいて、前記物体に対する撮像装置の位置姿勢を決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記評価手段は、前記対応づけた結果から得られる誤差関数に基づいて、前記物体に対する撮像装置の位置姿勢の候補を評価することを特徴とする請求項１に記載の情報処理装置。
6. 前記生成手段は、複数の位置姿勢の候補を生成し、
   前記評価手段は、前記複数の位置姿勢の候補それぞれから導出される位置姿勢をそれぞれ評価し、
   前記決定手段は、前記評価手段によって評価された結果に基づいて、前記複数の位置姿勢の候補の中から、１つの位置姿勢を選択することにより、前記物体に対する撮像装置の位置姿勢を決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記生成手段は、複数の位置姿勢の候補を生成し、
   前記評価手段は、前記複数の位置姿勢の候補それぞれから導出される位置姿勢をそれぞれ評価し、
   前記決定手段は、前記評価手段によって評価された結果に基づいて、前記複数の位置姿勢の候補に基づいて、新たに１つの位置姿勢を生成することにより、前記物体に対する撮像装置の位置姿勢を決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
8. 前記撮像装置は、濃淡画像を取得するカメラであることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記撮像装置は、距離画像または三次元点群を取得する距離センサであることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 更に、前記決定された位置姿勢をユーザに提示する提示手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 物体を撮像する撮像装置の位置姿勢を決定するための情報処理方法であって、
    前記物体に対する撮像装置の位置姿勢の候補を生成する生成工程と、
    前記生成工程において生成された位置姿勢に前記撮像装置を配置した場合に観察される前記物体を仮想的に生成したデータと、物体の三次元形状を表す三次元形状モデルとを対応づけた結果に基づいて、前記物体の位置姿勢を導出する導出工程と、
    前記導出工程で導出された位置姿勢を評価することにより、前記物体に対する撮像装置の位置姿勢の候補を評価する評価工程と、
    前記評価手段により評価された結果に基づいて、前記物体に対する撮像装置の位置姿勢を決定する決定工程とを備え、
    前記導出工程では、前記生成手段によって生成された位置姿勢の近傍に、前記位置姿勢とは異なる複数の位置姿勢を生成し、前記位置姿勢から観察される前記物体を仮想的に生成したデータの特徴と、前記位置姿勢の近傍で生成された位置姿勢それぞれで前記三次元形状モデルを配置した際の前記三次元形状モデルの特徴と、を対応づけることにより、前記物体の複数の位置姿勢を導出することを特徴とする情報処理方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images