JP6199000B2

JP6199000B2 - 情報処理装置

Info

Publication number: JP6199000B2
Application number: JP2017519001A
Authority: JP
Inventors: 勇一郎村地
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-05-29
Filing date: 2015-05-29
Publication date: 2017-09-20
Anticipated expiration: 2035-05-29
Also published as: JPWO2016194078A1; WO2016194078A1

Description

本発明は、カメラキャリブレーションに関する。

加工機カメラ応用技術は、加工機にカメラを設置し、カメラが加工機のヘッド近辺を撮影し、撮影した画像を、加工機のＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）表示、加工機の内部処理などに利用する技術である。
加工機カメラ応用技術には、カメラで撮影して得られた撮影画像の画素座標と加工機の物理座標との間の対応関係（以下では、カメラ画像の画素座標と加工機の物理座標の関係を「座標対応関係」という）を求め、求めた座標対応関係から撮影画像を変換して表示したり、撮影画像の認識結果を加工機の内部演算に反映したり、加工機の加工設計図を撮影画像に重畳したりする技術がある。
座標対応関係を求めることを、一般的にカメラの外部キャリブレーションと呼ぶ。
外部キャリブレーションでは、１つ以上の特徴点を持つキャリブレーションパタンを規定の位置において撮影を行い、撮影画像からキャリブレーションパタン内の特徴点の画素座標を検出し、その特徴点の物理座標と画素座標とを対応付けることで座標対応関係が得られる。
キャリブレーションパタンには市松模様が広く用いられている。
キャリブレーションパタンに市松模様を用いる場合は、各正方形の角（市松模様の正方形を構成する直線同士が交わる点）を特徴点として外部キャリブレーションが行われることが一般的である。
特許文献１では、市松模様によりキャリブレーションを行う手法（従来手法１という）が開示されている。
撮影画像から市松模様の交点を検出するプログラムは広く普及しており、計算機を用いることで自動的に交点を検出することができる。
特許文献２では、移動体（加工機の加工ヘッドに当たる部分）にキャリブレーションパタンを装着し、移動体（＝キャリブレーションパタン）を移動させながら移動体の撮影を繰り返すことで、キャリブレーションパタンの作成コストを低減しながら外部キャリブレーションの精度を向上する手法（従来手法２という）が開示されている。

特開２００５−２５０６２８号公報特開２０１０−２７６６０３号公報

外部キャリブレーションを実施した後にカメラと加工機の間で細かな相対位置ずれ（以下では、カメラと加工機の相対位置ずれを単純に「カメラ位置ずれ」という）が起こると、座標対応関係が変化してしまうため、外部キャリブレーションを再実行しなければならない。
従来手法１及び従来手法２のいずれでも、外部キャリブレーションにはキャリブレーションパタンの着脱が必要であり、特に従来手法２の外部キャリブレーションでは、移動体を複数の既定の位置に移動させながら撮影を繰り返す、という一連の作業を行う必要がある。
このように、従来手法１及び従来手法２では、カメラ位置ずれが起こる度に、加工機を用いた加工作業を止めて、座標対応関係の再取得のための外部キャリブレーションを実行しなければならないという課題がある。
特にカメラの取り付け位置と加工機が構造的に固定されていない環境、カメラの定期的な取り付け／取り外しが必要な環境といった、カメラ位置ずれが生じやすい環境では、外部キャリブレーションを頻繁に実行しなければならず、メンテナンスコストが大きい。

本発明は、上記の課題を解決することを主な目的としており、外部キャリブレーションを行わずに、座標対応関係を補正することを主な目的とする。

本発明に係る情報処理装置は、
移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する。

本発明では、移動体が移動空間内で停止した際に撮影された撮影画像における特徴点の画素座標と特徴点の物理座標との対応関係である特徴点座標対応関係を抽出し、特徴点座標対応関係を用いて基準座標対応関係を補正する。
このため、外部キャリブレーションを行わずに、座標対応関係を補正することができる。

実施の形態１に係るシステム構成例を示す図。実施の形態１に係る情報処理装置の機能モジュール構成例を示す図。実施の形態１に係る情報処理装置のハードウェア構成例を示す図。実施の形態１に係るキャリブレーションの手順例を示すフローチャート図。実施の形態１に係る情報処理装置におけるデータフロー例を示す図。実施の形態１に係るキャリブレーションパタンの例を示す図。実施の形態１に係る第二の座標対応関係の例を示す図。実施の形態１に係る第三の座標対応関係の例を示す図。実施の形態１に係る座標対応関係差分の例を示す図。実施の形態２に係る情報処理装置の構成例を示す図。実施の形態２に係る情報処理装置の構成例を示す図。実施の形態２に係る情報処理装置の構成例を示す図。実施の形態１に係る撮影画像の例を示す図。実施の形態１に係る撮影画像の変換画像の例を示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係るシステム構成例を示す。

図１において、情報処理装置１００は、撮影装置２００で撮影された撮影画像を用いた外部キャリブレーション、外部キャリブレーションにより得られた座標対応関係の補正等を行う。
また、情報処理装置１００は、駆動装置４００に制御信号を送信して、駆動装置４００を制御する。
情報処理装置１００の詳細は後述する。

撮影装置２００は、例えばカメラである。
撮影装置２００は、既定の設置位置に固定されて設置されている。
矢印Ｂに示されるように、撮影装置２００の撮影方向は、移動空間６００に向けて固定されている。
移動空間６００は、移動体３００が移動する空間である。
撮影装置２００で撮影された撮影画像は、外部キャリブレーションに用いられる。
また、撮影装置２００で撮影された撮影画像は画像変換されて、移動体３００の位置制御に用いられる。

移動体３００は、本実施の形態では、材料を加工する加工機のヘッド（可動部分）である。
移動体３００は、駆動装置４００の制御により、加工テーブル５００上をＸ軸方向、Ｙ軸方向及びＺ軸方向に移動する。
加工テーブル５００は、移動体３００により加工される材料が配置される板状の台である。
移動体３００は、加工テーブル５００上を移動し、例えば、加工テーブル５００に配置されている材料にレーザを照射して材料の切断、削孔等の加工を行う。
移動体３００が移動する空間を移動空間６００という。
移動空間６００のＸ軸方向の寸法は、例えば、加工テーブル５００のＸ軸方向の寸法（横幅）に一致し、Ｙ軸方向の寸法は、加工テーブル５００のＹ軸方向の寸法（奥行）に一致する。
Ｚ軸方向の寸法は、５ｃｍ程度である。
図１では作図上の理由より、Ｚ軸方向の寸法が大きく描画されているが、実際の寸法は５ｃｍ程度である。

駆動装置４００は、情報処理装置１００からの制御信号に基づいて、移動体３００を駆動する。

図１３は、撮影装置２００が加工テーブル５００を撮影して得られた撮影画像の例を示す。
つまり、図１３の撮影画像は、図１の矢印Ｂを視点方向とする撮影画像である。
図１３では、加工テーブル５００上に材料７００が置かれている。
情報処理装置１００では、図１３の撮影画像の画像変換を行って、図１の矢印Ａを視点方向とする図１４の撮影画像を取得する。
そして、情報処理装置１００は、駆動装置４００を制御して、図１４の撮影画像の所望の画素座標（例えば、材料７００の左上の角）に対応する物理座標（三次元座標ともいう）に移動体３００を移動させて、材料７００に対する加工を行わせる。
このような作業は、外部キャリブレーションにより得られた、撮影画像（図１３）内の画素座標と物理座標との座標対応関係を用いて行われる。

駆動装置４００による振動等によって撮影装置２００と移動空間６００との間に相対的な位置ずれ（カメラ位置ずれ）が発生した場合には、座標対応関係を修正する必要がある。
本実施の形態に係る情報処理装置１００は、カメラ位置ずれが生じた場合でも、移動体３００を用いた加工を継続しながら、座標対応関係の修正を行うことができる。

図２は、本実施の形態に係る情報処理装置１００の機能モジュール構成例を示す。
なお、図２は、外部キャリブレーション処理、座標対応関係の補正処理に関する機能モジュール構成のみを示している。
上述したように、本実施の形態に係る情報処理装置１００は、図１３及び図１４を用いて説明した撮影画像の画像変換処理、駆動装置４００の制御処理等も実施するが、これら画像変換処理、制御処理に関する機能モジュール構成は図２には示していない。

画像取得部１０１は、撮影装置２００で撮影された撮影画像を取得する。

第一のキャリブレーション処理部１０２は、外部キャリブレーションを行う。
第一のキャリブレーション処理部１０２は、例えば、従来手法１及び従来手法２の外部キャリブレーションを行う。
第一のキャリブレーション処理部１０２による外部キャリブレーション（第一のキャリブレーションという）により得られた物理座標と画素座標との座標対応関係を第一の座標対応関係という。
第一の座標対応関係は、移動空間６００内の物理座標と撮影装置２００が移動空間６００を撮影して得られる撮影画像における画素座標との対応関係であり、基準座標対応関係の例に相当する。

第二のキャリブレーション処理部１０３は、第一の座標対応関係を補正するためのキャリブレーション（第二のキャリブレーションという）を行う。
第二のキャリブレーション処理部１０３は、特徴点検出部１０４、差分算出部１０５、補正部１０６を含む。

特徴点検出部１０４は、移動体３００が移動空間６００内で停止した際に撮影装置２００が移動体３００を撮影して得られた撮影画像における移動体３００内の特徴点の画素座標と、撮影装置２００が移動体３００を撮影した際の特徴点の物理座標との対応関係を抽出する。
特徴点は、移動体３００に設けられたキャリブレーションパタンの特徴点である。
特徴点検出部１０４は、撮影画像においてキャリブレーションパタンの特徴点を抽出し、抽出した特徴点の画素座標と、特徴点の物理座標との対応関係を抽出する。
特徴点検出部１０４は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に、特徴点の画素座標と特徴点の物理座標との対応関係を抽出する。
このように、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された特徴点の画素座標と特徴点の物理座標との対応関係を、第二の座標対応関係という。
第二の座標対応関係は、第一のキャリブレーションの直前又は直後、または、第一のキャリブレーションと同時に抽出された対応関係であるため、第一の座標対応関係と整合している。
つまり、第一の座標対応関係と第二の座標対応関係との間には相対的な位置ずれはない。
なお、第二の座標対応関係は、照合座標対応関係の例に相当する。
また、特徴点検出部１０４は、第二の座標対応関係が得られた後に、随時、移動体３００が移動空間６００内で停止した際に撮影装置２００が移動体３００を撮影して得られた撮影画像における移動体３００内の特徴点の画素座標と、撮影装置２００が移動体３００を撮影した際の特徴点の物理座標との対応関係を抽出する。
第二の座標対応関係が得られた後に得られた、特徴点の画素座標と特徴点の物理座標との対応関係を、第三の座標対応関係という。
第三の座標対応関係は、第二の座標対応関係と整合していない可能性がある。
第三の座標対応関係は、特徴点座標対応関係の例に相当する。
また、特徴点検出部１０４は、抽出部の例に相当する。

差分算出部１０５は、第二の座標対応関係と第三の座標対応関係との差分を算出する。

補正部１０６は、第三の座標対応関係を用いて第一の座標対応関係を補正する。
より具体的には、補正部１０６は、差分算出部１０５により算出された第二の座標対応関係と第三の座標対応関係との差分を用いて、第一の座標対応関係を補正する。

記憶部１０７は、画像取得部１０１により取得された撮影画像を記憶する。
また、記憶部１０７は、第一の座標対応関係が示される第一の座標対応関係情報を記憶する。
また、記憶部１０７は、第二の座標対応関係が示される第二の座標対応関係情報を記憶する。
また、記憶部１０７は、第三の座標対応関係が示される第三の座標対応関係情報を記憶する。
また、記憶部１０７は、差分算出部１０５により算出された第二の座標対応関係と第三の座標対応関係との差分が示される座標対応関係差分情報を記憶する。

図３は、本実施の形態に係る情報処理装置１００のハードウェア構成例を示す。
情報処理装置１００は、コンピュータであり、演算装置１１と記憶装置１２を備える。
演算装置１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサであり、プロセッシングを行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。
記憶装置１２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリである。
記憶装置１２は、図２の記憶部１０７に対応する。
記憶装置１２には、プログラムが記憶されている。
具体的には、記憶装置１２には、画像取得部１０１の機能を実現する画像取得プログラム１０１０が記憶されている。
また、記憶装置１２には、第一のキャリブレーション処理部１０２の機能を実現する第一のキャリブレーションプログラム１０２０が記憶されている。
また、記憶装置１２には、第二のキャリブレーション処理部１０３の機能を実現する第二のキャリブレーションプログラム１０３０が記憶されている。
第二のキャリブレーションプログラム１０３０には、特徴点検出部１０４の機能を実現する特徴点抽出プログラム１０４０と、差分算出部１０５の機能を実現する差分算出プログラム１０５０と、補正部１０６の機能を実現する補正プログラム１０６０が含まれる。
また、図３には図示していないが、記憶装置１２には、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。
演算装置１１がＯＳを実行しながら、図３に示すプログラムを実行することで、第一のキャリブレーション処理部１０２、第二のキャリブレーション処理部１０３、特徴点検出部１０４、差分算出部１０５、補正部１０６の機能が実行される。
なお、第二のキャリブレーションプログラム１０３０が、キャリブレーション処理プログラムの例に相当する。
また、記憶装置１２には、第一の座標対応関係情報１１１１、第二の座標対応関係情報１１１２、第三の座標対応関係情報１１１３、座標対応関係差分情報１１１４、撮影画像１１２０、１１２１も記憶されている。
なお、情報処理装置１００は、演算装置１１、記憶装置１２以外に、マウス、キーボード、タッチパネル等の入力装置、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等のディスプレイ、通信チップ、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）等の通信装置を備えていてもよい。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る動作例を説明する。

移動体３００を用いた加工を行う者（以下、オペレータという）が、情報処理装置１００に対して移動体３００の移動経路を表す任意の制御命令を与える。
情報処理装置１００では、図２に図示していない制御手段が、制御命令で指定された位置に移動体３００を移動させるための制御信号を駆動装置４００に出力する。
駆動装置４００は制御信号に従って移動体３００を移動させる。
移動体３００は複数の制御命令の組み合わせにより移動空間６００内の任意の位置に異動させることができる。
制御命令を制御手段に事前に記録しておき、オペレータが任意の制御命令を呼び出すことができる。
また、オペレータは、呼び出した制御命令を複数のステップに分け、ステップごとに実行タイミングを指定することができる。
また、制御命令を制御手段に事前に記録せずに、オペレータが、情報処理装置１００の外部から制御命令を入力することも可能である。

撮影装置２００は、オペレータの意図する任意のタイミングで移動体３００を撮影できる。
撮影画像は情報処理装置１００で保持される。
情報処理装置１００が撮影のタイミングを指示してもよいし、オペレータが制御命令を用いて撮影タイミングを指示してもよい。

図４は、本実施の形態に係る情報処理装置１００の動作例を示す。
また、図５は、本実施の形態に係る情報処理装置１００におけるデータフロー例を示す。
以下、図４及び図５を用いて、本実施の形態に係る情報処理装置１００の動作例を説明する。
なお、以下にて説明する手順は、キャリブレーション方法の例に相当する。

まず、第一のキャリブレーション処理部１０２が、第一のキャリブレーションを行う（図４のＳ４０１）。
第一のキャリブレーション処理部１０２は、撮影装置２００の撮影画像を画像取得部１０１から取得し、移動体３００の物理座標を制御手段から取得し、撮影画像と移動体の物理座標とに基づき、第一のキャリブレーションを行う。
本明細書では、第一のキャリブレーションの実現方法は特に指定しない。
第一のキャリブレーション処理部１０２は、従来手法１のように、市松模様のキャリブレーションパタンを用いて座標対応関係を取得してもよいし、従来手法２のように、移動体にキャリブレーションパタンを装着して座標対応関係を取得してもよい。
また、第一のキャリブレーション処理部１０２は、他の手法により、座標対応関係を取得してもよい。
第一のキャリブレーション処理部１０２により得られた画素座標と三次元物理座標との対応関係である第一の座標対応関係は、記憶部１０７に記憶される。

次に、準備段階として、第二のキャリブレーション処理部１０３が第二の座標対応関係を取得する（Ｓ４０２〜Ｓ４０５）。
第二の座標対応関係は、移動体３００に設けられたキャリブレーションパタンの特徴点を抽出することで取得される。
キャリブレーションパタンは移動体３００に常設された、１個以上の特徴点を持つ撮像対象である。
キャリブレーションパタンの最も簡単な例は、図６に示すような１個の特徴点を持つ市松模様である。
キャリブレーションパタンは、移動体３００に部品として装着してもよい。
また、塗装、貼付、削り出し、刻印のいずれかによりキャリブレーションパタンを移動体３００に設けてもよい。
また、移動体３００の一部を変形させて、キャリブレーションパタンを移動体３００に設けてもよい。
キャリブレーションパタンは、撮影装置２００から撮影可能な位置に設けられる。
キャリブレーションパタンは、移動体３００の一方向、例えば前面にのみ設けてもよいし、移動体３００の全ての面に設けてもよい。
また、移動体３００にキャリブレーションパタンを取り付けるに当たって、あらかじめ制御手段で管理している移動体３００の三次元座標（ｘ，ｙ，ｚ）と、キャリブレーションパタンの特徴点の三次元座標（ｘ’，ｙ’，ｚ’）の関係を測定しておく。
なお、前述したキャリブレーションパタンの形状、実装方法、取り付け位置は一例である。

図４のＳ４０２〜Ｓ４０５は、第一のキャリブレーション処理部１０２による第一のキャリブレーション（Ｓ４０１）と同時（もしくは直前又は直後でもよい）に行われる。
制御手段が移動体３００を移動空間６００内で移動させ（Ｓ４０２）、移動体３００を特定の位置で停止させた場合に、撮影装置２００が移動体３００を撮影する。
画像取得部１０１が撮影画像を取得する（Ｓ４０３）。
次に、特徴点検出部１０４が、画像取得部１０１から撮影画像を取得し、制御手段から移動体３００の停止位置の物理座標を取得し、撮影画像と移動体３００の停止位置の物理座標から、第二の座標対応関係を抽出する（Ｓ４０４）。
制御手段が移動体３００を停止させる度に、以上の動作が行われ、複数の停止位置について第二の座標対応関係が得られる（Ｓ４０５）。
以下、Ｓ４０２、Ｓ４０３、Ｓ４０４の処理の詳細を説明する。

ここでは、移動体３００が物理座標（ｘ_ｂ１，ｙ_ｂ１，ｚ_ｂ１）、（ｘ_ｂ２，ｙ_ｂ２，ｚ_ｂ２）．．．．（ｘ_ｂｎ，ｙ_ｂｎ，ｚ_ｂｎ）の位置で停止し、それぞれの停止位置で撮影された撮影画像１〜撮影画像ｎが取得されたとする。
なお、移動体３００の移動経路及び撮影画像の取得の方法は任意である。
例えば、移動体３００を物理座標（ｘ_ｂ１，ｙ_ｂ１，ｚ_ｂ１）、（ｘ_ｂ２，ｙ_ｂ２，ｚ_ｂ２）．．．．（ｘ_ｂｎ，ｙ_ｂｎ，ｚ_ｂｎ）の位置で順に停止させ、各停止位置で撮影装置２００に撮影を行わせる複数の制御命令をあらかじめ用意しておけば、オペレータは当該複数の制御命令の実行を指示するだけで複数の停止位置における撮影画像１〜撮影画像ｎを情報処理装置１００に取り込むことができる。
オペレータが逐一、制御手段に移動指示を出し、また、撮影装置２００に撮影指示を出すようにしてもよい。
また、第一のキャリブレーション（Ｓ４０１）が従来手法２で実現される場合は、第一のキャリブレーションの実行時に移動体３００の移動と撮影が行われているので、特徴点検出部１０４が、第一のキャリブレーションで撮影された撮影画像を用いて第二の座標対応関係を抽出してもよい。

特徴点検出部１０４は、撮影画像からキャリブレーションパタンの特徴点の画素座標を検出する。
なお、特徴点検出部１０４は、どのような方法で特徴点の画素座標を検出してもよい。
特徴点検出部１０４は、移動体３００の三次元座標（ｘ，ｙ，ｚ）とキャリブレーションパタンの三次元座標（ｘ’，ｙ’，ｚ’）との関係は取得済みである。
このため、特徴点検出部１０４は、特徴点の画素座標と特徴点の物理座標との対応関係を抽出することができる。
特徴点検出部１０４は、撮影画像１〜撮影画像ｎに対して、キャリブレーションパタンの特徴点の画素座標（ａ_ｂ１，ｂ_ｂ１）、（ａ_ｂ２，ｂ_ｂ２）．．．（ａ_ｂｎ，ｂ_ｂｎ）を検出し、撮影画像１〜撮影画像ｎの撮影の際のキャリブレーションパタンの特徴点の三次元座標（ｘ’_ｂ１，ｙ’_ｂ１，ｚ’_ｂ１）、（ｘ’_ｂ２，ｙ’_ｂ２，ｚ’_ｂ２）．．．（ｘ’_ｂｎ，ｙ’_ｂｎ，ｚ’_ｂｎ）と対応付けて、図７に示す第二の座標対応関係を得る。
そして、特徴点検出部１０４により得られた第二の座標対応関係は、記憶部１０７に記憶される。
以上で事前準備は完了である。
以降、運用段階において、特徴点検出部１０４と差分算出部１０５が、第二の座標対応関係を用いて、撮影装置２００の位置ずれを補正する。
運用段階とは、移動体３００が加工テーブル５００上の材料に対する加工を行う段階である。
つまり、情報処理装置１００は、運用段階において、移動体３００が材料の加工のために停止すると撮影装置２００が移動体３００を撮影し、第三の座標対応関係を抽出し、第三の座標対応関係と第二の座標対応関係との差分を用いて第一の座標対応関係を補正する。

具体的には、制御手段が移動体３００を移動空間６００内で移動させ（Ｓ４０６）、移動体３００を特定の位置（例えば、材料のある位置）で停止させた場合に、撮影装置２００が移動体３００を撮影する。
そして、画像取得部１０１が撮影画像を取得する（Ｓ４０７）。
次に、特徴点検出部１０４が、画像取得部１０１から撮影画像を取得し、制御手段から移動体３００の停止位置の物理座標を取得し、撮影画像と移動体３００の停止位置の物理座標から、第三の座標対応関係を抽出する（Ｓ４０８）（抽出処理）。
制御手段が移動体３００を停止させる度に、以上の動作が行われ、複数の停止位置について第三の座標対応関係が得られる（Ｓ４０９）。
なお、Ｓ４０６ではＳ４０２と同じ動作が行われ、Ｓ４０７ではＳ４０３と同じ動作が行われ、Ｓ４０８ではＳ４０４と同じ動作が行われる。

運用段階では、移動体３００が撮影に十分な期間停止した際に、撮影装置２００が移動体３００の撮影を行い、画像取得部１０１を介して、特徴点検出部１０４が、撮影画像ｍを取得し、更に、制御手段から、移動体３００の停止位置の物理座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）を取得する。
特徴点検出部１０４は、撮影画像からキャリブレーションパタンの特徴点の画素座標（ａ_ｃ，ｂ_ｃ）を検出する。
前述のように、特徴点検出部１０４は、移動体３００の三次元座標（ｘ，ｙ，ｚ）とキャリブレーションパタンの三次元座標（ｘ’，ｙ’，ｚ’）との関係は取得済みである。
このため、特徴点検出部１０４は、特徴点の画素座標（ａ_ｃ，ｂ_ｃ）と特徴点の物理座標（ｘ’_ｃ，ｙ’_ｃ，ｚ’_ｃ）との対応関係を抽出することができる。
移動体３００が停止するたびに撮影と特徴点の検出を繰り返すことで、現在の撮影装置２００と移動体３００の位置関係を反映した第三の座標対応関係が得られる。

特徴点検出部１０４は、更に、第三の座標対応関係に対する補間処理を行って、第二の座標対応関係の複数の物理座標に対する複数の画素座標を導出して、補間された第三の座標対応関係を得る（Ｓ４１０）。
この結果、図８に示すような三次元座標（ｘ_ｂ１，ｙ_ｂ１，ｚ_ｂ１）、（ｘ_ｂ２，ｙ_ｂ２，ｚ_ｂ２）．．．．（ｘ_ｂｎ，ｙ_ｂｎ，ｚ_ｂｎ）に対応する画素座標（ａ_ｃ１，ｂ_ｃ１）、（ａ_ｃ２，ｂ_ｃ２）．．．（ａ_ｃｎ，ｂ_ｃｎ）を、補間された第三の座標対応関係として得る。
なお、補間処理はどのような補間方法により実現されてもよい。

次に、差分算出部１０５が、図９に示すように、補間された第三の座標対応関係と、第二の座標対応関係との差分を算出する（Ｓ４１１）。
また、差分算出部１０５は、算出した差分を座標対応関係差分として補正部１０６に出力する。
この座標対応関係差分が、撮影装置２００の位置ずれによって発生する座標上の誤差を表す。
補正部１０６は、この座標対応関係差分を用いて第一の座標対応関係を補正し（Ｓ４１２）（補正処理）、運用段階で発生した撮影装置２００の位置ずれを吸収するための新たな第一の座標対応関係を得る。
なお、座標対応関係差分を用いた第一の座標対応関係の補正は、最も簡単には第一の座標対応関係に座標対応関係差分を足し込むことにより実現される。

＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態によれば、撮影装置２００の位置がずれた場合でも、移動体３００を加工に用いながら位置ずれの検出及び座標対応関係の補正が可能である。
従来手法１及び従来手法２では、移動体３００を用いた加工を停止して再度外部キャリブレーションを行う必要があるが、本実施の形態では、移動体３００を用いた加工を停止することなく、撮影装置２００の位置ずれに対応させた適正な座標対応座関係を得ることができる。

実施の形態２．
実施の形態１では、図２に示す画像取得部１０１、第一のキャリブレーション処理部１０２、特徴点検出部１０４、差分算出部１０５、補正部１０６を、図３に示すようにプログラムによって実現している。
実施の形態２では、図２に示す画像取得部１０１、第一のキャリブレーション処理部１０２、特徴点検出部１０４、差分算出部１０５、補正部１０６を専用演算装置によって実現する。
また、実施の形態１では、図３に示すように、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報を記憶装置１２に格納している。
実施の形態２では、撮影画像、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報、座標対応関係差分情報をそれぞれ個別の記憶装置に格納する。

図１０は、本実施の形態に係る情報処理装置１００の構成例を示す。
画像取得演算装置１１０１は、図２に示す画像取得部１０１を実現する演算装置である。
画像取得演算装置１１０１の動作は、画像取得部１０１と同じであるので、説明は省略する。
第一のキャリブレーション演算装置１１０２は、図２に示す第一のキャリブレーション処理部１０２を実現する。
第一のキャリブレーション演算装置１１０２の動作は、第一のキャリブレーション処理部１０２と同じであるので、説明は省略する。
特徴点検出演算装置１１０３は、図２に示す特徴点検出部１０４を実現する。
特徴点検出演算装置１１０３の動作は、特徴点検出部１０４と同じであるので、説明は省略する。
差分算出演算装置１１０４は、図２に示す差分算出部１０５を実現する。
差分算出演算装置１１０４の動作は、差分算出部１０５と同じであるので、説明は省略する。
補正演算装置１１０５は、図２に示す補正部１０６を実現する。
補正演算装置１１０５の動作は、補正部１０６と同じであるので、説明は省略する。

また、図１０において、撮影画像記憶装置１２００は、撮影画像の専用記憶装置である。
また、第一の座標対応関係情報記憶装置１２０１は、第一の座標対応関係情報の専用記憶装置である。
また、第二の座標対応関係情報記憶装置１２０２は、第二の座標対応関係情報の専用記憶装置である。
第三の座標対応関係情報記憶装置１２０３は、第三の座標対応関係情報の専用記憶装置である。
座標対応関係差分情報記憶装置１２０４は、座標対応関係差分情報の専用記憶装置である。

また、図１１に示すように、第一の座標対応関係情報、第二の座標対応関係情報、第三の座標対応関係情報を座標対応関係情報記憶装置１２０５でまとめて記憶することも可能である。
１つの記憶装置でまとめて記憶する情報の組合せは任意であり、図１１に示す組み合わせ以外の組み合わせを適用してもよい。
また、図１２に示すように、画像取得部１０１を画像取得プログラム１０１０で実現し、差分算出部１０５を差分算出プログラム１０５０で実現し、補正部１０６を補正プログラム１０６０で実現し、第一のキャリブレーション処理部１０２を第一のキャリブレーション演算装置１１０２で実現し、特徴点検出部１０４を特徴点検出演算装置１１０３で実現するようにしてもよい。
いずれの機能モジュールをプログラムで実現し、いずれの機能モジュールを演算装置で実現するかは任意であり、図１２に示す組み合わせ以外の組み合わせを適用してもよい。

以上、本発明の実施の形態について説明したが、これら２つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

１００情報処理装置、１０１画像取得部、１０２第一のキャリブレーション処理部、１０３第二のキャリブレーション処理部、１０４特徴点検出部、１０５差分算出部、１０６補正部、１０７記憶部、２００撮影装置、３００移動体、４００駆動装置、５００加工テーブル、６００移動空間、７００材料。

Claims

移動体が移動する移動空間内の物理座標と、既定の設置位置に設置され、撮影方向が前記移動空間に向けて固定されている撮影装置が前記移動空間を撮影して得られる撮影画像における画素座標との対応関係を、基準座標対応関係として記憶する記憶部と、
前記移動体が前記移動空間内で停止した際に前記撮影装置が前記移動体を撮影して得られた撮影画像における前記移動体内の特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標との対応関係を、特徴点座標対応関係として抽出する抽出部と、
前記抽出部により抽出された前記特徴点座標対応関係を用いて前記基準座標対応関係を補正する補正部とを有する情報処理装置。
前記記憶部は、
前記抽出部による前記特徴点座標対応関係の抽出に先立って、
前記特徴点の画素座標と物理座標との対応関係であって、前記基準座標対応関係と整合している対応関係を、照合座標対応関係として記憶しており、
前記情報処理装置は、更に、
前記抽出部により抽出された前記特徴点座標対応関係と前記照合座標対応関係との差分を算出する差分算出部を有し、
前記補正部は、
前記差分算出部により算出された前記特徴点座標対応関係と前記照合座標対応関係との差分を用いて、前記基準座標対応関係を補正する請求項１に記載の情報処理装置。
前記記憶部は、
前記照合座標対応関係として、複数の画素座標と複数の物理座標との対応関係を記憶しており、
前記抽出部は、
前記撮影装置が前記移動体を撮影して得られた撮影画像における前記特徴点の画素座標と、前記撮影装置が前記移動体を撮影した際の前記特徴点の物理座標とに対する補間処理により、前記照合座標対応関係の前記複数の物理座標に対する複数の画素座標を導出して前記特徴点座標対応関係を抽出する請求項２に記載の情報処理装置。