JP2022028672A - ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 - Google Patents

Abstract

【課題】ハンドアイ校正のモーションパラメータを自動的に決定し、人間の介入を最小限にして校正手順を実施するシステムと方法を提供する。【解決手段】事前校正中にハンドアイ校正のモーションパラメータと空間位置を自動的に計算し、それによって校正パターンが連続的に内部に留まることができて、ビジョンシステムカメラの全視野ＦＯＶをカバーし、全自動ハンドアイ校正プロセスを提供する。このシステムと方法は有利には、ロボットベースのハンドアイ校正環境で動作し、校正ターゲットとＦＯＶとの間のカンチレバー効果を補償できる。ハンドアイ校正は、ロボット座標空間からカメラ座標空間への変換を計算する。これにより一般的にロボットを手動で一連の空間位置を経て移動させ、それらの位置でカメラが画像を取得し、各位置で校正特徴をオブジェクト上に置いてロボットとカメラとの関係を確定する必要がなくなる。【選択図】図５

Description

本出願は、マシンビジョンシステムに関し、より具体的にはそのようなシステムをロボットマニピュレータと組み合わせて校正するためのシステム及び方法に関する。

マシンビジョンシステム（本明細書では「ビジョンシステム」とも呼ばれる）では、１以上のカメラを使用して撮像されたシーン内のオブジェクト又は表面でビジョンシステムプロセスを実行する。これらのプロセスは、検査、シンボル体系のデコード、位置合わせ、及びその他の様々な自動化されたタスク、例えば１以上の自由度及び／又は寸法に関してオブジェクトを操作するために使用されるロボットアーム又はモーションステージの運動の制御などを含むことができる。より具体的には、ビジョンシステムを使用して、撮像されたシーン内で操作されている平坦なワークピースを検査することができる。シーンは通常１以上のビジョンシステムカメラによって撮像され、これらのビジョンシステムカメラは関連するビジョンシステムプロセスを操作して結果、例えば部品の位置合わせを生成する内部又は外部ビジョンシステムプロセッサを含むことができる。一般に、１以上のカメラが十分な精度と信頼性をもってビジョンタスクを実行できるようにするためにカメラを校正することが望ましい。カメラ校正するために校正オブジェクトを使用することができる。

校正オブジェクト（平面的な「プレート」の形態で構成されることが多い）は、その表面に特徴的な（しばしばモザイク模様の）パターンが見えるようにした平らな物体として設けることができる。この特徴的なパターンは、一般に慎重かつ精密に設計されているので、使用者はカメラで取得したプレートの画像中に見える各々の特徴を容易に識別できる。幾つかの例示的なパターンには、ドットグリッド、ライングリッド、十字、又は場合によってハニカムパターン、三角形のチェッカーボードなどを含むが、これらに限定されない。通常、各々の可視の特徴の特性はプレートの設計から、例えば設計内で暗黙的に定義された基準位置及び／又は座標系に対する位置及び／又は向きとして知られている。

校正オブジェクトはビジョンシステムに関して望ましい校正パラメータを得るために様々な方法で使用される。非限定的な例として、校正オブジェクトは、ロボットのマニピュレータ（又はエンドエフェクタ）に関して取り付けることができる。ロボットは、ビジョンシステムの座標空間に対してロボットの座標空間にとって望ましい校正パラメータを生成するために、校正オブジェクトを複数の別々の場所に移動させる。しかしながらマニピュレータのモーションは、いわゆるカンチレバー効果により校正オブジェクトの前部又は一部をビジョンシステムの視野外に置くことがある。このことは、校正プロセスの速度、精度及び／又は堅牢性を制限することにつながる。

本発明は従来技術の欠点を、ハンドアイ校正のモーションパラメータを自動的に決定し、人間の介入を最小限にして校正手順を実施するシステムと方法を提供することによって克服する。より具体的には、このシステムと方法は、事前校正中にハンドアイ校正のモーションパラメータと空間位置を自動的に計算し、それによって校正パターンは連続的に（常に）内部に留まる／維持されることができて、ビジョンシステムカメラの全視野ＦＯＶをカバーし、全自動ハンドアイ校正プロセスを提供する。このシステムと方法は、有利にはロボットベースのハンドアイ校正環境で動作し、校正ターゲットとＦＯＶとの間のカンチレバー効果を補償できる。ハンドアイ校正は、ロボット座標空間からカメラ座標空間への変換を計算する。これにより一般的に（使用者が）ロボットを手動で一連の空間位置を経て移動させ、それらの位置でカメラが画像を取得し、各位置で校正特徴をオブジェクト上に置いてロボットとカメラとの関係を確定する必要がなくなる。

例示的な実施形態では、ロボットマニピュレータと連動して動作するビジョンシステムのハンドアイ校正を実行するためのシステムと方法が提供され、校正オブジェクトとビジョンシステムの視野（ＦＯＶ）との間に相対運動が存在する。事前校正プロセスは、ＦＯＶ内で３点校正を実行して、ロボットマニピュレータの座標空間からビジョンシステムカメラの取得した画像の座標空間への粗い変換を計算する。この粗い変換に基づいて、ハンドアイ校正を実行するために許容できる複数の位置でそれぞれ校正オブジェクト上の特徴の空間点を計算する。次に、ハンドアイ校正モジュールは空間点を使用してハンドアイ校正を実行する。例示的に、粗い変換は、ロボットマニピュレータによるモーションの反復セットと、校正オブジェクトの特徴を視野内に維持し、かつ、空間点の間に最小分離距離を設けるために、空間点の間のロボットモーションのステップサイズを調整することに基づいて計算される。空間点は、一部任意選択の使用者による入力に基づいて選択できる。一般に、ロボットマニピュレータは、校正オブジェクトとＦＯＶとの間にカンチレバー効果を生じさせ、事前校正プロセスはこのカンチレバー効果を補償するように構成されることが想定されている。したがって事前校正プロセスは、校正オブジェクトがＦＯＶ内に留まるように空間位置を計算する。一例では、ビジョンシステムカメラは、ロボットマニピュレータに関して取り付けられていて、ロボットマニピュレータと連動して移動する。別の例では、校正オブジェクトは、ロボットマニピュレータに関して取り付けられていて、ロボットマニピュレータと連動して移動する。例示的に、ロボットマニピュレータは、多軸ロボットとモーションステージのいずれか１つを含む。ハンドアイ校正は、それぞれのモーションステップサイズを定義するモーションステップのシーケンスで実行でき、このモーションステップサイズは、（ａ）ビジョンシステムカメラの取得した画像ピクセルのサイズと、（ｂ）現在のモーションステップまで取得した校正オブジェクトの画像の少なくとも１つから決定されたビジョンシステムカメラのＦＯＶのサイズのうちの少なくとも１つに基づく。粗い変換は、（ａ）３段階モーションプロセスと、（ｂ）校正オブジェクトの特徴を視野内に維持し、かつ、空間点の間に最小分離距離を設けるために、空間点の間のロボットモーションのステップサイズを調整することを伴う、ロボットマニピュレータによるモーションの反復セットのうちの少なくとも１つに基づいて計算される。

以下の発明の説明は、添付図面を参照している。

実施形態による、校正プレートを撮像するように向けられたエンドエフェクタにビジョンシステムカメラを取り付けたロボットマニピュレータアセンブリの図である。

別の例示的な実施形態による、ロボットのエンドエフェクタによって操作される校正プレートを撮像するために、ビジョンシステムカメラを遠隔に取り付けたロボットマニピュレータアセンブリの図である。

ビジョンシステムのカメラの視野（ＦＯＶ）とロボットマニピュレータとの間の相対運動のために校正ターゲットに及ぼすカンチレバー効果を示す上面図であり、カンチレバーを補償するために本明細書のシステムと方法によって実行される調整を含む。

本明細書の事前校正プロセスに従って、特徴位置間の並進及び回転を提供するモーションステップのシーケンスを伴う、関連付けられた校正特徴（例えば十字線）を有する例示的な校正オブジェクトの上面図である。

校正モーションステップ中に校正ターゲットを連続的に視野内に維持する粗い空間位置を提供する事前校正手順を含む、カンチレバー効果の存在下でハンドアイ校正を実行する手順を示すフロー図である。

図５の事前校正プロセスにおいてステップサイズの調整を実行するためのより詳細な手順のフロー図である。

Ｉ．システムの概要

Ａ．ロボットに取り付けたカメラと固定校正オブジェクト

図１は、固定されたベース１１１上に、ビジョンシステムカメラアセンブリ１２０を担持するように適合されたエンドエフェクタ１１２を有する多軸（例えば６軸）ロボットアーム１１０が図示されているロボットマニピュレータ構成１００を示す。カメラ１２０は作業空間の周囲で操作され、その光軸ＯＡと視野を校正オブジェクト／プレート１３０と位置合わせして向けることができる。オブジェクト１３０は、任意の適当な校正パターン及び関連する基準マーク、例えば十字線１３２を規定することができる。カメラは、複数の軸に沿った全範囲のモーションを経験できるように、エンドエフェクタ１１２に取り付けることができる。エンドエフェクタ１１２は、関心のあるオブジェクト（例えば位置合わせ又はピックアンドプレースを受ける部品）を移動させるためのマニピュレータ（グリッパ、吸引カップなど）も含むことができる。このようにしてビジョンシステムカメラアセンブリ１２０は、エンドエフェクタマニピュレータと連携して移動し、エンドエフェクタが作業空間の周囲を移動するときにそのモーションを案内する（及びオブジェクトと位置合わせする）ことができる。

カメラアセンブリ１２０は、画像センサＳ及び関連する固定した又は可変の光学系Ｏを含む。カメラアセンブリ１２０は、適当なデータリンク（有線及び／又は無線）を介してビジョンシステムプロセス（プロセッサ）１４０と相互接続されている。プロセス（プロセッサ）１４０は、（全体的又は部分的に）カメラアセンブリハウジング１２０の一部として、及び／又はＰＣ、ラップトップ、サーバー、タブレット若しくはスマートフォンなど別個のコンピューティングデバイス１５０の内部で様々な方法でインスタンス化することができる。このコンピューティングデバイス１５０は、本明細書で説明されるように、ビジョンシステムのセットアップ及び／又は校正において使用者を支援するために使用することもできる。例としてコンピューティングデバイス１５０は、ディスプレイ及び／又はタッチスクリーン１５２、キーボード機能１５４、及び（例えば）マウス１５６を含む。

一般に、プロセス（プロセッサ）１４０は、カメラアセンブリセンサＳから画像データ１４１を受信し、焦点情報、トリガなどのカメラ制御データ１４２を送信する。この画像データはビジョンシステムツール１４４によって処理される。ビジョンシステムツール１４４は既成又は特注のエッジファインダ、カリパ、コントラストツール、ブロブアナライザなどを含むことができる。これらのツールとプロセスは、マサチューセッツ州ナティックのコグネックスコーポレーションなどのベンダーから市販されている。プロセス（プロセッサ）１４０は、以下に説明するハンドアイ校正及びその他の校正技術に基づいてビジョンシステムの校正を受け持つ校正プロセス（プロセッサ）／モジュール１４４（全セットアップ構成の一部であり得る）も含む。ビジョンシステムプロセス（プロセッサ）１４０はまたロボット制御１４８のためのインターフェースも含む。このプロセス（プロセッサ）／モジュール１４８は、ロボット１１０に関する運動制御データ及び／又はフィードバック（例えばエンコーダパルス）１４９を送信／受信する。プロセス（プロセッサ）１４０は、より一般的に（例えば）ハンドアイ校正技術を用いて取得された校正パラメータを使用してカメラ座標空間１７０をロボットの運動座標空間１７２に変換する。ロボット座標空間１７０は直交軸Ｘ_Ｒ、Ｙ_Ｒ及びＺ_Ｒと相対回転θ_ＸＲ、θ_ＹＲ、θ_ＺＲによって画定することができ、画像／カメラ座標空間１７２は直交軸Ｘ_Ｉ、Ｙ_Ｉ及びＺ_Ｉと相対回転θ_ＸＩ、θ_ＹＩ及びθ_ＺＩによって画定することができることに留意されたい。このシステムと方法に従って適当な変換が生成されて座標空間１７０、１７２をマッピングする。このようにして、測定された校正パラメータに基づいて、ビジョンシステムによって追跡されるモーションがロボット内部のモーションパラメータに変換される。

校正プレートなどの剛体のハンドアイ校正を含む特定の校正原理を理解するための別の背景として、モーションは１対のポーズ、即ちモーション直前の開始ポーズと、モーション直後の終了ポーズによって特徴付けることができる。本明細書において「ポーズ」とは、基礎となる座標系においてある特定の瞬間における物体の状態を表わすための一連の数値、即ち当該物体の仮想特徴付けとして定義される。例えば２次元（２Ｄ）では、剛体は３つの数値、即ちＸにおける並進、Ｙにおける並進、及び回転θによって特徴付けられる。３次元（３Ｄ）では、Ｚ（高さ）における並進が、それぞれＸ軸、Ｙ軸及びＺ軸を中心とする追加の回転（例えばθ_Ｘ、θ_Ｙ、θ_Ｚ）と共に追加される（例えば図１の座標軸１７０の座標１７２参照）。校正プレートの関連におけるポーズは、カメラと校正プレートの間に相対運動がある場合に、校正プレートがどのようにカメラに提示されるかを表す。典型的に、標準的な校正、いわゆる「ハンドアイ校正」においては校正オブジェクト／プレートが、多数の異なるポーズでカメラに提示され、各カメラはそれぞれのポーズで校正プレートの画像を取得する。マシンビジョンのハンドアイ校正では、通常プレートは複数の所定のポーズに移動し、それらのポーズでカメラがプレートのそれぞれの画像を取得する。このようなハンドアイ校正の目標は、「運動座標系」においてカメラと校正プレートの剛体ポーズを決定することである。運動座標系は様々な方法で定義できる。ポーズ（校正オブジェクト／プレート及び／又はカメラが空間内のどこに存在するかを指定する）の数は、適当な座標系で解釈されるべきである。単一の統一された座標系が選択されたら、ポーズとモーションはそのグローバル座標系で記述／解釈される。この選択された座標系は、「運動座標系」と呼ばれることが多い。通常「モーション」は、ロボットアームなどの物理的運動やガントリーなどのモーションステージをレンダリングできる物理的デバイスによって提供される。オブジェクト／プレートは１以上の静止カメラに対して相対的に移動できるか、又はカメラが静止オブジェクト／プレートに対して相対的に移動できることに留意されたい。このようなモーションレンダリングデバイスのコントローラーは、デバイスに任意のモーションをレンダリングするように命令するために数値（即ちポーズ）を使用し、それらの値が当該デバイスの固有座標系で解釈される。任意の運動座標系を選択してモーションレンダリングシステムとカメラに関連する共通のグローバル座標系を提供できるが、モーションレンダリングデバイスの固有座標系を全体的モーション座標系として選択することがしばしば望ましいことに留意されたい。

したがってハンドアイ校正は、システムをモーションのレンダリング（校正プレートの移動又はカメラの移動）によって単一の運動座標系に校正し、当該モーションの前後の画像を取得してそのようなモーションが動くオブジェクトに及ぼす影響を決定する。別の背景として、これはカメラの外的ポーズを運動座標系で決定することを含まない（「ことがない」）典型的な内的及び外的カメラの校正とは異なる。このような場合、カメラは通常すべて、カメラの視野内の特定の位置にあるプレートの取得した画像を使用して、校正プレート自体の座標系に対して校正される。マシンビジョン校正ソフトウェアは、各カメラで取得したプレートの画像から各カメラの相対位置を推定する。この校正は「カメラをプレートに合わせて校正する」と言われるが、ハンドアイ校正は「カメラを運動座標系に合わせて校正する」と言われる。

したがって、ビジョンシステムがハンドアイ校正を採用している場合、そのソフトウェアは画像で観察されたモーション効果を命令されたモーション（命令されたモーションのデータは知られている）と相関させることによってポーズを解像する。校正のもう１つの結果は、カメラの画像内の各ピクセル位置と運動座標系における物理位置の間のマッピングであり、それにより画像空間内の位置を見つけた後で運動座標系における位置を変換でき、モーションレンダリングデバイスに命令してその上で動作させることができる。

再び図１の構成１００を一般的に参照すると、ハンドアイ校正手順の間、校正オブジェクトが移動して到達する空間位置を使用者が決定（及び入力）することは普通である。この方策は時間がかかり、システム全体とそれに関連する視野を理解する必要があり、それにより校正手順に予期しないエラーを招く可能性がある。例えば幾つかのシステムは、ツールの先端をロボットのエンドエフェクタ１１２に取り付けて、校正オブジェクト１３０の刻印されたパターンと実際に接触させるために、使用者がロボットを動かしてエンドエフェクタ１１２を誘導する必要がある。代替として、一部のシステムは各運動軸（自由度）に沿った運動範囲とステップサイズの設定が必要であり、それにより校正オブジェクトのパターンがカメラの視野（ＦＯＶ）の外に出るか、視野の非常に小さい部分しかカバーしないことがある。これは一部は、ロボットのエンドエフェクタ１１２及び／又はオブジェクト１３０の位置が、ロボットとオブジェクトが互いに対して回転するときのモーションに基づく異なる速度でビジョンシステムカメラ１２０の光軸ＯＡからずれる、いわゆる「カンチレバー」（片持ち梁）効果の結果であり得る。この限られたデータセットの結果として、校正に失敗したり、ビジョンシステムの適用要件を満たさない校正になったりする可能性がある。慎重な手動操作と試験を通して満足できるハンドアイ校正を得ることが可能であるが、使用者（人間）の手順への介入を減らす又は排除することが望ましい。

Ｂ．遠隔に取り付けたカメラとロボットに取り付けた校正オブジェクト

図２を参照すると、ビジョン誘導ロボット装置２００の別の実施形態は、多軸ロボットアームアセンブリ２１０を含むことができる。これは上述のロボットアセンブリ１１０とは異なるか、又は類似してよい。代替として、他のモーションデバイス、例えばモーションステージを本明細書に記載する任意の構成で使用することができる。この例示的な構成におけるエフェクタ２１２は校正オブジェクト／プレート２３０を担持して、（例えば）遠隔に固定して取り付けたビジョンシステムの視野ＦＯＶ１に関して移動させる。カメラアセンブリはセンサＳ１と、関連する光軸ＯＡ１を画定する光学系Ｏ１を含んでいる。両構成１００及び２００において、カメラは一般に、校正オブジェクトによって画定される平面に対して垂直である。しかしながら、校正オブジェクトが、高さを含む３Ｄ特徴を定義でき、カメラアセンブリ１２０、２２０が、シーン及び／又は３Ｄセンサ、例えば飛行時間センサ、超音波センサ又はＬＩＤＡＲセンサに関して異なる向きで複数の個々のカメラを含んでよいことが明確に想定されている。上述のように、カメラアセンブリはビジョンシステムプロセス（プロセッサ）及び関連するコンピューティングデバイスと相互接続されて、運動制御データをロボット２１０に提供する。これらの構成の各々において、ロボットは異なる位置に移動して、校正オブジェクトのパターンの画像を様々なポーズで取得することができ、次にそれを使用して（例えば）ハンドアイ校正技術を用いて校正パラメータを計算する。

ＩＩ．校正手順

上記の各構成において、校正オブジェクトの特徴をビジョンシステムカメラアセンブリの視野内に維持することは難しい場合がある。したがって例示的なシステムと方法は、ロボット／モーションデバイスのモーションパラメータを自動的に決定し、空間的位置を計算し、そして校正オブジェクトの特徴パターンをカメラの視野内に維持し、それによってカメラが校正オブジェクトの特徴の一部を除外する視野を画定する可能性がある、いわゆるカンチレバー効果を補償するハンドアイ校正法を提供する。

図３を参照すると、図示されたシーン３００は、固定した又はロボットの取り付けた（動く）カメラアセンブリの視野ＦＯＶ２に関して様々に配置された校正オブジェクト３１０及び３１０Ａを示す。カンチレバーは、関連する延長部３１６、３１６Ａ及び３１６Ｂで表されている。ロボット又はカメラが動くと、回転が延長部（カンチレバー）によって誇張されて、視野ＦＯＶ２から超え出る。したがって、オブジェクト３１０Ａに関して示されているように、校正手順の一部又は全部の間にロボットのステップモーションに起因して特徴の一部又は全部が視野ＦＯＶ２の外部に移動した（矢印３１８）。その結果、適切な校正が損なわれ、又は得られない。逆に、本明細書のシステムと方法の教示に従い、オブジェクト（又はその必要な校正特徴－十字マーク３１２、３１２Ａによって表される少なくとも１つの校正特徴）を完全に又は実質的に視野内に維持することは、適切な校正が行われ得ることを保証する。視野ＦＯＶ２内で、カメラ及び／又はオブジェクトは取得されたフレーム間の運動（例えば、ｘ－ｙ並進及び回転）（矢印３２０））を経て、手順に必要な校正測定を達成する。

図４を参照すると、再びシーン４０００にカメラの視野ＦＯＶ３が示されている。校正特徴（十字４１０、４１０Ａ及び４１０Ｂ）は、異なる軸（例えば図示のＸ_ＩとＹ_Ｉ及び回転θ_ＺＩ）に沿って若しくは周りに示されており、特徴４１０Ａ及び４１０Ｂは見やすくするためにそれぞれ単体で示されている。これらの特徴４１０、４１０Ａ及び４１０Ｂを校正位置と共に使用して、本システムと方法によるハンドアイ校正の結果を計算する。

要約すると、本システムと方法は、事前校正プロセスが視野内で３点校正を実行し、ロボット座標空間から画像座標空間への粗い変換を計算するように動作する。事前校正プロセスは自動的に視野に適合して、３点校正に使用する空間点を検索する。事前校正プロセスはまた、ロボット座標空間からカメラ座標空間への粗い変換と、カメラの視野のサイズに基づき、ハンドアイ校正のための空間位置を計算する。事前校正プロセスはロボットカンチレバーを補償することができ、校正ターゲットを連続的にカメラの視野内に維持する空間位置を計算する。次にハンドアイ校正プロセスは、事前校正結果から一連の位置に移動して画像を取得し、校正パターンを特定し、ロボット座標系からカメラ座標系への変換を計算する。

さらに図５の手順５００を参照すると、事前校正プロセスはロボット又はエンドエフェクタに取り付けたカメラを（相対的に）動かして、校正パターンがカメラの視野の中心領域に来るように動作する（ステップ５１０）。次にステップ５２０で、システムは３点校正に使用する空間点を検索する。このステップで、事前に定義された小さいステップサイズ（モーション増分）が視野全体のサイズ及び／又は視野内の特徴の間隔に基づいて確定される。手順５００は（決定ステップ５３０を介して）校正における空間点の有用性を決定する。次に手順５００は自動的にステップサイズ（モーション増分）をビジョンシステムからのフィードバックに基づいて調整する（ステップ５４０）。

図６に調整ステップ５４０はさらに詳細に示されている。現在のステップサイズが確定され（ステップ６１０）、モーションの条件、即ち現在のステップサイズが大きすぎるか又は小さすぎるかが決定される。大きすぎるステップサイズが発生するのは、ロボットによるステップモーションが校正オブジェクトの特徴の一部又は全部をカメラの視野から外に移動させるときである。小さすぎるステップサイズが発生するのは、モーションが正確な校正の目的のために特徴を解像するには不十分なときである。これは各ステップで特徴間に画像内の所定の最小ピクセル距離を達成し損ねたことが原因である場合がある。大きすぎるステップが発生するのは、特徴の一部又は全部で特徴間の間隔が最大ピクセル距離を超える（又は校正オブジェクトの１つのエッジの少なくとも一部がステップ間で視野から出る）場合である。非限定的な例として、大きすぎるステップの乗数は1/2（半分）、小さすぎるステップの乗数は２（２倍）であり得る。他の乗数も明確に想定されており、基礎となる画像特性に基づいて固定又は可変であり得る。例えばステップが明らかに大きすぎる又は小さすぎる場合は、より大きい／より小さい乗数を使用できる。乗数が生成され（ステップ６２０）、新しいステップサイズを計算するために適用される（ステップ６３０）。次に、この新しいステップサイズがロボットに送信されて、そのモーションがマッピングされた座標空間に従って制御される（ステップ６４０）。手順５００において調節ステップ／プロセス５４０は、モーションステップ間の点の満足できる（読み取り可能な）間隔が達成されるまで継続し、それから決定ステップ５３０はステップ５６０に分岐する。

手順５００のステップ５５０で、３点校正が適当な（調整された）ステップサイズで識別された特徴点を使用して実行される。各ステップで識別された特徴に基づき、ロボット座標空間からカメラ画像座標系への粗い変換が計算される。次に、手順５００はステップ５６０でこの粗い変換に基づいて校正位置を計算する。上記の手順ステップからの粗い変換を用いて、一連の変換／校正位置がカメラの視野内の運動空間を介して均等にサンプリングされる。これらの位置は使用者又は他のデータソースから、例えばセットアップ及び校正プロセスを実行するユーザーインターフェイスを使用して、任意選択の入力によってカスタマイズ可能である。一連の回転位置はまた任意選択でロボットのカンチレバーを補償し、角度範囲を指定することによって計算され、回転の中心が校正ターゲットから離れていて大きい角度が必要とされる場合でも校正パターンを視野内に維持する。これは回転と共に追加の並進を適用することによって実現できる（例えば図３の矢印３２０）。

ステップ５６０で位置が計算されると、次にロボットはこれらの計算された位置に移動され、オブジェクトの取得された画像内に各位置の校正特徴が識別される。これらの特徴は良好な校正結果を識別するために、図４の図に例示されているように、十分に並進／回転させなければならない。ビジョンシステムはこれらの特徴位置を使用して、本明細書に一般的に記載した技術に従いハンドアイ校正を実行する（ステップ５７０）。

上記のシステムと方法は、単一のビジョンシステムカメラと組み合わせて示されているが、本明細書の原理は、ステレオカメラ複数のカメラ及び／又は個別の画像センサに適用できることが明確に想定されていることに留意されたい。

ＩＩＩ．結論

校正オブジェクトに対して移動するロボットを用いてハンドアイ校正を実行するための上記のシステムと方法が、片持ち式のロボットアームの回転が存在する場合などでロボットのモーションステップが大きすぎるか小さすぎる状況に対して、信頼性が高く計算効率的な解決を提供することは明らかであろう。特に本システムと方法は、ステップサイズを自動的に検索して、事前校正でオブジェクトスケール及び／又はモーションリミットがおおよそ計算される３点校正の明確な計算を提供する。より具体的には、本明細書のシステムと方法は、自動的にモーションパラメータを決定し、空間位置を計算して、校正パターンを連続的にカメラの視野内に維持する。より一般的には、本システムと方法は、望ましくは視野のジオメトリ及び校正特徴（例えば十字線）の相対的サイズに基づいてハンドアイ校正中のロボット（又は他のモーションデバイス）の運動範囲を決定する。したがって校正特徴が大きいほど、運動範囲は小さくなるので、特徴が常に／連続的に（即ち校正プロセスによって行われるモーションステップのシーケンス全体を通して）完全に視野内に留まることを保証する。

以上は本発明の例示的な実施形態を詳細に説明したものである。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するために適切である限り、別の記載された実施形態の特徴と組み合わされてよい。さらに、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものにすぎない。例えば３点ハンドアイ校正手順が採用されているが、（２次元又は３次元において）３点以上採用して校正結果を達成することができる。また、本明細書で使用される「プロセス」及び／又は「プロセッサ」という言葉は広く電子ハードウェア及び／又はソフトウェアをベースとする多様な機能及びコンポーネント（或いは機能的「モジュール」又は「エレメント」と呼ぶことがある）を含むものと解釈すべきである。さらに、表示されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び／又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組み合わせを用いて実施できることが明確に想定されている。さらに、本明細書で使用される様々な方向及び／又は向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」、及びこれに類するものは、相対的な表現法として用いられているにすぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。加えて、何らかの測定、値又は特徴に関して「実質的に」又は「近似的に」という言葉が用いられている場合、それらは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む（例えば１～２パーセント）。したがってこの説明は例示の方法によるものとしてのみ受け取られるべきであり、それ以外に本発明の範囲を限定することを意味するものではない。

以下に特許請求の範囲を記載する。

Claims (19)

1. 校正オブジェクトとビジョンシステムカメラの視野（ＦＯＶ）との間の相対運動を提供するロボットマニピュレータと連動して動作するビジョンシステムのハンドアイ校正を実行するシステムであって、
   上記システムは事前校正プロセスと、空間点を使用してハンドアイ校正を実行するハンドアイ校正モジュールとを有し、
   前記事前校正プロセスは、ＦＯＶ内で３点校正を実行して、ロボットマニピュレータの座標空間からビジョンシステムカメラの取得した画像の座標空間への粗い変換を計算し、さらにこの粗い変換に基づいてハンドアイ校正を実行するために許容できる複数の位置でそれぞれ校正オブジェクト上の特徴の前記空間点を計算する、
   上記システム、
2. 前記粗い変換は、ロボットマニピュレータによるモーションの反復セットと、校正オブジェクトの特徴を視野内に維持すること、かつ、空間点の間に最小分離距離を設けるために、空間点の間のロボットモーションのステップサイズを調整すること、に基づいて計算される、請求項１に記載のシステム。
3. 前記空間点は、任意選択の使用者による入力に部分的に基づいて選択される、請求項２に記載のシステム。
4. 前記ロボットマニピュレータは、校正オブジェクトとＦＯＶとの間にカンチレバー効果を引き起こす、請求項２に記載のシステム。
5. 前記事前校正プロセスは、前記カンチレバー効果を補償するように構成されていて、校正オブジェクトがＦＯＶ内に留まるように前記空間位置を計算する、請求項４に記載のシステム。
6. 前記ビジョンシステムカメラは、ロボットマニピュレータに関して取り付けられていて、ロボットマニピュレータと連動して移動する、請求項４に記載のシステム。
7. 前記ロボットマニピュレータは、多軸ロボットとモーションステージのいずれか１つを含む、請求項６に記載のシステム。
8. 前記校正オブジェクトは、ロボットマニピュレータに関して取り付けられていて、ロボットマニピュレータと連動して移動する、請求項４に記載のシステム。
9. 前記ロボットマニピュレータは、多軸ロボットとモーションステージのいずれか１つを含む、請求項８に記載のシステム。
10. ハンドアイ校正は、それぞれのモーションステップサイズを定義するモーションステップのシーケンスで実行され、前記モーションステップサイズは（ａ）ビジョンシステムカメラの取得した画像ピクセルのサイズと、（ｂ）現在のモーションステップまで取得した校正オブジェクトの画像の少なくとも１つから決定されたビジョンシステムカメラのＦＯＶのサイズのうちと、のうちの少なくとも１つに基づく、請求項１に記載のシステム。
11. 前記粗い変換は、（ａ）３段階モーションプロセスと、（ｂ）校正オブジェクトの特徴を視野内に維持し、かつ、空間点の間に最小分離距離を設けるために、空間点の間のロボットモーションのステップサイズを調整することを伴う、ロボットマニピュレータによるモーションの反復セットと、のうちの少なくとも１つに基づいて計算される、請求項１０に記載のシステム。
12. ビジョンシステムカメラに関するロボットマニピュレータのハンドアイ校正の方法であって、
    校正ターゲットとビジョンシステムカメラの視野（ＦＯＶ）との間の相対運動を提供して、ロボットマニピュレータの座標空間とビジョンシステムの座標空間との間の粗い変換を生成する事前校正プロセスを実行するステップと、
    事前校正プロセスの結果から複数の位置に移動して、各位置で画像を取得するステップと、
    画像内に校正オブジェクトの特徴を特定するステップと、
    ロボットの座標空間からビジョンシステムカメラの座標空間へのハンドアイ校正変換を計算するステップと、
    を含む上記方法。
13. 前記粗い変換は、ロボットマニピュレータによるモーションの反復セットと、校正オブジェクトの特徴を視野内に維持し、かつ、空間点の間に最小分離距離を設けるために、空間点の間のロボットモーションのステップサイズを調整することに基づいて生成される、請求項１２に記載の方法。
14. 前記空間点は、任意選択の使用者による入力に部分的に基づいて選択されることをさらに含む、請求項１３に記載の方法。
15. 前記ロボットマニピュレータは、校正オブジェクトと前記ＦＯＶとの間にカンチレバー効果を引き起こす、請求項１３に記載の方法。
16. 事前校正プロセスは、カンチレバー効果を補償するように構成されていて、校正オブジェクトがＦＯＶ内に留まるように空間位置を計算する、請求項１５に記載の方法。
17. （ａ）ビジョンシステムカメラをロボットマニピュレータに関して位置決めして、ロボットマニピュレータと連動して移動させること、又は（ｂ）校正オブジェクトをロボットマニピュレータに関して位置決めして、ロボットマニピュレータと連動して移動させること、をさらに含む、請求項１４に記載の方法。
18. ハンドアイ校正の変換を計算するステップは、それぞれのモーションステップサイズを定義するモーションステップのシーケンスを実行することを含み、前記モーションステップサイズは（ａ）ビジョンシステムカメラの取得した画像ピクセルのサイズと、（ｂ）現在のモーションステップまで取得した校正オブジェクトの画像の少なくとも１つから決定されたビジョンシステムカメラのＦＯＶのサイズと、のうちの少なくとも１つに基づく、請求項１２に記載の方法。
19. 前記粗い変換を（ａ）３段階モーションプロセスと、（ｂ）校正オブジェクトの特徴を視野内に維持し、かつ、空間点の間に最小分離距離を設けるために、空間点の間のロボットモーションのステップサイズを調整することを伴う、ロボットマニピュレータによるモーションの反復セットと、のうちの少なくとも１つに基づいて生成する、請求項１８に記載の方法。
    
    

Images