発明の分野
本発明は、概して、工業的寸法計測用の大視野(FoV)非接触型3D撮像システム(3D-IS)の較正に関するものであり、特に、3D-ISがターゲットの基準マークの座標を取得しているときに3D-ISの位置を決定するように構成されたオンボード撮像システムを有する移動ターゲットプレート(MTP)を用いた較正に関するものである。
発明の背景
空間中の物体の位置を測定することは、工業的にますます頻繁に行われるようになっており、一般的に、工業的寸法計測と呼ばれている。精度の向上、分解能の向上、より安価な測定システム及び装置による空間座標の取得、取得時間の短縮、正確性及び精度の改善、装置の設定及び較正時間の短縮に対する要望が常にある。様々な適用空間においては、これらの要求に対する重み付けが異なっている。様々な解決策が知られている。一般的に、これらの解決策は、座標化の正確性及び精度、物体を座標化できる空間領域のサイズ、所定の正確性及び精度で取得できる物体の種類の幅、取得が行われる速度、及び検出の動作原理に大きく依存している。本明細書において、3D撮像システム(3D-IS)は、物体の座標の取得(すなわち座標化)のためのシステムを意味する。そのようなシステムは、構造光、レーザスキャナ、飛行時間システム、(短距離を含む)LIDAR、RGB-Dカメラ、写真測量システムを含むが、これらの様々な手法の取得時間は1桁違うこともある。
3D-ISの分野においては、FoVの概念は、3D-ISが座標化を行うことができる空間領域のことを意味する。理解されるであろうが、小さなFoVの3D-ISはかなり較正しやすい。うまく特徴付けられ、寸法的に安定し、持ち運び可能な単一の物体と、この単一の物体を3D-ISのFoV内で繰り返し(正確な制約条件又は運動カップリングを用いて)位置合わせ位置に局在化して、3D-ISの寿命期間にわたってその物体に対する再較正を正確に繰り返して行う手段とを提供することが費用対効果の面で優れており、また便利である。便利に保管でき、変えることのできないフィーチャを有しており、フィーチャが3D-ISをカバーするように信頼性のある方法により3D-ISに再度取り付けることができる小さな持ち運び可能な基準物体は、非常に較正を簡略化するので、3D-ISを動作させる方法程度の知識又は技能だけで短期間の較正が可能となる。
しかしながら、1)FoVをカバーするのに十分なほど大きく、基準としての役割を発揮するのに十分なほど寸法的に安定している物体は、大きすぎて、重すぎて、嵩張りすぎていて、高価すぎて、持ち運ぶことができないので、また、2)そのような基準物体を使って較正プロセスを行い、それを認証することは、非常に挑戦的なことであり、それに対して投資できるような者はほとんどいないので、大きなFoVを有する3D-ISにはそのような較正スキーマを適用することができない。広い空間的範囲にわたって基準フィーチャを分布させた固定設備(例えば、以下に特定されるSensorの論文の図12を参照)は、大きなFOVを有する3D-ISを較正するための唯一の現実的な解決策であることが知られている。分布しているこれらの基準フィーチャの信頼性は非常に繊細であり、構造は大きくて重いので、較正用のプロセスは、設備を3D-ISに移動させることではなく、3D-ISを設備に移動させることを常に伴う。これは、較正サービスから収入源を得ているOEMによってなされることが多い。
3D-ISを固定設備に移送し、これを較正し、元の位置に戻すことは、所有者にとってダウンタイムにおける大きなコストとなり、移送中に3D-ISが悪影響を受けるリスクを高めるものである。小さな基準物体は、較正が正確であるか否かを現場で評価するための非常に簡単で費用対効果の高い方法であるが、較正の失敗が特定された場合には、3D-ISを固定設備に移動する以外に代替策がない。
そのような較正設備のためのスペースが3D-ISの近傍にあるという3D-ISのユーザはほとんどいない。一般的に、空気の品質や温度制御などに影響を与える多くの操作者が、3D-ISを保護するのに好適な方法で制御されていないワークスペース環境であって、さらに大きな機械設備、振動、及び衝突のリスクが発生しやすいワークスペース環境において、3D-ISは測量を必要としている。設備を覆う大きな囲いが考えられるが、3D-ISを取り囲むワークスペースの大部分をほぼ永久に占有するコストは、遠くのOEMへ3D-ISを移送するためのダウンタイムのコストよりも高くなると考えられる。熱的不均衡及び応力、機械的変形、ダメージを与えるような振動、あるいは基準マーク又はフィーチャの反射率を制限するであろう表面傷を基準物体が受けないようにするために必要となる予防措置は、より大きなスケールの基準物体に対して重荷になる。したがって、基準物体のサイズは多くの現実的な制約により制限される。
最後に、座標測定装置(CMM)を代わりに用いることができる。基本的に、CMMは、機械的接触、反射、又は撮像のいずれかにより物体を座標化するメカトロニクス関節プローブである。従来のCMMは、設備の代わりに使用することができるが、持ち運ぶことはできず、このため、3D-ISに持ち込むことはできない。
持ち運び可能なCMMであれば3D-ISに持ち込むことができるが、これらは、3D-ISによる撮像用の移動ターゲット、特に大視野3D-ISの空間領域のかなりの部分をカバーする移動ターゲットを提供するものではない。数多くの持ち運び可能なCMMを用いることができ、あるいは、単一のCMMを何回も位置決めし直すことができる。しかしながら、それぞれの基準位置を座標化する作業は取り扱いにくいものであり、CMMの位置を測定するために他のシステムを必要とする場合がある。このため、従来技術において3D-ISを現場で較正するための唯一の方法は、より確実に較正される第2の大きなFoVを有する3D-ISを用いて値を比較することであると思われる。もちろん、第2の大きなFoVを有する3D-ISの信頼性を高めることは、第2の3D-ISを(非常に慎重にかつコストをかけて)ワークスペースに移動させなければならなかったことによりすでに要求されていることである。
例えば、Hinderling氏等に対する米国特許第9,752,863号は、飛行時間(ToF)スキャナの時間のある側面を非常に大量に較正するための方法を提供するものである。この方法は、複数のターゲットマークを用いるものである。Hinderling氏は、ターゲットマークを異なる視角で見ることができる場合には、ターゲットマークの位置を把握せずにデバイスの1回の現場セットアップにより再配置をすることなく較正方法を行うことができると主張している。ターゲットマークは、2から10枚のターゲットプレートに付けられ、デバイスに対して異なる位置でセットされ、ターゲットプレートは、重力による方向で錘に取り付けられ、プレートのうち少なくとも2枚は既知の離間距離を有している。
本出願人は、既知の離間距離にある数個の点により得られるデータでは足りないために、3D-ISの較正が行われていないことになると考えている。簡単な基準物体は、較正が許容範囲内にあるのか、あるいは許容範囲内にないのかを簡単に特定することができるが、補正を計算するためには多くの点が必要となる。例えば、既知の離間距離にある2枚のプレートが、撮像している3D-ISに既知の離間距離の80%だけ離間していると判断された場合には、これらの点のうち一方又は両方での較正に補正が必要かどうかを知ることは原理上できない。さらなる情報がない場合には、これは、両者を等しく移動することを示唆するであろうが、実際のところ、離間距離におけるこの誤差を等しく解決すると考えられる補正の範囲全体が存在し、間違えたもののそれぞれが既存の較正における誤差を悪化させる。これは、本質的に一貫性、システム性、FoV全体の範囲(又は少なくともその関係する範囲)を欠いているため、本出願人が較正であると考えるものではない。したがって、特定のシステムの1以上のパラメータの較正は、満足できる使用のためには数個の点により十分に較正できる場合がある。
フィーチャを特定するためのマーキングを有し、較正を手助けするために異なる情報を符号化する多くのターゲットが知られている。フィーチャの配置、及び単一のターゲット上のフィーチャの既知で信頼性の高い間隔、又は数個のターゲットの定義済み配置は、任意の視点から見た際にフィーチャを一意に特定する手助けになるものとして知られている。例えば、Liu氏に対する米国特許第9,230,326号は、ターゲット内の符号化された情報が「自己位置決め機能を有する基準点」として機能することを教示している。これらの「自己位置決め機能を有する基準点」は、プレートの較正フィーチャに対してコード自体の位置を特定する2Dデータコードであり、2Dデータコードに含まれるデータに基づいてカメラが較正プレートに対するそれらの位置を自動的に決定することができるようになっている。これは、好ましくは、自動でマニュアルではないカメラの較正を可能にする。
3D-ISには、正確性と精度の寿命に関して高い安定性を誇るものがあるが、そのようなシステムはすべて再較正を必要としている。ダウンタイムは、工業的計測のユーザにとっては非常にコストがかかるものであり、不正確に認証された測定システムの低いリスクを定量化することができる。再較正は、理想的な場合ほど定期的になされない場合がある。再較正は、実行中にコストがかかるものである。したがって、通常は、再認証のためにある程度定期的に3D-ISをOEM又は他の権限のある機関に戻すことがなされる。大きなFoVを有する3D-ISを再認証するための手段は持ち運ぶことができないので、高価でデリケートな装置と再認証は、正確な3D-ISに関して費用のかかる長年の問題である。このような背景に対して、大きなFoVを有する3D-ISを現場で較正するための現実的な手段が求められている。
Gordon氏に対する米国特許公開公報第2016/071272号は、(任意的な)基準部材(28)と共通のフレームに取り付けられた3つのカメラとを有する非接触型計測プローブを教示している。これは、非常に小さい空間領域に対する非接触型プローブとしては有用なものである。3つのカメラは、基準部材28とこの基準部材の近傍を撮像するように方向付けられている。カメラに取り付けられていないトラッカ20は、自分自身の座標系を有しており、基準部材28(又は補助部材)をトラッキングしてプローブの位置及び方位が得られる。このプローブを較正する方法は教示されているが、このプローブが3D-ISのような他のデバイスを較正することは教示されていない。
Chiabrando氏等の「Sensors for 3D Imaging: Metric Evaluation and Calibration of a CCD/CMOS Time-of-Flight Camera」という表題のSensorsの論文(2009, 9, 10080-10096; doi:10.3390/s91210080 ISSN 1424-8220)は、ToFカメラに対する較正方法を教示している。その図8は、プレキシガラスパネルが取り付けられたライカTSを示している。プレキシガラスパネルは白いシートで覆われている。カメラは、TSがパネルを回転させているときにパネルを撮像するように位置決めされた。ライカTSは、回転ステージとして用いられており、少なくとも、プロセスの多くの時間中、ToFカメラがTSのFoVの外側に位置しているという理由により、一般にToFカメラの位置を測定することができない。位置合わせがなされた場合においても、ライカTSは測定値を記録するために使用されず、単に並進ステージとして使用されるだけである。3D-ISを較正するためにライカTSを用いることは、両方が同様の見晴らしのよい地点から同一の光景を撮像した後、観測された点における差を比較するという、かなり一般的に行われているプロセスである。
したがって、比較的小さくてFoV内に正確に位置決めすることができるフィーチャを有する基準物体を用いて大きなFoVを有する3D-ISを現場で較正(又は再較正)するためのキット及び方法に対する需要が依然として存在する。フィーチャの信頼性とそれらの分布は、物体のサイズ、重量、及び操作性により促進され、物体を座標化する低コストのシステムが提供される。
概要
本発明を支持する重要な実現方法は、MTPに搭載された距離・方位測定システム(ROMS)が3D-ISの位置及び方位を測定し、その1点における較正に必要なすべての情報を与えつつ、可動性のターゲットプレート(MTP)のフィーチャを3D-ISが座標化し、3D-ISのFoVをカバーする測定点の集合によって3D-ISの全空間領域にわたって現場での較正が可能になり、MTPは、空間領域にわたる移動を容易にし、ROMSに対するMTPのフィーチャの正確な位置決めを保持するようなサイズ、重量、及び形状とすることができ、3D-ISは大きなFoVを有しているが、ずっと小さなFoVを有する低コストROMSを用いて3D-ISの位置を費用対効果の良い正確な方法により正確に決定することができる。この結果、費用対効果が良く、低いトータルコストで、0.8から10,000m3、又は1から5,000m3、より好ましくは1.5から2,500m3、2から2,000m3、あるいは4から1,000m3のFoVを有する広い範囲の3D-ISに適合可能な較正システムを得ることができる。
したがって、1m3から5,000m3の視野(FoV)を有する3D撮像システム(3D-IS)を較正するためのキットが提供される。このキットは、上記3D-IS、その支持部、又はこれにしっかりと接続される面に取り付けるための計測ターゲットであって、上記3D-ISの原点に対して固定的に位置決めされる計測ターゲットと、マーク面と背面とを含む少なくとも2つの反対側に位置する広い面を有する可動ターゲットプレート(MTP)であって、少なくとも1つの基準マークが上記マーク面上に設けられ、上記マーク面は0.01〜1m2の面積を有し、上記マーク面と上記背面との間の平均厚さは0.1m未満である、可動ターゲットプレート(MTP)と、上記MTPと一体になった、又は上記MTPに取り付けられた、又は上記MTPに取り付け可能なカップリング又はハンドルであって、上記MTPの操作を可能とするように適合されたカップリング又はハンドルと、上記MTPと一体になった、又は上記MTPに取り付けられた、又は上記MTPに取り付け可能な距離・方位測定システム(ROMS)であって、上記計測ターゲットに対する上記ROMSの距離及び方位を測定するための距離・方位測定システムと備える。上記カップリング又はハンドル、ROMS及び基準マークは、上記ROMSが上記計測ターゲットに対するその位置と方位を決定するのに好適な方位で、上記MTPが上記3D-ISのFoV内に位置しているときに、上記少なくとも1つの基準マークの過半数以上が上記3D-ISによる座標化のために提示されるような動作可能な構成で上記MTP上に組み立てられるように構成されるか、組み立てられている。上記組み立てられたMTPは、重量が50kg未満の独立して移動可能な物体である。上記キットは、上記3D-ISをさらに備えていてもよい。上記キットは、少なくとも2つの同時点の画像を分析して、上記計測ターゲットに対する上記MTPの現在の位置及び方位を計算するために、上記ICと通信するプロセッサをさらに備えていてもよい。
上記マーク面のアスペクト比は4:3から3:4であってもよい。あるいは、上記3D-ISの立体角は、上記ROMSの立体角の4倍であってもよい。
上記ROMSは、焦点距離が固定された少なくとも1つのカメラを含む少なくとも3つの撮像コンポーネントを含んでいてもよい。上記撮像コンポーネントは、15〜150cm、より好ましくは20〜90cmの最小距離だけ互いに空間的に離間している。上記撮像コンポーネントは、上記FoVの深さの7.5%以上の最小距離だけ互いに空間的に離間していてもよい。上記撮像コンポーネント及びMTPは、硬いフレームに支持されており、上記コンポーネントは上記マーク面を取り囲んでいてもよい。
上記ROMSは、上記位置及び方位の取得の表示、3D画像の取得を通した上記MTPの安定性の測定値、及び少なくとも1つのカメラのディスプレイを提示するように適合されたユーザインタフェイスをさらに備えていてもよい。上記ユーザインタフェイスは、再較正の計画に応じて上記FoV内で上記MTPを移動させるようにユーザに指示するように上記プロセッサと通信してもよい。上記ユーザインタフェイスは、上記MTPの推奨されるピッチ又はヨーの移動をユーザに知らせるように適合されていてもよい。
上記ROMS及び上記プロセッサの少なくとも一方は、上記MTPの位置及び方位を上記3D-ISにより同時に取得される3D画像に関連付けるように、上記3D-ISと通信するように適合されていてもよい。
上記マーク面は0.04から0.7m2の面積を有していてもよく、上記MTPの平均厚さは0.05m未満であるか、あるいは、上記マーク面は0.06から0.5m2の面積を有していてもよく、上記MTPの平均厚さは0.03m未満である。上記マーク面の面積の平方根は、上記ROMSの3つの撮像コンポーネントの平均相互離間距離の60〜140%であってもよい。
上記計測ターゲット及び上記基準マークの一方は、直線状であるか又は円弧であるエッジにより規定されていてもよい。上記エッジは、2D吸収係数コントラストターゲット、2D照明コントラストターゲット、又は上記計測ターゲット又は上記基準マークの近位面と遠位面との間の段差として規定される3Dエッジフィーチャであって、上記段差は0.1mm以上の深さを有する3Dエッジフィーチャであってもよい。上記計測ターゲット及び上記基準マークの一方は、逆反射体を置換可能に支持するためのネストにより、あるいは、滑らかで弾力性と耐久性のある表面にステッカを貼ることにより提供されていてもよい。
上記カップリング又はハンドルは、ジョイント、リンク、又はロボットアームの端部、ロボットエンドエフェクタ、乗物、及び上記3D-ISのFoV内で動作する関節デバイスのうち1つに上記MTPを取り付けるための特徴部を含んでいてもよい。
したがって、また、上記キットを上記3D撮像システム(3D-IS)を較正するために組み立てて使用するための方法が提供される。この方法は、上記MTPを上記3D-ISのFoV内の第1の位置に移動し、そのROMSが上記計測ターゲットに対するその位置及び方位を決定できるように上記MTPを方向付け、それぞれの方向付けられた位置で、上記計測ターゲットに対する上記ROMSの位置及び方位と上記3D-ISによる上記基準マークの座標との両方を取得し、上記位置及び方位と座標とを用いて上記3D-ISを較正することを含む。上記較正は、上記基準マークが及んでいる空間領域にわたって上記3D-ISを局所的に再較正することを含んでいてもよい。
したがって、また、3D-ISを較正するための方法が提供される。この方法は、上記3D-ISの原点、その支持部、又はこれにしっかりと接続される面に対して固定された位置に計測ターゲットを用意し、重量が50kg未満の独立して移動可能な物体として可動ターゲットプレート(MTP)を用意し、上記MTPは、上記計測ターゲットに対する上記MTPの距離及び方位を上記3D-ISのFoV内の第1の位置に対して測定するための距離・方位測定システム(ROMS)と、少なくとも1つの基準マークが設けられたマーク面であって、0.01〜1m2の面積と0.1m未満の平均厚さとを有するマーク面とを備え、上記ROMSが上記計測ターゲットに対するその位置及び方位を決定するのに好適な方位に上記3D-ISのFoV内で上記MTPを移動し、上記ROMSの位置と方位の決定を上記3D-ISによる上記マーク面の3D画像の取得と協調させて上記基準マークを座標化し、上記位置及び方位と座標とを用いて上記3D-ISの較正を決定することを含んでいる。
上記MTPを用意する際に、上記FoVと重なるワークスペース内での作製作業中に上記FoV内の位置及び方位の範囲に適合すると思われる表面上に上記MTPを取り付けてもよい。上記MTPを移動する際に、上記ワークスペース内での上記作製作業中に機械、乗物、又はロボットデバイスを動作させてもよい。上記ROMSを協調させる際に、較正点を得る可能性を知らせるために、較正用のプロセッサ、上記ROMS、及び上記3D-ISの間で通信を行い、正確に取得された場合に3D画像を上記位置及び方位の決定に関連付けてもよい。
特許請求の範囲の全体は参照により本明細書に組み込まれる。
本発明のさらなる特徴は、以下の詳細な説明において述べられ、あるいは以下の詳細な説明から明らかになるであろう。
本発明がより明確に理解されるように、本発明の実施形態を以下の添付図面を参照しつつ例として詳細に述べる。
図1a及び図1bは、本発明において使用される、3D-ISの原点に対して固定された位置に取り付けられる2つの2D計測ターゲットの模式図である。
図2a及び図2bは、本発明の実施形態において使用される可動ターゲットプレート(MTP)の模式的それぞれ正面図及び側面図である。
図3a及び図3bは、丸いマーク面と突出した基準マークとを有する図2のMTPの第1の変型例のそれぞれ正面図及び側面図である。
図4a及び図4bは、基準マークが直線であり、ユーザインタフェイスが設けられている図2のMTPの第2の変型例のそれぞれ正面図及び側面図である。
図5は、撮像デバイスを安定化させるための機械的Y字フレーム構造を有する図2のMTPの第3の変型例の正面図である。
図6は、較正の方法における主なステップを示すフローチャートである。
図7は、3D-ISのFoV内でMTPを移動させることによって得られる較正点の配列を用いる較正のための組み立てられたシステムの模式的平面図である。
図8は、MTPが取り付けられたロボット取付ツールの模式図である。
図9Aは、2D計測ターゲットを有する構造光3D-ISの写真である。
図9Bは、デモンストレーションのために構成されたMTPの写真である。
図9Cは、較正におけるステップ通りに分解されたMTPの写真である。
図10は、較正用に評価された別の3D計測ターゲットの写真である。
好ましい実施形態の説明
本明細書では、(0.8から10,000m3、1から5,000m3、より好ましくは1.5から2500m3、あるいは2から1,000m3の)大視野3D撮像システム(3D-IS)、特にFoVが半径2mから17mの球内に含まれる大視野3D撮像システムを較正するための方法が述べられる。この半径は、より好ましくは、3〜15m、3.5〜12m、又は4〜10mである。好ましくは、球の中心に3D-ISが位置している。移動ターゲットプレート(MTP)に対するマーク面の効率的なサイズは、一桁以上小さいのでFoVには及ぶことがないが、そのようなマーク面の効率的なサイズを選択することは、物の製造コストを削減すること、使用及び保管中の物体の忠実性の信頼性を向上すること、3D-ISによる正確な座標化に好適な基準フィーチャサイズを提供しつつ、人間又は機械によって基準物体を操作できるようにすることに対して重要となる。MTPが小さなFoVと非常に正確なオンボード距離・方位測定システム(ROMS)とを有することにより、システムが機能的になり持ち運び可能になる。
FoV内でMTPを移動させることにより較正プロセスの時間が長くなる。しかしながら、単一の画像セットに対するセットアップ時間が非常に短いと、MTPの基準マークが分布している空間にわたる3D-ISの(再)較正が可能となるが、そのような場合には、数多くの画像セットを比較的高速に生成することができる。これにより、操作者は、大きなFoVを有する3D-ISを現場で自分自身のスケジュールで較正することが可能になる。さらに、3D-ISが移動用に設置されている場合には、MTPの重量、サイズ及び形状ファクターが、典型的には(永続的に、頻繁に、あるいは散発的に)(1以上の)3D-ISのFoV内で動作する様々な動体(例えばロボットアーム、移動される機械、作業者及び乗物、又は地面自体)に害を加えることなく追加されるので、3D-IS及びMTPが較正されると、動作を中断することなく、日和見的に定期的に再較正を行ってもよい。操作者が使用した1以上のMTPに対してオフラインでの較正が必要となるが、オフラインの3D-ISの較正が行われることは少なく、あるいは、使用されるFoVの領域であって、最近再較正されていなかったFoVの領域に対してのみ行われる。最も使用されるFoVの領域は、日和見的な再較正により最も頻繁に撮像されることは理解できよう。
本明細書において、日和見的な較正とは、較正のためにMTPが位置する領域とは対照的に、FoV内での動作条件を満たしている間にMTPが位置する領域に対応するFoVの領域のみについての較正をいう。MTPが姿勢を取って、ROMSと3D-ISとの間の通信により、お互いに他方が「見えている」という意味のメッセージが交換され(これは、典型的には、ROMSがずっと狭いFoVを有しているため、ROMSにより開始される)、3D-ISとROMSの両方の画像の良好な安定性が十分に重複した時間的ウィンドウに対して許容できるものであり、両方の画像が許容される品質を有していれば、再較正セットが提供される。再較正セットは、FoVにわたるMTPの空間的トレースを効果的に表し得る。較正プロセッサは、実質的に重複している複数の再較正セットから最良の再較正セットを選択するために選ばれ、3D-ISのプロセスの中断時に要求に応じて、あるいは、(現在の較正と)十分な相違がある、あるいは十分なスパンを有する再較正セットが収集されると、再較正を適用し得る。あるいは、選択された処理及び制御構造によっては、再較正セットを実質的に瞬間的に適用し得る。
MTPは、3D-ISに対して固定された計測ターゲットに対する位置を所望の正確性で測定するように適合されたROMSとともに設置された基準マークのうち4つ以上からなる配列を規定する。MTPは、1つの基準マークしか含んでいなくてもよいが、最低限3つ、好ましくは4つ以上の基準マークを有していれば、マーク面の座標化を行うことが実質的により簡単になる。さらに、利用できる表面積によるが、基準マークの数が多くなればなるほど、3D-ISにより正確に座標化できる点の密度が高くなり、較正により実現される細分性がより細かくなる。マークの空間分布が広くなればなるほど、MTPの単一の位置に対してFoV内でカバーされる領域がより広くなり、FoVをカバーするのに必要とされるMTPの位置の数が少なくなる。
ROMSは、効果的には3D-ISであり得るが、3D-ISのFoVよりもずっと小さいFoVを有利に持っている。したがって、ROMSは、3D-ISよりもコストが安く、コンパクトで、軽くなり得る。一般的に、ROMSは、電荷結合デバイス(CCD)や同様の光検出用アレイ、あるいはレーザスキャナ又は同様の光投影用空間アレイのような3〜5個の空間的に拡張された撮像コンポーネント(IC)を含んでいる。これらは3〜5個、好ましくは3〜4個、最も好ましくは3個のICを有している。ICのうち少なくとも1つは、光検出アレイ(この例ではカメラ)である。ペアごとに、ICのそれぞれは、15〜150cm、より好ましくは20〜90cmの最小距離だけ互いに空間的に離間している。この離間距離は、好ましくはFoVの深さの7.5%以上(より好ましくは10%以上)である。
較正プロセッサは、3D-ISの制御プロセッサであり得る。較正プロセッサは、MTP上に位置していてもよく、3D-ISのターゲットとともに、あるいは3D-ISのターゲットに隣接して一時的又は永続的に取り付けられていてもよい。あるいは、較正プロセッサは、スタンドアロン型コンピュータであってもよく、好ましくは3D-ISから座標化データ(又は出力画像)を受信し、ROMSから位置及び方位データを受信し、計算された同調性及び/又は安定した観測ウィンドウを用いてこれらの2つのデータストリームを統合し、3D-IS用の較正データを作成し、あるいは3D-ISの画像上の系統誤差を確立するように適合されている。ROMS及び3D-ISの両方からの信頼できる座標化された画像データ(又はそのデータからの派生物)をもって、MTPのそれぞれの基準マークは、(不確かさの範囲で)既知の位置及び方位を有しており、このため、他の情報の体系化を必要とすることなく、3D-ISの出力と直接比較して(再)較正を行うことができることに留意すべきである。これは、確実に位置しているものとしての差分情報のみを提供し、較正用の点に関する完全な行列を必要とするHinderling氏の先行技術とは異なるものである。
図1a及び図1bは、工業的計測において通常用いられるターゲット10A,10Bの模式図である。それぞれのターゲット10A,10Bは、対照的な面14A,14Bの間に4つの基準エッジ12を規定している(従来では外側エッジは使用されない)。ターゲット10は、MTPの位置を規定するために主に使用される。このため、ターゲット10は、3D-ISに対して固定されていなければならない。ターゲット10のそれぞれのエッジ12は、ターゲットの中心を正確かつ簡単に特定できるように配置されている。ターゲットの中心は、ターゲット自体に特別に示されていてもよいし、示されていなくてもよい。本発明は、典型的には、図1a,図1bに示されているようなターゲットを用いて、3点以上を一意に特定することを要求し、好ましくは少なくとも4つ目の点を正しい測定の検証のために必要とする。しかしながら、ある実施形態においては、制約のためにある寸法が短くなっており、簡略化されている場合がある。ターゲット10の自明な構成によって、平面のような単一の基準面上、あるいは、固定配置における別の基準面上に、数点又は多数の点を特定する単一のターゲットを作成することができる。好ましくは、ターゲット10の少なくとも4つのターゲット中心は、以下に説明するように実質的に離間している。
ターゲットの配置は、3D-ISの閉塞を避けるように、また、3D-ISのFoV内で任意の視野角で見たときに3D-ISの他の部分によるターゲット10の閉塞を避けるように選択されることは言うまでもない。3D-ISのFoV内のMTPのすべての位置に対して、ROMSは、ターゲット10の少なくとも3つのターゲット中心を撮像し、測定することができ、プロセッサは、アルゴリズムに従ってMTPの位置と方位を決定することができる。これは、自己の移動を想定しながら、MTPからターゲット10までの距離を測定すること又はターゲット10からMTPまでの距離を測定することと等価であると考えられることに留意されたい。
ターゲット10A,10Bは、3D-IS上又はそのための堅いマウントフレーム上に個別に置かれてもよいが、ターゲット10は、プレート上又はさらに大きな構造上により分散した状態で置かれていてもよい。ターゲット中心がしっかりとした不変の位置にあるか、容易に再較正可能である限りにおいて、ターゲット中心の数が大きくなればなるほど、ターゲット中心の空間分布が広がれば広がるほど、ROMSは、3D-ISに対するその位置をより正確かつ確実に決定することができる。構造光、レーザスキャナ、及び写真測量システムのような三角測量用の要素間に基線離間を既に組み込んでいる3D-ISは、コンポーネントを連結するために非常に堅いフレームを必要とすることは言うまでもない。頑丈な構造の最適な分布と利用のために、これらのフレーム上にターゲット中心を配置することは論理的で合理的である。剛構造は保護構造によって囲われる傾向にあるが、剛構造を過度に露出させずにこの剛構造へのアクセスを可能にする数多くの手段が知られている。あるいは、3D-ISの硬いフレームに正確に取り付けるため又は運動学的に取り付けるために単一の剛構造にターゲット10を取り付けて、再較正が必要になることを避けてもよい。RGB-DカメラやLidarによる3D-ISのように自然なスプロールがほとんどない3D-ISの場合には、この手法が特に好まれることがある。最後に、較正に先立って、最後の利用以降にターゲット中心の相対位置を変化させたかもしれない計測ターゲットの再較正を行ってもよい。
ターゲット10A,10Bは、2次元コントラストターゲットであってもよい。この場合には、(通常、ターゲットを測定するために使用される照明に応じて電磁スペクトルのNIR−可視−UV範囲の少なくとも使用される部分における)表面14A,14Bの光吸収係数が異なっている。ターゲットが2次元のものである場合には、明るい面14Bは、典型的には、拡散反射が多く、吸収及びスペクトル反射が少なくなるように選択される。エッジ12の定義を可能にするものは、周囲照明又は照射照明による暗い面14Aと明るい面14Bとの間のコントラストである。好適な照明を使うことで、あるいは暗い背景で光源を使うことで、鏡面により明るい部分と暗い部分とを極端に変化させることができる。鏡を使用する場合には、鏡面反射は、典型的には、照明源からターゲット表面14に向かう角度と同じ角度で光が撮像素子に向かって反射して非常に大きなコントラストが生じることを必要としている。その代わりに、高反射面として逆反射体を使用することができる。これらは、等しく良好なエッジの定義を提供するものではないかもしれない。エッジの定義は、ターゲットの中心の測定の信頼性に影響を与える。逆反射体は、白いマット面に対する反射光の大きさに関して少なくとも2桁の改善があることが知られている。非常に明るいLED及び目に安全なレーザ照明は、長距離でも黒い面に対して大きなコントラストを生じさせることができ、優れたエッジ定義を提供することができる。したがって、光照射の要求と規定されたエッジ12の品質との間にトレードオフが生じる。最後に、暗い部屋の中で較正を行う必要がある場合、明るい面14Aをミラーによって提供し、暗い面14Bを吸収体によって提供してもよい。そして、MTPのトラッキングされた移動及び/又は計画された移動に基づいてピッチ及びヨーの移動に対して、それぞれのターゲット14を独立して調整してもよい。
ターゲット10A,10Bは、3次元のものであってもよい。この場合には、表面14A,14Bの(主として)深さが異なっていることでエッジ12が定義される。それぞれの表面14Aは表面14Bとは異なる高さを有している。このように、エッジ12は、垂直壁(図には見えない)によって定義される。原理的には、それぞれの別個の表面が異なる高さを有することがあり、表面14A,14Bの一方のみがターゲット10A,10Bの平面を規定するために使用されるが、すべての表面14Aが同一平面上にあり、すべての表面14Bが同一平面上にあり、これら2つの平面が平行であることが通常である。表面14A,14Bは、マットであるように選択され得るし、拡散反射が多く、吸収及びスペクトル反射が少なくなるように選択され得る。あるいは、すべての表面14A(又は14B)が、システムによる信頼性の高い測定のために十分な拡散反射を提供しつつ、吸光コントラストとして作用するのに十分に高い吸光係数を有している場合には、2次元と3次元のハイブリッドターゲットを提供してもよい。垂直壁の吸光度が最小になった場合でも、この垂直壁により画像においてエッジ12が局所的に歪む傾向がある。垂直壁は、基準エッジのコントラストを定義するので、一般的に、表面の垂直方向の範囲(すなわち、近位面に対する遠位面の凹部深さ)は、これを測定するために使用される撮像システムの深さ分解能よりも実質的に大きい必要がある。典型的には、深さは、ROMSの深さ分解能の約10倍よりも大きい必要はない(コストのさらなる上昇とターゲットの複雑さを避け、エッジのゆがみを最小限にするためには、通常、2〜5倍で十分である)。3次元ターゲットは、視野角の範囲にわたって正確に読み取ることができることが求められる。図1a及び図1bに示されるエッジ構成では、そのような歪みを有するエッジ又はエッジ部は、垂直壁が見えていないが、相補的なエッジ又はエッジ部を有している。このため、使用する基準マークを定義するために専らこれらの歪みのないエッジ又はエッジ部を使用することができる。しかしながら、好ましくは、1組の視野角にわたるエッジ歪みをすべて避けるために、エッジに沿って下側を切り取ったベベルが設けられる。
ROMSがレーザスキャニングプロジェクタを含んでいる場合であっても、撮像のために2次元ターゲットを用いてもよいが、3次元ターゲットを用いた場合には、より小さなエッジフィーチャにより相当な改善が一般的に得られる。同様に、純粋な写真計測によるROMSを用いた撮像のために3次元ターゲットをうまく使用することができるが、2次元ターゲットの方が一般的に効率的であり、より小さなエッジフィーチャが相当な正確性又はより良い正確性を得ることが可能になる。
図1aに示されるターゲット10Aは、エッジ12が同心円を規定している的状になっている。これらの円は、中心を取得するために使用される測定プロセスから独立した基準点として使用される中心を一意に算出するために使用され得る。面14Aは2つの同心帯状部として示されているが、他の任意の数の帯状部を同様に使用してもよい。それぞれの同心帯状部は連続的なものとして示されているが、従来のターゲットの中には、1以上の隅部で、特により大きな表面積を有する外側の帯状部において途切れた不完全な帯状部を有するものがある。
図1bに示されるターゲット10Bは、エッジ12が線を規定している市松模様状になっている。基準エッジ12上で任意の点を選択し、ターゲットの中心を規定するように交差する線を規定し得る。ターゲットの中心自体がエッジ12の一部でなくてもよいことに留意されたい。さらに、単一の形としては平行ではないが同一平面上にあるターゲットの組み合わせを組み合わせて、それぞれのターゲットのエッジを対にすることによって複数の中心を作成してもよい。
図2a及び図2bは、本発明の実施形態による移動ターゲットプレート(MTP)15の模式図である。図2aは正面図、図2bは側面図である。MTP15は、複数の(6つの)基準マーク18を有するマーク面16を含んでいる。これらの基準マークは、それぞれ形態が同一で、円形の基準マークとなっている。MTP15は、その最も大きい面がマーク面16であり、その整合背面である矩形プリズムであるものとして示されている。概略の目的は、マーク面16に対して表面積を大きくすること、マーク18の離間が画像の単一のセットによりカバーされる3D-ISのFoVのスパンに対応するときに、基準マーク18のスパンを最も大きくなるようにできることである。基準マークは、3D-ISによる座標化に十分に適合したサイズ、種類、及び構成を備えている。同時に、軽量(80kg未満、好ましくは50kg未満、多くの機械については好ましくは40kg未満、理想的には10kg未満)で便利に使えて保管でき、コンパクトで頑丈なデザインが要求される。このため、(図2bに見られる)MTPの厚さ(t)は、変形とダメージに耐性があり、(少なくとも)落下試験においてダメージを受けにくい材料の最小の厚さに制限されるであろう。
マーク面16の表面積(矩形=l×w)は、0.01から1m2、又は好ましくは0.04から0.75m2、0.04から0.6m2、又は0.06から0.5m2であり得る。厚さ(t)は、5から50mm、又はより好ましくは3/4から3cmのような0.1m未満であると考えられよう。MTPは、均一な厚さのプレートであるものとして示されているが、原理上は、位置合わせのために十分な数の基準マーク(又は単一のマークの十分な部分)が見えて、使用中に閉塞してしまわない限りにおいて、プレートに任意の傾斜、模様又は形状を与えてもよいことは理解できよう。例えば、強度を向上し、重量を減らすために、MTPは、平坦なマーク面16が平均厚さtを有する格子状の支持リブによって支持された構造化された本体を有していてもよい。
マーク面16は連続的である必要はない。3D-ISによる像形成と基準フィーチャの分析又は特定を阻害するようなものでない限り、貫通孔がプレートに配置されていてもよい。したがって、効率的な画像処理手法を適用するためには、マーク面16が本質的に平坦で連続的なものであることが便利であると言われる。マークは、一瞬でMTP15によりカバーされる3D-ISのFoVのサイズを大きくするためには、マーク面16のあちこちに実質的に均一に配置されているのが一番良い。マーク面16は、好ましくは、反りや熱応力を低減するために、単一の接続領域から強固にフレームに連結されていてもよい。
また、MTP15は、落下や衝突の際に基準マーク18及び撮像システムとマーク面16の寸法を保護する弾性材料からなる犠牲境界部を有していてもよい。好ましくは、犠牲境界部は、発生した出来事を伝える役割を有する消去できないマークを簡単に形成する。
図示された例においては、基準マーク18は、マーク面16にランダムに分布しているが、最も近接しているマーク18間の距離が比較的大きく(平均離間距離の40%よりも大きい)、マーク面16の周縁部がはっきりと表れているという点においては実質的に均一に分布している。基準マーク18は、3D-ISの性質に応じて、薄い接着層又は凹んだ孔のように2次元でも3次元でもよい。例えば、3D-ISは、レーザスキャナ、レーザトラッカ、又はLiDARであってもよく、三角測量又は飛行時間に基づくものであってもよい。その場合には、基準マークは3次元であるのが最も良い。3D-ISは、写真測量又は構造光に基づくものであってもよく、その場合には、好ましくは基準マークは3次元であり得る。
4つの隅部のうち3つの隅部でMTP15にしっかりと取り付けられているのは、ROMS20の撮像コンポーネント(IC)19である。ROMS20は、IC19に接続された通信可能なプロセッサを含んでいる。MTP15のサイズに対する原理的な制約は、正確な撮像のための閾値を超えてROMS20のIC19を離間させる必要があることである。任意の2つのIC19間の最も短い離間距離を示すために便宜的に模式的な図示がなされているが、この構成自体は最適なものではないことは理解できよう。MTP15のこの一般的な形状では、最も下側のIC19は、IC19の離間距離を最大化するために下側エッジに沿った長さlの中央近くに位置している方がよいであろう。離間距離Sは、3D-ISのFoVに関して固定された計測ターゲットのROMS20又はその計測ターゲット上のROMS20の視野角/投影角を様々に変化させるための三角測量の基線を提供する。原理的には、計測ターゲットをより大きくして、空間的により広く分布させることができるが、そのようにすると、較正の設定においてだけでも、ターゲットを撮像するためにより広いFoVのROMSと3D-ISのスプロールが必要となる。3D-ISのスプロールへの追加は、一定の制限内においてのみ認められ得るが、より大きなFoVを有する3D-IS用のMTPの角度公差を大きくすることが効率的な方法である。計測ターゲットの中心の間隔、ROMSのFoV、ROMSの焦点範囲、及び撮像コンポーネント20の間隔は、好ましくは空間的配置の範囲に関して、協調するように選択される。典型的には、計測ターゲットの中心の間隔は、ROMSカメラで撮影した場合に100ピクセル以上であり、より好ましくは、これらは、3D-ISのFoVにわたって平均すると、ROMSカメラの像平面の実質的に80%以上にわたっている。
撮像コンポーネント19のうちの少なくとも1つは、光検出器のアレイであるが、撮像コンポーネントのうちの1つ以上は、レーザスキャナや構造光放出器であってもよい。MTP15と計測ターゲット10との間の距離を実質的に変化させることが必要となる場合があり、ワークスペースにおいて照明が制御されないことがあるので、レーザのようなパワー密度の高い光源が非常に好ましい。
また、MTP15は、人による操作又は低振動ロボットマニピュレータによる操作を簡単にするためにカップリング又はハンドル21を有している。カップリング又はハンドル21は、好ましくは、マーク面16の傾き又は上下左右への移動に対する制御を可能にする。カップリングは、標準的なロボット工具交換式高速接続マウントであってもよいし、ツールやロボットに連結するための他の標準的な端部であってもよい。さらに、カップリングは、エンドエフェクタやロボットの端部以外のロボット上の様々な位置に対するマウント、又はドリー、リフトトラック、又はワークスペース内でよく使用される乗物のような他の移動体に対するマウントであり得る。MTP15の重量によっては、より大きくて重いMTPのためのストラップとハーネスを含む好適にエルゴノミックなハンドル構造を選択することができる。
図3、図4、及び図5は、図2の実施形態の3つの変形例を示している。本明細書においては、同一の番号により同様の参照がなされ、相違点を述べる場合を除いて、その説明は繰り返されない。1以上の変形例における特定の変形の組み合わせを組み合わせて本発明の他の実施形態を構成することができる。
図3a及び図3bに示される第1の変形例は、2つの平行なハンドル21を有しており、円盤状のMTP15を有している。5つの基準マーク18だけが示されている。ハンドル21は、MTP15の背面(マーク面16の反対側)に位置しており、MTP16を2箇所で手に持って保持するために互いに離間している。この構成は、重量約10kgのMTP15を人が使用する場合に最も適しているであろう。
図4a及び図4bは、MTP15の第2の変形例の正面図及び側面図である。第2の変形例は、マーク面16上の4つの盛り上がったプレート部のそれぞれにおいて裏面から立ち上がった4つの平面エッジ18からなる基準マーク18を有している。盛り上がったプレート部のそれぞれについて、それぞれのエッジは、2つの隣接するエッジと関連付けられて4つの中心を規定している。このため、マーク面16は、16個の別個のターゲットを規定している。それぞれのエッジは、ピッチとヨーの角度範囲にわたって3D-ISによるエッジ定義を改善するためにアンダカット17となっている。
ハンドル21及び丸孔部21aは、MTP15と一体になったカップリング又はハンドルであり、ユーザがMTP15を操作することを可能にするものである。この変形例におけるハンドル21は、MTP15のヨー角を制御する際によりうまく処理することを可能にするために、MTP15の一辺から延びており、好ましくは、MTP15の中心の近傍で共通ベースに取り付けられる。この結果、ハンドルによって作用するトルクは、マーク面16を含む本体を通じては伝達されず、MTP15の質量中心により近くなる。丸孔部21aは、MTP15の重量を主にユーザの肩に作用させ、MTP15のピッチ及びヨーの方位を決めるために手を使用できるようにするストラップを取り付けるためのものである。
4つのIC19が示されていることに留意すべきである。これらのうち1つ又は2つは、イメージ検出器に代えて、レーザライン投影器又はスキャンニングレーザドット投影器であってもよい。IC19に故障が発生した際に連続的に動作させるために、冗長IC19が含まれていてもよいし、間欠的に又は散発的に他の3つのIC19の正確性を検証するために冗長IC19が使用されてもよいし、距離及び方位を計算するための最良の画像を得るためにすべてを競合させて使用してもよい。
第2の変形例は、ROMS20用のユーザインタフェイス(UI)20Aを提供する。異なる実施形態においては、ROMS20は、画像又は画像から得られたデータを較正コントローラに又は較正用の較正プロセッサを含む較正用の制御センターに発行するために、ワイヤレス(あるいは原理上は有線も可能)インタフェイスを有する非常に簡単な入力/出力装置とは異なっていてもよい。例えば、ROMS20は、画像正規化、画像品質検査及び拒否、及び連続画像における計測ターゲットのトラッキング、及び(おそらく遠隔の)較正プロセッサとの通信などのタスクを実行するプロセッサを有していてもよい。UI20Aは、ワイヤレスインタフェイスを介して、あるいは、常駐較正プロセッサから、好ましくは較正プロセスを指示するのを補助するための視覚信号(実施形態によっては、可聴信号処理、熱信号処理、及び触感信号処理も可能であるが)を供給する。例えば、UIは、ROMSのFoVが計測ターゲットの要求される画像品質を登録した場合にユーザに通知してもよく、ROMSの連続画像が安定性の基準を満たしている場合にユーザに通知してもよく、ROMS及び3D-ISでの計測をユーザに許可してもよく、さらに/あるいは、(再)較正を完全に行うための時間を最短にする軌跡で撮像することをユーザに指示してもよい。
図5は、MTP15の第3の変型例の模式図である。MTP15は、堅くて、マーク面16を有する円盤状のプレートを支持するとともにこれを部分的に囲むY字フレーム22を備えている。Y字フレーム22は、好ましくは、前方部材及び後方部材と、これらの間に形成された円盤状のプレートのためのスリットとを含む対称構造を有している。前方部材と後方部材とは、Y字の中央に機械的に固定され、ここに円盤状のプレートも固定される。円盤状のプレートをY字の中央にのみ結合することにより、円盤状のプレートの熱歪みの可能性がほとんどなくなる。Y字部材の3つのスポークのそれぞれは、径方向端部でも固定されており、この径方向端部ではIC19も支持している。このようにY字フレーム22を規定することにより、MTP15の熱モデリングをかなり簡単にすることができる。数個の熱電対又は類似の温度センサを追加することによりMTP15の熱補償が簡単になる。
マーク面16は、それぞれ直線状のエッジ対を規定する3つの市松模様領域を有している。エッジ対の一方は半径方向に延び、他方は接線方向に延びている。半径方向の線がマーク面16の中心を規定し、接線方向の線のうち任意の2つが第3の基準マークの半径方向の線と交差して3つ以上の点を規定するようにそれぞれの基準マークのそれぞれの線は、個別にかつ包括的に精度良く規定されている。それぞれは隣接するIC19に関連付けられている。このように、本構成は、確実に測定される7つの基準マークを規定する。肩ストラップの留め具用のアイレット21Aが設けられている。偶然の衝突を防止したり、偶然の衝突に対して目に見える人工物を作ったりするために、保護材及び/又は犠牲材が円盤状のプレート又はその部品の周囲を覆っていてもよい。上述したような日和見的な再較正のためにワークスペース内で作業する人の背中にこの構成を装着してもよい。
図6は、本発明の実施形態による較正方法の模式図である。このプロセスは、装備セットアップ段階を含んでいる。装備セットアップ段階は、ワークスペース内で計測ターゲット(MT)を現場で3D-ISに固定するステップ50と、MTPを3D-ISのFoVに入れるステップ52とを含んでいる。装備セットアップ段階は、従来のように、MTPの較正、(例えば基準物体を用いた)MTPのROMSの較正の試験、較正用照明の設置又は試験、3D-ISの一時的な粗い較正の作成、装置、乗物、又は人の可動部へのMTPの取付、及び/又はROMSのカメラ及び3D-ISのためのシステム起動プロセスをさらに含んでいてもよい。
MTPの較正は、好ましくは、MTPの引渡前に供給業者により行われる。この較正は、ROMS較正と、基準マークのエッジと中心の配置を示している非常に正確なマーク面のマップとを含んでいる。保管又は引渡のためにMTPが分解され、再度組み立てられるように設計されている場合には、好ましくは、少なくともマーク面は影響を受けず、非常に正確なマップを信頼することができる。また、好ましくは、ICの相対位置を含むROMSの空間的な配置は、忠実性を持って保存される。その場合において、必要される唯一の較正は、ICに対してマーク面を再配置することである。これは、例えば、ミラーに自分自身が写っているROMSにより行うことができる(MTPに対して一定の位置にあるミラーの多数の位置及び角度に対してエッジの画像が得られる場合には、低品質ミラーを用いることができる)。
ROMSが分解された場合、あるいはROMSが較正を必要とする場合には、ROMS上、あるいは、分解され、1以上のICを保持する部品のそれぞれの上に基準マークを設けることが好ましい。ミラーを用いた方法が使用されない場合には、特にROMSの基準マークをマーク面の基準マークに関連付けてマーク面に対するROMSの原点を規定するテーブルを更新するために、2つ目の既に較正されたMTPを使用して、MTPの較正を完了してもよい。
MTが単一のしっかりと固定された計測ターゲットである場合には、MTの配置の較正は必要ない。しかしながら、空間的に配置された複数のMTが使用され、その空間的配置が較正されていないか、未知のものである場合には、距離と方位とを確立するためのプロセスのために、この配置を較正する必要がある場合がある。これは、MTPによって複数の視点からMTの中心を計算し、画像から相対位置を抽出することにより実現することができる。これは比較的高速で効率的なプロセスであるため、装備セットアップ段階中に単一のしっかりとした堅い物体のMT上においても行うことができる場合がある。
ステップ54では、MTPのマーク面が3D-ISに向けられる。これは、日和見的な再較正の場合と同様に、偶発的に行われてもよく、あるいは、較正プログラムによって指示されてもよい。日和見的な再較正が選択された場合には、MTPは、3D-ISに関連付けられたターゲットを検出するためのプログラムを引き続き実行する。MTが見えているときは、ヨーとピッチが正しいと考えられる。
(再)較正が日和見的なものではない場合は、較正プロセスは、(例えば、3D-IS及び/又はROMSの出力又はコンパス、ワークスペースモデル/マップ、GPS、加速度計を用いる)(相対)方位(又は位置及び方位)トラッキングソフトウェアを用いて、ステップ55で正しいと決定されるまでピッチとヨーを調整するようにユーザに指示するようにUIを介してユーザにフィードバックを提供してもよい。あるいは、ROMS情報のみによって、較正プロセッサと交換される情報を使わずに、一部のカメラ又はすべてのカメラ(他のIC)に(いくつかの)MTが見えていることを示すフィードバックを操作者に提供することができる。さらに、カメラのうちの1つのカメラの画像をユーザに表示して、MTが見えているか否かをユーザが決定し、ピッチとヨーが許容できるものであるか否かをユーザが決定するようにしてもよい。
ROMSによるMTの中心の位置の取得とMTPの3D-IS座標の取得とを同期させるために様々なプロトコルを使用することができる(ステップ56)。これらの取得の前に、3D-ISとMTPとの間で情報の交換があってもよく、あるいは、2つのデータストリームの瞬間的な融合又はオフライン融合を用いて3D-ISを連続的に動作させてもよい。あるいは、取得の前に較正プロセッサによってMTP及び3D-ISの双方に対するトリガを送信してもよい。さらに、データの連係のための座標データストリームに対するトリガを用いることなく、ROMSデータ及び3D-ISデータのタイムスタンプを用いてもよい。このため、データ、画像の安定性、照明の人為的結果、後続及び先行のフレームに対するそれぞれのフレームにおける距離及び方位測定の正確性、及び装備されている場合にはROMS、3D-IS、及びマーク面の動作特性を評価するために、データのオフライン分析及び協調のためにデータのバッチ全体をダンプしてもよい。
データは、好ましくはステップ57において較正をトレース可能とするため、そしてさらなる処理のために保存される。図6のプロセスフローは、データポイントが個々に保存された後、3D-ISに対する誤差を計算するためにまとめて使用されるものとして示しているが、それぞれの個々のポイントが較正に対する完全な局所的な誤差であり、測定値がすべて不確定なものであるとすると、3D-ISの較正テーブルに対する各点ごとの更新をステップ57で計算してもよいことは理解できよう。これらの更新は、3D-ISプロセスの感度に応じて、あるいは、3D-ISの動作にとって効率的な方法で、すぐに適用してもよいし、3D-ISの較正に対して改善の測定値が観測されたときにまとめて適用してもよく、あるいは、近くの較正が観測されてから一時に適用してもよい。3D-ISの出力は、他のシステムに対する入力として頻繁に使用され、較正テーブルに対する更新は、3D-IS自体の上流側で使用されてもよいことは理解できよう。
ステップ58において、他の測定点が近づいているか否かが判断される。プロセスが日和見的なものである場合、これは、ワークスペースから乗物、人、又は移動体が出ることにより、あるいは、ROMS又は3D-ISの電源を落とすことにより決定され得る。較正プロセッサがポイントの収集を指示している場合、較正プロセッサは、時間を最短にし、所望の品質の較正を得るために優先的に取得すべき次の点をユーザに示し、プロセスはステップ52に戻る。すべての測定点が取得されると、3D-IS較正に対する誤差が計算される(ステップ59)。これは、内部的に、あるいは、3D-ISの出力を取得してこれを特定の目的のために使用する装置による使用のために、3D-ISのテーブルを更新するために使用され得る。
図7は、MTP15が取り付けられているエンドエフェクタ66を有するロボット65の模式図である。ロボット上にMTPを配置することはデリケートな選択であることは理解できよう。ロボットの移動性に対してさらなる制約が加わることを避けるために、MTPは、ロボットの動作包絡面内でロボットに取り付けられる。ロボットの手首近傍でロボットのリンクに沿った位置が、MTPを取り付けるための理想的な位置となり得る。ロボット包絡面が大きくなるのを避けるためには、ICの離間距離Sにおけるトレードオフが必要となり、そうでなければ、ロボット包絡面が拡大し得る。離間距離Sを短くすれば、ROMSが撮像することができ、MTまでの距離を必要とされる正確性で決定可能な位置と方位の組が減る。MTPをエンドエフェクタに取り付けることは、エンドエフェクタのサイズが比較的大きい場合があり、他の関節もいつものように視界に入り得るが、ロボットの手首に比べて頻繁に視界に入ってしまうので、良い選択とは言えないことに留意されたい。
ロボット上にMTPを配置する利点は、動作位置の近傍で3D-ISの再較正が行われることであり、この場所での較正が最も重要であると考えられている。ROMSは、3D-ISのFoVのある部分にわたって滅多に動作しない場合があるが、特にFoVのその部分でロボットが極端な姿勢を取って、そのFoVの範囲内ではほとんど重要な動作が生じない場合には、これが受け入れられることがある。
MTPは、日和見的な再較正のために特にロボット65に取り付けられているものとして示されているが、ガントリー型の機械や、作業車に加えて、乗物、トラック、カートなどFoV内の他の移動ツール又は機械、携帯ツール又は機械、固定ツール又は機械に同様に取り付けられていてもよい。
図8は、時間を重ねた較正プロセスのイメージの模式図であり、3D-ISのFoV60内の多数の点において較正点をどのように取得できるかを示している。FoV60は、そもそも3D-ISの立体角により規定されるような(錐体図)円錐台として示されており、3D-ISが動作する境界を規定する前方平面(61)と後方平面(62)(又は原点に中心を有する球)によって画定される。参考のために3つの市松模様のスタイルのMT10Bが示されており、(図2の)MTP15の13個の例がFoV60内に分散して示されている。
3D-ISにおいて不確実性が最も高い場所は、FoVにおいて3D-ISの原点から(後方平面又は球62に沿って)最も離れた位置、あるいは、後方平面又は球62に沿った帯状部と前方平面又は球61に沿った帯状部においてであることに留意されたい。図7は、これまで使用されたMTP15と同一のMTP15を示しているが、ICの離間距離Sが異なるROMSを有する2つの異なるMTPを用いることができる。例えば、位置の正確性が良好なFoV深さの近位範囲に対してはSの短いMTPを用い、深さの遠位範囲に対してSの長い別のMTPを用いることができる。好ましくは、2つの深さ範囲は重複する。
図9Aに示すような構造光3D-IS(SLS)(8m3=2m×2m×2mまでのFoV)を用いて本発明を実証した。構造光SLSは、スタンドと、本出願人の米国特許第8,754,954号に教示されるような光学部品付きの専用投影器と、カメラと、本出願人の米国特許第8,411,995号に説明されるようなデータを収集し、デコンボリューションプロセスを適用するためのコンピュータとを含んでいる。較正のためにMTPも使用した。
また、図9Aは、標準的な写真測量マーカの形態の一連のMTを示している。マーカは、それぞれの鋼板に取り付けられた写真測量ステッカ(合成紙:Mactac社のメトロラベル永久白、ドットは1cm径でSpicers Canada社により商用プリンタで印刷された黒インクで囲まれている)として貼り付けた。ステッカは、ターゲットを規定するために吸光度のコントラストを大きくした白い円形ターゲットを有する黒色である。ステッカの最小数は3つであり、典型的には24個のマーカを使用する。それぞれ8個のターゲットを有する3枚の別個のプレートの上に24個のターゲットを設けた。ステッカを手で貼り付けた。ステッカは、一般的に最も近い2つ又は3つのドットから約5cm離されたが、プレート上に既定の配置はなかった。2枚の鋼板を水平に配置し、最も右側の鋼板を他の水平鋼板から垂直方向上方に40cm、左から右(最も近い隅部)に18cm離す。垂直に配置された鋼板は水平に配置された鋼板の後方12cmのところに位置する。
図9Aは、黒色(吸光度の高い)背景にマット白色(高反射率)からなるMTを示しているが、出願人は、逆反射ターゲットを用いることにより、照明に対する条件を緩和するのに役立ち得るさらに高い反射率(2桁まで)を実現できることを発見した。逆反射ターゲットのエッジは、これらのステッカが貼られたマーカほど正確に既定されていないが、ROMSカメラの撮像速度を大幅に低減することができ、これにより、画像の安定性と測定の正確性が向上する。
図9B及び図9Cは、MTPの試作品の写真である。MTP試作品は、較正プレートと、3つのカメラを有するフレームと、コンピュータとを備えている。図9Bは、組み立てられたMTPを示しており、図9Cは、較正プレートが取り外されたMTPを示している。自己位置決め機能を有するターゲットの移動を容易にするために、フレームは回転三脚上に取り付けられている。コンピュータをフレーム上に設置してもよいことは留意されたい。
3つのカメラは、下側の2つのカメラの間の距離が30インチになり、下側のいずれかのカメラと上部のカメラとの間の距離が25インチとなるようにフレーム上に取り付けられている。カメラの焦点長さ距離は2.5mに設定されている。カメラの技術的動作仕様は以下の通りである。XIMEA(商標)モデルMC124MG-SY、バスタイプ:USB 3、モノクロ1チャネル、フレームレート:10fps、動的インターバル:10ビット、ピクセルピッチ:5.5μm、解像度:12メガピクセル、開口:F8。カメラには熱電対センサが埋め込まれており、これが画像補正のために使用された。
2つの異なる種類の較正プレートの適合性を試験した。ターゲットの種類の選択の大部分は、較正されるSLSシステムの精度と解像度に依存している。表1は、2つの設計に対する構成の詳細を示している。図9B及び図9Cは、ガラスをベースとする較正プレートを示している。ある種のガラス及び単結晶セラミックは熱膨張係数が低く、これは有用であり得ることに留意されたい。(本出願人の国際公開第WO2014/121384号のような)セラミック高含有金属マトリックス複合材、あるいは天然又は人工の薄い花崗岩プレートも、重量比に対して剛性が良好で、安定性に優れ、製造もしやすいことに留意されたい。
較正プレートのサイズは、多くのファクターに基づいて決定された。FoVをカバーするのに必要なMTPの画像の数を少なくするためには、較正プレートはできるだけ大きくすべきである。しかしながら、平坦性と基準マーカ位置についての許容量を厳しくしつつプレートを大きくすると、作製する費用がずっと高額になる。重量及び携帯性のような実際上の問題からするとプレートサイズが小さい方が好まれる。一般的には、カメラを支持するための剛構造が、プレートを支持及び/又は保護する役割も有し得るので、使用される離間距離Sに対応するプレートサイズ(Sの60%〜140%、より好ましくは75%〜120%)を使用することが実用的である。較正プレートは26インチ×26インチであった。
フレームは、較正プレートを脱離できるように設計されていた。分解した状態のMTPは輸送及び保管に便利である。繰り返し再組立可能である必要はない。フレームは、自己位置決め機能を有するターゲットが移動したり、振動を与えられたりした場合にカメラが較正プレートに対して、あるいはお互いに移動しないように十分に剛性を有するように設計されていた。堅くて、軽く、振動を吸収することができ、熱膨張係数の低い材料が好ましい。写真中のフレームはアルミニウムで形成されており、これは、堅く、比較的軽量であるが、最良の熱膨張係数を有するものではない。カーボンファイバ強化ポリマからなるより軽くてより堅い構造についての開発及び図5に近い設定についての開発が進行中である。
制御ハードウェアは図面には示されていないが、実施には必須のものである。制御ハードウェアは、多くの機能を実現するHP Z-400ワークステーションを含んでいた。まず、制御ハードウェアは、ROMSのすべてのカメラの同期を行う。カメラは、National Instruments社のUSBデバイスNI-USB-6001を介して制御ハードウェアにUSB接続されていた。USBデバイスは、ROMSカメラの同期のために電子トリガ信号を生成する。2つ目の機能は、SLSによってFoVの3D画像を迅速に取得するための信号をSLSに送信することである。これは、特に、SLSと制御ハードウェアとの間に確立されるイーサネットネットワーク接続を用いて行われる。工業用の設定においては、無線ネットワーク又は赤外線伝送ネットワークが代替的に用いられることがある。3つ目の機能は、SLSが3D画像を取得しているときにSLSに対するMTPの移動をモニタリングすることである(これは、構造光システムにおいて、連続する時間ステップにおいて異なる照明パターンを用いた連続画像によって行われる。)。3D画像の取得を通じてROMSにより取得される画像中のマーカの位置の変化を測定することにより移動モニタリングがなされる。SLSによって3D画像が取得されている間にROMSは多くの画像を取得するので、SLSの撮像中のMTPの安定性が評価され、これが、較正プレートの測定位置における誤差が3D-ISの較正とは対照的にMTPの移動によるものではないことを保証するために使用される。このモニタリングを補助するためにMTPに搭載された加速度計を使用してもよい。制御ハードウェアの4つ目の機能は、3つのカメラの画像中の写真測量マーカの位置を連続的に追跡し、この位置を用いて自己位置決め機能を有するターゲットの位置と方位を計算することである。最後に、制御ハードウェアは、温度プローブを読み取り、SLSの3D画像取得中のMTPの安定性を評価し、較正プレートの位置及び方位の位置と不確実性を決定してSLS較正における誤差をそれぞれの測定位置に関連付ける。
フレームと較正プレートは温度変化の影響を受けると考えられる。このため、システムが無制御環境下で動作すると考えられる場合には、較正プレートとフレームの双方に温度プローブを設置してもよい。例えば、較正プレートとフレームの表面温度の読取値だけではなく、空気温度の測定値のすべてを好適なモデルのシステムによって用いてカメラの変位及び較正プレートの中心に対するカメラの中心の位置の変化を決定してもよい。温度情報は、ROMSによって計算される位置と方位に対して温度補正を適用する制御ハードウェアに送られる。
較正例
SLSを較正するための工程は、ワークスペースの配置に対するものとは違い、MTPの第1の較正を必要とした。MTPはそれ自体が較正されていないため、初期ステップが必要とされた。その最後の較正以降にMTP自体が修正されているかもしれないときには、これと同じステップが必要とされる。MTPが分解を考慮して作製されていない場合には、ワークスペース上の配置に対してこのステップが必要とされる頻度は少ない。
MTPを用いる場合又はMTPを再較正する場合には、較正プレート上の基準マークの位置を測定しなければならず、カメラを較正しなければならない。典型的には、較正プレートの測定は、撮像システムを有するCMMを用いて行われる。典型的には、この作業は、公認測量試験所によりなされるであろうし、MTPに測定値を追跡できる機能を与える。
システムが安定していることを検証するために、カメラ又はフレームが変更されたとき、あるいは規則的な時間間隔(月に1回)で、このカメラの較正ステップを行ってもよい。このステップの目的は、それぞれのカメラの固有パラメータを較正することと、すべてのカメラ間の確実な変換(方位及び位置)を較正することである。この較正は、平面較正として知られている手法[Z. Zhang、「A flexible new technique for camera calibration」、IEEE Transactions on Pattern Analysis and Machine Intelligence、第22巻、第11号、1330-1334ページ、2000年11月(この内容は参照により本明細書に組み込まれる)]を用いて行われた。この較正を行うために、自己位置決め機能を有するターゲットから取り外すことが可能なプレートを用いる。プレートのサイズは、カメラが点を三角法で決定することができる全空間領域をカバーするようなものであることに留意されたい。このように、カメラリングは、正確で費用対効果のある較正プレートを作製するのが現実的であるような空間領域で動作するように設計されている。全空間領域をカバーする較正プレートを有することにより、その空間領域内で移動される小さなターゲット(自己位置決め能力は有していない)を用いるよりも正確な較正が可能となる。カメラリングの較正には、カメラリングに対して異なる方位にあるプレートの画像がたくさん必要である。この較正中にプレート、カメラ、及びフレームの温度が記録される。較正が行われると、プレートがフレーム上に注意深く再設置され、MTPを使用する準備が整う。この工程は、プレートがフレーム上に再び取り付けられた際にプレートが常に同じ位置にあることを前提としているわけではないことに留意されたい。
較正が行われたMTPを用いて、SLSの原点に対して固定された写真測量マーカの3D位置の計算が行われる。システムの販売時に写真測量マーカ(又は他の計測ターゲット)が3D-IS(SLS)に強固にかつしっかりと取り付けられている場合には、このステップは避けられるであろう。我々の試験システムではそうではないが、写真測量マーカがSLS上に設置された。24個のターゲットが使用されたが、次の実施形態では、40個のマーカ(4枚のプレートのそれぞれに10個のマーカ)を使用する。MTPがSLSの前に持ってこられた。ROMSの3つのカメラのそれぞれが写真測量マーカの画像を取得した。ROMSの較正に依存して、基準マーカの中心の位置が計算される。このように、3Dにおいて24個のターゲットの再構築が実現される。
SLS較正ステップ中に自己位置決め機能を有するターゲットが移動するたび又は移動していたかもしれないたびに、この3D再構築プロセスを繰り返すことができる。マーカはSLS上に置かれており、SLSは形態を変えることのない剛体であるため、自己位置決め機能を有するターゲットのそれぞれの位置の間で剛性変換が可能となる。これにより、それぞれの画像の取得において、SLSに対する3つのカメラの位置の計算が可能となる。しかしながら、プレートとカメラとの間の剛性変換が未知であるため、これによってプレートの位置が提供されるわけではない。
プロセスを動作させるためにはSLSの初期較正が必要であった。3D-IS/SLSが既に初期較正を行った状態で購入された場合には、較正ファイルが紛失又は破壊されていない限り、ワークスペース配置においては再度行われない。同一のモデルの他のSLSのSLS較正が取得できない場合には、初期較正を復元しなければならない。単純にMTPの較正プレートの2つの画像を用い、較正プレートの既知のマップに与えるそのデータで平面較正を行った。これは、正確である必要のない一時的な較正であることに留意されたい。
次のステップは、ROMSのカメラと較正プレート上のマーカとの間の剛性変換を計算することであった。カメラとプレートとの間の剛性変換を計算するために人工物が必要である。我々の実験では、図10に示される人工物を使用した。この人工物は8つの球を備えている。それぞれの球の基部に黒いブラケットが存在していることに留意されたい。このブラケットは、球の基部の周囲で360度回転可能であり、人工物自体を移動させることなく、球の後方でこの人工物の任意の視野角でブラケットを平面上に配置できるようになっている。このため、MTP又はSLSによる撮像のために黒い背景の前に白い球が設置され、MTP又はSLSが人工物を撮像した。写真測量マーカを測定するために使用された三角測量プロセスによりROMSカメラを用いて人工物上の球の位置が測定された。
人工物は、MTPとSLSの双方が(ブラケットを好適に位置決めした)人工物を撮像できるようにMTPとSLSとの間に配置される。そして、MTPは、同一の基準フレーム内の写真測量マーカの位置と人工物の位置を三角法により決めるために使用される。SLSカメラの一時的な較正を用いて、人工物に対するSLSカメラの相対姿勢を復元した。MTPにより得られる姿勢と測定値の両方を取得し、SLS上に設置された写真測量マーカに対するSLSカメラの相対位置及び方位を計算した。復元された写真測量マーカに対するSLSカメラの相対位置及び方位は、SLS較正中の初期化としてのみ用いられることに留意されたい。
最後に、SLSを2つのステップで較正した。第1のステップは、データ取得であり、約1時間の稼働時間が必要であった。第2のステップは、データ処理であり、典型的には数分を必要とした。データ取得は、SLSのFoVにMTPを配置すること及びMTPを位置決めすることを含んでいた。較正プレートに対するROMSカメラの方位と位置及び一時的なSLS較正を用いて、較正プレート上の基準マーカの3D画像中の位置をSLSから予測した。この位置を改善するために標準的な画像処理方法を使用した。その制御ハードウェアが連続的に写真測量マーカをトラッキングしている間にMTPを移動させた。MTPが移動を停止すると(安定性が観測されると)、SLSカメラの他の取得が行われた。MTPのそれぞれの位置に対して、
ターゲットに対するSLSの位置を抽出し、基準マーカの位置とSLSカメラへのそれらの画像との間の対応リストが生成された。SLSの再構築空間領域全体がカバーされるようにこの取得が複数回繰り返される。
すべてのデータが収集されると、非線形バンドル調整([Triggs B.、Zisserman A.、Szeliski R.(編)「Vision Algorithms: Theory and Practice. IWVA 1999」、Lecture Notes in Computer Science、第1883巻、Springer、ベルリン、ハイデルベルグにおけるTriggs B.、McLauchlan P.F.、Hartley R.I.、Fitzgibbon A.W.「Bundle Adjustment ? A Modern Synthesis」(2000年)](この内容は参照により本明細書に組み込まれる)を参照。)を用いてSLSの較正を改善し、SLSのカメラと写真測量マーカとの間の剛性変換を得た。最小化された正確な数学的モデルは、特に接線方向の小さな歪みだけではなく、大視野レンズ(魚眼カメラ)のかなりの量の半径方向歪みが(ピンホールモデルからの偏差を補正するために)補正される現在のSLSにおいては、SLSの光学システムの歪みに依存している。
MTPとの較正の比較
較正されたSLSは、工業的ワークスペースにおいて使用されているであろう他の唯一の手法、レーザトラッカを用いた較正と比較された。レーザトラッカのコストは、(構築する時間を考慮せずに)MTPのコストの約25倍である。レーザトラッカがSLSを較正するのにかかる時間は2〜3日であった。レーザトラッカは、1分ごとに数カ所の位置でMTPのマーク面の撮像を行った。図示されているMTPのフレームは、球状に取り付けられる逆反射体のために、それぞれのカメラの近くに1つずつ、3つのネストを備えていた。ROMSが無効にされ、SLSが3D画像を取得している間にレーザトラッカのデータが取得された。
平坦プレートを用いて両方の較正が試験され、これらは同一の平均精度を有することがわかった。レーザトラッカと自己位置決め機能を有するターゲットの両方を用いて較正されたSLSによりスキャンされた平面のデータの形態誤差は、同様(約0.3mm)であり、ほとんどSLSの不確実性の範囲内の結果となった。
本出願人は、非常に低コストの3D-IS用高精度較正システムを明らかにした。
本構造に固有の他の利点は当業者にとって明らかである。本明細書において、実施形態は例示的に述べられており、特許請求の範囲に記載された本発明の範囲を制限することを意図しているものではない。上述の実施形態の変形例は当業者にとって明らかであり、特許請求の範囲により包含されるものと本発明者が意図しているものである。