JP2005106825A - 受像装置の位置および方向づけの決定方法および装置 - Google Patents

Abstract

【課題】 受像装置の位置および方向づけの全体としての姿勢の決定のための方法および装置を提供する。
【解決手段】 本発明に係る方法は、受像装置の姿勢が少なくとも１つのロボット固有の測定装置を使用して決定されることを特徴とする。本発明に係る装置は、受像装置の姿勢の決定のための、内蔵式であってロボット固有の測定装置を備えたロボットを特徴とする。本発明に係る装置の一態様である多軸産業ロボット１は、ロボットアーム３の前端部のハンド領域２に、ツール４を備える。ツール４は、画像検出装置５を備える。
【選択図】 図１

Description

本発明は、受像装置の位置および方向づけの全体としての姿勢を決定するための方法および装置に関する。本発明は、特に、これがいわゆる「拡大現実性」または「拡大された現実性」（Augmented Reality、以下ＡＲ）において該当するように、コンピュータ生成情報、またはしかし独立に収録および貯蔵された情報のような仮想情報が同時にフェードインされる現実の環境の画像を収録する受像装置の位置および方向づけの決定のための方法および装置に関する。

位置および方向づけは、本発明の枠内で好ましくは規格ＥＮ ＩＳＯ８３７３に記載されているような自動処理装置およびロボットにおいて、以下姿勢と表わす。拡大された現実性は、たとえば労働力を複雑な組立または保守過程で教示することに使用される。さらに、ロボットプログラミングは、拡大された現実性によって支援することができる（たとえば、ドイツ特願第１０３０５３８４．０号（特許文献１）参照）。

特に最後に挙げた使用において、空間的位置自体が重要な情報を含むので、ロボットレール、基準座標系、仮想のまたは事前に別の場所で受け入れた環境、仮想工作物等々のような仮想物体または情報の空間的に精密なフェードインによる拡大された現実性の作成が多大な重要性をもっている。

そのため対応する撮像装置の位置および方向づけ（姿勢）の連続的な正確な決定がトラッキングの枠内で必要である。撮像装置は、この場合、仮想情報がフェードインされる、半透明ミラーまたは観察者の眼鏡のような、カメラまたはさらに光学的収録装置としてよい。
ドイツ特願第１０３０５３８４．０号

今日、カメラまたは接続された画像処理システムによって検出かつ認識できるマークは、カメラの姿勢の決定のために、現実の環境の中で空間的に正確に規定された位置にしばしば持ち込まれる。空間内のカメラの姿勢は、既知の位置からカメラ画像を介して推定される。もちろん達成できる姿勢の検出精度は、カメラの光学的品質、カメラの補正品質、マークの位置決定精度もしくは世界内の既知の場所への当該マークの精密な実装および画像処理品質によって制限される。実際の製造環境において、十分な数の光学式マークを取り付け、ロボットプログラミングの開始前に手動で測定することは非常に費用がかかる。

ロボット環境の１つのモデルが存在するとき、特別の場合において、受像装置、カメラの場所の決定、いわゆるトラッキングがカメラ画像によって認識された周囲の特徴および周囲のモデルに寄託された特徴の比較を介して行われるので、マークの実装を省いてよい。一方で、この種の方式は、これまで少なくとも実用的な型式で実現されておらず、他方、高い精度も達成できないとみられている。

さらに、せいぜい知られているのは、受像装置の姿勢の決定を機械式、光学式、音響式、磁気式、慣性および／またはレーザーベースのセンサを備えた付加的なセンサシステムを介して行うことである。このような方式は、高いコストと結びついている。さらにフィラメント測定システムのような機械式センサシステムの場合、観察者の行動範囲が大きく制限されている。光学式または音響式システムの場合、送信機と受信機との間で直接的に
可視接続を付与する必要があり、これは、通常は実際の製造環境において全く保証されていない。さらにプログラミングの開始前に付加的なセンサシステムの時間を要する補正が必要であるが、これは全く実用的ではない。

従って、本発明は、姿勢の決定の高い精度であまりに多大な費用をかけずに実現可能である受像装置の姿勢（位置および方向づけ）の決定のための方法および装置を構成する課題を基礎においている。

本発明により、上記の課題は、受像装置の姿勢が少なくとも１つの自動処理装置固有の測定装置を使用して決定されることを特徴とする冒頭に述べた形式の方法によって解決される。冒頭に述べた形式の装置は、上記の課題の解決のために、受像装置の姿勢の決定用の内蔵型自動処理装置固有の測定装置を備えた自動処理装置を有することを考慮している。

本発明により、リアルタイムで、すなわち少なくともビデオ作動速度でカメラの姿勢をリアルタイムで算出することが可能になり、それによって簡単かつコスト的に有利な、カメラの各姿勢に割り当てた情報、特に自動処理装置内部の情報の可視化が可能になる。

ビデオ・シースルーＡＲシステムによる制御情報のリアルタイムで進行する信頼できる拡大の目的を達成するために、カメラの姿勢をすばやく決定し、観察者に興味のある仮想物体を本来の収録するビデオ画像に重ね合わせる必要がある。カメラ姿勢を連続的に決定するトラッキングは、角度エンコーダと、カメラを取り付けたロボットの前進運動性に関する認識によって達成される。被重畳情報はカメラのロボット制御によって保持するロボット自体、さらにまた「興味のある」情報を用意できる別のコンピュータ（たとえば別の機械またはロボット制御）から到来しうる。別の制御から到来する情報を可視化する際に、制御の原座標系間の空間的関係を認識する必要があり、もしくは全制御がその座標系（たとえばカメラ誘導ロボットの世界座標系）に関する情報を既知として付与することを保証しなければならない。カメラ誘導ロボットをカメラ座標系に変換するために、カメラ座標系とフランジ座標系との間の関係は、たとえば補正によって知られていなければならない。

好ましくは、ロボット固有の、当該ロボットに内蔵された測定装置は、このようなロボットの軸駆動装置の中に角度センサを含む。

好ましい実施形態において、受像装置は、課題の実施のためにプログラミングされた自動処理装置またはロボットのいずれかに、しかも好ましくは、たとえばそのハンドフランジまたは当該ハンドフランジに接続されたツールまたはさらに課題の実施のためにプログラミングされたロボットに付加的に存在する別のロボットに配設できるカメラである。

本発明の好ましい実施形態において、受像装置の姿勢を決定する、少なくとも１つの自動処理装置固有の測定装置によって得られた姿勢データは、それぞれ、各姿勢で受像装置によって収録された画像に割り当てられることを考慮している。そのために、本発明は、装置により受像装置の姿勢を決定する、少なくとも１つの自動処理装置固有の測定装置によって得られた姿勢データを、それぞれ各姿勢で受像装置によって収録した画像に割り当てるための割り当て装置を設けている。

受像装置が基本的に光学式ディスプレイユニットとしてよいのに対し、当該ディスプレイユニットは（ビデオ）カメラである。好ましい継続形成は、仮想情報、特に自動処理装置が特殊の受像装置によって収録された画像を時間および／または位置正確にフェードイ
ンされ、もしくは仮想情報の時間および／または位置正確なフェードインのための装置、特に自動処理装置が受像装置によって収録された特殊の画像を有することを考慮している。

本発明の好ましい継続形成において、カメラが特に課題の実施のためにプログラミングされた自動処理装置に使用され、カメラが課題の実施のためにプログラミングされた自動処理装置に隣接する自動処理装置で使用され、および／または受像装置の姿勢が自動処理装置に接続された測定装置によって決定されることを考慮することができる。一般的に付与される、カメラと、ハンドフランジまたはＴＣＰのような自動処理装置での既知の場所との間のオフセットは、公知の方法で、たとえば測定によって、またはさらに後述する別の方法によって決定することができる。

本発明の別の好ましい実施形態において、空間内の自動処理装置の姿勢は、少なくとも１つの、空間内に配置されたマークならびに少なくとも１つの、ロボットに配置した、カメラまたはセンサのような測定装置によって決定され、または空間内の自動処理装置の姿勢は少なくとも１つの、自動処理装置に配置されたマークならびに少なくとも１つの、自動処理装置から独立して配置された、カメラまたは少なくとも１つのセンサのような測定装置によって決定されることを考慮している。

補正のために、カメラはこのように人工的なマークを様々な姿勢で画像に従って複数の位置で検出することができ、それによって、マークとこれを通る自動処理装置固有の測定装置に対する当該カメラの位置を決定するロボットもしくはより正確にフランジまたはＴＣＰ（ツール・センター・ポイント）の位置は、初めにカメラとフランジまたはＴＣＰとの間の未定のオフセットでも、オフセットと最終的に空間内の位置とを決定することができる。そのために、ロボットによって能動的に移動されたカメラは、様々な角度で特定のマークを直視する。各測定姿勢からカメラの位置、より正確にはカメラ座標系の位置を空間内で決定することができる。上記時点に対するロボットフランジの位置の認識と、複数の測定にわたる平均とを介して、このようにカメラとフランジ座標系との間の関係（オフセット）を算出することができる。

本発明の好ましい実施形態に従って、自動処理装置の姿勢は自動処理装置に配置された別のマークおよび別の自動処理装置に配置された、カメラまたはセンサのような測定装置と相対的に決定されることを考慮している。本発明により、カメラおよび当該カメラを担持する、ロボット内蔵型測定装置ならびにＡＲシステム構成要素を備えたロボットは、１つの単位を形成する。第２ロボットは、作業セルの一部とみなすことができ、その実際の所与性は、上記作業セルからの情報で、たとえば第２ロボットにプログラミングされたレールが拡大されるべきである。そのために第１ロボットは、当該第１ロボットがどこで第２ロボットと関係するかを知る必要がある。この関係は、補正によって行うことができる。実施された補正後に、第１ロボットに対し簡単に、第２ロボットのロボット制御からのデータをそのカメラの画像座標に変換し、収録した画像に拡大される。

上記の被拡大データは、第２ロボットの制御によって提供される。上記第２ロボットの代わりにまたはそれに付加的に工作機械を作業セルにおくことができる。また、工作機械は、制御を提供し、制御情報を有益に可視化し、たとえば機械制御の座標系、試験走行の枠内で、仮想的な被加工物体、仮想ツール、工作機械の内部空間の実際の工作物が重ね合わされる多くの可能性を構想することができる。

カメラを誘導する第２ロボットは、一般的に多くの別の制御装置、たとえばロボット制御装置およびその他の、その情報が可視化されるべきである機械制御装置を作動させることができる別の作業空間を直視することができる。つまりロボット内部情報の拡大現実性
の枠内での可視化と異なり、ここで固有の制御とは別の制御によって生じる情報が可視化される。そのために、制御装置は、リアルタイム可能にネットワーク化されなければならず、それによって情報を現実世界の変化と共にステップを維持してフェードインさせることができる。さらに作業セルのモデル形成が必要であり、これが再び結果的に補正をもたらし、それによって信頼できるものとして拡大させることができる。

ロボットによるカメラ誘導は、能動的または受動的にすることができる。能動的とは、ロボットがプログラムを進行させ（特定の場面について「カメラ出発」）またはセンサ装置（たとえば取り付けたカメラ）を介して自動的に位置決めが行なわれることである。受動的とは、ＡＲ情報をその目的に利用したいオペレータが、ロボットが所望の情報を得るように当該ロボットを位置決めすることである。この位置決めはロボットの誘導によって（たとえばロボットに力（トルク）センサを取り付けた、いわゆるマニピュレータモードで所望の運動方向に向かって押される）または携帯式操作装置を介して（たとえば進行ボタンを押してまたは６Ｄマウスの操作により）行うことができる。

本発明のもう１つの特殊性は、ロボットが一部に能動的な、一部に受動的な役割を受けもつことができることである。利用者がロボットを手で誘導し、または進行ボタンによって移動されるのに対し、ロボットの運動自由度は、任意に、たとえばロボットが全６自由度で可動できる空間または任意の平面、レールまたはその周りにＴＣＰを方向づけできる点だけに制限することができる。このように、ロボットによって任意のカメラ出発を手でプログラミングして、たとえば空間を通る設置したレール上のロボットの手動誘導を実施することができ、方向づけ自由度は自由に付与することができる。

カメラ誘導が第１ロボットもしくは第１ロボットによって処理された作業空間を直視する第２ロボットによって引き受けられる場合、これは仮想物体を位置正確にカメラ画像の中にフェードインできるために、ロボットがカメラを能動的に動かす本発明の特別の特徴である。この場合の特殊性は、両ロボットが同じ座標系に関係し、その制御を介して容易に、可視化に本質的である情報を交換できることである。所望のロボット内部情報のフェードインは、それによって軽減される。ロボットはそのために互いに補正されている。またロボットは、制御装置が互いに接続されている場合、衝突を回避して誘導／移動できるが、これは慣用の純機械式作動型ＡＲトラッキングシステムによっては不可能である。さらに６以上の自由度を有するロボットシステムを使用する場合、衝突および単一性を回避し、（手で誘導するロボットの場合は非常に簡単に行き詰まる）障害物をよけるために、冗長な自由度を使用することができる。カメラを誘導するロボットの制御は、ロボットが手で誘導されている間に当該ロボットがどこでも衝突しないことを自動的に実行する衝突回避アルゴリズムを使用してもよい。これは、利用者は、常に、システムが衝突しないことに配慮する必要があるため、純然たる受動的システムに対する大きな長所である。

カメラは、さらに、利用者によって携行されるビデオ表示装置を有する操作装置に配置してもよい。特に、受像装置が利用者によって携行される場合、仮想データまたは物体がフェードインされる半透明ミラーのような光学式ディスプレイユニットまたは利用者がかける眼鏡であってもよい。

利用者が受像装置を携行する上記の場合において、上記自動処理装置またはロボットの１つと、たとえばカメラとしてもよいか、またはさらに光学式、音響式または機械式センサを有してもよい（別の）測定装置が接続されており、それらを利用して利用者が携行する受像装置の正確な位置がロボットに接続された測定装置と相対的に決定することができ、それによって再び自動処理装置固有の測定装置を援用して利用者が携行する受像装置の空間内の場所を決定することができる。好ましくは、この受像装置は、当該受像装置がまず自動処理装置またはロボットの１つから独立して配置されている場合、特に光学式、さ
らにまた音響式マークのようなマークを備えており、その場合、対応する測定装置が使用される。

本発明のその他の長所および特徴は、請求項と、本発明の実施例を図面を参照して個別的に説明した以下の明細書とから生じる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

図１は、自動処理装置もしくはロボットを代表して、ロボットアーム３の前端部のそのハンド領域２にツール４を備えた多軸産業ロボット１を概略的に表わす。図示された実施例において、ツール４にカメラの形態の画像検出装置５が配置されている。さらに、図１は、工作物６ならびに当該工作物６に割り当てられた、ロボットによって出発するプログラミングされたロボットレール７を示している。

受像装置５によって収録された実画像と、仮想情報、特に実像に対する位置正確な割り当てにおける画像情報のフェードインの表示装置を備えた、オペレータまたは利用者に割り当てたディスプレイユニットは図示していない。

表示装置上に位置正確なフェードインによる拡大される物体の表示のために、空間内の画像検出装置５（カメラ）の位置が知られていなければならない。これは、図１に示した装置において、特に軸駆動装置の角度センサのように、内蔵したロボット固有の測定装置によって高い精度で決定することができる。

図１の目的に好適な装置は、図２に示したブロック図によりロボット１を含むプログラミングされた、カメラの形態の上記撮像装置５を備えたロボットシステム１１を有する。さらに、一方でＡＲモデル操作１３を備えた拡大現実性システム１２と、他方でＡＲ画像生成装置１４とを設けている。利用者が保持するディスプレイユニット１５は、表示装置またはディスプレイ１６のほかに操作素子１７を有する。

上記の方法で得られたカメラの場所および方向（併せて「姿勢」と呼ぶ）に関する情報は、プログラミングされたロボットシステム１１からＡＲシステム１２の画像生成要素１４に供給され、同様にカメラ画像がカメラ５から供給される。たとえば出発するレールのレール点または座標系の空間位置のような被拡大物体は、ロボット制御のＡＲシステムに提供される。全体として生成されたＡＲ画像（実画像部分と当該実画像部分でフェードインされた拡大情報とを含む）は、利用者のためにディスプレイユニット１５のディスプレイ１６に表示される。拡大される物体の空間的な操作、つまりたとえば実画像に対してその相対的シフトは、操作素子１７を介して可能である。この利用者の入力は、ＡＲシステムのＡＲモデル操作要素１３によって検出され、そして処理される。拡大される物体の変化によってその変化に該当する***作情報は、必要に応じてロボット制御に書き込むことができる。

ＡＲ場面、たとえばロボット処理プログラムの処理によるロボット・ツール・センター・ポイントの拡大レールを観察するために、利用者は、カメラ５が興味のある画像部分を表示するように、ロボット１を手動で処理することができる。衝突は、レールの自動監視または利用者によっても回避することができる。

レール進行が処理指令の変更によって変更されるような場合（図３のステップＡ）、利
用者は、ロボットプログラム内部のレール点のような、拡大現実性で可視化される物体を選択する（図３のステップＢ）。それを受けて、ロボット１は、最初に自動的に選択したレール点のような被可視化物体がスクリーン１６の中央に表示されるように、カメラ５の方向づけを変更する。この場合、スクリーン１６上の表示が現実性と一致するように、つまりスクリーン上の「上部」でも現実性における「上部」に相当するように、ロボットがカメラ姿勢（位置、方向づけ）を調節するべきである。観察点が利用者に好適ではないとみられる場合（ステップＤ）、利用者は、拡大される物体を別の観点から観察するために、ロボットを手動で、たとえばステップＥによるロボット携帯プログラミング装置１５の対応する操作素子１７を介して処理し、ロボットは、観察点が利用者に好適とみなされるまで（再びステップＤ）カメラを物体に向けて保持する（ステップＦ）。

その際、ロボットは、拡大用に選択した物体がスクリーンの中央に現れるようにカメラを常に方向づけする。利用者は、必要な場合に拡大される物体の空間的位置および方向づけを公知の方法で、たとえばそれ以外は完全に本出願の開示の目的にされているドイツ特願第１０３０５３８４．０号に従って操作し、その際に常に拡大される物体への視野角を望むように変更することができる。

そのため、観察点のように標点が所望の標点に相当するとき、当該標点が利用者側で操作され（ステップＥ’）および変化した移動レールが拡大現実性において可視化され（ステップＦ）、必要な場合には、観察点および標点の操作を交互に行えることによって、上記標点も変更することができる。両者が好適な方法で調節された場合、利用者は、ロボットの対応する処理指令を記憶することができる（ステップＥ）。その他の処理指令が変更されるべきであるとき、これは上記の方法で行われるか、またはしかし対応する進行が変更される（ステップＡ）。

上記の自動的支援方法によって、利用者が合計６つの空間的自由度のうち３つのみ、すなわち利用者にとって重要である自由度、つまり２つの方向の一方へのカメラの旋回ならびに拡大される物体との距離を自分で制御する必要があるだけなので、利用者の負担が軽減される。拡大される物体上の「標的」は、ロボットがその残りの自由度自体と一致する。

上記実施例を利用して説明した方式によって、ロボットプログラム等を処理する際のツール・センター・ポイントのレールの進行のような、空間的情報をロボット制御から効率的に可視化することができる。

図１に記載の本発明による装置の実施形態において、カメラの形態の画像検出装置が作業ステップの実行のためにプログラミングされたロボット自体に配置されているのに対し、図４の実施形態では、上記ロボットに加えて、カメラの形態の画像検出装置を自由固定フランジで担持するもう１つのロボット１’を最初に挙げたロボット１の隣に設けている。図示した別のロボットのほかに、付加的な撮像装置を備えた別のロボットを設けてもよい。それによって、工作物６のような実際の物体が作業ロボットの姿勢と関係なく観察できるので、たとえばツール・センター・ポイントの姿勢（位置、方向づけ）のような特定の情報を、作業ロボット自体で良好に可視化することができる。両方の（または複数の）ロボットの間隔を決定するために、ロボットに備えたカメラを併せて使用することができ、両ロボット１，１’の設置場所の間隔および方向が互いに相対的に知られている場合、カメラ誘導ロボットシステムの軸角度および形状データとカメラ取付け点とに基づいて、作業ロボットシステムに対するカメラ５の位置を再度推定することができる。

図５は、図３の装置のためのブロック図であり、図２と同じ符号を使用している。図２との相違点は、単に、図４に従って付加的なロボットシステム１’を設け、このロボット
システムがカメラ５を備えており、ならびに当該ロボットシステムによってカメラの位置もカメラ画像もＡＲシステムのＡＲ画像生成要素に供給され、上記ＡＲシステムに座標系、レール点等の空間的位置のような被拡大情報が作業ロボットシステム１から提供されることである。

それ以外のブロック図および情報の流れは、図２を参照して説明されたものと同一である。したがって、ここでは、詳細な説明は繰り返さない。

上述のように、付加的な、画像検出装置を担持するロボットまたは複数の隣接するロボットによって、図１および２の実施形態よりも明らかに良好な視野角を、被拡大物体上に実現することができる。１つの物体を様々な視野方向から可視化するために、必要な場合には、種々のカメラサイトの間で変更することができる。自動支援モードは、当該モードが図５を参照して説明したものと類似の方法で実現することができ、それに関して図４および図５の構成も参照することができる。

ロボットの位置および方向づけが互いに相対的に知られていないときは、対応する補正が実施される。その具体的説明のために、両ロボット１，１’が、図６に再び示される。第１ロボット１は、１つまたは複数の基準マーク８を有する。他方、別の隣接するロボット１’は、カメラ５を備える。最後に挙げたロボット１’は、カメラ５がマーク８で最初に挙げたロボット１で示すように処理される。カメラ５に対するマーク８の位置は、カメラ画像から公知の方法によって検出される。マーク８の既知の姿勢から、ロボットハンド２または当該ロボットハンドに接続されたツール４でロボットの当該姿勢の既知の配置に基づき、および軸駆動装置の角度センサのような内蔵型測定装置によって、ロボット１の脚部と相対的におよび対応する方法で知られている画像検出装置５の姿勢に基づき隣接するカメラ誘導ロボット１’の脚部と相対的に、両ロボット１、１’の位置および方向づけを互いに相対的に決定することができる。この方法は、精度を高めるために、両ロボットシステム１，１’の姿勢の変更により反復的に実施することができる。

図７の実施形態において、拡大現実性は、画像検出装置の姿勢を決定するため空間内に固定配置したマーク９の使用を前提とする。そのために空間内の個々のマーク９（位置および方向づけ）の姿勢が、知られていなければならない。これは、図７から明らかな方法で同様に軸の角度センサのようなロボットに内蔵した測定装置を使用して、決定される。

マーク９の種類は様々であってもよい。図７に概略が示されるように、グラフィックの、光学式に検出可能な写像であってもよく、音響式マークまたはその他のマークであってもよい。マークの種類は、ロボットに設けられた測定装置５’を決定する。音波の形態の音響式マークの場合、測定装置は、マイクロフォンまたはマイクロフォンアレイとしてもよい。光学式の、必要な場合は色付きでデザインされたマークの場合、測定装置５’はカメラである。その場合、当該カメラは、拡大画像の生成のために作業場所で使用された、つまり図１あるいは図３に示されるカメラ５と同一であってもよい。測定装置は、測定装置自体と相対的なその位置および方向づけに基づいてマークを検出する。測定装置の場所は、前述のように、ロボットに内蔵される測定装置（角度センサ）によって空間内で検出され、それによって空間内のマークの場所も決定することができる。

そのために、ロボットの大まかな位置決め後に、マークが測定装置の検出領域にあるように、測定装置がマークの検出を試行している間に、ロボットが測定装置を体系的に空間を通り移動させることができる。測定装置が当該マークを検出したとき、当該マークの位置は、測定装置に対して相対的に決定される。ロボット軸内の角度測定システムの位置測定と好適なロボットモデルとを介して、測定装置の位置は、ロボットの脚点のようなロボットの基準点に対して相対的に決定される。測定結果の好適な加算によって、空間内のマ
ークの位置および方向づけのためにロボットの基準点と相対的に決定することができる。場所固定座標系内のロボットの設置場所が知られているときは、マークの位置は、上記の場所固定座標系に対して相対的に決定され得る。

位置検出は、高性能の測定装置で自動検索運動もしくは位置決め運動中に決定することができる。別の方法として、フェードアウトした静止状態で測定装置に対するマークの相対的な位置決定を実行するために、ロボットがマークを検出した後に当該ロボットを停止させてもよい。測定装置の最大精度領域で位置決めを実行するために、ロボットがマークを検出した後に正確な位置決定を行うことができるように、１つまたは複数の測方向づけ値を仮定するように、画像ベースの制御によって上記ロボットをマークに近づけてもよい。

空間内部のロボットの位置が知られていないときは、ロボットの脚点が種々のマークの個々の測定の間で変化しない場合、マークの位置を互いに相対的に決定することができる。このように、空間内のマーク測定のために停止される移動車両にロボットを使用することができる。ロボットの到達距離が不十分であるときは、空間内の車両の移動によって測定領域の重ね合わせと共に全空間内のマークの測定を達成することができる。

好ましい実施の形態において、位置決定のための種々の測定方法を互いに組み合せてもよい。測定装置の一部は、大きく離れた距離からマークを検出するために広角レンズを備えたカメラのように設計してもよい。その他の測定装置、たとえば赤外ベースの距離測定器は、マークの手前の測定装置の精密な定位とその測定に使用することができる。

図８は、本発明の他の実施の形態に係る装置を表わす。この装置は、カメラ５を備えた、利用者が携帯できる操作装置１５を備える。操作装置は、図２を参照して説明された方法で表示装置またはディスプレイ１６ならびに操作素子１７を備える。カメラ５によって収録された画像は、ＡＲシステムによって生成された拡大情報と共に、表示装置１６上に表示される。

上記の構成により、利用者自身は、ディスプレイユニットと共に被観察世界、特に工作物を基準とする任意の位置を得ることができる。ＡＲ情報の正確なフェードインのために、次にさらに利用者が保持するＡＲディスプレイユニットもしくはそれに接続されるカメラの空間内の位置が知られていなければならない。当該位置を決定するためにロボットが再び測定装置を担持し、図７を参照して説明したように、測定装置に対して相対的なＡＲディスプレイユニットの位置を決定することができる。測定装置の位置は、ロボットの位置測定システムから上記の方法で再び決定することができる。それによって、空間内のＡＲディスプレイユニットの位置も知られ、ＡＲ情報は、位置正確にフェードインすることができる。

図７を参照して説明された上記のものが、測定装置として使用されてもよい。ロボット誘導式測定装置は、ＡＲシステム又は当該システムに固定された基準マーク１５ａのような測定補助手段を空間内で自動的に追跡することができる。利用者がＡＲディスプレイユニットと共に空間内で移動している間、好適な視野が本測定方法の意味において被追跡基準マーク１５ａに付与されるように、ロボットは、空間内で測定装置の位置決めを行なう。この位置決めは、連続的または不連続的に行ってよい。周囲のモデルおよび／またはロボットもしくは周囲に取り付けた別のセンサは、周囲または利用者との衝突を義務づけるようにロボットを支援することができる。

図８は、それによって能動的に移動したＡＲトラッキングシステムとしてのロボット・カメラ・システムの特別の特徴を表わす。ロボットに取り付けられたカメラは、オペレー
タが保持する携帯操作装置が最適に検出そしてトラッキングされるように、ロボットをカメラによって自動的に位置決めする信号をロボット制御に送る。「最適に検出する」とは、携帯操作装置に接続されたカメラの位置および方向づけを決定できることである。トラッキング問題を簡略化するため、携帯操作装置は、ロボットと共に能動的に移動するカメラによって問題なく検出し、空間および時間にわたってトラッキングできる良好に検出可能のマークを取り付けることができる。

図９は、本発明による図８に記載された装置のハードウェア構成を表わすブロック図である。図２または図５に示された装置と同一の要素は、同じ符号で表されている。カメラによって収録された画像は、測定装置５および内蔵したロボット１１の測定システムによって決定された位置と同様に、ＡＲ画像生成装置のカメラに転送される。それ以外は、図２、５の説明を参照されたい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

カメラの形態の画像検出装置を備えた、工作物を加工するロボットの概略図示である。 図１の対象物における構成要素および情報の流れを表わすブロック図である。 ロボットと接続したカメラの位置決定における処理指令の変更のための流れ図である。 本発明の他の局面による、工作物を加工するロボットに付加して設けた受像装置を備えた隣接するロボットを含む装置の概略を表わす図である。 図１に示される対象物を含む構成要素および情報の流れを表わすブロック図である。 基準マークを付けた工作物を加工するロボットおよび付加的にカメラの形態の画像検出装置を有するロボットの概略を表わす図である。 測定装置を備えた工作物を加工するロボットならびに場所固定マークの概略を表わす図である。 利用者が携行する受像装置および測定装置を備えたロボットの概略を表わす図である。 図８に示される対象物における情報の流れの構成要素を表わすブロック図である。

符号の説明

１ 多軸産業ロボット、１’ 隣接するロボット、２ ハンド領域、３ ロボットアーム、４ ツール、５ 画像検出装置，カメラ、５’ 測定装置、６ 工作物、７ ロボットレール、８ 基準マーク、９ 空間内に配置されたマーク、１１ プログラミング済ロボットシステム、１２ 拡大現実性システム、１３ ＡＲモデル操作、１４ ＡＲ画像生成、１５ ディスプレイユニット、１５ａ 基準マーク、１６ ディスプレイ、１７ 操作素子。

Claims (24)

1. 受像装置の位置および方向づけの全体としての姿勢の決定のための方法であって、前記受像装置の姿勢は、少なくとも１つの自動処理装置固有の測定装置を使用して決定されることを特徴とする、方法。
2. 前記受像装置の姿勢は、ロボットの軸駆動装置の角度センサによって決定されることを特徴とする、請求項１に記載の方法。
3. 前記受像装置の姿勢を決定する前記少なくとも１つの自動処理装置固有の測定装置によって得られた姿勢データは、それぞれ各姿勢で前記受像装置によって収録された画像に割り当てられることを特徴とする、請求項１または２に記載の方法。
4. 仮想情報、特に自動処理装置が特殊の受像装置によって収録された画像を時間および／または位置正確にフェードインすることを特徴とする、請求項１〜３のいずれかに記載の方法。
5. 前記受像装置として、光学式ディスプレイユニットが使用されることを特徴とする、請求項１〜４のいずれかに記載の方法。
6. 前記受像装置として、カメラが使用されることを特徴とする、請求項１〜４のいずれかに記載の方法。
7. 前記カメラは、特に課題の実施のためにプログラミングされた自動処理装置（５）に使用されることを特徴とする、請求項６に記載の方法。
8. 前記カメラは、課題の実施のためにプログラミングされた自動処理装置（５）に隣接する自動処理装置で使用されることを特徴とする、請求項６に記載の方法。
9. 前記受像装置の姿勢は、前記自動処理装置に接続された測定装置（５’）によって決定されることを特徴とする、請求項１〜６のいずれかに記載の方法。
10. 空間内の自動処理装置（１）の姿勢は、少なくとも１つの空間内に配置されたマーク（９）ならびに少なくとも１つのロボットに配置された、カメラまたはセンサのような測定装置（５、５’）によって決定されることを特徴とする、請求項１〜９のいずれかに記載の方法。
11. 空間内の自動処理装置（１）の姿勢は、少なくとも１つの自動処理装置に配置されたマーク（９）ならびに少なくとも１つの自動処理装置から独立して配置された、カメラまたは少なくとも１つのセンサのような測定装置（５、５’）によって決定されることを特徴とする、請求項１〜９のいずれかに記載の方法。
12. 自動処理装置の姿勢は、自動処理装置に配置された別のマーク（８）および別の自動処理装置に配置された、カメラまたはセンサのような測定装置（５、５’）と相対的に決定されることを特徴とする、請求項１〜９のいずれかに記載の方法。
13. 受像装置の位置および方向づけの全体としての姿勢を決定するための装置であって、前記受像装置の姿勢の決定のための、内蔵型の自動処理装置固有の測定装置を有する自動処理装置を備える、装置。
14. 前記受像装置の姿勢を決定する、少なくとも１つの自動処理装置固有の測定装置によって得た姿勢データをそれぞれ各姿勢で前記受像装置によって収録された画像に割り当てるための割り当て装置を特徴とする、請求項１３に記載の装置。
15. 仮想情報の時間および／または位置正確なフェードインのための装置、特に自動処理装置、前記受像装置によって収録された特殊の画像を特徴とする、請求項１３または請求項１４に記載の装置。
16. 前記自動処理装置固有の測定装置は、ロボット軸内に内蔵された角度センサを有することを特徴とする、請求項１３〜１５のいずれかに記載の装置。
17. 前記受像装置は、光学式ディスプレイユニットである、請求項１３〜１６のいずれかに記載の装置。
18. 前記受像装置は、カメラである、請求項１３〜１６のいずれかに記載の装置。
19. 前記カメラは、特に課題の実施のためにプログラミングされた自動処理装置（５）に配置される、請求項１８に記載の装置。
20. 前記カメラは、課題の実施のためにプログラミングされた自動処理装置に隣接する自動処理装置に配置される、請求項１８に記載の装置。
21. 自動処理装置から分離して配置された受像装置の場所および位置の決定のための測定装置は、前記自動処理装置に配置されている、請求項１３〜２０のいずれかに記載の装置。
22. マーク（９）に対して相対的に自動処理装置の姿勢を検出するための、空間内の固定マーク（９）ならびに自動処理装置に配置された、カメラまたはセンサのような、測定装置（５、５’）を特徴とする、請求項１３〜２０のいずれかに記載の装置。
23. 空間内の自動処理装置（１）の姿勢を受信するための、少なくとも１つの自動処理装置（１）に配置されたマーク（９）ならびに少なくとも１つの自動処理装置（１）から独立して配置された、カメラまたは少なくとも１つのセンサのような、測定装置（５、５’）を特徴とする、請求項１３〜２０のいずれかに記載の装置。
24. 両自動処理装置（１、１’）の相対位置を決定するための、自動処理装置（１、１’）に配置されたマーク（８）ならびに別の自動処理装置（１、１’）に配置された、カメラまたはセンサのような、測定装置（５、５’）を特徴とする、請求項１３〜２０のいずれかに記載の装置。

Images