JP5030953B2 - 第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体 - Google Patents

Description

本発明は、特に、複雑な環境で測定システムの空間的位置や方向を決定するために使用することの出来る、第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体に関する。

例えば、音響分析において、音を視覚化する際に、視覚化された音の表示が音響機器の画像上に重ねられる形で表示されることがある。そうした音響分析を行なうシステムを、一般的にアコースティックカメラと称する。

アコースティックカメラを用いた音響分析を、２次元空間から３次元空間に拡張する形で実験が行なわれた。測定は、以下の処理フローに基づいて行なわれた。
１．アコースティックカメラを、所望する結果と測定状況に基づいて、測定すべき空間（自動車の室内空間、音響実験室など）にセットした。（図１参照）；
２．該空間又は測定対象の３次元モデルと使用するカメラのモデルがコンピュータに読み込まれた。
３．空間内のカメラの位置（即ち、位置と方向）及び測定対象に対するカメラの相対位置が手動で決定された。
４．測定及び評価がなされた。

個々の場合において、上記処理のステップ３は非常に不確実で、不正確かつ時間を要するものであることが判明した。
・位置及び方向を決定するために、定規や巻き尺及び分度器を用いて少なくとも６つの測定を行なわなければならない。また、距離及び立体角が決定されなければならない（Ｘ−、Ｙ−、Ｚ−位置、該Ｘ−、Ｙ−、Ｚ−軸を中心とする回転）。
・アコースティックカメラとモデル（モデルは基本的には、ユーザが提供する）は異なる座標系を持ち、歪んだ及び／又は曲がったしかも狭い空間及びモデル（自動車の内部空間）であり得ることから別の問題が生じる。
・位置決定の精度が一般的には曖昧である。
・処理に時間が掛かり、複雑で不正確であるため、これらのシステムは殆ど使用されない。

ロボットアシストされた製造現場においてカメラの位置を決定して、製造環境のヴァーチャルモデル上に実際の画像を重ね合わせる為に、ドイツ公開公報ＤＥ１０３４５７４３Ａ１が提案された。それは、カメラをロボットの上に設置し、ロボットの内部測定システム、例えば、ロボットの角度駆動における角度センサを使用して、カメラの位置を決定するものである。しかし、この方法は、ロボットの座標系が既知であるとの仮定に基づく。この方法は、支持されていないカメラや他のセンサでは使用できない。

従って、本発明の目的は、第２の対象物に対する第１の対象物の相対位置を決定する方法及びシステムを提供することであり、また、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体を提供することである。そして、それらは前述の欠点を取り除き、特にユーザに関する位置決めの問題を、明快かつ直感的、しかも簡単に短時間で解決するものである。

この目的は、クレーム１，１３，１８及び１９に示された特色による発明に基づいて達成された。本発明の更に有益な実施例は、従属クレームに示されている。

本発明によると、第２の対象物に対する第１の対象物の相対位置を決定する方法と共に、少なくとも一つの、電磁的波及び／又は音響的波を記録する装置（以下、単に記録装置と称する）、例えば光学カメラを用いることで、方法ステップは大幅に自動化され、相対値の決定に要する時間は大きく削減される。第１の対象物と少なくとも一つの記録装置、例えば、第１の対象物に公知の所定の方法で固定的に接続された記録装置の間の位置関係は、規定されている。加えて少なくとも一つの記録装置は、第２の対象物から発せられる電磁的及び／又は音響的な波の少なくとも一部を、該少なくとも一つの記録装置で記録出来るように位置決めされている。光学カメラを記録装置として使用した場合には、第２の対象物の少なくとも一部が記録媒体（フィルム、ＣＣＤチップ）上に投影される。本発明によると、電磁的及び／又は音響的な記録は、例えば一つ又はいくつかのコンピュータプログラムの形で、対応するプログラムコードが格納されたデータ処理装置によりシミュレートされる。これは、コンピュータが生成した第２の対象物物のモデルと少なくとも一つの記録装置のモデルをバーチャル空間内に配置することで達成される。第２の対象物と記録装置のモデルの位置は、モデル座標システムによりバーチャル空間内で規定され、波の伝達と波の記録をシミュレートすることが出来る。これで、第１の対象物の第２の対象物に対する相対位置は、少なくとも一つの記録装置により測定値の少なくとも一部をデータ処理装置に伝達することで決定され、そこで、シミュレーションにより得られた値との類似点が比較され、評価される。もし、記録装置がカメラの場合には、これは、実際のカメラで記録された画像とシミュレーションにより記録された画像とを比較する、パターン比較により行なうことが出来る。もし、比較の結果十分な類似性が認められれば、このことにより、第２の対象物に対する記録装置の相対位置は、本質的にバーチャル空間内の第２の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置と同一である。第１の対象物と記録装置との間の位置関係は十分に規定されることから、第２の対象物に対する第１の対象物の相対位置は、第２の対象物に対する少なくとも一つの記録装置の相対位置から簡単に導くことが出来る。類似性の評価には、ユーザが定義した基準を用いることが出来る。

もし、類似性の基準が満たされなかった時は、少なくとも一つの記録装置の位置を該記録装置により記録される測定値が、シミュレートされた記録の値と合うように変化させる。この位置の変更は、手動又はコンピュータプログラムによる制御の下で自動的に行なうことが出来る。いくつかの実施例では、代りに又は追加的に、バーチャル空間内の少なくとも一つの記録装置のモデルの位置及び／又は第２の対象物のモデルの位置を変えることが有効である。少なくとも一つの記録装置により記録された値及び／又はシミュレーションにより生成された値はこうして変化し、再度比較及び再評価することが出来る。この処理は、所定の類似性の基準が満たされるまで継続することが出来る。

第１の対象物は、少なくとも一つのセンサを持った測定装置とすることが出来る。好ましくは、該測定装置は、アレイセンサを有する。特に、このアレイは同一のセンサから構成されることが望ましい。少なくとも一つの記録装置は、第１の対象物に一時的に固定される形で一体化することで、所定の位置関係を保つことが望ましい。これは、例えば、取り外し自在なアタッチメント手段を用いることで可能となる。特に好ましい実施例によると、第１の対象物は、記録装置として少なくとも一時的に固定される形で一体化された光学カメラを有するアコースティックカメラである。即ち、前記測定装置は、少なくとも一時的に固定される形で一体化された光学カメラを有するマイクロフォンアレイとして実施される。

この方法は、以下のような特有の効果を有する。
・３次元座標及び立体角の測定が不要である。
・記録装置は迅速に、かつ直感的にそして明快に位置決めし、方向付けることが出来る。

実際の仕事によっては、少なくとも一つの記録装置の位置を変化させ、少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの固定化されたバーチャル配列を維持することが望ましい場合がある。例えば、記録装置（例えば、カメラ）を前回の記録又は測定の位置に配置して実行された記録又は測定を再構築するために、又は、同一の条件下で記録又は測定を繰り返すために、である。例えば、前回記録した測定値が重ねられ、実際のカメラにより記録された生映像と比較される。その後、実際のカメラはもとの記録又は測定位置及び方向に移動される。

もし、測定装置を、自動車の車内空間などの（複雑な）情景内で、好ましい測定位置に移動させた場合、他の問題が生じる。（少なくとも一つの記録装置に関して明確な位置にある）測定装置及び情景（第２の対象物）の位置が決定されなければならない。この場合、少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配列は、バーチャル空間内で変化され、第１の対象物（及び少なくとも一つの記録装置）を表す測定装置の位置は固定されたままである。

少なくとも一つの記録装置により記録された測定値は、例えば有線又は無線の通信リングを介してコンピュータプログラムに供給される。

コンピュータをベースにしたモデルでは、個々の要素はモデル座標系に基づいて方向付けられる。第２の対象物に対する第１の対象物の位置も所定の座標系に基づいて規定される。この座標系は、絶対項で規定することができ、即ち、第１の対象物及び第２の対象物とは独立している。しかし、第１の対象物と第２の対象物は固定的な関係を持つことも出来る。本発明の方法における好適な実施例では、実際及びバーチャルな第１の対象物と第２の対象物はそれぞれ対応する座標系に関連づけることが可能であり、第２の対象物に対する第１の対象物の相対位置は、少なくとも一つの記録装置のモデルと第２の対象物のモデルの相対位置から、座標変換により求めることが出来る。必要なものは、簡単な座標変換だけである。

本発明の方法の別の好ましい実施例によると、記録装置がカメラの場合には、測定値の比較は、写真測量法、コンピュータグラフィックで用いられる処理ステップ及び／又は画像処理で用いられる処理ステップを含む。特に、写真測量法の処理ステップでは共線条件の評価を含み、更に／又は画像処理の処理ステップではパターン比較を含む。

測定値の比較では、少なくとも一つの類似した値を決定することを含むことが望ましい。この類似した値に基づいて、モデルの実際の状況への適用（逆もまた同様）を終了させ、二つの対象物の相対位置を決定することが出来る。本発明の方法における他の好適な実施例においては、該類似した値は異なる分析により決定される。

本発明の方法の別の好ましい実施例によると、少なくとも一つの記録装置により記録された値及び／又はシミュレーションで得られた値を可視化することが出来る。それは、データ処理装置のユーザインターフェース上で行なうことが望ましい。

第２の対象物に対する第１の対象物の相対位置を決定する方法は、バーチャル空間内での少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配置を変化させること、及び／又は少なくとも一つの記録装置の位置を変化させることを最適化することで、加速させることが出来る。そうした最適化は、初期値として、少なくとも一つの記録装置により記録された測定値のセットから少なくとも一つの測定値を指定し、第２の対象物のモデルのそれぞれの点を関連するターゲット値として指定し、少なくとも一つの記録装置の位置及び／又は、バーチャル空間内の少なくとも一つの記録装置及び／又は第２の対象物のモデル配列を、指定された初期値及びターゲット値に基づいて自動的に変化させることで、達成される。行なうべきタスクに応じて（上述の議論を参照）、第２の対象物のモデルの少なくとも一つの点を初期値として指定することが良い。そして、少なくとも一つの記録装置により記録された測定値のセットからそれぞれの測定値を、関連するターゲット値として指定するとよい。この指定の後、位置又はバーチャルな配置はコンピュータプログラムの下、自動的に変更される。

少なくとも一つの初期値及びターゲット値が、データ処理装置のユーザインターフェースを介してユーザが入力したデータにより指定されることが望ましい。データの入力には、コンピュータマウス、タッチスクリーンなど全ての入力手段を使用することが出来る。

もし、記録装置が光学カメラの場合、第２の対象物のモデルの点（ターゲット値）とカメラのモデルの点（初期値）を通って伸びるこれらの点のペアを作ることで、接続線が定義される。その点は、実際の第２の対象物の点が投影される、実際の光学カメラにおける点に対応し、それは、該モデルのターゲット値に対応する。接続線は共線条件に関して評価され、少なくとも一つの記録装置の位置が変えられ、及び／又は第２の対象物のモデルがバーチャル空間内で変えられる。これらの位置変更の結果、ターゲット値は、それぞれの初期値上に記録されたカメラシミュレーションにより表示される。違う言い方をすると；バーチャルカメラ（少なくとも一つの記録装置のモデル）は、第２の対象物のモデルを、実際の光学カメラが実際の第２の対象物を見るのと同じ形で、見ることとなる。

本発明の方法における別の好適な実施例によると、第２の対象物に対する第１の対象物の相対位置は、少なくとも一つの記録装置により測定値を記録しながら（オンライン）決定することが出来る。

第２の対象物に対する第１の対象物の相対位置を決定する方法に基づくシステムは、データ処理装置及び、第１の対象物に対して明確な位置関係にある電磁的及び／又は音響的波に対する少なくとも一つの記録装置を有する。少なくとも一つの記録装置は、第２の対象物から発生する電磁的及び／又は音響的な波が該少なくとも一つの記録装置により少なくとも一部、記録されるように設けられている。システムは、第２の対象物に対するする第１の対象物の相対位置を決定する方法が、バーチャル空間内に少なくとも一つの記録装置のモデル及び第２の対象物のモデルを配置することで、データ処理装置にインストールされた一つ以上のコンピュータプログラムにより、電磁的及び／又は音響的な波をシミュレーション記録し、第２の対象物に対する第１の対象物の相対位置を決定する方法が実行されるように、構成されている。そして、この決定は、
−少なくとも一つの記録装置により記録された測定値をコンピュータプログラムに提供し、それらの類似性に関して該測定値をシミュレーション及び評価することで生成された値と該測定値を比較する、
−評価の結果、所定の基準を満足した場合、バーチャル空間内の第２の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置から、第２の対象物に対する第１の対象物の相対位置を引き出し、又は、
−少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は少なくとも一つの記録装置により記録される値を、変化させ比較し、再評価する。

第２の対象物に対する第１の対象物の相対位置を決定する方法は、コンピュータプログラムにより実行されると好都合である。本発明によるコンピュータプログラムは、該コンピュータプログラムがコンピュータメモリにロードされると、第２の対象物に対する第１の対象物の相対位置を決定する方法をコンピュータに実行させる。この方法では、第１の対象物は、電磁的及び／又は音響的な波に対する少なくとも一つの記録装置に対して規定された位置関係を有しており、少なくとも一つの記録装置は、該少なくとも一つの記録装置により第２の対象物からの発生する電磁的及び／又は音響的な波を少なくとも一部記録することが出来るように配置されている。その電磁的及び／又は音響的な波の記録は、データ処理装置にインストールされた一つ以上のコンピュータプログラムを有する該データ処理装置内で、バーチャル空間内に少なくとも一つの記録装置のモデルと第２の対象物のモデルを配置する形でシミュレートされる。そして、第１の対象物の相対位置を第２の対象物に対して決定するには、
−該少なくとも一つの記録装置により記録された測定値をコンピュータプログラムに提供し、シミュレーションにより生成された値と該測定値を比較し、該測定値をその類似性に関して評価する、
−評価の結果、所定の基準を満足した場合、バーチャル空間内の第２の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置から、第２の対象物に対する第１の対象物の相対位置を引き出し、又は、
−少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は少なくとも一つの記録装置により記録される値を、変化させ比較し、再評価する。

例えば、コンピュータプログラムは、（有料又は無料、自由アクセス又はパスワードにより保護された形で）ダウンロード用データ又は通信ネットワークで供給することが出来る。供給されたコンピュータプログラムは方法を使用することが出来る。クレーム１８によるコンピュータプログラムは、例えば、インターネットなどの電子データネットワークから、該データネットワークに接続されたデータ処理システムにダウンロードされる。

本発明のコンピュータプログラムはコンピュータ可読媒体に記録させて配布することが出来る。該媒体はプログラムを格納しており、該プログラムはコンピュータに、該コンピュータプログラムがコンピュータメモリにロードされると、第２の対象物に対する第１の対象物の相対位置を決定する方法を実行させる。この方法では、第１の対象物は、電磁的及び／又は音響的な波に対する少なくとも一つの記録装置に対して規定された位置関係を有しており、少なくとも一つの記録装置は、該少なくとも一つの記録装置により第２の対象物から発生する電磁的及び／又は音響的な波を少なくとも一部記録することが出来るように配置されている。その電磁的及び／又は音響的な波の記録は、データ処理装置にインストールされた一つ以上のコンピュータプログラムを有する該データ処理装置内で、バーチャル空間内に少なくとも一つの記録装置のモデルと第２の対象物のモデルを配置する形でシミュレートされる。そして、第１の対象物の相対位置を第２の対象物に対して決定するには、
−該少なくとも一つの記録装置により記録された測定値をコンピュータプログラムに提供し、シミュレーションにより生成された値と該測定値を比較し、該測定値をその類似性に関して評価する、
−評価の結果、所定の基準を満足した場合、バーチャル空間内の第２の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置から、第２の対象物に対する第１の対象物の相対位置を引き出し、又は、
−少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は少なくとも一つの記録装置により記録される値を、変化させ、再度比較し、再評価する。

本発明の例示的な実施例を添付した図面を参照して述べる。

図１は、アコースティックカメラと測定すべき３次元対象を示し、ａ）はボックスモデルであり、ｂ）は自動車の室内空間である。

図２は、空間に投影された３次元対象物の生画像、３次元モデル（図２ａ ボックスモデル；図２ｂ 自動車の室内空間）及びバーチャルカメラからみたアコースティックカメラのマイクロフォンを示すものであり（コンピュータのモニタスクリーン上に視覚化される）、該３次元対象物はアコースティックカメラに接続された光学カメラにより記録される。

図３は、３次元モデル（図３ａはボックスモデル、図３ｂは、自動車の室内空間）及び光学カメラによる光学画像を示すモニタの表示。

図４ａ、ｂは、図３の画像において、アコースティックカメラのモデルと該アコースティックカメラに接続された光学カメラを、光学カメラによる光学画像（生画像）とバーチャルカメラで記録されたモデル画像の２次元投影像が、最初の近似的で一致するように、位置及び方向を決めたもの。

図５ａ、ｂは、図４の画像において、バーチャルカメラで記録されたモデル画像の２次元投影像を光学カメラによる光学画像に自動適合させ、対応点を選択したもの。

図６ａ、ｂは、図５の画像において、位置及び方向を演算改善したもの。

図７ａ、ｂは、３次元モデル上の画像（図７ａはボックスモデル、頭７ｂは自動車の室内空間）。位置と方向がうまく決定された後の、光学カメラを有するアコースティックカメラのマイクロフォン及びバーチャルカメラによる光学画像。

本発明の例を、単純な幾何学形状を有する対象（ボックスモデル１）及び複雑な環境（自動車の室内空間２）に関連して、アコースティックカメラ３の位置を決定する特定の状況で説明する。以下に述べる方法では、アコースティックカメラ３は測定に都合の良い場所に配置され、光学カメラ７の実際の生画像６を、バーチャルカメラによる関連する記録と、該コンピュータによるモデル（３次元対象のモデル４又は自動車の室内空間２のモデル５）を改変することで整合させる。二つの画像が整合した後、光学カメラ７とボックスモデル１又は自動車の室内空間２との相対的な位置が分かり、アコースティックカメラ３とボックスモデル１又は自動車の室内空間２との間の相対的な位置が、光学カメラ７とアコースティックカメラ３との間の規定された位置関係から容易に計算することが出来る。

本発明は、以下に述べる例示的な実施例に限定されることなく例えば、光学カメラ７を、生画像をバーチャルカメラの擬似的な記録と整合させる目的から、移動させる方法も使用可能であり、更に、異なる電磁的記録装置及び／又は音響的記録装置（例えば、アコースティックカメラ）を光学カメラ７の代りに使用する方法も可能である。

例示的な実施例では、光学センサを組み込んだアコースティックカメラ３が使用される。例えば、生のビデオ画像を生成するデジタルビデオカメラなどである。カメラは物理的な形態で存在する。アコースティックカメラ３はここでは第１の対象物あり、光学カメラ７は少なくと一つの記録装置である。

更に、好適な実施例では、光学カメラ７の測定値の取得をシミュレートするバーチャルカメラが用いられる。バーチャルカメラは、従って、３次元場面を見るために使用することが出来る特定のカメラを介したバーチャル画像を表示することが出来る。バーチャル画像には、モニタ又はディスプレイ上のアコースティックカメラのモデル８及び３次元対象のモデル４（図２ａ、ｂ参照）からなる。特に、該シミュレーションには、（実際の）光学カメラ７のレンズ装置を介した実際の対象物から光路を辿ることや、（実際の）光学カメラ７の対応する記録媒体（ＣＣＤチップ又はフィルム）上に（実際の）３次元場面を投影することも含む。シミュレーションは、実際の光学カメラ７の光学パラメータ、例えば、焦点距離、開口角、及びおそらくは歪み、を考慮するので、該シミュレーションの結果は、対応する実際の情景が実際の光学カメラ７で記録されたかのような正確な、バーチャル３次元場面の２次元投影となる。

ボックスモデル１又は自動車の室内空間２に対するアコースティックカメラ３の相対位置は、例えば、以下のような方法で、決定することが出来る（ここで、決定すべきアコースティックカメラ３の相対位置の関連において、ボックスモデル１又は自動車の室内空間２を第２の対象物と表示する）。

１．アコースティックカメラ３を、適宜な空間（自動車の室内空間２、音響実験室、など）内に、所望の測定条件及び所望する想定結果に従って、配置する（図１ａ、ｂ）。

２．空間又は測定対象物（例えば、ボックスモデル１又は自動車の室内空間２）の３次元モデル及び使用するアコースティックカメラのモデルをコンピュータにロードする。この光景は、バーチャルカメラを介して見ることが出来、バーチャルカメラを介した表示は、コンピュータのディスプレイスクリーン上で見ることが出来る。図２ａ又は２ｂに示すものである。

図２ａ及び２ｂは、光学カメラ７からの生画像６も示している。

３．位置と方向の決定
・第１のステップでは、バーチャルカメラは自動的に光学カメラ９のモデルの位置及び方向へ移動される。コンピュータプログラムを用いると、グラフィックユーザインタフェースを介して入力を行なうことで、例えば、“カメラオリエンテーション”ボタンを押すことで、達成することが出来る。両方のカメラ位置が整合すると、バーチャルカメラと光学カメラのモデル９が“合体”する。ユーザは、ここで、アコースティックカメラのモデル８内に位置する光学カメラのモデル９の視野から情景を見ているかの印象をもつ。生映像６と３次元モデルは、画像の透明度を変化させることで共に見ることが出来る（図３ａ，３ｂ参照）。

・バーチャルカメラの位置及び方向は、マウス及びカーソルキーで（バーチャル）モデル空間内で変更させることが出来、これにより、３次元対象物（３次元対象物のモデル４又は、自動車の室内空間のモデル５）は実際の生画像６（追跡画像）と概略的に整合する。アコースティックカメラのモデルは、こうして同様な方法で追従する。

・概略的な位置決めを行なうと、コンピュータのディスプレイは、生映像６と（実際の光学カメラ７による測定値の取得のシミュレーションの結果としての）バーチャル３次元情景の２次元投影１１との、粗い整合を示す。後の全てのステップは、自動化することが出来る。例えば、コンピュータプログラムは位置決めモードに切替えることが出来る。引き続き、点ペア１０（好ましくは、モデルの点と生映像６の対応する点）をコンピュータマウスを用いてコンピュータのディスプレイ上で選択する。（対応点ペアは、例えば、ボックスモデルの右上部の角と投影された箱の右上部の角などである。）点ペア１０は、コンピュータのディスプレイ上で両側矢印として表示するとよい。少なくとも、空間的に離れた３つの点ペア１０を選択すべきである。それぞれの追加的な点ペア１０は、位置と方向を改善し、正確性の評価を高めることができる。ユーザによる入力ミス（孤立値）は自動的に判別することが出来る（図５ａ、ｂ）。

・点ペア１０の入力により、使用すべきデータを持ったコンピュータプログラムは、バーチャルカメラを実際の光学カメラ７と同じ位置に自動的に移動させ、バーチャルカメラにより記録されたモデル情景の２次元投影１１が生映像６と一致する。この目的のために多数の画像処理方法が知られている。前述の議論において、即ち、モデル上の点と生映像６の対応する点を選択する際に、共線性の条件を評価すると良い。これらの共線性の条件の評価を実行するコンピュータプログラムは、例えば、“計算”ボタンを押すことで実行することが出来る。正しいカメラ位置及び方向はこうして決定され、（“ぴったり”）が表示される。バーチャルカメラにより記録されたモデル情景の２次元投影像１１は、いまや生映像６と一致することとなる。光学カメラのモデル９の位置及び方向そして、該光学カメラに接続されたアコースティックカメラ３の位置は、対応するモデルの座標が既知なので、測定対象に対して容易に決定される（図６ａ、６ｂ）。

点ペア１０の入力時に間違いが生じやすい。他の実施例によれば、これらの間違いは、点ペア１０を用いて整合を取った後、更に、３次元情景の２次元投影及び生映像６との間の図形を比較する追加的なステップを介して、ボックスモデル１又は自動車の室内空間２に対するアコースティックカメラ３の相対位置を参照することで、直すことが出来る。この追加的な図形の比較は、点ペア１０の選択に際した入力エラーを直すためにも使用可能である。

ボックスモデル１又は自動車の室内空間２に対するアコースティックカメラ３の相対位置を決定することは、バーチャル３次元情景の２次元投影像と生映像６間の図形の比較だけでも可能である。即ち、実際に生映像６の点とバーチャルモデルの点を結ぶ必要はない。この目的のために、光学カメラのモデル９は、３次元モデル内で仮想的に移動し、更なる移動方向について、又は生成された仮想３次元情景の２次元投影像１１と生映像６の図形を比較することでこの方法を終わらせることを決定する（好ましくは、自動的に）。

・バーチャルカメラは光学カメラのモデル９の位置及び方向から取り外すことが出来、情景を“外側”から見ることが出来る。モデル情景内のアコースティックカメラのモデル８及び３次元対象物のモデル４又は自動車の室内空間のモデル５は、実際のアコースティックカメラ３及び実際のボックスモデル１又は自動車の実際の室内空間２と正確に同じ状態（位置及び方向）である。

本発明の実施に当たっては、前述した好適な例示的実施例に限定されることはない。本発明の方法及びシステムを全く異なった態様で使用する多数の変形が考えられるものである。

図１は、アコースティックカメラと測定すべき３次元対象を示し、ａ）はボックスモデルであり、ｂ）は自動車の室内空間である。 図２は、空間に投影された３次元対象物の生画像、３次元モデル（図２ａ ボックスモデル；図２ｂ 自動車の室内空間）及びバーチャルカメラからみたアコースティックカメラのマイクロフォンを示すものであり（コンピュータのモニタスクリーン上に視覚化される）、該３次元対象物はアコースティックカメラに接続された光学カメラにより記録される。 図３は、３次元モデル（図３ａはボックスモデル、図３ｂは、自動車の室内空間）及び光学カメラによる光学画像を示すモニタの表示。 図４ａ、ｂは、図３の画像において、アコースティックカメラのモデルと該アコースティックカメラに接続された光学カメラを、光学カメラによる光学画像（生画像）とバーチャルカメラで記録されたモデル画像の２次元投影像が、最初の近似的で一致するように、位置及び方向を決めたもの。 図５ａ、ｂは、図４の画像において、バーチャルカメラで記録されたモデル画像の２次元投影像を光学カメラによる光学画像に自動適合させ、対応点を選択したもの。 図６ａ、ｂは、図５の画像において、位置及び方向を演算改善したもの。 図７ａ、ｂは、３次元モデル上の画像（図７ａはボックスモデル、頭７ｂは自動車の室内空間）。位置と方向がうまく決定された後の、光学カメラを有するアコースティックカメラのマイクロフォン及びバーチャルカメラによる光学画像。

符号の説明

１……ボックスモデル
２……自動車の室内空間
３……アコースティックカメラ
４……３次元対象物のモデル
５……自動車の室内空間のモデル
６……生映像
７……光学カメラ
８……アコースティックカメラのモデル
９……光学カメラのモデル
１０……点ペア
１１……バーチャルカメラにより記録されたモデル情景の２次元投影画像

Claims (19)

1. 第２の対象物に対する第１の対象物の相対位置を決定する方法であって、前記第１の対象物は、少なくとも一つの、電磁的及び／又は音響的な波に対する記録装置に対して規定された位置関係を有し、該少なくとも一つの記録装置は、前記第２の対象物から発生する波を該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、
   前記電磁的及び／又は音響的な波の記録は、一つ以上のコンピュータプログラムがインストールされたデータ処理装置内で、バーチャル空間内に前記少なくとも一つの記録装置のモデル及び前記第２の対象物のモデルを配置する形でシミュレートされ、
   前記第２の対象物に対する第１の対象物の相対位置は、
   −前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
   −もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第２の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第２の対象物に対する前記第１の対象物の相対位置を導き出し、又は、
   −もし、前記評価の結果が所定の基準を満足しなかったなら、前記少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び／又は前記第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は、前記少なくとも一つの記録装置により記録される値を、前記所定の基準が満たされるまで変化させ、再度比較し、再評価する、
   ことで決定される、
   ことを特徴とする、第２の対象物に対する第１の対象物の相対位置を決定する方法。
2. 前記記録装置として、光学カメラ（７）及び／又はアコースティックカメラが使用される、
   ことを特徴とする請求項１記載の方法。
3. 前記第１及び第２の対象物並びに前記少なくとも一つの記録装置のモデル及び前記第２の対象物のモデルは、対応する座標系で関連づけられており、前記第２の対象物に対する前記第１の対象物の前記相対位置は、バーチャル空間内の前記第２の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの相対位置から、座標変換により導かれる、
   ことを特徴とする、請求項１又は２記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
4. 前記測定値の比較は、写真測量法、コンピュータグラフィックで使用される処理ステップ及び／又は画像処理で使用される処理ステップを含む、
   ことを特徴とする、請求項１乃至３の内、いずれか１項記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
5. 前記測定値の比較は、少なくとも一つの類似値を決定することを含む、
   ことを特徴とする、請求項１乃至４の内、いずれか１項記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
6. 前記類似値は、差分の分析によって決定される、
   ことを特徴とする、請求項５に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
7. 前記少なくとも一つの記録装置により記録された測定値のセットから、少なくとも一つの記録を初期値として指定し、前記第２の対象物のモデルの対応する点を関連するターゲット値と指定し、前記指定された初期値及びターゲット値に基づいて、前記少なくとも一つの記録装置の位置及び／又は、前記少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配列を、バーチャル空間内で自動的に変更する、
   ことを特徴とする、請求項１乃至６の内、いずれか１項に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
8. 前記第２の対象物のモデルの少なくとも一つの点を初期値として指定し、前記少なくとも一つの記録装置により記録された測定値のセットからそれぞれの測定値を、関連するターゲット値と指定し、前記指定された初期値及びターゲット値に基づいて、前記少なくとも一つの記録装置の位置及び／又は、前記少なくとも一つの記録装置のモデル及び／又は第２の対象物のモデルの配列を、バーチャル空間内で自動的に変更する、
   ことを特徴とする、請求項１乃至６の内、いずれか１項に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
9. 前記少なくとも一つの記録装置により記録された値及び／又は前記シミュレーションで得られた値を視覚化する、
   ことを特徴とする、請求項１乃至８の内、いずれか１項に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
10. 前記測定値はデータ処理装置のユーザインターフェース上で視覚化される、
    ことを特徴とする、請求項９に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
11. 前記少なくとも一つの初期値及びターゲット値は、前記データ処理装置のユーザインターフェースを介して入力されたデータにより指定される、
    ことを特徴とする、請求項１０に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
12. 前記第２の対象物に対する第１の対象物の相対位置は、前記少なくとも一つの記録装置により前記測定値が記録されている間に決定される、
    ことを特徴とする、請求項１乃至１１の内、いずれか１項に記載の第２の対象物に対する第１の対象物の相対位置を決定する方法。
13. 第２の対象物に対する第１の対象物の相対位置を決定するシステムであって、該システムは、第１の対象物に対して規定された位置関係にある、少なくとも一つの、電磁的及び／又は音響的な波に対する記録装置並びにデータ処理装置を有し、前記少なくとも一つの記録装置は、前記第２の対象物から発生する電磁的及び／又は音響的な波を、該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、前記システムは、第２の対象物に対する第１の対象物の相対位置を決定する方法を、
    前記データ処理装置にインストールされた、一つ以上のコンピュータプログラムにより、前記電磁的及び／又は音響的な波を、バーチャル空間内に、前記少なくとも一つの記録装置のモデル及び前記第２の対象物のモデルを配置することで、シミュレーションして記録することで、
    実行し、また、
    前記第２の対象物に対する第１の対象物の相対位置は、
    −前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
    −もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第２の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第２の対象物に対する前記第１の対象物の相対位置を導き出し、又は、
    −もし、前記評価の結果が所定の基準を満足しなかったなら、前記少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び／又は前記第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は、前記少なくとも一つの記録装置により記録される値を、前記所定の基準が満たされるまで変化させ、再度比較し、再評価する、
    ことで決定される、
    ことを特徴とする、第２の対象物に対する第１の対象物の相対位置を決定するシステム。
14. 前記少なくとも一つの記録装置は、前記第１の対象物に、少なくとも一時的に、一体的に固定されている、
    ことを特徴とする、請求項１３記載の第２の対象物に対する第１の対象物の相対位置を決定するシステム。
15. 前記第１の対象物は、少なくとも一つのセンサを有する測定装置である、
    ことを特徴とする、請求項１３又は１４の内、いずれか１項記載の第２の対象物に対する第１の対象物の相対位置を決定するシステム。
16. 前記測定装置は、センサアレイを有する、
    ことを特徴とする、請求項１３乃至１５の内、いずれか１項記載の第２の対象物に対する第１の対象物の相対位置を決定するシステム。
17. 前記測定装置は、マイクロフォンアレイであり、光学カメラが該測定装置に一体化可能に設けられている、
    ことを特徴とする、請求項１３乃至１６の内、いずれか１項記載の第２の対象物に対する第１の対象物の相対位置を決定するシステム。
18. コンピュータのメモリにプログラムをロードし、第２の対象物に対する第１の対象物の相対位置を決定する方法を、該コンピュータに実行させるコンピュータプログラムであり、前記第１の対象物は、少なくとも一つの、電磁的及び／又は音響的な波に対する記録装置に対して規定された位置関係を有し、該少なくとも一つの記録装置は、前記第２の対象物から発生する電磁的及び／又は音響的な波を該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、
    前記電磁的及び／又は音響的な波の記録は、一つ以上のコンピュータプログラムがインストールされたデータ処理装置内で、バーチャル空間内に前記少なくとも一つの記録装置のモデル及び前記第２の対象物のモデルを配置する形でシミュレートされ、
    前記第２の対象物に対する第１の対象物の相対位置は、
    −前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
    −もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第２の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第２の対象物に対する前記第１の対象物の相対位置を導き出し、又は、
    −もし、前記評価の結果が所定の基準を満足しなかったなら、前記少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び／又は前記第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は、前記少なくとも一つの記録装置により記録される値を、前記所定の基準が満たされるまで変化させ、再度比較し、再評価する、
    ことで決定される、
    ことを特徴とする、第２の対象物に対する第１の対象物の相対位置を決定する方法を、該コンピュータに実行させるコンピュータプログラム。
19. コンピュータのメモリにプログラムをロードし、第２の対象物に対する第１の対象物の相対位置を決定する方法を、該コンピュータに実行させるコンピュータプログラムを格納した、コンピュータ可読記録媒体であり、前記第１の対象物は、少なくとも一つの、電磁的及び／又は音響的な波に対する記録装置に対して規定された位置関係を有し、該少なくとも一つの記録装置は、前記第２の対象物から発生する電磁的及び／又は音響的な波を該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、
    前記電磁的及び／又は音響的な波の記録は、一つ以上のコンピュータプログラムがインストールされたデータ処理装置内で、バーチャル空間内に前記少なくとも一つの記録装置のモデル及び前記第２の対象物のモデルを配置する形でシミュレートされ、
    前記第２の対象物に対する第１の対象物の相対位置は、
    −前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
    −もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第２の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第２の対象物に対する前記第１の対象物の相対位置を導き出し、又は、
    −もし、前記評価の結果が所定の基準を満足しなかったなら、前記少なくとも一つの記録装置の位置を変化させ、及び／又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び／又は前記第２の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び／又は、前記少なくとも一つの記録装置により記録される値を、前記所定の基準が満たされるまで変化させ、再度比較し、再評価する、
    ことで決定される、
    ことを特徴とする、第２の対象物に対する第１の対象物の相対位置を決定する方法を、コンピュータに実行させるコンピュータプログラムを格納したコンピュータ可読記録媒体。

Images