JP2006038843A - 距離画像センサの較正方法 - Google Patents

Abstract

【課題】電磁波を用いた車載用距離センサの位置あわせに関して、少なくとも部分的な較正を高精度に行う方法を提供する。
【解決手段】少なくとも１つの走査エリアに沿って検出レンジを走査することが可能であり、かつ走査エリア又は距離画像センサの車両に対する位置合わせに関して対応する距離画像を検出することが可能であるような、車両上に取り付けられる電磁放射線用距離画像センサを少なくとも部分的に較正するための方法であって、上記距離画像センサと少なくとも１つの較正面上の領域との距離を前記距離画像センサによって求め、前記位置合わせを少なくとも部分的に記述するパラメータ（特にピッチ角である方向性）の値を求められた距離を使用して決定する方法。また、同時にビデオ画像の較正を距離センサの較正結果を考慮して行い、較正機能部の位置座標によって距離センサ検出結果のビデオカメラ上への画像化が行われる。
【選択図】図１

Description

本発明は、少なくとも１つの走査エリアに沿って検出レンジを走査することが可能であり、かつ対応する距離画像を検出することが可能である、車両に取り付ける電磁放射線のための距離画像センサの較正方法に関する。

距離画像センサは、基本的に既知である。同センサにより、その検出レンジの距離画像は検出されることが可能であり、距離画像の距離画像点は、物体上の対応する検出点又は領域の位置に関する、特には距離画像センサからの距離に関するデータを含んでいる。これにより多くの場合検出レンジは、本発明のコンテキストにおいては物体上の点又は領域が検出され得るエリアを意味するものと理解される少なくとも１つの走査エリアを含む。

このような距離画像センサの一例は、その検出レンジにおいてパルス・レーザビームを揺動させ、物体から角度解像式に投げ返されるレーザビーム光線を検出するレーザスキャナである。距離は、レーザパルスの送信から物体によって投げ返されるレーザパルス成分の検出までの経過時間から決定されることが可能である。これにより、揺動されるレーザビームと、物体から投げ返される放射線がレーザスキャナの検出器によって受信されかつ検出され得る受信レンジとが、走査エリアを画定する。

このような距離画像センサは、効果的には自動車の前方、側方及び／又は後方領域を監視するために使用されることが可能である。検出される物体の車両に対する位置を正確に決定することが可能であるためには、距離画像センサの、従って同じく走査エリアの車両に対する位置及び位置合わせが正確に認識されなければならない。一方で設置が不正確であれば、車両に対する距離画像センサの位置合わせが仕様に適合せず、距離画像センサは結果的に車両の長手軸、垂直軸及び／又は横軸を中心に回転されることになる可能性がある。距離画像センサのデータ処理の間の調整又は測定によってこのような偏差を少なくとも部分的に補償し得るためには、その位置合わせを可能な限り正確に決定し得ることが望ましい。例えばビデオカメラ等のビデオ・センサを使用する際にも、類似の問題が発生する可能性がある。

従って本発明は、距離画像センサの車両に対する位置合わせに関して少なくとも部分的な較正を高精度で実行することのできる上述の類の方法を利用可能にするという目的を基礎とするものである。

この目的は、請求項１に記載された特徴を有する方法によって達成される。

少なくとも１つの走査エリアに沿った検出レンジを走査することが可能でありかつ車両に対する走査エリア又は距離画像センサの位置合わせに関して対応する距離画像を検出することが可能である車両上に取り付けられる電磁放射線用距離画像センサの少なくとも部分的な較正のための本発明による方法においては、距離画像センサと少なくとも１つの較正面上の領域との距離が距離画像センサによって求められ、求められた距離を使用して位置合わせを少なくとも部分的に記述するパラメータの値が決定される。

冒頭で述べたように、電磁放射線用距離画像センサという用語は、本発明のコンテキストにおいては、距離画像センサから検出される物体の点及び／又は同センサと一定の関係にある基準点との間隔に関するデータを含む検出領域の距離画像を電磁放射線を使用して検出することができるセンサとして理解される。例えば、対応するレーダ・センサの使用が可能である。

レーザスキャナは、好適には電磁スペクトルの赤外領域、可視領域又は紫外領域における光学放射線、例えば電磁放射線により検出領域を検出するものが使用される。特にレーザスキャナは、検出領域を介してパルス・レーザビームを移動、好適には揺動させ、物体から投げ返される、又は反射して戻される放射線を検出できるものを使用可能である。距離は、距離画像センサから物体へ当たって距離画像センサへ戻るまでのパルスの経過時間から検出されることが可能である。

距離画像センサは、物体がそれに沿って検出され得る少なくとも１つの走査エリアを有する。走査エリアは、例えばレーザスキャナにおいて、送信される走査ビーム及び任意選択としてその動作により、かつ／又は検出される物体から投げ返される放射線のレーザスキャナの検出領域により画定されることが可能である。走査エリアの位置は配置により、かつ／又は任意選択として距離画像センサのオペレーティング・モードにより距離画像センサに対して定められ、かつ好適には既知である。走査エリアは平面である必要はないが、平面であることが好適である。

本発明では、距離画像センサの、及び／又は走査エリアの位置合わせの少なくとも部分的な決定のために、少なくとも１つの較正面が使用される。較正面は、特に較正に使用されるより大きい表面における表面部分を意味することも理解されるであろう。

距離画像センサ又は走査エリアの位置合わせは、本発明により、車両及び／又は対応する基準システムに対する距離画像センサ又は走査エリアの方向性、及び距離画像センサの少なくとも１つの基準軸又は少なくともほぼ走査面に沿った走査面の基準方向の角度位置を意味することが理解されるであろう。この関連において、車両に対する走査エリアの方向性は、特には車両の長手軸及び横軸により決定される車両平面に対する、又は車両がその上に位置する面に対する所定の相対位置における走査エリアへの法線ベクトルの方向性として理解されるものと思われる。センサの、又はセンサに対する走査エリアの所望される位置合わせは基本的には所望の通りであることが可能であり、例えば表面との間で角度９０゜を形成することが可能であるが、走査エリアは好適には所望される位置合わせにおいて表面まで１５゜未満の角度を形成する。

従って、距離画像センサの位置合わせは、対応するパラメータ又は変数によって記述されることが可能である。例えば、少なくとも１つの対応する角度又は角度の余弦を使用可能である。この関連において、方向性の完全な記述には少なくとも２つのパラメータが必要である。

方向性を少なくとも部分的に記述するためには、方向性を少なくとも部分的に再現する方向角度、特には車両の長手軸に対する走査エリア又は距離画像センサの方向性を再現するピッチ角及び／又は車両の横軸に対する走査エリア又は距離画像センサの方向性を再現するロール角を使用可能である。角度位置に関しては、距離画像センサの少なくともほぼ走査エリアに沿って所定の基準軸と、車両の長手軸及び横軸に平行である車両の対応する所定の基準軸との間のヨー角を、位置合わせを少なくとも部分的に記述するパラメータとして使用可能である。

本発明によれば、例えば方向角度又はヨー角の位置合わせを再現する１つのパラメータの値が決定されれば足りる。但し好適には、方向性を再現する少なくとも２つのパラメータの値が決定される。さらに、角度位置を再現するパラメータも決定されれば特に好適である。

本発明によれば、距離画像センサにより、距離画像センサと較正面上の領域との間の距離が決定される。求められるこの距離及び任意選択としてさらなるパラメータを使用して、次には少なくとも部分的に位置合わせを再現するパラメータの値が決定される。

角度の測定値より高い精度を有する距離の測定値の使用を介して、特にはレーザスキャナの使用により、このようにして正確な較正を達成することが可能である。

本発明のさらなる展開及び好適な実施形態は、請求の範囲、明細書本文及び図面に説明されている。

較正の精度を高めるために、好適には複数の距離画像を検出することが可能であり、これは次の段階で平均化される。特には、時間平均の形成が可能である。この目的に沿って、複数の走査中に検出される同一走査エリアの距離画像点は合計距離画像に組み合わされ、纏めて評価される。

較正中に、たとえ僅か１つの距離画像又はほんの幾つかの距離画像を検出する場合であっても可能な最高精度を達成するために、較正面は、距離画像センサによる較正のために走査エリアに沿って隣接する２つの領域がその上で空間分解式に検出され得る既知の形状を有するものを使用することが好適である。こうすれば、較正面に対する距離画像センサの走査エリアの位置合わせは、少なくとも１つの個々の距離画像の少なくとも２つの対応する距離画像点を使用してさらに正確に決定されることが可能である。特に、個々の距離画像の検出された複数の距離画像点を基礎として平均値を形成し、よってレーザスキャナにおける角度決定誤差を少なくとも部分的に補償することが可能であり、これにより較正の精度を向上させることができる。

さらに、少なくとも２つの異なる走査エリアに沿った検出レンジを走査することができる距離画像センサを較正することが好ましい。このような距離画像センサは特に車両分野にも適しているが、これは、２つの走査エリアの使用を介して、車両のピッチ動作に関わらず２つの走査エリアの使用により原則として走査エリアに対応する少なくとも１つの距離画像が利用可能であることによる。少なくとも２つの走査エリアを有するレーザスキャナは、例えば、本参照によりその内容が開示に含まれるドイツ国特許出願公式参照ファイル101430060.4に記述されている。

よってこの場合、特に、距離画像センサは距離画像センサの座標系に対する走査エリアの位置及び／又は位置合わせが既知であるものが較正されることと、座標は、検出される距離画像の走査エリアに関連づけられる距離画像点に関して距離画像センサの座標系において決定されることと、これらの座標は少なくとも部分的な位置合わせの決定に使用されることが好適である。この手順は、対応する補正が供給されず、代わりに座標が距離画像センサの座標系において単に近似的に決定される距離画像センサにとって特に効果的である。これを実践するためには、走査エリア内の１つの位置を特に検出することが可能であり、これは次に既知の関数によって座標系における対応する座標に変換されることが可能である。このさらなる展開は、例えば、互いに対して少なくとも断面方向へ傾斜されている複数の走査エリアを有する距離画像センサにおいて効果的であるが、これはこの場合、そうでなければ走査エリアの互いに対する相対的傾斜によって不正確さが生じる可能性があるためである。

第１の代替例によれば、２つの走査エリアを有する距離画像センサを使用する場合、２つの走査エリアにおいて個々に検出される領域は、位置合わせの少なくとも部分的な決定に纏めて使用されることが好適である。このようにすれば、特に単純なデータ処理の実行が可能である。

第２の代替例によれば、個々の走査エリアに関連づけられる値は、較正面上の検出領域から走査エリアの各々の距離画像センサまでの距離から位置合わせを少なくとも部分的に再現するパラメータに関して決定されることと、距離画像センサの位置合わせを少なくとも部分的に再現するパラメータの値は走査エリアに関連づけられる値から求められることが好適である。言い替えれば、走査エリアの位置合わせは少なくとも部分的には互いに独立して決定され、距離画像センサ自体又は距離画像センサの座標系の位置合わせはこれらの位置合わせから決定される。これにより、高精度の達成が可能である。

特に単純な較正を可能にするためには、較正面は平坦であることが好適である。この場合、較正中の距離画像センサに対する較正面の位置の不正確さが与える影響は比較的小さいものでしかない。

例えば、走査エリア上の所定の位置における法線ベクトルの走査エリアに対する方向性によって与えられる可能性のある走査エリアの方向性の決定に際しては、較正面の領域は、車両に対する走査エリアの、又は距離画像センサの方向性、特にはピッチ角を少なくとも部分的に決定するために、車両の長手軸又は垂直軸に対して所定の方法で個々に傾斜されることと、方向性、特にはピッチ角を少なくとも部分的に再現するパラメータの値は、距離画像センサにより検出される領域の検出された距離から、それらの傾斜に依存して決定されることが好適である。較正面の位置合わせは、基本的には車両に関する走査エリアの所望される位置に従って方向づけられることが可能である。位置合わせは、好適にはこれにより９０゜未満の角度を形成する。特に較正面は、距離画像の検出中又は較正中に車両がその上に位置する面に対して傾斜されることが可能である。このようにして、走査エリアと較正面との共通部分の上記面及び／又は車両座標系の対応する平面からの距離、又は較正面の領域における走査エリアの上記面及び／又は車両座標系の対応する平面に対する傾斜は、単に距離の測定によって決定されることが可能であり、例えばレーザスキャナの場合、これは角度の測定に比べて高い精度を有する。この決定は、対応するただ１つの距離画像点を基礎として行われる必要はなく、むしろ検出される距離画像点からは、次に高さ及び／又は傾斜の実際の決定に使用されることが可能な基準点も求められる可能性がある。

走査エリア又は距離画像センサの方向性を少なくとも部分的に決定するためには、特に、走査エリアの領域における較正面の距離は距離画像センサにより較正面の領域の検出された少なくとも２つの間隔から決定されることと、走査エリア又は距離画像センサの方向性、特にはピッチ角を少なくとも部分的に再現するパラメータの値が、決定された較正面の間隔を使用して決定されることが好適である。測定誤差の補償は、特にこのようにして実行されることが可能であり、これにより較正の精度が向上される。

走査エリアの所定の領域において較正面が１つしか使用されなければ、距離画像センサからのその距離は既知でなければならない。

少なくとも２つの走査エリアを有する距離画像センサが使用される場合、車両がその上に位置する面に直交する方向にある走査エリアと較正面との交点の位置は、同じ較正面に対応する異なる走査エリアの距離画像点から決定されること、又は上記表面に対する走査エリアの少なくとも１つの傾斜は距離画像センサから較正面への方向で求められることが好適である。従って、較正面の距離画像センサからの距離は既知である必要はない。

或いは、互いに対して所定の位置に配置される２つの較正面は、特にはピッチ角の方向性を少なくとも部分的に決定するために使用され、較正の使用される較正面の領域は車両の長手軸又は垂直軸に対して異なる所定の方法で傾斜されることと、距離画像センサと走査エリアに近い較正面上の領域との距離は距離画像センサによって決定されることと、求められる距離の差は、走査エリア又は距離画像センサの方向性を少なくとも部分的に再現する、特にはピッチ角であるパラメータの値の決定に使用されることが好適である。近接している較正面という言及は、特にはこれらが互いにかなり近づいて並行していて、距離画像センサから走査エリアへ向かうビーム方向における走査エリアの傾斜が決定され得ることを意味する点は理解されるであろう。差は、特には区別的なものとして使用されることが可能である。較正面は、これに関しては互いに物理的に分離又は接続される場合もあれば、任意選択的に一体形成される場合もある。この点で較正面の傾斜は同一でなく、好適には反対方向へ傾斜される。

方向性を完全に決定し得るためには、距離画像センサのビーム方向に対して横断方向へ互いから離隔されている少なくとも２つの較正面が方向性の決定に使用され、較正面には車両の長手軸又は垂直軸に対して所定の方法で個々に傾斜される領域が存在することが好適である。

この関連において、特に較正面間の接続線と距離画像センサとの角度は５゜乃至１７５゜の範囲であることが好適である。こうすれば、走査エリアの中心ビームをほぼ横断する方向での方向性の正確な決定が可能である。

距離画像センサ又は走査エリアの方向性を少なくとも部分的に記述するパラメータの値は、基本的には本発明方法により予め設定されることが可能であり、かつ他の値も本発明方法により決定されることが可能である。但し、方向性を記述するパラメータの値は、互いに依存して求められることが好適である。このようにして、単純な方法による方向性に関する完全な較正が可能である。

車両の長手軸と走査エリア内の基準方向又は距離画像センサの基準方向との、車両平面又は走査平面における少なくともほぼ車両の垂直軸又は走査エリアに対する法線を中心とする回転を伴う角度を決定し得るためには、少なくとも車両の基準方向に対するその形状及び位置合わせが予め決められる較正面は、走査エリアにおける基準方向又は距離画像センサの基準方向の少なくともほぼ車両の垂直軸を中心とする、又は走査エリアの法線を中心とする回転の決定に使用されることと、較正面上の少なくとも２つの領域の位置は距離画像センサによって決定されることと、回転の角度を再現する、特にはヨー角であるパラメータの値は決定される位置に依存して求められることが好適である。このように、角度又はパラメータの決定に際しては、角度測定値が使用されるだけでなく、距離の測定値も使用され、これにより精度が著しく向上される。較正面は、好適には車両がその上に位置する面に直交して位置合わせされる。

較正の精度を上げるためには、特に、２つの較正面は形状が予め決められかつ車両がその上に位置する面に平行な平面において互いに対して傾斜されているものが使用され、車両の基準方向に対する較正面のうちの少なくとも１つの位置合わせは予め設定されることと、個々の場合において較正面の各々の上の少なくとも２つの領域の位置は距離画像センサによって決定されることと、パラメータの値はこの位置に依存して決定されることが好適である。較正面の互いに対する傾斜は、較正面の全ての断面において同一である必要はない。この場合もまた、較正面は車両がその上に位置する面に直交して位置合わせされることが好適である。

上述の代替方法によれば、角度、即ちヨー角は、較正面の面に平行な方向が車両の長手軸のそれに比較されることにおいても決定されることが可能である。但し、２つの較正面はその形状及び互いに対する、かつ少なくとも部分的に車両に対するその位置が予め設定されるもの、及び車両がその上に位置する面方向の断面において互いに対して傾斜されるものが使用されることと、少なくとも２つの距離画像点は較正面の各々の上で距離画像センサによって検出されることと、較正面により設定される基準点の位置は、距離画像点の検出された位置と、較正面の形状と、較正面の互いに対する、及び車両に対する相対位置とを基礎として決定され、これは所定の所望される位置に関連して設定されることが好適である。このようにすれば、較正の精度はさらに向上されることが可能である。検出される位置は、例えば所望される位置との関連において、その効用が所望される位置を前提としている公式を使用することにより設定されることが可能である。

このためには、特に、輪郭線は較正面上で検出される距離画像点によって求められることと、基準点の位置はこの輪郭線から決定されることが好適である。このようにして、測定誤差は簡単に補償されることが可能である。

距離画像の簡単な評価を可能にするためには、較正面は平坦であることと、基準点は較正面により設定される平面の交線上に存在することが好適である。

較正のために、車両は、好適には基準点が少なくともほぼ車両の長手軸の延長上に存在するようにその長手軸に位置合わせされる。

可能な限り少数の較正面しか使用されないとすれば、これらは好適には、方向性及びヨー角の決定を同時に有効化するように設計され、配置される。

多くの場合、車両の前方及び／又は側方及び／又は後方領域をより良く監視することができるように、車両の距離画像センサ及びビデオカメラの双方を提供することが賢明である。ビデオカメラのデータを利用することができるためには、ビデオカメラの較正を提供することもまた必要である。従って、距離画像センサの検出レンジの少なくとも一部のビデオ画像を検出するためのビデオカメラは、少なくとも部分的に距離画像センサ及び／又は車両に対する位置合わせに関連して較正され、その場合、ビデオ・較正のための表面の位置は距離画像センサにより距離画像センサの較正を考慮して決定され、表面上の較正機能の位置はビデオカメラによりビデオ・較正に関して決定され、位置合わせを少なくとも部分的に再現するパラメータの値はビデオ画像内の較正機能の位置から、及びビデオ・較正のための表面の位置から求められることが好適である。このように、車両は較正に使用される面に対して正確に予め設定された位置に配置される必要はなく、かつこのように、車両は較正に使用される面に対して精密に予め設定された位置に配置される必要はない。反対にこれは距離画像センサによって決定され、較正後に高精度で行われることが可能であり、基本的には任意の所望される方法で行われることが可能である。ビデオ画像内に抽出されることが可能な予め設定された所望される機能は何れも、較正機能として使用されることが可能である。ビデオカメラの位置合わせを考慮すれば、距離センサの位置合わせに関して同じ一般論が当てはまる。特には、対応する角度を記述に使用することができる。

ビデオ画像における較正機能の位置と距離画像センサによって検出される位置との比較を有効化するためには、画像内の較正機能の位置は、三次元空間におけるビームをビデオカメラのセンサ面上へ好適にはカメラ・モデルによって画像化するための規則を使用して距離画像センサにより決定される較正機能の位置座標に依存して決定されることが好適である。このようにして、不完全にしか行われ得ない場合の多い、空間における較正機能の位置のビデオ画像からの決定は回避されることが可能である。ビデオカメラによる画像化を再現する画像化の規則は、例えばルックアップ・テーブルとして存在することが可能である。個々のビデオカメラに適する所望されるモデルは何れも、例えばホールカメラ・モデルであるカメラ・モデルとして使用されることが可能である。大きい画角のビデオカメラの場合には、他のモデルを使用可能である。全方向カメラ用のモデルは、例えばB. Micusik、T. Pajdla共著の刊行物「エピポーラ幾何からの全方向カメラモデルの推定」（コンピュータ・ビジョン及びパターン認識（CVPR）に関する会議、米国、マディソン、２００３年）及び「全方向カメラモデルとバケッティングを使用するRANSACによるエピポーラ幾何の推定」（画像解析に関するスカンジナビア会議（SCIA）、スウェーデン、ゲーテボルグ、２００３年）、に記述されている。

較正機能により表面位置の特に正確な決定を達成するために、ビデオ・較正のための面は、走査エリア内の基準方向又は距離画像センサの基準方向の少なくともほぼ車両の垂直軸を中心とする、又は走査エリアに対する法線を中心とする回転を決定するための較正面に対して既知の位置に配置されることと、特にこれは両者に関連づけられることが好適である。

特に単純な較正を達成するためには、較正機能は較正面のうちの１つの上に形成されることが好適である。

カメラ・モデルは、主として引き続き決定されなければならないパラメータを使用する。従って、第１の代替例によれば、ビデオカメラのカメラ・モデルの内部パラメータは位置合わせに関連するビデオカメラの較正に先行して決定されることが好適である。このためには基本的に、例えばビデオカメラに対して所定の位置にあるチェスボード・パターンを使用する既知方法を使用可能である。第２の代替例によれば、ビデオカメラのカメラ・モデルの内部パラメータは較正機能によって決定されることが好適である。このためには、複数の較正機能を使用する必要のある場合がある。

以下、図面を参照して本発明をより詳細に、例示的に説明する。

図１及び２において、面１２上に位置する車両１０は、車両１０の前側で車両１０の前方領域を監視するために車両１０に取り付けられる、本例ではレーザスキャナである距離画像センサ１４と、車両１０に取り付けられかつ単眼ビデオカメラ１８を有するビデオシステム１６とを搭載している。車両１０には、レーザスキャナ１４及びビデオシステム１６に関連づけられるデータ処理デバイス２０がさらに位置づけられる。第１の較正オブジェクト２２_ｌ及び２２_ｒ、及び第２の較正オブジェクト２４、２４'及び２４''も、車両１０の前及び側方の進行方向に位置づけられる。

レーザスキャナ１４は、図１に一部のみが示されている、１８０゜を幾分超える角度をカバーする検出レンジ２６を有する。図１において、検出レンジ２６は、説明を分かりやすくするために単に略示され、特に半径方向の表示が短縮されている。検出レンジは、図２に略示されているように、互いに、かつレーザスキャナ１４に対して予め設定された既知の位置を採用する４つのファン状の走査エリア２８、２８'、２８''及び２８'''を含む。対応するレーザスキャナは、例えば先に述べたドイツ国特許出願に開示されている。較正オブジェクト２２_ｌ及び２２_ｒと２４、２４'及び２４''は、検出レンジ２６内に位置づけられている。

レーザスキャナ１４は、その検出レンジ２６を基本的には既知方法により、一定の角速度で揺動されかつ検出レンジ２６の中心へと揺動される位置において車両がその上に位置する面１２に垂直である略矩形の細長い断面を有するパルス・レーザビーム３０を使用して走査する。検出は、レーザビーム３０の揺動動作に調和された方法で回転式に、中心角α_ｉの周りの一定の角度範囲において一定の時間間隔Δｔで時間τ_ｉにおいて行われ、レーザビーム３０が例えば較正オブジェクト２２_ｌ及び２２_ｒ及び２４、２４'及び２４''のうちの１つである物体の点３２から、又は領域から反射されるかどうかが決定される。これにより、指数ｉは１から検出レンジ２６内の角度範囲数まで増加する。これらの角度範囲のうち、図１は中心角α_ｉに対応する１つの角度範囲だけを示している。この関連において、この角度範囲は、より明確な表示を目的として誇張的に大きく示されている。この関連において、物体から投げ返される光は、その受信範囲が対応的に同時に揺動される対応的に位置合わせされた４つの検出器によって受信される。従って結果的に、４つの走査エリア２８、２８'、２８''及び２８'''において走査が行われる。レーザビーム３０に沿った断面と走査平面の断面とは既知の僅かな角度で互いに対して傾斜され、その大きさは揺動角度に依存しかつ既知である。従って検出レンジ２６は、図２から認識できるように、レーザビーム３０の広がりに関係なく二次元的な４つの走査エリア２８、２８'、２８''及び２８'''を含む。

オブジェクトポイントｉ（図１における例では、走査エリアｊにおけるオブジェクトポイント３２）の距離画像センサとの間隔ｄ_ｉｊは、レーザスキャナ１４によりレーザビーム・パルスの経過時間を参照して決定される。従ってレーザスキャナ１４は、走査エリアｊに加えて、角度α_ｉ及びこの角度で検出される距離ｄ_ｉｊをオブジェクトポイント３２に対応する距離画像点における座標として、即ち極座標におけるオブジェクトポイント３２の位置として検出する。従って、オブジェクトポイントは各距離画像点に関連づけられる。

走査中に検出される距離画像点の集合は、本出願の意味合いにおける距離画像を形成する。

レーザスキャナ１４は、走査の時間シーケンス及び対応する距離画像が発生するように、第１の検出レンジ２６を順次走査で個々に走査する。

ビデオシステム１６の単眼ビデオカメラ１８は、ＣＣＤエリアセンサ３４と画像形成システムとを有する、本例では車両１０のフロントガラスの裏側のバックミラー領域に取り付けられる従来型の白黒ビデオカメラである。これが有する画像形成システムは、図１及び２では単純なレンズ３６として略示されているが、実際にはレンズ系より成り、ビデオシステムのビデオ検出領域４０からの入射光の画像をＣＣＤエリアセンサ３４上へ形成する。ビデオカメラ１８の光軸３８は、レーザスキャナ１４の走査エリア２８、２８'、２８''及び２８'''に対して、図２には誇張して大きく示されているが僅かな角度で傾斜される。

ＣＣＤエリアセンサ３４は、行列状に配置される光検出素子を有する。光検出素子の信号は読み出され、もともと行列内の光検出素子の位置又は光検出素子の別の特性を含み、かつ各場合毎に対応する光検出素子から受信される光の強度に対応する強度値を含むビデオ画像点を有するビデオ画像が形成される。この実施形態では、ビデオ画像は距離画像がレーザスキャナ１４によって検出される速度と同じ速度で検出される。

例えば較正オブジェクト２４であるオブジェクトから到来する光は、画像形成システム３６を介してＣＣＤエリアセンサ３４上へ画像化される。これは、図１及び２において、例えば較正オブジェクト２４であるオブジェクトの輪郭として短い破線で略示されている。

ビデオカメラ１８のカメラモデルにより、行列形式に配置された光検出素子により形成されかつオブジェクトポイントが画像化されるＣＣＤエリアセンサ３４の位置は、ＣＣＤエリアセンサ３４と画像形成システム３６との距離、画像形成システム３６の位置及び画像形成特性（例えば焦点幅）、及び較正オブジェクト上のオブジェクトポイント（例えばオブジェクトポイント３２）の位置から計算可能である。

監視領域４２は、図１において点線で略示され、各々レーザスキャナ１４の検出レンジ２６とビデオシステム１６の検出領域４０との共通部分によって与えられる。

データ処理デバイス２０は、レーザスキャナ１４及びビデオシステム１６の画像を処理するために供給され、この目的に沿ってレーザスキャナ１４及びビデオシステム１６へ接続される。データ処理デバイス２０は、とりわけ、検出される距離画像及びビデオ画像を評価するようにプログラムされるデジタル信号プロセッサと、デジタル信号プロセッサに接続されるメモリ・デバイスとを有する。別の実施形態では、データ処理デバイスは、データ処理デバイスに格納されるコンピュータ・プログラムを検出される画像を評価するように設計する従来のプロセッサも有することが可能である。

第１の較正オブジェクト２２_ｌ及び２２_ｒと第２の較正オブジェクト２４、２４'及び２４''は基準線４４に対して鏡面対称式に配置され、較正オブジェクト２４の中央の１つが基準線４４上に配置されている。車両１０は、その長手軸４５を基準線４４に平行に、かつ特には基準線４４より上にして配置される。

図１及び３に示すように、同じように設計されている較正オブジェクト２２_ｌ及び２２_ｒは、レーザスキャナ１４及び基準線４４に対して本例では基準線４４の左右４５゜の角度で配置され、面１２に対して本例では約３０゜及び−３０゜の所定の角度で傾斜された類似する大きさの３つの平らな第１の較正面４６、４６'及び４６''を含む。この関連において、第１の較正面４６及び４６'は互いに対して平行に配置され、第１の較正面４６''は車両の面１２の法線又は垂直軸に対して第１の較正面４６及び４６'と同じ角度を異なる符号で張られており、よって側面図では切り妻屋根又は二等辺三角形に似た形状がもたらされる（図９参照）。三角形の高さＨ、及び面１２おける第１の較正面４６、４６'及び４６''の第１の較正面の傾斜方向の間隔Ｂは既知である。第１の較正面４６、４６'及び４６''は、レーザスキャナ１４による検出に際して順次距離画像点が較正オブジェクト上に、即ち第１の較正面４６、４６'及び４６''のうちの１つの前でも後でもなくその上に、間隙なしに存在するように互いに隣接して配置される。

同様に同じ設計である第２の較正オブジェクト２４、２４'及び２４''は各々、面１２に対して直交する、よって車両の垂直軸４８に平行であって端５２で互いに交差する、互いに傾斜されている２つの第２の平坦な較正面５０及び５０'を含む（図１及び３参照）。

本例ではチェスボート状のパターンである既知の較正機能を有する第３の平坦な較正面５４は、較正オブジェクト２４、２４'及び２４''上で第２の較正面５０及び５０'と対称に、どの場合も面１２に直交する端５２上に配置される。チェスボード状のパターンの中心点は、面１２に直交する端５２の延長線上の既知の高さにある。

以下で説明する本発明の好適な実施形態による較正方法においては、複数の座標系を使用する（図５Ａ、５Ｂ及び６参照）。

レーザスキャナ１４には軸ｘ_ＬＳ、ｙ_ＬＳ、ｚ_ＬＳを有するレーザスキャナのデカルト座標系が関連づけられ、距離画像点の座標はレーザスキャナ座標系において与えられる。オブジェクトの座標は、さらに、ビデオカメラ１８に固定的に関連づけられる軸ｘ_Ｖ、ｙ_Ｖ、ｚ_Ｖを有するカメラのデカルト座標系において特定することが可能である。最後に、ｘ軸が車両の長手軸４５と同軸を成しかつｙ軸及びｚ軸が各々車両の横軸５５及び車両の垂直軸４８に平行して延びる、車両のデカルト座標系が供給される（図３Ａ及び３Ｂ）。レーザの座標系における座標は指数ＬＳで指示され、カメラの座標系における座標は指数Ｖで指示されているが、車両の座標系における座標は指数を持たない。

レーザスキャナ座標系の原点は、車両座標系の原点に対して、レーザスキャナ１４の車両１０上への据付け位置によって決定されかつ既知であるベクトルｓ_ＬＳだけシフトされている。

カメラ座標系の原点は、車両座標系の原点に対して、ビデオカメラ１８の車両１０上への据付け位置によって決定されかつ既知であるベクトルｓ_Ｖだけ相応にシフトされている。

レーザスキャナ座標系及びカメラ座標系の座標軸は、車両座標系の対応する軸に対して回転されるのが一般的である。レーザスキャナ座標系の場合、走査エリアもまた車両の長手軸及び横軸に対して同じように傾斜される。方向性は、ピッチ角θ_ＬＳ及びθ_Ｖとロール角φ_ＬＳ及びφ_Ｖにより記述される。さらに、両座標系は各々ヨー角ψ_ＬＳ及びψ_Ｖだけ回転される。

より正確に言えば、レーザスキャナ座標系は車両座標系から進み、まずベクトルｓ_ＬＳによる平行移動が実行され、次にシフトされたｚ軸を中心とするヨー角ψ_ＬＳによる回転、シフトされかつ回転されたｘ軸を中心とするロール角しφ_ＬＳによる回転及び最後にシフトされかつ回転されたｙ軸を中心とするピッチ角θ_ＬＳによる回転が相次いで実行される（図６参照）。

車両座標系に座標Ｘ、Ｙ、Ｚを有する点の座標Ｘ_ＬＳ、Ｙ_ＬＳ、Ｚ_ＬＳへの変換は、エントリｒ_ｍｎを有する回転行列Ｒと成分ｓ_ＬＳｘ、ｓ_ＬＳｙ及びｓ_ＬＳｚを有する平行移動ベクトルｓ_ＬＳを用いた同次変換により次のように記述されることが可能である。

平行移動ベクトルｓ_ＬＳの成分は、車両座標系におけるレーザ座標系の原点の座標に対応する。

回転行列Ｒは、ｘ軸を中心とする回転に関する基本回転行列、

ｙ軸を中心とする回転に関する基本回転行列、及び

ｚ軸を中心とする回転に関する基本回転行列、

から、回転順序による乗算で形成される。角度は、何れの場合も数学的な正の意味で計数される。

回転の順序は所望される通りに選択可能であるが、較正に関しては選択されたとおりに維持されなければならない。この点で、順序は正確にピッチ角、ロール角及びヨー角を規定する。本例では、回転はまずｚ軸を中心に行われ、次いでｘ軸を中心に、最後にｙ軸を中心にして行われる（図６参照）。よって、結果は下記のようになる。

従って、レーザスキャナ１４及び走査エリア２８、２８'、２８''及び２８'''の位置合わせはピッチ角、ロール角及びヨー角の列挙によって記述可能であり、ピッチ角及びロール角は車両座標系に対する、又は長手軸４５及び横軸５５の各々を含む平面に対する方向性を再現する。

較正の間、座標及びデータはレーザスキャナ座標系に存在することから、この座標系は始点として作用する。この座標は、段階的に車両座標系へと変換される。

この点に関しては、車両座標系からベクトルＳ_ＬＳだけ平行移動しかつ平行移動されたｚ軸を中心としてヨー角ψ_ＬＳだけ回転して得られる中間座標系が使用される。この座標系における座標は、指数ｚｓによって示される。ピッチ角及びロール角は、走査エリア、即ちレーザ座標系のｘ_ＬＳ−ｙ_ＬＳ平面の車両及び／又は中間座標系に対する方向性の決定からもたらされる。

ヨー角は、レーザスキャナ１４の基準方向、例えばｘ−ｙ又はｘ_ＺＳ−ｙ_ＺＳ平面におけるｘ_ＬＳ軸の回転をもたらし、引き続き必要な回転として最後に決定される。

カメラ座標系における座標の車両座標系における座標への変換は、対応するピッチ角、ロール角及びヨー角を使用して同様に行われる。

本発明方法においては、ビデオ画像の像点は、レーザスキャナ１４によって検出されるオブジェクトポイント及び／又は対応する距離画像点に関連づけられる。このために要求されるカメラの画像形成特性を記述するためには、マットディスク・モデルが使用される（図７参照）。本例ではビデオ画像が処理に先立って歪を除去すべく相応に処理されるため、これで十分である。

画像形成システム３６の焦点に原点が存在するカメラ座標系におけるオブジェクト（ｘ_Ｖ，ｙ_Ｖ，ｚ_Ｖ）は、焦点から距離ｆを隔てて存在する、軸ｕ及びｖを有するデカルト座標系を画定している画像形成平面上へ投射される。

カメラ座標系において座標Ｘ_Ｖ、Ｙ_Ｖ、Ｚ_Ｖを有するオブジェクトポイントのピクセル単位の像点座標（ｕ，ｖ）は、ビームの法則を使用して像点で引用される焦点幅ｆ_ｕ及びｆ_ｖ及びマットディスクを伴うｚ_Ｖ軸の交点（ｕ_０，ｖ_０）により下記のように列挙されることが可能である。

較正は、本発明の好適な実施形態の方法により、下記のように実行される。

第１のステップにおいて、車両及び較正面、即ち較正本体２２_ｌ及び２２_ｒ及び同じく２４、２４'及び２４''は、中央の第２の較正本体２４'の端５２が車両の長手軸４５上、従って車両座標系のｘ軸上に存在するように互いに対して配置される。さらに、２つの第１の較正本体２２_ｌ及び２２_ｒは、車両の長手軸４５の両側で向かい合うように同軸に対して約４５゜の角度で配置される。

次のステップでは、情景の距離画像及びビデオ画像が検出され、事前処理される。事前処理の間、好適には例えば歪を除去するためにビデオ画像データの調整を実行することができる。次に、実際の距離画像及び実際のビデオ画像が後の利用のために格納される。

次の諸ステップでは、まず検出された距離画像を基礎とするレーザスキャナ１４の方向性の決定が行われ、ピッチ角及びロール角が決定される。

あるステップでは、レーザスキャナ１４から走査エリア内へ放射状に進む走査ビーム又は仮想ビーム５６の傾斜が、少なくとも２つの較正オブジェクト２２_ｌ及び２２_ｒに関して決定される（図８及び９参照）。これについては、走査エリア２８に関連して説明する。

このために、まず、レーザスキャナ１４の方へ傾斜された各々２つの第１の較正面４６、４６'上の領域に対応する距離画像点から、各々較正オブジェクト２２_ｌ及び２２_ｒの双方について後部基準点Ｐ_ｈの位置が求められる。較正面の端上の距離画像点は、この目的のためには考慮されない。これに対応して、前部基準点Ｐ_ｖの位置が、レーザスキャナ１４から遠方向に傾斜された個々の較正面４６''の領域に対応する距離画像点から決定される。各々の場合の基準点Ｐ_ｈ及びＰ_ｖは、走査エリア２８が対応する較正面４６、４６'及び４６''と交わる高さを表す。さらにこれらは、距離画像点の後部基準点Ｐ_ｈに関して決定される回帰直線に対しかつ距離画像点の前部基準点Ｐ_ｖに関して求められる回帰直線に対して直交しかつレーザスキャナ１４又はレーザスキャナ座標系の原点を通って延びる仮想走査ビーム５６上に存在する（図８参照）。

何れの場合も、回帰直線（図８参照）は後部基準点Ｐ_ｈに関する距離画像点５７から、及び前部基準点Ｐ_ｖに関するそれらから例えば直線回帰によって決定される。次に、回帰直線とこれらに直交しかつレーザスキャナ座標系の原点を通って延びる仮想ビーム５６との交点が、各々後部及び前部基準点Ｐ_ｈ及びＰ_ｖとして決定される（図８参照）。基準点Ｐ_ｈ及びＰ_ｖの位置のこの種の決定を介して、距離画像の検出中の角度決定における不正確さの影響は格段に低く維持され、又は除去される。

こうして、これらの基準点Ｐ_ｈ及びＰ_ｖに関して、レーザスキャナ座標系の原点からの距離ｄ_ｈ及びｄ_ｖ、及びレーザ座標系における座標から計算されるべき対応する旋回角度αが既知となる、即ち距離画像点から容易に求められる。

前部及び後部基準点はさらに、面１２から上、即ち車両座標系から上に、レーザスキャナ１４即ち走査エリアが車両座標系のｘ−ｙ平面に対して正確に平行に延びない場合に各々較正面４６、４６'及び４６''の異なる傾斜を原因として生じる個々の高さを有する。ｈ_０が、車両内のレーザスキャナ１４の据付け位置から既知である、レーザスキャナ座標系即ち走査エリアの原点の車両座標系からのｚ方向における間隔を表していれば、走査エリア２８における仮想ビーム５６の傾斜βに関して、図９から次のような式を導出することができる。

但し、

及び

である。

この式は、較正面４６、４６'及び４６''及び車両１０がこの関係式において予め正確に設定された相対位置を一切守る必要がないように、較正面４６、４６'及び４６''のレーザスキャナ１４からの所定の距離を含んでいない。

従って、本方法においては、この式は角βについて、数値的に発生し得るｄ_ｈ、ｄ_ｖ、Ｈ、Ｂ及びｈ_０の既知の又は決定される値を使用して解かれる。但し代替として、これらの値は解析的に得られる上記式の解において使用されることも可能である。

後続ステップでは、走査エリア２８がレーザスキャナ座標系のｘ_ＬＳ−ｙ_ＬＳ平面において伸長しない場合、仮想ビームの旋回角度αにより設定される方向へのレーザスキャナ座標系の対応する傾斜は、決定された角βを値β'＝β−ε（α）に置換することにより、小さいロール角について近似的に決定可能である。但しε（α）は、レーザスキャナ１４及び走査エリア２８について既知である、走査エリア２８に沿ったビームとレーザスキャナ座標系の旋回角度αにおけるｘ_ＬＳ−ｙ_ＬＳ平面との間で使用される傾斜角を示す。

従ってこの後、β'は、レーザスキャナ座標系における方向αに沿った対応する較正オブジェクトに関するレーザスキャナ座標系の傾斜を示す。

従って、走査エリア２８の方向α_ｌ及びα_ｒにおける傾斜β_ｌ及びβ_ｒの個々の角度は、基準線４４の左右の２つの較正面２２_ｌ及び２２_ｒに関するレーザスキャナ座標系において求められ、これはさらなるステップにおいて使用可能である。

後続ステップでは、中間座標系及び／又は車両座標系に対する角度θ_ＬＳ及びφ_ＬＳが、レーザスキャナ座標系における方向α_ｌ及びα_ｒの２つの傾斜角β_ｌ'及びβ_ｒ'から計算される。先に既に述べたように、レーザ座標系は中間座標系から進み、中間座標系はまずｘ_ＺＳ軸を中心に角度φ_ＬＳだけ回転され、次に回転されたｙ_ＺＳ軸を中心に角度θ_ＬＳだけ回転される。

このために使用される公式は、例えば次のようにして求めることができる。各々方向α_ｌ及びα_ｒへ中間座標系のｘ_ＺＳ−ｙ_ＺＳ平面に平行に傾斜されて延びる、即ち各々レーザスキャナ座標系のｘ_ＺＳ−ｙ_ＺＳ平面に対して傾斜角β_ｌ'及びβ_ｒ'で延びるレーザスキャナ座標系における２つの単位ベクトルを決定する。これらの単位ベクトルのベクトル積は、長さが正確に２つの単位ベクトル間の角度の正弦である中間座標系のｚ_ＬＳ方向のベクトルに相当する。レーザスキャナ座標系の座標において計算されるベクトル積を、結果が既知である中間座標系に変換する。変換方程式から次のように、ロール角φ_ＬＳについて、式、

を、及びピッチ角θ_ＬＳについて、式、

を求める。

ピッチ角及びロール角の値は各々計算された旋回角度α_ｌ及びα_ｒに依存するが、基準点は本質的に距離情報を基礎として求められることから、導出に使用されるのは本質的に距離情報である。

本方法に必要な作業は、これらの公式に対応する値を代入することだけである。

次の諸ステップでは、残りのヨー角ψ_ＬＳが車両の長手軸４５上に配置される第２の較正オブジェクト２４を使用して求められる（図１１及び１２参照）。

このために、まず、第２の較正面５０及び５０'上の２つの輪郭線の交点によって与えられる第２の較正オブジェクト２４の基準点５８が求められる。輪郭線は、第２の較正面上で検出される距離画像点により、較正面の既知の形状、即ち走査エリアと第２の較正面５０及び５０'との共通部分を考慮して決定される。

基準点５８は、走査エリア２８と平らな第２の較正面５０、５０'の真っ直ぐな交線との共通部分を介して、かつ第２の較正面５０、５０'上に広がる領域の距離画像点６０を介する輪郭線に対応する回帰直線６２の交点によってもたらされる。この目的に沿って、回帰直線は、レーザ座標系において対応する距離画像点６２を介して直線回帰により配置される。次には、直線回帰の交点が求められる。これを行なう際に、端上の距離画像点はやはり使用されない（図１２参照）。

こうして求められた基準点５８の座標は、次に中間座標系における座標において決定されるロール角の値及びピッチ角の値を使用して変換される。ヨー角を決定するためには、車両座標系のｙ方向における基準点５８の位置は既知であるという事実、即ち端は真っ直ぐな基準線４４の上に、よって車両の長手軸即ちｘ軸上に直接存在し、故にｙ座標０を有するという事実が利用される。ｘ座標はＸで示されるが、次のステップでは何の役目も果たさない。次には、中間座標系における基準点の座標（Ｘ_ＺＳ，Ｙ_ＺＳ）と車両座標系における座標（Ｘ，０）との間の関係式、

を使用して、ヨー角ψ_ＬＳに関する次式、

を求めることができる。但し、シフト・ベクトルｓ_ＬＳ＝（ｓ_ＬＳｘ，ｓ_ＬＳｙ）は、車両座標系及び中間座標系の原点間のレーザスキャナ１４の据付け位置を介して既知である。

本方法においてこの方程式は、値ψ_ＬＳについて、傾斜の決定と同様にして数値的又は解析的に解かれる。

従って、レーザスキャナ１４の車両座標系に対する方向性は、完全に認識される。

別の実施形態では、角εが存在するレーザスキャナ座標系のｘ_ＬＳ−ｙ_ＬＳ平面に垂直な平面と、角βが決定される車両座標系のｘ−ｙ平面に垂直な平面との間の実際の角度がより正確に考慮される。この目的に沿って、ピッチ角及びロール角の出発値が第１の実施形態によって導出される値を手始めに計算される。次には、これらの値を使用して、角εが存在する平面及び角βが決定される車両座標系のｘ−ｙ平面に垂直な平面の位置合わせが既知の三角法の関係式によって決定される。これで、既知の位置合わせにより、角ε又はβ'は第１の近似値まで決定されることが可能である。これを基礎として、ピッチ角及びロール角の新たな値が求められる。位置合わせは反復により極めて正確に決定されることが可能であり、反復においてピッチ角及びロール角の値は各々最終の値へと変わる。

次には、レーザスキャナ１４の既知となった方向性を基礎として、ビデオカメラ１８のレーザスキャナ１４に対する方向性、延ては車両座標系に対する方向性が発生し得る。

この目的に沿って、車両座標系における少なくとも２つの較正機能の位置がレーザスキャナ１４により検出された距離画像を基礎として求められ、車両座標系に変換される。これらの較正機能は、車両座標系におけるビデオカメラ１８の既知の位置及び車両座標系からカメラ座標系への変換のための仮想回転角を使用して変換される。次には、カメラ・モデルにより、距離画像を基礎として決定される対応する較正機能の位置がビデオ画像において求められる。

距離画像により求められたビデオ画像におけるこれらの位置は、ビデオ画像において実際に決定された位置とｕ−ｖ平面において比較される。

例えば共役勾配を使用するプロセスである数値的な最適化プロセスを使用して、車両座標系とカメラ座標系との間の座標変換のための回転角は、ビデオ画像における較正機能の実際の位置と距離画像を基礎として予測された位置との間の平均二乗間隔が最小化されるように、又は回転角の絶対又は相対変化の大きさが所定のしきい値より下に下がるように最適化される。

本例では、第３の較正面５４又は較正・パネル上のパターンの通過点が、次に較正機能として使用される。位置は、この関連において距離画像から決定され、車両座標系のｘ−ｙ平面上の基準点の位置が車両座標系において求められ、通過点の面１２からの、又は車両座標系のｘ−ｙ平面からの既知の間隔のｚ座標として使用される。

通過点は、単にビデオ画像において、予め設定されたテンプレートに関連して求められることが可能である。

レーザスキャナ及びビデオカメラの較正もまた、互いに独立して実行されることが可能である。

別の実施形態では、仮想ビームの決定された傾斜を基礎とするピッチ角及びロール角の導出において、レーザスキャナ座標系上の前部又は後部基準点の座標及び同じく車両座標系における位置のｚ成分が求められる。次には、座標変換を基礎として、ピッチ角及びロール角を求めることができる。

さらなる実施形態では、車両１０の生産ライン内で平行に延びる壁が、その上で平行に延びるネットライン６６がビデオカメラ１６の位置合わせの較正のための較正機能として適用される第２の較正面６４として使用される（図１２及び１３参照）。

ヨー角を決定するために、第２の較正面６４上を延びる回帰直線及びヨー角に対応する車両の長手軸４５に対するそれらの角度が再度、第２の較正面６４上の距離画像点を使用して決定される。この場合も使用されるのは本質的に距離データであり、よって角度決定における誤差は重大ではない。

第３の実施形態では、各々第１の較正面４６''と同様に傾斜されている、車両の長手軸を横断してもう一方から離隔された２つの第１の較正面のみが使用される。

第１の較正面４６''の各々について、第１の実施形態に従って決定された車両座標系のそのｚ方向における基準点Ｐ_ｖの位置は、個々の較正面４６''のレーザスキャナ１４からの所定の既知の距離Ｄを使用して求めることができる（図１４参照）。レーザスキャナ座標系では、この点はｚ_ＬＳ座標０を有する。次式、

は、第１の実施形態において、

によりβが決定された後に適用される。

従って、ｘ_ＬＳ−ｙ_ＬＳ平面の３つの点、較正面の２つの基準点及びレーザスキャナ座標系の原点が既知となり、これらからピッチ角及びロール角を決定することができる。

第４の実施形態では、２つの走査エリアにおける距離画像点が先程説明した較正面と共に使用され、これにより、対応する仮想ビームの面１２に対する傾斜が既知となり、これからピッチ角及びロール角を求めることができる。

距離画像センサ及びビデオカメラを有する車両と車両の前方及び／又は側方に位置づけられた較正オブジェクトとを示す略平面図である。 車両と図１における較正オブジェクトのうちの１つとを示す略部分側面図である。 第１の較正面を有する第１の較正オブジェクトを示す略斜視図である。 第２の較正面及び第３の較正面を有する第２の較正オブジェクトを示す略斜視図である。 各々本発明の好適な実施形態による方法において使用される座標系を有する図１の車両の略側面図と平面図である。 各々本発明の好適な実施形態による方法において使用される座標系を有する図１の車両の略側面図と平面図である。 車両を記述する角度に対するレーザスキャナの位置合わせを示す、車両座標系及びレーザスキャナ座標系の略表示である。 図１におけるビデオカメラのカメラ・モデルを説明する略斜視図である。 本方法において使用される第１の較正面に対応する像点及び輪郭線又は補助直線を有する距離画像からの断面図である。 走査エリアの所定の方向に沿った図１における距離画像センサの走査エリアの傾斜の決定を説明する、第１の較正オブジェクトの略側面図である。 本発明の好適な実施形態による方法においてヨー角及び車両座標系の決定に使用される中間座標系の略示である。 本方法において使用される第２の較正面に対応する像点及び輪郭線又は補助直線を有する距離画像からの断面図である。 本発明の方法のさらなる実施形態による方法において使用するための較正機能を有する第２の較正面の斜視図である。 車両を伴う、図１２における第２の較正面の平面図である。 図９の本発明の第３の好適な実施形態による方法のための第１の較正面を示す側面図である。

符号の説明

１０…車両
１２…面
１４…レーザスキャナ
１６…ビデオシステム
１８…ビデオカメラ
２０…データ処理デバイス
２２_ｌ，２２_ｒ…第１の較正オブジェクト
２４，２４'，２４''…第２の較正オブジェクト
２６…検出レンジ
２８，２８'，２８''，２８'''…走査エリア
３０…レーザビーム
３２…オブジェクトポイント
３４…ＣＣＤエリアセンサ
３６…画像形成システム
３８…光軸
４０…ビデオ検出レンジ
４２…監視レンジ
４４…基準線
４５…車両の長手軸
４６，４６'，４６''…第１の較正面
４８…車両の垂直軸
５０，５０'…第２の較正面
５２…端
５４…第３の較正面
５５…車両の横軸
５６…仮想走査ビーム
５７…距離画像点
５８…基準点
６０…距離画像点
６２…回帰直線
６４…第２の較正面
６６…ネットライン

Claims (23)

1. 少なくとも１つの走査エリア（２８，２８'，２８''，２８'''）に沿って検出レンジ（２６）を走査することが可能であり、かつ、
   前記走査エリア（２８，２８'，２８''，２８'''）又は距離画像センサ（１４）の車両（１０）に対する位置合わせに関して対応する距離画像を検出することが可能であるような、
   車両（１０）に取り付けられる電磁放射線のための該距離画像センサ（１４）を少なくとも部分的に較正する方法であって、
   前記距離画像センサ（１４）と少なくとも１つの較正面（４６，４６'，４６''，５０，５０'）上の領域との距離が本距離画像センサ（１４）によって求められ、かつ、
   求められた前記距離を使用して、前記位置合わせを少なくとも部分的に記述するパラメータの値が決定される方法。
2. 既知の形状を有する較正面（４６，４６'，４６''，５０，５０'）であって、自らの上で上記走査エリア（２８，２８'，２８''，２８'''）に沿った少なくとも２つの隣接する領域が上記距離画像センサ（１４）による較正のために空間分解式に検出可能であるものが使用されることを特徴とする請求項１に記載の方法。
3. 少なくとも２つの異なる走査エリア（２８，２８'，２８''，２８'''）に沿って検出領域（２６）を走査することが可能な距離画像センサ（１４）が較正されることを特徴とする請求項１又は請求項２に記載の方法。
4. 上記走査エリア（２８，２８'，２８''，２８'''）の上記距離画像センサ（１４）の座標系に対する位置及び／又は位置合わせが既知である該距離画像センサ（１４）が較正されること、
   上記距離画像センサ（１４）の座標系における座標が、上記走査エリア（２８，２８'，２８''，２８'''）に関連づけられる検出された距離画像の距離画像点に関して決定されること、
   前記座標が上記位置合わせの少なくとも部分的な決定に使用されること、
   を特徴とする先行する任意の請求項に記載の方法。
5. ２つの上記走査エリア（２８，２８'，２８''，２８'''）において個々に検出される領域が、上記位置合わせの少なくとも部分的な決定に共に使用されることを特徴とする請求項３又は請求項３及び４に記載の方法。
6. 上記走査エリア（２８，２８'，２８''，２８'''）の各々について、上記位置合わせを少なくとも部分的に再現するパラメータの個々の走査エリア（２８，２８'，２８''，２８'''）に関連づけられる値が、上記較正面（４６，４６'，４６''，５０，５０'）上の検出領域の上記距離画像センサ（１４）までの距離から決定されること、
   上記距離画像センサ（１４）の位置合わせを少なくとも部分的に再現するパラメータの値が、上記走査エリア（２８，２８'，２８''，２８'''）に関連づけられる値から決定されること、
   を特徴とする請求項３又は請求項３及び４に記載の方法。
7. 上記較正面（４６，４６'，４６''，５０，５０'）が平坦であることを特徴とする先行する任意の請求項に記載の方法。
8. 上記較正面（４６，４６'，４６''）の領域が各々、上記走査エリア（２８，２８'，２８''，２８'''）又は上記距離画像センサ（１４）の上記車両（１０）に対する特にはピッチ角である方向性の少なくとも部分的な決定のために、前記車両の長手軸又は垂直軸に対して所定の方法で傾斜されること、
   特にはピッチ角である上記方向性を少なくとも部分的に再現するパラメータの値が、上記距離画像センサ（１４）によって検出される領域の検出距離から該領域の傾斜に従い決定されること、
   を特徴とする先行する任意の請求項に記載の方法。
9. 上記走査エリア（２８，２８'，２８''，２８'''）の範囲における上記較正面（４６，４６'，４６''）の上記距離画像センサ（１４）からの距離が、該較正面（４６，４６'，４６''）の領域の少なくとも２つの検出距離から決定されること、
   上記走査エリア（２８，２８'，２８''，２８'''）又は上記距離画像センサ（１４）の特にはピッチ角である方向性を少なくとも部分的に再現するパラメータの値が、上記較正面（４６，４６'，４６''）の決定された距離を使用して決定されること、
   を特徴とする先行する任意の請求項に記載の方法。
10. 特にはピッチ角である方向性の少なくとも部分的な決定のために、所定の位置に互いに隣接して配置される２つの較正面（４６，４６'，４６''）であって、較正に使用される該較正面の領域が異なる所定の方法で上記車両の長手軸又は垂直軸に対して傾斜されているものが使用されること、
    上記距離画像センサ（１４）と上記走査エリア（２８，２８'，２８''，２８'''）に近接する上記較正面（４６，４６'，４６''）上の領域との距離が、該距離画像センサ（１４）によって決定されること、
    決定される前記距離の差が、上記走査エリア（２８，２８'，２８''，２８'''）又は上記距離画像センサ（１４）の特にはピッチ角である方向性を少なくとも部分的に再現するパラメータの値の決定に使用されること、
    を特徴とする先行する任意の請求項に記載の方法。
11. 方向性の決定のために、上記距離画像センサ（１４）のビーム方向に対して直交する方向へ互いから離隔される少なくとも２つの上記較正面（４６，４６'，４６''）であって、該較正面上の領域が各々上記車両の長手軸又は垂直軸に対して所定の方法で傾斜されているものが使用されることを特徴とする先行する任意の請求項に記載の方法。
12. 上記較正面（４６，４６'，４６''）間の接続線と上記距離画像センサ（１４）との間の角度が５゜〜１８０゜の範囲にあることを特徴とする請求項１１に記載の方法。
13. 方向性を記述するパラメータの値が互いに依存して決定されることを特徴とする先行する任意の請求項に記載の方法。
14. 上記走査エリア（２８，２８'，２８''，２８'''）における基準方向又は上記距離画像センサ（１４）の基準方向の、少なくとも概ね上記車両の垂直軸を中心とする又は上記走査エリア（２８，２８'，２８''，２８'''）に対する法線を中心とする回転を決定するために、少なくとも１つの較正面（５０，５０'）であって、上記車両（１０）の基準方向に対する形状及び位置合わせが予め決められているものが使用されること、
    上記較正面（５０，５０'）上の少なくとも２つの領域の位置が上記距離画像センサ（１４）によって決定されること、
    前記回転の角度を再現する特にはヨー角であるパラメータの値が、求められる前記位置に従い決定されることを特徴とする先行する任意の請求項に記載の方法。
15. ２つの較正面（５０，５０'）であって、形状が予め決められかつ上記車両（１０）が位置する面（１２）に平行な平面において互いに対し傾斜されるものが使用されると共に、前記較正面（５０，５０'）の少なくとも一方の、上記車両（１０）の基準方向に対する位置合わせが予め決められること、
    上記較正面（５０，５０'）の各々の上の少なくとも２つの領域の位置が、いずれの場合も上記距離画像センサ（１４）によって決定されること、
    上記パラメータの値が上記位置に従い決定されること、
    を特徴とする請求項１４に記載の方法。
16. ２つの較正面（５０，５０'）であって、形状、及び互いに対するかつ少なくとも部分的に上記車両（１０）に対する位置が予め決められており、かつ上記車両（１０）が位置する面（１２）に向かう方向の断面において互いに対して傾斜されるものが使用されること、
    少なくとも２つの像点が上記距離画像センサ（１４）によって上記較正面（５０，５０'）の各々の上において決定されること、
    上記較正面（５０，５０'）によって設定される基準点の位置が、検出された前記距離画像点の位置と、上記較正面（５０，５０'）の形状と、上記較正面（５０，５０'）の互いに対するかつ上記車両（１０）に対する相対位置とを基礎として決定され、かつ所定の所望される位置を有する関係式へと設定されること、
    を特徴とする請求項１４に記載の方法。
17. 上記較正面（５０，５０'）上の輪郭線が検出される上記距離画像点によって決定され、かつ、上記基準点の位置が前記輪郭線から決定されることを特徴とする請求項１６に記載の方法。
18. 上記較正面が平坦であること、
    上記基準点が上記較正面（５０，５０'）によって設定される平面の交線上に存在すること、
    を特徴とする請求項１６又は１７に記載の方法。
19. ビデオカメラ（１８）が、上記距離画像センサ（１４）の検出レンジ（２６）の少なくとも一部のビデオ画像を検出するために、少なくとも部分的に距離画像センサ（１４）及び／又は車両（１０）に対する位置合わせに関して較正されること、
    前記ビデオ較正のための面（５４）の位置が、上記距離画像センサ（１４）により該距離画像センサ（１４）の較正を考慮して決定されること、
    前記面（５４）上の較正機能部の位置が、前記ビデオ較正のためのビデオカメラによって検出されること、
    上記位置合わせを少なくとも部分的に再現するパラメータの値が、前記ビデオ画像における前記較正機能部の位置及び前記ビデオ較正のための前記面（５４）の位置から決定されること、
    を特徴とする先行する任意の請求項に記載の方法。
20. 画像内の上記較正機能部の位置が、上記距離画像センサ（１４）と、三次元空間におけるビームをビデオカメラ（１８）のセンサ面上へ画像化するための規則と、好適にはカメラモデルとによって決定される上記較正機能部の位置座標に従い決定されることを特徴とする請求項１９に記載の方法。
21. 上記ビデオ較正のための面（５４）が、上記走査エリア（２８，２８'，２８''，２８'''）における基準方向の又は上記距離画像センサ（１４）の基準方向の、少なくとも概ね上記車両の垂直軸を中心とする又は上記走査エリア（２８，２８'，２８''，２８'''）に対する法線を中心とする回転を決定するための上記較正面（５０，５０'）に対する既知の位置に配され、かつ特には前記較正面に関連づけられることを特徴とする請求項１９又は２０に記載の方法。
22. 上記較正機能部が上記較正面（５０，５０'）の一方の上に形成されることを特徴とする請求項１９又は２０に記載の方法。
23. 上記ビデオカメラ（１８）のカメラモデルの内部パラメータが、上記較正機能部によって決定されることを特徴とする請求項１９〜２２における任意の請求項に記載の方法。
    

Images