JP5278728B2 - 距離画像センサの校正装置及び校正方法 - Google Patents

距離画像センサの校正装置及び校正方法 Download PDF

Info

Publication number
JP5278728B2
JP5278728B2 JP2008048548A JP2008048548A JP5278728B2 JP 5278728 B2 JP5278728 B2 JP 5278728B2 JP 2008048548 A JP2008048548 A JP 2008048548A JP 2008048548 A JP2008048548 A JP 2008048548A JP 5278728 B2 JP5278728 B2 JP 5278728B2
Authority
JP
Japan
Prior art keywords
plane
calibration
image sensor
distance image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008048548A
Other languages
English (en)
Other versions
JP2009204532A (ja
Inventor
俊明 柿並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2008048548A priority Critical patent/JP5278728B2/ja
Priority to EP09002217.9A priority patent/EP2096460B1/en
Priority to US12/389,025 priority patent/US7822571B2/en
Publication of JP2009204532A publication Critical patent/JP2009204532A/ja
Application granted granted Critical
Publication of JP5278728B2 publication Critical patent/JP5278728B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、移動体に取り付けられ、検出範囲において方位ごとの距離を検出し、距離画像データを生成する距離画像センサを、当該移動体に取り付けられた状態で校正する距離画像センサの校正装置及び校正方法に関する。
近年、車両の安全性の向上、操作性の向上のために車両周辺の状況を検出して運転者を支援する種々の取り組みが実施されている。このため、車両には濃淡画像センサや距離画像センサなど、車両周辺の視覚イメージや三次元情報が検出可能な種々のセンサが搭載される。また、ロボットなどにおいても、人間の目の代わりとなるこれらのセンサが多用される。車両やロボットなどの移動体に、これらのセンサが搭載され、当該移動体の移動中に周辺状況の三次元的な特徴を認識する場合、移動体を基準とする座標系に対してセンサ位置や姿勢が正確に校正されていることが望ましい。三次元の状況を検出することが可能な距離画像センサは、移動体の周辺状況を検出するセンサとして使用されることが多く、高い精度の校正が要求される。
下記に示す特許文献1には、距離画像センサの一種としての三次元計測装置を校正する方法が記載されている。これによれば、校正(較正)用対象物としての測定板を当該三次元計測装置に対して移動させる。移動の種類は、ヨー回転、ピッチ回転、及び前後移動である。それら各移動点における距離画像を当該三次元計測装置にて取得し、各画素の距離画像値に基づいて三次元座標値を求める。そして、この三次元座標値から校正値を得るというものである。
特開平10−47920号公報(第2〜8段落、図1等)
しかし、この方法は測定板を移動させる必要があり、測定板の移動精度が校正精度に影響する。測定板の移動精度を向上させるには、測定板の移動手段を綿密に制御する必要が生じ、校正システムの大規模化を招く。また、校正に要する時間も長くなる。移動体が自動車などの場合、生産ラインで実施される校正作業に多くの時間を割くことは生産効率の観点からも好ましくない。また、上記方法は、三次元計測装置単体の校正であるので、三次元計測装置を移動体に搭載した状態で校正を行うものではない。三次元計測装置(距離画像センサ)単独では、高い精度で校正されていても、移動体への設置の際に移動体の基準座標系に対して、距離画像センサの座標系がずれる場合がある。従って、距離画像センサの校正は、移動体に搭載された状態で実施されることが好ましい。
本発明は、上記課題に鑑みて創案されたもので、簡単なシステム構成により、移動体に取り付けられた距離画像センサを、当該移動体に取り付けられた状態で校正することのできる校正装置及び校正方法を提供することを目的とする。
上記目的を達成するための本発明に係る距離画像センサの校正装置の特徴構成は、
移動体に取り付けられ、検出範囲において方位ごとの距離を検出し、当該検出した距離情報から距離画像データを生成する距離画像センサを、当該移動体に取り付けられた状態で校正する距離画像センサの校正装置であって、
第1平面と当該第1平面とは異なる第2平面とを有して構成される校正指標の位置情報、所定位置において静止状態にある前記移動体の位置情報、及び当該校正指標の姿勢情報が三次元基準座標系において既知の状態であり、
前記検出範囲内に設置された当該校正指標が含まれる距離画像データである校正対象データを前記距離画像センサから受け取るデータ受取部と、
前記校正対象データに基づいて、前記第1平面及び前記第2平面のそれぞれの平面を前記三次元基準座標系において特定する平面特定部と、
特定された前記第1平面及び前記第2平面のそれぞれの前記三次元基準座標系における法線ベクトルを演算する法線ベクトル演算部と、
前記三次元基準座標系における前記姿勢情報と前記法線ベクトルとに基づいて、前記三次元基準座標系における前記距離画像センサの回転量を演算する回転量演算部と、を備える点にある。
1つの平面を特定することにより、当該平面の法線を回転軸とする回転を除き、三次元空間上で当該法線に直交する2つの軸を回転軸とする回転を検出することができる。本構成によれば、第1平面とこの第1平面とは異なる第2平面とが特定される。両平面は異なる平面であるから、法線も異なる。一方の平面の法線を回転軸とする回転は、当該一方の平面に基づいて検出することはできないが、他方の平面に基づいて検出することができる。従って、三次元空間において直交する3つの軸のそれぞれに対する回転を検出することができる。つまり、三次元基準座標系における距離画像センサの回転量を、当該距離画像センサが移動体に搭載された状態で演算することができる。平面の特定、法線ベクトルの演算は、CPUなどの演算装置により、比較的軽い負荷で実行可能であるから、簡単なシステム構成で距離画像センサの校正装置を提供することが可能となる。
また、本発明に係る距離画像センサの校正装置は、前記校正対象データから、前記校正指標の位置情報と前記移動体の位置情報と前記校正指標の姿勢情報とに基づいて前記第1平面と前記第2平面とに属する前記距離情報をそれぞれ抽出する距離情報抽出部をさらに備え、
前記平面特定部が、抽出された前記距離情報を用いて平面を特定すると好適である。
校正指標は、三次元基準座標系において所定の位置に配置される。従って、距離画像センサのずれを考慮しても、距離画像センサの座標系において予測可能な位置に校正指標が配置されていることになる。これは、特定すべき平面の距離画像データが存在するおおよその座標が、既知であることを示す。従って、校正対象データから、特定すべき平面に属する距離情報を予め抽出することで、対象外のデータを省き、平面を特定するための演算を高速化することができる。
また、本発明に係る距離画像センサの校正装置は、
前記校正指標が、前記第1平面と前記第2平面とが交差する交差部を有すると共に、少なくとも前記第1平面及び前記第2平面の内の一方の平面端部と前記交差部とが交差する交点を、前記三次元基準座標系における既知の位置に有して構成され、
前記平面特定部が、さらに、前記交差部と交差する前記平面端部を特定するものであり、さらに、
前記平面特定部で特定された前記第1平面及び前記第2平面及び前記平面端部の前記三次元基準座標系における交点座標を演算する交点座標演算部と、
前記三次元基準座標系における前記位置情報と前記交点座標とに基づいて、前記三次元基準座標系における前記距離画像センサの並進量を演算する並進量演算部と、を備えることができる。
距離画像センサの三次元基準座標系における並進のずれを検出するには、校正指標の所定の1点を特定し、この点のずれを算出する必要がある。校正指標が第1平面と第2平面とが交差する交差部を有している場合、両平面を特定すれば交差部も特定される。さらに、交差部と交差する第1平面又は第2平面の平面端部を特定すれば、交差部と平面端部とが交差する交点が特定できる。従って、この点を対象とすれば、距離画像センサの並進量を検出することができる。
また、本発明に係る距離画像センサの校正装置は、
前記校正指標が、さらに前記第1平面及び前記第2平面とは異なる第3平面を有すると共に、これら3つの平面が交差する交点を有して構成され、
前記平面特定部が、さらに前記第3平面を前記三次元基準座標系において特定するものであり、さらに、
前記平面特定部で特定された前記第1平面、前記第2平面及び前記第3平面の前記三次元基準座標系における交点座標を演算する交点座標演算部と、
前記三次元基準座標系における前記位置情報と前記交点座標とに基づいて、前記三次元基準座標系における前記距離画像センサの並進量を演算する並進量演算部と、を備えることができる。
上述したように、距離画像センサの三次元基準座標系における並進のずれを検出するには、校正指標の所定の1点を特定し、この点のずれを算出する必要がある。校正指標を互いに異なる3つの平面を有して構成し、この3つの平面を特定すると、特定された3つの平面が交差する交点を特定することができる。校正指標の平面端部を特定するためには、距離画像センサの解像度が高いことが望ましい。しかし、3つの平面を持つ校正指標を用いる場合には、端部を特定する必要がなく、3つの平面が特定されれば足りるので、距離画像センサにはそれほど高い解像度は要求されない。従って、種々の距離画像センサの校正に適用することができる。
また、本発明に係る距離画像センサの校正装置は、
前記校正対象データから、前記第1平面と前記第2平面とに属する距離情報をそれぞれ抽出する距離情報抽出部が、さらに前記第3平面に属する距離情報を抽出し、
前記平面特定部が、抽出された前記距離情報を用いて平面を特定する構成とすることができる。
上述したように、校正指標は、三次元基準座標系において所定の位置に配置される。従って、距離画像センサのずれを考慮しても、距離画像センサの座標系において予測可能な位置に校正指標が配置されていることになる。校正対象データから、特定すべき平面に属する距離情報を予め抽出することで、対象外のデータを省き、平面を特定するための演算を高速化することができる。
また、本発明に係る距離画像センサの校正装置は、前記校正指標が前記第1平面及び前記第2平面を有して構成される際に、前記第1平面及び前記第2平面が、互いに直交する平面であると好適である。また、前記校正指標が前記第1平面、前記第2平面及び前記第3平面を有して構成される際に、前記第1平面、前記第2平面及び前記第3平面が互いに直交する平面であると好適である。
三次元基準座標系は、直交座標系であるので、特定すべき平面が互いに直交する関係にあると、演算が容易となる。
また、本発明に係る距離画像センサの校正装置は、前記校正指標が有する平面の内の少なくとも1つが、前記三次元基準座標系における1つの軸に対して直交又は平行する状態で設置されるとよい。
平面が三次元基準座標系の1つの軸に対して直交又は平行していると、演算が容易となる。特に1つの軸に対して平行している場合には、1軸分については演算を省くことが可能となり、さらに演算負荷が抑制される。
上記目的を達成するための本発明に係る距離画像センサの校正方法の特徴は、
移動体に取り付けられ、検出範囲において方位ごとの距離を検出し、当該検出した距離情報から距離画像データを生成する距離画像センサを、当該移動体に取り付けられた状態で校正する距離画像センサの校正方法であって、
前記移動体を三次元基準座標系における所定位置において静止させる移動体設置工程と、
第1平面と当該第1平面とは異なる第2平面とを有して構成される校正指標を、静止状態にある前記移動体との位置情報、及び当該校正指標の姿勢情報が三次元基準座標系において特定された状態で前記検出範囲内に設置する校正指標設置工程と、
前記移動体が前記所定位置に静止する状態で前記距離画像センサにより生成され、前記校正指標が含まれる距離画像データである校正対象データを前記距離画像センサから受け取るデータ受取工程と、
前記校正対象データに基づいて、前記第1平面及び前記第2平面のそれぞれの平面を前記三次元基準座標系において特定する平面特定工程と、
特定された前記第1平面及び前記第2平面のそれぞれの前記三次元基準座標系における法線ベクトルを演算する法線ベクトル演算工程と、
前記三次元基準座標系における前記姿勢情報と前記法線ベクトルとに基づいて、前記三次元基準座標系における前記距離画像センサの回転量を演算する回転量演算工程と、を備える点にある。
1つの平面を特定することにより、当該平面の法線を回転軸とする回転を除き、三次元空間上で当該法線に直交する2つの軸を回転軸とする回転を検出することができる。本方法によれば、第1平面とこの第1平面とは異なる第2平面とが特定される。両平面は異なる平面であるから、法線も異なる。一方の平面の法線を回転軸とする回転は、当該一方の平面に基づいて検出することはできないが、他方の平面に基づいて検出することができる。従って、三次元空間において直交する3つの軸のそれぞれに対する回転を検出することができる。つまり、三次元基準座標系における距離画像センサの回転量を、当該距離画像センサが移動体に搭載された状態で演算することができる。尚、本発明に係る距離画像センサの校正方法は、上述した距離画像センサの構成装置に関する作用効果、及び全ての追加的特徴とその作用効果を備えることができるものである。
また、本発明に係る距離画像センサの校正方法は、
前記校正指標が、さらに前記第1平面及び前記第2平面とは異なる第3平面を有し、
前記平面特定工程が、さらに前記第3平面を前記三次元基準座標系において特定するものであり、さらに、
前記平面特定部で特定された前記第1平面、前記第2平面及び前記第3平面の前記三次元基準座標系における交点座標を演算する交点座標演算工程と、
前記三次元基準座標系における前記位置情報と前記交点座標とに基づいて、前記三次元基準座標系における前記距離画像センサの並進量を演算する並進量演算工程と、を備えることができる。
距離画像センサの三次元基準座標系における並進のずれを検出するには、校正指標の所定の1点を特定し、この点のずれを算出する必要がある。校正指標を互いにことなる3つの平面を有して構成し、この3つの平面を特定すると、特定された3つの平面が交差する交点を特定することができる。従って、この点を対象とすれば、距離画像センサの並進量を検出することができる。尚、本発明に係る距離画像センサの校正方法は、上述した距離画像センサの構成装置に関する作用効果、及び全ての追加的特徴とその作用効果を備えることができるものである。
〔第1実施形態〕
以下、本発明の実施形態を図面に基づいて説明する。本発明は、移動体に取り付けられ、検出範囲において方位ごとの距離を検出し、二次元の距離画像データを生成する距離画像センサを校正する校正装置に関するものである。ここで、距離画像センサとは、所定の基準座標系の原点を基準として、所定の視野内での方位ごとの距離を測定するセンサである。つまり、一般的な画像センサが画素ごとに輝度値などを有して濃淡画像としての二次元データを形成するのに対し、距離画像センサは画素ごとに距離値(距離画像データ)を有して距離画像としての二次元データ形成する。つまり、二次元画像平面の各画素について、輝度値ではなく、いわゆる奥行き情報が対応しているような二次元データとして形成される。各画素は、基準座標の原点からの方位と距離とを情報として持つことから、基準座標の原点からのベクトル量の集まりが、距離画像データということができる。
例えば、ポイントセンサの一種であるスキャン型レーザレーダは、アクティブ型の距離画像センサの好適な一例である。スキャン型レーザレーダは、検出範囲内を走査することによって、画素ごとの距離情報を取得して、二次元の距離画像データを生成する。また、CCD(charge coupled device)やCIS(CMOS image sensor)などにより取得された濃淡画像をステレオ画像処理することによって距離情報を取得して距離画像を生成するステレオ画像処理装置は、パッシブ型の距離画像センサの好適な一例である。また、近赤外の投光LEDなどの光源と、近赤外に感度を有し、照射した光が反射して返ってくる到達時間を画素ごとに計測可能な特殊CCDなどとを用いたセンサもアクティブ型の距離画像センサの好適な一例である。
図1は、移動体としての車両40と車両40に搭載された距離画像センサ20との回転ずれを示す説明図である。図1において、X軸及びZ軸は、車両40を基準とする三次元直交座標系における2つの座標軸を示している。図1において、紙面の裏面から表面に向かい、紙面に直交する方向がY軸である。X軸及びZ軸は、距離画像センサ20を基準とする三次元直交座標系における2つの座標軸である。図1において、紙面の裏面から表面に向かい、紙面に直交する方向がY軸である。距離画像センサ20のZ軸は、画像センサにおける光学中心に相当する主軸である。尚、車両を基準とする座標系のZ軸は、一般的には180度反対方向の紙面右方向に定義される場合が多いが、本発明の説明を容易にするために、距離画像センサのZ軸と同方向としている。図中の符号Vは、距離画像センサ20の視野、即ち検出範囲である。
距離画像センサ20は、理想的には、X軸とX軸、Y軸とY軸、Z軸とZ軸とが平行となる状態で車両40に搭載される。しかし、機械的な公差を高精度に管理することは困難であり、現実には各軸が非平行となってずれが生じることになる。図1においては、距離画像センサ20の主軸Zが、図示時計回りにθずれたZ’となる場合を例示している。図1では、平面の紙面に表現する関係上、X−Z平面上において、つまりY軸を回転軸として回転しているように見えるが、実際には、全ての軸を回転軸として三次元的に回転する。
図1から明らかであるように、回転ずれに伴う検出位置のずれは、距離画像センサ20から離れるほど大きくなる。従って、距離画像データにより特定される座標値にも誤差が生じることとなる。距離画像センサ20が車両40に搭載される場合、運転支援や駐車支援に距離画像データが利用される。この際、当然ながら誤差が少ない方が好ましい。しかし、上述したように機械的な公差を高精度に管理することは現実的ではない。そこで、距離画像センサ20が車両40に搭載された状態において当該距離画像センサ20の姿勢、即ち座標系の回転に関する情報を取得して距離画像データが補正される。本実施形態では、このように座標系の回転に関する情報を取得することを、距離画像センサ20の校正と称する。校正に際しては、後述するように、所定の校正指標が利用される。
図2は、校正指標30の配置例を示す説明図である。図2に示すように、校正指標30は、第1平面Pと当該第1平面Pとは異なる第2平面Pとを有して構成される。校正指標30の構成は、後述するように図2に示す例に限定されないが、このように校正指標30を構成する工程は、校正指標構成工程である。距離画像センサ20の校正に際して、移動体としての車両40は、三次元基準座標系における所定位置において静止して配置される。この工程は、本発明の移動体設置工程に相当する。移動体としての車両は、輪留めなどを利用して比較的高い機械的公差の範囲内で、所定位置に設置される。三次元基準座標系は、種々の座標系を採用することが可能であるが、本実施形態においては、車両40を基準とする座標系(X,Y,Z)を三次元基準座標系とする。
校正指標30は、静止状態にある車両40との位置情報、及び当該校正指標30の姿勢情報が三次元基準座標系において特定された状態で距離画像センサ20の検出範囲内Vに設置される。この工程は、本発明の校正指標設置工程に相当する。実際には、生産工場、整備工場などにおいて、校正指標30は固定的に設置されており、校正対象となる車両40が当該工場に入庫する。従って、実際には、車両40を静止させる位置に対して校正指標30の位置及び姿勢が特定され、車両40は、車両40を静止させる位置に対して高い精度で位置決めされる。これによって、車両40を基準とする三次元基準座標系(X,Y,Z)において、車両40及び校正指標30の位置及び姿勢が特定される。
ここで、車両40、校正指標30、距離画像センサ20のそれぞれを基準とする座標系の関係について、図3を利用して説明する。図3において、校正指標30の有する面の内の1つ、第1平面Pを基準とする座標系を(X,Y,Z)とする。第1平面Pは、三次元基準座標系である車両40基準の座標系(X,Y,Z)のX−Y平面に平行に設置されている。第1平面Pを基準とする座標系(X,Y,Z)のZ軸と、三次元基準座標系(X,Y,Z)のZ軸とは、平行であり方向が逆である。
上述したように、距離画像センサ20が理想的に車両40に設置された場合には、距離画像センサ20の座標系(X,Y,Z)は三次元基準座標系(X,Y,Z)と平行であり、方向も同一である。即ち、距離画像センサ20の座標系(X,Y,Z)は三次元基準座標系(X,Y,Z)が所定量、並進したものと考えることができる。従って、第1平面Pを基準とする座標系(X,Y,Z)のZ軸は、距離画像センサ20の座標系(X,Y,Z)のZ軸とも平行であり方向が逆である。
しかし、上述したように、距離画像センサ20の座標系(X,Y,Z)は、三次元基準座標系(X,Y,Z)が所定量、並進したものと考えることはできず、並進成分及び回転成分の誤差を生じる。回転成分の誤差、つまり姿勢の誤差が距離画像データに与える影響は、並進成分の誤差、つまり位置の誤差が距離画像データに与える影響と比較して大きい。従って、ここでは、回転成分の誤差を校正する技術について説明する。
図4は、校正指標30と距離画像センサ20との間の回転を示す説明図である。校正指標30と車両40とは、回転成分の誤差なく設置されている条件とするので、校正指標30と距離画像センサ20との間の回転は、車両40と距離画像センサ20との間の回転と等価である。
はじめに、図4において、距離画像センサ20が回転成分の誤差を有さない場合を考える。校正指標30の第1平面Pが三次元基準座標系のX−Y平面に平行に設置されていることから、第1平面Pを基準とする座標系のZ軸は、距離画像センサ20の主軸である距離画像センサ20の座標系のZ軸とも平行であり方向が逆である。
次に、距離画像センサ20がY軸回りに回転し、主軸がZ’の方向を向いた場合には、主軸の方向であるZ’は、第1平面Pを基準とする座標系のZ軸とは平行ではなくなる。一方、主軸の回転を知らない距離画像センサ20からは、校正指標30の第1平面PがY軸回りに回転して、Z軸がZ’の方向をむいているように観測される。
上述したZ軸とZ’との角度、及びZ軸とZ’との角度は、距離画像センサ20及び校正指標30の何れの座標系においても同一のθである。図4では、距離画像センサ20がY軸回りに回転した、いわゆるパン角のずれを例として説明したが、X軸回りの回転(チルト角)やZ軸回りの回転(ロール角)についても同様である。
尚、本実施形態においては、距離画像センサ20の座標系(X,Y,Z)及び第1平面Pを基準とする座標系(X,Y,Z)の何れも、左手系を用いているが、互いにZ軸が相対している。従って、幾何学的に自明であるが、回転方向については、以下に示すように相違が生じることに留意する必要がある。
軸回りに右回転 : X軸回りに左回転
軸回りに右回転 : Y軸回りに右回転
軸回りに右回転 : Z軸回りに左回転
尚、図4に示した例において、校正指標30の第1平面Pの法線ベクトルZの方向は、距離画像センサ20の主軸の方向Z’に対して相対的にθだけ回転しているように見える。従って、校正指標30の第1平面Pの法線ベクトルによって、距離画像センサ20の回転を抽出することができる。
校正指標30の平面を特定して、当該平面の法線ベクトルを求めることにより、距離画像センサ20の回転を求めることが可能であるが、1つの平面からは2つの回転成分しか抽出することができない。この理由について、図5〜図7を利用して説明する。
図5は、平面Πの垂直軸vを回転軸とする回転(パン角)を示しており、
図6は、平面Πの水平軸hを回転軸とする回転(チルト角)を示しており、
図7は、平面Πの法線nを回転軸とする回転(ロール角)を示している。
図5に示すように、平面Πが垂直軸vを回転軸として平面Πへパン角θだけ回転すると、その回転に応じて法線ベクトルNもNへとパン角θだけ回転する。また、図6に示すように、平面Πが水平軸hを回転軸として平面Πへチルト角θだけ回転すると、その回転に応じて法線ベクトルNもNへとチルト角θだけ回転する。しかし、図7に示すように、平面Πが法線N(n)を回転軸として平面Πへロール角θだけ回転しても、法線ベクトルNは変化しない。このように、1つの平面を観測するだけでは、三次元空間の全ての回転成分を抽出することはできない。
そこで、本発明では、第1平面Pと当該第1平面Pとは異なる第2平面Pとを有して校正指標30が構成される。一方の平面では抽出できない回転成分は、当該一方の平面とは異なる他方の平面から抽出することが可能である。
以下、このような校正指標を用いた具体的な校正装置の構成、及び校正方法の手順について、説明する。図8は、本発明の距離画像センサの校正装置の構成例を模式的に示すブロック図である。車両40は、距離画像センサ20、距離画像センサ20から距離画像データを受け取って画像処理を行う画像処理部50、距離画像データを補正する校正データが記憶された校正データ記憶部60とを備えている。画像処理部50は、距離画像データを用いて、車両40の周辺環境を認識する。例えば、画像処理部50は、駐車場に駐車された駐車車両を認識して駐車区画を認識する駐車支援装置を構成する1つの機能部として車両40に備えられる。校正データ記憶部60に記憶される校正データは、図8に示した形態では画像処理部50において用いられる。しかし、当然これに限定されることなく、距離画像センサ20において校正データが用いられ、校正済みの距離画像データが画像処理部50に送られる形態であってもよい。その他、校正部を設けて距離画像データを校正するようにしてもよい。
校正データは、本発明の校正装置に相当する校正演算部10によって生成される。校正演算部10は車両40に搭載されていてもよいし、生産工場や整備工場など車両40の外に設置されていてもよい。校正演算部10が車両40に搭載される場合には、距離画像センサ20を制御するECU(electric control unit)や、画像処理部50を構成するマイクロコンピュータなどに内蔵されてもよい。また、校正演算部10が車両40の外に設置される場合には、距離画像センサ20から出力される距離画像データを受け取り、生成された校正データを出力するインターフェイスが、車両40と校正演算部10との間に設けられる。
校正演算部10は、校正対象データを受け取るデータ受取部1と、平面を三次元基準座標系において特定する平面特定部3と、法線ベクトルを演算する法線ベクトル演算部4と、距離画像センサ20の回転量を演算する回転量演算部5とを備えて構成される。本実施形態では、校正演算部10は、さらに、校正対象データから、検出対象の平面に属する距離情報を抽出する距離情報抽出部2と、距離画像センサ20の回転量から校正データを生成する校正データ生成部6とを備えて構成される。
データ受取部1は、検出範囲V内に設置された校正指標30が含まれる距離画像データである校正対象データを受け取る機能部である。データ受取部1が校正対象データを受け取る際には、車両40は所定位置において静止状態にある。第1平面Pと第1平面Pとは異なる第2平面Pとを有して構成される校正指標30と車両40との位置情報は、三次元基準座標系(X,Y,Z)において特定された状態である。また、校正指標30の姿勢情報も、三次元基準座標系(X,Y,Z)において特定された状態である。データ受取部1が、距離画像データである校正対象データを受け取る工程は、本発明のデータ受取工程に相当する。
平面特定部3は、校正対象データに基づいて、第1平面P及び第2平面Pのそれぞれの平面を三次元基準座標系(X,Y,Z)において特定する機能部である。はじめに、平面特定部3は、校正対象データの中からランダムに3つの画素データ(距離データ)を選択する。画素データはベクトル値であるから方位と距離値とを有する。従って、各点について、三次元基準座標系における座標値が得られる。次に、平面特定部3は、各点の座標値を下記(1)式で示す平面の方程式に代入し、3つの方程式を得る。
Figure 0005278728
そして、平面特定部3は、3つの方程式からなる連立方程式を解き、A、B、C、Dの4つのパラメータを得て、平面P(P、P)の仮平面PTMPを決定する。次に、平面特定部3は、各画素データが仮平面PTMPに対してどの程度適合するかを判定し、適合する画素数をカウントする。ここで、適合の程度は、仮平面PTMPからのユークリッド距離が所定のしきい値以内であることなどを条件として判定される。平面特定部3は、順次、異なる3点をランダムに選択し、カウント値、即ち適合度が最大となる仮平面PTMPを平面Pとして特定する。平面特定部3が平面Pを特定するこの工程は、本発明の平面特定工程に相当する。
距離画像センサ20の検出範囲Vは、校正指標30を充分に含む広い範囲である。従って、検出範囲Vの全ての範囲を対象として、上記のような平面を特定する演算を行うと演算時間を要する。そこで、距離情報抽出部2により、校正対象データから、第1平面Pと第2平面Pとに属する距離情報をそれぞれ抽出し、平面特定部3が、抽出された距離情報に基づいて平面P(P、P)を特定すると好適である。第1平面Pと第2平面Pとは、三次元基準座標系(X,Y,Z)における座標値が既知である。距離画像センサ20が回転成分の誤差を有していることから、第1平面Pと第2平面Pとの座標値を距離画像データ(校正対象データ)において特定することはできない。しかし、ある程度の画素群を、それぞれ第1平面P及び第2平面Pに関する属する距離情報として抽出することは可能である。このようにして、平面特定部3が、平面Pを適合させるためにサーチする画素群を、対象となる平面ごとに抽出することによって、演算負荷並びに演算時間を抑制することが可能となる。このような画素群の抽出は、平面特定工程に先立つ距離情報抽出工程において実行される。
尚、画素群の抽出は、上述したような座標値による集合のほか、以下に示す条件によって実施することも可能である。例えば、「奥行き方向(ベクトルの深さ)に差が少ない画素群」、「左右方向(パン方向)に差が少ない画素群」、「上下方向(チルト方向)に差が少ない画素群」などを条件とすることができる。どのような条件が適しているかについては、校正指標30の構造や配置によって異なるので、適宜選択すると好適である。尚、校正指標30の構造や配置についてのバリエーションの例については、図9〜図14を用いて後述する。
また、本実施形態の校正指標30のように、三次元基準座標系に対して第1平面P及び第2平面Pの座標系が、平行や直交する場合、平面特定部3が仮平面PTMPの適合性を判定する際に、ユークリッド距離を演算する必要がなくなる。つまり、各軸に沿った距離がそのままユークリッド距離となるので、演算負荷が飛躍的に軽くなる。従って、校正指標30が有する平面の内の少なくとも1つが、三次元基準座標系における1つの軸に対して直交又は平行する状態で設置されると好適である。さらに、第1平面P及び第2平面Pが、互いに直交する平面であると、両平面が、三次元基準座標系における1つの軸に対して直交又は平行する状態で設置されることとなり、好適である。
平面特定部3により2つの平面P及びPが特定されると、法線ベクトル演算部4は、第1平面P及び第2平面Pのそれぞれの三次元基準座標系における法線ベクトルを演算する。上記(1)式で示される平面の法線ベクトルは、平面を下記(2)式とおいて、次のように求められる。
Figure 0005278728
(2)式の関数f(x,y,z)が0である点(x,y,z)における法線ベクトルは▽fである。従って、(3)式より、法線ベクトルは(4)式となる。
Figure 0005278728
法線ベクトル演算部4は、このようにして、第1平面P及び第2平面Pの法線ベクトルN([A,B,C)、N([A,B,C)を演算する。このようにして法線ベクトルを演算する工程は、本発明の法線ベクトル演算工程に相当する。
第1平面P及び第2平面Pは、異なる平面であるので、一方の平面がその法線方向を回転軸として回転した場合でも、他方の法線ベクトルにより回転量を抽出することが可能である。回転量演算部5は、三次元基準座標系における校正指標30の姿勢情報と法線ベクトルN及びNとに基づいて、三次元基準座標系における距離画像センサ20の回転量を演算する。校正データ生成部6は、演算された回転量に基づいて、回転行列などの校正データを生成する。生成された校正データは、校正データ記憶部60に記憶される。距離画像センサ20の回転量を演算する工程は、本発明の回転量演算工程に相当する。そして、回転量に基づいて校正データを生成する校正データ生成工程は、回転量演算工程を経て実行される。
上述したように、校正指標30の構造や配置は、上記実施形態に限定されるものではない。以下、校正指標30の構造や配置についてのバリエーションの例について、図9〜図14を用いて説明する。
図9に示した校正指標30の配置は、第2平面Pを水平面とした場合の例である。図9に示す配置を採用する場合、校正指標30としては、図12及び図13に示すような形態のものが適用できる。図13は、第2平面Pを床面としている。このように、必ずしも校正指標30に2つの平面を形成することなく、適宜壁面や床面を利用して校正指標30を校正してもよい。図14は、第2平面Pを水平面とし、距離画像センサ20の検出範囲Vを考慮して、台32により校正指標30を上方へオフセットさせた例である。
図10は、平面Pを三次元基準座標系に直交及び平行させずに、校正指標30が配置される場合の例である。校正指標30には、図11に示すような形態のものが適用可能である。平面Pが三次元基準座標系に対して直交及び平行していなくても、設置位置と姿勢とが既知であれば、直交・平行からのずれ量をオフセット値として、各平面Pの法線ベクトルを演算することができる。
また、上述したように、2つの平面は互いに直交していることが演算負荷上、好ましいが、異なる平面であれば、特に直交している必要はない。
〔第2実施形態〕
上述したように、距離画像センサ20が有する取り付け誤差には、位置に関する誤差(並進誤差)と、姿勢に関する誤差(回転誤差)とが存在する。距離画像センサ20によって得られる画像に対しては、回転誤差による影響の方が大きいため、上記第1実施形態では、回転誤差を校正する技術について詳述した。しかし、当然ながら距離画像センサ20が車両40に搭載された状態において当該距離画像センサ20の姿勢及び位置、即ち座標系の回転及び並進に関する情報を取得して距離画像データが補正されることが好ましい。そこで、第2実施形態では回転誤差に加えて、並進誤差を校正する技術について説明する。第2実施形態では、座標系の回転及び並進に関する情報を取得することを、距離画像センサ20の校正と称する。以下、並進誤差の校正について詳述し、回転誤差の校正については、上述した通りであるので、適宜説明を省略する。
並進移動は、図2に示す座標系の相関図において、三次元基準座標(X,Y,Z)の原点Oと、距離画像センサ20の座標系(X,Y,Z)の原点Oとの関係により規定される。対応する点は、原点同士に限定されるわけではなく、任意の点を対応させることが可能である。例えば、校正指標30の所定の1点の座標は、既知であるから、この既知の点が距離画像センサ20の画素データとしてどのようなベクトル値を有するのかがわかれば、対応関係が明らかとなる。ただし、距離画像センサ20の解像度は高くはない場合がある。このような場合には、距離画像データ上において直接、対象画素(座標)を特定すると誤差が大きくなる。
第1実施形態で用いた校正指標30を用いて、並進誤差を特定するための対象点PIを特定する原理について、図15を利用して説明する。校正指標30は、第1平面Pと第2平面Pとが交差する交差部LIを有する。また、校正指標30は、少なくとも第1平面P及び第2平面Pの内の一方の平面端部LE又はLEと、交差部PIとが交差する交点PIを有して構成されている。この交点PIは、三次元基準座標系において既知とすることができるから、距離画像データに基づいて交点PIが特定できれば、並進誤差を演算することが可能となる。
第1実施形態において説明したように第1平面Pと第2平面Pとは特定可能であるから、第1平面Pと第2平面Pとの交線、即ち交差部LIは特定可能である。また、校正指標30の全てが距離画像センサ20の検出範囲Vに含まれていれば、平面端部LEやLEは、距離画像データ上においてエッジとなる。従って、平面端部LEやLEは、ガウシアンフィルタなどの公知のエッジ検出手法により、特定可能である。そして、平面端部LE、LEの少なくとも一方と、交差部LIとが特定されれば、交点PIも特定可能である。
尚、このようなエッジ検出の演算を伴う場合、平面端部LE又はLEのコントラストが高いことが好ましい。校正指標30は、第1実施形態の場合においても、面を正確に特定する上で、壁面などから一定の距離だけ離して設置されることが好ましい。第2実施形態においては、さらに校正指標30と他のものとが混同されないように、校正指標30が配置されることが好ましい。
図16は、回転及び並進を校正可能な距離画像センサの校正装置の構成例を模式的に示すブロック図である。図8に示した第1実施形態のブロックに対して、校正演算部10に、交点座標演算部7と並進演算部8とが加えられている点が相違する。後述するように、平面特定部3、校正データ生成部6以外の各機能部については、第1実施形態と同様であるから、説明を省略する。
尚、第2実施形態においては、距離情報抽出部2において、校正対象データから、第1平面Pと第2平面Pとに属する距離情報をそれぞれ抽出する場合に、範囲を絞り込まない方が好ましい。平面を特定する上では、平面端部LE、LEの近傍の画素データがなくても問題は少なく、逆に、画素データが乱れる可能性がある平面端部LE、LEの近傍の画素データを用いない方が好ましい場合がある。しかし、本第2実施形態では、平面端部LE、LEを特定する必要があるため、距離情報抽出部2において平面を特定する範囲を絞り込まない方が好ましい。
平面特定部3は、第1実施形態において説明した機能に加え、さらに、交差部PLと交差する平面端部LE、LEを特定する。即ち、平面特定部3は、公知のエッジ検出手法などを用いて、平面端部LE、LEを特定する(平面特定工程)。
平面特定工程の後、交点座標特定工程が実施される。交点座標演算部7は、平面特定部3で特定された第1平面P及び第2平面P及び平面端部LE、LEの三次元基準座標系における交点PIの座標を演算する機能部である。具体的には、第1平面P及び第2平面Pに基づいて、交差部PLを特定し、交差部PLと平面端部LE、LEとの交点PIの座標を演算する。
交点座標特定工程の後、並進量演算工程が実施される。並進量演算部8は、三次元基準座標系における校正指標30の位置情報と交点PIの座標とに基づいて、三次元基準座標系における距離画像センサの並進量を演算する機能部である。
並進量演算工程と平行して、あるいは時分割処理により実行される回転量演算工程及び並進量演算工程の後、校正データ生成工程が実施される。校正データ生成部6は、回転量演算部5で求めた回転量と、並進量演算部8で求めた並進量とを用いて、校正データを生成する。生成された校正データは、校正データ記憶部60に記憶される。
〔第3実施形態〕
第2実施形態においては、第1平面P及び第2平面Pの内の一方の平面端部LE又はLEをエッジ検出手法などによって検出することによって交点PIを特定した。しかし、距離画像センサ30の解像度や、校正指標30が設置される環境によっては、エッジ検出の誤差が多くなる場合がある。そこで、第3実施形態においては、より確実に並進誤差を校正できる実施形態について説明する。
図17は、第3実施形態において使用される校正指標30の一例を示す斜視図である。図17に示すように、この校正指標30は、第1実施形態の校正指標30に対し、さらに第1平面P及び第2平面Pとは異なる第3平面Pを有すると共に、これら3つの平面が交差する交点PIを有して構成される。
第3実施形態に係る校正演算部10は、図16に示し、第2実施形態において説明したものと同じである。データ受取部1の機能については、第1実施形態及び第2実施形態と同様である。距離情報抽出部2は、第1平面P及び第2平面Pに加えて、第3平面Pに属する距離データを抽出する点で第1実施形態及び第2実施形態と相違するが、その他の点については同様の機能である。平面特定部3は、第1平面P及び第2平面Pに加えて、さらに第3平面Pを三次元基準座標系において特定する。平面の特定方法については、第1実施形態で説明したものと同様である。法線ベクトル演算部4は、3つの平面の内、少なくとも2つの平面の法線ベクトルを演算する。回転量演算部5は、少なくとも2つの法線ベクトルに基づいて、回転量を演算する(回転量演算工程)。
交点座標演算部7は、平面特定部で特定された第1平面P、第2平面P及び第3平面Pの三次元基準座標系における交点PIの座標を演算する。この工程は、本発明の交点座標演算工程に相当する。並進量演算部8は、三次元基準座標系における校正指標30位置情報と交点PIの座標とに基づいて、三次元基準座標系における距離画像センサ20の並進量を演算する。この工程は、本発明の並進量演算工程に相当する。
回転量演算工程及び並進量演算工程の後、校正データ生成工程が実施される。校正データ生成部6は、回転量演算部5で求めた回転量と、並進量演算部8で求めた並進量とを用いて、校正データを生成する。生成された校正データは、校正データ記憶部60に記憶される。
このように、第3平面Pを有する校正指標30を用いることにより、回転量と並進量とをほぼ同じ処理によって演算することができる。尚、校正指標30は、図17に例示した構成に限定されず、図18に示すように構成することも可能である。図18に示した構成指標30は、第3平面Pを床面で代用したものである。このような校正指標30を用いる場合には、第1実施形態で使用した校正指標30を転用することも可能である。校正演算部10がマイクロコンピュータなどによって構成される場合、校正指標30などのハードウェアを変更することなく、回転誤差に加えて並進誤差を校正することが可能な校正装置へアップグレードすることが可能である。
尚、第1実施形態における説明で明らかであるが、図17及び図18に例示したように、第1平面P、第2平面P及び第3平面Pは互いに直交すると好適である。また、校正指標30が有する平面の内の少なくとも1つが、三次元基準座標系における1つの軸に対して直交又は平行する状態で設置されると好適である。3面の全てが、三次元基準座標系における軸に対して直交又は平行する状態で設置されるとさらに好適である。しかし、第3実施形態においても、第1実施形態と同様に、校正指標30が互いに異なる平面を有して構成されていれば、演算負荷が増加したとしても校正機能そのものの性能に関して問題はない。また、第1実施形態において図9〜図14を用いて例示したように、第3実施形態においても、校正指標30が種々の形態及び姿勢を取り得ることは明らかである。
〔第4実施形態〕
上記、各実施形態においては、主としてアクティブ型の距離画像センサにおいて好適な校正装置及び校正方法について説明した。距離画像センサには、CCDやCISなどにより取得された濃淡画像をステレオ画像処理することによって距離情報を取得して距離画像を生成するようなパッシブ型の構成のものも存在する。このような濃淡画像を用いる距離画像センサの場合には、校正指標の特徴点の検出が容易となるように、校正指標に模様を描いておくと好適である。
以上説明したように、本発明によって、簡単なシステム構成により、移動体に取り付けられた距離画像センサを、当該移動体に取り付けられた状態で校正することのできる校正装置及び校正方法を提供することが可能となる。
移動体と距離画像センサの回転ずれを示す説明図 校正指標の配置例を示す説明図 移動体、距離画像センサ及び校正指標の各座標系の関係を示す説明図 校正指標と距離画像センサとの間の回転を示す説明図 平面の垂直軸を回転軸とする回転を示す説明図 平面の水平軸を回転軸とする回転を示す説明図 平面の法線を回転軸とする回転を示す説明図 回転を校正する校正装置の構成例を模式的に示すブロック図 校正指標の配置例を示す説明図 校正指標の配置例を示す説明図 校正指標の例を模式的に示す斜視図 校正指標の例を模式的に示す斜視図 校正指標の例を模式的に示す斜視図 校正指標の例を模式的に示す斜視図 回転を校正する校正指標を用いて並進量を検出する原理の説明図 回転及び並進を校正する校正装置の構成例を模式的に示すブロック図 校正指標の例を模式的に示す斜視図 校正指標の例を模式的に示す斜視図
符号の説明
1:データ受取部
2:距離情報抽出部
3:平面特定部
4:法線ベクトル演算部
5:回転量演算部
7:交点座標演算部
8:並進量演算部
10:校正演算部(校正装置)
20:距離画像センサ
30:校正指標
40:移動体
LE、LE:平面端部
:第1平面
:第2平面
:第3平面
PI:交点
PL:交差部
V:検出範囲

Claims (10)

  1. 移動体に取り付けられ、検出範囲において方位ごとの距離を検出し、当該検出した距離情報から距離画像データを生成する距離画像センサを、当該移動体に取り付けられた状態とし、前記移動体を三次元基準座標系における所定位置において静止して配置させてから校正する距離画像センサの校正装置であって、
    前記距離画像センサの検出範囲内に設置されるとともに、第1平面と当該第1平面とは異なる第2平面と、前記第1平面及び第2平面が交差する交差部と、前記第1平面にて前記交差部と交差する第1の平面端部と、前記第2平面にて前記交差部と交差する第2の平面端部と、前記交差部・第1の平面端部・第2の平面端部が交差する交点とを有する校正指標と、
    距離画像データ前記距離画像センサから受け取るデータ受取部と、
    前記距離画像データに基づいて、前記校正指標の前記第1平面及び前記第2平面のそれぞれの平面、及び前記交点を前記三次元基準座標系において特定する平面特定部と、
    特定された前記第1平面及び前記第2平面のそれぞれの前記三次元基準座標系における法線ベクトルを演算する法線ベクトル演算部と、
    前記三次元基準座標系における前記校正指標の姿勢情報と前記法線ベクトルとに基づいて、前記三次元基準座標系における前記距離画像センサの回転量を演算する回転量演算部と、
    前記三次元基準座標系における交点の交点座標を演算する交点座標演算部と、
    前記三次元基準座標系における前記校正指標の位置情報と前記交点座標とに基づいて、前記三次元基準座標系における前記距離画像センサの並進量を演算する並進量演算部と、
    前記回転量と、前記並進量とを用いて、校正データを生成する校正データ生成部と、
    を備える距離画像センサの校正装置。
  2. 前記距離画像データから、前記校正指標の位置情報と前記移動体の位置情報と前記校正指標の姿勢情報とに基づいて前記第1平面と前記第2平面とに属する前記距離情報をそれぞれ抽出する距離情報抽出部をさらに備え、
    前記平面特定部は、抽出された前記距離情報を用いて平面を特定する請求項1に記載の距離画像センサの校正装置。
  3. 前記校正指標は、前記交差部を、前記三次元基準座標系における既知の位置に有して構成され、
    前記平面特定部は、さらに、前記交差部と交差する前記第1の平面端部、及び前記第2の平面端部を特定するものであり、さらに、
    前記交点座標演算部は、前記平面特定部で特定された前記第1平面前記第2平面前記第1の平面端部、及び前記第2の平面端部の前記三次元基準座標系における交点座標を演算す請求項1に記載の距離画像センサの校正装置。
  4. 前記校正指標は、さらに前記第1平面及び前記第2平面とは異なる第3平面を有すると共に、これら3つの平面が交差する交点を有して構成され、
    前記平面特定部は、さらに前記第3平面を前記三次元基準座標系において特定するものであり、さらに、
    前記交点座標演算部は、前記平面特定部で特定された前記第1平面、前記第2平面及び前記第3平面の前記三次元基準座標系における交点座標を演算する請求項1又は2に記載の距離画像センサの校正装置。
  5. 前記距離画像データから、前記第1平面と前記第2平面とに属する距離情報をそれぞれ抽出する距離情報抽出部は、さらに前記第3平面に属する距離情報を抽出し、
    前記平面特定部は、抽出された前記距離情報を用いて平面を特定する請求項4に記載の距離画像センサの校正装置。
  6. 前記第1平面及び前記第2平面は、互いに直交する平面である請求項1〜5の何れか一項に記載の距離画像センサの校正装置。
  7. 前記第1平面、前記第2平面及び前記第3平面は互いに直交する請求項4又は5に記載の距離画像センサの校正装置。
  8. 前記校正指標が有する平面の内の少なくとも1つは、前記三次元基準座標系における1つの軸に対して直交又は平行する状態で設置される請求項1〜7の何れか一項に記載の距離画像センサの校正装置。
  9. 移動体に取り付けられ、検出範囲において方位ごとの距離を検出し、当該検出した距離情報から距離画像データを生成する距離画像センサを、当該移動体に取り付けられた状態で校正する距離画像センサの校正方法であって、
    前記移動体を三次元基準座標系における所定位置において静止させる移動体設置工程と、
    前記距離画像センサの検出範囲内に設置されるとともに、第1平面と当該第1平面とは異なる第2平面と、前記第1平面及び第2平面が交差する交差部と、前記第1平面にて前記交差部と交差する第1の平面端部と、前記第2平面にて前記交差部と交差する第2の平面端部と、前記交差部・第1の平面端部・第2の平面端部が交差する交点とを有する校正指標を、静止状態にある前記移動体との位置情報、及び当該校正指標の姿勢情報が三次元基準座標系において特定された状態で前記検出範囲内に設置する校正指標設置工程と、
    前記移動体が前記所定位置に静止する状態で前記距離画像センサにより生成され、前記校正指標が含まれる距離画像データ前記距離画像センサから受け取るデータ受取工程と、
    前記距離画像データに基づいて、前記校正指標の前記第1平面及び前記第2平面のそれぞれの平面、及び前記交点を前記三次元基準座標系において特定する平面特定工程と、
    特定された前記第1平面及び前記第2平面のそれぞれの前記三次元基準座標系における法線ベクトルを演算する法線ベクトル演算工程と、
    前記三次元基準座標系における前記姿勢情報と前記法線ベクトルとに基づいて、前記三次元基準座標系における前記距離画像センサの回転量を演算する回転量演算工程と、
    前記三次元基準座標系における交点の交点座標を演算する交点座標演算工程と、
    前記三次元基準座標系における前記校正指標の位置情報と前記交点座標とに基づいて、前記三次元基準座標系における前記距離画像センサの並進量を演算する並進量演算工程と、
    前記回転量と、前記並進量とを用いて、校正データを生成する校正データ生成工程と、を備える距離画像センサの校正方法。
  10. 前記校正指標は、さらに前記第1平面及び前記第2平面とは異なる第3平面を有し、
    前記平面特定工程は、さらに前記第3平面を前記三次元基準座標系において特定するものであり、さらに、
    前記交点座標演算工程は、前記平面特定工程で特定された前記第1平面、前記第2平面及び前記第3平面の前記三次元基準座標系における交点座標を演算する請求項9に記載の距離画像センサの校正方法。
JP2008048548A 2008-02-28 2008-02-28 距離画像センサの校正装置及び校正方法 Expired - Fee Related JP5278728B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008048548A JP5278728B2 (ja) 2008-02-28 2008-02-28 距離画像センサの校正装置及び校正方法
EP09002217.9A EP2096460B1 (en) 2008-02-28 2009-02-17 Calibration device and calibration method for range image sensor
US12/389,025 US7822571B2 (en) 2008-02-28 2009-02-19 Calibration device and calibration method for range image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008048548A JP5278728B2 (ja) 2008-02-28 2008-02-28 距離画像センサの校正装置及び校正方法

Publications (2)

Publication Number Publication Date
JP2009204532A JP2009204532A (ja) 2009-09-10
JP5278728B2 true JP5278728B2 (ja) 2013-09-04

Family

ID=40674099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008048548A Expired - Fee Related JP5278728B2 (ja) 2008-02-28 2008-02-28 距離画像センサの校正装置及び校正方法

Country Status (3)

Country Link
US (1) US7822571B2 (ja)
EP (1) EP2096460B1 (ja)
JP (1) JP5278728B2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379769B2 (en) 2003-09-30 2008-05-27 Sunnybrook Health Sciences Center Hybrid imaging method to monitor medical device delivery and patient support for use in the method
US7940047B2 (en) 2007-11-23 2011-05-10 Sentinelle Medical, Inc. Microcontroller system for identifying RF coils in the bore of a magnetic resonance imaging system
DE102008042018A1 (de) * 2008-09-12 2010-03-18 Robert Bosch Gmbh Verfahren zum Justieren oder Kalibrieren eines Fahrzeugumfeldsensors sowie Fahrzeugumfeldsensor-Justier- oder Kalibrier-Anordnung
US8747331B2 (en) 2009-06-23 2014-06-10 Hologic, Inc. Variable angle guide holder for a biopsy guide plug
WO2011063517A1 (en) 2009-11-27 2011-06-03 Sentinelle Medical Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
JP5163713B2 (ja) * 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US9332926B2 (en) 2010-11-25 2016-05-10 Invivo Corporation MRI imaging probe
US20120173185A1 (en) * 2010-12-30 2012-07-05 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
WO2013049597A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
DE102011084264A1 (de) * 2011-10-11 2013-04-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Kalibrieren eines Umfeldsensors
JP6167567B2 (ja) * 2013-03-07 2017-07-26 オムロン株式会社 撮像装置、回転角推定方法、および、回転角推定プログラム
EP2973217B1 (en) 2013-03-15 2023-10-25 Hologic, Inc. System and method for reviewing and analyzing cytological specimens
CN103743410A (zh) * 2013-12-20 2014-04-23 河北汉光重工有限责任公司 一种基于蒙特卡罗的超视距目标定位精度分析方法
US9384662B2 (en) 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle
JP6464595B2 (ja) * 2014-07-25 2019-02-06 株式会社デンソー センサ取付角度検出装置、およびセンサ取付角度検出プログラム
KR101755813B1 (ko) * 2015-07-20 2017-07-19 현대자동차주식회사 주차 조향 보조 시스템 및 그 주차 궤적 보정 방법
JP6512015B2 (ja) * 2015-07-27 2019-05-15 日産自動車株式会社 キャリブレーション方法
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
CN105675014B (zh) * 2016-01-07 2018-08-10 北京电子工程总体研究所 一种复合探测***基准轴偏差标定方法和标定***
CN109643125B (zh) * 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶***的逼真的3d虚拟世界创造与模拟
JP6801566B2 (ja) * 2017-04-25 2020-12-16 トヨタ自動車株式会社 移動ロボット
WO2019035363A1 (ja) * 2017-08-18 2019-02-21 株式会社小糸製作所 認識センサおよびその制御方法、自動車、車両用灯具、オブジェクト識別システム、オブジェクトの識別方法
JP2019078582A (ja) 2017-10-23 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019132700A (ja) * 2018-01-31 2019-08-08 シナノケンシ株式会社 マーカーおよび測定方法
DE102018205065A1 (de) 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Verfahren zur Kalibrierung eines Positionssensors in einem Fahrzeug, Computerprogramm, Speichermittel, Steuergerät und Kalibrierstrecke
CN110633336B (zh) * 2018-06-05 2022-08-05 杭州海康机器人技术有限公司 激光数据搜索范围的确定方法、装置及存储介质
WO2020010043A1 (en) 2018-07-06 2020-01-09 Brain Corporation Systems, methods and apparatuses for calibrating sensors mounted on a device
JP6717887B2 (ja) * 2018-07-12 2020-07-08 ファナック株式会社 距離補正機能を有する測距装置
WO2020045057A1 (ja) * 2018-08-31 2020-03-05 パイオニア株式会社 姿勢推定装置、制御方法、プログラム及び記憶媒体
JP2020032986A (ja) * 2018-08-31 2020-03-05 パイオニア株式会社 姿勢推定装置、制御方法、プログラム及び記憶媒体
CN110221313B (zh) * 2019-06-18 2021-04-16 广东嘉腾机器人自动化有限公司 Agv小车的激光雷达安装位置修正方法以及agv小车
JP7284011B2 (ja) * 2019-07-03 2023-05-30 株式会社ダイヘン 移動体
CN110455277B (zh) * 2019-08-19 2023-04-07 哈尔滨工业大学 基于物联网数据融合的高精度姿态测量装置与方法
CN112630751B (zh) * 2019-10-09 2024-06-18 中车时代电动汽车股份有限公司 一种激光雷达的标定方法
DE102019129600B4 (de) * 2019-11-04 2023-11-02 Evitado Technologies GmbH Portables Sensorsystem
US10814799B1 (en) * 2019-11-25 2020-10-27 GM Global Technology Operations LLC Mitigation of errant signal effects on an image sensor of a vehicle
CN112148006A (zh) * 2020-09-17 2020-12-29 常州锦瑟医疗信息科技有限公司 路径规划辅助调整设备及控制方法
CN113188570A (zh) * 2021-04-27 2021-07-30 西南石油大学 一种基于支持向量分类机和k邻近法的随钻测斜仪姿态误差标定方法
CN113847874B (zh) * 2021-08-20 2022-11-11 天津大学 一种基于视觉的位移台位移方向标定方法
US20230089832A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Calibration courses and targets

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313212A (ja) 1995-05-17 1996-11-29 Yaskawa Electric Corp 距離画像の統合方法
JP3453734B2 (ja) 1996-08-07 2003-10-06 株式会社小松製作所 キャリブレーション方法
GB2336057B (en) * 1998-04-02 2002-05-08 Discreet Logic Inc Producing image data in a virtual set
JP2002046087A (ja) 2000-08-01 2002-02-12 Mitsubishi Heavy Ind Ltd 3次元位置計測方法及び計測装置並びにロボット制御装置
JP2002202122A (ja) * 2001-01-05 2002-07-19 Olympus Optical Co Ltd 2次元距離画像センサのキャリブレーション方法
JP2003259357A (ja) 2002-03-05 2003-09-12 Mitsubishi Electric Corp カメラのキャリブレーション方法及びカメラのアタッチメント
DE102004033114A1 (de) * 2004-07-08 2006-01-26 Ibeo Automobile Sensor Gmbh Verfahren zur Kalibrierung eines Abstandsbildsensors
JP2006252473A (ja) 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP4501003B2 (ja) 2005-07-15 2010-07-14 国立大学法人静岡大学 顔姿勢検出システム
JP4885584B2 (ja) * 2006-03-23 2012-02-29 株式会社スペースビジョン レンジファインダ校正方法及び装置

Also Published As

Publication number Publication date
US20090222229A1 (en) 2009-09-03
JP2009204532A (ja) 2009-09-10
EP2096460A2 (en) 2009-09-02
EP2096460A3 (en) 2011-06-22
US7822571B2 (en) 2010-10-26
EP2096460B1 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
JP5278728B2 (ja) 距離画像センサの校正装置及び校正方法
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
US9361687B2 (en) Apparatus and method for detecting posture of camera mounted on vehicle
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
US7697029B2 (en) Image display apparatus and method
JP5804185B2 (ja) 移動物***置姿勢推定装置及び移動物***置姿勢推定方法
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
CN102778754B (zh) 用于使车辆的投影装置的投影对齐的方法和装置
JP2008131250A (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
US20100157058A1 (en) Method and Device for Compensating a Roll Angle
CN101676686B (zh) 确定布置在车辆中的照相机的位置和取向的方法
JP2010239412A (ja) 車載カメラの校正装置、方法、及びプログラム
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP2006038843A (ja) 距離画像センサの較正方法
CN107229043B (zh) 一种距离传感器外参数标定方法和***
KR101782317B1 (ko) 3차원 스캐너를 이용한 로봇 캘리브레이션 장치 및 이를 이용한 로봇 캘리브레이션 방법
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
WO2018130605A1 (en) Method for calibrating a camera for a motor vehicle considering a calibration error, camera as well as motor vehicle
EP3699630A1 (en) System and method for compensating a motion of a vehicle component
KR101436097B1 (ko) 레이저 센서 기반 비접촉식 6-자유도 운동 측정 방법
US20230194688A1 (en) Method for determining a relative mounting position of a first sensor unit in relation to a second sensor unit on an industrial truck
JP2019052955A (ja) 測定装置、測定方法、及び、プログラム
CN113376617B (zh) 雷达标定结果准确性的评价方法、装置、存储介质及***
US12025751B2 (en) System and method for compensating a motion of a vehicle component

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130508

R151 Written notification of patent or utility model registration

Ref document number: 5278728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees