JP2004028727A - Monitoring system, monitoring method, distance correction device for the monitoring system, and distance correction method - Google Patents

Monitoring system, monitoring method, distance correction device for the monitoring system, and distance correction method Download PDF

Info

Publication number
JP2004028727A
JP2004028727A JP2002184018A JP2002184018A JP2004028727A JP 2004028727 A JP2004028727 A JP 2004028727A JP 2002184018 A JP2002184018 A JP 2002184018A JP 2002184018 A JP2002184018 A JP 2002184018A JP 2004028727 A JP2004028727 A JP 2004028727A
Authority
JP
Japan
Prior art keywords
distance
data
calculated
image data
monitoring area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002184018A
Other languages
Japanese (ja)
Other versions
JP4032843B2 (en
Inventor
Keiji Hanawa
塙　圭二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2002184018A priority Critical patent/JP4032843B2/en
Publication of JP2004028727A publication Critical patent/JP2004028727A/en
Application granted granted Critical
Publication of JP4032843B2 publication Critical patent/JP4032843B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve recognition accuracy by integrating distance image data representing a two-dimensional distribution of distances specifiable from an image, and distance measured data representing a two-dimensional distribution of distances calculated by a distance calculation. <P>SOLUTION: A stereo image processing part 7 outputs distance image data based on a pair of image data. A laser radar 10 outputs a two-dimensional distribution of distances in a monitored area as measured distance data. A recognition part 12 divides the distance image data into a plurality of sections and calculates distances based on a parallax group present in the division. Then, the respective divided sections and the corresponding calculated distances form calculated distance data. Further, a data correction part 13 specifies a distance at a predetermined position on the measured distance data as a first distance. By specifying a section indicating a distance to a three-dimensional object in the calculated distance data, and the distance calculated relating to the specified section is used for correcting the first distance. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、監視領域内の状況を監視する監視システムおよび監視方法に関し、また、この監視システムにおける距離補正装置および距離補正方法にも関する。
【０００２】
【従来の技術】
近年、所定の監視領域内の状況を監視する監視装置が注目・実用化されている。この監視装置は、車両や航空機等の移動体に搭載され、或いは、支柱等の静止体に固定されている。前者の一例であるステレオ式車外監視装置は、車両に搭載されたステレオカメラによって所定の監視領域内の景色を撮像し、これにより得られた情報に基づいて、走行状況を認識する。ステレオ式監視装置では、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）が、ステレオマッチングによって算出される。画像に写し出されたある対象物の実空間上の位置（三次元的な位置）は、その対象物に関して算出された視差と画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
さらに、監視精度の一層の向上を目的として、ステレオカメラとレーザレーダとを併用した監視装置も提案されている。例えば、特開平７−１２５５６７号公報および特開平７−３２０１９９号公報には、レーザレーダで監視領域内の対象物の位置を検出するとともに、監視領域内の景色を撮像した画像平面上において、この検出位置に対応する領域に処理エリアを設定する技術が開示されている。そして、画像平面上に設定された処理エリアを処理対象として、ステレオマッチングを行うことにより、対象物までの距離を検出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された従来技術では、レーザレーダからのデータに基づき、処理エリアを設定した上で、この処理エリアを処理対象としたステレオマッチングを行う必要がある。そのため、複雑な処理が必要となり、システム構成の複雑化を招くため好ましくない。また、距離センサは、距離の算出精度には優れるものの、先行車等以外の物体に関しては、検出精度があまり高くないという問題がある。そのような物体の典型例としては歩行者が挙げられる。歩行者は、画像処理による検出が比較的容易である反面、レーザレーダでは検出し難い物体である。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオカメラにより得られる距離画像データと、レーザレーダより得られる距離測定データとを統合することによって、対象物の認識精度の一層の向上を図ることである。
【０００６】
また、この発明の別の目的は、予め設定された消失点を用いて対象物に関する三次元情報を求める場合、この設定消失点を補正することにより、対象物に関する三次元情報の精度の一層の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、この画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。さらに、データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が、第１の距離に補正される。このとき、認識部は、補正部によって補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００８】
また、第２の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、この監視領域内の距離の二次元的な分布を距離測定データとして出力する。また、認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。また、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とが比較されることにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離が決定される。このとき、認識部は、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００９】
ここで、第２の発明において、データ補正部は、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定することが好ましい。
【００１０】
この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定することが好ましい。または、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１１】
あるいは、この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定することが好ましい。また、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１２】
また、第３の発明は、監視システムの距離補正装置において、ステレオカメラと、ステレオ画像処理部と、認識部と、視差補正部とを有する監視システムの距離補正装置を提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。レーザレーダは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。そして、この距離算出データに基づき立体物が認識される。視差補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とに基づきパラメータが算出される。
【００１３】
また、第４の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を、第１の距離に補正する。そして、第５のステップは、第４のステップにおいて補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１４】
また、第５の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を第２の距離として特定する。第５のステップは、第１の距離と第２の距離とを比較することにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する。第６のステップは、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１５】
ここで、第５の発明において、第２のステップは、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定する。
【００１６】
この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１７】
また、この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１８】
さらに、第６の発明は、監視システムの距離補正方法を提供する。この距離補正方法において、第１のステップは、監視領域を含む景色を撮像し、一対の画像データを出力する。第２のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。第３のステップは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。第４のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第５のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第６のステップは、距離算出データにおいて、監視領域内の立体物までの距離を示す区分を特定する。第７のステップは、特定された区分に対応付けられた監視領域内の距離を第２の距離として特定する。第８のステップは、第１の距離と第２の距離とに基づきパラメータを算出する。第９のステップは、算出された距離算出データに基づき立体物を認識する。
【００１９】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかるステレオ式監視システムのブロック構成図である。このステレオ式監視システム１は、自動車等の車両に搭載され、車両前方の走行状況を監視する。車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２０】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、後段の画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関する距離画像データＤｐを算出する。ここで、「距離画像データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄの算出単位は、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロックであり、１つの画素ブロックより１つの視差が算出される。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２４】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を１画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離画像データＤｐ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合が、距離データメモリ９に格納される。
【００２７】
また、ステレオ式監視システム１において、監視領域内の距離を測定するレーザレーダ１０が、車両前部に取り付けられている。このレーザレーダ１０は、図３に示すように、縦長のレーザビーム（例えば、上下方向に±２°、左右方向に０．０３°）を照射し、地面より高い位置にある監視領域内の立体物の距離を検出する。図４に示すように、このレーザレーダ１０は、一定間隔毎にレーザビームを発光・受光しながら、所定の走査範囲内で水平方向の走査を行うことにより、距離を順次検出していく。そして、走査範囲内の一連の検出動作にともない、それぞれの走査位置に対応した所定個数の測定値の集合が距離測定データＤｍとして算出される。換言すれば、この距離測定データＤｍは、監視領域内における距離の二次元的な分布である。この検出動作は、カメラ２，３の撮像動作とタイミングを同期して行われ、１フレーム相当の画像データの出力と対応して、距離測定データＤｍがマイクロコンピュータ１１（具体的には、データ補正部１３）に出力される。
【００２８】
マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１２、データ補正部１３および制御部１４を有する。
【００２９】
認識部１２は、画像データまたは距離画像データＤｐに基づき、監視領域内の道路形状を特定する。そして、距離画像データＤｐにより規定される二次元平面を複数の区分に分割し、特定された道路形状に基づき、区分内に存在する視差群に基づいて監視領域内の距離が算出される。そして、分割された区分のそれぞれと、この算出された距離とが対応付けられた距離算出データＤｃが算出される。なお、この距離算出データＤｃに関して、各区分に対応付けられた距離は、それぞれ補正可能な値であり、データ補正部１３において補正される。認識部１２は、データ補正部１３によって補正された距離算出データＤｃ’に基づき、監視領域内の立体物を認識する。
【００３０】
データ補正部１３は、レーザレーダ１０の出力データである距離測定データＤｍに基づき、認識部１２の出力データである距離算出データＤｃを補正し、それを距離算出データＤｃ’として認識部１２に出力する。
【００３１】
制御部１４は、認識部１２における認識結果に基づき、必要に応じて、図示しない警報装置や制御装置等の制御を行う。例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させて、ドライバーの注意を喚起する。また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。
【００３２】
図５は、第１の実施形態にかかる監視手順を示したフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１１によって実行される。まず、ステップ１において、認識部１２は、一対の画像データ（以下、単に「画像データ」と称する）を画像データメモリ８から読み込み、また、この画像データに対応する距離画像データＤｐを距離データメモリ９から読み込む。
【００３３】
ステップ２において、認識部１２は、画像データまたは距離画像データＤｐに基づき、監視領域内の道路形状を特定する。この処理では、道路モデルのパラメータを実際の道路形状に対応するよう補正・変更することで、道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。なお、道路モデルの詳細については、本出願人によって既に出願されている特開２００１−１６０１３７号公報に開示されているので、必要ならば参照されたい。
【００３４】
ステップ３において、認識部１２は、距離算出データＤｃを算出する。この距離算出データＤｃは、以下に説明するように、距離画像データＤｐにより規定される二次元平面を複数の区分に分割し、それぞれの区分に関して一つ算出される代表距離の集合である。ある区分に関する代表距離は、その区分内に存在する視差群より一義的に算出される。
【００３５】
具体的には、図６に示すように、まず、読み込まれた距離画像データＤｐによって規定されるｉｊ平面を、所定の間隔で（例えば、水平方向に４画素間隔）で分割することにより、格子状（縦短冊状）の複数の区分を規定する。そして、水平方向に並んだ複数の区分のうち、一つの区分（例えば、一番左端の区分）が選択される。
つぎに、選択された区分において、この区分内に存在する全データの中から、任意のデータ（例えば、（ｉ，ｊ）位置が最も原点に近いデータ）が選択される。ここで、「データ」とは、位置（ｉ，ｊ）に対応付けられた視差ｄをいう。そして、選択されたデータについて、周知の座標変換式に基づき、三次元位置（ｘ，ｙ，ｚ）が算出される。自車両の位置を基準に設定された実空間の座標系は、メインカメラ２の中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。そして、上述した道路モデルの直線式を使って、この距離ｚにおける道路面の高さが算出される。この道路面の高さと、座標変換されたデータの高さを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。
【００３６】
このとき、道路面からの高さの差が小さい（例えば、高さが０．１ｍ程度以下）データは、道路上の白線や汚れ、影等に関するデータとみなす。この場合、認識部１２は、以下の処理において、このデータを取り扱わない。一方、その高さが自車両の高さより上にあるデータは、歩道橋や標識等に関するデータとみなし、認識部１２は、以下の処理において、このデータを取り扱わない。これにより、道路上の立体物と推定されるデータ、すなわち、道路面よりも高く、自車両の車高よりも低いデータのみが、立体物データとして選別される。
【００３７】
その後、この区分内の全データについて、同様の処理が繰り返し実行されて、その区分内の立体物データが順次抽出される。例えば、ｉ座標を基準に、ｊ座標を０〜１９９まで順次シフトしながらデータを選択していき、そして、隣のｉ座標（ｉ＋１座標）に移り、同様に、ｊ座標を順次シフトしながらデータの選択が行われるといった如くである。
【００３８】
そして、１つの区分内において、上述した立体物の推定処理が完了すると、抽出された立体物データに関し、ヒストグラム（距離頻度分布）が作成される。この距離頻度分布は、予め設定された距離（例えば、１５ｍ）の区間に含まれる立体物データの個数を数えることで、距離ｚを横軸とした立体物データの頻度として表される。この距離頻度分布が作成されたら、分布の度数が所定のしきい値以上で、かつ、最頻距離となる区間を検出する。このとき、認識部１２は、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。そして、その区間内に存在する個数相当の距離の平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離として算出される。
【００３９】
一般に、ステレオマッチングによって算出される距離画像データＤｐは、ミスマッチング等の影響によって、誤差データを含むことが多い。このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。そこで、作成された距離頻度分布において、予め設定したしきい値以上かつ最大値をとる区間があれば、その区間に立体物が存在すると判断し、また、度数の最大値が判定値以下の場合は物体が存在しないと判断することが好ましい。なぜならば、ある程度の大きさの立体物がある場合には、その区間の度数が大きくなる傾向があり、一方、物体が何も存在しない場合には、たとえ誤ったデータが存在したとしても、発生する度数が小さくなる傾向があるからである。これにより、データに多少のノイズが含まれている場合においても、この影響を最小限にして立体物を検出することができる。
【００４０】
そして、次の区分（例えば、左端から２番目の区分）のデータが順次選択され、道路面より上にあるデータの抽出、距離頻度分布の作成、および、区間内での立体物の存在と、立体物までの距離の算出がデータ毎に行われる。そして、この処理が分割された距離画像データＤｐの全ての区分について行われる。これにより、分割された複数の区分と、それぞれの区分内に関する視差群に基づき特定された監視領域内の距離とが対応付けられた距離算出データＤｃが算出される。
【００４１】
図７は、距離算出データＤｃに関する区分毎に検出した対象物までの距離を説明するための図である。同図において、区分毎の距離に対応する実空間上の位置とが、実線と点とで示されている。ここで、図４を再び参照してみると、レーザレーダ１０からの出力をベースにした距離測定データＤｍは、ステレオカメラからの出力、すなわち、画像をベースにした距離算出データＤｃと類似したデータであることがわかる。両データＤｃ，Ｄｍは、メインカメラ２またはレーザレーダ１０から立体物までの距離を放射状に測定したデータであり、レーザレーダ１０のスキャン毎の距離は、図７に示す距離算出データＤｃの区分毎の距離と対応している。そこで、第１の実施形態では、以下、説明するように両データＤｃ，Ｄｍを統合させることで、距離算出データＤｃの原形としての距離画像データＤｐと距離測定データＤｍとのデータの統合を図っている。
【００４２】
ステップ３に続くステップ４において、データ補正部１３は、画像ベースで算出された距離算出データＤｃを補正する。図８は、ステップ４における補正手順を示す詳細なフローチャートである。前提として、データ補正部１３は、認識部１２から出力された距離算出データＤｃを取得しているものとする。また、データ補正部１３は、この距離算出データＤｃが算出された距離画像データＤｐ（より具体的には、この距離画像データＤｐの元画像である一対の画像データ）に対応するレーザレーダ１０から出力された距離測定データＤｍを取得しているものとする。ここで、レーダをベースにした距離測定データＤｍにおける測定値の個数をｍ個と定める。また、この距離測定データＤｍにおいて、その測定値のデータ上での位置を特定するため、走査範囲左から右にかけて、走査位置と測定値とを対応付けるとともに、１〜ｍまでの番号を昇順に割り当てる。
【００４３】
まず、ステップ４０において、レーダをベースにした距離測定データＤｍ上の処理対象とする位置を特定する変数ｎとして１がセットされる。このとき、データ補正部１３は、取得したレーダベースの距離測定データＤｍに関し、走査範囲の測定回数ｍを把握しており、処理対象とする測定値の最大個数Ｍｍａｘとして、ｍがセットされる。
【００４４】
そして、ステップ４１において、レーダベースの距離測定データＤｍ上のｎ番目の位置において、特定すべき測定値が存在するか否かが判断される。このステップ４１で肯定判定された場合、すなわち、位置ｎに測定値（データ）が存在すると判断された場合、データ補正部１３は、ステップ４２に進み、この位置ｎに対応するデータを第１の距離Ｌ１として特定する。換言すれば、距離測定データＤｍ上の所定位置における監視領域内の立体物までの距離が、第１の距離Ｌ１として特定される。一方、この判断で否定判定された場合、すなわち、位置ｎに測定値が存在しないと判断された場合、データ補正部１３は、後述するステップ４７に進む。
【００４５】
ステップ４２に続くステップ４３において、レーダベースの距離測定データＤｍ上の位置ｎに対応する画像ベースの距離算出データＤｃ上の区分が特定される。換言すれば、このステップ４３では、画像ベースの距離算出データＤｃにおいて、監視領域内の立体物（正確には、レーダベースの距離測定データＤｍ上の位置ｎから特定された距離Ｌ１に相当する立体物）までの距離を示す区分が特定される。レーダベースの距離測定データＤｍ上の位置ｎと、画像ベースの距離算出データＤｃ上の区分との間には相関があり、以下に示す数式２および３に基づく数式４から、一義的に特定される。
【数２】
ｚｏ＝Ｌ１×ｃｏｓθｓ＋ｄｚ
ｘｏ＝Ｌ１×ｓｉｎθｓ＋ｄｘ
【００４６】
ここで、数式２は、図９に示すように、レーダベースの距離測定データＤｍ上の位置ｎに対応する立体物Ｏの実空間上での座標位置（ｘｏ，ｚｏ）を示す。なお、θｓは、ｚ軸に平行するレーザレーダ１０の走査方向を基準として、データ上の位置ｎに対応するレーザレーダ１０から立体物Ｏまでの傾き（左側への傾きを「＋θ」、右側への傾きを「−θ」）である。このとき、ｚ軸方向を基準としたメインカメラ２から見た立体物Ｏまでの角度θｃは、数式３で表される。
【数３】
θｃ＝ｔａｎ−１（ｘｏ／ｚｏ）
【００４７】
【数４】
Ｎ＝Ｎｃｅｎ＋θｃ／ｄθｃ
【００４８】
ここで、Ｎは、画像ベースの距離算出データＤｃにおいて、一番左側に位置する区分を１として、それと隣り合う方向に存在するそれぞれの区分に昇順で番号を付した際の、区分の番号を示している。また、Ｎｃｅｎはｚ軸延在方向に対応する距離算出データＤｃ上の区分の番号を示し、ｄθｃは区分の間隔（例えば、４画素幅の場合、０．２°）を示している。そして、数式４によって算出された区分Ｎに基づき、この区分Ｎに対応付けられた立体物までの距離ｌが第２の距離Ｌ２として特定される。
【００４９】
そして、ステップ４４において、第１の距離Ｌ１と第２の距離Ｌ２とが比較される。そして、この比較結果に応じて、画像をベースにした距離算出データＤｃ上の区分Ｎに対応付けられた監視領域内の距離ｌを補正する補正値として、第３の距離Ｌ３が決定される。第１の実施形態では、第１の距離Ｌ１と第２の距離Ｌ２との差（具体的には、両者の絶対値（｜Ｌ１−Ｌ２｜））が、所定のしきい値Ｌｔｈ以下であるか否かにより、その第３の距離Ｌ３の値が決定される。
【００５０】
このステップ４４で肯定判定された場合、データ補正部１３は、第１の距離Ｌ１と第２の距離Ｌ２とが近似する値であると判断する。そして、ステップ４５に進み、第３の距離Ｌ３として、レーザレーダ１０からの出力をベースにしたＬ１（第１の距離）がセットされる。そして、これにともない画像ベースの距離算出データＤｃにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第１の距離Ｌ１に補正される。
【００５１】
一般に、画像をベースにした距離画像データＤｐ、或いは、その変形である距離算出データＤｃは、大小様々な物体（特に小さいな物体）を広く検出できるため、検出精度の点で有利である。一方、レーダをベースにした距離測定データＤｍは、検出精度の点ではステレオカメラより劣るものの、計測された距離の信頼性（測距精度）の点で有利である。そこで、第１の実施形態では、レーダをベースにした第１の距離Ｌ１に優位性を持たせ、この値を信頼することで、監視精度の信頼性の向上を図っている。
【００５２】
一方、先のステップ４４で否定判定された場合には、データ補正部１３は、第１の距離Ｌ１と第２の距離Ｌ２とが異なる値であると判断する。そして、ステップ４６に進み、第３の距離Ｌ３として、ステレオカメラからの出力をベースにしたＬ２（第２の距離）がセットされる。これにより、画像ベースの距離算出データＤｃにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第２の距離Ｌ２に補正される（すなわち、距離ｌがそのまま維持される）。
【００５３】
一般に、レーダをベースにした距離Ｌ１と、画像をベースにした距離Ｌ２とに関して、ある区分に存在する同一物体の距離を示す限り、両者の値が大きく異なることは少ない。しかしながら、別個の物体の距離を示す場合、或いは、両者の測距原理の相違が顕著に出現する場合には、距離Ｌ１，Ｌ２が異なってしまうことがある。そこで、このような場合には、様々な物体を高精度に検出可能な画像ベースの距離算出データＤｃを優先し、画像ベースの距離Ｌ２を採用する。これにより、監視精度の信頼性の向上を図る。
【００５４】
そして、ステップ４７において、Ｍｍａｘとｎが一致するか否かが判断される。このステップ４７で肯定判定された場合、データ補正部１３は、画像をベースにした距離算出データＤｃとレーダをベースにした距離測定データＤｍとの統合が全ての位置ｎにおいて行われたと判断し、本ルーチンを抜ける。一方、このステップ４７で否定判定された場合、ステップ４８に進み、変数ｎとして、ｎ＋１がセットされる。そして、ｎがＭｍａｘと一致するまで、上述した処理が繰り返し実行される。
【００５５】
そして、図５のステップ４に続くステップ５において、認識部１２は、距離算出データＤｃ’（すなわち、データ補正部１３によって補正された距離算出データＤｃ）に基づき、立体物の認識を行う。具体的には、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物或いは壁部に分類される。ここで、立体物とは先行車、人或いは障害物等をいい、壁部とはガードレール等の道路側部の側壁をいう。そして、立体物と分類されたグループについて、グループ内のデータから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。そして、制御部１４は、認識された先行車、人或いは障害物までの距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００５６】
なお、この立体物或いは壁部の認識に際してグループのパラメータを算出するが、このとき、補正された距離算出データＤｃ’において、グループを構成する区分のなかに、第１の距離Ｌ１に補正された距離が含まれていることがある。この場合には、この補正された距離Ｌ１のみを使って、グループの距離が算出されることが好ましい。上述したように、レーザレーダ１０は、測距精度が高いので、その値のみを使用することで、測距精度の向上が図れるからである。なお、グループを構成する区分の中に補正された距離が複数存在する場合には、それらの平均値を用いることがより好ましい。
【００５７】
以上説明したように、第１の実施形態のステレオ式監視システム１によれば、画像をベースにした距離算出データＤｃとレーダをベースにした距離測定データＤｍとをデータ上で統合することができる。これにより、大小様々な物体を広く検出できるステレオ画像認識の長所と、計測された距離の信頼性に優れるレーザレーダ１０の長所との両立を図ることができるので、監視精度における信頼性の一層の向上を図ることができる。また、第１の実施形態のステレオ式監視システム１によれば、従来の技術のように、レーザレーダ１０からのデータに基づき、処理エリアを設定し、この処理エリアのみを処理対象としてステレオマッチングを行う等といった煩雑な作業が必要とされないので、このための機器や部品を省略することができる。
【００５８】
なお、第１の実施形態において、第１の距離Ｌ１と第２の距離Ｌ２と差がしきい値以下である場合、この両者Ｌ１とＬ２との平均値を第３の距離Ｌ３として決定してもよい。また、第１の実施形態では、第１の距離Ｌ１と第２の距離Ｌ２とを比較したが、レーダベースの距離測定データＤｍにおける測距精度に信頼性をおき、このデータの値を常に採用することも可能である。換言すれば、特定された区分Ｎに対応付けられた監視領域内の距離ｌを、常に第１の距離Ｌ１に補正してもよい。
【００５９】
（第２の実施形態）
図１０は、第２の実施形態にかかる監視処理の詳細な手順を示すフローチャートである。第２の実施形態にかかる監視手順が、第１の実施形態にかかる手順と相違する点は、同図に示すステップ６以降の処理の手法であり、同様の手順については、ここでの説明を省略する。
【００６０】
具体的には、第２の実施形態と、第１の実施形態との相違は、視差補正を行うことである。レーダをベースにした距離測定データＤｍと、画像をベースにした距離算出データＤｃとに関して、ある区分に存在する同一物体の距離を示す限り、両者の距離の値が異なることは好ましくない。そこで、第２の実施形態では、図１１に示すように、ステレオ式監視システム１ａは、視差補正部１５において、画像ベースの距離算出データＤｃがレーダベースの距離測定データＤｍと一致するように、距離の誤差を補正する。
【００６１】
この視差補正部１５は、レーザレーダ１０から出力された距離測定データＤｍと、認識部１２から出力された距離算出データＤｃとに基づき、消失点視差ｄｐを算出する。ここで、消失点視差ｄｐは、距離補正値としてのパラメータである。そして、この算出された消失点視差ｄｐ（正確には、複数の消失点視差ｄｐの平均値である消失点視差ｄｐ’）が、認識部１２に反映される。これにより、認識部１２は、この消失点視差ｄｐ’に基づき、画像をベースにした距離算出データＤｃ’を新たに算出し、監視領域内の立体物を認識することができる。
【００６２】
図１２は、図１０に示すステップ６における詳細な手順を示したフローチャートである。なお、ここで、ステップ６０〜ステップ６３については、上述したステップ４０〜ステップ４３と同様であるため、ここでの詳細な説明は省略する。
【００６３】
ステップ６４において、視差補正部１５は、第１の距離Ｌ１と第２の距離Ｌ２とに基づき、上述したパラメータとしての消失点視差ｄｐを算出する。具体的には、以下に示す数式５に基づき、画像をベースにした距離算出データＤｃにおける第２の距離Ｌ２を、レーダをベースにした距離測定データＤｍにおける第１の距離Ｌ１と一致させるように、消失点視差ｄｐが算出される。
【数５】
ｄｐ＝ｄｐｘ−ＫＺＨ／ｚ
【００６４】
ここで、数式５は、数式６で示される周知の座標変換式から特定される。
【数６】
ｚ＝ＫＺＨ／（ｄｐｘ−ｄｐ）
【００６５】
ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ｄｐｘはステレオカメラからの出力をベースにした第２の距離Ｌ２に対応する視差ｄである。そして、ｚにはレーザレーダ１０からの出力をベースにした測定値、すなわち、第１の距離Ｌ１が代入される。
【００６６】
なお、ステップ３において距離算出データＤｃを算出する時点では、このｄｐは０、または、初期設定値としての所定の値を使用すること好ましい。
【００６７】
そして、ステップ６５において、Ｍｍａｘとｎが一致するか否かが判断される。このステップ６５で肯定判定された場合、視差補正部１５は、距離算出データＤｃの全区分において、消失点視差ｄｐが算出されたと判断し、ステップ６７に進む。一方、このステップ６５で否定判定された場合、ステップ６６に進み、ｎがｎ＋１にセットされる。そして、ｎがＭｍａｘと一致するまで処理が繰り返し実行される。
【００６８】
そして、ステップ６５に続くステップ６７において、この算出された全部の消失点視差ｄｐの平均値ｄｐ’が算出されて、本ルーチンを抜ける。
【００６９】
ステップ６に続くステップ７において、認識部１２は、再度、距離画像データＤｐを複数の区分に分割する。そして、区分内に存在する視差群と消失点視差ｄｐ’とに基づき、数式６を含む周知の座標変換式を用いて、三次元位置が算出される。そして、上述したステップ３で示した手法と同様の手順により、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データＤｃ’が算出される。この距離算出データＤｃ’は、座標変換された時点で、レーダをベースにした距離測定データＤｍとの統合が成されているため、第１の実施形態で述べた補正された距離算出データＤｃ’と略同一なデータとして算出される。
【００７０】
そして、ステップ８において、認識部１２は、この補正された距離算出データＤｃ’に基づき、立体物の認識を行う。これにともない、制御部１４は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００７１】
なお、ステップ６において、消失点視差ｄｐ’が一度算出されてしまえば、以降の処理でこの値を引き続き使用することができる。したがって、次に処理対象とするフレームについては、ステップ３〜６の処理はスキップすることができる。ただし、この消失点視差ｄｐ（或いは、消失点視差ｄｐ’）を、所定フレーム間隔で特定することで、適宜最適な消失点視差ｄｐを採用できるので好ましい。
【００７２】
以上説明したように、第２の実施形態のステレオ式監視システム１ａによれば、設定消失点を補正することにより、対象物に関する三次元情報の精度の向上を図ることができる。
【００７３】
なお、本実施形態では、車外監視を例にとって説明したが、本発明がこれに限定されるものではない。このような手法を用いた適用例としては、ステレオ画像処理とレーザレーダを併用した踏切監視、地形認識または高度測定といった様々な用途に適用可能である。
【００７４】
【発明の効果】
このように、本発明によれば、レーザレーダからの出力データとしての距離測定データの所定位置における距離を用いて、認識部からの出力データとしての距離算出データ上における対応する区分の距離を補正している。これにより、距離測定データと距離算出データとが統合されたデータを用いて立体物を認識することができるので、監視精度の向上を図ることができる。
【図面の簡単な説明】
【図１】第１の実施形態にかかるステレオ式監視システムを示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】レーザレーダの距離検出を示す説明図
【図４】レーザレーダの距離検出を示す説明図
【図５】第１の実施形態にかかる監視手順を示したフローチャート
【図６】格子状に分割された距離画像データの説明図
【図７】距離算出データに関する区分毎に検出した対象物までの距離の説明図
【図８】図５に示すステップ４における補正手順を示す詳細なフローチャート
【図９】距離測定データと距離算出データとの相関を示した説明図
【図１０】第２の実施形態にかかる監視処理の詳細な手順を示すフローチャート
【図１１】第２の実施形態にかかるステレオ式監視システムを示すブロック図
【図１２】図１０に示すステップ６における詳細な手順を示したフローチャート
【符号の説明】
１，１ａ　　ステレオ式監視システム
２　　　　　メインカメラ
３　　　　　サブカメラ
４　　　　　Ａ／Ｄコンバータ
５　　　　　Ａ／Ｄコンバータ
６　　　　　画像補正部
７　　　　　ステレオ画像処理部
８　　　　　画像データメモリ
９　　　　　距離データメモリ
１０　　　　　レーザレーダ
１１　　　　　マイクロコンピュータ
１２　　　　　認識部
１３　　　　　データ補正部
１４　　　　　制御部
１５　　　　　視差補正部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system and a monitoring method for monitoring a situation in a monitoring area, and also relates to a distance correction device and a distance correction method in the monitoring system.
[0002]
[Prior art]
In recent years, monitoring devices that monitor the situation in a predetermined monitoring area have attracted attention and practical application. This monitoring device is mounted on a moving body such as a vehicle or an aircraft, or is fixed to a stationary body such as a support. A stereo-type vehicle exterior monitoring device, which is an example of the former, captures a scene in a predetermined monitoring area with a stereo camera mounted on a vehicle, and recognizes a traveling state based on information obtained thereby. In the stereo monitoring device, a positional deviation amount (that is, parallax) related to the same object projected on a pair of captured images (stereo images) is calculated by stereo matching. The real space position (three-dimensional position) of an object projected on the image can be calculated by a well-known coordinate conversion formula based on the parallax calculated for the object and the position on the image plane. It is.
[0003]
Furthermore, for the purpose of further improving the monitoring accuracy, a monitoring device using a stereo camera and a laser radar in combination is also proposed. For example, in Japanese Patent Laid-Open Nos. 7-125567 and 7-320199, the position of an object in a monitoring area is detected by a laser radar, and on the image plane in which a scene in the monitoring area is imaged. A technique for setting a processing area in an area corresponding to a detection position is disclosed. And the distance to a target object is detected by performing stereo matching for the processing area set on the image plane as a processing target.
[0004]
[Problems to be solved by the invention]
However, in the prior art disclosed in the above publication, it is necessary to set a processing area based on data from a laser radar and then perform stereo matching with this processing area as a processing target. For this reason, complicated processing is required, and the system configuration is complicated. Further, although the distance sensor is excellent in distance calculation accuracy, there is a problem that the detection accuracy is not so high for an object other than the preceding vehicle or the like. A typical example of such an object is a pedestrian. Pedestrians are objects that are relatively easy to detect by image processing, but are difficult to detect by laser radar.
[0005]
The present invention has been made in view of such circumstances, and an object thereof is to recognize an object by integrating distance image data obtained by a stereo camera and distance measurement data obtained by a laser radar. This is to further improve the accuracy.
[0006]
Another object of the present invention is to further improve the accuracy of the three-dimensional information about the object by correcting the set vanishing point when obtaining the three-dimensional information about the object using a preset vanishing point. It is to improve.
[0007]
[Means for Solving the Problems]
In order to solve such a problem, a first invention is a monitoring system for monitoring a situation in a monitoring area, and includes a stereo camera, a stereo image processing unit, a laser radar, a recognition unit, and a data correction unit. Provide a monitoring system. Here, the stereo camera captures a scene including the monitoring area and outputs a pair of image data. The stereo image processing unit calculates a parallax by stereo matching based on a pair of image data, and a parallax group related to the image data corresponding to one frame and a position on the image plane defined by the image data. The associated distance image data is output. Further, the laser radar measures the distance in the monitoring area and outputs a two-dimensional distribution of the distance in the monitoring area as distance measurement data. The recognizing unit divides the two-dimensional plane defined by the distance image data into a plurality of sections, and calculates a distance in the monitoring area based on a parallax group existing in the section. Then, distance calculation data in which each of the divided sections is associated with the calculated distance is calculated. Further, the data correction unit specifies the distance to the three-dimensional object in the monitoring area at the predetermined position on the distance measurement data as the first distance. Then, by specifying a section indicating the distance to the three-dimensional object in the distance calculation data, the distance calculated for the specified section is corrected to the first distance. At this time, the recognition unit recognizes a three-dimensional object in the monitoring area based on the distance calculation data corrected by the correction unit.
[0008]
According to a second aspect of the present invention, there is provided a monitoring system that monitors a situation in a monitoring area, and includes a stereo camera, a stereo image processing unit, a laser radar, a recognition unit, and a data correction unit. Here, the stereo camera captures a scene including the monitoring area and outputs a pair of image data. The stereo image processing unit calculates a parallax by stereo matching based on a pair of image data, and a parallax group related to image data corresponding to one frame and a coordinate position on an image plane defined by the image data are obtained. The associated distance image data is output. Further, the laser radar measures the distance in the monitoring area and outputs a two-dimensional distribution of the distance in the monitoring area as distance measurement data. The recognizing unit divides the two-dimensional plane defined by the distance image data into a plurality of sections, and calculates a distance in the monitoring area based on a parallax group existing in the section. Then, distance calculation data in which each of the divided sections is associated with the calculated distance is calculated. The data correction unit specifies the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance. Further, by specifying a section indicating the distance to the three-dimensional object in the distance calculation data, the distance calculated for the specified section is specified as the second distance. Then, by comparing the first distance and the second distance, a third distance is determined as a correction value for correcting the distance calculated for the specified section. At this time, the recognition unit recognizes a three-dimensional object in the monitoring area based on the corrected distance calculation data.
[0009]
Here, in the second invention, when the data correction unit determines that there is a measurement value corresponding to the distance to the three-dimensional object at a predetermined position on the distance measurement data, the measurement value is set as the first distance. It is preferable to determine.
[0010]
In this case, when the difference between the first distance and the second distance is within a predetermined threshold, the data correction unit preferably determines the first distance as the third distance. Alternatively, the data correction unit preferably determines the second distance as the third distance when the difference between the first distance and the second distance is larger than a predetermined threshold.
[0011]
Alternatively, in this case, when the difference between the first distance and the second distance is within a predetermined threshold, the data correction unit calculates an average value of the first distance and the second distance. It is preferable to determine the distance as 3. In addition, the data correction unit preferably determines the second distance as the third distance when the difference between the first distance and the second distance is larger than a predetermined threshold value.
[0012]
According to a third aspect of the present invention, there is provided a distance correction apparatus for a monitoring system, comprising a stereo camera, a stereo image processing unit, a recognition unit, and a parallax correction unit. Here, the stereo camera captures a scene including the monitoring area and outputs a pair of image data. The stereo image processing unit calculates parallax by stereo matching based on a pair of image data, and associates a parallax group related to image data corresponding to one frame with a coordinate position on an image plane defined by the image data. The obtained distance image data is output. The laser radar measures the distance in the monitoring area and outputs a two-dimensional distribution of the distance in the monitoring area as distance measurement data. The recognizing unit divides the two-dimensional plane defined by the distance image data into a plurality of sections, and calculates a distance in the monitoring area based on a parallax group existing in the section. Then, distance calculation data in which each of the divided sections is associated with the calculated distance is calculated. A three-dimensional object is recognized based on the distance calculation data. The parallax correction unit identifies the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance. And the distance calculated regarding this specified division is specified as the 2nd distance by specifying the section which shows the distance to a solid thing in distance calculation data. Then, the parameter is calculated based on the first distance and the second distance.
[0013]
The fourth invention provides a monitoring method for monitoring a situation in a monitoring area using distance image data and distance measurement data. Here, the distance image data is an image plane defined by a parallax group and image data related to image data corresponding to one frame calculated by stereo matching based on a pair of image data obtained by capturing a scene including a monitoring area. Are associated with each other. The distance measurement data is calculated as a two-dimensional distribution of distances by measuring the distance in the monitoring region by a laser radar. In this monitoring method, the first step divides the two-dimensional plane defined by the distance image data into a plurality of sections, calculates the distance in the monitoring area based on the parallax groups existing in the sections, and Distance calculation data in which each of the classified sections is associated with the calculated distance is calculated. In the second step, the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data is specified as the first distance. In the third step, a section indicating the distance to the three-dimensional object is specified in the distance calculation data. The fourth step corrects the distance calculated for the specified section in the distance calculation data to the first distance. In the fifth step, the three-dimensional object in the monitoring area is recognized based on the distance calculation data corrected in the fourth step.
[0014]
The fifth invention provides a monitoring method for monitoring a situation in a monitoring area using distance image data and distance measurement data. Here, the distance image data is an image plane defined by a parallax group and image data related to image data corresponding to one frame calculated by stereo matching based on a pair of image data obtained by capturing a scene including a monitoring area. Are associated with each other. The distance measurement data is calculated as a two-dimensional distribution of distances by measuring the distance in the monitoring region by a laser radar. In this monitoring method, the first step divides the two-dimensional plane defined by the distance image data into a plurality of sections, calculates the distance in the monitoring area based on the parallax groups existing in the sections, and Distance calculation data in which each of the classified sections is associated with the calculated distance is calculated. In the second step, the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data is specified as the first distance. In the third step, a section indicating the distance to the three-dimensional object is specified in the distance calculation data. In the fourth step, the distance calculated for the specified section is specified as the second distance in the distance calculation data. The fifth step determines the third distance as a correction value for correcting the distance calculated for the identified section by comparing the first distance and the second distance. In the sixth step, a three-dimensional object in the monitoring area is recognized based on the corrected distance calculation data.
[0015]
Here, in the fifth invention, when the second step determines that there is a measurement value corresponding to the distance to the three-dimensional object at a predetermined position on the distance measurement data, the measurement value is set to the first distance. Determine as.
[0016]
In this case, the fifth step determines the first distance as the third distance when the difference between the first distance and the second distance is within a predetermined threshold value. Alternatively, the fifth step preferably includes a step of determining the second distance as the third distance when the difference between the first distance and the second distance is larger than a predetermined threshold value. .
[0017]
In this case, in the fifth step, when the difference between the first distance and the second distance is within a predetermined threshold, the average value of the first distance and the second distance is calculated. The third distance is determined. Alternatively, the fifth step preferably includes a step of determining the second distance as the third distance when the difference between the first distance and the second distance is larger than a predetermined threshold value. .
[0018]
Furthermore, the sixth invention provides a distance correction method for a monitoring system. In this distance correction method, the first step captures a scene including the monitoring area and outputs a pair of image data. In the second step, parallax is calculated by stereo matching based on a pair of image data, and a parallax group related to image data corresponding to one frame is associated with a coordinate position on an image plane defined by the image data. The obtained distance image data is output. The third step measures the distance in the monitoring area and outputs a two-dimensional distribution of the distance in the monitoring area as distance measurement data. The fourth step divides the two-dimensional plane defined by the distance image data into a plurality of sections, calculates the distance in the monitoring area based on the parallax group existing in the section, and each of the divided sections And distance calculation data in which the calculated distance is associated. In the fifth step, the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data is specified as the first distance. In the sixth step, a section indicating the distance to the three-dimensional object in the monitoring area is specified in the distance calculation data. In the seventh step, the distance in the monitoring area associated with the specified section is specified as the second distance. In the eighth step, parameters are calculated based on the first distance and the second distance. In the ninth step, the three-dimensional object is recognized based on the calculated distance calculation data.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
FIG. 1 is a block diagram of a stereo monitoring system according to the first embodiment. This stereo type monitoring system 1 is mounted on a vehicle such as an automobile and monitors the traveling state ahead of the vehicle. A stereo camera that captures a scene in the monitoring area in front of the vehicle is attached in the vicinity of the room mirror. This stereo camera is composed of a pair of cameras 2 and 3, and each of the cameras 2 and 3 includes an image sensor (for example, a CCD or CMOS sensor). The main camera 2 captures a reference image (right image) necessary for performing stereo image processing, and the sub camera 3 captures a comparison image (left image). In a state where each other is synchronized, each analog image output from the cameras 2 and 3 is converted into a digital image of a predetermined luminance gradation (for example, 256 gradation gray scale) by the A / D converters 4 and 5. Is converted to
[0020]
A pair of digitized image data is subjected to brightness correction, image geometric conversion, and the like in the image correction unit 6. Usually, there is an error in the mounting position of the pair of cameras 2 and 3 although there is a difference in degree. Therefore, a shift caused by the error occurs in the left and right images. In order to correct this deviation, geometrical transformation such as image rotation or translation is performed using affine transformation or the like.
[0021]
Through such image processing, reference image data is obtained from the main camera 2, and comparison image data is obtained from the sub camera 3. These image data (stereo image data) is a set of luminance values (0 to 255) of each pixel. Here, the image plane defined by the image data is expressed in the ij coordinate system, with the lower left corner of the image as the origin, the horizontal direction as the i coordinate axis, and the vertical direction as the j coordinate axis. Stereo image data corresponding to one frame (one image display unit) is output to the subsequent stereo image processing unit 7 and stored in the subsequent image data memory 8.
[0022]
The stereo image processing unit 7 calculates distance image data Dp related to a captured image corresponding to one frame based on the reference image data and the comparison image data. Here, the “distance image data” is a set of parallax d calculated for each small area in the image plane defined by the image data, and each parallax d is a position (i, j) on the image plane. It is associated. The unit for calculating the parallax d is a pixel block having a predetermined area (for example, 4 × 4 pixels) constituting a part of the reference image, and one parallax is calculated from one pixel block.
[0023]
FIG. 2 is an explanatory diagram of pixel blocks set in the reference image. For example, when the reference image is composed of 200 × 512 pixels, a disparity group corresponding to the number of pixel blocks PBij (50 × 128) can be calculated from a captured image corresponding to one frame. As is well known, the parallax d is a horizontal shift amount related to the pixel block PBij that is a calculation unit thereof, and has a large correlation with the distance to the object projected on the pixel block PBij. That is, the closer the object projected in the pixel block PBij is to the cameras 2 and 3, the larger the parallax d of the pixel block PBij is, and the farther the object is, the smaller the parallax d is (if the object is infinitely distant, d becomes 0).
[0024]
When calculating the parallax d regarding a certain pixel block PBij (correlation source), a region (correlation destination) having a correlation with the luminance characteristic of the pixel block PBij is specified in the comparison image. As described above, the distance from the cameras 2 and 3 to the object appears as a horizontal shift amount between the reference image and the comparison image. Therefore, when searching for the correlation destination in the comparison image, it is only necessary to search on the same horizontal line (epipolar line) as the j coordinate of the pixel block Pij that is the correlation source. The stereo image processing unit 7 shifts the correlation between the correlation source and the correlation destination candidate while shifting one pixel at a time on the epipolar line within a predetermined search range set based on the i coordinate of the correlation source. Sequential evaluation (stereo matching). In principle, the horizontal shift amount of the correlation destination (one of the correlation destination candidates) determined to have the highest correlation is set as the parallax d of the pixel block PBij.
[0025]
The correlation between two pixel blocks can be evaluated, for example, by calculating a city block distance CB. Formula 1 shows the basic form of the city block distance CB. In the equation, p1ij is the luminance value of the ijth pixel of one pixel block, and p2ij is the ijth luminance value of the other pixel block. The city block distance CB is the sum of the differences (absolute values) of the luminance values p1ij and p2ij corresponding to each other in the entire pixel block, and the smaller the difference is, the greater the correlation between the two pixel blocks is. .
[Expression 1]
CB = Σ | p1ij−p2ij |
[0026]
Basically, among the city block distances CB calculated for each pixel block existing on the epipolar line, the pixel block having the smallest value is determined as the correlation destination. Then, the amount of deviation between the correlation destination and the correlation source specified in this way becomes the parallax d. Note that the hardware configuration of the stereo image processing unit 7 for calculating the city block distance CB is disclosed in Japanese Patent Laid-Open No. 5-1114099, so refer to it if necessary. The distance image data Dp calculated through such processing, that is, a set of parallax d associated with the position (i, j) on the image is stored in the distance data memory 9.
[0027]
In the stereo monitoring system 1, a laser radar 10 that measures the distance in the monitoring area is attached to the front of the vehicle. As shown in FIG. 3, the laser radar 10 irradiates a vertically long laser beam (for example, ± 2 ° in the vertical direction and 0.03 ° in the horizontal direction), and forms a three-dimensional object in the monitoring region at a position higher than the ground. Detect the distance of objects. As shown in FIG. 4, the laser radar 10 sequentially detects distances by performing horizontal scanning within a predetermined scanning range while emitting and receiving laser beams at regular intervals. As a series of detection operations within the scanning range, a set of a predetermined number of measurement values corresponding to each scanning position is calculated as distance measurement data Dm. In other words, the distance measurement data Dm is a two-dimensional distribution of distances in the monitoring area. This detection operation is performed in synchronization with the imaging operations of the cameras 2 and 3, and the distance measurement data Dm is converted into the microcomputer 11 (specifically, data correction) in correspondence with the output of image data corresponding to one frame. Part 13).
[0028]
The microcomputer 11 includes a CPU, a ROM, a RAM, an input / output interface, and the like. When the microcomputer 11 is viewed functionally, the microcomputer 11 includes a recognition unit 12, a data correction unit 13, and a control unit 14.
[0029]
The recognition unit 12 identifies the road shape in the monitoring area based on the image data or the distance image data Dp. Then, the two-dimensional plane defined by the distance image data Dp is divided into a plurality of sections, and the distance in the monitoring area is calculated based on the specified road shape and the disparity group existing in the section. Then, distance calculation data Dc in which each of the divided sections is associated with the calculated distance is calculated. In addition, regarding the distance calculation data Dc, the distance associated with each section is a correctable value and is corrected by the data correction unit 13. The recognition unit 12 recognizes a three-dimensional object in the monitoring area based on the distance calculation data Dc ′ corrected by the data correction unit 13.
[0030]
The data correction unit 13 corrects the distance calculation data Dc, which is the output data of the recognition unit 12, based on the distance measurement data Dm, which is the output data of the laser radar 10, and outputs it to the recognition unit 12 as distance calculation data Dc ′. To do.
[0031]
Based on the recognition result in the recognition unit 12, the control unit 14 controls an alarm device or a control device (not shown) as necessary. For example, in a driving situation where the distance between the vehicle and the preceding vehicle is shortened and a warning to the driver is required, an alarm device such as a monitor or a speaker is operated to alert the driver. Further, in order to decelerate the vehicle in such a situation, the brake operation, the automatic transmission downshift, the engine output reduction, and the like are performed.
[0032]
FIG. 5 is a flowchart showing a monitoring procedure according to the first embodiment. This routine is called at predetermined intervals and executed by the microcomputer 11. First, in step 1, the recognition unit 12 reads a pair of image data (hereinafter simply referred to as “image data”) from the image data memory 8, and also stores the distance image data Dp corresponding to the image data in the distance data memory. 9 is read.
[0033]
In step 2, the recognition unit 12 specifies the road shape in the monitoring area based on the image data or the distance image data Dp. In this process, the road shape is specified by correcting / changing the parameters of the road model so as to correspond to the actual road shape. The road model is specified by a horizontal linear equation and a vertical linear equation in a real space coordinate system. This straight line formula can be calculated by dividing the lane on the road into multiple sections according to the set distance and approximating the left and right white lines etc. with a three-dimensional linear formula for each section and connecting them in a broken line shape It is. The details of the road model are disclosed in Japanese Patent Application Laid-Open No. 2001-160137 already filed by the applicant of the present invention.
[0034]
In step 3, the recognition unit 12 calculates distance calculation data Dc. As will be described below, the distance calculation data Dc is a set of representative distances calculated by dividing a two-dimensional plane defined by the distance image data Dp into a plurality of sections, and calculating one for each section. The representative distance regarding a certain section is uniquely calculated from the parallax group existing in the section.
[0035]
Specifically, as shown in FIG. 6, first, the ij plane defined by the read distance image data Dp is divided at a predetermined interval (for example, an interval of four pixels in the horizontal direction) to obtain a lattice. A plurality of sections (vertical strips) are defined. Then, one of the plurality of sections arranged in the horizontal direction (for example, the leftmost section) is selected.
Next, in the selected section, arbitrary data (for example, data whose (i, j) position is closest to the origin) is selected from all data existing in the section. Here, “data” refers to the parallax d associated with the position (i, j). Then, for the selected data, a three-dimensional position (x, y, z) is calculated based on a well-known coordinate conversion formula. The coordinate system of the real space set based on the position of the host vehicle is based on the road surface directly below the center of the main camera 2 as the origin, the vehicle width direction is the x axis, the vehicle height direction is the y axis, and the vehicle length direction (distance direction) ) Is the z-axis. Then, the height of the road surface at this distance z is calculated using the linear equation of the road model described above. The height of the road surface is compared with the height of the coordinate-converted data. If the data is above the road surface, the data is extracted as three-dimensional object data.
[0036]
At this time, data with a small difference in height from the road surface (for example, a height of about 0.1 m or less) is regarded as data relating to white lines, dirt, shadows, etc. on the road. In this case, the recognition unit 12 does not handle this data in the following processing. On the other hand, data whose height is higher than the height of the host vehicle is regarded as data relating to pedestrian bridges, signs, etc., and the recognition unit 12 does not handle this data in the following processing. Thereby, only the data estimated as the three-dimensional object on the road, that is, the data that is higher than the road surface and lower than the vehicle height of the host vehicle is selected as the three-dimensional object data.
[0037]
Thereafter, the same processing is repeatedly executed for all data in the section, and the three-dimensional object data in the section is sequentially extracted. For example, the data is selected while sequentially shifting the j coordinate from 0 to 199 based on the i coordinate, and then moving to the adjacent i coordinate (i + 1 coordinate). Similarly, the data is shifted while sequentially shifting the j coordinate. Is selected.
[0038]
When the above three-dimensional object estimation process is completed in one section, a histogram (distance frequency distribution) is created for the extracted three-dimensional object data. This distance frequency distribution is represented as the frequency of the three-dimensional object data with the distance z as the horizontal axis by counting the number of three-dimensional object data included in the section of a preset distance (for example, 15 m). When this distance frequency distribution is created, a section in which the frequency of the distribution is equal to or greater than a predetermined threshold and is the most frequent distance is detected. At this time, if there is a section corresponding to this condition, the recognition unit 12 determines that a three-dimensional object exists in the section. Then, an average value or a representative value of the distance corresponding to the number existing in the section, or an intermediate value of the section is calculated as the distance to the three-dimensional object.
[0039]
In general, the distance image data Dp calculated by stereo matching often includes error data due to the influence of mismatching or the like. As one mode of such error data, there is a case where data having a value at that position is calculated even though there is no three-dimensional object at a position in a certain real space. Therefore, in the created distance frequency distribution, if there is a section that is greater than or equal to a preset threshold and has a maximum value, it is determined that a three-dimensional object exists in that section, and the maximum value of frequency is less than or equal to the determination value It is preferable to determine that no object exists. This is because if there is a solid object of a certain size, the frequency of the section tends to increase, while if there is no object, it occurs even if there is incorrect data This is because the frequency of performing tends to be small. As a result, even when some noise is included in the data, it is possible to detect a three-dimensional object while minimizing this influence.
[0040]
Then, data of the next section (for example, the second section from the left end) is sequentially selected, extraction of data above the road surface, creation of a distance frequency distribution, and the presence of a three-dimensional object in the section, The distance to the three-dimensional object is calculated for each data. And this process is performed about all the division | segmentation of the distance image data Dp which was divided | segmented. Thereby, the distance calculation data Dc in which the plurality of divided sections and the distance in the monitoring area specified based on the parallax group related to each section are associated with each other is calculated.
[0041]
FIG. 7 is a diagram for explaining the distance to the object detected for each section related to the distance calculation data Dc. In the figure, the position in the real space corresponding to the distance for each section is indicated by a solid line and a point. Here, referring again to FIG. 4, the distance measurement data Dm based on the output from the laser radar 10 is similar to the output from the stereo camera, that is, the distance calculation data Dc based on the image. It can be seen that it is. Both data Dc and Dm are data obtained by radially measuring the distance from the main camera 2 or the laser radar 10 to the three-dimensional object, and the distance of each scan of the laser radar 10 is for each section of the distance calculation data Dc shown in FIG. Corresponds to the distance. Therefore, in the first embodiment, as described below, the data Dc and Dm are integrated to integrate the data of the distance image data Dp as the original form of the distance calculation data Dc and the distance measurement data Dm. ing.
[0042]
In step 4 following step 3, the data correction unit 13 corrects the distance calculation data Dc calculated on an image basis. FIG. 8 is a detailed flowchart showing the correction procedure in step 4. As a premise, it is assumed that the data correction unit 13 has acquired the distance calculation data Dc output from the recognition unit 12. Further, the data correction unit 13 receives the distance image data Dp from which the distance calculation data Dc has been calculated (more specifically, from the laser radar 10 corresponding to the pair of image data that is the original image of the distance image data Dp). It is assumed that the output distance measurement data Dm is acquired. Here, the number of measurement values in the distance measurement data Dm based on the radar is defined as m. Further, in this distance measurement data Dm, in order to specify the position of the measurement value on the data, the scanning position is associated with the measurement value from the left to the scanning range, and numbers 1 to m are assigned in ascending order. .
[0043]
First, in step 40, 1 is set as a variable n for specifying a position to be processed on the distance measurement data Dm based on the radar. At this time, the data correction unit 13 grasps the number of times m of scanning range measurements for the acquired radar-based distance measurement data Dm, and m is set as the maximum number Mmax of measurement values to be processed.
[0044]
In step 41, it is determined whether or not there is a measurement value to be specified at the n-th position on the radar-based distance measurement data Dm. If the determination in step 41 is affirmative, that is, if it is determined that a measurement value (data) exists at the position n, the data correction unit 13 proceeds to step 42, and the data corresponding to the position n is set to the first value. The distance is specified as L1. In other words, the distance to the three-dimensional object in the monitoring area at the predetermined position on the distance measurement data Dm is specified as the first distance L1. On the other hand, when a negative determination is made in this determination, that is, when it is determined that there is no measurement value at the position n, the data correction unit 13 proceeds to step 47 described later.
[0045]
In step 43 following step 42, a section on the image-based distance calculation data Dc corresponding to the position n on the radar-based distance measurement data Dm is specified. In other words, in this step 43, in the image-based distance calculation data Dc, a three-dimensional object in the monitoring area (more precisely, a three-dimensional object corresponding to the distance L1 specified from the position n on the radar-based distance measurement data Dm). A category indicating the distance to the object) is specified. There is a correlation between the position n on the radar-based distance measurement data Dm and the section on the image-based distance calculation data Dc, and is uniquely identified from Expression 4 based on Expressions 2 and 3 below. The
[Expression 2]
zo = L1 × cos θs + dz
xo = L1 × sin θs + dx
[0046]
Here, as shown in FIG. 9, Equation 2 indicates the coordinate position (xo, zo) in the real space of the three-dimensional object O corresponding to the position n on the radar-based distance measurement data Dm. Note that θs is an inclination from the laser radar 10 to the three-dimensional object O corresponding to the position n on the data with reference to the scanning direction of the laser radar 10 parallel to the z axis (the inclination to the left is “+ θ”, to the right) The inclination of “−θ”). At this time, the angle θc from the main camera 2 to the three-dimensional object O with respect to the z-axis direction is expressed by Equation 3.
[Equation 3]
θc = tan -1 (Xo / zo)
[0047]
[Expression 4]
N = Ncen + θc / dθc
[0048]
Here, N is the division number when the division located at the leftmost side in the image-based distance calculation data Dc is set to 1, and each division existing in the adjacent direction is numbered in ascending order. Show. Ncen indicates the number of the segment on the distance calculation data Dc corresponding to the z-axis extending direction, and dθc indicates the interval of the segment (for example, 0.2 ° in the case of a 4-pixel width). Then, based on the section N calculated by Expression 4, the distance l to the three-dimensional object associated with the section N is specified as the second distance L2.
[0049]
In step 44, the first distance L1 and the second distance L2 are compared. Then, according to the comparison result, the third distance L3 is determined as a correction value for correcting the distance l in the monitoring area associated with the section N on the distance calculation data Dc based on the image. In the first embodiment, the difference between the first distance L1 and the second distance L2 (specifically, the absolute value of both (| L1-L2 |)) is equal to or less than a predetermined threshold value Lth. Whether or not the value of the third distance L3 is determined.
[0050]
When an affirmative determination is made in step 44, the data correction unit 13 determines that the first distance L1 and the second distance L2 are approximate values. In step 45, L1 (first distance) based on the output from the laser radar 10 is set as the third distance L3. Accordingly, in the image-based distance calculation data Dc, the distance l in the monitoring area associated with the identified section N is corrected to the first distance L1.
[0051]
In general, distance image data Dp based on an image or distance calculation data Dc, which is a modification of the distance image data, is advantageous in terms of detection accuracy because various objects (particularly small objects) can be widely detected. On the other hand, the distance measurement data Dm based on the radar is inferior to the stereo camera in terms of detection accuracy, but is advantageous in terms of reliability of the measured distance (range measurement accuracy). Therefore, in the first embodiment, the first distance L1 based on the radar is given an advantage, and the reliability of the monitoring accuracy is improved by trusting this value.
[0052]
On the other hand, if a negative determination is made in the previous step 44, the data correction unit 13 determines that the first distance L1 and the second distance L2 are different values. In step 46, L2 (second distance) based on the output from the stereo camera is set as the third distance L3. As a result, in the image-based distance calculation data Dc, the distance l in the monitoring area associated with the specified section N is corrected to the second distance L2 (that is, the distance l is maintained as it is). .
[0053]
In general, regarding the distance L1 based on the radar and the distance L2 based on the image, as long as the distance of the same object existing in a certain section is indicated, the values of the two are rarely greatly different. However, the distances L1 and L2 may be different when the distance between separate objects is indicated, or when the difference between the distance measuring principles appears remarkably. Therefore, in such a case, priority is given to the image-based distance calculation data Dc that can detect various objects with high accuracy, and the image-based distance L2 is adopted. Thereby, the reliability of the monitoring accuracy is improved.
[0054]
In step 47, it is determined whether Mmax and n match. If an affirmative determination is made in step 47, the data correction unit 13 determines that the integration of the distance calculation data Dc based on the image and the distance measurement data Dm based on the radar has been performed at all positions n, Exit this routine. On the other hand, if a negative determination is made in step 47, the process proceeds to step 48, where n + 1 is set as the variable n. The above-described process is repeatedly executed until n matches Mmax.
[0055]
In step 5 following step 4 in FIG. 5, the recognition unit 12 recognizes a three-dimensional object based on the distance calculation data Dc ′ (that is, the distance calculation data Dc corrected by the data correction unit 13). Specifically, the distances for each section are sequentially compared from the left to the right of the image, and the distances in the front-rear direction and the lateral direction that are close to each other are collected as a group. Then, the data arrangement direction is checked for each group, and the group is divided at a portion where the arrangement direction greatly changes, and each group is classified into a three-dimensional object or a wall portion from the data arrangement direction as a whole group. The Here, the three-dimensional object refers to a preceding vehicle, a person, an obstacle, or the like, and the wall portion refers to a side wall of a road side such as a guardrail. Then, for the group classified as a three-dimensional object, the average distance and the positions of the (left and right) end portions are calculated as parameters from the data in the group. On the other hand, for the group classified as the side wall, the alignment direction and the position of the (front and rear) end portions are calculated as parameters. Then, the control unit 14 gives a warning to the driver or performs vehicle control based on the recognized preceding vehicle, the distance to the person or the obstacle, and the road condition.
[0056]
The group parameter is calculated when the solid object or the wall is recognized. At this time, the corrected distance calculation data Dc ′ is corrected to the first distance L1 in the sections constituting the group. May include distance. In this case, it is preferable that the group distance is calculated using only the corrected distance L1. As described above, since the laser radar 10 has high distance measurement accuracy, the distance measurement accuracy can be improved by using only the value. In addition, when there are a plurality of corrected distances in the sections constituting the group, it is more preferable to use an average value thereof.
[0057]
As described above, according to the stereo monitoring system 1 of the first embodiment, the distance calculation data Dc based on the image and the distance measurement data Dm based on the radar can be integrated on the data. . As a result, it is possible to achieve both the advantages of stereo image recognition that can widely detect large and small objects and the advantages of the laser radar 10 that is excellent in the reliability of the measured distance. Improvements can be made. In addition, according to the stereo monitoring system 1 of the first embodiment, as in the prior art, a processing area is set based on data from the laser radar 10, and stereo matching is performed only on this processing area as a processing target. Since complicated operations such as performing such operations are not required, devices and parts for this purpose can be omitted.
[0058]
In the first embodiment, when the difference between the first distance L1 and the second distance L2 is equal to or smaller than the threshold value, the average value of both the distances L1 and L2 is determined as the third distance L3. Also good. In the first embodiment, the first distance L1 and the second distance L2 are compared, but the distance measurement accuracy in the radar-based distance measurement data Dm is reliable, and the value of this data is always adopted. It is also possible to do. In other words, the distance l in the monitoring area associated with the identified section N may always be corrected to the first distance L1.
[0059]
(Second Embodiment)
FIG. 10 is a flowchart illustrating a detailed procedure of the monitoring process according to the second embodiment. The monitoring procedure according to the second embodiment is different from the procedure according to the first embodiment in the method of processing after step 6 shown in the figure, and the same procedure is described here. Omitted.
[0060]
Specifically, the difference between the second embodiment and the first embodiment is that parallax correction is performed. As long as the distance measurement data Dm based on the radar and the distance calculation data Dc based on the image indicate the distance of the same object existing in a certain section, it is not preferable that the distance values of the two are different. Therefore, in the second embodiment, as shown in FIG. 11, in the stereo monitoring system 1a, in the parallax correction unit 15, the image-based distance calculation data Dc matches the radar-based distance measurement data Dm. Correct the distance error.
[0061]
The parallax correction unit 15 calculates the vanishing point parallax dp based on the distance measurement data Dm output from the laser radar 10 and the distance calculation data Dc output from the recognition unit 12. Here, the vanishing point parallax dp is a parameter as a distance correction value. Then, the calculated vanishing point parallax dp (more precisely, the vanishing point parallax dp ′ which is an average value of the plurality of vanishing point parallaxes dp) is reflected in the recognition unit 12. Thereby, the recognition unit 12 can newly calculate the distance calculation data Dc ′ based on the image based on the vanishing point parallax dp ′, and can recognize the three-dimensional object in the monitoring region.
[0062]
FIG. 12 is a flowchart showing a detailed procedure in step 6 shown in FIG. Here, since Step 60 to Step 63 are the same as Step 40 to Step 43 described above, detailed description thereof is omitted here.
[0063]
In step 64, the parallax correction unit 15 calculates the vanishing point parallax dp as the above-described parameter based on the first distance L1 and the second distance L2. Specifically, based on Equation 5 shown below, the second distance L2 in the distance calculation data Dc based on the image is made to coincide with the first distance L1 in the distance measurement data Dm based on the radar. The vanishing point parallax dp is calculated.
[Equation 5]
dp = dpx−KZH / z
[0064]
Here, Formula 5 is specified from the well-known coordinate conversion formula shown by Formula 6.
[Formula 6]
z = KZH / (dpx−dp)
[0065]
KZH is a predetermined constant (camera base line length / horizontal viewing angle), and dpx is the parallax d corresponding to the second distance L2 based on the output from the stereo camera. The measured value based on the output from the laser radar 10, that is, the first distance L1 is substituted for z.
[0066]
Note that when the distance calculation data Dc is calculated in step 3, it is preferable to use 0 or a predetermined value as an initial set value for this dp.
[0067]
In step 65, it is determined whether Mmax and n match. When an affirmative determination is made in step 65, the parallax correction unit 15 determines that the vanishing point parallax dp has been calculated in all the sections of the distance calculation data Dc, and the process proceeds to step 67. On the other hand, if a negative determination is made in step 65, the process proceeds to step 66, where n is set to n + 1. Then, the process is repeatedly executed until n matches Mmax.
[0068]
Then, in step 67 following step 65, the average value dp ′ of all the calculated vanishing point parallax dp is calculated, and this routine is exited.
[0069]
In step 7 following step 6, the recognition unit 12 again divides the distance image data Dp into a plurality of sections. Then, based on the parallax group and vanishing point parallax dp ′ existing in the section, a three-dimensional position is calculated using a well-known coordinate transformation formula including Formula 6. Then, distance calculation data Dc ′ in which each of the divided sections is associated with the calculated distance is calculated by the same procedure as the method shown in Step 3 described above. Since the distance calculation data Dc ′ is integrated with the distance measurement data Dm based on the radar when the coordinate conversion is performed, the corrected distance calculation data Dc ′ described in the first embodiment is used. Is calculated as substantially the same data.
[0070]
In step 8, the recognition unit 12 recognizes the three-dimensional object based on the corrected distance calculation data Dc ′. Accordingly, the control unit 14 gives a warning to the driver or performs vehicle control based on the recognized distance from the preceding vehicle and the road condition.
[0071]
In step 6, once the vanishing point parallax dp ′ is calculated, this value can be continuously used in the subsequent processing. Therefore, the processing of steps 3 to 6 can be skipped for the frame to be processed next. However, this vanishing point parallax dp (or vanishing point parallax dp ′) is preferably specified at predetermined frame intervals, so that the optimal vanishing point parallax dp can be appropriately adopted.
[0072]
As described above, according to the stereo monitoring system 1a of the second embodiment, it is possible to improve the accuracy of the three-dimensional information related to the object by correcting the set vanishing point.
[0073]
In the present embodiment, the monitoring outside the vehicle has been described as an example, but the present invention is not limited to this. As an application example using such a technique, the present invention can be applied to various uses such as level crossing monitoring using both stereo image processing and laser radar, terrain recognition, or altitude measurement.
[0074]
【The invention's effect】
Thus, according to the present invention, the distance at the predetermined position of the distance measurement data as the output data from the laser radar is used to correct the distance of the corresponding section on the distance calculation data as the output data from the recognition unit. is doing. Thereby, since a solid object can be recognized using data in which distance measurement data and distance calculation data are integrated, it is possible to improve monitoring accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a stereo monitoring system according to a first embodiment.
FIG. 2 is an explanatory diagram of a pixel block set in a reference image
FIG. 3 is an explanatory diagram showing laser radar distance detection.
FIG. 4 is an explanatory diagram showing laser radar distance detection.
FIG. 5 is a flowchart showing a monitoring procedure according to the first embodiment.
FIG. 6 is an explanatory diagram of distance image data divided in a grid pattern.
FIG. 7 is an explanatory diagram of a distance to an object detected for each category related to distance calculation data.
FIG. 8 is a detailed flowchart showing a correction procedure in step 4 shown in FIG.
FIG. 9 is an explanatory diagram showing the correlation between distance measurement data and distance calculation data.
FIG. 10 is a flowchart showing a detailed procedure of monitoring processing according to the second embodiment.
FIG. 11 is a block diagram showing a stereo monitoring system according to a second embodiment.
12 is a flowchart showing a detailed procedure in step 6 shown in FIG.
[Explanation of symbols]
1,1a Stereo monitoring system
2 Main camera
3 Sub camera
4 A / D converter
5 A / D converter
6 Image correction unit
7 Stereo image processing unit
8 Image data memory
9 Distance data memory
10 Laser radar
11 Microcomputer
12 Recognition part
13 Data correction part
14 Control unit
15 Parallax correction unit

Claims (12)

監視領域内の状況を監視する監視システムにおいて、
前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定するとともに、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を前記第１の距離に補正するデータ補正部とを有し、
前記認識部は、前記データ補正部によって補正された前記距離算出データに基づき、前記監視領域内の立体物を認識することを特徴とする監視システム。In the monitoring system that monitors the situation in the monitoring area,
A stereo camera that captures a scene including the monitoring area and outputs a pair of image data;
Distance image data in which parallax is calculated by stereo matching based on the pair of image data, and a parallax group related to image data corresponding to one frame is associated with a position on an image plane defined by the image data Stereo image processing unit for outputting
A laser radar that measures the distance in the monitoring region and outputs a two-dimensional distribution of the distance in the monitoring region as distance measurement data;
Dividing a two-dimensional plane defined by the distance image data into a plurality of sections, calculating a distance in the monitoring area based on a parallax group existing in the section, and each of the divided sections and the A recognition unit that calculates distance calculation data associated with the calculated distance;
By specifying the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance, and specifying the section indicating the distance to the three-dimensional object in the distance calculation data, A data correction unit that corrects the distance calculated for the identified category to the first distance;
The recognizing unit recognizes a three-dimensional object in the monitoring region based on the distance calculation data corrected by the data correcting unit. 監視領域内の状況を監視する監視システムにおいて、
前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第２の距離として特定するとともに、前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定するデータ補正部とを有し、
前記認識部は、補正された前記距離算出データに基づき、前記監視領域内の立体物を認識することを特徴とする監視システム。In the monitoring system that monitors the situation in the monitoring area,
A stereo camera that captures a scene including the monitoring area and outputs a pair of image data;
A distance image in which parallax is calculated by stereo matching based on the pair of image data, and a parallax group related to image data corresponding to one frame is associated with a coordinate position on an image plane defined by the image data A stereo image processing unit for outputting data;
A laser radar that measures the distance in the monitoring region and outputs a two-dimensional distribution of the distance in the monitoring region as distance measurement data;
Dividing a two-dimensional plane defined by the distance image data into a plurality of sections, calculating a distance in the monitoring area based on a parallax group existing in the section, and each of the divided sections and the A recognition unit that calculates distance calculation data associated with the calculated distance;
By specifying the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance, and specifying the section indicating the distance to the three-dimensional object in the distance calculation data, The distance calculated for the specified section is specified as the second distance, and the distance calculated for the specified section is corrected by comparing the first distance and the second distance. A data correction unit that determines a third distance as a correction value;
The recognizing unit recognizes a three-dimensional object in the monitoring area based on the corrected distance calculation data. 前記データ補正部は、前記距離測定データ上の所定位置において、前記立体物までの距離に相当する測定値があると判断した場合には、当該測定値を前記第１の距離として決定することを特徴とする請求項２に記載された監視システム。When the data correction unit determines that there is a measurement value corresponding to the distance to the three-dimensional object at a predetermined position on the distance measurement data, the data correction unit determines the measurement value as the first distance. The monitoring system according to claim 2, wherein 前記データ補正部は、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする請求項３に記載された監視システム。If the difference between the first distance and the second distance is within a predetermined threshold, the data correction unit determines the first distance as the third distance, and 4. The method according to claim 3, wherein when the difference between the distance of 1 and the second distance is greater than a predetermined threshold, the second distance is determined as the third distance. Monitoring system. 前記データ補正部は、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離と前記第２の距離との平均値を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする請求項３に記載された監視システム。When the difference between the first distance and the second distance is within a predetermined threshold, the data correction unit calculates an average value of the first distance and the second distance. Determining a third distance, and determining a second distance as the third distance when a difference between the first distance and the second distance is greater than a predetermined threshold value. The monitoring system according to claim 3, wherein 監視システムの距離補正装置において、
監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定するとともに、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群と、距離補正値としてのパラメータとに基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第２の距離として特定するとともに、前記第１の距離と前記第２の距離とに基づき前記パラメータを算出する視差補正部と
を有することを特徴とする監視システムの距離補正装置。In the distance correction device of the monitoring system,
A stereo camera that captures a landscape including a monitoring area and outputs a pair of image data;
A distance image in which parallax is calculated by stereo matching based on the pair of image data, and a parallax group related to image data corresponding to one frame is associated with a coordinate position on an image plane defined by the image data A stereo image processing unit for outputting data;
A laser radar that measures the distance in the monitoring area and outputs a two-dimensional distribution of the distance in the monitoring area as distance measurement data;
Dividing the two-dimensional plane defined by the distance image data into a plurality of sections, calculating a distance in the monitoring area based on a parallax group existing in the section and a parameter as a distance correction value, A recognition unit that calculates distance calculation data in which each of the divided sections is associated with the calculated distance;
By specifying the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance, and specifying the section indicating the distance to the three-dimensional object in the distance calculation data, A monitoring system that includes a parallax correction unit that specifies a distance calculated for the specified category as a second distance and calculates the parameter based on the first distance and the second distance. System distance correction device. 監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第１のステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定する第２のステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第３のステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を、前記第１の距離に補正する第４のステップと、
前記第４のステップにおいて補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第５のステップと
を有することを特徴とする監視方法。Based on a pair of image data obtained by capturing a scene including a monitoring area, a parallax group related to image data corresponding to one frame calculated by stereo matching is associated with a position on an image plane defined by the image data. In the monitoring method of monitoring the situation in the monitoring area using the distance image data and the distance measurement data calculated as a two-dimensional distribution of the distance by measuring the distance in the monitoring area by a laser radar,
Dividing a two-dimensional plane defined by the distance image data into a plurality of sections, calculating a distance in the monitoring area based on a parallax group existing in the section, and each of the divided sections and the A first step of calculating distance calculation data associated with the calculated distance;
A second step of specifying a distance to a three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as a first distance;
In the distance calculation data, a third step of specifying the section indicating the distance to the three-dimensional object;
A fourth step of correcting the distance calculated for the identified category in the distance calculation data to the first distance;
And a fifth step of recognizing a three-dimensional object in the monitoring area based on the distance calculation data corrected in the fourth step. 監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第１のステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定する第２のステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第３のステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を第２の距離として特定する第４のステップと、
前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する第５のステップと、
補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第６のステップと
を有することを特徴とする監視方法。Based on a pair of image data obtained by capturing a scene including a monitoring area, a parallax group related to image data corresponding to one frame calculated by stereo matching is associated with a position on an image plane defined by the image data. In the monitoring method of monitoring the situation in the monitoring area using the distance image data and the distance measurement data calculated as a two-dimensional distribution of the distance by measuring the distance in the monitoring area by a laser radar,
Dividing a two-dimensional plane defined by the distance image data into a plurality of sections, calculating a distance in the monitoring area based on a parallax group existing in the section, and each of the divided sections and the A first step of calculating distance calculation data associated with the calculated distance;
A second step of specifying a distance to a three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as a first distance;
In the distance calculation data, a third step of specifying the section indicating the distance to the three-dimensional object;
A fourth step of identifying, in the distance calculation data, a distance calculated for the specified category as a second distance;
A fifth step of determining a third distance as a correction value for correcting the distance calculated for the identified section by comparing the first distance and the second distance;
And a sixth step of recognizing a three-dimensional object in the monitoring area based on the corrected distance calculation data. 前記第２のステップは、前記距離測定データ上の所定位置において、前記立体物までの距離に相当する測定値があると判断した場合には、当該測定値を前記第１の距離として決定するステップを有することを特徴とする請求項８に記載された監視方法。When the second step determines that there is a measurement value corresponding to the distance to the three-dimensional object at a predetermined position on the distance measurement data, the second step determines the measurement value as the first distance. The monitoring method according to claim 8, further comprising: 前記第５のステップは、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定するステップを有することを特徴とする請求項９に記載された監視方法。In the fifth step, when the difference between the first distance and the second distance is within a predetermined threshold, the first distance is determined as the third distance, The step of determining the second distance as the third distance when the difference between the first distance and the second distance is greater than a predetermined threshold value. Monitoring method described in. 前記第５のステップは、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離と前記第２の距離との平均値を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定するステップを有することを特徴とする請求項９に記載された監視方法。In the fifth step, when a difference between the first distance and the second distance is within a predetermined threshold, an average value of the first distance and the second distance is calculated. Determining the third distance, and determining the second distance as the third distance when a difference between the first distance and the second distance is greater than a predetermined threshold value; The monitoring method according to claim 9, further comprising: 監視システムの距離補正方法において、
監視領域を含む景色を撮像し、一対の画像データを出力するステップと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステップと、
前記監視領域内の距離をレーザレーダで測定するとともに、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するステップと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群と、距離補正値としてのパラメータとに基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出するステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定するステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定するステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を第２の距離として特定するステップと、
前記第１の距離と前記第２の距離とに基づき前記パラメータを算出するステップと、
前記算出された距離算出データに基づき立体物を認識するステップと
を有することを特徴とする監視システムの距離補正方法。In the distance correction method of the monitoring system,
Capturing a scene including a monitoring area and outputting a pair of image data;
A distance image in which parallax is calculated by stereo matching based on the pair of image data, and a parallax group related to image data corresponding to one frame is associated with a coordinate position on an image plane defined by the image data Outputting data, and
Measuring the distance in the monitoring area with a laser radar, and outputting a two-dimensional distribution of the distance in the monitoring area as distance measurement data;
Dividing the two-dimensional plane defined by the distance image data into a plurality of sections, calculating a distance in the monitoring area based on a parallax group existing in the section and a parameter as a distance correction value, Calculating distance calculation data in which each of the divided sections is associated with the calculated distance;
Identifying a distance to a three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as a first distance;
In the distance calculation data, identifying the section indicating the distance to the three-dimensional object;
In the distance calculation data, specifying a distance calculated for the specified category as a second distance;
Calculating the parameter based on the first distance and the second distance;
And a step of recognizing a solid object based on the calculated distance calculation data.
JP2002184018A 2002-06-25 2002-06-25 Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system Expired - Fee Related JP4032843B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002184018A JP4032843B2 (en) 2002-06-25 2002-06-25 Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002184018A JP4032843B2 (en) 2002-06-25 2002-06-25 Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system

Publications (2)

Publication Number Publication Date
JP2004028727A true JP2004028727A (en) 2004-01-29
JP4032843B2 JP4032843B2 (en) 2008-01-16

Family

ID=31180026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002184018A Expired - Fee Related JP4032843B2 (en) 2002-06-25 2002-06-25 Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system

Country Status (1)

Country Link
JP (1) JP4032843B2 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094716A (en) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd Vehicle driving support device
JP2007104349A (en) * 2005-10-05 2007-04-19 Hitachi Ltd Imaging device
JP2007240276A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP2008304344A (en) * 2007-06-08 2008-12-18 Kumamoto Univ Target detector
JP2010091426A (en) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc Distance measuring device and program
JP2012141756A (en) * 2010-12-28 2012-07-26 Yahoo Japan Corp Device for creating related words graph, method for creating related words graph, device for providing related words, and method and program for providing related words
WO2012172870A1 (en) * 2011-06-14 2012-12-20 日産自動車株式会社 Distance measurement device and environment map generation apparatus
EP2889641A1 (en) 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
EP2911392A1 (en) * 2014-02-25 2015-08-26 Ricoh Company, Ltd. Parallax calculation system, information processing apparatus, information processing method, and program
JP2016500162A (en) * 2012-08-29 2016-01-07 ベイスター３ディー リミテッド Method for the description of object points in object space and combinations for its implementation
KR20190047595A (en) * 2017-10-27 2019-05-08 바이두 유에스에이 엘엘씨 A 3d lidar system using a dichroic mirror for autonomous driving vehicles
US10398006B2 (en) 2016-03-16 2019-08-27 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
WO2019239775A1 (en) * 2018-06-15 2019-12-19 日立オートモティブシステムズ株式会社 Vehicle object sensing device
JP2020030189A (en) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター Position measuring system and position measuring method
CN111869201A (en) * 2019-01-08 2020-10-30 三星电子株式会社 Method for processing and transmitting three-dimensional content
WO2022044634A1 (en) * 2020-08-26 2022-03-03 株式会社デンソー Object recognition device, moving body collision prevention device, and object recognition method
WO2022054422A1 (en) * 2020-09-10 2022-03-17 株式会社日立製作所 Obstacle detection device, obstacle detection system, and obstacle detection method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150218B2 (en) * 2002-06-25 2008-09-17 富士重工業株式会社 Terrain recognition device and terrain recognition method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (en) * 1993-02-01 1994-08-19 Toyota Motor Corp Vehicular gap detector
JPH09171075A (en) * 1995-12-21 1997-06-30 Honda Motor Co Ltd Distance-measuring apparatus for vehicle
JPH10117341A (en) * 1996-10-11 1998-05-06 Yazaki Corp Vehicle periphery monitoring device, obstacle detecting method to be used for the same and medium storing obstacle detection program to be used for the same
JP2000329852A (en) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd Obstacle recognition device
JP2001160137A (en) * 1999-09-22 2001-06-12 Fuji Heavy Ind Ltd Device for correcting distance of monitoring system and device for correcting vanishing point of monitoring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (en) * 1993-02-01 1994-08-19 Toyota Motor Corp Vehicular gap detector
JPH09171075A (en) * 1995-12-21 1997-06-30 Honda Motor Co Ltd Distance-measuring apparatus for vehicle
JPH10117341A (en) * 1996-10-11 1998-05-06 Yazaki Corp Vehicle periphery monitoring device, obstacle detecting method to be used for the same and medium storing obstacle detection program to be used for the same
JP2000329852A (en) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd Obstacle recognition device
JP2001160137A (en) * 1999-09-22 2001-06-12 Fuji Heavy Ind Ltd Device for correcting distance of monitoring system and device for correcting vanishing point of monitoring system

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094716A (en) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd Vehicle driving support device
JP2007104349A (en) * 2005-10-05 2007-04-19 Hitachi Ltd Imaging device
JP2007240276A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP2008304344A (en) * 2007-06-08 2008-12-18 Kumamoto Univ Target detector
JP2010091426A (en) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc Distance measuring device and program
JP2012141756A (en) * 2010-12-28 2012-07-26 Yahoo Japan Corp Device for creating related words graph, method for creating related words graph, device for providing related words, and method and program for providing related words
WO2012172870A1 (en) * 2011-06-14 2012-12-20 日産自動車株式会社 Distance measurement device and environment map generation apparatus
CN103154666A (en) * 2011-06-14 2013-06-12 日产自动车株式会社 Distance measurement device and environment map generation apparatus
JP5472538B2 (en) * 2011-06-14 2014-04-16 日産自動車株式会社 Distance measuring device and environmental map generating device
US9046364B2 (en) 2011-06-14 2015-06-02 Nissan Motor Co., Ltd. Distance measurement device and environment map generation apparatus
JP2016500162A (en) * 2012-08-29 2016-01-07 ベイスター３ディー リミテッド Method for the description of object points in object space and combinations for its implementation
EP2889641A1 (en) 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
EP2911392A1 (en) * 2014-02-25 2015-08-26 Ricoh Company, Ltd. Parallax calculation system, information processing apparatus, information processing method, and program
US10398006B2 (en) 2016-03-16 2019-08-27 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
US11758111B2 (en) 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
KR20190047595A (en) * 2017-10-27 2019-05-08 바이두 유에스에이 엘엘씨 A 3d lidar system using a dichroic mirror for autonomous driving vehicles
KR102100051B1 (en) * 2017-10-27 2020-04-10 바이두 유에스에이 엘엘씨 A 3d lidar system using a dichroic mirror for autonomous driving vehicles
JP2019219180A (en) * 2018-06-15 2019-12-26 日立オートモティブシステムズ株式会社 Object detection device for vehicle
US11914028B2 (en) 2018-06-15 2024-02-27 Hitachi Astemo, Ltd. Object detection device for vehicle
WO2019239775A1 (en) * 2018-06-15 2019-12-19 日立オートモティブシステムズ株式会社 Vehicle object sensing device
JP7152884B2 (en) 2018-06-15 2022-10-13 日立Astemo株式会社 Vehicle object detection device
JP2020030189A (en) * 2018-08-24 2020-02-27 独立行政法人日本スポーツ振興センター Position measuring system and position measuring method
CN111869201B (en) * 2019-01-08 2023-01-31 三星电子株式会社 Method for processing and transmitting three-dimensional content
CN111869201A (en) * 2019-01-08 2020-10-30 三星电子株式会社 Method for processing and transmitting three-dimensional content
US11412200B2 (en) 2019-01-08 2022-08-09 Samsung Electronics Co., Ltd. Method of processing and transmitting three-dimensional content
WO2022044634A1 (en) * 2020-08-26 2022-03-03 株式会社デンソー Object recognition device, moving body collision prevention device, and object recognition method
JP2022037985A (en) * 2020-08-26 2022-03-10 株式会社デンソー Object recognition device, moving-body collision preventing device and object recognition method
JP7359107B2 (en) 2020-08-26 2023-10-11 株式会社デンソー Object recognition devices, mobile collision prevention devices, and vehicles
JP7389729B2 (en) 2020-09-10 2023-11-30 株式会社日立製作所 Obstacle detection device, obstacle detection system and obstacle detection method
WO2022054422A1 (en) * 2020-09-10 2022-03-17 株式会社日立製作所 Obstacle detection device, obstacle detection system, and obstacle detection method

Also Published As

Publication number Publication date
JP4032843B2 (en) 2008-01-16

Similar Documents

Publication Publication Date Title
JP4803927B2 (en) Distance correction apparatus and distance correction method for monitoring system
JP4032843B2 (en) Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system
JP4573977B2 (en) Distance correction device for monitoring system and vanishing point correction device for monitoring system
US8498479B2 (en) Image processing device for dividing an image into a plurality of regions
JP4363295B2 (en) Plane estimation method using stereo images
JP4832227B2 (en) Object detection apparatus and object detection method
WO2012120856A1 (en) Object detection device and object detection method
JP4275378B2 (en) Stereo image processing apparatus and stereo image processing method
JP2009176087A (en) Vehicle environment recognizing system
JP2001092970A (en) Lane recognizing device
JP2008033750A (en) Object inclination detector
JP4067340B2 (en) Object recognition device and object recognition method
JP2008064628A (en) Object detector and detecting method
CN111723778B (en) Vehicle distance measuring system and method based on MobileNet-SSD
JP4956099B2 (en) Wall detector
JP4209637B2 (en) Distance correction apparatus and distance correction method for monitoring system
JP4150218B2 (en) Terrain recognition device and terrain recognition method
JP4696925B2 (en) Image processing device
US10339394B2 (en) Step detection device and step detection method
JP2983420B2 (en) Inter-vehicle distance measurement device
JP5903901B2 (en) Vehicle position calculation device
JP4018950B2 (en) Stereo camera misalignment inspection apparatus and misalignment inspection method
JPH0979847A (en) On board distance measuring device
JP2013148354A (en) Vehicle position calculation device
JP2004144644A (en) Topography recognition device, topography recognition means, and moving quantity detection method of moving body

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4032843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees