JP2009186353A - Object detecting device and object detecting method - Google Patents

Object detecting device and object detecting method Download PDF

Info

Publication number
JP2009186353A
JP2009186353A JP2008027514A JP2008027514A JP2009186353A JP 2009186353 A JP2009186353 A JP 2009186353A JP 2008027514 A JP2008027514 A JP 2008027514A JP 2008027514 A JP2008027514 A JP 2008027514A JP 2009186353 A JP2009186353 A JP 2009186353A
Authority
JP
Japan
Prior art keywords
image
detection
dimensional coordinates
radar
stationary object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008027514A
Other languages
Japanese (ja)
Inventor
Takechika Kiritani
武親 桐谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2008027514A priority Critical patent/JP2009186353A/en
Publication of JP2009186353A publication Critical patent/JP2009186353A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To accurately calculate the coordinates of a stationary object and a moving object. <P>SOLUTION: In this object detecting device, an image detection section obtains relative three-dimensional coordinates, showing a relative spatial arrangement of the stationary object by contrasting two images imaged in chronological order by a camera mounted on the vehicle; a radar detection section obtains the distance and the azimuth related to the stationary object and the moving object, based on the reflected waves related to the irradiation waves irradiated to a range corresponding to the images; and an object coordinate recognition section calculates the absolute three-dimensional coordinates from the relative three-dimensional coordinates, by using the distance obtained about the stationary object within the images existing in the azimuth acquired. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、車両の近辺に存在する静止物体および移動物体を検出する物体検出装置および物体検出方法に関し、静止物体および移動物体についての座標算出を高精度に行うことができる物体検出装置および物体検出方法に関する。   The present invention relates to an object detection apparatus and an object detection method for detecting a stationary object and a moving object that exist in the vicinity of a vehicle, and an object detection apparatus and an object detection capable of performing coordinate calculation for a stationary object and a moving object with high accuracy. Regarding the method.

従来から、車両に搭載されたカメラおよびカメラで撮像された画像を解析する解析部で構成される画像センサを用いて物体を捕捉する技術が知られている。そして、捕捉された物体座標は、被害軽減自動ブレーキやブレーキアシストなどの衝突回避制御に用いられている。   2. Description of the Related Art Conventionally, a technique for capturing an object using an image sensor that includes a camera mounted on a vehicle and an analysis unit that analyzes an image captured by the camera is known. The captured object coordinates are used for collision avoidance control such as damage reduction automatic braking and brake assist.

たとえば、非特許文献１には、単眼の車載カメラによって時系列に撮像された２つの画像を対比することで、画像内の物体について車両が走行する空間内の３次元座標を算出する技術が開示されている。   For example, Non-Patent Document 1 discloses a technique for calculating three-dimensional coordinates in a space where a vehicle travels for an object in an image by comparing two images captured in time series by a monocular in-vehicle camera. Has been.

具体的には、画像解析によって静止物体および移動物体をそれぞれ検出し、静止物体については、定数倍の不定性を有する３次元座標（以下、「不定性３次元座標」と記載する）を求める。そして、画像解析によって求めた路面平面と、路面平面からの車載カメラ高さとを用いることによって、かかる不定性を解いて実座標（以下、「絶対３次元座標」と記載する）を算出する。また、移動物体については、移動物体が上記した路面平面上に存在すると仮定したうえで、画像内の位置から絶対３次元座標を算出する。   Specifically, a stationary object and a moving object are detected by image analysis, and three-dimensional coordinates having a constant multiple indefiniteness (hereinafter referred to as “indefinite three-dimensional coordinates”) are obtained for the stationary object. Then, by using the road surface plane obtained by image analysis and the vehicle-mounted camera height from the road surface plane, the indefiniteness is solved and real coordinates (hereinafter referred to as “absolute three-dimensional coordinates”) are calculated. As for the moving object, the absolute three-dimensional coordinates are calculated from the position in the image on the assumption that the moving object exists on the road surface plane.

山口晃一郎、加藤武男、二宮芳樹、「車載単眼カメラによる車両前方の障害物検出」、情報処理学会研究報告、Ｖｏｌ．２００５、Ｎｏ．１１２、Ｐ６９〜Ｐ７６Shinichiro Yamaguchi, Takeo Kato, Yoshiki Ninomiya, “Detection of obstacles in front of a vehicle using an on-vehicle monocular camera”, Information Processing Society of Japan, Vol. 2005, no. 112, P69-P76

しかしながら、非特許文献１は、上記した静止物体についての絶対３次元座標を算出する際に、カメラ高さおよび推定した路面平面を用いるので、算出される絶対３次元座標の精度に問題がある。具体的には、カメラ高さは、車両の運動（たとえば、ピッチング運動）によって変化するうえ、算出すべき３次元情報のサイズと比して小さい。したがって、カメラ高さの変動によって生じる誤差が大きくなってしまう。   However, since Non-Patent Document 1 uses the camera height and the estimated road plane when calculating the absolute three-dimensional coordinates for the stationary object, there is a problem in the accuracy of the calculated absolute three-dimensional coordinates. Specifically, the camera height changes depending on the movement of the vehicle (for example, pitching movement) and is smaller than the size of the three-dimensional information to be calculated. Therefore, an error caused by a change in camera height becomes large.

また、路面上に特徴点を検出できなかった場合には、そもそも路面平面自体を推定することができない。そして、このような精度の問題は、推定した路面平面を前提として算出される移動物体についての絶対３次元座標についても同様に発生する。そして、画像センサによる物体検出を行う場合には、背景とのコントラスト差が少ない物体を検出できないという問題もある。   In addition, when a feature point cannot be detected on the road surface, the road surface plane itself cannot be estimated in the first place. Such a problem of accuracy similarly occurs in absolute three-dimensional coordinates of a moving object calculated on the assumption of the estimated road surface plane. When performing object detection using an image sensor, there is a problem in that an object with a small contrast difference from the background cannot be detected.

これらのことから、単眼の車載カメラによって時系列に撮像された２つの画像を対比して物体の絶対３次元座標を算出する場合に、静止物体および移動物体についての座標算出を高精度に行うことができる物体検出装置あるいは物体検出方法をいかにして実現するかが大きな課題となっている。   For these reasons, when calculating the absolute three-dimensional coordinates of an object by comparing two images captured in time series with a monocular in-vehicle camera, coordinate calculation for a stationary object and a moving object is performed with high accuracy. How to realize an object detection device or an object detection method capable of performing the above is a big problem.

この発明は、上述した従来技術による問題点を解消するためになされたものであり、静止物体および移動物体についての座標算出を高精度に行うことができる物体検出装置および物体検出方法を提供することを目的とする。   The present invention has been made to solve the above-described problems caused by the prior art, and provides an object detection apparatus and an object detection method capable of calculating coordinates of a stationary object and a moving object with high accuracy. With the goal.

上述した課題を解決し、目的を達成するため、本発明は、車両の近辺に存在する静止物体および移動物体を検出する物体検出装置であって、前記車両に搭載されたカメラによって時系列に撮像された２つの画像を対比することによって前記静止物体の相対的な空間配置をあらわす相対３次元座標を取得する画像検知手段と、前記画像に対応する範囲について照射した照射波に係る反射波に基づいて前記静止物体および前記移動物体に係る距離および方位を取得するレーダ検知手段と、前記レーダ検知手段によって取得された前記方位に存在する前記画像内の前記静止物体について前記レーダ検知手段によって取得された前記距離を用いて前記相対３次元座標から絶対３次元座標を算出する座標算出手段とを備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention is an object detection device that detects a stationary object and a moving object that exist in the vicinity of a vehicle, and is imaged in time series by a camera mounted on the vehicle. An image detection means for obtaining a relative three-dimensional coordinate representing a relative spatial arrangement of the stationary object by comparing the two obtained images, and a reflected wave related to an irradiation wave irradiated on a range corresponding to the image; Radar detecting means for acquiring the distance and azimuth relating to the stationary object and the moving object, and the stationary object in the image existing in the azimuth acquired by the radar detecting means. Coordinate calculating means for calculating absolute three-dimensional coordinates from the relative three-dimensional coordinates using the distance is provided.

また、本発明は、車両の近辺に存在する静止物体および移動物体を検出する物体検出方法であって、前記車両に搭載されたカメラによって時系列に撮像された２つの画像を対比することによって前記静止物体の相対的な空間配置をあらわす相対３次元座標を取得する画像検知工程と、前記画像に対応する範囲について照射した照射波に係る反射波に基づいて前記静止物体および前記移動物体に係る距離および方位を取得するレーダ検知工程と、前記レーダ検知工程によって取得された前記方位に存在する前記画像内の前記静止物体について前記レーダ検知工程によって取得された前記距離を用いて前記相対３次元座標から絶対３次元座標を算出する座標算出工程とを含んだことを特徴とする。   Further, the present invention is an object detection method for detecting a stationary object and a moving object that exist in the vicinity of a vehicle, and compares the two images captured in time series by a camera mounted on the vehicle. An image detection step for obtaining a relative three-dimensional coordinate representing a relative spatial arrangement of a stationary object, and a distance related to the stationary object and the moving object based on a reflected wave related to an irradiation wave irradiated on a range corresponding to the image From the relative three-dimensional coordinates using the distance acquired by the radar detection step for the stationary object in the image existing in the direction acquired by the radar detection step. A coordinate calculation step of calculating absolute three-dimensional coordinates.

本発明によれば、車両に搭載されたカメラによって時系列に撮像された２つの画像を対比することによって静止物体の相対的な空間配置をあらわす相対３次元座標を取得し、画像に対応する範囲について照射した照射波に係る反射波に基づいて静止物体および移動物体に係る距離および方位を取得し、取得された方位に存在する前記画像内の静止物体について取得された距離を用いて相対３次元座標から絶対３次元座標を算出することとしたので、静止物体の座標算出を高精度に行うことができるという効果を奏する。また、撮像された画像に基づく物体検知結果と、レーダによる物体検知結果とを組み合わせることで、移動物体の座標算出についても高精度に行うことができるという効果を奏する。   According to the present invention, a relative three-dimensional coordinate representing a relative spatial arrangement of a stationary object is acquired by comparing two images captured in time series by a camera mounted on a vehicle, and a range corresponding to the image The distance and direction related to the stationary object and the moving object are acquired based on the reflected wave related to the irradiation wave irradiated with respect to the relative 3D using the distance acquired for the stationary object in the image existing in the acquired direction. Since the absolute three-dimensional coordinates are calculated from the coordinates, there is an effect that the coordinates of the stationary object can be calculated with high accuracy. In addition, by combining the object detection result based on the captured image and the object detection result by the radar, the coordinate calculation of the moving object can be performed with high accuracy.

以下に添付図面を参照して、この発明に係る物体検出装置および物体検出方法の好適な実施例を詳細に説明する。なお、以下では、従来技術に係る物体検出手法の概要および本発明に係る物体検出手法の概要について説明した後に、本発明に係る物体検出手法を適用した物体検出装置についての実施例を説明することとする。   Exemplary embodiments of an object detection device and an object detection method according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, after describing the outline of the object detection technique according to the prior art and the outline of the object detection technique according to the present invention, an embodiment of the object detection apparatus to which the object detection technique according to the present invention is applied will be described. And

まず、従来技術に係る物体検出手法の概要について図７を用いて説明する。図７は、従来技術に係る物体検出手法の処理手順を示すフローチャートである。なお、同図に示した処理手順は、上記した非特許文献１に開示されているものである。   First, an outline of the object detection method according to the prior art will be described with reference to FIG. FIG. 7 is a flowchart showing the processing procedure of the object detection method according to the prior art. The processing procedure shown in the figure is disclosed in Non-Patent Document 1 described above.

同図に示すように、従来技術に係る物体検出手法では、単眼カメラによって所定の時間間隔で撮像された時系列の入力画像（ｔ−１）および入力画像（ｔ）を入力する（ステップＳ１００１）。ここで、入力画像（ｔ）は、最新の入力画像であり、入力画像（ｔ−１）は、直前の入力画像である。   As shown in the figure, in the object detection method according to the prior art, a time-series input image (t−1) and an input image (t) captured at a predetermined time interval by a monocular camera are input (step S1001). . Here, the input image (t) is the latest input image, and the input image (t−1) is the immediately preceding input image.

つづいて、入力画像（ｔ−１）から特徴点を抽出するとともに（ステップＳ１００２）、ステップＳ１００２で抽出された特徴点を、入力画像（ｔ）において追跡する処理が行われる（ステップＳ１００３）。そして、各入力画像間での特徴点の対応関係から自車両の運動を推定する（ステップＳ１００４）。   Subsequently, a feature point is extracted from the input image (t-1) (step S1002), and a process for tracking the feature point extracted in step S1002 in the input image (t) is performed (step S1003). Then, the motion of the host vehicle is estimated from the correspondence between the feature points between the input images (step S1004).

つづいて、特徴点の不確定要素を含んだ３次元座標の算出が行われる。具体的には、特徴点の３次元座標について定数倍の不定性を有する不定性３次元座標を取得するとともに（ステップＳ１００５）、路面平面を推定する（ステップＳ１００６）。そして、推定した路面平面からのカメラ高さを用いて不定性３次元座標のスケールを決定する（ステップＳ１００７）。ここで、スケールとは、不定性３次元座標を実座標（絶対３次元座標）に変換する際に用いる倍率のことを指す。   Subsequently, the calculation of the three-dimensional coordinates including the uncertain elements of the feature points is performed. Specifically, indefinite 3D coordinates having a constant multiple of the 3D coordinates of feature points are acquired (step S1005), and a road surface plane is estimated (step S1006). Then, the scale of the indefinite three-dimensional coordinates is determined using the estimated camera height from the road surface plane (step S1007). Here, the scale refers to a magnification used when converting indefinite three-dimensional coordinates into real coordinates (absolute three-dimensional coordinates).

そして、ステップＳ１００７で決定したスケール（倍率）を用いて不定性を解き、静止物体について求めた絶対３次元座標に基づき、路面領域を検出するとともに（ステップＳ１００８）、移動物体がステップＳ１００６で推定した路面平面上に存在すると仮定したうえで、移動物体領域を検出する（ステップＳ１００９）。   Then, the indeterminacy is solved using the scale (magnification) determined in step S1007, the road surface area is detected based on the absolute three-dimensional coordinates obtained for the stationary object (step S1008), and the moving object is estimated in step S1006. A moving object region is detected on the assumption that it exists on the road surface (step S1009).

このように、従来技術に係る物体検出手法では、静止物体についての絶対３次元座標を算出する際に、カメラ高さおよび推定した路面平面を用いるので、算出される絶対３次元座標の精度に問題があった。これは、上記したように、カメラ高さが、車両の運動（たとえば、ピッチング運動）によって変化するうえ、算出すべき３次元情報のサイズと比して小さいためである。   As described above, the object detection method according to the related art uses the camera height and the estimated road plane when calculating the absolute three-dimensional coordinates of the stationary object, so that there is a problem in the accuracy of the calculated absolute three-dimensional coordinates. was there. This is because, as described above, the camera height changes depending on the motion of the vehicle (for example, pitching motion) and is smaller than the size of the three-dimensional information to be calculated.

また、路面上に特徴点を検出できなかった場合には、そもそも路面平面自体を推定することができないため、推定した路面平面を前提として算出される移動物体についての絶対３次元座標についても、静止物体についての絶対３次元座標と同様に、算出される絶対３次元精度に問題があった。   In addition, when the feature point cannot be detected on the road surface, the road surface plane itself cannot be estimated in the first place. Therefore, the absolute three-dimensional coordinates of the moving object calculated on the basis of the estimated road surface plane are also stationary. Similar to the absolute three-dimensional coordinates of the object, there is a problem in the calculated absolute three-dimensional accuracy.

次に、本発明に係る物体検出手法の概要について図１を用いて説明する。図１は、本発明に係る物体検出手法の概要を示す図である。同図に示すように、本発明に係る物体検出手法では、図７を用いて説明した物体検出手法における問題点を解消するために、レーダ検知と、カメラを用いた画像検知とを併用することとした。   Next, an outline of the object detection method according to the present invention will be described with reference to FIG. FIG. 1 is a diagram showing an outline of an object detection method according to the present invention. As shown in the figure, in the object detection method according to the present invention, radar detection and image detection using a camera are used in combination in order to solve the problems in the object detection method described with reference to FIG. It was.

まず、画像検知による物体検知と、レーダ検知による物体検知とを対比すると（同図の１０１参照）、画像検知の場合には、背景とのコントラストが少ない物体（低コントラスト物体）を検知しにくく、一方、レーダ検知の場合には、歩行者のような照射波の反射率が低い物体（低反射率物体）を検知しにくいという特徴がある。   First, comparing object detection by image detection with object detection by radar detection (see 101 in the figure), in the case of image detection, it is difficult to detect an object with low contrast with the background (low contrast object) On the other hand, in the case of radar detection, there is a feature that it is difficult to detect an object such as a pedestrian that has a low reflectance of an irradiation wave (low reflectance object).

そして、画像検知による物体検知を行う場合、図７を用いてすでに説明したように、静止物体の場合には、不定性３次元座標および倍率（スケール）を用いて絶対３次元座標を算出する。また、移動物体の場合には、推定した路面平面および画像上の位置を用いて絶対３次元座標を算出する。   When performing object detection by image detection, as already described with reference to FIG. 7, in the case of a stationary object, absolute three-dimensional coordinates are calculated using indefinite three-dimensional coordinates and a magnification (scale). In the case of a moving object, absolute three-dimensional coordinates are calculated using the estimated road surface plane and the position on the image.

一方、レーダ検知による物体検知を行う場合、物体へ照射した照射波および物体によって反射された反射波に基づいて物体の距離・方位等の位置情報を取得し、絶対３次元座標を算出することが一般的である。   On the other hand, when performing object detection by radar detection, it is possible to obtain position information such as the distance and azimuth of the object based on the irradiation wave irradiated on the object and the reflected wave reflected by the object, and calculate absolute three-dimensional coordinates. It is common.

このような画像検知およびレーダ検知の特徴点をふまえ、本発明に係る物体検出手法は、静止物体の３次元座標算出に用いる倍率（スケール）を、レーダ検知結果から取得するようにした点に主たる特徴がある（図１の（１）参照）。そして、取得した倍率を用いて静止物体の３次元座標（絶対３次元座標）を算出することとした（同図の（２）参照）。   Based on such feature points of image detection and radar detection, the object detection method according to the present invention is mainly based on the point that the magnification (scale) used for calculating the three-dimensional coordinates of the stationary object is acquired from the radar detection result. There are features (see (1) in FIG. 1). Then, the three-dimensional coordinates (absolute three-dimensional coordinates) of the stationary object are calculated using the acquired magnification (see (2) in the figure).

また、画像検知では、そもそも不定性３次元座標を算出することができない移動物体については、主にレーダ検知による位置情報を用いて３次元座標（絶対３次元座標）を算出することとした。   In addition, in image detection, for a moving object for which indefinite three-dimensional coordinates cannot be calculated in the first place, three-dimensional coordinates (absolute three-dimensional coordinates) are calculated mainly using position information obtained by radar detection.

このように、本発明に係る物体検出手法では、画像検知による検知結果と、レーダ検知による検知結果を組み合わせることで、画像検知では検知しにくい低コントラスト物体をレーダ検知によって補完するとともに、レーダ検知では検知しにくい低反射率物体を画像検知によって補完することができる。   As described above, in the object detection method according to the present invention, by combining the detection result by the image detection and the detection result by the radar detection, the low-contrast object that is difficult to detect by the image detection is complemented by the radar detection. It is possible to supplement low-reflectance objects that are difficult to detect by image detection.

また、画像検知のみでは、誤差が大きくなる３次元座標の算出において、レーダ検知によって得られる位置情報を利用することで、高精度な３次元座標（絶対３次元座標）を算出することができる。すなわち、静止物体については不定性３次元座標の不定性を解くために必要な倍率（スケール）をレーダ検知による位置情報から決定するとともに、移動物体については、誤差が大きい画像検知による座標に代えて誤差が小さいレーダ検知による座標を用いることで、静止物体および移動物体の双方について高精度な３次元座標（絶対３次元座標）を算出することが可能となる。   In addition, with only image detection, it is possible to calculate highly accurate three-dimensional coordinates (absolute three-dimensional coordinates) by using position information obtained by radar detection in calculating three-dimensional coordinates with large errors. That is, for a stationary object, the magnification (scale) necessary for solving the ambiguity of the indeterminate three-dimensional coordinate is determined from position information obtained by radar detection, and for a moving object, instead of the coordinate by image detection having a large error. By using coordinates by radar detection with a small error, it is possible to calculate highly accurate three-dimensional coordinates (absolute three-dimensional coordinates) for both stationary objects and moving objects.

以下では、図１に示した本発明に係る物体検知手法を適用した物体検知装置に係る実施例を、図２〜図６を用いて説明する。   Below, the Example which concerns on the object detection apparatus to which the object detection method based on this invention shown in FIG. 1 is applied is described using FIGS.

図２は、本実施例に係る物体検知装置１０の構成を示すブロック図である。同図に示すように、物体検出装置１０は、レーダ２１と、カメラ２２と、車両センサ３１と、車両制御装置３２とに接続されており、物体認識処理部１１および衝突判定処理部１５を備えている。なお、本実施例では、衝突判定処理部１５を備えた物体検出装置１０について説明するが、この衝突判定処理部１５を含まない物体検出装置を構成することとしてもよい。   FIG. 2 is a block diagram illustrating a configuration of the object detection apparatus 10 according to the present embodiment. As shown in the figure, the object detection device 10 is connected to a radar 21, a camera 22, a vehicle sensor 31, and a vehicle control device 32, and includes an object recognition processing unit 11 and a collision determination processing unit 15. ing. In the present embodiment, the object detection device 10 including the collision determination processing unit 15 will be described. However, an object detection device that does not include the collision determination processing unit 15 may be configured.

また、物体認識処理部１１は、レーダ２１に接続されたレーダ検知部１２と、カメラ２２に接続された画像検知部１３と、レーダ検知部１２による検知結果および画像検知部１３による検知結果を統合する統合部１４とをさらに備えている。そして、レーダ検知部１２は、位置情報取得部１２ａをさらに備えており、画像検知部１３は、物体検知部１３ａをさらに備えている。なお、同図では、レーダ検知部１２および画像検知部１３について、本発明を説明するために必要な構成要素のみを示している。   The object recognition processing unit 11 also integrates the radar detection unit 12 connected to the radar 21, the image detection unit 13 connected to the camera 22, the detection result by the radar detection unit 12, and the detection result by the image detection unit 13. And an integrating unit 14 for performing the above operation. The radar detection unit 12 further includes a position information acquisition unit 12a, and the image detection unit 13 further includes an object detection unit 13a. In the drawing, only the components necessary for explaining the present invention are shown for the radar detection unit 12 and the image detection unit 13.

レーダ２１は、ミリ波（レーザ）を対象物に照射するとともに、対象物からの反射波を取得する処理を行うデバイスである。また、このレーダ２１は、照射波および反射波についてのレーダデータをレーダ探索部１２の位置情報取得部１２ａに対して出力する処理を併せて行う。   The radar 21 is a device that performs processing for irradiating a target with a millimeter wave (laser) and acquiring a reflected wave from the target. The radar 21 also performs a process of outputting radar data on the irradiation wave and the reflected wave to the position information acquisition unit 12a of the radar search unit 12.

カメラ２２は、たとえば、ＣＣＤ（Charge Coupled Devices）カメラや赤外線カメラ等のカメラである。また、このカメラ２２は、撮像した画像データを画像検知１３の物体検知部１３ａに対して出力する処理を併せて行う。   The camera 22 is a camera such as a CCD (Charge Coupled Devices) camera or an infrared camera, for example. The camera 22 also performs a process of outputting the captured image data to the object detection unit 13 a of the image detection 13.

車両センサ３１は、車速センサ、舵角センサといった車両の運動状態を取得するセンサであり、物体検出装置１０とともに、車両に搭載されている。また、この車両センサ３１は、取得した運動状態を衝突判定処理部１５の車両運動取得部１５ｂに対して出力する処理を併せて行う。   The vehicle sensor 31 is a sensor that acquires the motion state of the vehicle, such as a vehicle speed sensor or a steering angle sensor, and is mounted on the vehicle together with the object detection device 10. The vehicle sensor 31 also performs a process of outputting the acquired motion state to the vehicle motion acquisition unit 15 b of the collision determination processing unit 15.

車両制御装置３２は、ブレーキ制御、操舵制御、警告制御といった車両制御を、衝突判定処理部１５の衝突回避制御部１５ｄからの指示に従って行う装置である。ここで、ブレーキ制御とは、衝突回避のために自動ブレーキやブレーキアシストを行う制御のことを指す。また、操舵制御とは、衝突回避のために自動操舵や操舵アシストを行う制御のことを指し、警告制御とは、運転者に対して音声や振動、シートベルト作動による警告を行う制御のことを指す。   The vehicle control device 32 is a device that performs vehicle control such as brake control, steering control, and warning control in accordance with instructions from the collision avoidance control unit 15 d of the collision determination processing unit 15. Here, the brake control refers to control that performs automatic braking or brake assist for avoiding a collision. Steering control refers to control that performs automatic steering and steering assist to avoid collisions, and warning control refers to control that provides warnings to the driver by voice, vibration, and seat belt operation. Point to.

物体認識処理部１１は、カメラ２２からの画像データに基づく物体検知と、レーダ２１からのレーダデータに基づく物体検知とを統合し、静止物体および移動物体について算出した絶対３次元座標を衝突判定処理部１５へ出力する処理を行う処理部である。   The object recognition processing unit 11 integrates object detection based on image data from the camera 22 and object detection based on radar data from the radar 21, and performs collision determination processing on absolute three-dimensional coordinates calculated for a stationary object and a moving object. It is a processing unit that performs processing to be output to the unit 15.

レーダ検知部１２は、レーダ２１からのレーダデータに基づいて物体検知を行う処理部である。また、位置情報取得部１２ａは、検知した物体についての位置情報を統合部１４の移動物体座標算出部１４ａおよび静止物体座標算出部１４ｂに対して出力する処理を行う処理部である。ここで位置情報とは、物体までの距離、物体が位置する方位、物体との相対速度等の情報を指す。   The radar detection unit 12 is a processing unit that performs object detection based on radar data from the radar 21. The position information acquisition unit 12a is a processing unit that performs processing to output position information about the detected object to the moving object coordinate calculation unit 14a and the stationary object coordinate calculation unit 14b of the integration unit 14. Here, the position information refers to information such as the distance to the object, the direction in which the object is located, and the relative speed with the object.

画像検知部１３は、カメラ２２から受け取った時系列の画像データを対比することによって、移動物体と静止物体とを区別したうえで、静止物体については、定数倍の不定性を有する不定性３次元座標を算出するとともに、移動物体については、画像内の位置を取得する処理を行う処理部である。また、この画像探索部１３は、静止物体に係る情報を静止物体座標算出部１４ｂへ、移動物体に係る情報を移動物体座標算出部１４ａへ、それぞれ出力する処理を併せて行う。   The image detection unit 13 compares the time-series image data received from the camera 22 to distinguish between a moving object and a stationary object, and the stationary object has an indefinite three-dimensionality having a constant multiple indefiniteness. While calculating a coordinate, it is a process part which performs the process which acquires the position in an image about a moving object. The image search unit 13 also performs a process of outputting information related to the stationary object to the stationary object coordinate calculation unit 14b and information related to the moving object to the moving object coordinate calculation unit 14a.

統合部１４は、レーダ検知部１２による検知結果と、画像検知部１３による検知結果とを統合し、静止物体および移動物体について算出した絶対３次元座標を衝突処理部１５へ出力する処理を行う処理部である。ここで、この統合部１４が行う検知結果統合処理の概要について図３を用いて説明しておく。   The integration unit 14 integrates the detection result of the radar detection unit 12 and the detection result of the image detection unit 13, and performs processing to output the absolute three-dimensional coordinates calculated for the stationary object and the moving object to the collision processing unit 15. Part. Here, an outline of the detection result integration process performed by the integration unit 14 will be described with reference to FIG.

図３は、検知結果統合処理の概要を示す図である。なお、同図に示す１０３ａは、カメラ２２から見た画像イメージを表しており、１０３ｃは、１０３ａに示した画像イメージ上に、レーダ検知結果を合成したイメージを表している。また、同図に示す１０３ｂは、自車両の前方に設けられたレーダ２１によって検知される物体を上方から見たイメージを表している。   FIG. 3 is a diagram showing an outline of detection result integration processing. In addition, 103a shown to the same figure represents the image image seen from the camera 22, and 103c represents the image which synthesize | combined the radar detection result on the image image shown to 103a. 103b shown in the figure represents an image of an object detected by the radar 21 provided in front of the host vehicle as viewed from above.

同図に示すように、統合部１４は、画像検知部１３による検知結果（同図の１０３ａ参照）と、レーダ検知部１２による検知結果（同図の１０３ｂ参照）とを統合することで、同図の１０３に示すように、統合された検知結果を生成する。たとえば、画像検知部１３によって、同図に示す「（１）」、「（２）」、「（４）」および「（５）」の物体が検知され、レーダ検知部１２によって、同図に示す「（１）」、「（３）」、「（４）」および「（６）」が検知されたとすると、双方で検知された物体「（１）」および物体「（４）」をマッチングし、マッチング結果に基づいてその他の物体についての検知結果を合成する。   As shown in the figure, the integration unit 14 integrates the detection result by the image detection unit 13 (see 103a in the figure) and the detection result by the radar detection unit 12 (see 103b in the figure). As shown in FIG. 103, an integrated detection result is generated. For example, the image detection unit 13 detects the objects “(1)”, “(2)”, “(4)”, and “(5)” shown in FIG. If “(1)”, “(3)”, “(4)”, and “(6)” are detected, the object “(1)” and the object “(4)” detected on both sides are matched. Then, the detection results for other objects are synthesized based on the matching result.

なお、画像検知部１３によっては検知されたものの、レーダ検知部１２によっては検知されなかった物体「（２）」および「（５）」は、歩行者のような照射波の反射率が低い低反射率物体を表している。また、レーダ検知部１２によっては検知されたものの、画像検知部１３によっては検知されなかった物体「（３）」および「（６）」は、画像における背景とのコントラスト差が小さい低コントラスト物体を表している。このように、双方の検知結果を統合することで、画像検知では非検出となった物体をレーダ検知で補完し、また、レーダ検知では非検出となった物体を画像検知で補完することができる。   Note that the objects “(2)” and “(5)” that were detected by the image detection unit 13 but not detected by the radar detection unit 12 have a low reflectance of the irradiation wave like a pedestrian. Represents a reflective object. In addition, the objects “(3)” and “(6)” detected by the radar detection unit 12 but not detected by the image detection unit 13 are low-contrast objects having a small contrast difference with the background in the image. Represents. Thus, by integrating both detection results, an object that has not been detected in image detection can be complemented by radar detection, and an object that has not been detected in radar detection can be supplemented by image detection. .

図２の説明に戻り、移動物体座標算出部１４ａについて説明する。移動物体座標算出部１４ａは、主に、レーダ検知部１２の位置情報取得部１２ａから受け取った位置情報に基づいて移動物体に係る絶対３次元座標を算出する処理を行う処理部である。また、この移動物体座標算出部１４ａは、移動物体に係る絶対３次元座標を物体座標認識部１４ｃに対して出力する処理を併せて行う。   Returning to the description of FIG. 2, the moving object coordinate calculation unit 14a will be described. The moving object coordinate calculation unit 14a is a processing unit that mainly performs processing for calculating absolute three-dimensional coordinates related to a moving object based on position information received from the position information acquisition unit 12a of the radar detection unit 12. The moving object coordinate calculation unit 14a also performs a process of outputting absolute three-dimensional coordinates related to the moving object to the object coordinate recognition unit 14c.

静止物体座標算出部１４ｂは、画像検知部１３の物体検知部１３ａから静止物体に係る定数倍の不定性を有する不定性３次元座標を受け取るとともに、レーダ検知部１２の位置情報取得部１２ａから受け取った位置情報を用いることによって不定性３次元座標の不定性を解き、静止物体に係る絶対３次元座標を算出する処理を行う処理部である。また、この静止物体座標算出部１４ｂは、静止物体に係る絶対３次元座標を物体座標認識部１４ｃに対して出力する処理を併せて行う。   The stationary object coordinate calculation unit 14b receives from the object detection unit 13a of the image detection unit 13 indefinite three-dimensional coordinates having a constant multiple indefiniteness related to the stationary object and also receives from the position information acquisition unit 12a of the radar detection unit 12 The processing unit performs processing for solving the ambiguity of the indeterminate three-dimensional coordinates by using the position information and calculating the absolute three-dimensional coordinates related to the stationary object. The stationary object coordinate calculation unit 14b also performs a process of outputting absolute three-dimensional coordinates related to the stationary object to the object coordinate recognition unit 14c.

物体座標認識部１４ｃは、移動物体座標算出部１４ａから受け取った移動物体に係る絶対３次元座標と、静止物体座標算出部１４ｂから受け取った静止物体に係る絶対３次元座標とを合成し、合成結果を、衝突判定処理部１５の物体運動取得部１５ａに対して出力する処理を行う処理部である。   The object coordinate recognition unit 14c synthesizes the absolute three-dimensional coordinates related to the moving object received from the moving object coordinate calculation unit 14a and the absolute three-dimensional coordinates related to the stationary object received from the stationary object coordinate calculation unit 14b. Is a processing unit that performs processing to output to the object motion acquisition unit 15a of the collision determination processing unit 15.

ここで、統合部１４が行う検知結果統合処理の具体例について図４を用いて説明しておく。図４は、検知結果統合処理の具体例を示す図である。なお、同図に示す「Ｎｏ．」項目は、図３に示した物体「（１）」〜「（６）」にそれぞれ対応している。また、「物体種別」項目は、各物体が、「静止物体」であるか「移動物体」であるかを示している。   Here, a specific example of the detection result integration process performed by the integration unit 14 will be described with reference to FIG. FIG. 4 is a diagram illustrating a specific example of detection result integration processing. The “No.” item shown in the figure corresponds to the objects “(1)” to “(6)” shown in FIG. The “object type” item indicates whether each object is a “stationary object” or a “moving object”.

「画像検知」項目は、各物体が画像検知部１３によって検知されたか否かを示しており、「○」が検知を、「×」が非検知を、それぞれ表している。また、「レーダ検知」項目は、各物体がレーダ検知部１２によって検知されたか否かを示しており、「○」が検知を、「×」が非検知を、それぞれ表している。   The “image detection” item indicates whether or not each object has been detected by the image detection unit 13, where “◯” indicates detection and “×” indicates non-detection. The “radar detection” item indicates whether or not each object has been detected by the radar detection unit 12. “◯” indicates detection and “×” indicates non-detection.

ここで、同図に示す１０４ａは、画像検知されなかったがレーダ検知された場合、すなわち、「３」および「６」の物体が、低コントラスト物体であることを示している。なお、「２」および「５」の物体は、レーダ検知されなかったが画像検知されている物体、すなわち、低反射率物体であることを示している。   Here, reference numeral 104a shown in the figure indicates that the image is not detected but the radar is detected, that is, the objects “3” and “6” are low-contrast objects. Note that the objects “2” and “5” indicate objects that are not detected by the radar but are image-detected, that is, low-reflectance objects.

「不定性除去」項目では、静止物体に係る不定性３次元座標の不定性を解くために用いられる情報について「○」を付している。このように、画像検知され、かつ、レーダ検知された静止物体について、レーダ検知によって取得した位置情報を用いて倍率（スケール）が決定されることになる。   In the “determining ambiguity” item, “◯” is given to information used for solving the ambiguity of the ambiguity three-dimensional coordinates related to the stationary object. As described above, the magnification (scale) of the stationary object that has been image-detected and radar-detected is determined using the position information acquired by the radar detection.

「３次元復元手法」項目は、各物体について、３次元座標（絶対３次元座標）を復元する際に用いられる各手法を表している。各手法としては、不定性３次元座標の不定性を解くことで絶対３次元座標を復元する「画像復元」、レーダ検知部１２による位置情報に基づいて絶対３次元座標を復元する「レーダ測距」、移動物体が路面平面上にあると仮定した場合における画像足元位置を用いて絶対３次元座標を復元する「画像足元位置」の３種の中から、同図において反転表示した手法が選択される。   The “three-dimensional restoration method” item represents each method used when restoring three-dimensional coordinates (absolute three-dimensional coordinates) for each object. As each method, “image restoration” for restoring the absolute three-dimensional coordinates by solving the ambiguity of the indeterminate three-dimensional coordinates, and “radar ranging” that restores the absolute three-dimensional coordinates based on the position information by the radar detector 12. "The method highlighted in the figure is selected from the three types of" image foot position "that restores absolute three-dimensional coordinates using the image foot position when it is assumed that the moving object is on the road surface plane. The

たとえば、物体「１」および「２」では、「画像復元」手法が選択される。ここで、同図に示す「△」は、物体「２」では、物体「１」の３次元復元時に求められた倍率（スケール）が用いられることを示している。このように、レーダ検知による位置情報を用いて静止物体に係る不定性３次元座標の不定性を解くことで、絶対３次元座標の精度を高めることができる（同図の１０４ｂ参照）。   For example, for the objects “1” and “2”, the “image restoration” method is selected. Here, “Δ” shown in the figure indicates that the magnification (scale) obtained when the object “2” is three-dimensionally restored is used for the object “2”. Thus, the accuracy of the absolute three-dimensional coordinates can be improved by solving the indefiniteness of the indeterminate three-dimensional coordinates related to the stationary object using the position information obtained by the radar detection (see 104b in the figure).

また、移動物体では、基本的に「レーダ測距」手法が選択されるが、レーダ検知がされなかった移動物である物体「５」については、「画像足元位置」手法を用いて絶対３次元座標が算出される。ここで、「画像足元位置」手法に用いられる路面平面の推定は、レーダ検知部１２の位置情報取得部１２ａが取得した位置情報に基づいて行われる。このように、レーダに基づく路面平面の推定を行うことで、画像に基づく路面平面の推定を行う場合よりも推定精度を向上させることができる。   For moving objects, the “radar ranging” method is basically selected, but the object “5”, which is a moving object that has not been detected by the radar, is absolute 3D using the “image foot position” method. Coordinates are calculated. Here, the estimation of the road surface plane used in the “image foot position” method is performed based on the position information acquired by the position information acquisition unit 12 a of the radar detection unit 12. Thus, by estimating the road surface plane based on the radar, the estimation accuracy can be improved as compared with the case of estimating the road surface plane based on the image.

図２の説明に戻り、衝突判定処理部１５について説明する。衝突判定処理部１５は、統合部１４の物体座標認識部１４ｃから受け取った物体運動データと、車両センサ３１から受け取った車両運動データとに基づき、自車両と物体とが衝突する可能性があるか否かを判定するとともに、衝突することが予測された場合には、衝突回避指示を車両制御装置３２へ出力する処理を行う処理部である。   Returning to the description of FIG. 2, the collision determination processing unit 15 will be described. Whether the collision determination processing unit 15 may collide with the subject vehicle based on the object motion data received from the object coordinate recognition unit 14c of the integration unit 14 and the vehicle motion data received from the vehicle sensor 31. It is a processing unit that performs a process of determining whether or not a collision and outputting a collision avoidance instruction to the vehicle control device 32 when a collision is predicted.

物体運動取得部１５ａは、統合部１４の物体座標認識部１４ｃから静止物体および移動物体についての絶対３次元座標を受け取り、受け取った絶対３次元座標を衝突判定部１５ｃへ出力する処理を行う処理部である。また、車両運動取得部１５ｂは、車両センサ３１から自車両に係る車速、舵角といった車両運動データを受け取り、受け取った車両運動データを衝突判定部１５ｃへ出力する処理を行う処理部である。   The object motion acquisition unit 15a receives the absolute three-dimensional coordinates of the stationary object and the moving object from the object coordinate recognition unit 14c of the integration unit 14, and performs processing to output the received absolute three-dimensional coordinates to the collision determination unit 15c. It is. The vehicle motion acquisition unit 15b is a processing unit that receives vehicle motion data such as a vehicle speed and a steering angle related to the host vehicle from the vehicle sensor 31 and outputs the received vehicle motion data to the collision determination unit 15c.

衝突判定部１５ｃは、物体運動取得部１５ａから受け取った物体運動データと、車両運動取得部１５ｂから受け取った車両運動データとに基づき、検出された物体が自車両に衝突するか否かを判定する処理を行う処理部である。また、この衝突判定部１５ｃは、判定結果を衝突回避制御部１５ｄに対して出力する処理を併せて行う。   The collision determination unit 15c determines whether the detected object collides with the host vehicle based on the object motion data received from the object motion acquisition unit 15a and the vehicle motion data received from the vehicle motion acquisition unit 15b. A processing unit that performs processing. The collision determination unit 15c also performs a process of outputting the determination result to the collision avoidance control unit 15d.

衝突回避制御部１５ｄは、衝突判定部１５ｃから検出物体が自車両に衝突する旨の通知を受け取った場合に、車両制御装置３２に対して衝突を回避するための指示を出力する処理を行う処理部である。たとえば、この衝突判定部１５ｃは、衝突を回避するために、車両制御装置３２に対してアシストブレーキを作動させるように指示する。   The collision avoidance control unit 15d performs a process of outputting an instruction for avoiding a collision to the vehicle control device 32 when receiving a notification that the detected object collides with the host vehicle from the collision determination unit 15c. Part. For example, the collision determination unit 15c instructs the vehicle control device 32 to operate the assist brake in order to avoid a collision.

次に、図２に示した画像検知部１３が実行する処理手順について図５を用いて説明する。図５は、画像検知部１３が実行する処理手順を示すフローチャートである。同図に示すように、画像検知部１３は、図７に示した従来技術と同様に、カメラ２２によって所定の時間間隔で撮像された時系列の入力画像（ｔ−１）および入力画像（ｔ）を入力する（ステップＳ１０１）。ここで、入力画像（ｔ）は、最新の入力画像であり、入力画像（ｔ−１）は、直前の入力画像である。   Next, a processing procedure executed by the image detection unit 13 shown in FIG. 2 will be described with reference to FIG. FIG. 5 is a flowchart showing a processing procedure executed by the image detection unit 13. As shown in the figure, the image detection unit 13, as in the prior art shown in FIG. 7, includes a time-series input image (t−1) and an input image (t ) Is input (step S101). Here, the input image (t) is the latest input image, and the input image (t−1) is the immediately preceding input image.

そして、入力画像（ｔ−１）から特徴点を抽出するとともに（ステップＳ１０２）、ステップＳ１０２で抽出された特徴点を、入力画像（ｔ）において追跡する処理が行われる（ステップＳ１０３）。そして、各入力画像間での特徴点の対応関係から自車両の運動を推定する（ステップＳ１０４）。   Then, a feature point is extracted from the input image (t-1) (step S102), and a process of tracking the feature point extracted in step S102 in the input image (t) is performed (step S103). Then, the motion of the host vehicle is estimated from the correspondence between the feature points between the input images (step S104).

つづいて、特徴点の不確定要素を含んだ３次元座標の算出が行われる。具体的には、特徴点の３次元座標について定数倍の不定性を有する不定性３次元座標を取得する処理（ステップＳ１０５）のみを行う。すなわち、図７に示した従来技術とは異なり、路面平面の推定処理（図７のステップＳ１００６参照）および画像に基づく倍率（スケール）決定処理（図７のステップＳ１００７参照）は、必須処理ではない。   Subsequently, the calculation of the three-dimensional coordinates including the uncertain elements of the feature points is performed. Specifically, only the process (step S105) of acquiring indefinite three-dimensional coordinates having a constant multiple of indefiniteness for the three-dimensional coordinates of feature points is performed. That is, unlike the prior art shown in FIG. 7, the road surface plane estimation process (see step S1006 in FIG. 7) and the image-based magnification (scale) determination process (see step S1007 in FIG. 7) are not essential processes. .

なお、かかる倍率（スケール）の決定は、すでに説明したように、レーダ検知部１２によって取得された位置情報に基づいて行われる。つづいて、画像検出部１３は、静止物体領域を検出するとともに（ステップＳ１０６）、移動物体領域を検出し（ステップＳ１０７）、処理を終了する。   The magnification (scale) is determined based on the position information acquired by the radar detector 12 as described above. Subsequently, the image detection unit 13 detects a stationary object region (step S106), detects a moving object region (step S107), and ends the process.

次に、図２に示した統合部１４が実行する処理手順について図６を用いて説明する。図６は、統合部１４が実行する処理手順を示すフローチャートである。同図に示すように、統合部１４は、レーダ検知部１２からの距離・方位情報を用いて静止物体領域（静止物体が存在する領域）の定数倍の不定性を解き、３次元座標（絶対３次元座標）を算出する（ステップＳ２０１）。   Next, a processing procedure executed by the integration unit 14 shown in FIG. 2 will be described with reference to FIG. FIG. 6 is a flowchart illustrating a processing procedure executed by the integration unit 14. As shown in the figure, the integration unit 14 uses the distance / orientation information from the radar detection unit 12 to solve the indefiniteness of a constant multiple of the stationary object region (the region where the stationary object exists), and solves the three-dimensional coordinates (absolute (Three-dimensional coordinates) is calculated (step S201).

つづいて、レーダ検知部１２からの距離・方位情報を用いて移動物体領域（移動物体が存在する領域）の３次元座標（絶対３次元座標）を算出する（ステップＳ２０２）。そして、静止物体領域および移動物体領域の３次元座標（絶対３次元座標）の検出したすべての物体を認識し（ステップＳ２０３）、処理を終了する。   Subsequently, the three-dimensional coordinates (absolute three-dimensional coordinates) of the moving object region (the region where the moving object exists) are calculated using the distance / orientation information from the radar detector 12 (step S202). Then, all the objects detected in the three-dimensional coordinates (absolute three-dimensional coordinates) of the stationary object region and the moving object region are recognized (step S203), and the process ends.

上述してきたように、本実施例では、画像検知部が、車両に搭載されたカメラによって時系列に撮像された２つの画像を対比することによって静止物体の相対的な空間配置をあらわす相対３次元座標を取得し、レーダ検知部が、画像に対応する範囲について照射した照射波に係る反射波に基づいて静止物体および移動物体に係る距離および方位を取得し、物体座標認識部が、取得された方位に存在する前記画像内の静止物体について取得された距離を用いて相対３次元座標から絶対３次元座標を算出するように物体検出装置を構成した。   As described above, in this embodiment, the image detection unit compares the two images captured in time series with the camera mounted on the vehicle, thereby representing the relative spatial arrangement of the stationary object. The coordinates are acquired, the radar detection unit acquires the distance and direction related to the stationary object and the moving object based on the reflected wave related to the irradiation wave irradiated for the range corresponding to the image, and the object coordinate recognition unit is acquired The object detection apparatus is configured to calculate the absolute three-dimensional coordinates from the relative three-dimensional coordinates using the distance acquired for the stationary object in the image existing in the direction.

したがって、静止物体の座標算出を高精度に行うことができる。また、撮像された画像に基づく物体検知結果と、レーダによる物体検知結果とを組み合わせることで、移動物体の座標算出についても高精度に行うことができる。   Therefore, the coordinates of the stationary object can be calculated with high accuracy. Further, by combining the object detection result based on the captured image and the object detection result by the radar, the coordinate calculation of the moving object can be performed with high accuracy.

以上のように、本発明に係る物体検出装置および物体検出方法は、走行車両の障害となる物体の検出に有用であり、特に、静止物体および移動物体についての座標算出を高精度に行いたい場合に適している。   As described above, the object detection device and the object detection method according to the present invention are useful for detecting an object that is an obstacle to a traveling vehicle, and particularly when it is desired to calculate coordinates for a stationary object and a moving object with high accuracy. Suitable for

本発明に係る物体検出手法の概要を示す図である。It is a figure which shows the outline | summary of the object detection method based on this invention. 本実施例に係る物体検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the object detection apparatus which concerns on a present Example. 検知結果統合処理の概要を示す図である。It is a figure which shows the outline | summary of a detection result integration process. 検知結果統合処理の具体例を示す図である。It is a figure which shows the specific example of a detection result integration process. 画像検知部が実行する処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which an image detection part performs. 統合部が実行する処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which an integration part performs. 従来技術に係る物体検出手法の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the object detection method based on a prior art.

符号の説明Explanation of symbols

１０ 物体検出装置
１１ 物体認識処理部
１２ レーダ検知部
１２ａ 位置情報取得部
１３ 画像検知部
１３ａ 物体検知部
１４ 統合部
１４ａ 移動物体座標算出部
１４ｂ 静止物体座標算出部
１４ｃ 物体座標認識部
１５ 衝突判定処理部
１５ａ 物体運動取得部
１５ｂ 車両運動取得部
１５ｃ 衝突判定部
１５ｄ 衝突回避制御部
２１ レーダ
２２ カメラ
３１ 車両センサ
３２ 車両制御装置 DESCRIPTION OF SYMBOLS 10 Object detection apparatus 11 Object recognition process part 12 Radar detection part 12a Position information acquisition part 13 Image detection part 13a Object detection part 14 Integration part 14a Moving object coordinate calculation part 14b Stationary object coordinate calculation part 14c Object coordinate recognition part 15 Collision determination process Unit 15a object motion acquisition unit 15b vehicle motion acquisition unit 15c collision determination unit 15d collision avoidance control unit 21 radar 22 camera 31 vehicle sensor 32 vehicle control device

Claims (4)

車両の近辺に存在する静止物体および移動物体を検出する物体検出装置であって、
前記車両に搭載されたカメラによって時系列に撮像された２つの画像を対比することによって前記静止物体の相対的な空間配置をあらわす相対３次元座標を取得する画像検知手段と、
前記画像に対応する範囲について照射した照射波に係る反射波に基づいて前記静止物体および前記移動物体に係る距離および方位を取得するレーダ検知手段と、
前記レーダ検知手段によって取得された前記方位に存在する前記画像内の前記静止物体について前記レーダ検知手段によって取得された前記距離を用いて前記相対３次元座標から絶対３次元座標を算出する座標算出手段と
を備えたことを特徴とする物体検出装置。 An object detection device for detecting a stationary object and a moving object existing in the vicinity of a vehicle,
Image detection means for acquiring relative three-dimensional coordinates representing a relative spatial arrangement of the stationary object by comparing two images captured in time series by a camera mounted on the vehicle;
Radar detecting means for acquiring a distance and an azimuth relating to the stationary object and the moving object based on a reflected wave relating to an irradiation wave emitted with respect to a range corresponding to the image;
Coordinate calculation means for calculating absolute three-dimensional coordinates from the relative three-dimensional coordinates using the distance acquired by the radar detection means for the stationary object in the image existing in the direction acquired by the radar detection means. An object detection device comprising: 前記座標算出手段は、
前記画像検知手段で検知された前記移動物体についての絶対３次元座標を路面平面および該路面平面から前記カメラまでの高さに基づいて算出することを特徴とする請求項１に記載の物体検出装置。 The coordinate calculation means includes
2. The object detection apparatus according to claim 1, wherein absolute three-dimensional coordinates of the moving object detected by the image detection unit are calculated based on a road surface plane and a height from the road surface plane to the camera. . 前記座標算出手段は、
前記レーダ検知手段によって取得された前記距離および前記方位に基づいて前記路面平面を推定することを特徴とする請求項２に記載の物体検出装置。 The coordinate calculation means includes
The object detection apparatus according to claim 2, wherein the road surface plane is estimated based on the distance and the orientation acquired by the radar detection unit. 車両の近辺に存在する静止物体および移動物体を検出する物体検出方法であって、
前記車両に搭載されたカメラによって時系列に撮像された２つの画像を対比することによって前記静止物体の相対的な空間配置をあらわす相対３次元座標を取得する画像検知工程と、
前記画像に対応する範囲について照射した照射波に係る反射波に基づいて前記静止物体および前記移動物体に係る距離および方位を取得するレーダ検知工程と、
前記レーダ検知工程によって取得された前記方位に存在する前記画像内の前記静止物体について前記レーダ検知工程によって取得された前記距離を用いて前記相対３次元座標から絶対３次元座標を算出する座標算出工程と
を含んだことを特徴とする物体検出方法。 An object detection method for detecting a stationary object and a moving object existing in the vicinity of a vehicle,
An image detection step of acquiring relative three-dimensional coordinates representing a relative spatial arrangement of the stationary object by comparing two images captured in time series by a camera mounted on the vehicle;
A radar detection step of acquiring a distance and an azimuth relating to the stationary object and the moving object based on a reflected wave relating to an irradiation wave emitted with respect to a range corresponding to the image;
A coordinate calculation step of calculating an absolute three-dimensional coordinate from the relative three-dimensional coordinate using the distance acquired by the radar detection step for the stationary object in the image existing in the direction acquired by the radar detection step. An object detection method characterized by including:
JP2008027514A 2008-02-07 2008-02-07 Object detecting device and object detecting method Pending JP2009186353A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008027514A JP2009186353A (en) 2008-02-07 2008-02-07 Object detecting device and object detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008027514A JP2009186353A (en) 2008-02-07 2008-02-07 Object detecting device and object detecting method

Publications (1)

Publication Number Publication Date
JP2009186353A true JP2009186353A (en) 2009-08-20

Family

ID=41069740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008027514A Pending JP2009186353A (en) 2008-02-07 2008-02-07 Object detecting device and object detecting method

Country Status (1)

Country Link
JP (1) JP2009186353A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021709A (en) * 2012-07-18 2014-02-03 Honda Motor Co Ltd Object position detecting device
WO2016135856A1 (en) * 2015-02-24 2016-09-01 株式会社日立製作所 Three-dimensional shape measurement system and measurement method for same
JP2017058274A (en) * 2015-09-17 2017-03-23 株式会社東芝 Measurement device, method, and program
JP2017517727A (en) * 2014-05-27 2017-06-29 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド Scale measurement of 3D information
WO2020116206A1 (en) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program
KR102249769B1 (en) * 2019-12-06 2021-05-12 주식회사 모빌테크 Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same
US11802770B2 (en) 2020-03-18 2023-10-31 Denso Corporation Vehicle position identification device and vehicle position identification method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (en) * 1996-11-06 1998-05-29 Komatsu Ltd Object detector
JP2004037239A (en) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd Identical object judging method and system, and misregistration correcting method and system
JP2004053278A (en) * 2002-07-16 2004-02-19 Nissan Motor Co Ltd Front vehicle tracking system and front vehicle tracking method
JP2004112144A (en) * 2002-09-17 2004-04-08 Nissan Motor Co Ltd Front car tracking system and method for tracking front car
JP2004212129A (en) * 2002-12-27 2004-07-29 Ishikawajima Harima Heavy Ind Co Ltd Environmental condition grasping device
JP2004265432A (en) * 2004-04-05 2004-09-24 Hitachi Ltd Travel environment recognition device
JP2005300259A (en) * 2004-04-08 2005-10-27 Ishikawajima Harima Heavy Ind Co Ltd Apparatus and method for detecting mobile unit
JP2007163258A (en) * 2005-12-13 2007-06-28 Alpine Electronics Inc Apparatus and method for compensating onboard sensor
JP2007263669A (en) * 2006-03-28 2007-10-11 Denso It Laboratory Inc Three-dimensional coordinates acquisition system
JP2008215912A (en) * 2007-03-01 2008-09-18 Mazda Motor Corp Obstacle detector for vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (en) * 1996-11-06 1998-05-29 Komatsu Ltd Object detector
JP2004037239A (en) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd Identical object judging method and system, and misregistration correcting method and system
JP2004053278A (en) * 2002-07-16 2004-02-19 Nissan Motor Co Ltd Front vehicle tracking system and front vehicle tracking method
JP2004112144A (en) * 2002-09-17 2004-04-08 Nissan Motor Co Ltd Front car tracking system and method for tracking front car
JP2004212129A (en) * 2002-12-27 2004-07-29 Ishikawajima Harima Heavy Ind Co Ltd Environmental condition grasping device
JP2004265432A (en) * 2004-04-05 2004-09-24 Hitachi Ltd Travel environment recognition device
JP2005300259A (en) * 2004-04-08 2005-10-27 Ishikawajima Harima Heavy Ind Co Ltd Apparatus and method for detecting mobile unit
JP2007163258A (en) * 2005-12-13 2007-06-28 Alpine Electronics Inc Apparatus and method for compensating onboard sensor
JP2007263669A (en) * 2006-03-28 2007-10-11 Denso It Laboratory Inc Three-dimensional coordinates acquisition system
JP2008215912A (en) * 2007-03-01 2008-09-18 Mazda Motor Corp Obstacle detector for vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山口晃一郎、外２名: ""車載単眼カメラによる車両前方の障害物検出"", 情報処理学会研究報告, vol. 2005, no. 112, JPN6012046795, 17 November 2005 (2005-11-17), pages 69 - 76, ISSN: 0002324553 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021709A (en) * 2012-07-18 2014-02-03 Honda Motor Co Ltd Object position detecting device
JP2017517727A (en) * 2014-05-27 2017-06-29 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド Scale measurement of 3D information
US10192141B2 (en) 2014-05-27 2019-01-29 Application Solutions (Electronics and Vision) Ltd. Determining scale of three dimensional information
WO2016135856A1 (en) * 2015-02-24 2016-09-01 株式会社日立製作所 Three-dimensional shape measurement system and measurement method for same
JPWO2016135856A1 (en) * 2015-02-24 2017-05-25 株式会社日立製作所 Three-dimensional shape measurement system and measurement method thereof
JP2017058274A (en) * 2015-09-17 2017-03-23 株式会社東芝 Measurement device, method, and program
US10650535B2 (en) 2015-09-17 2020-05-12 Kabushiki Kaisha Toshiba Measurement device and measurement method
WO2020116206A1 (en) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program
US11978261B2 (en) 2018-12-07 2024-05-07 Sony Semiconductor Solutions Corporation Information processing apparatus and information processing method
KR102249769B1 (en) * 2019-12-06 2021-05-12 주식회사 모빌테크 Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same
WO2021112462A1 (en) * 2019-12-06 2021-06-10 주식회사 모빌테크 Method for estimating three-dimensional coordinate values for each pixel of two-dimensional image, and method for estimating autonomous driving information using same
US11802770B2 (en) 2020-03-18 2023-10-31 Denso Corporation Vehicle position identification device and vehicle position identification method

Similar Documents

Publication Publication Date Title
US11768286B2 (en) Method of determining the yaw rate of a target vehicle
US10605896B2 (en) Radar-installation-angle calculating device, radar apparatus, and radar-installation-angle calculating method
US10242576B2 (en) Obstacle detection device
JP6881307B2 (en) Information processing equipment, information processing methods, and programs
JP5470886B2 (en) Object detection device
JP6795027B2 (en) Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs
JP2009186353A (en) Object detecting device and object detecting method
JP6622167B2 (en) Axis deviation estimation device
EP2924655B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
Rodríguez Flórez et al. Multi-modal object detection and localization for high integrity driving assistance
JP2002168953A (en) Device for monitoring vicinity of vehicle
KR102056147B1 (en) Registration method of distance data and 3D scan data for autonomous vehicle and method thereof
JP2008026997A (en) Pedestrian recognition device and pedestrian recognition method
JP2011123551A (en) Dead corner area estimating device and program
JP5098563B2 (en) Object detection device
JP2017162178A (en) Determination device, determination method and determination program
JP2011048420A (en) Vehicle detector, vehicle detection program, and vehicle detection method
US8723718B2 (en) Method and device for determining aspect angle progression
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
JP2008190904A (en) Traveling speed estimation device
JP2017167974A (en) Estimation apparatus, method and program
KR20230031344A (en) System and Method for Detecting Obstacles in Area Surrounding Vehicle
JP2008052399A (en) Surround monitor system
JP2007233440A (en) On-vehicle image processor
JP2010032429A (en) Object detector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402