JP4096932B2 - Vehicle collision time estimation apparatus and vehicle collision time estimation method - Google Patents

Vehicle collision time estimation apparatus and vehicle collision time estimation method Download PDF

Info

Publication number
JP4096932B2
JP4096932B2 JP2004275039A JP2004275039A JP4096932B2 JP 4096932 B2 JP4096932 B2 JP 4096932B2 JP 2004275039 A JP2004275039 A JP 2004275039A JP 2004275039 A JP2004275039 A JP 2004275039A JP 4096932 B2 JP4096932 B2 JP 4096932B2
Authority
JP
Japan
Prior art keywords
collision time
edge
vehicle
edge image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004275039A
Other languages
Japanese (ja)
Other versions
JP2006092117A (en
Inventor
省吾 渡辺
瑠美子 大寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004275039A priority Critical patent/JP4096932B2/en
Priority to US11/216,168 priority patent/US7262710B2/en
Priority to EP05019471A priority patent/EP1640937B1/en
Priority to DE602005011084T priority patent/DE602005011084D1/en
Publication of JP2006092117A publication Critical patent/JP2006092117A/en
Application granted granted Critical
Publication of JP4096932B2 publication Critical patent/JP4096932B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、車両に搭載され、対象物との衝突時間を推定する車両用衝突時間推定装置及び車両用衝突時間推定方法に関する。   The present invention relates to a vehicle collision time estimation device and a vehicle collision time estimation method that are mounted on a vehicle and estimate a collision time with an object.

従来より、時間的に異なる２つの車両周囲画像から衝突可能性がある対象物の水平方向又は垂直方向のエッジを検出し、検出されたエッジのオプティカルフローを相関法によって算出し、算出されたオプティカルフローに基づいて対象物との衝突時間を推定する車両用衝突時間推定装置が知られている（例えば、特許文献１を参照）。そして、このような車両用衝突時間推定装置によれば、推定された衝突時間に基づいて警報を発することにより、対象物に対する衝突回避行動を運転者にとらせることができる。   Conventionally, a horizontal or vertical edge of an object with a possibility of collision is detected from two temporally different vehicle surrounding images, and the optical flow of the detected edge is calculated by a correlation method. A vehicle collision time estimation device that estimates a collision time with an object based on a flow is known (see, for example, Patent Document 1). And according to such a collision time estimation device for vehicles, it can make a driver take collision avoidance action to a subject by issuing a warning based on the estimated collision time.

なお、上記相関法とは、画像を複数の領域に分割し、時間的に連続する画像の中から類似する領域を見付けるブロックマッチング手法であり、この手法では、時刻ｔにおけるフレーム内の注目領域Ｉ（ｘ，ｙ，ｔ）と、時刻ｔにおけるフレームに時間的に連続するフレーム内の注目領域Ｉ（ｘ，ｙ，ｔ）対応する領域Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋１）とについて、ΣΣ｛Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋１）｝２とΣΣ｜Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋１）｜の値を最小にする（ｕ，ｖ）を連続するフレーム間での対象物のオプティカルフローとして検出する。
特開平１１−３５３５６５号公報 Note that the correlation method is a block matching technique that divides an image into a plurality of areas and finds a similar area from temporally continuous images. In this technique, the attention area I in the frame at time t is used. For (x, y, t) and a region I (x + u, y + v, t + 1) corresponding to a region of interest I (x, y, t) in a frame temporally continuous with the frame at time t, ΣΣ {I ( x, y, t) −I (x + u, y + v, t + 1)} 2 and ΣΣ | I (x, y, t) −I (x + u, y + v, t + 1) | It is detected as an optical flow of the object between successive frames.
JP 11-353565 A

しかしながら、相関法を利用してオプティカルフローを検出する場合、注目する領域の周りに相関値を算出する設け、時間的に異なる２つのフレーム間で領域内輝度の相関値を検出するために、計算量が大きくなり、衝突時間を容易に算出することができない。また、画像内の対応位置を検出した後に画像内のエッジの速度を算出するために、画像内におけるエッジの位置決め精度が衝突時間の推定精度に直接影響する。すなわち、エッジ位置検出に誤差が含まれると、エッジ移動量にその誤差が含まれてしまう。   However, when optical flow is detected using the correlation method, a correlation value is calculated around the region of interest, and the calculation is performed to detect the correlation value of the in-region luminance between two temporally different frames. The amount increases and the collision time cannot be calculated easily. In addition, since the edge speed in the image is calculated after detecting the corresponding position in the image, the edge positioning accuracy in the image directly affects the collision time estimation accuracy. That is, if an error is included in edge position detection, the error is included in the edge movement amount.

本発明は、上述の課題を解決するためになされたものであり、その目的は、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることが可能な車両用衝突時間推定装置及び車両用衝突時間推定方法を提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to make it possible to easily calculate a collision time and obtain a robust output with respect to a position detection error. The object is to provide a time estimation device and a vehicle collision time estimation method.

上述の課題を解決するために、本発明に係る車両用衝突時間推定装置及び車両用衝突時間推定方法は、エッジ画像のエッジ幅を規格化し、規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化し、カウント値の傾きに基づいてエッジ画像の移動方向と移動速度を算出し、算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する。   In order to solve the above-described problem, the vehicle collision time estimation device and the vehicle collision time estimation method according to the present invention normalize the edge width of the edge image, and the edge image is detected for the normalized edge image. The count value corresponding to the selected position is incremented, the count value corresponding to the position where the edge image is not detected is initialized, and the moving direction and moving speed of the edge image are calculated based on the inclination of the count value. The collision time with the object is calculated using the position and the moving speed of the edge image.

本発明に係る車両用衝突時間推定装置及び車両用衝突時間推定方法によれば、テンプレートマッチングのようなブロックマッチング処理を行うことなくエッジ画像の移動速度及び衝突時間を算出することができるので、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることができる。   According to the vehicle collision time estimation device and the vehicle collision time estimation method according to the present invention, the moving speed and the collision time of the edge image can be calculated without performing a block matching process such as template matching. It is possible to easily calculate the time and to obtain an output robust to the position detection error.

以下、図面を参照して、本発明の実施形態となる車両用衝突時間推定装置の構成と動作について説明する。   Hereinafter, the configuration and operation of a vehicle collision time estimation device according to an embodiment of the present invention will be described with reference to the drawings.

［車両用衝突時間推定装置の構成］
本発明の実施形態となる車両用衝突時間推定装置１は、車両に搭載され、図１に示すように、車両周囲の画像を撮像する撮像手段２と、Ｓｏｂｅｌフィルタを利用して撮像手段２により撮像された時間的に連続する画像からエッジ画像を抽出するエッジ抽出手段３と、エッジ抽出手段３により抽出されたエッジ画像のエッジ幅を所定画素数に規格化するエッジ幅規格化手段４と、規格化されたエッジ画像が何フレーム連続して観測されたかの情報をカウントアップマスク１４（図２参照）として記憶する投票手段５と、カウントアップマスク１４を利用してエッジ画像の移動速度及び移動方向を算出する移動速度検出手段６と、エッジ画像の位置と移動速度を利用して衝突危険性がある対象物との衝突時間ＴＴＣを算出する衝突時間算出手段７とを有する。 [Configuration of vehicle collision time estimation device]
A vehicle collision time estimation device 1 according to an embodiment of the present invention is mounted on a vehicle and, as shown in FIG. 1, includes an imaging unit 2 that captures an image around the vehicle, and an imaging unit 2 that uses a Sobel filter. Edge extraction means 3 for extracting an edge image from captured images that are temporally continuous, edge width normalization means 4 for normalizing the edge width of the edge image extracted by the edge extraction means 3 to a predetermined number of pixels, Voting means 5 for storing information as to how many frames the normalized edge image has been continuously observed as a count-up mask 14 (see FIG. 2), and the moving speed and direction of the edge image using the count-up mask 14 Speed calculation means 6 for calculating the collision time TTC with the object at risk of collision using the position and movement speed of the edge image With the door.

なお、上記撮像手段２は、ＣＭＯＳやＣＣＤ等の撮像素子により構成され、車両の前端部、後端部、及び側面部のうちの少なくとも１箇所、又は衝突危険性がある対象物との正確な衝突時間を計測すべき箇所に取り付けられる。また、撮像手段２は、エッジ画像の移動速度及び移動方向を簡易的に算出可能なように、エッジ画像の移動速度より速い所定値以上のフレームレートで自車両周囲画像を取得する（詳しくは後述する）。   The imaging means 2 is constituted by an imaging element such as a CMOS or CCD, and is accurate with at least one of the front end portion, rear end portion, and side surface portion of the vehicle, or an object with a risk of collision. It is attached to the location where the collision time should be measured. Further, the imaging unit 2 acquires a surrounding image of the host vehicle at a frame rate equal to or higher than a predetermined value faster than the moving speed of the edge image so that the moving speed and moving direction of the edge image can be easily calculated (details will be described later). To do).

また、上記エッジ幅規格化手段４は、図２に示すように、２値化手段１１と、細線化手段１２と、膨張手段１３とを有する。また、上記移動速度検出手段６は、投票値勾配算出手段１５を有する。また、上記エッジ抽出手段３，エッジ幅規格化手段４，投票手段５，移動速度検出手段６，及び衝突時間算出手段７の各機能は、車載コンピュータがコンピュータプログラムを実行することにより実現される。   Further, the edge width normalizing means 4 includes a binarizing means 11, a thinning means 12, and an expanding means 13, as shown in FIG. The moving speed detecting means 6 has a vote value gradient calculating means 15. The functions of the edge extracting means 3, edge width normalizing means 4, voting means 5, moving speed detecting means 6, and collision time calculating means 7 are realized by an in-vehicle computer executing a computer program.

このような構成を有する車両用衝突時間推定装置１は、以下に示す衝突時間算出処理を実行することにより、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることを可能にする。以下、図３に示すフローチャートを参照して、衝突時間算出処理を実行する際の車両用衝突時間推定装置１内部の動作について説明する。   The vehicle collision time estimation device 1 having such a configuration facilitates calculation of the collision time and obtains a robust output with respect to the position detection error by executing the following collision time calculation process. Enable. Hereinafter, with reference to the flowchart shown in FIG. 3, the operation | movement inside the collision time estimation apparatus 1 for vehicles at the time of performing a collision time calculation process is demonstrated.

［衝突時間算出処理］
図３に示すフローチャートは、撮像手段２が所定のフレームレート毎に車両周囲画像を取得し、取得した車両周囲画像をエッジ抽出手段３に入力することで開始となり、衝突時間算出処理はステップＳ１の処理に進む。 [Collision time calculation process]
The flowchart shown in FIG. 3 starts when the imaging unit 2 acquires a vehicle surrounding image for each predetermined frame rate and inputs the acquired vehicle surrounding image to the edge extracting unit 3, and the collision time calculation process is performed in step S1. Proceed to processing.

ステップＳ１の処理では、エッジ抽出手段３が、Ｓｏｂｅｌフィルタを利用して撮像手段２により撮像された車両周囲画像から横方向及び縦方向のエッジ画像を抽出する。これにより、このステップＳ１の処理は完了し、この算出処理はステップＳ２の処理に進む。   In the process of step S1, the edge extraction unit 3 extracts edge images in the horizontal and vertical directions from the vehicle surrounding image captured by the imaging unit 2 using a Sobel filter. Thereby, the process of step S1 is completed, and the calculation process proceeds to the process of step S2.

ステップＳ２の処理では、２値化手段１１が、図４（ａ）に示すように、ステップＳ１の処理により抽出された横方向及び縦方向のエッジ画像に対して２値化（０／１）処理を施す。これにより、このステップＳ２の処理は完了し、この算出処理はステップＳ３の処理に進む。   In the process of step S2, the binarization means 11 binarizes (0/1) the horizontal and vertical edge images extracted by the process of step S1, as shown in FIG. Apply processing. Thereby, the process of step S2 is completed, and the calculation process proceeds to the process of step S3.

ステップＳ３の処理では、細線化手段１２が、図４（ｂ）に示すように、アクティブ（値が１）なエッジ画像を所定画素幅（図４（ｂ）に示す例では１画素）まで細線化する。なお、細線化手段１２は、エッジ幅が所定画素幅になるまで繰り返し細線化処理を実行する。これにより、このステップＳ３の処理は完了し、この算出処理はステップＳ４の処理に進む。   In the process of step S3, the thinning means 12 thins the active (value 1) edge image to a predetermined pixel width (one pixel in the example shown in FIG. 4B) as shown in FIG. 4B. Turn into. Note that the thinning unit 12 repeatedly performs the thinning process until the edge width reaches a predetermined pixel width. Thereby, the process of step S3 is completed, and the calculation process proceeds to the process of step S4.

ステップＳ４の処理では、膨張手段１３が、エッジ画像を所定画素幅まで膨張させる。具体的には、エッジ画像を細線化した結果、図４（ｂ）に示すように位置ｘ０にエッジ画像が観測された場合、膨張手段１３は、図４（ｃ）に示すように、位置ｘ０の両側の位置ｘ０−１及び位置ｘ０＋１の画素をアクティブに設定することにより、エッジ画像を所定画素幅（図４（ｃ）に示す例では３画素）まで膨張させる。これにより、このステップＳ４の処理は完了し、この算出処理はステップＳ５の処理に進む。   In the process of step S4, the expansion unit 13 expands the edge image to a predetermined pixel width. Specifically, as a result of thinning the edge image, when the edge image is observed at the position x0 as shown in FIG. 4B, the expansion means 13 moves the position x0 as shown in FIG. 4C. By setting the pixels at the positions x0-1 and x0 + 1 on both sides of the image to be active, the edge image is expanded to a predetermined pixel width (3 pixels in the example shown in FIG. 4C). Thereby, the process of step S4 is completed, and the calculation process proceeds to the process of step S5.

ステップＳ５，Ｓ６の処理では、投票手段５が、規格化されたエッジ画像が観測された位置に対応するメモリアドレスの値（カウント値）をカウントアップ（ステップＳ５）、且つ、エッジが観測されなかった位置に対応するメモリアドレスの値を０にリセットする（ステップＳ６）。具体的には、時刻ｔにおいて図４（ｃ）に示すエッジ画像が検出された場合、投票手段５は、図５（ａ）に示すように、エッジ画像が検出された位置ｘ０−１，ｘ０，ｘ０＋１のカウント値を１つカウントアップする共に、それ以外の位置のカウント値を０にリセットする。   In the processing of steps S5 and S6, the voting means 5 counts up the value (count value) of the memory address corresponding to the position where the standardized edge image is observed (step S5), and no edge is observed. The value of the memory address corresponding to the specified position is reset to 0 (step S6). Specifically, when the edge image shown in FIG. 4C is detected at time t, the voting means 5 detects the positions x0-1 and x0 where the edge image is detected as shown in FIG. , X0 + 1 is incremented by one and the count values at other positions are reset to zero.

次に、時刻ｔ＋１においても位置ｘ０にエッジ画像が観測された場合、投票手段５は、図５（ｂ）に示すように、エッジ画像が検出された位置ｘ０−１，ｘ０，ｘ０＋１のカウント値をさらに１つカウントアップする共に、それ以外の位置の投票値を０にリセットする。次に、時刻ｔ＋２においてエッジ画像がｘ軸正方向に１画素シフトして位置ｘ０＋１に観測された場合、投票手段５は、図５（ｃ）に示すように、エッジ画像が検出された位置ｘ０，ｘ０＋１，ｘ０＋２のカウント値を１つカウントアップする共に、それ以外の位置のカウント値を０にリセットする。これにより、このステップＳ５，Ｓ６の処理は完了し、この算出処理はステップＳ７の処理に進む。   Next, when an edge image is observed at the position x0 even at time t + 1, the voting means 5 counts the positions x0-1, x0, and x0 + 1 at which the edge image is detected, as shown in FIG. Is incremented by one and the voting values at other positions are reset to zero. Next, when the edge image is shifted by one pixel in the positive direction of the x axis and observed at the position x0 + 1 at time t + 2, the voting means 5 detects the position x0 where the edge image is detected as shown in FIG. , X0 + 1, x0 + 2 are incremented by one and the count values at other positions are reset to zero. Thereby, the processing in steps S5 and S6 is completed, and the calculation processing proceeds to processing in step S7.

ここで、エッジ画像が移動する速度に比べてフレームレートが十分に高い場合、エッジ画像は連続するフレーム間で必ず重複する領域を有する（図５に示す例では２画素幅で重複している）。従って、上記のようにエッジ画像が観測された位置のカウント値をカウントアップしていくことにより、カウント値はエッジ画像が同じ位置に観測されている時間と等価になる。また、エッジ画像が移動した場合、エッジ画像が新たに観測された位置のカウント値は１であり、エッジ画像の投票値の中で最も小さい値となる。つまり、エッジ画像が移動する方向のカウント値は小さく、逆にエッジ画像が移動する方向と反対方向のエッジ画像のカウント値は大きくなる。従って、このようなカウント値の差によって生まれる勾配、すなわち図５に示す直線Ｙの傾きαは、エッジ画像が移動するまでの間にエッジ画像が何フレーム連続して同じ位置で観測されていたかを示す値、換言すれば、以下の数式１に示すようにエッジ画像の移動速度ｖedgeの逆数と等価になる。

Figure 0004096932
Here, when the frame rate is sufficiently higher than the moving speed of the edge image, the edge image always has an overlapping area between consecutive frames (in the example shown in FIG. 5, it overlaps with a width of 2 pixels). . Therefore, by counting up the count value at the position where the edge image is observed as described above, the count value becomes equivalent to the time during which the edge image is observed at the same position. When the edge image moves, the count value of the position where the edge image is newly observed is 1, which is the smallest value among the voting values of the edge image. That is, the count value in the direction in which the edge image moves is small, and conversely, the count value in the edge image in the direction opposite to the direction in which the edge image moves is large. Therefore, the gradient generated by the difference between the count values, that is, the gradient α of the straight line Y shown in FIG. 5, indicates how many frames the edge image was observed at the same position until the edge image moved. This value is equivalent to the reciprocal of the moving speed vedge of the edge image as shown in Equation 1 below.
Figure 0004096932

具体的には、図５（ｂ）に示す例において、位置ｘ０−１，ｘ０，ｘ０＋１のカウント値がそれぞれ６，４，２であるとすると、エッジ画像の位置はシフトする度毎に位置ｘ０−１のカウント値と位置ｘ０＋１のカウント値の差であるＨ＝６−２＝４フレーム連続して観測されていたことがわかる。そして、位置ｘ０にシフトしてからは、位置ｘ０＋１の投票値ｈ＝２であることから、エッジ画像は２フレーム連続して観測されていることがわかる。従って、注目しているエッジ画像は４フレームで１画素移動していることがわかり、エッジ画像の移動速度を検出することができる。さらに、フレームレートが十分高い場合にはエッジ画像は等速移動していると仮定できるので、図５に示す例では、エッジ画像は、４フレームで１画素移動し、時刻ｔ＋１の時点では２フレーム連続して観測されていることより、時刻ｔ＋１の時点では、エッジ画像は、２フレーム／｛４フレーム／１画素｝＝０．５画素だけ位置ｘ０からシフトしていることがわかる。   Specifically, in the example shown in FIG. 5B, if the count values at the positions x0-1, x0, and x0 + 1 are 6, 4, and 2, respectively, the position of the edge image is the position x0 every time it is shifted. It can be seen that H = 6-2 = 4 frames, which are the difference between the count value of −1 and the count value of the position x0 + 1, were continuously observed. Since the vote value h = 2 at the position x0 + 1 after the shift to the position x0, it can be seen that the edge image is continuously observed for two frames. Therefore, it can be seen that the focused edge image moves by one pixel in four frames, and the moving speed of the edge image can be detected. Further, when the frame rate is sufficiently high, it can be assumed that the edge image is moving at a constant speed. Therefore, in the example shown in FIG. 5, the edge image moves by one pixel every four frames, and two frames at the time t + 1. From the continuous observation, it can be seen that the edge image is shifted from the position x0 by 2 frames / {4 frames / 1 pixel} = 0.5 pixels at the time t + 1.

ステップＳ７の処理では、投票値勾配算出手段１５が、カウント値の勾配αを算出することにより、エッジ画像の移動速度ｖedgeの逆数を算出する。これにより、このステップＳ７の処理は完了し、この算出処理はステップＳ８の処理に進む。   In the process of step S7, the vote value gradient calculating means 15 calculates the reciprocal of the moving speed vedge of the edge image by calculating the gradient α of the count value. Thereby, the process of step S7 is completed, and the calculation process proceeds to the process of step S8.

ステップＳ８の処理では、衝突時間算出手段７が、エッジ画像の位置とその移動速度に基づいて、衝突危険性がある対象物との衝突時間を算出する。具体的には、図６，７に示すように、時刻ｔ及び時刻ｔ＋ｄｔに検出されたエッジ画像の位置をそれぞれｙ，ｙ＋ｄｙ、時刻ｔから時刻ｔ＋ｄｔの間に自車両Ａが移動した距離をｄＬとした場合、時刻ｔ＋ｄｔにおける自車両Ａから他車両Ｂまでの距離Ｚは以下に示す数式２のように表すことができる。また、エッジ画像のｙ方向（垂直方向）の移動速度ｖedge及び他車両Ｂの自車両Ａとの相対速度Ｖvehicleはそれぞれ以下に示す数式３，４のように表すことができる。

Figure 0004096932
Figure 0004096932
Figure 0004096932
 In the process of step S8, the collision time calculation means 7 calculates the collision time with the object at risk of collision based on the position of the edge image and its moving speed. Specifically, as shown in FIGS. 6 and 7, the positions of the edge images detected at time t and time t + dt are respectively y, y + dy, and the distance traveled by the vehicle A between time t and time t + dt is dL. In this case, the distance Z from the own vehicle A to the other vehicle B at the time t + dt can be expressed as Equation 2 below. Further, the moving speed vedge in the y direction (vertical direction) of the edge image and the relative speed Vvehicle of the other vehicle B with the host vehicle A can be expressed as Equations 3 and 4 below.
Figure 0004096932
Figure 0004096932
Figure 0004096932

従って、時刻ｔ＋ｄｔにおける自車両Ａから他車両Ｂまでの距離Ｚは、数式３，４を数式２に代入することにより、以下に示す数式５のように表されるので、以下に示す数式６に時刻ｔにおけるエッジ画像の位置ｙと移動速度ｖedge（又はカウント値の勾配α）を代入することにより、他車両Ｂとの衝突時間ＴＴＣを算出することができる。すなわち、他車両Ｂとの間の正確な距離や他車両Ｂとの相対速度を算出することなく、他車両Ｂとの間の距離が０になる時間を算出することにより、他車両Ｂとの衝突時間ＴＴＣを算出する。これにより、このステップＳ８の処理は完了し、一連の算出処理は終了する。

Figure 0004096932
Figure 0004096932
 Therefore, the distance Z from the own vehicle A to the other vehicle B at time t + dt is expressed as Equation 5 shown below by substituting Equations 3 and 4 into Equation 2; By substituting the position y of the edge image at the time t and the moving speed vedge (or the gradient α of the count value), the collision time TTC with the other vehicle B can be calculated. That is, by calculating the time when the distance to the other vehicle B is zero without calculating the exact distance to the other vehicle B and the relative speed with the other vehicle B, The collision time TTC is calculated. Thereby, the process of this step S8 is completed and a series of calculation processes are completed.
Figure 0004096932
Figure 0004096932

なお、このような算出処理によれば、エッジ画像の各点について衝突時間を算出することができるので、衝突時間算出手段７は、各点についての衝突時間を算出した後に、衝突時間に従って図８に示すように画像中から対象エッジＥｏｂｊと背景エッジＥｂｃｋとを分離することができる。具体的には、一般に、遠くにある背景エッジＥｂｃｋについて算出される衝突時間は大きくなるのに対して、自車両に接近する対象エッジＥｏｂｊについて算出される衝突時間は小さくなる。従って、衝突時間算出手段７は、衝突時間の大小に従って対象に付随するエッジを分類することができる。なお、自車両と等速で並進する、又は自車両から遠ざかる対象については衝突時間が大きくなるので、衝突時間算出手段７は対象を正確に分類する必要はない。   According to such a calculation process, since the collision time can be calculated for each point of the edge image, the collision time calculation unit 7 calculates the collision time for each point, and then calculates the collision time according to the collision time. As shown in FIG. 5, the target edge Eobj and the background edge Ebck can be separated from the image. Specifically, in general, the collision time calculated for the background edge Ebck in the distance increases, while the collision time calculated for the target edge Eobj approaching the host vehicle decreases. Therefore, the collision time calculation means 7 can classify the edge associated with the object according to the magnitude of the collision time. In addition, since the collision time becomes large for the object that translates at the same speed as the own vehicle or moves away from the own vehicle, the collision time calculating means 7 does not need to classify the object accurately.

以上の説明から明らかなように、本発明の一実施形態となる車両用衝突時間推定装置１では、撮像手段２が車両周囲の画像を撮像し、エッジ抽出手段３が撮像手段２が撮像した画像の中からエッジ画像を抽出し、エッジ幅規格化手段４がエッジ抽出手段３により抽出されたエッジ画像のエッジ幅を規格化し、投票手段５が、エッジ幅規格化手段４により規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化し、移動速度検出手段６がカウント値の傾きに基づいてエッジ抽出手段３により抽出されたエッジ画像の移動方向と移動速度を算出し、衝突時間算出手段７が、移動速度検出手段６により算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する。そして、このような構成によれば、テンプレートマッチングのようなブロックマッチング処理を行うことなくエッジ画像の移動速度及び衝突時間を算出することができるので、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることができる。   As is clear from the above description, in the vehicle collision time estimation apparatus 1 according to an embodiment of the present invention, the image pickup means 2 picks up an image around the vehicle, and the edge extraction means 3 picks up an image picked up by the image pickup means 2. The edge image is extracted from the edge image, the edge width normalizing means 4 normalizes the edge width of the edge image extracted by the edge extracting means 3, and the voting means 5 uses the edge width normalized by the edge width normalizing means 4. For the image, the count value corresponding to the position where the edge image is detected is incremented, the count value corresponding to the position where the edge image is not detected is initialized, and the moving speed detecting means 6 is based on the inclination of the count value. The moving direction and moving speed of the edge image extracted by the edge extracting means 3 are calculated, and the collision time calculating means 7 calculates the position of the edge image calculated by the moving speed detecting means 6. Using fine movement speed, calculates the collision time with the object. According to such a configuration, it is possible to calculate the moving speed and the collision time of the edge image without performing a block matching process such as template matching, thereby facilitating the calculation of the collision time and detecting the position. An output that is robust against errors can be obtained.

また、本発明の一実施形態となる車両用衝突時間推定装置１では、撮像手段２は、車両の前端部、後端部、及び側面部のうちの少なくとも１箇所、又は対象物との正確な衝突時間を計測すべき箇所に取り付けられるので、撮像手段２が車両両端部からオフセットされて取り付けられた際に算出される衝突時間について、撮影手段２の位置の影響を排除することができる。   Moreover, in the vehicle collision time estimation apparatus 1 according to an embodiment of the present invention, the imaging means 2 is accurate with at least one of the front end portion, the rear end portion, and the side surface portion of the vehicle, or with an object. Since it is attached to the location where the collision time is to be measured, it is possible to eliminate the influence of the position of the photographing means 2 with respect to the collision time calculated when the imaging means 2 is attached offset from both ends of the vehicle.

さらに、本発明の一実施形態となる車両用衝突時間推定装置１では、衝突時間算出手段７は、算出された衝突時間に基づいて画像内の対象物を分類することができるので、衝突危険性がある対象物とほぼ同じ位置に検出された背景物を除去することができる。   Furthermore, in the vehicle collision time estimation device 1 according to an embodiment of the present invention, the collision time calculation means 7 can classify objects in the image based on the calculated collision time, so that there is a collision risk. It is possible to remove a background object detected at substantially the same position as an object.

以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、上記実施形態では、細線化処理と膨張処理を行うことによりエッジ幅を規格化したが、エッジ画像のエッジピーク位置を検出し、エッジピーク位置に所定画素数幅を持たせた２値画像を生成することにより、エッジ幅を規格化してもよい。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。   As mentioned above, although the embodiment to which the invention made by the present inventors was applied has been described, the present invention is not limited by the description and the drawings that form part of the disclosure of the present invention according to this embodiment. For example, in the above embodiment, the edge width is standardized by performing the thinning process and the expansion process. However, the binary image in which the edge peak position of the edge image is detected and the edge peak position has a predetermined number of pixels. The edge width may be normalized by generating. As described above, it is a matter of course that all other embodiments, examples, operation techniques, and the like made by those skilled in the art based on the above embodiments are included in the scope of the present invention.

本発明の実施形態となる車両用衝突時間推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the collision time estimation apparatus for vehicles used as embodiment of this invention. 図１に示すエッジ幅規格化手段、投票手段、及び移動速度検出手段の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the edge width normalization means, voting means, and movement speed detection means which are shown in FIG. 本発明の実施形態となる衝突時間算出処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the collision time calculation process used as embodiment of this invention. 図１に示すエッジ幅規格化手段による規格化処理を説明するための図である。It is a figure for demonstrating the normalization process by the edge width normalization means shown in FIG. 図１に示す投票手段によるカウント処理を説明するための図である。It is a figure for demonstrating the count process by the voting means shown in FIG. 図１に示す衝突時間算出手段による衝突時間算出処理を説明するための図である。It is a figure for demonstrating the collision time calculation process by the collision time calculation means shown in FIG. 図１に示す衝突時間算出手段による衝突時間算出処理を説明するための図である。It is a figure for demonstrating the collision time calculation process by the collision time calculation means shown in FIG. 図１に示す衝突時間算出手段による対象物分類処理を説明するための図である。It is a figure for demonstrating the target object classification | category process by the collision time calculation means shown in FIG.

符号の説明Explanation of symbols

１：車両用衝突時間推定装置
２：撮像手段
３：エッジ抽出手段
４：エッジ幅規格化手段
５：投票手段
６：移動速度検出手段
７：衝突時間算出手段
１１：２値化手段
１２：細線化手段
１３：膨張手段
１４：カウントアップマスク
１５：投票値勾配算出手段 1: vehicle collision time estimation device 2: imaging means 3: edge extraction means 4: edge width normalization means 5: voting means 6: moving speed detection means 7: collision time calculation means 11: binarization means 12: thinning Means 13: Expansion means 14: Count-up mask 15: Vote value gradient calculation means

Claims (4)

車両に搭載され、対象物との衝突時間を推定する車両用衝突時間推定装置であって、
車両周囲の画像を撮像する撮像手段と、
前記撮像手段が撮像した画像からエッジ画像を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ画像のエッジ幅を規格化するエッジ幅規格化手段と、
前記エッジ幅規格化手段により規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化する投票手段と、
前記カウント値の傾きに基づいて、前記エッジ抽出手段により抽出されたエッジ画像の移動方向と移動速度を算出する移動速度検出手段と、
前記移動速度検出手段により算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する衝突時間算出手段と
を備えることを特徴とする車両用衝突時間推定装置。 A vehicle collision time estimation device that is mounted on a vehicle and estimates a collision time with an object,
An imaging means for capturing an image around the vehicle;
Edge extraction means for extracting an edge image from an image captured by the imaging means;
Edge width normalization means for normalizing the edge width of the edge image extracted by the edge extraction means;
For the edge image normalized by the edge width normalizing means, the count value corresponding to the position where the edge image is detected is incremented, and the count value corresponding to the position where the edge image is not detected is initialized. Voting means,
A moving speed detecting means for calculating the moving direction and moving speed of the edge image extracted by the edge extracting means based on the slope of the count value;
A collision time estimating device for a vehicle, comprising: a collision time calculating means for calculating a collision time with an object using the position and moving speed of the edge image calculated by the moving speed detecting means. 請求項１に記載の車両用衝突時間推定装置であって、
前記撮像手段は、車両の前端部、後端部、及び側面部のうちの少なくとも１箇所に取り付けられることを特徴とする車両用衝突時間推定装置。 The vehicle collision time estimation device according to claim 1,
The imaging means, the front end of the vehicle, the rear end portion, and the vehicle collision time estimation apparatus, characterized in that attached to at least one portion in the side surface portion. 請求項１又は請求項２に記載の車両用衝突時間推定装置であって、
前記衝突時間算出手段は、算出された衝突時間に基づいて対象物を分類することを特徴とする車両用衝突時間推定装置。 The vehicle collision time estimation device according to claim 1 or 2, wherein
The collision time estimation device for a vehicle, wherein the collision time calculation means classifies an object based on the calculated collision time. 車両に搭載され、対象物との衝突時間を推定する車両用衝突時間推定方法であって、
車両周囲の画像を撮像するステップと、
撮像された画像の中からエッジ画像を抽出するステップと、
抽出されたエッジ画像のエッジ幅を規格化するステップと、
規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化するステップと、
前記カウント値の傾きに基づいて、抽出されたエッジ画像の移動方向と移動速度を算出するステップと、
算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出するステップと
を有することを特徴とする車両用衝突時間推定方法。 A vehicle collision time estimation method for estimating a collision time with an object mounted on a vehicle,
Capturing an image around the vehicle;
Extracting an edge image from the captured image;
Normalizing the edge width of the extracted edge image;
For the normalized edge image, incrementing the count value corresponding to the position where the edge image was detected, and initializing the count value corresponding to the position where the edge image was not detected;
Calculating the moving direction and moving speed of the extracted edge image based on the slope of the count value;
A method for estimating a collision time for a vehicle, comprising: calculating a collision time with an object using the calculated position and moving speed of an edge image.
JP2004275039A 2004-09-22 2004-09-22 Vehicle collision time estimation apparatus and vehicle collision time estimation method Expired - Fee Related JP4096932B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004275039A JP4096932B2 (en) 2004-09-22 2004-09-22 Vehicle collision time estimation apparatus and vehicle collision time estimation method
US11/216,168 US7262710B2 (en) 2004-09-22 2005-09-01 Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
EP05019471A EP1640937B1 (en) 2004-09-22 2005-09-07 Collision time estimation apparatus and method for vehicles
DE602005011084T DE602005011084D1 (en) 2004-09-22 2005-09-07 Apparatus and method for estimating collision time for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004275039A JP4096932B2 (en) 2004-09-22 2004-09-22 Vehicle collision time estimation apparatus and vehicle collision time estimation method

Publications (2)

Publication Number Publication Date
JP2006092117A JP2006092117A (en) 2006-04-06
JP4096932B2 true JP4096932B2 (en) 2008-06-04

Family

ID=36233043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004275039A Expired - Fee Related JP4096932B2 (en) 2004-09-22 2004-09-22 Vehicle collision time estimation apparatus and vehicle collision time estimation method

Country Status (1)

Country Link
JP (1) JP4096932B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791381B1 (en) * 2006-06-01 2008-01-07 삼성전자주식회사 System, apparatus and method to prevent collision for remote control of mobile robot
JP5872071B2 (en) * 2012-01-20 2016-03-01 シック アイヴィピー エービー Method and apparatus enabling calculation of collision time, computer program, computer recording medium, and computer
JP7143703B2 (en) 2018-09-25 2022-09-29 トヨタ自動車株式会社 Image processing device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2863381B2 (en) * 1992-09-25 1999-03-03 矢崎総業株式会社 Vehicle monitoring method
JP3452268B2 (en) * 1993-08-06 2003-09-29 矢崎総業株式会社 Rear side monitoring method for vehicles
JP2004038624A (en) * 2002-07-04 2004-02-05 Nissan Motor Co Ltd Vehicle recognition method, vehicle recognition device and vehicle recognition program
JP4079136B2 (en) * 2003-12-10 2008-04-23 日産自動車株式会社 Motion detection device and motion detection method

Also Published As

Publication number Publication date
JP2006092117A (en) 2006-04-06

Similar Documents

Publication Publication Date Title
US7512494B2 (en) Vehicle mounted image processor and method of use
EP1640937B1 (en) Collision time estimation apparatus and method for vehicles
US7660436B2 (en) Stereo-vision based imminent collision detection
JP4793324B2 (en) Vehicle monitoring apparatus and vehicle monitoring method
JP4943034B2 (en) Stereo image processing device
KR101176693B1 (en) Method and System for Detecting Lane by Using Distance Sensor
US20070127777A1 (en) Apparatus and method for detecting a road boundary
WO2014002692A1 (en) Stereo camera
CN107787496B (en) Vanishing point correcting device and method
JPH11175880A (en) Vehicle height measuring device and vehicle monitoring system using same
JP5107154B2 (en) Motion estimation device
JP2010020476A (en) Object detection device and object detection method
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
KR101205565B1 (en) Method for Dectecting Front and Rear Vehicle by Using Image
JP4096932B2 (en) Vehicle collision time estimation apparatus and vehicle collision time estimation method
JP4969628B2 (en) Traveling line detector
JP2002367077A (en) Device and method for deciding traffic congestion
KR101976952B1 (en) System and method for detecting object using motion vector
JP6677141B2 (en) Parking frame recognition device
CN112513573B (en) Stereo camera device
JP5464073B2 (en) Outside environment recognition device, outside environment recognition method
JP4075879B2 (en) Vehicle collision warning device and vehicle collision warning method
JP6677142B2 (en) Parking frame recognition device
JP2995813B2 (en) Traffic flow speed measurement method
JP5141275B2 (en) VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING METHOD

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080303

R150 Certificate of patent or registration of utility model

Ref document number: 4096932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees