JP6693314B2 - Vehicle approaching object detection device - Google Patents

Description

本発明は、車両に固定された撮像装置（カメラ）によって撮影された画像に基づいて同車両に接近する物体を検出する車両の接近物体検出装置に関する。   The present invention relates to an approaching object detection device for a vehicle that detects an object approaching the vehicle based on an image captured by an imaging device (camera) fixed to the vehicle.

車両の前端に配設された撮像装置が撮影した画像に基づいて同車両に接近する物体（接近物体）を検出する車両の接近物体検出装置（以下、「従来装置」とも称呼される。）が特許文献１に記載されている。従来装置は、所定の時間間隔にて撮影された２つの画像に基づいて同時間間隔における画像上の被写体の移動方向及び移動速度を表す一群のベクトル（即ち、オプティカルフローベクトル、以下、単に「フローベクトル」とも称呼される。）を取得する。   An approaching object detection device for a vehicle (hereinafter, also referred to as a “conventional device”) that detects an object (approaching object) approaching the vehicle based on an image captured by an imaging device arranged at the front end of the vehicle. It is described in Patent Document 1. A conventional device is a group of vectors (that is, an optical flow vector, hereinafter simply referred to as “flow”) that represents a moving direction and a moving speed of a subject on an image in the same time interval based on two images captured at a predetermined time interval. Also called "vector".).

従来装置は、車両の左側方領域を撮影した画像（左側方画像）に含まれる被写体に基づくフローベクトルが右向きの水平方向成分を有していれば、その被写体を接近物体であると判定する。同様に、従来装置は、車両の右側方領域を撮影した画像（右側方画像）に含まれる被写体に基づくフローベクトルが左向きの水平方向成分を有していれば、その被写体を接近物体であると判定する。換言すれば、従来装置は、画像における直進方向を示す無限遠点（ＦＯＥ：Focus Of Expansion）に向かう水平方向成分（中心方向水平成分）を有するフローベクトルに対応する被写体を接近物体であると判定する。   The conventional device determines that the subject is an approaching object if the flow vector based on the subject included in the image obtained by photographing the left side region of the vehicle (the left side image) has a rightward horizontal component. Similarly, in the conventional device, if the flow vector based on the subject included in the image obtained by photographing the right side region of the vehicle (the right side image) has a leftward horizontal component, the subject is regarded as an approaching object. judge. In other words, the conventional apparatus determines that a subject corresponding to a flow vector having a horizontal component (horizontal direction horizontal component) toward an infinite point (FOE: Focus Of Expansion) indicating a straight direction in an image is an approaching object. To do.

ところで、車両が走行しているときに取得されるフローベクトルは、車両が停止しているときに取得されるフローベクトルとは異なる。例えば、車両が直進していると、左側方画像に含まれる被写体に基づくフローベクトルの水平方向成分は左方向に大きくなる。同様に、右側方画像に含まれる被写体に基づくフローベクトルの水平方向成分は右方向に大きくなる。換言すれば、車両の直進によって、フローベクトルの無限遠点とは反対方向の水平方向成分が大きくなる。   By the way, the flow vector acquired when the vehicle is traveling is different from the flow vector acquired when the vehicle is stopped. For example, when the vehicle is going straight, the horizontal component of the flow vector based on the subject included in the left side image increases to the left. Similarly, the horizontal component of the flow vector based on the subject included in the right-side image increases to the right. In other words, as the vehicle travels straight, the horizontal component of the flow vector in the direction opposite to the point at infinity increases.

車両が直進している場合、フローベクトルの水平方向成分の変化量（直進変化量）は、車両の走行速度が大きくなるほど大きくなる。加えて、直進変化量は、車両と被写体との距離が大きくなるほど小さくなる。車両が直進している場合であっても、接近物体が車両に接近する速度がある程度大きければ、その接近物体に対応するフローベクトルは中心方向水平成分を有する。   When the vehicle is traveling straight, the amount of change in the horizontal component of the flow vector (the amount of change in straight traveling) increases as the traveling speed of the vehicle increases. In addition, the straight-ahead change amount decreases as the distance between the vehicle and the subject increases. Even when the vehicle is traveling straight ahead, if the speed at which the approaching object approaches the vehicle is relatively high, the flow vector corresponding to the approaching object has a horizontal component in the central direction.

一方、車両の方向が変わるとき（即ち、操舵輪を左方向又は右方向に向けながら車両が走行するとき）、接近物体の判定が正しく行われない場合がある。例えば、車両が右に旋回しているとき（即ち、操舵輪を右方向に向けながら車両が前進する結果、車両の方向が変わるとき）、車両が旋回していないときと比較して各フローベクトルの水平方向成分は左方向に大きくなる。   On the other hand, when the direction of the vehicle changes (that is, when the vehicle runs while turning the steered wheels leftward or rightward), the approaching object may not be correctly determined. For example, when the vehicle is turning to the right (that is, when the vehicle changes direction as a result of the vehicle moving forward while turning the steered wheels to the right), each flow vector is compared to when the vehicle is not turning. The horizontal component of becomes larger to the left.

車両が旋回している場合のフローベクトルの水平方向成分の変化量（旋回変化量）は、車両の旋回速度（所謂、ヨーレート）が大きくなるほど大きくなる。なお、旋回変化量は、車両と被写体との距離に依っては変化しない。   The amount of change in the horizontal component of the flow vector (turning change amount) when the vehicle is turning increases as the turning speed (so-called yaw rate) of the vehicle increases. Note that the turning change amount does not change depending on the distance between the vehicle and the subject.

例えば、右側方画像に含まれるある被写体に基づくフローベクトルが元々左方向の成分（即ち、中心方向水平成分）を有していなかったにも拘わらず、車両の右旋回に起因する旋回変化量によってその被写体に基づくフローベクトルが左方向の成分を有するようになる場合がある。この場合、その被写体が接近物体では無いにも拘わらず、従来装置がその被写体を接近物体であると判定する「誤検出」が発生する虞がある。   For example, although the flow vector based on a certain subject included in the right side image originally does not have a component in the left direction (that is, a horizontal component in the center direction), the amount of change in turning caused by the right turn of the vehicle. Therefore, the flow vector based on the subject may have a leftward component. In this case, there is a possibility that “erroneous detection” may occur in which the conventional apparatus determines that the subject is an approaching object although the subject is not an approaching object.

そこで、従来装置は、車両との距離が遠く且つ路面に対して静止している被写体（静止物体）に基づくフローベクトル、車両との距離が近い静止物体に基づくフローベクトル、車両の走行速度、及び、車両の旋回速度に基づく補正フローベクトル（スカラー値）を取得する。従来装置は、各フローベクトルの水平方向成分に補正ベクトルを加えることによって各フローベクトルの水平方向成分が含んでいる直進変化量及び旋回変化量を除去する。従って、従来装置によれば、接近物体では無い被写体（例えば、静止物体）を接近物体であると判定する現象（即ち、誤検出）の発生を回避できる可能性が高くなる。   Therefore, the conventional device has a flow vector based on a subject (stationary object) that is far from the vehicle and stationary with respect to the road surface, a flow vector based on a stationary object that is close to the vehicle, a traveling speed of the vehicle, and , A correction flow vector (scalar value) based on the turning speed of the vehicle is acquired. The conventional apparatus removes the straight travel change amount and the turning change amount included in the horizontal component of each flow vector by adding the correction vector to the horizontal component of each flow vector. Therefore, according to the conventional device, it is possible to avoid the occurrence of a phenomenon (that is, erroneous detection) in which a subject (for example, a stationary object) that is not an approaching object is determined to be an approaching object.

特開２０１４−４４５２１号公報JP, 2014-44521, A

しかしながら、補正フローベクトルを取得するため、従来装置は車両の走行速度を取得するセンサ（車速センサ）及び旋回速度を取得するセンサ（角速度センサ）からの信号を受信する必要がある。加えて、従来装置は、取得された走行速度および旋回速度に基づいて静止物体に対応するフローベクトルの直進変化量及び旋回変化量の取り得る範囲（変動範囲）を推定する必要がある。そのため、従来装置が接近物体を逐次検出する際の演算負荷が過大となる虞がある。   However, in order to acquire the correction flow vector, the conventional device needs to receive signals from a sensor (vehicle speed sensor) that acquires the traveling speed of the vehicle and a sensor (angular speed sensor) that acquires the turning speed. In addition, the conventional device needs to estimate the range (variation range) that can be taken by the straight line change amount and the turning change amount of the flow vector corresponding to the stationary object based on the acquired traveling speed and turning speed. Therefore, the calculation load when the conventional device sequentially detects approaching objects may become excessive.

本発明は上述の問題に対処する発明であり、その目的の一つは、車速センサ及び角速度センサを必要とせず、簡易な演算により車両に接近する物体を検出することができる車両の接近物体検出装置を提供することである。   The present invention is an invention that addresses the above-mentioned problems, and one of its objects is to detect an approaching object of a vehicle that does not require a vehicle speed sensor and an angular velocity sensor and can detect an object approaching the vehicle by a simple calculation. It is to provide a device.

上記目的を達成するための本発明に係る車両の接近物体検出装置（以下、「本発明装置」とも称呼する。）は、撮像装置、ベクトル取得部、水平方向成分値取得部、分界閾値取得部、及び、接近物体検出部を備える。   An approaching object detection device for a vehicle (hereinafter, also referred to as “device of the present invention”) according to the present invention for achieving the above object includes an imaging device, a vector acquisition unit, a horizontal direction component value acquisition unit, and a demarcation threshold acquisition unit. , And an approaching object detection unit.

前記撮像装置（カメラ２０）は、
車両（１０）の車体に固定され且つ前記車両に接近する物体を含む画像を撮影する。 The imaging device (camera 20) is
An image including an object fixed to the vehicle body of the vehicle (10) and approaching the vehicle is captured.

前記ベクトル取得部は、
前記撮像装置により第１時点にて取得された第１画像と、
前記撮像装置により前記第１時点よりも所定時間（撮影周期Δｔ）後の第２時点にて取得された第２画像と、に基づいて、
前記第１画像の画像平面上の無限遠点よりも左側に撮影された任意の被写体の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表す複数の左側オプティカルフローベクトルを取得する（図７のステップ７１０）。 The vector acquisition unit,
A first image acquired at a first time point by the imaging device,
Based on a second image acquired by the imaging device at a second time point after a predetermined time (imaging period Δt) from the first time point,
A plurality of values representing the starting point at the first time point, the moving amount and the moving direction from the first time point to the second time point of an arbitrary object photographed on the left side of the infinite point on the image plane of the first image The left optical flow vector of is acquired (step 710 of FIG. 7).

加えて、前記ベクトル取得部は、前記第１画像と前記第２画像とに基づいて、
前記第１画像の前記無限遠点よりも右側に撮影された任意の被写体の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表す右側オプティカルフローベクトルを取得する（図７のステップ７１０）。 In addition, the vector acquisition unit, based on the first image and the second image,
A right optical flow vector representing the starting point at the first time point, the moving amount and the moving direction from the first time point to the second time point of an arbitrary object photographed on the right side of the point at infinity of the first image. Is acquired (step 710 in FIG. 7).

前記水平方向成分値取得部は、
ベクトルの水平方向成分の大きさが零であれば零となり、
ベクトルが右方向の水平方向成分を有しているとき正の値となり、
ベクトルが左方向の水平方向成分を有しているとき負の値となり、
ベクトルが有する水平方向成分の大きさが大きいほど大きな値となる水平方向成分値を、前記左側オプティカルフローベクトル及び前記右側オプティカルフローベクトルのそれぞれに対して取得する（図７のステップ７１５）。 The horizontal component value acquisition unit,
If the magnitude of the horizontal component of the vector is zero, it becomes zero,
Positive if the vector has a horizontal component to the right,
Negative if the vector has a horizontal component to the left,
A horizontal component value that increases as the magnitude of the horizontal component of the vector increases is obtained for each of the left-side optical flow vector and the right-side optical flow vector (step 715 in FIG. 7).

前記分界閾値取得部は、
前記水平方向成分値が特定値（Ｖｃ）よりも大きい前記左側オプティカルフローベクトルの数である左側評価値（ＶＬ）と、
前記水平方向成分値が前記特定値よりも小さい前記右側オプティカルフローベクトルの数である右側評価値（ＶＲ）と、
を任意の特定値に対して取得したとき、
前記左側評価値と前記右側評価値との和である合計評価値（ＶＳ）が最小となる前記特定値を分界閾値（Ｄｔｈ）として取得する（図７のステップ７４０）。 The demarcation threshold acquisition unit,
A left side evaluation value (VL), which is the number of left side optical flow vectors in which the horizontal direction component value is larger than a specific value (Vc),
A right side evaluation value (VR), which is the number of right side optical flow vectors in which the horizontal direction component value is smaller than the specific value,
Is obtained for any particular value,
The specific value that minimizes the total evaluation value (VS), which is the sum of the left evaluation value and the right evaluation value, is acquired as the demarcation threshold value (Dth) (step 740 in FIG. 7).

前記接近物体検出部は、
前記水平方向成分値が前記分界閾値よりも大きい前記左側オプティカルフローベクトルに対応する被写体、及び、
前記水平方向成分値が前記分界閾値よりも小さい前記右側オプティカルフローベクトルに対応する被写体
を接近物体として検出する（図７のステップ７４５）。 The approaching object detection unit,
A subject corresponding to the left optical flow vector whose horizontal component value is larger than the demarcation threshold, and
A subject corresponding to the right optical flow vector whose horizontal component value is smaller than the demarcation threshold is detected as an approaching object (step 745 in FIG. 7).

水平方向成分値は、水平方向成分の大きさと方向とを表す値である。２次元の座標平面の原点よりも左側に左側オプティカルフローベクトルの水平方向成分値を縦軸の値としてプロットし、原点よりも右側に右側オプティカルフローベクトルの水平方向成分値を縦軸の値としてプロットすれば、水平フロー分布図が得られる（図４（Ｂ）、図５（Ｂ）及び図６（Ｂ）を参照）。   The horizontal component value is a value indicating the magnitude and direction of the horizontal component. The horizontal component value of the left optical flow vector is plotted on the left side of the origin of the two-dimensional coordinate plane as the vertical axis value, and the horizontal component value of the right optical flow vector is plotted on the right side of the origin as the vertical axis value. Then, a horizontal flow distribution map can be obtained (see FIGS. 4B, 5B, and 6B).

車両が旋回していなければ、画像の無限遠点よりも左に写る接近物体に対応するフローベクトルの点は水平フロー分布図の第２象限にプロットされる。画像の無限遠点よりも右に写る接近物体に対応するフローベクトルの点は水平フロー分布図の第４象限にプロットされる（図４（Ｂ）及び図５（Ｂ）を参照）。   If the vehicle is not turning, the points of the flow vector corresponding to the approaching object appearing to the left of the point at infinity in the image are plotted in the second quadrant of the horizontal flow distribution map. The points of the flow vector corresponding to the approaching object appearing to the right of the infinity point in the image are plotted in the fourth quadrant of the horizontal flow distribution map (see FIGS. 4B and 5B).

しかし、車両が旋回すると、水平方向成分値は一様に増加又は減少する。そのため、第２象限にプロットされていた点が第３象限に現れる現象、及び／又は、第４象限にプロットされていた点が第１象限に現れる現象が発生する可能性がある（図６（Ｂ）を参照）。   However, when the vehicle turns, the horizontal component value uniformly increases or decreases. Therefore, there is a possibility that the points plotted in the second quadrant appear in the third quadrant and / or the points plotted in the fourth quadrant appear in the first quadrant (see FIG. 6 ( See B)).

換言すれば、車両が旋回していなければ、左側オプティカルフローベクトルに対応する被写体の点が水平フロー分布図の横軸よりも上にあれば、その点に対応する被写体は接近物体であると判定できる。しかし、車両が旋回すると、その接近物体に対応する点が横軸よりも下に現れる可能性がある。   In other words, if the vehicle is not turning, and the point of the subject corresponding to the left optical flow vector is above the horizontal axis of the horizontal flow distribution map, then the subject corresponding to that point is determined to be an approaching object. it can. However, when the vehicle turns, a point corresponding to the approaching object may appear below the horizontal axis.

同様に、車両が旋回していなければ、右側オプティカルフローベクトルに対応する被写体の点が水平フロー分布図の横軸よりも下にあれば、その点に対応する被写体は接近物体であると判定できる。しかし、車両が旋回すると、その接近物体に対応する点が横軸よりも上に現れる可能性がある。   Similarly, if the vehicle is not turning, if the point of the subject corresponding to the right side optical flow vector is below the horizontal axis of the horizontal flow distribution map, it can be determined that the subject corresponding to that point is an approaching object. .. However, when the vehicle turns, a point corresponding to the approaching object may appear above the horizontal axis.

そこで、本発明装置は、水平フロー分布図において、左側オプティカルフローベクトルに対応する点が分界閾値に対応する横軸に平行な直線（分界線）よりも上にあれば、その点に対応する被写体を接近物体であると判定する。同様に、右側オプティカルフローベクトルに対応する点が分界線よりも下にあれば、その点に対応する被写体を接近物体であると判定する。換言すれば、分界線は、車両の旋回に起因する水平方向成分値の増減を相殺するために横軸を移動させて得られる直線であると捉えることができる。   Therefore, in the device of the present invention, in the horizontal flow distribution map, if the point corresponding to the left optical flow vector is above the straight line (boundary line) parallel to the horizontal axis corresponding to the demarcation threshold, the subject corresponding to that point Is determined to be an approaching object. Similarly, if the point corresponding to the right side optical flow vector is below the demarcation line, the subject corresponding to that point is determined to be an approaching object. In other words, the demarcation line can be regarded as a straight line obtained by moving the horizontal axis to offset the increase / decrease in the horizontal component value due to the turning of the vehicle.

分界閾値は、撮像装置によって撮影される画像において、静止物体が写った面積は、接近物体が写った面積と比較して大きい、との仮定に基づいて取得される。具体的には、分界閾値は、接近物体であると判定される被写体の数（水平フロー分布図上の点の数）が最も少なくなるように設定される。換言すれば、静止物体及び接近物体以外の移動物体であるにも拘わらず接近物体であると判定される被写体の数が最も少なくなるように、分界閾値が設定される。   The demarcation threshold is acquired based on the assumption that the area in which a stationary object is captured is larger than the area in which an approaching object is captured in the image captured by the imaging device. Specifically, the demarcation threshold is set so that the number of subjects (the number of points on the horizontal flow distribution map) determined to be approaching objects is the smallest. In other words, the demarcation threshold is set so that the number of subjects that are determined to be approaching objects is the smallest despite being moving objects other than stationary objects and approaching objects.

本発明装置によれば、車速センサ及び角速度センサを必要とせず、簡易な演算により車両に接近する物体を比較的高い精度にて検出することができる。   According to the device of the present invention, an object approaching the vehicle can be detected with relatively high accuracy by a simple calculation without the need for the vehicle speed sensor and the angular velocity sensor.

上記説明においては、本発明の理解を助けるために、後述する実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び／又は符号を括弧書きで添えている。しかしながら、本発明の各構成要素は、前記名称及び／又は符号によって規定される実施形態に限定されるものではない。本発明の他の目的、他の特徴及び付随する利点は、以下の図面を参照しつつ記述される本発明の実施形態についての説明から容易に理解されるであろう。   In the above description, in order to help understanding of the present invention, the names and / or reference numerals used in the embodiments are added in parentheses to the configurations of the invention corresponding to the embodiments described later. However, each component of the present invention is not limited to the embodiment defined by the name and / or code. Other objects, other features and attendant advantages of the present invention will be easily understood from the description of the embodiments of the present invention described with reference to the following drawings.

本発明の実施形態に係る車両の接近物体検出装置（本検出装置）が適用される車両（本車両）の概略図である。FIG. 1 is a schematic diagram of a vehicle (present vehicle) to which an approaching object detection device for vehicles (present detection device) according to an embodiment of the present invention is applied. 本検出装置によって取得された画像及びオプティカルフローベクトルの例である。It is an example of the image and the optical flow vector acquired by this detection device. 本車両が丁字路に進入する様子を表した図である。It is a figure showing a mode that this vehicle approaches a Tojiji road. （Ａ）は本車両が停止している場合のフローベクトルの水平方向成分を表した図であり、（Ｂ）はこの場合の水平フロー分布図である。(A) is a diagram showing a horizontal direction component of a flow vector when the present vehicle is stopped, and (B) is a horizontal flow distribution diagram in this case. （Ａ）は本車両が直進しながら丁字路に進入する場合のフローベクトルの水平方向成分を表した図であり、（Ｂ）はこの場合の水平フロー分布図である。(A) is a figure showing the horizontal direction component of a flow vector when this vehicle enters straight road while going straight, and (B) is a horizontal flow distribution chart in this case. （Ａ）は本車両が旋回しながら丁字路に進入する場合のフローベクトルの水平方向成分を表した図であり、（Ｂ）はこの場合の水平フロー分布図である。(A) is a diagram showing a horizontal component of a flow vector when the vehicle enters a T-shaped road while turning, and (B) is a horizontal flow distribution diagram in this case. 本検出装置が実行する接近物体検出処理ルーチンを示したフローチャートである。6 is a flowchart showing an approaching object detection processing routine executed by the detection device.

（構成）
以下、図面を参照しながら本発明の実施形態に係る車両の接近物体検出装置（以下、「本検出装置」とも称呼される。）について説明する。本検出装置は、図１に概略構成が示された車両１０に適用される。本検出装置は、カメラ２０及びＥＣＵ３０を含んでいる。 (Constitution)
Hereinafter, an approaching object detection device for a vehicle (hereinafter, also referred to as “present detection device”) according to an embodiment of the present invention will be described with reference to the drawings. The detection device is applied to a vehicle 10 whose schematic configuration is shown in FIG. The detection device includes a camera 20 and an ECU 30.

カメラ２０は、車両１０の車体の前端中央部に固定されている。カメラ２０の水平方向の画角（視野）は、車両１０の進行方向正面を含み、左水平方向近傍から右水平方向近傍までの略１５０度である。   The camera 20 is fixed to the center of the front end of the vehicle body of the vehicle 10. The horizontal angle of view (field of view) of the camera 20 is approximately 150 degrees from near the left horizontal direction to near the right horizontal direction, including the front of the vehicle 10 in the traveling direction.

具体的には、カメラ２０の水平方向の画角は、図１に示された直線Ｌｅと直線Ｒｅとがなす角度に等しい。車両１０の前後方向の中心軸Ｃｓと直線Ｌｅとがなす角度と、中心軸Ｃｓと直線Ｒｅとがなす角度と、は互いに等しい。カメラ２０は、撮影した画像を表す信号をＥＣＵ３０へ出力する。   Specifically, the horizontal angle of view of the camera 20 is equal to the angle formed by the straight line Le and the straight line Re shown in FIG. The angle formed by the center axis Cs of the vehicle 10 in the front-rear direction and the straight line Le is equal to the angle formed by the center axis Cs and the straight line Re. The camera 20 outputs a signal representing the captured image to the ECU 30.

ＥＣＵ３０は、周知のマイクロコンピュータを含む電子回路であり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース等を含んでいる。ＣＰＵは、所定のプログラム（ルーチン）を逐次実行することによってデータの読み込み、数値演算、及び、演算結果の出力等を行う。ＲＯＭは、ＣＰＵが実行するプログラム及びルックアップテーブル（マップ）等を記憶する。ＲＡＭは、データを一時的に記憶する。   The ECU 30 is an electronic circuit including a well-known microcomputer, and includes a CPU, a ROM, a RAM, an interface, and the like. The CPU reads data, performs numerical calculations, outputs calculation results, and the like by sequentially executing predetermined programs (routines). The ROM stores a program executed by the CPU, a look-up table (map), and the like. The RAM temporarily stores data.

ＥＣＵ３０は、表示装置４１と接続されている。表示装置４１は、車両１０内の車室内に設けられた図示しないセンターコンソールに配設されている。後述される接近物体検出処理が実行されるとき、表示装置４１はカメラ２０によって撮影された画像を連続的に表示する。即ち、表示装置４１には、車両１０の前方を表す動画像が表示される。   The ECU 30 is connected to the display device 41. The display device 41 is provided in a center console (not shown) provided in the vehicle interior of the vehicle 10. When the approaching object detection process described below is executed, the display device 41 continuously displays the images captured by the camera 20. That is, a moving image representing the front of the vehicle 10 is displayed on the display device 41.

表示装置４１は、図示しない操作スイッチを備えている。車両１０の運転者は、この操作スイッチを操作することによって接近物体検出処理のオン状態及びオフ状態のいずれか一方を選択することができる。加えて、表示装置４１は、図示しないスピーカーを備えている。   The display device 41 includes an operation switch (not shown). The driver of the vehicle 10 can select one of the on state and the off state of the approaching object detection process by operating the operation switch. In addition, the display device 41 includes a speaker (not shown).

（接近物体検出処理の概要−フローベクトルの取得）
接近物体検出処理がオン状態となっているとき、ＥＣＵ３０は、オプティカルフローベクトル（フローベクトル）の水平方向成分に基づいてカメラ２０によって撮影された「車両１０に接近する物体（接近物体）に対応する被写体」を検出する。先ず、フローベクトルの取得方法について説明する。 (Outline of approaching object detection process-acquisition of flow vector)
When the approaching object detection process is in the ON state, the ECU 30 corresponds to the “object approaching the vehicle 10 (approaching object)” captured by the camera 20 based on the horizontal component of the optical flow vector (flow vector). "Subject" is detected. First, a method of acquiring a flow vector will be described.

ＥＣＵ３０は、カメラ２０に、所定の撮影周期Δｔ（固定値）が経過する毎に画像を撮影させる。ＥＣＵ３０は、カメラ２０によって撮影された画像（第１画像）と、第１画像の撮影時期よりも撮影周期Δｔだけ後に撮影された画像（第２画像）と、に基づいてフローベクトルを取得する。   The ECU 30 causes the camera 20 to shoot an image each time a predetermined shooting cycle Δt (fixed value) elapses. The ECU 30 acquires a flow vector based on the image (first image) captured by the camera 20 and the image (second image) captured after the capturing period Δt after the capturing time of the first image.

換言すれば、第１画像はカメラ２０によって第２画像よりも撮影周期Δｔだけ以前に撮影された画像である。第２画像はカメラ２０によって撮影された最新の画像である。第１画像が撮影された時刻は、便宜的に「第１時点」とも称呼される。第２画像が撮影された時刻は、便宜的に「第２時点」とも称呼される。   In other words, the first image is an image taken by the camera 20 before the second image by the shooting cycle Δt. The second image is the latest image taken by the camera 20. The time when the first image is captured is also referred to as “first time point” for convenience. The time when the second image is captured is also referred to as “second time point” for convenience.

ＥＣＵ３０は、第１画像と第２画像との双方に撮影されている任意の被写体（具体的には、被写体の一部）の第１時点における始点及び第１時点から第２時点までの移動量及び移動方向を表すベクトルであるフローベクトルを複数の被写体のそれぞれに対し取得する。即ち、ＥＣＵ３０は、複数のフローベクトルを取得する。   The ECU 30 uses a starting point at a first time point of an arbitrary subject (specifically, a part of the subject) photographed in both the first image and the second image and a movement amount from the first time point to the second time point. And a flow vector, which is a vector indicating the moving direction, is acquired for each of the plurality of subjects. That is, the ECU 30 acquires a plurality of flow vectors.

より具体的に述べると、ＥＣＵ３０は、第１画像及び第２画像のそれぞれを所定の大きさの矩形に分割する。即ち、ＥＣＵ３０は、第１画像及び第２画像のそれぞれを矩形の集合として扱う。ＥＣＵ３０は、第１画像を構成する矩形のそれぞれが第２画像においてどの位置に現れるかを探索する。探索に成功した場合、第１画像におけるその矩形の位置（移動元）を始点とし、第２画像における同矩形の位置（移動先）を終点とするフローベクトルが得られる。ＥＣＵ３０は、この処理を、第１画像を構成する矩形のそれぞれに対して実行する。その結果、複数の（非常に多くの）フローベクトルが取得される。   More specifically, the ECU 30 divides each of the first image and the second image into rectangles of a predetermined size. That is, the ECU 30 handles each of the first image and the second image as a set of rectangles. The ECU 30 searches at which position in the second image each of the rectangles forming the first image appears. When the search is successful, a flow vector having the position of the rectangle (movement source) in the first image as the starting point and the position of the rectangle (moving destination) in the second image as the ending point is obtained. The ECU 30 executes this process for each of the rectangles that form the first image. As a result, multiple (very many) flow vectors are obtained.

フローベクトルの例が図２の黒矢印によって示される。図２の例において、車両１０は、第１時点から第２時点にかけて前進（直進）している。図２に示されている画像は、第１画像である。各フローベクトルは、この第１画像と「第１画像よりも撮影周期Δｔだけ後に撮影された第２画像」とに基づいて取得されている。従って、フローベクトルのそれぞれは、フローベクトルに対応する被写体のそれぞれの撮影周期Δｔにおける画像平面上の移動方向及び移動距離を表している。   An example of a flow vector is indicated by the black arrow in FIG. In the example of FIG. 2, the vehicle 10 is moving forward (straight ahead) from the first time point to the second time point. The image shown in FIG. 2 is the first image. Each flow vector is acquired based on this first image and the “second image captured after the first image by the image capturing period Δt”. Therefore, each of the flow vectors represents the moving direction and the moving distance on the image plane in each shooting cycle Δt of the subject corresponding to the flow vector.

ところで、図２において、静止している被写体（具体的には、建造物及び路面等）に対応する各フローベクトルの始点と終点とを通る直線のそれぞれが交わる点は、「無限遠点ＦＯＥ」とも称呼される。無限遠点ＦＯＥは、図２に示された画像平面における車両１０の直進方向を示す点であると捉えることも可能である。   By the way, in FIG. 2, the point at which each of the straight lines passing through the start point and the end point of each flow vector corresponding to a stationary subject (specifically, a building, a road surface, etc.) intersects is the “point of infinity FOE”. Also called. The point at infinity FOE can also be regarded as a point indicating the straight traveling direction of the vehicle 10 on the image plane shown in FIG.

一方、移動している被写体（具体的には、車両１０以外の車両）に対応するフローベクトルの始点と終点とを通る直線は無限遠点ＦＯＥを通らない。車両１０が前進することによって発生した被写体の画像平面上の移動に加え、被写体が路面上を移動することによる「同被写体の画像平面上の移動」が発生しているからである。   On the other hand, a straight line passing through the start point and the end point of the flow vector corresponding to the moving subject (specifically, a vehicle other than the vehicle 10) does not pass through the infinite point FOE. This is because, in addition to the movement of the subject on the image plane caused by the forward movement of the vehicle 10, the “movement of the subject on the image plane” due to the movement of the subject on the road surface occurs.

換言すれば、図２に示されたフローベクトルは、車両１０が前進することによって発生した被写体の画像平面上の移動を表すベクトルと、被写体が移動することによって発生した被写体の画像平面上の移動を表すベクトルと、の和として捉えることができる。便宜上、前者のベクトルは「自車移動ベクトル」とも称呼され、後者のベクトルは「被写体移動ベクトル」とも称呼される。静止している被写体に対応する被写体移動ベクトルは、零ベクトルとなる。   In other words, the flow vector shown in FIG. 2 is a vector representing the movement of the subject on the image plane caused by the vehicle 10 moving forward, and the movement of the subject on the image plane caused by the movement of the subject. It can be understood as the sum of the vector and. For the sake of convenience, the former vector is also referred to as a “vehicle moving vector”, and the latter vector is also referred to as a “subject moving vector”. The subject movement vector corresponding to the stationary subject is a zero vector.

なお、ＥＣＵ３０がフローベクトルを取得するために第１画像及び第２画像のそれぞれを分割して矩形の集合を得るとき、画像の無限遠点ＦＯＥよりも左側の部分を分割して得られる矩形の数と、画像の無限遠点ＦＯＥよりも右側の部分を分割して得られる矩形の数と、は互いに等しい。   When the ECU 30 divides each of the first image and the second image to obtain a set of rectangles in order to obtain the flow vector, a rectangle obtained by dividing the part on the left side of the infinite point FOE of the image is obtained. The number is equal to the number of rectangles obtained by dividing the part on the right side of the infinite point FOE of the image.

加えて、始点が画像の無限遠点ＦＯＥよりも左側の部分にあるフローベクトルは、便宜上「左側オプティカルフローベクトル」とも称呼される。同様に、始点が画像の無限遠点ＦＯＥよりも右側の部分にあるフローベクトルは、便宜上「右側オプティカルフローベクトル」とも称呼される。従って、右側オプティカルフローベクトルの数と、左側オプティカルフローベクトルの数と、は互いに等しい。   In addition, the flow vector whose start point is located on the left side of the infinite point FOE of the image is also referred to as a “left side optical flow vector” for convenience. Similarly, a flow vector whose start point is on the right side of the infinite point FOE of the image is also referred to as a “right side optical flow vector” for convenience. Therefore, the number of right side optical flow vectors and the number of left side optical flow vectors are equal to each other.

（水平方向成分に着目した接近物体の検出）
次に、フローベクトルの水平方向成分に基づく接近物体の抽出方法について、図３に示すように車両１０が丁字路（Ｔ字路）に進入する場合を例に説明する。他車両５１及び他車両５２は、走行している車両１０以外の車両である。他車両５１及び他車両５２は、接近物体である。 (Detection of approaching object focusing on horizontal component)
Next, a method of extracting an approaching object based on the horizontal component of the flow vector will be described by taking the case where the vehicle 10 enters a T-shaped road as shown in FIG. 3 as an example. The other vehicle 51 and the other vehicle 52 are vehicles other than the traveling vehicle 10. The other vehicle 51 and the other vehicle 52 are approaching objects.

車両１０が位置Ｐｓにて停止しているとき、図４（Ａ）に示されるような画像がカメラ２０によって撮影される。理解を容易とするため、本例において、ＥＣＵ３０は、カメラ２０によって撮影された画像を横１０個×縦８個の矩形に分割し、フローベクトルを取得する。図４（Ａ）には、取得されたフローベクトルの水平方向成分が矢印によって表される。   When the vehicle 10 is stopped at the position Ps, the camera 20 captures an image as shown in FIG. To facilitate understanding, in this example, the ECU 30 divides the image captured by the camera 20 into rectangles of 10 horizontal × 8 vertical, and acquires a flow vector. In FIG. 4A, the horizontal component of the acquired flow vector is represented by an arrow.

図４（Ａ）の例において、車両１０は停止しているので、自車移動ベクトルは零ベクトルである。従って、移動物体である他車両５１及び他車両５２に対応するフローベクトルの水平方向成分のみが図４（Ａ）に矢印によって示されている。換言すれば、図４(Ａ)に示されるフローベクトルは、被写体移動ベクトルの水平方向成分である。   In the example of FIG. 4A, since the vehicle 10 is stopped, the own vehicle movement vector is a zero vector. Therefore, only the horizontal component of the flow vector corresponding to the other vehicle 51 and the other vehicle 52, which are moving objects, is indicated by an arrow in FIG. 4 (A). In other words, the flow vector shown in FIG. 4A is the horizontal component of the subject movement vector.

図４（Ｂ）は、図４（Ａ）に示されたフローベクトルの水平方向成分の分布を表している。図４（Ｂ）の分布図（以下、「水平フロー分布図」とも称呼される。）において、横軸はフローベクトルの始点位置の横方向の位置を表している。無限遠点ＦＯＥの横位置が、水平フロー分布図の横軸の値が「０」となる位置に対応している。フローベクトルの始点位置が右にあるほど水平フロー分布図の横軸の値が大きくなる。   FIG. 4B shows a distribution of horizontal components of the flow vector shown in FIG. In the distribution chart of FIG. 4B (hereinafter, also referred to as “horizontal flow distribution chart”), the horizontal axis represents the horizontal position of the start point position of the flow vector. The horizontal position of the point FOE at infinity corresponds to the position where the value on the horizontal axis of the horizontal flow distribution chart is “0”. The value on the horizontal axis of the horizontal flow distribution map increases as the starting point position of the flow vector moves to the right.

水平フロー分布図の縦軸はフローベクトルの水平方向成分の方向及び大きさを表している。フローベクトルの水平方向成分の大きさが「０」であると、水平フロー分布図の縦軸の値が「０」となる。フローベクトルが右方向の水平方向成分を有しているとき、水平フロー分布図の縦軸の値が正の値となる。フローベクトルが左方向の水平方向成分を有しているとき、縦軸の値が負の値となる。フローベクトルの水平方向成分の大きさが大きくなるほど、縦軸の値の大きさが大きくなる。水平フロー分布図の縦軸の値は、便宜上「水平方向成分値」とも称呼される。   The vertical axis of the horizontal flow distribution diagram represents the direction and magnitude of the horizontal component of the flow vector. When the magnitude of the horizontal component of the flow vector is "0", the value on the vertical axis of the horizontal flow distribution chart becomes "0". When the flow vector has a horizontal component in the right direction, the value on the vertical axis of the horizontal flow distribution chart becomes a positive value. When the flow vector has a horizontal component in the left direction, the value on the vertical axis becomes a negative value. The larger the horizontal component of the flow vector, the larger the value on the vertical axis. The value on the vertical axis of the horizontal flow distribution diagram is also referred to as "horizontal component value" for convenience.

水平フロー分布図の横軸の値及び縦軸の値はカメラ２０の画素数（ピクセル数）によって表される。即ち、横軸及び縦軸の単位は画素数である。例えば、フローベクトルの水平方向成分が、左方向に１００画素分であれば（即ち、第１画像上のある被写体が、第２画像上では左方向に１００画素分移動した位置に現れていれば）、水平フロー分布図の縦軸の値は−１００［画素］となる。   The values on the horizontal axis and the values on the vertical axis of the horizontal flow distribution chart are represented by the number of pixels (the number of pixels) of the camera 20. That is, the unit of the horizontal axis and the vertical axis is the number of pixels. For example, if the horizontal component of the flow vector is 100 pixels to the left (that is, if a certain object on the first image has moved to the left by 100 pixels on the second image, it appears). ), The value on the vertical axis of the horizontal flow distribution chart is -100 [pixels].

図４（Ａ）の例において、他車両５１に対応するフローベクトルは、開始位置が無限遠点ＦＯＥよりも左側にあり且つ右方向の水平方向成分を有するので、対応する点（５つ）が水平フロー分布図の第２象限にプロットされる。一方、他車両５２に対応するフローベクトルは、開始位置が無限遠点ＦＯＥよりも右側にあり且つ左方向の水平方向成分を有するので、対応する点（３つ）が水平フロー分布図の第４象限にプロットされる。   In the example of FIG. 4A, since the start position of the flow vector corresponding to the other vehicle 51 is on the left side of the point FOE at infinity and has the horizontal component in the right direction, the corresponding points (five) are It is plotted in the second quadrant of the horizontal flow distribution map. On the other hand, since the start position of the flow vector corresponding to the other vehicle 52 is on the right side of the point FOE at infinity and has a horizontal component in the left direction, the corresponding points (3) are the fourth in the horizontal flow distribution diagram. It is plotted in the quadrant.

他車両５１及び他車両５２の何れにも対応しないフローベクトル（即ち、静止物体に対応するフローベクトル）は全て零ベクトルであるので、水平フロー分布図の横軸上にこれら零ベクトルに対応する点がプロットされる。   Since the flow vectors that do not correspond to any of the other vehicles 51 and 52 (that is, the flow vectors corresponding to the stationary object) are all zero vectors, the points corresponding to these zero vectors on the horizontal axis of the horizontal flow distribution map. Is plotted.

上述したように、他車両５１及び他車両５２は、接近物体である。図４（Ａ）及び（Ｂ）の例から理解されるように、接近物体に対応するフローベクトルは、無限遠点ＦＯＥに向かう方向の水平方向成分（中心方向水平成分）を有している。具体的には、「無限遠点ＦＯＥよりも左にある他車両５１」に対応するフローベクトルは、右向きの水平方向成分を有している。一方、「無限遠点ＦＯＥよりも右にある他車両５２」に対応するフローベクトルは、左向きの水平方向成分を有している。換言すれば、車両１０が停止しているとき、ＥＣＵ３０は、無限遠点ＦＯＥに向かう方向の水平方向成分を有しているフローベクトルに対応する被写体を、接近物体として抽出することができる。   As described above, the other vehicle 51 and the other vehicle 52 are approaching objects. As can be understood from the examples of FIGS. 4A and 4B, the flow vector corresponding to the approaching object has a horizontal component (center-direction horizontal component) in the direction toward the infinite point FOE. Specifically, the flow vector corresponding to “another vehicle 51 on the left of the infinite point FOE” has a rightward horizontal component. On the other hand, the flow vector corresponding to “another vehicle 52 to the right of the point of infinity FOE” has a leftward horizontal component. In other words, when the vehicle 10 is stopped, the ECU 30 can extract, as an approaching object, the subject corresponding to the flow vector having the horizontal component in the direction toward the infinite point FOE.

図５（Ａ）の例は、車両１０が図３の矢印Ａａに示されるように、直進しながら交差点に進入する場合に取得されたフローベクトルの水平方向成分を表している。図５（Ｂ）は、図５（Ａ）の例に対応する水平フロー分布図である。図５（Ａ）において、車両１０の直進によって生じた自車移動ベクトルが、図４（Ａ）に表された被写体移動ベクトルに重畳されている。   The example of FIG. 5 (A) represents the horizontal direction component of the flow vector acquired when the vehicle 10 advances straight ahead and enters an intersection as indicated by an arrow Aa in FIG. FIG. 5B is a horizontal flow distribution diagram corresponding to the example of FIG. In FIG. 5A, the own vehicle movement vector generated by the straight traveling of the vehicle 10 is superimposed on the subject movement vector shown in FIG. 4A.

図５（Ｂ）から理解されるように、自車移動ベクトルは、無限遠点ＦＯＥよりも左側においては左向きの水平方向成分を有し、無限遠点ＦＯＥよりも右側においては右向きの水平方向成分を有している。加えて、自車移動ベクトルの大きさは、無限遠点ＦＯＥから水平方向に離れるほど大きくなっている。   As can be understood from FIG. 5B, the vehicle movement vector has a leftward horizontal component on the left side of the infinite point FOE and a rightward horizontal component on the right side of the infinite point FOE. have. In addition, the magnitude of the own vehicle movement vector becomes larger as it moves away from the point FOE at infinity in the horizontal direction.

加えて、自車移動ベクトルの大きさは、車両１０の車速が大きくなるほど大きくなる。図５（Ａ）及び（Ｂ）から理解されるように、被写体移動ベクトルに自車移動ベクトルが重畳されても他車両５１に対応するフローベクトルは右方向の水平方向成分を有し、他車両５２に対応するフローベクトルは左方向の水平方向成分を有している。換言すれば、車両１０が直進している場合であっても、車両１０の車速が過大でなければ、ＥＣＵ３０は、無限遠点ＦＯＥに向かう方向の水平方向成分を有しているフローベクトルに対応する被写体を、接近物体であると抽出することができる。   In addition, the magnitude of the own vehicle movement vector increases as the vehicle speed of the vehicle 10 increases. As can be understood from FIGS. 5A and 5B, even if the own vehicle movement vector is superimposed on the subject movement vector, the flow vector corresponding to the other vehicle 51 has a horizontal component in the right direction, The flow vector corresponding to 52 has a horizontal component to the left. In other words, even when the vehicle 10 is traveling straight ahead, if the vehicle speed of the vehicle 10 is not excessive, the ECU 30 corresponds to the flow vector having the horizontal component in the direction toward the infinite point FOE. The subject to be extracted can be extracted as an approaching object.

図６（Ａ）の例は、車両１０が図３の矢印Ａｂに示されるように、旋回しながら交差点に進入する場合に取得されたフローベクトルの水平方向成分を表している。図６（Ｂ）は、図６（Ａ）の例に対応する水平フロー分布図である。図６（Ａ）において、車両１０の旋回によって生じたベクトル（以下、「自車旋回ベクトル」とも称呼される。）が、図５（Ａ）に表された自車移動ベクトル及び被写体移動ベクトルに重畳されている。   The example of FIG. 6A represents the horizontal direction component of the flow vector acquired when the vehicle 10 enters an intersection while making a turn as shown by an arrow Ab in FIG. FIG. 6B is a horizontal flow distribution diagram corresponding to the example of FIG. 6A. In FIG. 6 (A), the vector generated by the turning of the vehicle 10 (hereinafter also referred to as “own vehicle turning vector”) is the own vehicle movement vector and the subject movement vector shown in FIG. 5 (A). Are overlaid.

自車旋回ベクトルの方向は、車両１０が旋回する方向と逆となる。自車旋回ベクトルは、画像平面上の位置に依らず方向と向きが同一である。図６（Ａ）の例において、車両１０は右に旋回しているので、その旋回の結果発生する自車旋回ベクトルの向きは左方向である。   The direction of the own vehicle turning vector is opposite to the direction in which the vehicle 10 turns. The own vehicle turning vector has the same direction and direction regardless of the position on the image plane. In the example of FIG. 6A, since the vehicle 10 is turning to the right, the direction of the own vehicle turning vector generated as a result of the turning is leftward.

図６（Ｂ）から理解されるように、図５（Ｂ）において第２象限に現れていた他車両５１に対応するフローベクトルの点は、第３象限に移っている。同様に、図５（Ｂ）において第１象限に現れていたフローベクトルの点の一部は、第４象限に移っている。   As can be seen from FIG. 6B, the point of the flow vector corresponding to the other vehicle 51 appearing in the second quadrant in FIG. 5B has moved to the third quadrant. Similarly, some of the flow vector points appearing in the first quadrant in FIG. 5B have moved to the fourth quadrant.

換言すれば、車両１０が旋回した結果、接近物体に対応するフローベクトルが無限遠点ＦＯＥに向かう方向の水平方向成分を有さなくなっている。即ち、ＥＣＵ３０は、フローベクトルが無限遠点ＦＯＥに向かう方向の水平方向成分を有するか否かに基づいてそのフローベクトルに対応する被写体が接近物体か否かを判定することができない。   In other words, as a result of the vehicle 10 turning, the flow vector corresponding to the approaching object does not have a horizontal component in the direction toward the infinite point FOE. That is, the ECU 30 cannot determine whether the subject corresponding to the flow vector is an approaching object based on whether the flow vector has a horizontal component in the direction toward the infinite point FOE.

しかし、図６（Ｂ）から理解されるように、車両１０が旋回していても、他車両５１に対応するフローベクトルは、無限遠点ＦＯＥよりも左側にある静止物体に対応するフローベクトルと比較して右向きの水平方向成分が大きい。同様に、他車両５２に対応するフローベクトルは、無限遠点ＦＯＥよりも右側にある静止物体に対応するフローベクトルと比較して左向きの水平方向成分が大きい。   However, as understood from FIG. 6B, even if the vehicle 10 is turning, the flow vector corresponding to the other vehicle 51 is the flow vector corresponding to the stationary object on the left side of the infinite point FOE. The horizontal component to the right is large in comparison. Similarly, the flow vector corresponding to the other vehicle 52 has a larger leftward horizontal component than the flow vector corresponding to the stationary object on the right side of the infinite point FOE.

そこで、ＥＣＵ３０は、図６（Ｂ）において、分界線Ｌｄよりも上にあり且つ無限遠点ＦＯＥよりも左にある点のフローベクトルに対応する被写体を接近物体として抽出する。同様に、ＥＣＵ３０は、分界線Ｌｄよりも下にあり且つ無限遠点ＦＯＥよりも右にある点のフローベクトルに対応する被写体を接近物体をとして抽出する。   Therefore, in FIG. 6B, the ECU 30 extracts a subject corresponding to the flow vector of a point above the demarcation line Ld and to the left of the infinite point FOE as an approaching object. Similarly, the ECU 30 extracts a subject corresponding to the flow vector of a point below the demarcation line Ld and to the right of the infinite point FOE as an approaching object.

分界線Ｌｄは、水平フロー分布図における自車旋回ベクトルの大きさに対応する横軸に平行な直線である。車両１０が右向きに旋回しているとき、分界線Ｌｄは水平フロー分布図の横軸よりも下に現れる。車両１０が左向きに旋回しているとき、分界線Ｌｄは横軸よりも上に現れる。   The demarcation line Ld is a straight line parallel to the horizontal axis corresponding to the magnitude of the own vehicle turning vector in the horizontal flow distribution map. When the vehicle 10 is turning to the right, the demarcation line Ld appears below the horizontal axis of the horizontal flow distribution map. When the vehicle 10 is turning to the left, the demarcation line Ld appears above the horizontal axis.

分界線Ｌｄと水平フロー分布図の横軸との距離（符号付き実数値）である分界閾値Ｄｔｈの大きさは、車両１０の旋回速度（所謂、ヨーレートであり、車両１０が右向きに旋回しているとき正の値となる）が大きくなるほど大きくなる。具体的には、車両１０が右に旋回し且つ旋回速度が速いほど分界閾値Ｄｔｈは負の値であり且つその絶対値が大きくなる。一方、車両１０が左に旋回し且つ旋回速度が速いほど分界閾値Ｄｔｈは正の値であり且つその絶対値が大きくなる。   The magnitude of the demarcation threshold Dth, which is the distance (real number with a sign) between the demarcation line Ld and the horizontal axis of the horizontal flow distribution diagram, is the turning speed of the vehicle 10 (so-called yaw rate, and the vehicle 10 turns to the right). It becomes a positive value when there is) and it becomes larger. Specifically, the demarcation threshold value Dth has a negative value and its absolute value increases as the vehicle 10 turns to the right and the turning speed increases. On the other hand, the demarcation threshold value Dth has a positive value and its absolute value increases as the vehicle 10 turns left and the turning speed increases.

（分界閾値の推定）
ＥＣＵ３０は、以下のステップ（Ｓ１）からステップ（Ｓ４）を実行することによって分界閾値Ｄｔｈを取得する。
（Ｓ１）水平フロー分布図において、原点よりも左にあり且つ縦軸の値が特定値（符号付き実数値）Ｖｃよりも大きい点の数である左側評価値ＶＬを取得する。
（Ｓ２）水平フロー分布図において、原点よりも右にあり且つ縦軸の値が特定値Ｖｃよりも小さい点の数である右側評価値ＶＲを取得する。
（Ｓ３）左側評価値ＶＬと右側評価値ＶＲとの和である合計評価値ＶＳを取得する（即ち、ＶＳ＝ＶＬ＋ＶＲ）。
（Ｓ４）合計評価値ＶＳの最小値が得られるまで特定値Ｖｃを変更しながら上記（Ｓ１）〜（Ｓ３）を繰り返し実行し、合計評価値ＶＳの最小値が得られたときの特定値Ｖｃを分界閾値Ｄｔｈとして取得する。 (Estimation of demarcation threshold)
The ECU 30 acquires the demarcation threshold Dth by executing the following steps (S1) to (S4).
(S1) In the horizontal flow distribution chart, the left side evaluation value VL, which is the number of points on the left side of the origin and whose vertical axis value is larger than the specific value (signed real value) Vc, is acquired.
(S2) In the horizontal flow distribution chart, the right evaluation value VR, which is the number of points on the right side of the origin and whose vertical axis value is smaller than the specific value Vc, is acquired.
(S3) The total evaluation value VS, which is the sum of the left evaluation value VL and the right evaluation value VR, is acquired (that is, VS = VL + VR).
(S4) The specific value Vc when the minimum value of the total evaluation values VS is obtained by repeatedly executing the above (S1) to (S3) while changing the specific value Vc until the minimum value of the total evaluation value VS is obtained. Is obtained as the demarcation threshold Dth.

左側評価値ＶＬは、分界閾値Ｄｔｈが特定値Ｖｃであると仮定したときの無限遠点ＦＯＥよりも左側にある接近物体の数である。同様に、右側評価値ＶＲは、分界閾値Ｄｔｈが特定値Ｖｃであると仮定したときの無限遠点ＦＯＥよりも右側にある接近物体の数である。   The left side evaluation value VL is the number of approaching objects on the left side of the infinite point FOE when the demarcation threshold Dth is assumed to be the specific value Vc. Similarly, the right evaluation value VR is the number of approaching objects on the right side of the infinite point FOE when the demarcation threshold Dth is assumed to be the specific value Vc.

一般に、カメラ２０によって撮影される画像において、静止物体が写った面積は、接近物体が写った面積と比較して大きい。そのため、合計評価値ＶＳが最小値以外の値であるとき、その合計評価値ＶＳに対応する特定値Ｖｃによって接近物体を抽出しようとすると、静止物体が接近物体であると判定される「誤判定」が発生する可能性が高い。換言すれば、合計評価値ＶＳが最小となる特定値Ｖｃ（即ち、分界閾値Ｄｔｈ）に対応する分界線Ｌｄによれば、誤判定が発生する可能性が低くなる。   In general, in an image captured by the camera 20, the area in which a stationary object is captured is larger than the area in which an approaching object is captured. Therefore, when the total evaluation value VS is a value other than the minimum value and an attempt is made to extract an approaching object by the specific value Vc corresponding to the total evaluation value VS, it is determined that the stationary object is an approaching object. Is likely to occur. In other words, the demarcation line Ld corresponding to the specific value Vc (that is, the demarcation threshold Dth) that minimizes the total evaluation value VS reduces the possibility of erroneous determination.

分界閾値Ｄｔｈは、自車旋回ベクトルの向き及び大きさを表していると捉えることができる。換言すれば、分界閾値Ｄｔｈは、上記ステップ（Ｓ１）〜（Ｓ４）を実行することによって推定された自車旋回ベクトルである。   The demarcation threshold Dth can be considered to represent the direction and magnitude of the own vehicle turning vector. In other words, the demarcation threshold value Dth is the vehicle turning vector estimated by executing the steps (S1) to (S4).

（具体的作動）
次に、ＥＣＵ３０の具体的作動について説明する。ＥＣＵ３０のＣＰＵ（以下、単に「ＣＰＵ」とも称呼される。）は、接近物体検出処理がオン状態となっているとき、撮影周期Δｔが経過する毎に図７にフローチャートにより示した「接近物体検出処理ルーチン」を実行する。 (Specific operation)
Next, a specific operation of the ECU 30 will be described. When the approaching object detection process is ON, the CPU of the ECU 30 (hereinafter, also simply referred to as “CPU”) has a function of “approaching object detection” shown by a flowchart in FIG. 7 every time the imaging cycle Δt elapses. Processing routine ".

従って、適当なタイミングになると、ＣＰＵは、図７のステップ７００から処理を開始して以下に述べるステップ７０５乃至ステップ７３０の処理を順に実行してステップ７３５に進む。   Therefore, at an appropriate timing, the CPU starts the process from step 700 of FIG. 7, sequentially executes the processes of steps 705 to 730 described below, and proceeds to step 735.

ステップ７０５：ＣＰＵは、カメラ２０によって撮影された画像を取得する。ＣＰＵは、取得した画像をＲＡＭ上に記憶する。
ステップ７１０：ＣＰＵは、本ルーチンが前回実行されたときに取得された画像（第１画像）と、今回取得された画像（第２画像）と、に基づいてフローベクトルを取得する。
ステップ７１５：ＣＰＵは、フローベクトルから水平方向成分を抽出する。即ち、ＣＰＵは、水平フロー分布図を内部的に生成する。 Step 705: The CPU acquires the image captured by the camera 20. The CPU stores the acquired image in the RAM.
Step 710: The CPU acquires a flow vector based on the image (first image) acquired when this routine was last executed and the image (second image) acquired this time.
Step 715: The CPU extracts the horizontal direction component from the flow vector. That is, the CPU internally generates the horizontal flow distribution map.

ステップ７２０：ＣＰＵは、変数ｉの値を分界下端値Ｄｍｉｎに設定する。分界下端値Ｄｍｉｎは、負の値であり且つ分界閾値Ｄｔｈが取り得る値の最小値である。換言すれば、分界下端値Ｄｍｉｎは、車両１０が右に旋回し且つその旋回速度の大きさが最大値（旋回速度の大きさが、この値よりも大きくなると車両１０は安定して旋回することができなくなる旋回速度）であるときの分界閾値Ｄｔｈである。   Step 720: The CPU sets the value of the variable i to the demarcation lower limit value Dmin. The demarcation lower limit value Dmin is a negative value and is the minimum value that the demarcation threshold value Dth can take. In other words, the demarcation lower limit value Dmin means that the vehicle 10 turns to the right and the magnitude of the turning speed is a maximum value (when the magnitude of the turning speed becomes larger than this value, the vehicle 10 turns stably. It is the demarcation threshold value Dth when the turning speed at which it becomes impossible.

一方、後述される分界上端値Ｄｍａｘは、正の値であり且つ分界閾値Ｄｔｈが取り得る値の最大値である。具体的には、分界下端値Ｄｍｉｎは、車両１０が左に旋回し且つその旋回速度の大きさが最大値であるときの分界閾値Ｄｔｈである。   On the other hand, the demarcation upper limit value Dmax described later is a positive value and is the maximum value that the demarcation threshold value Dth can take. Specifically, the demarcation lower limit value Dmin is the demarcation threshold value Dth when the vehicle 10 is turning left and the magnitude of the turning speed is the maximum value.

ステップ７２５：ＣＰＵは、上記（Ｓ１）〜（Ｓ３）を実行し、上記特定値Ｖｃが変数ｉと等しいときの合計評価値ＶＳを取得する。
ステップ７３０：ＣＰＵは、変数ｉに分界値ｒｅｓを加える。分界値ｒｅｓは、変数ｉが分界値ｒｅｓだけ増加すると、水平フロー分布図における分界線Ｌｄが１画素分だけ上に移動するように定められている。 Step 725: The CPU executes the above (S1) to (S3) and acquires the total evaluation value VS when the above-mentioned specific value Vc is equal to the variable i.
Step 730: The CPU adds the demarcation value res to the variable i. The demarcation value res is set so that when the variable i increases by the demarcation value res, the demarcation line Ld in the horizontal flow distribution diagram moves up by one pixel.

ステップ７３５にてＣＰＵは、変数ｉが分界上端値Ｄｍａｘよりも大きいか否かを判定する。変数ｉが分界上端値Ｄｍａｘ以下であれば、ＣＰＵは、ステップ７３５にて「Ｎｏ」と判定してステップ７２５に進む。   In step 735, the CPU determines whether the variable i is larger than the demarcation upper limit value Dmax. If the variable i is less than or equal to the demarcation upper limit value Dmax, the CPU makes a “No” determination at step 735 to proceed to step 725.

一方、変数ｉが分界上端値Ｄｍａｘよりも大きければ、ＣＰＵは、ステップ７３５にて「Ｙｅｓ」と判定してステップ７４０に進む。ステップ７４０にてＣＰＵは、合計評価値ＶＳが最小となる変数ｉを選択し、その変数ｉを分界閾値Ｄｔｈとして設定する。   On the other hand, if the variable i is larger than the demarcation upper limit value Dmax, the CPU makes a “Yes” determination at step 735 to proceed to step 740. In step 740, the CPU selects the variable i that minimizes the total evaluation value VS and sets the variable i as the demarcation threshold Dth.

次いで、ＣＰＵは、ステップ７４５に進み、接近物体を抽出する。具体的には、ＣＰＵは、水平フロー分布図において、分界閾値Ｄｔｈに対応する分界線Ｌｄよりも上にあり且つ無限遠点ＦＯＥよりも左にある点のフローベクトルに対応する被写体、及び、分界線Ｌｄよりも下にあり且つ無限遠点ＦＯＥよりも右にある点のフローベクトルに対応する被写体を接近物体をとして検出する。   Next, the CPU proceeds to step 745 to extract the approaching object. Specifically, the CPU, in the horizontal flow distribution diagram, the subject corresponding to the flow vector of the point above the demarcation line Ld corresponding to the demarcation threshold Dth and to the left of the infinite point FOE, and the min. The object corresponding to the flow vector of the point below the field line Ld and to the right of the infinite point FOE is detected as an approaching object.

次いで、ＣＰＵは、ステップ７５０に進み、接近物体が検出されたか否かを判定する。接近物体として検出された被写体が存在していれば、ＣＰＵは、ステップ７５０にて「Ｙｅｓ」と判定してステップ７５５に進み、車両１０の運転者に対して接近物体の存在を警告する。より具体的に述べると、ＣＰＵは、カメラ２０によって撮影され表示装置４１に表示された画像において、接近物体として抽出された被写体が表示されている箇所の色彩をその他の箇所と異なる色（本例において、赤色）に変更する。加えて、ＣＰＵは、表示装置４１が備えるスピーカーに警告音を発生させる。その後、ＣＰＵは、ステップ７９５に進み、本ルーチンを一旦終了する。   Next, the CPU proceeds to step 750 to determine whether or not an approaching object has been detected. If the subject detected as the approaching object is present, the CPU makes a “Yes” determination at step 750 to proceed to step 755 to warn the driver of the vehicle 10 of the presence of the approaching object. More specifically, the CPU causes the color of the portion where the subject extracted as the approaching object is displayed to be a color different from other portions (in this example, in the image captured by the camera 20 and displayed on the display device 41). In, change to red). In addition, the CPU causes the speaker included in the display device 41 to generate a warning sound. After that, the CPU proceeds to step 795 to end the present routine tentatively.

一方、接近物体が検出されていなければ、ＣＰＵは、ステップ７５０にて「Ｎｏ」と判定してステップ７９５に直接進む。   On the other hand, if no approaching object is detected, the CPU makes a “No” determination at step 750 to directly proceed to step 795.

本検出装置によれば、車速センサ及び角速度センサを必要とせず、車両１０が旋回している場合であっても、分界閾値Ｄｔｈに基づく簡易な演算により車両１０に接近する物体を比較的高い精度にて検出することができる。   According to the present detection device, a vehicle speed sensor and an angular velocity sensor are not required, and even when the vehicle 10 is turning, a simple calculation based on the demarcation threshold Dth can be used to relatively accurately detect an object approaching the vehicle 10. Can be detected at.

以上、本発明に係る車両の接近物体検出装置の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態に係る車両１０は１台の撮像装置（カメラ２０）を搭載していた。車両１０は左側方画像を撮影する撮像装置、及び、右側方画像を撮影する撮像装置（即ち、複数の撮像装置）を搭載していても良い。   Although the embodiment of the approaching object detection device for a vehicle according to the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the object of the present invention. .. For example, the vehicle 10 according to the present embodiment is equipped with one imaging device (camera 20). The vehicle 10 may be equipped with an imaging device that captures a left-side image and an imaging device that captures a right-side image (that is, a plurality of imaging devices).

加えて、本実施形態に係るＥＣＵ３０は、図７のステップ７１０にて、所謂、ブロックマッチング法によりオプティカルフローベクトルを取得していた。ＥＣＵ３０は、他の方法（例えば、勾配法）によりオプティカルフローベクトルを取得しても良い。   In addition, the ECU 30 according to the present embodiment acquires the optical flow vector by the so-called block matching method in step 710 of FIG. 7. The ECU 30 may acquire the optical flow vector by another method (for example, the gradient method).

加えて、本実施形態に係るＥＣＵ３０は、第１画像と、第１画像の撮影時期よりも撮影周期Δｔだけ後に撮影された第２画像と、に基づいてフローベクトルを取得していた。しかし、ＥＣＵ３０は、第１画像と、第１画像の撮影時期よりも「撮影周期Δｔ×ｎ（ｎは２以上の整数）」だけ後に撮影された第２画像と、に基づいてフローベクトルを取得しても良い。更に、第２画像は、最新の画像でなくても良い。   In addition, the ECU 30 according to the present embodiment acquires the flow vector based on the first image and the second image captured after the capturing period Δt of the capturing timing of the first image. However, the ECU 30 obtains the flow vector based on the first image and the second image captured “imaging period Δt × n (n is an integer of 2 or more)” after the capturing time of the first image. You may. Furthermore, the second image does not have to be the latest image.

１０…車両、２０…カメラ、４１…表示装置、５１…他車両、５２…他車両。


10 ... Vehicle, 20 ... Camera, 41 ... Display device, 51 ... Other vehicle, 52 ... Other vehicle.

Claims (1)

車両の車体に固定され且つ前記車両に接近する物体を含む画像を撮影する撮像装置と、
前記撮像装置により第１時点にて取得された第１画像と、前記撮像装置により前記第１時点よりも所定時間後の第２時点にて取得された第２画像と、に基づいて、前記第１画像の画像平面上の無限遠点よりも左側に撮影された任意の被写体の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表す複数の左側オプティカルフローベクトルと、前記第１画像の前記無限遠点よりも右側に撮影された任意の被写体の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表す右側オプティカルフローベクトルと、を取得するベクトル取得部と、
ベクトルの水平方向成分の大きさが零であれば零となり、ベクトルが右方向の水平方向成分を有しているとき正の値となり、ベクトルが左方向の水平方向成分を有しているとき負の値となり、ベクトルが有する水平方向成分の大きさが大きいほど大きな値となる水平方向成分値を、前記左側オプティカルフローベクトル及び前記右側オプティカルフローベクトルのそれぞれに対して取得する水平方向成分値取得部と、
前記水平方向成分値が特定値よりも大きい前記左側オプティカルフローベクトルの数である左側評価値と、前記水平方向成分値が前記特定値よりも小さい前記右側オプティカルフローベクトルの数である右側評価値と、を任意の特定値に対して取得したとき、前記左側評価値と前記右側評価値との和である合計評価値が最小となる前記特定値を分界閾値として取得する分界閾値取得部と、
前記水平方向成分値が前記分界閾値よりも大きい前記左側オプティカルフローベクトルに対応する被写体、及び、前記水平方向成分値が前記分界閾値よりも小さい前記右側オプティカルフローベクトルに対応する被写体を接近物体として検出する接近物体検出部と、
を備えた、車両の接近物体検出装置。



An imaging device that captures an image including an object that is fixed to the vehicle body of the vehicle and approaches the vehicle,
Based on a first image acquired by the imaging device at a first time point and a second image acquired by the imaging device at a second time point after a predetermined time from the first time point, the second image A plurality of left sides representing the starting point at the first time point, the moving amount and the moving direction from the first time point to the second time point of an arbitrary object photographed on the left side of the infinite point on the image plane of one image. The optical flow vector and the starting point at the first time point, the moving amount and the moving direction from the first time point to the second time point of an arbitrary object photographed on the right side of the point at infinity of the first image are shown. A right side optical flow vector that represents, and a vector acquisition unit that acquires
Zero if the magnitude of the horizontal component of the vector is zero, positive value if the vector has a horizontal component to the right, negative if the vector has a horizontal component to the left. And a horizontal component value acquisition unit that acquires a horizontal component value that becomes larger as the magnitude of the horizontal component of the vector is larger for each of the left optical flow vector and the right optical flow vector. When,
A left evaluation value that is the number of the left optical flow vectors whose horizontal component value is larger than a specific value, and a right evaluation value that is the number of the right optical flow vectors whose horizontal component value is smaller than the specific value. , When obtained for any specific value, a demarcation threshold acquisition unit that acquires as a demarcation threshold the specific value that is the minimum total evaluation value that is the sum of the left evaluation value and the right evaluation value,
A subject corresponding to the left optical flow vector whose horizontal component value is larger than the demarcation threshold and a subject corresponding to the right optical flow vector whose horizontal component value is smaller than the demarcation threshold are detected as approaching objects. An approaching object detection unit that
An approaching object detection device for a vehicle, comprising:

Images