JPH1142989A - Vehicular rear and side monitor - Google Patents
Vehicular rear and side monitorInfo
- Publication number
- JPH1142989A JPH1142989A JP9200049A JP20004997A JPH1142989A JP H1142989 A JPH1142989 A JP H1142989A JP 9200049 A JP9200049 A JP 9200049A JP 20004997 A JP20004997 A JP 20004997A JP H1142989 A JPH1142989 A JP H1142989A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- risk
- indicator
- image
- adjacent lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、自動車などの車両
に設置したビデオカメラによって後方及び側方を撮像し
た画像を用いて、車両の走行の際に後方および側方より
接近する車両を検知し運転者に警告を与えるための車両
用後側方監視装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention detects a vehicle approaching from the rear and side when the vehicle is running, using images captured by the video camera installed on the vehicle such as an automobile. The present invention relates to a vehicle rear side monitoring device for giving a warning to a driver.
【０００２】[0002]
【従来の技術】片側２車線以上の道路を車両が走行中に
車線変更する際、変更しようとする隣接車線を、自車よ
り速い速度で走行中の車両を見落した場合、大事故につ
ながる危険性が大である。また、自車と同じ車線を走行
中の後続車両がある場合、急接近してきた場合などに急
ブレーキをかけると追突される危険性があるため、近接
車両を認識しておく必要がある。2. Description of the Related Art When a vehicle changes lanes on a road having two or more lanes on one side, if a vehicle running at a faster speed than the own vehicle is overlooked on an adjacent lane to be changed, a large accident may occur. The danger is great. In addition, when there is a following vehicle traveling in the same lane as the own vehicle, if a sudden brake is applied when approaching suddenly, there is a risk of a collision, and it is necessary to recognize a nearby vehicle.
【０００３】隣接車線を走行中の車両および後続車両を
認識させる従来例としては特開平１−１８９２８９号公
報（車両情報表示装置）が提案されている。この特開平
１−１８９２８９号公報には、車両の後方及び側方をカ
メラによって撮影し、撮影された画像をモニタに表示さ
せることによって、隣接車線を走行中の車両および後続
車両を認識させるようにしている。As a conventional example for recognizing a vehicle traveling in an adjacent lane and a following vehicle, Japanese Patent Application Laid-Open No. 1-189289 (vehicle information display device) has been proposed. Japanese Patent Application Laid-Open No. Hei 1-189289 discloses a technique in which a rear side and a side of a vehicle are photographed by a camera, and the photographed images are displayed on a monitor so that a vehicle traveling in an adjacent lane and a following vehicle can be recognized. ing.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、撮影さ
れた画像をモニタに表示させることによって、隣接車線
を走行中の車両および後続車両を認識させる方法では、
運転者は運転中に度々モニタを見る動作が要求されるこ
とになるため、安全な走行を行う上で好ましくない問題
があった。However, in the method of recognizing a vehicle traveling in an adjacent lane and a following vehicle by displaying a photographed image on a monitor,
The driver is often required to look at the monitor while driving, which is not desirable for safe driving.
【０００５】本発明は以上の点を考慮してなされたもの
で、隣接車線を走行中の車両および後続車両が自車に対
して急接近してきたことを容易かつ的確に認識させ得る
車両用後側方監視装置を提案しようとするものである。SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and is intended to easily and accurately recognize that a vehicle traveling in an adjacent lane and a following vehicle have suddenly approached the own vehicle. It is intended to propose a side monitoring device.
【０００６】[0006]
【課題を解決するための手段】かかる課題を解決するた
め本発明により成された車両用後側方監視装置は、図１
及び図２に示すように、走行している自車両から後側景
を撮像する撮像手段（２）を有し、当該撮像手段（２）
により撮像した画像に基づいて自車両に対して後方又は
隣接車線から接近する車両を検出して運転者（９）にこ
のことを認識させる車両用後側方監視装置において、撮
像手段（１）により得られた画像信号（Ｓ１）を用いて
自車両に対して前記後方又は隣接車線から接近してくる
車両を検出し、当該接近の度合いに応じてその危険度及
び当該危険度の大きい方向を判断する危険度判断手段
（３，４）と、右側のドアミラー（６）の近傍に設けら
れ、危険度判断手段（３，４）により右側隣接車線の危
険度が大きいことを示す判断結果が得られたときに警告
表示を行う第１のインジケータ（５Ａ）と、左側のドア
ミラー（８）の近傍に設けられ、危険度判断手段（３，
４）により左側隣接車線の危険度が大きいことを示す判
断結果が得られたときに警告表示を行う第２のインジケ
ータ（５Ｃ）と、バックミラー（７）の近傍に設けら
れ、危険度判断手段（３，４）により後方の危険度が大
きいことを示す判断結果が得られたときに警告表示を行
う第３のインジケータ（５Ｂ）とを備えるようにする。SUMMARY OF THE INVENTION In order to solve such a problem, a vehicle rear side monitoring apparatus according to the present invention is shown in FIG.
As shown in FIG. 2 and FIG. 2, an image pickup means (2) for picking up an image of a rear view from a running own vehicle is provided.
In the vehicle rear side monitoring device that detects a vehicle approaching the host vehicle from the rear lane or an adjacent lane based on the image captured by the vehicle and allows the driver (9) to recognize this, the imaging means (1) Using the obtained image signal (S1), a vehicle approaching the host vehicle from the rear or adjacent lane is detected, and the danger level and the direction of the higher danger level are determined according to the approach level. Risk judgment means (3, 4) and the right door mirror (6) are provided in the vicinity thereof, and the judgment result indicating that the risk of the right adjacent lane is large is obtained by the risk judgment means (3, 4). A first indicator (5A) for displaying a warning when the vehicle is in the vicinity, and a danger determining means (3, 3) provided near the left door mirror (8).
A second indicator (5C) for displaying a warning when a judgment result indicating that the risk of the left adjacent lane is high is obtained by 4), and a risk judgment means provided near the rearview mirror (7); A third indicator (5B) for displaying a warning when a judgment result indicating that the degree of danger behind is large according to (3, 4) is obtained.
【０００７】以上の構成において、例えば運転者が右側
隣接車線に車線変更しようとして、右側ドアミラー
（６）を見ると視界内に第１のインジケータ（５Ａ）が
入ることにより、右側ドアミラー（６）による右側隣接
車線の確認と第１のインジケータ（５Ａ）の確認を同時
に行うことができるようになる。この結果、運転中にわ
ざわざインジケータを確認するといった動作を省略でき
るため、安全運転が可能となる。また第１、第２又は第
３のインジケータ（５Ａ，５Ｃ又は５Ｂ）が警告表示を
行うと、運転者の視線はそのインジケータの方に向く。
このときその視界内にはドアミラー（６，８）又はバッ
クミラー（７）が入るので、運転者の注意を急接近して
くる車両が移っているミラーの方向に自然に向けること
ができるようになる。[0007] In the above configuration, for example, when the driver tries to change lanes to the adjacent lane on the right side and looks at the right side mirror (6), the first indicator (5A) enters the field of view. The confirmation of the lane adjacent to the right side and the confirmation of the first indicator (5A) can be performed simultaneously. As a result, it is possible to omit the operation of checking the indicator during driving, and thus it is possible to perform safe driving. When the first, second, or third indicator (5A, 5C, or 5B) displays a warning, the driver's line of sight turns toward the indicator.
At this time, since the door mirrors (6, 8) or the rearview mirror (7) are in the field of view, the driver's attention can be naturally directed to the direction of the mirror to which the approaching vehicle is moving. Become.
【０００８】[0008]
【発明の実施の形態】以下、図面に基づき本発明の一実
施形態を説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.
【０００９】（１）構成 図１において、１は全体として実施の形態による車両用
後側方監視装置を示す。車両用後側方監視装置１は、例
えば車両の後方を向くようにリアウインドウ近傍に配置
されたビデオカメラ２により得られた画像信号Ｓ１を画
像処理部３に送出する。(1) Configuration In FIG. 1, reference numeral 1 denotes a rear side monitoring device for a vehicle according to the embodiment as a whole. The rear side monitoring device 1 for a vehicle sends an image signal S1 obtained by a video camera 2 arranged near a rear window to face the rear of the vehicle, for example, to the image processing unit 3.
【００１０】ここで画像処理部３及び危険度判定部４
は、ビデオカメラ２により得られた画像信号Ｓ１を用い
て自車両に対して後方又は隣接車線から接近してくる車
両を検出し、当該接近の度合いに応じてその危険度及び
当該危険度の大きい方向を判断する危険度判断手段とし
て設けられている。Here, the image processing unit 3 and the risk determination unit 4
Detects a vehicle approaching the host vehicle from the rear or an adjacent lane using the image signal S1 obtained by the video camera 2, and determines the degree of danger and the degree of danger according to the degree of the approach. It is provided as a risk determining means for determining the direction.
【００１１】すなわち画像処理部３は、撮像した後側景
の同一点の移動を、所定時間相前後する２コマの画像に
基づいてオプティカルフローとして求める。危険度判定
部４は、画像処理部３により求められたオプティカルフ
ローの速度ベクトルに基づいて、自車に対して急接近し
てくる車両の方向及びその危険度を求める。なお画像処
理部３及び危険度判定部４の処理の詳細については後述
する。That is, the image processing section 3 obtains the movement of the same point in the rear side scene as an optical flow based on two frames which are before and after a predetermined time. The risk determining unit 4 determines the direction of the vehicle that is approaching the vehicle and the risk thereof based on the speed vector of the optical flow obtained by the image processing unit 3. The details of the processing of the image processing unit 3 and the risk determination unit 4 will be described later.
【００１２】危険度判定部４は危険度が大きいと判定し
た方向に対応するインジケータ５Ａ，５Ｂ及び５Ｃに表
示制御信号Ｓ２Ａ、Ｓ２Ｂ及びＳ２Ｃを送出することに
より、危険度が大きい方向に対応するインジケータ５
Ａ，５Ｂ及び５Ｃを点灯させる。The danger determining unit 4 sends display control signals S2A, S2B and S2C to the indicators 5A, 5B and 5C corresponding to the directions in which the danger is determined to be high. 5
A, 5B and 5C are turned on.
【００１３】具体的には、右側隣接車線の危険度が大き
いことを示す判定結果が得られた場合には、右警告表示
インジケータ５Ａに表示制御信号Ｓ２Ａを送出すること
により右警告表示インジケータ５Ａを点灯させる。また
左側隣接車線の危険度が大きいことを示す判定結果が得
られた場合には、左警告表示インジケータ５Ｃに表示制
御信号Ｓ２Ｃを送出することにより左警告表示インジケ
ータ５Ｃを点灯させる。さらに後方の危険度が大きいこ
とを示す判定結果が得られた場合には、制動警告表示イ
ンジケータ５Ｂに表示制御信号Ｓ２Ｂを送出することに
より制動警告表示インジケータ５Ｂを点灯させる。More specifically, when a judgment result indicating that the degree of risk of the adjacent lane on the right side is large is obtained, a display control signal S2A is transmitted to the right warning display indicator 5A to cause the right warning display indicator 5A to be displayed. Turn on. When a determination result indicating that the degree of risk of the adjacent lane on the left side is large is obtained, the display control signal S2C is transmitted to the left warning display indicator 5C to light the left warning display indicator 5C. When a determination result indicating that the degree of danger at the rear is greater is obtained, a display control signal S2B is transmitted to the brake warning display indicator 5B to turn on the brake warning display indicator 5B.
【００１４】ここで右警告表示インジケータ５Ａ、左警
告表示インジケータ５Ｃ及び制動警告表示インジケータ
５Ｂは、図２に示すように、それぞれ右側のドアミラー
６の近傍位置、左側のドアミラー８の近傍位置及びバッ
クミラー７の近傍位置に設けられている。As shown in FIG. 2, the right warning display indicator 5A, the left warning display indicator 5C, and the braking warning display indicator 5B are located near the right door mirror 6, near the left door mirror 8, and rearview mirror, respectively. 7 is provided in the vicinity.
【００１５】この結果、運転者は右側のドアミラー６と
右警告表示インジケータ５Ａ、左側のドアミラー８と左
警告表示インジケータ５Ｃ、バックミラー７と制動警告
表示インジケータ５Ｂをそれぞれ同一視界内で見ること
ができるようになり、運転中にわざわざインジケータを
確認するといった動作を省略できるため、安全運転が可
能となる。As a result, the driver can view the right door mirror 6 and the right warning display indicator 5A, the left door mirror 8 and the left warning display indicator 5C, and the rearview mirror 7 and the brake warning display indicator 5B in the same field of view. As a result, the operation of checking the indicator during driving can be omitted, so that safe driving can be performed.
【００１６】（２）危険度の算出 次に危険度判断手段としての画像処理部３及び危険度判
定部４による危険度の判定処理について詳述する。図３
（ａ）は、ビデオカメラ２によって得られる後側景画像
の変化を説明するための図であり、（ｂ）は（ａ）に示
す自車両を含む状況においてビデオカメラ２が時間ｔで
撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した画像を
それぞれ示す。(2) Calculation of Risk Level Next, the risk determination processing by the image processing unit 3 and the risk determination unit 4 as the risk determination unit will be described in detail. FIG.
(A) is a figure for explaining a change of the back side view picture obtained by video camera 2, and (b) is an image which video camera 2 imaged at time t in a situation including own vehicle shown in (a). (C) shows an image captured at time t + Δt.
【００１７】今、自車両は平坦な道を直進しているとす
ると、例えば後方に見える（ａ）に示される道路標識及
び建物に注目すると、ビデオカメラ２からは、時間の経
過により時間ｔ、時間ｔ＋Δｔにおいて、（ｂ）、
（ｃ）に示されるような画像が得られる。この２枚の画
像において対応する点を捜しそれらを結ぶと（ｄ）に示
されるような速度ベクトルが得られる。これがオプティ
カルフローである。また、後続車両が接近する場合は図
３（ｄ）で示すオプティカルフローの速度ベクトルの方
向は逆になる。Now, assuming that the vehicle is traveling straight on a flat road, for example, focusing on a road sign and a building shown in FIG. At time t + Δt, (b),
An image as shown in (c) is obtained. By searching for corresponding points in these two images and connecting them, a velocity vector as shown in (d) is obtained. This is the optical flow. When the following vehicle approaches, the direction of the velocity vector of the optical flow shown in FIG. 3D is reversed.
【００１８】ここでこれらオプティカルフローは、画像
内のＦＯＥ（Focus of Expansion）とよばれる１点から
放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向の正反対方向を示す１点に対応する。このよう
に、自車両が走行している場合に求められるオプティカ
ルフローは、ＦＯＥから放射状の方向である。ここで後
続または隣接車線を走行中の車両から発せられたオプテ
ィカルフローは、自車両に対する後続または隣接車両の
位置、相対速度からなる情報を含んでおり、オプティカ
ルフローが長く、かつその方向がＦＯＥより発散する場
合は危険度が高いと考えられる。Here, these optical flows appear radially from one point called an FOE (Focus of Expansion) in the image. The FOE is called an infinity point or a vanishing point, and corresponds to one point indicating a direction directly opposite to a traveling direction of the own vehicle on an image when the vehicle is traveling straight. As described above, the optical flow required when the host vehicle is traveling is in a radial direction from the FOE. Here, the optical flow emitted from a vehicle traveling in the following or adjacent lane includes information including the position and the relative speed of the following or adjacent vehicle with respect to the own vehicle, the optical flow is long, and the direction is longer than that of the FOE. If diverging, the risk is considered to be high.
【００１９】次に、その詳細を図４を参照して説明す
る。同図の光学的配置おいて、２Ａはビデオカメラ２の
レンズ、２Ｂはビデオカメラのイメージプレーン、ｆは
レンズ２Ａからイメージプレーン２Ｂまでの距離、Ｐ
（Ｘ，Ｙ，Ｚ）は後続車両上の任意の１点、ｐ（ｘ，
ｙ）はイメージプレーン２Ｂ上の点Ｐに対応する点とす
ると、３角形の相似の比から ｘ＝ｆ・Ｘ／Ｚ ……（２） となる。Next, the details will be described with reference to FIG. In the optical arrangement shown in the figure, 2A is the lens of the video camera 2, 2B is the image plane of the video camera, f is the distance from the lens 2A to the image plane 2B, P
(X, Y, Z) is an arbitrary point on the following vehicle, p (x,
Assuming that y) is a point corresponding to the point P on the image plane 2B, x = f × X / Z (2) from the similarity ratio of the triangle.
【００２０】この式を変形して、時間微分すると、 Ｘ’＝（Δｘ／Δｔ・Ｚ＋ｘ・Ｚ’）／ｆ ……（３） となる。また、オプティカルフローのｘ方向成分ｕとは ｕ＝Δｘ／Δｔ ……（４） であるので、これを用いて Ｚ＝（ｆ・Ｘ’−ｘ・Ｚ’）／ｕ ……（５） となる。By transforming this equation and differentiating it over time, X '= (Δx / Δt · Z + x · Z ′) / f (3) Further, since the x-direction component u of the optical flow is u = Δx / Δt (4), using this, Z = (fX′−xZ ′) / u (5) Become.
【００２１】ここで Ｚ’＝後続車両ないし隣接車線を走行中の車両と自車両との相対速度＝−α ……（６） であるから上式（５）は Ｚ＝（ｆ・Ｘ’＋ｘα）／ｕ ……（７） となる。よってオプティカルフローのｘ方向成分ｕは ｕ＝（ｆ・Ｘ’＋ｘα）／Ｚ ……（８） となる。Ｙについても同様に求まる。Here, Z '= the relative speed between the vehicle running in the following vehicle or the adjacent lane and the own vehicle = -α (6). Thus, the above equation (5) gives Z = (f.X' + xα). ) / U (7) Therefore, the x-direction component u of the optical flow is as follows: u = (f · X ′ + xα) / Z (8) The same applies to Y.
【００２２】よって上式（８）より、Ｚが小、すなわち
後続車両又は隣接車線を走行中の車両までの距離が小で
ある程、又はαが大、すなわち相対速度が大である程、
オプティカルフローのｘ成分は大きくなる。これはＹ方
向についても同様である。従って、オプティカルフロー
は後続車両などとの距離が小な程、更に相対速度が大な
程長くなり、これよりオプティカルフローの方向がＦＯ
Ｅに対して発散し、その長さが短いときより長いときの
方が相対的に後続車両又は隣接車両に対する危険度が大
きいと考えられる。Therefore, from the above equation (8), as Z becomes smaller, that is, as the distance to the following vehicle or a vehicle running in the adjacent lane becomes smaller, or as α becomes larger, that is, as the relative speed becomes larger,
The x component of the optical flow increases. This is the same for the Y direction. Accordingly, the optical flow becomes longer as the distance to the following vehicle or the like becomes smaller and further as the relative speed becomes larger, and the direction of the optical flow becomes FO.
It is considered that the risk for the following vehicle or the adjacent vehicle is relatively greater when the light diverges from E and the length is longer than when the length is shorter.
【００２３】この実施形態では、オプティカルフローが
ＦＯＥから放射状の向きに求められるということを利用
し、高速にオプティカルフローを求めるようにしてお
り、その方法を図５に基づいて以下説明する。In the present embodiment, the fact that the optical flow is obtained in a radial direction from the FOE is used to obtain the optical flow at a high speed. The method will be described below with reference to FIG.
【００２４】図５は、高速にオプティカル・フローを求
める方法の一例を示した図である。まず、始めに時間ｔ
での画像において着目する一点に対しＦＯＥから放射状
の方向に窓を設定する（図５（ａ））。次に、時間ｔ＋
Δｔでの画像において、窓をＦＯＥから放射状の方向に
一点ずつ移動しながら、時間ｔでの窓との輝度差の絶対
値の総和を求める。そして総和が最小になったときの窓
の移動量が、着目する一点の速度ベクトルとして求めら
れる（図５（ｂ））。なお、上記輝度差は、窓を構成す
る各画素について、例えば（ａ）及び（ｂ）に●で示す
対応する位置の画素間のものである。FIG. 5 is a diagram showing an example of a method for obtaining an optical flow at high speed. First, time t
A window is set in a radial direction from the FOE with respect to one point of interest in the image at (5) (FIG. 5A). Next, at time t +
In the image at Δt, the window is moved one point at a time in the radial direction from the FOE, and the sum of the absolute values of the luminance differences from the window at time t is obtained. Then, the moving amount of the window when the sum is minimized is obtained as a speed vector of a point of interest (FIG. 5B). The luminance difference is, for each pixel constituting the window, for example, between pixels at corresponding positions indicated by ● in (a) and (b).
【００２５】以上のような処理を時間ｔの画像の全ての
点において繰り返し行うことにより、画像全体のオプテ
ィカルフローを求めることができる。また、窓内の画素
を走査して、着目する点を抽出し、抽出された点を結ん
でオプティカルフローを求めるようにしても良い。By repeating the above processing at all points of the image at time t, the optical flow of the entire image can be obtained. Alternatively, a pixel in the window may be scanned to extract a point of interest, and the extracted points may be connected to obtain an optical flow.
【００２６】次に、危険度を求める方法について説明す
る。オプティカルフローの方向がＦＯＥに向う方向なら
ば後続車両の速度が自車両の速度より遅く、自車両から
離れていくことを示しており、反対にオプティカルフロ
ーの方向がＦＯＥに対して発散する方向である場合は自
車両に接近していることを示している。Next, a method for obtaining the degree of risk will be described. If the direction of the optical flow is the direction toward the FOE, it indicates that the speed of the following vehicle is lower than the speed of the own vehicle and is away from the own vehicle, and conversely, the direction of the optical flow is diverging with respect to the FOE. In some cases, it indicates that the vehicle is approaching.
【００２７】また、設定した領域内で撮影された風景や
路面上のマーク等によって生ずるオプティカルフローの
方向は全てＦＯＥに向う方向となり、接近する後続車両
と容易に区別できる。したがって、例えば、オプティカ
ルフローの方向がＦＯＥから発散するものに対して、そ
の長さに重み付けをし、重み付けをした値が或るしきい
値を越えたら危険と判断される。また、しきい値を数レ
ベル設定しておき、危険度のレベルを判断することもで
きる。The direction of the optical flow caused by the scenery photographed in the set area, the mark on the road surface, or the like is all the direction toward the FOE, and can be easily distinguished from the approaching following vehicle. Therefore, for example, the length of the optical flow diverging from the FOE is weighted, and if the weighted value exceeds a certain threshold value, it is determined to be dangerous. In addition, several levels of thresholds can be set, and the level of risk can be determined.
【００２８】因みに、この実施形態の車両用後側方監視
装置１では、危険度を自車の後方、右隣接車線及び左隣
接車線で判定するため、画像処理部３においてこれら３
つの領域それぞれについてオプティカルフローを作成
し、危険度判定部４においてこれらのオプティカルフロ
ーを用いて３つの領域の危険度をそれぞれ判定するよう
になされている。In the vehicle rear side monitoring device 1 of this embodiment, the image processing unit 3 determines the degree of danger in the rear lane, right adjacent lane and left adjacent lane of the vehicle.
An optical flow is created for each of the three regions, and the risk determination unit 4 determines the risk of each of the three regions using these optical flows.
【００２９】ここで画像処理部３及び危険度判定部４に
よる危険度判定処理の手順を要約して示すと、図６のよ
うになる。まず、ステップＳＰ１において画像処理部３
がビデオカメラ２から時間ｔでの画像を取り込み、次に
ステップＳＰ２において時間ｔ＋Δｔでの画像を取り込
む。その後ステップＳＰ３においてＦＯＥの設定を行
う。その後ステップＳＰ４に進んで設定した領域内でＦ
ＯＥから発散する方向のオプティカルフローのみを求
め、次のステップＳＰ５において危険度判定部４が重み
付けした値によって危険度を計算する。FIG. 6 summarizes the procedure of the risk determination process by the image processing unit 3 and the risk determination unit 4. First, in step SP1, the image processing unit 3
Captures the image at time t from the video camera 2, and then captures the image at time t + Δt in step SP2. After that, the FOE is set in step SP3. Then, the process proceeds to step SP4, where F is set in the set area.
Only the optical flow in the direction diverging from the OE is obtained, and in the next step SP5, the risk degree is calculated by the risk degree determination unit 4 using the weighted value.
【００３０】（３）動作 以上の構成において、車両用後側方監視装置１は、図７
に示すような後側方監視処理手順を実行することによ
り、危険度に応じて各インジケータ５Ａ〜５Ｃを点灯さ
せる。(3) Operation In the above configuration, the rear side monitoring device 1 for a vehicle is configured as shown in FIG.
The indicators 5A to 5C are turned on according to the degree of danger by executing the rear side monitoring process procedure as shown in FIG.
【００３１】すなわちステップＳＰ１０で処理を開始す
ると、先ず画像処理部３及び危険度判定部４によって、
ステップＳＰ１１でオプティカルフローを作成し、当該
オプティカルフローのベクトルに基づいて危険度を求め
た後、ステップＳＰ１２で閾値判定を行うことにより危
険な状態であるか否か（すなわち急接近してくる車両が
あるか否か）を判断する。そしてステップＳＰ１２で危
険な状態でないと判断した場合にはステップＳＰ１１に
戻り、危険な状態であると判断した場合にはステップＳ
Ｐ１３に移る。That is, when the process is started in step SP10, first, the image processing unit 3 and the risk determination unit 4
An optical flow is created in step SP11, a risk is determined based on the vector of the optical flow, and a threshold determination is performed in step SP12 to determine whether or not the vehicle is in a dangerous state (that is, if the vehicle approaching rapidly approaches Is determined). If it is determined in step SP12 that the state is not dangerous, the process returns to step SP11. If it is determined that the state is dangerous, step S11 is performed.
Move to P13.
【００３２】ステップＳＰ１３では、ステップＳＰ１２
において危険な状態であるとされた方向を判断し、その
方向が右側隣接車線の方向であった場合にはステップＳ
Ｐ１４に移り、後方であった場合にはステップＳＰ１５
に移り、左側隣接車線の方向であった場合にはステップ
ＳＰ１６に移る。In step SP13, step SP12
Is determined to be a dangerous state, and if the direction is the direction of the adjacent lane on the right side, the flow proceeds to step S
Moves to P14, and if it is backward, step SP15
If it is the direction of the left adjacent lane, the process proceeds to step SP16.
【００３３】ステップＳＰ１４では、危険度判定部４が
右警告表示インジケータ５Ａに表示制御信号Ｓ２Ａを送
出することにより右警告表示インジケータ５Ａを点灯さ
せ、運転者に右側隣接車線から急接近してくる車両があ
ることを認識させる。またステップＳＰ１５では、危険
度判定部４が制動警告表示インジケータ５Ｂに表示制御
信号Ｓ２Ｂを送出することにより制動警告表示インジケ
ータ５Ｂを点灯させ、運転者に後方から急接近してくる
車両があることを認識させる。またステップＳＰ１６で
は、危険度判定部４が左警告表示インジケータ５Ｃに表
示制御信号Ｓ２Ｃを送出することにより左警告表示イン
ジケータ５Ｃを点灯させ、運転者に左側隣接車線から急
接近してくる車両があることを認識させる。そしてステ
ップＳＰ１４、ＳＰ１５又はＳＰ１６の処理の後、ステ
ップＳＰ１１に戻る。In step SP14, the danger determining unit 4 sends the display control signal S2A to the right warning display indicator 5A to turn on the right warning display indicator 5A, and the vehicle that approaches the driver from the right adjacent lane. Recognize that there is. In step SP15, the danger determining unit 4 sends the display control signal S2B to the braking warning display indicator 5B to turn on the braking warning display indicator 5B, thereby confirming that there is a vehicle approaching the driver from behind. Make them recognize. In step SP16, the danger determining unit 4 turns on the left warning display indicator 5C by transmitting the display control signal S2C to the left warning display indicator 5C, and there is a vehicle that the driver suddenly approaches from the left adjacent lane. Recognize that. Then, after the processing in step SP14, SP15 or SP16, the process returns to step SP11.
【００３４】（４）効果 以上の構成によれば、右警告表示インジケータ５Ａ、左
警告表示インジケータ５Ｃ、制動警告表示インジケータ
５Ｂをそれぞれ、運転者が右側のドアミラー６、左側の
ドアミラー８、バックミラー７と同一視界内で見ること
ができるような位置に設けるようにしたことにより、隣
接車線を走行中の車両および後続車両が自車に対して急
接近してきたことを容易かつ的確に認識させ得る車両用
後側方監視方装置１を実現できる。(4) Effect According to the above configuration, the driver displays the right warning display indicator 5A, the left warning display indicator 5C, and the braking warning display indicator 5B by the driver, respectively. A vehicle that can easily and accurately recognize that a vehicle traveling in an adjacent lane and a following vehicle have suddenly approached the own vehicle by providing the vehicle in a position where the vehicle can be seen in the same field of view. The rear side monitoring method device 1 can be realized.
【００３５】（５）他の実施形態 なお上述の実施形態においては、図２に示すように、右
警告表示インジケータ５Ａ及び左警告表示インジケータ
５Ｃをフロントピラーに設けると共に、制動警告表示イ
ンジケータ５Ｂを天井に設けるようにした場合について
述べたが、本発明はこれに限らず、右警告表示インジケ
ータ５Ａ、左警告表示インジケータ５Ｃ及び制動警告表
示インジケータ５Ｂをそれぞれ各ミラー５Ａ、５Ｃ、５
Ｂのフレーム部分に設けるようにしてもよく、要はミラ
ーと同一の視界に入るように各ミラーの近傍位置に設け
るようにすればよい。(5) Other Embodiments In the above embodiment, as shown in FIG. 2, the right warning display indicator 5A and the left warning display indicator 5C are provided on the front pillar, and the braking warning display indicator 5B is mounted on the ceiling. However, the present invention is not limited to this, and the right warning display indicator 5A, the left warning display indicator 5C, and the braking warning display indicator 5B may be provided in the respective mirrors 5A, 5C, 5C.
B may be provided in the frame portion. In short, it may be provided in the vicinity of each mirror so as to enter the same field of view as the mirror.
【００３６】また上述の実施形態においては、危険度判
断手段として画像処理部３及び危険度判定部４を設け、
所定時間相前後する２コマの画像中の同一点の移動をオ
プティカルフローとして検出し、前記後方車両又は隣接
車線を走行中の車両上の点に対して現れる画像内の無限
遠点（ＦＯＥ）から発散する方向のオプティカルフロー
のベクトルの大小によって危険度を判断するようにした
場合について述べたが、本発明はこれに限らず、要は自
車両に対する後方車両又は隣接車線を走行中の車両の相
対的位置関係に基づいて危険度を判定できるようなもの
であればどのような危険度判定処理を行ってもよい。In the above-described embodiment, the image processing unit 3 and the risk determination unit 4 are provided as risk determination means.
The movement of the same point in the two frames before and after the predetermined time is detected as an optical flow, and from the point at infinity (FOE) in the image that appears for a point on a vehicle traveling in the following vehicle or an adjacent lane. Although the case where the degree of danger is determined based on the magnitude of the optical flow vector in the diverging direction has been described, the present invention is not limited to this, and the point is that the relative position of the vehicle running in the rear lane or the adjacent lane with respect to the own vehicle is important. Any risk determination processing may be performed as long as the risk can be determined based on the target positional relationship.
【００３７】[0037]
【発明の効果】上述のように本発明によれば、走行して
いる自車両から後側景を撮像する撮像手段を有し、当該
撮像手段により撮像した画像に基づいて自車両に対して
後方又は隣接車線から接近する車両を検出して運転者に
このことを認識させる車両用後側方監視装置において、
撮像手段により得られた画像信号を用いて、自車両に対
して後方又は隣接車線から接近してくる車両を検出し、
当該接近の度合いに応じてその危険度及び当該危険度の
大きい方向を判断する危険度判断手段と、右側のドアミ
ラーの近傍に設けられ、危険度判断手段により右側隣接
車線の危険度が大きいことを示す判断結果が得られたと
きに警告表示を行う第１のインジケータと、左側のドア
ミラーの近傍に設けられ、危険度判断手段により左側隣
接車線の危険度が大きいことを示す判断結果が得られた
ときに警告表示を行う第２のインジケータと、バックミ
ラーの近傍に設けられ、危険度判断手段により後方の危
険度が大きいことを示す判断結果が得られたときに警告
表示を行う第３のインジケータとを設けるようにしたこ
とにより、隣接車線を走行中の車両および後続車両が自
車に対して急接近してきたことを容易かつ的確に認識さ
せ得る車両用後側方監視装置を実現できる。As described above, according to the present invention, there is provided an image pickup means for picking up an image of a rear side view from a running host vehicle, and a rearward view of the host vehicle based on an image picked up by the image pickup means. Or in a vehicle rear side monitoring device that detects a vehicle approaching from an adjacent lane and allows the driver to recognize this,
Using the image signal obtained by the imaging means, to detect a vehicle approaching from the rear or adjacent lane to the own vehicle,
Risk determining means for determining the risk and the direction in which the risk is greater according to the degree of approach; and a risk determining means provided near the right door mirror to determine that the risk of the adjacent lane on the right is high. A first indicator for displaying a warning when the judgment result shown is obtained, and a judgment result which is provided near the left side door mirror and indicates that the risk of the left adjacent lane is large by the risk judgment means is obtained. A second indicator for displaying a warning at a time, and a third indicator provided near the rear-view mirror and displaying a warning when the risk determining means obtains a determination result indicating that the rear risk is high. The rear side of the vehicle can easily and accurately recognize that the vehicle traveling in the adjacent lane and the following vehicle have suddenly approached the own vehicle. The monitoring device can be realized.
【図１】実施形態による車両用後側方監視装置の構成を
示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a vehicle rear side monitoring device according to an embodiment.
【図２】各インジケータの設置箇所を示す図である。FIG. 2 is a diagram showing locations where respective indicators are installed.
【図３】図１のビデオカメラが撮像する前景、画像及び
得られるオプティカルフローを示す略線図である。FIG. 3 is a schematic diagram illustrating a foreground, an image, and an obtained optical flow captured by the video camera in FIG. 1;
【図４】障害物などの検出の仕方の説明に供する略線図
である。FIG. 4 is a schematic diagram for explaining a method of detecting an obstacle or the like;
【図５】オプティカルフローの求め方の説明に供する略
線図である。FIG. 5 is a schematic diagram for explaining a method of obtaining an optical flow.
【図６】危険度を求める際の処理手順を示すフローチャ
ートである。FIG. 6 is a flowchart illustrating a processing procedure for determining a degree of risk.
【図７】実施形態による車両用後側方監視装置の動作の
説明に供するフローチャートである。FIG. 7 is a flowchart for explaining the operation of the vehicle rear side monitoring device according to the embodiment;
２ ビデオカメラ（撮像手段） ３ 画像処理部（危険度判断手段） ４ 危険度判定部（危険度判断手段） ５Ａ 右警告表示インジケータ（第１のインジケ
ータ） ５Ｂ 制動警告表示インジケータ（第３のインジ
ケータ） ５Ｃ 左警告表示インジケータ（第２のインジケ
ータ）2 video camera (imaging means) 3 image processing section (risk determining means) 4 risk determining section (risk determining means) 5A right warning display indicator (first indicator) 5B braking warning display indicator (third indicator) 5C Left warning display indicator (second indicator)
Claims (1)
る撮像手段を有し、当該撮像手段により撮像した画像に
基づいて自車両に対して後方又は隣接車線から接近する
車両を検出して運転者にこのことを認識させる車両用後
側方監視装置において、 前記撮像手段により得られた画像信号を用いて、自車両
に対して前記後方又は隣接車線から接近してくる車両を
検出し、当該接近の度合いに応じてその危険度及び当該
危険度の大きい方向を判断する危険度判断手段と、 右側のドアミラーの近傍に設けられ、前記危険度判断手
段により右側隣接車線の危険度が大きいことを示す判断
結果が得られたときに警告表示を行う第１のインジケー
タと、 左側のドアミラーの近傍に設けられ、前記危険度判断手
段により左側隣接車線の危険度が大きいことを示す判断
結果が得られたときに警告表示を行う第２のインジケー
タと、 バックミラーの近傍に設けられ、前記危険度判断手段に
より後方の危険度が大きいことを示す判断結果が得られ
たときに警告表示を行う第３のインジケータとを具える
ことを特徴とする車両用後側方監視装置。1. An image pickup means for picking up an image of a rear view from a running own vehicle, and detecting a vehicle approaching the own vehicle from a rear or adjacent lane based on an image picked up by the image pickup means. In the vehicle rear side monitoring device that allows the driver to recognize this, using the image signal obtained by the imaging means, to detect a vehicle approaching from the rear or adjacent lane to the own vehicle Danger determining means for determining the degree of danger and the direction in which the degree of danger is large according to the degree of approach; provided near the right side door mirror; A first indicator for displaying a warning when a judgment result is obtained, and a first indicator provided in the vicinity of the left side door mirror, wherein the risk judgment means determines that the risk of the left adjacent lane is large. A second indicator for displaying a warning when the judgment result shown is obtained, and a second indicator provided near the rear-view mirror, when the judgment result indicating that the rear risk is large is obtained by the risk judgment means. A rear side monitoring device for a vehicle, comprising: a third indicator for displaying a warning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20004997A JP3464368B2 (en) | 1997-07-25 | 1997-07-25 | Rear side monitoring device for vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20004997A JP3464368B2 (en) | 1997-07-25 | 1997-07-25 | Rear side monitoring device for vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1142989A true JPH1142989A (en) | 1999-02-16 |
| JP3464368B2 JP3464368B2 (en) | 2003-11-10 |
Family
ID=16417987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20004997A Expired - Fee Related JP3464368B2 (en) | 1997-07-25 | 1997-07-25 | Rear side monitoring device for vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3464368B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001246996A (en) * | 2000-03-08 | 2001-09-11 | Auto Network Gijutsu Kenkyusho:Kk | Display device for obstacle detection device for vehicle |
| JP3300340B2 (en) * | 1999-09-20 | 2002-07-08 | 松下電器産業株式会社 | Driving support device |
| WO2005102792A1 (en) * | 2004-04-23 | 2005-11-03 | Chih-Yi Tsai | An anticollision system when opening a door of a vehicle |
| JP2010073134A (en) * | 2008-09-22 | 2010-04-02 | Aisin Seiki Co Ltd | Vehicle surrounding recognition support system |
| JP2013257777A (en) * | 2012-06-13 | 2013-12-26 | Toyota Motor Corp | Information providing device for vehicle |
| CN103587488A (en) * | 2013-11-19 | 2014-02-19 | 浙江吉利汽车研究院有限公司 | Safety device used for avoiding collision between car door and pedestrian |
| WO2016002203A1 (en) * | 2014-07-02 | 2016-01-07 | パナソニックＩｐマネジメント株式会社 | Electronic mirror device and electronic mirror device control program |
| KR20170070213A (en) * | 2014-11-18 | 2017-06-21 | 로베르트 보쉬 게엠베하 | Lane assistance system responsive to extremely fast approaching vehicles |
| JP2018045547A (en) * | 2016-09-16 | 2018-03-22 | 三菱電機株式会社 | Lane change support device and lane change support method |
| US10279735B2 (en) | 2015-03-25 | 2019-05-07 | Kasai Kogyo Co., Ltd. | Vehicle interior component |
| JP2020150499A (en) * | 2019-03-15 | 2020-09-17 | 本田技研工業株式会社 | Driving support device, vehicle and control device for vehicle |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07223487A (en) * | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | Situation display device for vehicle |
| JPH097099A (en) * | 1995-06-16 | 1997-01-10 | Fuji Heavy Ind Ltd | Alarm device |
| JPH0971198A (en) * | 1995-09-06 | 1997-03-18 | Mazda Motor Corp | Obstacle confirming device |
-
1997
- 1997-07-25 JP JP20004997A patent/JP3464368B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07223487A (en) * | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | Situation display device for vehicle |
| JPH097099A (en) * | 1995-06-16 | 1997-01-10 | Fuji Heavy Ind Ltd | Alarm device |
| JPH0971198A (en) * | 1995-09-06 | 1997-03-18 | Mazda Motor Corp | Obstacle confirming device |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3300340B2 (en) * | 1999-09-20 | 2002-07-08 | 松下電器産業株式会社 | Driving support device |
| US6993159B1 (en) | 1999-09-20 | 2006-01-31 | Matsushita Electric Industrial Co., Ltd. | Driving support system |
| JP2001246996A (en) * | 2000-03-08 | 2001-09-11 | Auto Network Gijutsu Kenkyusho:Kk | Display device for obstacle detection device for vehicle |
| WO2005102792A1 (en) * | 2004-04-23 | 2005-11-03 | Chih-Yi Tsai | An anticollision system when opening a door of a vehicle |
| JP2010073134A (en) * | 2008-09-22 | 2010-04-02 | Aisin Seiki Co Ltd | Vehicle surrounding recognition support system |
| JP2013257777A (en) * | 2012-06-13 | 2013-12-26 | Toyota Motor Corp | Information providing device for vehicle |
| CN103587488A (en) * | 2013-11-19 | 2014-02-19 | 浙江吉利汽车研究院有限公司 | Safety device used for avoiding collision between car door and pedestrian |
| WO2016002203A1 (en) * | 2014-07-02 | 2016-01-07 | パナソニックＩｐマネジメント株式会社 | Electronic mirror device and electronic mirror device control program |
| JPWO2016002203A1 (en) * | 2014-07-02 | 2017-04-27 | パナソニックＩｐマネジメント株式会社 | Electronic mirror device, control program for electronic mirror device |
| KR20170070213A (en) * | 2014-11-18 | 2017-06-21 | 로베르트 보쉬 게엠베하 | Lane assistance system responsive to extremely fast approaching vehicles |
| JP2017539009A (en) * | 2014-11-18 | 2017-12-28 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Lane assist system that reacts to extremely rapidly approaching vehicles |
| US10217364B2 (en) | 2014-11-18 | 2019-02-26 | Robert Bosch Gmbh | Lane assistance system responsive to extremely fast approaching vehicles |
| US10279735B2 (en) | 2015-03-25 | 2019-05-07 | Kasai Kogyo Co., Ltd. | Vehicle interior component |
| JP2018045547A (en) * | 2016-09-16 | 2018-03-22 | 三菱電機株式会社 | Lane change support device and lane change support method |
| JP2020150499A (en) * | 2019-03-15 | 2020-09-17 | 本田技研工業株式会社 | Driving support device, vehicle and control device for vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3464368B2 (en) | 2003-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3452268B2 (en) | Rear side monitoring method for vehicles | |
| US6246961B1 (en) | Collision alarm method and apparatus for vehicles | |
| KR100414708B1 (en) | Picture composing apparatus and method | |
| KR100936558B1 (en) | Perimeter monitoring apparatus and image display method for vehicle | |
| US8009868B2 (en) | Method of processing images photographed by plural cameras and apparatus for the same | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| EP1961613B1 (en) | Driving support method and driving support device | |
| JP2863381B2 (en) | Vehicle monitoring method | |
| JP6990175B2 (en) | Methods and equipment for determining obscured areas around the vehicle's perimeter of the vehicle | |
| JP3123303B2 (en) | Vehicle image processing device | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| CN104859538A (en) | Vision-based object sensing and highlighting in vehicle image display systems | |
| JP2002366937A (en) | Monitor outside vehicle | |
| JP2000128031A (en) | Drive recorder, safety drive support system, and anti- theft system | |
| JP5136071B2 (en) | Vehicle rear monitoring device and vehicle rear monitoring method | |
| JP3464368B2 (en) | Rear side monitoring device for vehicles | |
| JP2000251198A (en) | Periphery monitor device for vehicle | |
| JP2020112927A (en) | Operation support device | |
| JP3351340B2 (en) | Optical flow type backward information detection device | |
| JPH04193641A (en) | Obstacle detection device for vehicle | |
| KR102061210B1 (en) | Side front blind area display apparatus for vehicle and the method thereof | |
| JP5245471B2 (en) | Imaging apparatus, and image processing apparatus and method | |
| JPH1142988A (en) | Vehicle rear monitoring method and vehicle rear monitoring device | |
| JP2000315255A (en) | Back side direction monitoring device for vehicle and back side direction monitoring alarm device for vehicle | |
| JPH10147200A (en) | Monitoring method for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100822 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |