JP2000251199A - Rear side part monitoring device for vehicle - Google Patents
Rear side part monitoring device for vehicleInfo
- Publication number
- JP2000251199A JP2000251199A JP11052436A JP5243699A JP2000251199A JP 2000251199 A JP2000251199 A JP 2000251199A JP 11052436 A JP11052436 A JP 11052436A JP 5243699 A JP5243699 A JP 5243699A JP 2000251199 A JP2000251199 A JP 2000251199A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- optical flow
- road
- rear side
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は車両用後側方監視装
置に係り、より詳細には、自動車などの車両等に設置さ
れたビデオカメラ等の撮像手段によって車両の後側方の
道路を撮像し、撮像された道路画像を用いて走行してい
る自車両の後側方より接近してくる他車両を検知して運
転者に警報を与えるため車両の後側方を監視する車両用
後側方監視装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a rear side monitoring device for a vehicle, and more particularly, to an image of a rear side road of a vehicle by an imaging means such as a video camera installed in a vehicle such as an automobile. And a rear side for the vehicle that monitors the rear side of the vehicle to detect another vehicle approaching from the rear side of the own vehicle traveling using the captured road image and alert the driver. One is related to a monitoring device.
【０００２】[0002]
【従来の技術】従来、自車両が走行している自車線に隣
接する左右の隣接車線上の後続車を正確に認識し、車両
が進路変更を行おうとする際に、その方向の隣接車線を
後続車が走行中であれば衝突の危険性があるとしてドラ
イバーに警報を与えることにより、進路変更時における
後続車との衝突を未然に防ぐため車両の後側方の道路を
監視する後側方監視警報装置が、例えば特開平６−１０
７０９６号公報及び特開平７−５０７６９号公報などに
おいて提案されている。2. Description of the Related Art Conventionally, following vehicles on left and right adjacent lanes adjacent to the own lane in which the own vehicle is traveling are accurately recognized, and when the vehicle attempts to change course, the adjacent lane in that direction is changed. If the following vehicle is running, the driver is warned that there is a risk of collision, and the rear side of the vehicle is monitored to prevent a collision with the following vehicle when changing course. The monitoring and alerting device is disclosed in, for example,
It has been proposed in, for example, Japanese Patent No. 7096 and Japanese Patent Application Laid-Open No. 7-50769.
【０００３】上記特開平６−１０７０９６号公報及び特
開平７−５０７６９号公報にはオプティカルフローの検
出を応用したものが開示されており、その主要点を図８
及び図９を参照して説明する。The above-mentioned Japanese Patent Application Laid-Open Nos. 6-107096 and 7-50769 disclose an application to which the detection of an optical flow is applied.
This will be described with reference to FIG.
【０００４】図８は、従来装置の構成を示すブロック図
である。同図において、１０は撮像手段としての撮像部
で、例えばビデオカメラ１１を有している。また、３０
は演算処理装置としてのデータ処理部であり、４２は警
報手段としてのスピーカである。FIG. 8 is a block diagram showing a configuration of a conventional apparatus. In FIG. 1, reference numeral 10 denotes an image pickup unit as an image pickup means, which has, for example, a video camera 11. Also, 30
Is a data processing unit as an arithmetic processing unit, and 42 is a speaker as alarm means.
【０００５】撮像部１０は、車両後方の所定位置例えば
トランクの上部位置に車両後側方の道路を撮像するよう
に正面に向けて配設されている。データ処理部３０は、
動作プログラムに従って動作する中央制御装置としての
ＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め
与えられる設定値などを保持するＲＯＭ３２、ＣＰＵ３
１の演算実行時に必要なデータを一時的に保持するＲＡ
Ｍ３３を有している。スピーカ４２は、車両内部に配設
され、データ処理部３０のＣＰＵ３１からの駆動信号に
必要に応じて音声や警報音を発生することにより運転者
などに危険を知らせる。[0005] The image pickup unit 10 is arranged at a predetermined position behind the vehicle, for example, at an upper position of a trunk, so as to face the front of the vehicle so as to image a road behind the vehicle. The data processing unit 30
CPU 31 as a central control device that operates in accordance with the operation program; ROM 32 that stores the operation program of CPU 31 and preset values and the like;
RA that temporarily holds necessary data when executing the operation 1
M33. The speaker 42 is disposed inside the vehicle, and notifies a driver or the like of danger by generating a voice or an alarm sound as needed in accordance with a drive signal from the CPU 31 of the data processing unit 30.
【０００６】図９は、上述したように、自車両の後方部
に搭載された撮像部１０による撮像画像の変化を説明す
る図であり、図９（ａ）は時刻ｔにおける撮像画像、図
９（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示してい
る。そして、これらの各図において、２００は自車両の
後側方を走行する後続車両、３００は道路５００に隣接
して配設された道路標識、４００は同じく道路５００に
隣接して配設された建物である。FIG. 9 is a view for explaining a change in an image picked up by the image pickup unit 10 mounted on the rear part of the host vehicle as described above. FIG. (B) shows a captured image at time t + Δt. In each of these drawings, reference numeral 200 denotes a following vehicle traveling behind the host vehicle, 300 denotes a road sign disposed adjacent to the road 500, and 400 denotes a road sign disposed adjacent to the road 500. It is a building.
【０００７】今、自車両が平坦な道を直進しているとす
ると、時刻の経過すなわち自車両の走行に伴い、道路標
識３００や建物４００は自車両との相対距離が離れ小さ
く撮像される。図においては、図９（ａ）すなわち時刻
ｔの撮像画像における道路標識３００及び建物４００
と、図９（ｂ）すなわち時刻ｔ＋△ｔの撮像画像におけ
る道路標識３００及び建物４００に関し、図９（ｂ）の
道路標識３００及び建物４００の方が小さく撮像されて
いる。以下、これらの図を参照して、オプティカルフロ
ーについて説明する。[0007] Assuming that the own vehicle is traveling straight on a flat road, the road sign 300 and the building 400 are imaged at a small distance from the own vehicle as the time elapses, that is, as the own vehicle travels. In the figure, the road sign 300 and the building 400 in the captured image at the time t in FIG.
9B, that is, the road sign 300 and the building 400 in the captured image at the time t + Δt, the road sign 300 and the building 400 in FIG. 9B are imaged smaller. Hereinafter, the optical flow will be described with reference to these drawings.
【０００８】これらの図において、撮像画像内に設定さ
れた複数の対応点、例えば他車両２００における着目
点、道路標識３００における着目点、建物４００におけ
る着目点に関し、各時間毎の着目点すなわち時刻ｔ〔図
９（ａ）〕における各着目点２０１ａ、２０２ａ、３０
１ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、
時刻ｔ＋△ｔ〔図９（ｂ）〕における各着目点２０１
ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１
ｂ及び４０２ｂについて、互いに対応する着目点同士を
結合することにより、図９（ｃ）に示す速度ベクトルす
なわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３０
３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られた
速度ベクトルがオプティカルフローである。In these figures, regarding a plurality of corresponding points set in a captured image, for example, a point of interest in another vehicle 200, a point of interest in a road sign 300, and a point of interest in a building 400, a point of interest at each time, that is, a time point Each point of interest 201a, 202a, 30 at t [FIG. 9 (a)]
1a, 302a, 303a, 401a and 402a;
Each point of interest 201 at time t + Δt (FIG. 9B)
b, 202b, 301b, 302b, 303b, 401
By combining the corresponding points of interest for b and 402b, the velocity vectors shown in FIG. 9C, ie, 201F, 202F, 301F, 302F, 30
3F, 401F and 402F are obtained. The obtained velocity vector is an optical flow.
【０００９】ここで、このオプティカルフローは、画面
内の無限遠点あるいは消失点として定義されるＦＯＥ(F
ocus of Expansion)から放射状に現れていることが判
る。このＦＯＥは、車両が直進している場合の画像上に
おいて、自車両の進行方向の正反対方向を示す１点に対
応する。そして、自車両の走行状態において、自車両か
ら遠ざかる物体のオプティカルフローは上記ＦＯＥに向
かう収束方向のベクトルとなり、自車両に近づいてくる
物体のオプティカルフローは上記ＦＯＥから離れる発散
方向のベクトルとなる。従って、同図に２０１Ｆ及び２
０２Ｆで示す後続の他車両２００のオプティカルフロー
は発散方向のベクトルであるので、この他車両は自車両
に近づいてきていること、換言すれば自車両よりも高速
で走行している車両であることが分かる。Here, this optical flow is defined as an FOE (FOE) defined as an infinite point or a vanishing point on the screen.
ocus of Expansion). This FOE corresponds to one point indicating the direction directly opposite to the traveling direction of the own vehicle on the image when the vehicle is traveling straight. Then, in the traveling state of the own vehicle, the optical flow of the object moving away from the own vehicle is a vector in the convergence direction toward the FOE, and the optical flow of the object approaching the own vehicle is a vector in the diverging direction moving away from the FOE. Accordingly, FIG.
Since the optical flow of the subsequent other vehicle 200 indicated by 02F is a vector in the direction of divergence, the other vehicle is approaching the own vehicle, in other words, it is a vehicle running at a higher speed than the own vehicle. I understand.
【００１０】また、このオプティカルフローの大きさ
は、単位時間における自車両と対象物体との距離の差す
なわち速度差が大きい程大きくなり、自車両と対象物体
との相対距離が近い程大きくなる。このことを図面を参
照して説明する。The magnitude of the optical flow increases as the difference between the distance between the host vehicle and the target object per unit time, that is, the speed difference increases, and increases as the relative distance between the host vehicle and the target object decreases. This will be described with reference to the drawings.
【００１１】図１０は、撮像部１０の光学的配置を示し
た図である。同図において、１１ａは撮像部１０のビデ
オカメラが有するレンズ、１１ｂは同じくビデオカメラ
が有するイメージプレーン、ｆはレンズ１１ａからイメ
ージプレーン１１ｂまでの距離、Ｐ（Ｘa ，Ｙa ，
Ｚa ）は後続する他車両上の任意の１点、ｐ（ｘa ，ｙ
a）はイメージプレーン１１ｂ上における上記点Ｐに対
応する点である。FIG. 10 is a diagram showing an optical arrangement of the image pickup unit 10. As shown in FIG. In the figure, 11a is a lens included in the video camera of the imaging unit 10, 11b is an image plane also included in the video camera, f is a distance from the lens 11a to the image plane 11b, and P (X a , Y a ,
Z a ) is an arbitrary point on another following vehicle, p (x a , y)
a ) is a point corresponding to the point P on the image plane 11b.
【００１２】この場合、３角形の相似の比から、次式
（１）の関係が得られる。 ｘa ＝ｆ・Ｘa ／Ｚa ・・・ （１） この式（１）を変形して時間微分すると、次式（２）が得られる。 Ｘa ’＝（Δｘa ／Δｔ・Ｚa ＋ｘa ・Ｚa ’）／ｆ ・・・ （２） また、オプティカルフローのｘ方向成分ｕは、次式（３）で表せる。 ｕ＝Δｘa ／Δｔ ・・・ （３） 従って、この式（３）により次式（４）を得ることができる。 Ｚa ＝（ｆ・Ｘa ’−ｘa ・Ｚa ’）／ｕ ・・・ （４）In this case, the relationship of the following equation (1) is obtained from the similarity ratio of the triangles. x a = f · X a / Z a (1) The following equation (2) is obtained by modifying this equation (1) and performing time differentiation. X a '= (Δx a / Δt · Z a + x a · Z a') / f ··· (2) Further, x-direction component u of the optical flow is expressed by the following equation (3). u = Δx a / Δt (3) Accordingly, the following equation (4) can be obtained from the equation (3). Z a = (f · X a '-x a · Z a') / u ··· (4)
【００１３】ここで、上式（４）のＺa ’は、同一車線
あるいは隣接車線を走行する他車両（図９に符号２００
で示す）と撮像部１０が搭載された自車両との速度差す
なわち相対速度を示している。この相対速度を−αとす
ると上式（４）は次式（５）となる。 Ｚa ＝（ｆ・Ｘa ’＋ｘa α）／ｕ ・・・ （５） よって、オプティカルフローのｘ方向成分ｕは、次式
（６）のように表すことができる。 ｕ＝（ｆ・Ｘa ’＋ｘa α）／Ｚa ・・・ （６） なお、点ＰのＹ座標Ｙa についても同様にして求めるこ
とができる。Here, Z a ′ in the above equation (4) represents another vehicle traveling in the same lane or an adjacent lane (reference numeral 200 in FIG. 9).
) And the speed difference between the own vehicle on which the imaging unit 10 is mounted, that is, the relative speed. If this relative speed is -α, the above equation (4) becomes the following equation (5). Z a = (f · X a ′ + x a α) / u (5) Therefore, the x-direction component u of the optical flow can be expressed as the following equation (6). u = (f · X a ' + x a α) / Z a ··· (6) In addition, it can be obtained in the same manner for the Y-coordinate Y a of the point P.
【００１４】よって上式（６）より、Ｚが小すなわち後
続車両又は隣接車線を走行中の他車両２００までの距離
が小である程、あるいは、αが大すなわち他車両２００
との速度差が大である程、オプティカルフローのｘ成分
は大きくなる。これはＹ方向についても同様である。従
って、オプティカルフローは後続する他車両２００との
距離が小な程、更に互いの速度差が大な程長くなり、こ
れよりオプティカルフローの方向がＦＯＥに対して発散
し、その長さが短いときより長いときの方が相対的に後
続車両又は隣接車両に対する危険度が大きことが判る。Therefore, from the above equation (6), the smaller the Z, that is, the smaller the distance to the following vehicle or another vehicle 200 traveling in the adjacent lane, or the larger α, that is, the other vehicle 200
The larger the speed difference between the two, the larger the x component of the optical flow. This is the same for the Y direction. Therefore, the optical flow becomes longer as the distance to the following other vehicle 200 becomes smaller, and further, as the speed difference between them becomes larger, the direction of the optical flow diverges from the FOE and the length of the optical flow becomes shorter. It can be seen that the longer the danger, the greater the danger to the following vehicle or the adjacent vehicle.
【００１５】従って、データ処理部３０は、このオプテ
ィカルフローが上述した発散方向のベクトルであり且つ
その大きさが大きい場合には、対象物体は自車両に対
し、接近した位置に存在するか、自車両よりも高速で接
近しているかの少なくとも一方の状態にあると考えら
れ、危険度が高いと判断する。そして、危険度が高いと
判断した場合には、スピーカ４２により運転者にその旨
を知らせる。Therefore, when the optical flow is the vector in the divergence direction described above and the magnitude is large, the data processing unit 30 determines whether the target object exists at a position close to the own vehicle or not. It is considered that the vehicle is approaching at a speed higher than that of the vehicle, and it is determined that the risk is high. When it is determined that the risk is high, the driver is notified by the speaker 42 to that effect.
【００１６】以上のような処理を、時間ｔの画像の全て
の点において繰り返し行うことにより、画像全体のオプ
ティカルフローを求めることができ、各対象物における
危険度が求められる。そして、求められた危険度の大き
さに従って警報を鳴らすこと等によって運転者に対し注
意を促し、これにより、人間の有する有限な認識力を補
完することができ、上述の大事故に発展しかねない危険
な状態や、実際の大事故の発生を未然に防止している。By repeating the above processing at all points of the image at the time t, the optical flow of the entire image can be obtained, and the degree of risk of each object can be obtained. Then, the driver is warned by sounding an alarm according to the magnitude of the required degree of danger, thereby supplementing the finite cognitive ability possessed by humans, which may lead to the above-mentioned large accident. No dangerous situations or actual major accidents are prevented.
【００１７】また、従来の技術では、図１１に示す如く
に、片側３車線の直線高速道路にて自車両が走行してい
る車線を検出することで、自車線領域及び隣接車線領域
についてそれぞれＦＯＥ点から放射状にオプティカルフ
ローを求めることで自車両に対する接近車両２００の検
出を行っており、このオプティカルフローの大きさに基
づき認識を行うよう構成されているので、後方や隣接車
線を走行している他車両２００に関し、その危険度を自
動的に判断でき、且つ、特別な距離計を必要としない利
点があり有効である。In the prior art, as shown in FIG. 11, the lane in which the host vehicle is traveling on a straight lane with three lanes on each side is detected, so that the FOE of each of the own lane region and the adjacent lane region is detected. The approaching vehicle 200 with respect to the own vehicle is detected by obtaining an optical flow radially from a point. Since the vehicle 200 is configured to perform recognition based on the magnitude of the optical flow, the vehicle 200 is traveling behind or in an adjacent lane. With respect to the other vehicle 200, there is an advantage that the degree of danger can be automatically determined, and there is an advantage that no special distance meter is required.
【００１８】現在提案されているオプティカルフロー検
出方法の中で、実用化に近いレベルまで達している相関
法は、設定した窓の対応点を周辺の領域全方向に関して
探索し、相関値の計算を行う必要があるため、計算量が
膨大になるものの、本発明が対象としているような複雑
な画像に関しても、比較的正確にオプティカルフローを
求めることが可能であるという利点もある。Among the currently proposed optical flow detection methods, a correlation method that has reached a level close to practical use is to search for a corresponding point of a set window in all directions in a surrounding area and calculate a correlation value. Although it is necessary to perform the calculation, the amount of calculation is enormous, but there is an advantage that the optical flow can be relatively accurately obtained even for a complicated image as the object of the present invention.
【００１９】上述したように、一般的な相関法において
は、ある時刻ｔの画像に関してオプティカルフローを求
める際には、時刻ｔの画像の全画素について、それぞれ
の画素が、時刻ｔ−Δｔの画像において、どの画素に対
応しているかを全方向にわたって探索する必要がある。As described above, in the general correlation method, when obtaining an optical flow for an image at a certain time t, for each pixel of the image at the time t, each pixel is set to the image at the time t-Δt. In, it is necessary to search for which pixel corresponds to all directions.
【００２０】[0020]
【発明が解決しようとする課題】ところで、高速道路と
いった自動車専用道路上を走行中の自車両からビデオカ
メラ１１で車両の後側方を撮像すると、図１１に示すよ
うに、道路、道路上に描かれ自車線と隣接車線を区画す
る白線と側路を区画する白線並びに道路の両脇に立設さ
れた壁が、画像上における水平方向中心位置でかつ垂直
方向１／３位置にて消失する画像となってり、この消失
点がＦＯＥとなっている。ＦＯＥの画面上での位置は不
変である。By the way, when an image of the rear side of the vehicle is taken by the video camera 11 from the own vehicle traveling on a motorway such as a highway, as shown in FIG. The drawn white line dividing the own lane and the adjacent lane, the white line dividing the side lane, and the walls erected on both sides of the road disappear at the horizontal center position and the vertical 1/3 position on the image. The vanishing point is an FOE. The position of the FOE on the screen is unchanged.
【００２１】図１２の簡略図に示すように、例えばある
時点ｔ−Δｔにおいて撮像した道路画像上のＦＯＥは車
両が右転回すると、時点ｔで撮像した道路画像上では図
１２に示すように道路画面上ではΔＸだけ左に移動した
ようになる。しかし、従来は、この移動分を考慮せず
に、対応点の移動量をオプティカルフローとして単純に
検出するようにしていたため、オプティカルフローに誤
差を生じさせていた。特に、ＦＯＥに近い位置において
発生するオプティカルフローは比較的小さいため、この
誤差がオプティカルフローに大きな誤差をもたらし、危
険判断の信頼性を低下させるなどの問題があった。As shown in the simplified diagram of FIG. 12, for example, the FOE on the road image captured at a certain time t-Δt indicates that when the vehicle turns right, the road image captured at the time t as shown in FIG. On the screen, the image is moved to the left by ΔX. However, conventionally, an amount of movement of a corresponding point is simply detected as an optical flow without considering this movement, so that an error occurs in the optical flow. In particular, since an optical flow generated at a position close to the FOE is relatively small, this error causes a large error in the optical flow, and there is a problem in that the reliability of danger determination is reduced.
【００２２】よって本発明は、上記問題に鑑みてなされ
たもので、車両転回時のオプティカルフローの検出を正
確に行えるようにした車両用後側方監視装置を提供する
ことを課題としている。The present invention has been made in view of the above problems, and has as its object to provide a vehicle rear side monitoring device capable of accurately detecting an optical flow when the vehicle turns.
【００２３】[0023]
【課題を解決するための手段】上記課題を解決するため
なされた請求項１記載の発明は、図１の基本構成図から
明らかなように、車両に装着され車両の後側方の道路を
撮像して一定時間毎に道路画像を得る撮像手段１０と、
前記撮像手段によって一定時間毎に得た相前後する２つ
の道路画像に基づいて他車両から発生するオプティカル
フローを検出するオプティカルフロー検出手段３１−１
とを備え、該オプティカルフロー検出手段によって検出
したオプティカルフローを用いて自車両と後続の他車両
との相対関係を監視する車両用後側方監視装置におい
て、前記オプティカルフロー検出手段は、前記一定時間
前に得た道路画像上の無限遠点の移動量に相当する量、
前記オプティカルフローを補正する補正手段３１−１１
を有することを特徴とする車両用後側方監視装置に存す
る。According to the first aspect of the present invention for solving the above-mentioned problems, as is apparent from the basic configuration diagram of FIG. 1, an image of a road mounted on a vehicle and located on the rear side of the vehicle is taken. Imaging means 10 for obtaining road images at regular time intervals;
Optical flow detecting means 31-1 for detecting an optical flow generated from another vehicle based on two consecutive road images obtained at predetermined time intervals by the imaging means.
And a rear side monitoring device for a vehicle that monitors a relative relationship between the host vehicle and another following vehicle using an optical flow detected by the optical flow detection unit, wherein the optical flow detection unit is configured to perform the predetermined time period. The amount corresponding to the movement amount of the infinity point on the road image obtained earlier,
Correction means 31-11 for correcting the optical flow
And a rear side monitoring device for a vehicle.
【００２４】上記請求項１に記載の発明である車両用後
側方監視装置においては、車両に装着された撮像手段１
０が車両の後側方の道路を撮像して一定時間毎に道路画
像を得、この一定時間毎に得た相前後する２つの道路画
像に基づいてオプティカルフロー検出手段３１−１が他
車両から発生するオプティカルフローを検出し、検出し
たオプティカルフローを用いて自車両と後続の他車両と
の相対関係を監視する。オプティカルフロー検出手段は
補正手段３１−１１を有し、一定時間前に得た道路画像
上の無限遠点の移動量に相当する量、オプティカルフロ
ーを補正するので、一定時間前の道路画像上の無限遠点
が移動するような転回走行を車両が行うような場合、こ
の移動分オプティカルフローが補正される。In the vehicle rear side monitoring apparatus according to the first aspect of the present invention, the imaging means 1 mounted on the vehicle.
0 captures a road image on the rear side of the vehicle and obtains a road image at regular intervals, and the optical flow detecting means 31-1 detects the road image from another vehicle based on the two consecutive road images obtained at regular intervals. The generated optical flow is detected, and the relative relationship between the own vehicle and the following other vehicle is monitored using the detected optical flow. The optical flow detecting means has the correcting means 31-11, and corrects the optical flow by an amount corresponding to the movement amount of the infinity point on the road image obtained a predetermined time ago. In the case where the vehicle performs a reversing run such that the point at infinity moves, the optical flow corresponding to the movement is corrected.
【００２５】請求項２記載の発明は、請求項１記載の車
両用後側方監視装置おいて、前記補正手段は、前記一定
時間前に得た道路画像上の無限遠点の移動量に相当する
量、前記一定時間前に得た道路画像上の着目点の座標を
シフトした上で前記オプティカルフローを検出すること
で前記オプティカルフローを補正することを特徴とする
車両用後側方監視装置に存する。According to a second aspect of the present invention, in the vehicle rear side monitoring device according to the first aspect, the correction means corresponds to a movement amount of an infinite point on the road image obtained before the predetermined time. The vehicle rear side monitoring device, which corrects the optical flow by detecting the optical flow after shifting the coordinates of the point of interest on the road image obtained before the certain time, Exist.
【００２６】上記請求項２に記載の発明である車両用後
側方監視装置においては、一定時間前に得た道路画像上
の無限遠点の移動量に相当する量、一定時間前に得た道
路画像上の着目点の座標をシフトした上でオプティカル
フローを検出することでオプティカルフローを補正する
ので、着目点の座標を一斉にシフトすることができる。In the vehicle rear side monitoring apparatus according to the second aspect of the present invention, an amount corresponding to a moving amount of an infinite point on a road image obtained a predetermined time ago is obtained a predetermined time ago. Since the optical flow is corrected by detecting the optical flow after shifting the coordinates of the point of interest on the road image, the coordinates of the point of interest can be simultaneously shifted.
【００２７】請求項３記載の発明は、請求項１又は２記
載の車両用後側方監視装置において、車両の舵角を検知
する舵角検知手段５１と、車速を検知する車速検知手段
５３とを備え、前記補正手段は、該舵角検知手段によっ
て検知した舵角と車速検知手段によって検知した車速に
基づいて前記移動量を求めることを特徴とする車両用後
側方監視装置に存する。According to a third aspect of the present invention, in the vehicle rear side monitoring device according to the first or second aspect, a steering angle detecting means 51 for detecting a steering angle of the vehicle, a vehicle speed detecting means 53 for detecting a vehicle speed, and And the correction means obtains the movement amount based on the steering angle detected by the steering angle detection means and the vehicle speed detected by the vehicle speed detection means.
【００２８】上記請求項３記載の発明である車両用後側
方監視装置においては、一定時間前の道路画像上の無限
遠点の移動量を左右する舵角検知手段５１によって検知
した舵角と車速検知手段５３によって検知した車速に基
づいて移動量を求めているので、補正のための移動量を
簡単に得ることができる。In the rear side monitoring device for a vehicle according to the third aspect of the present invention, the steering angle detected by the steering angle detecting means 51 which controls the amount of movement of the point at infinity on the road image a predetermined time ago. Since the moving amount is obtained based on the vehicle speed detected by the vehicle speed detecting means 53, the moving amount for correction can be easily obtained.
【００２９】[0029]
【発明の実施の形態】以下、本発明の実施の形態の具体
例を図面を参照して説明する。図２は、本発明が適用さ
れる装置の構成を示すブロック図で、同図において、１
０は撮像手段としての撮像部、２０は撮像部１０からの
画像データなどを保持する記憶部、３０は撮像部１０か
らの画像情報に基づき画像処理及び他車両との相対関係
を監視する処理などを実行するデータ処理部、４０は警
報を発生する警報手段としての警報部、５０は自車両の
走行方向を変更する際の操作情報を示す方向指示信号や
車速を示す車速信号の入力を行う信号入力部である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 is a block diagram showing the configuration of an apparatus to which the present invention is applied.
Reference numeral 0 denotes an imaging unit as an imaging unit, 20 denotes a storage unit that holds image data from the imaging unit 10, 30 denotes image processing based on image information from the imaging unit 10, and processing for monitoring a relative relationship with another vehicle. Is a data processing unit for executing a warning, and 40 is a warning unit as warning means for generating a warning, 50 is a signal for inputting a direction instruction signal indicating operation information when changing the traveling direction of the vehicle and a vehicle speed signal indicating a vehicle speed. Input section.
【００３０】撮像部１０は、ビデオカメラから構成され
ている。そして、このビデオカメラ１０は、図８にて説
明したように、レンズ（図８にて符号１１ａにて示す）
とイメージプレーン（同１１ｂ）とを有している。そし
て、撮像部１０のビデオカメラ１１は、車両の後部のト
ランク部の上部或いは後端部に、車両の後方に向けて取
り付けられる。そして、このビデオカメラ１１は、車両
の後側方の道路画像を撮像するように構成されている。
そして、このビデオカメラ１１は、データ処理部３０の
ＣＰＵ３１（後述）に対し、車両後側方の道路画像情報
を出力する。The image pickup section 10 comprises a video camera. The video camera 10 has a lens (indicated by reference numeral 11a in FIG. 8) as described with reference to FIG.
And an image plane (11b). The video camera 11 of the imaging unit 10 is attached to the upper part or the rear end of the trunk at the rear of the vehicle, facing the rear of the vehicle. The video camera 11 is configured to capture a road image on the rear side of the vehicle.
Then, the video camera 11 outputs road image information on the rear side of the vehicle to a CPU 31 (described later) of the data processing unit 30.
【００３１】記憶部２０は、前記撮像部１０からの道路
画像情報を保持する第１フレームメモリ２１及び第２フ
レームメモリ２２と、発散方向のオプティカルフローを
保持する発散オプティカルフローメモリ２３とを有して
いる。The storage section 20 has a first frame memory 21 and a second frame memory 22 for storing road image information from the image pickup section 10, and a divergent optical flow memory 23 for storing optical flows in a divergent direction. ing.
【００３２】そして、この記憶部２０を構成する第１フ
レームメモリ２２及び第２フレームメモリ２３は、例え
ば５１２画素×５１２画素といったｍ行ｎ列からなるマ
トリクス状のメモリとして構成されている。また、各メ
モリ２１〜２３は、データ処理部３０のＣＰＵ３１に対
し、読み書き可能に接続されている。The first frame memory 22 and the second frame memory 23 constituting the storage section 20 are configured as a matrix-like memory having m rows and n columns, for example, 512 pixels × 512 pixels. Each of the memories 21 to 23 is connected to the CPU 31 of the data processing unit 30 in a readable and writable manner.
【００３３】データ処理部３０は、動作プログラムに従
って動作する中央制御装置としてのＣＰＵ３１、このＣ
ＰＵ３１の動作プログラム及び予め与えられる設定値な
どを保持するＲＯＭ３２及びＣＰＵ３１の演算実行時に
必要なデータを一時的に保持するＲＡＭ３３を有してい
る。The data processing unit 30 includes a CPU 31 serving as a central control device that operates according to an operation program.
It has a ROM 32 for storing an operation program of the PU 31 and a set value given in advance, and a RAM 33 for temporarily storing data required when the CPU 31 executes an operation.
【００３４】警報部４０は、表示器４１とスピーカ４２
とを有している。表示器４１は、ＬＣＤなどで構成さ
れ、ビデオカメラ１１が撮像した撮像画像を表示した
り、あるいは、データ処理部３０（ＣＰＵ３１）が他車
両との接触危険性有りと判定した際に、メッセージなど
を表示して運転者に対して危険を映像で知らせる。スピ
ーカ４２は、データ処理部３０からの音声信号に基づ
き、音声ガイダンスあるいは警報音といった音声を発生
する。そして、データ処理部３０が他車両との接触危険
性有りと判定した場合には、この音声により運転者に対
して危険を音声で知らせる。The alarm section 40 includes a display 41 and a speaker 42.
And The display 41 is configured by an LCD or the like, and displays an image captured by the video camera 11, or displays a message when the data processing unit 30 (CPU 31) determines that there is a risk of contact with another vehicle. Is displayed to inform the driver of the danger. The speaker 42 generates a voice such as voice guidance or a warning sound based on a voice signal from the data processing unit 30. When the data processing unit 30 determines that there is a risk of contact with another vehicle, the driver is informed of the danger by voice using this voice.
【００３５】信号入力部５０は、ハンドル舵角あるいは
車両の操舵輪（一般には前輪）の操舵角を検出する舵角
検知手段としての舵角センサ５１と、運転者によるウイ
ンカ機構の操作状態とその操作方向を検出するウインカ
検出手段としてのウインカ（ターンシグナル）検出スイ
ッチ５２と、車速に応じた車速信号を発生する車速セン
サ５３とを有しており、舵角センサ５１により車両の転
回情報を検出し、ウインカ検出スイッチ５２により運転
者が車両を左右側に転回させる際に操作するウインカ機
構からの転回指示情報を検出し、車速センサ５３によっ
て車速情報を検出する。The signal input unit 50 includes a steering angle sensor 51 as a steering angle detecting means for detecting a steering angle of a steering wheel or a steering wheel (generally, a front wheel) of the vehicle, a state of operation of the turn signal mechanism by the driver, and a state of the operation of the turn signal mechanism. It has a turn signal (turn signal) detection switch 52 as a turn signal detecting means for detecting the operation direction, and a vehicle speed sensor 53 for generating a vehicle speed signal according to the vehicle speed. Then, the turn signal detection switch 52 detects turn instruction information from a turn signal mechanism operated when the driver turns the vehicle left and right, and the vehicle speed sensor 53 detects vehicle speed information.
【００３６】以上の構成を有する具体例の動作、すなわ
ちデータ処理部３０による制御動作について、フローチ
ャートを参照して説明する。この具体例においては、ま
ず図３のフローチャートすなわち具体例における主フロ
ーチャートのステップＳ１１０にて、画像取得処理を行
う。このステップＳ１１０の処理により、例えば図４に
示す後側方の道路画像が得られる。The operation of the specific example having the above configuration, that is, the control operation by the data processing unit 30 will be described with reference to a flowchart. In this specific example, first, an image acquisition process is performed in step S110 of the flowchart of FIG. 3, that is, the main flowchart in the specific example. By the processing in step S110, for example, a rear side road image shown in FIG. 4 is obtained.
【００３７】この道路画像は、高速道路といった自動車
専用道路上を走行中の自車両からの画像を例示してお
り、ビデオカメラ１１が車両の後部に後側方に向けて取
り付けられているので、車両の後側方を直視した画像と
なっている。同図に示すように、道路５００、道路５０
０上に描かれ自車線と隣接車線を区画する破線からなり
車線変更を可能とする白線５１０及び５２０と側路を区
画する連続直線からなり車線変更を禁止する白線５３０
及び５４０、並びに道路５００の両脇に立設された壁６
００が、画像上における水平方向中心位置でかつ垂直方
向１／３位置にて消失する画像となってり、この消失点
がＦＯＥとなっている。そして、この取得した道路画像
の情報については、記憶部２０の第１フレームメモリ２
１に格納される。This road image exemplifies an image from the own vehicle traveling on a motorway such as an expressway. Since the video camera 11 is attached to the rear part of the vehicle toward the rear side, The image is a direct view of the rear side of the vehicle. As shown in FIG.
White lines 510 and 520, which are drawn on zero and are composed of dashed lines dividing the own lane and the adjacent lane, and which allow lane change, and white lines 530 which are made up of continuous straight lines which delimit the side road and which prohibit lane change
And 540, and the wall 6 standing on both sides of the road 500
00 is an image that disappears at the center position in the horizontal direction and 1/3 position in the vertical direction on the image, and this vanishing point is the FOE. The information of the acquired road image is stored in the first frame memory 2 of the storage unit 20.
1 is stored.
【００３８】また、この道路画像は、上述したように、
車両の後側方に向けて取り付けられているので、道路画
像における右側が進行方向を基準とした場合の左側に相
当し、道路画像における左側が進行方向を基準とした場
合の右側に相当する。以後、この道路画像を基準とした
左右方向で説明を行うことにする。Further, as described above, this road image
Since the vehicle is attached to the rear side of the vehicle, the right side in the road image corresponds to the left side based on the traveling direction, and the left side in the road image corresponds to the right side based on the traveling direction. Hereinafter, description will be made in the left-right direction based on the road image.
【００３９】上述したＦＯＥの垂直方向位置を示すＦＯ
ＥラインＬは、車両の後部に後側方に向けて取り付けら
れているビデオカメラ１１の画角、レンズ収差、カメラ
の設置パラメータ（高さ、俯角）などによって定まり、
例えば１００ｍ後方位置に定められる。FO indicating the vertical position of the above-mentioned FOE
The E-line L is determined by the angle of view, lens aberration, camera installation parameters (height, depression angle) of the video camera 11 attached to the rear part of the vehicle toward the rear side,
For example, it is set at a position 100 m behind.
【００４０】なお、ＦＯＥラインＬは、一定時間毎に相
前後して取得した道路画像において車両の進行方向が変
化しても変わることはないが、一定時間毎に相前後して
取得した道路画像上のＦＯＥの位置は車両の進行方向が
変わると移動する。車両が例えば右転回すると、これに
伴って時刻ｔ−Δｔにおける無限遠点ＦＯＥが図１２に
簡略図で示すように本来のＦＯＥからＦＯＥ′に変化す
ることになる。The FOE line L does not change even if the traveling direction of the vehicle changes in the road images acquired successively at regular intervals, but the road image acquired successively at regular intervals. The position of the upper FOE moves when the traveling direction of the vehicle changes. When the vehicle makes a right turn, for example, the point FOE at infinity at time t-Δt changes from the original FOE to FOE ′ as shown in a simplified diagram in FIG.
【００４１】ところで、車両の進行方向が変わることに
より、一定時間前の道路画像上の無限遠点ＦＯＥは一定
時間経過後進行方向を示す舵角と車速に応じた量移動す
るようになり、その移動量ΔＸは、車両の進行方向の変
化量に比例し、予め設定した比例定数に進行方向の変化
量を決定する舵角と車速を乗じることによって計算によ
って求めることができる。しかし、舵角及び車速とＦＯ
Ｅの移動量とのテーブルをＲＯＭ３２中の舵角・車速−
無限遠点記憶手段としての所定エリアに予め用意してお
き、舵角及び車速をアドレスとして移動量を読み出すこ
とによって定めることもできる。前者はＲＯＭの記憶容
量を必要としないが、後者の方は計算が不要な分高速処
理に適する。By the way, when the traveling direction of the vehicle changes, the infinity point FOE on the road image at a certain time before the predetermined time has elapsed, the amount of movement corresponding to the steering angle and the vehicle speed indicating the traveling direction is moved. The moving amount ΔX is proportional to the amount of change in the traveling direction of the vehicle, and can be obtained by calculation by multiplying a predetermined proportionality constant by the steering angle that determines the amount of change in the traveling direction and the vehicle speed. However, steering angle and vehicle speed and FO
The table of the movement amount of E is stored in the steering angle and vehicle speed in the ROM 32.
It can also be determined by preparing in advance in a predetermined area as infinity point storage means and reading the movement amount using the steering angle and the vehicle speed as addresses. The former does not require the storage capacity of the ROM, but the latter is suitable for high-speed processing because the calculation is unnecessary.
【００４２】引き続くステップＳ１２０では、オプティ
カルフロー検出処理を行う。よって、ＣＰＵ３１は、予
め定めたプログラムによって動作してビデオカメラ１０
によって一定時間毎に得た相前後する２つの道路画像に
基づいて他車両から発生するオプティカルフローを検出
するオプティカルフロー検出手段３１−１として機能す
る。このオプティカルフロー検出処理は、第１フレーム
メモリ２１に格納された道路画像と、この道路画像より
所定時間△ｔだけ遅延して撮像され、第２フレームメモ
リ２２に格納された撮像画像に対して行われる。そし
て、このステップＳ１２０では、時刻ｔにおける道路画
像中の画像構成点と、時刻ｔ＋△ｔの撮像画像中の画像
構成点において、互いに対応する各点間の移動方向並び
に移動量をオプティカルフローとして検出する。In the following step S120, an optical flow detection process is performed. Therefore, the CPU 31 operates according to a predetermined program to operate the video camera 10.
Functions as an optical flow detecting means 31-1 for detecting an optical flow generated from another vehicle based on two consecutive road images obtained at predetermined time intervals. This optical flow detection processing is performed on a road image stored in the first frame memory 21 and an image captured with a delay of a predetermined time Δt from the road image, and the captured image stored in the second frame memory 22 is scanned. Will be In step S120, the moving direction and the moving amount between the corresponding points in the image constituent points in the road image at time t and the image constituent points in the captured image at time t + Δt are detected as optical flows. I do.
【００４３】このオプティカルフロー検出処理は、具体
的な１例としては、図５のフローチャートによりなされ
る。以下、この図５のフローチャートを参照して説明す
る。このオプティカルフロー検出処理では、まずステッ
プＳ２１０ａにて舵角センサ５１からの舵角信号を、ス
テップＳ２２ａにて車速センサ５３からの車速信号をそ
れぞれアナログ／デジタル変換して舵角データと車速デ
ータとして読み込み、ハンドル舵角あるいは車両の操舵
輪（一般には前輪）の舵角と車速を検出する。This optical flow detection processing is performed as a specific example according to the flowchart of FIG. Hereinafter, description will be made with reference to the flowchart of FIG. In this optical flow detection process, first, in step S210a, the steering angle signal from the steering angle sensor 51 is converted into analog / digital signals in step S22a, and the vehicle speed signal from the vehicle speed sensor 53 is converted into digital data and read as steering angle data and vehicle speed data. The steering angle and the steering angle of the steered wheels (generally, the front wheels) of the vehicle and the vehicle speed are detected.
【００４４】次に、ステップＳ２３０ａにおいてステッ
プＳ２１０ａ及び２２０ａでそれぞれ検出した舵角と車
速により、無限遠点ＦＯＥの移動量ΔＸを決定する。次
に、ステップＳ２４０ａにおいて、第１のフレームメモ
リ２１に記憶されている一定時間前の道路画像の着目点
の座標を移動量ΔＸ分シフトする。そして、次のステッ
プＳ２５０ａにおいて、シフト後の着目点の座標と第２
フレームメモリ２２に記憶されている道路画像の対応す
る着目点の座標とにより、対応する着目点の移動量すな
わち補正後のオプティカルフローを求めて発散オプティ
カルフローメモリ２３に格納して元のフローチャートに
戻る。Next, in step S230a, the moving amount ΔX of the infinity point FOE is determined based on the steering angle and the vehicle speed detected in steps S210a and S220a, respectively. Next, in step S240a, the coordinates of the point of interest in the road image stored a certain time ago stored in the first frame memory 21 are shifted by the moving amount ΔX. Then, in the next step S250a, the coordinates of the point of interest after the shift and the second
Based on the coordinates of the corresponding point of interest of the road image stored in the frame memory 22, the amount of movement of the corresponding point of interest, that is, the corrected optical flow, is stored in the divergent optical flow memory 23, and the flow returns to the original flowchart. .
【００４５】今、着目点が右側の隣接車線を接近中の後
続の他車両上の点に着目した場合、図６に示すように、
一定時間前にはＰ座標位置にあったものが右転回して一
定時間経過したときには、Ｑ座標位置に移動する。この
対応点にて単純にオプティカルフローを検出すると、両
点を結んだ非常に大きなベクトルＢ１となる。これは自
車両の右転回によって一定時間前の道路画像上のＦＯＥ
がΔＸ移動していることを無視してオプティカルフロー
を検出したためである。そこで、Ｐ座標位置をΔＸだけ
シフトしたＰ′座標位置を求め、このＰ′座標位置とＱ
座標位置とを結んでオプティカルフローを検出すると、
ベクトルＢ１に比べて小さなベクトルＢ２が検出され、
一定時間前に得た道路画像上の無限遠点の移動量に相当
する量、オプティカルフローが補正されるようになる。Now, when focusing on a point on another succeeding vehicle that is approaching the adjacent lane on the right side, as shown in FIG.
The object that was at the P coordinate position a predetermined time ago turns right and moves to the Q coordinate position when a certain time has elapsed. If an optical flow is simply detected at the corresponding point, an extremely large vector B1 connecting both points is obtained. This is the FOE on the road image a certain time ago due to the right turn of the vehicle.
This is because the optical flow was detected ignoring that .DELTA.X moved. Therefore, a P ′ coordinate position obtained by shifting the P coordinate position by ΔX is obtained, and the P ′ coordinate position and Q
When the optical flow is detected by connecting to the coordinate position,
A vector B2 smaller than the vector B1 is detected,
The optical flow is corrected by an amount corresponding to the movement amount of the point at infinity on the road image obtained a predetermined time ago.
【００４６】これに対し、左側の隣接車線を接近中の他
車両上の点に着目した場合には、図７に示すように、一
定時間前にはＰ座標位置にあったものが右転回して一定
時間経過したときには、Ｑ座標位置に移動する。この対
応点にて単純にオプティカルフローを検出すると、両点
を結んだ非常に小さなベクトルＢ１となる。これは自車
両の右転回によって一定時間前の道路画像上のＦＯＥが
ΔＸ移動していることを無視してオプティカルフローを
検出したためである。そこで、Ｐ座標位置をΔＸだけシ
フトしたＰ′座標位置を求め、このＰ′座標位置とＱ座
標位置とを結んでオプティカルフローを検出すると、ベ
クトルＢ１に比べて大きなベクトルＢ２が検出され、オ
プティカルフローが補正されるようになる。On the other hand, when attention is paid to a point on another vehicle approaching the adjacent lane on the left side, as shown in FIG. 7, the object located at the P coordinate position a predetermined time ago turns right. When a predetermined time has elapsed, the camera moves to the Q coordinate position. When an optical flow is simply detected at the corresponding point, a very small vector B1 connecting both points is obtained. This is because the optical flow was detected by ignoring that the FOE on the road image a predetermined time ago was moving by ΔX due to the right turn of the own vehicle. Therefore, a P 'coordinate position obtained by shifting the P coordinate position by ΔX is obtained, and an optical flow is detected by connecting the P' coordinate position and the Q coordinate position. When the optical flow is detected, a vector B2 larger than the vector B1 is detected. Is corrected.
【００４７】上述した例では、一定時間前の道路画像上
の着目点の座標を修正して補正を行っているが、座標の
修正を行わずに検出したオプティカルフローを直接補正
するようにしてもよい。In the above-described example, the correction is performed by correcting the coordinates of the point of interest on the road image a fixed time ago. However, the detected optical flow may be directly corrected without correcting the coordinates. Good.
【００４８】そして、ステップＳ１３０では、危険度の
算出処理を行う。すなわち、このステップＳ１３０で
は、上記ステップＳ１２０にて取得したオプティカルフ
ローの内、上述したオプティカルフロー２０１Ｆ及び２
０２Ｆのように発散方向のオプティカルフローに対し、
その大きさ（長さ）に重み付けをし数値化する。なお、
この算出処理において、しきい値を数レベル設定してお
き、危険度のレベルを算出するようにしてもよい。Then, in step S130, calculation processing of the degree of risk is performed. That is, in this step S130, of the optical flows acquired in step S120, the optical flows 201F and 201F described above are used.
For the optical flow in the divergent direction like 02F,
The size (length) is weighted and digitized. In addition,
In this calculation process, the threshold may be set at several levels, and the risk level may be calculated.
【００４９】引き続くステップＳ１４０では、上記ステ
ップＳ１３０で算出された危険度に基づき、この危険度
が或るしきい値を越えたら危険と判断する。また、危険
度のレベルが与えられた場合には、このレベルが規定値
以上となった場合に危険と判断する。そして、この判定
処理で危険と判断された場合には、ステップＳ１５０に
て警報処理を実行し、一方、危険でないと判断された場
合には、一連の処理を終了して再度上述したステップＳ
１１０からの処理を実行する。In the following step S140, based on the risk calculated in step S130, if this risk exceeds a certain threshold, it is determined that there is danger. If a risk level is given, it is determined to be dangerous if this level exceeds a specified value. Then, if it is determined in this determination process that there is a danger, an alarm process is performed in step S150.
The process from 110 is executed.
【００５０】このステップＳ１５０の警報処理では、表
示警報部４０のスピーカ４２に対し音声信号を送出し、
このスピーカ４２から音声ガイダンスあるいは警報音を
発生させることにより運転者に対して注意を促し、表示
器４１によりメッセージなどを表示して運転者に対して
危険を映像で知らせる。また、危険度のレベルが非常に
高い場合には、制動機構４３を作動させ、車両を制動さ
せる動作を行う。そして、このステップＳ１５０の警報
処理が終了すると、一連の処理を終了して再度上述した
ステップＳ１１０からの処理を実行する。In the alarm process of step S150, an audio signal is sent to the speaker 42 of the display / alarm unit 40,
By generating voice guidance or an alarm sound from the speaker 42, the driver is warned, a message or the like is displayed on the display 41, and the danger is notified to the driver with an image. When the level of danger is very high, the braking mechanism 43 is operated to perform an operation of braking the vehicle. When the warning process in step S150 ends, a series of processes ends, and the processes from step S110 described above are executed again.
【００５１】[0051]
【発明の効果】以上説明したように、上記請求項１記載
の発明によれば、一定時間前に得た道路画像上の無限遠
点の移動量に相当する量、オプティカルフローを補正す
るので、一定時間前の道路画像上の無限遠点が移動する
ような転回走行を車両が行うような場合、この移動分オ
プティカルフローが補正され、オプティカルフローに大
きな誤差をもたらされず、危険判断の信頼性を高めるよ
う車両転回時のオプティカルフローの検出を正確に行え
る車両用後側方監視装置が得られる。As described above, according to the first aspect of the present invention, the optical flow is corrected by the amount corresponding to the movement amount of the infinity point on the road image obtained a predetermined time ago. In the case where the vehicle performs a turning run in which the point at infinity on the road image moves a certain time ago, the optical flow is corrected by this movement, and no large error is caused in the optical flow, and the reliability of danger judgment is improved. A rear side monitoring device for a vehicle, which can accurately detect an optical flow at the time of turning the vehicle so as to increase the vehicle height, is obtained.
【００５２】請求項２記載の発明によれば、一定時間前
に得た道路画像上の無限遠点の移動量に相当する量、一
定時間前に得た道路画像上の着目点の座標をシフトした
上でオプティカルフローを検出することでオプティカル
フローを補正し、着目点の座標を一斉にシフトすること
ができるので、処理速度を損なうことのない車両用後側
方監視装置が得られる。According to the second aspect of the present invention, the coordinate of the point of interest on the road image obtained a predetermined time before is shifted by an amount corresponding to the movement amount of the point at infinity on the road image obtained a predetermined time ago. Then, the optical flow can be corrected by detecting the optical flow, and the coordinates of the point of interest can be shifted at the same time, so that a vehicle rear side monitoring device that does not impair the processing speed can be obtained.
【００５３】請求項３記載の発明によれば、一定時間前
の道路画像上の無限遠点の移動量を左右する舵角と車速
に基づいて移動量を求めているので、補正のための移動
量を簡単に得ることができる車両用後側方監視装置が得
られる。According to the third aspect of the present invention, since the movement amount is obtained based on the steering angle and the vehicle speed which influence the movement amount of the infinity point on the road image a predetermined time ago, the movement for correction is performed. A rear side monitoring device for a vehicle can be obtained in which the quantity can be easily obtained.
【図１】本発明の車両用後側方監視装置の基本構成図で
ある。FIG. 1 is a basic configuration diagram of a vehicle rear side monitoring device according to the present invention.
【図２】本発明の車両用後側方監視警報装置の構成を示
したブロック図である。FIG. 2 is a block diagram showing a configuration of a rear side monitoring and warning device for a vehicle according to the present invention.
【図３】本発明を適用した車両用後側方監視警報装置に
おける動作の概要を示したフローチャートである。FIG. 3 is a flowchart showing an outline of an operation in the vehicular rear side monitoring and alarm apparatus to which the present invention is applied.
【図４】本発明を適用した車両用後側方監視警報装置に
おけるビデオカメラによって撮像した道路画像の一例を
示した図である。FIG. 4 is a diagram showing an example of a road image captured by a video camera in a vehicle rear side monitoring and warning device to which the present invention is applied.
【図５】オプティカルフロー検出処理の一例のフローチ
ャートを示した図である。FIG. 5 is a diagram illustrating a flowchart of an example of an optical flow detection process.
【図６】オプティカルフローの補正の仕方の一例を示す
図である。FIG. 6 is a diagram illustrating an example of a method of correcting an optical flow.
【図７】オプティカルフローの補正の仕方の他の例を示
す図である。FIG. 7 is a diagram showing another example of a method of correcting an optical flow.
【図８】従来の車両用後側方監視警報装置の構成を示し
たブロック図である。FIG. 8 is a block diagram showing a configuration of a conventional rear side monitoring and warning device for a vehicle.
【図９】ビデオカメラ１によって得られる後側方の道路
画像の変化を説明するための図である。FIG. 9 is a diagram for explaining a change in a rear side road image obtained by the video camera 1;
【図１０】光学配置を示す図である。FIG. 10 is a diagram showing an optical arrangement.
【図１１】片側３車線の高速専用道路の道路画像を示し
た概念図である。FIG. 11 is a conceptual diagram showing a road image of an expressway with three lanes on each side.
【図１２】従来の問題点を説明するための図である。FIG. 12 is a diagram for explaining a conventional problem.
１０ 撮像手段（撮像部） ３１−１ オプティカルフロー検出手段（Ｃ
ＰＵ） ３１−１１ 補正手段（ＣＰＵ） ５１ 舵角検知手段（舵角センサ） ５３ 車速検知手段（車速センサ）10 imaging means (imaging unit) 31-1 optical flow detection means (C
PU) 31-11 Correction means (CPU) 51 Steering angle detection means (steering angle sensor) 53 Vehicle speed detection means (vehicle speed sensor)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ４１０ (72)発明者 藤浪 一友 静岡県裾野市御宿1500 矢崎総業株式会社 内 Ｆターム(参考） 5B057 AA16 AA19 DA06 DB02 DC02 DC07 5C054 AA01 AA05 CA04 CC03 CH02 EA01 EA05 FC11 FF06 HA30 5H180 AA01 CC04 CC07 CC24 LL02 LL04 LL06 LL07 LL08 5L096 BA02 BA04 FA13 HA04 9A001 HH30 JJ77 KZ37 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 15/70 410 (72) Inventor Kazutomo Fujinami 1500, Onjuku, Susono City, Shizuoka Pref. Reference) 5B057 AA16 AA19 DA06 DB02 DC02 DC07 5C054 AA01 AA05 CA04 CC03 CH02 EA01 EA05 FC11 FF06 HA30 5H180 AA01 CC04 CC07 CC24 LL02 LL04 LL06 LL07 LL08 5L096 BA02 BA04 FA13 HA04 9A001 HH30 JJ77 K
Claims (3)
像して一定時間毎に道路画像を得る撮像手段と、前記撮
像手段によって一定時間毎に得た相前後する２つの道路
画像に基づいて他車両から発生するオプティカルフロー
を検出するオプティカルフロー検出手段とを備え、該オ
プティカルフロー検出手段によって検出したオプティカ
ルフローを用いて自車両と後続の他車両との相対関係を
監視する車両用後側方監視装置において、 前記オプティカルフロー検出手段は、 前記一定時間前に得た道路画像上の無限遠点の移動量に
相当する量、前記オプティカルフローを補正する補正手
段を有することを特徴とする車両用後側方監視装置。1. An image pickup means which is mounted on a vehicle and images a road on the rear side of the vehicle to obtain a road image at predetermined time intervals, and two successive road images obtained at predetermined time intervals by the image pickup means. Optical flow detecting means for detecting an optical flow generated from another vehicle based on the optical flow detected by the optical flow detecting means, and monitoring a relative relationship between the own vehicle and the following other vehicle using the optical flow detected by the optical flow detecting means. In the lateral monitoring device, the optical flow detection unit includes a correction unit that corrects the optical flow by an amount corresponding to a movement amount of an infinite point on a road image obtained before the predetermined time. Rear side monitoring device for vehicles.
相当する量、前記一定時間前に得た道路画像上の着目点
の座標をシフトした上で前記オプティカルフローを検出
することで前記オプティカルフローを補正することを特
徴とする請求項１記載の車両用後側方監視装置。2. The method according to claim 1, wherein the correcting unit shifts a coordinate of a point of interest on the road image obtained before the predetermined time by an amount corresponding to a movement amount of an infinity point on the road image obtained before the predetermined time. The rear side monitoring device for a vehicle according to claim 1, wherein the optical flow is corrected by detecting the optical flow.
よって検知した車速に基づいて前記移動量を求めること
を特徴とする請求項１又は２記載の車両用後側方監視装
置。3. A steering angle detecting means for detecting a steering angle of a vehicle, and a vehicle speed detecting means for detecting a vehicle speed, wherein the correcting means detects the steering angle detected by the steering angle detecting means and the vehicle speed detecting means. 3. The vehicle rear side monitoring device according to claim 1, wherein the movement amount is obtained based on the determined vehicle speed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11052436A JP2000251199A (en) | 1999-03-01 | 1999-03-01 | Rear side part monitoring device for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11052436A JP2000251199A (en) | 1999-03-01 | 1999-03-01 | Rear side part monitoring device for vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000251199A true JP2000251199A (en) | 2000-09-14 |
Family
ID=12914708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11052436A Withdrawn JP2000251199A (en) | 1999-03-01 | 1999-03-01 | Rear side part monitoring device for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000251199A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099784A (en) * | 2001-09-25 | 2003-04-04 | Daihatsu Motor Co Ltd | Recognition method for moving object |
| JP2004054684A (en) * | 2002-07-22 | 2004-02-19 | Honda Motor Co Ltd | Object detection device and object detection method |
| JP2006072480A (en) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | Image processing device and image processing method |
| US7190282B2 (en) | 2004-03-26 | 2007-03-13 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Nose-view monitoring apparatus |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| EP1959675A2 (en) | 2007-02-16 | 2008-08-20 | Omron Corporation | Detection device, method and program thereof |
| JP2010018162A (en) * | 2008-07-10 | 2010-01-28 | Fuji Heavy Ind Ltd | Vehicle collision preventive device |
| FR3126165A1 (en) * | 2021-08-13 | 2023-02-17 | Robert Bosch Gmbh | Method for correcting an optical flow vector field |
-
1999
- 1999-03-01 JP JP11052436A patent/JP2000251199A/en not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099784A (en) * | 2001-09-25 | 2003-04-04 | Daihatsu Motor Co Ltd | Recognition method for moving object |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| JP2004054684A (en) * | 2002-07-22 | 2004-02-19 | Honda Motor Co Ltd | Object detection device and object detection method |
| US7190282B2 (en) | 2004-03-26 | 2007-03-13 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Nose-view monitoring apparatus |
| JP2006072480A (en) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | Image processing device and image processing method |
| JP4555635B2 (en) * | 2004-08-31 | 2010-10-06 | 富士重工業株式会社 | Image processing apparatus and image processing method |
| EP1959675A2 (en) | 2007-02-16 | 2008-08-20 | Omron Corporation | Detection device, method and program thereof |
| JP2010018162A (en) * | 2008-07-10 | 2010-01-28 | Fuji Heavy Ind Ltd | Vehicle collision preventive device |
| FR3126165A1 (en) * | 2021-08-13 | 2023-02-17 | Robert Bosch Gmbh | Method for correcting an optical flow vector field |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4287532B2 (en) | Vehicle rear side monitoring device | |
| JP5421072B2 (en) | Approaching object detection system | |
| US6292111B1 (en) | Vehicle-applied rear-and-side monitoring system and vehicle-applied rear-and-side monitoring and alarming system | |
| JP3452268B2 (en) | Rear side monitoring method for vehicles | |
| US8139821B2 (en) | Vehicle periphery monitoring device | |
| JP2007228448A (en) | Imaging environment recognition apparatus | |
| JP2002366937A (en) | Monitor outside vehicle | |
| JP2003123196A (en) | Device and program for monitoring circumference of vehicle | |
| JP5187292B2 (en) | Vehicle periphery monitoring device | |
| JP2001233150A (en) | Danger judging device for vehicle and periphery monitoring device for vehicle | |
| JP5054612B2 (en) | Approaching object detection device and approaching object detection method | |
| JP5418661B2 (en) | Vehicle periphery monitoring device | |
| JP2005276056A (en) | Nose view monitoring device | |
| JP2002314989A (en) | Peripheral monitor for vehicle | |
| JP2008003880A (en) | Vehicle periphery monitoring system, vehicle periphery monitoring program and method for constructing vehicle periphery monitoring system and server | |
| JP2000251199A (en) | Rear side part monitoring device for vehicle | |
| JPH0981757A (en) | Vehicle position detecting device | |
| JP2000276697A (en) | Periphery monitoring device for vehicle | |
| JP3635591B2 (en) | Vehicle periphery monitoring device | |
| JP3485135B2 (en) | Rear side monitoring device for vehicles | |
| JP2000315255A (en) | Back side direction monitoring device for vehicle and back side direction monitoring alarm device for vehicle | |
| JP4176558B2 (en) | Vehicle periphery display device | |
| JP3729005B2 (en) | Vehicle rear monitoring device | |
| JP2005309660A (en) | Device supporting vehicle in turning right or left | |
| US20220171275A1 (en) | Image pickup system and image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060509 |