JPH09142209A - 車両周辺監視装置 - Google Patents
車両周辺監視装置Info
- Publication number
- JPH09142209A JPH09142209A JP7300240A JP30024095A JPH09142209A JP H09142209 A JPH09142209 A JP H09142209A JP 7300240 A JP7300240 A JP 7300240A JP 30024095 A JP30024095 A JP 30024095A JP H09142209 A JPH09142209 A JP H09142209A
- Authority
- JP
- Japan
- Prior art keywords
- line
- vehicle
- image
- area
- monitoring area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
視対象領域をさらに制限し、処理を高速化するとともに
他車両の誤認識を減少できる車両周辺監視装置を提供す
る。 【解決手段】 自車両の周辺領域を撮像する撮像手段(1
1)と、オプティカルフロー検出手段(31a )とを有し、他
車両と自車両との相対情報を取得する車両周辺監視装置
において、路面上に描かれた分離線に基づいて監視領域
を複数の分割監視領域に分割する監視領域分割手段(31b
)と、前記監視領域分割手段(31b )により分割された分
割監視領域を選択する領域選択手段(31c )とを有し、前
記領域選択手段(31c )により選択された分割監視領域を
前記オプティカルフロー検出手段(31a )による監視領域
とすることを特徴とする。
Description
に設置したビデオカメラによって車両の前方及び後方と
いった車両の周辺領域を撮像し、当該撮像画像に基づ
き、車両走行時における前方を走行する車両あるいは後
方から接近する車両を検知し、運転者に警告を与える車
両周辺監視装置に関する。
し、これから変更しようとする隣接車線に自車両よりも
高速で走行する他車両が存在した場合、あるいは、自車
両が前方を走行中の他車両よりも高速で走行していた場
合には、他車両の存在を見逃すと事故につながる危険性
がある。また、自車両の後方を走行する他車両が自車両
に急接近してきた場合、不用意な急ブレーキを行うと他
車両に追突される危険性があるので、この急接近する他
車両を予め認識しておくことは車両運行上の安全面から
有用である。
車線を走行する車両あるいは同一車線を走行する車両を
運転者に認識させる従来例としては、本出願人が特願平
5−196189号にて出願した発明(以下、先願発明
という)がある。この先願発明は、後述するオプティカ
ルフローに基づいて、他車両の認識を行うものである。
以下、この先願発明について説明する。
(以下、先願装置という)の構成を示すブロック図であ
る。同図において、10は撮像手段としての撮像部で、
例えばビデオカメラ11を有している。また、30は演
算処理装置としてのデータ処理部であり、42は警報手
段としてのスピーカである。
トランクの上部位置に車両後方正面に向けて配設されて
いる。データ処理部30は、動作プログラムに従って動
作する中央制御装置としてのCPU31、このCPU3
1の動作プログラム及び予め与えられる設定値などを保
持するROM32、CPU31の演算実行時に必要なデ
ータを一時的に保持するRAM33を有している。スピ
ーカ42は、車両内部に配設され、データ処理部30の
CPU31からの駆動信号に必要に応じて音声や警報音
を発生することにより運転者などに危険を知らせる。
部に搭載された撮像部10による撮像画像の変化を説明
する図であり、図16(a)は時刻tにおける撮像画
像、図16(b)は時刻t+△tにおける撮像画像を示
している。そして、これらの各図において、200は自
車両の後方を走行する後続車両、300は道路500に
隣接して配設された道路標識、400は同じく道路50
0に隣接して配設された建物である。
ると、時刻の経過すなわち自車両の走行に伴い、道路標
識300や建物400は自車両との相対距離が離れ小さ
く撮像される。図においては、図16(a)すなわち時
刻tの撮像画像における道路標識300及び建物400
と、図16(b)すなわち時刻t+△tの撮像画像にお
ける道路標識300及び建物400に関し、図16
(b)の道路標識300及び建物400の方が小さく撮
像されている。以下、これらの図を参照して、この先願
発明において用いられるオプティカルフローについて説
明する。
れた複数の対応点、例えば他車両200における着目
点、道路標識300における着目点、建物400におけ
る着目点に関し、各時間毎の着目点すなわち時刻t〔図
16(a)〕における各着目点201a、202a、3
01a、302a、303a、401a及び402a
と、時刻t+△t〔図16(b)〕における各着目点2
01b、202b、301b、302b、303b、4
01b及び402bについて、互いに対応する着目点同
士を結合することにより、図16(c)に示す速度ベク
トルすなわち201F、202F、301F、302
F、303F、401F及び402Fが得られる。この
得られた速度ベクトルがオプティカルフローである。
内の無限遠点あるいは消失点として定義されるFOE(F
ocus of Expansion)から放射状に現れていることが判
る。このFOEは、車両が直進している場合の画像上に
おいて、自車両の進行方向の正反対方向を示す1点に対
応する。そして、自車両の走行状態において、自車両か
ら遠ざかる物体のオプティカルフローは上記FOEに向
かう収束方向のベクトルとなり、自車両に近づいてくる
物体のオプティカルフローは上記FOEから離れる発散
方向のベクトルとなる。従って、同図に201F及び2
02Fで示す後続の他車両200のオプティカルフロー
は発散方向のベクトルであるので、この他車両は自車両
に近づいてきていること、換言すれば自車両よりも高速
で走行している車両であることが判る。
関し、このオプティカルフローの大きさは、単位時間に
おける自車両と対象物体との距離の差すなわち速度差が
大きい程大きくなり、自車両と対象物体との相対距離が
近い程大きくなる。このことを図面を参照して説明す
る。
た図である。同図において、11aは撮像部10のビデ
オカメラが有するレンズ、11bは同じくビデオカメラ
が有するイメージプレーン、fはレンズ11aからイメ
ージプレーン11bまでの距離、P(Xa ,Ya ,
Za )は後続する他車両上の任意の1点、p(xa ,y
a)はイメージプレーン11b上における上記点Pに対
応する点である。
(1)の関係が得られる。 xa =f・Xa /Za ・・・ (1) この式(1)を変形して時間微分すると、次式(2)が
得られる。 Xa ’=(Δxa /Δt・Za +xa ・Za ’)/f ・・・ (2) また、オプティカルフローのx方向成分uは、次式
(3)で表せる。 u=Δxa /Δt ・・・ (3) 従って、この式(3)により次式(4)を得ることがで
きる。 Za =(f・Xa ’−xa ・Za ’)/u ・・・ (4)
あるいは隣接車線を走行する他車両(図16に符号20
0で示す)と撮像部10が搭載された自車両との速度差
すなわち相対速度を示している。この相対速度を−αと
すると上式(4)は次式(5)となる。 Za =(f・Xa ’+xa α)/u ・・・ (5) よって、オプティカルフローのx方向成分uは、次式
(6)のように表すことができる。 u=(f・Xa ’+xa α)/Za ・・・ (6) なお、点PのY座標Ya についても同様にして求めるこ
とができる。
続車両又は隣接車線を走行中の他車両200までの距離
が小である程、あるいは、αが大すなわち他車両200
との速度差が大である程、オプティカルフローのx成分
は大きくなる。これはY方向についても同様である。従
って、オプティカルフローは後続する他車両200との
距離が小な程、更に互いの速度差が大な程長くなり、こ
れよりオプティカルフローの方向がFOEに対して発散
し、その長さが短いときより長いときの方が相対的に後
続車両又は隣接車両に対する危険度が大きことが判る。
ィカルフローが上述した発散方向のベクトルであり且つ
その大きさが大きい場合には、対象物体は自車両に対
し、接近した位置に存在するか、自車両よりも高速で接
近しているかの少なくとも一方の状態にあると考えら
れ、危険度が高いと判断する。そして、危険度が高いと
判断した場合には、スピーカ42により運転者にその旨
を知らせる。
び先願装置では、オプティカルフローの大きさに基づき
認識を行うよう構成されているので、後方や隣接車線を
走行している他車両に関し、その相対距離、相対速度及
び危険度を自動的に判断でき、且つ、特別な距離計を必
要としない利点があり有効である。
では、オプティカルフローの検出には時間を要するこ
と、ビデオカメラのぶれあるいは似たような構造物が撮
像されることにより、本来、同一点でない点が同一点と
して誤認識されてしまう可能性がある。このため、オプ
ティカルフローを検出する際において、その対象とする
監視対象領域を例えば撮像画像中における下半分領域と
いったように制限し、処理の高速化を図るとともに誤認
識の発生を減少させるように構成していた。
下半分領域に制限したとしても、実際に車両が走行する
領域は、この制限された領域中の一部の領域であるの
で、この点においてまだ改良の余地があった。本発明
は、このような点に鑑みてなされたものであり、オプテ
ィカルフロー検出時における監視対象領域をさらに制限
し、処理を高速化するとともに他車両の誤認識を減少で
きる車両周辺監視装置を提供することをその課題とす
る。
め、本発明によりなされた車両周辺監視装置は、図1の
基本構成図に示すように、自車両の所定位置に配設され
自車両の周辺領域を撮像する撮像手段(11)と、所定
時間相前後する2画像中における同一点について、監視
領域内における前記点の無限遠点から発散する方向の移
動をオプティカルフローとして検出するオプティカルフ
ロー検出手段(31a)とを有し、自車両の周辺を走行
する他車両のオプティカルフローのベクトルの大きさに
基づいて、前記他車両と自車両との相対情報を取得する
車両周辺監視装置において、路面上に描かれた分離線に
基づいて監視領域を複数の分割監視領域に分割する監視
領域分割手段(31b)と、前記監視領域分割手段(3
1b)により分割された分割監視領域を選択する領域選
択手段(31c)とを有し、前記領域選択手段(31
c)により選択された分割監視領域を前記オプティカル
フロー検出手段(31a)による監視領域とすることを
特徴としている。(請求項1)
両の転回方向を検出する転回方向検出手段(51)、運
転者による転回指示を検出する転回指示検出手段(5
2)及び前記分離線の種別を検出する分離線検出手段
(31d)の少なくとも1つの手段から出力された検出
信号に基づき、前記監視領域を選択することを特徴とし
ている。(請求項2)
前記分離線が連続した直線であることを検出する連続線
検出手段(31e)と、前記分離線が破線であることを
検出する破線検出手段(31f)とを有し、前記領域選
択手段(31c)は、監視領域分割手段(31b)によ
り分割された分割監視領域の内、破線の分離線側の分割
監視領域を選択するように構成したことを特徴としてい
る。(請求項3)
撮像画像を微分することにより微分画像を生成する画像
微分手段(31g)と、前記画像微分手段(31g)に
より生成された微分画像に基づいて分離線を構成する分
離線候補点を抽出し、この抽出した分離線候補点から分
離線を認識する分離線認識手段(31h)とを有し、前
記監視領域分割手段(31b)は、前記分離線認識手段
(31h)により認識された分離線に基づいて監視領域
を複数の分割監視領域に分割することを特徴としてい
る。(請求項4)
破線検出手段(31f)は、前記分離線認識手段(31
h)により認識された分離線に基づき、前記分離線が連
続した直線であるか破線であるかを検出することを特徴
としている。(請求項5)
も車両の前方あるいは後方のいずれか一方に向けて取り
付けられており、前記分離線認識手段(31h)は、撮
像画像上における水平方向略中心位置に垂直方向に設定
された基準線から、水平方向両端部に向けてエッジ点を
探索することにより分離線候補点群を取得する分離線候
補点取得手段(31i)と、前記分離線候補点取得手段
(31i)により取得された分離線候補点群から、最も
多くの分離線候補点を含む直線を前記基準線の水平方向
両端部側よりそれぞれ取得する直線取得手段(31j)
とを有し、前記直線取得手段(31j)により取得され
た直線を分離線として認識することを特徴としている。
(請求項6)
割手段(31b)は、路面上に描かれた分離線に基づい
て監視領域を複数の分割監視領域に分割し、領域選択手
段(31c)は、この分割監視領域をオプティカルフロ
ー検出手段(31a)による監視領域として選択する。
づいて監視領域を分割する手段と、この分割された分割
監視領域を選択し新たな監視領域を設定する手段とを設
けたので、分離線に基づいて車両の走行車線毎に監視領
域を設定することができる。そして、他車両が走行しな
い走行車線領域あるいは自車両が走行しない走行車線領
域に関しては監視対象から外すことにより、監視領域を
必要な領域に制限することができる。
選択手段(31c)は、請求項2に示すように、転回方
向検出手段(51)、転回指示検出手段(52)及び分
離線検出手段(31d)の少なくとも1つの手段から出
力された検出信号に基づき、前記監視領域を選択する。
車両の左右側の進行方向である転回方向を検出する。そ
して、転回指示検出手段(52)は、運転者が車両を左
右側に転回させる際に操作する機構からの転回指示情報
を検出する。また、分離線検出手段(31d)は、撮像
画像から上記分離線の種別すなわち車線変更可能な分離
線であるのか車線変更を禁止する分離線であるのかを判
定する。そして、領域選択手段(31c)は、これらの
各手段(51、52、31d)からの検出情報に基づい
て分割監視領域を選択するので、車両が実際に転回して
いる方向〔転回方向検出手段(51)〕、これから転回
しようとする方向〔転回指示検出手段(52)〕あるい
は車両が転回可能な車線の方向〔分離線検出手段(31
d)〕の監視領域を選択することができ、監視領域を必
要な領域に制限することができる。
は、請求項3に示すように、連続線検出手段(31e)
と破線検出手段(31f)とを有している。そして、連
続線検出手段(31e)は、分離線が連続した直線であ
ることを検出し、破線検出手段(31f)は、分離線が
破線であることを検出する。
分離線が連続した直線であることすなわち分離線が車線
変更を禁止する種別であることを検出する手段〔連続線
検出手段(31e)〕及び分離線が破線であることすな
わち分離線が車線変更可能な種別であることを検出する
手段〔破線検出手段(31f)〕を設けたので、車両が
転回可能な車線の方向を検出することができる。
微分手段(31g)は、撮像手段(11)撮像画像から
微分画像を生成し、分離線認識手段(31h)は、微分
画像から分離線候補点を抽出するとともにこの抽出した
分離線候補点から分離線を認識する。
撮像画像を微分することにより、画像上の境界画像すな
わちエッジ部分の画像(微分画像)を生成し、この生成
した微分画像から分離線を認識するように構成したの
で、路面上に描かれた分離線は、この微分画像上におい
て直線状に現れる。従って、この分離線を示す直線を検
出することにより、撮像画像上における分離線を認識す
ることができる。
線検出手段(31e)及び破線検出手段(31f)は、
上記請求項4に示された分離線認識手段(31h)から
の分離線の認識情報により、当該分離線が連続した直線
であるか破線であるかを検出する。
微分画像上において直線状に現れたエッジ画像につい
て、このエッジ画像が破線あるいは連続線であるのかを
認識し、そして、連続線検出手段(31e)及び破線検
出手段(31f)は、この認識情報に基づいて分離線が
連続した直線であるか破線であるかを検出する。
基づいて検出するように構成したので、認識に係る処理
を簡単にすることができ処理を高速に行うことができ
る。
線認識手段(31h)は、分離線候補点取得手段(31
i)と、直線取得手段(31j)とを有している。この
分離線候補点取得手段(31i)は、車両の前方あるい
は後方の撮像画像上における水平方向略中心位置すなわ
ち車両が走行している車線上に、垂直方向すなわち車両
の進行方向に向けて延長された基準線から、水平方向す
なわち車両の転回方向側における両端部に向けてエッジ
点を探索し、これにより分離線候補点群を取得する。一
方、直線取得手段(31j)は、取得された分離線候補
点群から、最も多くの分離線候補点を含む直線を取得す
る。なお、この直線取得手段(31j)により取得され
る直線は、前記基準線を境にして水平方向両端部よりそ
れぞれ取得される。そして、分離線認識手段(31h)
は、この取得された直線を分離線として認識する。
方あるいは後方に向けて取り付けることにより、撮像手
段(11)により撮像された画像は、車両の進行方向を
直視した画像となる。そして、この撮像画像における水
平方向中心位置に基準線を設定することにより、この基
準線は、車両が走行している走行車線上の水平方向略中
心位置に位置する。従って、この基準線より水平方向両
端部側にエッジ点を探索することにより、取得されたエ
ッジ点が走行車線を分離する分離線を示すエッジ点であ
る確度が高くなるので、分離線の認識確度を向上させる
ことができる。
例を図面を参照して説明する。図2は、本発明が適用さ
れる装置の構成を示すブロック図で、同図において、1
0は撮像部、20は撮像部10からの画像データなどを
保持する記憶部、30は撮像部10からの画像情報に基
づき画像処理及び他車両との相対関係監視処理などを実
行するデータ処理部、40は撮像部10からの画像情報
を表示したり警報を発生する表示警報部、50は自車両
の走行方向を示す情報、走行方向を変更する際の操作情
報を示す信号の入力を行う信号入力部である。
されている。そして、このビデオカメラ11は、図17
にて説明したように、レンズ(図17にて符号11aに
て示す)とイメージプレーン(同11b)とを有してい
る。そして、撮像部10のビデオカメラ11は、図3に
示すように車両に取り付けられている。
0の後部のトランク部110上に、支持台12を介し
て、車両100の後方に向けて取り付けられている。そ
して、このビデオカメラ11は、車両の後方画像を撮像
するように構成されている。そして、このビデオカメラ
11は、データ処理部30のCPU31(後述)に対
し、車両後方の撮像画像情報を出力する。
画像情報を微分することにより生成された微分画像情報
を保持する微分画像メモリ21と、前記撮像画像情報を
保持する第1フレームメモリ22及び第2フレームメモ
リ23と、発散方向のオプティカルフローを保持する発
散オプティカルフローメモリ24とを有している。
リ21乃至24の内、微分画像メモリ21、第1フレー
ムメモリ22及び第2フレームメモリ23は、例えば5
12画素×512画素といったm行n列からなるマトリ
クス状のメモリとして構成されている。また、各メモリ
21乃至24は、データ処理部30のCPU31に対
し、読み書き可能に接続されている。
同様な構成を有している。すなわち、動作プログラムに
従って動作する中央制御装置としてのCPU31、この
CPU31の動作プログラム及び予め与えられる設定値
などを保持するROM32及びCPU31の演算実行時
に必要なデータを一時的に保持するRAM33を有して
いる。
カ42と、制動機構43とを有している。表示器41
は、CRTなどで構成され、ビデオカメラ11が撮像し
た撮像画像を表示したり、あるいは、データ処理部30
(CPU31)が他車両との接触危険性有りと判定した
際に、メッセージなどを表示して運転者に対して危険を
映像で知らせる。
音声信号に基づき、音声ガイダンスあるいは警報音とい
った音声を発生する。そして、データ処理部30が他車
両との接触危険性有りと判定した場合には、この音声に
より運転者に対して危険を音声で知らせる。
ブレーキとして構成されている。この制動機構43は、
通常のブレーキとは別系統の制御にて動作するもので、
上述した表示器41及びスピーカ42と同様に、データ
処理部30が他車両との接触危険性有りと判定した場合
において作動し、車両を制動させる。
車両の操舵輪(一般には前輪)の操舵角を検出する舵角
センサ51と、運転者によるウインカ機構の操作状態を
検出するウインカ検出スイッチ52とを有しており、舵
角センサ51により車両の転回情報を検出し、ウインカ
検出スイッチ52により運転者が車両を左右側に転回さ
せる際に操作するウインカ機構からの転回指示情報を検
出する。
ちデータ処理部30による制御動作について、フローチ
ャートを参照して説明する。この具体例においては、ま
ず図4のフローチャートすなわち具体例における主フロ
ーチャートのステップS110にて、画像取得処理を行
う。
理は、最初の処理を行う際に、監視領域を設定するため
の画像情報を取得する処理で、このステップS110の
処理により、例えば図7に示す後方の画像が撮像され
る。この撮像画像は、上述したように、ビデオカメラ1
1が車両100の後部に後方に向けて取り付けられてい
るので、車両の後方を直視した画像となっており、同図
に示すように、道路500、道路500上に描かれた分
離線510乃至550及び道路500の両脇に立設され
た壁600が、画像上における水平方向中心位置にて消
失する画像となっている。そして、この取得した画像情
報については、記憶部20の第1フレームメモリ21に
格納される。
いった自動車専用道路上を走行中の自車両からの撮像画
像を例示している。従って、この撮像画像において、連
続直線となっている分離線510、530及び550
は、車線変更を禁止する線として描かれ、破線となって
いる分離線520及び540は、車線変更が可能な線と
して描かれている。また、この撮像画像は、上述したよ
うに、車両の後方に向けて取り付けられているので、撮
像画像における右側が進行方向を基準とした場合の左側
に相当し、撮像画像における左側が進行方向を基準とし
た場合の右側に相当する。以後、この撮像画像を基準と
した左右方向で説明を行うことにする。
設定処理を行う。この監視領域設定処理は、具体的に
は、図5のフローチャートによりなされる。以下、この
図5のフローチャートを参照して説明する。
S210にて、取得画像の微分処理を行う。より詳細に
は、このステップS210では、上記ステップS110
で取得され、第1フレームメモリ21に格納された画像
情報に関し、そのm行n列の画像データの輝度値Im,n
を図7における水平方向に走査し、次式(7)の演算に
よって微分画像を生成する。 |Im,n+1 −Im,n |≧E0 ならば Em,n =1 |Im,n+1 −Im,n |<E0 ならば Em,n =0 ・・・(7) 上記式中、E0 はしきい値
実行することにより、縦方向あるいは斜方向に輝度値に
差を有する部分の画像すなわち境界(エッジ)部分が線
状に現れた画像が生成される。例えば、上述した図7の
撮像画像に対し、このステップS210の微分処理を行
った場合には、図8に示すような微分画像(エッジ画
像)が生成される。そして、この微分画像については、
記憶部20の微分画像メモリ21に格納される。
ッジ抽出処理を行う。この分離線エッジ抽出処理は、具
体的には、図6のフローチャートによりなされる。以
下、この図6のフローチャートを参照して説明する。
テップS310にて、基準線の設定を行う。このステッ
プS310では、上記ステップS210で生成された微
分画像を読み出し、この微分画像に対し基準線を設定す
る。より詳細には、図9の模式図に示すように、この基
準線VSLは、後方画像上の水平方向における中心位置で
あって垂直方向に、撮像画像を縦断するように設定され
る。
ている分離線520及び分離線530にて区切られた車
線上であって、この車線の水平方向略中心位置に設定さ
れる。これは、一般に車両は、分離線で区切られた車線
上のほぼ中央を走行するからである。このように基準線
VSLを設定した後、ステップS320に移行する。
点の探索を行う。この分離線エッジ候補点の探索処理
は、上記ステップS310にて設定された基準線VSLか
ら水平方向側になされる。また、このエッジ点の探索処
理は、撮像画像における下方側すなわち自車両に近接し
た位置から所定距離遠方側の範囲に対してなされる。
に、この微分画像が上述したように512画素×512
画素からなるマトリクス状のメモリから構成されていた
とすると、このエッジ点の探索処理は、その最下端にあ
る水平ラインH(L0)から垂直方向における1/3の高さ
に相当する水平ラインH(L169)までの範囲H1/3 が設定
されこの範囲H1/3 に対して処理が行われる。
の撮像画像に適した範囲として任意に設定することがで
きる。すなわち、路面に描かれた分離線(分離線520
及び530)を認識可能な範囲であれば、上述した1/
3の高さに限定されるものではない。
たように、画面の下端に位置する水平ラインH(L0)から
上側の水平ラインH(L169)に向けて探索処理を実行す
る。すなわち、この探索処理においては、まず、基準線
VSL上であって最下端の点P(S0)から、水平方向両端部
に向けてエッジ点の探索を行う。そして、図9の例にお
いては、この探索処理により、基準線VSLの左側に存在
する分離線520のエッジを構成する点P(L0)及び基準
線VSLの右側に存在する分離線530のエッジを構成す
る点P(R0)が取得される。
(S1)から、水平方向両端部に向けてエッジ点の探索が行
われ、これにより基準線VSLの左側に存在する分離線5
20のエッジを構成する点P(L1)及び基準線VSLの右側
に存在する分離線530のエッジを構成する点P(R1)が
取得される。
向けて順次実行すると、その中間位置すなわち基準線V
SL上の点P(Sn)にて、基準線VSLの左側に存在する分離
線520の切れ目に遭遇する。この場合、この基準線V
SLの右側においては分離線530のエッジを構成するエ
ッジ点P(Rn)が取得されるが、基準線VSLの左側におい
ては、エッジ点は取得されない。そして、基準線VSL上
の点P(Sm)にて、再度分離線520のエッジを構成する
点P(Lm)及び分離線530のエッジを構成する点P(Rm)
が取得される。
基準線VSL上の点P(S(m+2))にて、他車両200のタイ
ヤのエッジを構成する点P(L(m+2))及び点P(R(m+2))が
取得され、基準線VSL上の点P(S(m+4))にて、他車両2
00のタイヤのエッジを構成する点P(L(m+4))及び点P
(R(m+4))が取得される。そして、この探索処理を監視領
域における上端である水平ラインH(L169)まで実行する
と、図10に示す分離線エッジ候補点が取得される。こ
のような分離線エッジ候補点の取得により、ステップS
320の分離線エッジ候補点の探索処理を終了して、ス
テップS330に移行する。
ッジ点の抽出処理を行う。このハフ変換は、検出したい
線を表現する式のパラメータにより構成される空間でエ
ッジ要素のクラスタリングを行うことにより、このパラ
メータを決定する方法である。より詳細には、エッジを
構成する座標点(x,y)を次式(8)に従ってパラメ
ータ空間(ρ,θ)に写像すると、同一の直線上の座標
点は、全てこのパラメータ空間上の一点を通過すること
を利用し、複数の座標点群から直線上に存在する座標点
を抽出する処理である。 ρ = xcosθ + ysinθ ・・・ (8)
0の分離線候補点について、基準線VSLの右側に存在す
る分離線候補点群〔同図にP(R0)乃至P(R(m+4))にて示
す〕と、基準線VSLの左側に存在する分離線候補点群
〔同図にP(L0)乃至P(L(m+4))にて示す〕について、上
述したハフ変換を実行する。この処理を実行することに
より、図10の分離線候補点群すなわち点P(R0)乃至P
(R(m+4))及び点P(L0)乃至P(L(m+4))から図11に示す
点P(R0)乃至P(R(m +1))及び点P(L0)乃至P(L(m+1))が
分離線を構成するエッジ点(分離線エッジ点)として抽
出される。そして、このステップS330の処理が終了
すると、一連の分離線エッジ抽出処理を終了し、図5の
フローチャートにおけるステップS230に移行する。
線エッジ抽出処理においては、ビデオカメラ11を車両
の後方に向けて取り付けることにより、ビデオカメラ1
1により撮像された画像は、車両の進行方向を直視した
画像となる。そして、この撮像画像における水平方向中
心位置に基準線VSLを設定したので、この基準線V
SLは、車両が走行している走行車線上の水平方向略中心
位置に位置する。そして、この基準線VSLより水平方向
両端部側にエッジ点を探索するように構成したので、取
得されたエッジ点は走行車線を分離する分離線を示すエ
ッジ点となる確率が高くなり、分離線の認識確度を向上
させることができる。
行う。この分離線認識処理では、上記ステップS220
(ステップS310乃至S330)にて抽出された分離
線エッジ点(点P(R0)乃至P(R(m+1))及び点P(L0)乃至
P(L(m+1)))について、最小二乗法による近似直線を生
成し、この生成した近似直線を分離線として認識する処
理である。そして、この分離線認識処理により、図11
に符号OR で示す右側近似直線(点P(R0)乃至P
(R(m+1)))及び符号OL で示す左側近似直線(点P(L0)
乃至P(L (m+1)))が生成され、これらの右側近似直線O
R 及び左側近似直線OL が分離線として認識される。
し、この生成した微分画像から分離線を認識するように
構成したので、路面上に描かれた分離線は、この微分画
像上において直線状に現れる。そして、この分離線を示
す直線を検出することにより、撮像画像上における分離
線を認識することができる。
ップSS230で認識した分離線に基づいて上述したF
OE(消失点)を設定する処理を行う。すなわち、この
FOE設定処理では、図11に示すように、分離線とし
て認識された右側近似直線O R と左側近似直線OL に基
づき、これらの近似直線の交点座標を算出するとともに
この算出した交点座標をFOEとして設定する。そし
て、このステップS240にてFOEを設定するとステ
ップS250に移行する。
行う。この監視領域の分割処理は、上記ステップS23
0にて認識された分離線すなわち右側近似直線OR 及び
左側近似直線OL と、上記ステップS240にて設定さ
れたFOEとに基づきなされる。そして、この監視領域
の分割処理により、図12に示すように、上記FOEか
ら水平方向右側に延びる境界線である右側上端線H
URと、水平方向左側に延びる境界線である左側上端線H
ULとが設定され、これらの右側上端線HUR及び左側上端
線HULと、右側近似直線OR 及び左側近似直線OL によ
り、監視領域SVは、右側監視領域SV(R) 、中央監視
領域SV(S) 及び左側監視領域SV(L) に分割される。
車線の判定を行う。この判定処理は、上記ステップS2
50にて分割された監視領域SV(図12参照)につい
て、自車両が走行している車線に相当する中央監視領域
SV(S) を基準として、この中央監視領域SV(S) に右
側監視領域SV(R) あるいは左側監視領域SV(L) のい
ずれの領域側に監視領域を拡張するかを判定する。
種別に基づいて監視領域の拡張を行うように構成してい
る。この場合、上記ステップS330の処理により抽出
された分離線エッジ点の配列状態に基づいて分離線の種
別を判定する。例えば、図11に示すように分離線エッ
ジ点が抽出されたとすると、連続線である分離線530
に対応する右側近似直線OR 上の点P(R0)乃至P
(R(m+1))は各エッジ点が連続した状態に配列されてお
り、破断線である分離線520に対応する左側近似直線
OL 上の点P(L0)乃至P(L(m+1))は各エッジ点がその途
中で破断した状態に配列されている。
その途中に破断部分が存在する場合には分離線が破断線
であるとみなし、連続した配列状態である場合には分離
線が連続線であるとみなしている。さらに、分離線が破
断線である場合には、この分離線が車線変更可能な種別
であると判定し、分離線が連続線である場合には、この
分離線が車線変更を禁止する種別であると判定してい
る。従って、この判定処理では、分離線が車線変更可能
な種別すなわち破断線である側に監視領域を拡張する。
例えば、図11に示す場合においては、分離線520に
対応する左側近似直線OL 上の点P(L0)乃至P(L(m+1))
側に領域を拡張すると判定する。
種別(連続線)であることを検出する手段と、分離線が
車線変更可能な種別(破断線)であることを検出する手
段を設けたので、車両が転回可能な車線の方向を検出す
ることができる
分離線を検出する場合において、エッジ点に破断部分が
存在するか否かに基づいて判定する構成を示している
が、この構成では、車両により分離線が隠れた場合にも
分離線が破断部分を有すると判定してしまう可能性があ
る。このため、この構成においては、破断線を判定する
にあたり、破断部分の基準長さを設定し、この基準長さ
の範囲内である場合に破断線と判定し、基準長さの範囲
を超えたものについては車両により分離線が隠れたもの
と判定するようにしている。このように構成することに
より、車両による分離線の誤認識を防ぐことができる。
分離線が連続線であるか破線であるかに基づいて車線変
更可能な領域を判定し、車線変更可能な側に監視領域を
拡張する構成を例示したが、この判定を信号入力部50
の舵角センサ51及びウインカ検出スイッチ52からの
出力に基づいて行うように構成してもよい。すなわち、
舵角センサ51により検出されたハンドル舵角あるいは
車両の操舵輪(一般には前輪)の操舵角情報、ウインカ
検出スイッチ52により検出された運転者によるウイン
カ機構の操作状態の情報に基づいて監視領域を拡張する
ように構成してもよい。
ウインカ検出スイッチ52からの検出情報に基づいて分
割監視領域を選択した場合、車両が実際に転回している
方向あるいはこれから転回しようとする方向の監視領域
を選択することができ、監視領域を必要な領域に制限す
ることができる。
分離線が存在した場合には、ステップS262に移行
し、中央監視領域SV(S) に左側監視領域SV(L) を加
えた監視領域を設定し、一方、右側に破断線の分離線が
存在した場合には、ステップS261に移行し、中央監
視領域SV(S) に右側監視領域SV(R) を加えた監視領
域を設定する(図12参照)。
づいて監視領域を分割し、この分割された分割監視領域
を選択し新たな監視領域を設定するように構成したの
で、分離線に基づいて車両の走行車線毎に監視領域を設
定することができ、他車両が走行しない走行車線領域あ
るいは自車両が走行しない走行車線領域に関しては監視
対象から外すことにより、監視領域を必要な領域に制限
することができる。そして、このステップS261及び
S262の処理にて監視領域を拡張することにより、一
連の監視領域設定処理を終了し、図4のフローチャート
におけるステップS130に移行する。
ー検出処理を行う。このオプティカルフロー検出処理
は、上記ステップS120で設定された監視領域につい
てなされ、上述したように、左側に破断線の分離線が存
在し、中央監視領域SV(S) に左側監視領域SV(L) を
加えた監視領域が設定された場合には、図13に示すよ
うに、第1フレームメモリ22に格納された撮像画像
に、左側上端線HUL及び右側近似直線OR により規定さ
れる範囲の監視領域が設定される。
された撮像画像より所定時間△tだけ遅延して撮像さ
れ、第2フレームメモリ23格納された撮像画像に対し
ても同じ監視領域(中央監視領域SV(S) 及び左側監視
領域SV(L) )が設定される。そして、このステップS
130では、図14に示すように、時刻tにおける撮像
画像(図13参照)中の画像構成点と、時刻t+△tの
撮像画像中の画像構成点において、互いに対応する各点
間の移動方向並びに移動量をオプティカルフローとして
検出する。
については、時刻tにおける点201a及び202aと
対応する時刻t+△tにおける点201b及び202b
間の移動方向並びに移動量が、オプティカルフロー20
1F及び202Fとして検出される。
算出処理を行う。すなわち、このステップS140で
は、上記ステップS130にて取得したオプティカルフ
ローの内、上述したオプティカルフロー201F及び2
02Fのように発散方向のオプティカルフローに対し、
その大きさ(長さ)に重み付けをし数値化する。なお、
この算出処理において、しきい値を数レベル設定してお
き、危険度のレベルを算出するようにしてもよい。
ップS140で算出された危険度に基づき、この危険度
が或るしきい値を越えたら危険と判断する。また、危険
度のレベルが与えられた場合には、このレベルが規定値
以上となった場合に危険と判断する。そして、この判定
処理で危険と判断された場合には、ステップS160に
て警報処理を実行し、一方、危険でないと判断された場
合には、一連の処理を終了して再度上述したステップS
110からの処理を実行する(RTS)。
示警報部40のスピーカ42に対し音声信号を送出し、
このスピーカ42から音声ガイダンスあるいは警報音を
発生させることにより運転者に対して注意を促し、表示
器41によりメッセージなどを表示して運転者に対して
危険を映像で知らせる。また、危険度のレベルが非常に
高い場合には、制動機構43を作動させ、車両を制動さ
せる動作を行う。そして、このステップS160の警報
処理が終了すると、一連の処理を終了して再度上述した
ステップS110からの処理を実行する(RTS)。
ラ11が車両の後方に向けて取り付けられた構成を例示
したが、このビデオカメラ11に関し、車両の前方側に
取り付けるように構成してもよい。
基本構成と具体例のフローチャートとは次の対応関係を
有している。すなわち、本発明の基本構成におけるオプ
ティカルフロー検出手段31aは、図4のフローチャー
トにおけるステップS130に対応し、監視領域分割手
段31bは、図5のフローチャートにおけるステップS
250に対応し、領域選択手段31cは、同フローチャ
ートにおけるステップS260乃至S262に対応して
いる。
ローチャートにおけるステップS220及びS230に
対応し、連続線検出手段31e及び破線検出手段31f
は、共に同フローチャートにおけるステップS260に
対応している。
フローチャートにおけるステップS210に対応し、分
離線認識手段(31h)は、同フローチャートにおける
ステップS230に対応している。
は、図6のフローチャートにおけるステップS320及
びS330に対応し、直線取得手段(31j)は図5の
フローチャートにおけるステップS230に対応してい
る。
次の効果を奏する。すなわち、路面上に描かれた分離線
に基づいて監視領域を分割する手段と、この分割された
分割監視領域を選択し新たな監視領域を設定する手段と
を設けたので、分離線に基づいて車両の走行車線毎に監
視領域を設定することができる。そして、他車両が走行
しない走行車線領域あるいは自車両が走行しない走行車
線領域に関しては監視対象から外すことにより、監視領
域を必要な領域に制限することができる。
方向を検出する手段、運転者が車両を左右側に転回させ
る際に操作する機構からの転回指示情報を検出する手
段、あるいは撮像画像から上記分離線の種別すなわち車
線変更可能な分離線であるのか車線変更を禁止する分離
線であるのかを判定する手段からの検出情報に基づいて
分割監視領域を選択するように構成したので、車両が実
際に転回している方向、これから転回しようとする方向
あるいは車両が転回可能な車線の方向の監視領域を選択
することができ、監視領域を必要な領域に制限すること
ができる。
あることを検出する手段及び分離線が車線変更可能な種
別であることを検出する手段を設けたので、車両が転回
可能な車線の方向を検出することができる。
像上の境界画像すなわちエッジ部分の画像(微分画像)
を生成し、この生成した微分画像から分離線を認識する
ように構成したので、路面上に描かれた分離線は、この
微分画像上において直線状に現れる。従って、この分離
線を示す直線を検出することにより、撮像画像上におけ
る分離線を認識することができる。
て検出するように構成したので、認識に係る処理を簡単
にすることができ処理を高速に行うことができる。
に向けて取り付けるとともに撮像画像上における水平方
向中心位置に基準線を設定するように構成したので、こ
の基準線より水平方向両端部側にエッジ点を探索するこ
とにより、取得されたエッジ点が走行車線を分離する分
離線を示すエッジ点である確度が高くなり、分離線の認
識確度を向上させることができる。
である。
ローチャートである
フローチャートである。
説明する図である。
(エッジ画像)を説明する図である。
る。
線エッジ候補点を示す図である。
認識された分離線及びFOE設定処理により設定された
FOEの関係を説明する模式図である。
る。
図である。
撮像画像から得られるオプティカルフローを示す説明図
である。
Claims (6)
- 【請求項1】 自車両の所定位置に配設され自車両の周
辺領域を撮像する撮像手段と、所定時間相前後する2画
像中における同一点について、監視領域内における前記
点の無限遠点から発散する方向の移動をオプティカルフ
ローとして検出するオプティカルフロー検出手段とを有
し、自車両の周辺を走行する他車両のオプティカルフロ
ーのベクトルの大きさに基づいて、前記他車両と自車両
との相対情報を取得する車両周辺監視装置において、 路面上に描かれた分離線に基づいて監視領域を複数の分
割監視領域に分割する監視領域分割手段と、 前記監視領域分割手段により分割された分割監視領域を
選択する領域選択手段とを有し、 前記領域選択手段により選択された分割監視領域を前記
オプティカルフロー検出手段による監視領域とすること
を特徴とする車両周辺監視装置。 - 【請求項2】 前記領域選択手段は、車両の転回方向を
検出する転回方向検出手段、運転者による転回指示を検
出する転回指示検出手段及び前記分離線の種別を検出す
る分離線検出手段の少なくとも1つの手段から出力され
た検出信号に基づき、前記監視領域を選択することを特
徴とする請求項1記載の車両周辺監視装置。 - 【請求項3】 前記分離線検出手段は、前記分離線が連
続した直線であることを検出する連続線検出手段と、前
記分離線が破線であることを検出する破線検出手段とを
有し、 前記領域選択手段は、監視領域分割手段により分割され
た分割監視領域の内、破線の分離線側の分割監視領域を
選択するように構成したことを特徴とする請求項2記載
の車両周辺監視装置。 - 【請求項4】 撮像手段により撮像された撮像画像を微
分することにより微分画像を生成する画像微分手段と、 前記画像微分手段により生成された微分画像に基づいて
分離線を構成する分離線候補点を抽出し、この抽出した
分離線候補点から分離線を認識する分離線認識手段とを
有し、 前記監視領域分割手段は、前記分離線認識手段により認
識された分離線に基づいて監視領域を複数の分割監視領
域に分割することを特徴とする請求項1、2または3記
載の車両周辺監視装置。 - 【請求項5】 前記連続線検出手段及び破線検出手段
は、前記分離線認識手段により認識された分離線に基づ
き、前記分離線が連続した直線であるか破線であるかを
検出することを特徴とする請求項4記載の車両周辺監視
装置。 - 【請求項6】 前記撮像手段は、少なくとも車両の前方
あるいは後方のいずれか一方に向けて取り付けられてお
り、 前記分離線認識手段は、撮像画像上における水平方向略
中心位置に垂直方向に設定された基準線から、水平方向
両端部に向けてエッジ点を探索することにより分離線候
補点群を取得する分離線候補点取得手段と、 前記分離線候補点取得手段により取得された分離線候補
点群から、最も多くの分離線候補点を含む直線を前記基
準線の水平方向両端部側よりそれぞれ取得する直線取得
手段とを有し、 前記直線取得手段により取得された直線を分離線として
認識することを特徴とする請求項4または5記載の車両
周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30024095A JP3635591B2 (ja) | 1995-11-17 | 1995-11-17 | 車両周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30024095A JP3635591B2 (ja) | 1995-11-17 | 1995-11-17 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09142209A true JPH09142209A (ja) | 1997-06-03 |
JP3635591B2 JP3635591B2 (ja) | 2005-04-06 |
Family
ID=17882405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30024095A Expired - Fee Related JP3635591B2 (ja) | 1995-11-17 | 1995-11-17 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3635591B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090243A (ja) * | 1998-09-14 | 2000-03-31 | Yazaki Corp | 周辺監視装置及び方法 |
JP2000276697A (ja) * | 1999-01-18 | 2000-10-06 | Yazaki Corp | 車両用周辺監視装置 |
JP2000285245A (ja) * | 1999-03-31 | 2000-10-13 | Toshiba Corp | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
JP2007235414A (ja) * | 2006-02-28 | 2007-09-13 | Toyota Motor Corp | 画像認識システムおよび画像認識方法 |
JP2008123348A (ja) * | 2006-11-14 | 2008-05-29 | Toyota Motor Corp | 車線検出装置 |
JP2013017024A (ja) * | 2011-07-04 | 2013-01-24 | Denso Corp | 車両接近物検知装置 |
KR20180119750A (ko) * | 2017-04-26 | 2018-11-05 | (주)베라시스 | 옵티컬 플로우를 이용한 주차 장애물 검출방법 |
WO2020107523A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6233599B2 (ja) * | 2014-02-25 | 2017-11-22 | マツダ株式会社 | 車両用表示制御装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS639813A (ja) * | 1986-06-30 | 1988-01-16 | Suzuki Motor Co Ltd | 車間距離検出方式 |
JPH02241855A (ja) * | 1989-03-16 | 1990-09-26 | Mikuni Corp | 先行車識別方法 |
JPH06282655A (ja) * | 1993-03-30 | 1994-10-07 | Toyota Motor Corp | 移動体認識装置 |
JPH06314340A (ja) * | 1993-04-30 | 1994-11-08 | Mitsubishi Electric Corp | 車両周辺監視装置 |
JPH06341821A (ja) * | 1993-06-01 | 1994-12-13 | Matsushita Electric Ind Co Ltd | 走行レーン検出装置 |
JPH0750769A (ja) * | 1993-08-06 | 1995-02-21 | Yazaki Corp | 車両用後側方監視方法 |
JPH07250268A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
JPH07302325A (ja) * | 1994-04-30 | 1995-11-14 | Suzuki Motor Corp | 車載用画像認識装置 |
-
1995
- 1995-11-17 JP JP30024095A patent/JP3635591B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS639813A (ja) * | 1986-06-30 | 1988-01-16 | Suzuki Motor Co Ltd | 車間距離検出方式 |
JPH02241855A (ja) * | 1989-03-16 | 1990-09-26 | Mikuni Corp | 先行車識別方法 |
JPH06282655A (ja) * | 1993-03-30 | 1994-10-07 | Toyota Motor Corp | 移動体認識装置 |
JPH06314340A (ja) * | 1993-04-30 | 1994-11-08 | Mitsubishi Electric Corp | 車両周辺監視装置 |
JPH06341821A (ja) * | 1993-06-01 | 1994-12-13 | Matsushita Electric Ind Co Ltd | 走行レーン検出装置 |
JPH0750769A (ja) * | 1993-08-06 | 1995-02-21 | Yazaki Corp | 車両用後側方監視方法 |
JPH07250268A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
JPH07302325A (ja) * | 1994-04-30 | 1995-11-14 | Suzuki Motor Corp | 車載用画像認識装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090243A (ja) * | 1998-09-14 | 2000-03-31 | Yazaki Corp | 周辺監視装置及び方法 |
JP2000276697A (ja) * | 1999-01-18 | 2000-10-06 | Yazaki Corp | 車両用周辺監視装置 |
JP2000285245A (ja) * | 1999-03-31 | 2000-10-13 | Toshiba Corp | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
JP2007235414A (ja) * | 2006-02-28 | 2007-09-13 | Toyota Motor Corp | 画像認識システムおよび画像認識方法 |
JP2008123348A (ja) * | 2006-11-14 | 2008-05-29 | Toyota Motor Corp | 車線検出装置 |
JP4605145B2 (ja) * | 2006-11-14 | 2011-01-05 | トヨタ自動車株式会社 | 車線検出装置 |
JP2013017024A (ja) * | 2011-07-04 | 2013-01-24 | Denso Corp | 車両接近物検知装置 |
US9137499B2 (en) | 2011-07-04 | 2015-09-15 | Denso Corporation | Apparatus for detecting object approaching vehicle |
KR20180119750A (ko) * | 2017-04-26 | 2018-11-05 | (주)베라시스 | 옵티컬 플로우를 이용한 주차 장애물 검출방법 |
WO2020107523A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
Also Published As
Publication number | Publication date |
---|---|
JP3635591B2 (ja) | 2005-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4287532B2 (ja) | 車両用後側方監視装置 | |
EP2993654B1 (en) | Method and system for forward collision warning | |
JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
US7983447B2 (en) | Imaging environment recognition device | |
US8232872B2 (en) | Cross traffic collision alert system | |
JP5421072B2 (ja) | 接近物体検知システム | |
JP4692344B2 (ja) | 画像認識装置 | |
JPH0750769A (ja) | 車両用後側方監視方法 | |
EP1562147A1 (en) | Mobile body surrounding surveillance | |
JP4755227B2 (ja) | 物体を認識するための方法 | |
JP2002308030A (ja) | 車両用周辺監視装置 | |
JPH11353565A (ja) | 車両用衝突警報方法及び装置 | |
JP3424808B2 (ja) | 車両用後側方監視装置 | |
JP5187292B2 (ja) | 車両周辺監視装置 | |
US20130229520A1 (en) | Vehicle surroundings monitoring apparatus | |
JP2005309797A (ja) | 歩行者警報装置 | |
JP5418661B2 (ja) | 車両周辺監視装置 | |
JP2002314989A (ja) | 車両用周辺監視装置 | |
JP2001216520A (ja) | 車両用周辺監視装置 | |
JP3635591B2 (ja) | 車両周辺監視装置 | |
JP2994170B2 (ja) | 車両周辺監視装置 | |
JP2011227551A (ja) | 車両用蛇行運転検出装置 | |
JP2019021060A (ja) | 物体検出方法及び物体検出装置 | |
JP3729005B2 (ja) | 車両の後方監視装置 | |
JPH1040490A (ja) | 道路監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041221 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20041224 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041224 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |