JPH092098A - 車両用前方監視装置 - Google Patents

車両用前方監視装置

Info

Publication number
JPH092098A
JPH092098A JP7151892A JP15189295A JPH092098A JP H092098 A JPH092098 A JP H092098A JP 7151892 A JP7151892 A JP 7151892A JP 15189295 A JP15189295 A JP 15189295A JP H092098 A JPH092098 A JP H092098A
Authority
JP
Japan
Prior art keywords
vehicle
obstacle
collision
lane
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7151892A
Other languages
English (en)
Other versions
JP3556014B2 (ja
Inventor
Masahiro Kinoshita
昌裕 木下
Atsushi Ikeda
池田敦
Kazuma Arai
荒井一真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP15189295A priority Critical patent/JP3556014B2/ja
Publication of JPH092098A publication Critical patent/JPH092098A/ja
Application granted granted Critical
Publication of JP3556014B2 publication Critical patent/JP3556014B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

(57)【要約】 【目的】衝突可能性の有無を前方映像等に基づき正確か
つ安全側に判定すること。 【構成】前方映像から障害物サイズ等を検出する障害物
検出手段73と、障害物サイズから所定の推定基準に従
って障害物の奥行き方向の推定長さを算出し、その検出
長さが推定長さ未満のとき検出長さに代えて推定長さを
障害物長とする障害物長算出手段91a,91bと、障
害物長等から障害物回避時間を算出する障害物回避時間
算出手段91cと、前方映像から自車両対向車間距離等
を検出する対向車検出手段74と、自車両対向車間距離
等から対向車到来時間を算出する対向車到来時間算出手
段91dと、障害物回避時間と対向車到来時間とから衝
突可能性の有無を判定する車両衝突条件判定手段91e
とを備えた車両用前方監視装置。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、車両用前方監視装置
に関し、詳しくは、車両前方の映像等に基づいて障害物
回避時における対向車との自車両の衝突可能性の有無を
判定する車両用前方監視装置に関する。
【0002】
【従来の技術】従来、車両用前方監視装置に該当するも
のとして実開平1−152282号公報記載の衝突警報
装置が知られている。これは、車間距離情報に基づいて
先行車に対する自車の衝突の危険性を判定し、衝突の危
険が生じていると判定した場合に警報信号を発する情報
処理回路を備えた衝突警報装置において、検出した車間
距離と車速とから所定の式に従って第1の車間距離を算
出し、この第1の車間距離よりも小さい第2の車間距離
をも算出して、検出した車間距離と第1,第2の車間距
離との大小に応じた警報度の警報信号を発するものであ
る。
【0003】
【発明が解決しようとする課題】このような従来の車両
用前方監視装置は、センサとしてレーダ等を用いたもの
であることから、衝突対象に関して利用可能な情報が先
行車との車間距離などに限られので、その装置構成も上
述したものの如きである。
【0004】これに対し、最近のCCD(Charge Coupl
ed Device )の性能面・価格面での著しい進歩等から、
センサとしてCCDカメラを採用し、これで撮像した映
像から各種の有効情報を得て、具体的には先行車や駐停
車車両等の障害物ばかりでなく対向車や車線等について
の情報をも求めて、これらの情報に基づいて障害物およ
び対向車の存在時における自車両の対向車との衝突可能
性の有無を判定する車両用前方監視装置の実用化が、現
実味を帯びてきている。
【0005】しかし、撮像した映像から情報を採ること
で従来よりも多くの有効な情報を取り出すことが可能と
なっても、十分な質や量の情報が常に得られるとは限ら
ない。例えば、前方に存在する障害物の奥行き方向の長
さは、これを後方から正確に検出することが困難で、そ
の検出値もばらつくことも多いが、この長さは障害物回
避時間決定の主要因であるから、その検出精度等が衝突
可能性判別の信頼性等に与える影響は大きい。また、映
像には走行車線等の走行状況に関する情報も含まれてい
る。そこで、映像情報から如何にして衝突可能性を判別
するかが重要な課題となる。
【0006】この発明は、このような点に鑑みてなされ
たものであり、障害物および対向車の存在時における対
向車との自車両の衝突可能性の有無を車両前方の映像等
に基づいて正確に且つ安全側に判定することができる車
両用前方監視装置を提供することを目的とする。また、
この発明は、障害物および対向車の存在時における自車
両の対向車との衝突可能性の有無を走行状況に応じて木
目細かで正確に且つ安全側に判定することができる車両
用前方監視装置を提供することをも目的とする。さら
に、この発明は、これらの判定に基づく的確な警報を期
待することができる車両用前方監視装置を提供すること
をも目的とする。
【0007】
【課題を解決するための手段】この目的を達成するため
に発明された(出願当初請求項1記載の)第1の解決手
段としての車両用前方監視装置は、(図1、及び図2又
は図3に示す如く、) 自車両(1)の前方映像を撮像するCCDカメラ(2)
やビジコンカメラ等の撮像手段と、自車両速度を検出す
る車速センサ(4)とを具備した自車両に搭載されて、
前記撮像手段で撮った前記前方映像と前記車速センサで
検出した前記自車両速度とに基づいて自車両の衝突可能
性の有無を判定し、この判定結果をそのまま又は前記判
定結果に応じた値の情報若しくは信号等に変換してから
所定の応動部に(この応動部は、同一装置に組み込まれ
若しくは一体に設けられ入力に応じて点滅するLED
等、又は別個の素子・装置等として設けられ入力に応じ
て警報を発することやブレーキをかけること等の作動を
する警報ブザー(6)や車速制御装置(6a)等であ
る。)送出する車両用前方監視装置において、前記撮像
手段から受けた前方映像から停止車両や低速先行車両等
の障害物を抽出して、この障害物の幅と高さと奥行き長
さ等の障害物サイズを検出すると共に、自車両障害物間
距離を検出する障害物検出手段(73又は75)と、こ
の障害物検出手段から受けた障害物サイズの幅と高さと
から一般的な障害物についての所定の推定基準に従うテ
ーブルにより前記障害物の奥行き方向の推定長さを算出
する手段(91a)と、前記推定長さと前記検出長さの
うち長い方を選択して、障害物長とする仮想障害物長選
定手段(91b)とを有し、前記障害物長と、前記障害
物検出手段からの前記自車両障害物間距離と、前記障害
物検出手段からの前記自車両障害物相対速度または前記
車速センサからの前記自車両速度とを受けて、所定の演
算により、自車両が前記障害物との衝突を回避してこれ
を追い越すまでの障害物回避時間を算出する障害物回避
時間算出手段(91c)と、前記撮像手段より受けた前
記前方映像から対向車を抽出して、自車両対向車間距離
と、自車両対向車相対速度とを検出する対向車検出手段
(74又は76)と、前記仮想障害物長選定手段からの
前記障害物長と、前記障害物検出手段からの自車両障害
物間距離と、前記対向車検出手段からの前記自車両対向
車間距離と前記自車両対向車相対速度とを受け所定の演
算を行うことにより、前記対向車が自車両に衝突又は最
接近するところに到来するまでの対向車到来時間を算出
する対向車到来時間算出手段(91d)と、前記障害物
回避時間算出手段からの前記障害物回避時間と、前記対
向車到来時間算出手段からの前記対向車到来時間とを受
けて、これらの時間を比較等して、自車両の衝突可能性
の有無を判定する車両衝突条件判定手段(91e)とを
備えたことを特徴とするものである。
【0008】先の目的を達成するために発明された第2
の解決手段としての車両用前方監視装置は、上記の第1
の解決手段の車両用前方監視装置であって、前記前方映
像から自車両走行車線を抽出して走行車線幅を検出する
とともに、この検出した走行車線幅と前記障害物サイズ
とから前記自車両走行車線における前記障害物脇の車線
内余裕幅を検出する車線内余裕幅検出手段(77)と、
この車線内余裕幅と自車両の幅とに基づいて自車両が前
記自車両走行車線内で前記障害物脇を走行可能であるか
否かを判定する車線内走行可判定手段(93)と、車線
内走行可判定手段によって走行可能との判定がなされた
ときに前記車両衝突条件判定手段による自車両の衝突可
能性有りの判定を抑制する車両衝突判定抑制手段(9
7)とを備えたことを特徴とするものである。
【0009】先の目的を達成するために発明された第3
の解決手段としての車両用前方監視装置は、上記した第
1の解決手段の車両用前方監視装置または第2の解決手
段の車両用前方監視装置であって、自車両に設けられた
舵角センサ(3)で検出したステアリングホィールの舵
角に基づいて、自車両が対向車線側に転舵されたこと
を、検出する転舵判定手段(94)と、この転舵判定手
段の判定結果と自車両の衝突可能性有無の判定結果に応
じて警報レベルの軽重を判別し、この判別結果を前記応
動部に送出する警報度判定手段(98)とを備えたこと
を特徴とするものである。
【0010】
【作用】このような第1の解決手段の車両用前方監視装
置にあっては、自車両より前に向けて撮った前方映像か
ら、障害物検出手段によって、障害物が有ればこれが抽
出されて、その障害物サイズや自車両障害物間距離など
が検出される。この検出値のうちの障害物サイズから障
害物長算出手段によって障害物の奥行き方向の長さであ
る障害物長が求められるが、この際に、通常は検出値が
用いられる障害物長について次に処理がなされる。すな
わち、各種の障害物についての所定の推定基準に従って
障害物の奥行き方向の推定長さが算出されるとともに、
障害物サイズのうちの障害物の奥行き方向の検出長さを
推定長さが超えるときには検出長さに代えて推定長さが
障害物長とされる。
【0011】これにより、障害物長として検出長さと推
定長さとの何れか長い方が採用される。そこで、前方に
存在する障害物の奥行き方向の長さを検出することがで
きない場合や、検出できても一般的に想定される長さよ
り短い場合には、常識的な値が採用されこれに基づいて
以後の判定処理がなされることとなる。そして、この障
害物長と先の自車両障害物間距離と自車両速度等とから
障害物回避時間算出手段によって障害物回避時間が算出
される。上述したような障害物長等に基づくこの障害物
回避時間は、障害物の奥行き方向の長さが検出不能等の
場合、常識的な範囲での長めの時間となる一方、障害物
の斜め方向からの映像等を得てその奥行き方向の長さを
正確に検出できてしかもそれが常識的な想定長を超える
場合などには、正確な長さに対応して長い時間となる。
【0012】その一方では、対向車が有れば、これをも
映した前方映像から対向車検出手段によって対向車の自
車両対向車間距離と自車両対向車相対速度とが検出さ
れ、さらに、これらの自車両対向車間距離と自車両対向
車相対速度とから対向車到来時間算出手段によって対向
車到来時間が算出される。
【0013】そして、車両衝突条件判定手段によって、
障害物回避時間と対向車到来時間とに基づく条件判定が
行なわれて、その結果として自車両の対向車との衝突可
能性が有るか否かが判定される。こうして、前方映像と
自車両速度等に基づいて障害物および対向車の存在時に
おける自車両の衝突可能性の有無が判定されるのである
が、この判定にあっては対向車到来時間が短めで障害物
回避時間が長めであるほど衝突可能性有りとの結果が出
易すいので、その判定結果は、障害物回避時間が長めで
あるほど、判定精度の観点からは不正確であっても衝突
の未然防止の観点からは安全側であるといえる。
【0014】そこで、上述したような障害物回避時間等
に基づくこの判定は、障害物の奥行き方向の長さが検出
不能等で不正確な場合には、これによらずに常識的な推
定長さに基づいてなされるので安全側のものとなり、障
害物の奥行き方向の長さが常識的な長さを超えこれが正
確に検出された場合には、検出長さに基づいて正確なも
のとなる。そして、この正確で且つ安全側の判定結果
は、運転者に所定の警報を行う等のため、応動部に送出
等される。
【0015】したがって、この発明の車両用前方監視装
置は、障害物および対向車の存在時における対向車との
自車両の衝突可能性の有無を前方映像等に基づいて正確
に且つ安全側に判定することができる。
【0016】また、第2の解決手段の車両用前方監視装
置にあっては、車線内余裕幅検出手段によって、前方映
像から自車両の走行車線の幅が検出されるとともに、こ
の検出幅と障害物サイズ等とから自車両走行車線におけ
る障害物脇の車線内余裕幅が検出され、さらに、この車
線内余裕幅と自車両の幅とに基づき、車線内走行可判定
手段によって、自車両が自車両走行車線内で障害物脇を
走行可能であるか否かが判定される。そして、この車線
内走行可判定手段によって走行可能との判定がなされた
とき、車両衝突条件判定手段による自車両の衝突可能性
有りの判定が、車両衝突判定抑制手段によって抑制され
る。
【0017】これにより、自車両走行車線内で障害物脇
を走行可能で、対向車線にまではみ出さなくても障害物
を回避できる場合には、自車両と対向車との衝突可能性
が無いとの判定が得られるので、その判定結果は、障害
物幅や車線幅等の走行状況に応じて木目細かで正確なも
のとなる。
【0018】したがって、この発明の車両用前方監視装
置は、障害物および対向車の存在時における対向車との
自車両の衝突可能性の有無を走行状況に応じて木目細か
で正確に且つ安全側に判定することができる。
【0019】さらに、第3の解決手段の車両用前方監視
装置にあっては、自車両が対向車線側に転舵されたこと
が転舵判定手段によってステアリングホィールの舵角に
基づいて検出される。そして、警報度判定手段によっ
て、この転舵判定手段の判定結果と自車両の衝突可能性
有無の判定結果に応じて警報レベルの軽重が判別され、
さらに、この判別結果が応動部に送出等される。
【0020】これにより、対向車線にはみ出ると対向車
と衝突する蓋然性の有る状況で、対向車線にはみ出すよ
うなステアリングホィール操作が行なわれたときには、
この操作によって衝突の危険が一層高まるが、この危険
性に見合った緊急警報等を発することが可能となる。そ
こで、無理な追越し等に繋がる転舵操作を未然に防止す
ることが的確にできる。
【0021】したがって、この発明の車両用前方監視装
置は、転舵操作をも考慮して警報レベルの軽重を判別す
ることで、障害物および対向車の存在時における対向車
との自車両の衝突可能性の有無についての正確で且つ安
全側の判定に基づく的確な警報を期待することができ
る。
【0022】
【実施例】本発明の車両用前方監視装置の第1実施例に
ついて、その構成を説明する。図1は、その概要を示す
図であり、図2は、その機能ブロック図である。なお、
A/D変換回路等の一般的なハードウェア構成部分につ
いては図示及びその説明を割愛する。
【0023】この車両用前方監視装置5は、自車両とし
ての車両1に搭載される装置である。この車両1には、
車体上部に設けられ、車両前方の映像を撮像して前方映
像信号ccdを出力する一対のCCDカメラ2と、ステ
アリングシャフト部に設けられてステアリングホィール
の舵角θaを検出する舵角センサ3と、車両1の速度す
なわち自車両速度としての車速Vaを検出する車速セン
サ4とが備えられており、検出された車速Va,前方映
像信号ccd,舵角θaは車両用前方監視装置5に送出
される。
【0024】また、車両1には、警報信号ALMを受け
て警報音を発する応動部としてのブザー6と、警報信号
ALMに応じてブレーキ6bを制御して自動的に減速さ
せる車速制御装置6aとが備えられており、車両用前方
監視装置5は、判別結果に応じた警報信号ALMを生成
してブザー6等に送出するものとなっている。
【0025】車両用前方監視装置5の構成は、大別し
て、画像処理に適したDSPすなわちデジタルシグナル
プロセッサ70と、一般的な情報処理に適したMPUす
なわちマイクロプロセッサユニット90と、これらの間
で必要な情報を転送するためのI/Fすなわちインター
フェイス80とからなる。
【0026】DSP70は、前方映像信号ccdを入力
し、この前方映像から所望の情報を検出し、この情報を
I/F80を介してMPU90に送出するものである。
そして、このための画像処理部として、前方映像信号c
cdを受けてのステレオ画像データ71の領域と、ステ
レオ画像データ71から車線を検出する車線検出部72
と、障害物を検出する障害物検出部73と、対向車を検
出する対向車検出部74を備えたものである。
【0027】I/F80は、DSP70及びMPU90
の何れからも任意にアクセス可能なデュアルポートメモ
リを主体に構成されている。そして、このメモリにDS
P70によって転送データが書き込まれると共にこのデ
ータがMPU90によって読み取られることで、必要な
情報の転送を介助し得るものとなっている。なお、I/
F80は、バス結合された共有メモリや、ラッチ手段と
パラレル伝送ラインあるいはシリアル伝送ライン等によ
って構成されていてもよい。
【0028】MPU90は、1チップコンピュータであ
り、前方映像から検出された情報と車速Vaとを入力
し、これらに基づいて車両1の衝突可能性の有無を判定
し、この判定結果に対応した警報信号ALMをブザー6
に送出するものである。そして、このための対向車衝突
判定部として、そのメモリに、自車両速度に基づく対向
車衝突判定部91と、警報出力部99とを備えている。
【0029】さらに、対向車衝突判定部91は、障害物
長算出手段としての推定長算出部91aと、仮想障害物
長選定部91bと、障害物回避時間算出部91cと、対
向車到来時間算出部91dと、車両衝突条件判定部91
eとからなる。
【0030】車線検出部72は、細線パターンの特徴を
抽出する等の画像処理を行い、この処理によってステレ
オ画像データ71から車線を検出する。そこで、障害物
検出部73や対向車検出部74での処理に必要とされる
車線情報を抽出してこれらの利用に供するものとなって
いる。
【0031】障害物検出部73は、ステレオ画像データ
71と上記の車線情報とを受け、ステレオ画像データ7
1のうち上記の車線より左側部分の画像に対して箱パタ
ーンの特徴を抽出する等の画像処理を行い、この処理に
よって、路肩に駐停車中の車両等の障害物があればこれ
を抽出すると共に、この障害物について、その幅Wb,
高さHb,奥行き長さLbを検出する。さらに、ステレ
オ画像の視差角等に基づいて車両1からその障害物まで
の距離Dbをも算出する。
【0032】対向車検出部74は、ステレオ画像データ
71と上記の車線情報とを受け、ステレオ画像データ7
1のうち上記の車線より右側部分の画像に対して箱形パ
ターンの特徴を抽出する等の画像処理を行い、この処理
によって、対向車線の対向車を抽出する。そして、この
対向車についてステレオ画像の視差角等に基づく演算等
の処理を行って、車両1からその対向車までの距離Dc
を算出する。さらに、距離Dcについての前回検出値と
今回検出値との差等に基づいて、車両1と対向車との相
対速度Vcをも算出する。
【0033】推定長算出部91aは、障害物検出部73
で検出した障害物の幅Wb,高さHbから障害物の奥行
き方向の一般的な障害物についての所定の推定基準に従
う関係式の演算等を行って、障害物サイズから障害物の
奥行き方向の推定長さLb’を算出するものである。例
えば推定長さLb’を推定するものである。これの処理
は、幅Wbが1m以下のときは障害物が歩行者や二輪車
であると想定して長さLb’を2mとし、幅Wbが1m
超2m未満で、高さHbが1.5m以下のときは障害物
が乗用車等であると想定して長さLb’を4mとし、幅
Wbが1m超2m未満で、高さHbが1.5m超のとき
は障害物が普通トラック等であると想定して長さLb’
を6mとし、幅Wbが1m以下のとき長さLb’を2m
とし、幅Wbが2m以上のときは障害物が大型トラック
やバスであると想定して長さLb’を10mとする。
【0034】仮想障害物長選定部91bは、推定長算出
部91aで算出した推定長さLb’と、障害物検出部7
3で検出した障害物の奥行き方向の検出長さLbのう
ち、長い方の長さを仮想障害物長Lb”とする。例え
ば、推定長さLb’が検出長さLb以下のときには検出
長さLbを仮想障害物長Lb”として選択し、推定長さ
Lb’が検出長さLbを超えるときには推定長さLb’
を仮想障害物長Lb”として選択するものである。すな
わち、障害物の検出長さが推定長さに満たないときには
検出長さに代えて推定長さを仮想障害物長とするものと
なっている。
【0035】障害物回避時間算出部91cは、仮想障害
物長選定部91bで選定した障害物長Lb”と、障害物
長検出部73で検出した距離Dbと、車速センサ4で検
出した車速Vaとに基づき、算出式[t1={((Db
+Lb”)/Va)+α}]により、自車両が障害物を
回避して、障害物前方に回り込むまでの時間として障害
物回避時間t1を算出する。ここで、αは、自車線と対
向車線との間での往復に要する車線乗り換え時間に所定
の余裕分を付加した時間である。
【0036】対向車到来時間算出部91dは、障害物検
出部73で検出した車両1から障害物までの距離Dbを
対向車検出部74で検出した距離Dcと相対速度Vc
と、仮想障害物長選定部91bで選定した仮想障害物長
Lb”とを受けて、算出式[t2={Dc−(Db+L
b”+α)}/Vc]により対向車が自車両に衝突又は
最接近するところに到来するまでの時間として対向車到
来時間t2を算出する。ここで、αは自車線と対向車線
との間での往復に要する車線乗り換え時間に所定の余裕
分を付加した時間である。
【0037】車両衝突条件判定部91eは、障害物回避
時間算出部91cで算出した障害物回避時間t1と、対
向車到来時間算出部91dで算出した対向車到来時間t
2とに基づいて、比較式[Y1={t1>t2}]によ
り比較演算を行い、車両1が障害物回避のために対向車
線にはみ出すと対向車と衝突する可能性が有ると判別す
べき場合には論理値“真”の判定結果Y1を出し、車両
1が障害物回避のために対向車線にはみ出しても対向車
と衝突する可能性は無いと判別すべき場合には論理値
“偽”の判定結果Y1を出す。
【0038】警報出力部99は、障害物検出部73で検
出した障害物の幅Wbと、車両衝突条件判定部91eで
の判定結果Y1に基づき、論理式[ALM={(Wb≠
0).AND. (Y1)}]により、障害物の幅Wbが零以
外のときだけ、すなわち障害物が存在しているときに限
って、且つ衝突可能性が有ると、ブザー6を作動させる
ものである。
【0039】第1実施例の車両用前方監視装置につい
て、その動作を説明する。
【0040】車両1の走行中に運転者が車両用前方監視
装置5を作動させると、車両用前方監視装置5では、所
定の初期化が行われ、これが済むと、DSP70とMP
U90とが同期して動作する。すなわち、所定の一定周
期で、DSP70での画像処理と、この処理結果のI/
F80での転送と、これに続くMPU90での対向車衝
突判別処理とが繰り返される。
【0041】1周期における処理手順を詳述すると、D
SP70では、先ず前方映像信号ccdからステレオ画
像データ71の取り込みが行われ、次に車線検出部72
の処理が行われ、その後に障害物検出部73の処理と対
向車検出部74の処理とが行われる。これにより、障害
物の幅Wb,高さHb,検出長さLbや、障害物までの
距離Db、対向車までの距離Dc、対向車との相対速度
Vcが求まる。そして、これらの検出値等はMPU90
に転送される。
【0042】この転送を受けた後に、MPU90では、
先ず、推定長算出部91aの処理が行われて、障害物の
推定長さLb’が求まる。次に、障害物長選定部91b
の処理と、車速Vaの入力と、障害物回避時間算出部9
1cの処理とがこの順で行われて、障害物回避時間t1
が求まる。また、対向車到来時間算出部91dの処理が
行われて、対向車到来時間t2が求まる。さらにその後
に車両衝突条件判定部91eの処理が行われて、判定結
果Y1が求まり、最後に警報出力部99の処理が行われ
て、判定結果Y1に応じた値の警報信号ALMが生成さ
れる。これで、この1周期における処理が終了する。
【0043】そして、このようなDSP70やMPU9
0の処理が継続してなされ、車両用前方監視装置5の作
動中に障害物と対向車とが検出されると、減速しないで
この障害物を回避するために車両1が対向車線にはみ出
すとした場合に対向車と衝突する可能性が有るか否かの
判別が車両用前方監視装置5によって行われ、この結果
に応じた警報指令値の警報信号ALMがブザー6に送出
される。これにより、衝突可能性が有るときには、ブザ
ー6が鳴るので、運転者の注意を喚起することができ
る。
【0044】本発明の車両用前方監視装置の第2実施例
について、図3の機能ブロック図に基づき、その構成を
説明する。この第2実施例の装置が上述の第1実施例と
相違するのは、DSP70における障害物検出部と対向
車検出部、及びMPU90における障害物回避時間算出
部だけである。そこで、これらの相違点を詳述する。
【0045】先行車検出部75は、障害物検出部73に
代わるものであるが、ステレオ画像データ71と車速V
aとを受け、ステレオ画像データ71に対して箱形パタ
ーンの特徴を抽出する等の画像処理を行って対象物を特
定し、この対象物との距離Db及び相対速度Vbを算出
する。さらに、相対速度Vbと車速Vaとを比較して
(Vb≦Va)であれば、この対象物を障害物と識別す
る。そして、この障害物について、その幅Wb,高さH
b,奥行き長さLbを検出する。これらの検出値・算出
値はMPU90に送出される。これにより、障害物検出
部75は、走行移動中の先行車を含めた障害物との相対
速度をも検出するものとなっている。
【0046】対向車検出部76は、対向車検出部74に
代わるものであるが、ステレオ画像データ71と車速V
aとを受け、ステレオ画像データ71に対して箱形パタ
ーンの特徴を抽出する等の画像処理を行って対象物を特
定し、この対象物との距離Dc及び相対速度Vcを算出
する。あるいは先行車検出部75の処理結果を援用して
距離Dc等を得る。そして、相対速度Vcと車速Vaと
を比較して(Vc>Va)であれば、この対象物を対向
車と識別する。これらの検出値・算出値はMPU90に
送出される。
【0047】このように、相対速度を基準として先行車
等と対向車とを識別することにより、車線検出部72を
省いても対向車衝突判定の処理に必要なデータを算出す
ることができるものとなっている。なお、車線検出部7
2を兼備することも可能であり、このような構成を採れ
ば、画像処理部は検出能力が一層高いものとなる。
【0048】障害物回避時間算出部92cは、障害物回
避時間算出部91cに代わるものであり、仮想障害物長
選定部91bで算出した障害物長Lb”と、障害物長検
出部75で検出した距離Db及び相対速度Vbとに基づ
き、算出式[t1={((Db+Lb”)/Vb)+
α}]により、先行車等の障害物を回避して車がその前
方に回り込むまでの時間として障害物回避時間t1を算
出する。
【0049】かかる構成の第2実施例の車両用前方監視
装置について、その動作を説明する。この装置の動作
は、車線検出部の処理の省略と、障害物検出部や対向車
検出部,障害物回避時間算出部の置換とを除いて、上述
した第1実施例と同じである。そこで、再度の詳述は避
けるが、この第2実施例の装置は、相対速度に基づく時
間判定処理を行うことにより、駐停車両や歩行者に限ら
ず走行中の先行車に関しても的確に、衝突可能性の有無
を判定することができる。
【0050】なお、相対速度に基づく時間判定処理は、
第1実施例の構成において、相対速度Vbをも算出する
ように障害物検出部73を拡張するとともに、障害物回
避時間算出部91cに代えて第2実施例の障害物回避時
間算出部92cを採用するだけでも可能である。
【0051】本発明の車両用前方監視装置の第3実施例
について、図4の機能ブロック図に基づき構成を説明す
る。この第3実施例の装置が上述の第2実施例と相違す
るのは、DSP70において車線内余裕幅検出手段とし
ての車線等検出部77が付加されたことと、MPU90
において、車線内走行可判定手段としての車線内走行可
判定部93と、転舵判定手段としての転舵判定部94
と、車両衝突判定抑制手段としての車両衝突判定抑制部
97とが付加されたことと、警報度判定手段としての警
報度判定部98が警報出力部99の代わりに設けられた
ことである。そこで、これらの相違点を詳述する。
【0052】車線等検出部77は、ステレオ画像データ
71から細線パターンの特徴を抽出する等の画像処理を
行って車線を抽出するとともにその速度Vdをも算出す
る。さらに、速度Vdと車速Vaとを比較して(Vd=
Va)であれば、これが車線であることを確認する。そ
して、この車線とその左側の障害物との間の距離すなわ
ち車線内余裕幅Wdを演算して求める。
【0053】車線内走行可判定部93は、車線等検出部
77で検出した車線内余裕幅Wdと、既定値である車両
1の幅Waとに基づき、比較式[Y2={Wd>(Wa
+β)}]により比較演算を行う。ここで、βは車両1
の通過に要する間隙の余裕分であり、実験等で決定され
る。これにより、車線内走行可判定部93は、車両1が
自車両走行車線内で障害物脇を走行可能であるとき論理
値“真”の判定結果Y2を出し、走行不可能のとき論理
値“偽”の判定結果Y2を出すものとなっている。
【0054】車両衝突判定抑制部97は、車両衝突条件
判定部91eでの判定結果Y1と、車線内走行可判定部
93での判定結果Y2とに基づき、論理式[Y4=
{(Y1).AND. (.NOT. Y2)}]により演算を行
う。これにより、車両衝突判定抑制部97は、車両1が
自車両走行車線内で障害物脇を走行可能であるとの判定
がなされた場合、障害物回避時間算出部92cからの判
定結果Y1がそのまま判定結果Y4となるのを阻止すべ
く、判定結果Y1を抑制するものとなっている。
【0055】転舵判定部94は、舵角センサ4で検出し
たステアリングホィールの舵角θaに基づき、比較式
[Y3={θa>γ}]により論理演算を行う。ここ
で、γは、対向車線に出て先行車を追越すとき等にステ
アリングホィールを右に切る一般的な操作量について定
めた固定値である。これにより、転舵判定部94は、自
車両が対向車線側に転舵されたことを検出するものとな
っている。
【0056】警報度判定部98は、先行車検出部73で
検出した障害物の幅Wbと、車両衝突判定抑制部97か
らの判定結果Y4と、転舵判定部94での判定結果Y3
とを受け、論理式[ALM(3)={(Wb≠0).AN
D. (Y4).AND. (Y3)}]と論理式[ALM
(2)={(Wb≠0).AND. (Y4).AND. (.NOT.
Y3)}]と論理式[ALM(1)={(Wb≠0).A
ND. (.NOT. Y4).AND. (Y3)}]とにより論理演
算を行う。この各レベルに対応した警報指令は警報信号
ALM(1)〜(3)としてブザー6に送出される。こ
れにより、警報度判定部98は、障害物が存在している
とき、衝突可能性のある対向車線への乗り換えを止めさ
せるための緊急警報や、対向車をやり過ごす間に障害物
に衝突しないようにブレーキの踏込みを促すための減速
警報、慎重な障害物回避操作を促すための注意報などを
発生させるものとなっている。
【0057】第3実施例の車両用前方監視装置につい
て、その動作を説明する。
【0058】車両1の走行中に作動中の車両用前方監視
装置5では、タイマ割り込みでの所定の周期ごとに、以
下の手順で各処理が繰り返し行われる。DSP70で
は、先行車検出部75の処理と対向車検出部76の処理
と車線等検出部77の処理とがこの順に行われ、これに
より、障害物の幅Wb,高さHb,検出長さLbや、障
害物までの距離Db、障害物との相対速度Vb、対向車
までの距離Dc、対向車との相対速度Vc、車線内余裕
幅Wdが求まる。そして、これらの検出値等はMPU9
0に転送される。
【0059】この転送を受けた後に、MPU90では、
先ず、推定長算出部91aから車両衝突条件判定部91
eまでの一連の処理が第2実施例と同様に対向車衝突判
定部92で行われて、判定結果Y1が求まる。また、車
線内走行可判定部93の処理が行われて判定結果Y2が
求まり、さらに車両衝突判定抑制部97の処理が行われ
て判定結果Y4が求まる。これにより、障害物幅や車線
幅等の走行状況に応じた木目細かな判定がなされる。
【0060】MPU90では、次に、転舵判定部94の
処理が行われて判定結果Y3が求まり、さらに警報度判
定部98の処理が行われて、警報レベルに応じた警報信
号ALM(1)〜(3)が生成される。これにより、ス
テアリングホィールの操作の仕方によっても異なる衝突
の危険性に見合った警報が、ブザー6から発せられる。
【0061】したがって、かかる処理の継続中、この車
両用前方監視装置は、障害物および対向車の存在時にお
ける対向車との自車両の衝突可能性の有無を前方映像等
に基づいて走行状況に応じて木目細かで正確に且つ安全
側に判定することができ、しかもこの判定に基づいて転
舵操作をも考慮した的確な警報を期待することができ
る。
【0062】なお、距離Db,Dcから相対速度Vb,
Vcを算出する処理は、MPU90の処理能力に余裕が
あればMPU90側で行ってもよい。また、DSP70
やMPU90の処理速度が不足する場合等には、上述し
た各部の機能をデジタル回路で具現化することも可能で
ある。かかる観点から警報度判定部98等については等
価な論理回路をもってこれを図示したのである。
【0063】
【発明の効果】以上の説明から明らかなように、本発明
の第1の解決手段の車両用前方監視装置にあっては、障
害物回避時間算出のための仮想障害物長を検出長と一般
的想定長との長い方とすること等により、障害物および
対向車の存在時における対向車との自車両の衝突可能性
の有無を前方映像等に基づいて正確に且つ安全側に判定
することができるという効果を奏する。
【0064】また、本発明の第2の解決手段の車両用前
方監視装置にあっては、障害物幅や車線幅等の走行状況
をも反映する構成を採用したことにより、障害物および
対向車の存在時における対向車との自車両の衝突可能性
の有無を走行状況に応じて木目細かで正確に且つ安全側
に判定することができるという効果を奏する。
【0065】さらに、本発明の第3の解決手段の車両用
前方監視装置にあっては、転舵操作をも考慮して警報レ
ベルの軽重を判別することにより、障害物および対向車
の存在時における対向車との自車両の衝突可能性の有無
についての正確で且つ安全側の判定に基づく的確な警報
を期待することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の車両用前方監視装置の概要構成を示す
図である。
【図2】本発明の車両用前方監視装置ついての第1実施
例の機能ブロック図である。
【図3】本発明の車両用前方監視装置ついての第2実施
例の機能ブロック図である。
【図4】本発明の車両用前方監視装置ついての第3実施
例の機能ブロック図である。
【符号の説明】
1 車両(自車両) 2 CCDカメラ 3 舵角センサ 4 車速センサ 5 車両用前方監視装置 6 ブザー(応動部) 6a 車速制御装置(応動部) 6b ブレーキ 70 DSP:デジタルシグナルプロセッサ 71 ステレオ画像データ 72 車線検出部 73 障害物検出部(障害物検出手段) 74 対向車検出部(対向車検出手段) 75 先行車検出部(障害物検出手段) 76 対向車検出部(対向車検出手段) 77 車線等検出部(車線内余裕幅検出手段) 80 I/F:インターフェイス 90 MPU:マイクロプロセッシングユニット 91 対向車衝突判定部 91a 推定長算出部(障害物長算出手段) 91b 障害物長選定部(障害物長算出手段) 91c 障害物回避時間算出部(障害物回避時間算出手
段) 91d 対向車到来時間算出部(対向車到来時間算出手
段) 91e 車両衝突条件判定部(車両衝突条件判定手段) 92 対向車衝突判定部 92c 障害物回避時間算出部(障害物回避時間算出手
段) 93 車線内走行可判定部(車線内走行可判定手段) 94 転舵判定部(転舵判定手段) 97 車両衝突判定抑制部(車両衝突判定抑制手段) 98 警報度判定部(警報度判定手段) 99 警報出力部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】車両に搭載されてこの自車両からの前方映
    像と車速センサからの自車両速度とに基づいて自車両の
    衝突可能性の有無を判定しこの判定結果を所定の応動部
    に送出する車両用前方監視装置において、前記前方映像
    から障害物を抽出してその障害物サイズと少なくとも自
    車両障害物間距離とを検出する障害物検出手段と、前記
    障害物サイズから各種の障害物についての所定の推定基
    準に従って前記障害物の奥行き方向の推定長さを算出す
    るとともに、前記障害物サイズのうちの前記障害物の奥
    行き方向の検出長さと前記推定長さのうち長い方を障害
    物長とする障害物長算出手段と、前記障害物長と前記自
    車両障害物間距離と前記自車両速度または自車両障害物
    相対速度とに基づく所定の演算を行って障害物回避時間
    を算出する障害物回避時間算出手段と、前記前方映像か
    ら対向車を抽出してその自車両対向車間距離と自車両対
    向車相対速度とを検出する対向車検出手段と、前記障害
    物長と前記自車両障害物間距離と前記自車両対向車間距
    離と前記自車両対向車相対速度とに基づく所定の演算を
    行って対向車到来時間を算出する対向車到来時間算出手
    段と、前記障害物回避時間と前記対向車到来時間とに基
    づく所定の条件判定を行って自車両の衝突可能性の有無
    を判定する車両衝突条件判定手段とを備えたことを特徴
    とする車両用前方監視装置。
  2. 【請求項2】前記前方映像から自車両の走行車線を抽出
    してその幅を検出するとともに、この検出幅と前記障害
    物サイズとから前記自車両走行車線における前記障害物
    脇の車線内余裕幅を検出する車線内余裕幅検出手段と、
    この車線内余裕幅と自車両の幅とに基づいて自車両が前
    記自車両走行車線内で前記障害物脇を走行可能であるか
    否かを判定する車線内走行可判定手段と、車線内走行可
    判定手段によって走行可能との判定がなされたときに前
    記車両衝突条件判定手段による自車両の衝突可能性有り
    の判定を抑制する車両衝突判定抑制手段とを備えたこと
    を特徴とする請求項1記載の車両用前方監視装置。
  3. 【請求項3】自車両が対向車線側に転舵されたことをス
    テアリングホィールの舵角に基づいて検出する転舵判定
    手段と、この転舵判定手段の判定結果と自車両の衝突可
    能性有無の判定結果に応じて警報レベルの軽重を判別
    し、この判別結果を前記所定の応動部に引渡す又は送出
    する警報度判定手段とを備えたことを特徴とする請求項
    1又は請求項2に記載の車両用前方監視装置。
JP15189295A 1995-06-19 1995-06-19 車両用前方監視装置 Expired - Lifetime JP3556014B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15189295A JP3556014B2 (ja) 1995-06-19 1995-06-19 車両用前方監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15189295A JP3556014B2 (ja) 1995-06-19 1995-06-19 車両用前方監視装置

Publications (2)

Publication Number Publication Date
JPH092098A true JPH092098A (ja) 1997-01-07
JP3556014B2 JP3556014B2 (ja) 2004-08-18

Family

ID=15528486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15189295A Expired - Lifetime JP3556014B2 (ja) 1995-06-19 1995-06-19 車両用前方監視装置

Country Status (1)

Country Link
JP (1) JP3556014B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298298A (ja) * 2001-03-30 2002-10-11 Honda Motor Co Ltd 車両の周辺監視装置
JP2002358600A (ja) * 2001-05-31 2002-12-13 Hitachi Ltd 車間距離警報装置及びその方法
JP2006236030A (ja) * 2005-02-25 2006-09-07 Alpine Electronics Inc 危険情報通信システム、危険情報送信装置、危険情報受信装置及び危険情報通知方法
US7278505B2 (en) * 2005-03-15 2007-10-09 Omron Corporation Control device for starting motion of mobile body
JP2007323117A (ja) * 2006-05-30 2007-12-13 Kenwood Corp 道路通信システム、移動体装置、および、移動体装置の情報処理方法
JP2008074401A (ja) * 2007-10-04 2008-04-03 Toyota Motor Corp 衝突予測装置
JP2009023399A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 衝突防止装置
JP2009205358A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 走行支援装置および走行支援方法
JP2010247580A (ja) * 2009-04-13 2010-11-04 Toyota Motor Corp 走行支援装置
JP2010271788A (ja) * 2009-05-19 2010-12-02 Toyota Motor Corp 物体検出装置
CN102275558A (zh) * 2010-06-12 2011-12-14 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
CN103836123A (zh) * 2013-07-10 2014-06-04 李响 盾构机搅龙双电机内摆线驱动装置
WO2016067550A1 (ja) * 2014-10-29 2016-05-06 株式会社デンソー 危険予測装置、運転支援システム
CN113325832A (zh) * 2020-02-28 2021-08-31 杭州萤石软件有限公司 一种可移动机器人避障方法、以及可移动机器人
CN113814979A (zh) * 2021-10-08 2021-12-21 安徽电信规划设计有限责任公司 一种基于大数据智能机器人环境识别***
US20220024478A1 (en) * 2016-04-01 2022-01-27 Denso Corporation Driving assistance device and driving assistance program product
CN114348022A (zh) * 2022-01-21 2022-04-15 北京三快在线科技有限公司 无人车的控制方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0536000A (ja) * 1991-08-01 1993-02-12 Mazda Motor Corp 車両の自動制動装置
JPH06273170A (ja) * 1993-03-18 1994-09-30 Mitsubishi Electric Corp 車両用障害物検出装置
JPH0765294A (ja) * 1993-08-23 1995-03-10 Mitsubishi Electric Corp 車両用予防安全装置
JPH0765295A (ja) * 1993-08-26 1995-03-10 Mazda Motor Corp 自動車の潜在危険検知装置
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0536000A (ja) * 1991-08-01 1993-02-12 Mazda Motor Corp 車両の自動制動装置
JPH06273170A (ja) * 1993-03-18 1994-09-30 Mitsubishi Electric Corp 車両用障害物検出装置
JPH0765294A (ja) * 1993-08-23 1995-03-10 Mitsubishi Electric Corp 車両用予防安全装置
JPH0765295A (ja) * 1993-08-26 1995-03-10 Mazda Motor Corp 自動車の潜在危険検知装置
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002298298A (ja) * 2001-03-30 2002-10-11 Honda Motor Co Ltd 車両の周辺監視装置
JP2002358600A (ja) * 2001-05-31 2002-12-13 Hitachi Ltd 車間距離警報装置及びその方法
JP2006236030A (ja) * 2005-02-25 2006-09-07 Alpine Electronics Inc 危険情報通信システム、危険情報送信装置、危険情報受信装置及び危険情報通知方法
JP4570478B2 (ja) * 2005-02-25 2010-10-27 アルパイン株式会社 危険情報通信システム、危険情報送信装置、危険情報受信装置及び危険情報通知方法
US7278505B2 (en) * 2005-03-15 2007-10-09 Omron Corporation Control device for starting motion of mobile body
JP2007323117A (ja) * 2006-05-30 2007-12-13 Kenwood Corp 道路通信システム、移動体装置、および、移動体装置の情報処理方法
JP2009023399A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 衝突防止装置
JP2008074401A (ja) * 2007-10-04 2008-04-03 Toyota Motor Corp 衝突予測装置
JP2009205358A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 走行支援装置および走行支援方法
JP2010247580A (ja) * 2009-04-13 2010-11-04 Toyota Motor Corp 走行支援装置
JP2010271788A (ja) * 2009-05-19 2010-12-02 Toyota Motor Corp 物体検出装置
CN102275558A (zh) * 2010-06-12 2011-12-14 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
CN103836123A (zh) * 2013-07-10 2014-06-04 李响 盾构机搅龙双电机内摆线驱动装置
WO2016067550A1 (ja) * 2014-10-29 2016-05-06 株式会社デンソー 危険予測装置、運転支援システム
US20220024478A1 (en) * 2016-04-01 2022-01-27 Denso Corporation Driving assistance device and driving assistance program product
US11845462B2 (en) * 2016-04-01 2023-12-19 Denso Corporation Driving assistance device and driving assistance program product
CN113325832A (zh) * 2020-02-28 2021-08-31 杭州萤石软件有限公司 一种可移动机器人避障方法、以及可移动机器人
CN113325832B (zh) * 2020-02-28 2023-08-11 杭州萤石软件有限公司 一种可移动机器人避障方法以及可移动机器人
CN113814979A (zh) * 2021-10-08 2021-12-21 安徽电信规划设计有限责任公司 一种基于大数据智能机器人环境识别***
CN113814979B (zh) * 2021-10-08 2023-03-10 安徽电信规划设计有限责任公司 一种基于大数据智能机器人环境识别***
CN114348022A (zh) * 2022-01-21 2022-04-15 北京三快在线科技有限公司 无人车的控制方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP3556014B2 (ja) 2004-08-18

Similar Documents

Publication Publication Date Title
JPH092098A (ja) 車両用前方監視装置
CN111372826B (zh) 车辆的制动辅助装置、控制装置以及制动辅助方法
JP3866349B2 (ja) 車両の衝突防止装置
JP4412356B2 (ja) 車両用衝突緩和装置
US11938924B2 (en) Driving assistance control apparatus for vehicle, driving assistance control system for vehicle, and driving assistance control method for vehicle
CN104875729B (zh) 自动的后部制动
JPH08205306A (ja) 車両の警報装置
US11479269B2 (en) Apparatus for assisting driving of a vehicle and method thereof
WO2017111147A1 (ja) 走行支援装置及び走行支援方法
JP7192627B2 (ja) 落下物判別装置、運転支援システムおよび落下物判別方法
US11235741B2 (en) Vehicle and control method for the same
KR100820310B1 (ko) 자동차의 추돌방지장치 및 방법
CN111169477A (zh) 车道变换***及车道变换方法
JP2003288691A (ja) 割り込み予測装置
JP2020097346A (ja) 車両の走行制御装置
JPH1139597A (ja) 車両の衝突防止装置
JP6953922B2 (ja) 車両の運転支援装置および車両の運転支援方法
CN109435839B (zh) 一种临近车道车辆转向灯检测装置及方法
JP3075064B2 (ja) 先行車検出装置
JP2001101592A (ja) 車両用衝突防止装置
JP2018089990A (ja) 運転支援装置
JP2019025932A (ja) 車両の走行制御装置
JP3829627B2 (ja) 車輌用外界認識装置
JPH09263200A (ja) 車両の警報装置
JP3746541B2 (ja) 居眠り運転検出装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040511

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term