JP2000251080A - 車両用後側方監視装置 - Google Patents

車両用後側方監視装置

Info

Publication number
JP2000251080A
JP2000251080A JP11052437A JP5243799A JP2000251080A JP 2000251080 A JP2000251080 A JP 2000251080A JP 11052437 A JP11052437 A JP 11052437A JP 5243799 A JP5243799 A JP 5243799A JP 2000251080 A JP2000251080 A JP 2000251080A
Authority
JP
Japan
Prior art keywords
vehicle
image
road
image processing
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11052437A
Other languages
English (en)
Other versions
JP4287532B2 (ja
Inventor
Naoto Ishikawa
直人 石川
Keiki Okamoto
桂喜 岡本
Kazutomo Fujinami
一友 藤浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP05243799A priority Critical patent/JP4287532B2/ja
Priority to DE60005426T priority patent/DE60005426T2/de
Priority to EP00104079A priority patent/EP1033694B1/en
Priority to US09/515,527 priority patent/US6218960B1/en
Publication of JP2000251080A publication Critical patent/JP2000251080A/ja
Application granted granted Critical
Publication of JP4287532B2 publication Critical patent/JP4287532B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 近傍から遠方までの広い範囲を好まし状態で
監視できる車両用後側方監視装置を提供する。 【解決手段】 車両に装着された撮像手段１０が車両の
後側方の道路を撮像して得た一定時間毎に道路画像を検
出手段３１−１が処理して後続の他車両を検出し、検出
した後続の他車両と自車両との相対関係を監視する。撮
像手段が広角で高解像度のカメラで構成され、検出手段
の有する第１の画像処理手段３１−１１が撮像手段によ
って得た道路画像の全体を画像情報を間引きして処理
し、第２の画像処理手段３１−１２が撮像手段によって
得た道路画像の一部領域を画像情報を間引きせずに処理
し、かつ選択手段３１−１３が状況に応じて第１の画像
処理手段及び第２の画像処理手段の一方を選択する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は車両用後側方監視装
置に係り、より詳細には、自動車などの車両等に設置さ
れたビデオカメラ等の撮像手段によって車両の後側方の
道路を撮像し、撮像された道路画像を用いて走行してい
る自車両の後側方より接近してくる他車両を検知して運
転者に警報を与えるため車両の後側方を監視する車両用
後側方監視装置に関するものである。
【０００２】
【従来の技術】従来、自車両が走行している自車線に隣
接する左右の隣接車線上の後続車を正確に認識し、車両
が進路変更を行おうとする際に、その方向の隣接車線を
後続車が走行中であれば衝突の危険性があるとしてドラ
イバーに警報を与えることにより、進路変更時における
後続車との衝突を未然に防ぐため車両の後側方の道路を
監視する後側方監視警報装置が、例えば特許第２６４１
５６２号、特開平６−１０７０９６号公報及び特開平７
−５０７６９号公報などにおいて提案されている。
【０００３】これらの提案の装置では、隣接車線内の後
続車両を余計な画像処理を行うことなく、より早くかつ
確実に検出することができるように、ビデオカメラによ
って撮像された道路画像を用いて車線区画ラインである
白線を認識して道路上の車線を識別し、この識別によっ
て隣接車線に監視領域を設定し、ビデオカメラによって
撮像された道路画像に設定された監視領域内、すなわち
隣接車線内に存在する接近中の後続車両の検出のための
画像処理量を低減するようにしている。
【０００４】上記特開平６−１０７０９６号公報及び特
開平７−５０７６９号公報にはオプティカルフローの検
出を応用したものが開示されており、その主要点を図７
及び図８を参照して説明する。
【０００５】図７は、従来装置の構成を示すブロック図
である。同図において、１０は撮像手段としての撮像部
で、例えばビデオカメラ１１を有している。また、３０
は演算処理装置としてのデータ処理部であり、４２は警
報手段としてのスピーカである。
【０００６】撮像部１０は、車両後方の所定位置例えば
トランクの上部位置に車両後側方の道路を撮像するよう
に正面に向けて配設されている。データ処理部３０は、
動作プログラムに従って動作する中央制御装置としての
ＣＰＵ３１、このＣＰＵ３１の動作プログラム及び予め
与えられる設定値などを保持するＲＯＭ３２、ＣＰＵ３
１の演算実行時に必要なデータを一時的に保持するＲＡ
Ｍ３３を有している。スピーカ４２は、車両内部に配設
され、データ処理部３０のＣＰＵ３１からの駆動信号に
必要に応じて音声や警報音を発生することにより運転者
などに危険を知らせる。
【０００７】図８は、上述したように、自車両の後方部
に搭載された撮像部１０による撮像画像の変化を説明す
る図であり、図８（ａ）は時刻ｔにおける撮像画像、図
８（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示してい
る。そして、これらの各図において、２００は自車両の
後側方を走行する後続車両、３００は道路５００に隣接
して配設された道路標識、４００は同じく道路５００に
隣接して配設された建物である。
【０００８】今、自車両が平坦な道を直進しているとす
ると、時刻の経過すなわち自車両の走行に伴い、道路標
識３００や建物４００は自車両との相対距離が離れ小さ
く撮像される。図においては、図８（ａ）すなわち時刻
ｔの撮像画像における道路標識３００及び建物４００
と、図８（ｂ）すなわち時刻ｔ＋△ｔの撮像画像におけ
る道路標識３００及び建物４００に関し、図８（ｂ）の
道路標識３００及び建物４００の方が小さく撮像されて
いる。以下、これらの図を参照して、オプティカルフロ
ーについて説明する。
【０００９】これらの図において、撮像画像内に設定さ
れた複数の対応点、例えば他車両２００における着目
点、道路標識３００における着目点、建物４００におけ
る着目点に関し、各時間毎の着目点すなわち時刻ｔ〔図
８（ａ）〕における各着目点２０１ａ、２０２ａ、３０
１ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、
時刻ｔ＋△ｔ〔図８（ｂ）〕における各着目点２０１
ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１
ｂ及び４０２ｂについて、互いに対応する着目点同士を
結合することにより、図８（ｃ）に示す速度ベクトルす
なわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３０
３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られた
速度ベクトルがオプティカルフローである。
【００１０】ここで、このオプティカルフローは、画面
内の無限遠点あるいは消失点として定義されるＦＯＥ(F
ocus of Expansion)から放射状に現れていることが判
る。このＦＯＥは、車両が直進している場合の画像上に
おいて、自車両の進行方向の正反対方向を示す１点に対
応する。そして、自車両の走行状態において、自車両か
ら遠ざかる物体のオプティカルフローは上記ＦＯＥに向
かう収束方向のベクトルとなり、自車両に近づいてくる
物体のオプティカルフローは上記ＦＯＥから離れる発散
方向のベクトルとなる。従って、同図に２０１Ｆ及び２
０２Ｆで示す後続の他車両２００のオプティカルフロー
は発散方向のベクトルであるので、この他車両は自車両
に近づいてきていること、換言すれば自車両よりも高速
で走行している車両であることが分かる。
【００１１】また、このオプティカルフローの大きさに
関し、このオプティカルフローの大きさは、単位時間に
おける自車両と対象物体との距離の差すなわち速度差が
大きい程大きくなり、自車両と対象物体との相対距離が
近い程大きくなる。このことを図面を参照して説明す
る。
【００１２】図９は、撮像部１０の光学的配置を示した
図である。同図において、１１ａは撮像部１０のビデオ
カメラが有するレンズ、１１ｂは同じくビデオカメラが
有するイメージプレーン、ｆはレンズ１１ａからイメー
ジプレーン１１ｂまでの距離、Ｐ（Ｘa ，Ｙa ，Ｚa ）
は後続する他車両上の任意の１点、ｐ（ｘa ，ｙa）は
イメージプレーン１１ｂ上における上記点Ｐに対応する
点である。
【００１３】この場合、３角形の相似の比から、次式
（１）の関係が得られる。 ｘa ＝ｆ・Ｘa ／Ｚa ・・・ （１） この式（１）を変形して時間微分すると、次式（２）が
得られる。 Ｘa ’＝（Δｘa ／Δｔ・Ｚa ＋ｘa ・Ｚa ’）／ｆ ・・・ （２） また、オプティカルフローのｘ方向成分ｕは、次式
（３）で表せる。 ｕ＝Δｘa ／Δｔ ・・・ （３） 従って、この式（３）により次式（４）を得ることがで
きる。 Ｚa ＝（ｆ・Ｘa ’−ｘa ・Ｚa ’）／ｕ ・・・ （４）
【００１４】ここで、上式（４）のＺa ’は、同一車線
あるいは隣接車線を走行する他車両（図８に符号２００
で示す）と撮像部１０が搭載された自車両との速度差す
なわち相対速度を示している。この相対速度を−αとす
ると上式（４）は次式（５）となる。 Ｚa ＝（ｆ・Ｘa ’＋ｘa α）／ｕ ・・・ （５） よって、オプティカルフローのｘ方向成分ｕは、次式
（６）のように表すことができる。 ｕ＝（ｆ・Ｘa ’＋ｘa α）／Ｚa ・・・ （６） なお、点ＰのＹ座標Ｙa についても同様にして求めるこ
とができる。
【００１５】よって上式（６）より、Ｚが小すなわち後
続車両又は隣接車線を走行中の他車両２００までの距離
が小である程、あるいは、αが大すなわち他車両２００
との速度差が大である程、オプティカルフローのｘ成分
は大きくなる。これはＹ方向についても同様である。従
って、オプティカルフローは後続する他車両２００との
距離が小な程、更に互いの速度差が大な程長くなり、こ
れよりオプティカルフローの方向がＦＯＥに対して発散
し、その長さが短いときより長いときの方が相対的に後
続車両又は隣接車両に対する危険度が大きことが判る。
【００１６】従って、データ処理部３０は、このオプテ
ィカルフローが上述した発散方向のベクトルであり且つ
その大きさが大きい場合には、対象物体は自車両に対
し、接近した位置に存在するか、自車両よりも高速で接
近しているかの少なくとも一方の状態にあると考えら
れ、危険度が高いと判断する。そして、危険度が高いと
判断した場合には、スピーカ４２により運転者にその旨
を知らせる。
【００１７】以上のような処理を、時間ｔの画像の全て
の点において繰り返し行うことにより、画像全体のオプ
ティカルフローを求めることができ、各対象物における
危険度が求められる。そして、求められた危険度の大き
さに従って警報を鳴らすこと等によって運転者に対し注
意を促し、これにより、人間の有する有限な認識力を補
完することができ、上述の大事故に発展しかねない危険
な状態や、実際の大事故の発生を未然に防止している。
【００１８】また、従来の技術では、図１０に示す如く
に、片側３車線の直線高速道路にて自車両が走行してい
る車線の白線を検出することで、自車両の走行車線とそ
の横の隣接車線領域とを識別し、監視領域を決定するこ
とで監視不要なものについての処理時間を省いて処理の
高速化を図っている。そして、検出された白線の延長か
らＦＯＥ点を求め、自車線領域及び隣接車線領域につい
てそれぞれ前記ＦＯＥ点から放射状にオプティカルフロ
ーを求めることで自車両に対する接近車両２００の検出
を行っており、このオプティカルフローの大きさに基づ
き認識を行うよう構成されているので、後方や隣接車線
を走行している他車両２００に関し、その危険度を自動
的に判断でき、且つ、特別な距離計を必要としない利点
があり有効である。
【００１９】現在提案されているオプティカルフロー検
出方法の中で、実用化に近いレベルまで達しているもの
は、相関法である。相関法は、設定した窓の対応点を周
辺の領域全方向に関して探索し、相関値の計算を行う必
要があるため、計算量が膨大になってしまうという問題
点があるが、本発明が対象としているような複雑な画像
に関しても、比較的正確にオプティカルフローを求める
ことが可能であるという利点もある。
【００２０】上述したように、一般的な相関法において
は、ある時刻ｔの画像に関してオプティカルフローを求
める際には、時刻ｔの画像の全画素について、それぞれ
の画素が、時刻ｔ−Δｔの画像において、どの画素に対
応しているかを全方向にわたって探索する必要があるた
め、計算量が膨大になると同時に誤対応が生じるという
問題点がある。即ち、対応点探索の際に、全画素に関し
て全方向に探索していることにより、計算量が膨大とな
り誤対応が多くなる原因になっているといえる。そこ
で、監視領域を設定することにより、処理時間および検
出精度の面で問題を解消することが考えられている。
【００２１】
【発明が解決しようとする課題】ところで、この種の後
側方監視装置では、ビデオカメラによって撮像した画像
からは、自車両の近傍は遠方に比べて大きな他車両の像
が得られるが、遠方は小さな他車両の像しか得られな
い。このため、近傍は低解像度の画像でもよいが、遠方
の場合には、低解像度の像では、画像処理によって他車
両の挙動を精度良く捕らえることが難しく、できるだけ
解像度のよい画像が得られることが好ましい。
【００２２】また、車線変更する際のことを考慮する
と、隣接車線をできるだけ自車両に近いところまで監視
できる広角のビデオカメラを使用することが好ましい
が、広角のビデオカメラを使用すると、監視範囲が広く
なり、それだけ解像度が低下するとともに、処理すべき
画像情報が多くなって、処理時間および検出精度の面で
問題となる。
【００２３】このように、遠方から近傍までを監視する
必要のあるこの種の装置では、相矛盾する状況が存在
し、何らかの対策を施すことが求められている。
【００２４】よって本発明は、上記問題に鑑みてなされ
たもので、近傍から遠方までの広い範囲を好まし状態で
監視できるようにした車両用後側方監視装置を提供する
ことを課題としている。
【００２５】
【課題を解決するための手段】上記課題を解決するため
なされた請求項１記載の発明は、図１（ａ）の基本構成
図から明らかなように、車両に装着され車両の後側方の
道路を撮像して一定時間毎に道路画像を得る撮像手段１
０と、該撮像手段によって得た道路画像を処理して後続
の他車両を検出する検出手段３１−１とを備え、該検出
手段によって検出した後続の他車両と自車両との相対関
係を監視する車両用後側方監視装置において、前記撮像
手段が広角で高解像度のカメラで構成され、前記検出手
段が、前記撮像手段によって得た道路画像の全体を画像
情報を間引きして処理する第１の画像処理手段３１−１
１と、前記撮像手段によって得た道路画像の一部領域を
画像情報を間引きせずに処理する第２の画像処理手段３
１−１２と、状況に応じて前記第１の画像処理手段及び
前記第２の画像処理手段の一方を選択する選択手段３１
−１３とを有することを特徴とする車両用後側方監視装
置に存する。
【００２６】上記請求項１に記載の発明である車両用後
側方監視装置においては、車両に装着された撮像手段１
０が車両の後側方の道路を撮像して得た一定時間毎に道
路画像を検出手段３１−１が処理して後続の他車両を検
出し、検出した後続の他車両と自車両との相対関係を監
視する。撮像手段が広角で高解像度のカメラで構成さ
れ、検出手段の有する第１の画像処理手段３１−１１が
撮像手段によって得た道路画像の全体を画像情報を間引
きして処理し、第２の画像処理手段３１−１２が撮像手
段によって得た道路画像の一部領域を画像情報を間引き
せずに処理し、かつ選択手段３１−１３が状況に応じて
第１の画像処理手段及び第２の画像処理手段の一方を選
択するようになっている。従って、選択手段が第１の画
像処理手段を選択したときには、撮像手段によって得た
道路画像の全体が画像情報を間引きして処理され、広範
囲の画像が低解像度で処理されるので、処理時間が長く
なることなく、自車両に近い他車両を広範囲で監視する
ことができる。一方、選択手段が第２の画像処理手段を
選択したときには、撮像手段によって得た道路画像の一
部領域が画像情報を間引きせずに処理され、狭い範囲の
画像が高解像度で処理されるようになるので、処理時間
が長くなることなく、自車両から遠い他車両を高解像度
で監視することができる。
【００２７】請求項２記載の発明は、請求項１記載の車
両用後側方監視装置おいて、前記選択手段は、自車両の
近傍に他車両を検出したとき、前記第１の画像処理手段
を選択し、前記検出手段が自車両の近傍に他車両を検出
していないとき、前記第２の画像処理手段を選択し、前
記第２の画像処理手段を選択しているとき、低い頻度で
前記第１の画像処理手段を選択することを特徴とする車
両用後側方監視装置に存する。
【００２８】上記請求項２に記載の発明である車両用後
側方監視装置においては、選択手段は、自車両の近傍に
他車両を検出したとき、第１の画像処理手段を選択し、
低解像度ではあるが自車両近傍の他車両を監視すること
ができ、検出手段が自車両の近傍に他車両を検出してい
ないとき、第２の画像処理手段を選択し、狭い範囲では
あるが高解像度で遠方の他車両を監視できる。しかも、
第２の画像処理手段を選択しているとき、低い頻度で第
１の画像処理手段を選択するので、低解像度であるが時
々自車両の近傍の他車両も監視できるようになってい
る。
【００２９】請求項３記載の発明は、図１（ｂ）の基本
構成図から明らかなように、車両に装着され車両の後側
方の道路を撮像して一定時間毎に道路画像を得る撮像手
段１０と、該撮像手段によって得た道路画像を処理して
後続の他車両を検出する検出手段３１−２とを備え、該
検出手段によって検出した後続の他車両と自車両との相
対関係を監視する車両用後側方監視装置において、ウイ
ンカ動作とその操作方向を検出するウインカ検出手段５
２を更に備え、前記撮像手段が広角で高解像度のカメラ
で構成され、前記検出手段が、前記撮像手段によって得
た道路画像の左領域を処理する第１の画像処理手段３１
−２１と、前記撮像手段によって得た道路画像の右領域
を処理する第２の画像処理手段３１−２２と、前記第１
の画像処理手段及び前記第２の画像処理手段の一方を交
互に選択し、前記ウインカ検出手段がウインカ動作を検
出したとき、ウインカ動作の方向に対応する前記画像処
理手段の一方を選択し続ける選択手段３１−２３とを有
することを特徴とする車両用後側方監視装置に存する。
【００３０】上記請求項３記載の発明である車両用後側
方監視装置においては、検出手段３１−２の有する第１
の画像処理手段３１−２１が撮像手段によって得た道路
画像の左領域を処理し、第２の画像処理手段３１−２２
が撮像手段によって得た道路画像の右領域を処理し、し
かも選択手段３１−２３が第１の画像処理手段及び第２
の画像処理手段の一方を交互に選択し、ウインカ検出手
段５２がウインカ動作を検出したとき、ウインカ動作の
方向に対応する画像処理手段を選択し続けるようになっ
ているので、道路画像の左右隣接車線に存在する近傍か
ら遠方までの他車両を処理時間が長くなることなく高解
像度で監視することができ、しかも車線変更するときに
は変更しようとしている隣接車線を常時監視できるよう
になっている。
【００３１】請求項４記載の発明は、図１（ｃ）の基本
構成図から明らかなように、車両に装着され車両の後側
方の道路を撮像して一定時間毎に道路画像を得る撮像手
段１０と、該撮像手段によって一定時間毎に得た相前後
する２つの道路画像に基づいて他車両から発生するオプ
ティカルフローを検出するオプティカルフロー検出手段
３１−３とを備え、該オプティカルフロー検出手段によ
って検出したオプティカルフローを用いて自車両と後続
の他車両との相対関係を監視する車両用後側方監視装置
において、前記撮像手段を広角で高解像度のカメラで構
成するとともに、前記オプティカルフロー検出手段が、
前記撮像手段によって得た一定時間毎に得た相前後する
２つの道路画像の全体を画像情報を間引きして処理する
第１の画像処理手段３１−３１と、前記撮像手段によっ
て得た道路画像の一部領域を画像情報を間引きせずに処
理する第２の画像処理手段３１−３２と、状況に応じて
前記第１の画像処理手段及び前記第２の画像処理手段の
一方を選択する選択手段３１−３３とを有することを特
徴とする車両用後側方監視装置に存する。
【００３２】請求項４に記載の発明である車両用後側方
監視装置においては、車両に装着された撮像手段１０が
車両の後側方の道路を撮像して一定時間毎に得た相前後
する２つの道路画像に基づいてオプティカルフロー検出
手段３１−３が他車両から発生するオプティカルフロー
を検出し、検出したオプティカルフローを用いて自車両
と後続の他車両との相対関係を監視する。検出手段の有
する第１の画像処理手段３１−３１が撮像手段によって
得た一定時間毎に得た相前後する２つの道路画像の全体
を画像情報を間引きして処理し、第２の画像処理手段３
１−３２が撮像手段によって得た道路画像の一部領域を
画像情報を間引きせずに処理し、かつ選択手段３１−３
３が状況に応じて画像処理の一方を選択するようになっ
ているので、撮像手段が広角で高解像度のカメラで構成
されていても、処理時間が長くなることなく、他車両の
発生するオプティカルフローにより、自車両に近い他車
両を広範囲に、自車両から遠い他車両を高解像度で監視
することができる。
【００３３】
【発明の実施の形態】以下、本発明の実施の形態の具体
例を図面を参照して説明する。図２は、本発明が適用さ
れるオプティカルフロー方式の車両用後側方監視装置の
構成を示すブロック図で、同図において、１０は撮像手
段としての撮像部、２０は撮像部１０からの画像データ
などを保持する記憶部、３０は撮像部１０からの画像情
報に基づき画像処理及び他車両との相対関係を監視する
処理などを実行するデータ処理部、４０は警報を発生す
る警報手段としての警報部、５０は自車両の走行方向を
変更する際の操作情報を示す信号の入力を行う信号入力
部である。
【００３４】撮像部１０は、ビデオカメラ１１から構成
されている。そして、このビデオカメラ１１は、１２０
度の画角となる広角レンズ１１ａと、図３に示すように
ピクセル数が例えば１０２４×１０２４と多く解像度の
高いイメージプレーン１１ｂとを有し、イメージプレー
ン１１ｂの任意のピクセルをランダムにアクセスして読
み込み可能なＣＭＯＳカメラと称されるもので構成され
ている。ＣＭＯＳカメラはＸ−Ｙアドレス型に構成され
ているので、入射光に応じた量の電荷を蓄積している画
素の電荷を順次転送して取り出す電荷転送型と異なり、
電荷を蓄積している画素を水平（Ｘ）ラインと垂直
（Ｙ）ラインにて選択でき、このラインを選択する各々
の走査回路をマルチプレクサを使用してランダムアクセ
スできる回路構成とすることによって、任意の画素を選
択して電荷を取り出すことができる。そして、撮像部１
０のビデオカメラ１１は、車両の後部のトランク部の上
部或いは後端部に、車両の後方に向けて取り付けられ
る。そして、このビデオカメラ１１は、車両の後側方の
道路画像を撮像するように構成されている。そして、こ
のビデオカメラ１１は、データ処理部３０のＣＰＵ３１
（後述）に対し、車両後側方の道路画像情報を出力す
る。
【００３５】記憶部２０は、前記撮像部１０からの道路
画像情報を保持する第１フレームメモリ２１及び第２フ
レームメモリ２２と、発散方向のオプティカルフローを
保持する発散オプティカルフローメモリ２３とを有して
いる。
【００３６】そして、この記憶部２０を構成する第１フ
レームメモリ２２及び第２フレームメモリ２３は、例え
ば５１２画素×５１２画素といったｍ行ｎ列からなるマ
トリクス状のメモリとして構成されている。そして、図
３に示すように、広角時にはイメージプレーン１１ｂか
ら１つ置きのピクセルから読み込むことにより画像情報
を間引かれた画素データが書き込まれ、ズーム時にはイ
メージプレーン１１ｂのＦＯＥ周辺の５１２画素×５１
２画素分のピクセルから読み込むことによって全画像の
一部領域の画素データが書き込まれる。また、各メモリ
２１〜２３は、データ処理部３０のＣＰＵ３１に対し、
読み書き可能に接続されている。
【００３７】データ処理部３０は、動作プログラムに従
って動作する中央制御装置としてのＣＰＵ３１、このＣ
ＰＵ３１の動作プログラム及び予め与えられる設定値な
どを保持するＲＯＭ３２及びＣＰＵ３１の演算実行時に
必要なデータを一時的に保持するＲＡＭ３３を有してい
る。
【００３８】警報部４０は、表示器４１とスピーカ４２
とを有している。表示器４１は、ＬＣＤなどで構成さ
れ、ビデオカメラ１１が撮像した撮像画像を表示した
り、あるいは、データ処理部３０（ＣＰＵ３１）が他車
両との接触危険性有りと判定した際に、メッセージなど
を表示して運転者に対して危険を映像で知らせる。スピ
ーカ４２は、データ処理部３０からの音声信号に基づ
き、音声ガイダンスあるいは警報音といった音声を発生
する。そして、データ処理部３０が他車両との接触危険
性有りと判定した場合には、この音声により運転者に対
して危険を音声で知らせる。
【００３９】信号入力部５０は、ハンドル舵角あるいは
車両の操舵輪（一般には前輪）の操舵角を検出する舵角
検知手段としての舵角センサ５１と、運転者によるウイ
ンカ機構の操作状態とその操作方向を検出するウインカ
検出手段としてのウインカ（ターンシグナル）検出スイ
ッチ５２とを有しており、舵角センサ５１により車両の
転回情報を検出し、ウインカ検出スイッチ５２により運
転者が車両を左右側に転回させる際に操作するウインカ
機構からの転回指示情報を検出する。
【００４０】以上の構成を有する具体例の動作、すなわ
ちデータ処理部３０による制御動作について、フローチ
ャートを参照して説明する。この具体例においては、ま
ず図４のフローチャートすなわち具体例における主フロ
ーチャートのステップＳ１１０にて、画像取得処理を行
う。このステップＳ１１０における画像取得処理によ
り、例えば図５に示す後側方の道路画像が得られる。な
お、初期状態では、ビデオカメラ１１は広角に設定され
ており、このときには、１つ置きのピクセル情報が読み
出されるようになっている。
【００４１】この道路画像は、高速道路といった自動車
専用道路上を走行中の自車両からの画像を例示してお
り、ビデオカメラ１１が車両の後部に後側方に向けて取
り付けられているので、車両の後側方を直視した画像と
なっている。同図に示すように、道路５００、道路５０
０上に描かれ自車線と隣接車線を区画する破線からなり
車線変更を可能とする白線５１０及び５２０と側路を区
画する連続直線からなり車線変更を禁止する白線５３０
及び５４０、並びに道路５００の両脇に立設された壁６
００が、画像上における水平方向中心位置でかつ垂直方
向１／３位置にて消失する画像となってり、この消失点
がＦＯＥとなっている。そして、この取得した道路画像
の情報については、記憶部２０の第１フレームメモリ２
１に格納される。
【００４２】また、この道路画像は、上述したように、
車両の後側方に向けて取り付けられているので、道路画
像における右側が進行方向を基準とした場合の左側に相
当し、道路画像における左側が進行方向を基準とした場
合の右側に相当する。以後、この道路画像を基準とした
左右方向で説明を行うことにする。
【００４３】その後は、図４のフローチャートにおける
ステップＳ１２０に進んでオプティカルフロー検出処理
を行う。よって、ＣＰＵ３１は、予め定めたプログラム
によって動作してビデオカメラ１０によって一定時間毎
に得た相前後する２つの道路画像に基づいて設定された
監視領域内にある他車両から発生するオプティカルフロ
ーを検出するオプティカルフロー検出手段３１−１とし
て機能する。このオプティカルフロー検出処理は、第１
フレームメモリ２１に格納された時刻ｔにおける道路画
像中の画像構成点と、道路画像より所定時間△ｔだけ遅
延して撮像され、第２フレームメモリ２２に格納された
時刻ｔ＋△ｔの撮像画像中の画像構成点との互いに対応
する各点間の移動方向並びに移動量をオプティカルフロ
ーとして検出する。検出したオプティカルフローのうち
発散方向のもの、すなわち自車両に接近中の他車両から
の発散オプティカルフローは発散オプティカルフローメ
モリ２３に記憶される。
【００４４】その後のステップＳ１３０では、広角−ズ
ーム切替処理を行う。この切替処理は図６のフローチャ
ートに示すように行われ、先ず最初ステップＳ２１０ａ
において、発散オプティカルフローメモリ２３に自車両
近傍のオプティカルフローが記憶されるかどうかを判断
する。自車両近傍のオプティカルフローが記憶されてい
るときにはステップＳ２２０ａで広角モードを設定し、
次のステップＳ２２０ａ′においてカウンタＣをクリア
してから元のフローチャートに戻る。一方、ステップＳ
２１０ａの判断の結果、自車両近傍のオプティカルフロ
ーが記憶されていないときにはステップ２３０ａでズー
ムモードを設定する。その後ステップＳ２４０ａでカウ
ンタＣをインクリメントする。そしてステップＳ２５０
ａでカウンタ値が１０になったかどうかを判断し、１０
になっていればステップＳ２６０ａで広角モードを設定
するとともにステップＳ２７０ａでカウンタをクリアし
てから元のフローチャートに戻る。
【００４５】以上の処理によって、データ処理部３０の
ＣＰＵ３１は、撮像部１０のビデオカメラ１１によって
一定時間毎に得た相前後する２つの道路画像に基づいて
他車両から発生するオプティカルフローを検出するオプ
ティカルフロー検出手段３１−３、撮像部１０のビデオ
カメラ１１によって得た一定時間毎に得た相前後する２
つの道路画像の全体を画像情報を間引きして処理する第
１の画像処理手段３１−３１、撮像部１０のビデオカメ
ラ１１によって得た道路画像の一部領域を画像情報を間
引きせずに処理する第２の画像処理手段３１−３２、状
況に応じて第１の画像処理手段及び第２の画像処理手段
の一方を選択する選択手段３１−３３としてそれぞれ機
能する。
【００４６】以上により、ズームモードが設定されてい
るときには、自車両近傍のオプティカルフローが記憶さ
れていなくても１０回に１回広角モードが設定され、ズ
ームモードではカバーしきれない、自車両近傍への他車
両の突然の割り込みの有無をチェックできるようになっ
ている。この場合、１回の広角モードで、オプティカル
フローの検出の都合上、時間的に前後する２つの道路画
像が得られるようにする。
【００４７】そして、ステップＳ１４０では、危険度の
算出処理を行う。すなわち、このステップＳ１４０で
は、上記ステップＳ１３０にて取得したオプティカルフ
ローの内、上述したオプティカルフロー２０１Ｆ及び２
０２Ｆのように発散方向のオプティカルフローに対し、
その大きさ（長さ）に重み付けをし数値化する。なお、
この算出処理において、しきい値を数レベル設定してお
き、危険度のレベルを算出するようにしてもよい。
【００４８】引き続くステップＳ１５０では、上記ステ
ップＳ１４０で算出された危険度に基づき、この危険度
が或るしきい値を越えたら危険と判断する。また、危険
度のレベルが与えられた場合には、このレベルが規定値
以上となった場合に危険と判断する。そして、この判定
処理で危険と判断された場合には、ステップＳ１６０に
て警報処理を実行し、一方、危険でないと判断された場
合には、一連の処理を終了して再度上述したステップＳ
１１０からの処理を実行する。
【００４９】このステップＳ１６０の警報処理では、警
報部４０のスピーカ４２に対し音声信号を送出し、この
スピーカ４２から音声ガイダンスあるいは警報音を発生
させることにより運転者に対して注意を促し、表示器４
１によりメッセージなどを表示して運転者に対して危険
を映像で知らせる。そして、このステップＳ１６０の警
報処理が終了すると、一連の処理を終了して再度上述し
たステップＳ１１０からの処理を実行する。
【００５０】上述の実施の形態では、自車両の近傍にオ
プティカルフローがあるかどうかによって広角とズーム
を切り替えるようにしているが、自車両の近傍にオプテ
ィカルフローがあるかどうかに関係なく、広角とズーム
を常時交互に切り替えて近傍と遠方を常時監視するよう
にし、オプティカルフローの検出は１つ置きの１組の相
前後する広角画像、ズーム画像を利用して行うようにす
る。
【００５１】また、常時ズームにて左右エリアを交互に
監視し、ウインカ検出スイッチ５２の動作によって方向
変更側のエリアに固定して監視を行うようにしたり、或
いは、常時広角にて監視し、ウインカ検出スイッチ５２
の動作に応じて方向変更側のエリアをズームにて監視す
るようにしてもよい。この場合、データ処理部３０のＣ
ＰＵ３１は、撮像部１０のビデオカメラ１１によって得
た道路画像を処理して後続の他車両を検出する検出手段
３１−２、撮像部１０のビデオカメラ１１によって得た
道路画像の左領域を処理する第１の画像処理手段３１−
２１、撮像部１０のビデオカメラ１１によって得た道路
画像の右領域を処理する第２の画像処理手段３１−２
２、第１の画像処理手段及び前記第２の画像処理手段の
一方を交互に選択し、ウインカ検出スイッチ５２がウイ
ンカ動作を検出したとき、ウインカ動作の方向に対応す
る画像処理手段の一方を選択し続ける選択手段３１−２
３としてそれぞれ機能する。
【００５２】また、上述の実施の形態では、メモリ容量
を増やすことなく対処できるように、イメージプレーン
１１ｂ自体がランダムにアクセス可能なビデオカメラを
使用した例を示したが、第１フレームメモリ２１及び第
２フレームメモリ２２の他に、大きな容量の第３のフレ
ームメモリを用意できる場合には、電荷転送型の高解像
度のビデオカメラ１１によって撮像した画像を一度第３
のフレームメモリに読み込んだ後に、第３のフレームメ
モリから画素単位のデータをランダムにアクセスして上
述したと同様のことを行うようにすることもできる。
【００５３】何れにしても、広角、ズームの何れの場合
にも、処理すべき画素数が大きくならないので、画像処
理に要する時間が長くならず、高速のデータ処理部を用
意しなくても、相前後する画像を取得する間にオプティ
カルフローの検出処理ができるようになっている。
【００５４】また、上述の実施の形態では、オプティカ
ルフローを検出して他車両を監視しているが、本発明は
オプティカルフローを利用しない他の任意の画像処理を
使用して他車両を監視する装置に適用することができ
る。この場合、画像処理を行うデータ処理部３０のＣＰ
Ｕ３１は、撮像部１０のビデオカメラ１１によって得た
道路画像を処理して後続の他車両を検出する検出手段３
１−１、撮像部１０のビデオカメラ１１によって得た道
路画像の全体を画像情報を間引きして処理する第１の画
像処理手段３１−１１、撮像部１０のビデオカメラ１１
によって得た道路画像の一部領域を画像情報を間引きせ
ずに処理する第２の画像処理手段３１−１２、状況に応
じて第１の画像処理手段及び第２の画像処理手段の一方
を選択する選択手段３１−１３としてそれぞれ機能す
る。
【００５５】
【発明の効果】以上説明したように、上記請求項１記載
の発明によれば、広角で高解像度のカメラで構成された
撮像手段によって得た道路画像の全体が間引きして処理
され、広範囲の画像が低解像度で処理されたり、撮像手
段によって得た道路画像の一部領域が間引きせずに処理
され、狭い範囲の画像が高解像度で処理されるようにな
るので、広角で高解像度のカメラを使用しても、監視範
囲が広くなり、それだけ解像度が低下したり、処理すべ
き画像情報が多くなって、処理時間および検出精度の面
で問題を起こすことなく、近傍及び遠方の両方をそれぞ
れに好まし状態で監視できる車両用後側方監視装置が得
られる。
【００５６】請求項２記載の発明によれば、選択手段
は、自車両の近傍に他車両を検出したとき、低解像度で
はあるが自車両近傍の他車両を監視することができ、自
車両の近傍に他車両を検出していないとき、狭い範囲で
はあるが高解像度で遠方の他車両を監視でき、しかも、
低い頻度で低解像度であるが時々自車両の近傍の他車両
も監視できるようになっているので、近傍及び遠方の両
方をそれぞれに好まし状態で他車両を監視できる車両用
後側方監視装置が得られる。
【００５７】請求項３記載の発明によれば、撮像手段に
よって得た道路画像の左領域と右領域の一方を交互に選
択して処理でき、ウインカ動作を検出したとき、ウイン
カ動作の方向に対応する画像処理を選択し続けるように
なし、道路画像の左右隣接車線に存在する近傍から遠方
までの他車両を高解像度で監視することができ、しかも
車線変更するときには変更しようとしている隣接車線を
常時監視できるようになっているので、好まし状態で他
車両を監視できる車両用後側方監視装置が得られる。
【００５８】請求項４記載の発明によれば、車両の後側
方の道路を広記角で高解像度のカメラで撮像して一定時
間毎に得た相前後する２つの道路画像に基づいて他車両
から発生するオプティカルフローを検出し、検出したオ
プティカルフローを用いて自車両と後続の他車両との相
対関係を監視するため、広角で高解像度のカメラを使用
しても、一定時間毎に得た相前後する２つの道路画像の
全体を間引きして処理したり、道路画像の一部領域を間
引きせずに処理することを状況に応じて選択できるよう
になっているので、広角で高解像度のカメラを使用する
ことの不都合を招くことなく、好まし状態で他車両を監
視できる車両用後側方監視装置が得られる。
【図面の簡単な説明】
【図１】本発明の車両用後側方監視装置の基本構成図で
ある。
【図２】本発明を適用した車両用後側方監視警報装置の
構成を示したブロック図である。
【図３】ビデオカメラ内のイメージプレーンの一例を示
す図である。
【図４】本発明の車両用後側方監視警報装置における動
作の概要を示したフローチャートである。
【図５】本発明の車両用後側方監視警報装置におけるビ
デオカメラによって撮像した道路画像の一例を示した図
である。
【図６】広角−ズーム切替処理の一例のフローチャート
を示した図である。
【図７】従来の車両用後側方監視警報装置の構成を示し
たブロック図である。
【図８】ビデオカメラによって得られる後側方の道路画
像の変化を説明するための図である。
【図９】光学配置を示す図である。
【図１０】片側３車線の高速専用道路の道路画像を示し
た概念図である。
【符号の説明】 １０ 撮像手段（撮像部） ３１−１ 検出手段（ＣＰＵ） ３１−１１ 第１の画像処理手段（ＣＰＵ） ３１−１２ 第２の画像処理手段（ＣＰＵ） ３１−１３ 選択手段（ＣＰＵ） ３１−２ 検出手段（ＣＰＵ） ３１−２１ 第１の画像処理手段（ＣＰＵ） ３１−２２ 第２の画像処理手段（ＣＰＵ） ３１−２３ 選択手段（ＣＰＵ） ３１−３ オプティカルフロー検出手段（Ｃ
ＰＵ） ３１−３１ 第１の画像処理手段（ＣＰＵ） ３１−３２ 第２の画像処理手段（ＣＰＵ） ３１−３３ 選択手段（ＣＰＵ） ５２ ウインカ検出手段（ウインカ検出
スイッチ）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｂ 21/00 Ｇ０８Ｇ 1/16 Ｃ Ｇ０８Ｇ 1/16 Ｈ０４Ｎ 7/18 Ｊ Ｈ０４Ｎ 7/18 Ｂ６０Ｒ 21/00 ６２１Ｍ ６２１Ｃ ６２２Ｔ ６２２Ｆ ６２６Ｇ (72)発明者 藤浪 一友 静岡県裾野市御宿1500 矢崎総業株式会社 内 Ｆターム(参考） 5C054 AA01 CC03 CH02 CH03 EA05 ED07 FA00 FC15 FE28 FF03 HA30 5C084 AA04 AA07 BB04 BB31 DD11 EE06 GG20 GG43 GG52 GG78 5C086 AA51 AA52 BA22 CA25 CA28 DA08 DA33 FA06 FA17 5H180 AA01 CC04 LL04 LL07 5L096 AA13 BA02 BA04 CA02 DA03 EA27 FA66 FA67 GA08 GA26 HA04

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 車両に装着され車両の後側方の道路を撮
    像して一定時間毎に道路画像を得る撮像手段と、該撮像
    手段によって得た道路画像を処理して後続の他車両を検
    出する検出手段とを備え、該検出手段によって検出した
    後続の他車両と自車両との相対関係を監視する車両用後
    側方監視装置において、 前記撮像手段が広角で高解像度のカメラで構成され、 前記検出手段が、 前記撮像手段によって得た道路画像の全体を画像情報を
    間引きして処理する第１の画像処理手段と、 前記撮像手段によって得た道路画像の一部領域を画像情
    報を間引きせずに処理する第２の画像処理手段と、 状況に応じて前記第１の画像処理手段及び前記第２の画
    像処理手段の一方を選択する選択手段とを有することを
    特徴とする車両用後側方監視装置。
  2. 【請求項２】 前記選択手段は、自車両の近傍に他車両
    を検出したとき、前記第１の画像処理手段を選択し、前
    記検出手段が自車両の近傍に他車両を検出していないと
    き、前記第２の画像処理手段を選択し、前記第２の画像
    処理手段を選択しているとき、低い頻度で前記第１の画
    像処理手段を選択することを特徴とする請求項１記載の
    車両用後側方監視装置。
  3. 【請求項３】 車両に装着され車両の後側方の道路を撮
    像して一定時間毎に道路画像を得る撮像手段と、該撮像
    手段によって得た道路画像を処理して後続の他車両を検
    出する検出手段とを備え、該検出手段によって検出した
    後続の他車両と自車両との相対関係を監視する車両用後
    側方監視装置において、 ウインカ動作とその操作方向を検出するウインカ検出手
    段を更に備え、 前記撮像手段が広角で高解像度のカメラで構成され、 前記検出手段が、 前記撮像手段によって得た道路画像の左領域を処理する
    第１の画像処理手段と、 前記撮像手段によって得た道路画像の右領域を処理する
    第２の画像処理手段と、 前記第１の画像処理手段及び前記第２の画像処理手段の
    一方を交互に選択し、前記ウインカ検出手段がウインカ
    動作を検出したとき、ウインカ動作の方向に対応する前
    記画像処理手段の一方を選択し続ける選択手段とを有す
    ることを特徴とする車両用後側方監視装置。
  4. 【請求項４】 車両に装着され車両の後側方の道路を撮
    像して一定時間毎に道路画像を得る撮像手段と、該撮像
    手段によって一定時間毎に得た相前後する２つの道路画
    像に基づいて他車両から発生するオプティカルフローを
    検出するオプティカルフロー検出手段とを備え、該オプ
    ティカルフロー検出手段によって検出したオプティカル
    フローを用いて自車両と後続の他車両との相対関係を監
    視する車両用後側方監視装置において、 前記撮像手段を広角で高解像度のカメラで構成するとと
    もに、 前記オプティカルフロー検出手段が、 前記撮像手段によって得た一定時間毎に得た相前後する
    ２つの道路画像の全体を間引きして処理する第１の画像
    処理手段と、 前記撮像手段によって得た道路画像の一部領域を間引き
    せずに処理する第２の画像処理手段と、 状況に応じて前記第１の画像処理手段及び前記第２の画
    像処理手段の一方を選択する選択手段とを有することを
    特徴とする車両用後側方監視装置。
JP05243799A 1999-03-01 1999-03-01 車両用後側方監視装置 Expired - Fee Related JP4287532B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP05243799A JP4287532B2 (ja) 1999-03-01 1999-03-01 車両用後側方監視装置
DE60005426T DE60005426T2 (de) 1999-03-01 2000-02-28 Rückblicksüberwachungssystem für Fahrzeuge
EP00104079A EP1033694B1 (en) 1999-03-01 2000-02-28 Rear-view monitoring system for vehicles
US09/515,527 US6218960B1 (en) 1999-03-01 2000-02-29 Rear-view monitor for use in vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05243799A JP4287532B2 (ja) 1999-03-01 1999-03-01 車両用後側方監視装置

Publications (2)

Publication Number Publication Date
JP2000251080A true JP2000251080A (ja) 2000-09-14
JP4287532B2 JP4287532B2 (ja) 2009-07-01

Family

ID=12914734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05243799A Expired - Fee Related JP4287532B2 (ja) 1999-03-01 1999-03-01 車両用後側方監視装置

Country Status (4)

Country Link
US (1) US6218960B1 (ja)
EP (1) EP1033694B1 (ja)
JP (1) JP4287532B2 (ja)
DE (1) DE60005426T2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001023092A (ja) * 1999-07-08 2001-01-26 Mitsubishi Motors Corp 車両周辺領域監視装置
JP2005511994A (ja) * 2001-12-03 2005-04-28 ジェイ マジリ，ジョーゼフ 自動車用３６０度ビデオ・カメラ装置
JP2006331164A (ja) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置
JP2007028440A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方視認システム
JP2009009209A (ja) * 2007-06-26 2009-01-15 Nippon Soken Inc 画像認識装置および画像認識処理方法
JP2009166624A (ja) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd 車両用後方監視装置および車両後方監視方法
JP2009260462A (ja) * 2008-04-14 2009-11-05 Tokyo Institute Of Technology 移動体追跡カメラシステム
WO2010050095A1 (ja) 2008-10-31 2010-05-06 株式会社小糸製作所 前照灯制御装置
KR101207134B1 (ko) 2007-10-25 2012-11-30 주식회사 만도 고해상도 절대 조향각 측정 방법 및 그를 이용한 전자 제어장치
JP2013205924A (ja) * 2012-03-27 2013-10-07 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2015049740A (ja) * 2013-09-02 2015-03-16 公益財団法人鉄道総合技術研究所 レール検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール検出方法ならびに制御方法
US9077907B2 (en) 2011-04-14 2015-07-07 Hitachi Automotive Systems, Ltd. Image processing apparatus
JP2015167349A (ja) * 2014-02-14 2015-09-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
CN107599976A (zh) * 2017-09-07 2018-01-19 如皋福大工程技术研究院有限公司 红绿灯追踪识别***
CN107972583A (zh) * 2016-10-25 2018-05-01 丰田自动车株式会社 车辆用成像显示装置以及记录介质
JP2018074558A (ja) * 2016-10-25 2018-05-10 トヨタ自動車株式会社 車両用撮影表示装置及び車両用撮影表示プログラム
JP2020501423A (ja) * 2016-12-06 2020-01-16 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法
US10657670B2 (en) 2016-02-22 2020-05-19 Hitachi Automotive Systems, Ltd. Information processing apparatus
JP2020516093A (ja) * 2017-04-03 2020-05-28 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の周辺領域を認識するカメラ装置および方法
WO2020250519A1 (ja) 2019-06-14 2020-12-17 マツダ株式会社 外部環境認識装置
JP2021157291A (ja) * 2020-03-25 2021-10-07 パナソニックＩｐマネジメント株式会社 車両用表示制御装置、表示制御方法、およびプログラム

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000225970A (ja) * 1998-11-30 2000-08-15 Tuner Kk 車載用画像記録システム
JP2001074444A (ja) * 1999-09-08 2001-03-23 Fujitsu Ltd 撮像装置の設置姿勢パラメータ自動抽出方法及び撮像装置を用いた監視システム
DE10109680B4 (de) * 2000-02-29 2009-02-26 Aisin Seiki K.K., Kariya Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
EP1158804A3 (en) * 2000-05-24 2003-12-17 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
US6369701B1 (en) * 2000-06-30 2002-04-09 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a drive assistant image for drive assistance
US6825779B2 (en) * 2000-06-30 2004-11-30 Matsushita Electric Industrial Co., Ltd. Rendering device
JP2002036991A (ja) * 2000-07-27 2002-02-06 Honda Motor Co Ltd 駐車支援装置
JP4183372B2 (ja) * 2000-09-08 2008-11-19 富士通株式会社 宅配方法および宅配サーバ並びに記録媒体
US6424273B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes
US6552656B2 (en) * 2001-04-12 2003-04-22 Horizon Navigation, Inc. Method and apparatus for generating notification of changed conditions behind a vehicle
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
CN1413860A (zh) * 2002-02-25 2003-04-30 中华研升科技股份有限公司 应用于车外状况监视器之角度调整装置与方法
EP1441528A4 (en) * 2001-10-10 2005-01-12 Matsushita Electric Ind Co Ltd IMAGE PROCESSOR
US20030076981A1 (en) * 2001-10-18 2003-04-24 Smith Gregory Hugh Method for operating a pre-crash sensing system in a vehicle having a counter-measure system
US6775605B2 (en) 2001-11-29 2004-08-10 Ford Global Technologies, Llc Remote sensing based pre-crash threat assessment system
US6819991B2 (en) * 2001-11-29 2004-11-16 Ford Global Technologies, Llc Vehicle sensing based pre-crash threat assessment system
US7006129B1 (en) 2001-12-12 2006-02-28 Mcclure Daniel R Rear-view display system for vehicle with obstructed rear view
US7158870B2 (en) * 2002-01-24 2007-01-02 Ford Global Technologies, Llc Post collision restraints control module
US6831572B2 (en) 2002-01-29 2004-12-14 Ford Global Technologies, Llc Rear collision warning system
US6721659B2 (en) 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
US6519519B1 (en) 2002-02-01 2003-02-11 Ford Global Technologies, Inc. Passive countermeasure methods
US20030151598A1 (en) * 2002-02-13 2003-08-14 Sutor Thomas Andrew Uses for truck cam
US6498972B1 (en) 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
TW515766B (en) * 2002-03-08 2003-01-01 Shr-Shiung Li Method and device for detecting distance by car reversing radar
KR200277875Y1 (ko) * 2002-03-11 2002-06-14 이스턴 마스텍 주식회사 자동차의 후방용 감시카메라의 좌우반전 스위칭 장치
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP2005062992A (ja) * 2003-08-08 2005-03-10 Nissan Motor Co Ltd 画像生成装置および画角変換手法並びに画角変換プログラム
EP1662459A4 (en) * 2003-09-02 2007-03-21 Fujitsu Ltd IMAGE PROCESSOR WITH VEHICLE INSTALLATION
JP4513318B2 (ja) * 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
US7190282B2 (en) * 2004-03-26 2007-03-13 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Nose-view monitoring apparatus
US7982772B2 (en) * 2004-03-30 2011-07-19 Fujifilm Corporation Image correction apparatus and image correction method for correcting image blur using a mobile vector
DE102004046101B4 (de) * 2004-09-23 2007-01-18 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4410168B2 (ja) * 2005-07-15 2010-02-03 三菱電機株式会社 画像処理装置
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
TWI298298B (en) * 2006-03-09 2008-07-01 Chih Jung Ho The warning system for measuring the distance to a following vehicle
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US20080043736A1 (en) * 2006-08-18 2008-02-21 Drivecam, Inc. Data Transfer System and Method
US7536457B2 (en) * 2006-05-08 2009-05-19 Drivecam, Inc. System and method for wireless delivery of event data
US7804426B2 (en) * 2006-05-08 2010-09-28 Drivecam, Inc. System and method for selective review of event data
US9836716B2 (en) * 2006-05-09 2017-12-05 Lytx, Inc. System and method for reducing driving risk with hindsight
US20070268158A1 (en) * 2006-05-09 2007-11-22 Drivecam, Inc. System and Method for Reducing Driving Risk With Insight
US8314708B2 (en) * 2006-05-08 2012-11-20 Drivecam, Inc. System and method for reducing driving risk with foresight
US7659827B2 (en) * 2006-05-08 2010-02-09 Drivecam, Inc. System and method for taking risk out of driving
US8373567B2 (en) * 2006-05-08 2013-02-12 Drivecam, Inc. System and method for identifying non-event profiles
US20070257782A1 (en) * 2006-05-08 2007-11-08 Drivecam, Inc. System and Method for Multi-Event Capture
JP5117003B2 (ja) * 2006-07-11 2013-01-09 本田技研工業株式会社 運転支援装置
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
FR2917209B1 (fr) * 2007-06-08 2009-10-16 Valeo Vision Sa Procede de detection d'un vehicule
JP4436392B2 (ja) * 2007-09-07 2010-03-24 株式会社デンソー 映像処理装置
US20090091649A1 (en) * 2007-10-05 2009-04-09 Anderson Leroy E Electronic document viewer
US20090115847A1 (en) * 2007-11-07 2009-05-07 Anderson Leroy E Electronic automobile proximity viewer
DE102008023504A1 (de) * 2008-05-09 2009-11-19 Siemens Aktiengesellschaft Streckenüberwachungssystem für ein Fahrzeug und Verfahren zu dessen Betrieb
TW201008812A (en) * 2008-08-22 2010-03-01 shi-xiong Li Auxiliary video warning device for vehicle
DE102009050368A1 (de) 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US8964032B2 (en) 2009-01-30 2015-02-24 Magna Electronics Inc. Rear illumination system
US9150155B2 (en) 2010-01-13 2015-10-06 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
JP2012222664A (ja) * 2011-04-11 2012-11-12 Honda Elesys Co Ltd 車載カメラシステム
EP2523173B1 (en) * 2011-05-10 2017-09-20 Autoliv Development AB Driver assisting system and method for a motor vehicle
DE102011076112A1 (de) * 2011-05-19 2012-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
TW201348038A (zh) * 2012-05-31 2013-12-01 Yottastor Information Technology Inc 行車警示系統
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US10068472B2 (en) * 2014-06-06 2018-09-04 Veoneer Us, Inc. Automotive lane discipline system, method, and apparatus
JP5794398B1 (ja) * 2014-09-05 2015-10-14 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
JP5957575B1 (ja) * 2015-06-12 2016-07-27 Ckd株式会社 三次元計測装置
US11228700B2 (en) 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
US10564282B2 (en) * 2016-03-18 2020-02-18 Valeo Schalter Und Sensoren Gmbh Method for improving a detection of at least one object in surroundings of a motor vehicle by way of an indirect measurement by sensors, controller, driver assistance system, and motor vehicle
EP3229172A1 (en) 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
US10300859B2 (en) 2016-06-10 2019-05-28 Magna Electronics Inc. Multi-sensor interior mirror device with image adjustment
GB201614475D0 (en) * 2016-08-24 2016-10-05 Denholm Timothy J H And Milne Timothy S Bicycle safety apparatus and methods
IT201600094414A1 (it) * 2016-09-20 2018-03-20 St Microelectronics Srl Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
DE102017210845A1 (de) 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
EP3567565A1 (en) * 2018-05-09 2019-11-13 Volkswagen AG Apparatus, method, computer program, base station and vehicle for providing information related to an approaching vehicle
IT201900019268A1 (it) * 2019-10-18 2021-04-18 Riccardo Cesari Metodo per rilevare in maniera automatica il sorpasso di una bicicletta da parte di un veicolo a motore e relativo dispositivo di rilevamento per rilevare in maniera automatica il sorpasso di una bicicletta da parte di un veicolo a motore e relativo sistema di rilevamento

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4277804A (en) * 1978-11-01 1981-07-07 Elburn Robison System for viewing the area rearwardly of a vehicle
JP2641562B2 (ja) 1989-04-28 1997-08-13 松下電器産業株式会社 車両用衝突防止装置
US5303205A (en) * 1990-02-26 1994-04-12 Trend Tec Inc. Vehicular distance measuring system with integral mirror display
US5121200A (en) * 1990-07-06 1992-06-09 Choi Seung Lyul Travelling monitoring system for motor vehicles
US5138454A (en) * 1991-09-16 1992-08-11 Eastman Kodak Company Megapixel video previewer framestore and display
DE4332612C2 (de) * 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
JP3452268B2 (ja) 1993-08-06 2003-09-29 矢崎総業株式会社 車両用後側方監視方法
JP2863381B2 (ja) 1992-09-25 1999-03-03 矢崎総業株式会社 車両用監視方法
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
FR2706211B1 (fr) * 1993-06-08 1995-07-21 Thomson Csf Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre.
JP3390289B2 (ja) * 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JP3358709B2 (ja) * 1997-08-11 2002-12-24 富士重工業株式会社 車両用運転支援装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001023092A (ja) * 1999-07-08 2001-01-26 Mitsubishi Motors Corp 車両周辺領域監視装置
JP2005511994A (ja) * 2001-12-03 2005-04-28 ジェイ マジリ，ジョーゼフ 自動車用３６０度ビデオ・カメラ装置
JP2006331164A (ja) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置
JP2007028440A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 後側方視認システム
JP4658724B2 (ja) * 2005-07-20 2011-03-23 株式会社オートネットワーク技術研究所 後側方視認システム
JP2009009209A (ja) * 2007-06-26 2009-01-15 Nippon Soken Inc 画像認識装置および画像認識処理方法
KR101207134B1 (ko) 2007-10-25 2012-11-30 주식회사 만도 고해상도 절대 조향각 측정 방법 및 그를 이용한 전자 제어장치
JP2009166624A (ja) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd 車両用後方監視装置および車両後方監視方法
JP2009260462A (ja) * 2008-04-14 2009-11-05 Tokyo Institute Of Technology 移動体追跡カメラシステム
WO2010050095A1 (ja) 2008-10-31 2010-05-06 株式会社小糸製作所 前照灯制御装置
US9077907B2 (en) 2011-04-14 2015-07-07 Hitachi Automotive Systems, Ltd. Image processing apparatus
JP2013205924A (ja) * 2012-03-27 2013-10-07 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2015049740A (ja) * 2013-09-02 2015-03-16 公益財団法人鉄道総合技術研究所 レール検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール検出方法ならびに制御方法
JP2015167349A (ja) * 2014-02-14 2015-09-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
US10657670B2 (en) 2016-02-22 2020-05-19 Hitachi Automotive Systems, Ltd. Information processing apparatus
US10897572B2 (en) 2016-10-25 2021-01-19 Toyota Jidosha Kabushiki Kaisha Imaging and display device for vehicle and recording medium thereof for switching an angle of view of a captured image
CN107972583A (zh) * 2016-10-25 2018-05-01 丰田自动车株式会社 车辆用成像显示装置以及记录介质
JP2018074558A (ja) * 2016-10-25 2018-05-10 トヨタ自動車株式会社 車両用撮影表示装置及び車両用撮影表示プログラム
JP2020501423A (ja) * 2016-12-06 2020-01-16 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法
JP2020516093A (ja) * 2017-04-03 2020-05-28 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の周辺領域を認識するカメラ装置および方法
JP7248574B2 (ja) 2017-04-03 2023-03-29 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の周辺領域を認識するカメラ装置および方法
CN107599976A (zh) * 2017-09-07 2018-01-19 如皋福大工程技术研究院有限公司 红绿灯追踪识别***
WO2020250519A1 (ja) 2019-06-14 2020-12-17 マツダ株式会社 外部環境認識装置
JP2021157291A (ja) * 2020-03-25 2021-10-07 パナソニックＩｐマネジメント株式会社 車両用表示制御装置、表示制御方法、およびプログラム
JP7345114B2 (ja) 2020-03-25 2023-09-15 パナソニックＩｐマネジメント株式会社 車両用表示制御装置、表示制御方法、およびプログラム

Also Published As

Publication number Publication date
JP4287532B2 (ja) 2009-07-01
EP1033694A3 (en) 2001-11-14
US6218960B1 (en) 2001-04-17
DE60005426T2 (de) 2004-05-06
EP1033694B1 (en) 2003-09-24
EP1033694A2 (en) 2000-09-06
DE60005426D1 (de) 2003-10-30

Similar Documents

Publication Publication Date Title
JP4287532B2 (ja) 車両用後側方監視装置
JP3452268B2 (ja) 車両用後側方監視方法
US6330511B2 (en) Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor
JP5421072B2 (ja) 接近物体検知システム
EP1033693A2 (en) Rear and side view monitor with camera for a vehicle
JP2863381B2 (ja) 車両用監視方法
JP2887039B2 (ja) 車両周辺監視装置
US9067537B2 (en) Vehicle periphery monitoring device
JP4173902B2 (ja) 車両周辺監視装置
JP2000295604A (ja) 車両用後側方監視装置
JP2002314989A (ja) 車両用周辺監視装置
JP3464368B2 (ja) 車両用後側方監視装置
JP3351340B2 (ja) オプティカルフロー式後方情報検出装置
JP4864953B2 (ja) 車両周辺監視装置
JP3635591B2 (ja) 車両周辺監視装置
JP2000251199A (ja) 車両用後側方監視装置
JP3729005B2 (ja) 車両の後方監視装置
JPH0986314A (ja) 車両用後側方監視装置
JP2000315255A (ja) 車両用後側方監視装置及び車両用後側方監視警報装置
JP2001023092A (ja) 車両周辺領域監視装置
JP3398934B2 (ja) 車両用監視方法
JP2004103018A (ja) 車両の周辺監視装置
JP3585071B2 (ja) 車両周辺監視装置
JP4013856B2 (ja) 後側方警報装置
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090327

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140403

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees