JP2003162798A - 障害物監視装置及びプログラム - Google Patents

障害物監視装置及びプログラム

Info

Publication number
JP2003162798A
JP2003162798A JP2001359412A JP2001359412A JP2003162798A JP 2003162798 A JP2003162798 A JP 2003162798A JP 2001359412 A JP2001359412 A JP 2001359412A JP 2001359412 A JP2001359412 A JP 2001359412A JP 2003162798 A JP2003162798 A JP 2003162798A
Authority
JP
Japan
Prior art keywords
obstacle
dimensional signal
monitoring device
dimensional
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001359412A
Other languages
English (en)
Other versions
JP3849505B2 (ja
Inventor
Takahiro Ishikawa
貴洋 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2001359412A priority Critical patent/JP3849505B2/ja
Priority to US10/302,956 priority patent/US7170548B2/en
Publication of JP2003162798A publication Critical patent/JP2003162798A/ja
Application granted granted Critical
Publication of JP3849505B2 publication Critical patent/JP3849505B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

(57)【要約】 【課題】処理のリアルタイム化および装置の低コスト化
を図るとともに、より少ない演算能力・メモリ容量で障
害物を確実に検出することができる障害物監視装置を提
供する。 【解決手段】カメラで撮像した2次元の画像信号から予
め障害物存在ラインとして設定された座標の画素の輝度
値を1次元信号としてメモリに取り込み、取り込んだ1
次元信号の輝度値が通常の道路の輝度値として想定され
る値以外の部分を車両候補領域として抽出する。そし
て、抽出した車両候補領域から車幅や相対速度など障害
物となる車両の特性に基づいてノイズを除去し、障害物
となる車両の有無を判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】障害物監視装置等に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】従来、
自車両から所定領域を監視して障害物を検出する障害物
監視装置として、例えば前方領域監視に関しては特開平
6−107096号公報に記載された「車両用前方監視
方法」が、後側方領域監視に関しては特開平9−156
3437号公報に記載された「警報装置」や特開200
0−285245号公報に記載された「移動体の衝突防
止装置、衝突防止方法、および記録媒体」が知られてい
る。
【0003】これら監視装置では、自車両に設置したビ
デオカメラで前方あるいは後側方を撮影した画像を用い
る。そして、この画像中から処理対象領域を抽出し、前
記領域に限定して障害物検出処理をすることでリアルタ
イム性を実現しようとしている。
【0004】例えば、特開平6−107096号公報に
記載された「車両用前方監視方法」では自車両走行車線
上およびその周辺に存在し消失点から発生する直線上に
設定した微小領域において、消失点から湧き出す動きで
あるオプティカルフローを持つ微小領域に注目して先行
他車両を検出している。
【0005】また特開2000−285245号公報に
記載された「移動体の衝突防止装置、衝突防止方法、お
よび記録媒体」では隣接車線上およびその周辺に存在し
消失点(FOE)から発生する直線上に設定した微小領
域において、消失点から湧き出す動きであるオプティカ
ルフローを持つ微小領域に注目して後側方より接近する
他車両を検出している。また、前記オプティカルフロー
をパラメータ空間へ投票し、領域併合することで他車両
をオブジェクトとして認識している。
【0006】また、特開平9−240397号公報に記
載された「後側方車両の報知装置」では連続するフレー
ム中の線領域を時系列に並べた時空間画像に対してHo
ugh変換を適用して後側方より接近する他車両を検出
している。しかしながら、上記手法での処理対象は2次
元領域、つまり画像であり、この2次元領域に対してオ
プティカルフロー算出処理、領域併合やHough変換
などの画像処理手法を適用することで障害物である接近
他車両を検出しているため、処理範囲を限定したとして
も2次元領域を対象とした画像処理手法を適用している
ことに変わりはなく、演算負荷が大きい。更に、2次元
領域である前記処理対象範囲の画素値を演算の際にメモ
リに保持しなければならないため、使用するメモリ容量
も必然的に大きくなってしまう。また、例えば障害物監
視装置を複数の装置で構成する場合、装置間で2次元領
域分のデータをやりとりしなければならなくなり、通信
量が多くなってしまう。したがって、例えば車両の衝突
防止のような高いリアルタイム性が要求され、かつ、車
載が可能なコストの装置などには、こうした方法はまだ
まだ不向きであるという問題がある。
【0007】また、こうした問題は車両の検出以外の種
々の障害物の検出の場合にも発生している。そこで本発
明は、このような従来技術が抱える状況に鑑みてなされ
たもので、2次元画像から障害物を検出するときの演算
量、メモリ使用量及び通信量を減らすことができ、これ
により処理のリアルタイム化および実現装置の低コスト
化を図るとともに、比較的低い演算能力・少ないメモリ
容量であっても障害物を確実に検出することができる障
害物監視装置を提供することを目的とする。
【0008】
【課題を解決するための手段及び発明の効果】上述した
問題点を解決するためになされた請求項1に記載の障害
物監視装置によれば、撮像した映像から注目する1次元
信号を抽出して、その抽出した1次元信号に基づき障害
物の有無を判別する。したがって、2次元の画像信号を
処理する場合に比べ演算量、メモリ使用量及び通信量を
低減することができる。よって例えば障害物監視装置を
構成する回路規模、マイコン等に必要な性能やプログラ
ムの規模、通信に必要な回線容量等を小さくすることが
可能となり、2次元の画像を処理する従来の障害物監視
装置に比べコストを削減できる。
【0009】特に請求項2のように構成すると、撮像し
た2次元の画像全体をフレームメモリー等に格納するこ
となく、障害物の有無を判定することができる。すなわ
ち障害物の有無を判定するのに必要なメモリの容量を削
減することができる。こうした画像信号から1次元信号
を生成する場合には請求項3に示すようにして、撮像し
た2次元の画像信号を1次元信号へ変換する方法(変換
方法)を設定し、この設定された変換方法に従って1次
元信号に変換するとよい。このように変換方法を設定可
能とすることで、変換方法を障害物の特性に応じて変更
したり、状況に応じて変更したりすることが容易にでき
る。
【0010】この変換方法は、請求項4に示すように、
撮像対象に関連するデータに基づいて変更するようにす
るとよい。変換方法としては、種々の方法があり、例え
ば画像中の予め定めた所定の座標の画素の信号を所定の
演算によって1次元信号に並べる方法などがある。どの
座標の画素を用いるか、またどのように1次元信号に変
換するかは、例えば画像中で障害物の検出を行いたい位
置や、障害物の想定される挙動等から決定すればよい。
例えば、障害物が画像内を横切る可能性が高い場合など
には、その横切る可能性の高いライン状の領域を1次元
信号に変換するとよい。
【0011】このように画像中でライン状の領域におい
て障害物の有無を判定する必要がある場合などには、請
求項5に示すようにするとよい。すなわち、障害物が存
在すると疑われるライン状の領域であるラインを設定
し、そのライン上の画素の信号に基づいて1次元信号を
生成する。このようにすれば、設定したライン内の障害
物の有無を判定することができる。例えば、請求項33
に示すように障害物監視装置が車両における他車両等の
障害物の検出のためのものであれば、障害物存在ライン
設定手段で設定するラインとして想定される障害物が後
側方車両の場合には隣接車線中心線を、想定される障害
物が前方車両の場合には走行車線中心線をラインとして
用いるとよい。なお、ラインが例えば複数のピクセル幅
で構成される場合のように、2次元的広がりを持つ場合
などには、このままでは1次元信号にできない。そのた
め、このような場合にも変換可能なように障害物存在ラ
イン1次元信号化方法設定手段によって1次元化の方法
を設定する。
【0012】そして、このラインは例えば請求項6のよ
うに撮像手段のパラメータと、撮像対象の特性を示すデ
ータとに基づいて設定することができる。撮像手段のパ
ラメータとしては、例えばカメラ設置位置座標・カメラ
の光軸方向ベクトル・焦点距離・画角・解像度等の設置
状況や特性等を用いることができ、撮像対象の特性を示
すデータとしては、例えば監視すべき障害物が道路走行
中の車両である場合には、例えば道路構造令といった道
路構造に関する法規で規定されるデータを用いることが
できる。こうした道路構造令データとしては、車線幅な
どを用いることができる。これらのパラメータ等は既知
であるため、これらに基づき、事前に障害物存在領域を
ラインとして設定して記憶しておくことができる。例え
ば、撮像された画像に基づいて、自車両から所定の距離
だけ離れたライン領域(例えば、隣接車線の中心ライン
領域、走行車線の白線から走行車線幅の1/3に相当す
る距離だけ隣接車線にへ離れた位置に存在するライン領
域)を設定すれば、1次元信号に障害物情報が含まれる
可能性が高くなる。ライン領域を決定する方法として
は、例えば、画像を見て障害物が含まれる可能性が高い
領域をライン領域として決めたり、2次元空間に存在す
る隣接車両と自車両位置を2次元画面に射影変換してラ
イン領域を決める方法などがある。なお、障害物存在ラ
インは、つながっていてもよいし、とびとびに設定され
ていてもよい。また、ラインは線に限らず所定の幅や領
域をもってもよい。
【0013】そして、例えば車両に関連する障害物を検
出する場合であって、こうしたラインを設定する場合に
は、請求項4に示した取得手段として請求項7に記載の
自車両速度操舵角検出手段や、請求項8に記載のナビゲ
ーション手段や、請求項9に記載の車線認識手段を備え
て、変換方法を変更することができる。
【0014】例えば、請求項7に示すようにして、自車
両の速度と操舵角に基づいて障害物が存在すると疑われ
る領域を補正するとよい。このように自車両の走行状態
に即した形にラインを補正することで、障害物存在ライ
ンの設定精度を向上させることができ、その結果、障害
物の有無判定の精度を向上させることができる。例え
ば、後側方車両認識において隣接車線中心線を障害物存
在ラインとして設定するとき、自車両の速度と操舵角に
応じて隣接車両中心線を変形することで、障害物存在ラ
インは現実の隣接車線形状に近いものとなる。その結
果、1次元信号に障害物情報が含まれる可能性がさらに
高くなり、障害物の有無の判定をさらに的確に行うこと
ができる。
【0015】また例えば請求項8のように自車両の現在
位置と現在位置周辺の地図情報とを算出するナビゲーシ
ョン手段を備え、ナビゲーション手段で算出した自車両
の現在位置と現在位置周辺の地図情報と、例えば撮像手
段のパラメータおよび道路構造令データとに基づいて障
害物が存在すると疑われる領域をラインとして設定する
とよい。このようにすれば、さらに障害物存在ラインの
設定精度を向上させることができ、障害物の有無判定の
精度を向上させることができる。例えば、側方車両認識
において隣接車線中心線を障害物存在ラインとして設定
するとき、ナビゲーション手段により、正確な隣接車線
形状を知ることができるため、隣接車線中心線を正確に
設定できる。また、例えば、隣接車線が存在しない場合
に障害物存在ラインを設定しないようにすれば、誤認識
を防ぐこともできる。
【0016】また、例えば請求項9に示すように撮像さ
れた画像中での車線を認識する車線認識手段を備え、車
線認識手段によって検出された車線情報に基づいて障害
物が存在すると疑われる領域をラインとして設定すると
よい。このようにすれば正確な走行車線形状を車線情報
から求めることができるため、障害物存在ラインを正確
に設定できる。例えば車線は、走行車線中心線や歩道と
車道の境界線に基づいて設定できる。請求項9に示すよ
うにすれば障害物存在ライン形状の設定精度を向上させ
ることができ、障害物の有無の判定精度を向上させるこ
とができる。なお、車線認識の方法としては、例えば、
大池達也、”モデルベースの認識手法による道路白線認
識”、信学技報 PRMU99−211、pp.53−
60などが知られている。
【0017】こうした障害物存在ラインは前述のように
所定の領域をもってもよい。このように領域を持つ場合
には、1次元信号への変換方法として例えば請求項10
に示すように、このライン上の画素を所定の軸へ投影し
て1次元信号を生成する方法とすることができる。この
ようにして、ラインが太さ(幅)を持つ場合に、その太
さを1にすることができる。
【0018】また、請求項11に示すように、ライン上
の画素を所定の位置からの距離情報に基づいて並べて1
次元信号化してもよい。例えば、射影変換により各画素
の実測距離を算出し、算出した実測距離に応じて1次元
信号の各点間が均等になるように並べて1次元信号化し
てもよいし、シティブロック距離に応じて並べて1次元
信号化してもよい。
【0019】また、求めた1次元信号を適宜間引くなど
して1次元信号の情報量を減らすようにしてもよい。こ
のようにすれば少ないメモリ量及び処理量で処理を行う
ことができる。そして、こうして得られた1次元信号
と、例えば予め撮像手段で障害物を撮像して得た1次元
信号を比較し、予め撮像手段で障害物を撮像して得た1
次元信号の特性が、こうして得られた1次元信号に含ま
れるか否かに基づいて障害物の有無を判別することがで
きる。すなわち、障害物がある場合の1次元信号特性が
1次元信号変換手段によって変換された1次元信号に含
まれれば障害物があると判別することができ、障害物が
ある場合の1次元信号特性が1次元信号変換手段によっ
て変換された1次元信号に含まれなければ障害物がない
と判別することができる。
【0020】また、請求項12に示すように障害物がな
い場合の1次元信号を基準値として、1次元信号変換手
段によって変換された1次元信号とこの基準値を比較す
ることで障害物の有無を判別することができる。こうし
た基準値は、例えば、予め障害物のない状態を撮像して
求めておき、その値を記憶しておいて利用するようにし
てもよいが、請求項13に示すように1次元信号変換手
段によって変換された1次元信号の値の頻度に基づいて
決定するとよい。例えば1次元信号の値が輝度値を示す
場合には、最も頻度の高い輝度値(最頻値)を基準値と
する。そして1次元信号がこの基準値を挟んで所定の範
囲の値のみの場合には障害物無しと判別し、この所定の
範囲から外れる値がある場合には障害物有りと判別す
る。このようにすれば、1次元信号全体の中で一部のみ
に検出された値を障害物とする可能性が高くなり、1次
元信号の全体の変化に適応的に障害物の有無を判別でき
る。すなわち、例えば、障害物でない背景の中に障害物
が点在する場合には、背景に多く含まれる輝度値が最頻
値となる。したがって背景の輝度値が変化したとして
も、背景の一部に障害物があり障害物の輝度値が背景の
輝度値と異なる場合であれば、障害物を判別できる。な
お、1次元信号としては、障害物の特性に応じて、輝度
値に代えて種々の値を用いることができ、例えば色の値
などを利用することもできる。このようにすれば色の違
いに基づいて障害物の有無を判別できる。
【0021】障害物の有無の判別は、例えば1次元信号
全体の中に障害物が有るか無いかを判別するだけとして
もよいが、請求項14に示すように、1次元信号の各部
分毎に障害物の有無を判別するとよい。すなわち例えば
1次元信号の各部分の値毎に、その値が前述の基準値を
挟んだ所定の範囲内であれば障害物無しと判別し、所定
の範囲から外れる場合には障害物有りと判別する。なお
部分毎とは、例えば各点の値毎でもよいし、例えば所定
の範囲の各点の値の平均値毎等でもよい趣旨である。
【0022】そして、請求項15に示すように、このよ
うな部分毎の障害物の有無に基づいて前記1次元信号に
おける障害物候補領域を算出することができる。例え
ば、連続して障害物ありと判定された部分をまとめて障
害物候補領域とすることができる。
【0023】こうして障害物候補領域を算出すると、例
えばノイズ等の影響により、実際には障害物でないのに
障害物候補領域として算出されてしまう部分や、障害物
であるのに障害物候補領域でないと判別される部分がで
てくる可能性がある。そこで、種々の方法でこうした誤
判別を抑制することができる。例えば、請求項16に示
すように、1次元信号変換手段で変換された時間の異な
る2つの1次元信号の相関に基づいて1次元信号の各部
分における相対速度を算出し、算出した障害物の相対速
度に基づいて前記障害物候領域が障害物であるか否かを
判別するとよい。例えば、遠ざかる物は障害物でないと
いう前提がある場合には、相対速度が近づく部分につい
て障害物候補領域であると判別する。こうすることで、
大幅に障害物候補領域の誤判別を抑制することができ
る。
【0024】なお請求項17に示すようにして単に各部
分における相対速度を求めることもできる。そしてこの
ような障害物監視装置は種々の構成を採ることができ
る。例えば、請求項18に示すように、時間の異なる2
つの1次元信号の相関に基づいて1次元信号の各点にお
ける相対速度を求め、その相対速度情報を用いて障害物
を判定する。例えば、ライン上の各点の1次元フローを
算出し、算出した1次元フローが似通った点を用いてオ
ブジェクトとする。そして、障害物の特性に対応する特
定の相対速度を持つオブジェクトを障害物として検出す
ることができる。
【0025】また、請求項19に記載のように1次元信
号の信号値変化に基づいて障害物候補領域を算出し、時
間の異なる2つの1次元信号の相関に基づいて1次元信
号の各点における相対速度を算出し、これら算出した障
害物候補領域と相対速度を用いて障害物であるか否かを
判定して、障害物を検出することもできる。このように
することでさらに正確に障害物の有無を判定できる。
【0026】こうした相対速度を求める場合には、請求
項20に示すようにして時間の異なる2つの1次元信号
を相関が取りやすい1次元信号に変換してから相対速度
を算出するとよい。例えば、1次元信号中から背景領域
(例えば道路上の車両を障害物とした場合には道路領域
が背景領域に相当する)の成分を除去することで、1次
元信号の相関を取りやすくしてもよいし、例えば、1次
元信号のエッジ成分を強調して元の1次元信号に付加し
て相関を取りやすくしてもよいし、これら双方を行って
もよい。
【0027】同様に相対位置を求める場合も、請求項2
1に示すようにして、障害物候補物体が存在する領域を
算出しやすい1次元信号に変換して、変換した1次元信
号に基づいて障害物候補物体の相対位置を算出するとよ
い。例えば、エッジ成分を強調して元の1次元信号に付
加し、この信号を基に基準値と比較して道路領域と車両
候補領域の区別をする。このようにすれば、例えば道路
領域と車両領域の区別などを明確に表現できるので、車
両をより正しくオブジェクト領域として分割できる。
【0028】そしてこうした変換は、請求項22、請求
項23に示すように背景領域をマスクし、障害物候補領
域のみを表現した1次元信号へ変換することで行うとよ
い。このようにすれば、相対速度や相対位置をより適切
に求めることができる。例えば背景が道路であれば道路
領域をマスクすることにより、道路上の他車両を検出す
ることができる。
【0029】そして、障害物か否かの判定は、請求項2
4に示すように算出された相対速度から撮像手段側へ接
近する方向である点をグループ化し、グループ化された
領域が所定の大きさ以上である場合に、障害物であると
判定するようにできる。この所定の大きさは検出すべき
障害物の大きさに基づいて決定すればよい。例えば障害
物として検知すべき対象が請求項33に示すように車両
であれば、自車両へ接近する方向である点をグループ化
し、グループ化された領域が所定の大きさ以上である場
合に、他の車両であると判定するようにできる。この場
合の所定の大きさは検出すべき車両の大きさに基づいて
決定すればよい。このように自車両に接近する方向の相
対速度を持つオブジェクトがあるか否かによって障害物
であるか否かを判定することで、誤検出の発生等を抑え
ることができる。
【0030】このようにグループ化された領域のいずれ
の部分を利用して相対位置を求めてもよい。例えば、グ
ループ化された領域の中心を利用して相対位置を求めて
もよいし、請求項25に示すように、障害物と判定され
た領域の領域端点を基に障害物の相対位置を算出しても
よい。例えば検出すべき障害物が車両であれば、障害物
相対位置算出手段が自車両に対して接近する方向の相対
速度を持つオブジェクトの領域端点を射影変換するよう
作用させ、実空間での自車両−障害物間の実測距離が算
出できるので、例えばドライバーに障害物までの実測距
離を告知するために用いることができるというメリット
がある。例えば、オブジェクトの領域端点を射影変換し
て実空間での実測距離を算出するように構成することも
できるし、予め画面空間と実空間の対応付けを格納した
ルックアップテーブルを用いて領域端点から実測距離を
算出するよう構成してもよい。
【0031】さらに請求項26に示すように領域の相対
速度を求めるとよい。例えば障害物が車両であれば、車
両相対速度算出手段がオブジェクト内の各点の1次元フ
ローを統合するよう作用することで障害物の相対速度が
算出できるので、例えばドライバーに障害物の相対速度
を告知するために利用できるというメリットがある。
【0032】なお1次元フローの統合は、1次元フロー
を実空間の相対速度に変換してから統合してもよいし、
1次元フローを統合してから実空間の相対速度に統合し
てもよい。また、実空間への変換法は、射影変換でもよ
いし、LUTを参照して行ってもよい。
【0033】また、障害物の有無は種々の方法で判定す
ることができるが、例えば、請求項27に示すようにし
て判定するとよい。このようにすることで、障害物と推
定されるオブジェクトを正確に切り出すことができる。
例えば障害物が請求項33に示すように車両の場合、障
害物有無判定手段が障害物候補物体(とその周辺の)領
域内部にある点の1次元フロー方向に注目し、自車両に
接近する方向を示す点の数が基準を満たすかどうか判断
するよう作用することで、自車両に対して接近する方向
の相対速度を持つオブジェクトを障害物として検出でき
るというメリットがある。この基準は、自車両に接近す
る方向を示す点>自車両に離遠する方向を示す点でもよ
いし、それ以外でもよい。
【0034】さらに、請求項28に示すようにして、障
害物の相対位置を求めることができる。このようにすれ
ば、例えば障害物が請求項33に示すように車両の場
合、障害物相対位置算出手段が自車両に対して接近する
方向の相対速度を持つオブジェクトの領域端点を射影変
換するよう作用することで、実空間での自車両と障害物
間の実測距離が算出できるので、ドライバーに障害物ま
での実測距離を告知するために利用できるというメリッ
トがある。なお、オブジェクトの領域端点を射影変換し
て実空間での実測距離を算出するように構成することも
できるし、予め画面空間と実空間の対応付けを格納した
ルックアップテーブルを用いて領域端点から実測距離を
算出するよう構成してもよい。
【0035】さらに、請求項29に示すようにして、障
害物の相対速度を求めることができる。例えば障害物が
車両であれば、車両相対速度算出手段がオブジェクト内
の各点の1次元フローを統合するよう作用することで、
障害物の相対速度が算出できるので、ドライバーに障害
物の相対速度を告知するために利用できるというメリッ
トがある。なお1次元フローの統合は、1次元フローを
実空間の相対速度に変換してから統合してもよいし、1
次元フローを統合してから実空間の相対速度に統合して
もよい。また実空間への変換法は、射影変換してもいい
し、LUTを参照してよい。
【0036】そして、請求項30のように複数フレーム
での結果を統合することで、検出精度を高めることがで
きる。例えば、過去Nフレームに渡る障害物検出結果を
保持し、過去フレームの結果と現在フレームの結果とを
統合することで、時間方向に連続した障害物を検出する
ことができ、突発的な雑音成分を除去できるメリットが
ある。
【0037】また、請求項31に示すように複数の1次
元信号に対する障害物の検出結果を統合するようにして
もよい。このようにすれば、障害物の検出精度を高める
ことができる。複数ライン障害物検出結果統合手段が複
数の1次元信号に対して処理した結果を統合するよう作
用することで、空間的により広い範囲で障害物を検出で
きるので、障害物検出精度を向上できるメリットがあ
る。例えば障害物が車両の場合、1ラインだけでは、例
えば2輪車などの想定された車両より小さい障害物が設
定されたライン上に載らなかった場合、見落としてしま
ったり、矢印などの路面ペイントなどを障害物として拾
ってしまったりする可能性もある。そこで、ラインを複
数化することで、あるラインで誤りが生じても他のライ
ンでリカバリーできる。
【0038】こうして検出した検出結果は例えばディス
プレイやランプ等で表示したり、音声等で出力して報知
するとよい。すなわち、障害物の有無、障害物との距
離、障害物の速度などを報知するとよい。また、請求項
32に示すように、検出結果に基づき警告を発するよう
にしてもよい。例えば障害物が車両の場合、ドライバー
の障害物見逃しを低減できるメリットがある。
【0039】なお、請求項34に示すように、請求項1
〜33のいずれかに記載の障害物監視装置における各手
段としての機能をコンピュータシステムにて実現する場
合、例えば、コンピュータシステム側で起動するプログ
ラムとして備えることができる。このようなプログラム
の場合、例えば、フレキシブルディスク、光磁気ディス
ク、CD−ROM、ハードディスク、ROM、RAM等
のコンピュータ読み取り可能な記録媒体に記録し、必要
に応じてコンピュータシステムにロードして起動するこ
とにより用いることができ、また、ネットワークを介し
てロードして起動することにより用いることもできる。
【0040】
【発明の実施の形態】以下、本発明が適用された実施例
について図面を用いて説明する。なお、本発明の実施の
形態は、下記の実施例に何ら限定されることなく、本発
明の技術的範囲に属する限り種々の形態を採りうること
は言うまでもない。
【0041】本実施例の障害物監視装置1は車両に搭載
されており、図1(a)に示すように、ビデオカメラか
ら構成される撮像手段11と、マイクロコンピュータか
ら構成される1次元信号変換手段100及び障害物検出
手段200を備える。マイクロコンピュータは、CP
U、ROM、RAM、I/O、I/Oに接続された周辺
回路等を備えており、周辺回路としては、タイマや入出
力回路などを備えている。そして、入出力回路として画
像信号を取り込むためのA/Dコンバータを備えてお
り、撮像手段11によって撮像された画像信号のうち指
定した画素に対応する画素値をデジタルデータとしてメ
モリに取り込むことができる。
【0042】1次元信号変換手段100及び障害物検出
手段200としての機能を実現するためのプログラム
は、マイクロコンピュータのROMに格納され、このプ
ログラムに従ってCPUが処理を行うことで、1次元信
号変換手段100及び障害物検出手段200としての機
能を実現する。
【0043】図1(a)に示すように1次元信号変換手
段100は、1次元信号生成手段31と1次元信号生成
方法設定手段20を備える。1次元信号生成手段31
は、撮像手段11より入力した画像信号から1次元信号
生成方法設定手段20で設定された変換方法に基づいて
1次元信号を生成する。この1次元信号生成方法設定手
段20は、自車両速度操舵角検出手段22と障害物存在
ライン設定手段21と障害物存在ライン1次元信号化方
法設定手段23を備えている。障害物存在ライン1次元
信号化方法設定手段23は、障害物存在ライン設定手段
21によって設定されたラインを元に画像を1次元信号
に変換する方法を定めており、障害物存在ライン設定手
段21は、自車両速度操舵角検出手段22で検出された
自車両速度と操舵角に応じて適切な車線形状にラインを
補正する。
【0044】例えば、障害物存在ライン設定手段21
は、撮像手段11によって撮像された画像に基づいて自
車両から所定の距離だけ離れたライン領域を自車両速度
操舵角検出手段22で得た自車両速度・操舵角に応じて
適切な車線形状に補正し、この隣接車線中心線を後側方
車両が存在すると疑われるラインとして設定する。この
ラインは、例えば隣接車線の中心ライン領域、走行車線
の白線から走行車線幅の1/3に相当する距離だけ隣接
車線へ離れた位置に存在するライン領域などに相当する
部分にするとよい。これらは例えば車線幅やカメラパラ
メータによる射影変換で算出できる。また撮像される画
像の風景はある程度固定なため、その画像を見て障害物
が検出可能な領域にラインを設定してもよい。
【0045】このように撮像手段11で撮像した画像の
全画素を後段処理に用いるのではなく、障害物存在ライ
ン設定手段21で設定した領域を基に画像を1次元信号
に変換する方法を定める障害物存在ライン1次元信号化
方法設定手段23と障害物存在ライン1次元信号化方法
設定手段23で設定した変換方法に従って、1次元信号
生成手段31で画像を1次元信号に変換する。
【0046】また、障害物検出手段200は、障害物候
補領域モデル化手段40と相対速度モデル化手段50と
障害物判定手段60を備える。障害物候補領域モデル化
手段40は、障害物候補領域算出用信号変換手段41と
障害物候補領域算出手段42を備える。障害物候補領域
算出用信号変換手段41は、1次元信号生成手段31で
得た1次元信号を、道路領域をマスクし車両候補領域の
みを抽出した1次元信号に変換する。そして、障害物候
補領域算出手段42は、障害物候補領域算出用信号変換
手段41で得た1次元信号を基に、車両候補領域(障害
物候補物体)の相対位置モデルを算出する。
【0047】一方、相対速度モデル化手段50は、相対
速度用信号変換手段51と相対速度算出手段52を備え
る。相対速度用信号変換手段51は、1次元信号生成手
段31で得た1次元信号に対し、道路領域をマスクし車
両候補領域のみを抽出した1次元信号に変換する。そし
て、相対速度算出手段52は、相対速度用信号変換手段
51で得た現在フレームでの1次元信号と、現在からあ
るフレーム分だけ過去のフレームでの1次元信号とを基
に相対速度を算出する。
【0048】そして、障害物判定手段60は、特許請求
の範囲における障害物有無判定手段としての車両有無判
定手段61と、障害物相対位置算出手段としての車両相
対位置算出手段62と、障害物相対速度算出手段として
の車両相対速度算出手段63を備える。
【0049】車両有無判定手段61は、障害物候補領域
算出手段42と相対速度算出手段52とで得た車両候補
領域である相対位置モデルと、相対速度モデルを基に後
側方車両の有無を判定する。車両相対位置算出手段62
は、車両有無判定手段61で車両と判定された車両候補
領域(障害物候補物体)の相対位置の領域端点を基に障
害物としての車両の相対位置を算出する。
【0050】そして、車両相対速度算出手段63は、前
記車両有無判定手段61で車両と判定された車両候補領
域(障害物候補物体)とその周辺領域内の相対速度を基
に障害物としての車両との相対速度を算出する。このよ
うにして、撮像手段11から得た画像に基づいて生成し
た1次元信号に基づいて障害物の有無を判定することが
でき、また障害物の相対位置や相対速度を算出すること
ができる。よって画像全体をフレームメモリー等に取り
込む必要がなく、例えばラインとして設定された特定の
画素に対応する画素の信号のみをメモリに取り込んで処
理を行うようにすることができる。このように障害物の
有無や位置・速度を求めるためのメモリを削減すること
ができ、演算量を削減することが可能となり、コストを
削減することができる。
【0051】次に、このような障害物監視装置1を後側
方車両認識アプリケーションに適用した場合の一例とし
て、自車両の後側方領域を撮像した画像から隣接車線を
走行し自車両を追い越す車両(以下、後側方車両と呼
ぶ)を監視する場合の例について説明する。
【0052】撮像手段11は、自車両のドアミラーに搭
載され、図2に示すように自車両の後側方領域を撮像す
るように設置している。以下、1次元信号変換手段10
0及び障害物検出手段200としての処理の流れを主に
説明する。 1)撮像手段11で、自車両の後側方領域を撮像した画
像を得る。
【0053】2)障害物存在ライン設定手段21で、撮
像手段11で撮像された画像に基づいて自車両から所定
の距離だけ離れたライン領域、例えば、隣接車線の中心
ライン領域や走行車線の白線から走行車線幅の1/3に
相当する距離だけ隣接車線へ離れた位置に存在するライ
ン領域などを、自車両速度操舵角検出手段22で得た自
車両速度・操舵角に応じて適切な車線形状に補正し、こ
の隣接車線中心線を後側方車両が存在すると疑われるラ
インとして設定する(図2参照)。これらは車線幅やカ
メラパラメータによる射影変換で算出でき、また撮像さ
れる画像の風景はある程度固定なため、画像を見てライ
ンを設定してもよい。
【0054】3)障害物存在ライン1次元信号化方法設
定手段23で、撮像手段11で撮像した画像を1次元信
号へ変換する手法を、”前記ライン上に存在する画素を
X軸方向へ投影し、投影結果である1次元データをその
まま1次元信号とする。”として設定する。そして1次
元信号生成手段31で、前記障害物存在ライン1次元信
号化方法設定手段23で設定した方法に従って前記画像
を1次元信号に変換する(図3参照)。図3中で番号を
記載している画素が、障害物存在ラインとして設定した
画素であり、この画素の値をX軸へ投影して平均値を求
めることで、矢印の方向へ示す1次元信号を生成してい
る。例えば画像信号中の同期信号を利用して障害物存在
ラインとして設定された座標の画素の輝度値を画像信号
から随時取り込んで行うようにすると、画像サイズ分の
フレームメモリーを用意する必要がなく、必要なメモリ
量を大幅に削減することができる。
【0055】例えば、従来の方法で、352画素×28
8画素×1バイトのcif形式の画像全体を取り込んで
処理を行う場合、約100KBのメモリが必要となって
いた。一方、上述のラインをこのcif画像の対角線と
して取った場合、必要なメモリ量は、sqrt(352
画素×352画素+288画素×288画素)×1バイ
ト=455バイトとなり、200分の1のメモリ容量で
済む。またこのような1次元信号に基づいて演算を行え
ば、演算量も大幅に削減できる。例えば上述したcif
画像の場合、従来の方法で8画素×8画素のブロックに
分割して処理することとすると上述の画像は1584ブ
ロックに分けることができる。そして、32画素×32
画素の範囲で対応ブロック探索処理を行うと、1584
ブロック×32画素×32画素=1622000処理単
位について処理を行う必要がある。これに対し画像の対
角線をラインとして1次元信号に基づいて処理を行う場
合には、対角線を8画素のブロックに分割すると57ブ
ロックとなり、32画素の範囲で対応ブロック探索処理
を行うと、57ブロック×32画素=1824処理単位
となり、従来に比べ本手法は約880分の1の処理単位
で済む。このように従来に比べて大幅に演算量を削減で
きる。
【0056】4)障害物候補領域算出用信号変換手段4
1で、1次元信号生成手段31で生成した1次元信号に
おいて、道路領域の輝度値の範囲をマスクし車両候補領
域のみを抽出した1次元信号へ変換する。道路領域の輝
度値は既知であるのを利用して、車両候補領域を抽出す
るのである。具体的な処理を以下4a)〜4c)に記す
(図4参照、以下本文中の「4a)」等の番号と図面中
の番号が対応する内容を示す)。
【0057】4a)1次元信号生成手段31で生成した
1次元輝度信号OrgLumの輝度値ヒストグラムを作成し、
最大頻度を持つ輝度値 Lmaxを探す。 4b) 最大頻度を持つ信号値Lmax が道路領域と想定す
る輝度値範囲内(RoadLower≦L≦RoadUpper)である場合
は、道路領域輝度値域の中心輝度値RoadCenterを最大頻
度を持つ輝度値 Lmaxに更新する。想定する範囲外であ
る場合は、道路領域輝度値域の中心輝度値RoadCenterを
更新しない。そして、道路領域輝度値域の中心輝度値Ro
adCenter を中心とした片幅Roadwidthを持つ輝度値域
((RoadCenter - Roadwidth)≦L≦(RoadCenter + Roadwi
dth))を道路領域の輝度値域と設定する。
【0058】4c)上記道路領域の輝度値域((RoadCent
er - Roadwidth)≦L≦(RoadCenter+ Roadwidth))に基づ
いたしきい値処理を1次元輝度信号OrgLumに施し、道路
領域を除去した1次元信号TranLumを得る。しきい値処理
は次のように行う。
【0059】■道路領域内輝度値 (RoadCenter - Roadw
idth)≦OrgLum (t)≦(RoadCenter +Roadwidth) TranLum (t) = 0 ■道路領域を上回る輝度値 (RoadCenter + Roadwidth)
< OrgLum (t) TranLum (t) = 輝度値 OrgLum (t) - 道路領域上限輝度
値 (RoadCenter + Roadwidth) ■ 道路領域を下回る輝度値 OrgLum (t) < (RoadCente
r - Roadwidth) TranLum (t) = 輝度値 OrgLum (t) - 道路領域下限輝度
値 (RoadCenter -Roadwidth) 上記処理を施した理由は、図5に示すような微細な環境
変化に起因する道路領域を示す輝度値域の変動に適応す
るためである。また上記処理4a)においてしきい値処
理を採用した理由は、1次元信号中の乱雑さ情報をでき
るだけ表現するためである。
【0060】5)障害物候補領域算出手段42で、前記
障害物候補領域算出用信号変換手段41で生成した1次
元信号TranLumを基に車両候補領域を領域端点2点で表
現したモデルへ変換する。具体的な処理を以下5a)〜
5c)に記す(図6参照)。 5a)上記4)の処理により道路領域を除去した1次元
輝度信号TranLumを、幅(2 × Swidth)を持つ区分S(t -
Swidth<s≦t + Swidth;tは領域中心点)に分割し(区
分が重複するように分割しても良い)、区分S中におい
て輝度値 TranLum(s) が0(道路領域)を示す点数ZeroP
Numを算出する。そして、輝度値TranLum(s) が0を示す
点数ZeroPNumが区分の半数Swidth未満の場合は区分Sの
ラベルLabel(T) を”車両候補”として、そうでない場
合は区分S のラベルLabel(T)を”道路”としてラベル付
ける。
【0061】5b)ラベル付け結果を示す1次元信号La
bel を走査し、”車両候補”ラベルに挟まれた”道路”
ラベル範囲の大きさがしきい値ThresCarSRより小さい場
合、前記”道路”ラベルを”車両候補”ラベルに変更
し、グループを形成する。ここで、修正したラベル付け
結果を示す1次元信号をModLabelとする。
【0062】5c)修正したラベル付け結果を示す1次
元信号ModLabelを走査し、”道路”⇒”車両候補”と変
化する点を車両候補の始点、”車両候補”⇒”道路”と
変化する点を車両候補の終点とし、1次元輝度信号を始
点と終点の領域端点2点でモデル表現した車両候補領域
を分割する。
【0063】上記処理5b)を採用した理由は、1次元
輝度信号TranLumの符号変化点周辺において車両候補領
域を構成する点にも関らず道路領域としてマスクせざる
得なかった場合を救済するためである。処理5c)で車
両候補領域を領域端点2点でモデル表現した理由は、車
両候補領域の先頭相対位置および末尾相対位置を直接的
に算出するためである。
【0064】6)相対速度用信号変換手段51で、前記
1次元信号生成手段31で生成した1次元信号OrgLumに
おいて道路領域の輝度値は予め既知であるのを利用して
信号値に関する道路領域を設定し、前記道路領域を用い
て道路領域をマスクし車両候補領域のみを抽出した1次
元信号TranLumへ変換する。本実施例では障害物候補領
域算出用信号変換手段41と同様の処理を施すため、相
対速度用信号変換手段51は障害物候補領域算出用信号
変換手段41で代用する。すなわち、相対速度用信号変
換手段51では、上記4a)に示した道路領域分割処理
と同じ処理をする。この処理により1次元輝度信号中の
車両候補領域の乱雑さを際立たせることができる。その
ため、後段での相関計算の精度が向上する。
【0065】7)相対速度算出手段52で、前記相対速
度用信号変換手段51で変換した時刻tでの1次元信号
(以下、被比較1次元輝度信号ComparedLum)と時刻t-
Δtでの1次元輝度信号(以下、基準1次元信号Yardsti
ckLum)とを用いて相関を取ることで相対速度を算出す
る。具体的な処理を以下7a)〜7c)に記す(図7参
照)。
【0066】7a)上記6)の処理により道路領域を除
去した時刻 t での1次元輝度信号を被比較1次元輝度
信号ComparedLum として、S1により道路領域を除去した
時刻t- Δtでの1次元輝度信号を基準1次元信号Yardsti
ckLumとして用意する。 基準1次元輝度信号YardstickL
umを、5)の障害物候補領域算出手段42と同様に、幅
(2 × Swidth)を持つ区分S (t - Swidth<s≦t + Swid
th;tは区分中心点)に分割する。次に、基準1次元輝度
信号YardstickLumの区分S 毎に被比較1次元輝度信号 C
omparedLum での相関計算範囲 R (CorrLower≦r≦CorrU
pper)を設定する。そして、相関計算範囲R内において、
被比較区分中心点i を点単位でずらしながら被比較区分
J (i - Swidth<j≦i + Swidth)を設定する。
【0067】7b)基準1次元輝度信号YardstickLum中
の対象区分をS (t - Swidth<s≦t + Swidth;tは区分
中心点)とする。被比較1次元輝度信号ComparedLumでの
相関計算範囲R (CorrLower≦r≦CorrUpper)内におい
て、被比較区分中心点iを点単位でずらしながら被比較
区分J (i - Swidth<j≦i + Swidth)を設定する。それ
から、対象区分S と被比較区分J との相関を計算する。
本実施例で用いる相関計算の詳細フローを次に示す。
【0068】1)対象区分Sを2つの副区分SS1、SS2に分
割する。 2)副区分SS1、SS2それぞれにおいて輝度値の最大値お
よび最小値を取る点を特徴点とする。つまり対象区分S
において4つの特徴点(SS1Min,SS1Max,SS2Min,SS2Max)
が抽出される。
【0069】3)対象区分Sにおいて抽出した特徴点で
の輝度値と、被比較区分Jにおいて前記特徴点に対応す
る点での輝度値との絶対値差を4特徴点それぞれについ
て算出し、4特徴点における絶対値差分総和を求める。 4)絶対値差分総和が最小だった被比較区分Jを、最も
相関の強い区分Jmaxとして対応付ける。
【0070】7c)前記相関計算の結果、最も相関が強
い被比較区分Jmaxでの区分中心点imaxと対象区分Sでの
区分中心点iとの差を取ることで単位時間当たりの移動
量、つまり相対速度を算出する。なお、処理7b)の相
関計算は上記以外の手法が多数存在するので、それらを
用いてもよい。
【0071】8)車両有無判定手段61で、前記障害物
候補領域算出手段42で得た障害物候補領域の相対位置
モデルと前記相対速度算出手段52とで得た相対速度モ
デルを基に後側方車両の有無を判定する。更に、後側方
車両が存在する場合は車両相対位置算出手段62で自車
両から、その後側方車両の実測距離と、車両相対速度算
出手段63で自車両に対する実測相対速度を算出する。
具体的な処理を以下に記す(図8参照)。
【0072】8a)車両候補領域(車両/ペイント/影
・日向)とその相対速度の向きは、図9のような関係に
なる。すなわち、障害物である車両は自車両に接近する
一方、ノイズとして排除すべきペイント/影・日向等は
自車両の走行に伴って自車両から離縁する。こうした関
係に基づき、上記7)の相対速度算出手段52で得た相
対速度を活用してS2で得た車両候補領域から後側方車
両(後側方から自車両に対して接近する車両)を判別す
る。
【0073】車両切り出し処理の具体的なアルゴリズム
を図10に示す。まず、上記5)の障害物候補領域算出
手段42で得た各車両候補領域の始点から幅Bwidth分だ
け、終点から幅Ewidth分だけ拡張した領域EnCarSRを設
定する。次に、この拡張領域EnCarSR中における上記
7)の相対速度算出手段52で得た各区分(部分)の相
対速度に関して、自車両に接近する向きを示す区分の総
数SpeedPlusNumと自車両から離遠する向きを示す区分の
総数SpeedMinusNumを算出する。そして、自車両に接近
する向きを示す区分の総数SpeedPlusNumが自車両から離
遠する向きを示す区分の総数SpeedMinusNum以上の場合
は、その車両候補領域を追い越し/追い抜きを仕掛ける
車両、つまり「警告を発すべきオブジェクト」として検
出する。そうでない場合は、その車両候補領域を「静止
物体」つまり雑音として検出する。
【0074】そして、警告を発すべきオブジェクトが検
出された場合には、障害物監視装置1のマイクロコンピ
ュータに接続されたスピーカーから警告音を発する。こ
のようにして、1次元信号に基づく処理によって、追い
越し/追い抜きを仕掛ける車両があることをドライバに
告知することができる。
【0075】なお、本発明は前述のように上記実施例に
限定されるものではない。例えば上記実施例では、車両
候補領域の相対位置モデルと相対速度モデルを求めて障
害物を検出することとしたが、相対速度モデルから相対
位置モデルを求めるようにしてもよい。例えば図11に
示すように、相対速度モデルから相対速度方向が接近を
示す区分をオブジェクトとして統合して、オブジェクト
1、オブジェクト2のように相対位置モデルを求めても
よい。また、オブジェクト間の距離が所定値以下の場合
には、オブジェクト同士を統合してもよい。すなわち、
図11のようにオブジェクト1とオブジェクト2の距離
が所定値以下であれば、図11の最下段に示すようにオ
ブジェクト1として統合するようにしてもよい。
【0076】また、図3に例示した障害物存在ライン1
次元信号化方法設定手段23における1次元信号抽出方
法は、”基準画素からのシティブロック距離に応じて並
べかえ、その並び替えた信号値を適当に間引いて1次元
信号にする”という方法を用いても良い。例えば図3中
で番号を記載している画素をその番号の順に並べてもよ
い。
【0077】また相対速度算出手段53における相関計
算には、正規化相関などの他の手法を用いてもよい。さ
らに、上記実施例で得た複数フレームに渡る障害物検出
結果を統合してより精度の高い障害物検出する手段、す
なわち複数フレーム障害物検出統合手段を備えてもよ
い。
【0078】また、入力画像から複数の1次元信号を抽
出し、それら1次元信号それぞれに対して障害物検出手
段で処理し、それら障害物検出結果を統合してより精度
の高い障害物検出する手段、すなわち複数ライン障害物
検出統合手段を備えてもよい。
【0079】また、図1(b)に示すように、ビデオカ
メラから構成される撮像手段11とロジック・ROM・
RAM・I/O・周辺回路等で構成されるバッファ等を
備えた1次元信号変換手段100とをカメラユニットと
して一体に構成し、1次元信号変換手段100によって
撮像手段11によって撮像された画像信号を1次元信号
に変換し、変換した1次元信号を通信線を介して障害物
検出手段200としての車両内に設置されたマイコン
(例えば車載ECU)へ送信するように構成してもよ
い。このようにすれば、通信線で伝送される信号は1次
元信号となり、従来のように取り込んだ2次元信号を通
信線を介してマイコンに送る場合に比べて、通信容量を
大幅に低減することができる。したがって通信線を比較
的低速な回線で構成することが可能となり障害物監視装
置を安価に構成できる。また例えば通信線として車内L
ANを利用する場合、車内LANの帯域占有量を小さく
することができ、車内LANを介した他の通信への影響
を抑えることができる。なお、このような構成において
ラインを設定する場合には、障害物検出手段200から
の通信線を介した指示に応じて、1次元信号変換手段1
00のバッファがラインを設定すればよい。
【図面の簡単な説明】
【図1】実施例の障害物監視装置の構成を示すブロック
図である。
【図2】障害物存在ラインの設定方法を示す説明図であ
る。
【図3】1次元信号抽出方法設定手段の設定内容を示す
説明図である。
【図4】道路領域分割の処理内容を示す説明図である。
【図5】道路領域輝度値の例を示す説明図ある。
【図6】車両候補領域の個別分割の処理内容を示す説明
図である。
【図7】相関計算による相対速度場算出の処理内容を示
す説明図である。
【図8】車両切り出しの処理内容を示す説明図である。
【図9】オブジェクト毎の相対速度の向きを示す説明図
である。
【図10】車両検出手段としての処理内容を示す説明図
である。
【図11】相対速度からオブジェクトを抽出する場合の
処理内容を示す説明図である。
【符号の説明】
1…障害物監視装置 11…撮像手段 20…1次元信号生成方法設定手段 21…障害物存在ライン設定手段 22…自車両速度操舵角検出手段 23…障害物存在ライン1次元信号化方法設定手段 31…1次元信号生成手段 40…障害物候補領域モデル化手段 41…障害物候補領域算出用信号変換手段 42…障害物候補領域算出手段 50…相対速度モデル化手段 51…相対速度用信号変換手段 52…相対速度算出手段 53…相対速度算出手段 60…障害物判定手段 61…車両有無判定手段 62…車両相対位置算出手段 63…車両相対速度算出手段 100…1次元信号変換手段 200…障害物検出手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 628 B60R 21/00 628C 628E G01C 21/00 G01C 21/00 A

Claims (34)

    【特許請求の範囲】
  1. 【請求項1】所定領域を撮像する撮像手段と、 前記撮像手段で撮像された画像中から1次元信号を抽出
    する1次元信号変換手段と、 前記1次元信号変換手段で得た1次元信号に基づき障害
    物の有無を判別する障害物検出手段とを備えることを特
    徴とする障害物監視装置。
  2. 【請求項2】請求項1に記載の障害物監視装置におい
    て、 前記1次元信号変換手段は、前記撮像手段によって撮像
    された画像の画像信号中の同期信号を利用して1次元信
    号として抽出すべき所定の部分の信号をメモリへ取り込
    むことで前記1次元信号を抽出することを特徴とする障
    害物監視装置。
  3. 【請求項3】請求項1または2に記載の障害物監視装置
    において、 前記1次元信号変換手段は、前記撮像手段で撮像された
    画像の1次元信号への変換方法を設定する1次元信号生
    成方法設定手段と、前記1次元信号生成方法設定手段で
    設定された変換方法に従って、前記画像を1次元信号へ
    変換する1次元信号生成手段とを備えることを特徴とす
    る障害物監視装置。
  4. 【請求項4】請求項3に記載の障害物監視装置におい
    て、 前記撮像対象に関連するデータを取得する取得手段を備
    え、 前記1次元信号生成方法設定手段は、前記取得手段によ
    って取得されたデータに基づいて前記変換方法を変更す
    ることを特徴とする障害物監視装置。
  5. 【請求項5】請求項3または4に記載の障害物監視装置
    において、 前記1次元信号生成方法設定手段は、障害物が存在する
    と疑われる領域をラインとして設定する障害物存在ライ
    ン設定手段と、前記障害物存在ライン設定手段で設定さ
    れたライン上の画素に基づいて1次元信号を生成する方
    法を定める障害物存在ライン1次元信号化方法設定手段
    とを備えることを特徴とする障害物監視装置。
  6. 【請求項6】請求項5に記載の障害物監視装置におい
    て、 前記障害物存在ライン設定手段は、前記撮像手段のパラ
    メータおよび前記撮像手段による撮像対象の特性を示す
    データに基づいて前記ラインを設定することを特徴とす
    る障害物監視装置。
  7. 【請求項7】請求項5または6に記載の障害物監視装置
    において、 自車両の速度および操舵角を検出する自車両速度操舵角
    検出手段を備え、 前記障害物存在ライン設定手段は、前記障害物が存在す
    ると疑われる領域を、前記自車両速度操舵角検出手段で
    検出した自車両の速度および操舵角に応じて補正し、前
    記ラインとして設定することを特徴とする障害物監視装
    置。
  8. 【請求項8】請求項5〜7のいずれかに記載の障害物監
    視装置において、 自車両の現在位置と現在位置周辺の地図情報とを算出す
    るナビゲーション手段を備え、 前記障害物存在ライン設定手段は、前記ナビゲーション
    手段で算出した自車両の現在位置と現在位置周辺の地図
    情報に基づいて前記障害物が存在すると疑われる領域を
    前記ラインとして設定することを特徴とする障害物監視
    装置。
  9. 【請求項9】請求項5〜8のいずれかに記載の障害物監
    視装置において、 前記撮像手段によって撮像された画像中での車線を認識
    する車線認識手段を備え、 前記障害物存在ライン設定手段は、前記車線認識手段に
    よって検出された車線情報に基づいて前記障害物が存在
    すると疑われる領域を前記ラインとして設定することを
    特徴とする障害物監視装置。
  10. 【請求項10】請求項5〜9のいずれかに記載の障害物
    監視装置において、 前記障害物存在ライン1次元信号化方法設定手段は、前
    記障害物存在ライン設定手段で設定したライン上の画素
    を所定の軸へ投影することで前記1次元信号を生成する
    手法を前記変換方法として設定することを特徴とする障
    害物監視装置。
  11. 【請求項11】請求項5〜9のいずれかに記載の障害物
    監視装置において、 前記障害物存在ライン1次元信号化方法設定手段は、前
    記障害物存在ライン設定手段で設定したライン上の画素
    を所定の位置からの距離情報に基づいて並べることで前
    記1次元信号を生成する手法を前記変換方法として設定
    することを特徴とする障害物監視装置。
  12. 【請求項12】請求項1〜11のいずれかに記載の障害
    物監視装置において、 前記障害物検出手段は、前記撮像手段によって障害物が
    撮像されていない場合の1次元信号を基準値として、前
    記1次元信号変換手段によって変換された1次元信号の
    値と前記基準値を比較することにより前記障害物の有無
    を判別することを特徴とする障害物監視装置。
  13. 【請求項13】請求項12に記載の障害物監視装置にお
    いて、 前記基準値は、前記1次元信号変換手段によって変換さ
    れた1次元信号の値の頻度に基づいて決定することを特
    徴とする障害物監視装置。
  14. 【請求項14】請求項1〜13のいずれかに記載の障害
    物監視装置において、 前記障害物検出手段は、前記1次元信号に対応づけた部
    分毎に障害物の有無を判別することを特徴とする障害物
    監視装置。
  15. 【請求項15】請求項14に記載の障害物監視装置にお
    いて、 前記部分毎の障害物の有無に基づいて前記1次元信号に
    おける障害物候補領域を算出することを特徴とする障害
    物監視装置。
  16. 【請求項16】請求項15に記載の障害物監視装置にお
    いて、 前記障害物検出手段は、前記1次元信号変換手段で変換
    された時間の異なる2つの1次元信号の相関に基づいて
    1次元信号の各部分における相対速度を算出し、算出し
    た各部分の相対速度に基づいて前記障害物候領域が障害
    物であるか否かを判別することを特徴とする障害物監視
    装置。
  17. 【請求項17】請求項1〜15のいずれかに記載の障害
    物監視装置において、 前記障害物検出手段は、前記1次元信号変換手段で変換
    された時間の異なる2つの1次元信号の相関に基づいて
    1次元信号の各部分における相対速度を算出することを
    特徴とする障害物監視装置。
  18. 【請求項18】請求項1〜17のいずれかに記載の障害
    物監視装置において、 前記障害物検出手段は、 前記1次元信号変換手段で変換した時間の異なる2つの
    1次元信号の相関に基づいて1次元信号の各点における
    相対速度を算出する相対速度モデル化手段と、 前記相対速度モデル化手段で算出した相対速度を用いて
    障害物を判定する障害物判定手段とを備えることを特徴
    とする障害物監視装置。
  19. 【請求項19】請求項1〜17のいずれかに記載の障害
    物監視装置において、 前記障害物検出手段は、 前記1次元信号変換手段で変換した1次元信号の信号値
    変化に基づいて障害物が存在すると推定される障害物候
    補領域を算出する障害物候補領域モデル化手段と、 時間の異なる2つの前記1次元信号変換手段で変換した
    1次元信号の相関に基づいて1次元信号の各点における
    相対速度を算出する相対速度モデル化手段と、 前記障害物候補領域モデル化手段で算出した障害物候補
    領域と前記相対速度モデル化手段で算出した相対速度を
    用いて障害物を判定する障害物判定手段とを備えること
    を特徴とする障害物監視装置。
  20. 【請求項20】請求項19に記載の障害物監視装置にお
    いて、 前記相対速度モデル化手段は、 前記1次元信号変換手段で変換した時間の異なる2つの
    1次元信号を、前記障害物候補領域とそれ以外の領域と
    の差を強調した1次元信号に変換する相対速度用信号変
    換手段と、 前記相対速度用信号変換手段で変換した時間の異なる2
    つの1次元信号の相関に基づいて1次元信号の各点にお
    ける相対速度を算出する相対速度算出手段とを備えるこ
    とを特徴とする障害物監視装置。
  21. 【請求項21】請求項19に記載の障害物監視装置にお
    いて、 前記障害物候補領域モデル化手段は、 前記1次元信号変換手段で変換した1次元信号を信号値
    変化に基づいて前記障害物候補領域とそれ以外の領域と
    の差を強調した1次元信号に変換する障害物候補領域算
    出用信号変換手段と、 前記障害物候補領域算出用信号変換手段で変換した1次
    元信号の信号値変化に基づいて前記障害物候補領域を算
    出する障害物候補領域算出手段とを備えることを特徴と
    する障害物監視装置。
  22. 【請求項22】請求項20に記載の障害物監視装置にお
    いて、 前記相対速度用信号変換手段は、前記1次元信号変換手
    段で変換した1次元信号において背景領域をマスクし前
    記障害物候補領域のみを表現した1次元信号へと変換す
    ることを特徴とする障害物監視装置。
  23. 【請求項23】請求項21に記載の障害物監視装置にお
    いて、 前記障害物候補領域算出用信号変換手段は、前記1次元
    信号変換手段で変換した1次元信号において背景領域を
    マスクし前記障害物候補領域のみを表現した1次元信号
    へと変換することを特徴とする障害物監視装置。
  24. 【請求項24】請求項18〜23のいずれかに記載の障
    害物監視装置において、 前記障害物判定手段は、前記相対速度モデル化手段で算
    出した相対速度において前記撮像手段側に接近する方向
    である点をグループ化し、グループ化された領域がある
    大きさ以上の場合はその領域を障害物として判定する障
    害物有無判定手段を備えることを特徴とする障害物監視
    装置。
  25. 【請求項25】請求項24に記載の障害物監視装置にお
    いて、 前記障害物判定手段は、前記障害物有無判定手段で障害
    物と判定された領域の領域端点を基に障害物の相対位置
    を算出する障害物相対位置算出手段を備えることを特徴
    とする障害物監視装置。
  26. 【請求項26】請求項24または25に記載の障害物監
    視装置において、 前記障害物判定手段は、前記障害物有無判定手段で障害
    物と判定された領域の相対速度を基に障害物の相対速度
    を算出する障害物相対速度算出手段を備えることを特徴
    とする障害物監視装置。
  27. 【請求項27】請求項19に記載の障害物監視装置にお
    いて、 前記障害物判定手段は、 前記障害物候補領域モデル化手段で算出された障害物候
    補領域とその周辺の領域内における前記相対速度モデル
    化手段で算出した相対速度に注目し、前記相対速度が前
    記撮像手段側に接近する方向である点の数と前記撮像手
    段側に離遠する方向である点の数とを比較することで前
    記障害物候補領域が障害物であるかどうかを判定する障
    害物有無判定手段を備えることを特徴とする障害物監視
    装置。
  28. 【請求項28】請求項24〜27のいずれかに記載の障
    害物監視装置において、 前記障害物判定手段は、前記障害物有無判定手段で障害
    物と判定された領域端点を基に障害物の相対位置を算出
    する障害物相対位置算出手段を備えることを特徴とする
    障害物監視装置。
  29. 【請求項29】請求項24〜28のいずれかに記載の障
    害物監視装置において、 前記障害物判定手段は、前記障害物有無判定手段で障害
    物と判定された障害物候補領域およびその周辺領域内の
    相対速度を基に障害物の相対速度を算出する障害物相対
    速度算出手段を備えることを特徴とする障害物監視装
    置。
  30. 【請求項30】請求項1〜29のいずれかに記載の障害
    物監視装置において、 前記撮像手段で撮像された複数フレームに基づく前記障
    害物検出手段の結果を統合し、障害物の検出精度を高め
    る複数フレーム障害物検出結果統合手段を備えることを
    特徴とする障害物監視装置。
  31. 【請求項31】請求項1〜30のいずれかに記載の障害
    物監視装置において、 前記撮像手段で撮像した画像に対して複数の1次元信号
    を前記1次元信号変換手段で抽出し、前記1次元信号変
    換手段で抽出した1次元信号各々に対して障害物の有無
    を判別し、前記各1次元信号に対する前記障害物検出手
    段の結果を統合し、障害物の検出精度を高める複数ライ
    ン障害物検出結果統合手段を備えることを特徴とする障
    害物監視装置。
  32. 【請求項32】請求項1〜31のいずれかに記載の障害
    物監視装置において、 前記障害物検出手段の検出結果に基づき警告を発する告
    知手段を備えることを特徴とする障害物監視装置。
  33. 【請求項33】請求項1〜32のいずれかに記載の障害
    物監視装置において、 前記撮像手段は自車両に設置されており、 前記障害物は他の車両であることを特徴とする障害物監
    視装置。
  34. 【請求項34】請求項1〜33のいずれかに記載の障害
    物監視装置における機能をコンピュータに実現させるた
    めのプログラム。
JP2001359412A 2001-11-26 2001-11-26 障害物監視装置及びプログラム Expired - Fee Related JP3849505B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001359412A JP3849505B2 (ja) 2001-11-26 2001-11-26 障害物監視装置及びプログラム
US10/302,956 US7170548B2 (en) 2001-11-26 2002-11-25 Obstacle monitoring device using one-dimensional signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001359412A JP3849505B2 (ja) 2001-11-26 2001-11-26 障害物監視装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2003162798A true JP2003162798A (ja) 2003-06-06
JP3849505B2 JP3849505B2 (ja) 2006-11-22

Family

ID=19170428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001359412A Expired - Fee Related JP3849505B2 (ja) 2001-11-26 2001-11-26 障害物監視装置及びプログラム

Country Status (2)

Country Link
US (1) US7170548B2 (ja)
JP (1) JP3849505B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323117A (ja) * 2006-05-30 2007-12-13 Kenwood Corp 道路通信システム、移動体装置、および、移動体装置の情報処理方法
JP2009244946A (ja) * 2008-03-28 2009-10-22 Fujitsu Ltd 信号機認識装置,信号機認識方法および信号機認識プログラム
KR101606337B1 (ko) 2013-06-24 2016-03-24 구글 인코포레이티드 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용
KR20160139608A (ko) * 2015-05-28 2016-12-07 변기만 이동체의 주행 안전장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589548B2 (en) * 2002-12-11 2013-11-19 Broadcom Corporation Remote management of TV viewing options in a media exchange network
US7747041B2 (en) * 2003-09-24 2010-06-29 Brigham Young University Automated estimation of average stopped delay at signalized intersections
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP3846494B2 (ja) * 2004-07-13 2006-11-15 日産自動車株式会社 移動障害物検出装置
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置,プログラム,車両用監視システム
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
FR2884018A1 (fr) * 2005-03-31 2006-10-06 Neavia Technologies Soc Par Ac Procede et systeme de detection de la presence d'un objet genant, et module d'activation pour ce systeme
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7600064B2 (en) * 2006-03-31 2009-10-06 Research In Motion Limited System and method for provisioning a remote library for an electronic device
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5824936B2 (ja) * 2011-07-25 2015-12-02 富士通株式会社 携帯型電子機器、危険報知方法及びプログラム
US11190738B2 (en) * 2012-12-28 2021-11-30 Robert Bosch Gmbh Vehicle standstill recognition
US9076339B2 (en) * 2013-02-15 2015-07-07 Qualcomm Incorporated Facilitating vehicle merging utilizing road markers
JP6658054B2 (ja) * 2016-02-16 2020-03-04 トヨタ車体株式会社 車体部品の施工部位判定システム及び施工部位判定方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5824732B2 (ja) 1976-02-19 1983-05-23 工業技術院長 陸上移動機械のための通路パタ−ン認識方法
JPS573166A (en) 1980-06-09 1982-01-08 Nec Corp Time-series pattern extracting and converting device
JP2863381B2 (ja) 1992-09-25 1999-03-03 矢崎総業株式会社 車両用監視方法
DE4332612C2 (de) 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
SG41948A1 (en) * 1993-02-19 1997-08-15 Mitsubishi Heavy Ind Ltd Vehicle detecting system
US5598488A (en) * 1993-09-13 1997-01-28 Massachusetts Institute Of Technology Object movement estimator using one-dimensional optical flow
JP3540005B2 (ja) 1994-04-22 2004-07-07 株式会社デンソー 障害物検出装置
JPH08142868A (ja) 1994-11-28 1996-06-04 Railway Technical Res Inst 踏切障害物検知方法及びその装置
MY132441A (en) * 1995-01-17 2007-10-31 Sarnoff Corp Method and apparatus for detecting object movement within an image sequence
JP3151372B2 (ja) * 1995-04-19 2001-04-03 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 移動物体速度検出装置及び方法
US5835880A (en) * 1995-07-19 1998-11-10 Vi & T Group, Inc. Apparatus and method for vehicle following with dynamic feature recognition
WO1997016807A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
JP3656301B2 (ja) * 1995-12-28 2005-06-08 株式会社デンソー 車両用障害物警報装置
DE19605218C1 (de) * 1996-02-13 1997-04-17 Dornier Gmbh Hinderniswarnsystem für tieffliegende Fluggeräte
JPH09240397A (ja) 1996-03-07 1997-09-16 Nissan Motor Co Ltd 後側方車両の報知装置
JP3660492B2 (ja) * 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
US6636257B1 (en) * 1998-08-11 2003-10-21 Honda Giken Kogyo Kabushiki Kaisha Mobile body recognizing apparatus and motor vehicle monitoring apparatus
JP2000075032A (ja) 1998-09-02 2000-03-14 Komatsu Ltd 走行路上の障害物の検出方法及びその存否推定方法
JP4377474B2 (ja) 1999-03-31 2009-12-02 株式会社東芝 移動体の衝突防止装置、衝突防止方法、および記録媒体
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP2001209787A (ja) 1999-11-15 2001-08-03 Omron Corp 情報処理装置、情報処理方法、記録媒体、および対象物検出装置
JP2001338302A (ja) * 2000-05-29 2001-12-07 Nikon Corp 監視装置
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323117A (ja) * 2006-05-30 2007-12-13 Kenwood Corp 道路通信システム、移動体装置、および、移動体装置の情報処理方法
JP2009244946A (ja) * 2008-03-28 2009-10-22 Fujitsu Ltd 信号機認識装置,信号機認識方法および信号機認識プログラム
KR101606337B1 (ko) 2013-06-24 2016-03-24 구글 인코포레이티드 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용
KR20160139608A (ko) * 2015-05-28 2016-12-07 변기만 이동체의 주행 안전장치
KR102317071B1 (ko) 2015-05-28 2021-10-27 최무길 이동체의 주행 안전장치

Also Published As

Publication number Publication date
US20030099400A1 (en) 2003-05-29
JP3849505B2 (ja) 2006-11-22
US7170548B2 (en) 2007-01-30

Similar Documents

Publication Publication Date Title
JP3849505B2 (ja) 障害物監視装置及びプログラム
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US8005266B2 (en) Vehicle surroundings monitoring apparatus
JP4871909B2 (ja) 物体認識装置、および物体認識方法
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
JP5690688B2 (ja) 外界認識方法,装置,および車両システム
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
WO2019177562A1 (en) Vehicle system and method for detecting objects and object distance
US20050276450A1 (en) Vehicle surroundings monitoring apparatus
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
US20060126899A1 (en) Vehicle surroundings monitoring apparatus
WO2011048718A1 (ja) 標識認識装置及び標識認識方法
JP2000357233A (ja) 物体認識装置
US20060126898A1 (en) Vehicle surroundings monitoring apparatus
CN112389419B (zh) 识别停车位的方法和停车辅助***
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
JP2002362302A (ja) 歩行者検出装置
JP5166933B2 (ja) 車両認識装置、及び車両
KR20190134303A (ko) 영상 인식 장치 및 그 방법
JP6533244B2 (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
WO2021161614A1 (ja) 画像送信システム
JP2001023092A (ja) 車両周辺領域監視装置
JP2004098827A (ja) 障害物検知装置及びプログラム
JP2006317193A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JPH0410200A (ja) 車線端認織装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060821

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees