JP3727400B2 - 横断者の検出装置 - Google Patents

横断者の検出装置 Download PDF

Info

Publication number
JP3727400B2
JP3727400B2 JP03503996A JP3503996A JP3727400B2 JP 3727400 B2 JP3727400 B2 JP 3727400B2 JP 03503996 A JP03503996 A JP 03503996A JP 3503996 A JP3503996 A JP 3503996A JP 3727400 B2 JP3727400 B2 JP 3727400B2
Authority
JP
Japan
Prior art keywords
detection
window
crossing
data
crossing person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03503996A
Other languages
English (en)
Other versions
JPH09226490A (ja
Inventor
勝之 今西
正典 加藤
希 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP03503996A priority Critical patent/JP3727400B2/ja
Publication of JPH09226490A publication Critical patent/JPH09226490A/ja
Application granted granted Critical
Publication of JP3727400B2 publication Critical patent/JP3727400B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、横断者の検出装置に係り、詳しくはCCDカメラ等により撮像された画像データ、或いはスキャニングレーダ装置により得られた距離分布データ等を用いて自車両の走行路上に存在する横断者を検出するための横断者の検出装置に関するものである。
【0002】
【従来の技術】
従来の方法として、画像処理の立体視を用いたり、レーザレーダをスキャニングしたりすることで前方空間に存在する物体の距離分布を算出し、この距離分布の密度から横断者を含む障害物を検出していた。
【0003】
【発明が解決しようとする課題】
ところが、上記の如く距離分布の密度から障害物を検出する方法では、道路脇に横断者が存在する場合において、当該横断者が道路の自動車走行路上(例えば白線レーンマーク内)に出てくる以前にそれを検出することが困難であるという問題があった。即ち、横断者が道路脇にいる時には、横断者とその背後の建物との距離分布が一体化してしまうことがある。かかる場合、この段階で横断者を検出することができず、横断者が自動車走行路上に来た後にしか単独の物体として検出できない。その結果、横断者の検出が遅れてしまうおそれがあった。
【0004】
また、道路上の移動物体を検出する方法として、オプティカルフローを用いた手法が従来より提案されている。これは、画像内の移動物体を一塊の動いている領域として捕らえ、当該領域から例えば交差路における自動車の飛び出しを検出するものである。ところが、既存の技術では自動車等の比較的大きな移動物体の検出が可能となるものの、人や自転車等の比較的小さな物体の検出に際しては、画像全体における存在データ数が少ないためにその検出が不可能であるといった問題を生ずる。
【0005】
この発明は、上記問題に着目してなされたものであって、その目的とするところは、比較的小さな横断者をも精度良く且つ効率的に検出することができる横断者の検出装置を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の発明では、距離分布計測手段は、前方空間の物体の距離分布データを取得する。より具体的には、CCDカメラによるステレオ画像を利用して距離分布データを取得したり、或いはスキャニングレーダ装置による光反射を利用して距離分布データを取得する。移動量算出手段は、撮像装置によって前方空間の時間の異なる複数の画像データを取得して、物体の移動量を算出する。
垂直エッジ数算出手段は、前記検出ウィンドウ毎に検出ウィンドウ内の垂直エッジ数を算出する。横断者候補ウィンドウ検出手段は、前記垂直エッジ数算出手段による垂直エッジ数が所定のしきい値以上のとき、その検出ウィンドウを横断者の候補ウィンドウとして検出する。さらに、横断者検出手段は、前記検出された候補ウィンドウ内に上記前方空間の物体の距離分布データが存在する場合であって、その候補ウィンドウ内の前記物体における前記移動量算出手段によって得られた移動量の方向が自車両の走行路中心に向かっているとき、その候補ウィンドウに横断者が存在するとして当該横断者を検出する。
つまり、横断者の画像では垂直エッジ数の密度が高いことに着目し、当該垂直エッジ数に基づいて横断者の存在するウィンドウを検出することにより、その検出処理を効率的に実施することができる。このとき、検出されたウィンドウを「候補ウィンドウ」とし、その後、距離分布データと移動量データとを用いて「候補ウィンドウ」の中から実際の横断者の判別を行うことで、より一層確実な横断者検出が可能となる。
【0007】
つまり、図15に示すように、例えば自車両前方の30〜60mの撮像画像の領域が横断者の存在領域(解析領域)として設定され、当該解析領域において物体(横断者)の移動量が算出される。
また、図16に示すように、例えば横断者に見合う大きさで検出ウィンドウが設定されるこの検出ウィンドウは、請求項3に記載の発明のように、図18に(A),(B),(C)で示すように、隣合うウィンドウに所定量(例えば、横幅半分)だけ重ねて配置されるのが好ましいそして、距離分布データが存在する検出ウィンドウについてその中の物体の移動方向(移動量の方向)が自車両の走行路中心に向かっていれば横断者の存在が検出されることとなる。この場合、請求項2に記載の発明のように、例えば図17に示すように、自車両の走行路を示すレーンマーク等の画像情報から走行路中心が検出される
【0008】
上記構成によれば、道路脇に存在する横断者の検出が可能となり、その横断者が自車両の走行路を横断しようとしていること、或いは走行路上に飛び出してくること等が予測可能となる。また、検出ウィンドウという単位にて横断者を検出することにより、比較的小さな横断者に対してもその検出洩れが回避でき、検出精度を向上させることができる。その結果、自車両前方について高精度な認識処理を実施することができる。
【0011】
また、請求項に記載の発明では、横断者検出手段は、1サイクルでの横断者の検出結果を仮検出結果として、その仮検出された横断者の時間的な対応付け処理を行い、所定サイクル以上の対応付けがなされたとき、横断者の存在を決定する。この場合、横断者検出の信頼性をより一層高めることができる。
【0012】
請求項に記載の発明では、横断者検出手段は、前記移動量算出手段による移動量データから自車両のヨーイング成分を排除し、該自車両のヨーイング成分が排除された結果から横断者を特定する。この場合、横断者の正確な動きが分かり、精度高い検出結果が得られる。
【0013】
【発明の実施の形態】
以下、この発明を具体化した一実施形態を図面に従って説明する。
図1は本実施の形態における横断者検出システムの概要を示すブロック構成図である。図1において、撮像装置1は、左右一対のカメラにより立体視画像のデータを取り込む装置であって、左右のカメラはその光軸が互いに平行で、その基線長が路面に平行になるように構成されている。このとき、当該撮像装置1では図2に示すようなステレオ画像が得られる。
【0014】
撮像装置1の光学系の基本的構成を図3に示す。即ち、撮像装置1には、2つの視点を形成するために物体(横断者)に対向して2つのレンズ11,12が設けられ、この2つのレンズ11,12の後ろにそれらの光軸がそれぞれ一致する撮像素子としてのCCD(Charge Coupled Device )13,14が設けられている。
【0015】
ここで、図中の「d」はレンズ11,12と物体との距離〔m〕、「f」はレンズ11,12の焦点距離〔mm〕、「a」,「b」はそれぞれ物体からレンズ11,12を経てCCD13,14へ焦点を結ぶ点と光軸との距離〔mm〕、「m」はカメラ基線長〔cm〕である。かかる場合、距離d〔m〕は、
d=f・m/(a+b)
で求めることができる。即ち、基線長m,焦点距離fが既知であるため、(a+b)が求まれば物体までの距離dが算出できることになる。なお、(a+b)は、左右の画像中の物体の輝度値を少しずつずらしながら比較した際に、最も一致するずらし量として求められる。
【0016】
また、上式における(a+b)を、ドット数で表される視差s及びCCD13,14のセルの大きさc〔mm/ドット〕に置き換えると、次の(1)式が得られる。
【0017】
【数1】
Figure 0003727400
一方、図1において、前記撮像装置1により得られた画像情報は、右カメラ画像保存メモリM1及び左カメラ画像保存メモリM2に保存される。両メモリM1,M2の保存データは、距離算出回路2に入力される。距離算出回路2では、縦8ドット、横8ドットを単位領域として画像がメッシュ状に分割され、右画像データを基準データ、左画像データを参照データとした相関計算により視差s〔ドット〕が算出される。そして、該算出された視差sを前記(1)式に代入すれば画像内の距離分布が求められる。この距離分布データは距離データ保存メモリM3に保存される。
【0018】
また、解析データ算出回路3は、前記右カメラ画像保存メモリM1に保存されている右カメラの画像データを取り込み、単位領域の縦方向の8ドット分のデータの総和(これを解析データという)を算出する。そして、解析データ算出回路3にて算出された最新の解析データは、「本サイクル解析データ」として本サイクル解析データ保存メモリM4に保存される。このとき、解析データは、8ドット分のデータの総和で保存されるため、データ容量は1/8に削減される。解析データ算出回路3は、上記解析データの算出処理を66msサイクルで実施する。また、本サイクル解析データ保存メモリM4に保存された解析データは、66ms毎に「前サイクル解析データ」として前サイクル解析データ保存メモリM5に転送される。従って、メモリM4,M5には、66ms間隔の前後サイクルの解析データが保存されることとなる。
【0019】
ここで、前記解析データ算出回路3による解析領域は、画面上において例えば図4のように設定されている。即ち、本実施の形態では、自車両の前方30m〜60mの範囲に存在する横断者を検出することを目的としており、より具体的には、50m前方で地上に立っている横断者を基準として当該解析領域が設定されている。図4の画面上では、水平方向に延びる60ドット幅の垂直領域が解析領域として設定されている。
【0020】
また、移動量算出回路4は、前記本サイクル解析データ保存メモリM4及び前サイクル解析データ保存メモリM5に保存されている解析データを取り込み、両解析データ間の単位領域毎の画像のずれから横断者の移動量を算出する。ここでは、計算量削減のため、横方向(水平走差線方向)のみの探索を行う。つまり、横断者が移動する最大範囲を机上検討して相関計算の探索範囲を設定し、この探索範囲内で、前サイクル解析データを1ドットずつずらしながら差の絶対値の総和(相関値S(z))を算出する。具体的には、次の(2)式を用いて単位領域についての相関値S(z)を算出する。
【0021】
【数2】
Figure 0003727400
但し、「D0 」は本サイクル解析データ、「D1 」は前サイクル解析データ、「x0 」は画像の左上座標(相関計算の探索開始点)、「w」は画像内における検索範囲の横幅〔ドット〕、「z」はずらし量〔ドット〕である。なお、図5は、前サイクル時と本サイクル時との間に、横断者が水平右方向に所定量だけ移動した状態を示している。
【0022】
上記の如く求めた相関値S(z)の最小値について、その時のずらし量が横断者の移動量に相当する。このとき、画像上で、横断者の移動量が「0」のとき、つまり、ずらし量が「0」のとき、横断者と衝突するケースに相当する。これは、自車両の進行方向と横断者の角度が変化しないとき、横断者との距離が0mになったとき衝突するためである。図6は、横断者が水平右方向に移動した場合の相関値S(z)とずらし量との関係を示しており、かかる場合にはずらし量=kが移動量に相当する。この際、精度向上のために、相関値の最小値とそれに隣合う2つの相関値を用いて補間計算を行い、10分の1ドット精度で移動量を算出するようにしてもよい。
【0023】
このようにして移動量算出回路4では、66ms毎で取り込まれた時間的に連続な2枚の画像の相関計算から横断者の移動量が算出される。そして、この移動量は移動量データ保存メモリM6に保存される。
【0024】
垂直エッジ数算出回路5は、前記右カメラ画像保存メモリM1に保存されている右カメラの画像データを取り込み、所定の大きさで区画された検出ウィンドウ毎に同ウィンドウ内の垂直エッジ数をカウントする。ここで、検出ウインドウは、前記図4の解析領域内における横断者の大きさに見合うように設定される。本実施の形態では、50m前方の横断者の大きさを基準として、図7に示すように縦60ドット×横16ドットの領域にて検出ウィンドウを設定している。
【0025】
また、検出ウィンドウは、図18に示すように、検出ウィンドウの横幅の半分の8ドットが隣の検出ウィンドウと重なるように配列される。この場合、画像の水平方向の画素数が512ドットであることから、127個の検出ウィンドウが設定される。
【0026】
垂直エッジ数の算出方法を以下に記載する。即ち、解析領域の左上から本サイクルの画像データを読み込み、走査線方向に輝度変化量の大きさが所定のしきい値以上である点xについて、そのx位置に対応する垂直エッジ数データ保存メモリM7の位置に「1」を加算していく。これを解析領域すべてについて行う。次に検出ウィンドウの横幅について、垂直エッジ数データ保存メモリM7から対応するx位置のデータの総和を求めると、検出ウィンドウの垂直エッジ数が得られる。
【0027】
さらに、走行路検出回路6は、前記右カメラ画像保存メモリM1に保存されている右カメラの画像データを取り込み、自車両の走行路を検出する。より具体的には、画像内の輝度情報から道路上の左右の白線レーンマークを検出し、このレーンマーク内を走行路として検出する。
【0028】
マイクロコンピュータ7は、周知のCPU,メモリ,入出力回路等にて構成されており、前記距離データ保存メモリM3、移動量データ保存メモリM6、垂直エッジ数データ保存メモリM7、及び走行路データ保存データM8内の保存データを読み込んで後述する横断者検出処理を実行する。そして、マイクロコンピュータ7は、道路上における横断者の検出結果に応じて警報ブザー8を作動させる。また、マイクロコンピュータ7にはヨーレイトセンサ9が接続されており、マイクロコンピュータ7は同センサ9の出力結果から自車両のヨーイング成分を検出する。
【0029】
なお、本実施の形態では、マイクロコンピュータ7により横断者候補ウィンドウ検出手段及び横断者検出手段が構成され、ヨーレイトセンサ9によりヨーイング検出手段が構成されている。
【0030】
次いで、本実施の形態における一連の横断者検出手順をマイクロコンピュータ7による演算処理を中心に説明する。なお、図8は横断者検出ルーチンを示すフローチャートであり、同ルーチンはマイクロコンピュータ7により66ms毎に実行される。
【0031】
さて、同ルーチンがスタートすると、ステップ101では、検出ウィンドウ毎に前記垂直エッジ数データ保存メモリM7から垂直エッジ数を読み出し、その数が設定しきい値以上のウィンドウを横断者の候補ウィンドウとして検出する(図9)。
【0032】
続いてステップ102では、距離データ保存メモリM3から距離データを読み込み、横断者候補ウィンドウに対応する距離データが存在する場合、その領域に対応する移動量データを移動量データ保存メモリM6から呼び込んで平均化する。また、その平均化データにより前記候補ウィンドウの物体(横断者)の移動量を算出する。このとき、同時に物体までの距離も保持しておく。
【0033】
さらに、ステップ103では、前記算出された移動値から事前に計測しておいた自車両のヨーイング量を差し引き、この値を画像上での絶対的な物体移動量とする。即ち、ヨーレイトセンサ9の検出値は角度変化(deg/sec)であるため、これを画像上でのふらつき量に変換する。画角20度で画像の水平方向の分解能が512ドットのとき、分解能を画角で割った値25.6(ドット/deg)にヨーレイト値を掛けたものが画像上でのヨーイング量となる。これを、先に算出した物体の移動量から引くことで自車両のヨーイング成分が物体移動量から排除される。
【0034】
一方、上記の如く算出された物体の水平方向の移動量は、画像上におけるドット数単位の移動量であるため、続くステップ104,105では、前記移動量を実空間での物体の水平方向の移動速度v〔km/h〕に変換する。つまり、ステップ104では、次の(3)式を用い、その時の画像上における水平方向の移動量g〔ドット〕から実空間での移動距離L〔m〕を算出する。
【0035】
【数3】
Figure 0003727400
但し、上記(3)式において、「c」はCCDのセルの大きさ(mm/ドット)、「f」はレンズの焦点距離〔mm〕、「d1」は物体の移動前の物体と自車両との距離〔m〕、「d2」は物体の移動後の物体と自車両との距離〔m〕である。
【0036】
さらに、ステップ105では、次の(4)式を用い、66msサイクル内における実空間での移動距離L〔m〕を移動速度v〔km/h〕に変換する。この移動速度v〔km/h〕は、物体の移動量としてマイクロコンピュータ7内のメモリに保持される。
【0037】
【数4】
Figure 0003727400
次に、ステップ106では、物体の移動量(移動速度)と走行路中心との関係より横断者を仮検出する。即ち、前記走行路データ保存メモリM8の保存データを呼び込み、物体の距離に対応する走行路の中心位置を算出する。そして、走行路の中心位置と物体の移動方向に基づき、走行路中心に向かう物体を横断者として仮検出する。このとき、図10に示すように、横断者は画像内において走行路中心に向かう物体として特定され、電柱や立木は画像内において走行路中心から外側に向かう物体として特定される。この仮検出結果はマイクロコンピュータ内のメモリに保存される。
【0038】
その後、ステップ107では、前記仮検出結果に対して時間的な対応付け処理(以後、追跡処理という)を行うことにより、横断者が実際に存在するかどうかを判定する。以下に、追跡処理の具体的内容を説明する。
【0039】
つまり、4サイクル分の仮検出結果を得た段階でそれを平均化し、追跡処理のための追跡データを作成する。この場合、存在するデータの処理サイクルの重み(事前に設定)の合計が所定のしきい値以上であれば、それらのデータの重みを加えて平均値を算出し、その算出値を追跡データとする。その詳細を図11に示す。各サイクルの重み付けに際し、本サイクルでは「4」、1サイクル前では「3」、2サイクル前では「2」、3サイクル前では「1」として、重みの合計が「6」以上であれば追跡データを算出する。その結果、追跡データが存在すれば、該当する検出ウィンドウに横断者が存在する旨が検出されることとなる。かかる追跡処理では、検出ミスでデータが飛び飛びでしか存在しない場合にも当該検出ミスによるデータの不在を考慮する必要はなく、その連続性に基づいて横断者が検出される。
【0040】
次に、追跡データマップ上の具体的な追跡処理について、それを追跡処理A〜Dの事例に分けて説明する。なお、追跡処理A〜Dの内容を図12(a)〜(d)に図示し、上記追跡処理A〜Dを反映した一連の追跡例を図13に示す。マップ上の数字は追跡データ(移動量)であり、実空間での横断者の移動速度〔km/h〕を表している。マイナスの移動速度は、走行路中心から外側に移動する速度値を表す。
【0041】
追跡処理A:前サイクルの追跡データ及び本サイクルの追跡データが同じ検出ウィンドウ又は隣の検出ウィンドウにある場合、それらの移動速度を比較してその差が許容範囲内(ここでは、2km/h)であれば、データの追跡が可能であるとみなす。即ち、図12(a)では、追跡データのウィンドウが隣のウィンドウに移動しているが、これは移動可能なウィンドウとして処理される。
【0042】
追跡処理B:移動可能なウィンドウ1個に対して、2個又は3個の追跡データが対応することがある。この場合、図12(b)に示すように、追跡回数の多いウィンドウを選択して処理する。但し、追跡回数が同じである場合、走行路中心より左側画像の領域では右側のデータを、右側画像の領域では左側のデータを優先する(図13のB’参照)。
【0043】
追跡処理C:図12(c)に示すように、1つの追跡データに対して2個又は3個の移動可能ウィンドウが対応する場合には、その対応する数だけ同じ追跡データを誕生させる。但し、各々の追跡データには識別ラベルを付けておく。
【0044】
追跡処理D:図12(d)に示すように、移動可能ウィンドウがないとき、そこで追跡処理を中断する。
上記追跡データはマイクロコンピュータ7内のメモリに保存されるが、それと同時に、対応する距離データ〔m〕、画像中心からの水平位置zx〔m〕も保存される。保存量は10サイクル分までとする。
【0045】
前記水平位置zx〔m〕は、画像中心からの物体の水平位置DX〔ドット〕と、距離データとから以下のようにして算出する。つまり、前記(2)式より、距離から物体の視差s〔ドット〕が算出され、これはこの距離データにおいて、この視差sの大きさ〔ドット〕がカメラ基長線m〔cm〕に相当することを意味する。従って、次の(5)式から水平位置zx〔m〕が算出される。
【0046】
【数5】
Figure 0003727400
追跡データの追跡回数が10サイクルを越えたら、過去9サイクル分と本サイクルとの合計10サイクル分の保存データから、横断者の平均移動速度AMV〔km/h〕及び平均水平位置AX〔m〕を算出する。なお、平均水平位置AX〔m〕は、画像中心から横断者までの水平距離(前記水平位置zx)と、画像中心から走行路の白線レーンマークまでの水平距離との和から求められる。この関係を示したのが図14である。自車両が横断者と同じ距離の走行路までの道のりDL〔m〕及び走行路幅W〔m〕は、距離データや走行路検出データに基づいて算出される。
【0047】
以上のデータを用い、図8のステップ108では、上記の如く検出された横断者に対して、今現在の自車両の走行状態が危険であるか否かを判定する。本実施の形態では、その一例として、横断者が走行路に達するまでの時間tm1〔s〕と、走行路を通過し終える時間tm2〔s〕と、自車両が横断者と同距離の点に達する時間tc〔s〕とに基づいて危険判定を実施する。つまり、tm1≦tc≦tm2であれば、自車両と横断者との衝突の危険性があるとして、マイクロコンピュータ7はステップ109で警報ブザー8を作動させ、横断者の検出の旨をドライバに警告する。また、tc<tm1又はtc>tm2であれば、自車両と横断者との衝突の危険性がない、即ち安全であるとしてマイクロコンピュータ7はそのまま本ルーチンを終了する。
【0048】
ここで、横断者が走行路に達するまでの時間tm1〔s〕は、上記平均水平位置AX〔m〕、平均移動速度AMV〔km/h〕に基づいて次の(6)から算出されるようになっている。
【0049】
tm1=AX・3.6/AMV ・・・(6)
走行路を通過し終える時間tm2〔s〕は、時間tm1〔s〕に走行路幅W〔m〕を通過する時間を加算した(7)式から算出される。
【0050】
tm2=W・3.6/AMV+tm1 ・・・(7)
また、自車両が横断者と同距離の点に達する時間tc〔s〕は、道のりDL〔m〕及び自車両の速度ACV〔km/h〕に基づいて次の(8)式から算出される。
【0051】
tc=DL・3.6/ACV ・・・(8)
以上詳述した本実施の形態によれば、以下に示す効果が得られる。
(a)要するに、本実施の形態では、撮像画像の垂直方向の領域(解析領域)について横断者に見合う大きさの検出ウィンドウを水平方向に隙間なく配置し、前方空間の距離データが存在する検出ウィンドウについてその中の物体の移動方向(移動量データの方向)が走行路中心に向かっていれば走行路上にいる横断者の存在を検出するようにした。上記構成によれば、道路脇に存在する横断者の検出が可能となり、その横断者が自車両の走行路を横断しようとしていること、或いは走行路上に飛び出してくること等が予測可能となる。また、検出ウィンドウという単位にて横断者を検出することにより、横断者のような比較的小さな物体に対してもその検出洩れが回避でき、検出精度を向上させることができる。その結果、自車両に対して安全性の高い撮像処理が実現できる。
【0052】
(b)白線レーンマークの検出情報から自車両の走行路データ(走行路中心の検出結果を含む)を抽出し、その走行路データから横断者の有無(危険度の判定)を行うようにした。かかる構成によれば、より安全性の高い撮像処理が実現できる。
【0053】
(c)検出ウィンドウを、隣合うウィンドウに所定量(例えば、横幅半分)だけ重ねて配置した。それにより、検出ウィンドウを並べて配置する場合に比べて、横断者に対応する検出ウィンドウが適切に得られ、横断者の動きが精度良く算出できる。
【0054】
(d)検出ウィンドウ毎に垂直エッジ数を算出し、垂直エッジ数が所定のしきい値以上のとき、その検出ウィンドウを候補ウィンドウとして検出するようにした。そして、それら候補ウィンドウについて、移動量データから道路上の横断者を検出するようにした。つまり、横断者の画像では垂直エッジ数の密度が高いことに着目し、当該垂直エッジ数に基づいて横断者の存在するウィンドウを検出することにより、その検出処理を効率的に実施できる。このとき、検出されたウィンドウを「候補ウィンドウ」とし、その後、距離分布データと移動量データとを用いて「候補ウィンドウ」の中から実際の横断者の判別を行うようにしたため、より一層確実な横断者検出が可能となる。
【0055】
(e)1サイクルでの横断者の検出結果を仮検出結果として、その仮検出された横断者の時間的な対応付け処理(追跡処理)を行い、所定サイクル以上の対応付けがなされたとき、横断者の存在を決定するようにした。従って、横断者検出の信頼性をより一層高めることができる。特に、本実施の形態では、4サイクル分の加重平均値を追跡データとして算出し、その追跡データを用いて横断者の検出処理を実施した。そのため、様々な外乱、歩行速度の不均一性等に起因した検出ミスが抑制できる。また、横断者の最初の発見から追跡処理を行い、その連続性を観測することにより、突発的な検出ミスが発生しても横断者の存在を的確に推定して、突発的な検出ミスによる悪影響を減らすことができる。
【0056】
(e)移動量データから自車両のヨーイング成分を排除し、該自車両のヨーイング成分が排除された結果から画像内の横断者を特定するようにした。この場合、横断者の正確な動きが分かり、精度高い検出結果が得られる。
【0057】
なお、本発明は上記実施の形態の他に次の形態にて具体化できる。
(1)上記実施の形態では、走行路上の横断者を検出するために、横断者の大きさに適応した検出ウインドウを設定した(縦60ドット×横16ドット)。しかし、これを任意に変更してもよい。例えば走行路上を横断する自転車の大きさに適用した検出ウィンドウを設定してもよい。
【0058】
(2)上記実施の形態では、隣合う検出ウィンドウを横幅半分だけ重ねて配置したが、これを変更してもよい。例えば、隣合う検出ウィンドウの横幅の1/3を重ねて配置したり、横幅の2/3を重ねて配置したりしてもよい。重なり合う部分が少なければ演算負荷が低減でき、重なり合う部分が多ければ検出精度が向上する。
【0059】
(3)検出ウィンドウの仮検出結果から実際に横断者が存在するウィンドウを特定する処理を変更してもよい。例えば、9サイクル分の仮検出結果が得られた時点で6回以上検出されたウィンドウがある場合、当該ウィンドウに横断者が存在する旨を特定する。
【0060】
(4)上記実施の形態では、距離算出回路2、解析データ算出回路3、移動量算出回路4、垂直エッジ数算出回路5及び走行路検出回路6をハードで構成したが、これらの全てを又はその一部をマイクロコンピュータ7によるソフト処理にて構成してもよい。
【0061】
(5)上記実施の形態では、前方の距離分布データを取得するためにステレオ画像の解析(立体視)を用いた。しかし、距離分布データの取得方法はこれのみに限定されるものではなく、例えばスキャニングレーダ装置を用いてもよい。これは、光が物体に反射して戻ってくるまでの往復時間より距離を算出する手段として知られており、この光を前方の所定角度内でスキャニング(走査)することで、距離分布データを取得することができる。
【0062】
より具体的には、光の走査角の範囲を撮像装置の画角とし、光を放射する走査角を次に述べるように設定し用いることで、本発明の実施に利用できる。ここでは、撮像装置の画角を20度、水平方向画素数512ドットのとき、画像処理の立体視で画像を水平方向8ドット、垂直方向8ドットのメッシュ状に分割して距離分布を算出する場合について述べる。この場合、水平方向8ドットの領域は、0.313度に相当するため、画角の範囲内において、この角度(0.313度)単位で走査角を逐次変化させていく。そして、得られた距離データをメモリに転送し、必要時にCPUから呼び出す。このようにして、検出ウィンドウに対応した距離分布データが取得できる。
【図面の簡単な説明】
【図1】発明の実施の形態における横断者検出システムの概要を示すブロック構成図。
【図2】左右カメラによるステレオ画像を示す図。
【図3】撮像装置の基本的な構成を示す概略図。
【図4】画像内に解析領域を設定した図。
【図5】横断者が水平右方向に所定量だけ移動した状態を示す図。
【図6】相関値と移動量との関係を示すグラフ。
【図7】検出ウィンドウの大きさを示す図。
【図8】横断者検出ルーチンを示すフローチャート。
【図9】画像内における横断者の候補ウィンドウを示す図。
【図10】横断者の仮検出結果を示す図。
【図11】追跡処理を説明するための図。
【図12】追跡処理の事例を個々に説明するための図。
【図13】一連の追跡処理を説明するための図。
【図14】自車両と横断者の位置関係を示す図。
【図15】画像内における解析領域を説明するための図。
【図16】検出ウィンドウを説明するための図。
【図17】検出ウィンドウにて横断者が検出された状態を示す図。
【図18】検出ウィンドウの配列状態を示す図。
【符号の説明】
1…撮像装置、2…距離分布計測手段としての距離算出回路、4…移動量算出手段としての移動量算出回路、5…垂直エッジ数算出手段としての垂直エッジ数算出回路、6…走行路データ検出手段としての走行路検出回路、7…横断者候補ウィンドウ検出手段及び横断者検出手段としてのマイクロコンピュータ、9…ヨーイング検出手段としてのヨーレイトセンサ。

Claims (5)

  1. 前方空間の物体の距離分布データを取得する距離分布計測手段と、
    撮像装置によって前方空間の時間の異なる複数の画像データを取得して、前記物体の移動量を算出する移動量算出手段と
    上記画像データに対して、画像の垂直方向について前記物体が存在する解析領域を設定すると共に当該物体の大きさに見合う検出ウィンドウを設け、その検出ウィンドウを水平方向に隙間なく配置する横断者検出手段と、
    前記検出ウィンドウ毎に検出ウィンドウ内の垂直エッジ数を算出する垂直エッジ数算出手段と、
    前記検出ウィンドウ内における、前記垂直エッジ数算出手段により算出された垂直エッジ数が所定のしきい値以上のとき、その検出ウィンドウを横断者が存在する候補となる候補ウィンドウとして検出する横断者候補ウィンドウ検出手段と
    を備え、前記横断者検出手段は、前記候補ウィンドウ内前記前方空間の物体の距離分布データが存在する場合であって、その候補ウィンドウ内の前記物体における前記移動量算出手段によって得られた移動量の方向が自車両の走行路中心に向かっているとき、その候補ウィンドウに横断者が存在するとして当該横断者を検出することを特徴とする横断者の検出装置。
  2. 請求項1に記載の横断者の検出装置において、
    上記画像データから自車両の走行路を示すレーンマーク等を検出する走行路データ検出手段を備え、
    前記横断者検出手段は、前記走行路データ検出手段の検出結果に基づいて走行路中心を検出する横断者の検出装置。
  3. 請求項1又は2に記載の横断者の検出装置において、
    前記検出ウィンドウは、隣合うウィンドウに所定量だけ重ねて配置される横断者の検出装置。
  4. 前記横断者検出手段は、1サイクルでの横断者の検出結果を仮検出結果として、その仮検出された横断者の時間的な対応付け処理を行い、所定サイクル以上の対応付けがなされたとき、横断者の存在を決定する請求項1〜3のいずれかに記載の横断者の検出装置。
  5. 自車両の走行のヨーイング成分を計測するためのヨーイング検出手段を更に備え、
    前記横断者検出手段は、前記移動量算出手段による移動量データから自車両のヨーイング成分を排除し、該自車両のヨーイング成分が排除された結果から横断者を特定する請求項1〜4のいずれかに記載の横断者の検出装置
JP03503996A 1996-02-22 1996-02-22 横断者の検出装置 Expired - Fee Related JP3727400B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03503996A JP3727400B2 (ja) 1996-02-22 1996-02-22 横断者の検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03503996A JP3727400B2 (ja) 1996-02-22 1996-02-22 横断者の検出装置

Publications (2)

Publication Number Publication Date
JPH09226490A JPH09226490A (ja) 1997-09-02
JP3727400B2 true JP3727400B2 (ja) 2005-12-14

Family

ID=12430913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03503996A Expired - Fee Related JP3727400B2 (ja) 1996-02-22 1996-02-22 横断者の検出装置

Country Status (1)

Country Link
JP (1) JP3727400B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769420B2 (en) 2015-08-31 2020-09-08 Kabushiki Kaisha Toshiba Detection device, detection method, computer program product, and information processing system

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187799A (ja) * 1998-12-22 2000-07-04 Matsushita Electric Works Ltd 車両用障害物検知装置
JP4196469B2 (ja) * 1999-03-02 2008-12-17 マツダ株式会社 車両の障害物検出装置
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP4354085B2 (ja) 2000-05-09 2009-10-28 本田技研工業株式会社 車両用ヘッドアップディスプレイ装置
JP4615139B2 (ja) 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
JP2003016429A (ja) 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP3739693B2 (ja) 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
JP4235018B2 (ja) * 2003-03-31 2009-03-04 本田技研工業株式会社 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP3949628B2 (ja) * 2003-09-02 2007-07-25 本田技研工業株式会社 車両の周辺監視装置
JP2005214914A (ja) * 2004-02-02 2005-08-11 Fuji Heavy Ind Ltd 移動速度検出装置および移動速度検出方法
JP4069919B2 (ja) * 2004-09-28 2008-04-02 日産自動車株式会社 衝突判定装置、および方法
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP4823753B2 (ja) * 2006-04-24 2011-11-24 本田技研工業株式会社 車両の周辺監視装置
JP4946175B2 (ja) * 2006-05-23 2012-06-06 日産自動車株式会社 走路境界検出装置および走路境界検出方法
JP4231883B2 (ja) 2006-08-25 2009-03-04 株式会社東芝 画像処理装置及びその方法
JP4704998B2 (ja) * 2006-10-26 2011-06-22 本田技研工業株式会社 画像処理装置
JP4322913B2 (ja) 2006-12-19 2009-09-02 富士通テン株式会社 画像認識装置、画像認識方法および電子制御装置
DE102007001552A1 (de) * 2007-01-10 2008-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug
JP4979456B2 (ja) * 2007-05-15 2012-07-18 株式会社豊田中央研究所 対象物探索装置
JP5029436B2 (ja) * 2008-03-12 2012-09-19 オムロン株式会社 横断物体検知装置および横断物体検知方法、並びにプログラム
US8988276B2 (en) * 2010-03-17 2015-03-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3100471B2 (ja) * 1992-07-28 2000-10-16 日本信号株式会社 危険交通事象検出方法
JP3430641B2 (ja) * 1994-06-10 2003-07-28 日産自動車株式会社 車間距離検出装置
JP3508213B2 (ja) * 1994-06-27 2004-03-22 マツダ株式会社 自動車の走行状態判定装置
JPH0845000A (ja) * 1994-07-28 1996-02-16 Fuji Heavy Ind Ltd 車間距離制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769420B2 (en) 2015-08-31 2020-09-08 Kabushiki Kaisha Toshiba Detection device, detection method, computer program product, and information processing system

Also Published As

Publication number Publication date
JPH09226490A (ja) 1997-09-02

Similar Documents

Publication Publication Date Title
JP3727400B2 (ja) 横断者の検出装置
US20210104058A1 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
US10501059B2 (en) Stereo camera device
CN108692719B (zh) 物体检测装置
US5410346A (en) System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
US6744380B2 (en) Apparatus for monitoring area adjacent to vehicle
US20040057599A1 (en) Image processing apparatus and method
US20060111841A1 (en) Method and apparatus for obstacle avoidance with camera vision
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
JPH06266828A (ja) 車輌用車外監視装置
JP2004086779A (ja) 障害物検出装置及びその方法
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
JP2007183432A (ja) 自動走行用マップ作成装置、及び自動走行装置。
GB2560110A (en) Detection and documentation of tailgating and speeding violations
US20180285661A1 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
JPH11252587A (ja) 物体追跡装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20210042945A1 (en) Stereo camera device
JP2006072495A (ja) 立体物監視装置
JP3710548B2 (ja) 車両検出装置
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
JP2004013400A (ja) 対象物認識装置および対象物認識方法
JP2536986B2 (ja) 車間距離検出装置
Leu et al. High speed stereo vision based automotive collision warning system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050928

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees