JP4857909B2 - 物体検出方法および物体検出装置 - Google Patents
物体検出方法および物体検出装置 Download PDFInfo
- Publication number
- JP4857909B2 JP4857909B2 JP2006143329A JP2006143329A JP4857909B2 JP 4857909 B2 JP4857909 B2 JP 4857909B2 JP 2006143329 A JP2006143329 A JP 2006143329A JP 2006143329 A JP2006143329 A JP 2006143329A JP 4857909 B2 JP4857909 B2 JP 4857909B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- type
- detection
- object detection
- importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Description
図3は、車両(自車両)MBの前方に車両(他車両)ABと人物(歩行者)PEと道路構造物としての壁WOとが存在する場合の画像の一例を示しており、これらがカメラ1の撮像面1aにおいて同図(d)に示す輝度画像情報として投影される。なお、図3において(a)は、横から見た状態を示し、(b)は上から見た状態を示し、(c)はカメラ1として赤外線カメラを用いた場合の赤外画像を示しており、他車両ABにおいて図中MPは高温として捉えられている部分(マフラ部分)を示している。
xc=xs・f/z ・・・(1)
yc=−H・f/z ・・・(2)
図4は、図3で説明した検知例から時間が経過した後の検知例を示しており、(a)はその検知例の輝度画像情報を示し、(b)はその検知例を上方から見た状態を示している。この図に示すように、自車両MBの前方に存在する他車両ABと人物(歩行者)PEと壁(道路構造物)WOと二輪車MSにおいて反射したレーザ光を検出することで、物体が存在することを検出できる。なお、図4(b)において丸印で示したqP,qA,qW,qMが、それぞれ各物体の計測点を示している。また、これら計測点qP,qA,qW,qMは、その丸印の大きさが後述する反射強度を表している。
この変換処理部12では、輝度画像情報を変換するとともに、検波情報を変換する情報変換処理とが行われる。
この輝度画像情報を変換する処理としては、図5に示すように、カメラ1から得られる輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を検出するエッジ検出処理と、方向ベクトルを算出する方向ベクトル算出処理と、オプティカルフローを算出するオプティカルフロー処理とが成される。
図6において(a)(b)は縦エッジ検出用フィルタを示し、同図(c)(d)は横エッジ検出用フィルタを示している。なお、図6(a)〜(d)に示すエッジ検出用フィルタは、黒がマイナス、白がプラスの値を持つものとし、詳細には、図6(e)(f)に示すように、エッジ検出用フィルタ内の数値合計値が0になるように値が設定されている。
例えば、画像上において縦エッジが存在する図8(g)と(h)の位置において、縦エッジ検出用フィルタと横エッジ検出用フィルタとでコンボリューションをとると、(g)の位置での縦エッジ検出用フィルタの値が大きくなるが、(h)の位置での横エッジ検出用フィルタの値は0に近い値となる。また、(j)のエッジのない位置では、縦横いずれのエッジ検出用フィルタを適用した場合も値は0に近い値となり。また、(i)のような斜めのエッジを持つ部分では、縦エッジ検出用フィルタと横エッジ検出用フィルタとのいずれも 値を持つが、(g)の位置ほど大きくない(絶対値でほぼ半分程度)の値となる。
また、上述したエッジ強度は、|Dx+Dy|で求めることができる。
なお、後述する種類識別判定処理に用いるエッジの方向ベクトルの分散は、上述した方法で得られた各方向ベクトルについて、分散を算出することで得ることができる。
オプティカルフローとは、ある時刻の画像上において、画像上のある点(xc、yc)に表示された映像と、その映像がΔt秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。
これらの図4および図9では、人物PEが止まっている一方、他車両ABが自車両MBと同方向に前進している場合を示しており、図9は図4に示す時点からΔt秒後の状態を示している。また、両図において、(a)はカメラ1の画像であり、(b)はレーダ2による検出領域を上方から見た状態を示している。
ここで、レーダ2からの検波情報に含まれる反射強度について説明する。
前述したように図9に示す計測点qP,qA,qWの丸印の大きさは、反射強度の強さを示している。
データベース16には、物体判定処理部13において物体判定処理に用いる図10に示す重要度特性表PGが保存されている。この重要度特性表PGは、図示のように、検出対象となる物体の種類と、この物体の種類の判定に利用される情報の重要度とが設定されている。
この物体判定処理部13では、物体が存在するか否かの判定と、その種類の判定が行われる。また、本実施例1では、物体が存在するか否かの判定は、全ての物体について行われ、物体の種類の判定は、図10に示した4種類のいずれに該当するかが判定される。
この正否判定処理部14では、物体判定処理部13において判定された物体の種類が正しいか否か、すなわち正否を判定する。
この更新処理部15は、正否判定処理部14において正しいと判定されたときに、図10に示す重要度特性表PGの重みを更新する。すなわち、物体判定処理部13において、判定結果が正しいと判定された物体の種類判定に用いられた情報の重みを増加させる。
図14は、他車両ABと人物PEのみを検出対象とする投票例を示している。ここで、他車両ABに関する情報は、他車両ABが長い水平垂直の直線を必ず持つことから、縦エッジと横エッジが観測されやすく、かつ、レーダ2からの検波がリフレクタで反射されるため、レーダ2の強い反射が観測されるという特徴を有している。一方、人物PEの情報は、方向ベクトル分散が非常に大きいという特徴を有している。
この場合、まず、データベースの判定特性表HLに基づいて、人物PEの検出に必要な情報を確認し、これらの情報が多く含まれている位置を、輝度画像上およびレーダ2の検出走査範囲から検索する。
2 レーダ(検波情報取得手段)
11 メモリ
12 変換処理部
13 物体判定処理部
14 正否判定処理部
15 更新処理部
16 データベース
CU コントロールユニット(物体検出処理手段)
Claims (6)
- 画像情報取得手段により取得された物体検出対象領域の物体に関する画像情報と、検波情報取得手段により前記物体検出対象領域を検出波で走査して得られた検出波の反射に基づく前記物体に関する検波情報と、を含む前記物体検出対象領域に存在する物体に関する情報を用いて前記物体の検出を行う物体検出方法であって、
前記物体の種類ごとにその判定に用いる前記情報の重要度があらかじめ設定された重要度特性に応じて重みづけた情報を、前記物体検出対象領域に対応した投票表に投票し、さらに、この投票表の同一領域に投票された前記情報の種類と、あらかじめ前記物体の種類に対応して前記情報の特性の違いを関連付けた判定特性表とを照合することで前記物体の種類を判定し、
前記物体の種類判定結果が、あらかじめ設定された時間を超えて連続して得られる場合に種類判定結果が正しいと判定する正否判定を行い、この物体の種類判定結果が正しいと判定された場合、前記重要度特性におけるその物体の種類判定に用いられた情報の重要度を増加させることを特徴とする物体検出方法。 - 画像情報取得手段により取得された物体検出対象領域の物体に関する画像情報と、検波情報取得手段により前記物体検出対象領域を検出波で走査して得られた検出波の反射に基づく前記物体に関する検波情報と、を含む前記物体検出対象領域に存在する物体に関する情報を用いて前記物体の検出を行う物体検出処理手段を備えた物体検出装置であって、
前記物体検出処理手段が、
前記物体の種類ごとにその判定に用いる前記情報の重要度があらかじめ設定された重要度特性に応じて重みづけた情報を、前記物体検出対象領域に対応した投票表に投票し、さらに、この投票表の同一領域に投票された前記情報の種類と、あらかじめ前記物体の種類に対応して前記情報の特性の違いを関連付けた判定特性表とを照合することで前記物体の種類を判定する物体判定処理と、
前記物体の種類判定結果があらかじめ設定された時間を超えて連続して得られる場合に種類判定結果が正しいと判定する正否判定処理を行う正否判定処理手段により前記物体判定処理において判定された前記物体の種類判定結果が正しいと判定された場合、前記重要度特性におけるその物体の種類判定に用いられた情報の重要度を増加させる更新処理と、
を行うことを特徴とする物体検出装置。 - 前記更新処理を実行するのが、前記正否判定結果が正しい場合に加え、前記画像情報に含まれるエッジ強度が、あらかじめ設定されたしきい値以上であり、かつ、前記検波情報に含まれる反射強度が、あらかじめ設定されたしきい値以上である場合であることを特徴とする請求項2に記載の物体検出装置。
- 前記更新処理を実行するのが、前記正否判定結果が正しいのに加え、その物体の検出に用いられている情報の種類が、時系列的に連続して一定である場合であることを特徴とする請求項2または請求項3に記載の物体検出装置。
- 前記更新処理において、前記重要度の更新対象となる情報は、時系列的な分散があらかじめ設定されたしきい値未満の情報に制限されていることを特徴とする請求項2〜4のいずれか1項に記載の物体検出装置。
- 前記物体検出処理手段の前記物体の種類判定結果が、この判定結果に基づいて運転支援処理を行う運転支援処理手段に出力され、
この運転支援処理手段による運転支援処理が正しく実行されたと判定された場合に、前記物体検出処理手段の種類判定の判定結果が正しいと判定する第2の正否判定処理手段が設けられていることを特徴とする請求項2〜5のいずれか1項に記載の物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006143329A JP4857909B2 (ja) | 2006-05-23 | 2006-05-23 | 物体検出方法および物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006143329A JP4857909B2 (ja) | 2006-05-23 | 2006-05-23 | 物体検出方法および物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007315814A JP2007315814A (ja) | 2007-12-06 |
JP4857909B2 true JP4857909B2 (ja) | 2012-01-18 |
Family
ID=38849815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006143329A Expired - Fee Related JP4857909B2 (ja) | 2006-05-23 | 2006-05-23 | 物体検出方法および物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4857909B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4753053B2 (ja) * | 2008-02-15 | 2011-08-17 | 本田技研工業株式会社 | 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム |
JP6077785B2 (ja) * | 2012-08-21 | 2017-02-08 | 株式会社豊田中央研究所 | 対象物検出装置及びプログラム |
JP5921596B2 (ja) * | 2014-04-30 | 2016-05-24 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
JP2016008922A (ja) * | 2014-06-25 | 2016-01-18 | 株式会社東芝 | センサ情報融合装置 |
JP6252549B2 (ja) * | 2015-05-29 | 2017-12-27 | 株式会社デンソー | 物体検出装置 |
JP6058072B2 (ja) * | 2015-05-29 | 2017-01-11 | 三菱電機株式会社 | 物体識別装置 |
JP6752024B2 (ja) | 2016-02-12 | 2020-09-09 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3669205B2 (ja) * | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | 障害物認識装置 |
JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
JP3636150B2 (ja) * | 2002-03-12 | 2005-04-06 | 日産自動車株式会社 | 走路上反射物の物体種類判定方法 |
WO2004102222A1 (ja) * | 2003-05-13 | 2004-11-25 | Fujitsu Limited | 物体検出装置、物体検出方法、物体検出プログラム、距離センサ |
JP2007255977A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP4857839B2 (ja) * | 2006-03-22 | 2012-01-18 | 日産自動車株式会社 | 物体検出装置 |
JP4857840B2 (ja) * | 2006-03-22 | 2012-01-18 | 日産自動車株式会社 | 物体検出方法および物体検出装置 |
JP4830604B2 (ja) * | 2006-04-17 | 2011-12-07 | 日産自動車株式会社 | 物体検出方法および物体検出装置 |
-
2006
- 2006-05-23 JP JP2006143329A patent/JP4857909B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007315814A (ja) | 2007-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6773540B2 (ja) | 車載用画像処理装置 | |
JP4857840B2 (ja) | 物体検出方法および物体検出装置 | |
US10274598B2 (en) | Navigation based on radar-cued visual imaging | |
JP4830604B2 (ja) | 物体検出方法および物体検出装置 | |
US10317231B2 (en) | Top-down refinement in lane marking navigation | |
JP4426535B2 (ja) | 車両の周辺監視装置 | |
JP4857839B2 (ja) | 物体検出装置 | |
JP4857909B2 (ja) | 物体検出方法および物体検出装置 | |
US8311283B2 (en) | Method for detecting lane departure and apparatus thereof | |
JP4263737B2 (ja) | 歩行者検知装置 | |
US7103213B2 (en) | Method and apparatus for classifying an object | |
JP2007255977A (ja) | 物体検出方法および物体検出装置 | |
US7672514B2 (en) | Method and apparatus for differentiating pedestrians, vehicles, and other objects | |
JP5145585B2 (ja) | 物標検出装置 | |
JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
TWI531499B (zh) | Anti-collision warning method and device for tracking moving object | |
Suzuki et al. | Sensor fusion-based pedestrian collision warning system with crosswalk detection | |
JP2007304033A (ja) | 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム | |
JP4296287B2 (ja) | 車両認識装置 | |
JP2009245042A (ja) | 交通流計測装置及びプログラム | |
JP4753053B2 (ja) | 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム | |
JP2007233440A (ja) | 車載用画像処理装置 | |
JP2006258507A (ja) | 前方物体認識装置 | |
JPH0843083A (ja) | 先行車検出装置及び接近警報装置 | |
JPH05113482A (ja) | 車載用追突防止装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |