JP4407921B2 - 障害物認識方法及び障害物認識装置 - Google Patents
障害物認識方法及び障害物認識装置 Download PDFInfo
- Publication number
- JP4407921B2 JP4407921B2 JP2004148726A JP2004148726A JP4407921B2 JP 4407921 B2 JP4407921 B2 JP 4407921B2 JP 2004148726 A JP2004148726 A JP 2004148726A JP 2004148726 A JP2004148726 A JP 2004148726A JP 4407921 B2 JP4407921 B2 JP 4407921B2
- Authority
- JP
- Japan
- Prior art keywords
- vertical
- horizontal
- magnification
- image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000004364 calculation method Methods 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 46
- 230000008859 change Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 35
- 230000009467 reduction Effects 0.000 claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
まず、水平、垂直の画像エッジのヒストグラムを用いて認識する第1の実施形態について、図1〜図12を参照して説明する。
図1の障害物認識装置は、自車前方を撮影する前方探査用のカメラ(画像センサ)として、小型かつ安価なモノクロCCDカメラ構成の単眼カメラ2を備え、イグニッションキーによる自車1のエンジン始動後、単眼カメラ2により自車前方を連続的に撮像し、その撮影画像の例えば画素当たり8ビットの輝度データの信号を自車1のマイクロコンピュータ構成の制御ECU3に入力する。
この手段は、単眼カメラ2の撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域、例えば図3の単眼カメラ2の撮影画像Pの画面図に示す候補領域Ccを設定する。
この手段は、候補対象特徴量としての候補領域Ccの最新エッジヒストグラムX、Yを算出し、候補対象特徴量としてメモリユニット4に更新自在に保持された既記憶の水平、垂直の画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小し
て前記各倍率の水平、垂直の参照エッジヒストグラムを算出する。
この手段は、各倍率Kの水平、垂直の参照エッジヒストグラムYr、Xrを、例えば図7の予測移動範囲My、Mx内でそれぞれの横軸y、x方向に平行移動して水平、垂直それぞれの最新エッジヒストグラムY、Xと各倍率Kの参照エッジヒストグラムYr、Xrとの差の絶対値和からなる水平、垂直の残差和(以下、個別残差和という)Vy、Vx、及び両個別残差和Vy、Vxを加算した統合残差和Vそれぞれを算出し、例えば、図10の(a)、(b)、(c)に示す、それぞれの最小値Vy_min、Vx_min、Vminを求める。
この手段は、少なくとも水平と垂直の個別残差和Vy、Vxが最小値Vy_min、Vx_minになる倍率Ky0、Kx0が等しい状態(Ky0=Kx0)になるか否かにより、候補対象αが路面上の路面垂直物か否かを判別するものであり、この実施形態においては、判別精度をより向上するため、統合残差和Vの倍率特性のグラフ形状が極小値を有する下に凸の二次曲線状か否かの判別を加え、統合残差和Vの倍率特性のグラフ形状が極小値を有する下に凸の二次曲線状で、倍率Ky0、Kx0が等しい状態(Ky0=Kx0)になれば、候補対象αが路面上の路面垂直物であると判別する。
この手段は、前記の路面垂直物の判別により候補領域Ccが適正領域であることを検出して候補領域Ccの画像から候補対象αを障害物として認識する。
つぎに、認識演算部5の動作について、図2等を参照して説明する。
つぎに、第2の実施形態について、図13〜図16を参照して説明する。
このとき、最小値{V}(=Vy_min、Vx_min、Vmin)の拡大率{K0}(=Ky0×100、Kx0×100、K0×100)は二次曲線関数f({K})の頂点(最小値の点)の{K}座標値であり、それをKeとすると、Ke=−b/(2・a)である。
さらに、(8)式から、つぎの数1の(9)式、数2の(10)式、数3の(11)式が得られる。
つぎに、第3の実施形態について、図17、図18を参照して説明する。
つぎに、第4の実施形態について、図19を参照して説明する。
つぎに、第5の実施形態について、図20〜図22を参照して説明する。
2 単眼カメラ
3 制御ECU
4 メモリユニット
5 認識演算部
Claims (20)
- 自車に搭載されたカメラの自車前方の撮影画像を画像処理して自車前方の先行車を含む障害物を認識する障害物認識方法において、
前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から前記障害物の候補領域を設定し、
前記候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、
候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれ横軸方向に拡大縮小して各倍率の水平、垂直の参照エッジヒストグラムを算出し、
各倍率の水平、垂直の前記参照ヒストグラムを移動予測範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値の和からなる水平、垂直の残差和の最小値を算出し、
前記両残差和が最小値になる倍率が等しいか否かにより、前記候補対象が路面上の路面垂直物か否かを判別し、
前記路面垂直物の判別により、前記候補領域が路面上の適正領域であることを検出して前記候補領域の画像から前記路面垂直物と判別された前記候補対象を前記障害物として認識することを特徴とする障害物認識方法。 - 路面垂直物か否かを判別する際に路側物を排除するために、水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えたことを特徴とする請求項1記載の障害物認識方法。
- 候補対象が路面上の路面垂直物か否かの判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、前記候補対象が前記路面垂直物であると判別することを特徴とする請求項1または2に記載の障害物認識方法。
- 既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されることを特徴とする請求項1〜3のいずれかに記載の障害物認識方法。
- 水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項1〜4のいずれかに記載の障害物認識方法。
- 水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出することを特徴とする請求項1〜5のいずれかに記載の障害物認識方法。
- 最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、
該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正することを特徴とする請求項1〜6のいずれかに記載の障害物認識方法。 - 候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、
拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出することを特徴とする請求項1〜7のいずれかに記載の障害物認識方法。 - 請求項1〜8のいずれかに記載の障害物認識方法において、
候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出することを特徴とする障害物認識方法。 - 請求項9に記載の障害物認識方法において、
各候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知することを特徴とする障害物認識方法。 - 自車前方を撮影するカメラと、該カメラの撮影画像情報が入力される認識演算部とを備え、前記認識演算部に、
前記撮影画像の水平、垂直の二値化された画像エッジのヒストグラムの積が極大値になる個所から障害物の候補領域を設定する候補領域設定手段と、
前記候補領域の最新の前記両ヒストグラムを、候補対象特徴量としての水平、垂直の最新エッジヒストグラムに設定し、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムを設定範囲の各倍率でそれぞれの横軸方向に拡大縮小して前記各倍率の水平、垂直の参照エッジヒストグラムを算出するヒストグラム演算手段と、
各倍率の水平、垂直の前記参照エッジヒストグラムを予測移動範囲内で平行移動して水平、垂直それぞれの前記最新エッジヒストグラムと前記参照エッジヒストグラムとの差の絶対値和からなる水平、垂直の残差和の最小値を検出する残差和演算手段と、
前記両残差和が最小値になる倍率が等しくなるか否かにより、前記候補対象が路面上の路面垂直物か否かを判別する対象判別手段と、
前記路面垂直物の判別により、前記候補領域が適正領域であることを検出して前記候補領域の画像から前記路面垂直物と判別された前記候補対象を前記障害物として認識する認識処理手段とを設けたことを特徴とする障害物認識装置。 - 前記対象判別手段により路面垂直物か否かを判別する際に路側物を排除するために、水平と垂直の残差和を総合した統合残差和の最小値が設定された路側物検出のしきい値より小さくなることを認識条件に加えるようにしたことを特徴とする請求項11記載の障害物認識装置。
- 対象判別手段の判別条件に、水平、垂直の残差和を総合した統合残差和の倍率特性のグラフが極小値を有する二次曲線形状になるか否かの判別を加え、前記グラフが前記二次曲線形状になり、かつ、水平、垂直の残差和の最小値の倍率が等しい状態になるときに、候補対象が路面上の路面垂直物であると判別するようにしたことを特徴とする請求項11または12に記載の障害物認識装置。
- ヒストグラム演算手段の既記憶の水平、垂直の二値化された画像エッジのヒストグラムが、以前に算出された水平、垂直の各エッジヒストグラムを重み付け加算平均して形成され、撮影画像が得られる毎に更新されるようにしたことを特徴とする請求項11〜13のいずれかに記載の障害物認識装置。
- ヒストグラム演算手段の水平、垂直の最新エッジヒストグラムが、カメラの最新の撮影画像を微分して二値化した水平、垂直それぞれの画像エッジ情報を加算して形成されることを特徴とする請求項11〜14のいずれかに記載の障害物認識装置。
- 残差和演算手段により、水平、垂直の残差和が最小値になる倍率を、最小二乗法の演算により推定して検出するようにしたことを特徴とする請求項11〜15のいずれかに記載の障害物認識装置。
- 倍率検出手段により、最新の撮影画像が得られる毎に該最新の撮影画像を含む連続する複数枚の撮影画像の水平、垂直の残差和の最小値の倍率の時間変化を検出し、該検出に基づいて前記各撮影画像の前記両残差和の最小値の倍率のずれを補正するようにしたことを特徴とする請求項11〜16のいずれかに記載の障害物認識装置。
- ヒストグラム演算手段により、候補領域の基準寸法に対する縮小率に応じて前記候補領域の画像を横軸方向及び縦軸方向に拡大し、拡大後の前記候補領域の水平、垂直の二値化された画像エッジのヒストグラムから、水平、垂直の最新エッジヒストグラムを算出するようにしたことを特徴とする請求項11〜17のいずれかに記載の障害物認識装置。
- 請求項11〜18に記載の障害物認識装置において、
候補領域の水平、垂直の残差和が最小値になる参照エッジヒストグラムの倍率の増、減の時間変化傾向から、障害物の相対的な接、離を検出するようにしたことを特徴とする障害物認識装置。 - 請求項19に記載の障害物認識装置において、
各候補領域の水平、垂直の残差和が最小値になる参照ヒストグラムの倍率の増加の時間変化傾向から、障害物の相対的な接近を検出して報知するようにしたことを特徴とする障害物認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004148726A JP4407921B2 (ja) | 2004-05-19 | 2004-05-19 | 障害物認識方法及び障害物認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004148726A JP4407921B2 (ja) | 2004-05-19 | 2004-05-19 | 障害物認識方法及び障害物認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005332120A JP2005332120A (ja) | 2005-12-02 |
JP4407921B2 true JP4407921B2 (ja) | 2010-02-03 |
Family
ID=35486755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004148726A Expired - Fee Related JP4407921B2 (ja) | 2004-05-19 | 2004-05-19 | 障害物認識方法及び障害物認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4407921B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5725161B2 (ja) * | 2011-03-31 | 2015-05-27 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2014102165A (ja) | 2012-11-20 | 2014-06-05 | Denso Corp | 物標判定装置 |
JP7113935B1 (ja) * | 2021-04-05 | 2022-08-05 | 三菱電機株式会社 | 路面検出装置および路面検出方法 |
CN113486837B (zh) * | 2021-07-19 | 2023-07-18 | 安徽江淮汽车集团股份有限公司 | 针对低通度障碍物的自动驾驶控制方法 |
CN115410370A (zh) * | 2022-08-31 | 2022-11-29 | 南京慧尔视智能科技有限公司 | 一种异常停车检测方法、装置、电子设备及存储介质 |
-
2004
- 2004-05-19 JP JP2004148726A patent/JP4407921B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005332120A (ja) | 2005-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
JP4753765B2 (ja) | 障害物認識方法 | |
JP4919036B2 (ja) | 移動物体認識装置 | |
JP3739693B2 (ja) | 画像認識装置 | |
JP6473571B2 (ja) | Ttc計測装置およびttc計測プログラム | |
JP6614247B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
KR102029850B1 (ko) | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 | |
US10422871B2 (en) | Object recognition apparatus using a plurality of object detecting means | |
JP2002197444A (ja) | 車両の走行路認識装置 | |
WO2019009110A1 (ja) | 車両用外界認識装置 | |
KR101035761B1 (ko) | 차선 인식을 위한 영상 처리 방법 및 시스템 | |
JP6941070B2 (ja) | ステレオカメラ装置 | |
US11514683B2 (en) | Outside recognition apparatus for vehicle | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP3823782B2 (ja) | 先行車両認識装置 | |
JP4407921B2 (ja) | 障害物認識方法及び障害物認識装置 | |
KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
JP3757500B2 (ja) | 先行車追従装置 | |
EP3287948B1 (en) | Image processing apparatus, moving body apparatus control system, image processing method, and program | |
EP3896387B1 (en) | Image processing device | |
CN112513573B (zh) | 立体摄像机装置 | |
JP2001101420A (ja) | 障害物検出装置及びその方法 | |
JPH0793693A (ja) | 車両用物体検出装置 | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091104 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141120 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |