JP4847303B2 - 障害物検出方法、障害物検出プログラムおよび障害物検出装置 - Google Patents
障害物検出方法、障害物検出プログラムおよび障害物検出装置 Download PDFInfo
- Publication number
- JP4847303B2 JP4847303B2 JP2006325852A JP2006325852A JP4847303B2 JP 4847303 B2 JP4847303 B2 JP 4847303B2 JP 2006325852 A JP2006325852 A JP 2006325852A JP 2006325852 A JP2006325852 A JP 2006325852A JP 4847303 B2 JP4847303 B2 JP 4847303B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- camera
- image
- obstacle
- surface portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
座標(u,v)が下面部に位置する場合の仮想動きベクトル(du,dv)の算出方法について説明する。図6は、座標(u,v)が下面部に位置している場合の仮想動きベクトルの算出手法を補足するための図である。図6に示すFはカメラの焦点位置を示し、fはカメラから焦点までの焦点距離を示し、zは焦点Fから物体(障害物の候補となる物体)の位置Aまでの進行方向の距離(すなわち、焦点位置Fから位置Bまでの)を示す。
続いて、座標(u,v)が上面部に位置する場合の仮想動きベクトル(du,dv)の算出方法について説明する。座標(u,v)が上面部に位置する場合には、上述した式(5)〜式(11)に含まれるカメラ垂直設置位置hを走行領域高さHに変えることによって求めることができる。具体的には、座標(u,v)が上面部に位置する場合の仮想動きベクトルを(du,dv)を
続いて、座標(u,v)が側面部に位置する場合の仮想動きベクトル(du,dv)の算出方法について説明する。図7は、座標(u,v)が側面部に位置している場合の仮想動きベクトルの算出手法を補足するための図である。図7に示すFはカメラの焦点位置を示し、fはカメラから焦点までの焦点距離を示し、zは焦点Fから物体(障害物の候補となる物体)Dの水平方向成分Eまでの距離を示す。
障害物検出部180が障害物を検出する場合に、あるフレームにおいて障害物が境界外で動き、実際は境界上ではないにも関わらず、境界上の動きベクトルと一致して障害物候補から除外されてしまうような場合もありえるが、これは瞬間的な一致で、継続的に境界部分と一致するような動作をすることはなく、継続的な障害物検出を行えば、適切に障害物を検出することができる。より正確に障害物を検出するための対策として、画像記憶部120に記憶された最新の画像データではなく、過去のある異なる時点での画像フレームを読み出して障害物検出を行っても良い。また、障害物検出部180は、前フレームで検出した障害物に対して物体追跡処理などを併用することによって障害物検出の精度を向上させることができる。さらに、障害物検出部180は、同一の障害物の領域を検出する場合に、差分ベクトルだけではなく、水平・垂直エッジなどの特徴量を併用してもよい。
上記の実施例1では、障害物検出装置100は、障害物を検出した場合に、モニタに障害物の情報を表示する例を示したが、これに限定されるものではなく、車両と連携して各種処理を実行することができる。例えば、障害物検出装置100が車両の前方で障害物を検出した場合には、車速を制御する制御部に減速命令を出力し、車両の安全を確保することができる。また、障害物検出装置100が前方で障害物を検出している時点で、運転者が急ブレーキをかけた場合には、車両を制御する制御部と協働して、障害物を回避するようにハンドル制御を行っても良い。
上記の実施例1では、車両がまっすぐに走行している場合の仮想動きベクトル算出方法について説明したが、車両回転角に応じて、仮想動きベクトルの値は補正される。ここでは一例として、ヨー車両回転角を反映させた仮想動きベクトルの算出方法について説明する。図11は、仮想動きベクトルの補正方法を補足説明するための説明図である。
本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
前記カメラから異なる時点での画像を取得して記憶装置に記憶する画像記憶工程と、
前記記憶装置に記憶された異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出工程と、
前記車両の走行状態から当該車両の走行する空間のモデルを生成し、生成したモデルに基づいて前記画像の各領域に対応する仮想的な動きベクトルを算出する仮想動きベクトル算出工程と、
前記動きベクトルおよび前記仮想的な動きベクトルに基づいて障害物を検出する障害物検出工程と、
を含んだことを特徴とする障害物検出方法。
前記カメラから異なる時点での画像を取得して記憶装置に記憶する画像記憶手順と、
前記記憶装置に記憶された異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出手順と、
前記車両の走行状態から当該車両の走行する空間のモデルを生成し、生成したモデルに基づいて前記画像の各領域に対応する仮想的な動きベクトルを算出する仮想動きベクトル算出手順と、
前記動きベクトルおよび前記仮想的な動きベクトルに基づいて障害物を検出する障害物検出手順と、
をコンピュータに実行させることを特徴とする障害物検出プログラム。
前記カメラから異なる時点での画像を取得し、取得した異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出手段と、
前記車両の走行状態から当該車両の走行する空間のモデルを生成し、生成したモデルに基づいて前記画像の各領域に対応する仮想的な動きベクトルを算出する仮想動きベクトル算出手段と、
前記動きベクトルおよび前記仮想的な動きベクトルに基づいて障害物を検出する障害物検出手段と、
を備えたことを特徴とする障害物検出装置。
31 モニタ
32 RAM
32a,38a 各種データ
33 ROM
34 媒体読取装置
35 カメラ
36 走行状態検出装置
37 CPU
37a 障害物検出プロセス
38 HDD
38b 障害物検出プログラム
39 バス
100 障害物検出装置
110 画像入力部
120 画像記憶部
130 動きベクトル算出部
140 カメラデータ入力部
150 車両データ入力部
160 走行空間モデル生成部
170 モデル差分ベクトル算出部
180 障害物検出部
190 出力部
Claims (4)
- カメラによって撮像された画像から車両の走行に影響を及ぼす障害物を検出する障害物検出方法であって、
前記カメラから異なる時点での画像を取得して記憶装置に記憶する画像記憶工程と、
前記記憶装置に記憶された異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出工程と、
車両の進行方向、モデルにおける車両が走行する高さである走行領域高さ、モデルにおける車両が走行する幅である走行領域幅、およびモデルにおけるカメラが設置された位置の高さであるカメラ垂直設置位置に基づいて、当該車両の走行する空間のモデルを生成し、画像座標系の各座標について、画像の横幅または縦幅に含まれる画素数に応じた値と、画像座標系の座標の横方向または縦方向の成分との所定の加減算の結果に、カメラの画素ピッチを乗算することで、空間座標系の座標を算出し、算出した空間座標系の各座標の位置が、モデルの下面部、上面部および側面部のいずれの領域内に位置するかを判定することにより、空間座標系の各座標がモデルの下面部、上面部および側面部のいずれに位置するかを判定し、モデルの上面部、下面部、側面部の領域のいずれかに位置すると判定された空間座標系の各座標について、位置すると判定された上面部、下面部、側面部の領域ごとに、空間座標系の座標に応じた値を焦点距離で除した値に、カメラが画像を撮影するサンプルレートに対応する時間に移動する障害物の移動距離であって焦点距離から障害物までの距離の変化に対応する移動距離を乗じた値を、カメラ垂直設置位置、走行領域高さ、または走行領域幅で除した値を、仮想的な動きベクトルの垂直方向または水平方向の成分とすることで、前記モデルの空間座標系の各領域の仮想的な動きベクトルを算出する仮想動きベクトル算出工程と、
前記動きベクトルと前記仮想的な動きベクトルとの差分ベクトルの大きさが閾値以上となる領域を障害物の領域として検出する障害物検出工程と、
を含んだことを特徴とする障害物検出方法。 - 前記仮想動きベクトル算出工程は、焦点距離の2乗と、空間座標系の水平方向の成分の値の2乗との和を、焦点距離で除した値と、単位時間当たりの水平方向の車両の回転角と、カメラが画像を撮影するサンプルレートに対応する時間との積を補正量として算出し、前記仮想的な動きベクトルの水平方向の成分に、該補正量を加えることで、前記仮想的な動きベクトルを補正することを特徴とする請求項1に記載の障害物検出方法。
- カメラによって撮像された画像から車両の走行に影響を及ぼす障害物を検出する障害物検出プログラムであって、
前記カメラから異なる時点での画像を取得して記憶装置に記憶する画像記憶手順と、
前記記憶装置に記憶された異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出手順と、
車両の進行方向、モデルにおける車両が走行する高さである走行領域高さ、モデルにおける車両が走行する幅である走行領域幅、およびモデルにおけるカメラが設置された位置の高さであるカメラ垂直設置位置に基づいて、当該車両の走行する空間のモデルを生成し、画像座標系の各座標について、画像の横幅または縦幅に含まれる画素数に応じた値と、画像座標系の座標の横方向または縦方向の成分との所定の加減算の結果に、カメラの画素ピッチを乗算することで、空間座標系の座標を算出し、算出した空間座標系の各座標の位置が、モデルの下面部、上面部および側面部のいずれの領域内に位置するかを判定することにより、空間座標系の各座標がモデルの下面部、上面部および側面部のいずれに位置するかを判定し、モデルの上面部、下面部、側面部の領域のいずれかに位置すると判定された空間座標系の各座標について、位置すると判定された上面部、下面部、側面部の領域ごとに、空間座標系の座標に応じた値を焦点距離で除した値に、カメラが画像を撮影するサンプルレートに対応する時間に移動する障害物の移動距離であって焦点距離から障害物までの距離の変化に対応する移動距離を乗じた値を、カメラ垂直設置位置、走行領域高さ、または走行領域幅で除した値を、仮想的な動きベクトルの垂直方向または水平方向の成分とすることで、前記モデルの空間座標系の各領域の仮想的な動きベクトルを算出する仮想動きベクトル算出手順と、
前記動きベクトルと前記仮想的な動きベクトルとの差分ベクトルの大きさが閾値以上となる領域を障害物の領域として検出する障害物検出手順と、
をコンピュータに実行させることを特徴とする障害物検出プログラム。 - カメラによって撮像された画像から車両の走行に影響を及ぼす障害物を検出する障害物検出装置であって、
前記カメラから異なる時点での画像を取得し、取得した異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出手段と、
車両の進行方向、モデルにおける車両が走行する高さである走行領域高さ、モデルにおける車両が走行する幅である走行領域幅、およびモデルにおけるカメラが設置された位置の高さであるカメラ垂直設置位置に基づいて、当該車両の走行する空間のモデルを生成し、画像座標系の各座標について、画像の横幅または縦幅に含まれる画素数に応じた値と、画像座標系の座標の横方向または縦方向の成分との所定の加減算の結果に、カメラの画素ピッチを乗算することで、空間座標系の座標を算出し、算出した空間座標系の各座標の位置が、モデルの下面部、上面部および側面部のいずれの領域内に位置するかを判定することにより、空間座標系の各座標がモデルの下面部、上面部および側面部のいずれに位置するかを判定し、モデルの上面部、下面部、側面部の領域のいずれかに位置すると判定された空間座標系の各座標について、位置すると判定された上面部、下面部、側面部の領域ごとに、空間座標系の座標に応じた値を焦点距離で除した値に、カメラが画像を撮影するサンプルレートに対応する時間に移動する障害物の移動距離であって焦点距離から障害物までの距離の変化に対応する移動距離を乗じた値を、カメラ垂直設置位置、走行領域高さ、または走行領域幅で除した値を、仮想的な動きベクトルの垂直方向または水平方向の成分とすることで、前記モデルの空間座標系の各領域の仮想的な動きベクトルを算出する仮想動きベクトル算出手段と、
前記動きベクトルと前記仮想的な動きベクトルとの差分ベクトルの大きさが閾値以上となる領域を障害物の領域として検出する障害物検出手段と、
を備えたことを特徴とする障害物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006325852A JP4847303B2 (ja) | 2006-12-01 | 2006-12-01 | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006325852A JP4847303B2 (ja) | 2006-12-01 | 2006-12-01 | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008140155A JP2008140155A (ja) | 2008-06-19 |
JP4847303B2 true JP4847303B2 (ja) | 2011-12-28 |
Family
ID=39601537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006325852A Expired - Fee Related JP4847303B2 (ja) | 2006-12-01 | 2006-12-01 | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4847303B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4788798B2 (ja) | 2009-04-23 | 2011-10-05 | トヨタ自動車株式会社 | 物体検出装置 |
TWI399706B (zh) * | 2010-03-23 | 2013-06-21 | Avermedia Information Inc | 一種障礙物偵測警示系統及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4201958B2 (ja) * | 2000-04-26 | 2008-12-24 | 日本放送協会 | 動画像のオブジェクト抽出装置 |
JP4848097B2 (ja) * | 2001-06-13 | 2011-12-28 | 三菱重工業株式会社 | 移動体の監視方法および装置 |
JP4013872B2 (ja) * | 2003-09-26 | 2007-11-28 | 日産自動車株式会社 | 障害物検出装置 |
-
2006
- 2006-12-01 JP JP2006325852A patent/JP4847303B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008140155A (ja) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11816991B2 (en) | Vehicle environment modeling with a camera | |
JP5251800B2 (ja) | 対象物追跡装置及びプログラム | |
US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
JP5538411B2 (ja) | 車両周囲監視装置 | |
KR102399963B1 (ko) | 측방향 경사가 있는 도로 평면 출력 | |
JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
US11338807B2 (en) | Dynamic distance estimation output generation based on monocular video | |
JP5023186B2 (ja) | 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム | |
CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及*** | |
JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
JP2008276308A (ja) | 動画像処理装置、動画像処理システムおよびナビゲーション装置 | |
JP5281867B2 (ja) | 車両走行速度制御装置および方法 | |
JP2009252198A (ja) | 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置 | |
JP2009245042A (ja) | 交通流計測装置及びプログラム | |
JP6241172B2 (ja) | 自車位置推定装置及び自車位置推定方法 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP5125214B2 (ja) | 障害物検出方法および障害物検出装置 | |
JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 | |
JP6488226B2 (ja) | 走路パラメータ推定装置及びプログラム | |
JP5832850B2 (ja) | 車線監視システム及び車線監視方法 | |
JP3951734B2 (ja) | 車両用外界認識装置 | |
KR20150144899A (ko) | 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111013 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |