JP2008052591A - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP2008052591A JP2008052591A JP2006229581A JP2006229581A JP2008052591A JP 2008052591 A JP2008052591 A JP 2008052591A JP 2006229581 A JP2006229581 A JP 2006229581A JP 2006229581 A JP2006229581 A JP 2006229581A JP 2008052591 A JP2008052591 A JP 2008052591A
- Authority
- JP
- Japan
- Prior art keywords
- image
- obstacle
- dynamic
- feature point
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【構成】画像入力部10、対応位置算出部20、動的1次元画像生成部30、動的抽出画像生成部40、動的特徴抽出部50、動的軌跡情報生成部60、障害物検出部70、障害物情報出力部80から構成され、移動体が移動する実空間上の注目領域に対応する画像上の対応領域を算出し、対応領域を含む水平方向抽出画像を生成し、水平方向抽出画像を時系列に垂直方向に並べて2次元の動的xt画像を生成し、動的xt画像上の時刻Tの特徴点を抽出し、動的xt画像において、時刻Tの特徴点と、時刻Tと異なり、かつ、前記特徴点と近傍位置にある特徴点とを連結することによって動的軌跡情報を生成し、動的軌跡情報が、障害物であるか否かの判定基準を満たす場合に特徴点を障害物に属すると判定する。
【選択図】 図1
Description
図1は、本実施形態の画像処理装置の構成例を示す。
対応位置算出部20について図1に基づいて説明する。
(xo,yo)=(f*Xo)/Zo,−f*(h−Yo)/Zo)
で求めることができる。但し、fはTVカメラの焦点距離である。
(Xo,0,Zo)=(−h*xo/yo,0,−f*h/yo)
で求めることができる。
ピッチング運動補正部21では、路面の凹凸等によって生じる車両のピッチング運動が画像上の各点の運動に与える影響を除去する。
ヨーイング運動補正部22では、車両のカーブ走行等によって生じる車両のヨーイング運動が画像上の各点の運動に与える影響を除去する。
動的1次元画像生成部30について図3と図4に基づいて説明する、
動的1次元画像生成部30では、xy画像から動的軌跡情報を抽出するための1次元(1・N)の水平方向抽出画像を生成する。なお、水平方向とは画面上の横方向をいい、垂直方向とは画面上の縦方向をいう。生成された水平方向抽出画像で以下に述べるように動的軌跡情報を抽出する。動的軌跡情報は路面上のある特定の場所をxy画像を通して注目し続けることにより抽出する(図3参照)。1次元の水平方向抽出画像は以下のような方法で生成する。
動的抽出画像生成部40では、図4に示すように、動的1次元画像生成部30で生成された1次元の水平方向抽出画像を垂直方向に時系列に並べ、2次元の抽出画像である動的xt画像を生成する。
動的特徴抽出部50では、安定した動的軌跡情報を抽出するために、動的抽出画像生成部40で生成された動的xt画像から特徴点を抽出し、動的軌跡情報生成部60で抽出された特徴点または特徴領域について動的軌跡情報を求める。特徴点とは、その点の近傍の輝度分布が、周辺の輝度分布とは異なる点のことである。特徴点抽出には様々な設定方法がある。
動的軌跡情報生成部60では、動的特徴抽出部50で抽出された特徴点から動的軌跡情報を生成する。
x0−Δx<x<x0+Δx
t0<t<t0+Δt
の範囲に存在する点のことである。
(7−1)第1の方法
図2に障害物検出部70の詳細な構成例を示す。
進行情報算出部71では、自車両に搭載されたハンドル舵角センサー、車速センサー、画像等の各種センサーを用いて、自車両の予測進路を計算する。
判定基準算出部72では、動的軌跡速度算出部73で抽出された動的軌跡情報が障害物に属しているかどうかを判定するための判定基準を、進行情報算出部71によって算出される移動体の進行情報から算出する。
動的軌跡速度算出部73では、動的軌跡情報生成部60で求めた特徴点の動的軌跡情報から、特徴点のxy画像上での動的軌跡速度を算出する。動的軌跡速度を求めるために、動的軌跡情報(特徴点群)に関する近似直線を算出する。近似直線の算出方法は、最小二乗法などの既存の方法を用いる。こうして求めた直線の傾きが動的軌跡速度となる。ここで定義する傾きとは以下に述べるものである。近似直線が動的xt画像を時刻t=0、x=0を原点とした2次元平面(横軸x、縦軸t)上にあると捉えた場合に、
x=c*t+d (c,dは定数)
と表現できる。このときtの係数cを傾きと定義する。図10の例の場合、点線の示す直線(ベクトルの終点の時刻から未来の時刻方向に伸びる)の傾きが動的軌跡速度となる。
障害物情報出力部80は、障害物検出部70で検出された障害物の位置情報、速度情報、自車両と衝突するまでの時間を算出し出力する。まず、障害物検出部70で検出された障害物に属する点または領域に関して、同じ障害物に属すると思われる点または領域をグループ化する。グループ化には様々な方法が考えられるが、本実施形態ではxy画像を用いた方法について例を挙げる。
(Xo,Zo)=(−h*xo/yo,0,−f*h/yo)
障害物の画像上での速度は、前記の各グループに属する軌跡情報の水平、垂直成分の各平均値、最頻値、中央値等を用いて計算する。この画像上の速度vo=(vox,voy)と、障害物の位置(Xo,Zo)から、各障害物の路面上の速度Vo=(Vox,0,Voz)は、カメラと路面の既知の幾何的位置関係を用いて容易に計算することができる。
Vox=(Zo^2/f)(vox−voy*Xo/h)
Voz=−(voy*Zo^2)/(f*h)
障害物の路面上の速度Voを用いると、障害物のX−Z−T空間内での予測進路を求めることができる。予測進路は、障害物の等速運動、または等加速度運動を仮定して求める。この予測進路と、図8の自車両の予測進路が交わる座標値(Xc,Yc,Tc)を求めることにより、自車両から見て、位置(Xc,Yc)、時刻Tcで衝突するという結果を出力する。
20 対応位置算出部
30 動的1次元画像生成部
40 動的抽出画像生成部
50 動的特徴抽出部
60 動的軌跡情報生成部
70 障害物検出部
80 障害物情報出力部
Claims (8)
- 移動体の前方にある障害物を検出する画像処理装置において、
前記移動体の前方を撮影して画像を入力する画像入力手段と、
前記移動体が移動する実空間上の注目領域に対応する前記画像上の対応領域を算出する対応領域算出部と、
前記対応領域を含む水平方向の画像である第1画像を生成し、前記第1画像を時系列に垂直方向に並べて2次元の第2画像を生成する画像生成手段と、
前記第2画像上の任意の時刻の特徴点を抽出する特徴抽出手段と、
前記第2画像において、前記任意の時刻の特徴点と、前記任意の時刻と異なり、かつ、前記任意の時刻の特徴点と近傍位置にある特徴点とを連結することによって軌跡情報を生成する軌跡情報生成手段と、
前記軌跡情報が、前記障害物であるか否かの判定基準を満たす場合に前記特徴点を前記障害物に属すると判定する障害物検出手段と、
を具備した
ことを特徴とする画像処理装置。 - 前記判定基準は、前記軌跡情報が前記第2画像における横方向の中心に向かって伸びるか、または、縦方向に平行であるとする
ことを特徴とする請求項1記載の画像処理装置。 - 前記障害物検出手段は、
前記移動体に取り付けられたセンサーのデータから前記移動体の位置と進行方向を算出する進行情報算出手段と、
前記軌跡情報が、前記進行方向から前記障害物に属しているかどうかの判定基準を算出する判定基準算出手段と、
前記軌跡情報から前記特徴点の前記画面上における動的軌跡速度を算出する動的軌跡速度算出手段と、
前記動的軌跡速度が前記判定基準を満たす場合に、前記特徴点が前記障害物に属すると判定する障害物判定手段と、
を具備した
ことを特徴とする請求項1記載の画像処理装置。 - 前記判定基準は、前記特徴点の前記画像上における水平方向の運動が、静止状態、前記進行方向に向かう運動、または、前記進行方向の延長線の方向に向かう運動のときに前記障害物に属しているとする
ことを特徴とする請求項3記載の画像処理装置。 - 移動体の前方にある障害物を検出する画像処理方法において、
前記移動体の前方を撮影して画像を入力し、
前記移動体が移動する実空間上の注目領域に対応する前記画像上の対応領域を算出し、
前記対応領域を含む水平方向の画像である第1画像を生成し、前記第1画像を時系列に垂直方向に並べて2次元の第2画像を生成し、
前記第2画像上の任意の時刻の特徴点を抽出し、
前記第2画像において、前記任意の時刻の特徴点と、前記任意の時刻と異なり、かつ、前記任意の時刻の特徴点と近傍位置にある特徴点とを連結することによって軌跡情報を生成し、
前記軌跡情報が、前記障害物であるか否かの判定基準を満たす場合に前記特徴点を前記障害物に属すると判定する
ことを特徴とする画像処理方法。 - 前記判定基準は、前記軌跡情報が前記第2画像における横方向の中心方向に向かって伸びるか、または、縦方向に平行であるとする
ことを特徴とする請求項4記載の画像処理方法。 - 前記障害物を検出するときは、
前記移動体に取り付けられたセンサーのデータから前記移動体の位置と進行方向を算出し、
前記軌跡情報が、前記進行方向から前記障害物に属しているかどうかの判定基準を算出し、
前記軌跡情報から前記特徴点の前記画面上における動的軌跡速度を算出し、
前記動的軌跡速度が前記判定基準を満たす場合に、前記特徴点が前記障害物に属すると判定する
ことを特徴とする請求項4記載の画像処理方法。 - 前記判定基準は、前記特徴点の前記画像上における水平方向の運動が、静止状態、前記進行方向に向かう運動、または、前記進行方向の延長線の方向に向かう運動のときに前記障害物に属しているとする
ことを特徴とする請求項7記載の画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006229581A JP4231883B2 (ja) | 2006-08-25 | 2006-08-25 | 画像処理装置及びその方法 |
US11/892,637 US7899212B2 (en) | 2006-08-25 | 2007-08-24 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006229581A JP4231883B2 (ja) | 2006-08-25 | 2006-08-25 | 画像処理装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008052591A true JP2008052591A (ja) | 2008-03-06 |
JP4231883B2 JP4231883B2 (ja) | 2009-03-04 |
Family
ID=39113479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006229581A Expired - Fee Related JP4231883B2 (ja) | 2006-08-25 | 2006-08-25 | 画像処理装置及びその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7899212B2 (ja) |
JP (1) | JP4231883B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191780A (ja) * | 2009-02-19 | 2010-09-02 | Nissan Motor Co Ltd | 周囲物体検出装置、周囲物体検出方法、及び自動車 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2348279B1 (en) * | 2008-10-28 | 2017-05-03 | PASCO Corporation | Road measurement device and method for measuring road |
CN112017239B (zh) * | 2019-05-31 | 2022-12-20 | 北京市商汤科技开发有限公司 | 确定目标对象朝向方法、智能驾驶控制方法和装置及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3721594B2 (ja) | 1995-03-15 | 2005-11-30 | 日産自動車株式会社 | 道路形状推定装置 |
JP3727400B2 (ja) | 1996-02-22 | 2005-12-14 | 株式会社日本自動車部品総合研究所 | 横断者の検出装置 |
JP3831112B2 (ja) | 1998-03-30 | 2006-10-11 | 東日本旅客鉄道株式会社 | 移動物体計測装置 |
US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
JP3679988B2 (ja) | 2000-09-28 | 2005-08-03 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
US7027615B2 (en) * | 2001-06-20 | 2006-04-11 | Hrl Laboratories, Llc | Vision-based highway overhead structure detection system |
-
2006
- 2006-08-25 JP JP2006229581A patent/JP4231883B2/ja not_active Expired - Fee Related
-
2007
- 2007-08-24 US US11/892,637 patent/US7899212B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191780A (ja) * | 2009-02-19 | 2010-09-02 | Nissan Motor Co Ltd | 周囲物体検出装置、周囲物体検出方法、及び自動車 |
Also Published As
Publication number | Publication date |
---|---|
US20080049978A1 (en) | 2008-02-28 |
US7899212B2 (en) | 2011-03-01 |
JP4231883B2 (ja) | 2009-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6404922B2 (ja) | 物体認識装置及びそれを用いた車両走行制御装置 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
CN104554258B (zh) | 采用虚拟势场技术的避让转向操作的路径规划 | |
JP4544028B2 (ja) | 車載画像処理装置、および画像処理方法 | |
JP6770393B2 (ja) | トラッキング装置及びプログラム | |
JP3977802B2 (ja) | 障害物検出装置、障害物検出方法および障害物検出プログラム | |
JP6708730B2 (ja) | 移動体 | |
JP2011065338A (ja) | 対象物追跡装置及びプログラム | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6139465B2 (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
JP6493000B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP6365103B2 (ja) | 信号機検出装置及び信号機検出方法 | |
WO2017056724A1 (ja) | 周辺認識装置 | |
US6956959B2 (en) | Apparatus for recognizing environment | |
JP2007264717A (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
JP6204782B2 (ja) | オフロードダンプトラック | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP4231883B2 (ja) | 画像処理装置及びその方法 | |
JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 | |
JP2007199932A (ja) | 画像処理装置及びその方法 | |
JP6812701B2 (ja) | 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP4897539B2 (ja) | 障害物検知装置 | |
JP2007233469A (ja) | 物体検出装置及びその方法 | |
JP7134780B2 (ja) | ステレオカメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4231883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |