JP3936683B2 - 道路位置検出装置及びプログラム - Google Patents
道路位置検出装置及びプログラム Download PDFInfo
- Publication number
- JP3936683B2 JP3936683B2 JP2003286036A JP2003286036A JP3936683B2 JP 3936683 B2 JP3936683 B2 JP 3936683B2 JP 2003286036 A JP2003286036 A JP 2003286036A JP 2003286036 A JP2003286036 A JP 2003286036A JP 3936683 B2 JP3936683 B2 JP 3936683B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- position detection
- image
- road position
- control point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
こうした画像認識装置では、例えば車載カメラからの画像をメモリへ取り込むみ、画素単位の処理を行って道路位置を検出(認識)する処理を行っている。しかしながら画素単位の処理を行っていたのでは道路位置を検出する処理に大変時間がかかってしまい、高速な道路位置の検出を実現することは困難である。
また、格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、動的輪郭抽出手段は、格納手段に格納された複数のテンプレートを用いて前記輪郭の抽出を行うとよい。このように複数のテンプレートを用意することで、様々な道路形状を高速かつ的確に認識することが可能となる。
適用した結果の輪郭を、道路位置として検出できる。
また、請求項11に示すように、道路位置検出手段によって検出された道路位置をCG化し、前記画像と重ね合わせて表示する表示制御を行う表示制御手段を備えるとよい。このようにすれば、検出した道路位置と画像とを重ねて出力することができ、例えば表示装置に出力画像を表示させれば、ユーザは、検出された道路位置を容易に知ることができる。
図1は、本実施形態の画像処理装置1の構成を示すブロック図である。
画像処理装置1は、車両に設置されており、撮像手段10と道路検出手段20とを備える。道路検出手段20は、前処理手段21と、道路形状格納手段22と、動的輪郭抽出手段23と、CG化手段24と、重ね合わせ手段25とを備える。
また図2(a)のテンプレートは、接続的な配置情報として、主制御点31bと主制御点31a及び主制御点31aと主制御点31cとが副制御点を介して接続されていることを示すリンク情報と、主制御点31dと主制御点31eが副制御点を介して接続されていることを示すリンク情報と、主制御点31fと主制御点dが副制御点を介して接続されていることを示すリンク情報とを備えている。そして、主制御点間には、図6に示した従来と同様の制御点である副制御点を有する。図2では副制御点の一部を図示している(副制御点32a〜32d(図中●印で示す))。
図3に示すように、前処理手段21によってエッジ強調された次のフレームの画像をメモリへ取り込む(S110)。そして、道路形状格納手段22に格納されたテンプレートを読み出す(S120)。そして、メモリへ取り込んだ画像の画像エネルギを計算し(S130)、さらに、メモリへ取り込んだ画像における外部エネルギと内部エネルギを計算して、画像エネルギと外部エネルギと内部エネルギの総和のエネルギである総和エネルギー(合計エネルギ)が最小であるか否かを判定する(S140)。総和エネルギが最小でない場合には(S150:NO)、S160へ移行して、各種制御点および各副制御点について総和エネルギの最小化方向をそれぞれ決定する(S160)。このとき、主制御点については、S120で読み出したテンプレートにおける各主制御点の制限される方向内で、総和エネルギを最小化する方向を決定する。例えば、テンプレートが前述した図2(a)に示すものである場合、主制御点31a,31e,31gは左右方向のいずれか、主制御点31b,31c,31d,31fは上下方向のいずれかに、動かす方向を拘束して、総和エネルギが最小化させる方向を決定する。そして、S170で決定した総和エネルギを最小化させる方向へ各制御点を動かす動的輪郭の補正を行って、S140へ戻る。例えば、図2(b)のように、各制御点を移動する補正を行う。こうした補正を繰り返すことで、総和エネルギが最小化する位置が決定される。例えば、図2(c)に示す位置に各制御点が移動する。
また、道路形状格納手段22は、図5の各テンプレートの優先順位を、実際の道路形状の分布に基づいて決定して格納し、動的輪郭抽出手段23は、この優先順位にの順にテンプレートを用いて輪郭の抽出を行うようにしてもよい。このようにすれば、平均的に高速な道路位置の検出を行うことができる。
動的輪郭抽出手段23によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、画像だけを表示させるようにしてもよい。
また本実施形態では、道路検出手段は、マイコンとソフトウェアによって構成する場合について説明したが、マイコン以外のハードウェアで構成してもよい。
10…撮像手段
20…道路検出手段
21…前処理手段
22…道路形状格納手段
23…動的輪郭抽出手段
24…CG化手段
25…重ね合わせ手段
31a〜f…主制御点
32a〜d…副制御点
Claims (13)
- 画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出手段を備え、前記動的輪郭抽出手段によって検出された輪郭を前記画像に含まれる道路位置として検出する検出手段とを備える道路位置検出装置において、
前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを設け、前記主制御点の初期位置と前記主制御点の拘束を受ける方向に関する情報を備えるテンプレートを格納する格納手段を備え、
前記動的輪郭抽出手段は、前記格納手段に格納されたテンプレートに基づいて、前記合計エネルギを最小化するように制御点を移動する際に、前記主制御点についてはその移動方向を、前記拘束を受ける方向の情報に基づいて拘束して移動させること
を特徴とする道路位置検出装置。 - 請求項1に示す道路位置検出装置において、
前記画像を、入力画像に対してエッジ強調を行って生成する前処理手段を備えること
を特徴とする道路位置検出装置。 - 請求項1または2に記載の道路位置検出装置において、
前記格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを用いて前記輪郭の抽出を行い、
前記道路位置検出手段は、前記合計エネルギが最小の輪郭を前記道路位置として検出すること
を特徴とする道路位置検出装置。 - 請求項1または2に記載の道路位置検出装置において、
前記格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを順次用いて前記輪郭の抽出を行い、
前記道路位置検出手段は、前記合計エネルギが所定値以下となった場合にその輪郭を前記道路位置として検出すること
を特徴とする道路位置検出装置。 - 請求項3または4に記載の道路位置検出装置において、
前記格納手段は、前記複数のテンプレートの優先順位を実際の道路形状の分布に基づい
て決定して格納しており、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを前記優先順位に基づく順に用いて前記輪郭の抽出を行うこと
を特徴とする道路位置検出装置。 - 請求項3または4に記載の道路位置検出装置において、
現在位置付近の道路データを取得する道路データ取得手段を備え、
前記動的輪郭抽出手段は、道路データ取得手段によって取得された道路データに基づいて前記格納手段に格納された前記複数のテンプレートのうち輪郭の抽出に用いるテンプレートを決定すること
を特徴とする道路位置検出装置。 - 請求項3〜6のいずれかに記載の道路位置検出装置において、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートのうち直前の前記道路位置の検出に用いたテンプレートを優先的に用いて前記輪郭の抽出を行うこと
を特徴とする道路位置検出装置。 - 請求項3〜7のいずれかに記載の道路位置検出装置において、
前記格納手段は、前記画像の上下方向の中心線よりも下側の範囲に前記主制御点の前記初期位置を設定したテンプレートを格納していること
を特徴とする道路位置検出装置。 - 請求項3〜8のいずれかに記載の道路位置検出装置において、
前記画像(ただしエッジ強調手段を有する場合は入力画像)を撮像する撮像手段を備え、
前記撮像手段は、撮像した画像に、通常の車両の走行時における水平線が含まれるように車両に設置し、
前記格納手段は、前記水平線上に相当する位置に前記主制御点の前記初期位置を設定したテンプレートを格納していること
を特徴とする道路位置検出装置。 - 請求項3〜9のいずれかに記載の道路位置検出装置において、
前記格納手段は、直進道路、n叉路交差点、任意形状の少なくともいずれか1の道路形状に基づくテンプレートを格納していること
を特徴とする道路位置検出装置。 - 請求項1〜10のいずれかに記載の道路位置検出装置において、
前記道路位置検出手段によって検出された道路位置をCG化し、前記画像と重ね合わせて表示する表示制御を行う表示制御手段を備えること
を特徴とする道路位置検出装置。 - 請求項11に記載の道路位置検出装置において、
前記表示制御手段は、前記動的輪郭抽出手段によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、前記画像だけを表示させること
を特徴とする道路位置検出装置。 - 請求項1〜12のいずれかに記載の道路位置検出装置としての機能をコンピュータに実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003286036A JP3936683B2 (ja) | 2003-08-04 | 2003-08-04 | 道路位置検出装置及びプログラム |
US10/895,964 US7542589B2 (en) | 2003-08-04 | 2004-07-22 | Road position detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003286036A JP3936683B2 (ja) | 2003-08-04 | 2003-08-04 | 道路位置検出装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005056128A JP2005056128A (ja) | 2005-03-03 |
JP3936683B2 true JP3936683B2 (ja) | 2007-06-27 |
Family
ID=34113921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003286036A Expired - Lifetime JP3936683B2 (ja) | 2003-08-04 | 2003-08-04 | 道路位置検出装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7542589B2 (ja) |
JP (1) | JP3936683B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050285878A1 (en) * | 2004-05-28 | 2005-12-29 | Siddharth Singh | Mobile platform |
US20050289590A1 (en) * | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Marketing platform |
US7936903B2 (en) * | 2005-05-31 | 2011-05-03 | Koninklijke Philips Electronics N.V. | Method and a system for detecting a road at night |
KR100784332B1 (ko) | 2006-05-11 | 2007-12-13 | 삼성전자주식회사 | 휴대용 단말기에서 명함 촬영 장치 및 방법 |
JP4462333B2 (ja) * | 2007-11-13 | 2010-05-12 | 株式会社デンソー | 走行支援装置 |
JP4952561B2 (ja) * | 2007-12-13 | 2012-06-13 | 株式会社デンソー | 車載用画像処理装置及び車載用画像表示装置 |
JP5115171B2 (ja) * | 2007-12-13 | 2013-01-09 | 株式会社デンソー | 車載用画像処理装置及び車載用画像表示装置 |
EP2530667B1 (en) * | 2010-01-29 | 2014-11-05 | Toyota Jidosha Kabushiki Kaisha | Road information detection device and vehicle travel control device |
CN103065333B (zh) * | 2012-12-11 | 2015-06-17 | 华中科技大学 | 一种基于四元数的彩色snake图像分割方法 |
US9145139B2 (en) * | 2013-06-24 | 2015-09-29 | Google Inc. | Use of environmental information to aid image processing for autonomous vehicles |
CN104331879A (zh) * | 2014-10-17 | 2015-02-04 | 上海交通大学 | 基于机器视觉的道路检测方法 |
CN106647805B (zh) * | 2016-12-27 | 2019-02-15 | 深圳市道通智能航空技术有限公司 | 无人机自主飞行的方法、装置以及无人机 |
US10830581B1 (en) * | 2019-11-08 | 2020-11-10 | International Business Machines Corporation | Surface smoothness analysis |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2991584B2 (ja) | 1993-02-15 | 1999-12-20 | 沖電気工業株式会社 | 画像認識方法 |
JPH06282650A (ja) | 1993-03-30 | 1994-10-07 | Olympus Optical Co Ltd | 輪郭抽出装置 |
JP3175509B2 (ja) | 1994-12-13 | 2001-06-11 | トヨタ自動車株式会社 | 道路白線検出装置 |
FR2743650B1 (fr) | 1996-01-16 | 1998-02-06 | Alsthom Cge Alcatel | Procede d'extraction des deux bords d'une route par propagation de contour actif |
JP3120724B2 (ja) * | 1996-03-13 | 2000-12-25 | トヨタ自動車株式会社 | 車両用自動走行装置 |
JP3556766B2 (ja) * | 1996-05-28 | 2004-08-25 | 松下電器産業株式会社 | 道路白線検出装置 |
JPH1114346A (ja) * | 1997-06-19 | 1999-01-22 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
JP3373773B2 (ja) * | 1998-01-27 | 2003-02-04 | 株式会社デンソー | レーンマーク認識装置、車両走行制御装置および記録媒体 |
JP2001143084A (ja) | 1999-11-15 | 2001-05-25 | Denso Corp | レーンマーク認識装置、レーン種別判定装置、車両走行制御装置及び記録媒体 |
JP4578638B2 (ja) | 2000-08-02 | 2010-11-10 | パナソニック株式会社 | 画像認識方法 |
JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
-
2003
- 2003-08-04 JP JP2003286036A patent/JP3936683B2/ja not_active Expired - Lifetime
-
2004
- 2004-07-22 US US10/895,964 patent/US7542589B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7542589B2 (en) | 2009-06-02 |
US20050031168A1 (en) | 2005-02-10 |
JP2005056128A (ja) | 2005-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3936683B2 (ja) | 道路位置検出装置及びプログラム | |
JP4775277B2 (ja) | 画像処理装置及び画像処理方法 | |
EP2265023B1 (en) | Subject tracking device and subject tracking method | |
JP5959073B2 (ja) | 検出装置、検出方法、及び、プログラム | |
JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
JP4584120B2 (ja) | 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
JP4893212B2 (ja) | 周辺監視装置 | |
JP5454737B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
US20170259830A1 (en) | Moving amount derivation apparatus | |
JP4735361B2 (ja) | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 | |
JP3709879B2 (ja) | ステレオ画像処理装置 | |
CN112883790A (zh) | 一种基于单目摄像头的3d物体检测方法 | |
JPH11195127A (ja) | 白線認識方法および装置 | |
JP5100688B2 (ja) | 対象物検出装置及びプログラム | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
CN109074646B (zh) | 图像识别装置以及图像识别程序 | |
JP5020920B2 (ja) | 歩行者検出装置及びプログラム | |
JP3605955B2 (ja) | 車輌判別装置 | |
JP4825737B2 (ja) | 開眼度判定装置 | |
JP4070450B2 (ja) | 前方車両認識装置及び認識方法 | |
JP5035139B2 (ja) | 眼画像処理装置 | |
JP2001116545A (ja) | 距離画像算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3936683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |