JP3936683B2 - 道路位置検出装置及びプログラム - Google Patents

道路位置検出装置及びプログラム Download PDF

Info

Publication number
JP3936683B2
JP3936683B2 JP2003286036A JP2003286036A JP3936683B2 JP 3936683 B2 JP3936683 B2 JP 3936683B2 JP 2003286036 A JP2003286036 A JP 2003286036A JP 2003286036 A JP2003286036 A JP 2003286036A JP 3936683 B2 JP3936683 B2 JP 3936683B2
Authority
JP
Japan
Prior art keywords
road
position detection
image
road position
control point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003286036A
Other languages
English (en)
Other versions
JP2005056128A (ja
Inventor
理 片山
浩 上杉
忠 鎌田
隆文 伊藤
岡田  稔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2003286036A priority Critical patent/JP3936683B2/ja
Priority to US10/895,964 priority patent/US7542589B2/en
Publication of JP2005056128A publication Critical patent/JP2005056128A/ja
Application granted granted Critical
Publication of JP3936683B2 publication Critical patent/JP3936683B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、道路位置検出方法等に関する。
近年、例えばレーンキープシステム等、車載カメラからの画像から道路位置を認識するための画像認識装置に対するニーズが高まっている。
こうした画像認識装置では、例えば車載カメラからの画像をメモリへ取り込むみ、画素単位の処理を行って道路位置を検出(認識)する処理を行っている。しかしながら画素単位の処理を行っていたのでは道路位置を検出する処理に大変時間がかかってしまい、高速な道路位置の検出を実現することは困難である。
そこで、画像に含まれる特定の認識対象物の輪郭を抽出する動的輪郭抽出方法を用いて道路位置を検出する道路位置検出方法が知られている。例えば、動的輪郭抽出方法として一般的なSNAKEでは、画像上に制御点を含む閉曲線を配置し、曲線の滑らかさを示す内部エネルギEint、画像エネルギEimage、外部エネルギEextを用い、これらの合計エネルギを最小化するように曲線の変形処理を行い、画像に含まれる認識対象の輪郭を検出している(例えば、特許文献1参照。)。
そして、こうしたSNAKEを道路認識に応用した例として、図6に示すように、制御点(図中●印で示す)を含む2本の曲線(直線を含む)からなる動的輪郭モデルを用い、左右の道路境界線に内側から張り付くようなかたちで合計エネルギを最小化するように制御点を動かして収束させることによって道路位置を検出する方法が知られている(例えば、非特許文献1参照)。
特開2002−49922号公報 八木,他3名,「道路追跡と3次元道路形状復元のための動的輪郭道路モデル」,電子情報通信学会論文誌,社団法人 電子情報通信学会,2001年8月,Vol.J84−D−II No.8,p.1597−1607
しかしながら、この非特許文献1に記載の方法では、その著者らも指摘しているように、十字路や右折左折レーンが広がるシーンの画像から道路位置を検出することができない。また、一般的なSNAKEは閉曲面でしか、画像中の認識対象物の輪郭を抽出することができない。
そこで、本発明は、画像から道路位置をより正確かつ高速に検出することのできる道路位置検出方法および道路位置検出装置等を提供することを目的とする。
上述した問題点を解決するためになされた請求項1に記載の道路位置検出装置は、画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出手段を備え、前記動的輪郭抽出手段によって検出された輪郭を前記画像に含まれる道路位置として検出する検出手段とを備える道路位置検出装置において、前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを設け、前記主制御点の初期位置と前記主制御点の拘束を受ける方向に関する情報を備えるテンプレートを格納する格納手段を備え、前記動的輪郭抽出手段は、前記格納手段に格納されたテンプレートに基づいて、前記合計エネルギを最小化するように制御点を移動する際に、前記主制御点についてはその移動方向を、前記拘束を受ける方向の情報に基づいて拘束して移動させることを特徴とする道路位置検出装置である。
このような道路位置検出装置によれば、制御点として垂直方向または水平方向に強い拘束を受けた主制御点を設けて、この拘束に従って主制御点を動かして動的輪郭抽出を行うので、制御点の移動の際に、高速に主制御点の位置を決定することが可能である。またテンプレートは、道路形状に基づいたデータが格納されているので従来よりも的確に道路位置を検出することができる。
そして、画像は、請求項2に示すように、入力画像に対してエッジ強調を行って生成するとよい。このようにすれば、動的輪郭抽出の精度を高めることができる。
また、格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、動的輪郭抽出手段は、格納手段に格納された複数のテンプレートを用いて前記輪郭の抽出を行うとよい。このように複数のテンプレートを用意することで、様々な道路形状を高速かつ的確に認識することが可能となる。
この場合、請求項3に示すように、道路位置検出手段は、前記合計エネルギが最小の輪郭を前記道路位置として検出するとよい。または、請求項4に示すように、道路位置検出手段は、前記合計エネルギが所定値以下となった場合にその輪郭を前記道路位置として検出するとよい。このようにすれば、より実際の画像上の道路に近いテンプレートを適用した結果の輪郭を、道路位置として検出できる。
また、請求項5に示すように、格納手段は、前記複数のテンプレートの優先順位を実際の道路形状の分布に基づいて決定して格納しており、動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを前記優先順位に基づく順に用いて前記輪郭の抽出を行うとよい。このようにすれば、平均的に高速な道路位置の検出を行うことができる。
また、請求項6に示すように、現在位置付近の道路データを取得する道路データ取得手段を備え、動的輪郭抽出手段は、道路データ取得手段によって取得された道路データに基づいて前記格納手段に格納された複数のテンプレートのうち輪郭の抽出に用いるテンプレートを決定するとよい。このようにすれば、より実際の道路の状況に近いテンプレートを
適用した結果の輪郭を、道路位置として検出できる。
そして、請求項7に示すように、動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートのうち直前の前記道路位置の検出に用いたテンプレートを優先的に用いて前記輪郭の抽出を行うとよい。例えば、前のフレームで用いたテンプレートを次のフレームでもまず適用する。連続的に道路位置を検出する場合には、適用するテンプレートに変化がない場合が多いので、このようにすることで、高速に道路位置を検出することができる。
なお、光軸が水平な場合、道路は画像の中央より下に位置するため、テンプレートは、例えば、請求項8に示すように、画像の上下方向の中心線よりも下側の範囲に主制御点の初期位置を設定したものを格納するとよい。
また例えば請求項9に示すように、前記画像(ただしエッジ強調手段を有する場合は入力画像)を撮像する撮像手段を備え、前記撮像手段は、撮像した画像に、通常の車両の走行時における水平線が含まれるように車両に設置し、前記格納手段は、前記水平線上に相当する位置に前記主制御点の前記初期位置を設定したテンプレートを格納するとよい。
そして、格納手段は、例えば、請求項10に示すように、直進道路、n叉路交差点、任意形状の少なくともいずれか1の道路形状に基づくテンプレートを格納するとよい。
また、請求項11に示すように、道路位置検出手段によって検出された道路位置をCG化し、前記画像と重ね合わせて表示する表示制御を行う表示制御手段を備えるとよい。このようにすれば、検出した道路位置と画像とを重ねて出力することができ、例えば表示装置に出力画像を表示させれば、ユーザは、検出された道路位置を容易に知ることができる。
そして請求項12に示すように表示制御手段は、動的輪郭抽出手段によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、画像だけを表示させるようにしてもよい。
なお、請求項13に示すように、請求項1〜12に記載の道路検出装置をコンピュータにて実現する場合、例えば、コンピュータで実行するプログラムにて実現させることができる。このようなプログラムは、例えば、フレキシブルディスク、光磁気ディスク、CD−ROM、ハードディスク、ROM、RAM等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして実行したり、ネットワークを介してロードして実行したりすることができる。
以下、本発明の一実施形態について説明する。
図1は、本実施形態の画像処理装置1の構成を示すブロック図である。
画像処理装置1は、車両に設置されており、撮像手段10と道路検出手段20とを備える。道路検出手段20は、前処理手段21と、道路形状格納手段22と、動的輪郭抽出手段23と、CG化手段24と、重ね合わせ手段25とを備える。
画像処理装置1は、撮像手段10で撮像した映像中の道路位置を道路検出手段20が検出して、検出した道路位置を示すCG(コンピュータグラフィックス)を撮像手段10で撮像した映像に重ね合わせ、図示しない表示装置(例えば液晶ディスプレイ)に表示させる装置である。なお、表示装置としては、例えば、車両に搭載されるナビゲーション装置のディスプレイ等を用いることができる。
撮像手段10は、撮像素子等によって撮像した映像を映像信号として出力するカメラであり、例えば、車両前方の映像を撮像するように設置する。このとき、例えば、図5(a)に示すような道路との位置関係となるような前方映像を撮像するように調整して車両に設置する。すなわち、撮像された映像における水平線が、画面の垂直方向の中心よりも上寄りに位置するように設置する。
道路検出手段20は、CPU、ROM、RAM、I/Oおよびこれらを接続するバスライン等を備えたマイコンによって構成されている。このマイコンは、撮像手段10から出力された映像信号を取り込んで処理するハードウェアおよびソフトウェア(プログラム)を備える。
道路検出手段20は、撮像手段10から出力された映像信号を入力し、前処理手段21へ入力する。前処理手段21は、入力された映像信号による映像に対してエッジ強調を行う。前処理手段21は、例えばこのマイコンに備えたDSP等による処理によって構成する。もちろんマイコンのRAMに映像信号を取り込んでCPUによってエッジ強調処理を行うように構成してもよい。
道路形状格納手段22は、道路形状を表すテンプレートを格納している。例えばROMにテンプレートを格納している。そして、動的輪郭抽出手段23は、前処理手段21によってエッジ強調された映像の映像信号を入力し、道路形状格納手段22に格納されたテンプレートに基づいて、SNAKEによる動的輪郭抽出を行う。この動的輪郭抽出は、例えばマイコンによる処理で行う。
道路形状格納手段22に格納されているテンプレートは、従来のSNAKEによる動的輪郭抽出において動かす制御点の中に、道路形状を加味して動く方向(追従する方向)を制限した制御点を設けたものである。ここでは、この道路形状を加味して動く方向(追従する方向)を制限した制御点を主制御点と称する。一方、この主制御点以外の制御点を副制御点と称する。道路形状格納手段22に格納されたテンプレートは、主制御点および副制御点の位置的、接続的な関係といった幾何学的な配置情報(初期位置情報)と、主制御点の制限した動く方向(追従する方向)、すなわち主制御点が拘束を受ける方向の情報を有する。
道路形状格納手段22に格納されているテンプレートの例を図2(a)に示す。図2(a)に示すテンプレートは、主制御点31a〜31f(図中○印で示す)を有するテンプレートであり、それぞれの主制御点は、位置的な配置情報としてその初期座標と、制限される方向として図2(a)に示す矢印の方向を示す情報(例えば、上下方向、左右方向のいずれなのかを示す情報)を有する。すなわち、主制御点31a,31e,31gは左右方向(水平線上)、主制御点31b,31c,31d,31fは上下方向(垂直線上)に、動的輪郭検出の際に拘束される情報を有する。そして、初期位置として、主制御点31a,31b,31cは、撮像手段10によって撮像された映像における水平線位置に対応するy座標を記憶しており、主制御点31bのx座標は画面左端、主制御点31aのx座標は画面中央、主制御点31cのx座標は画面右端として記憶している。また、主制御点31d、31eはそれぞれ画面左下端を、主制御点31f,31gはそれぞれ画面右下端を初期座標として記憶している。(図2では説明の都合上位置をずらして記載している)
また図2(a)のテンプレートは、接続的な配置情報として、主制御点31bと主制御点31a及び主制御点31aと主制御点31cとが副制御点を介して接続されていることを示すリンク情報と、主制御点31dと主制御点31eが副制御点を介して接続されていることを示すリンク情報と、主制御点31fと主制御点dが副制御点を介して接続されていることを示すリンク情報とを備えている。そして、主制御点間には、図6に示した従来と同様の制御点である副制御点を有する。図2では副制御点の一部を図示している(副制御点32a〜32d(図中●印で示す))。
動的輪郭抽出手段23は、動的輪郭抽出方法として一般的なSNAKEによって、画像上に、制御点を含む曲線を配置し、曲線の滑らかさを示す内部エネルギEint、画像の濃度勾配を示す画像エネルギEimage、外部からの外部エネルギEextを用い、これらの合計エネルギを最小化するように、曲線の変形処理を行い、画像に含まれる認識対象の輪郭を検出する。このとき、動的輪郭抽出手段23は、道路形状格納手段22に格納されたテンプレートに従って制御点を動かす。例えば、図2(a)のテンプレートを用いて、制御点を動かす場合、主制御点31a〜31をそれぞれ矢印の方向に拘束して動かす。そして、副制御点32a〜32dは、エネルギ関数と、それぞれの副制御点の属する曲線の両端の主制御点に追従して合計エネルギを最小にする方向へ動かす。例えば、図2(b)に示すような道路が含まれる画像が前処理手段21から入力されると、図2(a)に示すテンプレートを用いて、制御点を図2(b)のように移動し、最終的に、図2(c)に示すように移動した時点で合計エネルギが最小化する。このように曲線の変形処理が行われる。こうして主制御点31a〜31fは、テンプレートに従って移動方向が垂直方向または水平方向に拘束されるため高速に移動することができる。
この動的輪郭検出23及びCG化手段24としてのマイコンにおける処理の流れとして図3に示して説明する。
図3に示すように、前処理手段21によってエッジ強調された次のフレームの画像をメモリへ取り込む(S110)。そして、道路形状格納手段22に格納されたテンプレートを読み出す(S120)。そして、メモリへ取り込んだ画像の画像エネルギを計算し(S130)、さらに、メモリへ取り込んだ画像における外部エネルギと内部エネルギを計算して、画像エネルギと外部エネルギと内部エネルギの総和のエネルギである総和エネルギー(合計エネルギ)が最小であるか否かを判定する(S140)。総和エネルギが最小でない場合には(S150:NO)、S160へ移行して、各種制御点および各副制御点について総和エネルギの最小化方向をそれぞれ決定する(S160)。このとき、主制御点については、S120で読み出したテンプレートにおける各主制御点の制限される方向内で、総和エネルギを最小化する方向を決定する。例えば、テンプレートが前述した図2(a)に示すものである場合、主制御点31a,31e,31gは左右方向のいずれか、主制御点31b,31c,31d,31fは上下方向のいずれかに、動かす方向を拘束して、総和エネルギが最小化させる方向を決定する。そして、S170で決定した総和エネルギを最小化させる方向へ各制御点を動かす動的輪郭の補正を行って、S140へ戻る。例えば、図2(b)のように、各制御点を移動する補正を行う。こうした補正を繰り返すことで、総和エネルギが最小化する位置が決定される。例えば、図2(c)に示す位置に各制御点が移動する。
そして、S150で、総和エネルギが最小と判断された場合(S150:NO)、S180へ移行して、現在の主制御点及び副制御点の位置を検出した輪郭として決定し(S180)、その輪郭をつなげてCG化して、重ね合わせ手段25へ出力する(S190)。そしてS110へ戻って、上述した処理を繰り返す。
重ね合わせ手段25は、撮像手段10によって撮像された画像と、S190で生成された輪郭をつなげたCGとを重ね合わせ、表示装置に出力する。例えば、重ね合わせ手段25は、撮像手段10から図4(a)に示す画像を入力し、S190で生成された「輪郭を破線でつなげたCG40」を重ね合わせて、図4(b)のように表示装置に表示する。このような表示によって、ドライバは道路位置を容易に認識することができる。
このように、道路形状を表すテンプレートを用意し、そのテンプレートを動的輪郭抽出の初期状態とした上、制御点として垂直方向または水平方向に強い拘束を受けた主制御点を設けてこの拘束に従って主制御点を動かすので、SNAKEによる制御点の移動の際に、高速に主制御点の位置を決定することが可能である。そして、副制御点はエネルギ関数と主制御点に追従して動く。よって、制御点の位置を高速に決定することができる。形状自体を用いてマッチングするのではなく、構成要素の位置関係に基づいてマッチングするする手法をトポロジーマッチングと呼ぶことにする。このようにトポロジーマッチングを行うことで、高速な道路位置の認識が可能となる。またテンプレートは、道路形状に基づいたデータが格納されているので従来よりも的確に道路位置を検出することができる。
なお、道路形状格納手段22は、道路形状に応じて、図5(a)〜(h)に示すように、複数のパターンのテンプレートを格納するとよい。例えば、図5(a)は直進道路、図5(b)〜(g)は様々な交差点(T字路、十字路、多叉路)、図5(h)は任意形状を示すテンプレートである。そして、動的輪郭抽出手段23は、これらのテンプレートの中から最適なテンプレートを選択する。 例えば、動的輪郭抽出手段23において、道路形状格納手段22に格納された図5に示す8種類のテンプレートを全てを適用して、最もエネルギ関数が小さくなるテンプレートによる制御点を輪郭として決定するようにしてもよいし、全部のテンプレートは適用せずに、順次テンプレートを適用していき、あらかじめ設定した総和エネルギのしきい値以下となった場合にはそのテンプレートによる制御点を輪郭として決定するようにしてもよい。
このように複数のテンプレートを用意することで、様々な道路形状を高速かつ的確に認識することが可能となる。
また、道路形状格納手段22は、図5の各テンプレートの優先順位を、実際の道路形状の分布に基づいて決定して格納し、動的輪郭抽出手段23は、この優先順位にの順にテンプレートを用いて輪郭の抽出を行うようにしてもよい。このようにすれば、平均的に高速な道路位置の検出を行うことができる。
また、現在位置付近の道路データを取得する道路データ取得手段としてナビゲーション装置を備え、動的輪郭抽出手段23は、ナビゲーション装置によって取得された道路データに基づいて図5のテンプレートのうち輪郭の抽出に用いるテンプレートを決定してもよい。このようにすれば、実際の道路の状況により近いテンプレートを適用した結果の輪郭を、道路位置として検出できる。
また、動的輪郭抽出手段23は、直前の前記道路位置の検出に用いたテンプレートを優先的に用いて輪郭の抽出を行うようにしてもよい。例えば、前のフレームで用いたテンプレートを次のフレームでもまずはじめに適用する。特に、連続的に道路位置を検出する場合には、適用するテンプレートに変化がない場合が多いので、このようにすることで、高速に道路位置を検出することができる。
なお、テンプレートは、例えば、画像の上下方向の中心線よりも下側の範囲に主制御点の初期位置を設定したものを格納するとよい。
動的輪郭抽出手段23によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、画像だけを表示させるようにしてもよい。
なお、本実施形態では車両前方の映像(画像)を撮像するものとして説明したが、例えば、車両後方、車両側方などを撮像するようにしてもよい。
また本実施形態では、道路検出手段は、マイコンとソフトウェアによって構成する場合について説明したが、マイコン以外のハードウェアで構成してもよい。
実施例の画像処理装置の構成を示すブロック図である。 テンプレートの例と、主制御点の移動の様子および曲線の例を示す説明図である。 動的輪郭抽出手段およびCG化手段としての処理を示す説明図である。 撮像手段によって撮像された映像と重ね合わせ手段によって出力された映像の例を示す説明図である。 道路形状格納手段に格納された複数の道路形状に基づくテンプレートの例である。 従来の道路形状検出方法の例を示す説明図である。
符号の説明
1…画像処理装置
10…撮像手段
20…道路検出手段
21…前処理手段
22…道路形状格納手段
23…動的輪郭抽出手段
24…CG化手段
25…重ね合わせ手段
31a〜f…主制御点
32a〜d…副制御点

Claims (13)

  1. 画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出手段を備え、前記動的輪郭抽出手段によって検出された輪郭を前記画像に含まれる道路位置として検出する検出手段とを備える道路位置検出装置において、
    前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを設け、前記主制御点の初期位置と前記主制御点の拘束を受ける方向に関する情報を備えるテンプレートを格納する格納手段を備え、
    前記動的輪郭抽出手段は、前記格納手段に格納されたテンプレートに基づいて、前記合計エネルギを最小化するように制御点を移動する際に、前記主制御点についてはその移動方向を、前記拘束を受ける方向の情報に基づいて拘束して移動させること
    を特徴とする道路位置検出装置。
  2. 請求項1に示す道路位置検出装置において、
    前記画像を、入力画像に対してエッジ強調を行って生成する前処理手段を備えること
    を特徴とする道路位置検出装置。
  3. 請求項1または2に記載の道路位置検出装置において、
    前記格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、
    前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを用いて前記輪郭の抽出を行い、
    前記道路位置検出手段は、前記合計エネルギが最小の輪郭を前記道路位置として検出すること
    を特徴とする道路位置検出装置。
  4. 請求項1または2に記載の道路位置検出装置において、
    前記格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、
    前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを順次用いて前記輪郭の抽出を行い、
    前記道路位置検出手段は、前記合計エネルギが所定値以下となった場合にその輪郭を前記道路位置として検出すること
    を特徴とする道路位置検出装置。
  5. 請求項3または4に記載の道路位置検出装置において、
    前記格納手段は、前記複数のテンプレートの優先順位を実際の道路形状の分布に基づい
    て決定して格納しており、
    前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを前記優先順位に基づく順に用いて前記輪郭の抽出を行うこと
    を特徴とする道路位置検出装置。
  6. 請求項3または4に記載の道路位置検出装置において、
    現在位置付近の道路データを取得する道路データ取得手段を備え、
    前記動的輪郭抽出手段は、道路データ取得手段によって取得された道路データに基づいて前記格納手段に格納された前記複数のテンプレートのうち輪郭の抽出に用いるテンプレートを決定すること
    を特徴とする道路位置検出装置。
  7. 請求項3〜6のいずれかに記載の道路位置検出装置において、
    前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートのうち直前の前記道路位置の検出に用いたテンプレートを優先的に用いて前記輪郭の抽出を行うこと
    を特徴とする道路位置検出装置。
  8. 請求項3〜7のいずれかに記載の道路位置検出装置において、
    前記格納手段は、前記画像の上下方向の中心線よりも下側の範囲に前記主制御点の前記初期位置を設定したテンプレートを格納していること
    を特徴とする道路位置検出装置。
  9. 請求項3〜8のいずれかに記載の道路位置検出装置において、
    前記画像(ただしエッジ強調手段を有する場合は入力画像)を撮像する撮像手段を備え、
    前記撮像手段は、撮像した画像に、通常の車両の走行時における水平線が含まれるように車両に設置し、
    前記格納手段は、前記水平線上に相当する位置に前記主制御点の前記初期位置を設定したテンプレートを格納していること
    を特徴とする道路位置検出装置。
  10. 請求項3〜9のいずれかに記載の道路位置検出装置において、
    前記格納手段は、直進道路、n叉路交差点、任意形状の少なくともいずれか1の道路形状に基づくテンプレートを格納していること
    を特徴とする道路位置検出装置。
  11. 請求項1〜10のいずれかに記載の道路位置検出装置において、
    前記道路位置検出手段によって検出された道路位置をCG化し、前記画像と重ね合わせて表示する表示制御を行う表示制御手段を備えること
    を特徴とする道路位置検出装置。
  12. 請求項11に記載の道路位置検出装置において、
    前記表示制御手段は、前記動的輪郭抽出手段によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、前記画像だけを表示させること
    を特徴とする道路位置検出装置。
  13. 請求項1〜12のいずれかに記載の道路位置検出装置としての機能をコンピュータに実現させるためのプログラム。
JP2003286036A 2003-08-04 2003-08-04 道路位置検出装置及びプログラム Expired - Lifetime JP3936683B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003286036A JP3936683B2 (ja) 2003-08-04 2003-08-04 道路位置検出装置及びプログラム
US10/895,964 US7542589B2 (en) 2003-08-04 2004-07-22 Road position detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003286036A JP3936683B2 (ja) 2003-08-04 2003-08-04 道路位置検出装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2005056128A JP2005056128A (ja) 2005-03-03
JP3936683B2 true JP3936683B2 (ja) 2007-06-27

Family

ID=34113921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003286036A Expired - Lifetime JP3936683B2 (ja) 2003-08-04 2003-08-04 道路位置検出装置及びプログラム

Country Status (2)

Country Link
US (1) US7542589B2 (ja)
JP (1) JP3936683B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7936903B2 (en) * 2005-05-31 2011-05-03 Koninklijke Philips Electronics N.V. Method and a system for detecting a road at night
KR100784332B1 (ko) 2006-05-11 2007-12-13 삼성전자주식회사 휴대용 단말기에서 명함 촬영 장치 및 방법
JP4462333B2 (ja) * 2007-11-13 2010-05-12 株式会社デンソー 走行支援装置
JP4952561B2 (ja) * 2007-12-13 2012-06-13 株式会社デンソー 車載用画像処理装置及び車載用画像表示装置
JP5115171B2 (ja) * 2007-12-13 2013-01-09 株式会社デンソー 車載用画像処理装置及び車載用画像表示装置
EP2530667B1 (en) * 2010-01-29 2014-11-05 Toyota Jidosha Kabushiki Kaisha Road information detection device and vehicle travel control device
CN103065333B (zh) * 2012-12-11 2015-06-17 华中科技大学 一种基于四元数的彩色snake图像分割方法
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
CN104331879A (zh) * 2014-10-17 2015-02-04 上海交通大学 基于机器视觉的道路检测方法
CN106647805B (zh) * 2016-12-27 2019-02-15 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机
US10830581B1 (en) * 2019-11-08 2020-11-10 International Business Machines Corporation Surface smoothness analysis

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2991584B2 (ja) 1993-02-15 1999-12-20 沖電気工業株式会社 画像認識方法
JPH06282650A (ja) 1993-03-30 1994-10-07 Olympus Optical Co Ltd 輪郭抽出装置
JP3175509B2 (ja) 1994-12-13 2001-06-11 トヨタ自動車株式会社 道路白線検出装置
FR2743650B1 (fr) 1996-01-16 1998-02-06 Alsthom Cge Alcatel Procede d'extraction des deux bords d'une route par propagation de contour actif
JP3120724B2 (ja) * 1996-03-13 2000-12-25 トヨタ自動車株式会社 車両用自動走行装置
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
JPH1114346A (ja) * 1997-06-19 1999-01-22 Nissan Motor Co Ltd 車両用障害物検出装置
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
JP2001143084A (ja) 1999-11-15 2001-05-25 Denso Corp レーンマーク認識装置、レーン種別判定装置、車両走行制御装置及び記録媒体
JP4578638B2 (ja) 2000-08-02 2010-11-10 パナソニック株式会社 画像認識方法
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置

Also Published As

Publication number Publication date
US7542589B2 (en) 2009-06-02
US20050031168A1 (en) 2005-02-10
JP2005056128A (ja) 2005-03-03

Similar Documents

Publication Publication Date Title
JP3936683B2 (ja) 道路位置検出装置及びプログラム
JP4775277B2 (ja) 画像処理装置及び画像処理方法
EP2265023B1 (en) Subject tracking device and subject tracking method
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
JP4157620B2 (ja) 移動物体検出装置及びその方法
JP4584120B2 (ja) 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP4893212B2 (ja) 周辺監視装置
JP5454737B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
US20170259830A1 (en) Moving amount derivation apparatus
JP4735361B2 (ja) 車両乗員顔向き検出装置および車両乗員顔向き検出方法
JP3709879B2 (ja) ステレオ画像処理装置
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
JPH11195127A (ja) 白線認識方法および装置
JP5100688B2 (ja) 対象物検出装置及びプログラム
CN110197104B (zh) 基于车辆的测距方法及装置
JP2018074411A (ja) 物体検出装置及び物体検出方法
CN109074646B (zh) 图像识别装置以及图像识别程序
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JP3605955B2 (ja) 車輌判別装置
JP4825737B2 (ja) 開眼度判定装置
JP4070450B2 (ja) 前方車両認識装置及び認識方法
JP5035139B2 (ja) 眼画像処理装置
JP2001116545A (ja) 距離画像算出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070323

R150 Certificate of patent or registration of utility model

Ref document number: 3936683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250