JP4327389B2 - 走行レーン認識装置 - Google Patents

走行レーン認識装置 Download PDF

Info

Publication number
JP4327389B2
JP4327389B2 JP2001319172A JP2001319172A JP4327389B2 JP 4327389 B2 JP4327389 B2 JP 4327389B2 JP 2001319172 A JP2001319172 A JP 2001319172A JP 2001319172 A JP2001319172 A JP 2001319172A JP 4327389 B2 JP4327389 B2 JP 4327389B2
Authority
JP
Japan
Prior art keywords
lane
road
image processing
traveling
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001319172A
Other languages
English (en)
Other versions
JP2003123058A (ja
Inventor
裕史 大塚
彰二 村松
寛 武長
次郎 竹崎
竜彦 門司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001319172A priority Critical patent/JP4327389B2/ja
Priority to EP02022938A priority patent/EP1304607B1/en
Priority to DE60202341T priority patent/DE60202341T2/de
Priority to US10/271,944 priority patent/US7295682B2/en
Publication of JP2003123058A publication Critical patent/JP2003123058A/ja
Application granted granted Critical
Publication of JP4327389B2 publication Critical patent/JP4327389B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明はカメラで撮像した路面画像を画像処理して車両の走行レーンを認識する走行レーン認識装置に係わり、特に、複数のレーンマーク形状（種類）に適切に対応して走行レーンを認識する走行レーン認識装置に関する。
【０００２】
【従来の技術】
車両走行レーンの認識は、車両のレーン逸脱警報やステアリングの補助制御を行うレーンキープサポートシステム等に必要な技術である。走行レーン認識技術には、路面に磁石でできたレーンマーカを埋め込んでおき磁界の位置から走行レーンを認識する方法や、デファレンシャルＧＰＳやキネマティックＧＰＳ等で車両の位置を高精度に計測し、高精度な道路地図データから走行レーンを算出する方法等ある。しかし、いずれもインフラの整備が必要不可欠であり、適用可能な範囲が限定される。
【０００３】
それに対し、カメラ画像から走行レーンを検出する画像処理による方法は、インフラを専用に整備する必要が無いため適用可能範囲が広いという利点を有している。
【０００４】
画像処理によるレーン認識では、様々な路面状況を考慮して、常に安定した認識を求められている。路面状態からパラメータや閾値を変更する特開平７−１２８０５９号公報には、レーンマークである白線のエッジ強度をから白線の輪郭抽出を行うために用いる閾値を決定することが記載されている。また、特開平６−３４１８２１号公報には、左右の白線のエッジ強度によって独立に閾値を設定し、認識領域を変化させることが記載されている。このように、状況に応じて閾値やパラメータを変化させることで、様々な路面状況に対して安定した認識結果を出すことができる。
【０００５】
【発明が解決しようとする課題】
従来技術は、閾値やパラメータを変化させることで様々な路面状況に対応しているが、レーンマークが白線であることを前提にして画像処理アルゴリズムを作成して認識するようにしている。
【０００６】
日本国では白線（黄線）のレーンマークがほとんどであるが、諸外国においてはレーンマークとして白線の外に道路鋲やポストコーンが用いられている。走行レーンの検出は車両の位置ずれやレーンの曲率を求めるのに行っている。白線、道路鋲、ポストコーン等の複数種類のレーンマークを共通の画像処理アルゴリズムで画像処理すると認識率が低くなり認識精度が低下するという問題点を有する。
【０００７】
本発明は上記点に対処して成されたもので、その目的とするところは、複数種類のレーンマークを安定して検出してレーンの認識精度を向上させることができる走行レーン認識装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の特徴とするところは、道路画像を画像処理する画像処理手段は異なる複数の画像処理アルゴリズムを有し、車両が走行している道路によって複数の画像処理アルゴリズムの中から走行レーンに適した画像処理アルゴリズムを選択して走行レーンを検出するようにしたことにある。
【０００９】
画像処理アルゴリズムの選択は、具体的には、車両が走行している道路のレーンマーク種類を識別したり、あるいは、走行レーン検出に前回採用した画像処理アルゴリズムによる認識確信度に基づき今回の走行レーン検出に採用する画像処理アルゴリズムを選択する。
【００１０】
本発明は、道路画像を画像処理する画像処理手段に異なる複数の画像処理アルゴリズムを設け、車両が走行している道路によって複数の画像処理アルゴリズムの中から走行レーンに適した画像処理アルゴリズムを選択して走行レーンを検出するようにしているので、複数種類のレーンマークを安定して検出してレーンの認識精度を向上させることができる。
【００１１】
【発明の実施の形態】
図１に本発明の一実施例を示す。図１はレーンキープ装置のブロック図である。
【００１２】
本発明の走行レーン認識装置はレーンキープ装置を構成しており、まず、レーンキープ装置の全体構成について説明し、その後で各実施例について詳細に説明する。
【００１３】
図１において、レーンキープ装置は、レーンキープ制御に必要なレーン位置情報を求めるレーン認識部１、車両を制御するレーンキープ制御部２、レーンキープの動作に係わるレーンキープ実行部３で構成される。
【００１４】
レーン認識部１は、車両前方の道路を撮像する撮像手段としてのカメラ５と、レーンマーク形状（種類）に対応した画像処理アルゴリズムを備える画像処理手段６と、画像処理手段６が備える複数の画像処理アルゴリズムの中から実行する画像処理アルゴリズムを選択する画像処理アルゴリズム選択手段４によって構成されている。
【００１５】
カメラ５から得られる車両前方の道路画像は、画像処理手段６によって処理され、レーン認識結果が得られる。レーン認識結果には、車両のレーンに対する位置ずれ情報と、レーンの曲率情報が含まれている。位置ずれ情報は、レーンの中央を走っていれば０、左側にずれていれば負の値、右側にずれていれば正の値で表わされ、値が大きいほどずれ量が大きい。
【００１６】
画像処理手段６のレーン認識結果は、レーンキープ制御部２で処理され、レーンキープ実行部３の制御を行う。具体的には、ステアリングアクチュエータ７の制御を行って車両をレーンに沿うように操舵の補助をしたり、車両がレーンを逸脱しかけた場合にレーン逸脱警報８を発動して運転者に警告する。
【００１７】
走行レーン認識装置（走行レーン認識部）１は、複数の画像処理アルゴリズム９〜１２を備えた画像処理手段６と、その中からレーンマーク種類に応じた画像処理アルゴリズムを選択する画像処理アルゴリズム選択手段４を具備している。
【００１８】
画像処理手段６が備えている画像処理アルゴリズム９〜１２について説明する。
【００１９】
画像処理手段６は４種類の画像処理アルゴリズムを備えている。レーンマーク形状に対応した画像処理アルゴリズムとして、白線(黄線も含む)の位置を検出する白線認識アルゴリズム９、道路鋲の位置を検出する道路鋲認識アルゴリズム１０、ポストコーンの位置を検出するポストコーン認識アルゴリズム１１、さらに、レーンマークがかすれや汚れによって視認困難な古い舗装路や、レーンマークを検出できない非舗装路や積雪時などの路面状況が劣悪な場合に、路面パターン(例えば、轍など)を検出する路面パターン認識アルゴリズム１２である。
【００２０】
レーンマークを検出するアルゴリズムの場合、画像上でのレーンマークの位置が分かれば、車両のレーンに対する位置ずれを算出できる。また、前方何メートル(例えば、１０ｍ)置きかに数箇所分のレーンの位置が求まればレーンの曲率を算出できる。一方、路面パターン認識アルゴリズム１２の場合、レーンマークの位置は分からないが、代わりに道路端や先行車の位置を検出することで車両のレーンに対する位置ずれを算出する。レーン曲率に関しては、前方の路面パターンを解析することで算出可能である。
【００２１】
各画像処理アルゴリズム９〜１２は次のような処理を実行する。
白線認識アルゴリズム９は、図１１(ａ)に示すように、路面上にペイント（敷設）された白線４１の位置を検出する。白線認識アルゴリズム９の処理フローは図３のようになる。白線４１の部分の濃度値は道路面の濃度値と比較して高いため、この特徴を利用して検出する。
【００２２】
まず、ステップＳ２１においてエッジ検出を行い、白線４１と路面との境界部分を検出する。ステップＳ２２では、検出されたエッジ点でハフ変換を行い、エッジ点が構成する直線成分を検出する。走行路線がカーブになっている場合、白線４１は曲線となるが、自車両に近い部分と自車両から遠い部分でエッジ点を分けてハフ変換を行うことで、曲線を直線近似することができる。
【００２３】
このようにして白線４１の直線成分候補を検出したら、検出された直線が白線４１のものであるのかどうかを判断するためにステップＳ２３においてレーン幅検証を実行する。一般にレーンの幅は３.５m前後であり、この情報を元に白線候補から実際の白線４１の選別が可能である。レーン幅検証は白線認識アルゴリズム９のみではなく、道路鋲認識アルゴリズム１０、ポストコーン認識アルゴリズム１１等にも同様に使用することができる。
【００２４】
画像上での白線４１の位置が検出できたら、ステップＳ２４でレーン認識結果である車両のレーンに対する位置ずれ情報とレーン曲率の情報を算出する。ステップＳ２４からステップＳ２５に移行して白線４１のレーン認識確信度を算出する。レーン認識確信度の算出方法については後述する。
【００２５】
なお、本実施例では白線４１と路面の境界線に現れるエッジ点を利用したが、白線部分は濃度値が高いため濃度値の高い部分を抽出する方法でも実現可能で、エッジ点の方法と組み合わせることで検出精度を向上させることができる。
【００２６】
道路鋲認識アルゴリズム１０は、図１１(ｂ)に示すように路面に埋め込まれた道路鋲４２の位置を検出するためのアルゴリズムである。道路鋲認識アルゴリズム１０の処理フローは図４のようになる。
【００２７】
道路鋲４２の場合、白線の場合よりも路面との濃度差が少ないことが多い。ステップＳ３１において、まずエッジ検出を行い、ステップＳ３２ではエッジが検出された近辺で道路鋲パターンマッチングの処理を実行する。
【００２８】
ステップＳ３１のエッジ検出はパターンマッチングの探索領域を限定するために使用される。ステップＳ３２の道路鋲パターンマッチングは、道路鋲４２のパターンをテンプレートとして登録しておき、そのパターンの位置をテンプレートマッチングで検出する。
【００２９】
その後、ステップＳ３３において白線４１と同様レーン幅検証を行い、条件に合わない道路鋲候補を除外する。さらに、道路鋲であれば等間隔に設置されていることから、ステップＳ３４で道路鋲設置間隔検証を行い、道路鋲候補をさらに特定する。ステップＳ３５で実行するレーン認識結果の算出は白線４１と同様であり、ステップＳ３５からステップＳ３６に移行してレーン認識確信度を算出する。ステップＳ３６のレーン認識確信度算出については後述する。
【００３０】
ポストコーン認識アルゴリズム１１は、図１１(Ｃ)に示すように、レーンを逸脱しないように路面に設置されたポストコーン４３の位置を検出するためのアルゴリズムである。ポストコーン認識アルゴリズム１１の処理フローは図５のようになる。
【００３１】
ポストコーン４３は、赤または緑色をした円筒状のポールであるため、ステップＳ４１で白線認識アルゴリズム９と同様に縦方向のエッジを検出する。また、道路鋲４２と同様に、ポストコーン４３は等間隔に設置されていることから、ステップＳ４２においてポストコーン設置間隔検証を行い、ポストコーン候補をさらに特定する。
【００３２】
その後は、白線４１や道路鋲４２と同様にステップＳ４３レーン幅検証を行い、条件に合わないポストコーン候補を除外する。ただし、ポストコーン４３の場合は高さがあるため、ポストコーン４３の根元同士でレーン幅検証を行う。ステップＳ４４のレーン認識結果の算出は白線４１と同様であり、ステップＳ４５のレーン認識確信度の算出については後述する。
【００３３】
路面パターン認識アルゴリズム１２は、図１１(ｄ)に示すようにレーンマーク４４が消えかけているなどして認識困難な場合に、路面のパターンを解析してレーンの検出を行うアルゴリズムである。路面パターン認識アルゴリズム１２の処理フローは図６ のようになる。
【００３４】
路面パターン認識アルゴリズム１２では、古くなった舗装路面についた排ガスやタイヤなど、横方向の路面濃度パターンが前方でも変化することなく同様に現れていることが前提である。
【００３５】
ステップＳ５１では横方向の路面濃度パターンを検出するため、図１２に示す路面の帯領域５１について横軸濃度投影処理を実行する。図１２(ｂ)は横軸濃度投影図であり、縦軸が濃度累積値、横軸は図１２(ａ)の横軸を表わしている。この図１２(ｂ)を基準路面濃度パターンとしておき、次フレームの画像の路面濃度パターンと横方向のみでマッチングを行う。
【００３６】
同一レーン上を走行していれば、ほぼ同位置で基準路面濃度パターンと一致するが、車両がレーンに対して左側にずれていれば基準路面濃度パターンは右位置で一致し、車両がレーンに対して右側にずれていれば基準路面濃度パターンは左側で一致する。
【００３７】
路面パターン認識アルゴリズム１２は、レーンマーク (車線の境界線)が検出できないため、前フレーム（前回のレーン認識）からの相対的なずれ量しか検知できない。車線を基準にした絶対的なずれ量を計測するには、濃度パターン中で、どの部分がレーンマークなのかを判断する必要がある。
【００３８】
そこで、先行車５２が車線の中心を走行していることを前提として、先行車５２の走行位置を参考にする。そのために、まず、ステップＳ５２において先行車を検出する。先行車５２の検出は、先行車５２は横方向の線が多いことから横エッジが密集している矩形領域を抽出して実行する。
【００３９】
先行車５２が検出できたら、ステップＳ５３に移行してレーンマーク位置推定処理を実行する。すなわち、図１２に示すように、先行車５２が走行している部分の横方向の路面濃度パターン６１を検出し、先行車５２の位置におけるレーンマーク位置の推定を行う。自車両近辺のレーンマーク位置推定は、路面濃度パターンとマッチする部分を探索して実行する。
【００４０】
ここで、先行車５２の位置は自車両の位置よりも遠方にあるため小さく見える。すなわち、先行車位置の路面濃度パターンは距離が遠いことから、画面上では自車近辺の路面濃度パターンより周期が短くなるため、周期をあわせてマッチングを行う。このように参考となる先行車の位置との路面濃度パターンマッチングを行うことでレーンからの位置ずれ量を算出可能である。
【００４１】
また、先行車が存在しない場合は、横方向路面濃度パターンのうちどの部分がレーンマークであるかを判断できないため、ステップＳ５６でレーン認識確信度を０に設定して認識不可能とする。
【００４２】
上述のアルゴリズム(白線認識アルゴリズム９、道路鋲認識アルゴリズム１０、ポストコーン認識アルゴリズム１１、路面パターン認識アルゴリズム１２)はすべて、レーン認識結果とレーン認識確信度を出力する。
【００４３】
レーン認識確信度とは、レーン認識結果の信頼性を表わす指標である。この値が低い場合、レーンマークが視認困難等の理由で正しいレーンの位置を検出できていない可能性が高い。レーン認識確信度の設定法は使用するアルゴリズムによっても異なるため、どのように設定しても良いが、認識できたかどうかを判断する指標となることから、値は０から１の間で振れるように正規化する。確信度は、１に近いほどレーン認識結果の信頼性が高く、０に近いほど低いことを示す。
【００４４】
白線認識アルゴリズム９とポストコーン認識アルゴリズム１１で実行しているエッジ点検出の認識確信度は、「認識確信度＝レーンマークのエッジ点数／路面全体のエッジ点数」のように定める。
【００４５】
また、道路鋲認識アルゴリズム１０と路面パターン認識アルゴリズム１２のパターンマッチングの認識確信度は、「認識確信度＝マッチング相関値」のように定める。
【００４６】
以上述べたように、レーンマーク形状が異なる場合にでも、複数の画像処理アルゴリズムを用意し選択して使用することにより走行レーンの認識が可能となる。
【００４７】
なお、本発明を理解するために、白線、ポストコーン、道路鋲を共通に認識する画像処理アルゴリズムの一例フローを示すと図７のようになる。ステップＳ６１〜Ｓ６４の処理となる。
【００４８】
図１に戻り、画像処理アルゴリズム選択手段４について説明する。
【００４９】
図示しない人工衛星からの電波を利用したＧＰＳ受信機１４により自車の絶対位置を特定し、道路地図データファイル１６から自車の走行路を認識する。道路地図データ１６には道路ごとにレーンマーク形状(白線、道路鋲、ポストコーン)の情報が付加されている。
【００５０】
レーンマーク種類識別手段１５は、自車の走行路からレーンマーク形状の種類を識別して画像処理装置１３に与える。画像処理装置１３は走行路のレーンマーク形状情報（画像処理アルゴリズム選択情報）を入力すると画像処理アルゴリズムを選択する。
【００５１】
なお、画像処理アルゴリズムを選択するには、道路地図データ１６に画像処理アルゴリズムの種類を付加することもできる。また、以上のようにして画像処理アルゴリズムを選択することを以後、道路地図参照法と称する。
【００５２】
図２に道路地図参照法における画像処理手段６の処理フローを示す。
まず、ステップＳ１では、画像処理アルゴリズム選択手段４から得られたレーンマーク形状によって、白線認識アルゴリズム(ステップＳ２)、道路鋲認識アルゴリズム(ステップＳ３)、ポストコーン認識アルゴリズム(ステップＳ４)のいずれかを選択する。
【００５３】
ステップＳ２は、ステップＳ１で白線認識アルゴリズム９が選択されたときに実行される。白線４１のエッジ情報や、白線部の濃度値が高いことを利用して走行レーンを検出する。出力は、レーン認識結果とレーン認識確信度である。
【００５４】
ステップＳ３は、ステップＳ１で道路鋲認識アルゴリズム１０が選択されたときに実行される。道路鋲４２のパターンをテンプレートとして登録しておき、そのパターンの位置を検出する。出力は、レーン認識結果とレーン認識確信度である。
【００５５】
ステップＳ４は、ステップＳ１でポストコーン認識アルゴリズムが選択されたときに実行される。縦方向のエッジ情報や色情報を利用したり、高さがあることから立体視の技術で検出する。夜間発光する道路鋲の場合は、濃度情報を利用することで検出可能である。出力は、レーン認識結果とレーン認識確信度である。
【００５６】
ステップＳ５では、ステップＳ２、ステップＳ３、ステップＳ４から得られたレーン認識確信度から走行レーンの検出可否を判断する。レーン認識確信度が予め設定した閾値を超えていればレーンが検出できたとみなしステップＳ８に移り、また、そうでなければレーンが検出できなかったとみなしステップＳ６に移行する。ここで、閾値とは、レーン認識確信度がこの値を超えていればレーンを認識していると判断するという判断指標であり、最初は０.５程度に設定しておき、動作を見ながら増減して調整する。
【００５７】
ステップＳ６は、ステップＳ１で選択した画像処理アルゴリズム９〜１１ではレーン検出ができなかった場合に実行される。この場合、劣化や排ガスの汚れ、積雪などの影響でレーンマークが視認しにくくなっている可能性があるため、レーンマーク以外の情報で認識できる路面パターン認識アルゴリズム１２で再度レーン検出の処理を実行する。ステップＳ６の処理結果出力は、レーン認識結果とレーン認識確信度である。
【００５８】
ステップＳ７は、ステップＳ６によって得られたレーン認識確信度からレーンの検出可否を判断する。レーン認識確信度が設定した閾値を超えていればレーンが検出できたとみなしステップＳ８に、そうでなければレーンが検出できなかったとみなしステップＳ９に処理を移す。
【００５９】
ステップＳ８は、レーンが検出できたと判断された場合に実行される。レーンキープ制御部２にレーン認識結果を出力する。ステップＳ９は、レーンが検出できなかったと判断された場合に実行される。レーンキープ制御部２にレーン検出不可の情報を出力する。
【００６０】
道路地図参照法によると、道路地図データにレーンマーク形状もしくは最適な画像処理アルゴリズムが記憶されている道路であれば、常に最適な画像処理アルゴリズムを選択することができる。そのため、無駄な試行を軽減でき、信頼性の高いレーン認識装置が提供できる。
【００６１】
また、図１の実施例では路面のレーンマーク形状を知るためにGPＳと道路地図データを使用した例で説明したが、図８のようにビーコンによる路車間通信によってレーンマーク形状を知ることもできる。すなわち、車両にビーコン受信機２１を設置しておき、道路に設置されたビーコンからレーンマーク形状情報を直接受信する方法でも同様に実現可能である。
【００６２】
図９に本発明の他の実施例を示す。
図９の実施例は、道路地図参照法を用いらずに画像処理アルゴリズムを選択する構成にしている。
【００６３】
図９において、図１と同一符号は相当物を示し、画像処理アルゴリズム選択手段４が前フレームで選択した画像処理アルゴリズムの確信度結果ファイル３２を備えている。確信度結果ファイル３２には、前フレームにおけるレーン認識アルゴリズムの種類とレーン認識確信度が記憶されている。
【００６４】
アルゴリズム選択手段３１は、確信度結果ファイル３２に記憶されている前回選択した画像処理アルゴリズムを参考にして、前回レーンが認識できていればそのまま前回の画像処理アルゴリズムを使用する。これは同形状のレーンマークは概ね連続して現れる継続性を利用したものである。以後、この画像処理アルゴリズムの選択を同一アルゴリズム継続利用法と称する。前回レーンが認識できていない場合にのみ他の画像処理アルゴリズムを試行する。
【００６５】
図１０に同一アルゴリズム継続利用法の処理フローを示す。
ステップＳ１１では、前フレームで選択した画像処理アルゴリズムのレーン認識確信度によって、今回使用する画像処理アルゴリズムを判断する。前フレームで選択した画像処理アルゴリズムのレーン認識確信度の値が設定した閾値よりも高ければ、前フレームで選択した画像処理アルゴリズムでレーンの検出が成功していると判断しステップＳ１２へ、そうでなければステップＳ１４へ移る。ただし、レーン認識装置起動直後、すなわち最初の実行時には前フレームの実行結果がないため、そのままステップＳ１４へ移る。
【００６６】
ステップＳ１２では、前フレームでレーンが検出できていると判断された画像処理アルゴリズムをそのまま使用する。画像処理アルゴリズムの種類は、白線認識アルゴリズム、道路鋲認識アルゴリズム、ポストコーン認識アルゴリズム、そして、路面パターン認識アルゴリズムである。ステップＳ１２の処理による出力は、レーン認識結果とレーン認識確信度である。
【００６７】
ステップＳ１３では、ステップＳ１２の処理で得られたレーン認識確信度からレーンの検出可否を判断する。レーン認識確信度が設定した閾値を超えていればレーンが検出できたとみなしステップＳ１７に、そうでなければレーンが検出できなかったとみなしステップＳ１４に処理を移行する。
【００６８】
ステップＳ１４は、画像処理アルゴリズムを実行した結果、レーン検出ができなかった場合、もしくは前回選択した画像処理アルゴリズムでレーン検出ができなかった場合に実行される。この場合、未実行の画像処理アルゴリズムをひとつずつ実行する。ステップＳ１４の処理出力は、レーン認識結果とレーン認識確信度である。
【００６９】
ステップＳ１５では、ステップＳ１４で得られたレーン認識確信度からレーンの検出可否を判断する。レーン認識確信度が設定した閾値を超えていればレーンが検出できたとみなしステップＳ１７に、そうでなければレーンが検出できなかったとみなしステップＳ１６に処理を移す。
【００７０】
ステップＳ１６は、レーン検出が失敗した場合に未実行のアルゴリズムを試行するために設けた分岐である。未実行の画像処理アルゴリズムが存在すればステップＳ１４に戻り、全て実行済みであればステップＳ１８に移る。
【００７１】
ただし、高速走行時には全アルゴリズムを実行していると処理時間膨大となり、レーンキープ制御部２の制御に支障をきたす可能性がある。この場合、車両の走行速度情報を利用して、高速走行時には実行回数を少なく制限することで許容処理時間内に認識結果を出力し、低速走行時には実行回数を増やすことで認識精度を高めるというようにすることもできる。
【００７２】
ステップＳ１７は、レーンが検出できたと判断された場合に実行される。レーンキープ制御部２にレーン認識結果を出力する。ステップＳ１８は、レーンが検出できなかったと判断された場合に実行される。レーンキープ制御部２にレーン検出不可の情報を出力する。
【００７３】
このように、同一アルゴリズム継続利用法では、実際の走行路のレーンマーク形状が分からないため、必ずしも走行路のレーンマーク形状に適した画像処理アルゴリズムを実行しているとは限らない。そのため、道路地図参照法に比べると認識結果の信頼性に欠けるが、この事は画像処理アルゴリズムの全実行に関しても同様である。
【００７４】
しかしながら、画像処理アルゴリズムの全実行に比べると高速処理が可能となる。また、画像処理アルゴリズム選択手段４は画像処理データファイル１１のみで良く、ＧＰＳ受信機１４と道路地図データ１６は不要となるため、道路地図参照法と比較して簡単な構成のレーン認識装置が提供できる。
【００７５】
以上のようにして走行レーンを検出するのであるが、道路画像を画像処理する画像処理手段に異なる複数の画像処理アルゴリズムを設け、車両が走行している道路によって複数の画像処理アルゴリズムの中から走行レーンに適した画像処理アルゴリズムを選択して走行レーンを検出するようにしているので、複数種類のレーンマークを安定して検出してレーンの認識精度を向上させることができる。
【００７６】
なお、上述の実施例はレーン認識装置自体で画像処理アルゴリズムを選択して走行レーンを検出するようにしているが、車両の運転者が目視でレーンマークを識別して手動で画像処理アルゴリズムを選択するようにしても同様に行えることは明らかなことである。
【００７７】
【発明の効果】
本発明は、道路画像を画像処理する画像処理手段に異なる複数の画像処理アルゴリズムを設け、車両が走行している道路によって複数の画像処理アルゴリズムの中から走行レーンに適した画像処理アルゴリズムを選択して走行レーンを検出するようにしているので、複数種類のレーンマークを安定して検出してレーンの認識精度を向上させることができる。
【図面の簡単な説明】
【図１】 本発明の一実施例を示す構成図である。
【図２】 本発明の動作を説明するための処理フロー図である。
【図３】 白線認識アルゴリズムの処理フロー図である。
【図４】 道路鋲認識アルゴリズムの処理フロー図である。
【図５】 ポストコーン認識アルゴリズムの処理フロー図である。
【図６】 路面パターン認識アルゴリズムの処理フロー図である。
【図７】 レーンマークの共通認識アルゴリズムの一例処理フロー図である。
【図８】 本発明の他の実施例を示す構成図である。
【図９】 本発明の他の実施例を示す構成図である。
【図１０】 図９の実施例の動作を説明するための処理フロー図である。
【図１１】 レーンマーク形状を表わす説明図である。
【図１２】 路面パターン認識アルゴリズムで使用する濃度投影の説明図である。
【符号の説明】
１…レーン認識部、２…レーンキープ制御部、３…レーンキープ実行部、４…画像処理アルゴリズム選択手段、５…カメラ、６…画像処理手段、７…ステアリングアクチュエータ、８…レーン逸脱警報、９…白線認識アルゴリズム、１０…道路鋲認識アルゴリズム、１１…ポストコーン認識アルゴリズム、１２…路面パターン認識アルゴリズム、１３…画像処理装置、１４…ＧＰＳ(Global Positioning System)受信機、１５…レーンマーク種類識別手段、１６…道路地図データファイル、２１…ビーコン受信機、２２…レーンマーク種類識別手段、３１…アルゴリズム選択手段、３２…アルゴリズム確信度結果ファイル、４１…白線、４２…道路鋲、４３…ポストコーン、４４…轍、４５…見えにくいレーンマーク、５１…路面の帯領域、５２…先行車。

Claims (6)

  1. 車両に搭載され車両前方の道路を撮像する撮像手段と、
    車両が走行している走行レーンからレーンマークの種類を識別し、識別したレーンマークの種類をレーンマーク形状情報として出力する画像処理アルゴリズム選択手段と、
    前記道路に敷設されている走行レーンのレーンマークの種類が白線、道路鋲、ポストコーンのいずれか２つ以上の異なる画像処理アルゴリズムを有し、前記画像処理アルゴリズム選択手段から出力された前記レーンマーク形状情報に基づいて、前記２つ以上の異なる画像処理アルゴリズムから１つの画像処理アルゴリズムを選択し、前記撮像手段で撮像された道路画像から、選択された前記画像処理アルゴリズムに基づいて車両の走行レーンを検出する画像処理手段と、
    を具備することを特徴とする走行レーン認識装置。
  2. 請求項１において、前記画像処理手段は、前記レーンマーク種類が前記白線、道路鋲、ポストコーンのいずれか２つ以上の画像処理アルゴリズムで走行レーン検出できないときに前記道路の路面パターン認識処理を実行する路面パターン認識アルゴリズムを備えていることを特徴とする走行レーン認識装置。
  3. 請求項１記載の走行レーン認識装置において、
    前記画像処理アルゴリズム選択手段は、
    前記車両が走行している道路の位置を検出する位置検出手段と、
    前記道路毎に前記白線、道路鋲、ポストコーンのいずれか２つ以上の異なるレーンマーク種類が格納された道路地図データファイルと、
    前記位置検出手段の位置情報に基づき前記道路地図データファイルから走行している道路のレーンマーク種類を取込んで識別し、識別したレーンマークの種類をレーンマーク形状情報として前記画像処理手段へ出力するレーンマーク種類識別手段と、
    を具備することを特徴とする走行レーン認識装置。
  4. 請求項３記載の走行レーン認識装置において、
    前記位置検出手段は、衛星から前記車両が走行している道路の位置情報を受信するＧＰＳ受信手段であることを特徴とする走行レーン認識装置。
  5. 請求項１記載の走行レーン認識装置において、
    前記撮像手段は、車両に搭載され車両前方の道路を撮像するカメラであって、
    前記画像処理アルゴリズム選択手段は、
    路車間通信装置から前記車両が走行している道路の前記白線、道路鋲、ポストコーンのいずれかのレーンマーク形状情報を受信するビーコン受信手段と、
    前記ビーコン受信手段で受信したレーンマーク形状情報を前記画像処理手段へ出力するレーンマーク種類識別手段と、を具備することを特徴とする走行レーン認識装置。
  6. 請求項３記載の走行レーン認識装置において、
    前記画像処理手段の画像処理アルゴリズムは、レーンマークのエッジ情報に基づいてレーンを検出、レーンマークのパターン形状を使用したパターンマッチングに基づいてレーンを検出、道路面の濃度投影情報に基づいてレーンを検出するのを含んでいることを特徴とする走行レーン認識装置。
JP2001319172A 2001-10-17 2001-10-17 走行レーン認識装置 Expired - Lifetime JP4327389B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001319172A JP4327389B2 (ja) 2001-10-17 2001-10-17 走行レーン認識装置
EP02022938A EP1304607B1 (en) 2001-10-17 2002-10-11 Lane recognition system
DE60202341T DE60202341T2 (de) 2001-10-17 2002-10-11 System zur Fahrspurerkennung
US10/271,944 US7295682B2 (en) 2001-10-17 2002-10-17 Lane recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001319172A JP4327389B2 (ja) 2001-10-17 2001-10-17 走行レーン認識装置

Publications (2)

Publication Number Publication Date
JP2003123058A JP2003123058A (ja) 2003-04-25
JP4327389B2 true JP4327389B2 (ja) 2009-09-09

Family

ID=19136757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001319172A Expired - Lifetime JP4327389B2 (ja) 2001-10-17 2001-10-17 走行レーン認識装置

Country Status (4)

Country Link
US (1) US7295682B2 (ja)
EP (1) EP1304607B1 (ja)
JP (1) JP4327389B2 (ja)
DE (1) DE60202341T2 (ja)

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
JPH0848937A (ja) * 1994-08-04 1996-02-20 Cosmo Oil Co Ltd 新規塑性加工コート剤組成物
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP3997885B2 (ja) * 2002-10-17 2007-10-24 日産自動車株式会社 レーンマーカ認識装置
JP3979339B2 (ja) * 2003-05-12 2007-09-19 日産自動車株式会社 車線逸脱防止装置
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
US7510038B2 (en) * 2003-06-11 2009-03-31 Delphi Technologies, Inc. Steering system with lane keeping integration
KR100559870B1 (ko) * 2003-11-04 2006-03-13 현대자동차주식회사 차량의 주행차로 변경방법
US7415335B2 (en) * 2003-11-21 2008-08-19 Harris Corporation Mobile data collection and processing system and methods
JP4107587B2 (ja) * 2003-12-17 2008-06-25 三菱電機株式会社 車線認識画像処理装置
JP2005251106A (ja) 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
DE102005002719A1 (de) * 2005-01-20 2006-08-03 Robert Bosch Gmbh Verfahren zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP4358147B2 (ja) * 2005-04-28 2009-11-04 本田技研工業株式会社 車両及びレーンマーク認識装置
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP4392389B2 (ja) 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
JP4365350B2 (ja) * 2005-06-27 2009-11-18 本田技研工業株式会社 車両及び車線認識装置
JP4365352B2 (ja) 2005-07-06 2009-11-18 本田技研工業株式会社 車両及びレーンマーク認識装置
JP4556133B2 (ja) * 2005-07-19 2010-10-06 本田技研工業株式会社 車両
JP4822766B2 (ja) * 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
JP4532372B2 (ja) * 2005-09-02 2010-08-25 トヨタ自動車株式会社 道路区画線検出装置
EP1968014B1 (en) * 2005-12-28 2012-12-19 Honda Motor Co., Ltd. Vehicle and lane mark detection device
US8676492B2 (en) 2006-01-19 2014-03-18 GM Global Technology Operations LLC Map-aided vision-based lane sensing
JP4901275B2 (ja) * 2006-04-07 2012-03-21 富士重工業株式会社 走行誘導障害物検出装置および車両用制御装置
JP4680131B2 (ja) * 2006-05-29 2011-05-11 トヨタ自動車株式会社 自車位置測定装置
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
DE102006038018A1 (de) 2006-08-14 2008-02-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung
EP1906339B1 (en) 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
FR2906362B1 (fr) * 2006-09-26 2009-01-02 Valeo Vision Sa Procede de determination anticipee d'un virage sur une portion de route et systeme associe.
JP4605145B2 (ja) 2006-11-14 2011-01-05 トヨタ自動車株式会社 車線検出装置
JP2008168811A (ja) * 2007-01-12 2008-07-24 Honda Motor Co Ltd 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP4703605B2 (ja) * 2007-05-31 2011-06-15 アイシン・エィ・ダブリュ株式会社 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
JP4446204B2 (ja) * 2007-10-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 車両用ナビゲーション装置及び車両用ナビゲーションプログラム
DE102007051966A1 (de) 2007-10-31 2009-05-07 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zur Erkennung des Verlaufs einer Fahrspur
JP4973736B2 (ja) * 2007-12-05 2012-07-11 日本電気株式会社 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP4849346B2 (ja) 2008-09-08 2012-01-11 トヨタ自動車株式会社 路面区画マーク認識装置および車線逸脱防止装置
DE102009050368A1 (de) 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US20100114431A1 (en) * 2008-10-31 2010-05-06 Volkswagen Group Of America, Inc. Method for Controlling Vehicle Dynamics
US9090285B2 (en) * 2008-12-05 2015-07-28 Volkswagen Group Of America, Inc. Method for providing a lanekeeping assistance based on modifying mechanical sources of steering torques
JP5233696B2 (ja) * 2009-01-21 2013-07-10 株式会社デンソー レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP4788778B2 (ja) * 2009-01-27 2011-10-05 株式会社デンソー 逸脱警報装置、および逸脱警報プログラム
US8964032B2 (en) 2009-01-30 2015-02-24 Magna Electronics Inc. Rear illumination system
JP5375249B2 (ja) * 2009-03-25 2013-12-25 株式会社Ｉｈｉ 移動経路計画装置、移動体制御装置及び移動体
DE102009003698A1 (de) 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Fahrspurerkennung
JP4988786B2 (ja) 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 境界線認識装置
FR2947231B1 (fr) * 2009-06-30 2013-03-29 Valeo Vision Procede pour determiner de maniere predictive des situations routieres d'un vehicule
DE102009027547A1 (de) * 2009-07-08 2011-01-13 Robert Bosch Gmbh Assistenzsystem für ein Kraftfahrzeug
JP5564920B2 (ja) * 2009-12-08 2014-08-06 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
TW201122848A (en) * 2009-12-29 2011-07-01 Ind Tech Res Inst Method and system for calculating image recognition rate and embedded image processing system
WO2011085489A1 (en) 2010-01-13 2011-07-21 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
US8612164B2 (en) * 2010-02-10 2013-12-17 Chevron U.S.A. Inc. Method of maintaining a pipeline
JP5220787B2 (ja) 2010-03-08 2013-06-26 株式会社日本自動車部品総合研究所 車載白線認識装置
JP5035371B2 (ja) * 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム，横断歩道検出方法及びプログラム
JP5209656B2 (ja) 2010-03-23 2013-06-12 株式会社日本自動車部品総合研究所 車載白線認識装置
DE112011101635A5 (de) * 2010-05-11 2013-03-28 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrschlauchs
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
DE102012103669A1 (de) 2012-04-26 2013-10-31 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung
US9538144B2 (en) * 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
CN103489149B (zh) * 2012-06-08 2017-08-29 联想(北京)有限公司 一种图像获取的方法及一种电子设备
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
US9109907B2 (en) * 2012-07-24 2015-08-18 Plk Technologies Co., Ltd. Vehicle position recognition apparatus and method using image recognition information
DE102012106932A1 (de) 2012-07-30 2014-05-15 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung mit Positionspunkten
TWI625260B (zh) * 2012-11-20 2018-06-01 Method and system for detecting lane curvature by using body signal
TW201434695A (zh) * 2013-03-08 2014-09-16 E Lead Electronic Co Ltd 行車安全距離顯示方法
DE102013017795C5 (de) * 2013-10-25 2018-01-04 Lessmüller Lasertechnik GmbH Prozessüberwachungsverfahren und -vorrichtung
WO2015112133A1 (en) 2014-01-22 2015-07-30 Empire Technology Development Llc Relative gps data refinement
JP2016134136A (ja) * 2015-01-22 2016-07-25 キャンバスマップル株式会社 画像処理装置、および画像処理プログラム
JP6174644B2 (ja) * 2015-09-01 2017-08-02 本田技研工業株式会社 画像処理装置
US11228700B2 (en) 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
JP6611334B2 (ja) * 2016-02-29 2019-11-27 クラリオン株式会社 区画線認識装置
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
EP3460755A4 (en) * 2016-05-18 2019-03-27 Panasonic Intellectual Property Management Co., Ltd. METHOD FOR TRAVEL SPECIFICATION AND DEVICE FOR TRAVEL SPECIFICATION
US10300859B2 (en) 2016-06-10 2019-05-28 Magna Electronics Inc. Multi-sensor interior mirror device with image adjustment
JP6835499B2 (ja) * 2016-07-29 2021-02-24 株式会社ゼンリン 制御システム及び制御システムに用いられる地図データのデータ構造
JP6302519B2 (ja) * 2016-09-06 2018-03-28 株式会社Ｓｕｂａｒｕ 車両の運転支援装置
JP6637399B2 (ja) * 2016-09-30 2020-01-29 株式会社デンソー 領域認識装置及び領域認識方法
EP3591381A4 (en) * 2017-03-29 2021-01-13 Pioneer Corporation DEVICE FOR IDENTIFYING A deteriorated GROUND-BASED OBJECT, SYSTEM FOR IDENTIFYING a deteriorated GROUND-BASED OBJECT, METHOD FOR IDENTIFYING a deteriorated GROUND-BASED OBJECT, PROGRAM FOR IDENTIFYING a deteriorated GROUND BASED POINTS AND COMPUTER READABLE RECORDING MEDIUM WITH recorded thereon PROGRAM FOR IDENTIFYING a deteriorated GROUND BASED POINTS
JP6450413B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 車両制御装置
US10296795B2 (en) 2017-06-26 2019-05-21 Here Global B.V. Method, apparatus, and system for estimating a quality of lane features of a roadway
CN110740915B (zh) * 2017-06-27 2022-11-15 本田技研工业株式会社 行驶控制***以及车辆的控制方法
JP6830865B2 (ja) * 2017-07-03 2021-02-17 アルパイン株式会社 車線認識装置
JP6935977B2 (ja) * 2017-07-31 2021-09-15 アルパイン株式会社 レーンマーク検出装置
DE102017123842A1 (de) 2017-10-13 2019-04-18 Connaught Electronics Ltd. Fahrspurerfassungsverfahren
US10895460B2 (en) * 2017-11-06 2021-01-19 Cybernet Systems Corporation System and method for generating precise road lane map data
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
EP3567518B1 (en) 2018-05-08 2022-05-18 Aptiv Technologies Limited Lane marker recognition
US11138447B2 (en) * 2018-06-01 2021-10-05 Connaught Electronics Ltd. Method for detecting raised pavement markers, computer program product and camera system for a vehicle
CN109657641B (zh) * 2018-12-29 2021-02-02 北京经纬恒润科技股份有限公司 一种车辆主辅路判断方法及装置
US11249184B2 (en) 2019-05-07 2022-02-15 The Charles Stark Draper Laboratory, Inc. Autonomous collision avoidance through physical layer tracking
US20200361452A1 (en) * 2019-05-13 2020-11-19 Toyota Research Institute, Inc. Vehicles and methods for performing tasks based on confidence in accuracy of module output
CN112289022B (zh) * 2020-09-29 2022-02-25 西安电子科技大学 基于时空背景比对的黑烟车检测判定方法及***
JP2022060074A (ja) * 2020-10-02 2022-04-14 株式会社Subaru 車両の運転支援装置
CN112511383A (zh) * 2020-11-26 2021-03-16 杭州迪普信息技术有限公司 网络流量监测方法及装置
CN114596698B (zh) * 2020-12-03 2024-01-23 腾讯科技（深圳）有限公司 道路监控设备位置判断方法、装置、存储介质及设备
KR102443142B1 (ko) * 2021-12-27 2022-09-14 주식회사 소네트 향상된 차선 인식 기능을 가지는 조향 제어 장치 및 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6168909A (ja) * 1984-09-12 1986-04-09 日本メクトロン株式会社 車間距離標示用道路標示構造
JPH07104943B2 (ja) * 1988-02-29 1995-11-13 株式会社日立製作所 物体認識装置
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP2687645B2 (ja) * 1990-01-24 1997-12-08 トヨタ自動車株式会社 車両用位置標定装置
US5351044A (en) * 1992-08-12 1994-09-27 Rockwell International Corporation Vehicle lane position detection system
JP2888735B2 (ja) 1993-06-01 1999-05-10 松下電器産業株式会社 走行レーン検出装置
JP2798349B2 (ja) 1993-11-08 1998-09-17 松下電器産業株式会社 車両位置検出装置
JP3146807B2 (ja) 1993-11-15 2001-03-19 トヨタ自動車株式会社 道路白線検出装置
JP3290318B2 (ja) * 1994-11-30 2002-06-10 三菱電機株式会社 車載用画像処理装置、車載用道路監視装置及び車両制御装置
US6526352B1 (en) * 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
JP3413745B2 (ja) * 1995-12-18 2003-06-09 株式会社日立製作所 画像処理による走行路面の監視装置
JPH09223218A (ja) * 1996-02-15 1997-08-26 Toyota Motor Corp 走路検出方法及び装置
JP3588922B2 (ja) * 1996-07-08 2004-11-17 トヨタ自動車株式会社 車両走行誘導システム
US5835028A (en) * 1997-05-05 1998-11-10 Bender; Lee Lane marker position sensor and alarm
JPH10320559A (ja) * 1997-05-20 1998-12-04 Nissan Motor Co Ltd 車両用走行路検出装置
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
JPH1186182A (ja) * 1997-09-01 1999-03-30 Honda Motor Co Ltd 自動運転制御システム
JP3527084B2 (ja) 1998-01-13 2004-05-17 明星食品株式会社 即席乾燥麺類の製造方法
JP4329088B2 (ja) * 1998-02-18 2009-09-09 株式会社エクォス・リサーチ 車両制御装置
JP3509620B2 (ja) * 1998-04-21 2004-03-22 株式会社デンソー 画像前処理装置、レーンマーク認識装置、車両走行制御装置および記録媒体
KR20000025578A (ko) * 1998-10-13 2000-05-06 윤종용 차로의 모델링 방법 및 그를 이용한 차선 인식 방법
JP2000302055A (ja) * 1999-04-20 2000-10-31 Honda Motor Co Ltd 車線追従制御装置
JP3333468B2 (ja) * 1999-05-24 2002-10-15 本田技研工業株式会社 車両自律走行の走行路画像処理装置
JP2001014595A (ja) * 1999-06-29 2001-01-19 Mitsubishi Motors Corp 車両用走行レーン検知装置
JP3785880B2 (ja) * 1999-11-18 2006-06-14 株式会社明電舎 映像監視システムおよび映像監視方法
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
KR20020094545A (ko) * 2001-06-12 2002-12-18 현대자동차주식회사 자동차의 차선 이탈 방지시스템 및 그 제어방법

Also Published As

Publication number Publication date
EP1304607B1 (en) 2004-12-22
JP2003123058A (ja) 2003-04-25
DE60202341D1 (de) 2005-01-27
EP1304607A1 (en) 2003-04-23
US20030072471A1 (en) 2003-04-17
US7295682B2 (en) 2007-11-13
DE60202341T2 (de) 2005-12-22

Similar Documents

Publication Publication Date Title
JP4327389B2 (ja) 走行レーン認識装置
US8600655B2 (en) Road marking recognition system
JP4506790B2 (ja) 道路情報生成装置、道路情報生成方法および道路情報生成プログラム
US8085984B2 (en) Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
JP3958133B2 (ja) 車両位置測定装置および方法
EP1223407A1 (en) Vehicle-mounted position computing apparatus
JP6560355B2 (ja) ランドマーク認識装置及び認識方法
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
CN107957258B (zh) 道路标记识别装置
JPH09152348A (ja) カーナビゲーション装置
JP6303362B2 (ja) マップマッチング装置及びこれを備えたナビゲーション装置
US20210256274A1 (en) Apparatus for estimating road parameter
JP2007178271A (ja) 自位置認識システム
US11861841B2 (en) Lane estimation device, method, and program
KR20090055848A (ko) 신호등 인식 장치 및 방법
US20100241343A1 (en) Apparatus and method for recognizing traffic line
JP2010210477A (ja) ナビゲーション装置
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
JP2012175483A (ja) 車線認識装置及び車線認識方法
JP2010139478A (ja) ナビゲーション装置
JP2004184089A (ja) 現在位置特定装置および現在位置特定方法
KR100809417B1 (ko) 주행 차선의 상대적 위치 인식 장치 및 방법
JP2018036075A (ja) 自車位置特定装置、自車位置特定方法
JP5549468B2 (ja) 地物位置取得装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4327389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350