JP5462609B2 - 停止線認識装置 - Google Patents

停止線認識装置 Download PDF

Info

Publication number
JP5462609B2
JP5462609B2 JP2009279753A JP2009279753A JP5462609B2 JP 5462609 B2 JP5462609 B2 JP 5462609B2 JP 2009279753 A JP2009279753 A JP 2009279753A JP 2009279753 A JP2009279753 A JP 2009279753A JP 5462609 B2 JP5462609 B2 JP 5462609B2
Authority
JP
Japan
Prior art keywords
stop line
line recognition
traffic light
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009279753A
Other languages
English (en)
Other versions
JP2011123613A (ja
Inventor
新也 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2009279753A priority Critical patent/JP5462609B2/ja
Priority to DE102010060926A priority patent/DE102010060926A1/de
Priority to US12/959,884 priority patent/US8638990B2/en
Priority to CN201010590732.2A priority patent/CN102145693B/zh
Publication of JP2011123613A publication Critical patent/JP2011123613A/ja
Application granted granted Critical
Publication of JP5462609B2 publication Critical patent/JP5462609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、走行路前方の停止線を認識する停止線認識装置に関する。
近年、ITS(Intelligent Transport System)の一環として、様々な車両用運転支援装置が開発されている。例えば、特許文献1には、CCDカメラが撮像した画像信号に対してテンプレートマッチング等の画像認識処理を施すことで、自車両が停止すべきことを示す特定対象物を抽出し、抽出した特定対象物に基づいて車両を停止させるための運転支援を行う技術が開示されている。ここで、特許文献1の技術では、特定対象物として、先行車両がブレーキ操作を行っていることを示す発光したブレーキランプ、赤信号となっている信号機、一時停止を指示する道路標識等が検出され、さらに、停止線の位置等が認識される。
特開2005−170154号公報
ところで、車両の停止制御等の運転支援を行うに際し、道路上に設けられた停止線は、一般に、交差点等における停止時の指標としてのみ用いられるものであり、先行車両や信号機等のように自車両を停止させる必要があるか否かを直接的に判定するための対象ではないため、常時認識される必要性が乏しい。
従って、先行車両や信号機等と同等のレベルで、停止線の認識処理を定常的に行った場合、不要な演算負荷を増大させ、結果として、運転支援制御自体の処理時間の長大化等を招く虞がある。
また、例えば、自車走行路上を複数の街路樹の陰が横切っている場合等においては、当該陰によって道路上に形成される明暗模様が画像上では停止線と誤認識される可能性がある等、定常的に停止線の認識処理を行うことは停止線の認識精度を低下させる要因ともなる。
本発明は上記事情に鑑みてなされたもので、過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる停止線認識装置を提供することを目的とする。
本発明の一態様による停止線認識装置は、自車走行路を含む前方の車外環境を撮像する撮像手段と、前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、自車走行路前方の信号機を認識する信号機認識手段と、前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備え、前記撮像手段はカラー画像を撮像する撮像手段であって、前記信号機認識手段は、前記撮像手段で撮像したカラー画像に基づいて自車走行路上の直前の信号機を認識し、前記停止線認識手段は、自車前方で車幅方向に延在し且つ前記信号機認識手段で認識した信号機の画像上における車幅方向の位置に応じて車幅方向の位置が可変な停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識するものである。
また、本発明の他の態様による停止線認識装置は、自車走行路を含む前方の車外環境を撮像する撮像手段と、前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、自車走行路前方の信号機を認識する信号機認識手段と、前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備え、前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、自車走行路上の直前の信号機が青信号に変化したとき、前記実行許可を解除するものである。
本発明の停止線認識装置によれば、過大な演算負荷を発生させることなく、自車両の制御に必要な停止線を精度良く認識することができる。
本発明の第1の実施形態に係わり、車両用運転支援装置の概略構成図 同上、停止線認識ルーチンを示すフローチャート 同上、信号機認識サブルーチンを示すフローチャート 同上、信号機及び停止線の各認識枠を示す説明図 同上、画像上に設定した停止線認識枠の一例を示す説明図 本発明の第2の実施形態に係わり、停止線認識ルーチンを示すフローチャート 同上、画像上に設定した停止線認識枠の一例を示す説明図
以下、図面を参照して本発明の形態を説明する。図面は本発明の第1の実施形態に係わり、図1は車両用運転支援装置の概略構成図、図2は停止線認識ルーチンを示すフローチャート、図3は信号機認識サブルーチンを示すフローチャート、図4は信号機及び停止線の各認識枠を示す説明図、図5は画像上に設定した停止線認識枠の一例を示す説明図である。
図1において、自動車等の車両(自車両)1に搭載される車両用運転支援装置2は、撮像光学系3と、画像処理ユニット4と、走行制御ユニット5とを備えて要部が構成されている。
撮像光学系3は、例えば、車室内前部の天井に固設された撮像手段としての単眼のカメラ3aを中心として要部が構成され、自車走行路を含む前方の車外環境を撮像する。ここで、本実施形態のカメラ3aは、例えば、カラーCCDを搭載したカラーカメラで構成され、撮像したカラー画像上の下部領域に自車走行路を位置させるとともに、自車走行路上に信号機等が存在する場合には当該信号機等をカラー画像上の上部領域に位置させるよう、その撮像範囲及び光軸等が設定されている。
画像処理ユニット4は、後述する停止線認識ルーチンに従って、道路上の停止線を認識する。この停止線認識処理において、画像処理ユニット4は、先ず、自車走行路前方の信号機(交通信号機)の認識を行い、自車走行路上に信号機が存在し且つ自車走行路上の直前の信号機が赤信号であることを認識したとき、停止線認識モードへと移行する。
そして、停止線認識モードへと移行すると、画像処理ユニット4は、撮像光学系3から入力された画像上の下部領域に、車幅方向に延在する停止線認識枠R1(図4参照)を設定し、当該停止線認識枠R1内の輝度の時系列的な変化に基づいて停止線を認識する。この場合において、停止線認識枠R1は、例えば、車幅方向に連なる6個の小領域Ra,Rb,Rc,Rd,Re,Rfからなる細長な観察枠で構成され、自車走行路が平坦な水平路である場合に、自車両1から設定距離L1前方(例えば、10m前方)の路面を表示する画像上の領域に対応して配置されている。そして、画像処理ユニット4は、例えば、6つの小領域Ra〜Rfのうち、連続する少なくとも3つの小領域、すなわち、Ra,Rb,Rc、或いは、Rb,Rc,Rd、或いは、Rc,Rd,Re、或いは、Rd,Re,Rfの何れかの平均輝度が、低い状態から高くなり、その後低くなった場合に停止線が存在すると判定する。ここで、6つの領域Ra〜Rfの全てが、同時に輝度変化をするときに停止線と判定するという条件にしなかったのは、停止線の長さが短いものに対応するためであり、また、停止線の長さが長いものでも、自車両1が停止線に対して略垂直に侵入しなければ、両端の小領域のどちらかが停止線からはみ出してしまう可能性があるからである。なお、6つの小領域Ra〜Rfのうち、連続する3つの小領域の平均輝度が大きくなった、或いは、小さくなったと判断する比較基準となる閾値(輝度差判定閾値)は、走行環境の状況に応じて可変されるようになっている。例えば、昼間の日向では、閾値は比較的大きな値に設定され、昼間の日陰(例えば、停止線認識枠R1全体の平均輝度が低く、且つ、ヘッドライトがOFF状態の場合)では、閾値は低い値に設定され、夜間の場合は閾値は大きな値に設定される。
ここで、例えば、図1中に破線で示すように、道路付帯設備等との路車間通信や他の車両との車車間通信等が可能な無線機7を搭載している場合、画像処理ユニット4は、無線機7を通じて収集した各種車外情報に基づいて自車走行路上の信号機を認識することも可能であるが、撮像光学系3でカラー画像を取得する本実施形態においては、画像上の上部領域に信号機認識枠R2(図4参照)を設定し、当該信号機認識枠R2に対するパターンマッチング(テンプレートマッチング)等の処理に基づいて赤信号の認識が行われる。
このように、本実施形態において、画像処理ユニット4は、停止線認識手段、信号機認識手段及び許可判定手段としての各機能を有する。
走行制御ユニット5には、例えば、コンビネーションメータ上に配設された警報ランプ18や警報ブザー19等が接続されている。そして、走行制御ユニット5は、例えば、画像処理ユニット4で停止線が検出されたとき(すなわち、自車走行路上の直前の信号が赤信号であり、且つ、自車両1から設定距離L1前方(例えば、10m前方)に停止線が検出されたとき)、必要に応じて、警報ランプ18や警報ブザー19を通じた警報出力を行う。なお、このような警報出力に加え、走行制御ユニット5は、停止線に対し、例えば、スロットル弁制御やブレーキ介入による制動制御等を適宜行うことも可能である。
次に、画像処理ユニット4で実行される停止線認識制御について、図2に示す停止線認識ルーチンのフローチャートに従って説明する。このルーチンは設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、画像処理ユニット4は、先ず、ステップS101において、撮像光学系3で撮像された自車前方の画像信号を取り込む。
続くステップS102において、画像処理ユニット4は、取り込んだ画像信号に基づく信号機認識を行う。この信号機認識は、例えば、図3に示す信号機認識サブルーチンのフローチャートに従って実行されるもので、このサブルーチンがスタートすると、画像処理ユニット4は、ステップS201において、画像上の上部領域に信号機認識枠R2(図4参照)を設定する。
ステップS201からステップS202に進むと、画像処理ユニット4は、信号機認識枠R2内の画素群に対するパターンマッチング等を行い、信号機の抽出処理を行った後、ステップS203に進む。
そして、ステップS203において、画像処理ユニット4は、自車走行路上に信号機が抽出されたか否かを調べ、信号機が抽出されなかったと判定した場合、そのままサブルーチンを抜ける。ここで、画像処理ユニット4は、例えば、車速センサ11で検出される自車速V及びヨーレートセンサ12で検出されるヨーレートγに基づいて自車両1の進行方向を推定し、当該自車進行方向に基づいて画像上での自車走行路を推定することが可能である。或いは、画像処理ユニット4は、例えば、周知のパターンマッチング等を用いて画像上の白線認識を行い、認識した白線に基づいて自車走行路を推定することが可能である。
一方、ステップS203において、自車走行路上に信号機が抽出されたと判定した場合、画像処理ユニット4は、ステップS204に進み、自車走行路上に複数の信号機が抽出されたか否かを調べる。
そして、画像処理ユニット4は、ステップS204において、単一の信号機のみが抽出されたと判定した場合にはステップS206に進み、複数の信号機が抽出されたと判定した場合にはステップS205に進む。
ステップS204からステップS205に進むと、画像処理ユニット4は、自車走行路上の信号機の中から自車両1に最も近い信号機を選択した後、ステップS205に進む。ここで、一般に、道路上に配される信号機のサイズは略画一的なものであるため、画像処理ユニット4は、画像上で抽出された信号機の大きさに基づいて自車両1から各信号機までの距離を算出することが可能である。
そして、ステップS204或いはステップS205からステップS206に進むと、画像処理ユニット4は、自車走行路上で抽出された直前の信号機が自車両1から設定距離L2(L2>L1)以内の位置に存在するか否かを調べる。
そして、ステップS206において、自車走行路上の直前の信号機が自車両1から設定距離L2以上離間した位置に存在していると判定した場合、画像処理ユニット4は、そのままサブルーチンを抜ける。
一方、ステップS206において、自車走行路上の直前の信号機が自車両1から設定距離L2以内の位置に存在すると判定した場合、画像処理ユニット4は、ステップS207に進み、自車走行路上の直前の信号機の点灯色を判定(すなわち、赤信号か否かを判定)した後、サブルーチンを抜ける。
図2のメインルーチンにおいて、ステップS102からステップS103に進むと、画像処理ユニット4は、現在の制御状態が停止線認識モードであるか否かを調べ、停止線認識モードでないと判定した場合にはステップS104に進み、停止線認識モードであると判定した場合にはステップS107に進む。
ステップS103からステップS104に進むと、画像処理ユニット4は、上述のステップS102の処理において自車走行路上の直前に赤信号が検出されているか否か(すなわち、自車走行路上の設定距離L2以内の位置に直前の信号機が検出されており且つその信号機が赤信号であるか否か)を調べる。
そして、ステップS104において、自車走行路上の直前に赤信号が検出されていないと判定した場合(すなわち、自車走行路上の設定距離L2以内の位置に直前の信号機が存在しないと判定した場合、或いは、自車走行路上の設定距離L2以内の位置に直前の信号機が存在する場合であってもその信号機が赤信号以外である場合等)、画像処理ユニット4は、そのままルーチンを抜ける。
一方、ステップS104において、自車走行路上の直前に赤信号が検出されていると判定した場合、画像処理ユニット4は、ステップS105に進み、制御状態を停止線認識モードへと移行し、続くステップS106において、警報ランプ18や警報ブザーから発する光や音によって停止線認識モードに移行した旨をドライバに警告した後、ステップS110に進む。
また、ステップS103からステップS107に進むと、画像処理ユニット4は、上述のステップS102の処理において自車走行路上の直前に青信号が検出されているか否か(すなわち、自車走行路上の設定距離L2以内の位置に信号機が検出されており且つその信号機が青信号であるか否か)を調べる。
そして、ステップS107において、自車走行路上の直前に青信号が検出されていると判定した場合、画像処理ユニット4は、ステップS109に進む。
一方、ステップS107において、自車走行路上の直前に青信号が検出されていないと判定した場合(すなわち、自車走行路上の設定距離L2以内の位置に信号機自体が検出されていない場合、或いは、自車走行路上の設定距離L2以内の位置に信号機が検出されており且つその信号機が赤信号である場合等)、画像処理ユニット4は、ステップS108に進み、停止線認識モードに移行後の経過時間が設定時間以上であるか否かを調べる。
そして、画像処理ユニット4は、ステップS108において、停止線認識モード移行後の経過時間が設定時間以上であると判定した場合にはステップS109に進み、停止線認識モード移行後の経過時間が設定時間未満であると判定した場合にはステップS110に進む。
そして、ステップS107或いはステップS108からステップS109に進むと、画像処理ユニット4は、停止線認識モードを解除した後、ルーチンを抜ける。すなわち、ステップS107で青信号が検出される場合とは、具体的には、これまで赤信号であった自車走行路上の直前の信号機が青信号に変化した場合であり、このような場合、自車両1を停止線で停止させる必要性が解消されたと判断できるため、画像処理ユニット4は、停止線認識モードを解除する。また、ステップS108で停止線認識モード移行後の経過時間が設定時間以上である場合とは、具体的には、ドライバが自車走行路上の直前の赤信号に対応して自車両1を既に停止させた場合や停止のための減速等を行っている場合や、既に停止線の認識が完了している場合等が想定されるため、画像処理ユニット4は、停止線認識モードを解除する。
一方、ステップS106或いはステップS108からステップS110に進むと、画像処理ユニット4は、ステップS101で取り込んだ画像上に停止線認識枠R1を設定する(図5参照)。
続くステップS111において、画像処理ユニット4は、停止線認識枠R1の各小領域Ra〜Rf内の各平均輝度を算出し、各小領域Ra〜Rf内の各平均輝度の時系列的な輝度変化の検出処理を行う。
そして、ステップS112に進むと、画像処理ユニット4は、ステップS111において時系列的に特定の輝度変化が検出されたか否か(すなわち、予め設定された判定時間T内において、連続する少なくとも3つの小領域の平均輝度が、時系列的に、低い状態から高くなり、その後低くなったか否か)を調べ、時系列的な特定の輝度変化が検出されていないと判定した場合、そのままルーチンを抜ける。ここで、判定時間Tは、車速センサ11で検出される自車速Vに応じて可変設定されることが望ましく、具体的には、自車速Vが高くなるほど短く設定されることが望ましい。
一方、ステップS113において、時系列的な特定の輝度変化が検出されたと判定した場合、画像処理ユニット4は、ステップS113に進み、時系列的な特定の輝度変化が検出された小領域に対応する画像上の位置に停止線が存在することを判定した後、ルーチンを抜ける。
このような実施形態によれば、自車走行路前方の信号機の認識を行い、自車走行路上の直前の信号機が設定距離L2以内の位置に存在し且つその信号機が赤信号であることを認識したとき、停止線認識モードへと移行して停止線の認識処理を実行することにより、不要な場面での停止線認識処理の実行を的確に排除することができる。従って、過大な演算負荷を発生させることなく、自車両1の制御に必要な停止線を精度良く認識することができる。すなわち、自車走行路上の直線の信号機が赤信号である場合に限って停止線の認識処理を行うことにより、不要な場面での停止線の認識処理を排除することができる。また、自車走行路上の直前に信号機が存在しない場合には停止線の認識処理を行わないため、本来なら停止線が存在し得ない道路上での停止線の誤認識等を防止することができ、停止線の認識精度を向上することができる。
この場合において、カラーカメラ等からなる単眼のカメラ3aを中心として撮像光学系3を構成し、撮像したカラー画像の上部領域に対するパターンマッチング等の処理を行うことにより、新たな装置等を別途追加することなく、自車走行路上に存在する信号機の認識を実現することができる。
次に、図6,7は本発明の第2の実施形態に係わり、図6は停止線認識ルーチンを示すフローチャート、図7は画像上に設定した停止線認識枠の一例を示す説明図である。なお、本実施形態は、自車走行路上の直前に検出した信号機の位置に応じて、画像上での停止線認識枠R1の車幅方向の位置を可変に設定する点が、上述の第1の実施形態に対して主として異なる。その他、上述の第1の実施形態と同様の構成及び同様の処理等については説明を省略する。
本実施形態において、画像処理ユニット4で実行される停止線認識制御は、図6に示す停止線認識ルーチンのフローチャートに従って所定時間毎に繰り返し実行されるもので、このルーチンがスタートすると、画像処理ユニット4は、ステップS301〜S309において、上述の第1の実施形態におけるステップS101〜S109と同様の処理を行う。
そして、ステップS306或いはステップS308からステップS310に進むと、画像処理ユニット4は、画像上における、車幅方向中心から信号機(自車走行路上の直前の赤信号)の中心までの距離を、信号機横位置Xsigとして算出する(図7参照)。
そして、ステップS310からステップS311に進むと、画像処理ユニット4は、信号機横位置Xsigに対して予め設定されたゲインGxを乗算することによって停止線認識枠R1の横位置オフセット量Xofsetを算出し、続くステップS312において、画像中心に対して車幅方向にXofsetだけオフセットさせた位置に停止線認識枠R1を設定する(図7参照)。
そして、画像処理ユニット4は、ステップS312で設定した停止線認識枠R1を用い、ステップS313〜ステップS315において、上述の第1の実施形態のステップS111〜ステップS113と同様の処理を行った後、ルーチンを抜ける。
このような実施形態によれば、自車走行路上の直前の信号機の車幅方向の位置に応じて停止線認識枠R1を設定することにより、自車前方のカーブ等にも対応した好適な位置に停止線認識枠R1を設定することができ、停止線の認識精度をさらに向上することができる。この場合、特に、同一の画像上で認識した自車走行路上の直前の赤信号の車幅方向の位置に基づいて、停止線認識枠R1の位置を可変設定させるので、信号機と停止線認識枠R1との関係を精度良くリンクさせることができる。
1 … 車両(自車両)
2 … 車両用運転支援装置
3 … 撮像光学系
3a … カメラ(撮像手段)
4 … 画像処理ユニット(停止線認識手段、信号機認識手段、許可判定手段)
5 … 走行制御ユニット
7 … 無線機
11 … 車速センサ
12 … ヨーレートセンサ
18 … 警報ランプ
19 … 警報ブザー

Claims (11)

  1. 自車走行路を含む前方の車外環境を撮像する撮像手段と、
    前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、
    自車走行路前方の信号機を認識する信号機認識手段と、
    前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備え
    前記撮像手段はカラー画像を撮像する撮像手段であって、
    前記信号機認識手段は、前記撮像手段で撮像したカラー画像に基づいて自車走行路上の直前の信号機を認識し、
    前記停止線認識手段は、自車前方で車幅方向に延在し且つ前記信号機認識手段で認識した信号機の画像上における車幅方向の位置に応じて車幅方向の位置が可変な停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする停止線認識装置。
  2. 前記停止線認識手段は、前記停止線認識枠内の輝度が判定時間内において時系列的に、設定輝度以下の状態から設定輝度以上へと変化し、再び設定輝度以下の状態に変化したとき、前記停止線認識枠内の輝度を設定輝度以上へと変化させた画像上の領域に停止線が存在することを判定することを特徴とする請求項1記載の停止線認識装置。
  3. 前記判定時間は、自車両の車速が速くなるほど短くなるよう可変設定されることを特徴とする請求項2記載の停止線認識装置。
  4. 前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、自車走行路上の直前の信号機が青信号に変化したとき、前記実行許可を解除することを特徴とする請求項1乃至請求項3の何れか1項に記載の停止線認識装置。
  5. 前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、設定時間が経過したとき、前記実行許可を解除することを特徴とする請求項1乃至請求項4の何れか1項に記載の停止線認識装置。
  6. 自車走行路を含む前方の車外環境を撮像する撮像手段と、
    前記撮像手段によって撮像した画像に基づいて自車走行路上に存在する停止線を認識する停止線認識手段と、
    自車走行路前方の信号機を認識する信号機認識手段と、
    前記信号機認識手段によって自車走行路上の直前の信号機が赤信号であることを認識したとき、前記停止線認識手段に対して停止線の認識処理の実行を許可する許可判定手段と、を備え、
    前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、自車走行路上の直前の信号機が青信号に変化したとき、前記実行許可を解除することを特徴とする停止線認識装置。
  7. 前記停止線認識手段は、自車前方で車幅方向に延在する停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする請求項6記載の停止線認識装置。
  8. 前記撮像手段はカラー画像を撮像する撮像手段であって、
    前記信号機認識手段は、前記撮像手段で撮像したカラー画像に基づいて自車走行路上の直前の信号機を認識し、
    前記停止線認識手段は、自車前方で車幅方向に延在し且つ前記信号機認識手段で認識した信号機の画像上における車幅方向の位置に応じて車幅方向の位置が可変な停止線認識枠を画像上に設定し、前記停止線認識枠内の輝度の時系列的な変化に基づいて停止線を認識することを特徴とする請求項6記載の停止線認識装置。
  9. 前記停止線認識手段は、前記停止線認識枠内の輝度が判定時間内において時系列的に、設定輝度以下の状態から設定輝度以上へと変化し、再び設定輝度以下の状態に変化したとき、前記停止線認識枠内の輝度を設定輝度以上へと変化させた画像上の領域に停止線が存在することを判定することを特徴とする請求項6または請求項8に記載の停止線認識装置。
  10. 前記判定時間は、自車両の車速が速くなるほど短くなるよう可変設定されることを特徴とする請求項9記載の停止線認識装置。
  11. 前記許可判定手段は、前記停止線認識手段に対する停止線の認識処理の実行を許可した後に、設定時間が経過したとき、前記実行許可を解除することを特徴とする請求項6乃至請求項10の何れか1項に記載の停止線認識装置。
JP2009279753A 2009-12-09 2009-12-09 停止線認識装置 Active JP5462609B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009279753A JP5462609B2 (ja) 2009-12-09 2009-12-09 停止線認識装置
DE102010060926A DE102010060926A1 (de) 2009-12-09 2010-12-01 Haltelinienerkennungsvorrichtung
US12/959,884 US8638990B2 (en) 2009-12-09 2010-12-03 Stop line recognition device
CN201010590732.2A CN102145693B (zh) 2009-12-09 2010-12-09 停车线识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009279753A JP5462609B2 (ja) 2009-12-09 2009-12-09 停止線認識装置

Publications (2)

Publication Number Publication Date
JP2011123613A JP2011123613A (ja) 2011-06-23
JP5462609B2 true JP5462609B2 (ja) 2014-04-02

Family

ID=43993103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009279753A Active JP5462609B2 (ja) 2009-12-09 2009-12-09 停止線認識装置

Country Status (4)

Country Link
US (1) US8638990B2 (ja)
JP (1) JP5462609B2 (ja)
CN (1) CN102145693B (ja)
DE (1) DE102010060926A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
ES2529302T3 (es) * 2010-10-28 2015-02-18 Cyclomedia Technology B.V. Método para detectar y reconocer un objeto en una imagen, y un aparato y un programa informático para ello
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US8831849B2 (en) 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
JP5970858B2 (ja) * 2012-02-29 2016-08-17 日産自動車株式会社 車両制御装置及び車両制御方法
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置
JP5929597B2 (ja) * 2012-07-31 2016-06-08 日産自動車株式会社 車両用走行制御装置及び方法
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
DE102012111740A1 (de) * 2012-12-03 2014-06-05 Continental Teves Ag & Co. Ohg Verfahren zur Unterstützung eines eine Ampel detektierenden Ampelphasenassistenten eines Fahrzeugs
DE102012023867A1 (de) * 2012-12-06 2014-06-12 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verkehrsampelerkennung
DE112013007046B4 (de) * 2013-05-09 2021-04-15 Toyota Jidosha Kabushiki Kaisha Fahrassistenzsystem
CN103337186B (zh) * 2013-06-08 2015-08-26 华中科技大学 一种用于机动车的路口行驶辅助装置
KR101848451B1 (ko) * 2013-08-19 2018-04-12 젠텍스 코포레이션 차량 후미등과 점멸 적색 정지등을 구별하기 위한 차량 촬상 시스템 및 방법
DE102014208617A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
US20150070195A1 (en) * 2013-09-11 2015-03-12 Ford Global Technologies, Llc Method and system to reduce braking for stop lights
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
CN111199218A (zh) 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制***、和图像分析***
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
JP6365103B2 (ja) * 2014-08-14 2018-08-01 日産自動車株式会社 信号機検出装置及び信号機検出方法
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US9846969B2 (en) 2014-12-01 2017-12-19 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
JP6834425B2 (ja) * 2016-12-02 2021-02-24 スズキ株式会社 運転支援装置
DE102017212034A1 (de) * 2017-07-13 2019-01-17 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur automatisierten Längsführung eines Kraftfahrzeugs bis in den Stillstand
JP6642556B2 (ja) * 2017-11-22 2020-02-05 マツダ株式会社 車両の物標検出装置
WO2020066505A1 (ja) 2018-09-25 2020-04-02 日立オートモティブシステムズ株式会社 認識装置
CN109949579A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的闯红灯违法自动审核方法
JP7268497B2 (ja) * 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
JP7167880B2 (ja) * 2019-08-27 2022-11-09 トヨタ自動車株式会社 停止線位置推定装置及び車両制御システム
CN110660000A (zh) * 2019-09-09 2020-01-07 平安科技(深圳)有限公司 数据预测方法、装置、设备及计算机可读存储介质
MX2022005541A (es) * 2019-11-12 2022-11-28 Nissan Motor Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo.
CN110889965B (zh) * 2019-11-22 2021-08-03 北京京东乾石科技有限公司 无人车控制方法、装置和无人车
US11749000B2 (en) 2020-12-22 2023-09-05 Waymo Llc Stop location change detection

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
DE19680415C2 (de) * 1995-04-26 2003-02-06 Hitachi Ltd Bildbearbeitungsvorrichtung für Fahrzeuge
US5737423A (en) * 1995-08-23 1998-04-07 Pitney Bowes Inc. Old modified smart card or similar apparatus having a remote inspection capability
JP3235545B2 (ja) * 1997-10-29 2001-12-04 日本電気株式会社 印刷システム
DE10161990A1 (de) * 2000-12-28 2002-07-04 Papst Motoren Gmbh & Co Kg Verfahren zur Strombegrenzung bei einem Elektromotor und Motor zur Durchführung eines solchen Verfahrens
JP4541609B2 (ja) * 2001-09-06 2010-09-08 富士重工業株式会社 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
KR100459476B1 (ko) * 2002-04-04 2004-12-03 엘지산전 주식회사 차량의 대기 길이 측정 장치 및 방법
US8531520B2 (en) * 2002-04-05 2013-09-10 Siemens Industry, Inc. System and method for traffic monitoring
JP3909691B2 (ja) * 2002-09-12 2007-04-25 株式会社日立製作所 車載用画像処理装置
US20040203895A1 (en) * 2002-12-16 2004-10-14 Senaka Balasuriya Locking of communication device based on proximity
JP4223320B2 (ja) * 2003-04-17 2009-02-12 富士重工業株式会社 車両用運転支援装置
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
JP4309184B2 (ja) * 2003-06-20 2009-08-05 富士重工業株式会社 車両用運転支援装置
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP4134894B2 (ja) * 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
JP4628683B2 (ja) * 2004-02-13 2011-02-09 富士重工業株式会社 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
JP4234071B2 (ja) * 2004-07-09 2009-03-04 本田技研工業株式会社 車両の路面標識検出装置
JP4507815B2 (ja) * 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4822766B2 (ja) * 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
JP2007091025A (ja) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd 車両の前方監視装置
JP4721279B2 (ja) * 2006-03-29 2011-07-13 富士重工業株式会社 車線追従支援装置
JP4638370B2 (ja) * 2006-03-29 2011-02-23 富士重工業株式会社 車線逸脱防止装置
CN200959173Y (zh) * 2006-05-26 2007-10-10 龚景康 一种多功能、智能型车辆安全行驶控制装置
JP4654163B2 (ja) * 2006-07-14 2011-03-16 日立オートモティブシステムズ株式会社 車両の周囲環境認識装置及びシステム
JP2008168784A (ja) * 2007-01-11 2008-07-24 Fuji Heavy Ind Ltd 車両の走行制御装置
CN101033978B (zh) * 2007-01-30 2010-10-13 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶***
US9019377B2 (en) * 2007-02-13 2015-04-28 Fujitsu Ten Limited Drive recorder, drive recorder system, vehicle-mounted video recording apparatus, and vehicle-mounted video recording method
JP4561769B2 (ja) * 2007-04-27 2010-10-13 アイシン・エィ・ダブリュ株式会社 経路案内システム及び経路案内方法
EP2023265A1 (de) * 2007-07-30 2009-02-11 Delphi Technologies, Inc. Verfahren für eine Erkennung eines Gegenstandes
JP4375488B2 (ja) * 2007-10-11 2009-12-02 トヨタ自動車株式会社 運転支援装置
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
JP2011507084A (ja) * 2007-12-13 2011-03-03 コンチネンタル・テベス・アーゲー・ウント・コンパニー・オーハーゲー 車両運転者を支援するための方法および装置
JP5137617B2 (ja) * 2008-02-27 2013-02-06 富士重工業株式会社 操舵支援装置
US9305609B2 (en) * 2008-04-30 2016-04-05 Micron Technology, Inc. System and method of command based and current limit controlled memory device power up
JP5093602B2 (ja) * 2008-06-04 2012-12-12 アイシン精機株式会社 周辺認知支援装置
JP5419390B2 (ja) * 2008-06-13 2014-02-19 富士通テン株式会社 ドライブレコーダ及びシステム
US8832641B2 (en) * 2008-09-05 2014-09-09 International Business Machines Corporation Model-operative pattern representation and operational enablement using declarative componential-driven domain-specific programming language
JP5255988B2 (ja) * 2008-10-22 2013-08-07 富士重工業株式会社 操舵支援装置
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
US20110182473A1 (en) * 2010-01-28 2011-07-28 American Traffic Solutions, Inc. of Kansas System and method for video signal sensing using traffic enforcement cameras
JP5814543B2 (ja) * 2010-12-06 2015-11-17 キヤノン株式会社 駆動装置、レンズ鏡筒及びレンズ鏡筒を有する光学機器
US8675909B2 (en) * 2011-07-22 2014-03-18 American Megatrends, Inc. Traffic signal connected digital electronic display and method of controlling the same

Also Published As

Publication number Publication date
US20110135155A1 (en) 2011-06-09
CN102145693B (zh) 2015-04-01
CN102145693A (zh) 2011-08-10
JP2011123613A (ja) 2011-06-23
US8638990B2 (en) 2014-01-28
DE102010060926A1 (de) 2011-06-16

Similar Documents

Publication Publication Date Title
JP5462609B2 (ja) 停止線認識装置
KR101328363B1 (ko) 차선 일탈 방지 지원 장치, 구분선 표시 방법, 프로그램
JP6572930B2 (ja) 情報処理装置及び情報処理システム
CN103874931B (zh) 用于求取车辆的环境中的对象的位置的方法和设备
JP4900211B2 (ja) 走行支援装置、車間距離設定方法
WO2014188903A1 (ja) 灯火制御装置
JP4541609B2 (ja) 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP2013147112A (ja) 車両の走行環境認識装置
KR20110064814A (ko) 영상처리기술을 이용한 좌회전 대기차량감응 신호 제어시스템
JP6200673B2 (ja) 信号機判別装置
JP2015022499A (ja) 運転特徴判定システム
JP2008225822A (ja) 道路区画線検出装置
JP2005167842A (ja) 車載監視カメラの露出制御装置
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2011255765A (ja) ヘッドライト制御装置
JP2008262467A (ja) 運転支援装置
CN107554422B (zh) 汽车安全警示装置和汽车安全警示的方法
CN202641673U (zh) 停车线识别装置以及使用该装置的车辆用驾驶辅助装置
JP7125893B2 (ja) 走行制御装置、制御方法およびプログラム
KR101508663B1 (ko) 영상감지를 이용한 교통체계 컨트롤 장치
EP3763578B1 (en) Vehicle-mounted equipment control device
JP2003009140A (ja) 歩行者検出装置
JP2010211712A (ja) 車両制御装置及び車両制御システム
JP2015232846A (ja) 前方状況判定装置
JP2015022124A (ja) 運転特徴判定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140117

R150 Certificate of patent or registration of utility model

Ref document number: 5462609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250