JP2023174087A - 停止線認識装置 - Google Patents
停止線認識装置 Download PDFInfo
- Publication number
- JP2023174087A JP2023174087A JP2022086745A JP2022086745A JP2023174087A JP 2023174087 A JP2023174087 A JP 2023174087A JP 2022086745 A JP2022086745 A JP 2022086745A JP 2022086745 A JP2022086745 A JP 2022086745A JP 2023174087 A JP2023174087 A JP 2023174087A
- Authority
- JP
- Japan
- Prior art keywords
- stop line
- brightness
- detected
- driving environment
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000005192 partition Methods 0.000 claims description 37
- 230000002902 bimodal effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】路面の輝度差から停止線を判定するに際し、停止線の誤検出を防止できるようにする。【解決手段】カメラユニット2は、カメラ部11と前方走行環境認識部13とを有し、前方走行環境認識部13は、カメラ部11で取得した画像から路面の輝度差を求め、この路面の輝度差から停止線候補を検出した場合、この停止線候補に交差する区画線を検出し、この区画線の予め設定されている検索範囲に、暗部の狭間が検出されたか否かを調べ、暗部の狭間が検出された場合、停止線候補は停止線ではないと判定する。【選択図】図1
Description
本発明は、停止線の誤検出を未然に防止することができる停止線認識装置に関する。
近年、自動車等の車両においては、運転者の負担を軽減する運転支援装置が種々提案され、一部は既に実用化されている。例えば、自車両に搭載されている車載カメラで撮像した画像に基づいて、前方の道路上に描画された停止線を認識し、当該停止線直前で自車両を自動停車させ、或いは運転者に減速を促すようにした運転支援装置も知られている。
この種の運転支援装置における停止線を認識する技術としては、例えば、特許文献1(特開平6-233301号公報)や特許文献2(特開2015-179482号公報)に開示されているものが知られている。同文献に開示されている技術では、先ず、車載カメラで撮像した画像に基づいて停止線(特許文献1では白線、特許文献2では車線境界線)を検出しようとする場合、画像の画素列において路面と停止線との輝度を画素毎に検出する。そして、検出した画素毎の輝度に基づいて輝度値ヒストグラムを生成し、生成した輝度値ヒストグラムに明のピーク輝度値と暗のピーク輝度値との二峰性の分布が表れた場合、停止線と判定するようにしている。
しかし、上述した特許文献1,2に開示されている技術では、日中において2本並列の電柱等の立体物の影や、夜間における街路灯等からの光筋が路面に投映されている場合においても、輝度値ヒストグラムに二峰性の分布が表れて、停止線と誤検知されてしまう可能性がある。
すなわち、路面に2本の電柱の影が投影された場合、車載カメラで撮像した画像の画素列における各画素の輝度値は、電柱の影に該当する区間の輝度値が、路面の地肌の輝度値よりも小さくなる。そのため、輝度値ヒストグラムは、影の部分の暗のピーク輝度値と影の狭間となっている路面の明のピーク輝度値との二峰性の分布が表れる。又、夜間の路面に1本の光の筋が投映された場合、光の両側の路面の輝度値が、光の筋の輝度値よりも小さくなる。そのため、輝度値ヒストグラムは、光の筋の部分の明のピーク輝度値とその側の路面の地肌部分の暗のピーク輝度値との二峰性の分布が表れる。その結果、上述した何れの場合においても、輝度値ヒストグラムにおいて二峰性の分布から停止線を判定しようとした場合、停止線と誤判定する可能性がある。
この対策として、例えば、特許文献3(特開2016-4287号公報)には、白線(停止線)の候補領域と路面の地肌の領域との輝度(平均輝度や代表輝度)が同程度であれば、白線(停止線)を誤検出していると判定する技術が開示されている。すなわち、同文献では、路面に投影された2本の影に挟まれた領域を白線候補領域として検出した場合、この白線候補領域に平行な路面領域を設定する。この白線候補領域と路面領域といずれも路面の地肌であるため、両領域の輝度は同程度となり、両領域の輝度差はほぼ0となる。従って、両領域の輝度差が予め設定したしきい値よりも小さい場合は、白線候補領域は誤検出と判定する。
しかし、特許文献3に開示されている技術では、停止線が掠れている場合、掠れた部分における停止線の候補領域と路面領域との輝度差が僅少となってしまう。その結果、実際には停止線であるにも拘わらず、停止線候補から除外されてしまう不都合が生じる。
本発明は、路面の輝度差から停止線を判定するに際し、停止線の誤検出を未然に防止することのできる停止線認識装置を提供することを目的とする。
本発明は、自車両前方の走行環境情報を取得する走行環境情報取得部と、前記走行環境情報取得部で取得した前記走行環境情報に基づいて前記自車両前方の走行環境を認識する走行環境認識部とを有し、前記走行環境認識部は、前記走行環境情報取得部で取得した前記走行環境情報に基づき、路面の輝度差から停止線候補を検出する停止線候補検出部と、前記停止線候補検出部で検出した前記停止線候補が停止線か否かを判定する停止線判定部とを備える停止線認識装置において、前記走行環境認識部は、更に、前記停止線候補検出部で検出した前記停止線候補に交差する区画線を検出する区画線検出部と、前記区画線検出部で検出した前記区画線の輝度分布を求める輝度分布処理部と、前記輝度分布処理部で求めた前記路面の輝度分布に基づき、前記区画線検出部で検出した前記区画線の予め設定されている検索範囲に、暗部に挟まれた明部が検出されたか否かを調べる停止線誤検出輝度パターン検出部とを備え、前記停止線判定部は、前記停止線誤検出輝度パターン検出部で前記検索範囲に前記暗部に挟まれた明部が検出された場合、前記停止線候補検出部で検出した前記停止線候補は停止線ではないと判定する。
本発明によれば、路面の輝度差から停止線候補を検出した場合、この停止線候補に交差する区画線を検出し、路面の輝度分布に基づき区画線の予め設定されている検索範囲に、暗部に挟まれた明部が検出されたか否かを調べ、暗部に挟まれた明部が検出された場合、停止線候補は停止線ではないと判定するようにしたので、路面の輝度差から停止線を判定するに際し、停止線の誤検出を未然に防止することができる。
以下、図面に基づいて本発明の一実施形態を説明する。図1に示す運転支援装置1は自車両M(図4参照)に搭載されている。この運転支援装置1は、停止線認識装置としての機能を備えるカメラユニット2と運転支援制御ユニット3とを備え、この両ユニット2,3がCAN(Controller Area Network)通信等の車内通信回線を通じて双方向通信可能に接続されている。
この運転支援制御ユニット3、及び後述するカメラユニット2の前方走行環境認識部13は、CPU、RAM、ROM、書き換え可能な不揮発性メモリ(フラッシュメモリ又はEEPROM)、及び周辺機器を備えるマイクロコントローラで構成されている。ROMにはCPUにおいて各処理を実行させるために必要なプログラムや固定データ等が記憶されている。又、RAMはCPUのワークエリアとして提供され、CPUでの各種データが一時記憶される。尚、CPUはMPU(Microprocessor)、プロセッサとも呼ばれている。又、CPUに代えてGPU(Graphics Processing Unit)やGSP(Graph Streaming Processor)を用いても良い。或いはCPUとGPUとGSPとを選択的に組み合わせて用いても良い。
又、カメラユニット2は、走行環境情報取得部としてのカメラ部11と、画像処理部12と、前方走行環境認識部13とを有している。カメラ部11はメインカメラ11aとサブカメラ11bとからなるステレオカメラであり、両カメラ11a,11bは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央から左右に、所定基線長で等間隔に設置されている。又、この各カメラ11a,11bにCCDやCMOS等の撮像素子が設けられており、この両撮像素子によって自車両Mの走行車線を含む車両前方の走行環境が撮像される。このカメラ部11は、メインカメラ11aで基準画像を撮像し、サブカメラ11bで比較画像を撮像する。尚、図4、図6、図9の符号Ifは、カメラ部11によって撮像可能な画角領域を簡易的に示したものである。
両カメラ11a,11bで撮像した一対のアナログ画像は画像処理部12で所定に画像処理された後、前方走行環境認識部13へ出力される。前方走行環境認識部13では、画像処理部12からの基準画像データと比較画像データとに基づき、例えば、以下に示す各種画像処理等を1フレーム毎に行う。
前方走行環境認識部13では、先ず、基準画像から例えば4×4画素の小領域を順次抽出し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像の全体に渡る距離分布を求める。更に、前方走行環境認識部13は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出すると共に、抽出した画素(エッジ点)に距離情報を付与することで、距離画像(距離情報を備えたエッジ点の分布画像)を生成する。
そして、前方走行環境認識部13は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた3次元的な枠(ウインドウ)と比較することで、自車両Mが走行する車線(自車走行車線)の左右を区画する区画線、前方の先行車、停止線、交差点、信号機、歩行者等の前方走行環境情報を認識する。この前方走行環境認識部13で認識した前方走行環境情報は運転支援制御ユニット3へ出力される。
更に、この運転支援制御ユニット3の入力側に自車両状態センサ21が接続されている。この自車両状態センサ21は、自車両Mに関する種々の状態を検出するセンサ群の総称である。この自車両状態センサ21としては、自車両Mの車速(自車速)を検出する車速センサ、自車両Mの操舵角を検出する操舵角センサ、車体に作用する前後加速度を検出する加速度センサ、車体に作用するヨーレートを検出するヨーレートセンサ、アクセルペダルの踏込量を検出するアクセル開度センサ、ブレーキペダルの踏込みでONするブレーキスイッチからの信号等がある。
又、この運転支援制御ユニット3の出力側に制御アクチュエータ31が接続されている。この制御アクチュエータ31は、運転支援制御ユニット3からの制御信号に従い自車両Mの走行状態を制御して運転者の運転操作を支援する各種アクチュエータの総称である。この制御アクチュエータとしては、電動パワーステアリング(EPS)を駆動するEPSアクチュエータ、駆動源(エンジンや電動モータ等)の駆動力を制御するパワーアクチュエータ、ブレーキユニットに供給するブレーキ液圧を調整して制動力を制御するブレーキアクチュエータ等がある。
運転支援制御ユニット3は、前方走行環境認識部13から出力された前方走行環境情報、及び自車両状態センサ21で検出した自車両Mの状態に基づいて、運転者の行う運転操作(ハンドル操作、加減速操作、ブレーキ操作)の一部或いは全てを代行する。尚、運転者の少なくとも一部を代行する運転支援制御としては、追従車間距離(ACC:Adaptive Cruise Control)制御、車線逸脱抑制機能付き車線維持(ALKB:Active Lane Keep Bouncing)制御等が知られているが、これらは周知であるため説明を省略する。
ところで、前方走行環境認識部13では、図5に示すように、1フレーム毎の画像Tでの1列の水平ラインjにおいて、i方向へ各画素の輝度値を読出し、これを最下段の水平ラインjから上方の水平ラインjへ順次切換えて、画像T全体の輝度値を読込む。その際、画像の輝度から停止線を抽出する場合は、図12に示すように、順次切換えられた水平ラインjの上下で隣接する画素同士の各輝度値と予め設定されている停止線判定しきい値とを比較して二値化処理を行う。そして、暗から明に切換わった開始点Piと明から暗に切換わった終了点Poとで挟まれた明の領域を、停止線であると推定し、この領域を車線幅方向へ延在させて停止線候補Ls'を設定する。従って、画像Tにおいて、停止線候補Ls'は、路面の輝度パターン(暗→明→暗)から検出されることになる。
図5に示すように、停止線Lsの途中が車両通過に伴うタイヤとの摩擦等で掠れている場合であっても、停止線候補Ls'は車線幅方向へ連続的に設定されるが、停止線候補Ls'の掠れた部分の輝度は路面の輝度と殆ど同じとなる。しかし、運転支援制御ユニット3において、停止線の掠れによって停止線候補Ls'が停止線対象から除外された場合、上述した運転支援制御に支障が生じる。
一方、図6に示すように、走行車線の路肩や歩道に立設されている2本の電柱P1,P2が太陽等の光源Sからの光に照らされ、その2本の影P1s,P2sが走行車線の路面に平行に投影された場合、2本の影P1s,P2sに対し、この両影P1s,P2sに挟まれた部分が相対的に明となる。そのため、図7Aに示すように、前方走行環境認識部13においては、上述した図5と同様、1フレーム毎の画像Tの輝度から停止線を抽出しようとする場合、影P1s,P2sにて路面の輝度パターンが「暗→明→暗」となり、停止線候補Ls'が設定される。しかし、前方走行環境認識部13において、2本の影P1s,P2sに挟まれた領域に設定した停止線候補Ls'を停止線と判定してしまうと、運転支援制御ユニット3における運転支援制御に支障が生じてしまう。
又、夜間においては、照明光にて路面が照射されることで、照明部分が「明」となり、路面上に「暗→明→暗」の輝度パターンが形成される場合がある。例えば、図8に示すように、走行車線の路肩や歩道に立設されている街路灯Liの照明光が路面に照射され、この照明光により路面に「暗→明→暗」の輝度パターンが形成される場合がある。このような場合も、前方走行環境認識部13は、「暗→明→暗」の輝度パターンから路面上に停止線候補Ls'を設定してしまう。
更に、図9に示すように、夜間走行おいて、自車両Mの走行車線に隣接する車線(隣接車線)を走行する車両(隣接車両)Nから自車両Mの走行車線方向へ、前照灯(ハイビーム、ロービーム、補助灯等)からビームBeが照射される場合がある。この隣接車両Nが、停止線Lsの手前で徐行し、或いは停車した場合、図10に示すように、1フレームの画像Tには、ビームBeの照射により路面に「暗→明→暗」の輝度パターンが形成される。その結果、前方走行環境認識部13は、このビームBeによって照射された部位に停止線候補Ls'を設定してしまう。
そのため、前方走行環境認識部13には、画像T上で設定した停止線候補Ls'が停止線対象であるか否かを評価する機能が備えられている。この前方走行環境認識部13に備えられている停止線候補を評価する機能は、具体的には、図2に示す停止線候補評価処理ルーチンに従って実行される。
このルーチンでは、先ず、ステップS1において、カメラ部11で取得して、画像処理部12で所定に画像処理した前方走行環境情報を読込む。次いで、ステップS2へ進み、この前方走行環境情報に基づいて停止線候補Ls'を検出する。このステップS2での処理が、本発明の停止線候補検出部に対応している。尚、この停止線候補Ls'の検出については、既述したので、ここでの説明は省略する。又、この停止線候補Ls'は別のプログラムに従って検出するようにしても良い。
次いで、ステップS3へ進み、停止線候補Ls'が検出されているか否かを調べる。そして、停止線候補Ls'が検出されている場合、ステップS4へ進む。又、停止線候補Ls'が検出されていない場合はルーチンを抜ける。尚、以下においては、左右の区画線Ll,Lrを区画線Lと総称する場合もある。
ステップS4へ進むと、設定されている停止線候補Ls'付近の、走行車線を区画する左右の区画線Ll,Lrを検出する。この区画線Lの検出方法は種々知られており、例えば、本出願人が既に提出した特開2022-60118号公報に開示されている。同公報に開示されている区画線Lの検出方法について簡単に説明する。尚、このステップS4での処理が、本発明の区画線検出部に対応している。
このステップS4では、先ず、画像Tの水平ラインjにおいて、画像Tのi方向の中央を中心に外側に向け、水平ラインjに沿って探索する。そして、自車両Mの走行車線の内側における画素の輝度が外側の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値が+側の設定閾値以上となるエッジ点を区画線開始点として抽出する。又、内側の画素の輝度が外側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値が-側の設定閾値以下となるエッジ点を区画線終了点として抽出する。
次いで、区画線開始点、及び区画線終了点を区画線候補点として画像上にプロットし、水平ラインjを切換えながら画像の下から上方へ続けてサンプリングした各区画線候補点の点列に基づき、区画線Lのエッジ(境界)を表す近似線を求める。そして、この近似線にて、今回の1フレームの区画線Lを生成する。尚、この場合、区画線Lが実線か破線かを判定するようにしても良い。又、この区画線候補点の点列が設定されない場合は、区画線は非検出となる。
次いで、ステップS5へ進み、少なくとも一方に区画線L(Ll又はLr)が検出されたか否かを調べる。そして、左右の何れにも区画線Lが検出されていない場合は、停止線候補Ls'が誤検出か否かの判定を行わずに、ルーチンを抜ける。この場合、運転者に停止線候補Ls'が実際の停止線Lsか否かを判定できなかった旨を報知するようにしても良い。
又、左右の区画線Ll,Lrの少なくとも一方が検出された場合は、ステップS6へ進む。ステップS6では、区画線Lの暗部の狭間を検出する。この区画線Lの暗部の狭間とは、区画線Lによる輝度を明部とし、その前後が影P1s,P2sで挟まれている領域を指す。
この暗部の狭間は、図3に示す暗部の狭間検出処理サブルーチンに従って検出される。尚、左右の区画線Ll,Lrが検出されている場合は、暗部の狭間は各区画線Ll,Lrで検出するようにしても良い。或いは、一方の区画線Lに基づいて検出するようにしても良い。但し、左右の区画線Ll,Lrが検出されている場合であっても、図7Aの画像T示すように、例えば、左区画線Llは影P1s,P2sが横断しているのに対し、右区画線Lrには影P1sの先端が僅かにかかっている場合も考えられる。このような場合、双方の区画線Ll,Lrで暗部の狭間を個別に検出すれば、停止線の誤検出をより高い精度で防止することができる。
このサブルーチンでは、先ず、ステップS11で停止線候補付近の区画線Lの輝度に基づいて、横軸に輝度値、縦軸にカウント値(頻度)を取る輝度値ヒストグラムを作成する。尚、このステップS11での処理が、本発明の輝度分布処理部に対応している。
この輝度値ヒストグラムは、先ず、図7B~図7Cに示すように、停止線候補Ls'付近で検出した区画線L(図においてはLl)に検索範囲(区画線検索範囲)Sfを設定する。この区画線検索範囲Sfは、停止線候補Ls'の幅のほぼ中央を挟んで上下方向へ設定長さの領域に設定する。尚、この長さの上限は、停止線候補Ls'の幅のほぼ中央を挟んで上下方向へそれぞれ3.5/2[m]程度とする。
そして、この区画線検索範囲Sfの上下方向の領域において、区画線Lのほぼ中央に沿って画素Pl毎の輝度を検出する。尚、区画線Lが左右に検出された場合、左右の区画線Ll,Lrにて個別に区画線検索範囲Sfを設定して、それぞれの区画線Ll,Lr上の画素Plの輝度を検出し、割り当てられた輝度値のビン毎にカウントする(図11A~図11C参照)。
次いで、ステップS12へ進み、輝度値ヒストグラムの頻度分布に基づいて、明暗のしきい値(明暗しきい値)を設定する。この明暗しきい値の設定は、図11A~図11Cに示すように、先ず、輝度値ヒストグラムを明側と暗側との双方から探索し、予め設定した最低カウント数を越えている最初のビンを起点とする。そして、最低カウント数に満たないビンが予め設定したしきい値以上連続した場合、起点から最低カウント数を越えた最後のビンまでをビンの山として特定する。
次に、特定した山の数に応じて明暗しきい値を設定する。例えば、図7A、図7Bに示すように、左区画線Llに二本の影P1s,P2sが横断している場合、影P1s,P2s部分の区画線L(Ll)の輝度が低く(暗部)、影P1s,P2sに挟まれた左区画線Llの輝度が高く(明部)なる。そのため、図11Aに示すような明側と暗側とに異なる2つ山(二峰性)が検出される。
これに対し、図7Aの画像Tで検出されている停止線Lsの付近が停止線候補Ls'として設定されており、図7Cに示すように、この停止線候補Ls'に対応する区画線検索範囲Sf内の区画線L(図においてはLl)に影P1s,P2sが投影されていない場合、輝度ヒストグラムは図11Bのようになる。すなわち、この輝度ヒストグラムは山が明側での単峰性となる。同様に、図7Aの画像Tに示されている右区画線Lrに影P1sの先端が僅かにかかっているような状態でも、図11Bに示すような輝度ヒストグラムの形状となる。
そして、前方走行環境認識部13は、輝度ヒストグラムの頻度分布に2つの山(二峰性)が検出された場合、図11Aに示すように、両山の最後のビンの端点(暗の端点、明の端点)を検出する。次いで、この端点間における中点の輝度値を明暗しきい値として設定する。一方、前方走行環境認識部13は、輝度ヒストグラムの頻度分布が1つの山(単峰性)の場合、最低カウント数に達せずに残ったビンの数を、検出した山を挟んで明側と暗側とで比較し、残ったビンの数が多い側の山の端点を明暗しきい値として設定する。従って、図11Bでは相対的に輝度の低い明暗しきい値が設定される。又、図11Cでは相対的に輝度の高い明暗しきい値が設定される。尚、上述した明暗しきい値の設定は一例であり、これに限定されるものではない。
その後、プログラムはステップS13へ進み、上述のステップS12で設定した明暗しきい値に基づいて、区画線検索範囲Sfの画素の明暗を区分する。この各画素の明暗区分は、例えば、図7Aに示す画像Tを、水平ラインjを切換えながら下から上方へ探索し、その際、区画線検索範囲Sfの画素を明暗しきい値で二値化処理することで行う。
その結果、例えば、図7Aの画像Tにおいて影P1s,P2sに相当する部分が、図13に示す暗部となり、画像Tにおける区画線検索範囲Sf中における画素の明暗が、画像Tの下側から上側へ「明部→暗部→明部→暗部→明部」の輝度パターンとなり、暗部と暗部との狭間に明部が検出される。又、図7Aの停止線Ls付近に停止線候補Ls'が設定され、この停止線候補Ls'に交差して設定された区画線検索範囲Sfでは、明暗しきい値が相対的に低く設定されるため、区画線Lの輝度パターンは、ほぼ「明部」となる。
次いで、ステップS14へ進むと、上述のステップS13で区分した区画線検索範囲Sfの画素の明暗に基づいて、輝度パターンが「暗部の狭間」か否かを調べ、図2のステップS7へ進む。
このステップS14では、輝度パターンが「暗部→明部→暗部」を有し、且つ、この輝度パターンの明部の幅(画像Tの上下方向の幅)が、予め設定した範囲に収まっている場合、この明部を「暗部の狭間」として設定する。又、輝度パターンが「「暗→明→暗」ではなく、或いは明部の幅が、予め設定した範囲から外れている場合、すなわち、区画線Lの輝度パターンがほぼ「明部」、或いはほぼ「暗部」の場合、暗部の狭間は不検出と判定する。尚、この場合の明部の幅の上限は、例えば3.5[m]程度である。尚、ステップS12~S14での処理が、本発明の停止線誤検出輝度パターン検出部に対応している。
その後、図2のステップS7へ進むと、ステップS6において、暗部の狭間が検出されたか否かを調べ、暗部の狭間が検出された場合は、停止線候補Ls'の停止線は誤検出であると判定し、ステップS8へ進み、暗部の狭間検出フラグFをセットして(F←1)、ルーチンを抜ける。一方、暗部の狭間は不検出と判定された場合、停止線候補Ls'は停止線であると判定し、ステップS9へ分岐し、暗部の狭間検出フラグFをクリアして(F←0)、ルーチンを抜ける。尚、このステップS7~S9での処理が、本発明の停止線判定部に対応している。
暗部の狭間検出フラグFの値は、前方走行環境認識部13において、停止線候補Ls'を認識した際に読込まれる。そして、F=1の場合、認識した停止線候補Ls'は実際の停止線ではなく、誤検出であると認識する。その結果、前方走行環境認識部13から運転支援制御ユニット3へ停止線Lsの情報が出力されず、従って、運転支援制御ユニット3では、自車両Mを停止線で停車させる自動停車制御や、運転者に減速を促す報知制御等の運転支援制御を実行することなく、走行を継続させることになる。
又、暗部の狭間検出フラグFがクリアされている場合(F=0)、前方走行環境認識部13は、認識した停止線候補Ls'は停止線Lsであると認識し、運転支援制御ユニット3へ停止線Lsの情報を出力する。その結果、運転支援制御ユニット3は制御アクチュエータ31を動作させて、停止線Ls手前で自車両Mを減速及び自動停車させる等の運転支援制御を通常通り実行する。
以上、説明したように本実施形態では、先ず、前方走行環境認識部13において、前方走行環境情報に基づき路面の輝度パターンを検索する。そして、路面に「暗→明→暗」の輝度パターンが検出された場合、この輝度パターンの暗から明に切換わった開始点Piと明から暗に切換わった終了点Poとで挟まれた明の領域を車線幅方向へ延在させて停止線候補Ls'を設定する。次いで、この停止線候補Ls'付近であって、この停止線候補Ls'に交差する、走行車線を区画する左右の区画線Ll,Lrを検出する。
そして、この区画線Ll,Lrの少なくとも一方に、区画線Lを覆う二本の影P1s,P2sで挟まれた、暗部の狭間が検出された場合、停止線候補Ls'は停止線ではないと判定するようにしたので、停止線の誤検出を未然に防止することができる。又、停止線候補Ls'は従来と同様、「暗→明→暗」の輝度パターンに基づいて検出しているため、停止線Lsの途中が掠れていても、正しく停止線Lsを検出することができる。
尚、本発明は、上述した実施形態に限るものではなく、例えば、輝度ヒストグラムに基づいて設定する明暗しきい値は、日中と夜間において、異なる係数を加算、或いは乗算して精度を高めるようにしても良い。
1…運転支援装置、
2…カメラユニット、
3…運転支援制御ユニット、
11…カメラ部、
11a…メインカメラ、
11b…サブカメラ、
12…画像処理部、
13…前方走行環境認識部、
21…自車両状態センサ、
31…制御アクチュエータ、
F…狭間検出フラグ、
If…画角領域、
Ls'…停止線候補、
Li…街路灯、
Ll…左区画線、
Lr…右区画線、
Ls…停止線、
M…自車両、
N…隣接車両、
P1s,P2s…影、
P1,P2…電柱、
Pi…開始点、
Pl…画素、
Po…終了点、
S…光源、
Sf…区画線検索範囲、
T…画像
2…カメラユニット、
3…運転支援制御ユニット、
11…カメラ部、
11a…メインカメラ、
11b…サブカメラ、
12…画像処理部、
13…前方走行環境認識部、
21…自車両状態センサ、
31…制御アクチュエータ、
F…狭間検出フラグ、
If…画角領域、
Ls'…停止線候補、
Li…街路灯、
Ll…左区画線、
Lr…右区画線、
Ls…停止線、
M…自車両、
N…隣接車両、
P1s,P2s…影、
P1,P2…電柱、
Pi…開始点、
Pl…画素、
Po…終了点、
S…光源、
Sf…区画線検索範囲、
T…画像
Claims (5)
- 自車両前方の走行環境情報を取得する走行環境情報取得部と、
前記走行環境情報取得部で取得した前記走行環境情報に基づいて前記自車両前方の走行環境を認識する走行環境認識部と
を有し、
前記走行環境認識部は、
前記走行環境情報取得部で取得した前記走行環境情報に基づき、路面の輝度差から停止線候補を検出する停止線候補検出部と、
前記停止線候補検出部で検出した前記停止線候補が停止線か否かを判定する停止線判定部と
を備える停止線認識装置において、
前記走行環境認識部は、更に、
前記停止線候補検出部で検出した前記停止線候補に交差する区画線を検出する区画線検出部と、
前記区画線検出部で検出した前記区画線の輝度分布を求める輝度分布処理部と、
前記輝度分布処理部で求めた前記路面の輝度分布に基づき、前記区画線検出部で検出した前記区画線の予め設定されている検索範囲に、暗部に挟まれた明部が検出されたか否かを調べる停止線誤検出輝度パターン検出部と
を備え、
前記停止線判定部は、前記停止線誤検出輝度パターン検出部で前記検索範囲に前記暗部に挟まれた明部が検出された場合、前記停止線候補検出部で検出した前記停止線候補は停止線ではないと判定する
ことを特徴とする停止線認識装置。 - 前記停止線誤検出輝度パターン検出部は、前記停止線候補検出部で設定した前記停止線候補に交差する左右の前記区画線の少なくとも一方に基づいて前記暗部に挟まれた前記明部が検出されたか否かを調べる
ことを特徴とする請求項1記載の停止線認識装置。 - 前記停止線誤検出輝度パターン検出部は、前記輝度分布処理部で求めた前記路面の輝度分布に基づき、輝度値の頻度分布を求め、該輝度値の頻度分布に基づいて明暗しきい値を算出し、該明暗しきい値に基づいて前記明部と前記暗部とを区分する
ことを特徴とする請求項1或いは2記載の停止線認識装置。 - 前記停止線誤検出輝度パターン検出部は、前記輝度値の頻度分布が二峰性の場合、二峰性間の中点を前記明暗しきい値として設定する
ことを特徴とする請求項3記載の停止線認識装置。 - 前記明暗しきい値は日中と夜間において異なる値に設定する
ことを特徴とする請求項3或いは4記載の停止線認識装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022086745A JP2023174087A (ja) | 2022-05-27 | 2022-05-27 | 停止線認識装置 |
US18/312,049 US20230386224A1 (en) | 2022-05-27 | 2023-05-04 | Stop line recognition device |
DE102023113198.2A DE102023113198A1 (de) | 2022-05-27 | 2023-05-19 | Haltelinien-Erkennungseinrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022086745A JP2023174087A (ja) | 2022-05-27 | 2022-05-27 | 停止線認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023174087A true JP2023174087A (ja) | 2023-12-07 |
Family
ID=88696689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022086745A Pending JP2023174087A (ja) | 2022-05-27 | 2022-05-27 | 停止線認識装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230386224A1 (ja) |
JP (1) | JP2023174087A (ja) |
DE (1) | DE102023113198A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3227248B2 (ja) | 1993-01-29 | 2001-11-12 | マツダ株式会社 | 走行車両の走行路白線検出装置 |
JP6313081B2 (ja) | 2014-03-20 | 2018-04-18 | クラリオン株式会社 | 車載用画像処理装置およびそれを用いた車両システム |
JP6362442B2 (ja) | 2014-06-13 | 2018-07-25 | 富士通株式会社 | 車線境界線抽出装置、車線境界線抽出方法、及びプログラム |
JP2022060118A (ja) | 2020-10-04 | 2022-04-14 | 株式会社Subaru | 区画線認識装置 |
-
2022
- 2022-05-27 JP JP2022086745A patent/JP2023174087A/ja active Pending
-
2023
- 2023-05-04 US US18/312,049 patent/US20230386224A1/en active Pending
- 2023-05-19 DE DE102023113198.2A patent/DE102023113198A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102023113198A1 (de) | 2023-11-30 |
US20230386224A1 (en) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9415718B2 (en) | Vehicular headlight apparatus | |
US20200406897A1 (en) | Method and Device for Recognizing and Evaluating Roadway Conditions and Weather-Related Environmental Influences | |
US9773177B2 (en) | Surrounding environment recognition device | |
US9499171B2 (en) | Driving support apparatus for vehicle | |
CN108496176B (zh) | 识别机动车辆的周围区域中的对象的方法,驾驶员辅助***和机动车辆 | |
US7656277B2 (en) | Apparatus for detecting the presence of fog for automotive vehicle | |
JP5603687B2 (ja) | 車両用白線認識装置 | |
EP2682899A2 (en) | Environment recognition device | |
US20090234553A1 (en) | Vehicle running control system | |
JP5879219B2 (ja) | 車載用環境認識装置 | |
US20180060676A1 (en) | Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings | |
US20140347487A1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
CN113246846B (zh) | 车辆灯光控制方法、装置及车辆 | |
JP4541609B2 (ja) | 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置 | |
WO2013172324A1 (ja) | 走行環境検出装置、及び、走行環境検出プログラム | |
JP2022060074A (ja) | 車両の運転支援装置 | |
CN115151955A (zh) | 用于监控机动车辆的环境的*** | |
US8581745B2 (en) | Method and device for detecting a vehicle passing by in the dark | |
US20220153267A1 (en) | Driving assistance apparatus | |
CN113753051B (zh) | 车辆控制方法、车辆控制程序以及车辆控制*** | |
JP6354356B2 (ja) | 前方状況判定装置 | |
JP2006146956A (ja) | 車両用走路判定装置 | |
JP5444130B2 (ja) | 車両用白線認識装置 | |
JP2023174087A (ja) | 停止線認識装置 | |
CN108528450B (zh) | 车辆行驶自动控制方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20240620 |