JP7203514B2 - 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法 - Google Patents

走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法 Download PDF

Info

Publication number
JP7203514B2
JP7203514B2 JP2018104596A JP2018104596A JP7203514B2 JP 7203514 B2 JP7203514 B2 JP 7203514B2 JP 2018104596 A JP2018104596 A JP 2018104596A JP 2018104596 A JP2018104596 A JP 2018104596A JP 7203514 B2 JP7203514 B2 JP 7203514B2
Authority
JP
Japan
Prior art keywords
road surface
area
image
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018104596A
Other languages
English (en)
Other versions
JP2019211822A (ja
Inventor
ともえ 大築
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018104596A priority Critical patent/JP7203514B2/ja
Publication of JP2019211822A publication Critical patent/JP2019211822A/ja
Application granted granted Critical
Publication of JP7203514B2 publication Critical patent/JP7203514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

開示の実施形態は、走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法に関する。
従来、車両の周辺が撮像された画像と、障害物の形状を予め想定して作成されたパターンマッチング用データとを比較することで、車両と衝突する可能性がある障害物を検知する障害物検知装置がある(例えば、特許文献1参照)。この障害物の検知結果は、障害物(走行不適領域)の報知や、逆に走行に支障がない走行好適領域の報知、また自動運転制御のための情報として用いられる。
特開2009-140023号公報
しかしながら、障害物の形状を予め想定して作成されたパターンマッチング用データを使用して障害物を検知する装置は、想定外の障害物を検知することができないため、路面上において障害物が存在する可能性がある領域を正確に判定できないことがある。
実施形態の一態様は、上記に鑑みてなされたものであって、車両が走行する道路において走行不適領域あるいは走行好適領域を精度よく判定する装置および方法、例えば、車両が走行する路面において障害物が存在する可能性がある領域を正確に判定することができる走行領域判定装置および走行領域判定方法を提供することを目的とする。
実施形態の一態様に係る走行領域判定装置は、取得部と、判定部とを備える。取得部は、撮像装置から車両の周囲が撮像された画像を取得する。判定部は、被写体が路面であることが既知の複数の画像を機械学習した機械学習モデルにより、前記取得部によって取得された画像における特定領域を判定する。
実施形態の一態様に係る走行領域判定装置および走行領域判定方法は、車両が走行する道路において走行不適領域あるいは走行好適領域を精度よく判定することができる。
図1は、実施形態に係る走行領域判定方法の概要を示す説明図である。 図2は、実施形態に係る走行領域判定装置の構成の一例を示すブロック図である。 図3は、実施形態に係る路面画像集の一例を示す説明図である。 図4は、実施形態に係る走行領域判定装置の動作の一例を示す説明図である。 図5は、実施形態に係る走行領域判定装置の制御部が実行する処理の一例を示すフローチャートである。 図6は、実施形態の変形例に係る走行領域判定装置の構成の一例を示すブロック図である。
以下、添付図面を参照して、走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。図1は、実施形態に係る走行領域判定方法の概要を示す説明図である。
実施形態に係る走行領域判定装置は、車両に搭載される撮像装置によって撮像される車両周辺の画像を解析することによって、画像における特定領域を判定する。そして、走行領域判定装置は、特定領域が車両の走行に好適な走行好適領域か否かを判定する。
走行領域判定装置は、予め被写体が路面であることが既知の複数枚の画像を機械学習した路面画像機械学習モデルを記憶している。路面画像機械学習モデルは、画像が入力された場合に、その画像の中で事前に機械学習した路面の特徴と類似する特徴がある領域を路面と判定する判定結果を出力するプログラムである。
走行領域判定装置は、例えば、図1(a)に示すように、車両の進路上に箱状の落下物101がある画像100が撮像装置から入力される場合、かかる画像を路面画像機械学習モデルに入力する。
路面画像機械学習モデルは、図1(b)に示すように、画像100における車両の走行車線(同方向車線含)の中で事前に機械学習した路面の特徴と類似する特徴がある領域A1を路面(車両の走行に好適な走行好適領域の一例)と判定する。
このとき、路面画像機械学習モデルは、落下物101が存在する領域については、そこに存在する物体が何なのかを判定することはできないが、事前に機械学習した路面の特徴とは異なるため、少なくとも路面ではないと判定することができる。
そこで、走行領域判定装置は、図1(c)に示すように、車両の走行車線の中で路面画像機械学習モデルによって路面と判定された領域A1以外の領域A2を障害物が存在する可能性がある領域(車両の走行に不適な走行不適領域の一例)と判定する。
なお、図1(a)、(b)、(c)に示す領域Aは、道路領域(自車走行道路(対向車線は除く))画像機械学習モデルにより、判定した画像100における車両の走行車線(同方向車線含)を除く道路外領域であり、この領域は走行不可領域となる。
また、この領域は路面画像機械学習モデルによる判定の対象外領域となる。また、走行領域判定装置は、画像100における地平線よりも上の領域についても路面画像機械学習モデルによる判定の対象外領域とする。
また、路面画像機械学習モデルを、走行可能な道路領域を示す画像データ(対向車線領域を路面と見なさない画像データ等)で学習生成することにより、上述の道路領域にかかる処理に変えることができる。
この場合、乗り越えられない(中央)分離帯が無い側の道路は路面と見なす画像データでの学習処理により路面画像機械学習モデルを生成する方法も考えられが、この場合、その結果を用いた車両制御等を行う際に、対向車をその速度を含めて障害物判定する等の処理が別途必要となる。
これにより、走行領域判定装置は、路面上にあるはずがないような障害物が存在する場合に、パターンマッチング用データを使用して障害物を検知する装置よりも、障害物が存在する可能性がある領域A2を正確に判定することができる。
具体的には、パターンマッチング用データを使用して障害物を検知する装置は、障害物が車両や歩行者等のように、路面上に存在することが想定される障害物であれば、障害物がある領域を判定することはできる。
しかしながら、路面上には、時として路上にあるはずがないような物が存在する場合がある。例えば、路上には、家財道具や建築資材等、通常であれば路上にあるはずのないような物が何等かの原因で落下している場合がある。
かかる落下物は、車両や歩行者等とは異なり、形状が多種多様である。このため、パターンマッチング用データを使用して障害物を検知する装置では、かかる落下物を障害物として検知することが困難である。
なお、家財道具や建築資材等の全ての物品について、パターンマッチング用データを用意しておけば、落下物を障害物として検知することは可能であるが、かかる手法は、膨大な量のパターンマッチング用データを用意する必要があるので現実的ではない。
これに対して、実施形態に係る走行領域判定方法では、障害物を特定するのではなく、車両の走行車線の中で路面画像機械学習モデルによって路面と判定された領域A1以外の領域A2を障害物が存在する可能性がある領域と判定する。
このため、実施形態に係る走行領域判定方法によれば、障害物の種類や形状を問わず、通常であれば路上にあるはずのないような物体が路面上に落下していても、その物体が存在する可能性がある領域を正確に判定することができる。
なお、以上の説明では、路面判定されなかった領域を障害物として判断したが、路面判定情報を用いて(障害物判定は行わない)走行路(走行好適領域)を案内表示したり、自動走行制御に用いる等することも可能である。
次に、図2を参照し、実施形態に係る走行領域判定装置1の構成の一例について説明する。図2は、実施形態に係る走行領域判定装置1の構成の一例を示すブロック図である。図2に示すように、走行領域判定装置1は、撮像装置41、警告装置42、画像表示装置43、および車両制御装置44と接続される。
なお、路面画像集110は、障害物が写っていない様々な路面だけが写った複数枚の画像を含む画像集である。路面画像集110に含まれる各画像は、それぞれ被写体が路面であることを示す情報が付与されている。かかる路面画像集110は、路面画像の教師あり機械学習の教材として走行領域判定装置1によって使用される。路面画像集110の一例については、図3を参照して後述する。
撮像装置41は、例えば、走行領域判定装置1が搭載される車両の前部に設置されて車両の前方を撮像する車載カメラである。なお、撮像装置41は、車両の側部や後部に設けられ、車両の周囲を撮像する車載カメラであってもよい。撮像装置41は、撮像した画像を走行領域判定装置1へ出力する。
警告装置42は、走行領域判定装置1によって障害物が存在する可能性がある領域が判定された場合に、その旨を車両のユーザへ警告する装置であり、例えば、警告音を出音するスピーカや障害物の存在を報知するインジケータランプである。画像表示装置43は、例えば、撮像装置41によって撮像された画像等を表示する液晶ディスプレイである。
車両制御装置44は、例えば、車両全体を統括制御するECU(Electronic Control Unit)である。車両制御装置44は、例えば、走行領域判定装置1によって障害物が存在する可能性がある領域が判定された場合に、車両の速度制御、操舵制御、および制動制御を行うことによって車両に障害物を回避させる。
走行領域判定装置1は、制御部2と記憶部3とを備える。記憶部3は、例えば、データフラッシュ等の情報記憶デバイスであり、路面画像機械学習モデル31を記憶する。制御部2は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを有するマイクロコンピュータや各種の回路を含む。
制御部2は、CPUがROMに記憶されたプログラムを、RAMを作業領域として使用して実行することにより機能する学習部21、取得部22、分割部23、路面判定部24、合成部25、障害物判定部26、表示制御部27、および設定部28を備える。
なお、制御部2は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。制御部2が備える上記した複数の処理部は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、制御部2の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
学習部21は、路面画像集110から複数枚(例えば、数千枚)の路面画像を取得し、路面画像を教師あり機械学習の教材として使用して路面画像機械学習モデル31を生成して記憶部3に記憶させる。
ここで、図3を参照し、実施形態に係る路面画像集110の一例について説明する。図3は、実施形態に係る路面画像集110の一例を示す説明図である。図3に示すように、路面画像集110には、例えば、路面に実線の中央線111aが設けられた路面画像111、路面に破線の中央線112aが設けられた路面画像112、および中央線に安全地帯113aが設けられた路面画像113が含まれている。
また、路面画像集110には、例えば、路面に走行速度の上限の文字114aが記載された路面画像114、この先に横断歩道があることを示すマーク115aが記載された路面画像115、および路面に横断歩道116aが設けられた路面画像116が含まれる。
また、路面画像集110には、例えば、路面にマンホール117aがある路面画像117、路面に道路のつなぎ目118aがある路面画像118、および路面に溝蓋119aがある路面画像119等が含まれている。このように、路面画像集110には、様々な道路構成物を含む路面画像111~119等が含まれている。
学習部21は、これらの被写体が路面であることが既知の各路面画像111~119について、路面の色、道路構成物の色、形、および配置等の特徴を教師あり機械学習して路面画像機械学習モデル31を生成する。
図2へ戻り、制御部2が備える学習部21以外の処理部の説明を進める。ここでは、図4を合わせて参照しながら説明する。図4は、実施形態に係る走行領域判定装置1の動作の一例を示す説明図である。
取得部22は、撮像装置41から車両周辺が撮像された画像を取得する。ここでは、取得部22は、図4(a)に示すように、車両の進路上に箱状の落下物101がある画像100を取得するものとする。
取得部22は、撮像装置41から取得した画像100を分割部23へ出力する。分割部23は、図4(a)に示すように、取得部22から入力される画像100を複数の分割領域に分割し、各分割領域の画像を路面判定部24へ出力する。路面判定部24は、記憶部3から路面画像機械学習モデル31を読出し、路面画像機械学習モデル31へ分割部23から入力される各分割領域の画像を入力する。
路面画像機械学習モデル31は、概念的には、図4(b)に示すように、入力層31a、中間層31b、および出力層31cという3層構造の処理層を備える。なお、図4(a)では、中間層31bが1層である場合を示しているが、中間層31bは複数層設けられてもよい。
入力層31a、中間層31b、および出力層31cは、各分割領域の画像の路面判定を並行して行う複数のノード31zを備える。入力層31aの各ノード31zは、それぞれ中間層31bの全ノード31zと接続される。中間層31bの各ノード31zは、それぞれ出力層31cの全ノード31zと接続される。このように、路面画像機械学習モデル31は、ノード31z同士が接続されたニューラルネットワーク構造となっている。
入力層31aの各ノード31zは、分割部23から順次入力される各分割領域の画像が路面か否かを判定し、路面である可能性が高い程高い重み付けをした判定結果を中間層31bのノード31zへ出力する。
中間層31bの各ノード31zも同様に、各分割領域の画像が路面か否かを判定し、路面である可能性が高い程高い重み付けをした判定結果を出力層31cのノード31zへ出力する。
出力層31cの各ノード31zは、各分割領域の画像が路面か否かを判定し、判定結果31dを出力する。なお、図4(b)には、画像100における下から2行目の分割領域の判定結果31dを示している。
図4(b)に示す例では、路面画像機械学習モデル31は、画像100における下から2行目の分割領域について、左から2番目および3番目の分割領域の画像以外を路面と判定している。
路面判定部24は、各分割領域の画像に対して路面画像機械学習モデル31による判定結果31dを付与して合成部25へ出力する。合成部25は、図4(c)に示すように、路面判定部24から入力される分割領域の画像を画像合成して分割前の画像100に戻して障害物判定部26へ出力する。
障害物判定部26は、合成部25から入力される画像合成された画像100の各分割領域に付与された路面か否かを示す判定結果に基づいて、画像100の分割領域毎に障害物が存在する可能性がある領域があるか否かを判定する。
障害物判定部26は、画像100の各分割領域に付与された路面か否かを示す判定結果に基づいて、画像100の分割領域毎に障害物が存在する可能性がない領域があるか否かについても判定する。このように、障害物判定部26は、画像100の分割領域毎に判定することによって、障害物が存在する可能性がある領域を正確に判定することができる。
また、障害物判定部26は、障害物が存在する可能性がある領域がある場合、走行車線における障害物が存在する可能性がある領域の位置および大きさが車両の走行に支障をきたす場合に警告が必要と判定し、警告装置42によって車両の運転者へ警告させる。そして、障害物判定部26は、合成部25から入力される画像100と、画像100における障害物が存在する可能性がある領域の位置を示す情報を表示制御部27へ出力する。
表示制御部27は、障害物判定部26から入力される画像100を画像表示装置43によって表示させる。さらに、表示制御部27は、図4(c)に示すように、画像100における車両の走行車線の中で障害物判定部26によって障害物が存在する可能性があると判定された領域A2以外の領域A1を走行可能領域として画像表示装置43により強調表示させる。
これにより、表示制御部27は、車両の走行可能領域をユーザに対して明確に報知することができる。その後、表示制御部27は、画像100における障害物が存在する可能性がある領域の位置を示す情報を設定部28へ出力する。
設定部28は、画像100における障害物が存在する可能性がある領域の位置を回避する走行経路L1(走行可能領域を繋いだ経路)を導出し、導出した走行経路L1を示す情報を車両制御装置44へ出力して走行経路の設定を行う。これにより、車両制御装置44は、設定される走行経路L1を走行するように車両を制御することによって、落下物101を回避させることができる。
次に、図5を参照し、実施形態に係る走行領域判定装置1の制御部2が実行する処理の一例について説明する。図5は、実施形態に係る走行領域判定装置1の制御部2が実行する処理の一例を示すフローチャートである。制御部2は、走行領域判定装置1の動作中(車両駆動中やエンジン動作中等)の期間に図5に示すフローチャートの処理を繰り返し実行する。
図5に示すように、制御部2は、まず、撮像装置41から車両の周囲が撮像された画像を取得する(ステップS101)。その後、制御部2は、取得した画像を複数の分割領域に分割する(ステップS102)。
続いて、制御部2は、分割領域内の画像が路面か否かの路面判定を行い(ステップS103)、各分割領域に対して判定結果を付与する(ステップS104)。その後、制御部2は、1フレームの画像の中で未判定の分割領域があるか否かを判定する(ステップS105)。
そして、制御部2は、未判定の分割領域があると判定した場合(ステップS105,Yes)、未判定の分割領域がなくなるまでステップS103~ステップS105の処理を繰り返す。
また、制御部2は、未判定の分割領域がないと判定した場合(ステップS105,No)、分割領域の画像を画像合成して(ステップS106)画像を分割前の画像に戻す。その後、制御部2は、各分割領域に付与した判定結果に基づいて障害物が存在する可能性がある障害物領域があるか否かを分割領域毎に判定する(ステップS107)。
そして、制御部2は、障害物領域がないと判定した場合(ステップS107,No)、処理を終了する。また、制御部2は、障害物領域があると判定した場合(ステップS107,Yes)、警告が必要か否かを判定する(ステップS108)。
制御部2は、障害物の位置が路肩であったり、障害物領域の大きさ(面積)が閾値以下であったりして、車両の走行に支障をきたさない場合に、警告が必要ないと判定する。そして、制御部2は、警告が必要でないと判定した場合(ステップS108,No)、処理を終了する。また、制御部2は、警告が必要であると判定した場合(ステップS108,Yes)、警告装置42によって警告を行わせる(ステップS109)。
続いて、制御部2は、画像表示装置43によって表示させる車両周囲の画像の中で車両の走行車線における障害物領域以外の走行可能領域を強調表示させる(ステップS110)。なお、制御部2は、このとき、障害物領域を強調表示させることもできる。また、制御部2は、このとき、障害物領域を回避する走行経路を表示画像中に重畳表示させることもできる。
その後、制御部2は、障害物領域を回避する走行経路を示す情報を車両制御装置44へ出力して走行経路設定を行い(ステップS111)、処理を終了する。制御部2は、撮像装置41から画像を取得する毎に、かかるステップS101~ステップS110の処理を実行する。
なお、制御部2が実行する処理は、図5に示す処理に限定されるものではない。制御部2は、例えば、上記したステップS101の処理の後に、道路外領域(図1に示す領域Aや画像100における地平線よりも上の領域)を判定して、路面判定処理の処理範囲を限定したり、道路外領域の表示に用いることもできる。
また、上述した実施形態では、走行領域判定装置1が路面画像機械学習モデル31を使用して画像が路面であるか否かを判定したが、画像が路面であるか否かをパターンマッチング処理によって判定してもよい。次に、図6を参照して画像が路面であるか否かをパターンマッチング処理によって判定する走行領域判定装置1aについて説明する。
図6は、実施形態の変形例に係る走行領域判定装置1aの構成の一例を示すブロック図である。ここでは、図6に示す構成要素のうち、図2に示す構成要素と同一の構成要素については、図2に示す構成要素と同一の符号を付することにより、その説明を省略する。
図6に示すように、走行領域判定装置1aは、制御部2aの構成および記憶部3aに記憶される情報が図2に示す走行領域判定装置1とは異なる。記憶部3aは、道路形成物画像32を記憶する。
道路形成物画像32は、例えば、図3に示す道路、実線の中央線111a、破線の中央線112a、安全地帯113a、文字114a、マーク115a、横断歩道116a、マンホール117a、道路のつなぎ目118a、および溝蓋119a等の画像が含まれる。
また、制御部2aは、取得部22、路面判定部24a、障害物判定部26、表示制御部27、および設定部28を備える。制御部2aが備えるこれら複数の処理部のうち、路面判定部24a以外の処理部は、図2示す取得部22、障害物判定部26、表示制御部27、および設定部28と同様の処理を行う。
路面判定部24aは、取得部22から入力される車両の周囲が撮像された画像に対して、道路形成物画像32に含まれる複数種類の道路形成物の画像を使用したパターンマッチング処理を行うことによって、画像における路面の領域を判定する。
そして、路面判定部24aは、車両の走行車線の中で路面と判定した領域の位置を示す情報を障害物判定部26へ出力する。これにより、障害物判定部26は、車両の走行車線の中で路面判定部24aによって路面と判定された領域以外の領域を障害物が存在する可能性がある障害物領域と判定することができる。
このように、走行領域判定装置1aは、パターンマッチング処理によって画像が路面か否かを判定することができるので、路面画像機械学習モデル31を使用しなくても、より簡易な処理で障害物が存在する可能性がある障害物領域と判定することができる。
なお、上述した実施形態では、走行領域判定装置1が学習部21を備える場合について説明したが、実施形態に係る走行領域判定装置は、必ずしも学習部21を備えていなくてもよい。走行領域判定装置は、他の機械学習装置によって被写体が路面であることが既知の複数の画像を用いて機械学習して生成された路面画像機械学習モデル31を記憶しておくことで上述した障害物判定処理を行うことができる。
この場合、例えば、車両に搭載される走行領域判定装置1と無線通信可能に接続されるセンター側の情報処理装置は、被写体が路面であることが既知の複数の画像を取得する。
そして、情報処理装置は、取得した複数の画像を機械学習することによって路面画像機械学習モデル(車両が安全に走行可能な走行領域の機械学習モデル)を生成し、走行領域判定装置1へ配信する。
これにより、走行領域判定装置1は、センター側の情報処理装置から配信される路面画像機械学習モデルを使用することによって、上述した障害物判定処理を行うことができる。なお、センター側の情報処理装置は、走行領域判定装置1に加え、車両の道路走行を支援する任意の道路走行支援装置へ路面画像機械学習モデルを配信して道路走行支援に使用させることもできる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1,1a 走行領域判定装置
2,2a 制御部
21 学習部
22 取得部
23 分割部
24,24a 路面判定部
25 合成部
26 障害物判定部
27 表示制御部
28 設定部
3,3a 記憶部
31 路面画像機械学習モデル
32 道路形成物画像
41 撮像装置
42 警告装置
43 画像表示装置
44 車両制御装置

Claims (8)

  1. 撮像装置から車両の周囲が撮像された画像を取得する取得部と、
    既知の複数の路面画像のみを用いて機械学習した路面機械学習モデルにより、前記取得部によって取得された画像における特定領域が路面であることを判定する判定部を備え、
    前記判定部は、路面であると判定されなかった領域を前記車両の走行に不適な走行不適領域と判定する
    ことを特徴とする走行領域判定装置。
  2. 前記取得部によって取得された画像を複数に分割して前記特定領域とする分割部
    をさらに備える
    ことを特徴とする請求項1に記載の走行領域判定装置。
  3. 前記判定部は、
    路面と判定した前記特定領域を走行好適領域と判定する
    ことを特徴とする請求項1または請求項2に記載の走行領域判定装置。
  4. 前記判定部は、
    前記取得部によって取得された画像における前記車両の走行車線内の領域について前記特定領域を判定する
    ことを特徴とする請求項1~3のいずれか一つに記載の走行領域判定装置。
  5. 前記取得部によって取得された画像における前記車両の走行車線の中で前記判定部によって走行好適領域と判定された領域を表示装置によって強調表示させる表示制御部
    をさらに備えることを特徴とする請求項3に記載の走行領域判定装置。
  6. 前記取得部によって取得された画像における前記走行好適領域を前記車両の走行経路として設定する設定部
    をさらに備えることを特徴とする請求項3または請求項5に記載の走行領域判定装置。
  7. 撮像装置から車両の周囲が撮像された画像を取得する取得工程と、
    知の複数の路面画像のみを用いて機械学習した路面機械学習モデルにより、前記取得工程によって取得された画像における特定領域が路面であることを判定する判定工程とを含み、
    前記判定工程は、路面であると判定されなかった領域を前記車両の走行に不適な走行不適領域と判定する
    ことを特徴とする走行領域判定方法。
  8. 道路走行支援を行う道路走行支援装置によって使用される車両の走行に不適な走行不適領域である路面障害物を検出する路面画像機械学習モデルの生成方法であって、
    被写体が路面であることが既知の複数の画像から路面のみを機械学習して、路面画像機械学習モデルを生成する生成工程
    を含むことを特徴とする路面画像機械学習モデルの生成方法。
JP2018104596A 2018-05-31 2018-05-31 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法 Active JP7203514B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018104596A JP7203514B2 (ja) 2018-05-31 2018-05-31 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018104596A JP7203514B2 (ja) 2018-05-31 2018-05-31 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法

Publications (2)

Publication Number Publication Date
JP2019211822A JP2019211822A (ja) 2019-12-12
JP7203514B2 true JP7203514B2 (ja) 2023-01-13

Family

ID=68845254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018104596A Active JP7203514B2 (ja) 2018-05-31 2018-05-31 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法

Country Status (1)

Country Link
JP (1) JP7203514B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402609A (zh) * 2020-03-17 2020-07-10 北京百度网讯科技有限公司 专用车道行驶提醒方法、装置、设备及存储介质
WO2023209755A1 (ja) * 2022-04-25 2023-11-02 日本電気株式会社 走行環境判定装置、車両、走行環境判定方法及び記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010176194A (ja) 2009-01-27 2010-08-12 Denso Corp 逸脱警報装置、および逸脱警報プログラム
JP2011039732A (ja) 2009-08-10 2011-02-24 Ihi Corp 車両操縦用画像表示装置および方法
JP2015057688A (ja) 2013-08-12 2015-03-26 株式会社日本自動車部品総合研究所 走行経路生成装置
JP2017016474A (ja) 2015-07-02 2017-01-19 富士通テン株式会社 障害物検出装置、及び、障害物検出方法
WO2017145645A1 (ja) 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
JP2017215939A (ja) 2016-05-27 2017-12-07 株式会社東芝 情報処理装置、車両、情報処理方法およびプログラム
JP2018022234A (ja) 2016-08-01 2018-02-08 クラリオン株式会社 画像処理装置、外界認識装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010176194A (ja) 2009-01-27 2010-08-12 Denso Corp 逸脱警報装置、および逸脱警報プログラム
JP2011039732A (ja) 2009-08-10 2011-02-24 Ihi Corp 車両操縦用画像表示装置および方法
JP2015057688A (ja) 2013-08-12 2015-03-26 株式会社日本自動車部品総合研究所 走行経路生成装置
JP2017016474A (ja) 2015-07-02 2017-01-19 富士通テン株式会社 障害物検出装置、及び、障害物検出方法
WO2017145645A1 (ja) 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
JP2017215939A (ja) 2016-05-27 2017-12-07 株式会社東芝 情報処理装置、車両、情報処理方法およびプログラム
JP2018022234A (ja) 2016-08-01 2018-02-08 クラリオン株式会社 画像処理装置、外界認識装置

Also Published As

Publication number Publication date
JP2019211822A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US10481609B2 (en) Parking-lot-navigation system and method
CN106461774B (zh) 基于雷达提示视觉成像的高级驾驶员辅助***
JP4450023B2 (ja) 自車両危険度取得装置
JP4981808B2 (ja) センサに基づく車両の始動制御方法及び運転者支援システム
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
JP6337961B2 (ja) 信号機認識装置及び信号機認識方法
JP2009037622A (ja) 画像を評価するための方法および装置
EP3054400B1 (en) Traveling road surface detection device and traveling road surface detection method
WO2012014280A1 (ja) 運転支援装置
JP5574789B2 (ja) 車両周辺監視装置及び車両周辺監視方法
JP7009042B2 (ja) 車線の部分の位置を判定するように動作可能な装置
JP2008123462A (ja) 物体検知装置
JP6431204B2 (ja) 状態予測装置及び状態予測方法
JPWO2020066505A1 (ja) 認識装置
JP7203514B2 (ja) 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
JP2018124768A (ja) 車両制御装置
US11442456B2 (en) Apparatus for determining lane change path of autonomous vehicle and method thereof
CN109076197A (zh) 显示控制装置
JP2009053818A (ja) 画像処理装置及びその方法
JP2020112417A (ja) 走行車線推定装置、走行車線推定方法、及び制御プログラム
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JPWO2020261567A5 (ja)
JP6115429B2 (ja) 自車位置認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210429

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7203514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150