JP2020160840A - 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム - Google Patents

Abstract

【課題】路面標示の視認性をより簡易に、より安定して評価することを目的とする。【解決手段】形状推定部１１２が、道路を撮影した撮影画像から路面標示の形状を推定して路面標示の有無及び種別を分類し、濃淡推定部１１３が、撮影画像から路面標示の濃淡を推定して路面標示の掠れ度合いの段階を分類し、区画線評価部１１５が、複数の撮影画像をまとめた区間ごとに区画線の掠れ度合いを評価し、出力部１１６が、区間ごとの区画線の掠れ度合いを出力する。【選択図】図１

Description

本発明は、路面標示の撮影画像を解析処理して、路面標示の不具合を検出する技術に関する。

従来、車道外側線や追い越し禁止線などの路面標示の維持管理のため、目視による点検作業が行われてきた。路面標示は、道路利用者の安全を担保するための情報であり、路面標示の視認性を良好な状態に保つことは重要である。路面標示の塗り替えの判断においては、観測者が路面標示を視認し、視認した印象によりランク区分する目視評価ランクと呼ばれる指標が用いられることが多い。

全国道路標識・標示業協会著、「路面標示ハンドブック」、全国道路標識・標示業協会出版、2012年10月1日

目視評価ランクの評価にあたっては、人による目視点検が行われていた。評価は観測者の印象によるものであるので、観測者によって評価が異なることがあり、評価を物理量又は機械的な処理を用いて一意に定めることができないという問題があった。

従来の目視による点検作業は、個々の路面標示に対する掠れ度合いを算定するのみである。区画線あるいは区画線様の道路延長に沿った形状を持つ路面標示（以下、単に「区画線」と称する）については、道路の一定の区間に対する掠れ度合いは分からなかったため、路面標示の塗り替え工事を一定の区間に対して実施すべきか否かの判断が行いにくいという問題があった。

本発明は、上記に鑑みてなされたものであり、路面標示の視認性をより簡易に、より適切に評価することを目的とする。

本発明に係る路面標示不具合検出装置は、道路標示及び区画線及び法定外表示の少なくともいずれかを含む路面標示を撮影した撮影画像から前記路面標示の不具合を検出する路面標示不具合検出装置であって、撮影画像から前記路面標示の形状を推定して前記路面標示の有無及び種別を分類する形状推定手段と、前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類する濃淡推定手段と、前記路面標示が区画線の場合は、複数の前記撮影画像をまとめた区間ごとに前記区画線の掠れ度合いを評価する区画線評価手段と、区間ごとの前記区画線の掠れ度合いを出力する出力手段と、を有することを特徴とする。

本発明によれば、ビデオカメラ等で道路を撮影した撮影画像に基づいて画像に写り込んだ路面標示の有無及び種別及び掠れ度合いを区間ごとに判定するので、路面標示の視認性をより簡易に、より適切に評価することができる。

本実施の形態における路面標示不具合検出装置の構成を示す機能ブロック図である。 道路を撮影した撮影画像の例を示す図である。 形状推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。 形状推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。 濃淡推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。 路面標示不具合検出装置のメインルーチンのフローチャートである。 形状推定サブルーチンのフローチャートである。 道路を撮影した撮影画像から部分画像を得る例を示す図である。 同一の路面標示が複数の部分画像にまたがっている例を示す図である。 図８の複数の部分画像を結合して１つの部分画像とした例を示す図である。 濃淡推定サブルーチンのフローチャートである。 区画線評価サブルーチンのフローチャートである。 部分画像のスコアの計算例を示す図である。 部分画像のスコアの計算例を示す図である。 １つの区画線が撮影画像内の複数箇所で検出された例を示す図である。 部分画像のスコアを重み付ける例を示すグラフである。 区間内の静止画のスコアの平均値を区間のレベルに変換するグラフを示す図である。 結果出力サブルーチンのフローチャートである。 路面標示不具合検出装置の出力結果を利用したアプリケーションの画面の例を示す図である。 路面標示不具合検出装置の出力結果を利用したアプリケーションの画面の例を示す図である。

本発明の実施の形態の一つを以下に示す。

［路面標示画像処理装置の構成］
図１は本実施の形態における路面標示画像処理装置の構成を示す機能ブロック図である。

図１に示す路面標示不具合検出装置１００は、静止画取得部１１１、畳み込みニューラルネットワーク１２１とパラメータ１２２から構成される形状推定部１１２、畳み込みニューラルネットワーク１２３とパラメータ１２４から構成される濃淡推定部１１３、撮影位置突合部１１４、区画線評価部１１５、及び出力部１１６を具備する。

静止画取得部１１１は、路面標示の掠れ度合いを判定するために用いる撮影画像（静止画）を取得する。本実施の形態においては、市販ビデオカメラを車両に搭載して走行しながら撮影した撮影動画のファイルをメモリカードなどの記憶媒体１０１に格納して、当該メモリカードを路面標示不具合検出装置１００に装着して読み込ませる。静止画取得部１１１は、記憶媒体１０１から読み込んだ撮影動画から一定間隔ごとに静止画を取得する。記憶媒体１０１に保存されている撮影動画の各フレームに着目した場合、それぞれのフレームを静止画とみなすことができる。なお、本装置は静止画又は動画像の撮影の方法には依らず、例えば地上にて市販カメラを用いて路面標示を接写した静止画を用いてもよい。静止画取得部１１１は、ネットワークを介して撮影動画又は静止画を取得してもよい。

図２は道路を撮影した撮影画像の例を示す図である。同図に示す撮影画像２０１は、片側１車線の左側通行の道路を撮影した画像である。撮影画像２０１には、横断歩道予告２０２、車道外側線２０３、追い越しのための右側部分はみ出し通行禁止２０４、及び歩道の端２０５が写り込んでいる。歩道の端２０５より左には道路に面した家屋などが写り込んでいる。撮影画像２０１の幅及び高さはいかようでもよいが、本実施の形態においては、撮影画像２０１は幅３６００ピクセル、高さ２０００ピクセルであるとする。

形状推定部１１２は、静止画に写った路面標示の種別を分類する。本実施の形態では、形状推定部１１２は、畳み込みニューラルネットワークを用いて静止画に写った路面標示の種別を分類する。

畳み込みニューラルネットワークはニューラルネットワークの考え方に基づいて画像の分類を行う技術である。畳み込みニューラルネットワークにおいて、画像はクラスと呼ばれる単位で分類される。例えば、りんごの画像とみかんの画像を分類することができる畳み込みニューラルネットワークは、りんごクラスとみかんクラスの２種類のクラスを有するネットワークであると言える。畳み込みニューラルネットワークを用いる際は、前もって製品の開発製造段階において、分類させたいクラスごとに教師画像と呼ばれる正解画像群を準備し、正解画像群を畳み込みニューラルネットワークの学習機能に入力することで、畳み込みニューラルネットワークが内部に保持するニューラルネットワークの繋がりに正解画像群を学習させ、学習の結果を畳み込みニューラルネットワークのパラメータとして設定する。これによって畳み込みニューラルネットワークは、以降、目的画像を畳み込みニューラルネットワークの判定機能に入力することで、目的画像を予め学習させたクラスに分類した結果を返すことができる。この際、畳み込みニューラルネットワークは、例えば「りんごである確信度が８０％、かつ、みかんである確信度が２０％」のように、目的画像がそれぞれのクラスである確信度の並びとして結果を返すことができる。畳み込みニューラルネットワークの利点は、対象とする画像を判定する際に画像の特徴などを人間が予め考慮する必要がなく、大量の正解画像群を事前すなわち製品の開発製造段階で学習させておくだけで、目的画像の判定が高い精度で可能になるという点にある。この利点のため畳み込みニューラルネットワークは広く用いられており、利用可能な多数のオープンソースのライブラリが入手可能であり、畳み込みニューラルネットワークは容易に利用できる。本装置は、畳み込みニューラルネットワーク１２１，１２３にオープンソースのライブラリを用いることで、学習機能及び判定機能を実現する。

図３Ａおよび図３Ｂは形状推定部１１２にて用いられる畳み込みニューラルネットワーク１２１が分類するクラスの例を示す図である。

本実施の形態においては、事前すなわち本装置の開発製造段階で図３Ａおよび図３Ｂに示すクラスごとに正解画像群を用意し、形状推定部１１２が用いる畳み込みニューラルネットワーク１２１の学習機能に正解画像群を入力し、学習の結果を畳み込みニューラルネットワーク１２１のパラメータ１２２として設定する。本装置の運用時には畳み込みニューラルネットワーク１２１の判定機能に目的画像を入力し、目的画像に路面標示が写り込んでいるか否かを区分するとともに、写り込んだ路面標示の種別を区分する。

路面標示は、道路標示、区画線、及び法定外表示を含む。また、路面標示には複数の種別がある。点検主体が道路管理者であるか又は都道府県公安委員会であるかによって、点検対象とする路面標示の種別が異なる。

本実施の形態においては、図３Ａに示した９種類の路面標示のクラスと図３Ｂに示した３種類の路面標示以外の物体のクラスを畳み込みニューラルネットワーク１２１が分類するクラスに含める。具体的には、図３Ａに示す、横断歩道予告３１１、停止線３１２、横断歩道３１３、追い越しのための右側部分はみ出し通行禁止３１４、止まれ文字３１５、車道外側線３１６、Ｔ型交差点クロスマーク３１７、十型交差点クロスマーク３１８、及び路面標示が写りこんでいない路面３２０と、図３Ｂに示す壁面３３１、車体３３２、及び歩道３３３を畳み込みニューラルネットワーク１２１が分類するクラスに含める。したがって、畳み込みニューラルネットワーク１２１は計１２種類のクラスを有する。分類するクラスの数は任意に設定してもよい。なお、路面標示が写りこんでいない路面３２０は、路面標示の有無を判断するためのクラスである。壁面３３１、車体３３２、歩道３３３の３種類のクラスは、路面標示以外の物体の写り込みを区分したクラスである。

学習機能に入力する正解画像群を準備するときは、分類対象が写り込んだ静止画群を用意し、静止画群のうち各クラスの分類対象が写り込んだ部分を市販の画像処理ソフトで切り出して正解画像とする。この作業は、本装置の開発製造段階において、人間が製造作業の一環として実施するものである。本実施の形態においては、正解画像用に道路を撮影した静止画群を用意し、静止画群のうち分類対象が写り込んだ部分を市販の画像処理ソフトで切り出す。各クラスに少なくとも正解画像を１０００枚以上用いる。学習に用いる正解画像は、矩形であれば正方形であっても長方形であってもよい。例えば、停止線３１２はその形状に合わせて横長の長方形の画像を用意しても良い。

検出対象とする路面標示のクラス以外のクラスについては、正解画像の枚数の確保が困難な場合、複数のクラスをまとめて一つのクラスとすることもできる。例えば、Ｔ型交差点クロスマーク３１７と十型交差点クロスマーク３１８が検出対象外の路面標示の場合、Ｔ型交差点クロスマーク３１７と十型交差点クロスマーク３１８をまとめて、一つの交差点クロスマークのクラスとしてもよいし、路面標示以外の物体のクラスである壁面３３１、車体３３２、歩道３３３をまとめて、物体の写り込みのクラスとしてもよい。

濃淡推定部１１３は、静止画に写った路面標示の掠れ度合いを分類する。本実施の形態では、濃淡推定部１１３は、畳み込みニューラルネットワークを用いて静止画に写った路面標示の掠れ度合いを分類する。掠れ度合いとは、路面標示の磨耗、剥離、劣化による塗膜の不鮮明さ及び欠損の程度を指す。

図４は濃淡推定部１１３にて用いられる畳み込みニューラルネットワーク１２３が分類するクラスの例を示す図である。本実施の形態においては、事前すなわち本装置の開発製造段階で図４に示すクラスごとに正解画像群を用意し、濃淡推定部１１３が用いる畳み込みニューラルネットワーク１２３の学習機能に正解画像群を入力し、学習の結果を畳み込みニューラルネットワーク１２３のパラメータ１２４として設定する。本装置の運用時には畳み込みニューラルネットワーク１２３の判定機能に目的画像を入力し、写り込んだ路面標示の掠れ度合いを分類する。

掠れ度合いを分類する段階の数は、点検主体の点検基準による。本実施の形態においては、掠れ度合いの分類をレベル１、レベル２、レベル３の３段階とするが、掠れ度合いの段階の数は任意に設定してもよい。例えば、路面標示ハンドブックに紹介されている目視評価ランクの数に合わせて５段階に分類してもよい（非特許文献１参照）。

掠れ度合いの各レベルの定義は、点検主体の点検基準による。本実施の形態においては、レベル１は路面標示全体の形状を維持しており掠れにより不鮮明な箇所の面積が全体の３０％未満を占める路面標示、レベル２は路面標示全体の形状は維持しているが掠れにより不鮮明な箇所の面積が全体の３０％以上、６０％未満を占める路面標示、レベル３は欠損により路面標示全体の形状を維持していない、又は掠れにより不鮮明な箇所の面積が全体の６０％以上を占める路面標示とする。

図４のクラス４０１〜４０３のそれぞれが掠れ度合いのレベル１〜３に対応する。路面標示が写り込んでいない路面及び物体の写り込みのクラス４０４を、路面４４１、壁面４４２、車体４４３、および歩道４４４の４種類で構成する。

濃淡推定部１１３が用いる畳み込みニューラルネットワーク１２３は、掠れ度合いのレベル１、レベル２、レベル３の各クラス４０１〜４０３と、路面標示が写り込んでいない路面及び物体の写り込みのクラス４０４からなる４種類のクラスを事前に学習したパラメータ１２４を設定する。

学習に用いる画像は、矩形であれば正方形であっても長方形であってもよい。また、各レベルの学習に用いる正解画像群は、単一の種別の路面標示で構成してもよいし、複数の種別の路面標示で構成してもよいし、畳み込みニューラルネットワーク１２１の学習に用いた正解画像を再利用してもよい。

本実施の形態においては、畳み込みニューラルネットワーク１２１の学習に用いた正解画像を再利用する。具体的には、レベル１、レベル２、レベル３の３種類のクラスの正解画像については、路面標示であるクラス、すなわち横断歩道予告３１１、停止線３１２、横断歩道３１３、追い越しのための右側部分はみ出し通行禁止３１４、止まれ文字３１５、車道外側線３１６、Ｔ型交差点クロスマーク３１７、及び十型交差点クロスマーク３１８、の正解画像を掠れ度合いのレベルごとに分類して再利用する。路面標示が写り込んでいない路面及び物体の写り込みの正解画像については、路面標示が写りこんでいない路面３２０、壁面３３１、車体３３２、歩道３３３の正解画像をそのまま再利用する。なお、学習に用いる画像の枚数の目安は、使用するライブラリにより異なるが、本実施の形態においては、各クラスに少なくとも１０００枚以上を用いる。

撮影位置突合部１１４は、撮影動画を撮影した位置情報に基づいて静止画取得部１１１の取得した静止画の撮影地点を特定する。本実施の形態においては、市販ＧＰＳロガーを車両に搭載して走行しながら取得した位置情報のファイルをメモリカードなどの記憶媒体１０２に格納して、当該メモリカードを路面標示不具合検出装置１００に装着して読み込ませる。なお、本装置は撮影位置の記録の方法には依らず、例えば撮影した静止画におけるＥｘｉｆに記録された撮影位置の情報を用いてもよい。撮影位置突合部１１４は、ネットワークを介して位置情報のファイルを取得してもよい。

区画線評価部１１５は、連続する静止画を一定枚数単位でまとめた区間に対して、区画線の掠れ度合いを評価する。区画線評価部１１５が区間ごとに評価する区画線は、例えば、図３Ａに示した追い越しのための右側部分はみ出し通行禁止３１４及び車道外側線３１６のクラスに分類される路面標示である。本実施の形態においては、連続する静止画を６枚単位でまとめる。静止画取得部１１１が３．３ｍ間隔で静止画を取得したとすると、区画線評価部１１５は、区画線の掠れ度合いを約２０ｍの区間ごとに評価することになる。なお、区間の長さ、静止画を取得する間隔、および区間として静止画をまとめる枚数は任意に設定してもよい。

出力部１１６は、検出対象の路面標示を検出した静止画の識別子、当該路面標示の静止画中の位置、種別、及び掠れ度合いの情報を出力する。静止画の識別子として、静止画を取得した撮影動画のフレーム番号を用いてもよい。出力部１１６は、路面標示を検出した静止画の撮影位置の情報を出力してもよい。

また、出力部１１６は、区間ごとの区画線の掠れ度合いを出力する。

［路面標示画像処理装置の動作］
次に、本実施の形態における路面標示画像処理装置の動作について説明する。図５は、路面標示不具合検出装置１００のメインルーチンのフローチャートである。

まず、路面標示不具合検出装置１００が処理を開始すると、静止画取得部１１１が、記憶媒体１０１から撮影動画のファイルを読み取って、一定間隔ごとに静止画を取り出し、取り出された静止画群を以降の手順へと送る（手順５０１）。ＧＰＳによって車両の緯度経度座標や移動速度を取得しておいて、例えば３．３ｍごとの一定距離間隔を進んだ位置に相当する静止画を抜き出して処理対象とする。

次に形状推定部１１２は、後述する形状推定サブルーチンの処理によって、静止画群の各静止画から路面標示が含まれる部分画像を抽出し、部分画像に含まれる路面標示の種別を分類する（手順５０２）。部分画像は、静止画の一部分を切り出した画像であり、路面標示の種別の分類および路面標示の濃淡の推定の処理単位である。静止画から複数の部分画像を抽出してもよい。

次に濃淡推定部１１３が、後述する濃淡推定サブルーチンの処理によって、部分画像に含まれる路面標示の掠れ度合いを分類する（手順５０３）。

次に撮影位置突合部１１４が、記憶媒体１０２から位置情報ファイルを読み取って、静止画群の各静止画の撮影地点を特定する（手順５０４）。静止画の撮影地点を特定する際、例えば動画から取り出された静止画に相当するフレームが撮影された時刻を取得し、位置情報が記録された時刻と突合することで撮影地点を特定してもよいし、さらに両時刻が一致しない場合は前後の位置情報を用いて線形補間等の数値計算を行って推定してもよい。あるいは記憶媒体１０１に記録されているデータが動画ではなく静止画の場合は、静止画のＥｘｉｆに記録された位置情報を用いてもよい。

次に区画線評価部１１５が、後述する区画線評価サブルーチンの処理によって、静止画群を一定区間ごとに分け、区間ごとに区画線の掠れ度合いを評価する（手順５０５）。

次に出力部１１６が、後述する結果出力サブルーチンの処理によって、静止画群について、各静止画に写り込んだ検出対象の路面標示の静止画中の位置、種別、掠れ度合いの情報を出力する（手順５０６）。出力部１１６は、区画線については、区間ごとに評価を出力する。

以上の処理により、道路を撮影した静止画又は撮影動画から検出対象の路面標示の有無、静止画中の位置、種別、掠れ度合いの情報を得ることができる。区画線については、区間ごとの掠れ度合いの情報を得ることができる。

（形状推定処理）
図６は、形状推定サブルーチンのフローチャートである。

形状推定サブルーチンが呼び出されると、形状推定部１１２は、処理対象の静止画を矩形で分割し、分割して得られた静止画の各部分（部分画像）のうち、後述する条件に合致した部分画像からなる部分画像群を以降の手順へと送る（手順６０１）。

図７は撮影画像２０１から部分画像を得る例を示す図である。矩形７０１は高さ８００ピクセル、幅８００ピクセルの正方形の矩形であり、処理後画像は撮影画像２０１と矩形の左上頂点を合わせるところから始めて、矩形を水平方向、鉛直方向に４００ピクセルずつずらして隈なく分割したものである。撮影画像２０１中の２×２の矩形で表される各部分が部分画像である。

なお、部分画像の大きさは任意であるが、静止画に写りこむ路面標示の大きさを鑑みて、路面標示の大部分が部分画像内に収まるような大きさを確保し、かつ路面標示の近傍にあるその他の路面標示や物体が極力入り込まないような大きさに留めることは、道路の静止画に対する路面標示及び物体の写り込みの性質から見て合理的である。また、部分画像の各辺は本実施例のように固定長にしてもよいし、幅と高さの異なる複数種類の部分画像を用いてもよい。例えば、遠近法を考慮し、静止画の上方、すなわち道路の奥に向かうにつれ部分画像を小さくしてもよい。

静止画全体を分割して部分画像を取得するため、静止画の上部の部分画像には路面を含んでいない領域、又は遠近法により路面標示が小さく写っている領域等が含まれる。このような領域を含む部分画像は、路面標示が写っていないか、又は写っていたとしても形状や濃淡を推定する上で大きさが不十分である。特に後者の場合、誤った推定結果を出力する原因となり得るため、以降の手順に送ることは好ましくない。

本実施の形態においては、遠近法により静止画のうち下部の領域に道路の大半が写ることを鑑みて、静止画の下部の部分画像を以降の手順へ送る。具体的には、図７の撮影画像２０１の下部６０％の領域７０２に全体が含まれる部分画像の集合を以降の手順へ送る。なお、処理対象とする部分画像の条件は上記に限定するものではなく、例えば、静止画の周囲を処理対象から外してもよいし、静止画の左右の端を処理対象から外してもよい。

部分画像を得る方法は上記の本実施例の方法を用いてもよいし、例えばSelective Searchのような既存の物体候補検出アルゴリズムを用いて抽出する方法でもよい。あるいは、Faster R-CNNにおけるRegion Proposal Network(RPN)のような既存のニューラルネットワークによる検出手法を用いてもよい。

次に形状推定部１１２は、部分画像群を畳み込みニューラルネットワーク１２１の判定機能に入力し、各部分画像を図３Ａおよび図３Ｂに示したいずれかのクラスに分類する（手順６０２）。以下、この分類結果を形状分類結果と呼ぶ。

次に形状推定部１１２は、部分画像群に含まれる各部分画像について、形状分類結果が路面標示であるかを判定する（手順６０３）。形状分類結果が路面標示である部分画像を以降の手順の処理対象とし（手順６０４）、形状分類結果が路面標示でない部分画像は以降の手順の処理対象としない（手順６０５）。つまり、図３Ａに示したクラス（ただし、路面標示が写りこんでいない路面３２０は除く）に分類された部分画像のみを以降の手順の処理対象とする。手順６０３から手順６０５までの処理は、部分画像群に含まれる各部分画像について繰り返される。

次に形状推定部１１２は、同一の路面標示が複数の部分画像にまたがっていた場合に複数の部分画像を１つの部分画像に結合し、結合前の複数の部分画像の代わりに結合した１つの部分画像を以降の手順へと送る（手順６０６）。同一とは、形状分類結果が同一のクラスであることを言う。またがるとは、２つの部分画像を任意に選んだ際、両部分画像が同一のクラスであり、かつ両部分画像を構成する辺の少なくとも１組以上が交差または重なっている状態を言う。１つの部分画像に結合するとは、複数の部分画像の全てを内部に含む最小の矩形による部分画像を得ることを言う。

図８は同一の路面標示（横断歩道予告２０２）が複数の部分画像にまたがっている例を示す図である。

図８（ａ）〜（ｄ）の部分画像８０１〜８０４では、それぞれ同一の横断歩道予告２０２が検出されている。また各部分画像８０１〜８０４は互いにまたがる位置に存在している。したがって、形状推定部１１２は、部分画像８０１〜８０４を結合して、図９に示すような１つの部分画像９０１を得る。なお、撮影画像２０１は、横断歩道予告２０２以外に、車道外側線２０３と追い越しのための右側部分はみ出し通行禁止２０４の路面標示を含んでいる。これらの路面標示が複数の部分画像にまたがっている場合も同じく結合の対象となる。

次に形状推定部１１２は、部分画像群と形状分類結果を出力して（手順６０７）、形状推定サブルーチンを終了する。

（濃淡推定処理）
図１０は、濃淡推定サブルーチンのフローチャートである。

濃淡推定サブルーチンが呼び出されると、濃淡推定部１１３は、形状推定部１１２の出力した部分画像群を畳み込みニューラルネットワーク１２３の判定機能に入力し、各部分画像を図４に記載のいずれかのクラスに分類する（手順１００１）。具体的には、濃淡推定部１１３は、各部分画像を、掠れ度合いのレベル１〜３のクラスまたは路面標示が写り込んでいない路面及び物体の写り込みのクラスに分類する。本実施の形態においては、路面標示が写り込んでいない路面及び物体の写り込みのクラスの掠れ度合いはレベル０とする。つまり、濃淡推定部１１３は、各部分画像の掠れ度合いをレベル０〜３の４段階に分類する。

濃淡推定部１１３は、部分画像ごとに、分類結果である濃淡分類結果を出力し（手順１００２）、濃淡推定サブルーチンを終了する。各部分画像の濃淡分類結果は、レベル０〜３のそれぞれについて確信度を含む。確信度は部分画像の掠れ度合いがそのレベルである可能性の高さを示す０以上１以下の数値である。各レベル０〜３の確信度を合計すると１となる。例えば、ある部分画像について、レベル０の確信度が０、レベル１の確信度が０．１、レベル２の確信度が０．７、レベル３の確信度が０．２だとすると、その部分画像の掠れ度合いはレベル２である可能性が高い。

（区画線評価処理）
図１１は、区画線評価サブルーチンのフローチャートである。

区画線評価サブルーチンが呼び出されると、区画線評価部１１５は、連続する静止画を一定枚数単位でまとめた区間ごとに、区間内の静止画で区画線が検出された部分画像の形状分類結果と濃淡分類結果を以降の手順へと送る（手順１１０１）。本実施の形態においては、連続する静止画６枚で区間を構成し、６枚の静止画内で区画線が検出された部分画像の形状分類結果と濃淡分類結果を以降の手順へと送る。以降の手順は、処理対象の区間ごとに行われる。

次に区画線評価部１１５は、区間内の静止画のいずれかにおいて区画線が検出されたか否か判定する（手順１１０２）。具体的には、区画線評価部１１５は、処理対象の区間内の静止画に、形状分類結果が追い越しのための右側部分はみ出し通行禁止３１４または車道外側線３１６の部分画像が存在するか否か判定する。

区間内の静止画に形状分類結果が区画線の部分画像が存在しない場合、区画線評価部１１５は、その区間には区画線が存在しないと判定する（手順１１０３）。区画線評価部１１５は、次に処理する区間が存在する場合、次の区間を処理対象として手順１１０１からの処理を繰り返す（手順１１０７）。

区間内の静止画に形状分類結果が区画線の部分画像が存在する場合、区画線評価部１１５は、部分画像の濃淡分類結果に基づいて部分画像のスコアを計算する（手順１１０４）。具体的には、区画線評価部１１５は、次式（１）を用い、濃淡分類結果の各レベル１〜３の確信度ｃｏｎｆｉｄｅｎｃｅ_m（ｍ＝１〜３）で期待値を計算し、部分画像のスコアｓｃｏｒｅ_subframeを計算する。

レベル０の確信度が最も大きい部分画像は形状推定部１１２の誤りであるとみなし、部分画像のスコアの計算対象としない。また、部分画像のスコアの計算には、レベル０の確信度を除いたレベル１〜３の確信度を使用する。濃淡推定部１１３は、部分画像の濃淡を推定する際、路面標示が存在しないレベル０と路面標示が掠れて見えづらいレベル３とを迷うことがある。この場合に、レベル０を部分画像のスコアの計算に含めると、本来はレベル３に近いスコアとなるべき部分画像のスコアが過小評価されてしまう。そこで、区画線評価部１１５は、レベル０の確信度を除いたレベル１〜３の確信度を用いて部分画像のスコアを計算する。

図１２Ａ及び図１２Ｂを参照し、部分画像のスコアの計算について具体例を用いて説明する。図１２Ａに示す部分画像の濃淡分類結果は、レベル０の確信度が０、レベル１の確信度が０．１、レベル２の確信度が０．７、レベル３の確信度が０．２である。レベル０の確信度を除いたレベル１〜３の数値を式（１）に代入すると、部分画像のスコア＝（１×０．１＋２×０．７＋３×０．２）÷（０．１＋０．７＋０．２）＝２．１となる。

図１２Ｂに示す部分画像の濃淡分類結果は、レベル０の確信度が０．４、レベル１の確信度が０、レベル２の確信度が０、レベル３の確信度が０．６である。レベル０の確信度を除いたレベル１〜３の数値を式（１）に代入すると、部分画像のスコア＝（１×０＋２×０＋３×０．６）÷（０＋０＋０．６）＝３となる。図１２Ｂに示すように、濃淡推定部１１３がレベル０かレベル３で迷うケースであっても、部分画像のスコアはより適切に３と評価される。

なお、部分画像が複数の部分画像を結合して１つの部分画像としたものである場合、結合前の部分画像のそれぞれについて濃淡分類結果を求めておき、結合前の部分画像のそれぞれについて式（１）でスコアを求め、求めたスコアの平均を計算して結合後の部分画像のスコアとしてもよい。

次に区画線評価部１１５は、部分画像のスコアに基づいて静止画のスコアを計算する（手順１１０５）。本実施の形態においては、静止画内の区画線の掠れ度合いが高くなるほど高い重み付けで静止画を評価し、静止画のスコアを計算する。具体的には、区画線評価部１１５は、次式（２）を用い、１つの静止画内の部分画像のスコアｓｃｏｒｅ_subframekを指数γで冪乗して重み付けをしたものの平均を取って静止画のスコアｓｃｏｒｅ_frameを計算する。

ここで、Ｋは静止画内で同一と推定される区画線が検出された部分画像の数である。同一と推定される区画線とは、静止画上での区画線の検出位置に基づいて同一と考えうる区画線である。例えば、静止画上で道路延長に沿った位置で複数の部分画像として検出された区画線は同一と推定できる。静止画上で道路延長に沿わずに左右に離れた位置で複数の部分画像として検出された区画線は、互いに異なる区画線であると推定できる。Ｋ＝０の静止画つまり区画線が検出されていない静止画については、静止画のスコアｓｃｏｒｅ_frame＝１とする。つまり、１≦ｓｃｏｒｅ_frame≦３^γとなる。

上記示した計算方法の利点について述べる。例えば、図１３に示すように、１つの区画線が複数の部分画像１３０１，１３０２として検出され、部分画像のスコアがそれぞれ３と１であったと仮定する。この場合、部分画像のスコアを単純に平均して静止画のスコアを求めると、静止画のスコアが２となってしまうので、レベル３と評価されるべき掠れ度合いの高い区画線のレベルを低く評価してしまうという問題が生じる。

そこで、本実施の形態においては、部分画像内の区画線の掠れ度合いに応じた重み付けを行って部分画像のスコアを計算した後に、部分画像のスコアを集計して静止画のスコアを計算することとした。具体的には、部分画像のスコアを指数γで冪乗してスケールを変換することで、図１４のグラフに示すように、部分画像の区画線の掠れ度合いが高くなるほど部分画像のスコアが指数関数的に高くなるように部分画像のスコアを重み付けた。指数γの値は任意であるが、本実施の形態では指数γ＝ｌｏｇ６０／ｌｏｇ３とした。なお、重み付けの方法は上記に限るものではない。区画線の掠れ度合いが高くなるほど高く重み付けできればよい。

区画線評価部１１５は、手順１１０４及び手順１１０５の処理を区間内の各静止画について繰り返し、区間内の各静止画について、区画線の掠れ度合いに基づく静止画のスコアを算出する。

なお、静止画内に異なる区画線が写っている場合は、区画線ごとに静止画のスコアを計算する。例えば、図２の撮影画像２０１には、車道外側線２０３と追い越しのための右側部分はみ出し通行禁止２０４が写っている。撮影画像２０１を含む区間については、車道外側線２０３を検出した部分画像に基づく静止画のスコアと、追い越しのための右側部分はみ出し通行禁止２０４を検出した部分画像に基づく静止画のスコアが求められる。以下の手順１１０６では、車道外側線２０３の掠れ度合いと追い越しのための右側部分はみ出し通行禁止２０４の掠れ度合いが求められる。

次に区画線評価部１１５は、区間内の静止画のスコアを集計し、集計結果に基づいて区間内の区画線の掠れ度合いを求める（手順１１０６）。具体的には、区画線評価部１１５は、次式（３）を用い、区間内の静止画のスコアｓｃｏｒｅ_frameの平均に基づいて区間のスコアｓｃｏｒｅ_sectionを計算する。

ここで、Ｎは区間内の静止画の数である。ｃｏｎｓｔは１＜ｃｏｎｓｔ≦３^γの範囲で任意の定数である。本実施の形態では、ｃｏｎｓｔ＝２．５^γとする。なお、静止画のスコアｓｃｏｒｅ_frameの平均値の代わりに合計値を用いても同様に区間のスコアｓｃｏｒｅ_sectionを計算できる。

なお、本実施の形態においては、手順１１０５においてスコアをγ乗してから平均値を求め、その結果を逆演算して元のスケールに戻す演算を行うことなく、次の手順１１０６で用いることによって、区間内の静止画のスコアを集計して区間内の区画線の掠れ度合いを求める際に掠れ度合いが高くなるほど高い重み付けで評価して集計結果を求めることとした。本発明はこれに限るものではなく、例えば手順１１０５において得られた平均値を１／γ乗して元のスケールに戻し、次に手順１１０６において改めてγ乗してから集計するなどの処理としてもよいし、あるいは、手順１１０６において別の定数γ’を用いたり別のスケール変換関数を用いて演算してもよい。

式（３）は、次式（４）を満たすとき、区間のスコアｓｃｏｒｅ_section＝１となり、次式（５）を満たすとき、区間のスコアｓｃｏｒｅ_section＝３となる計算式である。

図１５に、式（３）で得られる区間内の静止画のスコアの平均値を区間のレベルに変換するグラフを示す。式（３）のｃｏｎｓｔの値を変化させると、区間のレベルが３になるときの区間内の静止画のスコアの平均値、つまり図１５のグラフの傾きが変化する。なお、本実施の形態においては、図１５のグラフにおいてグラフのおよそ左半分が傾き一定の直線となるような式（３）を用いた。本発明の範囲はこれに限るものではなく、グラフの左半分が指数関数あるいは高次関数などで規定される曲線となってもよい。あるいは、それらの直線ないし曲線の範囲が横軸の中央よりも左あるいは右に偏るようなグラフとなるような関数、すなわち、式（５）を満たす静止画のスコアの平均がより小さいもしくはより大きい値となるような式および定数を用いてもよい。

区画線評価部１１５は、区間のスコアを所定の段階に分けて区間のレベルを求める。本実施の形態においては、区間のスコアの範囲（１≦ｓｃｏｒｅ_section≦３）を３等分するように閾値（１．６７と２．３３）を定め、１≦ｓｃｏｒｅ_section≦１．６７のときはレベル１、１.６７＜ｓｃｏｒｅ_section≦２．３３のときはレベル２、２．３３＜ｓｃｏｒｅ_section≦３のときはレベル３とする。

なお、掠れ度合いが高く視認が困難な区画線が存在する区間をレベル３と評価しつつ、かつレベル２の区間を過大評価しないように、式（２）の指数γ、式（３）のｃｏｎｓｔ、および上記の閾値を調整してもよい。例えば、本実施の形態では、区間内の６つの静止画のうち、２つの静止画で静止画のスコアｓｃｏｒｅ_frame＝３^γとなる区画線を検出し、残りの４つの静止画では区画線が検出できなかった場合、区間のスコアｓｃｏｒｅ_section≒２．３４となり、その区間はレベル３と評価されるように前記の各種定数を定めてある。一方、６つの静止画の全てでレベル２の区画線が検出された場合、区間のスコアｓｃｏｒｅ_section≒１．８３となり、その区間はレベル２と適切に評価されるように前記の各種定数を定めてある。

指数γおよびｃｏｎｓｔの値、区間のスコアの閾値は、上記に限るものではなく、区間としてまとめる静止画の数などに応じて適宜変更可能である。

なお、区間のスコアを区間のレベルの段階に分けずに、区間のスコアをそのまま区間内の区画線の評価（掠れ度合い）としてもよい。

次に区画線評価部１１５は、次の区間を処理対象として手順１１０１からの処理を繰り返す（手順１１０７）。

区画線評価部１１５は、処理対象の区間がない場合、手順１１０６で求めた区間ごとの区画線の掠れ度合いを出力し、区画線評価サブルーチンを終了する。

（結果出力処理）
図１６は、結果出力サブルーチンのフローチャートである。

結果出力サブルーチンが呼び出されると、出力部１１６は、部分画像群に含まれる各部分画像について、形状分類結果が検出対象の路面標示であるか（手順１６０１）、濃淡分類結果がレベル１ないし３であるかを判定する（手順１６０２）。出力部１１６は、形状分類結果が検出対象の路面標示であって、濃淡分類結果がレベル１ないし３である部分画像を以降の手順の処理対象とする （手順１６０３）。形状分類結果が検出対象の路面標示でない部分画像と濃淡分類結果が路面標示が写り込んでいない路面及び物体の写り込みの部分画像は以降の手順の処理対象としない（手順１６０４）。なお、区画線については、区間ごとに掠れ度合いを求めているので、形状分類結果が区画線の部分画像は以降の手順の処理対象としない。

このように、本装置は、形状推定の観点から部分画像が路面標示を含んでいるかを判定するのに加え、濃淡推定の観点から部分画像が路面標示を含んでいるかを陰に判定している。すなわち２つの異なる観点から路面標示を含んでいるかを判定している。これにより１つの観点だけで判定することによる特徴の見落としを減らし、確度の高い判定を実現している。

次に出力部１１６は、部分画像群に含まれる各部分画像について、属する静止画の識別子及び静止画中の位置及び種別及び掠れ度合いを出力する（手順１６０５）。種別とは形状分類結果のクラスのことであり、掠れ度合いとは濃淡分類結果のクラスのことである。また、部分画像の静止画中の位置とは、部分画像の占める領域を特定できる情報であればよく、例えば部分画像の左上頂点座標と幅と高さの情報でもよいし、部分画像の左上頂点座標と右下頂点座標の情報でもよい。また、静止画中の位置を出力するというのは、座標を数値として出力してもよいし、左上頂点と右下頂点を含む矩形の枠を描画した静止画又は動画を出力としてもよい。

なお、出力部１１６は、前述の式（１）を用い、部分画像の濃淡分類結果の各レベル１〜３に確信度の重み付けを行って路面標示の掠れ度合いを評価して出力してもよい。

次に出力部１１６は、区間ごとに、区画線評価サブルーチンで求めた区画線の掠れ度合いを出力する（手順１６０６）。例えば、出力部１１６は、区間に含まれる最初と最後の静止画の位置情報と区画線の種別及び区画線の掠れ度合いを出力する。区画線が検出された静止画中の位置を出力してもよい。

出力部１１６は、掠れ度合い等の情報を出力後、結果出力サブルーチンを終了する。

[出力結果を利用したアプリケーション例]
本実施の形態の路面標示不具合検出装置１００においては、静止画に写り込んだ路面標示の静止画中の位置及び種別及び掠れ度合いを判定し出力する機能を提供した。上記示した手順を改良することで、路面標示の静止画中の位置だけでなく撮影位置についても出力し、例えばGeographic Information System(GIS)を用いた可視化装置にて結果を地図画面に出力させることも可能である。

例えば、図１７は、路面標示不具合検出装置１００の出力結果を利用したアプリケーションの画面の例を示す図である。同図に示すアプリケーション画面１７００は、静止画領域１７０１、動画領域１７０２、地図領域１７０３、静止画情報領域１７０４、及び標示種別選択領域１７０５を備える。

静止画領域１７０１は、検出対象の路面標示が検出された静止画を表示する領域である。静止画に重ねて、路面標示を検出した部分画像１７１１，１７１２の位置が示される。

動画領域１７０２は、路面標示の検出に用いた動画を再生できる領域である。

地図領域１７０３は、路面標示を検出した場所の地図を表示する領域である。地図に重ねて、動画撮影時のルート１７３０、及び路面標示を検出した静止画の撮影位置を示すマーカー１７３１〜１７３５が表示される。マーカー１７３１〜１７３５は、検出した路面標示の掠れ度合いが分かるように、掠れ度合いに応じた態様で表示される。例えば、掠れ度合いがレベル１は青色、レベル２は黄色、レベル３は赤色で表示する。マーカー１７３１〜１７３５のいずれかが選択されると、選択されたマーカー１７３１〜１７３５の位置で撮影された静止画が静止画領域１７０１に表示される。図１７の例では、マーカー１７３２が選択されている。地図領域１７０３に表示される地図は、一般的な地図アプリケーションと同様に、拡大縮小、スクロールなどの操作が可能である。

静止画情報領域１７０４には、路面標示を検出した静止画のファイル名が表示される。地図上にマーカー１７３１〜１７３５が表示されている静止画のファイル名だけを表示してもよい。ファイル名のいずれかが選択されると、選択されたファイル名の静止画が静止画領域１７０１に表示される。静止画情報領域１７０４には、ファイル名に加えて、検出した路面標示の種別、掠れ度合いなどを表示してもよい。

標示種別選択領域１７０５は、地図領域１７０３および静止画情報領域１７０４に表示する情報の絞り込みに用いる。標示種別選択領域１７０５で選択された種別の路面標示が検出された静止画のマーカーおよびファイル名のみを地図領域１７０３および静止画情報領域１７０４で表示する。例えば、標示種別選択領域１７０５で横断歩道予告のチェックボックスのみがチェックされた場合は、横断歩道予告を検出できた静止画の撮影位置を示すマーカーとファイル名のみを表示する。標示種別選択領域１７０５において掠れ度合いを絞り込めるようにしてもよい。

図１８は、路面標示不具合検出装置１００の区間に関する出力結果を利用したアプリケーションの画面の例を示す図である。同図に示すアプリケーション画面１８００は、静止画領域１８０１、動画領域１８０２、地図領域１８０３、静止画情報領域１８０４、及び標示種別選択領域１８０５を備える。

静止画領域１８０１及び動画領域１８０２は、図１７の静止画領域１７０１及び動画領域１７０２と同様である。

地図領域１８０３には、地図に重ねて、区画線が検出された区間１８３１〜１８３３が表示される。区間１８３１〜１８３３は、区画線の掠れ度合いが分かるように、掠れ度合いに応じた態様で表示される。区間１８３１〜１８３３のいずれかが選択されると、選択された区間１８３１〜１８３３の位置で撮影された静止画が静止画領域１８０１に表示され、選択された区間１８３１〜１８３３に対応する位置の動画が動画領域１８０２に表示される。

静止画情報領域１８０４には、選択された区間１８３１〜１８３３に含まれる静止画のファイル名が表示される。ファイル名のいずれかが選択されると、選択されたファイル名の静止画が静止画領域１８０１に表示される。

標示種別選択領域１８０５は、表示する情報の絞り込みに用いる。標示種別選択領域１８０５で選択された種別の区画線が検出された区間のみを地図領域１８０３に表示する。

以上説明したように、本実施の形態によれば、形状推定部１１２が、道路を撮影した撮影画像から路面標示の形状を推定して路面標示の有無及び種別を分類し、濃淡推定部１１３が、撮影画像から路面標示の濃淡を推定して路面標示の掠れ度合いの段階を分類し、区画線評価部１１５が、複数の撮影画像をまとめた区間ごとに区画線の掠れ度合いを評価し、出力部１１６が、区間ごとの区画線の掠れ度合いを出力することにより、道路を撮影した撮影画像から、区間ごとに区画線の掠れ度合いを判定できる。

本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

１００…路面標示不具合検出装置
１１１…静止画取得部
１１２…形状推定部
１１３…濃淡推定部
１１４…撮影位置突合部
１１５…区画線評価部
１１６…出力部
１２１，１２３…ニューラルネットワーク
１２２，１２４…パラメータ
１０１，１０２…記憶媒体

Claims (13)

1. 道路標示及び区画線及び法定外表示の少なくともいずれかを含む路面標示を撮影した撮影画像から前記路面標示の不具合を検出する路面標示不具合検出装置であって、
   撮影画像から前記路面標示の形状を推定して前記路面標示の有無及び種別を分類する形状推定手段と、
   前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類する濃淡推定手段と、
   前記路面標示が区画線の場合は、複数の前記撮影画像をまとめた区間ごとに前記区画線の掠れ度合いを評価する区画線評価手段と、
   区間ごとの前記区画線の掠れ度合いを出力する出力手段と、を有する
   ことを特徴とする路面標示不具合検出装置。
2. 請求項１に記載の路面標示不具合検出装置であって、
   前記区画線評価手段は、区間内の前記複数の撮影画像のそれぞれについて、前記撮影画像内の区画線の掠れ度合いに基づく撮影画像のスコアを算出して集計し、集計結果に基づいて区間ごとに前記区画線の掠れ度合いを評価する
   ことを特徴とする路面標示不具合検出装置。
3. 請求項２に記載の路面標示不具合検出装置であって、
   前記区画線評価手段は、前記撮影画像内の区画線の掠れ度合いが高くなるほど高い重み付けで前記撮影画像を評価する
   ことを特徴とする路面標示不具合検出装置。
4. 請求項３に記載の路面標示不具合検出装置であって、
   前記撮影画像内の区画線の掠れ度合いが高くなるほど高い重み付けで前記撮影画像を評価するとは、前記撮影画像内の区画線の掠れ度合いが高くなるほど当該撮影画像のスコアが指数関数的に高くなるように前記撮影画像のスコアを算出する
   ことである路面標示不具合検出装置。
5. 請求項２ないし４のいずれかに記載の路面標示不具合検出装置であって、
   前記区画線評価手段は、区間内の前記撮影画像のスコアの合計値または平均値と所定の閾値とを比較して区間ごとに前記区画線の掠れ度合いを評価する
   ことを特徴とする路面標示不具合検出装置。
6. 請求項２ないし５のいずれかに記載の路面標示不具合検出装置であって、
   前記形状推定手段は、前記撮影画像の部分を部分画像として取得し、前記部分画像のうち前記路面標示が存在し得る部分画像を処理対象として抽出し、前記処理対象の部分画像のそれぞれに対して前記路面標示の有無及び種別を分類し、
   前記濃淡推定手段は、前記路面標示が有ると分類された前記部分画像のそれぞれに対して前記路面標示の掠れ度合いの段階を分類するとともに、各段階に対する確信度を出力し、
   前記区画線評価手段は、前記濃淡推定手段の分類した前記部分画像に対する前記掠れ度合いの段階に前記確信度の重み付けを行って当該部分画像のスコアを算出し、前記撮影画像内の前記部分画像のスコアに基づいて前記撮影画像のスコアを算出する
   ことを特徴とする路面標示不具合検出装置。
7. 請求項６に記載の路面標示不具合検出装置であって、
   前記区画線評価手段は、前記部分画像の区画線の掠れ度合いが高くなるほど高い重み付けで前記部分画像を評価して、前記部分画像のスコアを算出する
   ことを特徴とする路面標示不具合検出装置。
8. 請求項６または７に記載の路面標示不具合検出装置であって、
   前記形状推定手段は、複数の部分画像にまたがって単一の前記路面標示が存在すると推定された場合に、前記複数の部分画像を結合して単一の部分画像として再形成する
   ことを特徴とする路面標示不具合検出装置。
9. 請求項６ないし８のいずれかに記載の路面標示不具合検出装置であって、
   前記区画線評価手段は、同一と推定される区画線が１つの撮影画像内の複数の部分画像において検出された場合、前記部分画像ごとに前記部分画像のスコアを算出した後、前記複数の部分画像のスコアの合計値または平均値に基づいて前記撮影画像のスコアを算出する
   ことを特徴とする路面標示不具合検出装置。
10. 道路標示及び区画線及び法定外表示の少なくともいずれかを含む路面標示を撮影した撮影画像から前記路面標示の不具合を検出する路面標示不具合検出装置であって、
    前記撮影画像の部分を部分画像として取得し、前記部分画像のうち前記路面標示が存在し得る部分画像を処理対象として抽出し、前記処理対象の部分画像のそれぞれに対して前記路面標示の有無及び種別を分類する形状推定手段と、
    前記路面標示が有ると分類された前記部分画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類するとともに、各段階に対する確信度を出力する濃淡推定手段と、
    前記濃淡推定手段の分類した前記部分画像に対する前記掠れ度合いの段階に前記確信度の重み付けを行って前記路面標示の掠れ度合いを評価して出力する出力手段と、を有する
    ことを特徴とする路面標示不具合検出装置。
11. 路面標示を撮影した撮影画像から前記路面標示の不具合を検出する路面標示不具合検出装置が実行する路面標示不具合検出方法であって、
    撮影画像から道路標示及び区画線及び法定外表示の少なくともいずれかを含む路面標示の形状を推定して前記路面標示の有無及び種別を分類するステップと、
    前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類するステップと、
    前記路面標示が区画線の場合は、複数の前記撮影画像をまとめた区間ごとに前記路面標示の掠れ度合いを評価するステップと、
    前記路面標示の掠れ度合いを出力するステップと、を有する
    ことを特徴とする路面標示不具合検出方法。
12. 道路標示及び区画線及び法定外表示の少なくともいずれかを含む路面標示を撮影した撮影画像から前記路面標示の不具合を検出する路面標示不具合検出装置が実行する路面標示不具合検出方法であって、
    前記撮影画像の部分を部分画像として取得し、前記部分画像のうち前記路面標示が存在し得る部分画像を処理対象として抽出し、前記処理対象の部分画像のそれぞれに対して前記路面標示の有無及び種別を分類するステップと、
    前記路面標示が有ると分類された前記部分画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類するとともに、各段階に対する確信度を出力するステップと、
    前記部分画像に対する前記掠れ度合いの段階に前記確信度の重み付けを行って前記路面標示の掠れ度合いを評価して出力するステップと、を有する
    ことを特徴とする路面標示不具合検出方法。
13. 請求項１ないし１０のいずれかに記載の路面標示不具合検出装置の各手段としてコンピュータを動作させることを特徴とする路面標示不具合検出プログラム。

Images