JP2022126747A - 線検出装置、線検出方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】走行路を含む画像から特定の色の線を精度よく検出する。【解決手段】線検出装置１０は、第１検出部１００及び第２検出部２００を備える。第１検出部１００は、移動体が走行する走行路を含む画像から、色が予め定められた範囲に位置する画素を抽出し、画像内における抽出した画素の分布を用いて画像に含まれる第１色の線を検出する。第２検出部２００は、第１処理部１００が処理を実行した後、画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、画像内における抽出した画素の分布を用いて、画像に含まれていて第１色とは異なる第２色の線を特定する。【選択図】図１３

Description

本発明は、走行路に描かれている線を検出する線検出装置、線検出方法、プログラム、及び記憶媒体に関する。

近年、車両などの移動体を自動で動かすための技術開発が進められている。このような技術において、走行路に描かれている線を精度よく検出することは重要である。この線は、色によって意味が異なっているため、線の色も検知できるようにする必要がある。例えば特許文献１には、画像において、色の変化のエッジを抽出することにより、特定の色の線を検出している。

特開２０１４－１６４４９２号公報

走行路には互いに異なる色の線が用いられているが、各色の線には意味がある。このため、特定の色の線を精度よく検出できるようにすることが好ましい。

本発明が解決しようとする課題としては、走行路を含む画像から特定の色の線を精度よく検出することが一例として挙げられる。

請求項１に記載の発明は、移動体が走行する走行路を含む画像から、色が予め定められた範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて前記画像に含まれる第１色の線を検出する第１処理部と、
前記第１処理部が処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する第２処理部と、
を備える線検出装置である。

他の発明は、コンピュータが、
移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出し、
前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する、線検出方法である。

他の発明は、コンピュータに、
移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出する処理と、
前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する処理と、
を実行させるプログラムである。

他の発明は、コンピュータが実行可能なプログラムを記憶した記憶媒体であって、
前記プログラムは、コンピュータに、
移動体が走行する走行路を含む画像を処理することにより、当該画像に含まれる第１色の線を検出する処理と、
前記第１色の線の検出処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する処理と、
を実行させる記憶媒体である。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１の実施形態に係る線検出装置の機能構成を示す図である。 線検出装置が搭載された移動体を示す図である。 線検出装置のハードウェア構成の一例を示す図である。 線検出装置が行う処理を示すフローチャートである。 図４に示したステップＳ２０を説明するための図である。 （Ａ）及び（Ｂ）は図４に示したステップＳ４０，Ｓ６０を説明するための図である。 （Ａ）及び（Ｂ）は図４に示したステップＳ８０を説明するための図である。 第２の実施形態において分割部が行う処理を説明するための図である。 第３の実施形態に係る線検出装置の機能構成を示す図である。 図９の変形例を示す図である。 第４の実施形態に係る線検出装置の構成を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は領域設定部が行う処理を模式的に説明するための図である。 第５の実施形態に係る線検出装置の機能構成を示す図である。 第２検出部の機能構成の一例を示す図である。 線検出装置が行う処理の一例を示すフローチャートである。 第２検出部による処理の対象となる領域の一例を説明するための図である。 第６の実施形態に係る線検出装置の機能構成を示す図である。 （Ａ）及び（Ｂ）は判断部が行う処理の一例を説明するための図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施形態）
図１は、第１の実施形態に係る線検出装置１０の機能構成を示す図である。図２は、線検出装置１０が搭載された移動体４０を示す図である。線検出装置１０は移動体４０が走行する走行路に描かれている線を検出する装置であり、分割部１２０、推定情報生成部１６０、及び特定処理部１８０（第１特定処理部）を備えている。分割部１２０は、移動体が走行する走行路を含む画像（以下、処理画像と記載）を、走行路が延在する方向の成分を含む第１方向に沿って分割することにより、複数の第１の分割画像を生成する。推定情報生成部１６０は、第１の候補画素を選択する処理を、複数の第１の分割画像のそれぞれに対して実行する。第１の候補画素は、走行路に描かれている第１の線の一部と推定される画素である。特定処理部１８０は、処理画像における複数の第１の候補画素の位置に基づいて、処理画像に含まれる第１の線を特定する。そして第１検出部１００は、特定した第１の線を示す情報（第１の線情報）を出力する。

また、線検出装置１０は、分布情報生成部１４０を備えている。このため、線検出装置１０は、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０を備えているとも見なせる。分布情報生成部１４０は、処理画像から、基準を満たす画素の分布を示す第１の分布情報を生成する。推定情報生成部１６０は、第１の分布情報を用いて第１の候補画素を選択する。特定処理部１８０は、上記した画像における第１の候補画素の位置に基づいて、処理画像に含まれる第１の線を特定する。

以下、本実施形態について、詳細に説明する。

移動体４０は、例えば自動車や自動２輪などの車両である。この場合、走行路の一例は道路であり、第１の線及び後述する第２の線は、車線を定義する線である。ただし、移動体４０は飛行機であってもよい。この場合、走行路は滑走路である。

図２に示すように、移動体４０は、撮像装置２０及び制御装置３０を備えている。撮像装置２０は移動体４０の前方を撮影することにより、走行路を含む動画を生成する。そして、この動画を構成する複数のフレーム画像は、線検出装置１０に出力される。線検出装置１０は、フレーム画像毎に走行路に含まれる第１の線を検出し、検出した第１の線を示す第１線情報を生成する。第１線情報は、第１の線の位置、及び第１の線の色を含んでいる。この第１線情報を生成する処理は、複数のフレーム画像のそれぞれに対して行われる。ただし、動画を構成する一部のフレーム画像に対してのみ、第１線情報を生成する処理が行われてもよい。

第１線情報は、制御装置３０に出力される。制御装置３０は、移動体４０の移動を制御する装置である。移動体４０が自動車の場合、制御装置３０は自動運転のための制御装置である。制御装置３０が行う自動運転のレベルは、例えばレベル３以上であるが、これに限定されない。制御装置３０は、移動体４０の移動を制御する際に、第１線情報を用いる。なお、制御装置３０は、移動体４０の移動を直接制御するのではなく、移動体４０の移動を制御する際に必要な情報を生成してもよい。この場合においても、制御装置３０は、第１線情報を用いて必要な情報を生成する。ここで生成される情報は、例えば、車線変更の可否を通知（例えば表示）するための情報や、一時停止の必要性を通知（例えば表示）するための情報などである。この情報は、例えば移動体４０の操縦者が目視可能な表示装置（例えば車内のナビゲーション装置のディスプレイ）に表示される。

線検出装置１０は、図１に示すように、分割部１２０、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０を備えている。これらが行う処理の詳細については、フローチャートを用いて後述する。

なお、図２に示す例において、線検出装置１０は移動体４０に搭載されている。ただし、線検出装置１０は、移動体４０の外部に位置していてもよい。この場合、線検出装置１０は、無線の通信回線を介して撮像装置２０及び制御装置３０に接続する。また、制御装置３０は移動体４０の外部に位置していてもよいし、移動体４０に対して取り外し可能に取り付けられていてもよい。例えば、線検出装置１０が移動体４０の外部（外部サーバ等）に位置している場合には、撮像装置２０から動画を取得し、この動画を構成するフレーム画像を解析することにより、移動体４０が走行した走行路に描かれている線（例えば区画線）を特定し、特定した線を特定するための情報を用いて地図情報を更新することもできる。この場合、容易に地図情報を整備することができる。

図３は、線検出装置１０のハードウェア構成の一例を示す図である。線検出装置１０の主な構成は、集積回路を用いて実現される。この集積回路は、バス４０２、プロセッサ４０４、メモリ４０６、ストレージデバイス４０８、入出力インタフェース４１０、及びネットワークインタフェース４１２を有する。バス４０２は、プロセッサ４０４、メモリ４０６、ストレージデバイス４０８、入出力インタフェース４１０、及びネットワークインタフェース４１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ４０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ４０４は、マイクロプロセッサなどを用いて実現される演算処理装置である。メモリ４０６は、RAM（Random Access Memory）などを用いて実現されるメモリである。ストレージデバイス４０８は、ROM（Read Only Memory）やフラッシュメモリなどを用いて実現されるストレージデバイスである。

入出力インタフェース４１０は、線検出装置１０を周辺デバイスと接続するためのインタフェースである。本図において、入出力インタフェース４１０には撮像装置２０及び制御装置３０が接続されている。

ネットワークインタフェース４１２は、線検出装置１０を通信網に接続するためのインタフェースである。この通信網は、例えばCAN（Controller Area Network）通信網である。なお、ネットワークインタフェース４１２が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス４０８は、線検出装置１０の各機能要素を実現するためのプログラムモジュールを記憶している。プロセッサ４０４は、このプログラムモジュールをメモリ４０６に読み出して実行することで、線検出装置１０の各機能を実現する。

なお、上記した集積回路のハードウエア構成は本図に示した構成に限定されない。例えば、プログラムモジュールはメモリ４０６に格納されてもよい。この場合、集積回路は、ストレージデバイス４０８を備えていなくてもよい。

図４は、線検出装置１０が行う処理を示すフローチャートである。図５～図７は、図４に示した処理を説明するための図である。まず、撮像装置２０が動画を構成するフレーム画像を生成すると、線検出装置１０は、このフレーム画像を処理画像５０として取得する。そして線検出装置１０は、フレーム画像を取得するたびに、図４に示す処理を行う。

まず、線検出装置１０の分割部１２０は、図５に示すように、処理画像５０を第１方向に沿って分割することにより、複数の分割画像５２（第１の分割画像）を生成する（図４のステップＳ２０）。一つの処理画像５０から生成される分割画像５２の数は、例えば１０以上３０以下であるが、これに限定されない。撮像装置２０が移動体４０の前方を撮影している場合、ｙ軸方向は、走行路（例えば道路）が延在している方向の成分を含んでいる。このため、図５に示す例において、分割部１２０は、ｙ軸方向に処理画像５０を分割することにより、分割画像５２を生成する。この場合、分割画像５２の生成処理に必要な負荷は小さくなる。

次いで、分布情報生成部１４０は、分割画像５２のそれぞれに対し、基準を満たす画素の分布を示す第１の分布情報を生成する処理を行う（図４のステップＳ４０）。ここで用いられる基準は、例えば、色空間において予め定められた範囲に属する色を有することである。例えば線検出装置１０が黄色線を検知する場合、上記した「予め定められた範囲」は、黄色と認識される範囲である。例えば分布情報生成部１４０は、予め定められた範囲に属する画素を１、その他の画素を０に変換する（２値化処理）。そして、第１の分布情報は、上記した第１方向に交わる第２方向における画素の分布を示す情報である。例えば図５に示したように第１方向がｙ軸方向である場合、第２方向は、例えばｘ軸方向である。そして、第１の分布情報は、例えば図６（Ａ）及び（Ｂ）に示す通り、第２方向において基準を満たす画素数の分布を示す情報になる。

次いで、推定情報生成部１６０は、分布情報生成部１４０が生成した第１の分布情報を用いて、走行路に描かれている第１の線の一部と推定される画素（以下、第１画素と記載）を選択する処理を行う（図４のステップＳ６０）。この処理は、分割画像５２のそれぞれに対して行われる。例えば分布情報が、図６に示すように、第２方向において基準を満たす画素数の分布を示している場合、推定情報生成部１６０は、第１の分布情報における標準偏差及び分散の少なくとも一方を用いて、第１画像を選択する。例えば標準偏差が基準値以下の場合、又は分散が基準値以下の場合、推定情報生成部１６０は、第１の候補画素のすべてを第１画素として選択する。この場合、推定情報生成部１６０は、その分割画像５２に第１の線が含まれていると判断していることになる。例えば図６（Ａ）に示す場合、標準偏差や分散が小さいため、第１の候補画素のすべてを第１画素として選択する。一方、図６（Ｂ）に示すように標準偏差や分散が大きい場合、第１の候補画素からは第１画素を選択しない。

ただし、推定情報生成部１６０は、第１の候補画素の一部を第１画素として選択してもよい。この場合、図６（Ａ）に示すように、推定情報生成部１６０は、例えば、第１の分布情報において画素数が基準値以上の領域に含まれる画素を、第１画素として選択する。

次いで、特定処理部１８０は、推定情報生成部１６０が選択した第１画素の処理画像５０内における位置（又は分割画像５２内における位置）を用いて、処理画像５０に含まれる第１の線の位置を推定する（図４のステップＳ８０）。例えば特定処理部１８０は、第１画素の第１方向における位置の平均値を、その分割画像５２における第１の線の位置と推定する。そして、複数の分割画像５２における第１の線の位置を繋いだり、または回帰分析を行うことにより、処理画像５０に含まれる第１の線を推定する。また分割画像５２における第１の線の位置と推定する際には、第１画素の第１方向における位置の平均値の代わりに最頻値や中央値を用いることとしても良い。

図７の各図は、図４のステップＳ８０の一例であり、特定処理部１８０が回帰分析を用いて第１の線を推定する場合を説明するための図である。この例においては回帰直線が用いられている。図７（Ａ）は、第１の線の推定位置をプロットした図である。そして、特定処理部１８０は、この図において回帰直線を生成し、生成した回帰直線が第１の線を示すと推定する。図７（Ｂ）は、処理画像５０において推定した第１の線を適用した例である。この場合、例えば推定した第１の線は、処理画像５０の下方部分（図７（Ａ）のプロットが存在している箇所）に存在し、かつ、処理画像５０の上方部分の上端まで延長していることを示している。

なお、図７（Ｂ）に示すように、特定処理部１８０は、第１画素のうちこの回帰直線と重なる画素、及びこの画素と連続している画素を、第１の線を構成する画素と特定してもよい。言い換えると、特定処理部１８０は、分割画像５２のそれぞれにおいて、第１画素の塊のうち回帰直線と重なる塊を、第１の線を構成する画素と特定してもよい。

また、分布情報生成部１４０は、輝度が予め定められた基準を満たす画素を選択し、選択した画素の分布情報（以下、第２の分布情報と記載）を生成することもできる。この基準は、例えば下限値以上であってもよいし、上限値未満であってもよいし、下限値以上かつ上限値以下であってもよい。この場合、推定情報生成部１６０及び特定処理部１８０が第１の分布情報の代わりに第２の分布情報を用いると、線検出装置１０は、白線を検知することができる。

以上、本実施形態によれば、分割部１２０、推定情報生成部１６０、及び特定処理部１８０が行う処理には、エッジ検出処理は含まれていない。このため、第１の線を特定する際に必要な演算量は少なくなる。従って、演算速度が速い演算装置は不要となり、その結果、線検出装置１０の製造コストは低くなる。

また、線検出装置１０の分布情報生成部１４０は、第１の分布情報を生成している。推定情報生成部１６０は、この第１の分布情報を用いて第１画素（すなわち第１の線を構成すると推定される画素）を選択する。このため、推定情報生成部１６０が行う演算量、すなわち第１の線を構成すると推定される画素を選択する際の演算量は少なくなる。

（第２の実施形態）
本実施形態に係る線検出装置１０は、分割部１２０が行う処理を除いて、第１の実施形態に示した線検出装置１０と同様である。

図８は、本実施形態において分割部１２０が行う処理を説明するための図である。本実施形態において、線検出装置１０は、処理画像５０のすべてを分割画像５２の生成対象とするのではなく、処理画像５０の一部５４のみを分割画像５２の生成対象としている。例えば線検出装置１０は、処理画像５０の一部５４を取り出し、この一部５４を分割することにより分割画像５２を生成する。このようにすると、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０が処理を行うべき領域が処理画像５０の一部５４に限られるため、線検出装置１０が行う演算量はさらに少なくなる。

なお、処理画像５０における一部５４の位置は、予め設定されている。例えば撮像装置２０が移動体４０に搭載されている場合、道路は処理画像５０の下側に写っている可能性が高い。このため、一部５４は、移動体４０の下方に設定されるのが好ましい。

（第３の実施形態）
図９は、第３の実施形態に係る線検出装置１０の機能構成を示す図である。本実施形態に係る線検出装置１０は、データ変換部１１０を備えている点を除いて、第１又は第２の実施形態に係る線検出装置１０と同様の構成である。

撮像装置２０が生成する処理画像５０は、ＲＧＢ色空間で示された画像である。データ変換部１１０は、この処理画像５０を、色相、明度（輝度）、彩度という指標で定義された色空間で示された画像、例えばＨＬＳ色空間で示された画像（変換後画像）に変換する。なお、ＨＬＳ色空間の代わりにＨＳＶ色空間やＬａｂ色空間が用いられてもよい。そして、分割部１２０、分布情報生成部１４０、推定情報生成部１６０、及び特定処理部１８０は、この変換後の処理画像５０を用いて処理を行う。

第１の線の色によっては、ＲＧＢ色空間で示された画像よりも、色相、明度（輝度）、彩度という指標で定義された色空間、例えばＨＬＳ色空間で示された画像のほうが、分布情報生成部１４０が処理しやすい（２値化処理を行いやすい）ことがある。このような場合において、本実施形態に係る線検出装置１０は、ＲＧＢ色空間で示された処理画像５０を直接処理する場合と比較して、高い精度で第１の線を検出することができる。第１の線が黄色線の場合、この傾向は顕著になる。

なお、図１０に示すように、データ変換部１１０は、処理画像５０ではなく分割画像５２に対して上記したデータ変換処理を行ってもよい。

（第４の実施形態）
図１１は、第４の実施形態に係る線検出装置１０の構成を示す図である。本実施形態に係る線検出装置１０は、領域設定部１３０を有している点を除いて、第１～第３の実施形態に係る線検出装置１０のいずれかと同様である。図１１は、第３の実施形態と同様の場合を示している。

領域設定部１３０は、第１のフレーム画像において特定処理部１８０が第１の線を検出できた場合、第１のフレーム画像より後（例えば次）に処理されるフレーム画像（以下、第２のフレーム画像と記載）において、分布情報生成部１４０の処理対象となる領域を狭める。具体的には、領域設定部１３０は、第１のフレーム画像で検出された第１の線の第２方向の位置（例えば図７におけるｘ軸方向の位置）に基づいて分布情報生成部１４０の処理対象となる領域を狭める。例えば領域設定部１３０は、第１のフレーム画像における第１の線の第２方向の位置が、処理対象となる領域の中心となるようにする。そして、領域設定部１３０は処理対象となる領域の幅を狭める。領域設定部１３０は、例えば分割画像５２に対して上記した処理を行う。

図１２の各図は、領域設定部１３０が行う処理を模式的に説明するための図である。図１２（Ａ）に示すように、第１のフレーム画像（処理画像５０ａ）において特定処理部１８０が第１の線Ｌ１を特定した場合、領域設定部１３０は、その線Ｌ１の位置を示す情報（例えば回帰分析によって得られた線を示す情報）を特定処理部１８０から取得する。そして領域設定部１３０は、図１２（Ｂ）に示すように、第２のフレーム画像（処理画像５０ｂ）に対して、分布情報生成部１４０の処理対象となる領域５６を設定する。次いで、この第２のフレーム画像（処理画像５０ｂ）に対しても特定処理部１８０が第１の線Ｌ１を特定できた場合、第２のフレーム画像（処理画像５０ｂ）より後の第３のフレーム画像（処理画像５０ｃ）における領域５６を、第２のフレーム画像（処理画像５０ｂ）における領域５６よりも狭くする。

このように、第１の線Ｌ１の検出が検出され続けると領域５６はだんだん狭くなっていくが、この大きさ（例えば幅）には下限がある。すなわち領域設定部１３０は、領域５６の大きさ（例えば幅）が下限を下回らないようにする。ここで用いられる下限は、上記した、分割画像５２が線の一部を含むか否かの判断基準となる標準偏差の基準値に相当する幅よりも大きく設定されることが好ましい。

また、領域設定部１３０は、領域５６を設定した後、いずれかのフレーム画像（処理画像５０）において第１の線を特定できなかった場合、その後（例えば次）のフレーム画像において、領域５６を広げるか、又は領域５６の設定を解除する。

なお、領域設定部１３０は、上記した領域５６の設定を、分割部１２０が処理する前の処理画像５０（データ変換部１１０が返還した後の処理画像５０であってもよい）に対して行ってもよいし、分布情報生成部１４０が生成した第１の分布情報に対して行ってもよい。

本実施形態によれば、領域設定部１３０が、分布情報生成部１４０の処理対象となる領域５６を狭める。この際、領域設定部１３０は、領域５６を、処理済みのフレーム画像における第１の線Ｌ１の位置に基づいて設定する。このため、線Ｌ１の検出精度を維持しつつ、線検出装置１０の演算量を少なくすることができる。尚、分布情報生成部１４０の処理対象として領域５６を狭めることによって、線Ｌ１の検出には不要となるノイズの影響を抑制することもできる。例えば、ノイズとしては線Ｌ１とは異なる道路上の黄色線で描かれている文字、黄色線で描かれている表示物等が一例としてあげられる。

（第５の実施形態）
図１３は、第５の実施形態に係る線検出装置１０の機能構成を示す図である。本実施形態に係る線検出装置１０は、第１検出部１００の他に第２検出部２００を備えている。第１検出部１００は、上記したいずれかの実施形態と同様である。

第２検出部２００は、処理画像５０を構成する画素の輝度を用いて走行路に描かれている線を検出する。具体的には、第２検出部２００は、輝度が基準を満たす画素を処理画像５０から選択し、選択した画素を用いて線（第２の線）を検出する。この処理の一例は、２値化処理である。

この際、輝度の基準を適切に設定しないと、第２検出部２００は、第１検出部１００が検出した第１の線を、その他の線とともに検出する可能性が出てくる。例えば第１検出部１００は黄色線を検出することを目的としており、第２検出部２００は白線を検出することを目的としている場合、第２検出部２００は、白線とともに黄色線も検出する可能性がある。そこで本実施形態において、第２検出部２００は、第１検出部１００が検出した第１の線を構成する画素の輝度を用いて、輝度の基準を設定する。

例えば第２検出部２００が白線を検出することを目的としている場合、上記した輝度の基準は、下限値である。すなわち、第２検出部２００は、基準値以上の輝度を有する画素を選択する。逆に、第２検出部２００は、基準値以下の輝度を有する画素を選択してもよい。この場合、第２検出部２００は、目的とする線以外の領域を構成する画素を選択することにより、間接的に目的とする線を検出することができる。そして第２検出部２００は、第１検出部１００が検出した第１の線を構成する画素の輝度を統計処理した値を基準に、上記した下限値を設定する。ここで、統計処理した値の例としては、例えば平均値、最頻値などがある。また、第２検出部２００は、例えば、この統計処理した値に定数を加えた値を下限値と設定する。

また、第２検出部２００は、第１検出部１００によって特定された第１の線を構成する画素を処理画像５０から除外し、除外した画像から、基準値より輝度が高い画素を選択することにより、白線を検知してもよい。この場合の下限値は、例えば固定値であり、一般的な道路面の輝度値よりも高い値が用いられる。

図１４は、第２検出部２００の機能構成の一例を示す図である。本図に示す例において、第２検出部２００は、分割部２２０、分布情報生成部２４０、推定情報生成部２６０、及び特定処理部２８０（第２特定処理部、第３特定処理部、又は白線検出処理部の一例）を備えている。分割部２２０が行う処理は分割部１２０が行う処理と同様である、また、分布情報生成部２４０、推定情報生成部２６０、及び特定処理部２８０が行う処理は、画素の選択基準が輝度である点を除いて、それぞれ分布情報生成部１４０、推定情報生成部１６０、及び特定処理部２８０が行う処理と同様である。このため、本実施形態において、第１検出部１００が第２検出部２００の機能を兼ねることもできる。さらに第２検出部２００は、分割部２２０の前にデータ変換部１１０を有していてもよい。

分布情報生成部２４０は、輝度が予め定められた基準を満たす画素を選択し、選択した画素の分布情報（第２の分布情報）を生成する。分布情報生成部２４０は、この処理で用いられる基準を、上記したように、第１検出部１００が検出した第１の線を構成する画素の輝度を用いて設定する。

また分布情報生成部２４０は、第１検出部１００が検出した画素を分割画像５２から除外し、除外した後の分割画像５２を用いて第２の分布情報を生成してもよい。

図１５は、本実施形態に係る線検出装置１０が行う処理の一例を示すフローチャートである。線検出装置１０は、複数のフレーム画像のそれぞれに対して、本図に示す処理を行う。まず、第１検出部１００は第１の線（第１色の線）の検出処理を行う。その後、第２検出部２００は、第１検出部１００から第１の線の輝度情報を受け取ってから、第２の線（第２色の線）の検出処理を行う。ここで、第１の線の輝度は、第２の線の輝度よりも低い。

第１検出部１００が処理を行う前に第２検出部２００が処理を行った場合、すなわち第２の線を第１の線よりも先に検出した場合、第２検出部２００は、第２の線を検出する際に用いられる輝度の基準が低すぎるなどの理由により、第２の線とともに第１の線を検出する可能性が出てくる。これに対して本実施形態では、第１検出部１００が処理を行った後に第２検出部２００が処理を行っている。このため、第２の線とともに第１の線を検出する可能性は低くなる。例えば、上記したように、第２検出部２００が処理を行う際に、第１検出部１００が検出した第１の線（黄色線）を構成する画素を除外することにより、第２検出部では、白線だけを検出することが可能となる。

なお、第１の線の検出処理の詳細は、上記したいずれかの実施形態で示した通りである。また、第２の線の検出処理の詳細は、上記した通りである。

なお、第１検出部１００が第１の線を検出できない場合もあり得る。この場合、第２検出部２００の分布情報生成部２４０は、予め定められた輝度の基準を用いて、第２の分布情報の生成処理を行う。

また、第２検出部２００は、処理画像５０の全体に対して第２の線の検出処理を行ってもよいし、処理画像５０の一部に対してのみ第２の線の検出処理を行ってもよい。後者の場合、第２検出部２００は、第１の線の位置を基準にして第２の線の検出処理を行う領域を決定してもよい。このようにすると、第２検出部２００が行う演算処理の量は少なくなる。

図１６は、第２検出部２００による処理の対象となる領域の一例を説明するための図である。本図に示すように、走行路（例えば道路）には、第１の線Ｌ１（例えば黄色線）に対して第２の線Ｌ２（例えば白線）が互いに平行に描かれている場合がある。このような場合、第２検出部２００は、第１の線Ｌ１に交わる方向において第１の線Ｌ１の基準にして処理対象となる範囲を定め、当該範囲に位置する第２の線Ｌ２を検出する。例えば第２検出部２００は、処理画像５０の横方向（ｘ軸方向）において、第１の線Ｌ１の中心として＋方向に第１の幅Ｗ１をとり、かつ－方向に第２の幅Ｗ２をとる。そして、この範囲を、領域５８と設定する。なお、第１の幅Ｗ１と第２の幅Ｗ２は互いに等しくてもよいし、異なっていてもよい。また、領域５８の幅は、線Ｌ１が延在する方向に沿って変更されてもよい。例えば処理画像５０の上側に行くにつれて処理画像５０に含まれる領域の幅が狭くなっている場合、領域５８の幅は、処理画像５０の上側に行くにつれて狭くなってもよい。

以上、本実施形態によれば、第１の線を精度よく検出できるとともに、第２の線も精度よく検出することができる。

（第６の実施形態）
図１７は、第６の実施形態に係る線検出装置１０の機能構成を示す図である。本実施形態に係る線検出装置１０は、判断部３００を備えている点を除いて、第５の実施形態に係る線検出装置１０と同様の構成である。

上記したように第１検出部１００は処理画像５０に含まれる第１の線を検出し、第２検出部２００は処理画像５０に含まれる第２の線を検出する。処理画像５０は、動画を構成するフレーム画像のそれぞれである。判断部３００は、フレーム画像のそれぞれに対する第１検出部１００の処理結果を用いて第１の線の検出周期を算出し、第１の線が点線であるか否かを決定する。判断部３００は、第２の線に対しても同様の処理を行う。

以下、判断部３００が第１の線を処理する場合について説明する。判断部３００は、第１検出部１００がフレーム画像（処理画像５０）を処理するたびに、そのフレーム画像に含まれる第１の線を特定する。そして、判断部３００は、この特定結果のフレーム画像間の推移を処理することにより、第１の線の検出周期を判断する。

例えば上記したように、第１検出部１００の推定情報生成部１６０が、分割画像５２に第１の線が含まれているか否かを判断する処理を各分割画像５２に対して行っている場合を考える。この場合、判断部３００は、第１の線が含まれていると判断された分割画像５２の数を算出する。そして、判断部３００は、図１８の各図に示すように、この分割画像５２の数の推移を用いて、第１の線が点線であるか否かを判断する。具体的には、判断部３００は、分割画像５２の数の増減が一定の周期で繰り返されている場合、第１の線が点線であると判断する。一方、判断部３００は、算出した分割画像５２の数が基準数以上（例えば一枚のフレーム画像に含まれる分割画像５２の数の７０％以上）である状態が、ある一定数以上のフレーム画像で継続している場合、第１の線は連続線であると判断する。また、判断部３００は、分割画像５２の数の増減が不規則に繰り返されている場合、第１の線は連続線であるが部分的になくなっている（又はかすれている）と判断する。

なお、図１８（Ａ）は、上記した分割画像５２の数をフレーム画像毎にプロットした結果を示しており、図１８（Ｂ）は、上記した分割画像５２の数を、連続する複数枚（例えば５枚）のフレーム画像で平均した値の推移をプロットした結果を示している。いずれの場合においても、分割画像５２の数の増減が一定の周期で繰り返されているため、判断部３００による処理の対象とすることができる。なお、図１８（Ｂ）は、上記した分割画像５２の平均値は一定の範囲に入ることも示している。

なお、線検出装置１０は、撮像装置２０が処理画像５０を生成したときの移動体４０の速度を特定するための情報を取得してもよい。例えば線検出装置１０は、処理画像５０が生成されたときの時刻を示す情報を各処理画像５０について取得するとともに、移動体４０の速度を時刻別に示す情報を取得する。この場合、判断部３００は、さらにこの速度を用いて第１の線が点線であるか否かを判断することもできる。

具体的には、判断部３００は、上記した第１の線の検出周期と移動体４０の速度を用いて、第１の線の長さを算出する。例えば図８に示すように、処理画像５０に一部５４が設定されている場合を考える。判断部３００は、第１の線が含まれていると判断された分割画像５２の数が基準数以上になったフレーム画像から、その分割画像５２の数が基準数以下になったフレーム画像までの枚数をカウントし、この枚数にフレームレート及び移動体４０の速度を乗ずることにより、第１の線の長さを算出する。また、判断部３００は、第１の線が含まれていると判断された分割画像５２の数が基準数以下になったフレーム画像から、その分割画像５２の数が基準数以上になったフレーム画像までの枚数をカウントし、この枚数にフレームレート及び移動体４０の速度を乗ずることにより、第１の線の間隔を算出する。そして、判断部３００は、算出した第１の線の長さのばらつき及び第１の線の間隔のばらつきが一定値以下である場合、第１の線が点線であると判断する。一方、算出した第１の線の長さのばらつきが一定値以上である場合、第１の線は連続線であるが部分的になくなっている（又はかすれている）と判断する。

判断部３００は、第１の線の長さ及び第１の線の間隔の少なくとも一方を算出する場合、この長さと基準長さの一致度を用いて、第１の線が点線であるか否かを判断してもよい。この場合、図１７に示すように、判断部３００は、走行路の種類を特定するための種類情報を取得し、上記した基準長さを、前記種類情報を用いて定めてもよい。この種類情報は、例えば走行路が一般道、有料道路、及び高速道路のいずれであるかを特定するための情報である。そして、高速道路の場合、一般道の場合と比較して基準長さは長くなる。なお、上記した種類情報は、上記した道路を直接特定する情報であってもよいし、移動体４０の位置を示す情報（例えばＧＰＳ情報などの緯度経度を示す情報）及び地図情報であってもよい。

判断部３００による判断結果は、移動体４０の制御装置３０に出力される。制御装置３０は、この判断結果、すなわち第１の線（又は第２の線）が連続線であるか点線であるかを示す情報を用いて、移動体４０の移動（例えば走行線の変更の可否）を制御する。この判断の具体例は、例えば交通ルールに基づいて定められる。

以上、本実施形態によれば、判断部３００は、精度よく第１の線及び第２の線が点線であるか否かを判断することができる。そして移動体４０の制御装置３０は、この判断結果を用いて移動体４０の移動を制御するため、移動体４０の自動運転を高度にすることできる。

なお、第１～第４の実施形態に係る線検出装置１０においても、上記した判断部３００を備えていてもよい。

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

Claims (1)

1. 移動体が走行する走行路を含む画像から、色が予め定められた範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて前記画像に含まれる第１色の線を検出する第１処理部と、
   前記第１処理部が処理を実行した後、前記画像から、輝度が予め定められた輝度範囲に位置する画素を抽出し、前記画像内における前記抽出した画素の分布を用いて、前記画像に含まれていて前記第１色とは異なる第２色の線を特定する第２処理部と、
   を備える線検出装置。

Images