JP7134855B2 - 路面状態判定装置、および、路面状態判定システム - Google Patents

Description

本発明は、路面状態（乾燥、濡れ、凍結）を判定する路面判定装置、および、路面判定システムに関する。

車両の走行中に路面状態を検知する装置としては、特許文献１に記載の「路面状態検知装置」が知られている。この要約書には、「車両の走行中でも路面状態（乾燥，濡れ，凍結等）を検知でき、さらに車両の前方の路面状態をも検知できる路面状態検知装置」として、「投光手段は、波長の異なる光源を備え、波長λ１ならびに波長λ２の光を車両前方の路面に向けて投光する。受光手段は、投光した波長に対応する分光器を介し受光素子で各波長の反射光のレベルを検出する。各受光素子の出力をＡ／Ｄ変換器でデジタルデータへ変換し、路面状態判定手段へ供給する。路面状態判定手段は、各種路面状態における反射光レベルデータを備えており、各波長の受光レベルを比較することで路面状態を判定し、判定結果を出力する」ものが開示されている。

また、特許文献１には、路面状態判定に用いる光の波長を、赤外光～遠赤外光領域の波長とすること（例えば、同文献の請求項２）や、車両前方約２０メートルの路面に投光し、そこからの反射光を受光して、車両の進行方向の路面状態を検知すること（例えば、同文献の段落００２３）が開示されている。

特開平８－２４７９４０号公報

しかしながら、特許文献１には、路面状態の検知時に、路面外からの反射光があったときの扱いは言及されておらず、例えば、赤外光が路面外の街灯や段差などの障害物にも照射され、それらからの反射光が受光手段に入ったときには、路面外からの反射光の影響により路面状態を正確に検知できないという問題がはっせいするものと考えられる。

そこで、本発明では、路面領域からの反射光のみを利用することで、路面状態の判定精度をより高めた路面状態判定装置、および、路面状態判定システムを提供することを目的とする。

上記課題を解決するため、本発明の路面状態判定装置は、撮像装置が撮像した車両前方の画像データを格納する記憶装置と、該記憶装置に格納した前記画像データに基づき車両が走行する路面領域を特定する路面領域認識部と、該路面領域認識部が特定した前記路面領域に照射した赤外光の反射光の吸光度に基づいて、路面状態を判定する路面状態判定部と、を備え、前記路面状態判定部は、前記路面領域に同時に照射した波長１３００ｎｍと１４１０ｎｍの変調赤外光の反射光を周波数フィルタで分類することで、波長毎の吸光度を並列して生成し、両吸光度の差分Δの大きさに応じて、前記路面状態を、乾燥状態、濡れ状態、凍結状態、の何れかに分類するものとした。

本発明によれば、路面領域からの反射光のみを利用することで、路面状態の判定精度をより高めた路面状態判定装置、および、路面状態判定システムを提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明より明らかにされる。

一実施例の路面状態判定システムの概略図である。 一実施例の路面状態判定システムを搭載した車両の走行中の上面図である。 画像データに施す路面領域認識処理の概念図である。 水と氷の吸光度を示すグラフである。 路面状態判定装置の制御フローチャートである。 路面状態判定部の制御フローチャートである。 路面状態判定部の制御フローチャートである。

以下、図面を用いて、本発明の一実施例に係る路面状態判定システム１０について、詳細に説明する。

まず、図１を用いて、本実施例の路面状態判定システム１０の概略を説明する。ここに示すように、路面状態判定システム１０は、車両前方を可視光で撮像し、画像データ１ａを生成するステレオカメラ等の撮像装置１と、車両前方に赤外光を照射する赤外光照射器２と、車両前方で反射した赤外光を受光し、照射光量と反射光量の関係を示す吸光度３ａを生成する赤外光受光器３と、後述する路面状態判定装置４を備えたシステムである。

路面状態判定装置４は、撮像装置１と赤外光受光器３の出力に基づいて、車両２０前方の路面状態を、乾燥、濡れ、凍結の何れに分類し、図示しないＥＣＵ（Electronic Control Unit）等に出力するものである。これにより、ＥＣＵ等は路面状態に応じた車両２０の自動運転制御等を実現することができる。

この路面状態判定装置４は、より詳細には、画像処理部４ａ、路面領域認識部４ｂ、路面状態判定部４ｃ、および、出力部４ｄを備えたものである。各部の詳細は後述する。なお、路面状態判定装置４は、実際には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えた計算機（コンピュータ）である。そして、補助記憶装置に記録されたデータベースを参照しながら、主記憶装置にロードされたプログラムを演算装置が実行することで、上述した各機能を実現するが、以下では、このような周知技術を適宜省略しながら説明する。

次に、図２を用いて、車両２０が走行する道路環境と、撮像装置１、赤外光照射器２、赤外光受光器３の設置場所を説明する。

この例では、車両２０の左右の路面上に、白色またはオレンジ色の区画線５Ｌ、５Ｒが引かれており、左側の区画線５Ｌの更に左側には、縁石やガードレール等によって定まる路面の境界である路端６がある。

また、撮像装置１、赤外光照射器２、赤外光受光器３は、車両２０のフロントガラス内側上部に前方を向けて設置されている。この例では、波長λ_１の赤外光を照射する赤外光照射器２ａと、波長λ_２の赤外光を照射する赤外光照射器２ｂが、照射範囲が重複するように設置されており、波長λ_１または波長λ_２の赤外光を車両２０の進行方向に向けて同時に、または、排他的に照射することができる。赤外光照射器２は、仕様上の全照射域に赤外光を照射できるものであるが、特定領域（例えば、左右の区画線５に挟まれた、車両２０の進行方向）に絞って赤外光を照射することもできる。

なお、赤外光照射器２が照射する赤外光を、変調光とすることが望ましい。変調光を利用すれば、波長λ_１と波長λ_２の赤外光を同時に照射する場合であっても、両波長の反射光を受光する赤外光受光器３では、受光した変調光を周波数フィルタで分類することで、波長毎の吸光度３ａを並列して生成することができ、これにより、外乱光の影響を除去することができるからである。

以下、このような道路を走行中の車両２０を前提として、路面状態判定装置４の各部の詳細を順次説明する。
＜画像処理部４ａ＞
画像処理部４ａは、路面状態判定装置４が内蔵する図示しない記憶装置（半導体メモリ等）に記憶された、撮像装置１からの画像データ１ａに画像処理を施すものである。ここで実行される画像処理は、主に、区画線検知、路端検知、凹凸検知、傾斜検知である。なお、これらの画像処理は周知技術であるため詳細説明は省略するが、概説すれば以下のとおりである。

区画線検知は、連続する白色部やオレンジ色部を画像データ１ａから抽出し、これを区画線５として検知する処理である。路端検知は、縁石やガードレール等を画像データ１ａから抽出し、これを車両２０の走行が許容される路面の端部（路端６）として検知する処理である。この路端検知は、ステレオカメラの立体視による視差の認識技術を応用することで段差等を検出して実現することもできる。

また、凹凸検知や傾斜検知は、撮像装置１がステレオカメラである場合、撮像された一対の画像データ１ａの視差を利用して、路面の凹凸や傾斜の大きさを検知する処理である。なお、厳密に言えば、路面には必ず凹凸や傾斜が存在するので、例えば、凹凸が５ｍｍ以上である場合を凹凸有り、５ｍｍ未満である場合を凹凸無し、のように予め設定した閾値を基準として凹凸や傾斜の有無を分類するが、この閾値は車両２０の走行速度等に応じて適宜変更できるようにしても良い。
＜路面領域認識部４ｂ＞
路面領域認識部４ｂは、画像処理部４ａで検知した区画線５や路端６を用いて、車両２０がこれからに走行する路面領域を特定するものである。図３に例示する画像データ１ａが撮像された場合、左右の区画線５Ｌ、５Ｒの延長線の交点を消失点とし、区画線５と画像データ１ａの下部、及び、消失点で囲まれる領域を路面領域とする。

区画線５が擦れて薄くなっている場合や、区画線５のない道路では、上述の方法では路面領域を判別できないこともある。その場合は、上述の方法における左右の区画線５の一方または双方に代え、路端６を利用することで路面領域を認識しても良い。
＜路面状態判定部４ｃ＞
路面状態判定部４ｃには、路面領域認識部４ｂが検知した路面領域を示す情報と、赤外光受光器３が受光した赤外光の大きさを示す情報（吸光度３ａ）が入力される。そして、路面領域で反射した赤外光の吸光度３ａに基づいて、路面状態（乾燥、濡れ、凍結）を判定し、判定結果を、出力部４ｄを介して外部のＥＣＵ等に送信する。なお、このとき、赤外光照射器２は、照射可能な全域に赤外光を照射していても良いし、路面領域に限定して赤外光を照射していても良いが、何れの場合も、路面状態判定部４ｃは、路面領域認識部４ｂが特定した路面領域からの反射光のみを用いて路面状態を判定する。この結果、路面外からの反射光により路面状態の判定精度が劣化することが無いので、全領域の反射光を用いて路面状態を判定する場合に比べ、路面状態の判定精度を高めることができるだけでなく、演算量を抑制できるため演算負荷の軽減も図ることができる。

ここで、路面状態（乾燥、濡れ、凍結）を判定するための具体的な方法を概説する。図４は、赤外光の吸光度を、水（破線）と氷（実線）の夫々について示したグラフであり、横軸は赤外光の波長、縦軸は吸光度である。

赤外光は、水や氷を通過すると、赤外光の波長依存の吸光度に応じてエネルギーが吸収されるため、乾燥路面からの反射光量に比べ、濡れ路面や凍結路面からの反射光量は大幅に少なくなる。このため、赤外光照射器２が照射した赤外光量と、赤外光受光器３が受光した赤外光量を比べ、後者が大幅に減少する吸光現象が生じているかを判定し、吸光現象が生じていなければ（すなわち、受光量と照射光量の比である吸光度３ａが所定の閾値以上であれば）、路面は乾燥状態であると判断することができる。一方、吸光現象が生じている場合は、図４に示す水（破線）と氷（実線）の吸光度のグラフに基づいて、濡れ状態であるか凍結状態であるかを判定することができる。吸光度３ａの大小と路面状態の関係は波長に応じて変化するが、例えば、波長が約１３００ｎｍの赤外光を用いる場合（図４のλ_１参照）には、路面領域での吸光度３ａが１程度であれば凍結状態と判定することができ、また、吸光度３ａが０．７程度であれば濡れ状態であると判定することができる。このように、単一波長の赤外光の吸光度３ａに基づいて、路面状態を、乾燥、濡れ、凍結の何れかに分類することができる。

しかしながら、この判定方法では、自動運転を実現できない場合がある。一般的に、自動運転の実現には、２０～３０ｍ遠方の路面状態判定が必要とされるが、このような遠方に赤外光を照射すると、路面の凹凸や傾斜が吸光度３ａに与える影響が大きくなる。この影響は、図４に例示したグラフ全体が上方または下方に平行移動する形で現れるため、例えば、実際は凍結路面であるにもかかわらず、波長λ_１の吸光度３ａが０．７程度となり、濡れ路面と誤判定される惧れもある。

そこで、本実施例では、複数の波長の赤外光を照射することで、路面の凹凸や傾斜の影響により、図４のグラフ全体が上下に移動した場合であっても、路面状態判定の精度を向上できるようにした。具体的には、波長λ_１（例えば、１３００ｎｍ）と波長λ_２（例えば、１４１０ｎｍ）の赤外光を路面領域に照射し、それぞれの波長における吸光度３ａの差分Δ（＝λ_１の吸光度－λ_２の吸光度）をとり、差分Δの大きさが、図４に示すΔ_Ｗ（濡れ状態であるときに観測される差分Δ）とΔ_Ｆ（凍結状態であるときに観測される差分Δ）の何れに近いかにより、路面状態が濡れか凍結かの判定を行う。図４のグラフ全体が上下に平行移動した場合であっても、Δ_ＷとΔ_Ｆの大小関係は赤外光の波長の組み合わせにより一義的に定まるため、Δ_ＷとΔ_Ｆの差が大きくなるような波長の赤外光を組み合わせて用いることで、路面領域に凹凸や傾斜がある場合であっても、路面状態をより正確に判定することができる。
＜路面状態判定装置４の制御フローチャート＞
以上で説明した路面状態判定装置４による、路面状態判定の制御フローチャートを、図５と図６を用いて説明する。

路面状態判定装置４が路面状態の判定処理を開始すると、画像処理部４ａは、撮像装置１が撮像した画像データ１ａを記憶媒体に格納する（図５、Ｓ１）。次に、画像処理部４ａは、記憶媒体に格納された画像データ１ａに対し、区画線５や路端６、路面の凹凸や傾斜等の検知処理を実行する（Ｓ２）。そして、路面領域認識部４ｂは、区画線５や路端６を基準として、路面領域を特定する（Ｓ３）。なお、Ｓ３の処理は、上述した図３の説明に対応するものである。また、路面状態判定装置４は、Ｓ１～Ｓ３の処理と並行し、波長の異なる２種類の反射光の吸光度を、赤外光受光器３から取得する。

路面領域が特定され、また、反射光の吸光度が取得されると、路面状態判定部４ｃは、その反射光が路面領域からの反射光かを判定する（Ｓ５）。そして、路面外からの反射光であれば、図５の処理を完了し、路面領域からの反射光であれば、路面状態判定部４ｃは、図６Ａまたは図６Ｂに示す路面状態判定処理（Ｓ６）を実行する。

なお、Ｓ３で路面領域が確定した後は、赤外光照射器２の照射範囲を路面領域に限定することもでき、その場合は路面外からの反射光が発生しないので、Ｓ５を省略してもよい。
＜路面状態判定部４ｃの制御フローチャート＞
図６Ａは、路面状態判定部４ｃが、路面領域からの反射光の吸光度に基づいて路面状態を判定する処理の詳細を説明するフローチャートの一例である。

まず、路面状態判定部４ｃは、路面領域からの反射光の吸光度をそれぞれ取得する（Ｓ６１）。なお、図１では、赤外光受光器３が出力した吸光度３ａが路面状態判定部４ｃに入力される構成を例示したが、赤外光照射器２が出力した照射光量データと赤外光受光器３が出力した反射光量データが路面状態判定部４ｃに入力され、路面状態判定部４ｃが両光量データに基づいて各反射光の吸光度を演算する構成としても良い。

次に、路面状態判定部４ｃは、取得した２つの吸光度の差分Δを算出する（Ｓ６２）。路面が乾燥している場合には、水や氷にエネルギーが吸収される吸光減少が発生することなく反射光が戻ってくるため、波長に拘わらず吸光度は略同等となり、差分Δは極小さな値となる。従って、差分Δと濡れ判定値Ｔｈ_Ｗを比較し（Ｓ６３）、差分Δの方が小さければ、乾燥路面と判定する（Ｓ６４）。差分Δが濡れ判定値Ｔｈ_Ｗ以上である場合は、差分Δと凍結判定値Ｔｈ_Ｆを比較し（Ｓ６５）、差分Δの方が小さければ、濡れ路面と判定する（Ｓ６６）。一方、差分Δが凍結判定値Ｔｈ_Ｆ以上である場合は、凍結路面と判定する（Ｓ６７）。路面状態が、乾燥、濡れ、凍結、のいずれかの状態であると判定されると、路面状態判定部４ｃは、出力部４ｄを介して、外部に判定結果を送信する（Ｓ５８）。

なお、以上は、図４に示すΔ_ＦとΔ_Ｗの関係がΔ_Ｆ＞Δ_Ｗとなる波長λ_１、λ_２の赤外光を組み合わせた場合のフローチャートである。このため、Δ_ＦとΔ_Ｗの関係がΔ_Ｆ＜Δ_Ｗとなる波長λ_１、λ_２の赤外光を組み合わせた場合は、図６ＡのＳ６３とＳ６５を入れ替え、かつ、Ｓ６６とＳ６７を入れ替えた、図６Ｂのフローチャートにより路面状態を判定する。言うまでもないが、Δ_ＦとΔ_Ｗの関係がΔ_Ｆ≒Δ_Ｗとなる波長λ_１、λ_２の赤外光を組み合わせた場合には、路面状態を判定することができないので、このような波長λ_１、λ_２の組み合わせは避ける必要がある。

なお、図５、図６Ａ、図６Ｂの処理は、路面の凹凸や傾斜に拘わらず、実行する構成としてもよいが、路面の凹凸や傾斜が大きい場合は、取得した吸光度３ａが信頼できず、路面状態を正確に判定できない場合も考えられる。そこで、図５のＳ２で、画像処理部４ａが所定以上の凹凸や傾斜を検出した時には、図５の処理を中止し、凹凸や傾斜が小さい場合のみ図５の処理を継続することとしても良い。このように、吸光度３ａが信頼できる状況でのみ路面状態を判定することで、判定精度を向上させることができる。

また、以上では複数の波長の赤外光を併用することで吸光度３ａの差分Δを演算し、この差分Δに基づいて路面状態を判定する構成を例示したが、路面の凹凸や傾斜の大小と、図４のグラフの上下への平行移動量の関係が既知であるときには、撮像装置１からの画像データ１ａを用いて路面の凹凸や傾斜を検知し、凹凸や傾斜による吸光度への影響（すなわち、図４のグラフの上下への平行移動量）を演算し、演算結果をもとに１波長分の吸光度のみを用いて、路面状態の判定を行うこととしても良い。これにより、照射する赤外光の波長を１つとした簡易な構成でも正確な路面状態判定を実現することが可能となる。

なお、一般に、凍結した路面が融解する際は、タイヤが通過する領域が摩擦熱により融解が早く進むため、融解した路面（濡れ状態の路面上）上を走行することでより安定走行が実現できる。このように、タイヤが通過した領域を車両通過領域とし、車両通過領域の検知手法を下記する。路面凍結手法で測定した複数箇所の路面状態をもとに、車両に対し平行に並んだ測定点の路面凍結判定の結果が、氷から水または乾燥状態に切り替わる点を転換点とする。二対の転換点の距離がある一定の距離（例えば、タイヤの径）であることが確認されたとき、その点を車両通過点とする。上記処理を全測定点に対して行い、確認された二対の車両通過点を結んだ二対の直線と、二対の直線の終端を平行に結んだ領域（四角形）を車両通過領域とする。図５のＳ３，Ｓ５では、路面領域を特定し、この路面領域からの反射光を用いて路面状態を判定したが、路面領域に代え、車両通過領域からの反射光を用いて路面状態を判定することとしても良い。

以上で説明した、本実施例の路面状態判定装置４または路面状態判定システム１０によれば、路面外からの反射光を利用せず、路面領域からの反射光のみを利用することで、路面外の街頭や段差などからの乱反射の影響により路面状態の判定精度が劣化する状況を回避することができ、判定精度をより高めることができる。

また、路面状態を判定する際に参照する領域を路面領域に限定することで、路面状態判定に要する演算量を抑制し、車両システムの演算負荷を低減することができる。

１ 撮像装置
１ａ 画像データ
２、２ａ、２ｂ 赤外光照射器
３ 赤外光受光器
４ 路面状態判定装置
４ａ 画像処理部
４ｂ 路面領域認識部
４ｃ 路面状態判定部
４ｄ 出力部
５、５Ｌ、５Ｒ 区画線
６ 路端
１０ 路面状態判定システム
２０ 車両

Claims (3)

1. 撮像装置が撮像した車両前方の画像データを格納する記憶装置と、
   該記憶装置に格納した前記画像データに基づき車両が走行する路面領域を特定する路面領域認識部と、
   該路面領域認識部が特定した前記路面領域に照射した赤外光の反射光の吸光度に基づいて、路面状態を判定する路面状態判定部と、
   を備え、
   前記路面状態判定部は、前記路面領域に同時に照射した波長１３００ｎｍと１４１０ｎｍの変調赤外光の反射光を周波数フィルタで分類することで、波長毎の吸光度を並列して生成し、両吸光度の差分Δの大きさに応じて、前記路面状態を、乾燥状態、濡れ状態、凍結状態、の何れかに分類することを特徴とする路面状態判定装置。
2. 請求項１に記載の路面状態判定装置において、
   さらに、前記画像データから前記車両の左右の区画線または路端を検知する画像処理部を備えており、
   前記路面領域認識部は、
   前記車両の左右の区画線または路端を延長した交点を消失点として、
   前記車両の左右の区画線または路端のそれぞれと、前記画像データの下部領域と、前記消失点に囲まれた領域を前記路面領域とすることを特徴とする路面状態判定装置。
3. 請求項２に記載の路面状態判定装置において、
   前記画像処理部は、前記画像データから路面の凹凸の有無を判定し、
   前記路面状態判定部は、路面の凹凸が無いと判定されたときに、路面状態を判定することを特徴とする路面状態判定装置。

Images