JP4157790B2 - Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program - Google Patents

Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program Download PDF

Info

Publication number
JP4157790B2
JP4157790B2 JP2003095729A JP2003095729A JP4157790B2 JP 4157790 B2 JP4157790 B2 JP 4157790B2 JP 2003095729 A JP2003095729 A JP 2003095729A JP 2003095729 A JP2003095729 A JP 2003095729A JP 4157790 B2 JP4157790 B2 JP 4157790B2
Authority
JP
Japan
Prior art keywords
road surface
image
intensity
threshold value
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003095729A
Other languages
Japanese (ja)
Other versions
JP2004301708A (en
Inventor
宗男 山田
律雄 浅井
靖師 相原
浩次 上田
勇夫 堀場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Electric Works Co Ltd
Original Assignee
Nagoya Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Electric Works Co Ltd filed Critical Nagoya Electric Works Co Ltd
Priority to JP2003095729A priority Critical patent/JP4157790B2/en
Publication of JP2004301708A publication Critical patent/JP2004301708A/en
Application granted granted Critical
Publication of JP4157790B2 publication Critical patent/JP4157790B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関し、特に、夜間における車両の前方路面の路面状態を検出する車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関する。
【０００２】
【従来の技術】
従来、この種の路面状態検出装置は、カメラにて路面画像を撮像し、同路面画像に基づいてこのカメラのレンズに入る路面の反射光の強さを計測し、同路面の光沢を測る。このとき、乾燥状態の路面は、表面が拡散面となり光沢が弱くなり、また、路面画像の領域内で光沢の強さはほぼ同一になる。一方、湿潤状態の路面は、表面が半鏡面状態となり光沢が強くなり、路面画像の領域内で光沢にムラが発生する。この特性の相異を判別するために、路面画像の映像信号をＲＧＢ値に変換し、このＲＧＢ値のＲＧＢ空間における広がりに基づいて路面状態を検出する。すなわち、ＲＧＢ空間におけるＲＧＢ値の分布の広がりが小さい場合は、路面画像の領域内における光沢の強さがほぼ同一であると判別し、路面が乾燥状態であると検出する。一方、ＲＧＢ空間におけるＲＧＢ値の分布の広がりが大きい場合は、路面画像の領域内における光沢にムラがあると判別し、路面が湿潤状態であると検出する（例えば、非特許文献１を参照。）。
【０００３】
【非特許文献１】
第１回ＩＴＳシンポジュウム２００２
２００２年１２月１５日（一橋記念講堂）発表論文
「画像式路面凍結検知装置における路面状態判別精度の考察」
【０００４】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置は、予め規定した乾燥時におけるＲＧＢ空間におけるＲＧＢ値の分布と、湿潤時におけるＲＧＢ空間におけるＲＧＢ値の分布とに基づいて路面状態を検出する。すなわち、この従来の路面状態検出装置の撮像する路面は定点であり、この定点の路面について予め規定したＲＧＢ値の分布に基づいて路面状態を検出する。
従って、路面状態に依存しない環境の変化によってＲＧＢ値が変動した場合、この変動によって路面状態を誤検出してしまう。例えば、この路面状態検出装置を車両に搭載して夜間走行を行う場合、路面はヘッドライトの照射光による反射光によって支配的に照らし出される場合もあるし、ヘッドライトの照射光に街路灯などの外光が加わり、これらによる反射光によって照らし出される場合もある。すなわち、路面の光沢を示すＲＧＢ値が路面状態以外の要因で変化する。これにより路面状態を正確に検出することができないという課題がある。
【０００５】
本発明は、上記課題にかんがみてなされたもので、夜間において車両の前方路面の路面状態を精度良く検出することが可能な車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、前方路面を撮像可能に車両に設置され、ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得手段と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出手段とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、前方路面を撮像可能に車両に設置した画像撮像手段によってヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する。ここで、画像情報取得手段は、垂直偏光画像および水平偏光画像が撮像されると、この垂直偏光画像もしくは水平偏光画像の画像輝度を取得するとともに、当該垂直偏光画像と水平偏光画像の偏光比強度を取得する。このとき、路面状態検出手段は、画像情報取得手段の取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合は前方路面を湿潤状態と検出する。一方、画像輝度が同輝度に対する閾値以上であると判別した場合、路面状態検出手段では、さらに取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別する。そして、この偏光比強度が同強度に対する閾値以上であると判別した場合は前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合は前方路面を乾燥状態と検出する。
【０００８】
つまり、ヘッドライトにて路面を照らし出したとき路面が乾燥状態であれば、ヘッドライトの照射光の反射光は、表面が凹凸面（粗面）の路面で乱反射する。一方、路面が湿潤状態であれば、ヘッドライトの照射光の反射光のうちほとんどは表面が鏡面の路面にて車両前方側に向かって反射する。従って、画像撮像手段が撮像したこの反射光に基づく路面画像の画像輝度は、路面が乾燥状態であるほど高くなる。このため、この画像輝度が輝度に対する閾値（路面状態が湿潤状態であると判別可能な輝度値を規定した閾値）より小さい場合は、路面が湿潤状態であると検出することができる。
【０００９】
しかし、夜間走行においてはヘッドライトの照射が支配的な場合もあるし、ヘッドライトの照射に街路灯などの施設照明が加わる場合もある。
このとき、かかる街路灯の外光によって画像輝度が増加してしまい、本来的には路面が湿潤状態であるにも関わらず、当該画像輝度が上記の輝度に対する閾値以上となり湿潤状態ではないと検出されることがあり得る。ここで、街路灯の外光が湿潤状態の路面（鏡面）で反射したとき、反射光に偏光特性が備わる。すなわち、路面が乾燥状態の場合は、画像撮像手段が入射する光の垂直偏光成分の強度と水平偏光成分の強度とはほぼ同等になる。一方、路面が湿潤状態の場合は垂直偏光成分の強度が水平偏光成分の強度より相対的に大きくなる。従って、垂直偏光成分と水平偏光成分に基づいて取得できる偏光比強度（垂直偏光成分の強度／水平偏光成分の強度）は、路面が湿潤状態であるほど大きくなる。
【００１０】
この偏光特性を利用し、画像輝度が輝度に対する閾値以上であると判別された場合に、取得した偏光比強度が強度に対する閾値（路面状態が湿潤状態であると判別可能な偏光比強度値を規定した閾値）以上であるか否かを判別し、偏光比強度が強度に対する閾値以上であると判別した場合には路面状態が湿潤状態であると検出し、強度に対する閾値より小さいと判別した場合には路面状態が乾燥状態であると検出する。これによって、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能になる。
【００１１】
なお、ヘッドライトはビームの位置によって路面を照らし出す度合いが異なってくるため、路面状態の判断基準となる画像輝度もこのヘッドライトの点灯強度によって変化してくる。このとき、ヘッドライトの点灯強度に応じて画像輝度の比較対象である閾値を変化させると、より精度良く路面状態を検出することが可能となり好適である。
【００１２】
そこで、請求項２にかかる発明は、上記請求項１に記載の車両用路面状態検出装置において、上記ヘッドライトの点灯強度を取得する点灯強度取得手段を有し、上記路面状態検出手段は、点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき同取得した点灯強度に応じて上記輝度に対する閾値を変化させる構成としてある。
上記のように構成した請求項２にかかる発明においては、点灯強度取得手段にてヘッドライトの点灯強度を取得する。かかる場合、路面状態検出手段は点灯強度の上昇に略対応させて上記輝度に対する閾値を増加させる対応関係に基づき、上述した路面状態を検出するための輝度に対する閾値を点灯強度取得手段が取得した点灯強度に応じて変化させる。
【００１３】
ここで、上述してきたヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出装置は、ヘッドライトにて照射される前方路面の路面状態を検出する手順を提示した方法としても成立することは言うまでもない。
そこで、請求項３にかかる発明においては、ヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出方法であって、前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得工程と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出工程とを具備する構成とする。
必ずしも実体のある車両用路面状態検出装置に限らず、車両用路面状態検出方法としても有効であることに相違はない。
【００１４】
また、ヘッドライトにて照射される前方路面の路面状態を検出する方法および装置は、上述した車両用路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。
【００１５】
その一例として請求項４にかかる発明においては、ヘッドライトにて照射される前方路面の路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得機能と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出機能とを具備する構成としてある。
すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【００１６】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【００１７】
【発明の効果】
以上説明したように本発明は、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出装置を提供することができる。
また、請求項２にかかる発明によれば、ヘッドライトの点灯強度に対応して適切な路面状態の検出を行うことが可能になる。
さらに、請求項３にかかる発明によれば、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出方法を提供することができる。
さらに、請求項４にかかる発明によれば、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出装置の制御プログラムを提供することができる。
【００１８】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）車両用路面状態検出装置の構成：
（２）前方路面の画像特性：
（３）路面状態検出処理の処理内容：
（４）変形例：
（５）まとめ：
【００１９】
（１）車両用路面状態検出装置の構成：
図１は、本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。同図において、車両用路面状態検出装置１０は、内部にＣＰＵ１１を有し、同ＣＰＵ１１はバスラインを介して接続されたフレームメモリ１３と、ＲＯＭ１４と、ＲＡＭ１５と、ユーザインターフェース部１６と、Ｉ／Ｏ１７とを制御可能になっており、ＣＰＵ１１はＲＯＭ１４に格納されている所定機能を実現可能にする制御プログラムをＲＡＭ１５をワークエリアとして使用しつつ実行可能になっている。ここで、フレームメモリ１３にはアナログデータをデジタルデータに変換する機能を有するＡＤ変換器１２を介して撮像部２０が接続されている。この撮像部２０は車両の前方路面を撮像可能に設置されている。
【００２０】
撮像部２０にて撮像されたアナログデータの画像は、ＡＤ変換器１２にてデジタルデータに変換されるとともに、フレームメモリ１３によって取り込まれる。本実施形態では上述したように撮像部２０にて車両前方の路面を撮像する。また、本実施形態においては後述するとおり、撮像部２０にて車両の前方路面の垂直偏光画像と水平偏光画像を撮像し、この垂直偏光画像および水平偏光画像の偏光特性を利用して路面状態を検出する。このとき、垂直偏光画像の輝度情報に基づいた垂直偏光成分の強度と、水平偏光画像の輝度情報に基づいた水平偏光成分の強度とから取得される偏光比強度（垂直偏光成分の強度／水平偏光成分の強度）に基づいて路面状態を検出する。ユーザインターフェース部１６は車載テレビ等とのインターフェースであり検出した結果を同車載テレビに表示することによって運転者に通知可能になっている。また、Ｉ／Ｏ１７はヘッドライト３０に接続されており、ヘッドライト３０の点灯／消灯を示す信号や、ヘッドライト３０の点灯強度（ロービーム、ハイビームなど）を示す信号を入出力するインターフェースである。
【００２１】
図２は、上述した撮像部２０の構成を示したブロック構成図である。
同図において、撮像部２０は上述したとおり車両の前方路面を撮像する。このとき、路面から入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部２０には、１：１の透過性を備えるハーフミラーボックス２１と、ミラー２２と、垂直偏光フィルタ２３と、水平偏光フィルタ２４と、垂直偏光フィルタ２３を介して視野像を撮像するＣＣＤ２５と、水平偏光フィルタ２４を介して視野像を撮像するＣＣＤ２６と、フィールドメモリ２７と、フィールドメモリ２８とを有する構成となっている。
【００２２】
ここで、撮像部２０に入力される視野像は、ハーフミラーボックス２１を通過してミラー２２で反射し、垂直偏光フィルタ２３を介してＣＣＤ２５に結像して垂直偏光画像を形成し、ハーフミラーボックス２１を透過し、水平偏光フィルタ２４を介してＣＣＤ２６に結像して水平偏光画像を形成する。そして、このように形成された垂直偏光画像はフィールドメモリ２７に格納される。また、水平偏光画像はフィールドメモリ２８に格納される。このフィールドメモリ２７，２８に格納された垂直偏光画像および水平偏光画像はＡＤ変換器１２を介してフレームメモリ１６に転送し、一旦格納させる。
【００２３】
本実施形態における撮像部２０では、上述のとおり、入射する視野像をハーフミラーボックス２１によって２つに分岐させることによって、垂直偏光画像および水平偏光画像を撮像することが可能な構成を採用した。むろん、垂直偏光画像および水平偏光画像を撮像する構成は、これに限定されるものではなく、例えば、垂直偏光フィルタを装着したＣＣＤと、水平偏光フィルタを装着したＣＣＤとによって個別に視野像を入射することにより、垂直偏光画像および水平偏光画像を撮像する構成を採用しても良い。また、これらに限定されるものでもなく、垂直偏光画像および水平偏光画像を撮像することが可能な構成であれば適宜選択可能である。
【００２４】
かかる構成において、本実施形態では点灯されたヘッドライト３０によって照射された車両の前方路面を撮像部２０にて撮像し、撮像した垂直偏光画像および水平偏光画像に基づいて同前方路面の路面状態（乾燥状態もしくは湿潤状態）を検出する手法について説明する。このとき、垂直偏光画像および水平偏光画像は、撮像部２０に入射する光に基づいて撮像されることになる。ここで、夜間走行時において撮像部２０に入射される光は、ヘッドライト３０の照射光に基づいた反射光に依存する場合（ヘッドライト３０の照射が支配的な場合）と、ヘッドライト３０の照射光に基づいた反射光に加えて街路灯などの施設照明に存在する場合との２つのパターンが勘案できる。そこで、先ず最初にヘッドライト３０の照射光に基づいた反射光に依存する場合について説明する。
【００２５】
（２）前方路面の画像特性：
図３は、路面が乾燥状態の場合におけるヘッドライト３０の照射光の反射状態を模式的に示した模式図である。
同図において、車両１００には前方の路面Ｒを照射可能にヘッドライト３０が設置されているとともに、この照射された路面Ｒを撮像可能な位置に撮像部２０が設置されている。ヘッドライト３０が点灯されると、同ヘッドライト３０の照射光Ｌ１は、路面Ｒに対して所定の入射角度にて照射される。路面Ｒが乾燥状態の場合、その表面は凹凸面（粗面）になっている。これにより、ヘッドライト３０の照射光Ｌ１の反射光Ｌ２は、路面Ｒにて乱反射される。従って、反射光Ｌ２の成分は、車両１００の前方側に向かうものもあるし、車両側に戻ってくるものもある。このとき、撮像部２０は乱反射により車両側に戻ってきた反射光Ｌ２を入射し、この反射光Ｌ２に基づいた垂直偏光画像および水平偏光画像を撮像する。一方、路面Ｒが湿潤状態の場合は、当該路面Ｒの凹凸面（粗面）に水が溜まり、表面が鏡面となる。次に、このときの照射光Ｌ１の反射について説明する。
【００２６】
図４は、路面が湿潤状態の場合におけるヘッドライト３０の照射光の反射状態を模式的に示した模式図である。
同図において、ヘッドライト３０から照射される照射光Ｌ１の路面Ｒに対する入射角度は、車両１００の前方側に対し路面Ｒの照射範囲を大きくとるために小さく設定されている。このとき、湿潤状態に起因して路面Ｒの表面が鏡面を形成している場合においては入射角度が小さい照射光Ｌ１の反射光Ｌ２のほとんどが車両１００の前方側に向かってしまうことになる。従って、撮像部２０が入射する反射光Ｌ２は微弱ものとなる。かかる場合、撮像部２０はこの微弱な反射光Ｌ２に基づいた垂直偏光画像および水平偏光画像を撮像することになる。
【００２７】
このように路面Ｒの路面状態（乾燥状態もしくは湿潤状態）に応じて撮像部２０に入射される反射光Ｌ２の強度は異なる。従って、乾燥状態において撮像された垂直偏光画像もしくは水平偏光画像の画像輝度と、湿潤状態において撮像された垂直偏光画像および水平偏光画像の画像輝度とは大きく異なってくる。すなわち、路面Ｒが乾燥状態の場合は画像輝度が高くなり、路面Ｒが湿潤状態の場合は画像輝度が低くなる。本実施形態では予め所定の輝度に対する閾値を規定しておき、画像輝度がこの輝度に対する閾値以上の場合に照射光Ｌ１が路面Ｒで乱反射していると判断し、路面状態を乾燥状態であると検出する。一方、画像輝度がこの輝度に対する閾値より小さい場合に照射光Ｌ１の反射光Ｌ２のほとんどが車両１００の前方側に反射してしまっていると判断し、路面状態を湿潤状態であると検出する。この検出機能は後述する路面状態検出処理にて実現される。
【００２８】
このように夜間走行時においてヘッドライト３０の照射が支配的な状況においては、ヘッドライト３０の照射光Ｌ１の路面Ｒにおける反射光Ｌ２に基づいて撮像される垂直偏光画像もしくは水平偏光画像の画像輝度により路面状態（乾燥状態もしくは湿潤状態）を検出することが可能になる。一方、ヘッドライト３０の照射に加えて街路灯などの施設照明が加わった場合、この加わった街路灯などの施設照明により撮像部２０に入射される光は強くなる。すなわち、垂直偏光画像もしくは水平偏光画像の画像輝度は上昇する。従って、路面状態が湿潤状態であっても、この街路灯などの施設照明のため、画像輝度が上昇してしまい、上述した輝度に対する閾値以上になり、路面状態が乾燥状態であると誤検出してしまう。ここで、路面Ｒが湿潤状態の場合、街路灯などの施設照明の反射光は、偏光特性を示すことが知られている。従って、撮像部２０が撮像した垂直偏光画像および水平偏光画像の偏光特性に基づいて路面状態が乾燥状態であるか湿潤状態であるかを検出することが可能になる。次に、ヘッドライト３０の照射に加えて街路灯などの施設照明が存在する場合について説明する。
【００２９】
図５は、路面が乾燥状態の場合におけるヘッドライト３０の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
同図においては、施設照明として街路灯４０が路面Ｒを照射している状態を示している。上述したように路面Ｒが乾燥状態のとき表面は凹凸面（粗面）になっているので、街路灯４０が照射する外光Ｌ３の反射光Ｌ４は当該路面Ｒにて乱反射される。従って、反射光Ｌ４の成分は、車両１００の前方側に向かうものもあるし、車両側に向かうものもある。このとき、撮像部２０は乱反射により車両側に戻ってきた上述した照射光Ｌ１の反射光Ｌ２および外光Ｌ３の反射光Ｌ４を入射し、この反射光Ｌ２，Ｌ４に基づいた垂直偏光画像および水平偏光画像を撮像する。
【００３０】
図６は、路面が乾燥状態の場合における街路灯４０の外光Ｌ３の偏光特性を模式的に示した模式図である。
同図において、路面Ｒが乾燥状態の場合は、撮像部２０に入射される光は路面Ｒの凹凸面（粗面）に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１１の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２１の強度とを比較すると、ほぼ同等の強度となる。
【００３１】
図７は、路面が湿潤状態の場合におけるヘッドライト３０の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
同図においては、施設照明として街路灯４０が路面Ｒを照射している状態を示している。上述したように路面Ｒが湿潤状態のとき表面は鏡面になっている。このとき、街路灯４０が照射する外光Ｌ３の反射光Ｌ４は、当該路面Ｒにて反射する際に偏光特性を示すことになる。次に、この偏光特性について説明する。図８は、路面が湿潤状態の場合における街路灯４０の外光Ｌ３の偏光特性を模式的に示した模式図である。同図において、撮像部２０に入射される光はこの鏡面にて反射したものとなり、反射光は偏光特性を示す。
【００３２】
このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１２の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２２の強度とを比較すると、垂直偏光成分Ｓ１２の強度の方が相対的に強くなる。従って、この垂直偏光成分と水平偏光成分の強度にて規定される偏光比強度（垂直偏光成分／水平偏光偏光成分）は乾燥状態に比べて大きくなる。以上より、この偏光比強度に基づいて路面状態を検出することが可能になる。かかる検出機能も次に説明する路面状態検出処理にて実現される。
【００３３】
（３）路面状態検出処理の処理内容：
図９は、ＣＰＵ１１にて実行される路面状態検出処理の処理内容を示したフローチャートである。
同図において、先ず最初に撮像部２０に視野像の垂直偏光画像および水平偏光画像を撮像させる（ステップＳ１０５）。次に、水平偏光画像（もしくは垂直偏光画像）の画像輝度を取得する（ステップＳ１１０）。この画像輝度は水平偏光画像（もしくは垂直偏光画像）を構成する各画素の輝度値に基づいて算出する。ここで、この取得した画像輝度が上記した所定の輝度に対する閾値以上であるか否かを判別し（ステップＳ１１５）、同判別にて画像輝度が輝度に対する閾値以上と判別すると、垂直偏光成分および水平偏光成分の強度を算出するとともに（ステップＳ１２０）、偏光比強度を算出する（ステップＳ１２５）。そして、この算出した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し（ステップＳ１３０）、同判別にて偏光比強度が強度に対する閾値より小さいと判別すると、路面Ｒの路面状態を乾燥状態とする（ステップＳ１３５）。
【００３４】
一方、ステップＳ１１５にて画像輝度が輝度に対する閾値より小さいと判別した場合およびステップＳ１３０にて偏光比強度が強度に対する閾値以上と判別した場合は、路面Ｒの路面状態を湿潤状態と検出する（ステップＳ１４０）。以上のように路面状態を検出すると、ユーザインターフェース部１６の制御を介して当該検出された各路面状態を車載テレビに表示し、運転者において視認可能に通知する（ステップＳ１４５）。むろん、この通知は車載テレビに表示する態様に限定されず、スピーカから音のみで通知しても良いし、フロントパネルに配置されたランプなどの発光手段にて通知しても良い。このとき路面状態、例えば湿潤度合いに従って音量もしくは発光色を変化させればより好ましい。
【００３５】
図１０は、上述した路面状態検出処理の検証結果を示した図である。
同図においては、横軸に時系列のサンプルポイントを規定し、縦軸に偏光比強度および路面輝度を規定してあり、夜間フィールドにおいて収集したデータに基づいて抽出した路面Ｒについての画像輝度および偏光比強度の時間推移を示している。ここで、折れ線グラフＧ１はサンプルポイントにおける路面輝度の変化を示しており、折れ線グラフＧ２はサンプルポイントにおける偏光比強度の変化を示している。一方、帯グラフＧ３は上段（真値）と下段（検出結果）とから構成されている。この上段（真値）は目視により検出した実際の路面状況を示している。また、下段（検出結果）は本実施形態にかかる路面状態検出処理によって検出した路面状態の検出結果を示しており、湿潤状態と検出したサンプルポイントを黒で示し、乾燥状態と検出したサンプルポイントを白で示している。一方、反転（湿潤状態の場合は白反転、乾燥状態の場合は黒反転）しているサンプルポイントは誤検出を示している。
【００３６】
また、図１１は目視により判定した実際の路面状態と、本実施形態にかかる路面状態検出処理の検出結果を比較し、その一致度合いによって算出した検出精度を示している。同図において、目視により判定した実際の路面状態が乾燥状態であるサンプルポイントは６７個であり、これに対して本実施形態にかかる路面状態検出処理ではこの６７個のサンプルポイントのうち６３個を乾燥状態であると検出している（正解数）。すなわち、正解率は９４．０％である。一方、目視により判定した実際の路面状態が湿潤状態であるサンプルポイントは９１個であり、これに対して本実施形態にかかる路面状態検出処理ではこの９１個のサンプルポイントのうち８５個を湿潤状態であると検出している（正解数）。すなわち、正解率は９３．４％である。このように、目視による実際の路面状態と、本実施形態にかかる路面状態検出処理の処理結果による路面状態とでは、多少のオーバーラップが存在するものの良好な結果が得られており、本実施形態による夜間における路面状態検出手法は、その有効性が検証された。
【００３７】
ここで、上述した実施形態においては、路面状態検出処理にて先ず最初に画像輝度に基づいた判別を行い、その後に偏光比強度による判別を行う手法を採用し、より高精度な路面状態の検出を実現可能にした。図１０から分かるとおり、輝度に対する閾値に対する折れ線グラフＧ１の変動を考察すると、画像輝度による判別のみであっても、路面状態の概略的な傾向を把握することが可能である。従って、上述した路面状態検出処理におけるステップＳ１１５にて画像輝度が輝度に対する閾値以上の場合に路面状態を乾燥状態と判別し、画像輝度が輝度に対する閾値より小さい場合に路面状態を湿潤状態と判別するようにしても精度は上述した手法よりは低下するものの、路面状態検出処理の処理構成を簡素化でき、処理の高速化を図ることが可能になるという点で有用となり得る。
【００３８】
（４）変形例：
上述した実施形態では輝度に対する閾値を固定した。一方、ヘッドライト３０の照射は段階的に設定が変更され得る。例えば、ロービームの設定の場合もあるし、ハイビームの設定の場合もある。このように設定が異なれば、ヘッドライト３０が照射する照射光Ｌ１による反射光Ｌ２の強度が異なってくる。従って、輝度閾値が固定であると、この反射強度の相異に対応できない場合が発生し得る。そこで、この変形例ではヘッドライト３０の設定に応じて輝度に対する閾値の設定を変える手法を採用する。図１２は、かかる機能を実現する際にＣＰＵ１１にて実行される輝度閾値設定処理の処理内容を示したフローチャートである。
【００３９】
同図において、先ず最初にＩ／Ｏ１７を介してヘッドライト３０の点灯強度（ロービーム設定もしくはハイビーム設定）を取得する（ステップＳ２０５）。次に、この取得した点灯強度がロービーム設定であるか否かを判別する（ステップＳ２１０）。点灯強度がロービーム設定であると判別した場合は、ＲＯＭ１４に格納されている通常の輝度に対する閾値データを読み出す（ステップＳ２１５）。一方、点灯強度がハイビーム設定であると判別した場合は、ＲＯＭ１４に格納されているハイビーム用の輝度に対する閾値データを読み出す（ステップＳ２２０）。そして、読み出した輝度に対する閾値データを上述した路面状態検出処理に使用する閾値として設定する（ステップＳ２２５）。このようにヘッドライト３０の点灯強度の変化に応じて画像輝度を判別するための輝度閾値を可変することによって、ヘッドライトの経年変化を含む点灯強度の変化に追従可能なより高精度の路面状態の検出を実現することを可能にする。
【００４０】
（５）まとめ：
このように、ヘッドライト３０が点灯される夜間における車両１００の前方の路面Ｒの路面状態（乾燥状態もしくは湿潤状態）を検出する際に、第１段階として撮像部２０にて撮像した水平偏光画像（もしくは垂直偏光画像）における画像輝度に基づいた検出を行い、この画像輝度が輝度に対する閾値以上と判別されたとき（画像輝度が輝度に対する閾値より小さい場合は湿潤状態と判別する。）、第２段階として同垂直偏光画像および水平偏光画像が有する偏光特性に基づく偏光比強度による判別を行い、この偏光比強度が強度に対する閾値以上であると判別したときに路面状態を湿潤状態と判別することによって（偏光比強度が偏光比閾値より小さい場合は乾燥状態と判別する。）、当該路面状態の高精度の検出を実現することを可能にする。
【図面の簡単な説明】
【図１】本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。
【図２】撮像部の構成を示したブロック構成図である。
【図３】路面が乾燥状態の場合におけるヘッドライトの照射光の反射状態を模式的に示した模式図である。
【図４】路面が湿潤状態の場合におけるヘッドライトの照射光の反射状態を模式的に示した模式図である。
【図５】路面が乾燥状態の場合におけるヘッドライト図の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
【図６】路面が乾燥状態の場合における街路灯の外光の偏光特性を模式的に示した模式図である。
【図７】路面が湿潤状態の場合におけるヘッドライトの照射光および街路灯の外光の反射状態を模式的に示した模式図である。
【図８】路面が湿潤状態の場合における街路灯の外光の偏光特性を模式的に示した模式図である。
【図９】路面状態検出処理の処理内容を示したフローチャートである。
【図１０】路面状態検出処理の検証結果を示した図である。
【図１１】路面状態検出処理の検証結果の精度について検証した結果を示した図である。
【図１２】輝度閾値設定処理の処理内容を示したフローチャートである。
【符号の説明】
１０…車両用路面状態検出装置
１１…ＣＰＵ
１２…ＡＤ変換器
１３…フレームメモリ
１４…ＲＯＭ
１５…ＲＡＭ
１６…ユーザインターフェース部
２０…撮像部
２１…ハーフミラーボックス
２２…ミラー
２３…垂直偏光フィルタ
２４…水平偏光フィルタ
２５…ＣＣＤ
２６…ＣＣＤ
２７…フィールドメモリ
２８…フィールドメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle road surface state detection device, a vehicle road surface state detection method, and a control program for a vehicle road surface state detection device, and in particular, a vehicle road surface state detection device that detects a road surface state of a front road surface of a vehicle at night, The present invention relates to a vehicle road surface state detection method and a vehicle road surface state detection device control program.
[0002]
[Prior art]
Conventionally, this type of road surface state detection device takes a road surface image with a camera, measures the intensity of reflected light from the road surface entering the lens of the camera based on the road surface image, and measures the gloss of the road surface. At this time, the dry road surface has a diffused surface and becomes less glossy, and the gloss intensity is almost the same in the area of the road image. On the other hand, the wet road surface has a semi-mirror surface and a high gloss, and uneven gloss occurs in the area of the road image. In order to determine this difference in characteristics, the video signal of the road surface image is converted into an RGB value, and the road surface state is detected based on the spread of the RGB value in the RGB space. That is, when the spread of the RGB value distribution in the RGB space is small, it is determined that the intensity of the gloss in the area of the road surface image is almost the same, and it is detected that the road surface is in a dry state. On the other hand, when the spread of the RGB values in the RGB space is large, it is determined that the gloss in the area of the road surface image is uneven, and the road surface is detected to be wet (see, for example, Non-Patent Document 1). ).
[0003]
[Non-Patent Document 1]
1st ITS Symposium 2002
Paper published on December 15, 2002 (Hitotsubashi Memorial Auditorium)
"Consideration of road surface condition discrimination accuracy in image type road surface freezing detection device"
[0004]
[Problems to be solved by the invention]
The conventional road surface state detection device described above detects a road surface state based on a predetermined distribution of RGB values in the RGB space at the time of drying and an RGB value distribution in the RGB space at the time of wetness. That is, the road surface imaged by this conventional road surface state detection device is a fixed point, and the road surface state is detected based on the distribution of RGB values defined in advance for the road surface at this fixed point.
Therefore, when the RGB value fluctuates due to an environmental change that does not depend on the road surface state, the road surface state is erroneously detected due to the change. For example, when this road surface condition detection device is mounted on a vehicle and travels at night, the road surface may be predominantly illuminated by reflected light from the light emitted from the headlights, street light etc. In some cases, the light is reflected by the reflected light. That is, the RGB value indicating the gloss of the road surface changes due to factors other than the road surface state. Accordingly, there is a problem that the road surface state cannot be accurately detected.
[0005]
The present invention has been made in view of the above problems, and is a vehicle road surface state detection device, a vehicle road surface state detection method, and a vehicle road surface state capable of accurately detecting a road surface state of a front road surface of a vehicle at night. An object is to provide a control program for a detection apparatus.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 is provided on a vehicle so as to be able to image a front road surface, and image imaging means for capturing a vertical polarization image and a horizontal polarization image of the front road surface irradiated by a headlight. , Image information acquisition means for acquiring the image luminance of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and horizontal polarization image, and the acquired image luminance is smaller than a threshold for a predetermined luminance The front road surface is detected as a wet state when it is determined that it is smaller than a threshold value for the same luminance, and the obtained polarization ratio intensity is a predetermined strength when it is determined that the threshold value is equal to or higher than the threshold value for the same luminance. If it is determined whether or not the threshold is equal to or greater than the threshold for the same strength, the front road surface is detected as a wet state and the same strength is detected. There the road surface ahead as configured for and a road surface condition detecting means for detecting a dry state when it is determined that less than a threshold value.
[0007]
In the invention according to claim 1 configured as described above, a vertical polarization image and a horizontal polarization image of the front road surface irradiated by the headlight are picked up by the image pickup means installed in the vehicle so that the front road surface can be picked up. Here, when a vertically polarized image and a horizontally polarized image are captured, the image information acquisition means acquires the image luminance of the vertically polarized image or the horizontally polarized image, and the polarization ratio intensity between the vertically polarized image and the horizontally polarized image. To get. At this time, the road surface state detection means determines whether or not the image brightness acquired by the image information acquisition means is smaller than a threshold value for the predetermined brightness. To detect. On the other hand, when it is determined that the image luminance is equal to or higher than the threshold value for the same luminance, the road surface state detection unit further determines whether or not the acquired polarization ratio intensity is equal to or higher than the threshold value for the predetermined intensity. When it is determined that the polarization ratio intensity is equal to or greater than the threshold value for the same intensity, the front road surface is detected as a wet state, and when it is determined that the polarization ratio intensity is smaller than the threshold value for the same intensity, the front road surface is detected as a dry state.
[0008]
In other words, if the road surface is in a dry state when the road surface is illuminated by the headlight, the reflected light of the irradiation light of the headlight is irregularly reflected on the road surface having an uneven surface (rough surface). On the other hand, if the road surface is wet, most of the reflected light of the light emitted from the headlight is reflected toward the front side of the vehicle on the road surface having a mirror surface. Therefore, the image brightness of the road surface image based on the reflected light imaged by the image capturing means increases as the road surface becomes dry. For this reason, when this image luminance is smaller than a threshold value for luminance (threshold value defining a luminance value that can be determined that the road surface state is wet), it can be detected that the road surface is wet.
[0009]
However, when traveling at night, the headlight irradiation may be dominant, or the facility light such as a street lamp may be added to the headlight irradiation.
At this time, the image brightness is increased by the outside light of the street light, and it is detected that the image brightness is equal to or higher than the threshold value with respect to the above brightness although the road surface is essentially wet. It can be done. Here, when the external light of the street light is reflected by a wet road surface (mirror surface), the reflected light has polarization characteristics. That is, when the road surface is in a dry state, the intensity of the vertical polarization component and the intensity of the horizontal polarization component of the light incident on the image pickup means are substantially equal. On the other hand, when the road surface is wet, the intensity of the vertical polarization component is relatively greater than the intensity of the horizontal polarization component. Therefore, the polarization specific intensity (the intensity of the vertical polarization component / the intensity of the horizontal polarization component) that can be acquired based on the vertical polarization component and the horizontal polarization component increases as the road surface gets wet.
[0010]
Using this polarization characteristic, when it is determined that the image brightness is equal to or greater than the threshold value for the brightness, the acquired polarization ratio intensity is a threshold value for the intensity (a polarization ratio intensity value that can be determined that the road surface state is a wet state) If it is determined that the polarization ratio intensity is greater than or equal to the threshold value for the intensity, it is detected that the road surface condition is a wet condition and is less than the threshold value for the intensity. Detects that the road surface is dry. This makes it possible to accurately detect whether the road surface is wet or dry even when the acquired image brightness includes brightness due to external light from facility lighting such as street lamps. Become.
[0011]
In addition, since the headlight illuminates the road surface depending on the position of the beam, the image brightness that is a criterion for determining the road surface state also changes depending on the lighting intensity of the headlight. At this time, it is preferable to change the threshold value, which is a comparison target of the image luminance, according to the lighting intensity of the headlight, because it is possible to detect the road surface state with higher accuracy.
[0012]
Accordingly, the invention according to claim 2 is the vehicle road surface state detecting device according to claim 1, further comprising lighting intensity acquisition means for acquiring the lighting intensity of the headlight, wherein the road surface state detecting means The threshold value for the luminance is changed according to the obtained lighting intensity based on the correspondence relationship that increases the threshold value for the luminance approximately corresponding to the increase in intensity.
In the invention according to claim 2 configured as described above, the lighting intensity of the headlight is acquired by the lighting intensity acquisition means. In such a case, the road surface state detection means substantially corresponds to the increase in the lighting intensity, and the lighting intensity acquisition means acquires the threshold value for the luminance for detecting the road surface condition described above based on the correspondence relationship that increases the threshold value for the luminance. Change according to strength.
[0013]
Here, the vehicle road surface state detection device for detecting the road surface state of the front road surface irradiated with the headlight has been described as a method of presenting a procedure for detecting the road surface state of the front road surface irradiated with the headlight. Needless to say, this is true.
Accordingly, in the invention according to claim 3, there is provided a vehicle road surface state detection method for detecting a road surface state of the front road surface irradiated by the headlight, and the image pickup means installed in the vehicle so as to be able to image the front road surface. An image capturing step for capturing a vertically polarized image and a horizontally polarized image of the front road surface irradiated by the headlight, image brightness of the captured vertically polarized image or horizontally polarized image, and the vertically polarized image and the horizontally polarized image. An image information acquisition step for acquiring the polarization ratio intensity of the image, and whether or not the acquired image luminance is smaller than a threshold value for the predetermined luminance, and if it is determined that the acquired image luminance is lower than the threshold value for the luminance, the front road surface is in a wet state Whether or not the acquired polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity. Separately, when it is determined that the threshold value is equal to or greater than the threshold value for the same strength, the front road surface is detected as a wet state, and when it is determined that the threshold value is smaller than the threshold value for the same strength, the road surface condition detection step is detected. It is set as the structure which comprises.
The present invention is not necessarily limited to a substantial vehicle road surface state detection device, but is effective even as a vehicle road surface state detection method.
[0014]
In addition, the method and apparatus for detecting the road surface state of the front road surface illuminated by the headlights may be realized by the above-described vehicle road surface state detection device alone or may be used in a state of being incorporated in a certain device. The idea of the invention includes various aspects, and may be appropriately changed such as software or hardware. In the case of software for controlling the road surface state detection device as an embodiment of the idea of the invention, the invention is also realized as the hardware or software recording medium.
[0015]
As an example, in the invention according to claim 4, there is provided a control program for a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state of a front road surface irradiated with a headlight, An image capturing function for capturing a vertically polarized image and a horizontally polarized image of the front road surface irradiated by the headlight on an image capturing means installed in a vehicle so as to capture a road surface, and the captured vertically polarized image or horizontally polarized image An image information acquisition function for acquiring the image brightness of the image and the polarization ratio intensity of the vertically polarized image and the horizontally polarized image, and determining whether or not the acquired image brightness is smaller than a threshold value for a predetermined brightness. When it is determined that the road surface is smaller, the front road surface is detected as a wet state. It is determined whether the polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity, and when it is determined that the polarization ratio intensity is equal to or greater than a threshold value for the same intensity, the front road surface is detected as a wet state and is smaller than the threshold value for the same intensity. When it discriminate | determines, it is set as the structure which comprises the road surface state detection function which detects the said front road surface as a dry state.
In other words, the invention may be formed by a program that can be realized by a computer. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
[0016]
The same is true without any question about the duplication stage of the primary reproduction product and the secondary reproduction product. In addition, even when the communication method is used as a supply method, the present invention is not changed, and the same applies to the case where data is written on a semiconductor chip. Further, even when a part is software and a part is realized by hardware, the idea of the invention is not completely different, and a part is recorded on a recording medium, and it is appropriately changed as necessary. It may be in the form of being read.
[0017]
【The invention's effect】
As described above, the present invention accurately determines whether the road surface state is a wet state or a dry state even when the acquired image brightness includes brightness due to outside light from facility lighting such as a street light. It is possible to provide a vehicle road surface state detection device capable of detection.
According to the second aspect of the present invention, it is possible to detect an appropriate road surface state corresponding to the lighting intensity of the headlight.
Further, according to the invention according to claim 3, whether the road surface state is a wet state or a dry state even when the acquired image brightness includes brightness due to external light from facility lighting such as a street light. It is possible to provide a vehicular road surface state detection method capable of accurately detecting the vehicle.
Furthermore, according to the invention according to claim 4, whether the road surface state is a wet state or a dry state even when the acquired image brightness includes brightness due to external light of facility lighting such as a street light. It is possible to provide a control program for a vehicular road surface state detecting device capable of accurately detecting the vehicle.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of road surface condition detection device for vehicles:
(2) Image characteristics of the road surface ahead:
(3) Processing contents of road surface state detection processing:
(4) Modification:
(5) Summary:
[0019]
(1) Configuration of road surface condition detection device for vehicles:
FIG. 1 is a block configuration diagram showing a configuration of a vehicle road surface state detection apparatus according to the present invention. In the figure, a vehicular road surface state detection device 10 has a CPU 11 therein, and the CPU 11 has a frame memory 13, a ROM 14, a RAM 15, a user interface unit 16, an I / I connected via a bus line. The CPU 11 can execute a control program that can realize a predetermined function stored in the ROM 14 while using the RAM 15 as a work area. Here, the imaging unit 20 is connected to the frame memory 13 via an AD converter 12 having a function of converting analog data into digital data. The imaging unit 20 is installed so as to be able to image the road surface ahead of the vehicle.
[0020]
An analog data image captured by the image capturing unit 20 is converted into digital data by the AD converter 12 and is captured by the frame memory 13. In the present embodiment, as described above, the imaging unit 20 images the road surface ahead of the vehicle. In the present embodiment, as described later, the imaging unit 20 captures a vertically polarized image and a horizontally polarized image on the front road surface of the vehicle, and uses the polarization characteristics of the vertically polarized image and the horizontally polarized image to determine the road surface state. To detect. At this time, the polarization ratio intensity (vertical polarization component intensity / horizontal polarization) obtained from the intensity of the vertical polarization component based on the luminance information of the vertical polarization image and the intensity of the horizontal polarization component based on the luminance information of the horizontal polarization image. The road surface condition is detected based on the intensity of the component. The user interface unit 16 is an interface with a vehicle-mounted television or the like, and can notify the driver by displaying the detected result on the vehicle-mounted television. The I / O 17 is connected to the headlight 30 and is an interface for inputting / outputting a signal indicating turning on / off of the headlight 30 and a signal indicating the lighting intensity (low beam, high beam, etc.) of the headlight 30.
[0021]
FIG. 2 is a block configuration diagram illustrating the configuration of the imaging unit 20 described above.
In the figure, the imaging unit 20 images the front road surface of the vehicle as described above. At this time, a vertical polarization image and a horizontal polarization image of the field image incident from the road surface are captured. As described above, in order to capture a vertically polarized image and a horizontally polarized image, the imaging unit 20 includes a half mirror box 21 having 1: 1 transparency, a mirror 22, a vertical polarization filter 23, and a horizontally polarized light. The configuration includes a filter 24, a CCD 25 that captures a field image through the vertical polarization filter 23, a CCD 26 that captures a field image through the horizontal polarization filter 24, a field memory 27, and a field memory 28. .
[0022]
Here, the field-of-view image input to the imaging unit 20 passes through the half mirror box 21 and is reflected by the mirror 22, and forms an image on the CCD 25 via the vertical polarization filter 23 to form a vertical polarization image. The light passes through the box 21 and forms an image on the CCD 26 via the horizontal polarization filter 24 to form a horizontal polarization image. The vertically polarized image formed in this way is stored in the field memory 27. The horizontally polarized image is stored in the field memory 28. The vertically polarized image and the horizontally polarized image stored in the field memories 27 and 28 are transferred to the frame memory 16 via the AD converter 12 and temporarily stored.
[0023]
As described above, the imaging unit 20 in the present embodiment employs a configuration capable of capturing a vertically polarized image and a horizontally polarized image by branching the incident field image into two by the half mirror box 21. Of course, the configuration for capturing a vertically polarized image and a horizontally polarized image is not limited to this. For example, a field image is individually incident on a CCD with a vertical polarization filter and a CCD with a horizontal polarization filter. By doing so, you may employ | adopt the structure which images a vertically polarized image and a horizontally polarized image. Moreover, it is not limited to these, It can select suitably if it is a structure which can image a vertically polarized image and a horizontally polarized image.
[0024]
In this configuration, in the present embodiment, the imaging unit 20 captures an image of the front road surface of the vehicle illuminated by the lit headlight 30, and the road surface state of the front road surface based on the captured vertical polarization image and horizontal polarization image ( A method for detecting a dry state or a wet state) will be described. At this time, the vertically polarized image and the horizontally polarized image are captured based on the light incident on the imaging unit 20. Here, the light incident on the imaging unit 20 during night driving depends on the reflected light based on the irradiation light of the headlight 30 (when the irradiation of the headlight 30 is dominant) and the light of the headlight 30. In addition to the reflected light based on the irradiating light, two patterns can be taken into consideration: the case where it is present in facility lighting such as a street lamp. Therefore, first, the case where the light depends on the reflected light based on the irradiation light of the headlight 30 will be described.
[0025]
(2) Image characteristics of the road surface ahead:
FIG. 3 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 when the road surface is in a dry state.
In the figure, a headlight 30 is installed in a vehicle 100 so as to irradiate a road surface R ahead, and an imaging unit 20 is installed at a position where the irradiated road surface R can be imaged. When the headlight 30 is turned on, the irradiation light L1 of the headlight 30 is irradiated to the road surface R at a predetermined incident angle. When the road surface R is in a dry state, the surface thereof is an uneven surface (rough surface). Thereby, the reflected light L2 of the irradiation light L1 of the headlight 30 is irregularly reflected on the road surface R. Therefore, the component of the reflected light L2 may be directed toward the front side of the vehicle 100, and may be returned toward the vehicle side. At this time, the imaging unit 20 receives the reflected light L2 returned to the vehicle side due to irregular reflection, and captures a vertically polarized image and a horizontally polarized image based on the reflected light L2. On the other hand, when the road surface R is wet, water accumulates on the uneven surface (rough surface) of the road surface R, and the surface becomes a mirror surface. Next, the reflection of the irradiation light L1 at this time will be described.
[0026]
FIG. 4 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 when the road surface is wet.
In the same figure, the incident angle with respect to the road surface R of the irradiation light L <b> 1 irradiated from the headlight 30 is set small in order to increase the irradiation range of the road surface R with respect to the front side of the vehicle 100. At this time, in the case where the surface of the road surface R forms a mirror surface due to the wet state, most of the reflected light L2 of the irradiation light L1 having a small incident angle is directed toward the front side of the vehicle 100. Accordingly, the reflected light L2 incident on the imaging unit 20 is weak. In such a case, the imaging unit 20 captures a vertically polarized image and a horizontally polarized image based on the weak reflected light L2.
[0027]
As described above, the intensity of the reflected light L2 incident on the imaging unit 20 varies depending on the road surface state (dry state or wet state) of the road surface R. Therefore, the image brightness of the vertically polarized image or the horizontally polarized image captured in the dry state is greatly different from the image brightness of the vertically polarized image and the horizontally polarized image captured in the wet state. That is, when the road surface R is dry, the image luminance is high, and when the road surface R is wet, the image luminance is low. In this embodiment, a threshold value for a predetermined luminance is defined in advance, and when the image luminance is equal to or higher than the threshold value for this luminance, it is determined that the irradiation light L1 is irregularly reflected on the road surface R, and the road surface state is a dry state. To detect. On the other hand, when the image luminance is smaller than the threshold value for this luminance, it is determined that most of the reflected light L2 of the irradiation light L1 is reflected to the front side of the vehicle 100, and the road surface state is detected as a wet state. This detection function is realized by a road surface state detection process described later.
[0028]
As described above, in a situation where the irradiation of the headlight 30 is dominant during night driving, the image luminance of the vertically or horizontally polarized image captured based on the reflected light L2 on the road surface R of the irradiation light L1 of the headlight 30. This makes it possible to detect the road surface state (dry state or wet state). On the other hand, when facility illumination such as a street lamp is added in addition to the irradiation of the headlight 30, the light incident on the imaging unit 20 is increased by the added facility illumination such as the street lamp. That is, the image brightness of a vertically polarized image or a horizontally polarized image increases. Therefore, even if the road surface condition is wet, the image brightness increases due to the facility lighting such as the street light, which is above the threshold value for the above-described brightness, and erroneously detected that the road surface condition is dry. End up. Here, it is known that when the road surface R is in a wet state, the reflected light of facility lighting such as street lamps exhibits polarization characteristics. Therefore, it is possible to detect whether the road surface state is a dry state or a wet state based on the polarization characteristics of the vertically polarized image and the horizontally polarized image captured by the imaging unit 20. Next, a case where facility lighting such as a street lamp exists in addition to the irradiation of the headlight 30 will be described.
[0029]
FIG. 5 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 and the external light of the street lamp when the road surface is in a dry state.
In the figure, the street light 40 is irradiating the road surface R as facility lighting. As described above, since the surface is an uneven surface (rough surface) when the road surface R is in a dry state, the reflected light L4 of the external light L3 irradiated by the street lamp 40 is irregularly reflected by the road surface R. Therefore, the component of the reflected light L4 may be directed toward the front side of the vehicle 100, and may be directed toward the vehicle side. At this time, the imaging unit 20 receives the reflected light L2 of the irradiation light L1 and the reflected light L4 of the external light L3 that have returned to the vehicle side due to irregular reflection, and a vertically polarized image and a horizontal image based on the reflected lights L2 and L4. A polarization image is taken.
[0030]
FIG. 6 is a schematic diagram schematically showing the polarization characteristics of the external light L3 of the street lamp 40 when the road surface is in a dry state.
In the figure, when the road surface R is in a dry state, the light incident on the imaging unit 20 is reflected by the uneven surface (rough surface) of the road surface R. As described above, the reflection on the rough surface is dominated by irregular reflection, the reflected light does not exhibit the polarization characteristic, and the reflectance of the vertical polarization component and the horizontal polarization component are substantially equal. That is, the intensity of the vertical polarization component S11 that is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the imaging unit 20 and the reflected light of the horizontal polarization component S2 that is extracted by the horizontal polarization filter 24. When compared with the intensity of the horizontal polarization component S21, the intensity is substantially equal.
[0031]
FIG. 7 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 and the external light of the street lamp when the road surface is wet.
In the figure, the street light 40 is irradiating the road surface R as facility lighting. As described above, when the road surface R is wet, the surface is a mirror surface. At this time, the reflected light L4 of the external light L3 emitted by the street lamp 40 exhibits polarization characteristics when reflected by the road surface R. Next, this polarization characteristic will be described. FIG. 8 is a schematic diagram schematically showing the polarization characteristics of the external light L3 of the street lamp 40 when the road surface is wet. In the figure, the light incident on the imaging unit 20 is reflected by this mirror surface, and the reflected light exhibits polarization characteristics.
[0032]
At this time, the reflectance of the horizontal polarization component is smaller than the reflectance of the vertical polarization component. That is, the intensity of the vertical polarization component S12 that is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the imaging unit 20 and the reflected light of the horizontal polarization component S2 that is extracted by the horizontal polarization filter 24. When compared with the intensity of the horizontal polarization component S22, the intensity of the vertical polarization component S12 is relatively stronger. Therefore, the polarization specific intensity (vertical polarization component / horizontal polarization polarization component) defined by the intensity of the vertical polarization component and the horizontal polarization component is larger than that in the dry state. As described above, the road surface state can be detected based on the polarization ratio intensity. Such a detection function is also realized by a road surface state detection process described below.
[0033]
(3) Processing contents of road surface state detection processing:
FIG. 9 is a flowchart showing the processing contents of the road surface state detection processing executed by the CPU 11.
In the figure, first, the imaging unit 20 is caused to capture a vertical polarization image and a horizontal polarization image of the visual field image (step S105). Next, the image brightness of the horizontally polarized image (or vertically polarized image) is acquired (step S110). This image brightness is calculated based on the brightness value of each pixel constituting the horizontally polarized image (or vertically polarized image). Here, it is determined whether or not the acquired image brightness is equal to or higher than the threshold value for the predetermined brightness (step S115). The intensity of the polarization component is calculated (step S120), and the polarization specific intensity is calculated (step S125). Then, it is determined whether or not the calculated polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity (step S130). If it is determined that the polarization ratio intensity is smaller than the threshold value for the intensity, the road surface state of the road surface R is determined. Is in a dry state (step S135).
[0034]
On the other hand, if it is determined in step S115 that the image luminance is smaller than the threshold value for luminance and if it is determined in step S130 that the polarization ratio intensity is greater than or equal to the threshold value for intensity, the road surface state of road surface R is detected as a wet state (step S140). When the road surface state is detected as described above, the detected road surface state is displayed on the in-vehicle television through the control of the user interface unit 16, and is notified to the driver so as to be visible (step S145). Of course, this notification is not limited to the mode of display on the in-vehicle television, and may be notified only by sound from a speaker, or may be notified by light emitting means such as a lamp arranged on the front panel. At this time, it is more preferable to change the sound volume or the luminescent color according to the road surface condition, for example, the degree of wetness.
[0035]
FIG. 10 is a diagram illustrating a verification result of the road surface state detection process described above.
In this figure, the horizontal axis defines time-series sample points, the vertical axis defines polarization ratio intensity and road surface brightness, and the image brightness and road surface R extracted based on data collected in the night field and The time course of polarization specific intensity is shown. Here, the line graph G1 indicates a change in road surface luminance at the sample point, and the line graph G2 indicates a change in polarization ratio intensity at the sample point. On the other hand, the band graph G3 includes an upper stage (true value) and a lower stage (detection result). This upper stage (true value) shows the actual road surface condition detected visually. The lower part (detection result) shows the detection result of the road surface state detected by the road surface state detection process according to the present embodiment, the sample point detected as the wet state is shown in black, and the sample point detected as the dry state is shown. Shown in white. On the other hand, sample points that are inverted (white inversion in the wet state and black inversion in the dry state) indicate false detection.
[0036]
FIG. 11 shows the detection accuracy calculated by comparing the actual road surface state visually determined with the detection result of the road surface state detection process according to the present embodiment. In the figure, there are 67 sample points where the actual road surface condition determined by visual observation is dry. In contrast, in the road surface condition detection processing according to the present embodiment, 63 of the 67 sample points are obtained. Detected as dry (number of correct answers). That is, the correct answer rate is 94.0%. On the other hand, there are 91 sample points in which the actual road surface state determined by visual observation is a wet state. On the other hand, in the road surface state detection process according to the present embodiment, 85 of the 91 sample points are in a wet state. (The number of correct answers). That is, the correct answer rate is 93.4%. As described above, the actual road surface state by visual observation and the road surface state by the processing result of the road surface state detection process according to the present embodiment have obtained good results although there is some overlap, and this embodiment The effectiveness of the nighttime road surface condition detection method was verified.
[0037]
Here, in the above-described embodiment, a method of performing a determination based on the image luminance first in the road surface state detection process, and then performing a determination based on the polarization ratio intensity, thereby detecting the road surface state with higher accuracy. Was made feasible. As can be seen from FIG. 10, considering the fluctuation of the line graph G1 with respect to the threshold value with respect to the brightness, it is possible to grasp the general tendency of the road surface state only by the discrimination based on the image brightness. Therefore, in step S115 in the road surface state detection process described above, the road surface state is determined to be a dry state when the image luminance is equal to or higher than the threshold value for luminance, and the road surface state is determined to be a wet state when the image luminance is smaller than the threshold value for luminance. Even if it does in this way, although accuracy falls rather than the method mentioned above, it can be useful at the point that the processing structure of a road surface state detection process can be simplified and it becomes possible to aim at the speeding-up of a process.
[0038]
(4) Modification:
In the embodiment described above, the threshold for luminance is fixed. On the other hand, the setting of irradiation of the headlight 30 can be changed step by step. For example, there may be a low beam setting or a high beam setting. If the setting is different as described above, the intensity of the reflected light L2 by the irradiation light L1 emitted from the headlight 30 is different. Therefore, when the brightness threshold is fixed, there may occur a case where the difference in reflection intensity cannot be handled. Therefore, in this modification, a method of changing the setting of the threshold value for the luminance according to the setting of the headlight 30 is adopted. FIG. 12 is a flowchart showing the processing contents of the brightness threshold setting processing executed by the CPU 11 when realizing such a function.
[0039]
In the figure, first, the lighting intensity (low beam setting or high beam setting) of the headlight 30 is acquired via the I / O 17 (step S205). Next, it is determined whether or not the acquired lighting intensity is a low beam setting (step S210). When it is determined that the lighting intensity is the low beam setting, threshold data for normal luminance stored in the ROM 14 is read (step S215). On the other hand, when it is determined that the lighting intensity is the high beam setting, the threshold data for the high beam luminance stored in the ROM 14 is read (step S220). And the threshold value data with respect to the read brightness | luminance is set as a threshold value used for the road surface state detection process mentioned above (step S225). Thus, by changing the luminance threshold for discriminating the image luminance in accordance with the change in the lighting intensity of the headlight 30, a more accurate road surface state that can follow the change in the lighting intensity including the secular change of the headlight. It is possible to realize the detection.
[0040]
(5) Summary:
Thus, when detecting the road surface state (dried state or wet state) of the road surface R ahead of the vehicle 100 at night when the headlight 30 is turned on, the horizontally polarized image captured by the imaging unit 20 as the first stage. When the detection based on the image brightness in the (or vertically polarized image) is performed and this image brightness is determined to be equal to or higher than the threshold value for the brightness (if the image brightness is smaller than the threshold value for the brightness, it is determined to be a wet state). By determining the polarization ratio intensity based on the polarization characteristics of the vertical polarization image and the horizontal polarization image as a step, and determining that the polarization ratio intensity is equal to or greater than a threshold value for the intensity, the road surface state is determined to be a wet state (If the polarization ratio intensity is smaller than the polarization ratio threshold, it is determined as a dry state.), It is possible to realize highly accurate detection of the road surface condition. That.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing a configuration of a vehicle road surface condition detection apparatus according to the present invention.
FIG. 2 is a block configuration diagram illustrating a configuration of an imaging unit.
FIG. 3 is a schematic diagram schematically showing a reflection state of irradiation light of a headlight when a road surface is in a dry state.
FIG. 4 is a schematic diagram schematically showing a reflection state of light irradiated from a headlight when a road surface is wet.
FIG. 5 is a schematic diagram schematically showing a reflected state of irradiation light of a headlight diagram and external light of a street lamp when a road surface is in a dry state.
FIG. 6 is a schematic diagram schematically showing the polarization characteristics of outside light from a street lamp when the road surface is in a dry state.
FIG. 7 is a schematic view schematically showing a reflection state of irradiation light of a headlight and external light of a street light when a road surface is wet.
FIG. 8 is a schematic diagram schematically showing the polarization characteristics of outside light from a street lamp when the road surface is wet.
FIG. 9 is a flowchart showing the processing contents of road surface state detection processing;
FIG. 10 is a diagram illustrating a verification result of a road surface state detection process.
FIG. 11 is a diagram illustrating a result of verifying accuracy of a verification result of road surface state detection processing;
FIG. 12 is a flowchart showing the processing contents of luminance threshold setting processing.
[Explanation of symbols]
10 ... Vehicle road surface condition detection device
11 ... CPU
12 ... AD converter
13 ... Frame memory
14 ... ROM
15 ... RAM
16. User interface part
20 ... Imaging unit
21 ... Half mirror box
22 ... Mirror
23. Vertical polarization filter
24 ... Horizontal polarization filter
25 ... CCD
26 ... CCD
27 ... Field memory
28 ... Field memory

Claims (3)

前方路面を撮像可能に車両に設置され、ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得手段と、
上記ヘッドライトの点灯強度を取得する点灯強度取得手段と、
上記取得した画像輝度が、所定の輝度に対する閾値であって上記点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき上記取得した点灯強度に応じて上記輝度に対して変化させた閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出手段とを具備することを特徴とする車両用路面状態検出装置。An image capturing unit that is installed in a vehicle so as to be able to capture a front road surface, and that captures a vertical polarization image and a horizontal polarization image of the front road surface irradiated by a headlight;
Image information acquisition means for acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and horizontal polarization image;
Lighting intensity acquisition means for acquiring the lighting intensity of the headlight;
The acquired image luminance is a threshold value for a predetermined luminance , and the luminance is increased according to the acquired lighting intensity based on a correspondence relationship that increases the threshold value for the luminance substantially corresponding to the increase of the lighting intensity. It is determined whether or not it is smaller than the changed threshold value, and when it is determined that it is smaller than the threshold value for the same luminance, the front road surface is detected as a wet state, and when it is determined that it is equal to or higher than the threshold value for the same luminance, the acquired polarization It is determined whether or not the specific intensity is equal to or higher than a threshold value for a predetermined intensity. When it is determined that the specific intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state and determined to be smaller than the threshold value for the same intensity. A road surface state detecting device for a vehicle, comprising: road surface state detecting means for detecting the front road surface as a dry state. ヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出方法であって、
前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得工程と、
上記ヘッドライトの点灯強度を取得する点灯強度取得工程と、
上記取得した画像輝度が、所定の輝度に対する閾値であって上記点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき上記取得した点灯強度に応じて上記輝度に対して変化させた閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出工程とを具備することを特徴とする車両用路面状態検出方法。A vehicle road surface state detection method for detecting a road surface state of a front road surface irradiated with a headlight,
An image imaging step of causing the image imaging means installed in the vehicle to be able to image the front road surface to capture a vertical polarization image and a horizontal polarization image of the front road surface irradiated by the headlight;
An image information acquisition step of acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and horizontal polarization image;
A lighting intensity acquisition step of acquiring the lighting intensity of the headlight;
The acquired image luminance is a threshold value for a predetermined luminance , and the luminance is increased according to the acquired lighting intensity based on a correspondence relationship that increases the threshold value for the luminance substantially corresponding to the increase of the lighting intensity. It is determined whether or not it is smaller than the changed threshold value, and when it is determined that it is smaller than the threshold value for the same luminance, the front road surface is detected as a wet state, and when it is determined that it is equal to or higher than the threshold value for the same luminance, the acquired polarization It is determined whether or not the specific intensity is equal to or higher than a threshold value for a predetermined intensity. When it is determined that the specific intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state and determined to be smaller than the threshold value for the same intensity. And a road surface state detecting step for detecting the front road surface as a dry state. ヘッドライトにて照射される前方路面の路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、
前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得機能と、
上記ヘッドライトの点灯強度を取得する点灯強度取得機能と、
上記取得した画像輝度が、所定の輝度に対する閾値であって上記点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき上記取得した点灯強度に応じて上記輝度に対して変化させた閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出機能とを具備することを特徴とする車両用路面状態検出装置の制御プログラム。A control program for a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state of a front road surface irradiated with a headlight,
An image capturing function for causing the image capturing means installed in the vehicle to capture the front road surface to capture the vertically polarized image and the horizontally polarized image of the front road surface irradiated by the headlight;
An image information acquisition function for acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and the horizontal polarization image;
A lighting intensity acquisition function for acquiring the lighting intensity of the headlight,
The acquired image luminance is a threshold value for a predetermined luminance , and the luminance is increased according to the acquired lighting intensity based on a correspondence relationship that increases the threshold value for the luminance substantially corresponding to the increase of the lighting intensity. It is determined whether or not it is smaller than the changed threshold value, and when it is determined that it is smaller than the threshold value for the same luminance, the front road surface is detected as a wet state, and when it is determined that it is equal to or higher than the threshold value for the same luminance, the acquired polarization It is determined whether or not the specific intensity is equal to or higher than a threshold value for a predetermined intensity. When it is determined that the specific intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state and determined to be smaller than the threshold value for the same intensity. A control program for a vehicle road surface state detecting device, comprising a road surface state detecting function for detecting the front road surface as a dry state.
JP2003095729A 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program Expired - Fee Related JP4157790B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003095729A JP4157790B2 (en) 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003095729A JP4157790B2 (en) 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program

Publications (2)

Publication Number Publication Date
JP2004301708A JP2004301708A (en) 2004-10-28
JP4157790B2 true JP4157790B2 (en) 2008-10-01

Family

ID=33407985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003095729A Expired - Fee Related JP4157790B2 (en) 2003-03-31 2003-03-31 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program

Country Status (1)

Country Link
JP (1) JP4157790B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
WO2019000313A1 (en) * 2017-06-29 2019-01-03 深圳市大疆创新科技有限公司 Detection method, detection device, and aircraft

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2903492B1 (en) * 2006-07-07 2009-02-20 Centre Nat Rech Scient DEVICE FOR EVALUATING THE SURFACE MOORING STATE, EVALUATION METHOD AND INDICATING DEVICE THEREFOR
JP2008122217A (en) * 2006-11-13 2008-05-29 Denso It Laboratory Inc Road surface state detector
JP2008191144A (en) * 2007-01-11 2008-08-21 Japan Aerospace Exploration Agency Optical spectropolarimeter
JP5664152B2 (en) 2009-12-25 2015-02-04 株式会社リコー Imaging device, in-vehicle imaging system, and object identification device
KR101171368B1 (en) 2010-05-18 2012-08-09 영남대학교 산학협력단 Method and system for controlling of adaptive front lighting
CN102901489B (en) * 2011-07-25 2016-09-07 烟台惠通网络技术有限公司 Surface gathered water accumulated ice detection method and device
CN102944522B (en) * 2012-10-17 2014-10-22 太原理工大学 Detection method for gas outburst based on polarization spectrum analysis
DE102013011975B4 (en) * 2013-07-12 2015-03-05 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Method for evaluating headlamps
US9656602B2 (en) 2013-12-13 2017-05-23 Intel Corporation Adaptive zone of safety
WO2016086380A1 (en) * 2014-12-04 2016-06-09 深圳市大疆创新科技有限公司 Object detection method and device, remote control mobile device and flight vehicle
CN111491416B (en) * 2019-01-25 2022-04-19 光宝电子(广州)有限公司 Lighting apparatus and control method thereof
CN113826152A (en) * 2019-05-16 2021-12-21 株式会社小糸制作所 Traffic system and traffic infrastructure
CN112406877B (en) * 2019-08-20 2022-09-09 比亚迪股份有限公司 Vehicle control method and device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
WO2019000313A1 (en) * 2017-06-29 2019-01-03 深圳市大疆创新科技有限公司 Detection method, detection device, and aircraft

Also Published As

Publication number Publication date
JP2004301708A (en) 2004-10-28

Similar Documents

Publication Publication Date Title
JP4157790B2 (en) Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program
US10880471B2 (en) Building night vision and other driver assistance systems (DAS) using near infra-red (NIR) illumination and rolling shutter
JP4108631B2 (en) Control system that automatically dims vehicle headlights
JP5846872B2 (en) Image processing device
JP4853160B2 (en) Vehicle detection device and headlamp control device
JP3909691B2 (en) In-vehicle image processing device
JP4544233B2 (en) Vehicle detection device and headlamp control device
JP2004217209A (en) Control of continuously variable headlight
JP2009201064A (en) Method and apparatus for specifying related region, and method and apparatus for recognizing image
CN113246846B (en) Vehicle light control method and device and vehicle
KR102269956B1 (en) Method for evaluation of headlights
US20140226349A1 (en) Apparatus for detecting other vehicle lights and light control apparatus for vehicles
JP2013092975A (en) Vehicle recognition device, vehicle recognition method, and program
CN104008518B (en) Body detection device
JP6267493B2 (en) Arrow signal light detector
JP2007124676A (en) On-vehicle image processor
JP5547580B2 (en) Imaging camera, vehicle detection apparatus and lamp control apparatus using the same
JP2970168B2 (en) Vehicle detection device
JP4183542B2 (en) Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program
JP5190204B2 (en) Road area snow detection device and road area snow detection method
JP6853890B2 (en) Object detection system
CN111751085B (en) Car lamp replacement reminding method and device
JP4011505B2 (en) Road surface state detection device, road surface state detection method, and road surface state detection program
JPH11219493A (en) Method for processing traffic information
JP2007257242A (en) White line recognition device

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060302

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140718

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees