JP2022116377A - 天候判定装置および天候判定方法 - Google Patents

Abstract

【課題】天候の判定に用いる画像中に立体物が撮像されている場合にも精度良く天候を判定することができる天候判定装置および天候判定方法を提供すること。【解決手段】画像の立体物を検知した領域におけるエッジ強度である実エッジ強度を算出する実エッジ強度算出部と、立体物における特徴量から立体物の種別を判定する立体物種別判定部と、立体物種別判定部で判定した立体物の種別と距離とに対応する、視界良好である視界良好天候時のエッジ強度を予め定めた種別エッジ強度テーブルに基づいて、種別エッジ強度を取得する種別エッジ強度取得部と、実エッジ強度算出部で算出した実エッジ強度と種別エッジ強度取得部で取得した種別エッジ強度との差分が予め定めた閾値よりも大きい場合に、画像の範囲の天候が視界不良である視界不良天候であると判定し、判定結果を出力する天候判定部とを備える。【選択図】 図１

Description

本発明は、天候判定装置および天候判定方法に関する。

近年、車両制御の自動化に注目が集まっており、例えば、配光制御の自動化についても検討がなされている。このような配光制御を適切に行う為には、霧や雪、豪雨などの車両周辺の天候を精度良く検出し、検出した天候に応じた制御を行うことが必要である。

このような天候の検出に係る技術として、例えば、特許文献１には、車両に搭載された車載カメラにより撮像された画像に基づいて霧判定を行う霧判定手段
を備えた車載霧判定装置であって、前記車載カメラによって撮像された画像内において前記車両が走行している道路領域を決定する道路領域決定手段と、その道路領域決定手段によって決定された道路領域に基づいて、前記画像内において前記車両から所定距離遠方にある路面領域である遠方路面領域を決定する遠方路面領域決定手段とを備え、前記霧判定手段は、その遠方路面領域決定手段によって決定された遠方路面領域の輝度に基づいて霧判定を行うものが開示されている。

特開２００７－０５７３３１号公報

上記従来技術においては、車載カメラによって撮像された画像を近傍路面領域、遠方路面領域、空領域に領域分割し、近傍路面領域と遠方路面領域、遠方路面領域と空領域をそれぞれ比較する事で霧を検出している。しかしながら、車載カメラで撮像された画像を用いる場合には、霧などの天候と、カメラ前のフロントガラス曇りとを同じように検出してしまい、天候検出が適切に出来ないことが考えられる。

また、分割した各領域に立体物(車、街路樹、道路標識など)が映り込むと、近傍路面領域と遠方路面領域、遠方路面領域と空領域の比較にノイズが乗ってしまうため、天候を精度良く検出する事が出来ない。

本発明は上記に鑑みてなされたものであり、天候の判定に用いる画像中に立体物が撮像されている場合にも精度良く天候を判定することができる天候判定装置および天候判定方法を提供することを目的とする。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両の撮像部で撮像された画像から立体物と、前記立体物までの距離とを検知する立体物検知部と、前記立体物における特徴量から前記立体物の種別を判定する立体物種別判定部と、前記画像の前記立体物を検知した領域におけるエッジ強度である実エッジ強度を算出する実エッジ強度算出部と、前記立体物種別判定部で判定した前記立体物の種別と距離とに対応する、視界良好である視界良好天候時のエッジ強度を予め定めた種別エッジ強度テーブルに基づいて、種別エッジ強度を取得する種別エッジ強度取得部と、前記実エッジ強度算出部で算出した前記実エッジ強度と前記種別エッジ強度取得部で取得した前記種別エッジ強度との差分が予め定めた閾値よりも大きい場合に、前記画像の範囲の天候が視界不良である視界不良天候であると判定し、判定結果を出力する天候判定部とを備えるものとする。

本発明によれば、天候の判定に用いる画像中に立体物が撮像されている場合にも精度良く天候を判定することができる。

天候判定装置の処理内容を示す機能ブロック図である。 自車両から立体物までの距離にとエッジ強度との関係を示す図である。 自車両から立体物までの距離とエッジ強度との関係が天候によって異なることを示す図である。 実エッジ強度算出部の処理内容を示すフローチャートである。 種別エッジ強度取得部の処理内容を示すフローチャートである。 視界不良天候判定部の処理内容を示すフローチャートである。

本実施の形態は、視界良好である天候（以降、視界良好天候と称する）である場合と、視界不良である天候（以降、視界不良天候と称する）である場合とで、画像中の立体物の特徴量（例えば、エッジ強度）に差が生じることに注目し、画像中の立体物の特徴量に基づいて天候を判定することにより、天候の判定に用いる画像中に立体物が撮像されている場合にも精度良く天候を判定するものである。

以下、本発明の実施の形態を図１～図６を参照しつつ説明する。

図１は、本実施の形態に係る天候判定装置の処理内容を示す機能ブロック図である。

図１において、天候判定装置１００は、車両の撮像部で撮像されたた画像から立体物と、立体物までの距離とを検知する立体物検知部１１０と、画像における立体物の実エッジ強度と種別エッジ強度とを算出するエッジ強度算出部１２０と、実エッジ強度と種別エッジ強度との差分が予め定めた閾値よりも大きい場合に、画像の範囲の天候が視界不良である視界不良天候であると判定し、判定結果を出力する視界不良天候判定部１３０とを備えている。

また、エッジ強度算出部１２０は、画像の立体物を検知した領域におけるエッジ強度である実エッジ強度を算出する実エッジ強度算出部１２１と、立体物における特徴量から立体物の種別を判定する立体物種別判定部１２２と、立体物種別判定部１２２で判定した立体物の種別と距離とに対応する、視界良好である視界良好天候時のエッジ強度を予め定めた種別エッジ強度テーブルに基づいて、種別エッジ強度を取得する種別エッジ強度取得部１２３と、種別エッジ強度テーブルを記憶する種別エッジ強度テーブル記憶部１２４とを有している。

立体物検知部１１０は、例えば、車両の前方を撮像するように設置されたステレオカメラなどの撮像装置で撮像された画像に基づいて、画像中の立体物を検知するとともに、検知した立体物の撮像装置からの距離（撮像装置の車両における相対位置は設計情報などから取得できるので、立体物の車両からの距離ということもできる）を算出する。

実エッジ強度算出部１２１は、画像中で検知された立体物の存在する領域におけるエッジ強度を算出する。エッジ強度は、画像中における立体物の特徴量の一つである。

立体物種別判定部１２２は、画像中で検知された立体物の種別を判定し、判定結果を立体物検知部１１０で得られた立体物までの距離情報とともに出力する。判定する立体物の種別は、例えば、車両や街路樹、道路標識などである。立体物の種別の判定方法は特に限定しないが、例えば、パターンマッチングなどの方法のほか、種々の特徴量（例えば、実エッジ強度算出部１２１で算出されたエッジ強度なども該当する）に基づいて判定する方法などを用いても良い。

種別エッジ強度取得部１２３は、立体物種別判定部１２２で判定された立体物の種別に基づいて、種別エッジ強度テーブル記憶部１２４から対応する種別エッジ強度テーブルを読み出して取得し、立体物までの距離情報に基づいて種別エッジ強度テーブルが規定する天候（ここでは、視界良好天候）において推定される立体物のエッジ強度（すなわち、種別エッジ強度）を取得し、出力する。

種別エッジ強度テーブル記憶部１２４に記憶されている種別エッジ強度テーブルは、視界良好天候（例えば、快晴時）における立体物までの距離とエッジ強度の関係を立体物の種別ごとに予め実験的に求めたものである。種別エッジ強度テーブル記憶部１２４には、立体物種別判定部１２２で種別の判定対称である立体物の少なくとも一部の種別の各立体物について種別エッジ強度テーブルが記憶されている。

なお、本実施の形態においては、視界良好天候における種別エッジ強度テーブルを用いる場合を例示して説明しているが、これに限られず、例えば、天候や走行路の種類ごとの種別エッジ強度テーブルを記憶し、立体物の種別に応じてそれらを読み出すように構成しても良い。

視界不良天候判定部１３０は、実エッジ強度算出部１２１で算出した実エッジ強度と種別エッジ強度取得部１２３で取得した種別エッジ強度との差分が予め定めた閾値よりも大きい場合に、画像の範囲の天候が視界不良である視界不良天候であると判定し、判定結果を出力する。

ここで、本実施の形態における天候判定の基本原理について説明する。

図２は、自車両から立体物までの距離にとエッジ強度との関係を示す図である。また、図３は、自車両から立体物までの距離とエッジ強度との関係が天候によって異なることを示す図である。

図２に示すように、立体物までの距離に応じてエッジ強度は変化し、距離が遠くなるほどエッジ強度が低下する。また、図３に示すように、路面の状況及び天候によっても立体物までの距離に対するエッジ強度の変化の仕方が異なる。図２及び図３では、一例として、街路樹や先行車などがカメラの撮像範囲にある場合を例示しているが、実際には道路標識などの地物が１つ以上存在していれば良い。図３に示すように、視界不良天候である場合には、視界良好天候である場合よりも距離が離れた時のエッジ強度減衰量が大きい。そこで、視界良好天候において立体物種別と距離ごとにエッジ強度を記録しておき、検出した立体物のエッジ強度と比較する事で視界不良天候であるかどうかを判定する事が可能となる。

図４は、実エッジ強度算出部の処理内容を示すフローチャートであり、図５は種別エッジ強度取得部の処理内容を示すフローチャート、図６は視界不良天候判定部の処理内容を示すフローチャートである。

図４において、実エッジ強度算出部１２１は、立体物検知部１１０において画像中の立体物が検知された位置の情報を取得し、その情報に基づいて立体物が撮像されている矩形領域を抜き出して取得し（ステップＳ１００）、得られた矩形領域に対してエッジ強度を計算して出力する（ステップＳ１１０）。

図５において、種別エッジ強度取得部１２３は、立体物種別判定部１２２で判定された立体物の種別の判定結果を取得するとともに（ステップＳ２００）、立体物検知部１１０で算出された立体物までの距離を取得し（ステップＳ２１０）、取得した立体物の種別の判定結果に基づいて種別エッジ強度テーブル記憶部１２４から読み出した種別エッジ強度テーブルを用い、立体物までの距離に基づいて種別エッジ強度を取得する（ステップＳ２２０）。

図６において、視界不良天候判定部１３０は、実エッジ強度算出部１２１で算出された実エッジ強度を取得するとともに（ステップＳ３００）、種別エッジ強度取得部１２３で取得された種別エッジ強度を取得し（ステップＳ３１０）、実エッジ強度と種別エッジ強度との差分が予め定めた閾値以上であるかどうかを判定する（ステップＳ３２０）。ステップＳ３２０での判定結果がＹＥＳの場合には視界不良天候であると判定し（ステップＳ３２１）、処理を終了する。また、ステップＳ３２０での判定結果がＮＯの場合には、視界不良天候ではない（ここでは、視界良好天候である）と判定し（ステップＳ３２２）、処理を終了する。

以上のように構成した本実施の形態においては、視界良好天候である場合と視界不良天候である場合との画像中の立体物のエッジ強度の差に基づいて天候を判定することにより、天候の判定に用いる画像中に立体物が撮像されている場合にも精度良く天候を判定することができる。

＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１００…天候判定装置、１１０…立体物検知部、１２０…エッジ強度算出部、１２１…実エッジ強度算出部、１２２…立体物種別判定部、１２３…種別エッジ強度取得部、１２４…種別エッジ強度テーブル記憶部、１３０…視界不良天候判定部

Claims (2)

1. 車両の撮像部で撮像された画像から立体物を検知し、前記立体物までの距離を算出する立体物検知部と、
   前記画像の前記立体物を検知した領域におけるエッジ強度である実エッジ強度を算出する実エッジ強度算出部と、
   前記立体物における特徴量から前記立体物の種別を判定する立体物種別判定部と、
   前記立体物種別判定部で判定した前記立体物の種別と距離とに対応する、視界良好である視界良好天候時のエッジ強度を予め定めた種別エッジ強度テーブルに基づいて、種別エッジ強度を取得する種別エッジ強度取得部と、
   前記実エッジ強度算出部で算出した前記実エッジ強度と前記種別エッジ強度取得部で取得した前記種別エッジ強度との差分が予め定めた閾値よりも大きい場合に、前記画像の範囲の天候が視界不良である視界不良天候であると判定し、判定結果を出力する天候判定部と
   を備えることを特徴とする天候判定装置。
2. 車両の撮像部で撮像された画像から立体物と、前記立体物までの距離とを検知する手順と、
   前記画像の前記立体物を検知した領域におけるエッジ強度である実エッジ強度を算出する手順と、
   前記立体物における特徴量から前記立体物の種別を判定する手順と、
   前記立体物の種別と距離とに対応する、視界良好である視界良好天候時のエッジ強度を予め定めた種別エッジ強度テーブルに基づいて、種別エッジ強度を取得する手順と、
   前記実エッジ強度と前記種別エッジ強度との差分が予め定めた閾値よりも大きい場合に、前記画像の範囲の天候が視界不良である視界不良天候であると判定し、判定結果を出力する手順と
   を有することを特徴とする天候判定装置。

Images