JP4321591B2 - 車載霧判定装置 - Google Patents

Description

本発明は、車載カメラによって撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置に関する。

車載カメラの撮像画像を処理して霧判定を行う装置が知られている（たとえば特許文献１）。特許文献１における霧判定の方法は、画像のぼけ具合に基づいており、霧である場合にはぼけた画像となるので、画像のぼけ具合を推定することにより霧判定を行っている。画像のぼけ具合の推定は、まず、画像全体に対して、微分演算によって、画素の明るさを意味する画素値のエッジ強度を画素毎に算出する。そして、そのエッジ強度に基づいて、画像のぼけ具合を推定している。画像がぼけているほどエッジ強度は全体的に小さくなることから、エッジ強度に基づいて画像のぼけ具合が推定できるのである。

また、カメラによって撮像された画像をデジタル化して周波数解析し、周波数分布から霧を判定する手法も知られている（たとえば、特許文献２）。この特許文献２に記載の方法は、周波数分布から人間の視覚感度が良好な領域を抽出して、その領域の強度に基づいて霧かどうかを判定している。そのため、画像の画角や解像度が変化しても判定精度が担保される点でエッジ強度による霧判定よりも優れている。
特許３４４４１９２号公報 特開２００６−２２１４６７号公報

ところで、特許文献１では、エッジ強度を算出する画像範囲を、カメラによって撮像された画像の全範囲としている。また、特許文献２も、周波数解析する画像範囲を、カメラによって撮像された画像の全範囲としている。従って、画像内にランプが含まれていても、画像の全範囲を霧判定のための解析に用いることになる。しかし、ランプは霧であっても比較的はっきりと撮像されてしまう。また、ランプ以外の発光物やリフレクタなどの光の反射率が高い物体も、霧であっても比較的はっきりと撮像されてしまう。これら霧であっても比較的はっきりと撮像される物体が画像内に含まれている場合には、霧であるのに、霧でないと判定されてしまう可能性がある。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、誤判定を低減することができる車載霧判定装置を提供することにある。

その目的を達成するための請求項１記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、判定画像を周波数解析またはエッジ強度解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、前記判定画像決定手段によって決定された判定画像から、高輝度物が撮像されている高輝度物領域をマスクするマスク手段を備え、前記画像霧状態判定手段が霧判定を行うために解析する画像が、マスク手段によってマスクされた後の判定画像であり、前記マスク手段は、前記車両が走行している位置における実際の空の輝度を推定するとともに、前記判定画像を構成する各画素について、画素値と実際の輝度との間の予め設定された対応関係からその画素に対応する風景の実際の輝度を推定し、推定した実際の空の輝度と各画素の輝度との比較に基づいて、前記高輝度物が撮像されている高輝度物領域を決定することを特徴とする。

このように、高輝度物が撮像されている領域をマスクした後の判定画像を用いて霧判定を行えば、霧であるのに比較的はっきりと撮像されている箇所を解析してしまうことによって、霧であるのに霧でないと判定してしまうことを防止できる。
また、高輝度物は、空と同等または空以上の輝度を有していることから、このように、実際の空の輝度を推定するとともに、判定画像を構成する各画素の実際の輝度を推定し、両者を比較すれば、高輝度物が撮像されている高輝度物領域を決定することができるのである。

ここで、請求項５記載のように、マスク手段は、前記高輝度物として発光物が撮像されている領域をマスクすることが好ましい。発光物にはテールランプ、リアフォグランプ、路側の街灯などのランプがあり、これら発光物は特に輝度が高いことから、霧判定において除去することが好ましいのである。

請求項６記載の発明は、前記判定画像決定手段は、前記車載カメラによって撮像された
画像の一部のみを前記判定画像に決定することを特徴とする。

このようにすれば、画像霧状態判定手段において解析する画像面積が少なくなることから、解析のための演算負荷を少なくすることができる。その一方で、判定画像が小さくなるほど、その判定画像に高輝度物が含まれている場合に、判定画像全体に占める高輝度物が撮像されている範囲の割合が増加する可能性が高くなり、その結果、誤判定の恐れが高くなる。そこで、前述のようにして、高輝度物領域をマスクする意義が大きいのである。

前述の目的を達成するための請求項２記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、判定画像を周波数解析またはエッジ強度解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、前記判定画像決定手段によって決定された判定画像から、高輝度物が撮像されている高輝度物領域をマスクするマスク手段を備え、前記画像霧状態判定手段が霧判定を行うために解析する画像が、マスク手段によってマスクされた後の判定画像であり、前記マスク手段は、前記車両への照度を推定するとともに、前記判定画像を構成する各画素について、画素値と実際の輝度との間の予め設定された対応関係からその画素に対応する風景の実際の輝度を推定し、推定した車両への照度と各画素の輝度との比較に基づいて、前記高輝度物が撮像されている高輝度物領域を決定することを特徴とする。

このように、高輝度物が撮像されている領域をマスクした後の判定画像を用いて霧判定を行えば、霧であるのに比較的はっきりと撮像されている箇所を解析してしまうことによって、霧であるのに霧でないと判定してしまうことを防止できる。
また、この請求項２は、実際の空の輝度を推定することに代えて、車両への照度を推定しており、その推定した照度を各画素の輝度と比較することによって高輝度物領域を決定している。このように空の輝度に代えて車両への照度を用いることができるのは、空の輝度が一様である場合、輝度と照度とは相互に換算が可能だからである。実際には、空の輝度は一様ではないけれども、空の輝度が一様でなくても、車両への照度は実際の空の輝度に対応して変化することから、実際の空の輝度に代えて車両への照度を用いることができるのである。

前述の目的を達成するための請求項３記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、判定画像を周波数解析またはエッジ強度解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、前記判定画像決定手段によって決定された判定画像から、高輝度物が撮像されている高輝度物領域をマスクするマスク手段を備え、前記画像霧状態判定手段が霧判定を行うために解析する画像が、マスク手段によってマスクされた後の判定画像であり、前記マスク手段は、前記判定画像において空が撮像されている部分の画素値と、判定画像を構成する各画素の画素値との比較に基づいて、前記高輝度物が撮像されている高輝度物領域を決定することを特徴とする。
このように、高輝度物が撮像されている領域をマスクした後の判定画像を用いて霧判定を行えば、霧であるのに比較的はっきりと撮像されている箇所を解析してしまうことによって、霧であるのに霧でないと判定してしまうことを防止できる。
また、この請求項３は、判定画像において空が撮像されている部分の画素値を基準として高輝度物領域を決定するものである。

また、マスク手段は、高輝度物領域のみをマスクしてもよいが、請求項４のように、高輝度物領域を予め設定された関係に基づいて拡大した領域をマスクすることが好ましい。これによって高輝度物領域の周辺の領域もマスクすることになる。一般に、画像内においてランプなどが撮像されている場合には、ランプ部分の周囲も比較的高輝度となっている。すなわち、ランプ部分の境界において輝度が不連続に変化するのではなく、ランプ部分の外側で輝度が連続的に低下する領域が存在する。この領域の輝度も比較的高いことから、この領域が含まれていると霧判定の信頼性が低下してしまう。しかし、請求項７においては、高輝度物領域の周辺の領域もマスクすることになるので、より誤判定を抑制することができる。

以下、本発明の車載霧判定装置の実施の形態を、図面に基づいて説明する。図１は、本発明の車載霧判定装置として機能する画像処理ＥＣＵ１４を含む車載霧判定システム１０の構成を示すブロック図である。

車載霧判定システム１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、ミリ波レーダ２０、車速センサ２２、コンライトセンサ２３を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。

上記車載カメラ１２は、レンズとＣＣＤとを備えており、レンズによって集光された光をＣＣＤによって検出する形式であり、グレースケールの画像を撮像する。この車載カメラ１２の取り付け位置は、車両の内部、たとえば運転席近傍の天井とされており、車載カメラ１２によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。

画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。

ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。また、ミリ波レーダ２０は、車両前方に向けて所定周波数のミリ波を出力し、且つ、対象物からの反射波を受信する。コンライトセンサ２３は、たとえば、ダッシュボード上面に設けられ、その設置位置に照射される照度（ルクス：lx）を検出する。

運転支援制御ＥＣＵ２６は、前方車両検出手段としても機能しており、上記ミリ波レーダ２０によって受信された反射波に基づいて、前方車両（自車と同一車線において前方を走行している車両）の有無を連続的に判定し、前方車両を検出した場合にはその前方車両との間の距離、相対方位および相対速度を算出する。さらに、算出したそれらの情報に基づいて、車速制御などの運転支援制御を実行する。

ライト制御ＥＣＵ２８は、画像処理ＥＣＵ１４において霧であると判定された場合に、図示しないフォグランプの点灯・消灯の制御を実行する。

図２は、上記画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。図２に示す制御は、走行中に所定の周期で実行するものであり、この制御の実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。図３、図４は、車載カメラ１２によって撮像された画像例である。

図２に示すように、上記画像処理ＥＣＵ１４は、まず、判定画像抽出処理を実行する（ステップＳ１００）。この処理は、請求項の判定画像決定手段に相当する処理であり、車載カメラ１２によって撮像された画像から霧判定に用いる判定画像を抽出する。次いで、マスク手段に相当するマスク処理を実行して、判定画像からノイズ要因となる箇所をマスクする（ステップＳ２００）。

その後、ステップＳ３００において、後述する霧判定の信頼度を算出する。次いで、ステップＳ４００において、判定画像の周波数解析演算を実行する。そして、ステップＳ５００では、ステップＳ４００の周波数解析結果に基づいて霧判定を行う。上記ステップＳ１００、２００、Ｓ３００、Ｓ４００、Ｓ５００の処理は、それぞれ、図５、図６、図７、図８、図９に基づいて後に詳述する。

次に、図５に基づいて判定画像抽出処理を詳しく説明する。まず、ステップＳ１１０において、自車が走行している道路の道路形状を決定する。ここでの道路形状とは、自車から前方に延びる道路の曲がり具合（形状）を示す一本の線である。道路形状の決定は、たとえば、道路に設けられた白線を認識することによって行う。白線認識処理としては、公知の種々の手法を用いることができるが、たとえば、車載カメラ１２によって撮像された画像を二値化処理し、二値化処理後の画像から白色部分を抽出することによって白線を認識する。なお、ここにおける白線は、通常の白線認識処理と同様に、白線のみでなく黄線も含むものである。

上記白線認識処理によって自車が走行している車線の両側の白線が認識できた場合には、その２本の白線の幅方向平均線（すなわち車線の幅方向中央線）を道路形状に決定する。ただし、自車が走行している車線の左右いずれか一方の白線をそのまま道路形状としてもよいし、車線が複数ある場合には道路全体の幅方向中心線を道路形状としてもよい。

また、運転支援制御ＥＣＵ２６では前方車両との間の距離、相対方位が算出されているので、白線認識に代えて、または白線が認識できない場合において、運転支援制御ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて道路形状を決定してもよい。

この場合には、まず、運転支援制御ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいてその前方車両の画像内における位置を決定し、次いで、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、道路形状を示す線の自車側の端点として予め定められている画像内の所定点（たとえば、画像内におけるボンネットの境界線の車両幅方向中心点）と画像内における前方車両の位置とを、上記操舵角を曲率半径とする円弧で連結することによって、道路形状を決定する。

また、操舵角のみから道路形状を決定してもよい。この場合には、まず、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。次いで、道路形状を示す線の自車側の端点として予め定められている画像内の所定点において、接線が車両前後方向に対して平行となるような円弧を、道路形状を示す線に決定する。なお、道路形状の決定においては、操舵角に代えてヨーレートセンサ１６からヨーレートを用いてもよい。

ステップＳ１１０において道路形状を決定したら、ステップＳ１２０に進んで、自車が走行している道路上において自車から所定の遠方距離にある画像内の遠方距離点を決定する。上記所定の遠方距離は、ここでは１００ｍに設定されていることとするが、１００ｍに限定されるものではなく、ある程度の濃さの霧の時に画像がぼやける程度に遠方であればよい。

なお、車載カメラ１２は車両に固定されていることから、平坦な地面上のある地点までの実距離と、画像内においてその地点がどこに位置するかは予め決定することができる。従って、画像内において平坦な地面上で自車から１００ｍ先の地点が位置する１００ｍ線は予め決定することができる。この１００ｍ線は画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。そして、その１００ｍ線とステップＳ１１０で決定した道路形状を示す線との交点を、自車が走行している道路上における遠方距離点（すなわち、ここでは１００ｍ先の点）に決定する。

続くステップＳ１３０では、上記ステップＳ１２０で決定した遠方距離点を基準として遠方道路領域の外枠ＯＦを決定する。図３、図４に示されている遠方道路領域の外枠ＯＦは長方形状であって、ステップＳ１３０で決定した遠方距離点が外枠ＯＦの下辺の中心となるようにして設定したものである。この外枠ＯＦの大きさは、車載カメラ１２によって撮像される画像全体の大きさに対して十分小さ大きさに設定されている。

なお、図３、図４の例にとは異なり、上記遠方距離点が遠方道路領域の中心となるように外枠ＯＦの位置を決定してもよい。また、道路形状を、走行車線の幅方向中心線としているか、道路全体の幅方向中心線としているか、走行車線の左右いずれかの白線としているかによって、遠方道路領域の外枠ＯＦに対する遠方距離点の位置を変更してもよい。たとえば、道路形状（を示す線）を走行車線の右側白線としている場合には、遠方道路領域の外枠ＯＦの下辺の右から１／４の点が遠方距離点となるように外枠ＯＦの位置を決定してもよい。

そして、続くステップＳ１４０では、ステップＳ１３０で決定した遠方道路領域の外枠ＯＦ内を判定画像として抽出する。

次に、図６に基づいてマスク処理を詳しく説明する。まず、ステップＳ２１０では、図２のステップＳ１００で抽出した判定画像内に車両部分があるか否かを判断する。この判断を行うのは、他車両は風景よりも自車に対して近距離に位置し、近距離に位置する他車両が判定画像に含まれていると霧判定が困難となることから、そのような近距離に位置する車両を判定画像から除去するためである。

従って、ステップＳ２１０では、運転支援制御ＥＣＵ２６によって前方車両の存在が検出されているかをまず判断する。そして、前方車両の存在が検出されている場合には、運転支援制御ＥＣＵ２６によって特定されている前方車両の位置および相対距離に基づいて車両が含まれると考えられる画像処理範囲を決定し、その画像処理範囲に対して、たとえば輝度変化に基づいて車両輪郭線を決定する等の公知の画像処理を実行することにより車両部分ＣＲを決定する。そして、その決定した車両部分ＣＲの一部または全部が図２のステップＳ１００で抽出した判定画像と重なっているかを判断する。図３、図４には、このようにして決定した車両部分ＣＲの一例を示してある。図３、図４の場合、いずれも、車両部分ＣＲの一部が判定画像と重なっている。

上記ステップＳ２１０が否定判断である場合には、直接、ステップＳ２３０へ進む。一方、ステップＳ２１０が肯定判断である場合にはステップＳ２２０に進む。ステップＳ２２０では、ステップＳ１００で抽出した判定画像内において車両部分ＣＲとなっている領域を除去する。

ステップＳ２２０を実行した場合、または、ステップＳ２１０が否定判断であった場合には、次に、高輝度物を判定画像から除去するために、ステップＳ２３０乃至Ｓ２８０を実行する。ここで、高輝度物とは、空の輝度と同等程度またはそれ以上の輝度を有するものであり、高輝度物は、霧であっても、比較的鮮明に撮像されることから、霧判定においてノイズ要因となるので、判定画像から除去するのである。

まず、ステップＳ２３０において、自車が走行している位置における実際の空の輝度（カンデラ／平方メートル(cd/m^２)）を推定する。実際の空の輝度を推定する方法としては、車載カメラ１２によって撮像された画像を用いる方法と、コンライトセンサ２３によって検出される照度を用いる方法とがあり、２つの方法のうち、予め定められたいずれか一方の方法を用いる。

まず、前者の方法について具体的に説明する。撮像画像内に空が撮像されている場合には、空の撮像位置は常に画像上部であることから、たとえば、車載カメラ１２によって撮像された画像の上部の所定範囲を空画像範囲として予め設定しておき、まず、その空画像範囲内の各ピクセルの画素値の平均値を算出する。そして、この平均値と、画素値と実際の輝度との間の予め設定された対応関係から、実際の空の輝度を推定する。

ここで、上記対応関係について説明する。前述のように、車載カメラ１２はグレースケールの画像を撮像していることから、上記画素値は明るさを表す値である。そのため、画素値とその画素に対応する実際の領域の輝度とは相関関係があるので、画素値と実際の輝度との間の対応関係（式またはマップ）は予め設定しておくことができるのである。なお、車載カメラ１２の露出状態（たとえばシャッタースピードおよびデジタルゲインの値）によって画素値と実際の輝度との対応関係は異なることから、上記対応関係は、露出状態別に設定されているか、露出状態をパラーメータとして持つ関係とされる。

また、上記空画像範囲内の画素値のうち、上位所定割合（たとえば３０％）の平均画素値を用いて実際の空の輝度を推定してもよい。上記空画像範囲内には、森や大きな建造物など、空以外のものであって、空よりも輝度の低いものが含まれていることがあり、その場合には、それらのものを除去した後の画素値の平均値を用いて空輝度を推定することが好ましいからである。画像処理によって、それらのものを認識して除去してもよいが、上位所定割合のみを用いて空輝度を推定することにより、簡易に、空よりも輝度の低いものを除去することができる。なお、上位所定割合は、あまり小さくすることは好ましくない。その理由は、空画像範囲にランプなど空よりも輝度の高いものが含まれていることもあり、空輝度の推定に用いる画素数が少なくなると、それら空よりも輝度の高いものの影響を大きく受けてしまうからである。

次に、コンライトセンサ２３によって検出される照度を用いる方法を説明する。一般的に、空が明るいときには日射量が多いことが多い。そこで、コンライトセンサ２３によって検出される照度を用いる場合には、照度から空輝度を推定する関係を予め設定しておき、その関係と、コンライトセンサ２３によって実際に検出される照度とから、実際の空の輝度を推定する。

続くステップＳ２４０では、画素値と実際の輝度との間の上記対応関係と、判定画像（ステップＳ２２０を実行した場合には車両部分ＣＲを除去した後の判定画像）の各画素の画素値とから、判定画像を構成する各画素について、その画素に対応する風景の実際の輝度(cd/m^２)を推定する。

続くステップＳ２５０では、ステップＳ２３０で推定した実際の空輝度に基づいて高輝度物判定値を決定する。前述のように、高輝度物とは、空の輝度と同等程度またはそれ以上の輝度を有するものである。従って、高輝度物判定値は、たとえば０．９など、１以下において１に近い予め定められた係数を空輝度に乗じた値とする。上記高輝度物には、ランプなどの発光物、および、リフレクタなど光の反射率が高い物体があり、これら高輝度物は霧判定においてノイズ要因となってしまうものである。

続くステップＳ２６０では、ステップＳ２５０で決定した高輝度物判定値と、ステップＳ２４０で推定した各画素の輝度とを比較し、高輝度物判定値よりも高い輝度の画素によって定まる領域を高輝度物領域に決定する。

続くステップＳ２７０では、上記ステップＳ２６０で決定した高輝度物領域を上下左右全方向に拡張した範囲を除去領域ＨＢＲに決定する。図３、４にこのようにして決定した除去領域ＨＢＲの一例を示してある。なお、ここでは、高輝度物領域の大きさが大きいほど、拡張率を大きく設定している。ただし、拡張率を高輝度物領域の大きさによらず、一定倍率としてもよい。続くステップＳ２８０では、ステップＳ２７０で決定した除去領域を判定画像から除去する。

このようにしてマスク処理（除去処理）を実行した後は、図２のステップＳ３００の信頼度算出処理を実行する。次に、この信頼度算出処理の内容を図７に基づいて説明する。まず、ステップＳ３１０において、マスク処理後の判定画像の一次細分化度を決定する。この一次細分化度とは、ステップＳ２００のマスク処理を実行することによって、周波数解析演算（Ｓ４００）に用いる各入力信号内に生じた不連続箇所の数ｎである。

より具体的に説明すると、周波数解析演算（Ｓ４００）では、判定画像内における縦または横の一ライン（すなわち水平座標が同一の画素群または垂直座標が同一の画素群）が一つの入力信号であるので、それぞれの入力信号について、不連続箇所の数ｎを一次細分化度として決定する。

図１０は、図４に示した画像において、マスク処理後の判定画像の形状を示す図である。図１０においては、マスク処理後の判定画像を実線で示している。この図１０において、横一ラインずつが入力信号である場合、図１０に示すように、上部は不連続箇所の数ｎ＝０、中央部分はｎ＝２、下部はｎ＝１である。

続くステップＳ３２０では、ステップＳ３１０で算出した全部の一次細分化度のうちで、予め設定された判定値（ここではｎ＝２）以上の値となっている一次細分化度の割合を、全体細分化度として算出する。

そして、続くステップＳ３３０では、全体細分化度と信頼度との間の予め設定された関係を用いて、上記ステップＳ３２０で算出した全体細分化度から、第１信頼度を決定する。図１１は、上記全体細分化度と信頼度との間の関係の一例を示す図である。

図１１に示すように、上記関係は、全体細分化度が所定の基準値ＳＴ１以下では、信頼度は１００％であり、その基準値ＳＴ１以上では、全体細分化度が大きくなるほど信頼度が低下する関係である。また、信頼度は、全体細分化度の比較的少ない変化量で、１００％から０％に近い値まで急激に低下している。全体細分化度と信頼度との関係が図１１のようになっているのは、本実施形態では周波数解析結果に基づいて霧判定を行うが、周波数解析は、その特性として、各入力信号の長さがある程度長くないと信頼性のある解析結果が得られず、各入力信号に不連続点が多いほど信頼性が低下するからである。

ステップＳ３４０では、判定画像の全体の面積（すなわちマスク処理前の面積）に対してマスク処理によって除去された面積の割合を、マスク割合指標として算出する。このようにしてマスク割合指標を算出する場合、マスク割合指標が大きな値になるほど、マスク処理によって除去された面積の割合が多いことになる。本実施形態では、このようにしてマスク割合指標を算出するものとして以下の説明を続けるが、これとは逆に、判定画像の全体の面積に対して、マスク処理によって除去された後の判定画像の面積（すなわちマスク処理されていない面積）の割合をマスク割合指標としてもよい。この場合には、マスク割合指標が大きな値になるほど、マスク処理されていない面積の割合が多いことになる。

ステップＳ３５０では、マスク割合指標と信頼度との間の予め設定された関係を用いて、上記ステップＳ３４０で算出したマスク割合指標から、第２信頼度を決定する。図１２は、上記マスク割合指標と信頼度との間の関係の一例を示す図である。

図１２に示すように、上記関係は、マスク割合指標が所定の基準値ＳＴ２以下では信頼度は１００％であり、その基準値ＳＴ２以上では、マスク割合指標が大きい値となるほど信頼度が低下する関係である。また、信頼度は、全体細分化度の比較的少ない変化量で、１００％から０％に近い値まで急激に低下している。マスク割合指標と信頼度との関係が図１２のようになっているのは、周波数解析結果に基づいて信頼性のある霧判定を行うには、周波数解析する画像の大きさ（すなわち全信号量）がある程度の大きさ以上であることが必要だからであり、マスク割合指標がＳＴ２よりも大きい場合には、信号量が不十分と判断できるからである。

ステップＳ３６０では、ステップＳ３３０で決定した第１信頼度と、ステップＳ３５０で決定した第２信頼度との積を、最終信頼度として算出する。

このようにして最終信頼度を算出したら、図２のステップＳ４００の周波数解析演算を実行し、次いで、ステップＳ５００の霧判定処理を実行する。これらステップ４００乃至Ｓ５００が画像霧状態判定手段に相当する処理である。次に、ステップＳ４００の周波数解析演算の内容を図８に基づいて説明する。

まず、ステップＳ４１０では、マスク処理後の判定画像を構成する各ライン（すなわち入力信号）の中で、予め設定された条件を満たすラインを周波数解析に使用できる使用可能ラインに決定する。上記条件は、ここでは、ステップＳ３１０で算出した一次細分化度が０または１、且つ、マスクによって除去された割合が所定割合以下という条件である。

そして、続くステップＳ４２０では、まず、ステップＳ４１０で決定した各使用可能ラインに対して高速フーリエ変換処理を行い、次いで、全部の変換結果を合算して合計パワースペクトルを求める。この合計パワースペクトルは、周波数解析した信号内に、どの周波数成分がどの程度含まれているかを示すものであり、横軸を周波数、縦軸をパワーとする二次元グラフとして表せる。

この時点での横軸の単位は、サイクル／画素（cycle per pixel ：以下、ｃｐｐとする）であり、人間の視覚とは無関係であるので、続くステップ４３０において、これを人間の視覚感度が反映される単位であるサイクル／度（cycle per degree：以下、ｃｐｄとする）に換算する。

具体的には、ｃｐｐ単位における周波数をｓとすると、ｃｐｄ単位の周波数ｔは下記式１から得られる。
（式１） ｔ＝ｓ／（判定画像１ラインの画素数×１画素当たりの画角）
式１において、１画素当たりの画角は、式２に基づいて予め設定されている。
（式２） １画素当たりの画角＝（１８０／π）×ｔａｎ^−１（ＣＣＤの水平サイズ／レンズの焦点距離）

ステップＳ４３０を実行した後は図２のステップＳ５００の霧判定処理を実行する。次に、この霧判定処理の内容を図９に基づいて説明する。まず、ステップＳ５１０では、人間の視覚感度が良好な領域である１．５ｃｐｄから１８ｃｐｄまでのパワースペクトルの合計値を算出する。なお、この合計値に代えて、１．５ｃｐｄから１８ｃｐｄまでの一部の範囲または一点（たとえば、６．０ｃｐｄ）のパワースペクトルを用いて、次のステップＳ５２０の霧判定を行ってもよい。

続くステップＳ５２０では、上記パワースペクトルと比較するために予め設定された判定基準値と、ステップＳ５１０で算出したパワースペクトルの合計値とを比較する。そして、パワースペクトルの合計値が判定基準値よりも低い場合には、霧がかかった画像であると判定し、パワースペクトルの合計値が判定基準値以上である場合には、霧がかかった画像でないと判定する。

そして、続くステップＳ５３０では、ステップＳ５２０の判定結果を、ステップＳ３６０で算出した最終信頼度とともに、最終的な霧判定を行う装置へ出力する。上記ステップＳ５２０の判定結果は、画像が霧がかかったものであるか否かを判定しているだけであり、走行中の環境が霧であるか否かを判定するものではない。最終的な霧判定を行う装置において、この画像処理ＥＣＵ１４を含む複数の霧判定装置の判定結果が統合されて、最終的な霧判定が行われる。

ただし、上記ステップＳ５２０の判定結果をそのまま用いて、走行中の環境が霧であるか否かを判定してもよい。この場合には、ステップＳ５２０の判定結果を、たとえば、前述の運転支援制御ＥＣＵ２６やライト制御ＥＣＵ２８など、走行中の環境が霧であるか否かで制御が異なる装置に直接出力する。

以上、説明した本実施形態によれば、遠方道路領域を判定画像として抽出し（Ｓ１００）、その抽出した判定画像から、高輝度物が撮像されている領域を除去し（Ｓ２００）、その除去後の判定画像を用いて周波数解析を行い（Ｓ４００）、その解析結果に基づいて霧判定を行っている（Ｓ５００）。従って、霧であるのに比較的はっきりと撮像されている箇所を解析してしまうことを防止できることから、霧であるのに霧でないと判定してしまうことを防止できる。

次に、本発明の第２実施形態を説明する。第２実施形態は、機械的構成は第１実施形態と同様であり、制御が第１実施形態と異なるのみである。図１３は、第２実施形態の画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。図１３の処理において、図２と異なる点は、図２のステップＳ３００に代えて、ステップＳ６００乃至６３０を実行する点である。その他のステップＳ１００、Ｓ２００、Ｓ４００、Ｓ５００は図２と同じ処理であるので、説明を省略する。

ステップＳ６００では、図７のステップＳ３１０、Ｓ３２０と同様にして、一次細分化度および全体細分化度を算出する。続くステップＳ６１０では、ステップＳ６００で算出した全体細分化度が予め設定された基準値ＳＴ３よりも大きいか否かを判断する。この判断が肯定判断である場合には、霧判定を実行することなく処理を終了する。一方、否定判断である場合にはステップＳ６２０に進む。なお、上記基準値ＳＴ３は、第１実施形態の基準値ＳＴ１と同じか、それよりも小さい値に設定される。

ステップＳ６２０では、図７のステップＳ３４０と同様にしてマスク割合指標を算出する。そして、ステップＳ６３０において、ステップＳ６２０で算出したマスク割合指標が予め設定された基準値ＳＴ４よりも大きいか否かを判断する。この判断が肯定判断である場合にも、霧判定を実行することなく処理を終了する。一方、否定判断である場合にはステップＳ４００以下を実行して霧判定を行う。なお、上記基準値ＳＴ４は、第１実施形態の基準値ＳＴ２と同じか、それよりも小さい値に設定される。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

たとえば、前述の実施形態では、周波数解析結果に基づいて霧判定を行っていたが、周波数解析に代えて、エッジ強度解析を行い、その解析結果に基づいて霧判定を行ってもよい。エッジ強度解析とは画像のエッジ強度を求める手法であり、エッジ強度は、各画素の画素値を水平方向または垂直方向に連続的に微分処理することにより得られる。なお、エッジ強度解析においては、マスク割合は信頼度に影響を与えるが、細分化度は信頼度に影響を与ない。従って、第１実施形態において、周波数解析に代えてエッジ強度解析を用いる場合には、図７のステップＳ３１０乃至Ｓ３３０（細分化度に関する処理）は実行する必要はなく、ステップＳ３５０においてマスク割合指標から算出した信頼度をそのまま最終信頼度として決定する。また、第２実施形態において周波数解析に代えてエッジッ強度解析を用いる場合には、ステップＳ６００乃至Ｓ６１０を実行せず、ステップＳ２００の次に、ステップＳ６２０を実行する。

また、周波数解析として、高速フーリエ変換処理を行っていたが、ウェーブレット変換など、他の公知の周波数解析を用いてもよい。

また、前述の実施形態では、細分化度およびマスク割合指標を算出して、それら細分化度およびマスク割合指標に基づいて、信頼度の決定、または、霧判定の中止判定を行っていたが、いずれか一方のみに基づいて、信頼度の決定、または、霧判定の中止判定を行ってもよい。

また、前述の実施形態では、全部の一次細分化度のうちで、予め設定された判定値以上となっている細分化度の割合を全体細分化度としていたが、予め設定された判定値以上となっている細分化度の数を全体細分化度としてもよい。

また、前述の実施形態では、判定画像の全体の面積に対してマスク処理によって除去された面積の割合をマスク割合指標としていたが、判定画像の全体の面積に対してマスク処理後に残った面積の割合をマスク割合指標としてもよい。また、マスク割合指標として、周波数解析に用いる全部の入力信号のうち、マスクされた部分がある入力信号の割合（またはマスクされた部分がない入力信号の割合）を用いてもよい。マスクされた部分がある入力信号とは、入力信号を構成する画素群の中でマスクによって除去された画素がないものをいう。

また、前述の実施形態では、車載カメラ１２によって撮像された画像から、遠方道路領域を判定画像として抽出していたが、車載カメラ１２によって撮像された画像の全部を判定画像としてもよい。また、自車から中距離程度の物体が撮像されている中距離領域を判定画像として抽出してもよい。この中距離領域を判定画像として用いる場合、中距離は遠方道路領域よりもぼやけにくいことから、非常に濃い霧であるかどうかが判定できることになる。

また、判定画像として抽出する領域の形状は両方形状である必要はなく、円形等他の形状であってもよい。

また、前述の実施形態では、高輝度物領域を除去するために、実際の空の輝度(cd/m^２)を推定するとともに（Ｓ２３０）、各画素の輝度(cd/m^２)を推定し（Ｓ２４０）、それら輝度同士を比較していたが、実際の空の輝度(cd/m^２)に変えて、各画素の輝度(cd/m^２)と比較する比較対象として、コンライトセンサ２３の照度をそのまま、あるいは、予め設定された係数を乗じて用いてもよい。この場合、比較する数値の単位系が互いに異なることになるが、周知の通り、光源（本実施形態では空）の輝度が一様である場合、輝度と照度とは相互に換算が可能である。従って、各画素の輝度(cd/m^２)とコンライトセンサ２３の照度とを比較してもよいのである。

また、前述の実施形態において、実際の空の輝度(cd/m^２)を推定する方法として、車載カメラ１２によって撮像された画像を用いる方法を説明した。この方法においては、画素値と実際の輝度との間の予め設定された対応関係を用いることになる。一方、各画素の輝度(cd/m^２)も、同じ対応関係を用いて推定している。そこで、判定画像内における空の画素値と、判定画像を構成する各画素の画素値とを比較して、高輝度物領域を決定してもよい。また、車載カメラ１２のダイナミックレンジが狭く、一般的な空の輝度で最大値となってしまう場合には、空が撮像されている部分の画素値を予め最大画素値と設定してもよい。この場合、単純に、各画素の画素値が最大値であることをもって、その画素を高輝度物領域とすることになる。

本発明の車載霧判定装置として機能する画像処理ＥＣＵ１４を含む車載霧判定システム１００の構成を示すブロック図である。 画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。 車載カメラ１２によって撮像された画像例である。 車載カメラ１２によって撮像された画像例である。 図２のステップＳ１００の判定画像抽出処理を詳しく示すフローチャートである。 図２のステップＳ２００のマスク処理を詳しく示すフローチャートである。 図２のステップＳ３００の信頼度算出処理を詳しく示すフローチャートである。 図２のステップＳ４００の周波数解析演算を詳しく示すフローチャートである。 図２のステップＳ５００の霧判定処理を詳しく示すフローチャートである。 図４に示した画像において、マスク処理後の判定画像の形状を示す図である。 全体細分化度と信頼度との間の関係の一例を示す図である。 マスク割合指標と信頼度との間の関係の一例を示す図である。 第２実施形態の画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。

符号の説明

１０：車載霧判定システム、 １２：車載カメラ、 １４：画像処理ＥＣＵ（車載霧判定装置）、 １６：ヨーレートセンサ、 １８：ステアリングセンサ、 ２０：ミリ波レーダ、 ２２：車速センサ、 ２３：コンライトセンサ、 ２４：車内ＬＡＮ、 ２６：運転支援制御ＥＣＵ、 ２８：ライト制御ＥＣＵ
Ｓ１００：判定画像決定手段、 Ｓ２００：マスク手段、 Ｓ４００〜５００：画像霧状態判定手段

Claims (6)

1. 車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
   前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、
   判定画像を周波数解析またはエッジ強度解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、
   前記判定画像決定手段によって決定された判定画像から、高輝度物が撮像されている高輝度物領域をマスクするマスク手段を備え、
   前記画像霧状態判定手段が霧判定を行うために解析する画像が、マスク手段によってマスクされた後の判定画像であり、
   前記マスク手段は、前記車両が走行している位置における実際の空の輝度を推定するとともに、前記判定画像を構成する各画素について、画素値と実際の輝度との間の予め設定された対応関係からその画素に対応する風景の実際の輝度を推定し、推定した実際の空の輝度と各画素の輝度との比較に基づいて、前記高輝度物が撮像されている高輝度物領域を決定することを特徴とする車載霧判定装置。
2. 車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
   前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、
   判定画像を周波数解析またはエッジ強度解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、
   前記判定画像決定手段によって決定された判定画像から、高輝度物が撮像されている高輝度物領域をマスクするマスク手段を備え、
   前記画像霧状態判定手段が霧判定を行うために解析する画像が、マスク手段によってマスクされた後の判定画像であり、
   前記マスク手段は、前記車両への照度を推定するとともに、前記判定画像を構成する各画素について、画素値と実際の輝度との間の予め設定された対応関係からその画素に対応する風景の実際の輝度を推定し、推定した車両への照度と各画素の輝度との比較に基づいて、前記高輝度物が撮像されている高輝度物領域を決定することを特徴とする車載霧判定装置。
3. 車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
   前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、
   判定画像を周波数解析またはエッジ強度解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、
   前記判定画像決定手段によって決定された判定画像から、高輝度物が撮像されている高輝度物領域をマスクするマスク手段を備え、
   前記画像霧状態判定手段が霧判定を行うために解析する画像が、マスク手段によってマスクされた後の判定画像であり、
   前記マスク手段は、前記判定画像において空が撮像されている部分の画素値と、判定画像を構成する各画素の画素値との比較に基づいて、前記高輝度物が撮像されている高輝度物領域を決定することを特徴とする車載霧判定装置。
4. 請求項１乃至３のいずれか１項において、前記マスク手段は、前記高輝度物領域を予め設定された関係に基づいて拡大した領域をマスクすることを特徴とする車載霧判定装置。
5. 請求項１乃至４のいずれか１項において、前記マスク手段は前記高輝度物として発光物が撮像されている領域をマスクすることを特徴とする車載霧判定装置。
6. 請求項１乃至５のいずれか１項において、
   前記判定画像決定手段は、前記車載カメラによって撮像された画像の一部のみを前記判定画像に決定することを特徴とする車載霧判定装置。

Images