JP2021117230A - 降積雪判定方法、降積雪判定装置及び降積雪判定コンピュータ・プログラム - Google Patents

Abstract

【課題】判定対象領域がどのような状態であっても、降積雪を精度良く判定することが可能な、画像による降積雪判定方法を提供する。【解決手段】本方法においては、赤外光の反射光に基づいて生成された判定対象領域の画像について、画像内に存在する物体の種類数を判定し、画像内に複数の種類の物体が存在すると判定された場合には、画像内の画素を輝度に応じて複数のグループに分けて、輝度の高いグループの画素の輝度に基づいて降積雪の有無を判定し、画像内に１種類の物体しか存在しないと判定された場合には、複数の画素の輝度の平均値に基づいて降積雪の有無を判定する。【選択図】図２

Description

本発明は、画像処理技術を利用して降積雪を判定する降積雪判定方法に関する。

従来、降雪の有無を判定する装置として、水分の有無によって降雪の判定を行う電極式降雪センサーが普及している。電極式降雪センサーは、僅かな水分を検知しただけでも降雪と判断してしまうため、積雪状態の誤判定が頻繁に発生し、判定結果を利用して作動状態と非作動状態との切り替えを行う融雪システムのエネルギー損失が大きくなる。

融雪システムを効率的に作動させるために、遠隔中央監視により融雪システムの熱源であるボイラーの運転操作を行うことも行われており、こうした方法では、監視員が２４時間体制で積雪の状態を監視している。こうした方法は、人の目による確実な制御ではあるものの、人件費を含むコストが大きくなるため、大型施設でなければ導入することが難しい。

より安価に降積雪状態の判定を行うことを目的として、降積雪の有無を判定する対象となる領域である判定対象領域の画像を取得し、取得された画像に対して画像処理を行い、処理された画像に基づいて降積雪の判定を行うシステムや方法が提案されている。
特許文献１に記載の技術は、判定対象領域を撮影した画像について、ノイズ除去を行った後にエッジ抽出処理を行い、さらに二値化処理を行うことによって、画像から雪の部分を抽出し、降雪の状態を検出するものである。
また、特許文献２に記載の技術は、路面をカメラで撮影して画像を取得し、取得した画像を輝度画像に変換し、画像内の道路標示部以外の部分の輝度と道路標示部の輝度とを比較して、両者に比率が一定値以上の場合には積雪ありと判断するものである。この方法では、画像処理を行って、路上の積雪の上を車両が通行したときに残されるタイヤ跡を検出することもでき、タイヤ跡の本数に基づいて積雪の有無を判断する。これにより、積雪量が少ないときでも積雪の有無を判断することができるものとされている。

特許文献１及び特許文献２に記載の技術は、判定対象領域の状態、例えば日光や照明の影響、領域の濡れや乾きなどの影響によって、降積雪状態の誤判定を生じる可能性がある。これらの点を考慮し、判定対象領域の状態によらずに積雪の有無を判定することができるようにするものとして、特許文献３に記載の技術が提案されている。特許文献３の技術は、例えば駅のプラットホームの屋根の積雪を検出するための方法である。この方法においては、屋根に輝度の高い標示（例えば、白線などの明るい線）を施しておき、屋根を撮影した画像から輝度の階調ヒストグラムを作成し、標示部分の輝度とそれ以外の部分の輝度とからしきい値を求め、積雪判定対象領域内の各画素の輝度としきい値との大小比較により積雪の有無を判断する。夜間の照明点灯時などにおいては、画像を、照明による明るさと標示部分の位置とを考慮した複数の小領域に分割し、分割された小領域毎に輝度の階調ヒストグラムを作成してしきい値を求め、当該しきい値を用いて積雪の有無を判断する。屋根面の状態が、階調ヒストグラムにおいて輝度のピークが複数現れるような状態になっている場合には、必要に応じて複数のしきい値を求め、複数のしきい値のうち積雪の判断に用いることができるしきい値を決定し、判定対象領域内の各画素の輝度と当該しきい値との比較によって、積雪の有無を判断する。

特開２００１−２８０４３号公報 特開２００６−３０８５１４号公報 特開２０１５−１０９４２号公報

上記の特許文献に記載された従来技術は、積雪を判定する対象となる領域の状態によって積雪の有無を判定できない場合がある。例えば、これらの技術は、判定対象領域に輝度の異なる複数種類の物体が存在していることを前提として画像処理を行うものであるため、判定対象領域の画像に１種類の物体しか存在しない状態の場合には、積雪の有無を判定することができない。さらに、判定対象領域の画像に積雪と同程度の輝度を有する物体、例えば太陽光を反射するコンクリートなどが存在する場合には、それが積雪なのか積雪以外の物体なのかを判定することができない。

本発明は、従来技術の上記の問題に対処するものであり、判定対象領域がどのような状態であっても、降積雪を精度良く判定することができるとともに、安価な装置として実装可能な、画像を用いた降積雪判定方法を提供すること目的とする。
本発明の別の目的は、本発明に係る降積雪判定方法が実装された降積雪判定装置を提供することである。

上記目的を達成するための本発明に係る方法は、赤外線を雪やコンクリートなどの物体に照射し、その反射光をカメラで撮影し、撮影された画像の画像処理を行うことよって、降積雪の有無を判定するものである。この方法においては、画像内又は画像内の判定対象領域内に複数の種類の物体が存在するかどうかを判定し、複数の物体が存在すると判定された場合には、輝度に応じて複数の画素を複数のグループ（典型的には、輝度の高いグループと輝度の低いグループ）に分け、それらのグループのうち輝度の高いグループの画素の輝度に基づいて、降積雪の有無を判定する。１種類の物体しか存在しないと判定された場合には、画素の輝度の平均値に基づいて降積雪の有無が判定される。画像内に複数の物体が存在するかどうかを判定する場合には、典型的には、画像の二値化の可否を調べ、二値化が可能であれば複数の物体が存在する可能性が高いと判定され、二値化が不可能であれば１種類の物体しか存在しない可能性が高いと判定される。

さらに、二値化の可否を調べた結果、画像内に複数の物体が存在する可能性が高いと判定された場合でも、様々な条件によっては、１種類の物体しか存在しない画像が、複数種類の物体を含むものであると誤判定される場合もある。このような誤判定を排除するため、本発明においては、輝度の分離度又は高さに基づいて、画像内の物体の種類数を判定する。

すなわち、本発明の一態様による降積雪判定方法は、種類数判定ステップと、第１の降積雪判定ステップと、第２の降積雪判定ステップとを含むものである。種類数判定ステップは、判定対象領域に照射された赤外光の反射光に基づいて生成された判定対象領域の画像について、画像内に存在する物体の種類数を判定する。第１の降積雪判定ステップは、種類数判定ステップにおいて画像内に複数の種類の物体が存在すると判定された場合に、画像内の画素を輝度に応じて複数のグループに分け、該複数のグループのうち輝度の高いグループの画素の輝度に基づいて、画像内における降積雪の有無を判定する。第２の降積雪判定ステップは、種類数判定ステップにおいて、画像内に１種類の物体しか存在しないと判定された場合には、複数の画素の輝度の平均値に基づいて画像内における降積雪の有無を判定する。画像は、反射光のうち所定の波長の光のみを用いて生成されたものであることが好ましい。

一実施形態においては、種類数判定ステップは、画像内の複数の画素の輝度に基づいて、画像内に存在する物体の種類数を判定することを含むものであることが好ましい。種類数判定ステップでは、複数の画素の輝度の勾配に基づいて、画像内に存在する物体の種類数を判定することがより好ましい。あるいは、種類数判定ステップでは、画像内の画素を輝度に応じて複数のグループに分け、該複数のグループ間における輝度の分離度に基づいて、画像内に存在する物体の種類数を判定することがより好ましい。あるいは、種類数判定ステップでは、画像内の画素を輝度に応じて複数のグループに分け、該複数のグループのうち輝度の高いグループの画素の輝度の平均値に基づいて、画像内に存在する物体の種類数を判定することがより好ましい。

一実施形態においては、第１の降積雪判定ステップは、輝度の高いグループの輝度のヒストグラムの変化量に基づいて、画像内における降積雪の有無を判定することを含むものであることが好ましい。

本発明の他の態様においては、降積雪判定装置が提供される。この降積雪判定装置は、赤外光を判定対象領域に向けて照射する光源と、判定対象領域からの反射光を受光し、判定対象領域の画像を生成する、カメラとを備える。さらに、この装置は、生成された画像の画像処理を行うとともに、画像から輝度データと輝度データに基づく計算データとを含むデータを生成する、画像処理・データ生成部と、上記降積雪判定方法によって、画像及びデータを用いて判定対象領域における降積雪の有無を判定し、判定結果を出力する、判定部とを備える。本装置は、判定部によって出力された判定結果に基づいて融雪装置の作動を制御する制御部をさらに備えることが好ましい。

本発明のさらに他の態様においては、上記降積雪判定方法のステップをコンピュータに実行させる、降積雪の判定を行う降積雪判定コンピュータ・プログラムが提供される。

本発明の降積雪判定方法、装置及びコンピュータ・プログラムによれば、判定対象領域がどのような状態であっても降積雪を精度良く判定することができるため、降積雪状態の誤判定が発生せず、判定結果を利用して作動状態と非作動状態との切り替えを行う融雪システムのエネルギー損失を大幅に低減させることができる。また、特定の波長の光のみによって生成された画像を用いて判定を行うことによって、画像から降雪を排除し、積雪の判定をより高精度に行うことができる。

本発明の一実施形態に係る降積雪判定方法を用いた融雪制御システムの構成を示すブロック図である。 本発明の一実施形態に係る降積雪判定の処理を示すフローである。 画像の二値化の可否判定が必要とされる場合の画像例を示す。 ヒストグラムの滑らかさの判定が必要とされる場合の画像例を示す。 撮影された路面の画像例を示す。 撮影された別の路面の画像例を示す。 本発明の一実施形態に係る降積雪判定方法を用いた場合のロードヒーティングの稼働時間と降雪センサーの作動時間との比較を示す。 本発明の一実施形態に係る降積雪判定方法において積雪あり又は積雪なしと判定された時間前後の画像と、その時間帯における本方法によるロードヒーティングの稼働状態及び降雪センサーの作動状態とを示す。 本発明の一実施形態に係る降積雪判定方法において積雪あり又は積雪なしと判定された時間前後の画像と、その時間帯における本方法によるロードヒーティングの稼働状態及び降雪センサーの作動状態とを示す。 本発明の一実施形態に係る降積雪判定方法において積雪あり又は積雪なしと判定された時間前後の画像と、その時間帯における本方法によるロードヒーティングの稼働状態及び降雪センサーの作動状態とを示す。

以下、図面を参照しながら本発明の一実施形態を詳細に説明する。
図１は、本発明の一実施形態に係る降積雪判定方法を用いた融雪制御システム１（以下、システム１という）の構成を示すブロック図である。システム１は、積雪の状態を判定する場所に向けて赤外光を照射する光源１１と、反射された赤外反射光を受光して、その場所の赤外線画像を生成するカメラ１２とを備える。なお、以下の記載においては、積雪の判定を行う対象となる画像全体又はその一部領域を判定対象領域ＴＲという。すなわち、カメラ１２で生成された赤外線画像の全体を判定対象領域ＴＲとすることも、必要に応じて、生成された赤外線画像の全体から選択された任意の領域を判定対象領域ＴＲとすることもある。

光源１１は、本発明の実施に必要な波長の範囲が含まれる赤外光を照射することができるものであれば、特に限定されるものではなく、例えば赤外ＬＥＤ、キセノンランプ、ハロゲンランプなどを光源１１として適宜用いることができる。カメラ１２は、赤外反射光を受光して赤外線画像を生成できるものであれば、特に限定されるものではない。なお、図１においては、光源１１及びカメラ１２が別の要素として描かれているが、この構成に限定されるものではなく、赤外光を照射する光源とカメラとが一体的なユニットとなった装置を用いてもよい。

本発明においては、画像を生成するための光として可視光ではなく赤外光を用いる。可視光を利用して画像を取得する場合には、以下に示す問題点がある。
（１）夜間には弱い光源では積雪の判定がしづらく強い光源を必要とするため、夜間の画像が、光源の強さによって昼間と大きく異なる画像となる
（２）乾いた路面が画像に白っぽく映る
（３）太陽光の反射が強い場合には物体が検出できない（白飛びする）

これに対して、赤外光を利用して画像を生成することには、以下のような利点がある。
（１）雪と雪以外のものとを、可視光より区別しやすい
（２）夜間でも物体を捉えやすい
（３）昼間の太陽光の反射を低減させることができるため、昼夜を通してある程度、同様の画像になる
（４）昼間でもコンクリートの色によらず、ある程度、同様の画像になる
（５）二値化が容易である

カメラ１２で赤外反射光を受光する前に、赤外反射光が、特定の波長の赤外光のみを透過させる赤外透過フィルタ１２ａを透過することが好ましい。特定の波長の赤外光のみを用いて画像を生成することには、以下のような利点がある
（１）生成された画像の二値化がさらに容易になる
（２）カメラの受光部が得る光のエネルギー量を低減させることによって、太陽光の反射を少なくすることができる
（３）降雪が画像に写りにくいため、積雪の判定がより容易になる（したがって、赤外透過フィルタを用いない場合には、降雪の判定も可能である）

なお、赤外透過フィルタを用いたときに降雪が画像に写りにくいのは、降っている雪から反射する赤外線量がそもそも小さい上に、赤外透過フィルタを透過させることによって赤外線量がさらに小さくなるためである。積雪については、雪が塊として存在するため、赤外透過フィルタを透過した場合でも赤外線量が大きく、画像として取得することができる

システム１における画像の撮影の頻度、回数及び具体的な方法は、特に限定されるものではない。例えば、一定時間間隔で終日、連続的に撮影を行い、生成された画像のすべてについて画像処理及び積雪判定を行うようにすることができる。あるいは、画像処理及び積雪判定のコンピュータによる計算の負担を低減するために、他の降雪判定装置と組み合わせて、降雪開始後に撮影が開始されるようにしてもよい。あるいは、終日、連続的に動画として撮影し、その動画から必要に応じて静止画像を取り出し、そのようにして生成された静止画像について画像処理及び積雪判定が行われるようにしてもよい。

システム１は、さらに、画像処理・データ生成部１３及び判定部１４を備える。カメラ１２によって生成された画像は、画像処理・データ生成部１３に送られる。画像処理・データ生成部１３では、カメラ１２から受信した画像について、判定部１４において降積雪の有無を判定するために必要となる種々の画像処理を行うとともに、生成された画像から降積雪の判定に必要な各種データを生成することができる。判定部１４は、画像処理・データ生成部１３で処理・生成された画像及び／又はデータを用いて、判定対象領域ＴＲの降積雪の有無を判定するための一連の判定処理を行う。判定部１４においては、後述される複数の条件Ａ〜Ｅによる判定が行われ、それぞれの判定で必要となる画像及び／又はデータは、判定部１４における判定の結果に応じて画像処理・データ生成部１３でさらに処理・生成することができる。画像処理・データ生成部１３で処理・生成される画像及び／又はデータ、並びに判定部１４における判定処理については後述される。

システム１は、さらに、判定部１４における降積雪の有無の判定結果を受信し、融雪装置２のオン／オフを制御する制御部１５をさらに備えることが好ましい。制御部１５は、例えば、判定部１４で判定対象領域ＴＲにおいて降積雪があると判定された場合には、降積雪有信号を受けて、融雪装置２に対して作動信号を送信し、判定部１４において判定対象領域ＴＲの積雪がなくなったと判定された場合には、降積雪無信号を受けて、融雪装置２に対して停止信号を送信することができる。画像処理・データ生成部１３及び判定部１４において、画像に占める積雪の割合（面積）を求めることができる場合には、その割合に応じて、融雪装置２に対して作動信号及び停止信号を送信するようにしてもよい。

画像処理・データ生成部１３、判定部１４、及び制御部１５の各々又は全体は、例えば、パーソナルコンピュータ１６などの汎用コンピュータ装置によって実現することができる。汎用的なコンピュータ装置は、一般に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）と、メモリと、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）とを備えており、これらの構成は、バスによってそれぞれ接続されている。ＣＰＵは、コンピュータ装置の全体の制御をつかさどる。メモリには、本発明に係る方法を実行するように構成されたコンピュータ・プログラムが記憶されており、また、カメラ１２によって撮影された画像、画像処理・データ生成部１３によって生成された画像及びデータが記憶されている。

以下において、画像処理・データ生成部１３及び判定部１４で行われる処理について、詳細に説明する。図２は、本発明の一実施形態による降積雪判定の処理フロー２００を示す。

処理フロー２００における処理の概要は次のとおりである。
処理フロー２００においては、まず、取得された画像が画像処理・データ生成部１３に読み込まれる（Ｓ２０１）。取得された画像について、画像内に複数の種類の物体が存在している可能性が高いのか、又は１種類の物体しか存在していない可能性が高いのかを判定する（特許請求の範囲における種類数判定ステップにおける判定に該当する）。具体的には、最初に、条件Ａによって画像の二値化が可能かどうかが判定される（ｓ２０２）。なお、取得された画像全体を判定対象領域ＴＲの画像とする場合も、必要に応じて全体の一部を判定対象領域ＴＲの画像とする場合もある。例えば、取得された画像に積雪の判定に必要な路面以外の部分（例えば家の壁や塀など）が存在する場合は、それらの部分を除いて路面のみの領域を、判定対象領域ＴＲとして指定することが好ましい。以下においては、判定対象領域ＴＲの画像を単に画像ということがある。ｓ２０２で二値化が可能である（すなわち、画像内に複数の種類の物体が存在している可能性が高い）と判定された場合には、次に、判別分析法の考え方を利用した判定が行われる（ｓ２０３、ｓ２０４）。画像の二値化が不可能であると判定された場合には、条件Ｅの判定に進む（Ｓ２０９）。なお、条件Ｅによる判定は、特許請求の範囲における第２の降積雪判定ステップにおける判定に該当する。

二値化が可能であると判定された画像は、すべての画素が輝度の高い画素グループと低い画素グループとに分けられ、条件Ｂによって、両者の分離度の大きさが判定される（ｓ２０４）。なお、条件Ｂによる判定は、特許請求の範囲における種類数判定ステップにおける判定に該当する。分離度が大きいと判定された場合には、条件Ｃの判定に進む（ｓ２０５）。分離度が小さいと判定された場合には、画像内には１種類の物体のみが存在する可能性が高いということであり、条件Ｅの判定に進む（ｓ２０９）。

分離度が大きいと判定された場合には、条件Ｃによって、輝度の高い画素グループの輝度の平均値の大きさが判定される（ｓ２０５）。なお、条件Ｃによる判定は、特許請求の範囲における種類数判定ステップにおける判定に該当する。平均値がしきい値より大きいと判定された場合は、条件Ｄの判定に進む（ｓ２０６）。平均値がしきい値より小さいと判定された場合には、画像内には１種類の物体のみが存在する可能性が高いということであり、条件Ｅの判定に進む（ｓ２０９）。

輝度の高い画素グループの輝度の平均値がしきい値より大きいと判定された場合は、輝度の高い画素グループについて輝度のヒストグラムの変化量が計算され、条件Ｄによって、変化が滑らかであるかどうか判定される（ｓ２０６）。条件Ｄによる判定は、特許請求の範囲における第１の降積雪判定ステップにおける判定に該当する。変化が滑らかであると判定された場合には、積雪なしと判定される（ｓ２０７）。変化が滑らかではないと判定された場合には、積雪ありと判定される（ｓ２０８）。

条件Ｅでは、画像全体の輝度の平均値の大きさが判定される（ｓ２０９）。平均値がしきい値より大きい場合には、積雪ありと判定される（ｓ２１０）。平均値がしきい値より小さい場合には、積雪なしと判定される（ｓ２１１）。

以下、条件Ａ〜Ｅについて、具体的に説明する。
１．条件Ａ
条件Ａは、判定対象領域ＴＲの画像が二値化可能かどうかを判定する処理である（ｓ２０２）。画像内に雪と雪以外の物体とが混在している場合には、画像の二値化を行えば雪と他の物体とを容易に分離することができ、積雪の有無の判定を行うことができる。しかしながら、画像内に雪のみが存在している場合や雪以外の１種類の物体（例えば、コンクリート）のみが存在している場合には、画像の二値化が困難であり、二値化を利用した積雪の判定は不可能である。そこで、条件Ａでは、画像内に複数の種類の物体が存在している可能性が高いのか、又は１種類の物体しか存在していない可能性が高いのかを判定する。

具体的には、画像内における全画素の輝度について、画像の横方向（ここではｘ方向とする）の勾配と縦方向（ここではｙ方向とする）の勾配とが計算され、それらの合計ＡＳが求められる。判定対象領域ＴＲの左上の画素の番号を（１，１）とし、ｘ方向の画素の個数をｊｍａｘ、ｙ方向の画素の個数をｋｍａｘとする。この場合、判定対象領域ＴＲの右下の画素の番号は（ｊｍａｘ，ｋｍａｘ）となる。任意の画素における輝度をＩ（ｊ，ｋ）とする。ＡＳは以下の式によって計算することができる。

ここで、
ASS(j,k) = {I(j+1,k)-I(j-1,k)}/DX+{I(j,k+1)-I(j,k-1)}/DY
I(j+1,k)：任意の画素I(j,k)の１つ右側の画素の輝度
I(j-1,k):任意の画素I(j,k)の1つ左側の画素の輝度
I(j,k+1):任意の画素I(j,k)の1つ下側の画素の輝度
I(j,k-1):任意の画素I(j,k)の1つ上側の画素の輝度
ＤＸは、横方向の画素の幅を表しており、画素１つ分を１とすると、ここでは任意の画素Ｉ（ｊ，ｋ）の両側の画素を参照しているので、ＤＸ＝２である。ＤＹもＤＸと同様、ＤＹ＝２である。
なお、画素の勾配を計算する方向の定め方、判定すべき画像内の画素の位置、解像度及び総画素数、並びに必要とする判定の精度等に応じて、ＡＳＳ（ｊ，ｋ）は、例えば、
ASS(j,k) = {I(j+1,k)-I(j,k)}/DX+{I(j,k+1)-I(j,k)}/DY、又は、
ASS(j,k) ={I(j+2,k)-I(j-1,k)}/DX+{I(j,k+2)-I(j,k-1)}/DY
などとしてもよく、ＤＸ及びＤＹは、参照する画素によって２以外の数値とすることもある。

なお、例えば判定対象領域ＴＲの上端の画素については、参照すべき上側の画素が存在しない。すなわち、判定対象領域ＴＲの上端、下端、右端、左端についてはＡＳを計算することができない。したがって、判定対象領域ＴＲの端部についてはＡＳＳ（ｊ，ｋ）を計算せず、そのため、（１）式においては、ｊの範囲が２からｊｍａｘ−１まで、ｋの範囲が２からｋａｍｘ−１までとなっている。

任意のしきい値ＴＨＡをあらかじめ決定しておき、合計ＡＳがしきい値ＴＨＡより大きい場合には、画像全体において輝度の変化が大きく、その画像は二値化が可能である（画像内に複数の種類の物体が存在する可能性が高い）と判定される。合計ＡＳがしきい値ＴＨＡより小さい場合には、画像全体における輝度の変化が小さく、その画像は二値化が困難である（画像内には１種類の物体しか存在しない可能性が高い）と判定される。すなわち、画素の勾配の合計が小さい場合には、判定対象領域ＴＲは、雪のみの状態又は雪以外（例えばコンクリート）のみの状態となっている可能性が高いと考えられる。

しきい値ＴＨＡは、限定されるものではないが、例えば、次のような方法で決定することができる。例えば、判定対象領域ＴＲに雪とコンクリートが存在しているテスト画像のみを多数集め、それぞれのテスト画像のＡＳを計算し、計算したＡＳのうちで最も小さい値をしきい値ＴＨＡとすることが考えられる。このようにしきい値ＴＨＡを決定することによって、集められた画像、すなわち雪とコンクリートが存在しているテスト画像は、すべてが二値化可能であると判断することができる。

図３は、二値化の可否の判定が必要とされる場合の典型的な画像の例を示す。図３（ａ）は、判定対象領域ＴＲに雪とコンクリートとが共存している場合の画像例であり、図３（ｂ）及び図３（ｃ）はそれぞれ、判定対象領域ＴＲに雪のみが存在する場合及びコンクリートのみが存在する場合の画像例である。これらの画像を取得した際の条件等は、後述される実施例のとおりである（図３の画像は、実施例における路面Ｂの画像であり、カメラ１２のレンズ前に透過波長７６０ｎｍの赤外透過フィルタ１２ａが装着された状態で取得されたものである）。また、取得された画像内に積雪の判定に必要な路面以外の部分（家の壁）が存在するため、判定対象領域ＴＲはこの部分を排除した領域である。

図３（ａ）に示されるような状態の場合には、雪の部分とコンクリートの部分とが混在しており二値化が可能であるため、次に条件Ｂの判定が行われる。一方、図３（ｂ）及び図３（ｃ）に示されるような状態の場合には、二値化が困難であるため、条件Ｅによる判定が行われる。

ｓ２０２において、条件Ａによって二値化が可能であると判定された場合には、次に、判別分析法の考え方を利用して条件Ｂによって判定が行われる（ｓ２０３、ｓ２０４）。条件Ａによって二値化が不可能であると判定された場合には、条件Ｅによって降積雪の有無が判定される（Ｓ２０９）。条件Ｅは後述される。

２．条件Ｂ
条件Ｂは、判別分析法（大津の二値化法）の考え方を用いるものである。ここでは、全画素の輝度のヒストグラムが作成され、全画素が輝度の低いグループＩと輝度の高いグループＩＩとの２つのグループに分けられ、両者の分離度Ｘが求められる。分離度Ｘは、それぞれのグループ間の輝度の分散（クラス間分散）σ_ｂ ^２と、それぞれのグループ内の輝度の分散（クラス内分散）σ_ｗ ^２との比を用いて求めることができる。

ここで、ｎ_１はグループＩの画素数、ｎ_２はグループＩＩの画素数、σ_１ ^２はグループＩの輝度の分散、σ_２ ^２はグループＩＩの輝度の分散である。

ここで、ｍ_１はグループＩの輝度の平均、ｍ_２はグループＩＩの輝度の平均、ｍ_ｔは画像全体の輝度の平均である。

任意のしきい値ＴＨＢをあらかじめ決定しておき、分離度Ｘがしきい値ＴＨＢより大きい場合には、グループＩ（輝度の低いグループ）とグループＩＩ（輝度の高いグループ）とを容易に分離することができると判定される。また、分離度Ｘがしきい値ＴＨＢより小さい場合には、両者を分離することが難しく、画像内は１種類の物体で占められていると判定される。条件Ｂの判定により、条件Ａによって二値化可能であると判定された画像であっても、実際には１種類の物体しか画像に存在せず、二値化が可能な画像の輝度に基づく積雪の判定が困難であると考えられるため、この時点でその対象から除外されることが好ましい。

条件Ａの判定では、例えば、画像内にコンクリートしか存在しないが日差しと影がある場合にも二値化可能と判断される場合がある。そこで、例えば、画像内にコンクリートのみが存在し且つ日差しがあるテスト画像の分離度Ｘを求め、求めた分離度Ｘのうちで最も大きい値をしきい値ＴＨＢとすることが考えられる。ただし、条件Ａで二値化可能と判断される画像の分離度も考慮しなければ、例えば雪とコンクリートとが混在している画像が条件Ｂによって二値化不可能と判断される場合が生じる。そこで、しきい値ＴＨＢは、限定されるものではないが、例えば次のような方法で決定することができる。例えば、コンクリートのみが存在し且つ日差しがあるテスト画像の集合の中で最大の分離度Ｘ１を求める。さらに、雪とコンクリートとが混在しているテスト画像の集合の中で最低の分離度Ｘ２を求める。Ｘ１とＸ２とを比較し、小さい値の方をしきい値ＴＨＢとすることができる。

ｓ２０４において、条件Ｂによって２つのグループを分離することができると判定された場合には、次に、条件Ｃによって判定が行われる（ｓ２０５）。条件Ｂによって２つのグループを分離することが難しいと判定された場合には、条件Ｅによって降積雪の有無が判定される（Ｓ２０９）。

３．条件Ｃ
条件Ｃは、条件Ｂの判定の際に分けられた輝度の高いグループＩＩが、積雪状態を表す可能性がある一定の輝度以上であるかどうかを判定する処理である。例えば、実際には１種類の物体しか存在しなくても見かけ上は複数種類の物体が存在すると判定される画像、例えば凹凸が存在する表面を有する物体やカラーリングされたアスファルトで占められている画像は、輝度の高い部分であっても積雪の輝度よりは低いと考えられるため、この段階で、二値化が可能な画像の輝度に基づく積雪判定の対象から除外されることが好ましい。

条件Ｃでは、条件Ｂの判定のために求めたグループＩＩの輝度の平均値ｍ_２を判定に用いることができる。任意のしきい値ＴＨＣをあらかじめ決定しておき、ｓ２０５において、条件Ｃによってｍ_２がしきい値ＴＨＣより大きいと判定された場合には、次に、条件Ｄによって判定が行われる（ｓ２０６）。ｍ_２がしきい値ＴＨＣより小さい場合（すなわち、輝度が低い場合）には、条件Ｅによって降積雪の有無が判定される（Ｓ２０７）。

しきい値ＴＨＣは、限定されるものではないが、例えば次のような方法で決定することができる。例えば、条件Ａ及び条件Ｂの判定を通過したテスト画像のうち、コンクリートのみが存在し且つ日差しがある画像を集め、それぞれの画像についてグループＩＩの輝度の平均値を計算し、それらの平均値のうちの最大値を求める。また、条件Ａ及び条件Ｂの判定を通過したテスト画像のうち、雪とコンクリートとが混在している画像を集め、それぞれの画像グループＩＩの輝度の平均値を計算し、それらの平均値のうちの最小値を求める。このように求めた最大値と最小値とを比較し、小さい方をしきい値ＴＨＣとすることができる。

４．条件Ｄ
条件Ｄは、輝度が高いグループＩＩの輝度について、それが積雪状態を表すものであるのか、あるいは積雪以外で輝度が高い物体を表すものであるのかを判定する処理である。例えば、コンクリートなどが太陽光を反射している部分は、積雪状態を表す場合と同程度の輝度となることがあるため、このような場合と積雪状態とを区別する必要がある。

具体的には、条件Ｂの判定の際に分けられたグループＩＩの画素について、ヒストグラムの変化量の合計ＤＳを計算することができる。

ここで、
DSS(i) = {H(i+1)-H(i)}/DZ
H(i):任意の輝度の値である画素の個数
H(i+1):1つとなり（輝度の高い側）の輝度の値である画素の個数
Hmin:グループＩＩの輝度の最低値
Hmax:グループＩＩの輝度の最高値
DZ:輝度の差：DZ=１
N:グループＩＩの画素の個数
なお、必要とする判定の精度等に応じて、ＤＳＳ（ｉ）は、例えば、
DSS(i)={H(i+1)-H(i-1)}/DZ
などとしてもよく、ＤＺは、２以上の数値とすることもある。

任意のしきい値ＴＨＤをあらかじめ決定しておき、変化量の合計ＤＳがしきい値ＴＨＤより小さい場合には、グループＩＩの輝度のヒストグラムは滑らかであり、これは、例えばコンクリートが太陽光を反射している状態などを表していると考えられる。変化量の合計ＤＳがしきい値ＴＨＤより大きい場合には、グループＩＩの輝度のヒストグラムが滑らかではなく、これは、積雪による乱反射が原因であり、したがって積雪状態を表していると考えられる。

しきい値ＴＨＤは、限定されるものではないが、例えば、コンクリートのみが存在し且つ日差しがあるテスト画像を集め、それらの画像の各々のＤＳを求め、それらのＤＳのうちで最も大きい値をしきい値ＴＨＤとすることができる。

図４は、条件Ｄ、すなわちヒストグラムの滑らかさの判定が必要とされる場合の典型的な画像の例であり、コンクリートの路面に強い日射がある場合の画像である。なお、この画像を取得した際の条件等は、後述される実施例のとおりである（図４の画像は、実施例における路面Ｂの画像である）。また、取得された画像内に積雪の判定に必要な路面以外の部分（家の壁）が存在するため、判定対象領域ＴＲはこの部分を排除した領域である。

ｓ２０６において、条件Ｄによって輝度の高いグループＩＩのヒストグラムの変化が滑らかであると判定された場合には、積雪がないと判定される（ｓ２０７）。変化が滑らかでないと判定された場合には、積雪があると判定される（ｓ２０８）。

５．条件Ｅ
条件Ｅは、画像内の物体が積雪であるか、それ以外であるのか判断する処理である（ｓ２０９）。画素全体の輝度の平均値ｍ_ｔが計算され、ｍ_ｔとあらかじめ決定されたしきい値ＴＨＥとの大小が判定される。輝度の平均値ｍ_ｔがしきい値ＴＨＥより大きい場合には、画像内は積雪であると判定され（ｓ２１０）、しきい値より小さい場合には、画像は雪以外（例えばコンクリート）であると判定される（ｓ２１１）

（実施例１）
本発明による降積雪判定方法を用いて、降積雪の判定を行った。実験は、札幌市内の某所２箇所において、１月末〜３月末までの期間で行った。２箇所のうち一方の実験箇所は、一般的なコンクリートが敷設された路面を有する場所（以下、路面Ａという）であり、もう一方の実験箇所は、透水性舗装材が敷設された路面を有する場所（以下、路面Ｂという）であった。それぞれの場所にカメラを設置し、路面を撮影した。

実験に用いられたカメラは、ＳＶ３Ｃ ＴＥＣＨＮＯＬＯＧＹ ＬＩＭＩＴＥＤ社製の防犯カメラ（型番ＳＶ−Ｂ０１Ｗ−１０８０Ｐ−ＨＸ）であった。このカメラには、赤外線を放射するＬＥＤ６個が光源として組み込まれており、最大解像度は、１９２０ｘ１２８０である。このカメラのレンズ前に市販の赤外透過フィルタを装着した場合の画像と装着しない場合の画像とを、それぞれ用いた。赤外透過フィルタは、富士フイルム株式会社製の光吸収・赤外透過フィルタ（ＩＲフィルタ）を使用し、透過波長がそれぞれ、７６０ｎｍ（型番ＩＲ−７６）、８００ｎｍ（同ＩＲ−８０）、８４０ｎｍ（同ＩＲ−８４）のものを用いた。路面Ａについては、フィルタなしの場合及び透過波長７６０ｎｍのフィルタ使用の場合の静止画像を１分毎に取得し、それらの画像を用いて降積雪の判定を行った。路面Ｂについては、透過波長７６０ｎｍのフィルタ使用の場合、同８００ｎｍのフィルタ使用の場合、及び同８４０ｎｍのフィルタ使用の場合の静止画像を１分毎に取得し、それらの画像を用いて降積雪の判定を行った。

図５は、実際に撮影された路面Ａの画像であり、（ａ）はフィルタなしの夜間の画像、（ｂ）は透過波長７６０ｎｍのフィルタ使用の場合の昼間の画像、（ｃ）は透過波長７６０ｎｍのフィルタ使用の場合の夜間の画像である。また、図６は、実際に撮影された路面Ｂの画像であり、（ａ）及び（ｂ）は、それぞれ透過波長７６０ｎｍのフィルタ使用の場合の昼間及び夜間の画像、（ｃ）及び（ｄ）は、それぞれ透過波長８００ｎｍのフィルタ使用の場合の昼間及び夜間の画像、（ｅ）及び（ｆ）は、それぞれ透過波長８４０ｎｍのフィルタ使用の場合の昼間及び夜間の画像である。

路面Ａについて透過波長７６０ｎｍのフィルタを用いた場合について積雪の判定率を求めた。一定期間（具体的には、２月８日から２月２２まで）に取得された路面Ａの画像２０，１２７枚について、本発明に係る方法を用いて積雪の有無を判定するとともに、人が積雪の有無を確認した。判定にあたり、建物を除いた路面の部分のみを画像から切り出し、この切り出した部分を判定対象領域とした。具体的には、図５の画像のピクセルサイズは１９２０×１０８０であり、判定対象領域は、図５の画像の左上から右に８７０ピクセル、下に６１０ピクセルの位置から１７０×１５０ピクセル分のサイズとした。また、用いたしきい値は、それぞれ以下のとおりとした。
ＴＨＡ＝０．０４１５
ＴＨＢ＝０．３４
ＴＨＣ＝１３７
ＴＨＤ＝０．８
ＴＨＥ＝１４７
その結果、実際には積雪があるにも関わらず積雪なしと判定された画像及び積雪がないにも関わらず積雪ありと判定された画像は４７枚であり、したがって正判定率は、約９９．８％であった。

路面Ｂについて透過波長７６０ｎｍのフィルタを用いた場合について積雪の判定率を求めた。一定期間（具体的には、２月８日から２月２８まで）に取得された路面Ｂの画像２９，２３６枚について、本発明に係る方法を用いて積雪の有無を判定するとともに、人が積雪の有無を確認した。判定にあたり、建物を除いた路面の部分のみを画像から切り出し、この切り出した部分を判定対象領域とした。判定対象領域及びしきい値は、路面Ａの場合と同じとした。その結果、実際には積雪があるにも関わらず積雪なしと判定された画像及び積雪がないにも関わらず積雪ありと判定された画像は７３５枚であり、したがって正判定率は、約９７．５％であった。

（実施例２）
本発明による降積雪判定方法（以下、本方法という）を用いて積雪の判定を行った場合と既存の降雪センサー（以下、降雪センサーという）を用いた場合とで、ロードヒーティングの稼働時間がどのように異なるか実験を行った。実験は、実施例１で積雪の判定を行った路面Ａでの積雪を判定することによって実施した。積雪を判定した時間は、冬季（３月）のある１日の１時３４分〜１６時であった。判定対象領域及びしきい値は、実施例１で路面Ａの判定率を求めた場合と同じとした。

本方法において用いたカメラは、実施例１において用いたカメラと同じものであった。また、富士フイルム株式会社製の光吸収・赤外透過フィルタ（ＩＲフィルタ）、透過波長７６０ｎｍ（型番ＩＲ−７６）を使用した。カメラで連続的に撮影した映像から静止画像を１分毎に取得し、各画像を用いて１分毎に積雪の判定を行った。この実験では、連続して３枚の画像で「積雪あり」と判定されたときにロードヒーティングを稼働させ、連続して３枚の画像で「積雪なし」と判定されたときに稼働を停止させた。

一方、降雪センサーとして使用したセンサーは、（北海バネ株式会社製、スノーハンター、ＨＢＣ−Ｓ４）１台であった。降雪センサーは、地上から約２ｍ、カメラから水平距離で約３ｍ離れた位置に設置した。この降雪センサーは、降雪を感知することによって作動し、ロードヒーティングを稼働させる信号を送出するものである。したがって、降雪センサーからの信号が送出されている降雪センサーの作動時間とし、この作動時間はロードヒーティング稼働時間とみなすことができる。

図７は、本方法を用いた場合のロードヒーティングの稼働時間と降雪センサーの作動時間とを比較した結果を示す。降雪センサーは、開始時間の1時３４分から１６時までの間、降雪を感知していたことによって連続的に作動した。したがって、作動時間は８６６分であった。これに対して、本方法では、２時１６分から３時１４分までの５８分間、４時４２分から６時９分までの８７分間、及び９時２１分から１０時３３分までの７２分間にそれぞれ積雪ありと判定され、ロードヒーティングは、積雪ありと判定された時間の間だけ稼働した。したがって、本方法によるロードヒーティング稼働時間は、２１７分であり、降雪センサーの作動時間の約１／４であった。

図８〜図１０は、本方法において積雪あり又は積雪なしと判定された時間前後の画像と、その時間帯における本方法によるロードヒーティングの稼働状態及び降雪センサーの作動状態（稼働又は作動はＯＮ、停止はＯＦＦとしている）とを示す。図８において、本方法では、１時３４分（画像（Ａ））から２時１３分（図８には画像なし）までは積雪なしと判定された。その後、２時１４分（画像（Ｂ））に積雪ありと判定され、２時１５分（画像なし）及び２時１６分（画像（Ｃ））にも同様に積雪ありと判定されたため、連続して３枚の画像で「積雪あり」と判定されたことから、２時１６分の時点でロードヒーティングが稼働（ＯＮ）となった。次に、３時１１分（画像なし）までは積雪ありと判定されたためロードヒーティングが稼働し、融雪が行われていたが、３時１２分（画像（Ｄ））に積雪なしと判定され、３時１３分（画像なし）及び３時１４分（画像（Ｅ））にも同様に積雪なしと判定された。連続して３枚の画像が「積雪なし」と判定されたことから、３時１４分の時点でロードヒーティングが停止（ＯＦＦ）となった。この間、降雪センサーは連続作動していた。

同様に、図９においては、４時３９分（画像なし）までは積雪なしとの判定であったが、４時４０分（画像（Ｇ））から４時４２分（画像（Ｈ））まで連続して積雪ありと判定されたため、４時４２分の時点でロードヒーティングが稼働した。その後、６時７分（画像なし）から６時９分（画像（Ｉ））まで連続して積雪なしと判定されたため、６時９分の時点でロードヒーティングが停止した。この間、降雪センサーは連続作動していた。

同様に、図１０においては、９時１８分（画像なし）までは積雪なしとの判定であり、９時１９分（画像（Ｋ））から９時２１分（画像（Ｌ））まで連続して積雪ありと判定されたため、９時２１分の時点でロードヒーティングが稼働した。その後、１０時３１分（画像なし）から１０時３３分（画像（Ｍ））まで連続して積雪なしと判定されたため、１０時３３分の時点でロードヒーティングが停止した。この間、降雪センサーは、連続作動していた。

以上のように、本発明による降積雪判定方法を用いることによって、降雪が続いている場合でも路面の積雪の状況を正確に判定し、その判定結果に基づいてロードヒーティングの稼働及び停止を行うことができる。

１ 融雪制御システム
１１ 光源
１２ カメラ
１２ａ 赤外透過フィルタ
１３ 画像処理・データ生成部
１４ 判定部
１５ 制御部
１６ パーソナルコンピュータ
２ 融雪装置
ＴＲ 判定対象領域

Claims (10)

1. 画像を用いて降積雪の有無を判定する降積雪判定方法であって、
   判定対象領域に照射された赤外光の反射光に基づいて生成された前記判定対象領域の画像について、前記画像内に存在する物体の種類数を判定する、種類数判定ステップと、
   前記種類数判定ステップにおいて前記画像内に複数の種類の物体が存在すると判定された場合には、前記画像内の画素を輝度に応じて複数のグループに分け、該複数のグループのうち輝度の高いグループの画素の輝度に基づいて、前記画像内における降積雪の有無を判定する、第１の降積雪判定ステップと、
   前記種類数判定ステップにおいて、前記画像内に１種類の物体しか存在しないと判定された場合には、複数の画素の輝度の平均値に基づいて前記画像内における降積雪の有無を判定する、第２の降積雪判定ステップと
   を含む、降積雪判定方法。
2. 前記種類数判定ステップは、前記画像内の複数の画素の輝度に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項１に記載の降積雪判定方法。
3. 前記種類数判定ステップは、複数の画素の輝度の勾配に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項２に記載の降積雪判定方法。
4. 前記種類数判定ステップは、前記画像内の画素を輝度に応じて複数のグループに分け、該複数のグループ間における輝度の分離度に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項２又は請求項３に記載の降積雪判定方法。
5. 前記種類数判定ステップは、前記画像内の画素を輝度に応じて複数のグループに分け、該複数のグループのうち輝度の高いグループの画素の輝度の平均値に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項２から請求項４までのいずれか１項に記載の降積雪判定方法。
6. 前記第１の降積雪判定ステップは、前記輝度の高いグループの輝度のヒストグラムの変化量に基づいて、前記画像内における降積雪の有無を判定することを含む、請求項１に記載の降積雪判定方法。
7. 前記画像は、反射光のうち所定の波長の光のみを用いて生成されたものである、請求項１から請求項６までのいずれか１項に記載の降積雪判定方法。
8. 画像を用いて降積雪の有無を判定する降積雪判定装置であって、
   赤外光を判定対象領域に向けて照射する光源と、
   前記判定対象領域からの反射光を受光し、前記判定対象領域の画像を生成する、カメラと、
   生成された前記画像の画像処理を行うとともに、前記画像から輝度データと輝度データに基づく計算データとを含むデータを生成する、画像処理・データ生成部と、
   請求項１から請求項７までのいずれか１項に記載の方法によって、前記画像及び前記データを用いて前記判定対象領域における降積雪の有無を判定し、判定結果を出力する、判定部と
   を備える、降積雪判定装置。
9. 前記判定部によって出力された前記判定結果に基づいて融雪装置の作動を制御する制御部をさらに備える、請求項８に記載の降積雪判定装置。
10. 請求項１から請求項７までのいずれか１項に記載のステップをコンピュータに実行させる、降積雪の判定を行う降積雪判定コンピュータ・プログラム。
    
    

Images