JP2021117230A - 降積雪判定方法、降積雪判定装置及び降積雪判定コンピュータ・プログラム - Google Patents
降積雪判定方法、降積雪判定装置及び降積雪判定コンピュータ・プログラム Download PDFInfo
- Publication number
- JP2021117230A JP2021117230A JP2021009346A JP2021009346A JP2021117230A JP 2021117230 A JP2021117230 A JP 2021117230A JP 2021009346 A JP2021009346 A JP 2021009346A JP 2021009346 A JP2021009346 A JP 2021009346A JP 2021117230 A JP2021117230 A JP 2021117230A
- Authority
- JP
- Japan
- Prior art keywords
- image
- snowfall
- determination
- brightness
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims description 31
- 238000000926 separation method Methods 0.000 claims description 16
- 239000005413 snowmelt Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 26
- 238000010438 heat treatment Methods 0.000 description 20
- 238000012360 testing method Methods 0.000 description 9
- 238000002844 melting Methods 0.000 description 6
- 230000008018 melting Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
特許文献1に記載の技術は、判定対象領域を撮影した画像について、ノイズ除去を行った後にエッジ抽出処理を行い、さらに二値化処理を行うことによって、画像から雪の部分を抽出し、降雪の状態を検出するものである。
また、特許文献2に記載の技術は、路面をカメラで撮影して画像を取得し、取得した画像を輝度画像に変換し、画像内の道路標示部以外の部分の輝度と道路標示部の輝度とを比較して、両者に比率が一定値以上の場合には積雪ありと判断するものである。この方法では、画像処理を行って、路上の積雪の上を車両が通行したときに残されるタイヤ跡を検出することもでき、タイヤ跡の本数に基づいて積雪の有無を判断する。これにより、積雪量が少ないときでも積雪の有無を判断することができるものとされている。
本発明の別の目的は、本発明に係る降積雪判定方法が実装された降積雪判定装置を提供することである。
図1は、本発明の一実施形態に係る降積雪判定方法を用いた融雪制御システム1(以下、システム1という)の構成を示すブロック図である。システム1は、積雪の状態を判定する場所に向けて赤外光を照射する光源11と、反射された赤外反射光を受光して、その場所の赤外線画像を生成するカメラ12とを備える。なお、以下の記載においては、積雪の判定を行う対象となる画像全体又はその一部領域を判定対象領域TRという。すなわち、カメラ12で生成された赤外線画像の全体を判定対象領域TRとすることも、必要に応じて、生成された赤外線画像の全体から選択された任意の領域を判定対象領域TRとすることもある。
(1)夜間には弱い光源では積雪の判定がしづらく強い光源を必要とするため、夜間の画像が、光源の強さによって昼間と大きく異なる画像となる
(2)乾いた路面が画像に白っぽく映る
(3)太陽光の反射が強い場合には物体が検出できない(白飛びする)
(1)雪と雪以外のものとを、可視光より区別しやすい
(2)夜間でも物体を捉えやすい
(3)昼間の太陽光の反射を低減させることができるため、昼夜を通してある程度、同様の画像になる
(4)昼間でもコンクリートの色によらず、ある程度、同様の画像になる
(5)二値化が容易である
(1)生成された画像の二値化がさらに容易になる
(2)カメラの受光部が得る光のエネルギー量を低減させることによって、太陽光の反射を少なくすることができる
(3)降雪が画像に写りにくいため、積雪の判定がより容易になる(したがって、赤外透過フィルタを用いない場合には、降雪の判定も可能である)
処理フロー200においては、まず、取得された画像が画像処理・データ生成部13に読み込まれる(S201)。取得された画像について、画像内に複数の種類の物体が存在している可能性が高いのか、又は1種類の物体しか存在していない可能性が高いのかを判定する(特許請求の範囲における種類数判定ステップにおける判定に該当する)。具体的には、最初に、条件Aによって画像の二値化が可能かどうかが判定される(s202)。なお、取得された画像全体を判定対象領域TRの画像とする場合も、必要に応じて全体の一部を判定対象領域TRの画像とする場合もある。例えば、取得された画像に積雪の判定に必要な路面以外の部分(例えば家の壁や塀など)が存在する場合は、それらの部分を除いて路面のみの領域を、判定対象領域TRとして指定することが好ましい。以下においては、判定対象領域TRの画像を単に画像ということがある。s202で二値化が可能である(すなわち、画像内に複数の種類の物体が存在している可能性が高い)と判定された場合には、次に、判別分析法の考え方を利用した判定が行われる(s203、s204)。画像の二値化が不可能であると判定された場合には、条件Eの判定に進む(S209)。なお、条件Eによる判定は、特許請求の範囲における第2の降積雪判定ステップにおける判定に該当する。
1.条件A
条件Aは、判定対象領域TRの画像が二値化可能かどうかを判定する処理である(s202)。画像内に雪と雪以外の物体とが混在している場合には、画像の二値化を行えば雪と他の物体とを容易に分離することができ、積雪の有無の判定を行うことができる。しかしながら、画像内に雪のみが存在している場合や雪以外の1種類の物体(例えば、コンクリート)のみが存在している場合には、画像の二値化が困難であり、二値化を利用した積雪の判定は不可能である。そこで、条件Aでは、画像内に複数の種類の物体が存在している可能性が高いのか、又は1種類の物体しか存在していない可能性が高いのかを判定する。
ASS(j,k) = {I(j+1,k)-I(j-1,k)}/DX+{I(j,k+1)-I(j,k-1)}/DY
I(j+1,k):任意の画素I(j,k)の1つ右側の画素の輝度
I(j-1,k):任意の画素I(j,k)の1つ左側の画素の輝度
I(j,k+1):任意の画素I(j,k)の1つ下側の画素の輝度
I(j,k-1):任意の画素I(j,k)の1つ上側の画素の輝度
DXは、横方向の画素の幅を表しており、画素1つ分を1とすると、ここでは任意の画素I(j,k)の両側の画素を参照しているので、DX=2である。DYもDXと同様、DY=2である。
なお、画素の勾配を計算する方向の定め方、判定すべき画像内の画素の位置、解像度及び総画素数、並びに必要とする判定の精度等に応じて、ASS(j,k)は、例えば、
ASS(j,k) = {I(j+1,k)-I(j,k)}/DX+{I(j,k+1)-I(j,k)}/DY、又は、
ASS(j,k) ={I(j+2,k)-I(j-1,k)}/DX+{I(j,k+2)-I(j,k-1)}/DY
などとしてもよく、DX及びDYは、参照する画素によって2以外の数値とすることもある。
条件Bは、判別分析法(大津の二値化法)の考え方を用いるものである。ここでは、全画素の輝度のヒストグラムが作成され、全画素が輝度の低いグループIと輝度の高いグループIIとの2つのグループに分けられ、両者の分離度Xが求められる。分離度Xは、それぞれのグループ間の輝度の分散(クラス間分散)σb 2と、それぞれのグループ内の輝度の分散(クラス内分散)σw 2との比を用いて求めることができる。
条件Cは、条件Bの判定の際に分けられた輝度の高いグループIIが、積雪状態を表す可能性がある一定の輝度以上であるかどうかを判定する処理である。例えば、実際には1種類の物体しか存在しなくても見かけ上は複数種類の物体が存在すると判定される画像、例えば凹凸が存在する表面を有する物体やカラーリングされたアスファルトで占められている画像は、輝度の高い部分であっても積雪の輝度よりは低いと考えられるため、この段階で、二値化が可能な画像の輝度に基づく積雪判定の対象から除外されることが好ましい。
条件Dは、輝度が高いグループIIの輝度について、それが積雪状態を表すものであるのか、あるいは積雪以外で輝度が高い物体を表すものであるのかを判定する処理である。例えば、コンクリートなどが太陽光を反射している部分は、積雪状態を表す場合と同程度の輝度となることがあるため、このような場合と積雪状態とを区別する必要がある。
DSS(i) = {H(i+1)-H(i)}/DZ
H(i):任意の輝度の値である画素の個数
H(i+1):1つとなり(輝度の高い側)の輝度の値である画素の個数
Hmin:グループIIの輝度の最低値
Hmax:グループIIの輝度の最高値
DZ:輝度の差:DZ=1
N:グループIIの画素の個数
なお、必要とする判定の精度等に応じて、DSS(i)は、例えば、
DSS(i)={H(i+1)-H(i-1)}/DZ
などとしてもよく、DZは、2以上の数値とすることもある。
条件Eは、画像内の物体が積雪であるか、それ以外であるのか判断する処理である(s209)。画素全体の輝度の平均値mtが計算され、mtとあらかじめ決定されたしきい値THEとの大小が判定される。輝度の平均値mtがしきい値THEより大きい場合には、画像内は積雪であると判定され(s210)、しきい値より小さい場合には、画像は雪以外(例えばコンクリート)であると判定される(s211)
本発明による降積雪判定方法を用いて、降積雪の判定を行った。実験は、札幌市内の某所2箇所において、1月末〜3月末までの期間で行った。2箇所のうち一方の実験箇所は、一般的なコンクリートが敷設された路面を有する場所(以下、路面Aという)であり、もう一方の実験箇所は、透水性舗装材が敷設された路面を有する場所(以下、路面Bという)であった。それぞれの場所にカメラを設置し、路面を撮影した。
THA=0.0415
THB=0.34
THC=137
THD=0.8
THE=147
その結果、実際には積雪があるにも関わらず積雪なしと判定された画像及び積雪がないにも関わらず積雪ありと判定された画像は47枚であり、したがって正判定率は、約99.8%であった。
本発明による降積雪判定方法(以下、本方法という)を用いて積雪の判定を行った場合と既存の降雪センサー(以下、降雪センサーという)を用いた場合とで、ロードヒーティングの稼働時間がどのように異なるか実験を行った。実験は、実施例1で積雪の判定を行った路面Aでの積雪を判定することによって実施した。積雪を判定した時間は、冬季(3月)のある1日の1時34分〜16時であった。判定対象領域及びしきい値は、実施例1で路面Aの判定率を求めた場合と同じとした。
11 光源
12 カメラ
12a 赤外透過フィルタ
13 画像処理・データ生成部
14 判定部
15 制御部
16 パーソナルコンピュータ
2 融雪装置
TR 判定対象領域
Claims (10)
- 画像を用いて降積雪の有無を判定する降積雪判定方法であって、
判定対象領域に照射された赤外光の反射光に基づいて生成された前記判定対象領域の画像について、前記画像内に存在する物体の種類数を判定する、種類数判定ステップと、
前記種類数判定ステップにおいて前記画像内に複数の種類の物体が存在すると判定された場合には、前記画像内の画素を輝度に応じて複数のグループに分け、該複数のグループのうち輝度の高いグループの画素の輝度に基づいて、前記画像内における降積雪の有無を判定する、第1の降積雪判定ステップと、
前記種類数判定ステップにおいて、前記画像内に1種類の物体しか存在しないと判定された場合には、複数の画素の輝度の平均値に基づいて前記画像内における降積雪の有無を判定する、第2の降積雪判定ステップと
を含む、降積雪判定方法。 - 前記種類数判定ステップは、前記画像内の複数の画素の輝度に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項1に記載の降積雪判定方法。
- 前記種類数判定ステップは、複数の画素の輝度の勾配に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項2に記載の降積雪判定方法。
- 前記種類数判定ステップは、前記画像内の画素を輝度に応じて複数のグループに分け、該複数のグループ間における輝度の分離度に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項2又は請求項3に記載の降積雪判定方法。
- 前記種類数判定ステップは、前記画像内の画素を輝度に応じて複数のグループに分け、該複数のグループのうち輝度の高いグループの画素の輝度の平均値に基づいて、前記画像内に存在する物体の種類数を判定することを含む、請求項2から請求項4までのいずれか1項に記載の降積雪判定方法。
- 前記第1の降積雪判定ステップは、前記輝度の高いグループの輝度のヒストグラムの変化量に基づいて、前記画像内における降積雪の有無を判定することを含む、請求項1に記載の降積雪判定方法。
- 前記画像は、反射光のうち所定の波長の光のみを用いて生成されたものである、請求項1から請求項6までのいずれか1項に記載の降積雪判定方法。
- 画像を用いて降積雪の有無を判定する降積雪判定装置であって、
赤外光を判定対象領域に向けて照射する光源と、
前記判定対象領域からの反射光を受光し、前記判定対象領域の画像を生成する、カメラと、
生成された前記画像の画像処理を行うとともに、前記画像から輝度データと輝度データに基づく計算データとを含むデータを生成する、画像処理・データ生成部と、
請求項1から請求項7までのいずれか1項に記載の方法によって、前記画像及び前記データを用いて前記判定対象領域における降積雪の有無を判定し、判定結果を出力する、判定部と
を備える、降積雪判定装置。 - 前記判定部によって出力された前記判定結果に基づいて融雪装置の作動を制御する制御部をさらに備える、請求項8に記載の降積雪判定装置。
- 請求項1から請求項7までのいずれか1項に記載のステップをコンピュータに実行させる、降積雪の判定を行う降積雪判定コンピュータ・プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020011284 | 2020-01-28 | ||
JP2020011284 | 2020-01-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117230A true JP2021117230A (ja) | 2021-08-10 |
JP6996721B2 JP6996721B2 (ja) | 2022-01-17 |
Family
ID=77174666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021009346A Active JP6996721B2 (ja) | 2020-01-28 | 2021-01-25 | 降積雪判定方法、降積雪判定装置及び降積雪判定コンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6996721B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0850182A (ja) * | 1994-08-05 | 1996-02-20 | Nippon Giken:Kk | 光学式積雪深計測装置 |
JP2005308437A (ja) * | 2004-04-19 | 2005-11-04 | Quest Engineer:Kk | 雪検知システム |
WO2018051913A1 (ja) * | 2016-09-13 | 2018-03-22 | パナソニックIpマネジメント株式会社 | 路面状態予測システム、運転支援システム、路面状態予測方法及びデータ配信方法 |
-
2021
- 2021-01-25 JP JP2021009346A patent/JP6996721B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0850182A (ja) * | 1994-08-05 | 1996-02-20 | Nippon Giken:Kk | 光学式積雪深計測装置 |
JP2005308437A (ja) * | 2004-04-19 | 2005-11-04 | Quest Engineer:Kk | 雪検知システム |
WO2018051913A1 (ja) * | 2016-09-13 | 2018-03-22 | パナソニックIpマネジメント株式会社 | 路面状態予測システム、運転支援システム、路面状態予測方法及びデータ配信方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6996721B2 (ja) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6608042B2 (ja) | 熱画像カメラを利用した電力設備診断装置および方法 | |
JP5106356B2 (ja) | 画像監視装置 | |
JP4853437B2 (ja) | 車両周辺監視システム | |
JP3827426B2 (ja) | 火災検出装置 | |
JPH1049771A (ja) | 火災検出装置 | |
KR102100496B1 (ko) | 드론 및 레이저스캐너를 이용한 콘크리트 구조물 균열 검사 시스템 및 방법 | |
CN110520898B (zh) | 用于消除明亮区域的图像处理方法 | |
KR102414876B1 (ko) | 라이다 기반 좌회전 감응신호를 이용한 교통신호 제어시스템 | |
US11282235B2 (en) | Vehicle surroundings recognition apparatus | |
KR101795652B1 (ko) | 안개피해방지장치용 가시거리 측정장치 | |
CN101635091B (zh) | 一种车辆检测及颜色识别装置 | |
KR20150025714A (ko) | 차량의 영상인식장치 및 그 방법 | |
JP2018107665A (ja) | 撮像装置、汚れ検知システム、及び、汚れ検知方法 | |
JP6996721B2 (ja) | 降積雪判定方法、降積雪判定装置及び降積雪判定コンピュータ・プログラム | |
JP3294468B2 (ja) | 映像監視装置における物体検出方法 | |
JPH0973541A (ja) | 物体検出装置及び物体検出方法 | |
JP2850890B2 (ja) | 複合センサ型車両感知器 | |
KR101728507B1 (ko) | 안개피해방지장치용 가시거리 측정장치 | |
JP5190204B2 (ja) | 路面積雪検出装置及び路面積雪検出方法 | |
JP4398282B2 (ja) | パンタグラフのすり板検査装置。 | |
JP2003009140A (ja) | 歩行者検出装置 | |
JP7328778B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4611919B2 (ja) | 歩行者認識装置 | |
JP2000193419A (ja) | タイヤチェ―ン検出装置及びスタッドレスタイヤ検出装置 | |
JP2006262101A (ja) | 画像センシング装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210909 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6996721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |