JP2018066136A - Snow melting controller, neural network learning method, snow melting control method, and snow melting control program - Google Patents

Snow melting controller, neural network learning method, snow melting control method, and snow melting control program Download PDF

Info

Publication number
JP2018066136A
JP2018066136A JP2016204053A JP2016204053A JP2018066136A JP 2018066136 A JP2018066136 A JP 2018066136A JP 2016204053 A JP2016204053 A JP 2016204053A JP 2016204053 A JP2016204053 A JP 2016204053A JP 2018066136 A JP2018066136 A JP 2018066136A
Authority
JP
Japan
Prior art keywords
snow
snow melting
image
neural network
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016204053A
Other languages
Japanese (ja)
Other versions
JP6549546B2 (en
Inventor
誠 横川
Makoto Yokogawa
誠 横川
清賢 武田
Kiyomasa Takeda
清賢 武田
秀憲 川村
Hidenori Kawamura
秀憲 川村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido Gas Co Ltd
Original Assignee
Hokkaido Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido Gas Co Ltd filed Critical Hokkaido Gas Co Ltd
Priority to JP2016204053A priority Critical patent/JP6549546B2/en
Publication of JP2018066136A publication Critical patent/JP2018066136A/en
Application granted granted Critical
Publication of JP6549546B2 publication Critical patent/JP6549546B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Road Paving Structures (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To execute a snow melting control that appropriately reflects the state of snowfall in an area for snow melting.SOLUTION: A camera 10 photographs an area for snow melted by a road heating part 2. A photographed snow melting image is output to an image decomposer 21. The image decomposer 21 decomposes the snow melting image into a plurality of block images and outputs them to a CNN 22. The CNN 22, having a convolutional type neural network, evaluates the presence of snowfall in each block image, then outputs evaluation values yand yindicating an evaluation result. A control content determination part 23 determines the control content based on the evaluation values yand y, then outputs a determination result to a control signal generating part 24. The control signal generating part 24 generates and outputs to the road heating part 2 a control signal S for controlling the road heating part 2 based on the control contents determined by the control signal generating part 24, thereby controlling switching on and off the road heating part 2.SELECTED DRAWING: Figure 2

Description

本発明は、融雪制御装置、そのニューラルネットワークの学習方法、融雪制御方法及び融雪制御用プログラムに関する。   The present invention relates to a snow melting control device, a learning method for the neural network, a snow melting control method, and a snow melting control program.

従来、融雪の場所を撮影した画像の解析結果に基づいて融雪用のヒーターを制御する特許文献１のような装置がある。特許文献１の段落００４６に記載されているように、撮影画像における白色画素の割合から明度レベルが０〜１００％の範囲で決定される。そして、特許文献１の段落００５４〜００６１に記載されているように、明度レベルが高いほど大きい電力がヒーターに供給される。   Conventionally, there is an apparatus such as Patent Document 1 that controls a snow melting heater based on an analysis result of an image of a snow melting location. As described in paragraph 0046 of Patent Document 1, the brightness level is determined in the range of 0 to 100% from the ratio of white pixels in the captured image. Then, as described in paragraphs 0054 to 0061 of Patent Document 1, as the lightness level is higher, larger electric power is supplied to the heater.

特開２００３−１１４２８３号公報JP 2003-114283 A

特許文献１の明度レベルは、撮影された画像における白色画素の割合に応じて設定される。しかしながら、白色画素の割合は積雪の状況を直接反映するものとはいえない。よって、特許文献１の明度レベルに応じた制御では、積雪の状況を適切に反映した制御とはならない。   The brightness level of Patent Document 1 is set according to the ratio of white pixels in a captured image. However, it cannot be said that the ratio of white pixels directly reflects snow conditions. Therefore, the control according to the lightness level of Patent Document 1 does not properly control the snow condition.

本発明の目的は、融雪の場所における積雪の状況を適切に反映した融雪制御を実施可能な融雪制御装置、そのニューラルネットワークの学習方法、融雪制御方法及び融雪制御用プログラムを提供することにある。   An object of the present invention is to provide a snow melting control device capable of performing snow melting control appropriately reflecting the snow accumulation state at a snow melting location, a neural network learning method, a snow melting control method, and a snow melting control program.

本発明の第１の観点に係る装置は、積雪を溶かす融雪手段を制御する融雪制御装置であって、前記融雪手段による融雪の場所を撮影することによって前記融雪の場所の撮像を示す融雪画像を生成する撮影手段と、前記融雪画像に基づいて積雪の状況を評価した評価値を出力する畳み込み型ニューラルネットワークを有する積雪評価手段と、前記融雪手段が積雪を溶かす能力を前記評価値に基づいて変更する融雪制御手段とを備えている。   An apparatus according to a first aspect of the present invention is a snow melting control device that controls a snow melting means that melts snow, and images a snow melting image indicating the imaging of the snow melting location by photographing the snow melting location by the snow melting means. A photographing means to be generated, a snow evaluation means having a convolutional neural network that outputs an evaluation value obtained by evaluating the condition of snow based on the snow melting image, and the ability of the snow melting means to melt snow is changed based on the evaluation value. Snow melting control means.

本発明の第２の観点に係る方法は、積雪を溶かす融雪手段を制御する融雪制御方法であって、前記融雪手段による融雪の場所を撮影することによって前記融雪の場所の画像である融雪画像を生成する撮影ステップと、前記融雪画像に基づいて積雪の状況を評価した評価値を畳み込み型ニューラルネットワークに出力させる積雪評価ステップと、前記融雪手段が積雪を溶かす能力を前記評価値に基づいて変更する融雪制御ステップとを備えている。   A method according to a second aspect of the present invention is a snow melting control method for controlling a snow melting means that melts snow, and by photographing a snow melting location by the snow melting means, a snow melting image that is an image of the snow melting location is obtained. A shooting step to be generated, a snow accumulation evaluation step for outputting an evaluation value obtained by evaluating a snow accumulation state based on the snow melting image to a convolutional neural network, and an ability of the snow melting means to melt the snow are changed based on the evaluation value. And a snow melting control step.

本発明の第３の観点に係るプログラムは、積雪を溶かす融雪手段を制御するようにコンピュータを機能させる融雪制御用のプログラムであって、前記融雪手段による融雪の場所を撮影した画像である融雪画像に基づいて積雪の状況を評価した評価値を出力する畳み込み型ニューラルネットワークを有する積雪評価手段、及び、前記融雪手段が積雪を溶かす能力を前記評価値に基づいて変更する融雪制御手段としてコンピュータを機能させる。   A program according to a third aspect of the present invention is a snow melting control program that causes a computer to function to control a snow melting means that melts snow, and is an image obtained by photographing the location of snow melting by the snow melting means. The computer functions as a snow accumulating means having a convolutional neural network that outputs an evaluation value that evaluates the condition of snow accumulation based on the above, and a snow melting control means that changes the ability of the snow melting means to melt snow based on the evaluation value Let

本発明の第１〜第３の観点に係る融雪制御装置、融雪制御方法及び融雪制御プログラムによると、畳み込み型ニューラルネットワークによって積雪の状況を評価する。そして、畳み込み型ニューラルネットワークが出力する評価値に基づいて融雪手段が積雪を溶かす能力を変更する。畳み込み型ニューラルネットワークは、積雪の状況を融雪画像から適切に評価できるようにディープラーニングによって学習させた上で用いられる。具体的には、さまざまな積雪の状況を撮影した多数のサンプル画像を用いて、畳み込み型ニューラルネットワークにそれらのサンプル画像における積雪の状況（例えば、積雪の有無や積雪の程度）をあらかじめ学習させる。かかる学習により、畳み込み型ニューラルネットワークは、融雪画像に基づいて積雪の状況を適切に評価することが可能となる。したがって、畳み込み型ニューラルネットワークの評価結果に基づく融雪制御により、積雪の状況に適切に応じた融雪制御が可能となる。   According to the snow melting control device, the snow melting control method, and the snow melting control program according to the first to third aspects of the present invention, the condition of snow accumulation is evaluated by a convolutional neural network. Then, the ability of the snow melting means to melt snow is changed based on the evaluation value output from the convolutional neural network. The convolutional neural network is used after learning by deep learning so that snow conditions can be appropriately evaluated from the snowmelt image. Specifically, using a large number of sample images obtained by photographing various snow conditions, the convolutional neural network is made to learn in advance the snow conditions (for example, the presence or absence of snow and the degree of snow) in those sample images. With this learning, the convolutional neural network can appropriately evaluate the snow cover state based on the snowmelt image. Therefore, the snow melting control based on the evaluation result of the convolutional neural network enables the snow melting control appropriately according to the snow cover condition.

また、本発明においては、前記畳み込み型ニューラルネットワークが、前記融雪画像を形成する複数の画像領域のそれぞれに関して、積雪の有無を示す値として前記評価値を出力し、前記積雪評価手段が、前記複数の画像領域に関する複数の前記評価値に基づいて前記融雪の場所における積雪の状況を評価することが好ましい。これによると、融雪画像中の小さい領域のそれぞれを畳み込み型ニューラルネットワークによる評価対象の一単位とする。評価対象の一単位が画像中の小領域であるため、例えば融雪画像全体をかかる一単位とする場合と比べ、一単位内に含まれる情報量が小さくなる。したがって、評価の精度を落とさずに、必要な畳み込み型ニューラルネットワークを小規模化でき、計算量の削減を実現できる。   In the present invention, the convolutional neural network outputs the evaluation value as a value indicating the presence or absence of snow for each of the plurality of image regions forming the snow melting image, and the snow accumulation evaluating means includes the plurality of snow accumulation evaluating means. It is preferable to evaluate the state of snow accumulation at the snow melting location based on the plurality of evaluation values relating to the image area. According to this, each small area in the snowmelt image is set as a unit to be evaluated by the convolutional neural network. Since one unit of the evaluation target is a small area in the image, for example, the amount of information included in one unit is smaller than in the case where the entire snowmelt image is set as one unit. Therefore, the necessary convolutional neural network can be reduced in scale without reducing the accuracy of evaluation, and the amount of calculation can be reduced.

また、本発明においては、前記積雪評価手段が、前記複数の画像領域のそれぞれに関して、前記融雪手段による融雪の実効性を、撮影タイミングが互いに異なる少なくとも２つの前記融雪画像に基づいて評価すると共に、前記積雪の状況を評価する際に、前記評価値による前記積雪の状況の評価への影響の度合いを、前記融雪の実効性に応じて調整することが好ましい。融雪の場所に駐車車両がある場合等、融雪画像の一部に、融雪手段による融雪の効果が反映しない領域が含まれるおそれがある。これに対し、上記によると、画像領域のそれぞれに関し、撮影タイミングが異なる２つの融雪画像に基づいて融雪の実効性を評価する。つまり、画像中の各領域において融雪の効果が反映されているか否かを評価する。そして、評価した融雪の実効性に基づいて、各領域の評価値が積雪の状況の評価に影響する度合いを調整する。したがって、融雪の実効性に応じて適切に融雪制御を実施できる。   In the present invention, the snow accumulation evaluation means evaluates the effectiveness of the snow melting by the snow melting means for each of the plurality of image regions based on at least two snow melting images having different shooting timings, When evaluating the snow condition, it is preferable to adjust the degree of influence of the evaluation value on the evaluation of the snow condition according to the effectiveness of the snow melting. When there is a parked vehicle at the place of snow melting, there is a possibility that an area where the effect of snow melting by the snow melting means is not reflected is included in a part of the snow melting image. On the other hand, according to the above, the effectiveness of snow melting is evaluated based on two snow melting images having different shooting timings for each of the image areas. That is, it is evaluated whether or not the effect of snow melting is reflected in each region in the image. Then, based on the effectiveness of the evaluated snow melting, the degree to which the evaluation value of each region affects the evaluation of the snow condition is adjusted. Therefore, snow melting control can be appropriately performed according to the effectiveness of snow melting.

また、本発明においては、第１〜第ｎ（ｎ：２以上の自然数）の制御内容から前記融雪制御手段に実行させる制御内容を所定の基準値に基づいて選択する制御内容選択手段と、前記所定の基準値を更新する基準値更新手段とをさらに備えており、前記融雪制御手段が、可変の、又は一定の時間間隔ごとに前記制御内容選択手段が選択した制御内容を実行するように構成されており、前記所定の基準値が、前記評価値に基づくパラメータ、環境条件を示すパラメータ、及び、現在までの一定期間内における前記融雪手段の稼働状況を示すパラメータの少なくとも３つのパラメータによって規定される時点ｔの状態をｓtで表すときに、状態ｓtにおいて第ｐ（ｐ：ｎ以下の自然数）の制御内容を実行することの有効性を示す、Ｑ（ｓt，ｐ）で表されるＱ値であり、前記基準値更新手段が、時点ｔにおいて第ｋ（ｋ：ｎ以下の自然数）の制御内容を前記融雪制御手段が実行した結果、状態がｓtからｓt+1に遷移した場合に、前記評価値が示す積雪の状況が積雪なしに近いほど高く、且つ、前記融雪手段の稼働状況において稼働量が多いほど低い値を有する報酬ｒt+1を含む下記数式に基づいてＱ（ｓt，ｋ）を更新することが好ましい。
（数式）
ただし、αは学習率、γは割引率である。 In the present invention, the control content selection means for selecting the control content to be executed by the snow melting control means from the control content of the first to nth (n: natural number of 2 or more) based on a predetermined reference value; And a reference value updating means for updating a predetermined reference value, wherein the snow melting control means executes the control content selected by the control content selection means at variable or constant time intervals. The predetermined reference value is defined by at least three parameters: a parameter based on the evaluation value, a parameter indicating an environmental condition, and a parameter indicating the operating status of the snow melting means within a certain period until now. Table in the effectiveness of executing a control content of: (n a natural number equal to or less than p), Q (s t, p) the state at the time t when expressed by s t, the p in the state s t that A Q value, the reference value updating means, the k at time t (k: n a natural number equal to or smaller than) the results of the control contents executed said snow melting control means, the state from s t in s t + 1 Based on the following formula including a reward r t + 1 that is higher when the snow condition indicated by the evaluation value is closer to no snow when the transition is made, and has a lower value as the operation amount is larger in the operation condition of the snow melting means. It is preferable to update Q (s t , k).
(Formula)
Where α is the learning rate and γ is the discount rate.

これによると、上記数式に基づく更新により、高い報酬を得られる状態に到達可能な状態のＱ値が高くなるように更新がなされる。制御は、大きなＱ値に対応する方が高確率で選ばれるように行われる。したがって、積雪がない状態であって、且つ、稼働量が少ない状態へと状態が遷移するような制御が選択されるように適切な学習がなされる。   According to this, the update based on the above mathematical formula is performed so that the Q value in a state where a state where a high reward can be obtained can be reached is increased. The control is performed such that the one corresponding to the large Q value is selected with high probability. Accordingly, appropriate learning is performed so that the control is selected such that the state transitions to a state where there is no snow accumulation and the amount of operation is small.

また、本発明においては、外気の温度、外気の湿度、外気圧及び路面温度の少なくともいずれかを前記環境条件として取得する環境条件取得手段をさらに備えていることが好ましい。これによると、Ｑ学習における状態を規定する環境条件を適時、取得できる。   In the present invention, it is preferable to further include environmental condition acquisition means for acquiring at least one of the temperature of the outside air, the humidity of the outside air, the outside air pressure, and the road surface temperature as the environmental condition. According to this, it is possible to acquire the environmental conditions that define the state in Q learning in a timely manner.

また、本発明においては、天気予報に関する情報を外部から取得する予報情報取得手段をさらに備えており、前記融雪制御手段が、前記評価値と前記天気予報に関する情報とに基づいて、前記融雪手段が積雪を溶かす能力を変更するタイミングを調整することが好ましい。これによると、天気予報情報に基づき、融雪手段をより適切に制御できる。   The present invention further includes forecast information acquisition means for acquiring information related to the weather forecast from the outside, wherein the snow melting control means is based on the evaluation value and the information related to the weather forecast. It is preferable to adjust the timing for changing the ability to melt snow. According to this, the snow melting means can be more appropriately controlled based on the weather forecast information.

また、本発明においては、前記畳み込み型ニューラルネットワークにおいて、Ａｌｅｘ又はＮｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋが用いられてよい。これによると、最適化手法との適宜の組み合わせにより、ニューラルネットワークの学習が成功しやすくなる。   In the present invention, Alex or Network in Network may be used in the convolutional neural network. According to this, learning of the neural network becomes easy to succeed by an appropriate combination with the optimization method.

本発明の別の観点において、本発明のニューラルネットワークの学習方法は、本発明に係る融雪制御装置に用いられる畳み込み型ニューラルネットワークを学習させる方法であって、積雪のある場所の画像及び積雪のない場所の画像並びにこれらの画像における積雪の有無に関するクラス分けを示す訓練データに基づいて、前記畳み込み型ニューラルネットワークを学習させる。これにより、積雪の有無を適切に評価するようにニューラルネットワークを学習させることができる。   In another aspect of the present invention, a learning method for a neural network according to the present invention is a method for learning a convolutional neural network used in a snow melting control device according to the present invention, and includes an image of a place where there is snow and no snow accumulation. The convolutional neural network is trained on the basis of training data indicating the classification of the images of places and the presence or absence of snow in these images. Thereby, the neural network can be learned so as to appropriately evaluate the presence or absence of snow.

また、本発明においては、前記畳み込み型ニューラルネットワークにおいてＡｌｅｘが用いられており、ＳＧＤ、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ、ＡｄａＤｅｌｔａ、Ａｄａｍ及びＮｅｓｔｅｒｏｖＡＧのいずれかの最適化手法を用いて前記畳み込み型ニューラルネットワークを学習させることが好ましい。これによると、画像を用いた積雪の有無の学習が比較的成功しやすい。   In the present invention, Alex is used in the convolutional neural network, and the convolutional neural network is trained using any one of SGD, momentumSGD, AdaGrad, AdaDelta, Adam, and NesterovAG optimization methods. Is preferred. According to this, learning about the presence or absence of snow using images is relatively easy to succeed.

また、本発明においては、前記畳み込み型ニューラルネットワークにおいてＮｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋが用いられており、ＳＧＤ、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ、及びＮｅｓｔｅｒｏｖＡＧのいずれかの最適化手法を用いて前記畳み込み型ニューラルネットワークを学習させることが好ましい。これによると、画像を用いた積雪の有無の学習が比較的成功しやすい。   Further, in the present invention, Network in Network is used in the convolutional neural network, and the convolutional neural network can be learned using any one of SGD, momentumSGD, AdaGrad, and NesterovAG optimization methods. preferable. According to this, learning about the presence or absence of snow using images is relatively easy to succeed.

また、本発明においては、積雪のある場所を含む画像と積雪のない場所を含む画像のそれぞれから、各画像を分割した複数の分割画像を生成するステップと、前記複数の分割画像及びこれらの画像における積雪の有無に関するクラス分けを示す訓練データに基づいて、前記畳み込み型ニューラルネットワークを学習させるステップとを備えていることが好ましい。これによると、元の画像を分割した画像に基づいて学習がなされる。このように、分割した画像を学習に用いると、元の画像全体に基づいて学習する場合と比べ、訓練データに用いる一単位の画像内に含まれる情報量が小さくなる。したがって、学習サンプルを多数確保することができ、畳み込み型ニューラルネットワークを学習させやすくなる。   Further, in the present invention, a step of generating a plurality of divided images obtained by dividing each image from each of an image including a place with snow and an image including a place without snow, the plurality of divided images and the images. And learning the convolutional neural network on the basis of training data indicating the classification related to the presence or absence of snow in. According to this, learning is performed based on an image obtained by dividing the original image. As described above, when the divided image is used for learning, the amount of information included in one unit image used for training data is smaller than in the case of learning based on the entire original image. Therefore, a large number of learning samples can be secured, and the convolutional neural network can be easily learned.

本発明の一実施形態である第１の実施形態に係る融雪制御システムの概略構成図である。1 is a schematic configuration diagram of a snow melting control system according to a first embodiment which is an embodiment of the present invention. 第１の実施形態に係るコントローラの機能ブロック図である。It is a functional block diagram of the controller concerning a 1st embodiment. カメラが撮影した元の画像と、畳み込み型ニューラルネットワークに積雪の有無を評価させる画像の一単位となるブロック画像との関係を示す図である。It is a figure which shows the relationship between the original image image | photographed with the camera, and the block image used as one unit of the image which makes a convolution type | mold neural network evaluate the presence or absence of snow. ニューラルネットワークの構造の一例を示す概念図である。It is a conceptual diagram which shows an example of the structure of a neural network. 畳み込み型ニューラルネットワークの構造の一例を示す図である。It is a figure which shows an example of the structure of a convolution type | mold neural network. Ｎｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋの構造の一例を示す図である。It is a figure which shows an example of the structure of Network in Network. Ａｌｅｘの構造の一例を示す図である。It is a figure which shows an example of the structure of Alex. 畳み込みニューラル型ネットワークの学習後の融雪制御システムにロードヒーティング装置を制御させた一実施例に係る制御結果を示す図である。It is a figure which shows the control result which concerns on one Example which made the snow melting control system after learning of a convolution neural network control a road heating apparatus. 本発明の別の一実施形態である第２の実施形態に係るコントローラの機能ブロック図である。It is a functional block diagram of a controller concerning a 2nd embodiment which is another embodiment of the present invention.

［第1の実施形態］
以下、本発明の一実施形態である第１の実施形態に係る融雪制御システム１について、図１〜図５を参照しつつ説明する。融雪制御システム１は、図１に示すように、ロードヒーティング装置２（融雪手段）、カメラ１０（撮影手段）及びコントローラ２０を備えている。ロードヒーティング装置２は、道路や駐車場等を融雪する装置である。以下、融雪の対象となる道路や駐車場の路面を融雪面とする。ロードヒーティング装置２は、融雪面の直下に埋設された温水パイプ３と、温水パイプ３に温水を供給する給湯部４とを有している。温水パイプ３を温水が流れることで舗装部が加熱される。これによって、道路や駐車場に堆積した積雪が融解する。給湯部４は、コントローラ２０から送信される制御信号Ｓに基づいて、温水パイプ３への温水供給のオン・オフ（つまり、ロードヒーティング装置２のオン・オフ）を切り替える。カメラ１０は融雪面を撮影するとともに、融雪面の画像を示す融雪画像データを生成する。融雪画像データは、カメラ１０からコントローラ２０に定期的に入力される。コントローラ２０は、所定の時間が経過するごとに、カメラ１０から入力された最新の融雪画像データに基づいて制御信号Ｓを生成するとともに、生成した制御信号Ｓを給湯部４に送信する。 [First embodiment]
Hereinafter, a snow melting control system 1 according to a first embodiment which is an embodiment of the present invention will be described with reference to FIGS. As shown in FIG. 1, the snow melting control system 1 includes a road heating device 2 (snow melting means), a camera 10 (photographing means), and a controller 20. The road heating device 2 is a device that melts snow on roads, parking lots, and the like. Hereinafter, a road surface of a snow melting target or a road surface of a parking lot is referred to as a snow melting surface. The road heating device 2 includes a hot water pipe 3 embedded immediately below the snow melting surface, and a hot water supply unit 4 that supplies hot water to the hot water pipe 3. As the warm water flows through the hot water pipe 3, the pavement is heated. This melts snow that accumulates on the road and parking lots. The hot water supply unit 4 switches on / off of hot water supply to the hot water pipe 3 (that is, on / off of the load heating device 2) based on the control signal S transmitted from the controller 20. The camera 10 captures the snow melting surface and generates snow melting image data indicating an image of the snow melting surface. The snow melting image data is periodically input from the camera 10 to the controller 20. The controller 20 generates a control signal S based on the latest snowmelt image data input from the camera 10 every time a predetermined time elapses, and transmits the generated control signal S to the hot water supply unit 4.

コントローラ２０についてより詳細に説明する。コントローラ２０は、データの転送処理、演算処理等を実行するプロセッサ、データを記憶するメモリ等の各種の記憶部、各種のインターフェース等のハードウェアを備えている。記憶部にはソフトウェアデータが格納されており、かかるソフトウェアデータに基づいてハードウェアが特定の処理を実行することにより、下記において説明する機能部として機能する。なお、コントローラ２０が実行する一連の処理からなる方法が本発明における融雪制御方法に対応する。また、コントローラ２０の各機能部をハードウェアと協働して実現するソフトウェアからなるプログラムが本発明における融雪制御用プログラムに対応する。   The controller 20 will be described in more detail. The controller 20 includes a processor that executes data transfer processing, arithmetic processing, and the like, various storage units such as a memory that stores data, and hardware such as various interfaces. Software data is stored in the storage unit, and the hardware performs a specific process based on the software data, thereby functioning as a functional unit described below. Note that a method comprising a series of processes executed by the controller 20 corresponds to the snow melting control method in the present invention. Moreover, the program which consists of software which implement | achieves each function part of the controller 20 in cooperation with hardware respond | corresponds to the program for snow melting control in this invention.

コントローラ２０は、図２に示すように、画像分解部２１と、ＣＮＮ部２２と、制御内容決定部２３と、制御信号生成部２４と、算出値記憶部２５を備えている。なお、画像分解部２１、ＣＮＮ部２２及び制御内容決定部２３が本発明の積雪評価手段に対応する。また、制御信号生成部２４が本発明の融雪制御手段に対応する。画像分解部２１は、カメラ１０から入力された画像データから、元の画像を複数個のブロック画像に分解したブロック画像データを生成する。ブロック画像は、図３に示すように、元の画像を縦方向及び横方向のそれぞれに関して複数個に分解した画像である。本実施形態では、ブロック画像の縦のサイズ及び横のサイズは互いに等しい。ブロック画像データは、ＣＮＮ部２２へとそれぞれ入力される。   As shown in FIG. 2, the controller 20 includes an image decomposition unit 21, a CNN unit 22, a control content determination unit 23, a control signal generation unit 24, and a calculated value storage unit 25. The image decomposing unit 21, the CNN unit 22, and the control content determining unit 23 correspond to the snow accumulation evaluation unit of the present invention. Further, the control signal generator 24 corresponds to the snow melting control means of the present invention. The image decomposition unit 21 generates block image data obtained by decomposing an original image into a plurality of block images from the image data input from the camera 10. As shown in FIG. 3, the block image is an image obtained by decomposing the original image into a plurality of parts in each of the vertical direction and the horizontal direction. In this embodiment, the vertical size and the horizontal size of the block image are equal to each other. The block image data is input to the CNN unit 22 respectively.

ＣＮＮ部２２は、画像分解部２１から入力されたブロック画像データのそれぞれについて、積雪があるか否かに対応する評価値を示す評価値データを生成する。ＣＮＮ部２２は、畳み込み型ニューラルネットワーク（以下、ＣＮＮ（Convolutional Neural Network）とする。）に従った演算を実行する演算処理部である。ＣＮＮは、図４に示すように、複数のユニットからなる複数の層を備えたニューラルネットワークの一つである。ニューラルネットワークにおいて、各ユニットには、図４の各ユニットを結ぶ線分に示すように、前の層の複数のユニットから出力された値が入力される。各ユニットにおいては、入力された値に所定の演算処理が施されるとともに、その演算処理の結果である値が次の層に出力される。各ユニットにおける演算処理では、前の層からの入力値をｘ1、ｘ2、…ｘU（Ｕ：入力値の総数）とするとき、下記数式１であらわされる出力値ｙが算出される。ｗ1、ｗ2、…、ｗUは重みであり、ｂはバイアスである。関数ｆは活性化関数である。数式２〜４は、それぞれ、活性化関数の一例である。出力値ｙは次の層へと出力される。
（数式１）
（数式２）
（数式３）
（数式４）
The CNN unit 22 generates evaluation value data indicating an evaluation value corresponding to whether or not there is snow for each of the block image data input from the image decomposition unit 21. The CNN unit 22 is an arithmetic processing unit that executes arithmetic operations according to a convolutional neural network (hereinafter referred to as CNN (Convolutional Neural Network)). As shown in FIG. 4, CNN is one of neural networks having a plurality of layers composed of a plurality of units. In the neural network, the values output from a plurality of units in the previous layer are input to each unit, as indicated by the line segment connecting the units in FIG. In each unit, a predetermined calculation process is performed on the input value, and a value as a result of the calculation process is output to the next layer. In the calculation process in each unit, x 1, x 2 input values from the previous layer, ... x U (U: total number of input values) to time, the output value y is calculated represented by the following Equation 1. w 1 , w 2 ,..., w U are weights, and b is a bias. The function f is an activation function. Equations 2 to 4 are examples of activation functions, respectively. The output value y is output to the next layer.
(Formula 1)
(Formula 2)
(Formula 3)
(Formula 4)

ＣＮＮ部２２のＣＮＮは、図５にその一例を示すように、畳み込み層２０１及びプーリング層２０２を含んでいる。ネットワークの構造によっては、正規化層２０３及び全結合層２０４が含まれる場合もある。ネットワークの構造としては、Network in Network、AlexNet、GoogLeNet、VGGNet、Clarifi等が用いられてよい。ＣＮＮ部２２のＣＮＮにはカメラ１０から融雪画像データが入力される。この入力データは、畳み込み層２０１、プーリング層２０２、正規化層２０３及び全結合層２０４の各層において所定の処理が施され、次の層へと出力される。出力層２０５は、前の層からの出力データを演算して２つの評価値を示す評価値データを出力する。各層には数式１に示す重みｗ1、ｗ2、…、ｗU及びバイアスｂがユニットごとに独立に設定されており、各ユニットはその重み及びバイアスを用いて入力データに演算処理を施す。これらの重み及びバイアスは、（１）出力層２０５から出力される２つの評価値の一方がＣＮＮ部２２への入力画像を「積雪あり」と分類できる確率を示し、（２）２つの評価値の他方がＣＮＮ部２２への入力画像を「積雪なし」と分類できる確率を示すように、後述のディープラーニングによってあらかじめ学習された値を有している。 The CNN of the CNN unit 22 includes a convolution layer 201 and a pooling layer 202 as shown in FIG. Depending on the structure of the network, the normalization layer 203 and the total coupling layer 204 may be included. As a network structure, Network in Network, AlexNet, GoogLeNet, VGGNet, Clarifi, etc. may be used. Snow melting image data is input from the camera 10 to the CNN of the CNN unit 22. The input data is subjected to predetermined processing in each of the convolution layer 201, the pooling layer 202, the normalization layer 203, and the total coupling layer 204, and is output to the next layer. The output layer 205 computes output data from the previous layer and outputs evaluation value data indicating two evaluation values. In each layer, weights w 1 , w 2 ,..., W U and bias b shown in Equation 1 are set independently for each unit, and each unit performs arithmetic processing on input data using the weight and bias. These weights and biases indicate (1) the probability that one of the two evaluation values output from the output layer 205 can classify the input image to the CNN unit 22 as “with snow”, and (2) two evaluation values The other has a value learned in advance by deep learning, which will be described later, to indicate the probability that the input image to the CNN unit 22 can be classified as “no snow”.

以下、各層について説明する。畳み込み層２０１の各ユニットには、前の層において処理された画像データが入力される。このデータが示す入力画像のチャンネル数をＫとし、入力画像の大きさを縦Ｗ×横Ｗとする。例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つのチャンネルによって入力画像が構成されている場合、Ｋ＝３となる。入力画像の画素値をｘijkと表すものとする。ｉ，ｊはそれぞれ、０からＷ−１までのいずれかの整数を取る。ｋは、０からＫ−１までのいずれかの整数を取る。つまり、ｘijkは、入力画像中のチャンネルｋにおける位置（ｉ，ｊ）の画素値に対応する。畳み込み層２０１の各ユニットは、下記数式５で示す演算を入力画像に施し、これによって生成された画像を出力する。下記式におけるｙijmは、出力画像中のチャンネルｍにおける位置（ｉ，ｊ）の画素値に対応する。ｍは、Ｍを出力画像のチャンネル数とするとき、０からＭ−１までのいずれかの整数を取る。
（数式５）
Hereinafter, each layer will be described. The image data processed in the previous layer is input to each unit of the convolution layer 201. The number of channels of the input image indicated by this data is K, and the size of the input image is W × W. For example, when an input image is composed of three channels of red (R), green (G), and blue (B), K = 3. Let the pixel value of the input image be represented as x ijk . i and j each take any integer from 0 to W-1. k takes any integer from 0 to K-1. That is, x ijk corresponds to the pixel value at position (i, j) in channel k in the input image. Each unit of the convolution layer 201 performs an operation represented by Equation 5 below on the input image and outputs an image generated thereby. Y ijm in the following equation corresponds to the pixel value at position (i, j) in channel m in the output image. m takes any integer from 0 to M−1, where M is the number of channels of the output image.
(Formula 5)

なお、数式５において、ｉ，ｊ，ｍはいずれも０以上の整数を取る。また、Ｈ（＜Ｗ）はフィルタｈpqkmのサイズであり、ｂijmはバイアスである。数式５のΣの積算において、ｉ＋ｐ≧Ｗ、又はｊ＋ｑ≧Ｗの範囲は、ｘijkの定義域外である。このため、ｉ＋ｐ≧Ｗ、又はｊ＋ｑ≧Ｗの範囲においては、数式５中のｘi+p,j+q,kが０に置き換えられて演算がなされる。これは、ゼロパディングと呼ばれる。 In Equation 5, i, j, and m all take an integer of 0 or more. H (<W) is the size of the filter hpqkm , and bijm is the bias. In the integration of Σ in Equation 5, the range of i + p ≧ W or j + q ≧ W is outside the definition range of x ijk . For this reason, in the range of i + p ≧ W or j + q ≧ W, x i + p, j + q, k in Equation 5 is replaced with 0, and calculation is performed. This is called zero padding.

上式により、出力値は、チャンネル数がＭである縦Ｗ×横Ｗの大きさの画像を示すこととなる。なお、下記数式６に示すように、入力値にフィルタをかける間隔を２以上とすることにより、出力値が示す画像の縦横のサイズが入力値より小さくなってもよい。ｓ（２以上の自然数）はストライドであり、入力値にフィルタをかける間隔を表す。
（数式６）
According to the above formula, the output value indicates an image having a size of vertical W × horizontal W in which the number of channels is M. In addition, as shown in the following Expression 6, the vertical and horizontal sizes of the image indicated by the output value may be smaller than the input value by setting the interval for filtering the input value to 2 or more. s (a natural number of 2 or more) is a stride and represents an interval for filtering an input value.
(Formula 6)

プーリング層２０２の各ユニットには、前の層（通常、畳み込み層２０１）において処理された画像が入力される。各ユニットは、入力画像におけるチャンネルごとに、入力画像の画素値に基づいて算出された画素からなる画像を出力する。したがって、出力画像のチャンネル数は入力画像のチャンネル数と同じである。出力画素における位置（ｉ，ｊ）の画素値は、入力画像における（ｉ，ｊ）の画素を中心とする縦Ｈ×横Ｈの領域に含まれるＨ2個の画素値に基づいて算出される。出力画素値の算出方法として、最大プーリング及び平均プーリングがある。最大プーリングでは、チャンネルｋにおける位置（ｉ，ｊ）の出力画像の画素値ｙijkを、下記数式７に示すように、Ｈ2個の入力画素値のうちの最大値とする。Ｐijは、（ｉ，ｊ）の画素を中心とする縦Ｈ×横Ｈの領域に含まれる入力画素の集合とする。
（数式７）
Each unit of the pooling layer 202 receives an image processed in the previous layer (usually the convolution layer 201). Each unit outputs an image composed of pixels calculated based on the pixel value of the input image for each channel in the input image. Therefore, the number of channels of the output image is the same as the number of channels of the input image. The pixel value at the position (i, j) in the output pixel is calculated based on the H 2 pixel values included in the vertical H × horizontal H region centered on the pixel (i, j) in the input image. . As a calculation method of the output pixel value, there are maximum pooling and average pooling. In the maximum pooling, the pixel value y ijk of the output image at the position (i, j) in the channel k is set to the maximum value among the H 2 input pixel values as shown in the following Equation 7. P ij is a set of input pixels included in a vertical H × horizontal H region centered on the pixel of (i, j).
(Formula 7)

平均プーリングでは、ｙijkを、下記式に示すように、Ｈ2個の画素値のうちの平均値とする。
（数式８）
In average pooling, y ijk is an average value of H 2 pixel values as shown in the following equation.
(Formula 8)

なお、プーリング層２０２においても、畳み込み層２０１と同様、２以上のストライドが設定されてもよい。この場合、出力画像の縦×横のサイズは入力画像の縦×横のサイズより小さくなる。   Also in the pooling layer 202, two or more strides may be set as in the convolution layer 201. In this case, the vertical x horizontal size of the output image is smaller than the vertical x horizontal size of the input image.

正規化層２０３は、入力画像に対して局所コントラスト正規化を施し、これを施した画像を出力する。局所コントラスト正規化には減算正規化と除算正規化とがある。減算正規化においては、チャンネルｋにおける位置（ｉ，ｊ）の入力画像の画素値ｘijkに対し、チャンネルｋ（ｋ＝０，１，…Ｋ−１）における位置（ｉ，ｊ）の出力画像の画素値ｙijkが以下の数式９及び１０に基づいて算出される。なお、ここでのＰijは、位置（ｉ，ｊ）を中心とする所定の大きさの局所的領域に含まれる入力画素の集合とする。ｗpqは重みである。
（数式９）
（数式１０）
The normalization layer 203 performs local contrast normalization on the input image and outputs an image on which this has been performed. Local contrast normalization includes subtraction normalization and division normalization. In the subtraction normalization, the output image at the position (i, j) in the channel k (k = 0, 1,... K−1) with respect to the pixel value x ijk of the input image at the position (i, j) in the channel k. The pixel value y ijk is calculated based on the following formulas 9 and 10. Here, P ij is a set of input pixels included in a local area having a predetermined size centered on the position (i, j). w pq is a weight.
(Formula 9)
(Formula 10)

除算正規化においては、ｙijkが以下の数式１１及び１２に基づいて算出される。ｃは定数、ｗpqkは重みである。
（数式１１）
（数式１２）
In division normalization, y ijk is calculated based on the following equations 11 and 12. c is a constant, and w pqk is a weight.
(Formula 11)
(Formula 12)

全結合層２０４の各ユニットには、前の層の全ユニットからの出力値が入力される。全結合層２０４の各ユニットは、数式１に従ってこれらの入力値に演算を施し、演算結果を出力する。   The output values from all the units in the previous layer are input to each unit in all the coupling layers 204. Each unit of all coupling layers 204 performs an operation on these input values according to Equation 1 and outputs the operation result.

出力層２０５の各ユニットには、前の層の全ユニットからの出力値が入力される。出力層２０５のｉ番目のユニットからの出力値ｙi（ｉ＝１，２）は、下記数式１３に示すように算出される。Ｕは、前の層からの入力値の総数である。Ｖは、出力層２０５のユニット数（＝２）である。ｘ1、ｘ2、…ｘUは、前の層のユニットから入力される入力値である。ｗi1、ｗi2、…ｗiuは、出力層２０５のｉ番目のユニットにおける重みである。ｂiは、出力層２０５のｉ番目のユニットにおけるバイアスである。上記の通り、２つの評価値ｙ1及びｙ2の一方はＣＮＮ部２２への入力画像を「積雪あり」に分類できる確率を示し、他方は入力画像を「積雪なし」に分類できる確率を示す。以下、ｙ1を「積雪あり」側の評価値とし、ｙ2を「積雪なし」側の評価値とする。数式１３より、ｙ1及びｙ2の合計は１である。
（数式１３）
The output values from all units in the previous layer are input to each unit in the output layer 205. An output value y i (i = 1, 2) from the i-th unit of the output layer 205 is calculated as shown in Equation 13 below. U is the total number of input values from the previous layer. V is the number of units of the output layer 205 (= 2). x 1 , x 2 ,... x U are input values input from the unit of the previous layer. w i1 , w i2 ,... w iu are weights in the i-th unit of the output layer 205. b i is a bias in the i-th unit of the output layer 205. As described above, one of the two evaluation values y 1 and y 2 indicates the probability that the input image to the CNN unit 22 can be classified as “with snow”, and the other indicates the probability that the input image can be classified as “without snow”. . Hereinafter, y 1 is an evaluation value on the “with snow” side, and y 2 is an evaluation value on the “no snow” side. From Equation 13, the sum of y 1 and y 2 is 1.
(Formula 13)

制御内容決定部２３は、ロードヒーティング装置２の制御内容を決定する。制御内容決定部２３は、まず、ＣＮＮ部２２が出力するｙ1及びｙ2に基づいて、ブロック画像データごとに積雪の有無を判定する。ｙ1＞ｙ2のときに判定結果は「積雪あり」となり、ｙ1＜ｙ2のときに判定結果は「積雪なし」となる。あるいは、ｙ1の確率で「積雪あり」と判定され、ｙ2の確率で「積雪なし」と判定されるように、確率的に判定がなされてもよい。制御内容決定部２３は算出値記憶部２５に判定結果を記憶させる。算出値記憶部２５には、ブロック画像データごとに、制御内容決定部２３によって現在までに「積雪あり」と判定された全回数Ｎ1と「積雪なし」と判定された全回数Ｎ2とが蓄積される。 The control content determination unit 23 determines the control content of the road heating device 2. First, the control content determination unit 23 determines the presence or absence of snow for each block image data based on y 1 and y 2 output from the CNN unit 22. The determination result is “with snow” when y 1 > y 2 , and the determination result is “without snow” when y 1 <y 2 . Alternatively, the determination may be made probabilistically so that “snow is present” is determined with the probability of y 1 and “no snow” is determined with the probability of y 2 . The control content determination unit 23 stores the determination result in the calculated value storage unit 25. The calculated value storage unit 25 stores, for each block image data, the total number N 1 determined to be “with snow” by the control content determination unit 23 and the total number N 2 determined to be “no snow” to date. Accumulated.

また、制御内容決定部２３は、各ブロック画像データについてロードヒーティングがある確率を算出する。具体的には、制御内容決定部２３は、下記数式１４に基づいて、各ブロック画像におけるロードヒーティングがある確率Ｐ（ＲＨ）を算出する。Ｐ（ＯＮ）は、ロードヒーティング装置２において、温水パイプ３への温水供給がオンになってからの経過時間が一定時間以上である確率である。温水パイプ３への温水供給がオンになってからの経過時間が一定時間以上である場合にはＰ（ＯＮ）＝１とする。Ｐ（雪なし）は、その時点までになされた積雪の有無に関する判定のうち、積雪なしと判定された確率である。この確率は、算出値記憶部２５に記憶された上記Ｎ1及びＮ2を用いて、Ｎ2／（Ｎ1＋Ｎ2）と表される。Ｐ（雪なし｜ＯＮ）は、その時点までになされた積雪の有無に関する上記判定のうち、温水パイプ３への温水供給がオンになってからの経過時間が一定時間以上であるときに積雪なしとされた確率である。この確率は、後述の通り、制御内容決定部２３が算出値記憶部２５に記憶させるＮ3及び上記Ｎ2を用いて、Ｎ3／Ｎ2と表される。
（数式１４）
Moreover, the control content determination part 23 calculates the probability that there is load heating for each block image data. Specifically, the control content determination unit 23 calculates the probability P (RH) that there is load heating in each block image based on the following Equation 14. P (ON) is a probability that the elapsed time from when the hot water supply to the hot water pipe 3 is turned on in the road heating device 2 is a certain time or more. P (ON) = 1 is set when the elapsed time after the hot water supply to the hot water pipe 3 is turned on is longer than a certain time. P (no snow) is the probability that it was determined that there was no snow among the determinations regarding whether or not there was snow before that point. This probability is expressed as N 2 / (N 1 + N 2 ) using the N 1 and N 2 stored in the calculated value storage unit 25. P (no snow | ON) means that no snow is accumulated when the elapsed time from when the hot water supply to the hot water pipe 3 is turned on is longer than a certain time in the above determination regarding the presence or absence of snow. It is the probability that was taken. As will be described later, this probability is expressed as N 3 / N 2 by using N 3 stored in the calculated value storage unit 25 by the control content determination unit 23 and the above N 2 .
(Formula 14)

このように算出されたＰ（ＲＨ）は、そのブロック画像においてロードヒーティングがある確率、つまり、ロードヒーティング装置２による融雪の実効性がブロック画像の積雪の状態に表れている確率を示す。この確率は、上記の通り、過去になされた積雪の有無の複数の判定結果に基づいて算出される。過去の複数の判定結果は、撮影タイミングが互いに異なる複数の融雪画像に基づいてなされる。よって、Ｐ（ＲＨ）を算出することは、ロードヒーティング装置２による融雪の実効性を、撮影タイミングが互いに異なる複数の融雪画像に基づいて評価することに対応する。   P (RH) calculated in this way indicates the probability that there is road heating in the block image, that is, the probability that the effectiveness of snow melting by the load heating device 2 appears in the snow accumulation state of the block image. As described above, this probability is calculated based on a plurality of determination results on the presence or absence of snow cover made in the past. A plurality of past determination results are made based on a plurality of snowmelt images having different shooting timings. Therefore, calculating P (RH) corresponds to evaluating the effectiveness of snow melting by the road heating device 2 based on a plurality of snow melting images having different shooting timings.

さらに、制御内容決定部２３は、ＣＮＮ部２２が出力した評価値ｙ1及びＰ（ＲＨ）に基づき、下記数式１５で示されるＪを算出する。数式１５において、Ｐ（ＳＮＯＷ）はｙ1に等しい。また、Σは、全ブロック画像データに関する和を示す。数式１５に示すように、Ｊは、各ブロック画像に関してＣＮＮ部２２が算出した評価値ｙ1を、各ブロック画像において算出されたＰ（ＲＨ）に従って調整した値である。つまり、Ｊを算出することは、評価値ｙ1による積雪状況の評価への影響の度合いを、融雪の実効性を示すＰ（ＲＨ）に応じて調整することに対応する。そして、制御内容決定部２３は、Ｊが所定の閾値を上回っている場合に、ロードヒーティング装置２をオンに制御することを決定する。一方、制御内容決定部２３は、Ｊが所定の閾値以下である場合に、ロードヒーティング装置２をオフに制御することを決定する。制御内容決定部２３によるロードヒーティング装置２のオン・オフ制御の決定結果は制御信号生成部２４に出力される。 Furthermore, the control content determination unit 23 calculates J represented by the following formula 15 based on the evaluation value y 1 and P (RH) output from the CNN unit 22. In Equation 15, P (SNOW) is equal to y 1 . Further, Σ represents a sum related to all block image data. As shown in Equation 15, J is a value obtained by adjusting the evaluation value y 1 calculated by the CNN unit 22 for each block image according to P (RH) calculated for each block image. In other words, calculating J corresponds to adjusting the degree of influence of the evaluation value y 1 on the evaluation of the snow cover state according to P (RH) indicating the effectiveness of snow melting. Then, the control content determination unit 23 determines to control the load heating apparatus 2 to be turned on when J exceeds a predetermined threshold. On the other hand, the control content determination unit 23 determines that the load heating apparatus 2 is controlled to be turned off when J is equal to or less than a predetermined threshold. The determination result of the on / off control of the load heating device 2 by the control content determination unit 23 is output to the control signal generation unit 24.

なお、制御内容決定部２３は、ロードヒーティング装置２をオンに制御する決定が一定時間以上続いた後に、算出値記憶部２５の記憶内容に基づいて、「積雪なし」と判定された回数を各ブロック画像データに関してカウントする。カウント結果Ｎ3は、ブロック画像データごとに算出値記憶部２５に記憶される。
（数式１５）
The control content determination unit 23 determines the number of times that “no snow” has been determined based on the storage content of the calculated value storage unit 25 after the determination to turn on the road heating device 2 continues for a certain period of time or longer. Count for each block image data. The count result N 3 is stored in the calculated value storage unit 25 for each block image data.
(Formula 15)

制御信号生成部２４は、制御内容決定部２３の決定結果に従って、ロードヒーティング装置２の給湯部４を制御する制御信号Ｓを生成する。制御信号Ｓは、ロードヒーティング装置２へと送信される。   The control signal generation unit 24 generates a control signal S for controlling the hot water supply unit 4 of the road heating device 2 according to the determination result of the control content determination unit 23. The control signal S is transmitted to the load heating device 2.

以下、ＣＮＮ部２２が備えているＣＮＮに対する学習方法について説明する。ＣＮＮの学習は、ディープラーニングによって行われる。この学習は、例えば、Ｎ個のサンプル画像とＮ個の評価値とからなる訓練データに基づく。Ｎ個のサンプル画像は、道路、駐車場、地面等のさまざまな場所を撮影した画像である。各画像は、「積雪あり」と「積雪なし」とのいずれかに分類されている。Ｎ個の評価値はＮ個のサンプル画像と一対一に対応し、各サンプル画像の「積雪あり」／「積雪なし」の分類を示す。学習は、下記数式１６に示される誤差関数Ｅを極小にするように重みベクトルｗを最適化することによってなされる。なお、重みベクトルｗは、ＣＮＮのすべての層におけるすべての重みを要素とするベクトルを示すものとする。下記数式において、太字のｗは重みベクトルを表す。太字のｘnは、訓練データにおけるｎ番目（ｎ：Ｎ以下の自然数）のサンプル画像の画素値を要素とするベクトルｘnを示す。ｙk（ｋ：Ｋ（＝２）以下の自然数）は、ベクトルｘnの全要素をＣＮＮの入力層への入力値とした場合のＣＮＮの出力層におけるｋ番目のユニットからの出力値である。ｄnkは、ｎ番目のサンプル画像に対する評価値を示す。具体的には、ｎ番目のサンプル画像が「積雪あり」の場合は（ｄn1，ｄn2）＝（１，０）であり、ｎ番目のサンプル画像が「積雪なし」の場合は（ｄn1，ｄn2）＝（０，１）である。
（数式１６）
Hereinafter, a learning method for CNN provided in the CNN unit 22 will be described. CNN learning is performed by deep learning. This learning is based on training data composed of N sample images and N evaluation values, for example. N sample images are images of various places such as roads, parking lots, and the ground. Each image is classified as either “with snow” or “without snow”. The N evaluation values have a one-to-one correspondence with the N sample images, and indicate the classification of “with snow” / “without snow” for each sample image. Learning is performed by optimizing the weight vector w so as to minimize the error function E shown in Equation 16 below. The weight vector w represents a vector having all weights in all layers of the CNN as elements. In the following mathematical formula, bold w represents a weight vector. Bold x n indicates a vector x n whose elements are pixel values of the nth (n: natural number less than or equal to N) sample image in the training data. y k (k: natural number less than K (= 2)) is an output value from the kth unit in the output layer of the CNN when all elements of the vector x n are input values to the input layer of the CNN. . d nk indicates an evaluation value for the nth sample image. Specifically, when the n-th sample image is “with snow”, (d n1 , d n2 ) = (1, 0), and when the n-th sample image is “without snow” (d n1 , D n2 ) = (0, 1).
(Formula 16)

学習は、初期値である重みベクトルｗ(1)を適宜設定し、Ｅ（ｗ(t)）よりＥ（ｗ(t+1)）が小さくなるように、例えば下記数式に示す更新式を用いて重みベクトルｗ(t)をｔ＝１、２、３、４、…の順に更新していく最適化によってなされる。
（数式１７）
Learning, by appropriately setting the weight vector w (1) is the initial value, E from E (w (t)) ( w (t + 1)) so that smaller, using the update equation shown for example by the following formula The weight vector w (t) is updated by t = 1, 2, 3, 4,.
(Formula 17)

重みの更新の方法はさまざまである。例えば、各サンプル画像に関して重みベクトルｗ(t)を更新していくバッチ学習と呼ばれる方法がある。この方法では、ｎ番目のサンプル画像に関する下記の誤差関数Ｅnに基づいてなされる。
（数式１８）
There are various ways of updating the weight. For example, there is a method called batch learning in which the weight vector w (t) is updated for each sample image. This method is based on the following error function En for the nth sample image.
(Formula 18)

あるいは、複数個ごとにサンプル画像をひとまとめにしたサンプル集合（ミニバッチ）の単位で最適化がなされる場合もある。この方法では、ｔ番目の更新に対応するミニバッチＤtに関する下記の誤差関数Ｅ’tに基づいてなされる。ＮtはＤtに属するサンプル画像の個数である。
（数式１９）
Alternatively, optimization may be performed in units of a sample set (mini-batch) in which sample images are grouped together for a plurality. This method is based on the following error function E ′ t for the mini-batch D t corresponding to the t th update. N t is the number of sample images belonging to D t .
(Formula 19)

また、過学習の問題を解決するために、重みの更新の際、いわゆる重み減衰や重みの上限の制約が用いられてもよい。また、ＣＮＮの各層において確率的に一部のユニットを無効にするドロップアウトや、誤差関数の微分の効率化が可能なバックプロパゲーションが用いられてもよい。さらに、勾配消失問題を解決するために各種の事前学習がなされてもよい。   In order to solve the problem of overlearning, so-called weight attenuation or upper limit of weight may be used when updating weights. In addition, dropout that disables some of the units in each layer of the CNN and backpropagation that can efficiently differentiate the error function may be used. Further, various prior learnings may be performed to solve the gradient disappearance problem.

最適化の具体的な方法としては、確率的勾配降下法（ＳＧＤ）、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、ＮｅｓｔｅｒｏｖＡＧ等が用いられる。それぞれの重みの更新式は以下の通りである。   As a specific method of optimization, stochastic gradient descent (SGD), momentum SGD, AdaGrad, RMSprop, AdaDelta, NesterovAG and the like are used. The update formula for each weight is as follows.

［ＳＧＤ］
（数式２０）
[SGD]
(Formula 20)

［ｍｏｍｅｎｔｕｍＳＧＤ］
（数式２１）
（数式２２）
[Momentum SGD]
(Formula 21)
(Formula 22)

［ＡｄａＧｒａｄ］
（数式２３）
[AdaGrad]
(Formula 23)

ただし、下記数式で示されるベクトルｇtのｉ番目の成分をｇt,iとする。ｗi (t)は、重みベクトルｗ(t)のｉ番目の成分である。
（数式２４）
However, the i-th component of the vector g t expressed by the following equation is represented by g t, i . w i (t) is the i-th component of the weight vector w (t) .
(Formula 24)

［ＲＭＳｐｒｏｐ］
（数式２５）
[RMSprop]
(Formula 25)

ただし、ｒ(t)は下記数式に従って更新される。
（数式２６）
However, r (t) is updated according to the following mathematical formula.
(Formula 26)

［ＡｄａＤｅｌｔａ］
（数式２７）
[AdaDelta]
(Formula 27)

ただし、ベクトルｖ(t)は、ｒ(t)及びｓ(t)と共に、下記数式２８〜３０に従って更新される。
（数式２８）
（数式２９）
（数式３０）
However, the vector v (t) is updated according to the following formulas 28 to 30 together with r (t) and s (t) .
(Formula 28)
(Formula 29)
(Formula 30)

［Ａｄａｍ］
（数式３１）
[Adam]
(Formula 31)

ただし、ベクトルｖ(t)、ｒ(t)は下記数式に従って更新される。
（数式３２）
（数式３３）
However, the vectors v (t) and r (t) are updated according to the following mathematical formula.
(Formula 32)
(Formula 33)

［ＮｅｓｔｒｏｖＡＧ］
（数式３４）
[NestrovAG]
(Formula 34)

ただし、ベクトルｖ(t)は下記数式に従って更新される。
（数式３５）
However, the vector v (t) is updated according to the following formula.
(Formula 35)

以上説明した第１の実施形態の融雪制御装置によると、ＣＮＮ（畳み込み型ニューラルネットワーク）によって積雪の状況を評価する。そして、ＣＮＮが出力する評価値ｙ1及びｙ2に基づいてロードヒーティング装置２のオン・オフを切り替える。ＣＮＮは、積雪の状況を融雪画像から適切に評価できるようにディープラーニングを用いて学習させた上で用いられる。かかる学習により、ＣＮＮは、カメラ１０によって撮影された融雪画像に基づいて積雪の状況を適切に評価することが可能となる。したがって、ＣＮＮの評価結果（評価値ｙ1及びｙ2）に基づくロードヒーティング装置２の制御により、積雪の状況に適切に応じた融雪制御が可能となる。 According to the snow melting control apparatus of the first embodiment described above, the snow condition is evaluated by CNN (convolutional neural network). Then, the load heating device 2 is switched on / off based on the evaluation values y 1 and y 2 output by the CNN. The CNN is used after learning using deep learning so that the snow condition can be appropriately evaluated from the snowmelt image. With this learning, the CNN can appropriately evaluate the condition of snow accumulation based on the snowmelt image captured by the camera 10. Therefore, by controlling the load heating device 2 based on the evaluation results (evaluation values y 1 and y 2 ) of the CNN, it is possible to perform snow melting control appropriately according to the snow cover condition.

また、本実施形態においては、画像分解部２１がカメラ１０によって撮影された画像をブロック画像に分解する。そして、このブロック画像のそれぞれがＣＮＮ部２２に入力される。つまり、元の画像中の小さい領域のそれぞれをＣＮＮによる評価対象の一単位とする。評価対象の一単位が画像中の小領域であるため、例えば元の画像全体をかかる一単位とする場合と比べ、一単位内に含まれる情報量が小さくなる。したがって、評価の精度を落とさずに、必要な畳み込み型ニューラルネットワークを小規模化でき、計算量の削減を実現できる。   In this embodiment, the image decomposition unit 21 decomposes an image captured by the camera 10 into a block image. Each of the block images is input to the CNN unit 22. That is, each small area in the original image is set as one unit to be evaluated by the CNN. Since one unit of the evaluation target is a small area in the image, for example, the amount of information included in one unit is smaller than when the entire original image is set as one unit. Therefore, the necessary convolutional neural network can be reduced in scale without reducing the accuracy of evaluation, and the amount of calculation can be reduced.

また、本実施形態においては、数式１５に示すＪに基づいてロードヒーティング装置２のオン・オフ制御を決定する。ＣＮＮ部２２は、カメラ１０によって撮影された画像に基づいて評価値ｙ1を算出するが、融雪の場所に駐車車両がある場合等、画像の一部に、ロードヒーティングによる融雪の効果が反映しない領域が含まれるおそれがある。これに対し、上記の通り、Ｊは、ＣＮＮ部２２によって算出された評価値ｙ1を、ロードヒーティングの実効性を示すＰ（ＲＨ）に基づいて調整した結果を反映している。したがって、Ｊに基づく制御により、ロードヒーティングによる融雪の実効性に応じた適切な制御となる。 In the present embodiment, on / off control of the road heating device 2 is determined based on J shown in Equation 15. The CNN unit 22 calculates the evaluation value y 1 based on the image photographed by the camera 10, but the effect of snow melting by road heating is reflected in a part of the image, such as when there is a parked vehicle at the snow melting location. May not be included. On the other hand, as described above, J reflects the result of adjusting the evaluation value y 1 calculated by the CNN unit 22 based on P (RH) indicating the effectiveness of load heating. Therefore, the control based on J provides appropriate control according to the effectiveness of snow melting by road heating.

［第１実施例］
以下、ＣＮＮの学習に関する第１実施例について説明する。第１実施例においては、ＣＮＮ部２２のＣＮＮに対し、以下の条件で学習を実施した。ネットワークは、図６に示すＮｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋと図７に示すＡｌｅｘの２種類を用いた。図６及び図７において、入力と出力の間の各ブロックはネットワークの各層を示す。「ドロップアウト」は、学習の際、ドロップアウトを採用する層を示す。「全結合」は、上下の層同士が全結合であることを示す。「ＲｅＬＵ」は、活性化関数が数式３で示される関数である層を示す。「畳み込み層」の直後の数値は当該層のユニット数を、「フィルタ」の直後の数値はフィルタのサイズを示す。その他の数値は当該層のユニット数を示す。入力画像のチャンネル数は３（Ｒ、Ｇ及びＢ）である。各畳み込み層の出力におけるチャンネル数はいずれも３である。 [First embodiment]
A first embodiment relating to CNN learning will be described below. In the first example, learning was performed on the CNN of the CNN unit 22 under the following conditions. Two types of networks were used: Network in Network shown in FIG. 6 and Alex shown in FIG. 6 and 7, each block between input and output represents each layer of the network. “Dropout” indicates a layer that adopts dropout during learning. “Total bonding” indicates that the upper and lower layers are all bonded. “ReLU” indicates a layer whose activation function is a function represented by Equation 3. The numerical value immediately after the “convolution layer” indicates the number of units in the layer, and the numerical value immediately after the “filter” indicates the size of the filter. Other numbers indicate the number of units in the layer. The number of channels of the input image is 3 (R, G, and B). The number of channels at the output of each convolution layer is three.

最適化手法及びパラメータは以下の７種類を用いた。
［ＳＧＤ］ε＝０．０１
［ｍｏｍｅｎｔｕｍＳＧＤ］ε＝０．０１，μ＝０．９
［ＡｄａＧｒａｄ］ε＝０．０１，δ＝１．０＊１０-8
［ＲＭＳｐｒｏｐ］ε＝０．０１，γ＝０．９９，δ＝１．０＊１０-8
［ＡｄａＤｅｌｔａ］ρ＝０．９５，δ＝１．０＊１０-6
［Ａｄａｍ］α＝０．００１，β1＝０．９，β2＝０．９９９，δ＝１．０＊１０-8
［ＮｅｓｔｒｏｖＡＧ］ε＝０．０１，μ＝０．９ The following seven types of optimization methods and parameters were used.
[SGD] ε = 0.01
[Momentum SGD] ε = 0.01, μ = 0.9
[AdaGrad] ε = 0.01, δ = 1.0 * 10 −8
[RMSprop] ε = 0.01, γ = 0.99, δ = 1.0 * 10 −8
[AdaDelta] ρ = 0.95, δ = 1.0 * 10 −6
[Adam] α = 0.001, β 1 = 0.9, β 2 = 0.999, δ = 1.0 * 10 −8
[NestrovAG] ε = 0.01, μ = 0.9

訓練データ及びテストデータとして、インターネットを通じ、照明や明るさ、道路や駐車場等の条件がさまざまに異なる画像を集めた。そして、これらの各画像を６４×６４ピクセルに分割し、ＣＮＮの学習に用いた。このように、分割した画像を学習に用いると、元の画像中の小領域に対応する画像を用いることになる。このため、元の画像全体に基づいて学習する場合と比べ、訓練データに用いる一単位の画像内に含まれる情報量が小さくなる。したがって、学習サンプルを多数確保することができ、ＣＮＮを学習させやすくなる。次に、分割したそれぞれの画像を「積雪あり」「積雪なし」にクラス分けした。このような「積雪あり」の画像及び「積雪なし」の画像をそれぞれ約１５００枚準備した。「積雪あり」の画像の代表例として、雪が積もりたてのもの、雪上に足跡や轍があるもの、積雪に土などが付着しているもの、積雪の表面が凍っているものが含まれる。「積雪なし」の画像の代表例として、乾いている路面、濡れている路面、壁や電柱、大型車や二輪車等を含む車、木や草などを写したものが含まれる。これら合計３０００枚の画像からランダムに選んだ２７００枚を訓練データとし、残りの３００枚をテストデータとした。２７００枚の訓練データの平均画像を計算し、その平均画像に基づいてＣＮＮの学習を行った。つまり、誤差関数が収束するまで重みの更新を繰り返した。そして、学習後のＣＮＮにテストデータ３００枚の画像を入力し、これらのテストデータのクラス分けと出力値との一致率、再現率、適合率及びＦ値の平均及び分散を評価した。   As training data and test data, we collected images with different conditions such as lighting, brightness, roads and parking lots over the Internet. Each of these images was divided into 64 × 64 pixels and used for CNN learning. As described above, when the divided image is used for learning, an image corresponding to a small region in the original image is used. For this reason, compared with the case where it learns based on the whole original image, the information content contained in one unit image used for training data becomes small. Therefore, a large number of learning samples can be secured, and CNN can be easily learned. Next, each divided image was classified into “with snow” and “without snow”. About 1500 images of “with snow” and “without snow” were prepared. Representative examples of the “with snow” image include those with fresh snow, those with footprints or hail on the snow, those with dirt attached to the snow, and those with a frozen snow surface. Representative images of “no snow” include images of dry roads, wet roads, walls and utility poles, cars including large cars and motorcycles, trees and grass. 2700 randomly selected from these 3000 images were used as training data, and the remaining 300 images were used as test data. An average image of 2700 pieces of training data was calculated, and CNN learning was performed based on the average image. That is, the weight update was repeated until the error function converged. Then, 300 images of test data were input to the learned CNN, and the match rate, recall rate, relevance rate, and F value average and variance of the test data classification and output values were evaluated.

このような一連の学習と一致率等の評価を、上記２種類のネットワーク及び７種類の最適手法を組み合わせた１４通りの条件のそれぞれに関して２０回ずつ行った。その結果を以下の表１及び表２に示す。表１は、Ｎｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋを使用した場合の結果を示す。表２は、Ａｌｅｘを使用した場合の結果を示す。表中、最適化手法の名称直後の括弧内の数値は学習が成功した回数である。一致率は、学習が成功した回における、出力値が示すＣＮＮによる判定結果とテストデータとが一致した回数の割合（％）である。再現率は、実際に積雪がある画像の数に対する積雪ありと判定された画像の数の割合である。適合率は、積雪ありと判定された画像の数に対するその判定が正しかった画像の数の割合である。Ｆ値は、再現率と適合率の調和平均である。表１に示す結果から、ネットワークとしてＮｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋを用いた場合、最適化手法としてＳＧＤ、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ及びＮｅｓｔｅｒｏｖＡＧのいずれかを用いると学習が比較的成功した。また、これらのうち、ＮｅｓｔｒｏｖＡＧを用いた場合に一致率等の値が比較的良好であった。表２に示す結果から、ネットワークとしてＡｌｅｘを用いた場合、最適化手法としてＳＧＤ、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ、ＡｄａＤｅｌｔａ、Ａｄａｍ及びＮｅｓｔｅｒｏｖＡＧを用いると学習が成功した。また、これらのうち、ＮｅｓｔｒｏｖＡＧを用いた場合に一致率等の値が比較的良好であった。さらに、表１及び表２の結果から、ネットワークとしてＡｌｅｘを用いるとともに、最適化手法としてＮｅｓｔｒｏｖＡＧを用いた場合に一致率等の値が最も良好となった。   Such a series of learning and evaluation of the coincidence rate and the like were performed 20 times for each of the 14 conditions in which the two types of networks and the seven types of optimum methods were combined. The results are shown in Tables 1 and 2 below. Table 1 shows the results when using Network in Network. Table 2 shows the results when Alex was used. In the table, the numerical value in parentheses immediately after the name of the optimization method is the number of successful learning. The coincidence rate is a ratio (%) of the number of times that the determination result by the CNN indicated by the output value coincides with the test data at the time when the learning is successful. The recall is the ratio of the number of images determined to have snow to the number of images that actually have snow. The relevance ratio is the ratio of the number of images for which the determination was correct to the number of images determined to have snow. The F value is a harmonic average of recall and precision. From the results shown in Table 1, when Network in Network was used as the network, learning was relatively successful when any of SGD, momentum SGD, AdaGrad, and Nesterov AG was used as the optimization method. Among these, when NestrovAG was used, values such as the coincidence rate were relatively good. From the results shown in Table 2, when Alex was used as the network, learning succeeded when SGD, momentum SGD, AdaGrad, AdaDelta, Adam, and NesterovAG were used as optimization methods. Among these, when NestrovAG was used, values such as the coincidence rate were relatively good. Furthermore, from the results of Tables 1 and 2, when Alex was used as the network and NestrovAG was used as the optimization method, the values such as the matching rate were the best.

（表１）
(Table 1)

（表２）
(Table 2)

［第２実施例］
以下、第１の実施形態に係る融雪制御システム１を用いた融雪制御に関する第２実施例について説明する。ＣＮＮ部２２のＣＮＮについてあらためて学習を行った上で、融雪制御システム１を用いてロードヒーティング装置の制御を２か所で行った。制御は、１月半ばから２月の初旬の期間に行った。コントローラ２０には、Ｒａｓｐｂｅｒｒｙ Ｐｉ財団製のＲａｓｐｂｅｒｒｙ Ｐｉ ２ ｍｏｄｅｌ Ｂ（以下、Ｒａｓｐｂｅｒｒｙ Ｐｉとする。）を用いた。また、カメラ１０としてＲａｓｐｂｅｒｒｙ Ｐｉ対応のカメラモジュールを採用し、７６８×１０２４ピクセルの撮影モードを使用した。ＣＮＮ部２２のＣＮＮにおいて、ネットワークとしてＡｌｅｘを、最適化手法としてＮｅｓｔｒｏｖＡＧをそれぞれ用いた。 [Second Embodiment]
Hereinafter, a second example of snow melting control using the snow melting control system 1 according to the first embodiment will be described. After learning about the CNN of the CNN unit 22 again, the road heating apparatus was controlled at two locations using the snow melting control system 1. Control was performed from mid-January to the beginning of February. As the controller 20, Raspberry Pi 2 model B (hereinafter referred to as Raspberry Pi) manufactured by Raspberry Pi Foundation was used. In addition, a camera module compatible with Raspberry Pi was adopted as the camera 10, and a shooting mode of 768 × 1024 pixels was used. In the CNN of the CNN unit 22, Alex is used as a network and NestrovAG is used as an optimization method.

ＣＮＮの学習は、独立に３回行った。１回目の学習には、インターネットから入手した画像を６４×６４ピクセルに分割し、「積雪あり」「積雪なし」の画像をそれぞれ約５０００枚ずつ用意した。用意した画像に基づき、ネットワークとしてＡｌｅｘ、最適化手法としてＮｅｓｔｅｒｏｖＡＧを用いた他、第１実施例と同様に学習を行った。２回目の学習は、ロードヒーティング装置が設置された場所で撮影された、「積雪あり」「積雪なし」の画像を約５００枚ずつ1回目の画像に新たに加えつつ、1回目と同様に学習を行った。３回目の学習は、朝方と夕方の薄暗い時間帯の画像を中心に「積雪あり」「積雪なし」の画像を約１００枚ずつ2回目の画像に加えつつ、２回目と同様に学習を行った。   CNN learning was performed three times independently. In the first learning, an image obtained from the Internet was divided into 64 × 64 pixels, and about 5000 images of “with snow” and “without snow” were prepared. Based on the prepared images, learning was performed in the same manner as in the first example except that Alex was used as the network and Nesterov AG was used as the optimization method. The second study is similar to the first study, adding about 500 images of “with snow” and “without snow” taken at the place where the road heating device is installed to the first image. Learned. The third study was conducted in the same way as the second study, adding about 100 images of “with snow” and “no snow” to the second image, centering on the morning and evening dimly lit images. .

３回の学習のそれぞれを行うごとに、学習後の融雪制御システム１を用いてロードヒーティング装置の制御を行った。１回目の学習後の制御結果においては、実際の積雪状態にかかわらず、日中における制御信号生成部２４による判定結果が「積雪あり」となった。その際、積雪状態を正しく認識した割合は５８．０％であった。これは、ロードヒーティング装置による融雪場所に積雪がない状態においても、制御信号生成部２４においてＪが閾値を上回ったためであった。この原因として、１回目の学習において訓練データの量が不足していることや、訓練データとしてインターネット上の画像のみを使用したこと等が考えられた。２回目の学習後の制御結果においては、積雪状態を正しく認識した割合が８９．３％となり、１回目の学習後より正確な判定となった。しかしながら、７時ごろの日の出前後や１７時ごろの日没前後の薄暗くなる時間帯において、制御信号生成部２４の判定が不安定であった。３回目の学習後の制御結果においては、積雪状態を正しく認識した割合が９２．２％となり、薄暗い時間帯においても正確な判定が可能であった。   Each time the learning was performed three times, the road heating apparatus was controlled using the snow melting control system 1 after learning. In the control result after the first learning, the determination result by the control signal generation unit 24 during the day is “with snow” regardless of the actual snow condition. At that time, the rate of correctly recognizing the snow condition was 58.0%. This is because J exceeded the threshold value in the control signal generation unit 24 even when there was no snow at the snow melting place by the road heating device. This was thought to be due to the fact that the amount of training data was insufficient in the first learning and that only images on the Internet were used as training data. In the control result after the second learning, the ratio of correctly recognizing the snow cover state was 89.3%, and the determination was more accurate than after the first learning. However, the determination of the control signal generation unit 24 is unstable in the time zone where the light is dimmed before and after sunrise at around 7 o'clock and before and after sunset at around 17 o'clock. In the control result after the third learning, the rate of correctly recognizing the snow condition was 92.2%, and accurate determination was possible even in a dim time zone.

３回目の学習後の制御内容は、図８に示す通りとなった。図８は、実験１日目〜７日目の融雪場所における積雪状況の時間変化Ａ、数式１５のＪの時間変化Ｂ、Ｊが閾値０．５を超えることでロードヒーティングがオンに制御されている期間Ｃ、及び、降雪センサが降雪を検出した期間Ｄを示している。時間変化Ａは、実験者の目視により「積雪あり」と判定された期間を太い実線で示している。時間変化Ｂは、Ｊに応じた濃淡を有する実線でＪの大きさを示している。Ｊが大きいほど実線が濃い。期間Ｃは、ロードヒーティングがオンにされている期間を実線で示している。期間Ｄは、降雪センサが降雪の存在を検出している期間を実線で示している。なお、一点鎖線で囲まれた時間帯では、夜間において撮影画像がほぼ真黒となり、ＣＮＮ部２２の出力値がほぼゼロとなっていた。   The control content after the third learning is as shown in FIG. FIG. 8 shows that the load heating is turned on when the time change A of the snow condition at the snow melting place on the first day to the seventh day of the experiment, the time change B of J in Formula 15, and J exceeds the threshold value 0.5. Period C during which the snowfall sensor detects snowfall. The time change A indicates a period in which it is determined that “there is snow” by the experimenter's visual observation with a thick solid line. The time change B indicates the magnitude of J by a solid line having a light and shade according to J. The greater the J, the darker the solid line. A period C indicates a period in which the load heating is turned on by a solid line. A period D indicates a period during which the snowfall sensor detects the presence of snowfall with a solid line. It should be noted that in the time zone surrounded by the alternate long and short dash line, the captured image was almost black at night, and the output value of the CNN unit 22 was almost zero.

［第２の実施形態］
以下、本発明の別の一実施形態である第２の実施形態に係る融雪制御システム１００について図９を参照しつつ説明する。融雪制御システム１００は、第1の実施形態に係る融雪制御システム１と共通の構成を多く有しており、これらの共通の構成については上記と同様の符号を付しつつ、その説明を適宜省略する。 [Second Embodiment]
Hereinafter, a snow melting control system 100 according to a second embodiment, which is another embodiment of the present invention, will be described with reference to FIG. The snow melting control system 100 has many configurations common to the snow melting control system 1 according to the first embodiment, and these common configurations are denoted by the same reference numerals as those described above, and descriptions thereof are omitted as appropriate. To do.

融雪制御システム１００は、ロードヒーティング装置２、カメラ１０、温度センサ１１１及びコントローラ１２０を備えている。温度センサ１１１は、融雪の対象となる道路や駐車場の路面である融雪面の温度（以下、路面温度とする。）を検出する。検出結果はコントローラ１２０に入力される。カメラ１０は、融雪面を撮影するとともに、融雪面の画像を示す融雪画像データを生成する。融雪画像データは、カメラ１０からコントローラ１２０に入力される。コントローラ１２０は、温度センサ１１１からの路面温度の検出結果及びカメラ１０からの融雪画像データに基づいて制御信号Ｓを定期的に生成するとともに、生成した制御信号Ｓを給湯部４に送信する。なお、制御信号Ｓの生成及び送信は、定期的になされるのではなく、変動する時間間隔ごとになされてもよい。給湯部４は、コントローラ１２０から送信される制御信号Ｓに基づいて、温水パイプ３への温水供給のオン・オフ（つまり、ロードヒーティング装置２のオン・オフ）を切り替える。   The snow melting control system 100 includes a road heating device 2, a camera 10, a temperature sensor 111, and a controller 120. The temperature sensor 111 detects the temperature of a snow melting surface (hereinafter referred to as a road surface temperature) that is a road surface of a snow melting target or a parking lot. The detection result is input to the controller 120. The camera 10 captures the snow melting surface and generates snow melting image data indicating an image of the snow melting surface. The snow melting image data is input from the camera 10 to the controller 120. The controller 120 periodically generates the control signal S based on the detection result of the road surface temperature from the temperature sensor 111 and the snow melting image data from the camera 10, and transmits the generated control signal S to the hot water supply unit 4. Note that the generation and transmission of the control signal S are not performed periodically, but may be performed at varying time intervals. The hot water supply unit 4 switches on / off of hot water supply to the hot water pipe 3 (that is, on / off of the load heating device 2) based on the control signal S transmitted from the controller 120.

コントローラ１２０は、データの転送処理、演算処理等を実行するプロセッサ、データを記憶するメモリ等の各種の記憶部、各種のインターフェース等のハードウェアを備えている。記憶部にはソフトウェアデータが格納されており、かかるソフトウェアデータに基づいてハードウェアが特定の処理を実行することにより、各種の機能部として機能する。コントローラ１２０は、画像分解部２１と、ＣＮＮ部２２と、制御内容決定部１２３と、制御信号生成部２４と、算出値記憶部１２５を備えている。なお、画像分解部２１、ＣＮＮ部２２及び制御内容決定部１２３が本発明の積雪評価手段に対応する。また、制御内容決定部１２３が本発明の制御内容選択手段及び基準値更新手段にも対応する。算出値記憶部１２５は、現在までのロードヒーティング装置２の稼働状況を示す稼働状況値を保持している。稼働状況値は、例えば、現在までの所定期間中にロードヒーティング装置２をオンに制御した（温水パイプ３への温水供給をオンに制御した）回数ＮONと、現在までの所定期間中にロードヒーティング装置２を制御した回数ＮALLとを含んでいる。 The controller 120 includes a processor that executes data transfer processing, arithmetic processing, and the like, various storage units such as a memory that stores data, and hardware such as various interfaces. Software data is stored in the storage unit, and the hardware functions as various functional units by executing specific processing based on the software data. The controller 120 includes an image decomposition unit 21, a CNN unit 22, a control content determination unit 123, a control signal generation unit 24, and a calculated value storage unit 125. The image decomposition unit 21, the CNN unit 22, and the control content determination unit 123 correspond to the snow accumulation evaluation unit of the present invention. The control content determination unit 123 also corresponds to the control content selection unit and the reference value update unit of the present invention. The calculated value storage unit 125 holds an operation status value indicating the operation status of the load heating apparatus 2 up to now. The operating status value is, for example, the number of times N ON that the load heating device 2 is turned on during the predetermined period up to the present time (the hot water supply to the hot water pipe 3 is controlled to be on), and the predetermined period until the present time. The number of times of controlling the load heating device 2 N ALL is included.

制御内容決定部１２３には、ＣＮＮ部２２から評価値データが入力されるとともに、温度センサ１１１から路面温度Ｔを示す信号が入力される。評価値データは、上記の通り、積雪の有無に関する確率を示す数式１３のｙ1及びｙ2である。また、制御内容決定部１２３は、算出値記憶部１２５から稼働状況値を取得するとともに、稼働率Ｒ＝ＮON／ＮALLを算出する。そして、制御内容決定部１２３は、Ｔ、ｙ1（又はｙ2）及びＲの３つのパラメータに基づき、ロードヒーティング装置２をオンに制御するかオフに制御するかを決定する。制御内容決定部１２３は、当該決定の結果に基づき、算出値記憶部１２５に記憶されたＮON及びＮALLを更新する。オン制御の決定に対する更新においては、ＮON及びＮALLの両方にそれぞれ１が加算される。オフ制御の決定に対する更新においては、ＮALLのみ１が加算される。制御信号生成部２４は、制御内容決定部１２３における決定結果に従って、温水パイプ３への温水供給をオンとするかオフとするかを指示する制御信号Ｓを生成する。 The control content determination unit 123 receives the evaluation value data from the CNN unit 22 and the signal indicating the road surface temperature T from the temperature sensor 111. As described above, the evaluation value data is y 1 and y 2 in Equation 13 indicating the probability regarding the presence or absence of snow. In addition, the control content determination unit 123 acquires the operation status value from the calculated value storage unit 125 and calculates the operation rate R = N ON / N ALL . Then, based on the three parameters T, y 1 (or y 2 ), and R, the control content determination unit 123 determines whether to control the load heating device 2 to be on or off. The control content determination unit 123 updates N ON and N ALL stored in the calculated value storage unit 125 based on the determination result. In the update for determining the ON control, 1 is added to both N ON and N ALL . In the update for the determination of the off control, 1 is added only to N ALL . The control signal generator 24 generates a control signal S that instructs whether to turn on or off the hot water supply to the hot water pipe 3 according to the determination result in the control content determination unit 123.

以下、制御内容決定部１２３の機能について説明する。制御内容決定部１２３は、時点τにおいてＴ、ｙ1（又はｙ2）及びＲの３つのパラメータによって規定される状態をｓτとするときに、状態ｓτにおけるＱ値を保持している。Ｑ値には、ロードヒーティング装置２をオンに制御することの有効性を示すＱ（ｓτ，１）と、状態ｓτにおいてロードヒーティング装置２をオフに制御することの有効性を示すＱ（ｓτ，０）とがある。なお、τは自然数であり、大きい値ほど時間的に後であることを示す。制御内容決定部１２３は、具体的には、Ｔ、ｙ1（又はｙ2）及びＲの各値に関するＱ（ｓτ，１）及びＱ（ｓτ，０）を示すテーブルを保持している。制御内容決定部１２３は、Ｑ（ｓτ，１）及びＱ（ｓτ，０）に基づいて、ロードヒーティング装置２をオンに制御するべきかオフに制御するべきかを決定する。決定は、Ｑ（ｓτ，１）及びＱ（ｓτ，０）のうち、大きな値に対応する方が高確率で選ばれるように行われる。具体的には、例えば、ε-グリーディ手法が用いられてもよい。この手法では、ある小さな確率εでオン・オフをランダムに決定し、１−εの確率でＱ（ｓτ，１）及びＱ（ｓτ，０）のうち値が大きい方を選択する。この他、遺伝的アルゴリズムで使用されているルーレット選択、ボルツマン分布を利用したソフトマックス手法などが使用されてもよい。ソフトマックス手法では、下記数式３６で示されるπ（ｓτ，ｋ）に基づき、オンと決定される確率がπ（ｓτ，１）となり、オフと決定される確率がπ（ｓτ，０）となるように、ロードヒーティング装置２のオン・オフが決定される。なお、ｋは０又は１を取る。ｋ＝１がロードヒーティング装置２をオンにする制御に対応し、ｋ＝０がロードヒーティング装置２をオフにする制御に対応する。Ａは定数である。
（数式３６）
Hereinafter, the function of the control content determination unit 123 will be described. The control content determination unit 123 holds the Q value in the state sτ when the state defined by the three parameters T, y 1 (or y 2 ), and R is sτ at the time τ. The Q value indicates Q (sτ, 1) indicating the effectiveness of controlling the load heating device 2 to be on, and Q (s) indicating the effectiveness of controlling the load heating device 2 to be off in the state sτ. sτ, 0). Note that τ is a natural number, and a larger value indicates later in time. Specifically, the control content determination unit 123 holds a table indicating Q (sτ, 1) and Q (sτ, 0) regarding each value of T, y 1 (or y 2 ), and R. Based on Q (sτ, 1) and Q (sτ, 0), the control content determination unit 123 determines whether to control the load heating device 2 to be on or off. The determination is performed such that one of Q (sτ, 1) and Q (sτ, 0) corresponding to a larger value is selected with a high probability. Specifically, for example, the ε-greedy method may be used. In this method, on / off is randomly determined with a certain small probability ε, and the larger one of Q (sτ, 1) and Q (sτ, 0) is selected with a probability of 1−ε. In addition, a roulette selection used in a genetic algorithm, a softmax method using a Boltzmann distribution, or the like may be used. In the softmax method, the probability of being determined to be on is π (sτ, 1) and the probability of being determined to be off is π (sτ, 0) based on π (sτ, k) expressed by the following formula 36. As described above, the on / off state of the load heating apparatus 2 is determined. Note that k takes 0 or 1. k = 1 corresponds to the control for turning on the load heating device 2, and k = 0 corresponds to the control for turning off the load heating device 2. A is a constant.
(Formula 36)

制御内容決定部１２３は、時点τ＝ｔ（ｔ：自然数）においてｋに対応するロードヒーティング装置２の制御を行った結果、状態ｓtが時点τ＝ｔ＋１の状態ｓt+1に変化したとするとき、Ｑ（ｓt，ｋ）を下記数式３７に示すように更新する。ここで、αは学習率であり、下記数式３８及び３９を満たす。γは割引率であり、０以上１以下の定数である。ｒt+1はｓt+1に状態が遷移したことへの報酬であり、ｓt+1におけるｙ1が小さい（又は、ｙ2が大きい）ほど大きく、且つ、ｓt+1におけるＲが大きいほど小さい値を有する。例えば、ｓt+1におけるｙ1が所定値Ｙaより小さいときにｒt+1を＋１００とする一方、ｓt+1におけるｙ1が所定値Ｙb（＞Ｙa）より大きいときにｒt+1を−１００とする。ｙ1がその他の値の場合にはｒt+1を±０とする。また、ｓt+1におけるＲが所定値Ｒ0より小さいほどｒt+1に大きい値を加算して報酬を大きくする一方、ｓt+1におけるＲが所定値Ｒ0より大きい場合にはｒt+1から減算して報酬を小さくする。例えば、Ｒが所定値Ｒ0より小さくなるほどｒt+1に加算する値を±０、＋５０、＋１００と大きくする。また、ｓt+1におけるＲが所定値Ｒ0より大きい場合にはｒt+1から１００を減算する。数式３７に基づく更新により、高い報酬を得られる状態に到達可能な状態におけるＱ値が高くなるように更新がなされる。一方、上記の通り、大きなＱ値に対応する制御が高確率で選ばれるように行われる。したがって、数式３７に従った更新により、ｙ1が小さい状態、つまり、「積雪なし」の確率が高い状態であって、且つ、稼働率Ｒが小さい状態へと状態が遷移するような制御が選択されるように適切な学習がなされる。
（数式３７）
Control content decision unit 123, the time tau = t: result of control of the load heating device 2 corresponding to k in (t is a natural number), the state s t is changed to the state s t + 1 of point in time τ = t + 1 Then, Q (s t , k) is updated as shown in the following Expression 37. Here, α is a learning rate and satisfies the following formulas 38 and 39. γ is a discount rate and is a constant of 0 or more and 1 or less. r t + 1 is a reward to be a transition state to s t + 1, y 1 in s t + 1 is small (or, large y 2) as large and is R in s t + 1 The larger the value, the smaller the value. For example, r t + 1 is set to +100 when y 1 at s t + 1 is smaller than a predetermined value Y a , while r 1 when y 1 at s t + 1 is larger than a predetermined value Y b (> Y a ). Let t + 1 be −100. When y 1 is any other value, rt + 1 is set to ± 0. Moreover, while the R in s t + 1 to increase the compensation by adding a large value r t + 1 smaller than the predetermined value R 0, when R in s t + 1 is larger than the predetermined value R 0 is r Reduce the reward by subtracting from t + 1 . For example, as R becomes smaller than the predetermined value R 0 , the value added to r t + 1 is increased to ± 0, +50, +100. In addition, R in s t + 1 is the larger than the predetermined value R 0 is subtracted 100 from the r t + 1. By the update based on Expression 37, the update is performed so that the Q value in a state where a state where a high reward can be obtained can be reached is increased. On the other hand, as described above, control corresponding to a large Q value is performed with high probability. Therefore, the control according to the update according to Formula 37 selects a state where y 1 is small, that is, a state where the probability of “no snow accumulation” is high and the operation rate R is small. Appropriate learning will be done.
(Formula 37)

（数式３８）
（数式３９）
(Formula 38)
(Formula 39)

［その他の実施形態］
第２の実施形態においては、Ｔ、ｙ1（又はｙ2）及びＲの３つのパラメータによって規定される状態ｓτに関するＱ値に基づいてロードヒーティング装置２の制御内容が選択される。これに対し、天気予報情報を含むパラメータによって規定される状態ｓτに関するＱ値に基づいてロードヒーティング装置２の制御内容が選択されてもよい。例えば、コントローラが以下のような構成を有していてもよい。コントローラには、インターネット等の情報通信網を通じ、現在から所定の時間経過後の天候、降雪確率、温度、湿度等の天気予報情報を取得する予報情報取得手段が設けられている。状態ｓτは、予報情報取得手段が取得した天気予報情報を示すパラメータとｙ1によって規定される。そして、状態ｓτにおいてロードヒーティング装置２をオンに制御することの有効性を示すＱ’（ｓτ，１）と、状態ｓτにおいてロードヒーティング装置２をオフに制御することの有効性を示すＱ’（ｓτ，０）とに基づいてロードヒーティング装置２の制御内容が選択される。Ｑ’（ｓτ，１）及びＱ’（ｓτ，０）は、数式３７に基づいて更新される。このような天気予報情報に基づく制御によりロードヒーティング装置２の制御のタイミングが調整される。例えば、降雪前にロードヒーティング装置２をオンに切り替えることで融雪の効果が高められたり、降雪中でもオフに切り替えることによりエネルギーの消費が抑制されたりする。上記のようなＱ値を用いた制御の他、降雪確率が高い場合や温度及び湿度の変化等に直接基づいてロードヒーティング装置２のオン・オフ制御を実行してもよい。 [Other Embodiments]
In the second embodiment, the control content of the load heating device 2 is selected based on the Q value related to the state sτ defined by the three parameters T, y 1 (or y 2 ), and R. On the other hand, the control content of the road heating device 2 may be selected based on the Q value regarding the state sτ defined by the parameter including the weather forecast information. For example, the controller may have the following configuration. The controller is provided with forecast information acquisition means for acquiring weather forecast information such as weather, probability of snowfall, temperature, humidity and the like after elapse of a predetermined time from an information communication network such as the Internet. The state sτ is defined by a parameter indicating the weather forecast information acquired by the forecast information acquisition unit and y 1 . Then, Q ′ (sτ, 1) indicating the effectiveness of controlling the load heating device 2 to be turned on in the state sτ, and Q indicating the effectiveness of controlling the load heating device 2 to be turned off in the state sτ. Based on '(sτ, 0), the control content of the load heating device 2 is selected. Q ′ (sτ, 1) and Q ′ (sτ, 0) are updated based on Expression 37. The control timing of the road heating apparatus 2 is adjusted by the control based on such weather forecast information. For example, the effect of melting snow is enhanced by switching on the road heating device 2 before snowfall, or energy consumption is suppressed by switching off even during snowfall. In addition to the control using the Q value as described above, the on / off control of the road heating device 2 may be executed based directly on a case where the probability of snowfall is high or a change in temperature and humidity.

（変形例）
以上は、本発明の好適な実施形態についての説明であるが、本発明は上述の実施形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて様々な変更が可能なものである。以下、上述の実施形態に係る変形例について説明する。 (Modification)
The above is a description of a preferred embodiment of the present invention, but the present invention is not limited to the above-described embodiment, and various modifications can be made within the scope described in the means for solving the problem. It is possible. Hereinafter, modified examples according to the above-described embodiment will be described.

例えば、上述の実施形態では、ロードヒーティング装置２に温水パイプ３及び給湯部４が設けられている。これら温水パイプ３及び給湯部４の代わりに電熱線及び電熱線に電流を供給する電流供給部が設けられてもよい。   For example, in the embodiment described above, the load heating device 2 is provided with the hot water pipe 3 and the hot water supply unit 4. Instead of the hot water pipe 3 and the hot water supply unit 4, a heating wire and a current supply unit that supplies current to the heating wire may be provided.

また、上述の実施形態では、ロードヒーティング装置２のオン・オフが切り替え可能であって、コントローラ２０又は１２０によってその切り替えが制御される。しかし、ロードヒーティング装置２の融雪能力が複数の段階で制御可能であって、その融雪能力がコントローラ２０又は１２０によって複数の段階間で制御されてもよい。例えば、ＣＮＮ部２２が出力する評価値ｙ1が大きいほど高くなるように融雪能力が制御されてもよい。また、第２の実施形態において、Ｑ（ｓτ，０）、Ｑ（ｓτ，１）、…、Ｑ（ｓτ，ｎ−１）（ｎ：融雪能力の段階数）からなるｎ個のＱ値が数式３７に従って更新されると共に、これらのＱ値に基づいて状態ｓτにおける融雪能力の段階が選択されてもよい。 In the above-described embodiment, the load heating apparatus 2 can be switched on and off, and the controller 20 or 120 controls the switching. However, the snow melting ability of the road heating device 2 may be controlled in a plurality of stages, and the snow melting ability may be controlled between the plurality of stages by the controller 20 or 120. For example, the snow melting ability may be controlled so as to increase as the evaluation value y 1 output from the CNN unit 22 increases. In the second embodiment, n Q values including Q (sτ, 0), Q (sτ, 1),..., Q (sτ, n−1) (n: the number of stages of snow melting ability) The level of the snow melting ability in the state sτ may be selected based on these Q values while being updated according to Equation 37.

また、上述の実施形態では、数式１４に示すようにＰ（ＲＨ）を算出することにより、ロードヒーティング装置２による融雪の実効性を、撮影タイミングが互いに異なる少なくとも２つの融雪画像に基づいて評価している。そして、数式１５に示すようにＪを算出することにより、評価値ｙ1による積雪の状況の評価への影響の度合いを融雪の実効性に応じて調整している。しかし、ロードヒーティング装置２をオンにしている期間中に撮影された２つの融雪画像を直接比較することで、ロードヒーティング装置２による融雪の実効性を評価してもよい。そして、当該評価の結果、あるブロック画像に融雪の実効性が表れている場合には、ロードヒーティング装置２の制御内容を決定するに当たって、そのブロック画像に関する評価値ｙ1及びｙ2による決定への影響を相対的に強くしてもよい。一方、あるブロック画像に融雪の実効性が表れていない場合には、ロードヒーティング装置２の制御内容を決定するに当たって、そのブロック画像に関する評価値ｙ1及びｙ2による決定への影響を相対的に弱くしてもよい。なお、第１の実施形態では、融雪画像に駐車車両等が写り込む場合があることを想定している。しかし、例えばカメラ１０を路面に近接させる等、駐車車両等が融雪画像に写り込まないような位置にカメラ１０を設置してもよい。この場合、ブロック画像について融雪の実効性を評価する必要性が低くなる。 Further, in the above-described embodiment, by calculating P (RH) as shown in Equation 14, the effectiveness of snow melting by the road heating device 2 is evaluated based on at least two snow melting images having different shooting timings. doing. Then, by calculating J as shown in Formula 15, the degree of the influence of the evaluation value y 1 on the evaluation of the snow condition is adjusted according to the effectiveness of snow melting. However, the effectiveness of snow melting by the road heating device 2 may be evaluated by directly comparing two snow melting images taken during the period when the road heating device 2 is turned on. As a result of the evaluation, if the effectiveness of snow melting appears in a certain block image, when determining the control content of the road heating device 2, the determination is made based on the evaluation values y 1 and y 2 regarding the block image. The influence of may be made stronger. On the other hand, when the effectiveness of snow melting does not appear in a certain block image, in determining the control contents of the road heating device 2, the influence of the evaluation values y 1 and y 2 on the block image on the determination is relatively It may be weak. In the first embodiment, it is assumed that a parked vehicle or the like may appear in the snowmelt image. However, the camera 10 may be installed at a position where a parked vehicle or the like does not appear in the snowmelt image, for example, by bringing the camera 10 close to the road surface. In this case, the necessity of evaluating the effectiveness of snow melting for the block image is reduced.

また、上述の実施形態では、数式１５に示すＪに基づいてロードヒーティング装置２の制御内容を決定している。しかし、ＣＮＮ部２２がブロック画像ごとに算出した評価値ｙ1及びｙ2に基づいて「積雪あり」か「積雪なし」かをブロック画像ごとに判定するとともに、１つの融雪画像を構成するブロック画像全体のうち「積雪あり」と判定したブロック画像の数をカウントして、そのカウント数に基づいてロードヒーティング装置２の制御内容を決定してもよい。 In the above-described embodiment, the control content of the road heating device 2 is determined based on J shown in Equation 15. However, based on the evaluation values y 1 and y 2 calculated for each block image by the CNN unit 22, it is determined for each block image whether there is snow or no snow, and block images constituting one snow melting image The number of block images determined as “with snow” in the whole may be counted, and the control content of the road heating device 2 may be determined based on the counted number.

また、上述の第２の実施形態では、路面温度を検出する温度センサ１１１が設けられている。しかし、路面温度を直接検出するセンサが設けられていなくてもよい。この場合、例えば、気温や湿度等の環境条件を検出するセンサが温度センサ１１１の代わりに設けられ、これらの検出結果に基づいて路面温度が推定されてもよい。   In the second embodiment described above, the temperature sensor 111 that detects the road surface temperature is provided. However, a sensor that directly detects the road surface temperature may not be provided. In this case, for example, a sensor that detects environmental conditions such as air temperature and humidity may be provided instead of the temperature sensor 111, and the road surface temperature may be estimated based on these detection results.

また、上述の第２の実施形態では、路面温度Ｔ、評価値ｙ1及び稼働率Ｒの３つのパラメータによって規定される状態ｓτに関するＱ値に基づいてロードヒーティング装置２の制御内容が選択される。しかし、状態ｓτを規定するパラメータとして、路面温度以外の環境条件が用いられてもよい。例えば、外気温、外気の湿度や外気圧が用いられてもよい。 In the second embodiment described above, the control content of the road heating device 2 is selected based on the Q value related to the state sτ defined by the three parameters of the road surface temperature T, the evaluation value y 1, and the operation rate R. The However, environmental conditions other than the road surface temperature may be used as parameters that define the state sτ. For example, outside air temperature, outside air humidity, or outside air pressure may be used.

また、上述の実施形態では、カメラ１０から送信された融雪画像データに基づき、コントローラ２０又は１２０が、給湯部４を制御するための制御信号Ｓを生成すると共に、生成した制御信号Ｓを給湯部４に送信する。このように、カメラ１０とコントローラ２０又は１２０と給湯部４とは、互いに信号やデータを送信可能に接続されている。これらを互いに接続する方法は、どのようなものが使用されてもよい。例えば、これらは、互いに有線で接続されていてもよいし、近距離無線通信によって互いに接続されていてもよい。あるいは、これらがインターネットなどの通信ネットワーク網を介して互いに接続されていてもよい。   In the above-described embodiment, the controller 20 or 120 generates the control signal S for controlling the hot water supply unit 4 based on the snow melting image data transmitted from the camera 10, and the generated control signal S is used as the hot water supply unit. 4 to send. As described above, the camera 10, the controller 20 or 120, and the hot water supply unit 4 are connected to each other so as to be able to transmit signals and data. Any method may be used for connecting them together. For example, they may be connected to each other by wire, or may be connected to each other by short-range wireless communication. Alternatively, they may be connected to each other via a communication network such as the Internet.

１、１００ 融雪制御システム
２ ロードヒーティング装置
１０ カメラ
２０、１２０ コントローラ
２１ 画像分解部
２３、１２３ 制御内容決定部
２４ 制御信号生成部
１１１ 温度センサ DESCRIPTION OF SYMBOLS 1,100 Snow melting control system 2 Road heating apparatus 10 Camera 20, 120 Controller 21 Image decomposition part 23, 123 Control content determination part 24 Control signal generation part 111 Temperature sensor

Claims (13)

積雪を溶かす融雪手段を制御する融雪制御装置であって、
前記融雪手段による融雪の場所を撮影することによって前記融雪の場所の撮像を示す融雪画像を生成する撮影手段と、
前記融雪画像に基づいて積雪の状況を評価した評価値を出力する畳み込み型ニューラルネットワークを有する積雪評価手段と、
前記融雪手段が積雪を溶かす能力を前記評価値に基づいて変更する融雪制御手段とを備えていることを特徴とする融雪制御装置。 A snow melting control device for controlling a snow melting means for melting snow,
Photographing means for generating a snow melting image showing imaging of the snow melting location by photographing the location of snow melting by the snow melting means;
Snow cover evaluation means having a convolutional neural network that outputs an evaluation value that evaluates the state of snow cover based on the snow melting image,
A snow melting control device comprising snow melting control means for changing the ability of the snow melting means to melt snow based on the evaluation value. 前記畳み込み型ニューラルネットワークが、前記融雪画像を形成する複数の画像領域のそれぞれに関して、積雪の有無を示す値として前記評価値を出力し、
前記積雪評価手段が、前記複数の画像領域に関する複数の前記評価値に基づいて前記融雪の場所における積雪の状況を評価することを特徴とする請求項１に記載の融雪制御装置。 The convolutional neural network outputs the evaluation value as a value indicating the presence or absence of snow for each of a plurality of image areas forming the snow melting image,
The snow melting control device according to claim 1, wherein the snow accumulation evaluating unit evaluates a snow accumulation state at the snow melting location based on the plurality of evaluation values regarding the plurality of image regions. 前記積雪評価手段が、
前記複数の画像領域のそれぞれに関して、前記融雪手段による融雪の実効性を、撮影タイミングが互いに異なる少なくとも２つの前記融雪画像に基づいて評価すると共に、前記積雪の状況を評価する際に、前記評価値による前記積雪の状況の評価への影響の度合いを、前記融雪の実効性に応じて調整することを特徴とする請求項２に記載の融雪制御装置。 The snow cover evaluation means
With respect to each of the plurality of image areas, the evaluation value is obtained when evaluating the effectiveness of snow melting by the snow melting means based on at least two snow melting images having different shooting timings and evaluating the condition of snow accumulation. The snow melting control device according to claim 2, wherein the degree of the influence on the evaluation of the snow condition by the snow is adjusted according to the effectiveness of the snow melting. 第１〜第ｎ（ｎ：２以上の自然数）の制御内容から前記融雪制御手段に実行させる制御内容を所定の基準値に基づいて選択する制御内容選択手段と、
前記所定の基準値を更新する基準値更新手段とをさらに備えており、
前記融雪制御手段が、可変の、又は一定の時間間隔ごとに前記制御内容選択手段が選択した制御内容を実行するように構成されており、
前記所定の基準値が、
前記評価値に基づくパラメータ、環境条件を示すパラメータ、及び、現在までの一定期間内における前記融雪手段の稼働状況を示すパラメータの少なくとも３つのパラメータによって規定される時点ｔの状態をｓtで表すときに、状態ｓtにおいて第ｐ（ｐ：ｎ以下の自然数）の制御内容を実行することの有効性を示す、Ｑ（ｓt，ｐ）で表されるＱ値であり、
前記基準値更新手段が、
時点ｔにおいて第ｋ（ｋ：ｎ以下の自然数）の制御内容を前記融雪制御手段が実行した結果、状態がｓtからｓt+1に遷移した場合に、前記評価値が示す積雪の状況が積雪なしに近いほど高く、且つ、前記融雪手段の稼働状況において稼働量が多いほど低い値を有する報酬ｒt+1を含む下記数式に基づいてＱ（ｓt，ｋ）を更新することを特徴とする請求項１〜３のいずれか１項に記載の融雪制御装置。
（数式）
ただし、αは学習率、γは割引率である。 Control content selection means for selecting the control content to be executed by the snow melting control means from the first to nth (n: natural number of 2 or more) control content, based on a predetermined reference value;
A reference value updating means for updating the predetermined reference value;
The snow melting control means is configured to execute the control content selected by the control content selection means at variable or constant time intervals,
The predetermined reference value is
Parameter based on the evaluation value, a parameter indicating the environmental conditions, and, when at least three states of time t defined by the parameters of the parameter indicating the operating state of the snow melting means in a predetermined period up to the present represented by s t in, the p in the state s t: the effectiveness of executing a control content of the (p n a natural number equal to or less than) a Q value expressed by Q (s t, p),
The reference value updating means
The k at time t: the control content of the (k n a natural number equal to or less than) the results snow melting control means executes, when the state transitions from s t in s t + 1, the status of snow which the evaluation value exhibits Q (s t , k) is updated based on the following formula including a reward r t + 1 that is higher as it is closer to the absence of snow and lower as the operating amount of the snow melting means increases. The snow melting control device according to any one of claims 1 to 3.
(Formula)
Where α is the learning rate and γ is the discount rate. 外気の温度、外気の湿度、外気圧及び路面温度の少なくともいずれかを前記環境条件として取得する環境条件取得手段をさらに備えていることを特徴とする請求項４に記載の融雪制御装置。   The snow melting control device according to claim 4, further comprising an environmental condition acquisition unit configured to acquire at least one of an outside air temperature, an outside air humidity, an outside air pressure, and a road surface temperature as the environmental condition. 天気予報に関する情報を外部から取得する予報情報取得手段をさらに備えており、
前記融雪制御手段が、前記評価値と前記天気予報に関する情報とに基づいて、前記融雪手段が積雪を溶かす能力を変更するタイミングを調整することを特徴とする請求項１〜５のいずれか１項に記載の融雪制御装置。 It further comprises a forecast information acquisition means for acquiring information related to the weather forecast from the outside,
The said snow melting control means adjusts the timing which changes the capability of the said snow melting means to melt snow based on the said evaluation value and the information regarding the said weather forecast, The any one of Claims 1-5 characterized by the above-mentioned. The snow melting control device described in 1. 前記畳み込み型ニューラルネットワークにおいて、Ａｌｅｘ又はＮｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋが用いられていることを特徴とする請求項１〜６のいずれか１項に記載の融雪制御装置。   The snow melting control device according to any one of claims 1 to 6, wherein Alex or Network in Network is used in the convolutional neural network. 請求項１〜７のいずれか１項に記載の融雪制御装置に用いられる畳み込み型ニューラルネットワークを学習させる方法であって、積雪のある場所の画像及び積雪のない場所の画像並びにこれらの画像における積雪の有無に関するクラス分けを示す訓練データに基づいて、前記畳み込み型ニューラルネットワークを学習させることを特徴とするニューラルネットワークの学習方法。   A method for learning a convolutional neural network used in the snow melting control device according to any one of claims 1 to 7, comprising an image of a place with snow and an image of a place without snow and snow in these images. A learning method for a neural network, comprising: learning the convolutional neural network based on training data indicating classification related to the presence or absence of a neural network. 前記畳み込み型ニューラルネットワークにおいてＡｌｅｘが用いられており、
ＳＧＤ、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ、ＡｄａＤｅｌｔａ、Ａｄａｍ及びＮｅｓｔｅｒｏｖＡＧのいずれかの最適化手法を用いて前記畳み込み型ニューラルネットワークを学習させることを特徴とする請求項８に記載のニューラルネットワークの学習方法。 Alex is used in the convolutional neural network,
9. The neural network learning method according to claim 8, wherein the convolutional neural network is trained using any one of SGD, momentum SGD, AdaGrad, AdaDelta, Adam, and NesterovAG. 前記畳み込み型ニューラルネットワークにおいてＮｅｔｗｏｒｋ ｉｎ Ｎｅｔｗｏｒｋが用いられており、
ＳＧＤ、ｍｏｍｅｎｔｕｍＳＧＤ、ＡｄａＧｒａｄ、及びＮｅｓｔｅｒｏｖＡＧのいずれかの最適化手法を用いて前記畳み込み型ニューラルネットワークを学習させることを特徴とする請求項８に記載のニューラルネットワークの学習方法。 In the convolutional neural network, Network in Network is used,
The neural network learning method according to claim 8, wherein the convolutional neural network is learned using any one of SGD, momentum SGD, AdaGrad, and Nesterov AG. 積雪のある場所を含む画像と積雪のない場所を含む画像のそれぞれから、各画像を分割した複数の分割画像を生成するステップと、
前記複数の分割画像及びこれらの画像における積雪の有無に関するクラス分けを示す訓練データに基づいて、前記畳み込み型ニューラルネットワークを学習させるステップとを備えていることを特徴とする請求項８〜１０のいずれか１項に記載のニューラルネットワークの学習方法。 Generating a plurality of divided images obtained by dividing each image from an image including a place with snow and an image including a place without snow,
The step of learning the convolutional neural network based on training data indicating classification of the plurality of divided images and the presence or absence of snow in these images. The neural network learning method according to claim 1. 積雪を溶かす融雪手段を制御する融雪制御方法であって、
前記融雪手段による融雪の場所を撮影することによって前記融雪の場所の画像である融雪画像を生成する撮影ステップと、
前記融雪画像に基づいて積雪の状況を評価した評価値を畳み込み型ニューラルネットワークに出力させる積雪評価ステップと、
前記融雪手段が積雪を溶かす能力を前記評価値に基づいて変更する融雪制御ステップとを備えていることを特徴とする融雪制御方法。 A snow melting control method for controlling a snow melting means for melting snow,
An imaging step of generating a snow melting image that is an image of the snow melting location by imaging the location of the snow melting by the snow melting means;
A snow cover evaluation step for outputting an evaluation value that evaluates the snow cover state based on the snow melting image to a convolutional neural network;
A snow melting control method comprising: a snow melting control step of changing the ability of the snow melting means to melt snow based on the evaluation value. 積雪を溶かす融雪手段を制御するようにコンピュータを機能させる融雪制御用のプログラムであって、
前記融雪手段による融雪の場所を撮影した画像である融雪画像に基づいて積雪の状況を評価した評価値を出力する畳み込み型ニューラルネットワークを有する積雪評価手段、及び、
前記融雪手段が積雪を溶かす能力を前記評価値に基づいて変更する融雪制御手段としてコンピュータを機能させることを特徴とする融雪制御用プログラム。 A program for snow melting control that causes a computer to function to control a snow melting means for melting snow,
A snow cover evaluation means having a convolutional neural network that outputs an evaluation value obtained by evaluating the snow cover state based on a snow melt image that is an image of the location of the snow melt by the snow melt means; and
A program for snow melting control, which causes a computer to function as snow melting control means for changing the ability of the snow melting means to melt snow based on the evaluation value.
JP2016204053A 2016-10-18 2016-10-18 Snow melting control device, learning method of neural network, snow melting control method and program for snow melting control Active JP6549546B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016204053A JP6549546B2 (en) 2016-10-18 2016-10-18 Snow melting control device, learning method of neural network, snow melting control method and program for snow melting control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016204053A JP6549546B2 (en) 2016-10-18 2016-10-18 Snow melting control device, learning method of neural network, snow melting control method and program for snow melting control

Publications (2)

Publication Number Publication Date
JP2018066136A true JP2018066136A (en) 2018-04-26
JP6549546B2 JP6549546B2 (en) 2019-07-24

Family

ID=62086941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016204053A Active JP6549546B2 (en) 2016-10-18 2016-10-18 Snow melting control device, learning method of neural network, snow melting control method and program for snow melting control

Country Status (1)

Country Link
JP (1) JP6549546B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063673A (en) * 2018-08-21 2018-12-21 北京深瞐科技有限公司 Condition of road surface determines method, apparatus, system and computer-readable medium
CN110263786A (en) * 2019-06-24 2019-09-20 东北大学 A kind of road multi-targets recognition system and method based on characteristic dimension fusion
CN110473162A (en) * 2018-05-11 2019-11-19 精工爱普生株式会社 The generation method of machine learning device, photography time estimation device and learning model
JP2020014042A (en) * 2018-07-13 2020-01-23 日本放送協会 Image quality evaluation device, learning device and program
JP2020153166A (en) * 2019-03-20 2020-09-24 株式会社前田製作所 Antifreeze spraying control method and stationary antifreeze spraying device
JP2021014638A (en) * 2019-07-16 2021-02-12 株式会社神戸製鋼所 Machine learning method, machine learning device, machine learning program, communication method, and film deposition device
CN112396020A (en) * 2020-11-30 2021-02-23 中铁建新疆京新高速公路有限公司 Snow depth monitoring system based on artificial intelligence algorithm
WO2021157124A1 (en) * 2020-02-03 2021-08-12 望 窪田 Analysis device, analysis method, and analysis program
US11144614B2 (en) 2018-05-17 2021-10-12 Toshiba Memory Corporation Processing device of a neural network to process image data
JP7246056B1 (en) * 2022-12-01 2023-03-27 エコモット株式会社 Information processing device and information processing method
JP7505724B1 (en) 2024-03-04 2024-06-25 株式会社グリーンワークス Snow melting device control system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021406A (en) * 1996-03-29 1998-01-23 Nec Corp Object recognition method/device
JP2003114283A (en) * 2001-10-03 2003-04-18 Sparkling Foton:Kk Snow accumulation monitoring device, and ice and snow melting system
JP2007232652A (en) * 2006-03-02 2007-09-13 Fujitsu Ltd Device and method for determining road surface condition
JP2008204384A (en) * 2007-02-22 2008-09-04 Canon Inc Image pickup device, object detection method and posture parameter calculation method
JP2008209167A (en) * 2007-02-23 2008-09-11 Nagaoka Univ Of Technology Snow-melting machine control system, control method therefor, and program
JP2010121269A (en) * 2008-11-17 2010-06-03 Takuya Irisawa Substitute execution system for snow melting apparatus remote control
JP2011527056A (en) * 2008-07-03 2011-10-20 エヌイーシー ラボラトリーズ アメリカ インク Signet ring cell detector and related methods
JP2011527178A (en) * 2008-07-03 2011-10-27 エヌイーシー ラボラトリーズ アメリカ インク Epithelial layer detector and related method
WO2016090044A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021406A (en) * 1996-03-29 1998-01-23 Nec Corp Object recognition method/device
JP2003114283A (en) * 2001-10-03 2003-04-18 Sparkling Foton:Kk Snow accumulation monitoring device, and ice and snow melting system
JP2007232652A (en) * 2006-03-02 2007-09-13 Fujitsu Ltd Device and method for determining road surface condition
JP2008204384A (en) * 2007-02-22 2008-09-04 Canon Inc Image pickup device, object detection method and posture parameter calculation method
JP2008209167A (en) * 2007-02-23 2008-09-11 Nagaoka Univ Of Technology Snow-melting machine control system, control method therefor, and program
JP2011527056A (en) * 2008-07-03 2011-10-20 エヌイーシー ラボラトリーズ アメリカ インク Signet ring cell detector and related methods
JP2011527178A (en) * 2008-07-03 2011-10-27 エヌイーシー ラボラトリーズ アメリカ インク Epithelial layer detector and related method
JP2010121269A (en) * 2008-11-17 2010-06-03 Takuya Irisawa Substitute execution system for snow melting apparatus remote control
WO2016090044A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
JP2018506168A (en) * 2014-12-03 2018-03-01 ケーエルエー−テンカー コーポレイション Automatic defect classification without sampling and feature selection

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473162A (en) * 2018-05-11 2019-11-19 精工爱普生株式会社 The generation method of machine learning device, photography time estimation device and learning model
US11144614B2 (en) 2018-05-17 2021-10-12 Toshiba Memory Corporation Processing device of a neural network to process image data
JP2020014042A (en) * 2018-07-13 2020-01-23 日本放送協会 Image quality evaluation device, learning device and program
CN109063673A (en) * 2018-08-21 2018-12-21 北京深瞐科技有限公司 Condition of road surface determines method, apparatus, system and computer-readable medium
JP2020153166A (en) * 2019-03-20 2020-09-24 株式会社前田製作所 Antifreeze spraying control method and stationary antifreeze spraying device
JP7249589B2 (en) 2019-03-20 2023-03-31 株式会社前田製作所 Antifreezing agent spraying control method and stationary antifreezing agent spraying device
CN110263786A (en) * 2019-06-24 2019-09-20 东北大学 A kind of road multi-targets recognition system and method based on characteristic dimension fusion
JP2021014638A (en) * 2019-07-16 2021-02-12 株式会社神戸製鋼所 Machine learning method, machine learning device, machine learning program, communication method, and film deposition device
WO2021157124A1 (en) * 2020-02-03 2021-08-12 望 窪田 Analysis device, analysis method, and analysis program
CN113490956A (en) * 2020-02-03 2021-10-08 洼田望 Analysis device, analysis method, and analysis program
CN113490956B (en) * 2020-02-03 2022-05-31 洼田望 Analysis device, analysis method, and analysis program
US11568264B2 (en) 2020-02-03 2023-01-31 Nozomu KUBOTA Using shape information and loss functions for predictive modelling
CN112396020A (en) * 2020-11-30 2021-02-23 中铁建新疆京新高速公路有限公司 Snow depth monitoring system based on artificial intelligence algorithm
JP7246056B1 (en) * 2022-12-01 2023-03-27 エコモット株式会社 Information processing device and information processing method
JP7505724B1 (en) 2024-03-04 2024-06-25 株式会社グリーンワークス Snow melting device control system

Also Published As

Publication number Publication date
JP6549546B2 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
JP2018066136A (en) Snow melting controller, neural network learning method, snow melting control method, and snow melting control program
JP6895440B2 (en) Methods, controllers and systems for controlling distribution systems using neural network architecture
US11941868B2 (en) Inference apparatus, inference method, and computer-readable storage medium storing an inference program
JP7162550B2 (en) Model generation device, prediction device, model generation method, and model generation program
CN103609201B (en) Adaptive controlled outdoor lighting system and method of operation thereof
JP5948983B2 (en) Image processing apparatus, image processing method, and image processing program
CN110326257A (en) Use the method and apparatus of artificial life forecast key performance indicators
CN107529250A (en) A kind of LED street lamp regulation device and regulation and control method
CN108419339B (en) L oRa technology-based multifunctional L ED intelligent street lamp system
CN112128936A (en) Intelligent control method and intelligent control equipment for air conditioner
CN102495511B (en) Automatic exposure regulating method for camera
Ebrahimi et al. Gradient-free policy architecture search and adaptation
CN106650212A (en) Intelligent plant breeding method and system based on data analysis
CN113375300A (en) Intelligent control method and intelligent control equipment of air conditioner
CN109520071A (en) A kind of air-conditioning self-adaptation control method and system based on support vector machines study
JPWO2020021687A1 (en) Water treatment plant
KR20190136774A (en) Prediction system for harvesting time of crop and the method thereof
JP2020119407A (en) Estimating model generation device, estimating model generation method by estimating model generation device, and estimating device
JPH08210689A (en) System for estimating air-conditioning thermal load
CN112128935A (en) Intelligent control method and intelligent control equipment for air conditioner
US20220236704A1 (en) Control system, server, apparatus and control method
CN115669617A (en) Intelligent silkworm rearing environment control system driven by Internet of things
CN113505346A (en) Urban street lamp data processing and combined regulation and control system based on artificial intelligence
CN116508081A (en) Apparatus and method for vehicle traffic signal optimization
CN117789095B (en) Cut flower opening period optimization method, system, equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190627

R150 Certificate of patent or registration of utility model

Ref document number: 6549546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250