JP7382038B2 - 情報処理システム、情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7382038B2
JP7382038B2 JP2019215755A JP2019215755A JP7382038B2 JP 7382038 B2 JP7382038 B2 JP 7382038B2 JP 2019215755 A JP2019215755 A JP 2019215755A JP 2019215755 A JP2019215755 A JP 2019215755A JP 7382038 B2 JP7382038 B2 JP 7382038B2
Authority
JP
Japan
Prior art keywords
model
waves
deposit
output
thickness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019215755A
Other languages
English (en)
Other versions
JP2021085785A (ja
Inventor
淳 神田
裕司 佐藤
一平 内方
友誉 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MITSUBISHI ELECTRIC SOFTWARE CORPORATION
Japan Aerospace Exploration Agency JAXA
Original Assignee
MITSUBISHI ELECTRIC SOFTWARE CORPORATION
Japan Aerospace Exploration Agency JAXA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MITSUBISHI ELECTRIC SOFTWARE CORPORATION, Japan Aerospace Exploration Agency JAXA filed Critical MITSUBISHI ELECTRIC SOFTWARE CORPORATION
Priority to JP2019215755A priority Critical patent/JP7382038B2/ja
Priority to US17/779,018 priority patent/US12000780B2/en
Priority to PCT/JP2020/043864 priority patent/WO2021106945A1/ja
Publication of JP2021085785A publication Critical patent/JP2021085785A/ja
Application granted granted Critical
Publication of JP7382038B2 publication Critical patent/JP7382038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4785—Standardising light scatter apparatus; Standards therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/02—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
    • G08B19/02—Alarm responsive to formation or anticipated formation of ice
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4733—Discriminating different types of scatterers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
道路面や滑走路面には、例えば、雪や氷、水、泥といった物体が堆積又は付着する。これら堆積物の状態量をモニタリングすることは、安全管理上重要である。これに関連して、道路管理を目的として、道路面に降り積もった雪の厚さ（深さ）をレーザ光などの反射を利用して計測する技術が知られている（例えば、特許文献１、２参照）。
特開２０１５－００１３７９号公報 特開２０１６－１７００６９号公報
しかしながら、従来の技術では、堆積物の状態を精度よく判定することができていなかった。
本発明は、このような事情を考慮してなされたものであり、堆積物の状態を精度よく判定することができる情報処理システム、情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
本発明の一態様は、堆積物に対して電磁波を照射する照射部と、前記照射部によって前記堆積物に照射された電磁波の散乱波又は透過波を検出する検出部と、前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の状態を判定する判定部と、を備える情報処理システムである。
本発明の一態様によれば、堆積物の状態を精度よく判定することができる。
実施形態に係る情報処理システムの構成の一例を示す図である。 実施形態に係るセンサの一例を示す図である。 実施形態に係るセンサの他の例を示す図である。 実施形態に係るセンサの他の例を示す図である。 実施形態に係る情報処理装置の構成の一例を示す図である。 実施形態の制御部の一連の処理の流れの一例を示すフローチャートである。 光散乱画像から特徴量を抽出する様子を模式的に示す図である。 推定モデルに特徴量を入力する様子を模式的に示す図である。 厚さ推定モデルの具体的な構成の一例を示す図である。 性質推定モデルの具体的な構成の一例を示す図である。 性質推定モデルの具体的な構成の他の例を示す図である。 密度推定モデルの一例を示す図である。 実施形態に係る学習装置の構成の一例を示す図である。 実施形態の制御部の一連の処理の流れの一例を示すフローチャートである。 抽出モデルと推定モデルとを組み合わせたモデルの一例を示す図である。
以下、図面を参照し、本発明の情報処理システム、情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。
［情報処理システムの構成］
図１は、実施形態に係る情報処理システム１の構成の一例を示す図である。図示のように、情報処理システム１は、複数のセンサ１０－１～１０－ｎ（ｎは任意の自然数）と、情報処理装置１００と、学習装置２００とを備える。これらの装置は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などである。複数のセンサ１０－１～１０－ｎのうちいずれかを区別しない場合、これらセンサ１０－１～１０－ｎをまとめてセンサ１０と称して説明する。
センサ１０は、例えば、滑走路や道路、鉄道の線路付近などに埋設される。センサは、埋設場所に堆積した物体、すなわち堆積物にレーザ光を照射し、その照射したレーザ光の散乱光や透過光を検出する。堆積物は、例えば、雪や氷、水、泥、土、火山灰、砂などである。
図２は、実施形態に係るセンサ１０の一例を示す図である。図示のように、センサ１０は、照射部１２と、複数の検出部１４（図中１４－１、１４－２、…）とを備える。照射部１２及び検出部１４は、例えば、樹脂やガラスといった光の透過性を有する透過部材１６に覆われている。
照射部１２は、透過部材１６を介して外部に互いに波長の異なる複数のレーザ光を照射する。具体的には、照射部１２は、ある波長帯の可視光のレーザ光（以下、第１レーザ光と称する）と、第１レーザ光よりも波長が長い可視光のレーザ光（以下、第２レーザ光と称する）と、第２レーザ光よりも波長が長い近赤外光のレーザ光（以下、第３レーザ光と称する）と、第３レーザ光よりも波長が長い近赤外光のレーザ光（以下、第４レーザ光と称する）とを照射する。
例えば、透過部材１６上に雪が堆積している場合、照射部１２から照射された複数のレーザ光は、雪によって反射される。この際、レーザ光の一部は、光散乱現象によって散乱する。
複数の検出部１４のそれぞれは、例えば、透過部材１６上に堆積した雪によって散乱したレーザ光、つまり散乱光を検出する。例えば、複数の検出部１４のうち、第１検出部１４－１は、第１レーザ光の散乱光と第２レーザ光の散乱光を検出し、第２検出部１４－２は、第３レーザ光の散乱光と第４レーザ光の散乱光を検出する。各検出部１４は、散乱光を検出すると、その検出した散乱光の検出信号を、ネットワークＮＷを介して情報処理装置１００に送信する。
また、センサ１０は、必ずしも雪などが堆積し得る場所に埋設されなくてもよい。図３は、実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、センサ１０は堆積物の上方に設定されてよい。この場合、複数の検出部１４は、堆積物の上方から堆積物に向けてレーザ光を照射する。複数の検出部１４は、堆積物の上方へと散乱した散乱光を検出する。
また、センサ１０は堆積物に照射したレーザ光の散乱光を検出する代わりに、透過光を検出してもよい。
図４は、実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、複数の検出部１４は、透過部材１６を介して、照射部１２と対向した位置に設けられてよい。照射部１２が透過部材１６の下側から透過部材１６上に堆積した雪に向けてレーザ光を照射した場合、そのレーザ光の一部は雪を透過し得る。この場合、照射部１２と対向した位置に設けられた検出部１４は、照射部１２から照射されたレーザ光の透過光を検出する。以下の説明では、一例としてセンサ１０が主に散乱光を検出するものとして説明する。
［制御装置の構成］
図５は、実施形態に係る情報処理装置１００の構成の一例を示す図である。図示のように、情報処理装置１００は、例えば、通信部１０２と、表示部１０４と、制御部１１０と、記憶部１３０とを備える。
通信部１０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して外部装置と無線通信する。外部装置には、例えば、センサ１０や学習装置２００が含まれる。また、外部装置には、センサ１０が埋設された滑走路を利用する航空機や、センサ１０が埋設された道路を利用する車両、センサ１０が埋設された線路を利用する鉄道車両などが含まれてもよい。
また、外部装置には、センサ１０が埋設された地点、すなわち堆積物が存在する地点の周辺環境を観測する観測装置が含まれてもよい。観測装置は、例えば、気温や湿度、風速といった種々の気象を観測してもよいし、センサ１０が埋設された場所の温度（例えば滑走路や道路の路面温度）を観測してもよい。この場合、通信部１０２は、観測装置から各種観測情報を取得してよい。
表示部１０４は、各種の情報を表示するユーザインターフェースである。例えば、表示部１０４は、制御部１１０によって生成された画像を表示する。また、表示部１０４は、空港局員や道路局員、鉄道局員といったセンサ１０が埋設された管轄地に関連するユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示してもよい。例えば、表示部１０４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどである。
制御部１１０は、例えば、取得部１１２と、画像生成部１１４と、特徴量抽出部１１６と、状態判定部１１８と、出力制御部１２０とを備える。
制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、推定モデルデータＤ１などを格納する。推定モデルデータＤ１は、例えば、ネットワークＮＷを介して学習装置２００から記憶部１３０にインストールされてもよいし、情報処理装置１００のドライブ装置に接続された可搬型の記憶媒体から記憶部１３０にインストールされてもよい。
推定モデルデータＤ１は、堆積物の状態量を推定するためのモデル（以下、推定モデルＭＤＬと称する）を定義した情報（プログラムまたはデータ構造）である。推定モデルＭＤＬは、例えば、物体に照射された光の散乱光または透過光に基づく画像から得られる複数の特徴量が入力されると、その物体の状態量を出力するように学習されたモデルである。このようなモデルは、例えば、入力層と、少なくとも一つの中間層（隠れ層）と、出力層とを含む複数のニューラルネットワークによって構成されてよい。
推定モデルデータＤ１には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数などの各種情報が含まれる。結合情報とは、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。ユニットを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、その他の関数などであってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、例えば、ニューラルネットワークの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
［運用時（ランタイム）の処理フロー］
以下、フローチャートに即して制御部１１０の運用時の一連の処理の流れを説明する。「運用（ランタイム）」とは、予め学習された推定モデルＭＤＬの出力結果を用いて、センサ１０の上方（透過部材１６の上面）に堆積した堆積物の状態量を推定することをいう。図６は、実施形態の制御部１１０の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
まず、取得部１１２は、通信部１０２を介して、センサ１０から散乱光の検出信号を取得する（ステップＳ１００）。
次に、画像生成部１１４は、取得部１１２によって取得された散乱光の検出信号に基づいて、散乱光の強度を、輝度や彩度、色相といった画素値に置き換えた二次元の画像（以下、光散乱画像と称する）を生成する（ステップＳ１０２）。
例えば、照射部１２が、第１レーザ光、第２レーザ光、第３レーザ光、及び第４レーザ光の計４種類のレーザ光を照射する場合、第１検出部１４－１は、第１レーザ光の散乱光と第２レーザ光の散乱光を検出し、第２検出部１４－２は、第３レーザ光の散乱光と第４レーザ光の散乱光を検出することになる。つまり、検出部１４は、４種類の散乱光を検出する。この場合、画像生成部１１４は、４種類の散乱光のそれぞれに対応した光散乱画像を生成する。
次に、特徴量抽出部１１６は、画像生成部１１４によって生成された一つ又は複数の光散乱画像から特徴量（例えば、散乱光の面積等）を抽出する（ステップＳ１０４）。
図７は、光散乱画像から特徴量を抽出する様子を模式的に示す図である。図示の例では、第１検出部１４－１の検出結果を基に、第１レーザ光の散乱光に対応した光散乱画像ＩＭＧＡと、第２レーザ光の散乱光に対応した光散乱画像ＩＭＧＢとが生成され、第２検出部１４－２の検出結果を基に、第３レーザ光の散乱光に対応した光散乱画像ＩＭＧＣと、第４レーザ光の散乱光に対応した光散乱画像ＩＭＧＤとが生成されている。
このような場合、特徴量抽出部１１６は、４つの光散乱画像ＩＭＧのそれぞれから特徴量を抽出する。図中のＦＡは、光散乱画像ＩＭＧＡから抽出した特徴量を表し、ＦＢは、光散乱画像ＩＭＧＢから抽出した特徴量を表し、ＦＣは、光散乱画像ＩＭＧＣから抽出した特徴量を表し、ＦＤは、光散乱画像ＩＭＧＤから抽出した特徴量を表している。
図６のフローチャートの説明に戻る。次に、状態判定部１１８は、特徴量抽出部１１６によって抽出された複数の特徴量を要素とした多次元ベクトル（以下、特徴量ベクトルＦと称する）を、予め学習された推定モデルＭＤＬに入力する（ステップＳ１０６）。次に、状態判定部１１８は、特徴量ベクトルＦを入力した推定モデルＭＤＬが、堆積物の状態量Ｓを出力すると、その状態量Ｓに基づいて、堆積物の状態を判定する（ステップＳ１０８）。
［推定モデル］
図８は、推定モデルＭＤＬに特徴量を入力する様子を模式的に示す図である。推定モデルＭＤＬには、推定対象である状態量Ｓの種類に応じて、個別に学習された複数のモデルが含まれる。例えば、状態量Ｓには、堆積物の種類、性質、物理的特性などが含まれる。物理的特性には、例えば、堆積物の厚さ（深さ）、密度、含水率などが含まれる。このような場合、推定モデルＭＤＬには、堆積物の厚さを推定するための厚さ推定モデルＭＤＬ１や、堆積物の性質を推定するための性質推定モデルＭＤＬ２、堆積物の密度を推定するための密度推定モデルＭＤＬ３、堆積物の種類を推定するための種類推定モデルＭＤＬ４などが含まれる。これらのモデルはディープニューラルネットワークであってよい。なお、推定モデルＭＤＬに含まれるモデルの数は４つに限られず、２つや３つであってもよいし、５つ以上であってもよい。
例えば、図７のように、４種類の特徴量ＦＡ～ＦＤが抽出された場合、厚さ推定モデルＭＤＬ１や性質推定モデルＭＤＬ２、密度推定モデルＭＤＬ３、種類推定モデルＭＤＬ４といった種々のモデルには、４種類の特徴量ＦＡ～ＦＤを要素とした特徴量ベクトルＦが入力される。特徴量ベクトルＦが入力された各モデルは、それら特徴量の由来となった堆積物の状態量Ｓを出力する。
例えば、堆積物が雪の場合、厚さ推定モデルＭＤＬ１は、堆積した雪の厚さを状態量Ｓとして出力し、性質推定モデルＭＤＬ２は、堆積した雪の雪質を状態量Ｓとして出力し、密度推定モデルＭＤＬ３は、堆積した雪の密度を状態量Ｓとして出力する。雪質は、雪の結晶粒の形状（Grain shape）や含水率などに応じた性質を表している。
例えば、雪質は、大まかに「新雪（New snow）」、「圧雪（Compacted snowまたはpressurized snow）」、「しまり系の雪（Compacted-type snow）」、「ざらめ系の雪（Granular snow）」に分類される。「新雪」は、降り積もってから時間が経過しておらず、雪の結晶の形が残っている雪である。「圧雪」は、除雪機材等によって押し固められ路面に残っている雪である。「しまり系の雪」には、降り積もってから数日が経過し、雪の結晶の形がほとんど残っていない「こしまり雪（Lightly compacted snow）」と、「こしまり雪」が更に圧密と焼結によって丸みのある形になった「しまり雪（Compacted snow）とが含まれる。「ざらめ系の雪」は、水を含んで粗大化した丸い氷粒や、水を含んだ雪が再凍結した大きな丸い氷粒などが連なった雪である。「ざらめ系の雪」には、例えば、小さな湿度勾配の作用により形成された平らな面をもった氷粒の「こしもざらめ雪（Solid-type depth hoar）」と、大きな湿度勾配の作用により、もとの雪粒が霜に置き換わった「しもざらめ雪（Depth hoar）」とが含まれる。
［厚さ推定モデル］
図９は、厚さ推定モデルＭＤＬ１の具体的な構成の一例を示す図である。図示の例のように、厚さ推定モデルＭＤＬ１は、フルレンジモデルＭＤＬ１－１と、シャローレンジモデルＭＤＬ１－２と、ディープレンジモデルＭＤＬ１－３とによって構成される。
フルレンジモデルＭＤＬ１－１は、現実的に取り得ることが可能なある範囲（以下、フルレンジと称する）内に収まる厚さをもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体がフルレンジ内の厚さであることを表す状態量Ｓ１を出力するように学習されたモデルである。
フルレンジとは、第１閾値（例えば５［ｍｍ］）以上かつ第１閾値よりも大きい第２閾値（例えば３０［ｍｍ］）未満の範囲と、第２閾値以上かつ第２閾値よりも大きい第３閾値（例えば５０［ｍｍ］）未満の範囲とを合わせた範囲である。すなわち、フルレンジは、第１閾値以上かつ第３閾値未満の範囲（例えば５～５０［ｍｍ］）である。以下、第１閾値以上かつ第２閾値未満の範囲（例えば５～３０［ｍｍ］）を「シャローレンジ」と称し、第２閾値以上かつ第３閾値未満の範囲（例えば３０～５０［ｍｍ］）を「ディープレンジ」と称して説明する。シャローレンジは「第１範囲」の一例であり、ディープレンジは「第２範囲」の一例であり、フルレンジは「第３範囲」の一例である。
シャローレンジモデルＭＤＬ１－２は、シャローレンジ内（例えば５～３０［ｍｍ］）に収まる厚さをもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体がシャローレンジ内の厚さであることを表す状態量Ｓ２を出力するように学習されたモデルである。
ディープレンジモデルＭＤＬ１－３は、ディープレンジ内（例えば３０～５０［ｍｍ］）に収まる厚さをもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体がディープレンジ内の厚さであることを表す状態量Ｓ３を出力するように学習されたモデルである。
まず初めに、状態判定部１１８は、特徴量ベクトルＦを、前段のフルレンジモデルＭＤＬ１－１に入力する。特徴量ベクトルＦが入力されたフルレンジモデルＭＤＬ１－１は、堆積物の厚さを状態量Ｓ１として出力する。
一方、状態判定部１１８は、フルレンジモデルＭＤＬ１－１に入力した特徴量ベクトルＦの一部または全部を、後段のシャローレンジモデルＭＤＬ１－２及びディープレンジモデルＭＤＬ１－３のいずれか一方に選択的に入力する。
具体的には、状態判定部１１８は、フルレンジモデルＭＤＬ１－１が状態量Ｓ１として堆積物の厚さを出力すると、その厚さに応じて、スイッチＳＷ１を切り替える。スイッチＳＷ１は、特徴量ベクトルＦの入力先とするモデルを、シャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３のいずれかに切り替える。スイッチＳＷ１は、ソフトウェアコンポーネントであってよい。
上述したように、フルレンジモデルＭＤＬ１－１が状態量Ｓ１として出力する堆積物の厚さはフルレンジに収まる厚さであるため、シャローレンジまたはディープレンジのいずれかにも該当する。そのため、状態判定部１１８は、フルレンジモデルＭＤＬ１－１が出力した厚さがシャローレンジに収まる場合、特徴量ベクトルＦをシャローレンジモデルＭＤＬ１－２に入力し、フルレンジモデルＭＤＬ１－１が出力した厚さがディープレンジに収まる場合、特徴量ベクトルＦをディープレンジモデルＭＤＬ１－３に入力する。そして、状態判定部１１８は、特徴量ベクトルＦを入力した方のモデルが出力した状態量Ｓ２またはＳ３に基づいて、堆積物がどの程度の厚さを有しているのかを判定する。
このように、フルレンジモデルＭＤＬ１－１を用いて堆積物の厚さをある程度の精度で推定しつつ、フルレンジモデルＭＤＬ１－１に比べて推定可能なレンジが狭いものの、推定精度が高いシャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３を用いて再び堆積物の厚さを推定するため、精度よく堆積物の厚さを判定することができる。このように、前段のフルレンジモデルＭＤＬ１－１の推定結果を利用して、後段のシャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３に状態量Ｓを推定させるように学習する方法は、アンサンブル学習の一つであるブースティングと呼ばれる。つまり、フルレンジモデルＭＤＬ１－１やシャローレンジモデルＭＤＬ１－２、ディープレンジモデルＭＤＬ１－３は弱学習器であり、それらモデルを合わせた厚さ推定モデルＭＤＬ１は強学習器である。
なお、状態判定部１１８は、後段のシャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３が出力した状態量Ｓ２やＳ３だけでなく、前段のフルレンジモデルＭＤＬ１－１が出力した状態量Ｓ１も加味して堆積物の厚さを判定してもよい。
フルレンジに内包されるシャローレンジとディープレンジとは互いにオーバーラップしない範囲である。そのため、フルレンジモデルＭＤＬ１－１が出力した堆積物の厚さが、シャローレンジとディープレンジとの境界である第２閾値近傍である場合、第２閾値から遠く離れた範囲に比べて、フルレンジモデルＭＤＬ１－１の推定誤差が、最終的な状態量Ｓの推定精度に影響を及ぼしやすい。例えば、フルレンジモデルＭＤＬ１－１が、シャローレンジ内の第２閾値に近い値（例えば２９［ｍｍ］）を出力した場合、フルレンジモデルＭＤＬ１－１の推定誤差を考慮すれば、本来の堆積物の厚さ（すなわち真値）がディープレンジに収まる値（例えば３１［ｍｍ］）である可能性（またはその蓋然性）も無視できない。
従って、状態判定部１１８は、フルレンジモデルＭＤＬ１－１が出力した堆積物の厚さが、シャローレンジとディープレンジとの境界である第２閾値近傍である場合、フルレンジモデルＭＤＬ１－１が出力した堆積物の厚さと、シャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３のいずれかが出力した堆積物の厚さとを統計的に処理し、その統計的処理結果を示す指標値（例えば相加平均や加重平均など）を基に、堆積物の厚さを判定してもよい。
［性質推定モデル（その１）］
図１０は、性質推定モデルＭＤＬ２の具体的な構成の一例を示す図である。図示の例のように、性質推定モデルＭＤＬ２は、主要カテゴリモデルＭＤＬ２－１と、第１カテゴリモデルＭＤＬ２－２と、第２カテゴリモデルＭＤＬ２－３とによって構成される。主要カテゴリモデルＭＤＬ２－１や、第１カテゴリモデルＭＤＬ２－２、第２カテゴリモデルＭＤＬ２－３は弱学習器であり、それらモデルを合わせた性質推定モデルＭＤＬ２は強学習器である。
主要カテゴリモデルＭＤＬ２－１は、主要カテゴリ群のいずれかのカテゴリに性質が該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が主要カテゴリ群のいずれかであることを表す状態量Ｓ１を出力するように学習されたモデルである。
主要カテゴリ群とは、予め決められた複数のカテゴリを含むカテゴリの集合であり、堆積物の性質を大まかに分類可能なカテゴリの集合である。例えば、性質の推定対象である堆積物が雪である場合、主要カテゴリ群には、「新雪」、「圧雪」、「しまり系の雪」、「ざらめ系の雪」といった大別された計４種類の主要カテゴリが含まれる。
第１カテゴリモデルＭＤＬ２－２は、第１カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第１カテゴリであることを表す状態量Ｓ２を出力するように学習されたモデルである。
第１カテゴリは、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、下位カテゴリが存在する主要カテゴリである。例えば、第１カテゴリは、「こしまり雪」や「しまり雪」といった下位カテゴリが存在する「しまり系の雪」という主要カテゴリであってもよいし、「こしもざらめ雪」や「しもざらめ雪」といった下位カテゴリが存在する「ざらめ系の雪」という主要カテゴリであってもよい。
第２カテゴリモデルＭＤＬ２－３は、第２カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第２カテゴリであることを表す状態量Ｓ３を出力するように学習されたモデルである。
第２カテゴリは、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、第１カテゴリとは異なる主要カテゴリである。例えば、第１カテゴリが「しまり系の雪」という主要カテゴリであった場合、第２カテゴリは、「ざらめ系の雪」という主要カテゴリであってよい。
まず初めに、状態判定部１１８は、特徴量ベクトルＦを、前段の主要カテゴリモデルＭＤＬ２－１に入力する。特徴量ベクトルＦが入力された主要カテゴリモデルＭＤＬ２－１は、堆積物の性質を状態量Ｓ１として出力する。例えば、主要カテゴリ群に４種類の主要カテゴリが含まれる場合、主要カテゴリモデルＭＤＬ２－１は、堆積物の性質が４種類の主要カテゴリのそれぞれであることの尤もらしさを尤度や確率で表した４次元ベクトルを状態量Ｓ１として出力する。
一方、状態判定部１１８は、主要カテゴリモデルＭＤＬ２－１に入力した特徴量ベクトルＦの一部または全部を、後段の第１カテゴリモデルＭＤＬ２－２及び第２カテゴリモデルＭＤＬ２－３のいずれか一方に選択的に入力したり、或いはいずれのモデルにも入力しなかったりする。
具体的には、状態判定部１１８は、主要カテゴリモデルＭＤＬ２－１が状態量Ｓ１として堆積物の性質を出力すると、その性質に応じて、スイッチＳＷ２を切り替える。スイッチＳＷ２は、特徴量ベクトルＦの入力先とするモデルを、第１カテゴリモデルＭＤＬ２－２または第２カテゴリモデルＭＤＬ２－３のいずれかに切り替えたり、いずれのモデルにも切り替えなかったりする。スイッチＳＷ２は、スイッチＳＷ１と同様に、ソフトウェアコンポーネントであってよい。
例えば、堆積物を雪と仮定したときに、主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１が、他の主要カテゴリに比べて「ざらめ系の雪」の尤度が最も大きいことを表していた場合、状態判定部１１８は、スイッチＳＷを制御して、特徴量ベクトルＦの入力先とするモデルを第２カテゴリモデルＭＤＬ２－３に切り替え、第２カテゴリモデルＭＤＬ２－３に特徴量ベクトルＦを入力する。そして、状態判定部１１８は、第２カテゴリモデルＭＤＬ２－３が状態量Ｓ３を出力すると、その状態量Ｓ３に基づいて、堆積物がどういった雪質であるのかを判定する。
また、主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１が、他の主要カテゴリに比べて、「新雪」や「圧雪」といった下位カテゴリが存在しない主要カテゴリの尤度が最も大きいことを表していた場合、状態判定部１１８は、第１カテゴリモデルＭＤＬ２－２及び第２カテゴリモデルＭＤＬ２－３のいずれにも特徴量ベクトルＦを入力せず、状態量Ｓ１に基づいて、雪質を判定する。
このように、主要カテゴリモデルＭＤＬ２－１を用いて堆積物の性質を大まかに性質を分類した主要カテゴリに振り分け、その分類した主要カテゴリに下位カテゴリが存在する場合、更に、第１カテゴリモデルＭＤＬ２－２や第２カテゴリモデルＭＤＬ２－３を用いて堆積物の性質を下位カテゴリに分類するため、段階的に精度よく堆積物の性質を判定することができる。
なお、状態判定部１１８は、厚さ推定モデルＭＤＬ１のときと同様に、前段の主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１単体や、後段の第１カテゴリモデルＭＤＬ２－２が出力した状態量Ｓ２単体、第２カテゴリモデルＭＤＬ２－３が出力した状態量Ｓ３単体だけでなく、これら複数の状態量Ｓ１～Ｓ３を統計的に処理し、その統計的処理結果を示す指標値（例えば相加平均や加重平均など）を基に、堆積物の性質を判定してもよい。
［性質推定モデル（その２）］
図１１は、性質推定モデルＭＤＬ２の具体的な構成の他の例を示す図である。図示の例のように、性質推定モデルＭＤＬ２は、上述した主要カテゴリモデルＭＤＬ２－１、第１カテゴリモデルＭＤＬ２－２、及び第２カテゴリモデルＭＤＬ２－３に加えて、更に、第３カテゴリモデルＭＤＬ２－４や第４カテゴリモデルＭＤＬ２－５といったその他のモデルを備えてよい。
第３カテゴリモデルＭＤＬ２－４は、第３カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第３カテゴリであることを表す状態量Ｓ４を出力するように学習されたモデルである。
第３カテゴリは、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、「新雪」や「圧雪」といった下位カテゴリが存在しない主要カテゴリである。
第４カテゴリモデルＭＤＬ２－５は、第４カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第４カテゴリであることを表す状態量Ｓ５を出力するように学習されたモデルである。
第４カテゴリは、第３カテゴリと同様に、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、下位カテゴリが存在しない主要カテゴリである。例えば、第３カテゴリが「新雪」という主要カテゴリである場合、第４カテゴリは「圧雪」という主要カテゴリであってよい。
状態判定部１１８は、主要カテゴリモデルＭＤＬ２－１が状態量Ｓ１として堆積物の性質を出力すると、その性質に応じて、スイッチＳＷ２を切り替える。スイッチＳＷ２は、特徴量ベクトルＦの入力先とするモデルを、第１カテゴリモデルＭＤＬ２－２、第２カテゴリモデルＭＤＬ２－３、第３カテゴリモデルＭＤＬ２－４、第４カテゴリモデルＭＤＬ２－５のいずれかに切り替える。
例えば、堆積物を雪と仮定したときに、主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１が、他の主要カテゴリに比べて、「新雪」という下位カテゴリが存在しない主要カテゴリの尤度が最も大きいことを表していたとする。この場合、状態判定部１１８は、第３カテゴリモデルＭＤＬ２－４に特徴量ベクトルＦを入力する。そして、状態判定部１１８は、第３カテゴリモデルＭＤＬ２－４が状態量Ｓ４を出力すると、その状態量Ｓ４に基づいて雪質を判定する。このように、「しまり系の雪」や「ざらめ系の雪」といった下位カテゴリが存在する主要カテゴリだけなく、「新雪」や「圧雪」といった下位カテゴリが存在しない主要カテゴリについても、その主要カテゴリ専用に事前に学習されたモデルを利用して判別することで、より精度よく堆積物の性質を判定することができる。
［密度推定モデル］
図１２は、密度推定モデルＭＤＬ３又は種類推定モデルＭＤＬ４の一例を示す図である。例えば、密度推定モデルＭＤＬ３は、所定の密度をもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が所定の密度であることを表す状態量Ｓを出力するように学習されたモデルである。
状態判定部１１８は、特徴量Ｆを密度推定モデルＭＤＬ３に入力し、その密度推定モデルＭＤＬ３が出力した状態量Ｓに基づいて、特徴量Ｆの由来となった堆積物の密度を判定する。
また、種類推定モデルＭＤＬ４は、物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体の種類を表す状態量Ｓを出力するように学習されたモデルである。
状態判定部１１８は、特徴量Ｆを種類推定モデルＭＤＬ４に入力し、その種類推定モデルＭＤＬ４が出力した状態量Ｓに基づいて、特徴量Ｆの由来となった堆積物の種類を判定する。
図６のフローチャートの説明に戻る。次に、出力制御部１２０は、状態判定部１１８によって、厚さや性質、密度といった堆積物の状態が判定されると、堆積物の状態に関する情報（以下、堆積物状態情報と称する）を表示部１０４に表示させたり、通信部１０２を介して外部装置に送信したりする（ステップＳ１１０）。これによって本フローチャートの処理が終了する。
堆積物状態情報には、例えば、厚さや性質、密度といった状態量Ｓが含まれていてよい。また、堆積物状態情報には、更に、滑走路や道路、線路といったセンサ１０が埋設された場所の利用可否に関する情報が含まれていてもよい。
［学習装置の構成］
以下、推定モデルＭＤＬを学習する学習装置２００について説明する。学習装置２００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
図１３は、実施形態に係る学習装置２００の構成の一例を示す図である。図示のように、例えば、学習装置２００は、通信部２０２と、制御部２１０と、記憶部２３０とを備える。
通信部２０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して情報処理装置１００等の外部装置と通信する。
制御部２１０は、例えば、取得部２１２と、特徴量抽出部２１４と、学習部２１６とを備える。制御部２１０の構成要素は、例えば、ＣＰＵやＧＰＵなどのプロセッサが記憶部２３０に格納されたプログラムを実行することにより実現される。また、制御部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。記憶部２３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、上述した推定モデルデータＤ１と、教師データＤ２とを格納する。
教師データＤ２は、推定モデルＭＤＬを学習（訓練）するためのデータである。例えば、教師データＤ２には、厚さ推定モデルＭＤＬ１を学習するための第１教師データと、性質推定モデルＭＤＬ２を学習するための第２教師データと、密度推定モデルＭＤＬ３を学習するための第３教師データと、種類推定モデルＭＤＬ４を学習するための第４教師データとが含まれる。
第１教師データは、厚さが既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、厚さ推定モデルＭＤＬ１が出力すべき正解の厚さが教師ラベル（ターゲットともいう）として対応付けられたデータセットである。
第２教師データは、性質が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、性質推定モデルＭＤＬ２が出力すべき正解の性質を表すカテゴリの尤度が教師ラベルとして対応付けられたデータセットである。
第３教師データは、密度が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、密度推定モデルＭＤＬ３が出力すべき正解の密度が教師ラベルとして対応付けられたデータセットである。
第４教師データは、種類が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、種類推定モデルＭＤＬ４が出力すべき正解の種類が教師ラベルとして対応付けられたデータセットである。
［学習時（トレーニング）の処理フロー］
以下、フローチャートに即して制御部２１０の学習時の一連の処理の流れを説明する。「学習（トレーニング）」とは、運用時に参照される推定モデルＭＤＬを学習（訓練）することをいう。図１４は、実施形態の制御部２１０の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。また、学習装置２００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
まず、取得部２１２は、記憶部２３０に格納された教師データＤ２から、厚さや性質、密度といった教師ラベルに対応付けられた画像（すなわち散乱光又は透過光を撮像した画像）を取得する（ステップＳ２００）。
次に、特徴量抽出部２１４は、取得部２１２によって教師データＤ２から取得された画像から特徴量を抽出する（ステップＳ２０２）。
次に、学習部２１６は、特徴量抽出部２１４によって抽出された複数の特徴量を要素とするベクトル、すなわち特徴量ベクトルＦを、未学習の推定モデルＭＤＬに入力する（ステップＳ２０４）。
例えば、推定モデルＭＤＬに含まれる厚さ推定モデルＭＤＬ１に着目した場合、学習部２１６は、厚さ推定モデルＭＤＬ１の中に弱学習器として含まれるフルレンジモデルＭＤＬ１－１と、シャローレンジモデルＭＤＬ１－２と、ディープレンジモデルＭＤＬ１－３とのそれぞれに対して、共通の特徴量ベクトルＦを入力してもよいし、互いに異なる特徴量ベクトルＦを入力してもよい。「特徴量ベクトルＦが互いに異なる」とは、要素数が異なることであってもよいし、要素数は同じで各要素に対応する特徴量が異なることであってもよい。
例えば、可視光帯域の第１レーザ光や第２レーザ光は、近赤外帯域の第３レーザ光や第４レーザ光に比べて波長が長いため、堆積物が厚いほどより多く減衰し、散乱光や透過光の信号強度が弱くなる傾向にある。
従って、学習部２１６は、可視光帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、シャローレンジモデルＭＤＬ１－２に対して優先的に入力してよい。また、学習部２１６は、近赤外帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、ディープレンジモデルＭＤＬ１－３に対して優先的に入力してよい。これによって、弱学習器による堆積物の厚さの推定精度を向上させることができる。
また、可視光帯域の第１レーザ光や第２レーザ光は、近赤外帯域の第３レーザ光や第４レーザ光に比べて波長が長いため、水分による減衰の影響を多く受け、散乱光や透過光の信号強度が弱くなる傾向にある。
そのため、例えば、推定モデルＭＤＬに含まれる性質推定モデルＭＤＬ２に着目した場合、学習部２１６は、可視光帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、「ざらめ系の雪」という比較的水分量の多いカテゴリを推定する第２カテゴリモデルＭＤＬ２－３に優先的に入力してよい。また、学習部２１６は、近赤外帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、「ざらめ系の雪」よりも水分量の少ない「しまり系の雪」というカテゴリを推定する第１カテゴリモデルＭＤＬ２－２に優先的に入力してよい。これによって、弱学習器による堆積物の性質の推定精度を向上させることができる。
次に、学習部２１６は、推定モデルＭＤＬによって出力された状態量と、散乱光又は透過光を撮像した画像に対して教師ラベルとして対応付けられていた状態量との差分を算出する（ステップＳ２０６）。
例えば、学習部２１６は、Ｓ２０４の処理で厚さ推定モデルＭＤＬ１に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物の厚さと、厚さ推定モデルＭＤＬ１が状態量として出力した厚さとの差分を算出する。
また、学習部２１６は、Ｓ２０４の処理で性質推定モデルＭＤＬ２に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物のカテゴリの尤度と、性質推定モデルＭＤＬ２が状態量として出力したカテゴリの尤度との差分を算出する。
また、学習部２１６は、Ｓ２０４の処理で密度推定モデルＭＤＬ３に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物の密度と、密度推定モデルＭＤＬ３が状態量として出力した密度との差分を算出する。
また、学習部２１６は、Ｓ２０４の処理で種類推定モデルＭＤＬ４に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物の種類の尤度と、種類推定モデルＭＤＬ４が状態量として出力した種類の尤度との差分を算出する。
次に、学習部２１６は、Adaptive Boostingや、Gradient Boosting、eXtreme Gradient Boostingといったアンサンブル学習手法を用いて、厚さの差分が小さくなるように厚さ推定モデルＭＤＬ１を学習し、カテゴリの尤度の差分が小さくなるように性質推定モデルＭＤＬ２を学習し、密度の差分が小さくなるように密度推定モデルＭＤＬ３を学習し、種類の尤度の差分が小さくなるように種類推定モデルＭＤＬ４を学習する（ステップＳ２０８）。
例えば、学習部２１６は、各差分が小さくなるように、推定モデルＭＤＬのパラメータである重み係数やバイアス成分などを確率的勾配降下法などを用いて決定（更新）してよい。
学習部２１６は、学習した推定モデルＭＤＬを記憶部２３０に推定モデルデータＤ１として記憶させる。
このように、学習部２１６は、Ｓ２００からＳ２０８の処理を繰り返し行い（イタレーションを行い）、推定モデルデータＤ１を学習する。そして、学習部２１６は、十分に学習した学習済みの推定モデルＭＤＬを定義した推定モデルデータＤ１を、例えば、通信部２０２を介して情報処理装置１００に送信する。これによって本フローチャートの処理が終了する。
以上説明した実施形態によれば、情報処理システム１が、堆積物に対して互いに波長の異なる複数のレーザ光を照射する照射部１２と、照射部１２によって堆積物に照射されたレーザ光のそれぞれの散乱光又は透過光を検出する検出部１４と、検出部１４によって検出された散乱光又は透過光に基づいて画像を生成する画像生成部１１４と、画像生成部１１４によって生成された画像から複数の特徴量を抽出する特徴量抽出部１１６と、特徴量抽出部１１６によって抽出された複数の特徴量を要素とする特徴量ベクトルＦを予め学習された推定モデルＭＤＬに入力し、その特徴量ベクトルＦを入力した推定モデルＭＤＬが出力した状態量Ｓに基づいて、堆積物の状態を判定する状態判定部１１８と、を備えるため、堆積物の状態を精度よく判定することができる。
従来の技術では、超音波やレーザ光などを利用して計測した堆積物の物理量から、その堆積物の状態量を同定する際に、予め物理量と状態量との関係性を明らかにしておく必要があった。物理量と状態量との関係性が明らかでない場合、堆積物がどうのような状態にあるのかを精度よく判定することが困難な場合がある。また、判定精度の向上のために、複数の物理量から一つの状態量を同定する場合や、機能向上のために、一つまたは複数の物理量から複数の状態量を同定する場合、物理量と状態量との関係性が複雑となり、事前に関係性を把握することが非常に困難であった。その結果、堆積物の状態を精度よく判定することがより一層困難となる。
これに対して、本実施形態では、予め特徴量と状態量との関係性を明らかにしておかなくとも、特徴量と状態量との関係性を、ニューラルネットワークによって実現される推定モデルＭＤＬに学習させるため、ロバスト性を向上させつつ、堆積物の状態を精度よく判定することができる。
また、上述した実施形態によれば、推定モデルＭＤＬがニューラルネットワークによって実現されるため、トレーニングに用いなかった未知の堆積物や、水や雪のように性質が異なる物体が混合した堆積物に対しても高い精度で状態を判定することができる。つまり、汎化性能の優れたモデルを生成することができる。
なお、上述した実施形態では、推定モデルＭＤＬを利用して、散乱光又は透過光の画像から抽出した特徴量ベクトルＦから、堆積物の状態を判定するものとして説明したがこれに限られない。例えば、散乱光又は透過光の画像から抽出された特徴量ベクトルＦと、堆積物の状態を表す状態量Ｓとの相関関係などが近似式やテーブルで表される場合、推定モデルＭＤＬを実現するためのニューラルネットワークを利用する代わりに、それら近似式やテーブルを利用して、特徴量ベクトルＦから堆積物の状態を判定してもよい。つまり、推定モデルＭＤＬは、テーブルデータや近似式であってもよい。
また、上述した実施形態における状態判定部１１８は、取得部１１２が通信部１０２を介して、堆積物が存在する地点の気象観測情報や気象モデルの情報などを含む外部情報を取得した場合、特徴量ベクトルＦに加えて、更に、外部情報を推定モデルＭＤＬに入力することで、堆積物の状態を判定してもよい。気象観測情報には、例えば、センサ１０が埋設された地点の温度（例えば滑走路や道路の路面温度）や、気温や湿度、風速などが含まれてよい。気象モデルの情報には、気象モデルによって推定または予測された気温や湿度、風速などが含まれてよい。
また、上述した実施形態では、特徴量抽出部１１６が、散乱光又は透過光の画像から、一旦特徴量ベクトルＦを抽出し、更に、特徴量抽出部１１６が、その特徴量ベクトルＦを推定モデルＭＤＬに入力するものとして説明したがこれに限られない。例えば、ニューラルネットワークなどのモデル（以下、抽出モデルＭＤＬ＃と称する）が、散乱光又は透過光の画像から特徴量ベクトルＦを抽出してもよい。
図１５は、抽出モデルＭＤＬ＃と推定モデルＭＤＬとを組み合わせたモデルの一例を示す図である。図示の例のように、抽出モデルＭＤＬ＃は、推定モデルＭＤＬの前段に設けられる。抽出モデルＭＤＬ＃は、光散乱画像ＩＭＧなどが入力されると、特徴量を出力するように学習されたモデルである。抽出モデルＭＤＬ＃は、例えば、畳み込みニューラルネットワークによって実現されてよい。このように、抽出モデルＭＤＬ＃と推定モデルＭＤＬとを組み合わせることで、推定モデルＭＤＬの弱学習器にどういった特徴量を入力すべきか、といった特徴量の選択に関して人間が考慮すべきハイパーパラメータまでもモデルに学習させることができる。
また、上述した実施形態では、教師あり学習によって推定モデルＭＤＬを学習するものとして説明したがこれに限られない。例えば、推定モデルＭＤＬは、教師なし学習によって学習されてもよい。また、推定モデルＭＤＬは、教師あり学習または教師なし学習に代えて、転移学習によって学習されてもよい。転移学習とは、ある領域（ドメインともいう）で学習されたモデルを、他の領域に適合させるように学習する手法である。これによって、教師データの量が少ない場合であっても、精度の高い推定モデルＭＤＬを生成することができる。
また、上述した実施形態では、センサ１０が堆積物に対して波長が互いに異なる複数のレーザ光を照射するものとして説明したがこれに限られない。例えば、センサ１０は、単一波長光や広帯域波長の単一光を堆積物に照射してもよい。
また、上述した実施形態では、センサ１０が堆積物に対してレーザ光を照射するものとして説明したがこれに限られない。例えば、センサ１０は、レーザ光に加えて、或いは代えて、電波を照射してもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…情報処理システム、１０…センサ、１２…照射部、１４…検出部、１００…情報処理装置、１０２…通信部、１０４…表示部、１１０…制御部、１１２…取得部、１１４…画像生成部、１１６…特徴量抽出部、１１８…状態判定部、１２０…出力制御部、１３０…記憶部、２００…学習装置、２０２…通信部、２１０…制御部、２１２…取得部、２１４…特徴量抽出部、２１６…学習部、２３０…記憶部、ＭＤＬ…推定モデル

Claims (16)

  1. 堆積物に対して電磁波を照射する照射部と、
    前記照射部によって前記堆積物に照射された前記電磁波の散乱波又は透過波を検出する検出部と、
    前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の状態を判定する判定部と、
    前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から複数の特徴量を抽出する抽出部と、を備え、
    前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
    前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
    前記判定部は、前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定する、
    情報処理システム。
  2. 前記判定部は、前記堆積物の種類、性質、及び物理的特性の少なくとも一つを、前記状態として判定する、
    請求項１に記載の情報処理システム。
  3. 前記モデルは、前記弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
    前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
    請求項１に記載の情報処理システム。
  4. 前記判定部は、
    前記抽出部によって抽出された複数の特徴量を前記第１モデルに入力し、
    前記複数の特徴量を入力した前記第１モデルの出力結果である第１結果に基づいて、前記第２モデルまたは前記第３モデルのいずれか一方を選択し、
    前記選択したモデルに、前記第１モデルに入力した前記複数の特徴量の一部又は全部を入力し、
    前記選択したモデルの出力結果である第２結果、または前記第１結果と前記第２結果とを組み合わせた第３結果に基づいて、前記堆積物の厚さを判定する、
    請求項３に記載の情報処理システム。
  5. 前記判定部は、
    前記第１モデルによって、前記堆積物の厚さが前記第１範囲内であることを示す結果が出力された場合、前記第２モデルを選択し、
    前記第１モデルによって、前記堆積物の厚さが前記第２範囲内であることを示す結果が出力された場合、前記第３モデルを選択する、
    請求項４に記載の情報処理システム。
  6. 前記モデルは、前記弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
    前記第１モデルは、複数の性質のいずれかをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の性質が前記複数の性質のいずれかであることを表す状態量を出力するように学習されたモデルであり、
    前記第２モデルは、前記複数の性質に含まれる第１の性質をもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の性質が前記第１の性質であることを表す状態量を出力するように学習されたモデルであり、
    前記第３モデルは、前記複数の性質に含まれ、前記第１の性質と異なる第２の性質をもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の性質が前記第２の性質であることを表す状態量を出力するように学習されたモデルである、
    請求項１に記載の情報処理システム。
  7. 前記判定部は、
    前記抽出部によって抽出された複数の特徴量を前記第１モデルに入力し、
    前記複数の特徴量を入力した前記第１モデルの出力結果である第１結果に基づいて、前記第２モデルまたは前記第３モデルのいずれか一方を選択し、
    前記選択したモデルに、前記第１モデルに入力した前記複数の特徴量の一部又は全部を入力し、
    前記選択したモデルの出力結果である第２結果、または前記第１結果と前記第２結果とを組み合わせた第３結果に基づいて、前記堆積物の性質を判定する、
    請求項６に記載の情報処理システム。
  8. 前記判定部は、
    前記第１モデルによって、前記堆積物の性質が前記第１の性質であることを示す結果が出力された場合、前記第２モデルを選択し、
    前記第１モデルによって、前記堆積物の性質が前記第２の性質であることを示す結果が出力された場合、前記第３モデルを選択する、
    請求項７に記載の情報処理システム。
  9. 堆積物に対して電磁波を照射する照射部と、
    前記照射部によって前記堆積物に照射された前記電磁波の散乱波又は透過波を検出する検出部と、
    前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の状態を判定する判定部と、
    前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から複数の特徴量を抽出する抽出部と、を備え、
    前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
    前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
    前記判定部は、前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定し、
    前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
    情報処理システム。
  10. 気象観測情報又は気象モデルによって予測された情報を含む外部情報を取得する取得部を更に備え、
    前記判定部は、前記モデルに対して、前記取得部によって取得された前記外部情報を更に入力し、前記複数の特徴量と前記外部情報とを入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定する、
    請求項１から９のうちいずれか一項に記載の情報処理システム。
  11. 堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得する取得部と、
    前記取得部により取得された前記画像から、前記堆積物の状態を判定する判定部と、
    前記取得部により取得された前記画像から複数の特徴量を抽出する抽出部と、を備え、
    前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
    前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
    前記判定部は、前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定する、
    情報処理装置。
  12. 堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得する取得部と、
    前記取得部により取得された前記画像から、前記堆積物の状態を判定する判定部と、
    前記取得部により取得された前記画像から複数の特徴量を抽出する抽出部と、を備え、
    前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
    前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
    前記判定部は、前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定し、
    前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
    情報処理装置。
  13. コンピュータを利用した情報処理方法であって、
    堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
    取得した前記画像から、前記堆積物の状態を判定すること、
    取得した前記画像から複数の特徴量を抽出すること、
    物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
    前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
    前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定すること、
    を含む情報処理方法。
  14. コンピュータを利用した情報処理方法であって、
    堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
    取得した前記画像から、前記堆積物の状態を判定すること、
    取得した前記画像から複数の特徴量を抽出すること、
    物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
    前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
    前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定すること、を含み、
    前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
    情報処理方法。
  15. コンピュータに実行させるためのプログラムであって、
    堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
    取得した前記画像から、前記堆積物の状態を判定すること、
    取得した前記画像から複数の特徴量を抽出すること、
    物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
    前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
    前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定すること、
    を含むプログラム。
  16. コンピュータに実行させるためのプログラムであって、
    堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
    取得した前記画像から、前記堆積物の状態を判定すること、
    取得した前記画像から複数の特徴量を抽出すること、
    物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
    前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
    前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定すること、を含み、
    前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
    前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
    プログラム。
JP2019215755A 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム Active JP7382038B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019215755A JP7382038B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US17/779,018 US12000780B2 (en) 2019-11-28 2020-11-25 Information processing system, information processing device, information processing method, and program
PCT/JP2020/043864 WO2021106945A1 (ja) 2019-11-28 2020-11-25 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019215755A JP7382038B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021085785A JP2021085785A (ja) 2021-06-03
JP7382038B2 true JP7382038B2 (ja) 2023-11-16

Family

ID=76087424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019215755A Active JP7382038B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US12000780B2 (ja)
JP (1) JP7382038B2 (ja)
WO (1) WO2021106945A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4212848A1 (en) * 2022-01-14 2023-07-19 Eidg. Forschungsanstalt für Wald, Schnee und Landschaft WSL Snow density measurement instrument

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180357A (ja) 1998-12-11 2000-06-30 Omron Corp 路面状態判別装置
JP2007147517A (ja) 2005-11-29 2007-06-14 Horiba Ltd 試料解析方法、及び試料解析装置
JP2007257148A (ja) 2006-03-22 2007-10-04 Nissan Motor Co Ltd 画像処理装置及び方法
WO2010140613A1 (ja) 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
JP2015007605A (ja) 2013-05-31 2015-01-15 三菱重工業株式会社 放射性物質拡散予測装置、放射性物質拡散予測方法および放射性物質拡散予測プログラム
JP2019078720A (ja) 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム
JP2020134347A (ja) 2019-02-21 2020-08-31 国立研究開発法人宇宙航空研究開発機構 モニタリング装置及びモニタリング方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4008280A1 (de) * 1990-03-15 1991-09-19 Tzn Forschung & Entwicklung Verfahren zur ermittlung des fahrbahnoberflaechenzustandes
US5781115A (en) * 1995-04-03 1998-07-14 Target Microwave Apparatus and method for detection and thickness measurement of coatings over a surface
TWI331213B (en) 2005-11-29 2010-10-01 Horiba Ltd Sample analyzing method, sample analyzing apparatus,and recording medium
JP6326729B2 (ja) 2013-06-13 2018-05-23 国立研究開発法人宇宙航空研究開発機構 路面および構造物表面の雪厚と雪質モニタリングセンサー
JP6540992B2 (ja) 2015-03-13 2019-07-10 国立研究開発法人宇宙航空研究開発機構 雪氷モニタリング装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180357A (ja) 1998-12-11 2000-06-30 Omron Corp 路面状態判別装置
JP2007147517A (ja) 2005-11-29 2007-06-14 Horiba Ltd 試料解析方法、及び試料解析装置
JP2007257148A (ja) 2006-03-22 2007-10-04 Nissan Motor Co Ltd 画像処理装置及び方法
WO2010140613A1 (ja) 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
JP2015007605A (ja) 2013-05-31 2015-01-15 三菱重工業株式会社 放射性物質拡散予測装置、放射性物質拡散予測方法および放射性物質拡散予測プログラム
JP2019078720A (ja) 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム
JP2020134347A (ja) 2019-02-21 2020-08-31 国立研究開発法人宇宙航空研究開発機構 モニタリング装置及びモニタリング方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRITSCH, J. et al. ，Monocular Road Terrain Detection by Combining Visual and Spatial Information，IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS，2014年08月，VOL. 15, NO. 4，1586-1596

Also Published As

Publication number Publication date
JP2021085785A (ja) 2021-06-03
US12000780B2 (en) 2024-06-04
US20220412887A1 (en) 2022-12-29
WO2021106945A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
Chu et al. An ANN-based emulation modelling framework for flood inundation modelling: Application, challenges and future directions
Ghorbani et al. Modeling river discharge time series using support vector machine and artificial neural networks
Valavanis et al. Modelling of essential fish habitat based on remote sensing, spatial analysis and GIS
Di Giuseppe et al. Automatic detection of atmospheric boundary layer height using ceilometer backscatter data assisted by a boundary layer model
Zaman et al. Spatio-temporal prediction of root zone soil moisture using multivariate relevance vector machines
Mergili et al. Combining release and runout in statistical landslide susceptibility modeling
Ghahramani et al. Field experiments constraining the probability distribution of particle travel distances during natural rainstorms on different slope gradients
JP7382038B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Rokaya et al. Modelling of ice jam floods under past and future climates: A review
Stephens et al. Assessing the reliability of probabilistic flood inundation model predictions
Owen et al. Water temperature correlates with baleen whale foraging behaviour at multiple scales in the Antarctic
Khan et al. Assessment of the hydrological and coupled soft computing models, based on different satellite precipitation datasets, to simulate streamflow and sediment load in a mountainous catchment
Yüzügüllü et al. Determination of Secchi Disc depths in Lake Eymir using remotely sensed data
McConville et al. Are regional habitat models useful at a local-scale? A case study of threatened and common insectivorous bats in south-eastern Australia
CN109190182B (zh) 一种油膜覆盖非线性海面的电磁散射建模方法
Robson et al. Evaluating the eReefs Great Barrier Reef marine model against observed emergent properties
JP7383247B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Porskamp et al. Integrating angular backscatter response analysis derivatives into a hierarchical classification for habitat mapping
WO2022093036A1 (en) Method of estimating polymetallic nodule abundance
Wei et al. Diagnosing rain occurrences using passive microwave imagery: A comparative study on probabilistic graphical models and “black box” models
Lei et al. An automatic rainfall‐type classification algorithm combining diverse 3‐D features of radar echoes
Rieutord et al. Mixing height derivation from aerosol lidar using machine learning: KABL and ADABL algorithms
Anderson et al. Long-term Shoreline change at Kailua, Hawaii, using regularized single transect
Looper et al. Distributed hydrologic forecast reliability using next-generation radar
Hacıefendioğlu et al. Deep learning-based total suspended solids concentration classification of stream water surface images captured by mobile phone

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231026

R150 Certificate of patent or registration of utility model

Ref document number: 7382038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150