JP7468711B2 - 教師データ生成装置、教師データ生成方法、及び、プログラム - Google Patents

教師データ生成装置、教師データ生成方法、及び、プログラム Download PDF

Info

Publication number
JP7468711B2
JP7468711B2 JP2022579232A JP2022579232A JP7468711B2 JP 7468711 B2 JP7468711 B2 JP 7468711B2 JP 2022579232 A JP2022579232 A JP 2022579232A JP 2022579232 A JP2022579232 A JP 2022579232A JP 7468711 B2 JP7468711 B2 JP 7468711B2
Authority
JP
Japan
Prior art keywords
sensor information
combination
teacher data
road
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022579232A
Other languages
English (en)
Other versions
JPWO2022168223A5 (ja
JPWO2022168223A1 (ja
Inventor
千里 菅原
学 中野
奈々 十文字
洋介 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022168223A1 publication Critical patent/JPWO2022168223A1/ja
Publication of JPWO2022168223A5 publication Critical patent/JPWO2022168223A5/ja
Application granted granted Critical
Publication of JP7468711B2 publication Critical patent/JP7468711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、道路などの構造物の状態の判定に関し、特にモデルを用いた判定に関連する。
自治体などにおける道路の管理、及び、空港における滑走路などの管理には、多くの手間及び費用が必要である。
そこで、道路及び滑走路などの構造物の管理として、構造物の画像に基づいて構造物の状態を判定する技術が提案されている(特許文献1及び2を参照)。
特許文献1に記載の滑走路監視システム(以下、「滑走路監視システム」と呼ぶ)は、カメラを用いて滑走路の画像を撮影する。そして、滑走路監視システムは、撮影した画像の適応画像処理に基づいて、滑走路の異物損傷(Foreign Object Debris(FOD))を検出する。この処理において、滑走路監視システムは、撮影された画像を補正する。さらに、滑走路監視システムは、昼間か夜間かを判定し、夜間に撮影された画像から異常光状態を検出し、異常光状態が検出された画像を無視する。これらの動作を用いて、滑走路監視システムは、レーザー照明などの補助照明を使用せずに、昼間及び夜間の周辺光下で撮影された画像、特に夜間に撮影された画像を用いたFODの検出を改善している。
なお、滑走路監視システムは、モデルとして、滑走路表面モデルを開示している。
特許文献2に記載の道路維持管理システム(以下、「道路維持管理システム」と呼ぶ)は、予め、舗装種別ごとに道路を撮影した画像を教師データとして学習させた学習モデルを用意する。なお、このように、モデルを用いて判定するためには、予め、所定の教師データを用いて学習したモデル(道路維持管理システムでは「学習モデル」と呼んでいる)が必要である。
そして、道路維持管理システムは、学習モデルを用いて、道路画像の舗装種別を判定する。そして、道路維持管理システムは、舗装種別が判定された道路画像から舗装の劣化範囲を検出し、劣化範囲における舗装劣化の状態を算出する。そして、道路維持管理システムは、舗装種別ごとに舗装の劣化度を判定して分類する。
道路維持管理システムは、上記動作を用いて、道路の画像における舗装種別ごとの劣化を判定する。
特表2010-539740号公報 特開2020-147961号公報
道路などの画像の撮影は、野外での撮影であり、また、さまざまな時間、及び、環境などでの撮影である。そのため、撮影された画像は、道路などの状態、撮影条件、及び、環境などが異なる状況において撮影された画像となる。
このように、異なる状況において撮影された画像を、一つの判定モデルを用いて判定する場合、判定の精度を確保することが難しい。そのため、道路の判定には、複数のモデルを用いることが望ましい。
例えば、道路維持管理システムは、舗装の種別に対応した複数のモデルを用いて判定する。
なお、滑走路監視システムは、画像の昼間及び夜間を判定することを開示しているが、モデルの取り扱いについては開示していない。
複数のモデルを生成するためには、複数の教師データが必要である。
しかし、一般的に、教師データの生成には、多くの工数が必要である。特に、複数の教師データを生成する場合、多くの工数が必要である。
そこで、教師データの生成の負荷を低減することが望まれている。
しかし、特許文献1及び2は、教師データの生成の負荷に関連することを開示していない。
このように、特許文献1及び2は、教師データの生成の負荷を低減できないという問題点があった。
本発明の目的は、上記の問題点を解決し、道路などの状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減する教師データ生成装置などを提供することにある。
本発明の一形態における教師データ生成装置は、
道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の項目を含む組合せを選択する組合せ選択手段と、
センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出するデータ抽出手段と
を含む。
本発明の一形態における状態判定装置は、
上記の教師データ生成装置と、
複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成するモデル生成装置と、
センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定するセンサ情報判定装置と
を含む。
本発明の一形態における状態判定システムは、
上記の状態判定装置と、
状態判定装置にセンサ情報を出力するセンサ情報取得装置と、
状態判定装置が出力する情報を表示する表示装置と
を含む。
本発明の一形態における教師データ生成方法は、
道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の項目を含む組合せを選択し、
センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する。
本発明の一形態における状態判定方法は、
教師データ生成装置が、上記の教師データ生成方法を実行し、
モデル生成装置が、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成し、
センサ情報判定装置が、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する。
本発明の一形態における状態判定方法は、
状態判定装置が、上記の状態判定方法を実行し、
センサ情報取得装置が、状態判定装置にセンサ情報を出力し、
表示装置が、状態判定装置が出力する情報を表示する。
本発明の一形態におけるプログラムは
道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の項目を含む組合せを選択する処理と、
センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する処理と
をコンピュータに実行させる
本発明の一形態におけるプログラムは
上記の処理と、
複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する処理と、
センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する処理と
をコンピュータに実行させる

本発明に基づけば、道路などの状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するとの効果を奏することができる。
図1は、第1の実施形態にかかる状態判定システムの構成の一例を示すブロック図である。 図2は、状態判定システムの具体的な構成の一例を示す図である。 図3は、表示の一例を示す図である。 図4は、複数の状態の表示の一例を示す図である。 図5は、第1の実施形態にかかる教師データ生成装置の構成の一例を示すブロック図である。 図6は、教師データ生成装置における教師データを生成する動作の一例を示すフロー図である。 図7は、モデル生成装置における学習済モデルを生成する動作の一例を示すフロー図である。 図8は、センサ情報判定装置における道路の状態を判定する動作の一例を示すフロー図である。 図9は、状態判定装置のハードウェア構成の一例を示すブロック図である。 図10は、第2の実施形態にかかる教師データ生成装置の構成の一例を示すブロック図である。 図11は、第2の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図12は、第2の実施形態にかかる状態判定システムの構成の一例を示すブロック図である。
次に、本発明における実施形態について図面を参照して説明する。
各図面は、各実施形態を説明するためのものである。ただし、各実施形態は、図面の記載に限られるわけではない。また、各図面における同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
また、以下の説明に用いる図面において、各実施形態の説明において、本発明の課題の解決に関係しない部分の構成については、記載を省略し、図示しない場合もある。
まず、各実施形態の説明において用いる用語について説明する。
「道路」とは、車両及び人の少なくとも一方が通行する構造物である。ただし、道路は、車両及び人の少なくとも一方が通行できれば、地面の上に設置された道路に限られない。例えば、道路は、橋、及び、桟橋などでもよい。さらに、道路は、車両及び人が通行する道路に限られず、他の物が通行する通路でもよい。例えば、道路は、飛行機が通行する滑走路、誘導路、及び、エプロンでもよい。
さらに、道路は、車両などが通行する部分に限らず、道路に関連する構造物(例えば、標識、白線、ガードレール、反射鏡、信号機、表示灯、照明器具、又は、街路樹)を含んでもよい。
さらに、各実施形態は、道路に限らず、取得したセンサ情報を用いて判定できる構造物の状態を判定してもよい。例えば、センサ情報が道路の画像の場合、各実施形態は、画像に含まれる道路の近傍に設けられた構造物(例えば、電柱、建築物(一軒家、マンション、ビル、塀、垣根など))の状態を判定してもよい。
ただし、以下の説明では、説明の便宜のため、「道路」を用いて説明する。
「道路の種別」とは、判定の対象となる道路の区別である。
道路の種別の一例は、道路の管理者に対応した区分(市町村道、都道府県道、国道、及び、高速道路など)である。あるいは、道路の種別は、利用目的に沿った区分(例えば、道路の本道及びバイパス道路、主要道路及び生活道路、又は、空港における滑走路、誘導路、及び、エプロン)でもよい。
なお、道路の区分の判定は、道路を管理する組織又は地図の制作会社などから取得する道路区分情報、及び、制限速度の少なくとも一方を用いて判定可能である。
あるいは、道路の車線数は、道路を走行する車両の走行状態(例えば、速度及び移動)に影響する。そのため、道路の車線数(車線がない場合を含む)は、道路の種別の一例である。
なお、道路の車線数の検出方法として、例えば、道路を撮影した画像に所定の画像処理を適用して検出する方法がある。
「道路の状態」とは、判定の対象となる道路の状態、判定に影響する道路の状態、及び、道路(特に、路面)の材質である。
なお、道路の状態は、学習済モデルを用いて判定する対象でもある。そして、各実施形態において生成される教師データは、道路の状態を判定する学習済モデルを生成するために用いられる教師データである。
判定の対象となる道路の状態の一例は、道路の路面の劣化種別(ひび割れ(縦、横、又は亀甲)、わだち、及び、ポットホールなど)、路面のシールの劣化、及び、シールの周辺部のほつれである。
ただし、判定の対象となる道路の状態は、路面の劣化に限られない。例えば、判定の対象となる道路の状態は、道路に関連する構造物の劣化(例えば、路面の白線及び路面標識のカスレ、又は、標識の破損)でもよい。
また、判定の対象となる道路の状態は、道路及び道路に関連する構造物の劣化に限定されない。例えば、路面に付された白線及び路面標識は、夜間において反射して見えるように施工されている。そこで、判定の対象となる道路の状態は、白線及び路面標識の反射の状態でもよい。
あるいは、判定対象となる道路の状態は、道路に設置された照明の点灯状態、照明の輝度、又は、路面の照度でもよい。
あるいは、判定対象となる道路の状態は、舗装工事又は修繕工事の結果の判定(例えば、作業の品質の判定)でもよい。
マンホールは、晴れた日と雨の日とでは、画像における映り込みが異なる。あるいは、雨天又は散水における路面の濡れ具合は、路面の色を変化させ、撮影される画像の状態を変化させる。このように、路面の乾湿は、撮影される画像に影響する。さらに、路面を覆う水溜まりの大きさは、画像に含まれる道路の範囲に影響する。このように、路面の乾湿、並びに、水溜まりの有無及び大きさは、判定に影響する道路の状態の一例である。
なお、路面の乾湿、及び、水溜まりは、天候情報又は所定の画像処理(例えば、路面の輝度判定モデル、又は、水溜まり検出モデル)を用いて判定可能である。
路面の加工(例えば、排水用の直線の溝(groove)、又は、坂でのすべり止めの円形の溝)は、画像に影響する。そのため、路面の加工は、判定に影響する道路の状態の一例である。
なお、路面の加工は、路面の画像に所定の画像処理を用いて判定可能である。
路面の材質は、道路の舗装の材料、及び、舗装の材質の形状である。
道路の舗装の材料は、アスファルト、コンクリート、石、レンガ、又は、砂利などである。道路の舗装の材料は、排水性舗装などに用いられる多孔質なアスファルト混合物など、主たる材料に加える添加物を含んでもよい。
舗装の材質の形状は、舗装に用いられる粒の荒さ及び粒の形状、並びに、粒の色などである。
なお、道路の舗装の種類、及び、路面の材質は、路面の画像に所定の画像処理又はモデル(例えば、特許文献2に記載の各舗装用のモデル)を適用して判定可能である。
「センサ情報」とは、道路の状態を判定するために、所定のセンサを用いて取得された情報である。各実施形態は、センサ情報として、移動体(例えば、車両、二輪車、ドローン、又は、人)に搭載されたセンサ情報取得装置(例えば、ドライブレコーダー)が備える所定のセンサ(例えば、加速度計又はカメラ)を用いて取得した道路に関連する情報を用いる。例えば、センサ情報は、状態の判定対象である道路を走行する車両に搭載されたドライブレコーダーの加速度計が検出した加速度、又は、ドライブレコーダーのカメラが撮影した画像である。
ただし、センサ情報取得装置は、移動体に搭載される場合に限定されない。例えば、センサ情報取得装置は、定点カメラなど、所定の構造物に固定された装置でもよい。
なお、センサ情報は、道路の状態の判定に用いられる情報として、一つの情報に限られず、複数の情報を含んでもよい。例えば、センサ情報は、画像及び加速度を含む情報でもよい。
さらに、センサ情報は、判定に用いられる情報に加え、他の情報を含んでもよい。
例えば、センサ情報は、撮影時間及び撮影場所など、センサ情報の取得に関連する外部環境の情報(以下、単に「外部環境」とも呼ばれる)を含んでもよい。
あるいは、センサ情報は、撮影における露光時間及び照度など、センサ情報の取得条件を含んでもよい。
あるいは、センサ情報は、画像の画質、サイズ、アスペクト比、画像の解像度、及び、フレームレートなどセンサ情報の種別に関連する情報を含んでもよい。
あるいは、センサ情報は、画像の識別子などセンサ情報の管理に使用する情報を含んでもよい。
「移動体」とは、センサ情報を取得するセンサを備えたセンサ情報取得装置(例えば、ドライブレコーダー又は撮影装置)を搭載して移動するものである。
移動体は、任意である。例えば、移動体は、ドライブレコーダーを設置した車両(四輪車、又は、二輪車)、又は、ドローンでもよい。あるいは、移動体は、撮影装置を保持して移動する人でもよい。
「センサ情報の取得条件」とは、センサ情報の取得に関連する条件(例えば、移動体の状態又は特徴)である。
例えば、センサ情報取得装置が車両に搭載される場合、センサ情報取得装置の搭載位置、角度、及び、進行方向に対する向きは、車両の種類(車種)が異なると、異なる場合がある。そのため、センサ情報取得装置を搭載している車種は、センサ情報の取得条件の一例である。
なお、車種が異なる場合でも、センサ情報取得装置の搭載位置が、概ね同じ場合もある。この場合、画像における道路の位置及び面積は、概ね同じである。そのため、道路の位置及び面積が同じ画像は、教師データの生成において、同種の画像として扱われてもよい。
そこで、センサ情報の取得条件は、画像における道路(路面)の位置及び面積の少なくとも一方、又は、画像における道路でない領域の位置及び面積の少なくとも一方でもよい。
あるいは、二輪車は、四輪車に比べ、車体の傾きの変化が大きい。そのため、移動体の車輪の数は、センサ情報の取得条件の一例である。
あるいは、移動体が高速で移動している場合、撮影された画像内の物体が不鮮明となる場合(例えば、モーションブラー(motion blur)の発生)がある。このような画像を用いた判定は、判定の精度が低下する。つまり、移動体の速度は、判定に用いる画像の状態に影響を与える。このように、移動体の移動速度は、センサ情報の取得条件の一例である。
なお、モーションブラーは、画像の撮影における露光時間、及び、撮影場所の照度にも影響を受ける。そのため、露光時間及び照度は、センサ情報の取得条件の一例である。
あるいは、撮影時の移動体の加速度及び振動は、撮影される画像に影響を与える。そのため、移動体の加速度及び振動は、センサ情報の取得条件の一例である。
このように、センサ情報取得装置を搭載した移動体の状態は、センサ情報の取得条件の一例である。
「外部環境」とは、センサ情報を用いた判定に影響する情報の中で、上記の道路の状態、道路の種別、センサ情報の種別、及び、センサ情報の取得条件の状態を除いた情報である。
例えば、撮影条件(例えば、画像の撮影の時間帯(朝、昼、夕、及び、夜など)及び天気(晴れ、曇り、雨、雨上がり、及び、雪など))は、画像を用いた判定に影響する。そのため、撮影条件(例えば、撮影の時間帯及び天気)は、外部環境の一例である。
なお、センサ情報取得装置が、センサ情報を取得したときに、撮影条件(例えば、時間)などの外部環境をセンサ情報に付与してもよい。
あるいは、撮影時の周辺音は、道路が混雑している場合に大きくなる。道路の混雑は、道路の劣化の進行に影響する。
あるいは、路面が劣化している場合、車両などの移動体において、移動に伴う振動が多くなる。そのため、路面が劣化している場合、車両のような移動体において、移動時の振動に伴って発生する音(以下、「振動音」と呼ぶ)が大きくなる。
あるいは、雨量は、撮影される画像に影響する。そして、雨天時の雨音は、ある程度、雨量に比例する。
このように、音は、道路の状態の判定に有効な情報の一つである。そのため、音(例えば、周辺音、振動音、及び、雨音)は、外部環境の一例である。なお、外部環境として音を用いる場合、センサ情報取得装置は、移動体に搭載されたマイクを用いて、センサがセンサ情報を取得したときにマイクが検出した音を、センサ情報に付与すればよい。
移動体が車両の場合、車両が走行する道路の交通量及び混雑状態は、車両の走行(例えば、通行できる車線及び速度)に影響する。移動体が人の場合、道路(例えば、歩道)の混雑状態は、人の移動に影響する。このように、交通量及び混雑は、取得されるセンサ情報に影響する。つまり、移動体の周辺の交通量及び混雑などは、外部環境の一例である。
なお、混雑などは、取得された画像に所定の画像処理を適用して判定可能である。あるいは、混雑情報は、所定の交通情報の提供組織から取得可能である。
あるいは、道路の周辺又は近傍に設置されている構造物(例えば、看板)及び樹木は、それらの影が路面の画像に移りこむ場合がある。このような影は、画像を用いた判定に影響を与える。そのため、道路の周辺又は近傍に設置された構造物(例えば、道路脇に設置された広告用の看板、標識、電柱、及び、中高層の建築物(ビルディング及び橋))及び道路の周辺の樹木(自然林又は街路樹)は、外部環境の一例である。
なお、道路の周辺などの構造物及び樹木は、撮影された画像に所定の画像処理を適用する、又は、地図情報などから取得可能である。
センサ情報は、道路の状態、道路の種別、センサ情報の種別、センサ情報の取得条件、及び、外部環境に影響される。つまり、道路の状態、道路の種別、センサ情報の種別、センサ情報の取得条件、及び、外部環境は、それぞれ、取得されるセンサ情報に関連する。そこで、以下の説明では、これらをまとめて「センサ情報に関連する項目」と呼ぶ場合もある。
<第1の実施形態>
次に、図面を参照して、第1の実施形態について説明する。
[構成の説明]
まず、第1の実施形態にかかる教師データ生成装置110などの構成について、図面を参照して説明する。
図1は、第1の実施形態にかかる状態判定システム10の構成の一例を示すブロック図である。
状態判定システム10は、状態判定装置100と、センサ情報取得装置200と、情報提供装置300と、入力装置400と、表示装置500とを含む。
状態判定システム10に含まれる各装置は、所定の通信路(例えば、インターネット)を介して接続されている。なお、各装置は、直接的に接続されていなくてもよい。
例えば、センサ情報取得装置200は、取得したセンサ情報を、所定のリムーバルな記憶装置(例えば、Universal Serial Bus(USB)メモリ)に保存してもよい。そして、利用者が、状態判定装置100に接続された読み取り装置を用いて、リムーバルな記憶装置(例えば、USBメモリ)に保存されたセンサ情報を、状態判定装置100に出力してもよい。
あるいは、センサ情報取得装置200は、図示しない記憶装置にセンサ情報を保存してもよい。この場合、状態判定装置100は、その記憶装置から、センサ情報を取得すればよい。
また、状態判定システム10に含まれる各装置の数は、図1に限定されない。例えば、状態判定システム10は、複数のセンサ情報取得装置200を含んでもよい。
センサ情報取得装置200は、図示しない移動体に搭載され、移動体の移動に伴い、道路の判定に用いられるセンサ情報を取得する。センサ情報取得装置200は、任意である。例えば、センサ情報取得装置200は、車両に搭載されたドライブレコーダーでもよい。この場合、センサ情報取得装置200は、センサ情報として、画像及び加速度の少なくとも一方を出力する。
さらに、センサ情報取得装置200は、センサ情報に、センサ情報の種別を含めてもよい。例えば、センサ情報が画像の場合、センサ情報取得装置200は、センサ情報に、画像の画質、サイズ、アスペクト比、画像の解像度、及び、フレームレートなどのセンサ情報の種別に関連する情報を含めてもよい。
さらに、センサ情報取得装置200は、センサ情報に、センサ情報の取得条件を含めてもよい。例えば、センサ情報取得装置200がドライブレコーダーの場合、センサ情報取得装置200は、センサ情報に、ドライブレコーダーが検出した車両の速度、及び、加速度の少なくとも一方を含めてもよい。
さらに、センサ情報取得装置200は、センサ情報に、少なくとも一部の外部環境のデータを含めてもよい。例えば、センサ情報取得装置200がドライブレコーダーの場合、センサ情報取得装置200は、センサ情報に、センサ情報を取得した時間及び位置を含めてもよい。
そして、センサ情報取得装置200は、取得したセンサ情報を状態判定装置100に出力する。
情報提供装置300は、少なくとも一部の外部環境を、状態判定装置100に出力する。情報提供装置300は、任意である。例えば、情報提供装置300は、所定の情報を提供する企業の装置(例えば、気象情報を提供するサーバー)又はデーターセンターである。
なお、状態判定装置100が、センサ情報の含まれる情報を用いて、情報提供装置300から外部環境を取得してもよい。例えば、センサ情報が取得された日時と位置とを含む場合、状態判定装置100は、日時と位置とを用いて、所定の気象情報の提供先から、センサ情報の取得時における天気のデータを取得してもよい。
状態判定装置100が、外部環境を、どのように取得するかは、利用者などが、適宜決定すればよい。
入力装置400は、後ほど説明する、状態判定装置100における教師データの選択に関連する情報を、状態判定装置100に出力する。入力装置400は、任意である。例えば、入力装置400は、道路の管理者が使用するシステムの入力機器でもよい。
表示装置500は、状態判定装置100が出力する情報(例えば、道路の状態)を表示する。表示装置500は、任意である。例えば、表示装置500は、道路の管理者が使用するシステムの表示機器でもよい。
なお、入力装置400及び表示装置500は、一つの装置(例えば、利用者の携帯する端末装置のタッチパネル)でもよい。
状態判定装置100は、センサ情報取得装置200からセンサ情報を取得する。状態判定装置100は、情報提供装置300及びセンサ情報取得装置200の少なくとも一方から、外部環境を取得してもよい。この場合、状態判定装置100は、取得した外部環境をセンサ情報に追加する。
そして、状態判定装置100は、取得したセンサ情報を用いて、道路の判定に用いる学習済モデルの生成に用いられる教師データを生成する。この動作において、状態判定装置100は、外部環境を用いてもよい。
そして、状態判定装置100は、生成した教師データを用いて、道路の判定に用いる学習済モデルを生成する。
そして、状態判定装置100は、新たに取得したセンサ情報を、生成した学習済モデルに適用して、道路の状態を判定する。
そして、状態判定装置100は、判定の結果を表示装置500に出力する。なお、状態判定装置100は、取得したセンサ情報、生成した教師データ、生成した学習済モデル、及び、これらに関連する情報の少なくとも一つを出力してもよい。
なお、状態判定装置100は、センサ情報取得装置200を搭載する移動体に搭載されてもよい。
図2は、状態判定システム10の具体的な構成の一例を示す図である。
図2において、状態判定システム10は、状態判定装置100としてサーバー810を、センサ情報取得装置200としてドライブレコーダー820を、情報提供装置300としてデーターセンター830を含む。さらに、状態判定システム10は、入力装置400及び表示装置500として端末装置840を含む。さらに、図2において、状態判定システム10は、ドライブレコーダー820を搭載して移動する移動体として車両870を含む。さらに、図2において、状態判定システム10は、各装置の接続する通信路として、ネットワーク890を含む。なお、図2は、複数台のドライブレコーダー820を用いる場合の一例を示す図である。
ネットワーク890は、各装置を接続する通信路である。
車両870は、ドライブレコーダー820を搭載して道路を走行する。
ドライブレコーダー820は、道路の画像を撮影して、サーバー810に出力する。
なお、ドライブレコーダー820は、車両870の内部(車内)に搭載される。ただし、図2は、ドライブレコーダー820を分かりやすくするため、車両870の外部に隣接して示している。
データーセンター830は、外部環境をサーバー810に出力する。
サーバー810は、ドライブレコーダー820からセンサ情報を取得する。必要に応じて、サーバー810は、データーセンター830から取得した外部環境をセンサ情報に追加する。そして、サーバー810は、取得したセンサ情報を用いて、道路の状態の判定に用いる学習済モデルの生成に用いる教師データを生成する。そして、サーバー810は、生成した教師データを用いて、学習済モデルを生成する。そして、サーバー810は、新たにドライブレコーダー820から取得したセンサ情報を学習済モデルに適用して、道路の状態を判定する。そして、サーバー810は、判定の結果を端末装置840に出力する。
端末装置840は、サーバー810から取得した判定の結果を表示する。
なお、サーバー810は、取得したセンサ情報、生成した教師データ、生成した学習済モデル、及び、これらに関連する情報の少なくとも一つを、端末装置840に出力してもよい。あるいは、サーバー810は、端末装置840から、教師データの生成に関連する情報、及び、学習済モデルの生成に関連する情報の少なくとも一方を取得してもよい。
サーバー810、ドライブレコーダー820、データーセンター830、端末装置840、車両870、及び、ネットワーク890は、特に制限などはない。これらとして、一般的に販売されている製品が用いられてもよい。そのため、これらの詳細な説明を省略する。
図1を参照した説明に戻る。
表示装置500における道路の状態の表示のやり方は、任意である。利用者が、適宜、表示装置500における道路の状態の表示のやり方を決定すればよい。
図3は、表示の一例を示す図である。
図3は、センサ情報が道路の画像であり、判定対象の道路の状態が劣化の場合の表示の一例である。図3において、表示装置500は、判定対象の道路の画像において、矩形の枠を用いて劣化の位置を示している。さらに、図3において、表示装置500は、「劣化度大」と判定したされた位置を強調(斜線)表示している。
なお、表示装置500は、状態判定装置100が判定した道路の状態の表示として、一つではなく複数の道路の状態をまとめて表示してもよい。
図4は、複数の状態の表示の一例を示す図である。
図4において、表示装置500は、所定の領域の道路において劣化があると判定された部分を、矢印を用いて示している。さらに、図4において、表示装置500は、「劣化度大」と判定された部分を、強調表示(黒色の矢印)を用いて示している。なお、図4における矢印の向きは、道路における車両の進行方向である。
図1を参照した説明に戻る。
次に、状態判定装置100の構成について説明する。
状態判定装置100は、教師データ生成装置110と、教師データ保存装置120と、モデル生成装置130と、モデル保存装置140と、センサ情報判定装置150とを含む。
教師データ生成装置110は、センサ情報を用いて、教師データを生成する。教師データ生成装置110については、後ほど詳細に説明する。
教師データ保存装置120は、教師データ生成装置110が生成した教師データを保存する。
モデル生成装置130は、教師データ保存装置120が保存する教師データを用いて、教師データを用いた学習をしていないモデル(以下、「学習前モデル」と呼ぶ)の機械学習を実行して、学習済モデルを生成する。
なお、モデル生成装置130が機械学習に用いる学習前モデルの取得元は、任意である。例えば、予め、利用者が、モデル保存装置140に学習前モデルを保存してもよい。あるいは、モデル生成装置130が、学習済モデルの生成において、図示しない装置から学習前モデルを取得してもよい。
モデル生成装置130は、複数の学習済モデルを生成してもよい。例えば、教師データ保存装置120が複数の教師データを保存する場合、モデル生成装置130は、全て又は一部の教師データそれぞれに対応した学習済モデルを生成してもよい。
この場合、モデル生成装置130は、一つの学習前モデルを用いて、複数の教師データそれぞれに対応した学習済モデルを生成してもよい。この場合、モデル生成装置130は、教師データの数の学習済モデルを生成する。
ただし、モデル生成装置130は、複数の学習前モデルを用いてもよい。
例えば、モデル生成装置130は、教師データそれぞれに対応する学習前モデルを用いて、学習済モデルを生成してもよい。この場合も、モデル生成装置130は、教師データの数の学習済モデルを生成する。
ただし、モデル生成装置130は、教師データより多くの数の学習済モデルを生成してもよい。
例えば、複数の学習前モデルを用いる場合において、モデル生成装置130は、少なくとも一部の学習前モデルそれぞれに複数の教師データを適用して、少なくとも一部の学習前モデルそれぞれに対応した複数の学習済モデルを生成してもよい。
あるいは、モデル生成装置130は、少なくとも一部の教師データを、複数の異なる学習前モデルに適用して、少なくとも一部の教師データそれぞれに対応した複数の学習済モデルを生成してもよい。
そして、モデル生成装置130は、生成した学習済モデルをモデル保存装置140に保存する。
なお、モデル生成装置130は、生成した学習済モデルに精度判定用のデータを適用して学習済モデルの精度を算出し、算出した精度を所定の装置(例えば、表示装置500)に出力してもよい。そして、モデル生成装置130は、所定の指示に基づいて、学習済モデルを再学習してもよい。この場合、状態判定装置100は、教師データ生成装置110を用いて、再学習用の教師データを生成してもよい。再学習用の教師データの生成において、教師データ生成装置110は、利用者などから、再学習用の教師データの生成に関連する情報(例えば、精度を向上したい項目の指示)を取得してもよい。
一例を用いて、上記の動作を説明する。
例えば、影が多い画像における道路の状態を判定する学習済モデル(以下、「日影道路状態判定モデル」と呼ぶ)の精度が低いとする。
モデル生成装置130は、日影道路状態判定モデルの精度を表示装置500に出力する。利用者は、表示装置500に表示を参照し、入力装置400を用いて、状態判定装置100に、日影道路状態判定モデルの再学習を指示する。その際、利用者は、再学習用のセンサ情報(例えば、影の多い画像)を状態判定装置100に送信してもよい。
モデル生成装置130は、入力装置400から再学習の指示を取得すると、指示に基づいて、教師データ生成装置110に再学習用の教師データの生成を依頼する。教師データ生成装置110は、再学習用の教師データを生成する。そして、モデル生成装置130は、再学習用の教師データを用いて、日影道路状態判定モデルの再学習を実行する。
モデル生成装置130は、再学習した日影道路状態判定モデルの精度を算出して、再学習した日影道路状態判定モデルの精度を再出力してもよい。利用者は、再出力された精度を参照して、所定の精度とのなるまで、再学習の指示を繰り返してもよい。
モデル生成装置130は、学習済モデルの生成において、判定の対象となる道路の関連する情報を用いて、学習の手法、及び、モデルの種類の少なくとも一方を選択してもよい。
モデル保存装置140は、生成された学習済モデルを保存する。モデル保存装置140は、学習前モデルを保存してもよい。
センサ情報判定装置150は、センサ情報取得装置200から取得したセンサ情報を、モデル保存装置140に保存されている学習済モデルに適用して、道路の状態を判定する。
複数の学習済モデルが保存されている場合、センサ情報判定装置150は、センサ情報を複数の学習済モデルそれぞれに適用し、複数の学習済モデルそれぞれの判定結果(以下、「個別判定結果」と呼ぶ)を取得する。
そして、センサ情報判定装置150は、取得した複数の判定結果(個別判定結果)を用いて、センサ情報に対応する道路の状態(以下、「合算判定結果」と呼ぶ)を生成する。例えば、センサ情報判定装置150は、各学習済モデルに対する重みを用いて、複数の学習済モデルそれぞれの判定結果(個別判定結果)を合算して、道路を判定の結果(合算判定結果)を生成してもよい。
そして、センサ情報判定装置150は、合算した判定の結果(合算判定結果)を所定の装置(例えば、表示装置500)に出力する。
なお、センサ情報判定装置150は、利用者などからの合算に関連する指示(例えば、合算におけるモデルの重み)を取得してもよい。
次に、教師データ生成装置110の構成について説明する。
図5は、第1の実施形態にかかる教師データ生成装置110の構成の一例を示すブロック図である。
教師データ生成装置110は、センサ情報取得部111と、センサ情報分類部112と、センサ情報保存部113と、組合せ選択部114と、データ抽出部115とを含む。
センサ情報取得部111は、センサ情報取得装置200からセンサ情報を取得する。さらに、センサ情報取得部111は、センサ情報取得装置200及び情報提供装置300の少なくとも一方から外部環境を取得して、取得した外部環境をセンサ情報に含めてもよい。
そして、センサ情報取得部111は、取得したセンサ情報をセンサ情報保存部113に保存する。保存されたセンサ情報は、後ほど説明する教師データの生成に用いられる。
なお、センサ情報取得部111は、センサ情報に、上記以外の情報を含めてもよい。
例えば、センサ情報取得部111は、図示しない装置から、センサ情報それぞれにおける正解を示すデータ(例えば、各画像における劣化の位置とそのスコア)を取得して、センサ情報に追加してもよい。以下、正解を示すデータを「正解ラベル」と呼ぶ。あるいは、センサ情報取得部111は、センサ情報取得装置200から、正解ラベルを含むセンサ情報を取得してもよい。
センサ情報保存部113は、センサ情報を保存する。
なお、センサ情報保存部113に保存されたセンサ情報は、後ほど説明するように、データ抽出部115における抽出対象となるデータである。
そこで、教師データ生成装置110は、データ抽出部115におけるセンサ情報の抽出を容易にするため、センサ情報を分類するセンサ情報分類部112を含んでもよい。
センサ情報分類部112は、データ抽出部115におけるセンサ情報の抽出が容易となるように、センサ情報保存部113に保存されているセンサ情報を分類する。例えば、センサ情報分類部112は、各項目に対応してセンサ情報を分類する。あるいは、センサ情報分類部112は、各項目に対応する分類に加え、又は、各項目に対応する分類に替えて、所定の項目の組合せに対応するようにセンサ情報を分類してもよい。
なお、センサ情報取得部111は、センサ情報をセンサ情報保存部113に保存せずに、センサ情報分類部112に出力してもよい。この場合、センサ情報分類部112が、センサ情報取得部111から取得したセンサ情報を分類し、分類したセンサ情報をセンサ情報保存部113に保存する。
なお、センサ情報分類部112は、少なくとも一部のセンサ情報を複数の項目に分類してもよい。例えば、センサ情報が晴天時の昼間に撮影された画像の場合、センサ情報分類部112は、その画像を、晴天の項目、及び、昼間の項目の両方に分類してもよい。
組合せ選択部114は、次に示すセンサ情報に関連する項目の中から、少なくとも2つ以上の項目を含む組合せ選択する。
(1)道路の状態、
(2)道路の種別、
(3)道路の状態を判定するためのセンサ情報の種別、
(4)センサ情報の取得条件、
(5)センサ情報の取得における外部環境。
例えば、組合せ選択部114は、センサ情報の取得条件の項目として所定の撮影時間(センサ情報の取得時間又は取得時間帯)と、外部環境の項目として周辺に設置された構造物(例えば、高層ビル)との組合せを選択する。
組合せ選択部114は、複数の組合せを選択してもよい。この場合、それぞれの組合せが含む項目の数は、異なっていてもよい。例えば、組合せ選択部114は、2つの項目を含む組合せと、3つの項目を含む組合せとを選択してもよい。
組合せ選択部114が選択する項目の組合せは、任意である。組合せ選択部114は、予め設定されている項目の組合せを用いてもよい。
あるいは、組合せ選択部114は、組合せ可能な全ての項目の組合せを選択してもよい。例えば、組合せ選択部114は、保存されているセンサ情報に関連するすべての項目の組合せを選択してもよい。
あるいは、組合せ選択部114は、予め設定された規則に対応した組合せを選択してもよい。例えば、組合せ選択部114は、所定の項目(例えば、センサ情報の取得時間)と、他の項目との組合せを選択してもよい。
例えば、市街地の道路の場合、道路の周辺の建造物、及び、街路樹の少なくとも一方の影が、画像に映り込む。あるいは、郊外の道路の場合、道路の周辺の森林の樹木の影が、画像に映り込む。ただし、映り込む影の位置は、撮影された時間に対応して変化する。さらに、影が映りこまない時間帯がある場合もある。
また、画像に映り込む影の形状は、道路の周辺の建造物及び樹木に対応している。
ここで、センサ情報取得装置200が、道路の管理に用いられる車両に搭載されたドライブレコーダーであり、センサ情報が道路の画像とする。一般的に、道路の管理に用いられる車両は、管理対象となる道路を、ある程度の頻度で何度も走行する。ただし、走行時間(つまり、画像の撮影時間)は、一定ではなく、変化する場合が多い。
そのため、この場合、センサ情報として、影の位置が異なる画像が、収集される。
そこで、組合せ選択部114は、組合せに用いる項目として、「時間帯」と「道路の周辺の構造物又は樹木」とを用いてもよい。例えば、組合せ選択部114は、「取得時間」の項目として、日照時に対応する「6時から10時」、「10時から14時」及び「14時から18時」のいずれか一つを用いてもよい。さらに、組合せ選択部114は、「道路の周辺の構造物又は樹木」として「高層ビル」、「中層ビル」、「低層ビル」、「街路樹」、及び、「森林」のいずれ一つを用いてもよい。例えば、組合せ選択部114は、日照時における高層ビルの組合せとして、「6時から10時」と「高層ビル」との組合せ、「10時から14時」と「高層ビル」との組合せ、及び、「14時から18時」と「高層ビル」との組合せを選択してもよい。
このように、同じ道路に対して繰り返しセンサ情報を取得する場合、組合せ選択部114は、同じ道路に対応した複数のセンサ情報において変化する項目(例えば、上記の取得時間)を含む組合せを選択してもよい。
あるいは、組合せ選択部114は、移動体の速度(例えば、車両の速度)と、道路の区分(例えば、主要道路、及び、生活道路、又は、市町村道、都道府県道、国道、及び、高速道路)との組合せを選択してもよい。
この場合、組合せ選択部114は、取得時間を用いて、影の位置が異なるが画像から、影の位置が概ね同じ位置となる画像を選択する組合せを選択できる。
さらに、組合せ選択部114は、3つ以上の項目を含む組合せを選択してもよい。例えば、組合せ選択部114は、取得時間と、道路付近の構造物と、劣化の種別との組合せを選択してもよい。
組合せ選択部114は、項目の組合せの選択において、所定の装置(例えば、入力装置400)から選択する項目の指示を取得してもよい。例えば、組合せ選択部114は、所定の装置(例えば、入力装置400)から取得した利用者からの指示に基づいて組合せを選択してもよい。その場合、組合せ選択部114は、所定の装置(例えば、表示装置500)に、組合せとして選択可能な項目を出力してもよい。
例えば、組合せ選択部114は、センサ情報保存部113に保存されているセンサ情報に関連する項目を抽出し、抽出した項目を、「組合せとして選択可能な項目」として出力してもよい。
あるいは、組合せ選択部114は、予め項目の一覧を保存しておき、その一覧において、センサ情報から抽出できなかった項目を、「組合せとして選択できない項目」として出力してもよい。
なお、後ほど説明するように、組合せ選択部114が選択する組合せは、教師データの抽出に用いられる。教師データは、ある程度のデータ量を必要とする。そこで、組合せ選択部114は、所定の数(所定の閾値)より少ない項目を、「組合せとして選択できない項目」としてもよい。この場合、組合せ選択部114は、組合せとして選択できない理由(例えば、センサ情報がない、又は、センサ情報の数が閾値より少ない)を出力してもよい。
さらに、組合せ選択部114は、データ抽出部115に出力する組合せに、センサ情報の抽出に関連する情報を含めてもよい。
例えば、組合せ選択部114は、データ抽出部115に出力する組合せに、組合せに対応して抽出するセンサ情報の数を含めてもよい。あるいは、組合せ選択部114は、データ抽出部115に出力する組合せに、組合せに対応して抽出するセンサ情報の数の範囲(例えば、下限値と上限値)を含めてもよい。あるいは、組合せ選択部114は、データ抽出部115に出力する組合せに、組合せに対応した全てのセンサ情報を抽出する指示を含めてもよい。
あるいは、組合せ選択部114は、組合せに対応するセンサ情報の抽出のやり方を含めてもよい。例えば、組合せ選択部114は、組合せに、所定の項目に関して所定の分布となるように抽出する指示を含めてもよい。
さらに、組合せ選択部114は、複数の組合せを含む組合せを生成してもよい。この場合、組合せ選択部114は、組合せに、複数の組合せに対応するセンサ情報の数、又は、比率を含めてもよい。
適切な機械学習を実行するためには、教師データに含まれるデータの状態(例えば、各項目の比率)は、重要である。
そこで、組合せ選択部114は、データ抽出部115が抽出するセンサ情報において、各項目の組合せに対応したセンサ情報の数又は比率が、所定の値となるように、組合せを選択してもよい。
例えば、影を含む画像は、影がない画像に比べ、ひび割れなどの劣化の判定が難しい。そこで、組合せ選択部114は、影を含む画像が多くなるような組合せを選択してもよい。
所定の時間と影との項目を含む組合せを用いて、組合せの一例を説明する。
例えば、所定の時間における影を含む画像の比率を、影を含まない画像の比率の4倍とする場合、組合せ選択部114は、次のように、2つの項目(時間と、影の有無の項目)と画像の数とを含む2つの組合せ(組合せ1及び2)を含む組合せを生成する。
組合せ1:項目1=所定の時間、項目2=影を含む、画像の枚数=400。
組合せ2:項目1=所定の時間、項目2=影を含まない、画像の枚数=100。
組合せの選択において、組合せ選択部114は、センサ情報保存部113に保存されているセンサ情報において、組合せとして選択できる項目に対応するセンサ情報の数及び比率の少なくとも一方を、所定の装置(例えば、表示装置500)に出力してもよい。そして、組合せ選択部114は、組合せとして使用する項目、及び、使用する組合せの指示を所定の装置(例えば、入力装置400)から取得して、組合せを選択してもよい。
このように、組合せ選択部114は、選択する組合せに関連する指示を取得して、組合せを選択してもよい。
そして、組合せ選択部114は、選択した組合せをデータ抽出部115に出力する。
なお、組合せ選択部114は、選択した組合せの一部を、データ抽出部115に出力してもよい。例えば、組合せ選択部114は、利用者からの指示に基づいて、データ抽出部115に出力する組合せを選択してもよい。
この場合の動作の一例を説明する。
組合せ選択部114は、組合せを選択すると、選択した組合せを表示装置500に出力する。利用者は、表示装置500に表示された組合せを確認する。そして、利用者は、入力装置400を用いて、使用する組合せの指示を組合せ選択部114に出力する。組合せ選択部114は、指示された組合せを、データ抽出部115に出力する。
この場合、教師データ生成装置110は、データ抽出部115が抽出する教師データとして、利用者などの要望に適合した教師データを抽出できる。
データ抽出部115は、センサ情報保存部113が保存しているセンサ情報から、組合せ選択部114が選択した項目の組合せに対応するセンサ情報を抽出して、教師データ保存装置120に保存する。保存されたセンサ情報は、モデル生成装置130におけるモデルの機械学習に用いられるデータ(教師データ)となる。
組合せが複数の組合せを含む場合、データ抽出部115は、それぞれの組合せに対応したセンサ情報を抽出し、抽出したセンサ情報をまとめて教師データ保存装置120に保存する。なお、複数の組合せに対応して重複したセンサ情報が抽出される場合、データ抽出部115は、一つのセンサ情報を保存してもよく、重複してセンサ情報を保存(つまり、同じセンサ情報を複数含むように保存)してもよい。
組合せがセンサ情報の数を含む場合、データ抽出部115は、その数のセンサ情報を抽出する。
なお、データ抽出部115は、指定された規則に沿って、所定の数のセンサ情報を抽出してもよい。
例えば、センサ情報が複数の時間帯に対して同じ比率となるように指定された場合、データ抽出部115は、センサ情報の数が最も少ない時間帯のセンサ情報の数を用いて、指定された各時間帯におけるセンサ情報を抽出してもよい。
あるいは、データ抽出部115は、ランダムに、センサ情報を抽出してもよい。
あるいは、データ抽出部115は、少なくとも一部の項目において、所定の分布(例えば、一様分布、又は、正規分布)となるように、センサ情報を抽出してもよい。例えば、項目が時間帯の場合、データ抽出部115は、0時から23時の全ての時間におけるセンサ情報を均等に含むように(つまり、時間帯において一様分布となるように)、センサ情報を抽出してもよい。
例えば、教師データに含まれるセンサ情報は、偏りが少ない方が望ましい。利用者が、多くの教師データにおいて偏りが少ないようにデータを抽出することは、多くの工数が必要である。複数の項目の組合せに対応したセンサ情報を抽出する場合、さらに多くの工数が必要となる。
教師データ生成装置110は、上記のように、所定に分布に沿ったセンサ情報を抽出できる。そのため、教師データ生成装置110は、適切な教師データを生成できる。その結果、教師データ生成装置110は、利用者における教師データの生成の負荷を低減する。
このように、教師データ生成装置110は、センサ情報に関連する項目の中から、少なくとも2つ以上の項目を含む組合せを選択し、選択した組合せを用いて、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データを生成する。利用者は、教師データ生成装置110を用いて、教師データの生成の負荷を低減できる。
教師データ生成装置110は、複数の教師データを生成することもできる。つまり、組合せ選択部114が、複数の組合せを選択できる。この場合、教師データ生成装置110は、利用者などにおける複数の教師データの生成における負荷を低減する。
なお、複数の組合せを選択する場合、組合せ選択部114は、選択する組合せとして、少なくとも一部の項目が他のいずれの組合せとも異なる組合せを生成する。
なお、この場合の「異なる」とは、項目を含まない場合を含む。
例えば、項目がA、B及びCの場合(なお、項目の組合せを{}を用いて示す)、2つ以上の項目を含む組合せは、組合せ{A,B}、{B,C}、{C,A}及び{A,B,C}である。つまり、組合せ選択部114は、組合せ{A,B}、{B,C}、{C,A}及び{A,B,C}の中から、データ抽出部115に出力する組合せを選択する。この場合、組合せ{A,B}は、組合せ{A,B,C}に対して、項目Cを含まない点で異なる組合せである。
なお、複数の教師データが生成される場合、少なくとも一部の教師データが、同じセンサ情報を含む場合もある。
[動作の説明]
次に、図面を参照して、状態判定装置100に含まれる装置の動作について説明する。
まず、図面を参照して、教師データ生成装置110の動作を説明する。
図6は、教師データ生成装置110における教師データを生成する動作の一例を示すフロー図である。
センサ情報取得部111は、センサ情報を取得する(ステップS701)。センサ情報取得部111は、情報提供装置300から外部環境を取得して、センサ情報に追加してもよい。そして、センサ情報取得部111は、取得したセンサ情報をセンサ情報保存部113に保存する。
センサ情報分類部112は、センサ情報保存部113に保存されているセンサ情報を分類する(ステップS702)。なお、センサ情報分類部112が、センサ情報取得部111からセンサ情報を取得し、分類してからセンサ情報をセンサ情報保存部113に保存してもよい。ただし、教師データ生成装置110は、センサ情報を分類しなくてもよい。
組合せ選択部114は、少なくとも2つの以上の項目を含む組合せを選択する(ステップS703)。より詳細には、組合せ選択部114は、次に示すセンサ情報に関連する項目の中から、少なくとも2つ以上の項目を含む組合せ選択する。
(1)道路の状態、
(2)道路の種別、
(3)道路の状態を判定するためのセンサ情報の種別、
(4)センサ情報の取得条件、
(5)センサ情報の取得における外部環境。
データ抽出部115は、組合せを用いてセンサ情報を抽出する(ステップS704)。選択されたセンサ情報は、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとなる。つまり、データ抽出部115は、組合せを用いて、教師データを抽出する。
データ抽出部115は、抽出したセンサ情報(教師データ)を、教師データ保存装置120に保存する(ステップS705)。
教師データ生成装置110は、必要とする全ての教師データを生成するまで、上記動作を繰り返す。
なお、教師データ生成装置110は、必要に応じて、所定の装置(例えば、入力装置400)から教師データの生成に必要な情報(例えば、組合せに含める項目の指示)を取得してもよい。その場合、教師データ生成装置110は、所定の装置(例えば、表示装置500)に、情報の取得に関連する情報(例えば、組合せ可能な項目)を出力してもよい。
次に、図面を参照して、モデル生成装置130の動作について説明する。
図7は、モデル生成装置130における学習済モデルを生成する動作の一例を示すフロー図である。
モデル生成装置130は、モデル保存装置140から、所定のモデル(学習前モデル)を取得する(ステップS711)。
モデル生成装置130は、教師データ保存装置120に保存されている教師データを用いて学習前モデルの機械学習を実行して、学習済モデルを生成する(ステップS712)。
モデル生成装置130は、生成した学習済モデルをモデル保存装置140に保存する(ステップS713)。
モデル生成装置130は、全て又は指定された一部の教師データに対応した学習済モデルを生成するまで、又は、指定された数の学習済モデルを生成するまで、上記動作を繰り返す。
次に、図面を参照して、センサ情報判定装置150の動作について説明する。
図8は、センサ情報判定装置150における道路の状態を判定する動作の一例を示すフロー図である。
センサ情報判定装置150は、判定対象のセンサ情報を取得する(ステップS721)。
センサ情報判定装置150は、センサ情報を複数の学習済モデルそれぞれに適用して、それぞれの学習済モデルの判定結果(個別判定結果)を生成する(ステップS722)。
センサ情報判定装置150は、複数の学習済モデルの判定結果(個別判定結果)を合算して、道路の状態の判定結果(合算判定結果)を生成する(ステップS723)。
センサ情報判定装置150は、合算判定結果を所定の装置(例えば、表示装置500)に出力する(ステップS724)。
[効果の説明]
次に、第1の実施形態にかかる教師データ生成装置110の効果について説明する。
第1の実施形態にかかる教師データ生成装置110は、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するとの効果を奏することができる。
その理由は、次の通りである。
教師データ生成装置110は、組合せ選択部114と、データ抽出部115とを含む。組合せ選択部114は、選択に用いる項目の中から、少なくとも2つ以上の項目を含む組合せを選択する。選択に用いられる項目は、道路の状態、道路の種別、状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目である。そして、データ抽出部115は、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する。
教師データ生成装置110は、センサ情報に関連する項目の中から、少なくとも2つ以上の項目の組合せを選択する。そして、教師データ生成装置110は、組合せを用いて、センサ情報を抽出する。抽出されたセンサ情報は、項目の組合せに対応する教師データとなる。
このように、教師データ生成装置110は、項目の組合せに対応する教師データを生成できるため、利用者などにおける教師データの生成の負荷を低減できる。
教師データ生成装置110は、組合せに選択される項目として、センサ情報の取得時間を用いてもよい。
例えば、道路の管理に用いられる車両が、異なる時間に、管理対象となる道路を、何度も走行する場合、取得される画像は、画像の取得時間に対応して、影の位置が異なる。しかし、教師データ生成装置110は、取得時間を用いて、影の位置が概ね同じとなる画像を用いた教師データを生成できる。
さらに、教師データ生成装置110は、教師データの生成を繰り返し実行できる。なお、この場合、教師データ生成装置110は、それぞれが異なる項目の組合せに対応した複数の教師データを生成する。
道路の判定には、複数の学習済モデルを用いることが望ましい。複数の学習済モデルを用いるためには、複数の教師データを用意する必要がある。
教師データ生成装置110は、必要となる項目の組合せを用いて、複数の教師データを生成できる。そのため、教師データ生成装置110は、複数の学習済モデルを用いる場合における教師データの生成の負荷を低減できる。
さらに、教師データ生成装置110は、複数の項目の組合せに対応した教師データを生成する。複数の項目の組合せに対応した教師データを用いて生成された学習済モデルは、個別の項目に対応した教師データを用いて生成された学習済モデルと比べ、項目の組合せに対応した状態で取得されたセンサ情報を用いた判定の精度が向上する。このように、教師データ生成装置110は、精度の高い学習済モデルを生成できる教師データを生成する。
さらに、教師データ生成装置110は、所定の装置(例えば、入力装置400)から組合せに関連する指示(例えば、利用者の希望の項目)を取得し、取得した指示(利用者からの指示)に基づいて組合せを選択してもよい。この場合、教師データ生成装置110は、利用者などの希望に沿った教師データを生成できる。
なお、教師データ生成装置110は、予め設定された規則に沿って、教師データとして抽出するセンサ情報を選択してもよい。この場合も、教師データ生成装置110は、教師データの生成の負荷を低減できる。
さらに、教師データ生成装置110は、組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力してもよい。
このような構成に基づいて、教師データ生成装置110は、利用者から項目の指示を受ける場合に、利用者が指示を決める際に参考となる情報を提供する。
そのため、利用者は、組合せに用いる項目を指示する場合に、適切な項目を指示できる。
さらに、教師データ生成装置110は、項目を選択できない理由を出力してもよい。
利用者は、出力された理由を参照して、適切な項目の組合せを指示できる。あるいは、利用者は、理由を参照して、適切な教師データの生成するための作業を実行できる。
例えば、ある項目を選択できない理由が、センサ情報の不足の場合、利用者は、その項目に対応するセンサ情報を取得して、教師データ生成装置110に提供してもよい。
さらに、教師データ生成装置110は、組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を出力してもよい。
利用者は、出力されたセンサ情報の数及び比率の少なくとも一方を用いて、生成された教師データが教師データとして適切か否かを判定できる。
このように、教師データ生成装置110は、利用者に対して、適切な教師データの生成に有効な情報を提供できる。
教師データ生成装置110は、さらに、センサ情報を取得するセンサ情報取得部111と、センサ情報を保存するセンサ情報保存部113とを含む。これらの構成を用いて、教師データ生成装置110は、データ抽出部115の抽出対象となるセンサ情報を取得及び保存できる。
教師データ生成装置110は、さらに、センサ情報分類部112を含む。センサ情報分類部112は、センサ情報取得部111が取得したセンサ情報、又は、センサ情報保存部113が保存しているセンサ情報を、項目に基づいて分類する。この場合、データ抽出部115は、分類されたセンサ情報からセンサ情報を抽出する。そのため、教師データ生成装置110は、データ抽出部115におけるセンサ情報の抽出の負荷を低減できる。
状態判定装置100は、教師データ生成装置110と、モデル生成装置130と、センサ情報判定装置150とを含む。教師データ生成装置110は、上記の通り動作する。モデル生成装置130は、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する。センサ情報判定装置150は、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得する。そして、センサ情報判定装置150は、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する。
教師データ生成装置110は、複数の項目の組合せそれぞれに対応した教師データを生成できる。つまり、教師データ生成装置110は、複数の項目に組合せに対して精度の高い学習済モデルを生成できる教師データを生成する。
モデル生成装置130は、複数の教師データそれぞれに対応した学習済モデルを生成できる。つまり、モデル生成装置130は、複数の項目の組合せそれぞれに適した学習済モデルを生成する。
さらに、センサ情報判定装置150は、取得したセンサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定の結果を合算する。
このように、状態判定装置100は、道路の状態の判定として、複数の項目の組合せそれぞれに適した学習済モデルを用いた判定結果を合算する。そのため、状態判定装置100は、道路の状態の判定の精度を向上できる。
なお、特許文献2は、舗装の種別に対応した複数のモデルを用いることを、開示している。
しかし、特許文献2は、撮影条件など舗装の種別以外の項目を開示していない。さらに、特許文献は、項目を組み合わせることを開示していない。
そのため、特許文献2に記載の技術を用いても、舗装種別以外の状況への対応が難しいという問題点があった。
また、特許文献1は、複数のモデルを用いることを開示していない。
一方、教師データ生成装置110は、舗装種別を含め、少なくとも2つ以上の項目を組合せに対応した教師データを生成する。そのため、教師データ生成装置110は、さまざまな状況において取得されたセンサ情報を用いても、それぞれの状況における判定の精度が高い学習済モデルを生成するための教師データを生成できる。
さらに、モデル生成装置130は、生成された複数の教師データを用いて複数の学習済モデルを生成する。そのため、モデル生成装置130は、複数の項目の組合せそれぞれに適した学習済モデルを生成できる。
さらに、センサ情報判定装置150は、センサ情報を、上記のように生成された複数の学習済モデルに適用して道路の状態を判定する。そのため、センサ情報判定装置150は、適切に、道路の状態を判定できる。
このように、状態判定装置100は、教師データの生成の負荷を低減し、かつ、センサ情報を用いて道路の状態を適切に判定できる。
さらに、モデル生成装置130は、生成した複数の学習済モデルに所定のデータ(精度判定用データ)を適用して、複数の学習済モデルそれぞれの精度を算出して、出力してもよい。
この場合、利用者は、出力された精度を参照して、学習済モデルの取り扱いを決定してもよい。
例えば、利用者は、精度が低い学習済モデルの教師データとなる項目のセンサ情報を状態判定装置100に提供する。そして、利用者は、状態判定装置100に対して、精度の低い学習済モデルの再学習を指示する。状態判定装置100は、指示に従って、新たなセンサ情報を用いて教師データを生成し、生成した教師データを用いて精度の低い学習済モデルの再学習を実行する。
あるいは、利用者は、入力装置400を用いて、センサ情報判定装置150に、精度の低い学習済モデルの合算における重みを小さくするように指示してもよい。
このように、状態判定装置100は、学習済モデルの精度に対応した動作を実行できる。
状態判定システム10は、状態判定装置100と、センサ情報取得装置200と、表示装置500とを含む。状態判定装置100は、上記のように動作する。センサ情報取得装置200は、状態判定装置100にセンサ情報を出力する。表示装置500は、状態判定装置100が出力する情報(例えば、合算判定結果)を表示する。
状態判定システム10は、上記構成を用いて、教師データの生成の負荷を低減し、かつ、センサ情報を用いた道路の状態の判定を提供できる。
さらに、状態判定システム10は、情報提供装置300を含む。情報提供装置300は、状態判定装置100に外部環境を出力する。
このように構成された、状態判定システム10は、外部環境を反映した動作を実現できる。
さらに、状態判定システム10は、入力装置400を含む。入力装置400は、状態判定装置100に、教師データの生成に関連する指示を出力する。
このような構成を用いて、状態判定システム10は、適切な教師データを生成できる。そのため、状態判定システム10は、適切に道路の状態を判定できる。
[ハードウェア構成]
次に、状態判定装置100におけるハードウェア構成について説明する。
状態判定装置100の各構成部は、ハードウェア回路で構成されてもよい。
あるいは、状態判定装置100において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。例えば、状態判定装置100は、クラウドコンピューティングを利用して構成されてもよい。
あるいは、状態判定装置100において、複数の構成部は、1つのハードウェアで構成されてもよい。
あるいは、状態判定装置100は、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)とを含むコンピュータ装置として実現されてもよい。状態判定装置100は、上記構成に加え、さらに、ネットワークインターフェース回路(NIC:Network Interface Circuit)を含むコンピュータ装置として実現されてもよい。
図9は、状態判定装置100のハードウェア構成の一例を示すブロック図である。
状態判定装置100は、CPU610と、ROM620と、RAM630と、記憶装置640と、NIC650とを含み、コンピュータ装置を構成している。
CPU610は、ROM620及び記憶装置640の少なくとも一方からプログラムを読み込む。そして、CPU610は、読み込んだプログラムに基づいて、RAM630と、記憶装置640と、NIC650とを制御する。そして、CPU610を含むコンピュータ装置は、これらの構成を制御し、図1に示されている各構成としての各機能を実現する。図1に示されている各構成とは、教師データ生成装置110と、教師データ保存装置120と、モデル生成装置130と、モデル保存装置140と、センサ情報判定装置150とである。
CPU610は、各機能を実現する際に、RAM630又は記憶装置640を、プログラム及びデータの一時的な記憶媒体として使用してもよい。
また、CPU610は、コンピュータで読み取り可能にプログラムを記憶した記録媒体690が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、CPU610は、NIC650を介して、図示しない外部の装置からプログラムを受け取り、RAM630又は記憶装置640に保存して、保存したプログラムを基に動作してもよい。
ROM620は、CPU610が実行するプログラム及び固定的なデータを記憶する。ROM620は、例えば、P-ROM(Programmable-ROM)又はフラッシュROMである。
RAM630は、CPU610が実行するプログラム及びデータを一時的に記憶する。RAM630は、例えば、D-RAM(Dynamic-RAM)である。
記憶装置640は、状態判定装置100が長期的に保存するデータ及びプログラムを記憶する。記憶装置640は、教師データ保存装置120と、モデル保存装置140として動作する。また、記憶装置640は、CPU610の一時記憶装置として動作してもよい。記憶装置640は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)又はディスクアレイ装置である。
ROM620と記憶装置640とは、不揮発性(non-transitory)の記録媒体である。一方、RAM630は、揮発性(transitory)の記録媒体である。そして、CPU610は、ROM620、記憶装置640、又は、RAM630に記憶されているプログラムを基に動作可能である。つまり、CPU610は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
NIC650は、ネットワークを介して、外部の装置(センサ情報取得装置200、情報提供装置300、入力装置400、及び、表示装置500)とのデータのやり取りを中継する。NIC650は、例えば、LAN(Local Area Network)カードである。さらに、NIC650は、有線に限らず、無線を用いてもよい。
このように構成された状態判定装置100は、図1の状態判定装置100と同様の効果を得ることができる。
その理由は、図9の状態判定装置100のCPU610が、プログラムに基づいて、図1の状態判定装置100と同様の機能を実現できるためである。
なお、教師データ生成装置110と、モデル生成装置130と、センサ情報判定装置150とが、上記で説明したいずれかのハードウェアを用いて構成されてもよい。この場合、状態判定装置100は、所定の通信路を介して、ハードウェアで構成されたこれらの装置を接続して構成されてもよい。
例えば、教師データ生成装置110と、モデル生成装置130と、センサ情報判定装置150とが、それぞれ図9に示されているコンピュータ装置を用いて構成されてもよい。この場合、教師データ保存装置120及びモデル保存装置140は、例えば、所定の記憶装置(例えば、いずれかの装置を実現するコンピュータ装置の記憶装置640)を用いて構成される。
例えば、教師データ生成装置110が図9に示されているコンピュータ装置を用いて構成される場合、CPU610を含むコンピュータ装置は、図9に示されている構成を制御して、図5に示されている各構成としての機能を実現する。図5に示されている構成とは、センサ情報取得部111と、センサ情報分類部112と、センサ情報保存部113と、組合せ選択部114と、データ抽出部115とである。そして、この場合、記憶装置640は、センサ情報保存部113として動作する。
そして、このように構成された教師データ生成装置110は、図5の教師データ生成装置110と同様の効果を得ることができる。
その理由は、図9のコンピュータ装置を用いて実現された教師データ生成装置110のCPU610が、プログラムに基づいて、図5の教師データ生成装置110と同様の機能を実現できるためである。
<第2の実施形態>
教師データ生成装置110は、図示しない記憶装置に保存されているセンサ情報を用いてもよい。この場合、教師データ生成装置110は、センサ情報取得部111、センサ情報分類部112、及び、センサ情報保存部113を含まなくてもよい。
あるいは、教師データ生成装置110は、予め設定された組合せ、又は、予め設定された規則に基づいて組合せを設定してもよい。
図10は、第2の実施形態にかかる教師データ生成装置118の構成の一例を示すブロック図である。
教師データ生成装置118は、組合せ選択部114と、データ抽出部115とを含む。組合せ選択部114は、選択に用いられる項目の中から、少なくとも2つ以上の項目を含む組合せを選択する。選択に用いられる項目は、道路の状態、道路の種別、状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目である。そして、データ抽出部115は、センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する。
このように構成された教師データ生成装置118は、教師データ生成装置110と同様に、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するという効果を得ることができる。
なお、教師データ生成装置118は、第1の実施形態の教師データ生成装置110の最小構成である。
状態判定装置100は、図示しない記憶装置を、教師データ保存装置120及びモデル保存装置140として用いてもよい。
あるいは、教師データ生成装置110又は118は、教師データをモデル生成装置130に出力してもよい。さらに、モデル生成装置130は、生成済みモデルをセンサ情報判定装置150に出力してもよい。これらの場合、状態判定装置100は、教師データ保存装置120、及び、モデル保存装置140を含まなくてもよい。
図11は、第2の実施形態にかかる教師データ生成装置118を含む状態判定装置108の構成の一例を示すブロック図である。
状態判定装置108は、教師データ生成装置118と、モデル生成装置130と、センサ情報判定装置150とを含む。教師データ生成装置118は、上記の通りに動作する。モデル生成装置130は、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する。センサ情報判定装置は、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する。
このように構成された状態判定装置108は、第1の実施形態の状態判定装置100と同様の効果に、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するという効果を得ることができる。
なお、状態判定装置108は、第1の実施形態の状態判定装置100の最小構成である。
図12は、第2の実施形態にかかる状態判定装置108を含む状態判定システム18の構成の一例を示すブロック図である。
状態判定システム18は、状態判定装置108と、センサ情報取得装置200と、表示装置500とを含む。状態判定装置108は、上記の通り動作する。センサ情報取得装置200は、状態判定装置にセンサ情報を出力する。表示装置500は、状態判定装置108が出力する情報を表示する。
このように構成された状態判定システム18は、第1の実施形態の状態判定システム10と同様に、道路の状態の判定に用いるモデルの学習に用いる教師データの生成の負荷を低減するという効果を得ることができる。
なお、状態判定システム18は、第1の実施形態の状態判定システム10の最小構成である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の項目を含む組合せを選択する組合せ選択手段と、
センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出するデータ抽出手段と
を含む教師データ生成装置。
(付記2)
組合せに選択される項目が、少なくともセンサ情報の取得時間を含む
付記1に記載の教師データ生成装置。
(付記3)
組合せに選択される項目が、道路の周辺又は近傍の構造物、センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
付記2に記載の教師データ生成装置。
(付記4)
組合せ選択手段が、利用者からの所定の指示に基づいて、組合せを選択する
付記1ないし3のいずれか1項に記載の教師データ生成装置。
(付記5)
組合せ選択手段が、組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力する
を含む付記1ないし4のいずれか1項に記載の教師データ生成装置。
(付記6)
組合せ選択手段が、組合せとして選択できない項目を出力する場合、選択できない理由を出力する
付記5に記載の教師データ生成装置。
(付記7)
組合せ選択手段が、組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を出力する
付記5又は6に記載の教師データ生成装置。
(付記8)
センサ情報を取得するセンサ情報取得手段と、
センサ情報を保存するセンサ情報保存手段と
を含む付記1ないし7のいずれか1項に記載の教師データ生成装置。
(付記9)
センサ情報取得手段が取得したセンサ情報、又は、センサ情報保存手段が保存しているセンサ情報を、項目に基づいて分類するセンサ情報分類手段をさらに含み、
データ抽出手段が、分類されたセンサ情報からセンサ情報を選択する
付記8に記載の教師データ生成装置。
(付記10)
付記1ないし9のいずれか1項に記載の教師データ生成装置と、
複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成するモデル生成装置と、
センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定するセンサ情報判定装置と
を含む状態判定装置。
(付記11)
モデル生成装置が、生成した複数の学習済モデルに所定のデータを適用して、複数の学習済モデルそれぞれの精度を算出する
付記10に記載の状態判定装置。
(付記12)
付記10又は11に記載の状態判定装置と、
状態判定装置にセンサ情報を出力するセンサ情報取得装置と、
状態判定装置が出力する情報を表示する表示装置と
を含む状態判定システム。
(付記13)
状態判定装置に外部環境を出力する情報提供装置
をさらに含む付記12に記載の状態判定システム。
(付記14)
状態判定装置に指示を出力する入力装置
をさらに含む付記12又は13に記載の状態判定システム。
(付記15)
道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の項目を含む組合せを選択し、
センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する
教師データ生成方法。
(付記16)
組合せに選択される項目が、少なくともセンサ情報の取得時間を含む
付記15に記載の教師データ生成方法。
(付記17)
組合せに選択される項目が、道路の周辺又は近傍の構造物、センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
付記16に記載の教師データ生成方法。
(付記18)
利用者からの所定の指示に基づいて、組合せを選択する
付記15ないし17のいずれか1項に記載の教師データ生成方法。
(付記19)
組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を抽出し、
組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力する
付記15ないし18のいずれか1項に記載の教師データ生成方法。
(付記20)
項目を選択できない理由を生成し、
組合せとして選択できない項目を出力する場合、選択できない理由を出力する
付記19に記載の教師データ生成方法。
(付記21)
組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を生成し、
センサ情報の数及び比率の少なくとも一方を出力する
付記19又は20に記載の教師データ生成方法。
(付記22)
センサ情報を取得し、
センサ情報を保存する
を含む付記15ないし21のいずれか1項に記載の教師データ生成方法。
(付記23)
取得したセンサ情報、又は、保存しているセンサ情報を、項目に基づいて分類し、
分類されたセンサ情報からセンサ情報を選択する
付記22に記載の教師データ生成方法。
(付記24)
教師データ生成装置が、付記15ないし23のいずれか1項に記載の教師データ生成方法を実行し、
モデル生成装置が、複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成し、
センサ情報判定装置が、センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する
状態判定方法。
(付記25)
モデル生成装置が、生成した複数の学習済モデルに所定のデータを適用して、複数の学習済モデルそれぞれの精度を算出する
付記24に記載の状態判定方法。
(付記26)
状態判定装置が、付記24又は25に記載の状態判定方法を実行し、
センサ情報取得装置が、状態判定装置にセンサ情報を出力し、
表示装置が、状態判定装置が出力する情報を表示する
状態判定方法。
(付記27)
情報提供装置が、状態判定装置に外部環境を出力する
付記26に記載の状態判定方法。
(付記28)
入力装置が、状態判定装置に指示を出力する
付記26又は27に記載の状態判定方法。
(付記29)
道路の状態、道路の種別、道路の状態を判定するためのセンサ情報の種別、センサ情報の取得条件、及び、センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の項目を含む組合せを選択する処理と、
センサ情報を用いて道路の状態を判定するモデルの学習に用いる教師データとして、組合せを用いてセンサ情報を抽出する処理と
をコンピュータに実行させるプログラムを記録する記録媒体。
(付記30)
組合せに選択される項目が、少なくともセンサ情報の取得時間を含む
付記29に記載の記録媒体。
(付記31)
組合せに選択される項目が、道路の周辺又は近傍の構造物、センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
付記30に記載の記録媒体。
(付記32)
利用者からの所定の指示に基づいて、組合せを選択する処理
をコンピュータに実行させるプログラムを記録する付記29ないし31のいずれか1項に記載の記録媒体。
(付記33)
組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を抽出する処理と、
組合せとして選択可能な項目、及び、組合せとして選択できない項目の少なくとも一方を出力する処理と
をコンピュータに実行させるプログラムを記録する付記29ないし32のいずれか1項に記載の記録媒体。
(付記34)
項目を選択できない理由を生成する処理と、
組合せとして選択できない項目を出力する場合、選択できない理由を出力する処理と
をコンピュータに実行させるプログラムを記録する付記33に記載の記録媒体。
(付記35)
組合せに含まれる項目それぞれに関連するセンサ情報の数及び比率の少なくとも一方を生成する処理と、
センサ情報の数及び比率の少なくとも一方を出力する処理と
をコンピュータに実行させるプログラムを記録する付記33又は34に記載の記録媒体。
(付記36)
センサ情報を取得する処理と、
センサ情報を保存する処理と
をコンピュータに実行させるプログラムを記録する付記29ないし35のいずれか1項に記載の記録媒体。
(付記37)
取得したセンサ情報、又は、保存しているセンサ情報を、項目に基づいて分類する処理と、
分類されたセンサ情報からセンサ情報を選択する処理と
をコンピュータに実行させる付記36に記載の記録媒体。
(付記38)
複数の教師データを用いて所定のモデルの機械学習を実行して、教師データそれぞれに対応した複数の学習済モデルを生成する処理と、
センサ情報を複数の学習済モデルに適用し、複数の学習済モデルの判定結果を取得し、取得した複数の判定結果を用いてセンサ情報に対応する道路の状態を判定する処理と
をコンピュータに実行させるプログラムを記録する付記29ないし37のいずれか1項に記載の記録媒体。
(付記39)
生成した複数の学習済モデルに所定のデータを適用して、複数の学習済モデルそれぞれの精度を算出する処理
をコンピュータに実行させるプログラムを記録する付記38に記載の記録媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる
10 状態判定システム
18 状態判定システム
100 状態判定装置
108 状態判定装置
110 教師データ生成装置
118 教師データ生成装置
111 センサ情報取得部
112 センサ情報分類部
113 センサ情報保存部
114 組合せ選択部
115 データ抽出部
120 教師データ保存装置
130 モデル生成装置
140 モデル保存装置
150 センサ情報判定装置
200 センサ情報取得装置
300 情報提供装置
400 入力装置
500 表示装置
610 CPU
620 ROM
630 RAM
640 記憶装置
650 NIC
690 記録媒体
810 サーバー
820 ドライブレコーダー
830 データーセンター
840 端末装置

Claims (10)

  1. 道路の状態、道路の種別、道路の前記状態を判定するためのセンサ情報の種別、前記センサ情報の取得条件、及び、前記センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の前記項目を含む組合せを選択する組合せ選択手段と、
    前記センサ情報を用いて道路の前記状態を判定するモデルの学習に用いる教師データとして、前記組合せを用いて前記センサ情報を抽出するデータ抽出手段と
    を含む教師データ生成装置。
  2. 前記組合せに選択される前記項目が、少なくとも前記センサ情報の取得時間を含む
    請求項1に記載の教師データ生成装置。
  3. 前記組合せに選択される前記項目が、道路の周辺又は近傍の構造物、前記センサ情報を取得するセンサを搭載した移動体の速度又は加速度、及び、道路の区分の少なくとも一つを含む
    請求項2に記載の教師データ生成装置。
  4. 前記組合せ選択手段が、利用者からの所定の指示に基づいて、前記組合せを選択する
    請求項1ないし3のいずれか1項に記載の教師データ生成装置
  5. 前記組合せ選択手段が、前記組合せとして選択可能な前記項目、及び、前記組合せとして選択できない前記項目の少なくとも一方を抽出して、出力する
    請求項1ないし4のいずれか1項に記載の教師データ生成装置。
  6. 前記組合せ選択手段が、前記組合せとして選択できない前記項目を出力する場合、選択できない理由を出力する
    請求項5に記載の教師データ生成装置。
  7. 前記組合せ選択手段が、前記組合せに含まれる前記項目それぞれに関連する前記センサ情報の数及び比率の少なくとも一方を出力する
    請求項5又は6に記載の教師データ生成装置。
  8. 前記センサ情報を取得するセンサ情報取得手段と、
    前記センサ情報を保存するセンサ情報保存手段と
    を含む請求項1ないし7のいずれか1項に記載の教師データ生成装置。
  9. コンピュータが、
    道路の状態、道路の種別、道路の前記状態を判定するためのセンサ情報の種別、前記センサ情報の取得条件、及び、前記センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の前記項目を含む組合せを選択し、
    前記センサ情報を用いて道路の前記状態を判定するモデルの学習に用いる教師データとして、前記組合せを用いて前記センサ情報を抽出する
    教師データ生成方法。
  10. 道路の状態、道路の種別、道路の前記状態を判定するためのセンサ情報の種別、前記センサ情報の取得条件、及び、前記センサ情報の取得における外部環境のいずれかに含まれる項目の中から、少なくとも2つ以上の前記項目を含む組合せを選択する処理と、
    前記センサ情報を用いて道路の前記状態を判定するモデルの学習に用いる教師データとして、前記組合せを用いて前記センサ情報を抽出する処理と
    をコンピュータに実行させるプログラム。
JP2022579232A 2021-02-04 2021-02-04 教師データ生成装置、教師データ生成方法、及び、プログラム Active JP7468711B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/004081 WO2022168223A1 (ja) 2021-02-04 2021-02-04 教師データ生成装置、状態判定装置、状態判定システム、教師データ生成方法、状態判定方法、及び、記録媒体

Publications (3)

Publication Number Publication Date
JPWO2022168223A1 JPWO2022168223A1 (ja) 2022-08-11
JPWO2022168223A5 JPWO2022168223A5 (ja) 2023-10-05
JP7468711B2 true JP7468711B2 (ja) 2024-04-16

Family

ID=82740979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022579232A Active JP7468711B2 (ja) 2021-02-04 2021-02-04 教師データ生成装置、教師データ生成方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20240084528A1 (ja)
JP (1) JP7468711B2 (ja)
WO (1) WO2022168223A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105122A1 (ja) 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
JP2018163554A (ja) 2017-03-27 2018-10-18 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2019196680A (ja) 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
JP2020144572A (ja) 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
JP2020147961A (ja) 2019-03-12 2020-09-17 東芝インフラシステムズ株式会社 道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105122A1 (ja) 2016-12-09 2018-06-14 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
JP2018163554A (ja) 2017-03-27 2018-10-18 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2019196680A (ja) 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
JP2020144572A (ja) 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
JP2020147961A (ja) 2019-03-12 2020-09-17 東芝インフラシステムズ株式会社 道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法

Also Published As

Publication number Publication date
WO2022168223A1 (ja) 2022-08-11
US20240084528A1 (en) 2024-03-14
JPWO2022168223A1 (ja) 2022-08-11

Similar Documents

Publication Publication Date Title
US11417057B2 (en) Realistic 3D virtual world creation and simulation for training automated driving systems
Gulliver et al. Development of an open-source road traffic noise model for exposure assessment
US7602937B2 (en) Image-based visibility measurement
JP6713505B2 (ja) 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
US11915486B2 (en) Node-based near-miss detection
CN108360442B (zh) 智能除雪方法、智能除雪车及计算机可读存储介质
CN110738354B (zh) 预测颗粒物浓度的方法、装置、存储介质及电子设备
CN113935442B (zh) 汽车自动驾驶功能测试道路的分类方法、设备和存储介质
CN115098079B (zh) 雷达检测模型确定方法、***、电子设备及可读存储介质
KR102237927B1 (ko) 자율 주행 차량에 의한 도시의 토지 이용 변화 예측 방법
JP7468711B2 (ja) 教師データ生成装置、教師データ生成方法、及び、プログラム
CN115983504B (zh) 一种道路垃圾点位预测方法、***、设备以及存储介质
Phanse et al. Modelling and simulation of road traffic under rainy conditions
Bernardo et al. Techniques of geomatics and soft computing for the monitoring of infrastructures and the management of big data
WO2022107330A1 (ja) 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体
Huang et al. Automatic Evaluation of Street-Level Walkability Based on Computer Vision Techniques and Urban Big Data: A Case Study of Kowloon West, Hong Kong
US11727684B2 (en) Automated virtual tripwire placement
Ayazli et al. Creating Urban Growth Simulation Models Driven by the Bosphorus Bridges
Gupta et al. From Above and Beyond: Decoding Urban Aesthetics with the Visual Pollution Index
Wang et al. Freeway Traffic Safety and Efficiency Enhancement Through Adaptive Roadway Lighting and Control Enabled by Connected Sensor and Infrastructure Networks
Wang et al. Freeway Traffic Safety And Efficiency Enhancement Through Adaptive Roadway Lighting And Control Enabled By Connected Infrastructure Networks
Rasyidi et al. Study of Urban Growth Center Development Factors and Simulation The Mamminasata Urban Area
JP2023109620A (ja) 浸水情報生成装置、浸水情報生成方法及びプログラム
CN114387809A (zh) 一种基于全天候视频监测的公路试验监测***
Gupta et al. A general approach for getting optimal speed of vehicles using spatial data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150