JP2019179316A - 通行路判定システム - Google Patents

Abstract

【課題】 簡易に橋梁等の通行路の状態の判定を可能にする。【解決手段】 通行路判定システム１は、カメラ１０と振動センサ２０とサーバ３０とを備える。サーバ３０は、動作する車両４０から通行路を含めて撮像した動画像、又は通行路上で動作する車両４０から撮像した動画像を取得する動画像取得部３１と、動作時の車両４０の振動を検出する車両振動検出部３２と、取得された動画像、及び検出された車両４０の振動から、通行路の振動に応じた情報を算出する通行路振動算出部３３と、算出された通行路の振動に応じた情報から当該通行路の状態を判定する判定部３４とを備える。【選択図】 図１

Description

本発明は、通行路の状態を判定する通行路判定システムに関する。

従来から、橋梁の画像を解析することにより、橋梁の振動を特定して、橋梁の劣化の進行を把握することが提案されている（例えば、特許文献１参照）。

特開２０１７−２０７３３９号公報

特許文献１に示されるような画像を用いる方法では、橋梁の近くに橋梁を撮像するためのカメラを設置する必要がある。そのため、カメラを設置するために人が現地に行く手間が生じる。

本発明は、上記に鑑みてなされたものであり、簡易に橋梁等の通行路の状態の判定を可能にする通行路判定システムを提供することを目的とする。

上記の目的を達成するために、本発明に係る通行路判定システムは、動作する車両から通行路を含めて撮像した動画像、又は通行路上で動作する車両から撮像した動画像を取得する動画像取得部と、動作時の車両の振動を検出する車両振動検出部と、動画像取得部によって取得された動画像、及び車両振動検出部によって検出された車両の振動から、通行路の振動に応じた情報を算出する通行路振動算出部と、通行路振動算出部によって算出された通行路の振動に応じた情報から当該通行路の状態を判定する判定部と、を備える。

本発明に係る通行路判定システムでは、車両から撮像した動画像が用いられて、通行路の状態の判定が行われる。従って、通行路の近くに通行路を撮像するためのカメラを固定的に設置する必要がなく、通行路の状態の判定を行うことができる。よって本発明に係る通行路判定システムによれば、簡易に橋梁等の通行路の状態の判定を可能にすることができる。

本発明によれば、通行路の近くに通行路を撮像するためのカメラを固定的に設置する必要がなく、通行路の状態の判定を行うことができ、簡易に橋梁等の通行路の状態の判定を可能にすることができる。

本発明の実施形態に係る通行路判定システムの構成を示す図である。 車両及び通行路である橋梁の振動、並びに車両に搭載されたカメラからの撮像等の例を模式的に示す図である。 振動のデータの演算を模式的に示す図である。 判定対象の通行路を写した動画像及び要素への分割の例を模式的に示す図である。 通行路の振動のデータのグラフの例である。 振動のデータをフーリエ変換したグラフの例である。 本発明の実施形態に係る通行路判定システムで実行される処理を示すフローチャートである。 車両の走行時の動画像の例を示す図である。 車両の走行時の動画像から算出される振動（変位）のデータのグラフの例である。 車両の走行時の振動のデータをフーリエ変換したグラフの例である。 車両及び通行路である橋梁の振動、並びに車両に搭載されたカメラからの撮像等の別の例を模式的に示す図である。 振動のデータをフーリエ変換したグラフの例である。 本発明の実施形態に係る通行路判定システムに含まれるサーバのハードウェア構成を示す図である。

以下、図面と共に本発明に係る通行路判定システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る通行路判定システム１を示す。図１に示すように通行路判定システム１は、カメラ１０と、振動センサ２０と、サーバ３０とを含んで構成される。

通行路判定システム１は、通行路の状態を判定するシステムである。判定対象となる通行路は、自動車等の車両が通行する橋梁又は道路等である。判定される通行路の状態は、例えば、通行路に異常が生じている（例えば、劣化が生じている）か否かである。あるいは、判定される通行路の状態は、通行路の劣化状態（劣化度）又は通行路の健全状態（健全度）等である。通行路判定システム１による判定の結果は、例えば、通行路の補強又は改修等の判断に用いられる。通行路判定システム１では、カメラ１０で撮像された動画像及び振動センサ２０によって検出された振動を用いて、サーバ３０によって通行路の状態の判定が行われる。

引き続いて、通行路判定システム１に含まれるカメラ１０、振動センサ２０及びサーバ３０の構成を説明する。カメラ１０は、判定対象の通行路を含めて撮像して、通行路の動画像を取得する撮像装置である。カメラ１０としては、後述するサーバ３０による処理に用いることが可能な程度の解像度で撮像を行うことが可能な周知のカメラを用いることができる。カメラ１０は、自動車等の車両４０に搭載されて、車両４０から通行路を含めて撮像する。カメラ１０としては、通常、車両４０に搭載されるドライブレコーダを用いることができる。カメラ１０とサーバ３０とは、互いに情報の送受信を行うことができる。カメラ１０は、車両４０の動作時に、予め設定されたフレームレート（ｆｐｓ）で通行路を含めて撮像して、撮像した動画像をサーバ３０に送信する。車両４０の動作時には、車両４０の走行時及び非走行時（例えば、エンジンは掛かっているが信号待ち等で止まっている状態）を含む。

振動センサ２０は、車両４０に設けられ、車両４０の動作時に車両４０の振動を検出するセンサである。振動センサ２０としては、周知の振動センサを用いることができる。振動センサ２０は、車両４０の動作時における時刻毎の振動（変位）を検出する。振動センサ２０は、鉛直方向のみの振動を検出するものであってもよい。振動センサ２０とサーバ３０とは、互いに情報の送受信を行うことができる。振動センサ２０は、検出した車両４０の振動のデータをサーバ３０に送信する。

カメラ１０による撮像と、振動センサ２０による振動の検出とは同じタイミングで行われる。カメラ１０の撮像によって得られた動画像上の時刻と、振動センサ２０の検出によって得られた振動のデータ上の時刻とが、サーバ３０において同期できるようにしておく。例えば、それぞれのデータに時刻の情報を含めておく。

ここで、本実施形態における通行路の状態の判定の考え方を示す。本実施形態における通行路の状態の判定は、通行路の振動に基づいて行われる。例えば、図２に示すように車両４０に搭載されたカメラ１０が、判定対象の通行路である橋梁Ｂを含めて撮像して動画像を取得する。動画像から特定される橋梁Ｂ部分の振動（動画振動）には、橋梁Ｂ自身の振動（橋梁振動）に加えて、車両４０の振動（車両振動）を含む。そこで、図３に示すように動画振動ｙ_１（ｔ）から、（係数αを掛けた）車両振動ｙ_２（ｔ）を引くことで橋梁振動ｙ_１（ｔ）−αｙ_２（ｔ）を算出する。算出した橋梁振動ｙ_１（ｔ）−αｙ_２（ｔ）から、橋梁Ｂの状態を判定する。

図１に示すように、サーバ３０は、機能的には、動画像取得部３１と、車両振動検出部３２と、通行路振動算出部３３と、判定部３４と、出力部３５とを備えて構成される。

動画像取得部３１は、動作する車両４０から通行路を含めて撮像した動画像を取得する機能部である。動画像取得部３１は、カメラ１０から送信される動画像を受信して、当該画像を取得する。動画像取得部３１は、取得した動画像を通行路振動算出部３３に出力する。動画像取得部３１によって取得される動画像は、車両４０が判定対象の通行路上で動作している場合のものでも、車両４０が判定対象の通行路上以外で動作している場合のものでもよい。

車両振動検出部３２は、動作時の車両４０の振動を検出する機能部である。車両振動検出部３２は、車両４０に設けられるセンサに基づいて当該車両４０の振動を検出する。車両振動検出部３２は、振動センサ２０から車両４０の振動のデータを受信して、車両４０の振動を検出する。当該振動は、図３に示す車両振動ｙ_２（ｔ）に相当するものである。車両４０が判定対象の通行路上で動作している場合には、当該振動は、通行路（の車両が位置する箇所）の振動も含む（この振動も、動作時の車両４０の振動に該当する）。車両振動検出部３２は、車両４０の振動のデータを通行路振動算出部３３に出力する。

通行路振動算出部３３は、動画像取得部３１によって取得された動画像、及び車両振動検出部３２によって検出された車両４０の振動から、通行路の振動に応じた情報を算出する機能部である。通行路振動算出部３３は、動画像取得部３１によって取得された動画像の通行路が写った部分から振動を算出して、算出した振動から車両振動検出部３２によって検出された車両４０の振動を減算して当該通行路の振動を算出する。通行路振動算出部３３は、具体的には以下のように通行路の振動に応じた情報を算出する。

通行路振動算出部３３は、動画像取得部３１から動画像を、車両振動検出部３２から車両４０の振動のデータをそれぞれ入力する。通行路振動算出部３３は、入力した動画像の通行路が写った部分から振動を算出する。車両４０が走行していない場合（車両速度０の時）は、通行路振動算出部３３は、例えば、以下のように振動を算出する。

通行路振動算出部３３は、当該動画像から、ＰＯＣ（Phase Only Correlation）等の従来の技術によってサブピクセル単位での変位を検出して、通行路の振動を検出する。

通行路振動算出部３３は、図４に示すように取得した動画像を、当該動画像を構成する個々のフレーム（画像）に分割する。通行路振動算出部３３は、個々のフレームから、予め設定された位置の複数の領域の部分画像（位相画像）を抽出する（部分画像に分割する）。本実施形態では、個々の領域を要素Ｅと呼ぶ。要素Ｅのサイズは、予め設定されている。要素Ｅの位置は、動画像において通行路が写っている位置とされる。要素Ｅの位置は、例えば、予め通行路判定システム１のユーザによって設定され、通行路振動算出部３３に記憶されている。あるいは、通行路振動算出部３３が、動画像において通行路が写っている位置を検出して、検出された位置を要素Ｅの位置と設定してもよい。

通行路振動算出部３３は、前後のフレーム間の同一の（位置の）要素Ｅの位置ずれをサブピクセル精度で算出する。なお、前後のフレーム間の時間差Δｔは、フレームレート（ｆｐｓ）の逆数となる（Δｔ＝１／ｆｐｓ）。通行路振動算出部３３は、例えば橋梁の状態を判定する場合には、動画像のｙ方向について位置ずれの算出を行う。橋梁の劣化は、縦方向（鉛直方向）の振動に応じて進むためである。通行路振動算出部３３は、動画像から、各要素について前後の各フレーム間の位置ずれ（変位ｙ）を、振動として算出する。通行路振動算出部３３によって動画像から得られる振動のデータは、図５に示すように要素ｉ及び時間（時刻）ｔ毎の変位ｙのデータとなる。上記の例では、通行路の複数の箇所（要素）についての振動を検出しているが、複数の箇所である必要はなく、１箇所の振動を検出することとしてもよい。

上記のように算出した振動は、図３に示す動画振動ｙ_１（ｔ）に相当するものである。即ち、上記のように算出した振動は、通行路（の動画像に写った箇所）の振動と車両４０の振動との両方を含む。また、車両４０が判定対象の通行路上で動作している場合には、算出した振動は、通行路（の位置する箇所）の振動も含む。

通行路振動算出部３３は、算出した動画振動ｙ_１（ｔ）と、車両振動検出部３２から入力したデータによって示される車両振動ｙ_２（ｔ）とから、図３に示すように通行路の振動ｙ_１（ｔ）−αｙ_２（ｔ）を算出する。ここで、係数αは、動画振動ｙ_１（ｔ）と車両振動ｙ_２（ｔ）との振幅（それぞれの振動の単位の違い等）を調整するためのものであり、例えば、最小二乗法によって算出される。具体的には、係数αは、∫（ｙ_１（ｔ）−αｙ_２（ｔ））^２ｄｔを最小化する値としてもよい。動画像から、通行路の複数の箇所の振動ｙ_１（ｔ）を算出した場合には、複数の箇所について通行路の振動ｙ_１（ｔ）−αｙ_２（ｔ）を算出してもよい。

通行路振動算出部３３は、振動ｙ_１（ｔ）−αｙ_２（ｔ）のデータ（時間（時刻）ｔ毎の変位ｙのデータ）をフーリエ変換する。フーリエ変換によって振動のデータは、図６に示すような周波数（Ｈｚ）毎の強度（パワー）のデータとなる。フーリエ変換後の周波数のデータに対して、ハイパスフィルタをかけて０〜数Ｈｚの低周波数成分を除去することとしてもよい。通行路振動算出部３３は、フーリエ変換によって得られた振動のデータから固有振動数（卓越周波数）を算出（検出）する。固有振動数は、例えば、強度が極大値となる周波数のうち、最も小さい周波数である。一般に橋梁は劣化すると固有振動数が低くなると言われている。通行路振動算出部３３は、算出した固有振動数を通行路の振動に応じた情報として判定部３４に出力する。

判定部３４は、通行路振動算出部３３によって算出された通行路の振動に応じた情報から当該通行路の状態を判定する機能部である。判定部３４は、通行路振動算出部３３から、通行路の振動に応じた情報として固有振動数を入力する。判定部３４は、例えば、異なるタイミングでの固有振動数を比較して状態の判断を行う。具体的には、判定部３４は、入力した固有振動数の、標準値からの変化を検出して、当該変化によって通行路の劣化を検出する。固有振動数の標準値としては、通行路の建設時の固有振動数、又は健全時（検査等で通行路が健全であると確認された時）の固有振動数が用いられる。固有振動数の標準値は、予め判定部３４に設定されて記憶されている。

判定部３４は、入力した固有振動数（固有振動数の計測値）ｆｎと、固有振動数の標準値ｆｓとを用いて、健全度としてｆｎ／ｆｓを算出する。健全度は、値が大きいほど、通行路が健全である（劣化していない）ことを示している。判定部３４は、算出した健全度自体を通行路の判定結果を示すものとしてもよい。あるいは、判定部３４は、健全度と予め設定された閾値とを比較して、健全度が閾値以下である場合に通行路に劣化が生じていると判断してもよい。なお、通行路の振動を要素毎に検出している場合には、要素（箇所）毎に判断することとしてもよい。

また、一定時間幅において複数のタイミングで（複数のタイミングで撮像された動画像から）固有振動数を算出して、それらの分布の変化を検出してもよい。例えば、固有振動数の平均値を算出して、平均値を用いて健全度を算出してもよい。判定部３４は、判定結果を示す情報、例えば、健全度又は通行路に劣化が生じている否かを示す情報を出力部３５に出力する。

出力部３５は、判定部３４による通行路の状態の判定結果を示す情報を出力する機能部である。出力部３５は、例えば、サーバ３０に接続された端末に当該情報を送信して表示させる。出力部３５による出力は、例えば、通行路判定システム１のユーザにより参照され、上述したように、通行路の補強又は改修等の判断に用いられる。なお、出力部３５による出力は、上記以外の装置に対して、また、上記以外の形態で行われてもよい。以上が、通行路判定システム１の構成である。

引き続いて、図７のフローチャートを用いて、本実施形態に係る通行路判定システム１で実行される処理（通行路判定システム１が行う動作方法）を説明する。まず、動作する車両４０に搭載されたカメラ１０によって、判定対象の通行路が撮像されて、動画像が取得される（Ｓ０１）。撮像された動画像は、カメラ１０からサーバ３０に送信される。サーバ３０では、動画像取得部３１によって動画像が受信されて取得される。また、上記の撮像と同じタイミングで、車両４０に搭載された振動センサ２０によって、動作時の車両４０の振動が検出される（Ｓ０２）。検出された車両４０の振動のデータは、振動センサ２０からサーバ３０に送信される。サーバ３０では、車両振動検出部３２によって車両４０の振動のデータが受信されて取得される。

続いて、通行路振動算出部３３によって、動画像の通行路が写った部分から動画振動ｙ_１（ｔ）が算出されて、算出した振動から車両振動ｙ_２（ｔ）が減算されて当該通行路の振動ｙ_１（ｔ）−αｙ_２（ｔ）が算出（検出）される（Ｓ０３）。続いて、通行路振動算出部３３によって、算出された通行路の振動ｙ_１（ｔ）−αｙ_２（ｔ）から、通行路の固有振動数が算出される（Ｓ０４）。続いて、判定部３４によって、固有振動数から通行路の状態が判定される（Ｓ０５）。続いて、出力部３５によって、判定部３４による通行路の状態の判定結果を示す情報が出力される（Ｓ０６）。以上が、本実施形態に係る通行路判定システム１で実行される処理である。

上述した実施形態では、車両振動検出部３２は、振動センサ２０から車両４０の振動のデータを受信して車両４０の振動を検出していたが、以下のように車両４０の振動を検出してもよい。即ち、車両振動検出部３２は、動画像取得部３１によって取得された動画像の通行路以外が写った部分、即ち、不動物部分から、車両４０の振動を算出することとしてもよい。動作（振動）する車両４０に搭載されたカメラ１０で撮像すると、カメラ１０が車両４０にあわせて振動するため、動画像における不動物部分が振動する。従って、動画像の不動物部分の振動は、車両４０の振動と一致する。

この場合、車両振動検出部３２は、動画像取得部３１から動画像を入力する。動画像における通行路以外が写った部分からの振動の算出は、通行路振動算出部３３による動画像からの振動の算出と同様に行われ得る。通行路以外が写った部分の位置は、例えば、予め通行路判定システム１のユーザによって設定され、車両振動検出部３２に記憶されている。あるいは、車両振動検出部３２が、動画像において通行路が写っていない位置を検出してもよい。動画像から算出した振動は、振動センサ２０によって検出された振動と同じように、上記と同様に車両振動検出部３２における処理に用いることができる。この構成を取る場合、通行路判定システム１に、振動センサ２０は含まれていなくてもよい。即ち、車両４０に振動センサ２０が搭載されていなくてもよい。

上述した実施形態では、車両４０が走行していない場合についての動画像からの振動の算出を説明した。車両４０が走行（移動）している場合は、通行路振動算出部３３は、例えば、入力した動画像の通行路が写った部分から以下のように振動を算出する。なお、車両４０の走行は、通行路上（通過中）であっても、通行路以外（例えば、通行路に入る前）であってもよい。通行路振動算出部３３は、動画像における通行路の所定の点を特徴点と設定する。特徴点とされる点は、例えば、予め通行路判定システム１のユーザによって指定される。あるいは、通行路振動算出部３３が、動画像において通行路が写っている位置を検出して、検出された位置を特徴点と設定してもよい。

図８に示すように、通行路振動算出部３３は、動画像を構成する個々のフレームについて、特徴点のフレーム上の座標を検出する。なお、特徴点の座標の検出は、従来の方法、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、又はＳＵＲＦ（Speeded Up Robust Features）特徴量を用いた方法によって行い得る。通行路振動算出部３３は、各フレームの座標について、各フレームの特徴点の座標の平均からの変位を振動として算出する。当該変位は、通行路の鉛直方法について算出されればよい。例えば、動画像のｙ方向についての変位を算出する。あるいは、動画像における、通行路の鉛直方法を検出して、その方向についての変位を算出することとしてもよい。

上記のように算出した振動は、図３に示す動画振動ｙ_１（ｔ）に相当するものである。即ち、上記のように算出した振動は、通行路（の動画像に写った箇所）の振動と車両４０の振動との両方を含む。更にこの場合、算出した振動（変位）には、車両の走行に応じた変位を含む。図９にこの場合に算出される時間（時刻）毎の変位の例を示す。上記のように車両４０の走行に応じた変位を含むため、時間に応じた変位が大きくなっている。なお、車両４０の移動方向等によっては、変位が時間に応じて小さくなる、あるいは変化しないこともあり得る。

この場合であっても、上記と同様の処理で固有振動数を算出することができる。図１０（ａ）にこの場合の動画振動ｙ_１（ｔ）をフーリエ変換して周波数成分にしたグラフを示す。このグラフでは、５Ｈｚ未満の低周波数成分の強度が大きくなっている。図１０（ｂ）に、図１０（ａ）のグラフの強度を拡大したグラフを示す。図１０（ｃ）に、車両振動ｙ_２（ｔ）をフーリエ変換して周波数成分にしたグラフ（単位は、図１０（ｂ）のグラフと同様）を示す。なお、この車両振動ｙ_２（ｔ）は、動画像における不動物部分から算出されたものである。図１０（ｄ）に、算出された通行路の振動ｙ_１（ｔ）−αｙ_２（ｔ）をフーリエ変換して周波数成分にしたグラフ（単位は、図１０（ｂ）のグラフと同様）を示す。

これらのグラフにも示されるように、通行路（この場合は橋梁）の振動数が、１０Ｈｚであり、車両４０の振動数が２０Ｈｚであると考えられる。周波数が５Ｈｚ未満の低周波成分は車両４０の移動（特徴点の移動）に伴う変位によるものであると考えられる。従って、ハイパスフィルタをかけて０〜数Ｈｚの低周波数成分を除去することで、車両４０の移動（特徴点の移動）に伴う変位に係る成分を除去して、固有振動数を算出することができる。なお、車両４０が走行している場合、走行していない場合についての動画像からの振動の算出は、両方が行われてもよいし、何れか一方のみが行われてもよい。

また、通行路振動算出部３３は、動画像が撮像された際に車両４０が走行しているか否かを判定してもよい。通行路振動算出部３３は、車両４０が走行していないタイミングに撮像された動画像に対しては、上述した車両４０が走行していない場合の動画像からの振動の算出を行い、車両４０が走行しているタイミングに撮像された動画像に対しては、上述した車両４０が走行していない場合の動画像からの振動の算出を行う。

例えば、通行路振動算出部３３は、車両４０の速度を示す情報を取得して、車両４０の速度に基づいて、動画像が撮像された際に車両４０が走行しているか否かを判定する。具体的には、車両４０の速度が０であれば、車両が走行していないと判定し、車両４０の速度が０でなければ、車両が走行している等と判定する。通行路振動算出部３３は、車両４０の速度を示す情報を、例えば、以下のように取得する。車両４０が、車両４０に備えられる速度計で測定された速度を示す情報を継続的にサーバ３０に送信して、通行路振動算出部３３は、当該情報を受信する。あるいは、車両４０が、車両４０に備えられるドライブレコーダのＧＰＳ（グローバルポジショニングシステム）等で測定された車両４０の位置を示す情報を継続的にサーバ３０に送信して、通行路振動算出部３３は、当該情報を受信して、当該情報によって示される車両４０の位置の変化から車両４０の速度を算出する。

なお、車両４０が走行している場合、及び走行していない場合の何れで動画像からの振動の算出を行うかは、上記のように通行路振動算出部３３による自動的な判断によるものでなくてもよく、例えば、通行路判定システム１のユーザによる指定によるものでもよい。

上述した実施形態では、カメラ１０によって撮像される動画像は、判定対象となる通行路を含めて撮像した画像であった。また、動画像における通行路が写った部分から、通行路の振動を含む振動を検出し、通行路の振動に応じた情報を算出していた。しかしながら、上記とは異なり、以下のように通行路の振動に応じた情報を算出してもよい。

例えば、図１１に示すように、判定対象の通行路である橋梁Ｂ上に位置する（橋梁Ｂ上で動作する）車両４０に搭載されたカメラ１０が、橋梁Ｂ以外、即ち、不動物部分を撮像して動画像を取得する。動画像から特定される振動には、橋梁Ｂ自身の振動（橋梁振動）に加えて、車両４０の振動（車両振動）を含む。また、判定対象の通行路である橋梁Ｂ上以外に位置する（橋梁Ｂ上以外で動作する）車両４０に搭載されたカメラ１０が、橋梁Ｂ以外、即ち、不動物部分を撮像して動画像を取得する。動画像から特定される振動には、車両４０の振動（車両振動）を含む。これらの振動から、通行路である橋梁Ｂの振動に応じた情報を算出する。この構成を取る場合、通行路判定システム１に、振動センサ２０は含まれていなくてもよい。

この場合、動画像取得部３１は、カメラ１０から、上記のそれぞれの場合の動画像を取得する。動画像取得部３１は、通行路上で動作する車両４０から撮像した動画像を通行路振動算出部３３に入力し、通行路上以外で動作する車両４０から撮像した動画像を車両振動検出部３２に入力する。なお、それぞれの動画像は、異なるタイミングで撮像されたものである。

車両振動検出部３２は、動画像取得部３１によって取得された通行路上以外で動作する車両４０から撮像した動画像から、当該車両４０の振動を算出する。当該動画像からの振動の算出は、上述した通行路振動算出部３３による動画像からの振動の算出と同様に行われ得る。動画像における振動が算出される位置は、例えば、予め通行路判定システム１のユーザによって設定され、車両振動検出部３２に記憶されている。あるいは、動画上の任意の位置を、振動を算出する位置として設定してもよい。車両振動検出部３２は、算出した車両４０の振動のデータを通行路振動算出部３３に出力する。なお、車両４０の振動は、車両４０に設けられた振動センサ２０によって、車両４０が通行路上以外で動作している際に検出されてもよい。

通行路振動算出部３３は、車両振動検出部３２によって検出された車両４０の振動から、当該車両４０の振動に係る周波数成分を算出する。また、通行路振動算出部３３は、動画像取得部３１によって取得された通行路上で動作する車両４０から撮像した動画像から振動を算出して、算出した振動に係る周波数成分を算出し、算出したそれぞれの周波数成分から通行路の振動に応じた情報を算出する。

通行路振動算出部３３による、通行路上で撮像された動画像からの振動の算出も、上述した動画像からの振動の算出と同様に行われ得る。通行路振動算出部３３によって算出された振動と、車両振動検出部３２によって算出された振動とは、異なるタイミングの振動である。そのため、図３に示すように振動の減算を行うことができない。そこで、通行路振動算出部３３は、それぞれの振動のデータをフーリエ変換して、周波数成分を得て、通行路の振動に応じた情報を算出する。

図１２（ａ）に、通行路上で撮像された動画像から得られた振動のデータをフーリエ変換して得られた周波数成分の例を、図１２（ｂ）に、通行路上以外で撮像された動画像から得られた振動のデータをフーリエ変換して得られた周波数成分の例をそれぞれ示す。通行路振動算出部３３は、通行路上以外で撮像された動画像に係る周波数成分から、強度が極大値（ピーク）となる周波数を特定する。当該周波数の周波数成分は、通行路の振動に係るものではなく、車両４０の振動に係るものであると考えられる。図１２（ｂ）の例では、１０Ｈｚ辺りの周波数成分等が、車両４０の振動に係るものであると考えられる。

通行路振動算出部３３は、特定した周波数の周波数成分を、通行路上で撮像された動画像に係る周波数成分から除去する。この際、適切な除去が行われるように特定した周波数の前後一定の範囲（例えば、０．数〜数Ｈｚ程度）の周波数成分を除去する。通行路振動算出部３３は、除去後の周波数成分から、上記と同様に固有振動数を通行路の振動に応じた情報として算出する。算出した固有振動数を用いた判定は上述した実施形態と同様に行われる。

上述した実施形態では、車両４０から撮像した動画像が用いられて、通行路の状態の判定が行われる。従って、通行路の近くに通行路を撮像するためのカメラを固定的に設置する必要がなく、通行路の状態の判定を行うことができる。特に上述したようにドライブレコーダを用いることとすれば、通行路の判定のために新たにカメラを設けずに、通行路の状態の判定（例えば、上述したように橋梁の損傷等の診断）を行うことができる。よって本実施形態によれば、簡易に橋梁等の通行路の状態の判定を可能にすることができる。

また、上述した本実施形態のように振動センサ２０等のセンサによって車両４０の振動を検出してもよい。この構成によれば、適切かつ確実に車両４０の振動を検出することができ、確実に本発明を実施することができる。

あるいは、動画像から車両４０の振動を検出することとしてもよい。この構成によれば、振動センサ２０等のセンサを設けずに動画像のみから通行路の状態の判定を行うことができる。

また、図３に示すように２種類の振動の減算を行って通行路の振動を算出することとしてもよい。この構成によれば、適切かつ確実に車両４０の振動を検出することができ、確実に本発明を実施することができる。

また、図１１に示すように通行路上で動作する車両から撮像した動画像を用いた判定を行うこととしてもよい。このような構成によっても、本発明を実施することができる。

なお、本発明に係る通行路判定システムは、動画像が取得できればよいので、通行路判定システム以外から動画像を取得できる構成となっていてもよい。例えば、本実施形態に係るサーバ３０は、（通行路判定システム以外の）カメラ１０から画像又は動画像を取得できる構成となっていれば、サーバ３０のみで通行路判定システムが構成されていてもよい。

また、本実施形態では、通行路の振動に応じた情報として固有振動数を算出して、固有振動数から通行路の状態を判定することとしたが、必ずしも固有振動数を用いる必要はない。通行路の振動に応じた情報であれば、どのような情報を用いて通行路の状態を判定してもよい。例えば、通行路の振動ｙ_１（ｔ）−αｙ_２（ｔ）の振動のパターンから通行路の状態を判定してもよい。

また、判定対象の通行路は、電車等が通行する線路であってもよい。この場合、車両４０は、線路を通行する電車等であってもよい。但し、判定対象が線路であっても、線路以外を走行する車両４０から撮像された動画像を用いて判定することとしてもよい。

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態におけるサーバ３０は、本実施形態のサーバ３０の処理を行うコンピュータとして機能してもよい。図１３は、本実施形態に係るサーバ３０のハードウェア構成の一例を示す図である。上述のサーバ３０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ３０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

サーバ３０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、サーバ３０の各機能は、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、サーバ３０の各機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。例えば、サーバ３０の各機能は、通信装置１００４で実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、サーバ３０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

情報の通知は、本明細書で説明した態様／実施形態に限られず、他の方法で行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC ConnectionReconfiguration）メッセージなどであってもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…通行路判定システム、１０…カメラ、２０…振動センサ、３０…サーバ、３１…動画像取得部、３２…車両振動検出部、３３…通行路振動算出部、３４…判定部、３５…出力部、４０…車両、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (6)

1. 動作する車両から通行路を含めて撮像した動画像、又は通行路上で動作する車両から撮像した動画像を取得する動画像取得部と、
   動作時の前記車両の振動を検出する車両振動検出部と、
   前記動画像取得部によって取得された動画像、及び前記車両振動検出部によって検出された前記車両の振動から、前記通行路の振動に応じた情報を算出する通行路振動算出部と、
   前記通行路振動算出部によって算出された前記通行路の振動に応じた情報から当該通行路の状態を判定する判定部と、
   を備える通行路判定システム。
2. 前記車両振動検出部は、前記車両に設けられるセンサに基づいて当該車両の振動を検出する請求項１に記載の通行路判定システム。
3. 前記車両振動検出部は、前記動画像取得部によって取得された動画像の前記通行路以外が写った部分から、前記車両の振動を算出する請求項１又は２に記載の通行路判定システム。
4. 前記通行路振動算出部は、前記動画像取得部によって取得された動画像の前記通行路が写った部分から振動を算出して、算出した振動から前記車両振動検出部によって検出された前記車両の振動を減算して当該通行路の振動を算出する請求項１〜３の何れか一項に記載の通行路判定システム。
5. 前記動画像取得部は、前記通行路上で動作する前記車両から撮像した動画像を取得し、
   前記通行路振動算出部は、前記車両振動検出部によって検出された前記車両の振動から、当該車両の振動に係る周波数成分を算出すると共に、前記動画像取得部によって取得された前記通行路上で動作する前記車両から撮像した動画像から振動を算出して、算出した振動に係る周波数成分を算出し、算出したそれぞれの周波数成分から通行路の振動に応じた情報を算出する請求項１〜４の何れか一項に記載の通行路判定システム。
6. 前記動画像取得部は、前記通行路上以外で動作する前記車両から撮像した動画像も取得し、
   前記車両振動検出部は、前記動画像取得部によって取得された前記通行路上以外で動作する前記車両から撮像した動画像から、当該車両の振動を算出する、請求項１〜５の何れか一項に記載の通行路判定システム。