JP7033045B2 - 学習装置、推定装置、亀裂検出装置、亀裂検出システム、学習方法、推定方法、亀裂検出方法、及びプログラム - Google Patents

Description

本発明は、学習装置、推定装置、亀裂検出装置、亀裂検出システム、学習方法、推定方法、亀裂検出方法、及びプログラムに関する。

特許文献１には、移動体に赤外線カメラを設置し、その赤外線カメラにより移動体が走行することにより応力変動が生じている構造物の車輪に対応する部分を含む視野を撮影して、構造物の表面の温度分布変動を熱画像として計測し、これにより構造物に存在する欠陥を検出することが開示されている。

特許第４８９８３２０号公報

ところで、上記特許文献１に記載された欠陥検出方法は、熱画像から局所的に温度変化が急峻に変化している箇所を見出して、それを欠陥とみなすというものである。しかしながら、熱画像中の温度分布分解能の設定や急峻な温度変化とみなす閾値の設定などにより判定が左右されるため、必ずしも十分な欠陥検出精度が得られるとは限らない。また、十分な欠陥検出精度が得られない場合は当然、欠陥の位置把握や異なる画像間での欠陥位置補正の信頼性を損ねかねない。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、構造物の亀裂の推定精度を向上させることが可能な学習装置、推定装置、亀裂検出装置、亀裂検出システム、学習方法、推定方法、亀裂検出方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の学習装置は、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像、及び前記熱画像における前記構造物の亀裂の有無の情報を取得する取得手段と、前記熱画像を入力データとし、前記亀裂の有無の情報を教師データとして、熱画像から構造物の亀裂の有無を推定するための学習済みモデルを機械学習により構築する学習手段と、を備える。

また、本発明の他の態様の推定装置は、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段と、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記熱画像から前記構造物の亀裂の有無を推定する推論手段と、を備える。

また、本発明の他の態様の亀裂検出装置は、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段と、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定する推論手段と、前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する生成手段と、前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける関連付け手段と、を備える。

また、本発明の他の態様の亀裂検出システムは、赤外線カメラと、前記赤外線カメラを構造物に沿って移動させる移動体と、前記構造物に沿って移動しながら前記赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得された熱画像から前記構造物の亀裂の有無を推定する亀裂検出装置と、を備える。

また、本発明の他の態様の学習方法は、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像、及び前記熱画像における前記構造物の亀裂の有無の情報を取得し、前記熱画像を入力データとし、前記亀裂の有無の情報を教師データとして、熱画像から構造物の亀裂の有無を推定するための学習済みモデルを機械学習により構築する。

また、本発明の他の態様の推定方法は、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得された熱画像から前記構造物の亀裂の有無を推定する。

また、本発明の他の態様の亀裂検出方法は、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定し、前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成し、前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける。

また、本発明の他の態様のプログラムは、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像、及び前記熱画像における前記構造物の亀裂の有無の情報を取得する取得手段、及び、前記熱画像を入力データとし、前記亀裂の有無の情報を教師データとして、熱画像から構造物の亀裂の有無を推定するための学習済みモデルを機械学習により構築する学習手段、としてコンピュータを機能させる。

また、本発明の他の態様のプログラムは、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段、及び、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記熱画像から前記構造物の亀裂の有無を推定する推論手段、としてコンピュータを機能させる。

また、本発明の他の態様のプログラムは、構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定する推論手段、前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する生成手段、及び、前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける関連付け手段、としてコンピュータを機能させる。

本発明によれば、構造物の亀裂の推定精度を向上させることが可能となる。

クレーン装置の構成例を示す斜視図である。 ランウェイガーダの構成例を示す側面図である。 ランウェイガーダに発生する亀裂を説明するための図である。 実施形態に係る亀裂検出システムの構成例を示すブロック図である。 学習フェーズの手順例を示すフロー図である。 熱画像と亀裂有無ラベルとの対応例を示す図である。 学習済みモデルの構築例を説明するための図である。 推論フェーズの手順例を示すフロー図である。 推定結果と位置情報との対応例を示す図である。 表示画像の表示例を説明するための図である。 表示制御の手順例を示すフロー図である。 熱画像の合成例を説明するための図である。 亀裂長さの算出例を説明するための図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

［クレーン装置］
図１は、クレーン装置９の構成例を示す斜視図である。クレーン装置９は、例えばトロリ式天井クレーンであり、一対のランウェイガーダ９１、一対のランウェイガーダ９１に跨って配置された一対のクレーンガーダ９２、及び一対のクレーンガーダ９２に跨って配置されたクラブトロリ９３を備えている。

クレーンガーダ９２は、ランウェイガーダ９１の長手方向に沿って移動可能に設けられている。クレーンガーダ９２の両端部には、不図示の車輪を有するサドル９２３が設けられている。サドル９２３は、ランウェイガーダ９１上に載せられて、ランウェイガーダ９１上を移動する。

クラブトロリ９３は、クレーンガーダ９２の長手方向に沿って移動可能に設けられている。クラブトロリ９３は、不図示の車輪を有しており、クレーンガーダ９２上に載せられて、クレーンガーダ９２上を移動する。クラブトロリ９３にはフックブロック９４が吊り下げられている。

クレーンガーダ９２の一方の端部には、足場９６が設けられている。足場９６は、ランウェイガーダ９１の側方に位置するように、ランウェイガーダ９１と同程度の高さに配置されている。足場９６は、例えば運転室として用いられる。また、足場９６は、後述する熱画像の撮影に用いられる。

図２は、ランウェイガーダ９１の構成例を示す側面図である。同図では、ランウェイガーダ９１の長手方向と直交する幅方向（一対のランウェイガーダ９１の離間方向）の内側側面を示している。ランウェイガーダ９１は、例えばＩ字状ないしＴ字状の断面形状を有しており、幅方向に広がった板状の上部９１１を有している。

ランウェイガーダ９１の内側側面には、複数の三角リブ９１２が長手方向に所定の間隔で設けられている。三角リブ９１２は、上部９１１から下方に延び、下方に向かうに従って徐々に幅が狭まっている。また、ランウェイガーダ９１の内側側面には、上下方向に延びる板状の補剛材９１３も設けられている。

ランウェイガーダ９１は、柱９１５によって支持されている。例えば、ランウェイガーダ９１は複数の部材に分割されており、各々の部材の端部が柱９１５上に載せられている。

ランウェイガーダ９１は、上部９１１に載せられるサドル９２３から、クレーンガーダ９２、クラブトロリ９３、及びフックブロック９４等の重さを含んだ荷重を受けるため、図３に示すように、ランウェイガーダ９１の長手方向に沿って亀裂Ｃが発生することがある。亀裂Ｃは、特に三角リブ９１２の下端を起点として発生しやすい。

以下では、ランウェイガーダ９１に発生した亀裂Ｃを検出するための亀裂検出システム１００について説明する。

［亀裂検出システム］
図４は、実施形態に係る亀裂検出システム１００の構成例を示すブロック図である。亀裂検出システム１００は、亀裂検出装置１及びクレーン装置９を備えている。亀裂検出装置１は、学習装置の一態様でもあり、推定装置の一態様でもある。

クレーン装置９のクレーンガーダ９２に設けられた足場９６には、赤外線カメラ９７及びランプ９７が配置されている。赤外線カメラ９７及びランプ９７は、クレーンガーダ９２とともにランウェイガーダ９１の長手方向に移動する。ランプ９７は、例えばハロゲンランプであり、ランウェイガーダ９１の内側側面に光を照射する。

赤外線カメラ９７は、クレーンガーダ９２とともにランウェイガーダ９１の長手方向に移動しながら、ランウェイガーダ９１の内側側面を撮影し、時系列の複数の熱画像を生成する。赤外線カメラ９７により生成された時系列の複数の熱画像は、亀裂検出装置１の制御部１０に供給される。

時系列の複数の熱画像は、例えば動画データに含まれる複数の静止画像（フレーム）であってもよいし、所定の時間間隔で撮影して個別に生成された複数の静止画像であってもよい。

赤外線カメラ９７は、ランウェイガーダ９１のうち、サドル９２３の下方の領域、すなわちサドル９２３によって荷重が加えられた領域を撮影する。赤外線カメラ９７をクレーンガーダ９２とともに移動させ、且つランウェイガーダ９１に荷重を加えるサドル９２３は、「移動体」の一例である。

本実施形態では、ランウェイガーダ９１が亀裂検出対象の「構造物」の一例とされる。これに限らず、クレーンガーダ９２を亀裂検出対象の「構造物」とし、赤外線カメラ９７をクラブトロリ９３とともに移動させ、クレーンガーダ９２を撮影するように構成してもよい。

亀裂検出装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含む制御部１０を備えるコンピュータである。

制御部１０は、データベース２にアクセス可能である。データベース２は、亀裂検出装置１の内部に設けられてもよいし、亀裂検出装置１の外部に設けられ、例えばＬＡＮ等の通信ネットワークを介してアクセスされてもよい。

制御部１０には、操作部３及び表示部４が接続されている。操作部３、例えばキーボード、マウス、又はタッチパネル等である。表示部４は、例えば液晶表示ディスプレイ等である。

制御部１０は、画像取得部１１、学習部１２、推論部１３、位置情報生成部１４、関連付け部１５、画像合成部１６、長さ算出部１７、及び表示制御部１８を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット等の通信ネットワークを介して供給されてもよい。

なお、制御部１０が実現する機能部の少なくとも一部（例えば学習部１２）を、亀裂検出装置１とは別の装置（例えば１又は複数のサーバコンピュータ）で実現し、例えばインターネット等の通信ネットワークを介してデータを送受信してもよい。

［学習フェーズ］
図４に示す制御部１０が実現する機能部のうち、画像取得部１１及び学習部１２は、学習フェーズを実行するための機能部であり、学習装置の一態様に相当する。画像取得部１１は取得手段の一例であり、学習部１２は学習手段の一例である。

画像取得部１１は、赤外線カメラ９７により生成された時系列の複数の熱画像を取得する。取得された熱画像は、構造物の亀裂の有無を表す亀裂有無ラベルと対応付けられてデータベース２に格納される。亀裂有無ラベルは、「亀裂の有無の情報」の一例である。

学習部１２は、データベース２から熱画像及びそれに対応付けられた亀裂有無ラベルを読み出し、熱画像を入力データとし、亀裂有無ラベルを教師データとして、熱画像から構造物の亀裂の有無を推定するための学習済みモデルを機械学習により構築する。

なお、学習フェーズに用いられる熱画像は、必ずしもランウェイガーダ９１を撮影して生成された熱画像に限られず、例えば他の構造物又は鋼材等を撮影して生成された熱画像であってもよい。

図５は、学習フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、画像取得部１１及び学習部１２として機能する。

まず、制御部１０は、熱画像及びそれに対応付けられた亀裂有無ラベルを取得する（Ｓ１１、取得手段としての処理）。学習フェーズにおいては、熱画像及びそれに対応付けられた亀裂有無ラベルが予めデータベース２に格納され、必要に応じてデータベース２から読み出される。

次に、制御部１０は、複数用意された熱画像及びそれに対応付けられた亀裂有無ラベルの組から一部を機械学習用のトレーニングデータとして抽出し（Ｓ１２）、抽出したトレーニングデータを用いて機械学習を実行する（Ｓ１３、学習手段としての処理）。機械学習は、熱画像を入力データとし、亀裂有無ラベルを教師データとして行われる。これにより、熱画像から構造物の亀裂の有無を推定するための学習済みモデルが構築される。

次に、制御部１０は、複数用意された熱画像及びそれに対応付けられた亀裂有無ラベルの組からトレーニングデータとは別の一部をテストデータとして抽出し（Ｓ１４）、抽出したテストデータを用いて学習済みモデルを評価する（Ｓ１５）。その後、制御部１０は、評価が所定以上であった学習済みモデルをデータベース２に保存し（Ｓ１６）、学習フェーズを終了する。

図６は、熱画像と亀裂有無ラベルとの対応例を示す図である。熱画像と亀裂有無ラベルとの対応関係は、同図に示すようなテーブルによって管理されている。「熱画像ＩＤ」は、熱画像の識別情報である。「亀裂有無ラベル」は、例えば熱画像を観察した人によって判断され、付与される。

亀裂有無ラベルは、熱画像に亀裂が含まれる場合に「亀裂有り」と設定される。上述したように、ランウェイガーダ９１には長手方向に沿って亀裂が発生しやすいことから、熱画像にランウェイガーダ９１の長手方向（すなわち、赤外線カメラ９７の移動方向）に延びる亀裂が含まれる場合に、亀裂有無ラベルは「亀裂有り」と設定される。

亀裂有無ラベルは、熱画像に亀裂が含まれない場合に「亀裂無し」と設定される。このため、熱画像に亀裂以外のランウェイガーダ９１の長手方向に延びる線が含まれる場合には、亀裂有無ラベルは「亀裂無し」と設定される。亀裂以外の線は、例えば水平に取り付けられた板材や水平に延びる溶接痕などである。

なお、ランウェイガーダ９１の長手方向に延びる亀裂の推定精度を向上させるために、ランウェイガーダ９１の長手方向に延びる亀裂を含む熱画像に「亀裂有り」の亀裂有無ラベルを付与する一方で、それ以外の方向に延びる亀裂を含む熱画像の少なくとも一部に「亀裂無し」の亀裂有無ラベルを付与してもよい。

図７は、学習済みモデルの構築例を説明するための図である。学習済みモデルは、例えば畳み込みニューラルネットワークであり、畳み込みフィルタ、プーリング層、全結合層、及び出力層を含んでいる。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。

熱画像Ｔにおける亀裂Ｃの有無を推定する場合、畳み込みニューラルネットワークの出力層は、例えば「亀裂有り」と「亀裂無し」の２要素とされ、亀裂Ｃの有無を分類するように構成される。また、出力層には、例えばソフトマックス関数が用いられ、出力値が亀裂Ｃの有無の確率として得られる。

なお、図示の畳み込みニューラルネットワークはあくまでも一例であり、層構造はこれに限られず、畳み込みフィルタ、プーリング層、及び全結合層はそれぞれ複数層あってもよい。また、サポートベクタマシン、ガウス過程、決定木などのニューラルネットワーク以外の機械学習を用いてもよい。

［推論フェーズ］
図４に示す制御部１０が実現する機能部のうち、画像取得部１１及び推論部１３は、推論フェーズを実行するための機能部であり、推定装置の一態様に相当する。画像取得部１１は取得手段の一例であり、推論部１３は推論手段の一例である。また、位置情報生成部１４は生成手段の一例であり、関連付け部１５は関連付け手段の一例である。

画像取得部１１は、赤外線カメラ９７を移動させながらランウェイガーダ９１を撮影して得られた時系列の複数の熱画像を取得し、推論部１３及び位置情報生成部１４に出力する。推論フェーズにおいては、画像取得部１１により取得された熱画像が推論部１３に直接的に入力される。これに限らず、熱画像はデータベース２に一旦格納され、データベース２から読み出されてもよい。

推論部１３は、学習フェーズで構築された学習済みモデルを用いて、画像取得部１１により取得された時系列の複数の熱画像のそれぞれからランウェイガーダ９１の亀裂の有無を推定する。推論部１３は、推定結果をランウェイガーダ９１の亀裂発生確率として出力する。推論部１３は、推定結果を関連付け部１５に出力する。

位置情報生成部１４は、画像取得部１１により取得された時系列の複数の熱画像を解析することにより、ランウェイガーダ９１に対する赤外線カメラ９７の位置を表す位置情報を生成する。赤外線カメラ９７の位置は、ランウェイガーダ９１の長手方向における位置である。位置情報生成部１４は、生成した位置情報を関連付け部１５に出力する。

関連付け部１５は、複数の熱画像のそれぞれについて、推論部１３により推定された推定結果と、位置情報生成部１４により生成された位置情報とを関連付けて、データベース２に格納する。

図８は、推論フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、画像取得部１１、推論部１３、位置情報生成部１４、及び関連付け部１５として機能する。

まず、制御部１０は、赤外線カメラ９７により生成された時系列の複数の熱画像を取得する（Ｓ２１、取得手段としての処理）。

次に、制御部１０は、取得された時系列の複数の熱画像を入力データとし、学習フェーズで作成された学習済みモデルを用いて、時系列の複数の熱画像のそれぞれについてランウェイガーダ９１の亀裂発生確率を推定する（Ｓ２２、推論手段としての処理）。

次に、制御部１０は、取得された時系列の複数の熱画像のそれぞれの撮影位置を表す位置情報を生成する（Ｓ２３、生成手段としての処理）。位置情報は、例えば基準時点からの熱画像のフレーム数をカウントすることによって生成される。すなわち、位置情報は、熱画像のフレーム数によって表される。

基準時点は、例えば熱画像の画像解析により、ランウェイガーダ９１に含まれる例えば柱９１５（図２参照）等の基準対象が検出された時点である。制御部１０は、パターンマッチングにより基準対象を検出するためのパターンをメモリに予め保持している。

具体的には、制御部１０は、クレーンガーダ９２が所定の移動速度ｖになり、且つ熱画像においてランウェイガーダ９１の柱９１５等の基準対象を検出した時点から、熱画像のフレーム数のカウントを開始する。このとき、赤外線カメラ９７は、所定の時間間隔ｔで連続的に熱画像を撮影する。

位置情報は、熱画像のフレーム数に限らず、例えば熱画像のフレーム数に赤外線カメラ９７の移動速度ｖと撮影の時間間隔ｔとを掛け合わせることによって得られる距離で表されてもよい。また、位置情報は、熱画像の画像解析に限らず、例えばレーザ変位計等により計測される距離で表されてもよい。

次に、制御部１０は、複数の熱画像のそれぞれについて、推定結果としての亀裂発生確率と熱画像の撮影位置を表す位置情報としてのフレーム数とを関連付けて、データベース２に格納する（Ｓ２４、関連付け手段としての処理）。

図９は、推定結果と位置情報との対応例を示す図である。推定結果と位置情報との対応関係は、同図に示すようなテーブルによって管理されている。「フレーム番号」は、ランウェイガーダ９１の柱９１５（図２参照）を検出した後に撮影された熱画像のフレーム数であり、熱画像の撮影位置を表す位置情報である。

フレーム番号は、ランウェイガーダ９１の柱９１５が検出されたときの熱画像が０と設定される。複数の熱画像Ｔにおいて柱９１５が検出された場合には、柱９１５が最も中央に近い位置で検出された熱画像が０と設定される。

「亀裂発生確率」は、学習済みモデルを用いて得られた推定結果であり、亀裂有りの確率を百分率で表している。「閾値以上？」は、亀裂発生確率が予め定められた閾値以上であるか否かを表している。

以上に説明した実施形態によれば、予め亀裂有りまたは亀裂無しと判定した熱画像を基に機械学習して作成された学習済みモデルを用いて、ランウェイガーダ９１を撮影して得られる熱画像からランウェイガーダ９１の亀裂の有無を推定するので、熱画像の分解能設定や急峻な温度変化割合などを潜在的に考慮した形で推定精度の向上を図ることができる。

また、実施形態によれば、クレーンガーダ９２とともに赤外線カメラ９７を移動させながらランウェイガーダ９１を撮影し、これにより得られた時系列の複数の熱画像から亀裂の有無を推定するので、例えば１００～３００ｍ程度の長大なランウェイガーダ９１であっても、亀裂の有無を迅速に推定することが可能となる。

また、実施形態によれば、推定結果としての亀裂発生確率と熱画像の撮影位置を表す位置情報とが関連付けられてデータベース２に格納されるので、ランウェイガーダ９１に発生した亀裂の位置を容易に特定することが可能となる。

また、実施形態によれば、熱画像の画像解析により、ランウェイガーダ９１に対する赤外線カメラ９７の位置を表す位置情報を生成するので、レーザ変位計等を別途設ける場合と比較して装置コストを抑制することが可能となる。

［表示制御］
図４に示す制御部１０が実現する機能部のうち、画像合成部１６、長さ算出部１７、及び表示制御部１８は、表示部４に表示する表示画像を生成するための機能部である。画像合成部１６は合成手段の一例であり、長さ算出部１７は算出手段の一例であり、表示制御部１８は表示制御手段の一例である。

図１０は、表示画像Ｄの表示例を説明するための図である。表示画像Ｄは、表示制御部１８により生成され、表示部４に出力される（図４参照）。表示画像Ｄは、推定結果と位置情報との対応関係を表す推定結果画像ＰＰと、複数の熱画像の各部を合成した合成画像ＳＴとを含んでいる。

推定結果画像ＰＰは、複数の熱画像のそれぞれについての亀裂発生確率を、熱画像の撮影位置を表すフレーム番号に対応させて表示したグラフであり、横軸はフレーム番号を表し、縦軸は亀裂発生確率を表している。推定結果画像ＰＰを生成するための情報は、推定結果と位置情報との対応関係を管理するためのテーブル（図９参照）から読み出される。

推定結果画像ＰＰには、亀裂の長さＬを表す文字列が付加される。亀裂の長さＬは、亀裂発生確率が閾値以上の熱画像が連続する数等に基づいて算出される。亀裂の長さＬの算出については、詳細を後述する。亀裂の長さＬは、長さ算出部１７により算出され、表示制御部１８に出力される（図４参照）。

合成画像ＳＴは、複数の熱画像から得られる複数の画像片ＴＰを、熱画像の撮影位置を表すフレーム番号に対応させて合成した画像である。合成画像ＳＴの生成については、詳細を後述する。合成画像ＳＴは、推定結果画像ＰＰとフレーム番号が対応するように、推定結果画像ＰＰと上下に並んで配置される。合成画像ＳＴは、画像合成部１６により生成され、表示制御部１８に出力される（図４参照）。

表示画像Ｄ上には、ユーザの操作入力に応じて表示画像Ｄ上を移動するカーソルＫが表示される。カーソルＫは、推定結果画像ＰＰの亀裂発生確率と合成画像ＳＴの各部との対応関係を示すように、推定結果画像ＰＰと合成画像ＳＴとに跨って配置されている。具体的には、カーソルＫは上下方向に延び、フレーム番号が共通する推定結果画像ＰＰの部分と合成画像ＳＴの部分とに重なっている。

図１１は、表示制御の手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、画像合成部１６、長さ算出部１７、及び表示制御部１８として機能する。

まず、制御部１０は、推定結果画像ＰＰを生成する（Ｓ３１）。具体的には、制御部１０は、データベース２に格納されたテーブル（図９参照）からフレーム番号と亀裂発生確率とを読み出して、推定結果画像ＰＰを生成する。

次に、制御部１０は、複数の熱画像Ｔのそれぞれから一部を抽出し（Ｓ３２，Ｓ３３）、抽出したそれぞれの熱画像Ｔの一部を合成することで、合成画像ＳＴを生成する（Ｓ３４）。

図１２は、合成画像ＳＴの合成例を説明するための図である。同図では、フレーム番号ｉの熱画像Ｔ_ｉから画像片ＴＰ_ｉを抽出し、合成画像ＳＴのｉ番目の要素として利用する例を示している。画像片ＴＰ_ｉは、熱画像Ｔ_ｉのうちの、赤外線カメラ９７の移動方向（図の左右方向）の一部であり、それと直交する方向（図の上下方向）にライン状に延びている。

表示画像Ｄ（図１０参照）において推定結果画像ＰＰとフレーム番号を対応させて表示するには、熱画像Ｔ_ｉのうちの左右方向の中央部が画像片ＴＰ_ｉとして抽出されることが好ましい。

また、画像片ＴＰ_ｉの幅は、赤外線カメラ９７の移動速度ｖと撮影の時間間隔ｔとを掛け合わせた距離ｖｔであることが好ましい。これにより、画像片ＴＰ_ｉを合成画像ＳＴに含めたときに、範囲の欠落や重複を抑制することができる。

合成画像ＳＴでは、複数の画像片Ｔのそれぞれから抽出された画像片ＴＰがフレーム番号順に並べられている。このように生成された合成画像ＳＴには、赤外線カメラ９７により撮影したランウェイガーダ９１の全体が現れている。

合成画像ＳＴにおける各画像片ＴＰの幅は、表示画像Ｄ（図１０参照）において推定結果画像ＰＰとフレーム番号を対応させて表示するために、推定結果画像ＰＰが示す棒グラフの棒幅に合わせることが好ましい。

なお、それぞれの熱画像Ｔの一部を画像片ＴＰとして抽出する態様に限らず、例えば複数の熱画像Ｔから領域の欠落や重複がないように間欠的に抜き出された幾つかの熱画像Ｔを繋げて合成画像ＳＴを生成してもよい。また、熱画像Ｔを水平方向に平均化することにより画像片ＴＰを作成してもよい。

図１１の説明に戻り、次に、制御部１０は、亀裂の長さＬを算出する（Ｓ３５）。亀裂Ｃの長さＬは、赤外線カメラ９７の移動速度ｖ、熱画像を撮影する時間間隔ｔ、赤外線カメラ９７の視野のランウェイガーダ９１上における移動方向の長さ、及び亀裂発生確率が閾値以上の熱画像が連続する数に基づいて算出される。

図１３は、亀裂の長さＬの算出例を説明するための図である。以下に説明する例では、フレーム番号がｉからｊまでの熱画像Ｔ_ｉ～Ｔ_ｊにおいて亀裂発生確率が閾値以上であったものとする（但し、ｉ＜ｊ）。また、熱画像Ｔに含まれる亀裂Ｃは、フレーム番号の増加に伴って右方向にシフトするものとする（すなわち、赤外線カメラ９７は、クレーンガーダ９２に相対した状態で左方向に移動する）。

撮影開始地点から亀裂までの距離Ｐは、下記数式１で表される。ここで、ｖは赤外線カメラ９７の移動速度であり、ｔは撮影の時間間隔である。

図１３（ａ）に示すように、フレーム番号ｉの熱画像Ｔ_ｉにおける亀裂Ｃの水平方向の長さ（赤外線カメラ９７の移動方向の長さ）をＸ_１とする。具体的には、亀裂Ｃの右端から熱画像Ｔ_ｉの左端までの長さがＸ_１である。

図１３（ｂ）に示すように、フレーム番号ｊの熱画像Ｔ_ｊにおける亀裂Ｃの水平方向の長さをＸ_２とする。ｂは、赤外線カメラ９７の視野のランウェイガーダ９１上における水平方向の長さである。

具体的には、熱画像Ｔ_ｊの右端から亀裂Ｃの左端までの距離がＸ_２である。亀裂Ｃの左端から熱画像Ｔ_ｊの左端までの距離がｂ－Ｘ_２である。また、亀裂Ｃの右端から熱画像Ｔ_ｊの左端までの距離は、Ｘ_１＋（ｊ－ｉ）ｖｔである。

以上より、亀裂Ｃの長さＬは、下記数式２で表される（但し、Ｌ＞０）。

なお、長さＸ_１は、１つ前のフレーム番号ｉ－１の熱画像Ｔ_ｉ－１で亀裂が検出されていないことから、距離ｖｔ以下であると考えられる。同様に、長さＸ_２も、１つ後のフレーム番号ｊ＋１の熱画像Ｔ_ｊ＋１で亀裂が検出されていないことから、距離ｖｔ以下であると考えられる。このため、下記数式３が成り立つ。

当該数式３に基づき、Ｘ_１＋Ｘ_２が２ｖｔと略等しいとすると、上記数式２における亀裂Ｃの長さＬは、下記数式４で表すことができる。

以上のようにして、亀裂Ｃの長さＬは、赤外線カメラ９７の移動速度ｖ、熱画像を撮影する時間間隔ｔ、赤外線カメラ９７の視野のランウェイガーダ９１上における水平方向の長さｂ、及び亀裂発生確率が閾値以上の熱画像が連続する数で表される。

図１１の説明に戻り、次に、制御部１０は、上記Ｓ３１で生成した推定結果画像ＰＰと、上記Ｓ３４で生成した合成画像ＳＴと、上記Ｓ３５で算出した亀裂の長さＬとを表示画像Ｄに含めて、表示部４に出力する（Ｓ３６）。以上で表示制御の手順が終了する。

以上に説明した実施形態によれば、推定結果と位置情報との対応関係を表す推定結果画像ＰＰを表示するので、ランウェイガーダ９１に発生した亀裂の位置を容易に特定することが可能となり、解析時間を短縮することが可能となる。

また、実施形態によれば、推定結果画像ＰＰとともに合成画像ＳＴを表示するので、ランウェイガーダ９１に発生した亀裂を熱画像により確認することが可能となり、解析時間をさらに短縮することが可能となる。

特に、推定結果画像ＰＰと合成画像ＳＴとをフレーム番号が対応するように上下に並べて配置することで、ランウェイガーダ９１に発生した亀裂を合成画像ＳＴにより迅速かつ容易に確認することが可能となる。

また、実施形態によれば、カーソルＫにより推定結果画像ＰＰの亀裂発生確率と合成画像ＳＴの各部との対応関係を示すので、ランウェイガーダ９１に発生した亀裂を合成画像ＳＴにより迅速かつ容易に確認することが可能となる。

なお、カーソルＫが指すフレーム番号の熱画像を読み出して表示画像Ｄに含めるようにしてもよい。これによれば、ランウェイガーダ９１に発生した亀裂を単独の熱画像により詳細に確認することが可能となり、解析時間を短縮することが可能となる。

また、実施形態によれば、亀裂の位置及び長さを算出するため、解析時間を短縮することが可能となる。特に、熱画像の画像解析により亀裂の位置及び長さを算出するため、レーザ変位計等を別途設ける場合よりも装置コストを抑制しつつ解析時間を短縮することが可能となる。

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

例えば、亀裂検出装置１の制御部１０は、亀裂発生確率が閾値以上の熱画像が連続する数が所定以上である場合に、ランウェイガーダ９１に亀裂が発生していると判定する判定部をさらに備えてもよい。

また、亀裂検出対象の構造物は、クレーン装置９のランウェイガーダ９１やクレーンガーダ９２に限らず、例えば橋梁や線路、ガードレール等であってもよい。特に、一方向に延びる長尺の構造物が好適である。

１ 亀裂検出装置、２ データベース、３ 操作部、４ 表示部、１０ 制御部、１１ 画像取得部、１２ 学習部、１３ 推論部、１４ 位置情報生成部、１５ 関連付け部、１６ 画像合成部、１７ 長さ算出部、１８ 表示制御部、９ クレーン装置、９１ ランウェイガーダ、９１１ 上部、９１２ 三角リブ、９１３ 補剛材、９１５ 柱、９２ クレーンガーダ、９２３ サドル、９３ クラブトロリ、９４ フックブロック、９６ 足場、９７ 赤外線カメラ、９８ ランプ、１００ 亀裂検出システム、Ｔ 熱画像、Ｃ 亀裂、ＳＴ 合成画像、ＰＰ 推定結果画像、Ｄ 表示画像、Ｋ カーソル

Claims (12)

1. 構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段と、
   熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定するとともに前記構造物に亀裂が有る確率を出力する推論手段と、
   前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する生成手段と、
   前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける関連付け手段と、
   を備え、
   前記赤外線カメラの移動速度、前記熱画像を撮影する時間間隔、前記赤外線カメラの視野の前記構造物上における移動方向の長さ、及び前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数に基づいて、前記構造物の亀裂の長さを算出する算出手段をさらに備える、
   亀裂検出装置。
2. 構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段と、
   熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定するとともに前記構造物に亀裂が有る確率を出力する推論手段と、
   前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する生成手段と、
   前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける関連付け手段と、
   を備え、
   前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数が所定以上である場合に、前記構造物に亀裂が有ると判定する判定部をさらに備える、
   亀裂検出装置。
3. 前記複数の熱画像のそれぞれについての前記構造物の亀裂の有無の推定結果を、前記熱画像の撮影位置の位置情報に対応させて表示する表示制御手段をさらに備える、
   請求項１または２に記載の亀裂検出装置。
4. 前記表示制御手段は、前記複数の熱画像から得られる複数の画像片を、前記熱画像の撮影位置の位置情報に対応させて合成した合成画像を表示する、
   請求項３に記載の亀裂検出装置。
5. 前記表示制御手段は、ユーザの操作入力に応じて移動し、前記構造物の亀裂の有無の推定結果と前記合成画像の各部との対応関係を示すカーソルを表示する、
   請求項４に記載の亀裂検出装置。
6. 前記生成手段は、前記熱画像において前記構造物の基準対象が検出された後に撮影された前記熱画像の数に基づいて、前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する、
   請求項１ないし５の何れかに記載の亀裂検出装置。
7. 赤外線カメラと、
   前記赤外線カメラを構造物に沿って移動させる移動体と、
   前記構造物に沿って移動しながら前記赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得された熱画像から前記構造物の亀裂の有無を推定するとともに前記構造物に亀裂が有る確率を出力し、前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成し、前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける亀裂検出装置と、
   を備え、
   前記亀裂検出装置は、前記赤外線カメラの移動速度、前記熱画像を撮影する時間間隔、前記赤外線カメラの視野の前記構造物上における移動方向の長さ、及び前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数に基づいて、前記構造物の亀裂の長さを算出する、
   亀裂検出システム。
8. 赤外線カメラと、
   前記赤外線カメラを構造物に沿って移動させる移動体と、
   前記構造物に沿って移動しながら前記赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得された熱画像から前記構造物の亀裂の有無を推定するとともに前記構造物に亀裂が有る確率を出力し、前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成し、前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける亀裂検出装置と、
   を備え、
   前記亀裂検出装置は、前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数が所定以上である場合に、前記構造物に亀裂が有ると判定する、
   亀裂検出システム。
9. 構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、
   熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定とともに前記構造物に亀裂が有る確率を出力し、
   前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成し、
   前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付け、
   前記赤外線カメラの移動速度、前記熱画像を撮影する時間間隔、前記赤外線カメラの視野の前記構造物上における移動方向の長さ、及び前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数に基づいて、前記構造物の亀裂の長さを算出する、
   亀裂検出方法。
10. 構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得し、
    熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定とともに前記構造物に亀裂が有る確率を出力し、
    前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成し、
    前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付け、
    前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数が所定以上である場合に、前記構造物に亀裂が有ると判定する、
    亀裂検出方法。
11. 構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段、
    熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定するとともに前記構造物に亀裂が有る確率を出力する推論手段、
    前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する生成手段、
    前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける関連付け手段、及び、
    前記赤外線カメラの移動速度、前記熱画像を撮影する時間間隔、前記赤外線カメラの視野の前記構造物上における移動方向の長さ、及び前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数に基づいて、前記構造物の亀裂の長さを算出する算出手段、
    としてコンピュータを機能させるためのプログラム。
12. 構造物に沿って移動しながら赤外線カメラで撮影して得られる時系列の複数の熱画像を取得する取得手段、
    熱画像を入力データとし、亀裂の有無の情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された前記複数の熱画像のそれぞれから前記構造物の亀裂の有無を推定するとともに前記構造物に亀裂が有る確率を出力する推論手段、
    前記構造物に対する前記赤外線カメラの位置を表す位置情報を生成する生成手段、
    前記複数の熱画像のそれぞれについて、前記熱画像の撮影位置の位置情報と前記構造物の亀裂の有無の推定結果とを関連付ける関連付け手段、及び、
    前記構造物に亀裂が有る確率が閾値以上の前記熱画像が連続する数が所定以上である場合に、前記構造物に亀裂が有ると判定する判定部、
    としてコンピュータを機能させるためのプログラム。
    

Images