JP6807093B1 - 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 - Google Patents

点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 Download PDF

Info

Publication number
JP6807093B1
JP6807093B1 JP2020159203A JP2020159203A JP6807093B1 JP 6807093 B1 JP6807093 B1 JP 6807093B1 JP 2020159203 A JP2020159203 A JP 2020159203A JP 2020159203 A JP2020159203 A JP 2020159203A JP 6807093 B1 JP6807093 B1 JP 6807093B1
Authority
JP
Japan
Prior art keywords
crack
learning model
specialized
information
cracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020159203A
Other languages
English (en)
Other versions
JP2022052781A (ja
Inventor
太郎 吉井
太郎 吉井
直樹 福住
直樹 福住
直之 齋藤
直之 齋藤
力 ▲高▼井
力 ▲高▼井
謙一郎 田所
謙一郎 田所
義和 奥村
義和 奥村
怜 平河
怜 平河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Sensyn Robotics Inc
Original Assignee
JFE Steel Corp
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp, Sensyn Robotics Inc filed Critical JFE Steel Corp
Priority to JP2020159203A priority Critical patent/JP6807093B1/ja
Application granted granted Critical
Publication of JP6807093B1 publication Critical patent/JP6807093B1/ja
Publication of JP2022052781A publication Critical patent/JP2022052781A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Revetment (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供すること。【解決手段】本発明は、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、を備える点検システムを提供する。【選択図】図１１

Description

本発明は、飛行体によるコンクリート護岸の点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法に関する。
近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「無人飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。
特開２０１４−０８９１６０号公報
ここで、従来の点検、特にコンクリート護岸の点検においては、船舶に搭乗した人員が人手により撮影等行っており、特に浮遊物回収ネットや橋等の障害が存在する部分では多大な工数や負荷がかかっていた。このようなコンクリート護岸の点検を無人飛行体で行うシステムが構築できれば大変有用である。
しかしながら、コンクリート護岸特有の立地等の要因に対応するための点検システムは、現状において十分に構築されているとはいえない。
本発明はこのような背景を鑑みてなされたものであり、特に、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、を備える点検システム、である。
本発明によれば、特に、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することができる。
本発明の実施の形態にかかる点検システムの全体構成を示す図である。 本発明の実施の形態にかかる点検システムのシステム構成を示す図である。 図２の管理サーバのハードウェア構成を示すブロック図である。 図２のユーザ端末のハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図１の管理サーバの機能を示すブロック図である。 本発明の実施の形態にかかるヒビ割れ画像の一例である。 本発明の実施の形態にかかるヒビタイプ別検出結果の一例である。 本発明の実施の形態にかかる特化学習による検出結果の一例である。 本発明の実施の形態にかかるヒビ割れ検出画像および検出結果画像の一例である。 本発明の実施の形態にかかる点検システムのフローチャートである。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による点検システム及び管理サーバは、以下のような構成を備える。
［項目１］
コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、
コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、
無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、
各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備える点検システム。
［項目２］
前記特定種のヒビ割れは、風浪による表面劣化により発生したヒビ割れである、
ことを特徴とする請求項１に記載の点検システム。
［項目３］
前記特定種のヒビ割れの出現頻度が高い範囲は、前記コンクリート護岸における地上から−１ｍ以降の範囲内である、
ことを特徴とする請求項１または２に記載の点検システム。
［項目４］
前記特定種のヒビ割れの出現頻度が高い範囲は、前記コンクリート護岸における地上から−２ｍ以降の範囲内である、
ことを特徴とする請求項１または２に記載の点検システム。
［項目５］
コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、
コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、
無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、
各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備える管理サーバ。
［項目６］
管理サーバ用プログラムにおいて、
前記管理サーバを、
コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、
コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、
無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、
各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
して機能されることを特徴とする管理サーバ用プログラム。
［項目７］
無人飛行体により撮影されたコンクリート護岸の撮影画像において、特定種のヒビ割れの出現頻度が高い範囲を記憶した統計情報に基づいて設定された検出対象範囲に対して、特化学習モデル及び非特化学習モデルをそれぞれの検出対象範囲に適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報提供方法であって、
前記特化ヒビ割れ学習モデルは、コンクリート護岸に出現する特定種のヒビ割れを特定可能な学習モデルであり、
前記非特化ヒビ割れ学習モデルは、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な学習モデルである、
ことを特徴とする検出結果情報提供方法。
＜実施の形態の詳細＞
以下、本発明の実施の形態による無人飛行体による点検システム及び当該点検システムを実施するための管理サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜全体構成＞
図１に示されるように、本実施の形態における点検システムは、ユーザが事前に設定した飛行経路を飛行する無人飛行体４によりコンクリート護岸を撮影し、当該撮影した画像を基に、コンクリート護岸のヒビ割れを検出するものである。
従来は図１に示されるような水面（例えば、湾などの海等）に船舶を浮かべ、搭乗した人員でコンクリート護岸のヒビ割れの状態を人手で確認していたが、本点検システムにおいては、上述のとおり無人飛行体４により撮影した撮影画像を用いてヒビ割れの確認を行う。特に、鋭意検討の結果、このような環境下におけるヒビ割れにおいて、通常の機械学習によるヒビ割れ検知が難しいヒビ割れの種類が特定でき、かつ、当該特定のヒビ割れが生じやすい箇所の傾向が判明したので、該当種類についてのみ学習した特化学習モデルを、特に撮影画像の特定の箇所に対して用いることで正確なヒビ割れ発生の確認が可能である。
＜システム構成＞
図２に示されるように、本実施の形態における点検システムは、管理サーバ１と、ユーザ端末２と、無人飛行体４とを有している。管理サーバ１と、ユーザ端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。
＜管理サーバ１＞
図３は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ１は、ユーザ端末２と、無人飛行体４と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。
送受信部１３は、管理サーバ１をネットワークＮＷに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜ユーザ端末２＞
図４に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
＜管理サーバの機能＞
図６は、管理サーバ１に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ１は、通信部１１０、飛行経路生成部１２０、記憶部１３０、特化ヒビ割れ学習部１４０、非特化ヒビ割れ学習部１５０、検出対象範囲設定部１６０、ヒビ割れ情報出力部１７０、検出結果出力部１８０を備えている。また、記憶部１３０は、パラメータ情報記憶部１３２、フライトログ記憶部１３４、学習モデル記憶部１３６、統計情報記憶部１３８の各種データベースを含み、学習モデル記憶部１３６は、特化ヒビ割れ学習モデル記憶部１３６２、非特化ヒビ割れ学習モデル記憶部１３６４を含む。
通信部１１０は、ユーザ端末２や無人飛行体４と通信を行う。通信部１１０は、ユーザ端末２から、フライト依頼を受け付ける受付部としても機能する。
飛行経路生成部１２０は、パラメータ情報記憶部１３２のパラメータ情報（例えば、ウェイポイントの位置（緯度経度や高度）、飛行速度、最低飛行高度、ウェイポイントの配置間隔、撮影角度、撮影画角、撮像画像のオーバーラップ率など）を参照して新規の飛行経路が自動的に生成されてもよいし、一部またはすべてのウェイポイントに関する情報を手動で設定して飛行経路を生成するようにしてもよい。
特化ヒビ割れ学習部１４０は、特定のヒビ割れに関するヒビ割れ画像を教師データとして機械学習し、特化ヒビ割れ学習モデルを生成する。ここでいう特定のヒビ割れとは、例えば風浪による表面劣化により発生したヒビ割れ（以下、「風浪ヒビ割れ」という。）である。そして、例えば、風浪ヒビ割れに関する複数の第１のヒビ割れ画像を教師データとして機械学習し、風浪ヒビ割れに特化した特化ヒビ割れ学習モデルを生成し、特化ヒビ割れ学習モデルを学習モデル記憶部１３６に記憶する。なお、特化ヒビ割れ学習モデルは、管理サーバ１内の特化ヒビ割れ学習部１４０に限らず、管理サーバ１外部で作成されたものであってもよく、外部から特化ヒビ割れ学習モデル記憶部１３６２に記憶されてもよい。
ここで、コンクリート護岸のヒビ割れ特有の検出率の課題について、例えば、図７に例示されるヒビ割れＡ−Ｃのような画像に対してヒビ割れ検出を行う場合を例に説明する。特にヒビ割れＣは風浪による表面劣化により発生したヒビ割れである。ヒビ割れＡ−Ｂの種類についてはここで言及しないが、ヒビ割れＣとは異なる種類のヒビ割れである。
図８に示されるように、ヒビ割れの種類を特に限定しない複数のヒビ割れ画像を教師データとして機械学習を行ったところ、ヒビ割れＡ−Ｂに関しては追加学習を行うことで検出率が向上しているが、特にヒビ割れＣに関しては追加学習を行っても検出率が十分に向上しなかった。
そこで、ヒビ割れＣに対応するヒビ割れ画像を教師データとして学習させた特化ヒビ割れ学習モデルを生成したところ、図９に示されるように特化学習を行うことで検出率が向上することが判明した。本システムでは、本結果を鑑み、上述の特化学習モデルを利用してヒビ割れ検出率を向上する。
非特化ヒビ割れ学習部１５０は、コンクリート護岸における複数の第２のヒビ割れ画像を教師データとして機械学習し、非特化ヒビ割れ学習モデルを生成し、非特化ヒビ割れ学習モデルを学習モデル記憶部１３６に記憶する。なお、非特化ヒビ割れ学習モデルは、管理サーバ１内の非特化ヒビ割れ学習部１５０に限らず、管理サーバ１外部で作成されたものであってもよく、外部から非特化ヒビ割れ学習モデル記憶部１３６４に記憶されてもよい。また、第２のヒビ割れ画像は、特に限定されず、例えばヒビ割れの種類を限定しないヒビ割れ画像であってもよいが、上述の第１のヒビ割れ画像（風浪ヒビ割れの画像）以外のヒビ割れ画像であれば、さらに互いの差異が明らかとなる非特化ヒビ割れ学習モデルを生成することが可能である。
検出対象範囲設定部１６０は、上述の特化ヒビ割れ学習モデルおよび非特化ヒビ割れ学習モデルを用いてヒビ割れを検出する検出対象範囲として夫々異なる検出対象範囲を設定する。例えば、非特化ヒビ割れ学習モデルを用いてヒビ割れを検出する検出対象範囲として、護岸全体を検出対象範囲に設定する一方、特化ヒビ割れ学習モデルを用いてヒビ割れを検出する範囲として、非特化ヒビ割れ学習モデルを適用する検出対象範囲より狭い範囲を検出対象範囲に設定する。特化ヒビ割れ学習モデルを適用する検出対象範囲は、コンクリート護岸の特定種のヒビ割れ（例えば、風浪ヒビ割れ）の出現頻度が高い範囲を示す統計情報１３８を参照して設定される。さらに、例えば特定種のヒビ割れの発生頻度が低い部分が取り除かれるなどして、特定種のヒビ割れの発生頻度が高い部分を残した撮影画像に対してヒビ割れ検出が行われるように用いられてもよい。
コンクリート護岸の風浪ヒビ割れ発生に関する統計情報の一例は、例えば護岸において、風浪ヒビ割れが発生しやすい範囲に関する情報である。本システムの構築にあたっては、研究により風浪ヒビ割れは、水面側に発生しやすく、地上から−１ｍ以降の範囲、特に地上から−２ｍ以降の範囲において風浪ヒビ割れ発生頻度が高いことが統計的に判明している。そして、当該統計情報に基づき、ヒビ割れの発生頻度が高い部分を残した処理画像に対して特化ヒビ割れ学習モデルに基づくヒビ割れ検出を行うことで、さらにヒビ割れの検出精度を高くすることが可能である。
ヒビ割れ情報出力部１７０は、上述の特化ヒビ割れ学習モデルおよび非特化ヒビ割れ学習モデルを用いて、各検出対象範囲から第１のヒビ割れ情報及び第２のヒビ割れ情報（例えば、静止画像など）を出力する。
検出結果出力部１８０は、ヒビ割れ情報出力部１７０が出力した各ヒビ割れ情報としての検出画像（例えば、図１０の（ｂ）非特化ヒビ割れ学習モデルを用いた検出画像および（ｃ）特化ヒビ割れ学習モデルを用いた検出画像の検出画像）をそれぞれ生成し、これらの検出画像を重ね合わせて検出結果（例えば、図１０の（ｄ）の検出結果画像）を生成し、当該検出結果を検出結果としてユーザ端末２に出力する。
＜点検方法の一例＞
図１１を参照して、本実施形態にかかる点検システムによる点検方法について説明する。
まず、管理サーバ１は、点検開始までに所定のパラメータ情報の入力を受付け、当該パラメータ情報をパラメータ情報記憶部１３２に記憶する（ＳＱ１０１）。
次に、管理サーバ１は、飛行経路を生成する（ＳＱ１０２）。例えば、パラメータ情報記憶部１３２のパラメータ情報を参照して新規の飛行経路が自動的に生成されたり、ユーザが飛行経路を設定して生成したりする。
次に、無人飛行体４は、飛行経路及びウェイポイント情報に基づき、ウェイポイントにおいてコンクリート護岸の撮影を行い、管理サーバ１は当該撮影により取得した情報（例えば、撮影画像）をフライトログ記憶部１３４に記憶する（ＳＱ１０３）。
次に、管理サーバ１は、検出対象範囲設定部１６０により、上述の統計情報を基に検出対象範囲を設定する。（ＳＱ１０４）。
次に、管理サーバ１は、上記検出対象範囲に対して、ヒビ割れ情報出力部１７０により、特化ヒビ割れ学習モデル及び非特化ヒビ割れ学習モデルを用いて、撮影画像から第１のヒビ割れ情報及び第２のヒビ割れ情報（例えば、静止画像など）を出力する（ＳＱ１０５）。
次に、管理サーバ１は、ヒビ割れ情報出力部１７０により検出した各ヒビ割れ情報としての検出結果（特にヒビ割れ位置）を示す検出画像をそれぞれ生成し（例えば、図１０に例示されるように、（ｂ）非特化ヒビ割れ学習モデルを用いた検出画像および（ｃ）特化ヒビ割れ学習モデルを用いた検出画像の検出画像）、これらの検出画像を重ね合わせて検出結果（例えば、図１０に例示される、（ｄ）ヒビ割れ検出結果画像）を生成し、ユーザ端末２に出力する（ＳＱ１０６）。
このように、本発明は、船舶等による点検作業を経ない、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することができる。特に図１０に示されるように、コンクリート護岸におけるヒビ割れは、複合的な要因による複数種類のヒビ割れにより構成されているところ、本点検システムにより、より正確なコンクリート護岸におけるヒビ割れ形状を検出可能となる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
１ 管理サーバ
２ ユーザ端末
４ 無人飛行体

Claims (7)

  1. コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、
    コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、
    無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、
    各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、
    前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
    を備える点検システム。
  2. 前記特定種のヒビ割れは、風浪による表面劣化により発生したヒビ割れである、
    ことを特徴とする請求項１に記載の点検システム。
  3. 前記特定種のヒビ割れの出現頻度が高い範囲は、前記コンクリート護岸における地上から−１ｍ以降の範囲内である、
    ことを特徴とする請求項１または２のいずれかに記載の点検システム。
  4. 前記特定種のヒビ割れの出現頻度が高い範囲は、前記コンクリート護岸における地上から−２ｍ以降の範囲内である、
    ことを特徴とする請求項１または２のいずれかに記載の点検システム。
  5. コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、
    コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、
    無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、
    各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、
    前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
    を備える管理サーバ。
  6. 管理サーバ用プログラムにおいて、
    前記管理サーバを、
    コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化学習モデルと、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な非特化学習モデルと、を記憶する学習モデル記憶部と、
    コンクリート護岸において、前記特定種のヒビ割れの出現頻度が高い範囲を統計情報として記憶する統計情報記憶部と、
    無人飛行体により撮影された撮影画像において、前記特化学習モデル及び前記非特化学習モデルを適用する検出対象範囲として前記統計情報に基づいて異なる検出対象範囲を設定する検出対象範囲設定部と、
    各検出対象範囲に前記特化学習モデル及び前記非特化学習モデルをそれぞれ適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を出力するヒビ割れ情報出力部と、
    前記第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
    して機能されることを特徴とする管理サーバ用プログラム。
  7. 無人飛行体により撮影されたコンクリート護岸の撮影画像において、特定種のヒビ割れの出現頻度が高い範囲を記憶した統計情報に基づいて設定された検出対象範囲に対して、特化学習モデル及び非特化学習モデルをそれぞれの検出対象範囲に適用して得られる第１のヒビ割れ情報及び第２のヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報提供方法であって、
    前記特化学習モデルは、コンクリート護岸に出現する特定種のヒビ割れを特定可能な学習モデルであり、
    前記非特化学習モデルは、前記特定種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する複数種のヒビ割れを特定可能な学習モデルである、
    ことを特徴とする検出結果情報提供方法。
JP2020159203A 2020-09-24 2020-09-24 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 Active JP6807093B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020159203A JP6807093B1 (ja) 2020-09-24 2020-09-24 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020159203A JP6807093B1 (ja) 2020-09-24 2020-09-24 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法

Publications (2)

Publication Number Publication Date
JP6807093B1 true JP6807093B1 (ja) 2021-01-06
JP2022052781A JP2022052781A (ja) 2022-04-05

Family

ID=73992934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020159203A Active JP6807093B1 (ja) 2020-09-24 2020-09-24 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法

Country Status (1)

Country Link
JP (1) JP6807093B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706496A (zh) * 2021-08-23 2021-11-26 中国飞机强度研究所 一种基于深度学习模型的飞行器结构裂纹检测方法
CN114812398A (zh) * 2022-04-10 2022-07-29 同济大学 一种基于无人机的高精度实时裂缝检测平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム
JP2019039936A (ja) * 2015-09-10 2019-03-14 富士フイルム株式会社 損傷情報抽出装置、損傷情報抽出方法および損傷情報抽出プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム
JP2019039936A (ja) * 2015-09-10 2019-03-14 富士フイルム株式会社 損傷情報抽出装置、損傷情報抽出方法および損傷情報抽出プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706496A (zh) * 2021-08-23 2021-11-26 中国飞机强度研究所 一种基于深度学习模型的飞行器结构裂纹检测方法
CN113706496B (zh) * 2021-08-23 2024-04-12 中国飞机强度研究所 一种基于深度学习模型的飞行器结构裂纹检测方法
CN114812398A (zh) * 2022-04-10 2022-07-29 同济大学 一种基于无人机的高精度实时裂缝检测平台
CN114812398B (zh) * 2022-04-10 2023-10-03 同济大学 一种基于无人机的高精度实时裂缝检测平台

Also Published As

Publication number Publication date
JP2022052781A (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
JP6807093B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
JP6713156B2 (ja) 無人飛行体のフライト管理サーバ及びフライト管理システム
US11047690B2 (en) Automated emergency response
JP6807092B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP2023164746A (ja) 作業計画生成システム
JP6960643B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP7149569B2 (ja) 建造物の測定方法
JP2021015605A (ja) 管理サーバ及び管理システム、表示情報生成方法、プログラム
JP6991525B1 (ja) ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム
TWI631483B (zh) 機器人合作系統
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7228311B1 (ja) 情報処理システム、情報処理方法、プログラム、サーバ
JP7217570B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7385332B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP7228310B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
JP7487900B1 (ja) 情報処理方法、情報処理システム及びプログラム
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
WO2022180975A1 (ja) 位置特定装置、情報処理装置、位置特定方法、情報処理方法、及びプログラム
JP6771253B1 (ja) 飛行体の管理サーバ及び管理システム
JP6899108B1 (ja) 計器指示値読取方法及び管理サーバ、計器指示値読取システム、プログラム
WO2021038622A1 (ja) 無人移動体の制御システムおよび無人移動体の制御方法
Sun H. Sø/1SOPS widel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200928

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201127

R150 Certificate of patent or registration of utility model

Ref document number: 6807093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250