JP2017167969A - 損傷抽出システム - Google Patents

損傷抽出システム Download PDF

Info

Publication number
JP2017167969A
JP2017167969A JP2016054447A JP2016054447A JP2017167969A JP 2017167969 A JP2017167969 A JP 2017167969A JP 2016054447 A JP2016054447 A JP 2016054447A JP 2016054447 A JP2016054447 A JP 2016054447A JP 2017167969 A JP2017167969 A JP 2017167969A
Authority
JP
Japan
Prior art keywords
damage
user terminal
image
extraction
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016054447A
Other languages
English (en)
Other versions
JP6534001B2 (ja
Inventor
森 清
Kiyoshi Mori
清 森
直志 吉川
Naoshi Yoshikawa
直志 吉川
稔也 由井
Toshiya Yui
稔也 由井
惣太 高津
Sota Takatsu
惣太 高津
佐藤 久
Hisashi Sato
久 佐藤
真 久田
Makoto Hisada
真 久田
武司 永見
Takeshi Nagami
武司 永見
小林 匠
Takumi Kobayashi
匠 小林
増田 健
Takeshi Masuda
健 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
National Institute of Advanced Industrial Science and Technology AIST
Shutoko Engineering Co Ltd
Original Assignee
Tohoku University NUC
National Institute of Advanced Industrial Science and Technology AIST
Shutoko Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, National Institute of Advanced Industrial Science and Technology AIST, Shutoko Engineering Co Ltd filed Critical Tohoku University NUC
Priority to JP2016054447A priority Critical patent/JP6534001B2/ja
Publication of JP2017167969A publication Critical patent/JP2017167969A/ja
Application granted granted Critical
Publication of JP6534001B2 publication Critical patent/JP6534001B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Road Repair (AREA)
  • Bridges Or Land Bridges (AREA)
  • Working Measures On Existing Buildindgs (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 構造物の損傷の抽出結果について提供を受ける側の端末の情報処理能力や通信環境を考慮して、当該損傷の抽出結果を適切なデータ内容で提供する損傷抽出システムを提供する。【解決手段】 損傷抽出システムは、構造物に損傷が生じているか否かの点検を行う調査員により操作されるユーザ端末10と、そのユーザ端末10からネットワーク100を介して受信した情報に基づいて上記構造物の損傷を抽出して、その抽出結果をユーザ端末10へ提供する損傷抽出サーバ20とを有して構成される。【選択図】 図1

Description

本発明は、損傷抽出システムに関し、特に、コンクリート・アスファルト構造物に生じたひび割れ等の損傷を抽出する損傷抽出システムに関する。
近年、高度成長期時代に建設されたコンクリート・アスファルト構造物(以下、単に構造物という)の経年劣化が問題視されている。
これら構造物にひび割れ等の損傷が発生すると、構造物の崩落や路面の過大な凹凸を引き起こし、深刻な事故につながることから、これら構造物の点検作業が重要になってきている。
しかしその一方で、構造物は、道路、橋又はトンネル等広域にわたっており、構造物の点検作業については作業員の人的労力だけでは限界がある。
上記のような問題を解決するための従来技術として、特許文献1が開示するところのコンクリート構造物維持管理システムが提案されている。
このコンクリート構造物維持管理システムでは、計測器は光学測距により構造物の初期ひび割れを計測し、計測端末がその計測情報をネットワークを介してサーバへ送信すると、サーバは、その計測情報に基づいて構造物の劣化予測等について解析を行い、その解析結果やひび割れの情報をネットワークを介して施工者端末へ送信する。
特開2015−138467
しかしながら、上記特許文献1のコンクリート構造物維持管理システムでは、サーバが構造物の解析結果等を施工者端末へ送信する際には、施工者端末の情報処理能力や通信環境を全く考慮していないため、施工者端末側においてその解析結果の表示処理等に支障が生じる場合があるという問題がある。
特に、施工者端末が、ネットワークに有線接続したPC以外の情報処理端末であった場合には、データのサイズによっては解析結果の表示に長時間要したり、表示自体できなかったりするおそれがある。
本発明は、上記問題点に鑑みてなされたものであり、構造物の損傷の抽出結果について提供を受ける側の端末の情報処理能力や通信環境を考慮して、当該損傷の抽出結果を適切なデータ内容で提供する損傷抽出システムを提供することを目的とする。
かかる目的を達成するため、本発明は、構造物の点検作業を行う作業員により操作されるユーザ端末と、ユーザ端末とネットワークを介して接続され構造物に生じた損傷を抽出する損傷抽出サーバとを有して構成される損傷抽出システムであって、ユーザ端末は、構造物の撮影画像を損傷抽出サーバへ送信し、損傷抽出サーバは、撮影画像に基づいて、構造物に生じた損傷であると推定される画像を示す損傷候補画像を生成し、生成した損傷候補画像をユーザ端末へ送信し、ユーザ端末へ送信する損傷候補画像が、ユーザ端末の機種情報に基づいて撮影画像に合成されるか否かを決定することを特徴とする。
また、本発明における損傷抽出システムによれば、損傷抽出サーバは、損傷候補画像に損傷候補には実際の損傷である可能性を示す損傷点数を付してユーザ端末へ送信することを特徴とする。
また、本発明における損傷抽出システムによれば、損傷抽出サーバは、機種情報に基づき損傷候補画像を撮影画像に合成しないでユーザ端末へ送信しユーザ端末は、損傷候補画像を損傷と認識する際の基準となる損傷点数の閾値を格納しており、損傷候補画像を損傷抽出サーバから受信すると、損傷点数の閾値に基づいて、表示する損傷候補画像を決定し、自機に格納されている撮影画像に決定した損傷候補画像を合成し表示することを特徴とする。
また、本発明における損傷抽出システムによれば、ユーザ端末は、損傷点数の閾値を入力すると、入力した損傷点数の閾値に基づいて、表示する損傷候補画像を決定し、自機に格納されている撮影画像に決定した損傷候補画像を合成し表示することを特徴とする。
また、本発明における損傷抽出システムによれば、損傷抽出サーバは、機種情報に基づいて、損傷点数の段階数を減少させることを特徴とする。
また、本発明における損傷抽出システムによれば、損傷抽出サーバは、機種情報に基づいて、所定の損傷点数以上の損傷候補画像のみをユーザ端末へ送信することを特徴とする。
また、本発明における損傷抽出システムによれば、損傷抽出サーバは、損傷候補画像を損傷と認識する際の基準となる損傷点数の閾値を格納しており、損傷点数の閾値に基づいて、合成する損傷候補画像を決定し、ユーザ端末から受信した撮影画像に決定した損傷候補画像を合成し、合成した画像をユーザ端末へ送信することを特徴とする。
また、本発明における損傷抽出システムによれば、ユーザ端末は、損傷点数の閾値を入力すると、入力した損傷点数の閾値を損傷抽出サーバへ送信し、損傷抽出サーバは、損傷点数の閾値を受信すると、受信した損傷点数の閾値に基づいて、合成する損傷候補画像を決定し、ユーザ端末から受信した撮影画像に決定した損傷候補画像を合成し、合成した画像をユーザ端末へ送信することを特徴とする。
また、本発明は、構造物の点検作業を行う作業員により操作されるユーザ端末と、ユーザ端末とネットワークを介して接続され構造物に生じた損傷を抽出する損傷抽出サーバとを有して構成される損傷抽出システムであって、ユーザ端末は、同一構造物における複数個所の撮影画像を損傷抽出サーバへ送信し、損傷抽出サーバは、ユーザ端末から受信した構造物の複数個所の撮影画像の共通画像を抽出し、抽出した共通画像を重畳するように複数個所の撮影画像を互いに連結した連結画像を生成し、ユーザ端末の機種情報に基づいて、生成した連結画像の解像度を調整し、解像度を調整した連結画像をユーザ端末へ送信することを特徴とする。
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
本発明によれば、ユーザ端末は構造物の撮影画像を損傷抽出サーバへ送信し、損傷抽出サーバは撮影画像に基づいて構造物に生じた損傷であると推定される画像を示す損傷候補画像を生成し、生成した損傷候補画像をユーザ端末へ送信し、ユーザ端末へ送信する損傷候補画像がユーザ端末の機種情報に基づいて撮影画像に合成されるか否かを決定するので、構造物の損傷の抽出結果についてユーザ端末の情報処理能力や通信環境を考慮して、当該損傷の抽出結果を適切なデータ内容で提供することが可能となる。
本発明の第1の実施の形態における損傷抽出システムの構成を示す図である。 本発明の第1の実施の形態におけるユーザ端末10の構成を示す図である。 本発明の第1の実施の形態における損傷抽出サーバ20の構成を示す図である。 本発明の第1の実施の形態における損傷抽出サーバ20の情報格納部22において格納される各データベースを示す図である。 本発明の第1の実施の形態におけるユーザ端末DB221のデータ構成の一例を示す図である。 本発明の第1の実施の形態における撮影DB222のデータ構成の一例を示す図である。 本発明の第1の実施の形態における損傷候補DB223のデータ構成の一例を示す図である。 本発明の第1の実施の形態における損傷点数変換TB226のデータ構成の一例を示す図である。 本発明の第1の実施の形態における登録動作の流れを示すシーケンスチャートである。 本発明の第1の実施の形態における損傷抽出システムによる損傷抽出動作の流れを示すシーケンスチャートである。 本発明の第1の実施の形態における損傷抽出システムによる損傷抽出動作の流れを示すシーケンスチャートである。 本発明の第1の実施の形態における損傷抽出システムによる損傷抽出動作の流れを示すシーケンスチャートである。 本発明の第1の実施の形態における損傷抽出システムによる損傷抽出動作の流れを示すシーケンスチャートである。 本発明の第1の実施の形態における損傷点数の閾値の変更による表示される損傷候補画像の変化の一例を示す図である。 本発明の第1の実施の形態における損傷点数の閾値の変更による表示される損傷候補画像の変化の一例を示す図である。 本発明の第1の実施の形態における損傷点数の閾値の変更による表示される損傷候補画像の変化の一例を示す図である。 本発明の第1の実施の形態における連結画像の生成動作の流れを示すシーケンスチャートである。 本発明の第1の実施の形態における連結画像の生成方法を示す図である。 本発明の第1の実施の形態における連結画像の生成方法を示す図である。
(第1の実施の形態の概要)
本発明の実施の形態における損傷抽出システムは、例えば、道路やその他のコンクリート構造物又はアスファルト構造物(以下、単に「構造物」という)に損傷が生じているか否かを点検する道路管理事業者の作業員等がユーザ端末10を用いてコンクリート構造物又はアスファルト構造物を撮影し、その撮影画像を損傷抽出サーバ20へ送信し、損傷抽出サーバ20は、その撮影画像に基づいて当該構造物の損傷を抽出し、その損傷抽出結果を示す情報をユーザ端末10に対し提供するものである。
上記損傷抽出サーバ20は、ユーザ端末10へ上記構造物の損傷の抽出結果の情報を提供する際、そのユーザ端末10の機種情報に基づいてその提供する情報の内容を調整することにより、システム全体における情報処理の負荷を効率よく分散し、当該損傷抽出結果の情報をスムーズに提供することが可能となる。
(第1の実施の形態の構成)
(1)損傷抽出システムの全体構成
図1は、本発明の第1の実施の形態における損傷抽出システムの構成を示す図である。
図に示すように、損傷抽出システムは、構造物に損傷が生じているか否かの点検を行う調査員により操作されるユーザ端末10と、そのユーザ端末10からネットワーク100を介して受信した情報に基づいて上記構造物の損傷を抽出して、その抽出結果をユーザ端末10へ提供する損傷抽出サーバ20とを有して構成される。
(2)ユーザ端末10の構成
ユーザ端末10は、作業員等により操作される通信機能つきカメラ、スマートフォンやタブレット端末等の携帯端末、PC又は撮影・通信機能を備えたロボット等の情報処理装置であって、構造物を撮影して、その撮影画像を損傷抽出サーバ20へ送信するとともに、その撮影画像に基づいて生成される当該構造物の損傷抽出結果を損傷抽出サーバ20から受信して表示する。
図2は、本発明の第1の実施の形態におけるユーザ端末10の構成を示す図である。
図に示すように、ユーザ端末10は、CPU等から構成されユーザ端末10全体の動作を制御する制御部11と、入力した情報やネットワークを介して受信した情報等を格納する情報格納部12と、ネットワークを介して情報の送受信を行う通信部13と、ディスプレイ等から構成され情報を画面表示する表示部14と、キーやマウス等から構成され情報の入力等を行う操作部15と、構造物の撮影を行う撮影部16とを有して構成される。
ユーザ端末10は、上記のとおり、PC、カメラ又は携帯端末等の各種情報処理装置である。
以下、ユーザ端末10がどの情報処理端末により構成されるかについて場合分けをして以下、各構成及び動作を説明する。
(2−a)ユーザ端末10がPC及びカメラの場合
ユーザ端末10は、例えば、インターネット等のネットワーク100に接続されたデスクトップ型又はノートブック型PCにカメラを接続して構成される。
なお、PCは、無線通信機能を備えてもよいが、有線通信機能を用いてインターネットに接続可能に構成されてもよく、この場合、大容量・高速のデータ通信を期待できる。
上記のようにPC及びカメラによりユーザ端末10が構成される場合、作業員は、カメラを用いて構造物の撮影を行い、カメラ本体のメモリ又はカメラに挿入されたSDカード等の情報記録媒体にその撮影画像を格納する。
その後、作業員は、そのカメラをPCにUSBケーブル等で接続し、カメラからPCへ撮影画像を転送してPC内のハードディスク等に格納させる。この転送方法については当該方法に限定されず、例えば無線通信を利用してもよい。
そして、PCはネットワーク100を介して損傷抽出サーバ20へ撮影画像を送信する。
損傷抽出サーバ20は、その撮影画像に基づいて損傷候補画像を抽出し、その損傷候補画像をその損傷位置を表す位置情報及び損傷点数に対応付けてネットワーク100を介してPCへ送信する。
PCは、損傷候補画像を損傷抽出サーバ20から受信すると、当該受信した損傷候補画像を自機内に格納した撮影画像上に重畳して合成画像(抽出結果画像)を生成し、表示する。
作業員は、PCを操作して損傷点数の閾値を入力することにより、上記撮影画像上に表示される損傷候補画像をその閾値以上のものに限定させることもできる。
この損傷点数の閾値は、例えば1から100の100段階からいずれかを選択することができる。閾値未満の損傷候補画像は撮影画像上に重畳されないため、設定される閾値が低ければ低いほど、多くの損傷候補画像が表示されることとなる。
(2−b)ユーザ端末10がカメラの場合
ユーザ端末10は、例えば、無線通信機能を利用してネットワーク100に接続可能なカメラにより構成される。なお、この場合、カメラは通信機能を備えているが、画像合成機能を備えていないものとする。
この場合、作業員は、カメラを用いて構造物の撮影を行い、カメラ本体のメモリ又はカメラに挿入されたSDカード等の情報記録媒体にその撮影画像を記録する。
その後、作業員は、そのカメラを無線通信機能を用いてネットワーク100に接続し、ネットワーク100を介して損傷抽出サーバ20へ撮影画像を送信する。
損傷抽出サーバ20は、その撮影画像に基づいて損傷候補画像を抽出し、その損傷候補画像を撮影画像上に重畳して合成した抽出結果画像を生成し、ネットワーク100を介してカメラへ送信する。
カメラは、抽出結果画像を損傷抽出サーバ20から受信すると、自機内に格納するとともに、画面上に表示を行う。
このように、ユーザ端末10が情報処理能力が低かったり、画像合成機能を備えていなかったりするカメラの場合には、PCのように損傷候補画像だけ受信しても撮影画像と重ね合わせた損傷抽出結果の画像を表示することができないため、損傷抽出サーバ20が画像の合成処理を行う。
(2−c)ユーザ端末10が携帯端末の場合
ユーザ端末10は、例えば、インターネット等のネットワーク100に接続可能なスマートフォンやタブレット端末等の携帯端末により構成される。なお、この携帯端末は、画像合成機能を有しているが、上記PCと比べて情報処理能力はやや低く、通信環境はやや劣る場合がある。
この場合、作業員は、携帯端末に備えられている撮影機能を用いて構造物の撮影を行い、携帯端末本体のメモリ又は携帯端末に挿入されたSDカード等の情報記録媒体にその撮影画像を格納する。
その後、携帯端末はネットワーク100を介して損傷抽出サーバ20へ撮影画像を送信する。
損傷抽出サーバ20は、その撮影画像に基づいて損傷候補画像を抽出し、その損傷候補画像をその損傷位置を表す位置情報に対応付けてネットワーク100を介して携帯端末へ送信する。
携帯端末は、損傷候補画像を損傷抽出サーバ20から受信すると、当該受信した損傷候補画像を自機内に格納した撮影画像上に重畳して抽出結果画像を生成し、表示する。
なお、上述のとおり、ユーザ端末10が携帯端末の場合は、PCと比べて情報処理能力が低い場合があるので、損傷抽出サーバ20は、1から100の損傷点数のうち、携帯端末側(作業員側)から要求又は設定された損傷点数の閾値以上の損傷候補画像(例えば20以上)のみを携帯端末へ送信することにより、携帯端末における情報処理の負荷を軽減させることができる。
また、損傷抽出サーバ20は、各損傷候補画像の損傷点数を1から100の100段階ではなく、より少ない段階の損傷点数を各損傷候補画像に設定して携帯端末へ送信することもできる。
例えば、1〜10を1、11〜20を2、・・・91〜100を10というように、損傷点数10ごとに1段階とし、計10段階の損傷点数をそれぞれ各損傷候補画像に設定して携帯端末へ送信することもできる。
携帯端末は上記10段階のいずれかの損傷点数が設定された損傷候補画像を受信すると、閾値を1から10のいずれかを設定し、撮影画像上に重畳される損傷候補画像を損傷点数に基づいて任意に選択することができるようになる。
このように、例えば携帯端末のように画像合成は可能であるが、情報処理能力が低いユーザ端末10で抽出結果画像を表示する際には、損傷点数の段階数を減らして損傷候補画像を携帯端末へ送信することにより、携帯端末における情報処理の負荷を軽減させることができる。
(3)損傷抽出サーバ20の構成
損傷抽出サーバ20は、作業員が所属する道路管理事業者等により管理される情報処理装置であって、上述したユーザ端末10から受信する構造物の撮影画像上の特徴点に基づいて、構造物に生じているひび割れ等の損傷であると推定される画像である損傷候補画像を生成し、その損傷候補画像等をユーザ端末10へ送信する。
損傷抽出サーバ20は、上記損傷候補画像を生成する際、まず、撮影画像を微小区間に分割する。この微小区間は、例えば、撮影画像を縦mマス×横nマスのマトリックス状に分割されて形成される(m,n:1以上の整数)。
損傷抽出サーバ20は、この微小区間ごとに、上記抽出した各損傷候補画像が実際の損傷である可能性の高さを表す点数である損傷点数を算出し、各微小区間ごとの損傷候補画像に対応付ける。
損傷点数は、上述のように、損傷候補画像が実際の損傷である可能性の高さを表す点数であり、例えば、撮影画像の明度や色調に基づいて抽出された損傷候補画像について、その明度又は色調や損傷候補画像の形状等に基づいて算出される。
ここで、損傷点数の算出の一例について説明する。
例えば、損傷点数の素点は下記の式(1)に基づいて算出される。
損傷点数の素点=aX1+bX2+cX3+・・・ ... 式(1)
上記a,b,c,・・・は任意の定数である。
例えば、X1は損傷候補画像の明度差、X2は損傷候補画像を抽出した撮影画像全体の平均明度、X3は損傷候補画像の直線性を表す指標である。
上記式において、一例として、a=−1,b=1,c=1とすると、損傷候補画像の明度X1が低ければ低いほど(暗ければ暗いほど)損傷点数は高くなり、損傷候補画像が実際の損傷を表す可能性が高くなると推定できるが、撮影画像全体の平均明度X2が高いと、その損傷候補画像だけでなく撮影画像全体の明度が低い(暗い)といえるので、損傷点数は低く算出される。
また、構造物の撮影画像には、ひび割れ等の損傷の他、型枠やその他資材の跡等の損傷ではないものが写り込む場合がある。一般に、コンクリート型枠の跡は直線性が高いので、上記損傷候補画像の直線性X3が高い場合にはその損傷候補画像は損傷ではない可能性が高い。従って、その場合は損傷点数が低く算出される。
なお、上記損傷点数の算出例は上述したようにあくまでも一例であり、算出方法はこの方法に限定されるものではない。
損傷抽出サーバ20は、以上のように損傷点数の素点を算出すると、後述する損傷点数変換TB226に基づいて、当該素点から損傷点数を算出する。
損傷点数は所定数の段階で表され、ユーザ端末10の機種(ユーザ端末DB221の機種情報)によっては、例えば1から100の100段階で表されたり、1から10の10段階で表されたりする。
図3は、本発明の第1の実施の形態における損傷抽出サーバ20の構成を示す図である。
図に示すように、損傷抽出サーバ20は、CPU等から構成され損傷抽出サーバ20全体の動作を制御する制御部21と、ユーザ端末10から受信した構造物の撮影画像及び当該撮影画像に基づき生成した各種情報等を格納する情報格納部22と、ネットワークを介して情報の送受信を行う通信部23とを有して構成される。
図4は、本発明の第1の実施の形態における損傷抽出サーバ20の情報格納部22において格納される各データベースを示す図である。
図に示すように、損傷抽出サーバ20の情報格納部22は、作業員が操作するユーザ端末10に係る情報を管理するユーザ端末データベース(DB)221と、損傷抽出サーバ20がユーザ端末10から受信した構造物の撮影画像を管理する撮影画像データベース(DB)222と、構造物の撮影画像に基づいて抽出した損傷候補画像を管理する損傷候補画像データベース(DB)223と、0から100で表される損傷点数を指定された段階数の損傷点数に変換する損傷点数変換テーブル(TB)226とを格納する。
情報格納部22は、上記各データベース221〜223やテーブル226の他、撮影画像、損傷候補画像及び抽出結果画像等を格納する。
図5は、本発明の第1の実施の形態におけるユーザ端末DB221のデータ構成の一例を示す図である。
ユーザ端末DB221は、損傷抽出サーバ20がユーザ端末10に送信する情報の種類や品質等の機種情報を各ユーザ端末10ごとに管理するためのデータベースである。
図に示すように、ユーザ端末DB221は、ユーザ端末10による損傷候補画像の合成が可能か否かと、ユーザ端末10で用いられる損傷点数の段階数と、損傷候補画像を実際の損傷と推定する際の基準となる損傷点数の閾値と、損傷候補画像をユーザ端末10へ送信する際の基準となる損傷点数(送信損傷点数)と、ユーザ端末10で表示される画像の解像度の上限とを、各ユーザ端末10固有のユーザ端末IDに対応付けて管理する。
図6は、本発明の第1の実施の形態における撮影DB222のデータ構成の一例を示す図である。
撮影DB222は、損傷抽出サーバ20がユーザ端末10から受信する撮影画像に係る撮影情報を管理するためのデータベースである。
図に示すように、撮影DB222は、撮影時期と、緯度経度情報等で表される撮影位置と、撮影画像を送信したユーザ端末10のユーザ端末IDとを、各撮影画像固有の撮影画像IDに対応付けて管理する。
図7は、本発明の第1の実施の形態における損傷候補DB223のデータ構成の一例を示す図である。
損傷候補DB223は、損傷抽出サーバ20がユーザ端末10から受信した撮影画像の特徴点に基づいて抽出した損傷候補画像を管理するためのデータベースである。
図に示すように、損傷候補DB223は、損傷候補画像が抽出された撮影画像の撮影画像IDと、損傷候補画像に係る損傷点数の素点と、損傷候補画像が抽出された撮影画像の撮影時期と、損傷候補画像が抽出された撮影画像において損傷候補画像が存在する上記微小区間の位置情報と、損傷候補画像が抽出された撮影画像を送信したユーザ端末10のユーザ端末IDとを、各損傷候補画像固有の損傷候補画像IDに対応付けて管理する。
図8は、本発明の第1の実施の形態における損傷点数変換TB226のデータ構成の一例を示す図である。
損傷点数変換TB226は、損傷抽出サーバ20が算出した損傷点数の素点をユーザ端末10が要求する段階数の損傷点数に変換するためのテーブルである。
図に示すように、損傷点数変換TB226は、損傷点数の素点と、当該素点を100段階で表した場合の損傷点数と、当該素点を10段階で表した場合の損傷点数とが互いに対応付けられて記録されている。
なお、損傷点数の段階数10,100はあくまでも一例であり、これに限定されない。
(第1の実施の形態の動作)
(1)機種情報の登録動作
作業員は、構造物の損傷抽出を行う前に、事前にユーザ端末10の機種情報を登録しておくことで、ユーザ端末10の情報処理能力や通信環境に適した方法により抽出結果画像をユーザ端末10に表示させることができるようになる。
図9は、本発明の第1の実施の形態における登録動作の流れを示すシーケンスチャートである。
以下、本図に沿って説明を進める。
まず、作業員は、ユーザ端末10の操作部15を操作して、機種情報を入力する(ステップS101)。
ユーザ端末10は、その入力された機種情報を情報格納部12に格納するとともに(ステップS102)、損傷抽出サーバ20へ送信する(ステップS103)。
損傷抽出サーバ20は、機種情報をユーザ端末10から受信すると、情報格納部22に格納する(ステップS104)。
以上で、機種情報の登録動作は終了する。
このように、機種情報をユーザ端末10及び損傷抽出サーバ20に事前に登録しておくことにより、損傷抽出サーバ20は、ユーザ端末10の情報処理能力や通信環境に適した方法により抽出結果画像を提供することができるようになる。
例えば、ユーザ端末10がPCとカメラとで構成されて情報処理能力及び通信能力が高い場合には、ユーザ端末10が抽出結果画像の生成処理を実行するようにし、ユーザ端末10が通信機能を備えたカメラのみのように情報処理能力及び通信能力があまり期待できない場合には、ユーザ端末10ではなく損傷抽出サーバ20が抽出結果画像の生成処理を実行するようにすることにより、抽出結果画像の生成に係るシステム全体の負担を効率よく分散することが可能となる。
また、ユーザ端末10が携帯端末のようにPCと比べて情報処理能力及び通信機能が低い場合には、損傷点数の段階数を間引いて減少させることにより、ユーザ端末10の情報処理や通信に係る負担を軽減させることができる。
(2)損傷抽出動作
図10〜13は、本発明の第1の実施の形態における損傷抽出システムによる損傷抽出動作の流れを示すシーケンスチャートである。
以下、本図に沿って、作業員が撮影した建造物の画像に基づいて当該建造物の損傷を抽出し、その建造物の損傷に係る情報を作業員側に提供する損傷抽出システムによる動作について説明を進める。
まず、作業員は、ユーザ端末10(撮影部16)を用いて、構造物の撮影を行う(ステップS201)。
ユーザ端末10は、その撮影の際に生成された構造物の撮影画像に、当該撮影画像固有の撮影画像IDと、撮影時期と、撮影位置(緯度経度情報等)とを対応付けた撮影情報を情報格納部12に格納する(ステップS202)。
ユーザ端末10が撮影画像を損傷抽出サーバ20へ送信し、損傷の抽出結果の提供を受けるためには、当該撮影画像とともに、ユーザ端末10固有のユーザ端末ID又は機器情報を損傷抽出サーバ20へ送信する必要がある。
そのため、ここで、ユーザ端末10は、作業員が操作部15を操作してユーザ端末10固有のユーザ端末IDを損傷抽出サーバ20へ送信することが選択されたか否かを判断する(ステップS203)。
ユーザ端末IDを送信することが選択された場合には(ステップS203/Yes)、ユーザ端末10は、情報格納部22に格納されている自機固有のユーザ端末IDを読み出し、読み出したユーザ端末IDを上記撮影情報に対応付け(ステップS204)、そのユーザ端末IDを対応付けた撮影情報を損傷抽出サーバ20へ送信する(ステップS205)。
一方、ユーザ端末IDを送信しないことが選択された場合には(ステップS203/No)、作業員は、操作部15を操作して、機器情報を入力する(ステップS206)。
この場合、ユーザ端末10は、入力された機器情報を上記撮影情報に対応付け(ステップS207)、そのユーザ端末IDを対応付けた撮影情報を損傷抽出サーバ20へ送信する(ステップS205)。
損傷抽出サーバ20は、上記ユーザ端末ID又は機器情報が対応付けられた撮影情報をユーザ端末10から受信すると、その受信した撮影情報を撮影DB222に格納する(ステップS208)。
次に、損傷抽出サーバ20は、上記受信した撮影情報にユーザ端末IDが含まれているか否かを判断する(ステップS209)。
ここで、ユーザ端末IDが含まれていると判断した場合には(ステップS209/Yes)、損傷抽出サーバ20は、ユーザ端末DB221を参照し、当該ユーザ端末IDに対応付けられている機器情報を抽出する(ステップS210)。
一方、上記受信した撮影情報にユーザ端末IDが含まれていないと判断された場合は(ステップS209/No)、当該撮影情報から機器情報を抽出する(ステップS211)。
次に、損傷抽出サーバ20は、上記撮影情報に含まれる撮影画像の画像領域を複数の微小区間に分割し、各微小区間において特徴点を検出し、その検出した特徴点に基づいて、損傷個所であろうと推定される損傷候補画像を抽出する(ステップS212)。
この特徴点に基づく損傷候補画像の抽出処理は、例えば、周囲の明度よりも所定値以上低い(暗い)明度の画素領域の集合を損傷候補画像として抽出する等、一般的な特徴点に基づく画像抽出処理と同様であるので、その詳細な説明は省略する。
次に、損傷抽出サーバ20は、上記抽出した損傷候補画像と、撮影時期、撮影画像上の位置情報とともに、損傷候補情報として各微小区間ごとに損傷候補DB223に書き込む(ステップS213)。
次に、損傷抽出サーバ20は、上記抽出した損傷候補画像を構成する画素数や位置情報に基づいて、各損傷候補画像の幅や長さを測定するとともに、各微小区間内のひび割れののべ長さを表すひび割れ率を算出し、これら測定又は算出した情報を、該当する微小区間に対応付けて損傷候補DB223に書き込む(ステップS214)。
この画像の幅や長さを測定する方法についても、従来の一般的な方法と同様であるので、その説明を省略する。
次に、損傷抽出サーバ20は、各部微小区間ごとに抽出した損傷候補画像について損傷点数を算出し、その微小区間ごとに算出した損傷点数を各微小区間ごとに損傷候補DB223に書き込む(ステップS215)。
次に、損傷抽出サーバ20は、ステップS210又はS211において抽出した機器情報における「送信情報の種類」を参照して、損傷点数をユーザ端末10へ送信するか否かを判断する(ステップS216)。
ここで、機器情報の「送信情報の種類」において損傷点数をユーザ端末10へ送信すると判断された場合には(ステップS216/Yes)、損傷抽出サーバ20は、機器情報の「損傷点数の段階数」を参照して、元々の段階数(例えば100段階等)よりも小さな段階数(例えば10段階等)が損傷点数の段階数として指定されているか否かを判断する(ステップS217)。
ここで、元々の段階数よりも小さな段階数が指定されていると判断された場合には(ステップS217/Yes)、損傷抽出サーバ20は、損傷点数変換テーブル226に基づいて、損傷点数を指定された段階数に変換して(ステップS218)、損傷抽出サーバ20は、各微小区間ごとの損傷候補画像及び変換した損傷点数を損傷候補情報としてユーザ端末10へ送信する(ステップS219)。
一方、元々の段階数よりも小さな段階数が指定されていないと判断された場合には(ステップS217/No)、損傷抽出サーバ20は、そのまま損傷点数の段階数の変換を実行せず、各微小区間ごとの損傷候補画像と、その損傷候補画像を抽出した撮影画像の撮影画像IDと、当該損傷候補画像の撮影画像上での位置情報と、当該損傷候補画像の損傷点数とを損傷候補情報としてユーザ端末10へ送信する(ステップS219)。
このとき、損傷抽出サーバ20は、ユーザ端末DB221における「送信損傷点数」を参照し、送信損傷点数よりも低い損傷点数の損傷候補画像についてはユーザ端末10へ送信しない。
ユーザ端末10は、損傷候補情報を損傷抽出サーバ20から受信すると、その損傷候補情報から撮影画像IDを抽出し、当該撮影画像IDの撮影画像を情報格納部12から読み出す(ステップS231)。
次に、ユーザ端末10は、情報格納部12に格納されている設定済みの機器情報から損傷点数の閾値を抽出する(ステップS232)。
そして、ユーザ端末10は、上記受信した損傷候補情報に含まれる損傷点数と、上記抽出した損傷点数の閾値とを比較し(ステップS233)、当該閾値以上の損傷点数の微小区間については(ステップS233/Yes)、損傷候補情報に含まれる位置情報に基づいて、当該微小区間の損傷候補画像を上記読み出した撮影画像上に重畳して合成する(ステップS234)。
一方、閾値より低い値の微小区間については、その損傷候補画像を撮影画像上に重畳しない。
ユーザ端末10は、これらの処理を全微小区間で繰り返して(ステップS235)、抽出結果画像を生成し(ステップS236)、表示部14上に表示する(ステップS237)。
作業員は、表示された抽出結果画像において、撮影画像上の実際の損傷個所と、損傷候補画像とを見比べて、損傷候補画像の表示が必要と判断した場合には、操作部15を操作して損傷点数の閾値を新たに入力する(ステップS238)。
例えば、作業員は、表示部14上の抽出結果画像において、実際の損傷個所が損傷候補画像として表示されていないと判断した場合には、機器情報として情報格納部12に登録してある損傷点数の閾値よりも低い損傷点数の閾値を入力して、表示される損傷候補画像の数を増加させて実際の建造物の損傷状況に近づける。
反対に、作業員は、抽出結果画像において、実際には損傷個所ではないものが損傷候補画像として表示されていると判断した場合には、機器情報として情報格納部12に登録してある損傷点数の閾値よりも高い損傷点数の閾値を入力して、表示される損傷候補画像の数を減少させて実際の建造物の損傷状況に近づける。
上述のように新たな損傷点数の閾値が入力されると(ステップS238/Yes)、ユーザ端末10は、ステップS233へ進み、当該新たに入力された損傷点数の閾値に基づいて、同様に抽出結果画像の生成を再度行う。
また、損傷抽出サーバ20は、ステップS216において、機器情報における「送信情報の種類」を参照して、損傷点数をユーザ端末10へ送信しないと判断した場合には(ステップS216/No)、損傷抽出サーバ20は、当該機器情報に含まれる損傷点数の閾値を抽出する(ステップS251)。
次に、損傷抽出サーバ20は、上記各微小区間の損傷点数と、上記抽出した損傷点数の閾値とを比較し(ステップS252)、当該閾値以上の損傷点数の微小区間については(ステップS252/Yes)、損傷候補画像の位置情報に基づいて、当該微小区間の損傷候補画像を上記ユーザ端末10から受信した撮影画像上に重畳して合成する(ステップS253)。
一方、当該閾値より低い値の微小区間については、その損傷候補画像を撮影画像上に重畳しない。
損傷抽出サーバ20は、これらの処理を全微小区間で繰り返して(ステップS254)、抽出結果画像を生成し(ステップS255)、ユーザ端末10へ送信する(ステップS256)。
ユーザ端末10は、抽出結果画像を損傷抽出サーバ20から受信すると、表示部14上に表示する(ステップS257)。
作業員は、表示された抽出結果画像において、撮影画像上の実際の損傷個所と、損傷候補画像とを見比べて、損傷候補画像の表示が必要と判断した場合には、操作部15を操作して損傷点数の閾値を新たに入力し(ステップS258/Yes)、ユーザ端末10は、その入力された損傷点数の閾値を損傷抽出サーバ20へ送信する(ステップS259)。
損傷抽出サーバ20は、損傷点数の閾値を新たに受信すると(ステップS260/Yes)、ステップS252へ進み、その受信した損傷点数の閾値に基づいて同様に抽出結果画像の生成を再度行う。
以上で、動作を終了する。
このように、損傷抽出サーバ20は、ユーザ端末10の情報処理能力や通信環境の内容が反映された機種情報に基づいて、構造物の損傷に係る情報をユーザ端末10へ提供するので、損傷抽出システム全体として情報処理の負荷を効率よく分散することができるとともに、ユーザ端末10は構造物の損傷を表す画像を容易に表示することが可能となる。
また、上述したように、ユーザ端末10は、損傷点数の閾値を変更することにより、撮影画像上に重畳して表示する損傷候補画像を選択することができる。
図14〜16は、本発明の第1の実施の形態における損傷点数の閾値の変更による表示される損傷候補画像の変化の一例を示す図である。
これら図において、方形の枠内は抽出結果画像を表し、枠内の太い曲線はひび割れ、細い直線はコンクリート型枠の跡を示す。
図14は、ユーザ端末10において最初に表示される抽出結果画像の一例を示している。
作業員は、図14の抽出結果画像を確認し、抽出結果画像(撮影画像)上の損傷候補画像と実際の損傷個所とを比較した結果、実際の損傷ではない型枠跡が多く表示されており、これらを削除しようとする場合、現在のものよりも高い損傷点数の閾値を入力する。
この場合、図15に示すように、新たに入力された閾値よりも低い損傷点数の損傷候補画像が表示されなくなり、実際の損傷と近い状態の画像を取得することができる。
一方、作業員は、図14の抽出結果画像を確認し、抽出結果画像(撮影画像)上の損傷候補画像と実際の損傷個所とを比較した結果、実際の損傷が表示されておらず、これを追加して表示させようとする場合、現在のものよりも低い損傷点数の閾値を入力する。
この場合、図16に示すように、前回の閾値よりも低く、かつ新たに入力された閾値以上の損傷点数の損傷候補画像が追加表示され、実際の損傷と近い状態の画像を取得することができる。
(3)構造物の経年変化の確認動作
上述のように、損傷抽出サーバ20は、撮影DB222において、撮影画像に撮影時期や撮影位置等の情報を対応付けて撮影情報として格納する。
また、損傷抽出サーバ20は、損傷候補DB223において、撮影時期や位置情報等を対応付けて各損傷候補画像を、その幅や長さ、ひび割れ率とともに格納する。
作業員は、ユーザ端末10の操作部15を操作して、撮影画像ID、撮影時期、位置情報等を入力して損傷抽出サーバ20へ送信すると、損傷抽出サーバ20は、該当する撮影画像又は損傷候補画像をユーザ端末10へ送信する。このとき、損傷抽出サーバ20は、同一の位置情報の異なる撮影時期の撮影画像又は損傷候補画像をユーザ端末10へ送信することもできる。
ユーザ端末10は、撮影画像又は損傷候補画像を損傷抽出サーバ20から受信すると、表示部14上に表示する。
作業員は、その表示された画像を参照することにより、構造物におけるひび割れ等の損傷の経年変化を用意に観察することが可能となる。
(4)画像連結動作
ユーザ端末10は、同一構造物における複数の撮影画像を含む撮影情報を損傷抽出サーバ20へ送信し、これら複数の撮影画像が連結された連結画像(パノラマ画像)を損傷抽出サーバ20から取得することができる。
図17は、本発明の第1の実施の形態における連結画像の生成動作の流れを示すシーケンスチャートである。
以下、本図に沿って説明を進める。
損傷抽出サーバ20がユーザ端末10から複数の撮影画像を含む撮影情報を受信し、機種情報を抽出するまでの処理は、上述の損傷抽出動作処理のステップS201〜S211の処理と同様であるので、説明を省略する。
損傷抽出サーバ20は、ユーザ端末10から受信した撮影情報に含まれる複数の撮影画像の特徴点(ひび割れ等)を抽出する(ステップS301)。
次に、損傷抽出サーバ20は、抽出した複数の特徴点同士を照合し、これら特徴点のうち共通の特徴点を検出する(ステップS302)。
この共通の特徴点の検出処理については、明度や色調等に基づく一般的な検出方法を用いてもよい。
次に、損傷抽出サーバ20は、抽出した共通の特徴点を重ねるように各撮影画像を拡大縮小・回転等して連結して、連結画像を生成する(ステップS303)。
この2つの画像を連結する際の拡大縮小・回転等の処理については、従来の一般的な画像処理方法と同様であるので、その詳細な説明は省略する。
図18,19は、本発明の第1の実施の形態における連結画像の生成方法を示す図である。
図18に示すように、2つの撮影画像1,2の特徴点を抽出し、ここの撮影画像1,2が撮影した領域が重なっているため、両撮影画像1,2に共通の特徴点から抽出された場合、損傷抽出サーバ20は、図19に示すように、これら共通の特徴点を重畳するように撮影画像1の右端部分と撮影画像2の左端部分を連結する。
損傷抽出サーバ20は、このような共通の領域を有する撮影画像同士を連結し、構造物全体が表示された連結画像を生成する。
ここで、再度図17に戻り説明を進める。
損傷抽出サーバ20は、上記のとおり、連結画像を生成すると、機種情報から解像度情報を検出し、上記生成した連結画像の解像度と、その解像度情報で指定されている解像度とが異なるか否かを判断し(ステップS304)、異なる場合には(ステップS304/Yes)、上記生成した連結画像をその解像度情報において指定されている解像度に変換し(ステップS305)、その解像度変換した連結画像をユーザ端末10へ送信する(ステップS306)。
なお、当該解像度の変換方法については、従来の一般的な画像の解像度の変換方法と同様であるので、その詳細な説明は省略する。
一方、両解像度が異ならない場合には(ステップS304/No)、損傷抽出サーバ20は、解像度の変換処理を行わずに、生成した連結画像をユーザ端末10へ送信する(ステップS306)。
ユーザ端末10は、上記連結画像を受信すると、表示部14上に表示する(ステップS307)。
以上で動作が終了する。
このように、作業員は、ユーザ端末10の情報処理能力に応じた解像度で建造物の全体画像を容易に取得することが可能となる。
例えば、ユーザ端末10がPC等のように情報処理能力が比較的高い機器である場合には、データサイズの大きな高解像度の連結画像をそのまま表示可能である。
一方、ユーザ端末10が通信機能を備えたカメラ等である場合には、データサイズの小さな低解像度の連結画像を表示し、構造物において撮影し忘れた領域がないかどうか確認するのに利用することができる。
(5)CAD図面の生成動作
上述の撮影画像から抽出した損傷候補画像は、点(画素)の集合で表されている。
この損傷候補画像をCAD図面に反映する場合には、これら点の集合を連結してベクトルデータ化する。
作業員は、CAD図面上に上記損傷候補画像を表示させる場合には、ユーザ端末10を用いて、CAD図面化を要求する撮影画像等を損傷抽出サーバ20へ送信する。
損傷抽出サーバ20は、その撮影画像を受信すると、上述の損傷抽出動作を実行して損傷候補画像を抽出し、その抽出した損傷候補画像を構成する点と点の連接関係や点の周囲の輝度情報から点同士を自動的に接続し、ベクトルデータ化し、そのベクトルデータ化した損傷候補画像をユーザ端末10へ送信する。
ユーザ端末10は、そのベクトルデータ化した損傷候補画像をCAD図面上に表示する。
このように、本実施の形態においては、損傷候補画像をCAD図面として容易に描画し利用することが可能となる。
(6)報告書作成動作
上述のとおり、損傷抽出動作においては、損傷候補DB223により損傷候補画像が管理される。
損傷抽出サーバ20は、ユーザ端末10からの要求に応じて、その損傷候補DB223において管理されている損傷候補画像を抽出して構造物の点検報告書を自動作成することができる。
損傷抽出サーバ20の情報格納部22には、点検報告書の典型例から全ての作業員に共通の報告書項目が設定された報告書データのテンプレートが格納されている。
また、情報格納部22には、作業員ごとに異なる報告書項目や、同じ項目であっても異なる方法で表現されている報告書項目が各作業員ごとに設定され格納されている。
この作業員ごとに異なる項目は、作業員が、ユーザ端末10を用いて入力し、損傷抽出サーバ20へ送信することで報告書作成の前に登録されている。
このように構成されることにより、損傷抽出サーバ20は、作業員独自の報告書のテンプレートを作成し、これに損傷候補情報等を流し込むことで点検報告書を自動作成する。
また、点検報告書には、損傷候補画像を合成することもできる。この点検報告書に合成される損傷候補画像は、縮尺設定、点検報告書上の枠内へ納めるための縮尺自動設定、ひび割れ等を記載する線種や線幅などを作業員がユーザ端末10を用いて、同様に損傷抽出サーバ20に事前に登録しておくことができるようになっている。
このように、作業員が構造物の点検報告書を作成するとき、損傷抽出サーバ20に事前に登録しておいた内容で、自動作成することができるので、自身が望むレイアウト・内容の点検報告書を容易に作成することが可能となる。
(7)損傷検出の学習動作
ユーザ端末10は、上述のように、抽出結果画像を表示部14上に表示する。
作業員は、その表示された抽出結果画像を確認し、当該抽出結果画像に示されたひび割れ等の損傷候補画像と実際の損傷個所とを比較した結果、両者に相違が生じている場合、抽出結果画像の修正を行うことができる。
作業員は、操作部15(マウスやその他のデバイス)を用いて、抽出結果画像上の所定個所を指定して、実際には存在する損傷個所を抽出結果画像上に損傷画像を描画して追加したり、実際には存在していない損傷の損傷候補画像の削除を指定したりして、抽出結果画像を修正する。
ユーザ端末10は、この修正を示す修正情報を一旦情報格納部12に格納した後に、損傷抽出サーバ20へ送信する。
損傷抽出サーバ20は、修正情報をユーザ端末10から受信すると、該当する抽出結果画像に対して、当該修正情報に沿った修正(損傷候補画像の追加・削除)を実行し、当該修正後の抽出結果画像や損傷候補画像等を情報格納部22に格納する。
次に、損傷抽出サーバ20は、上記修正情報に基づいて損傷点数の素点の計算式を修正する。
例えば、損傷点数の素点の計算式を上述したような下記式(1)とする。
損傷点数の素点=aX1+bX2+cX3+・・・ ... 式(1)
ここで、損傷抽出サーバ20は、修正情報に示された内容の損傷候補画像に最も近付くように、上記定数a,b,cを変更する。
例えば、修正情報において、ある損傷候補画像の削除が指定されていた場合、損傷抽出サーバ20は、当該損傷候補画像の損傷が検出されないように、aの値を「−1」から「−1.2」に変更する。
このように、損傷抽出サーバ20は、ユーザ端末10から受信した修正情報に基づいて、損傷点数の素点の計算式を適宜修正し、学習する機能を備えているので、より最適な損傷結果が検出するように検出精度を効果的に高めることが可能となっている。
(第1の実施の形態のまとめ)
以上説明したように、本発明の第1の実施の形態によれば、損傷抽出サーバ20は、ユーザ端末10の機種情報に基づいて、ユーザ端末10に対して損傷候補画像及び損傷点数を送信するか、抽出結果画像を生成してユーザ端末10へ送信するかを決定するので、コンクリート構造物又はアスファルト構造物の損傷を示す画像をユーザ端末10に表示させるための損傷抽出システム全体における負荷を効率よく分散し、当該画像をユーザ端末10において容易に表示させることが可能となる。
よって、道路管理事業者等は、コンクリート構造物又はアスファルト構造物の管理及び保全を極めて容易に行うことが可能となる。
また、本実施の形態によれば、損傷候補画像を生成した際に、各損傷候補画像が実際の損傷である可能性を示す損傷点数を算出するので、実際の損傷である可能性を段階的に評価することができ、実際の撮影画像と見比べて、損傷候補画像の削除又は追加を容易に行うことが可能となる。
また、本実施の形態によれば、損傷抽出サーバ20は、機種情報に基づいて損傷点数の段階数を変換してユーザ端末10へ送信するので、ユーザ端末10が損傷候補画像の生成処理の際の負荷を著しく軽減させることが可能となる。
また、本実施の形態によれば、損傷抽出サーバ20は、所定の損傷点数(送信損傷点数)未満の損傷候補画像をユーザ端末10へ送信しないので、ユーザ端末10が損傷候補画像の生成処理の際の負荷を著しく軽減させることが可能となる。
また、本実施の形態によれば、損傷抽出サーバ20は、同一構造物の複数の撮影画像を連結して生成した連結画像(パノラマ画像)をユーザ端末10へ送信する際、機種情報に基づいて当該連結画像の解像度を調整するので、ユーザ端末10の情報処理能力、通信環境又はスペックに応じた適切な画像を提供することが可能となる。
上記のユーザ端末10及び損傷抽出サーバ20は、主にCPUとメモリにロードされたプログラムによって実現される。ただし、それ以外の任意のハードウェアおよびソフトウェアの組合せによってこの装置またはサーバを構成することも可能であり、その設計自由度の高さは当業者には容易に理解されるところである。
また、上記のユーザ端末10又は損傷抽出サーバ20をソフトウェアモジュール群として構成する場合、このプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録され、上記の記録媒体からロードされるようにしてもよいし、所定のネットワークを介して接続されている外部機器からロードされるようにしてもよい。
なお、上記の実施の形態は本発明の好適な実施の一例であり、本発明の実施の形態は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形して実施することが可能となる。
例えば、本実施の形態における損傷抽出システムは、あらゆるコンクリート構造物、アスファルト構造物又はその他の構造物に対して適用可能であり、道路の路面、橋、ガードレール、中央分離帯、トンネル、堤防、ダム等のあらゆる構造物に適用できる。
また、ユーザ端末10の撮影部16は、上記のとおり、作業員が操作するカメラや携帯端末により構成されるようにしてもよいし、車両や船舶等に搭載してもよい。例えば、車両に撮影部16を搭載し、走行しながら路面を撮影して、路面の損傷の有無を点検するようにしてもよい。
また、本実施の形態によれば、作業員がユーザ端末10を構成するカメラ又は携帯端末を用いて構造物の撮影を行う例について説明したが、その他の方法で撮影することも可能である。
10 ユーザ端末
11,21 制御部
12,22 情報格納部
13,23 通信部
14 表示部
15 操作部
16 撮影部
100 ネットワーク
221 ユーザ端末DB
222 撮影DB
223 損傷候補DB
226 損傷点数変換TB

Claims (9)

  1. 構造物の点検作業を行う作業員により操作されるユーザ端末と、該ユーザ端末とネットワークを介して接続され構造物に生じた損傷を抽出する損傷抽出サーバとを有して構成される損傷抽出システムであって、
    前記ユーザ端末は、構造物の撮影画像を前記損傷抽出サーバへ送信し、
    前記損傷抽出サーバは、前記撮影画像に基づいて、前記構造物に生じた損傷であると推定される画像を示す損傷候補画像を生成し、該生成した損傷候補画像を前記ユーザ端末へ送信し、
    前記ユーザ端末へ送信する前記損傷候補画像が、前記ユーザ端末の機種情報に基づいて前記撮影画像に合成されるか否かを決定することを特徴とする損傷抽出システム。
  2. 前記損傷抽出サーバは、前記損傷候補画像に前記損傷候補には実際の損傷である可能性を示す損傷点数を付して前記ユーザ端末へ送信することを特徴とする請求項1記載の損傷抽出システム。
  3. 前記損傷抽出サーバは、前記機種情報に基づき前記損傷候補画像を前記撮影画像に合成しないで前記ユーザ端末へ送信し、
    前記ユーザ端末は、前記損傷候補画像を損傷と認識する際の基準となる前記損傷点数の閾値を格納しており、前記損傷候補画像を前記損傷抽出サーバから受信すると、前記損傷点数の閾値に基づいて、表示する前記損傷候補画像を決定し、自機に格納されている前記撮影画像に前記決定した損傷候補画像を合成し表示することを特徴とする請求項2記載の損傷抽出システム。
  4. 前記ユーザ端末は、前記損傷点数の閾値を入力すると、該入力した損傷点数の閾値に基づいて、表示する前記損傷候補画像を決定し、自機に格納されている前記撮影画像に前記決定した損傷候補画像を合成し表示することを特徴とする請求項3記載の損傷抽出システム。
  5. 前記損傷抽出サーバは、前記機種情報に基づいて、前記損傷点数の段階数を減少させることを特徴とする請求項3又は4記載の損傷抽出システム。
  6. 前記損傷抽出サーバは、前記機種情報に基づいて、所定の前記損傷点数以上の損傷候補画像のみを前記ユーザ端末へ送信することを特徴とする請求項3から5のいずれか1項に記載の損傷抽出システム。
  7. 前記損傷抽出サーバは、前記損傷候補画像を損傷と認識する際の基準となる前記損傷点数の閾値を格納しており、前記損傷点数の閾値に基づいて、合成する前記損傷候補画像を決定し、前記ユーザ端末から受信した撮影画像に前記決定した損傷候補画像を合成し、該合成した画像を前記ユーザ端末へ送信することを特徴とする請求項2記載の損傷抽出システム。
  8. 前記ユーザ端末は、前記損傷点数の閾値を入力すると、該入力した損傷点数の閾値を前記損傷抽出サーバへ送信し、
    前記損傷抽出サーバは、前記損傷点数の閾値を受信すると、該受信した損傷点数の閾値に基づいて、合成する前記損傷候補画像を決定し、前記ユーザ端末から受信した撮影画像に前記決定した損傷候補画像を合成し、該合成した画像を前記ユーザ端末へ送信することを特徴とする請求項7記載の損傷抽出システム。
  9. 構造物の点検作業を行う作業員により操作されるユーザ端末と、該ユーザ端末とネットワークを介して接続され構造物に生じた損傷を抽出する損傷抽出サーバとを有して構成される損傷抽出システムであって、
    前記ユーザ端末は、同一構造物における複数個所の撮影画像を前記損傷抽出サーバへ送信し、
    前記損傷抽出サーバは、前記ユーザ端末から受信した構造物の複数個所の撮影画像の共通画像を抽出し、該抽出した共通画像を重畳するように前記複数個所の撮影画像を互いに連結した連結画像を生成し、前記ユーザ端末の機種情報に基づいて、前記生成した連結画像の解像度を調整し、該解像度を調整した連結画像を前記ユーザ端末へ送信することを特徴とする損傷抽出システム。
JP2016054447A 2016-03-17 2016-03-17 損傷抽出システム Active JP6534001B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016054447A JP6534001B2 (ja) 2016-03-17 2016-03-17 損傷抽出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016054447A JP6534001B2 (ja) 2016-03-17 2016-03-17 損傷抽出システム

Publications (2)

Publication Number Publication Date
JP2017167969A true JP2017167969A (ja) 2017-09-21
JP6534001B2 JP6534001B2 (ja) 2019-06-26

Family

ID=59913760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016054447A Active JP6534001B2 (ja) 2016-03-17 2016-03-17 損傷抽出システム

Country Status (1)

Country Link
JP (1) JP6534001B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107805999A (zh) * 2017-09-28 2018-03-16 韦彩霞 一种有效的路面病害检测***
JP2019087050A (ja) * 2017-11-07 2019-06-06 株式会社ベイシスコンサルティング 構造物維持管理業務支援システム
WO2020054584A1 (ja) * 2018-09-12 2020-03-19 富士フイルム株式会社 合成処理システム、合成処理装置、及び合成処理方法
WO2020261568A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 路面検査装置、路面検査方法、およびプログラム
WO2021014774A1 (ja) * 2019-07-25 2021-01-28 富士フイルム株式会社 補修図生成装置、補修図生成方法及びプログラム
JP2021051597A (ja) * 2019-09-25 2021-04-01 株式会社イクシス 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2021176877A1 (ja) * 2020-03-02 2021-09-10 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102303169B1 (ko) * 2021-02-24 2021-09-17 주식회사 아이티로 인공지능 콘크리트 습윤 양생 관리 시스템
CN113627758A (zh) * 2021-07-30 2021-11-09 苏州美声电子有限公司 基于外观的功放开关筛选方法及***
JP7191178B1 (ja) 2021-10-27 2022-12-16 三菱電機株式会社 路面劣化検出装置および路面劣化検出方法
JP7229432B1 (ja) * 2022-04-08 2023-02-27 三菱電機株式会社 施設管理情報表示装置、施設管理情報表示システム、施設管理情報表示方法および施設管理情報表示プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102462A (ja) * 2005-10-04 2007-04-19 Nippon Telegr & Teleph Corp <Ntt> 画像合成方法、システム、端末、および画像合成プログラム
JP2008046065A (ja) * 2006-08-21 2008-02-28 Nagoya City 路面画像作成方法および路面画像作成装置
JP2008067290A (ja) * 2006-09-11 2008-03-21 Victor Co Of Japan Ltd 画像表示システム、クライアント端末、および画像管理サーバ装置
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102462A (ja) * 2005-10-04 2007-04-19 Nippon Telegr & Teleph Corp <Ntt> 画像合成方法、システム、端末、および画像合成プログラム
JP2008046065A (ja) * 2006-08-21 2008-02-28 Nagoya City 路面画像作成方法および路面画像作成装置
JP2008067290A (ja) * 2006-09-11 2008-03-21 Victor Co Of Japan Ltd 画像表示システム、クライアント端末、および画像管理サーバ装置
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107805999A (zh) * 2017-09-28 2018-03-16 韦彩霞 一种有效的路面病害检测***
JP2019087050A (ja) * 2017-11-07 2019-06-06 株式会社ベイシスコンサルティング 構造物維持管理業務支援システム
US11315218B2 (en) 2018-09-12 2022-04-26 Fujifilm Corporation Composition processing system, composition processing apparatus, and composition processing method
WO2020054584A1 (ja) * 2018-09-12 2020-03-19 富士フイルム株式会社 合成処理システム、合成処理装置、及び合成処理方法
JPWO2020054584A1 (ja) * 2018-09-12 2021-08-30 富士フイルム株式会社 合成処理システム、合成処理装置、及び合成処理方法
JP7100144B2 (ja) 2018-09-12 2022-07-12 富士フイルム株式会社 合成処理システム、合成処理装置、及び合成処理方法
WO2020261568A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 路面検査装置、路面検査方法、およびプログラム
JPWO2020261568A1 (ja) * 2019-06-28 2020-12-30
JP7156527B2 (ja) 2019-06-28 2022-10-19 日本電気株式会社 路面検査装置、路面検査方法、およびプログラム
US20220254169A1 (en) * 2019-06-28 2022-08-11 Nec Corporation Road surface inspection apparatus, road surface inspection method, and program
EP4006792A4 (en) * 2019-07-25 2022-09-28 FUJIFILM Corporation REPAIR PATTERN CREATION DEVICE, REPAIR PATTERN CREATION METHOD AND PROGRAM
JPWO2021014774A1 (ja) * 2019-07-25 2021-01-28
WO2021014774A1 (ja) * 2019-07-25 2021-01-28 富士フイルム株式会社 補修図生成装置、補修図生成方法及びプログラム
JP7423634B2 (ja) 2019-07-25 2024-01-29 富士フイルム株式会社 補修図生成装置、補修図生成方法及びプログラム
JP2021051597A (ja) * 2019-09-25 2021-04-01 株式会社イクシス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP7385192B2 (ja) 2019-09-25 2023-11-22 株式会社イクシス 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2021176877A1 (ja) * 2020-03-02 2021-09-10 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102303169B1 (ko) * 2021-02-24 2021-09-17 주식회사 아이티로 인공지능 콘크리트 습윤 양생 관리 시스템
CN113627758A (zh) * 2021-07-30 2021-11-09 苏州美声电子有限公司 基于外观的功放开关筛选方法及***
JP7191178B1 (ja) 2021-10-27 2022-12-16 三菱電機株式会社 路面劣化検出装置および路面劣化検出方法
JP2023064793A (ja) * 2021-10-27 2023-05-12 三菱電機株式会社 路面劣化検出装置および路面劣化検出方法
JP7229432B1 (ja) * 2022-04-08 2023-02-27 三菱電機株式会社 施設管理情報表示装置、施設管理情報表示システム、施設管理情報表示方法および施設管理情報表示プログラム

Also Published As

Publication number Publication date
JP6534001B2 (ja) 2019-06-26

Similar Documents

Publication Publication Date Title
JP6534001B2 (ja) 損傷抽出システム
US11189009B2 (en) Image processing apparatus and image processing method
CN100428782C (zh) 信息处理方法和设备
US11182954B2 (en) Generating three-dimensional geo-registered maps from image data
US7907171B2 (en) Notebook information processor and projective transformation parameter calculating method
JP6874096B2 (ja) 損傷図編集装置及びプログラム
CN112652015B (zh) 基于bim的路面病害标记方法和装置
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
JP7193728B2 (ja) 情報処理装置および蓄積画像選択方法
KR100545048B1 (ko) 항공사진의 폐쇄영역 도화 시스템 및 방법
JP2021047197A (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
WO2019021729A1 (ja) 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
JPWO2017051735A1 (ja) 撮像支援システム及び装置及び方法、並びに撮像端末
US20220141441A1 (en) Image display apparatus, image display method, and image display program
US20180039715A1 (en) System and method for facilitating an inspection process
JP2019094620A (ja) 橋梁点検支援装置、橋梁点検支援方法、プログラム、モバイル端末装置
KR102388777B1 (ko) 360도 vr 카메라를 이용한 연도변 조사 서비스 제공 시스템
JPWO2019003796A1 (ja) 画像合成方法、画像合成装置、及び記録媒体
KR100903629B1 (ko) 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템
JP2018173924A (ja) 画像出力プログラム、画像出力方法および画像出力装置
US20220130030A1 (en) Information display apparatus, information display method, and information display program
JP6833753B2 (ja) 構造物検査システム、構造物検査装置及び構造物検査方法
US20220005223A1 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
JP2016115082A (ja) 画像検索システム及び画像検索方法
Shawa Guidelines for creating historical geospatial boundary data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180912

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190513

R150 Certificate of patent or registration of utility model

Ref document number: 6534001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250