JP2017167969A - 損傷抽出システム - Google Patents
損傷抽出システム Download PDFInfo
- Publication number
- JP2017167969A JP2017167969A JP2016054447A JP2016054447A JP2017167969A JP 2017167969 A JP2017167969 A JP 2017167969A JP 2016054447 A JP2016054447 A JP 2016054447A JP 2016054447 A JP2016054447 A JP 2016054447A JP 2017167969 A JP2017167969 A JP 2017167969A
- Authority
- JP
- Japan
- Prior art keywords
- damage
- user terminal
- image
- extraction
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 234
- 239000000284 extract Substances 0.000 claims abstract description 20
- 230000010365 information processing Effects 0.000 abstract description 28
- 238000004891 communication Methods 0.000 abstract description 27
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 239000004567 concrete Substances 0.000 description 12
- 238000007689 inspection Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000010426 asphalt Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009415 formwork Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Road Repair (AREA)
- Bridges Or Land Bridges (AREA)
- Working Measures On Existing Buildindgs (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
これら構造物にひび割れ等の損傷が発生すると、構造物の崩落や路面の過大な凹凸を引き起こし、深刻な事故につながることから、これら構造物の点検作業が重要になってきている。
しかしその一方で、構造物は、道路、橋又はトンネル等広域にわたっており、構造物の点検作業については作業員の人的労力だけでは限界がある。
このコンクリート構造物維持管理システムでは、計測器は光学測距により構造物の初期ひび割れを計測し、計測端末がその計測情報をネットワークを介してサーバへ送信すると、サーバは、その計測情報に基づいて構造物の劣化予測等について解析を行い、その解析結果やひび割れの情報をネットワークを介して施工者端末へ送信する。
特に、施工者端末が、ネットワークに有線接続したPC以外の情報処理端末であった場合には、データのサイズによっては解析結果の表示に長時間要したり、表示自体できなかったりするおそれがある。
本発明の実施の形態における損傷抽出システムは、例えば、道路やその他のコンクリート構造物又はアスファルト構造物(以下、単に「構造物」という)に損傷が生じているか否かを点検する道路管理事業者の作業員等がユーザ端末10を用いてコンクリート構造物又はアスファルト構造物を撮影し、その撮影画像を損傷抽出サーバ20へ送信し、損傷抽出サーバ20は、その撮影画像に基づいて当該構造物の損傷を抽出し、その損傷抽出結果を示す情報をユーザ端末10に対し提供するものである。
上記損傷抽出サーバ20は、ユーザ端末10へ上記構造物の損傷の抽出結果の情報を提供する際、そのユーザ端末10の機種情報に基づいてその提供する情報の内容を調整することにより、システム全体における情報処理の負荷を効率よく分散し、当該損傷抽出結果の情報をスムーズに提供することが可能となる。
(1)損傷抽出システムの全体構成
図1は、本発明の第1の実施の形態における損傷抽出システムの構成を示す図である。
図に示すように、損傷抽出システムは、構造物に損傷が生じているか否かの点検を行う調査員により操作されるユーザ端末10と、そのユーザ端末10からネットワーク100を介して受信した情報に基づいて上記構造物の損傷を抽出して、その抽出結果をユーザ端末10へ提供する損傷抽出サーバ20とを有して構成される。
ユーザ端末10は、作業員等により操作される通信機能つきカメラ、スマートフォンやタブレット端末等の携帯端末、PC又は撮影・通信機能を備えたロボット等の情報処理装置であって、構造物を撮影して、その撮影画像を損傷抽出サーバ20へ送信するとともに、その撮影画像に基づいて生成される当該構造物の損傷抽出結果を損傷抽出サーバ20から受信して表示する。
図に示すように、ユーザ端末10は、CPU等から構成されユーザ端末10全体の動作を制御する制御部11と、入力した情報やネットワークを介して受信した情報等を格納する情報格納部12と、ネットワークを介して情報の送受信を行う通信部13と、ディスプレイ等から構成され情報を画面表示する表示部14と、キーやマウス等から構成され情報の入力等を行う操作部15と、構造物の撮影を行う撮影部16とを有して構成される。
以下、ユーザ端末10がどの情報処理端末により構成されるかについて場合分けをして以下、各構成及び動作を説明する。
ユーザ端末10は、例えば、インターネット等のネットワーク100に接続されたデスクトップ型又はノートブック型PCにカメラを接続して構成される。
なお、PCは、無線通信機能を備えてもよいが、有線通信機能を用いてインターネットに接続可能に構成されてもよく、この場合、大容量・高速のデータ通信を期待できる。
上記のようにPC及びカメラによりユーザ端末10が構成される場合、作業員は、カメラを用いて構造物の撮影を行い、カメラ本体のメモリ又はカメラに挿入されたSDカード等の情報記録媒体にその撮影画像を格納する。
その後、作業員は、そのカメラをPCにUSBケーブル等で接続し、カメラからPCへ撮影画像を転送してPC内のハードディスク等に格納させる。この転送方法については当該方法に限定されず、例えば無線通信を利用してもよい。
そして、PCはネットワーク100を介して損傷抽出サーバ20へ撮影画像を送信する。
損傷抽出サーバ20は、その撮影画像に基づいて損傷候補画像を抽出し、その損傷候補画像をその損傷位置を表す位置情報及び損傷点数に対応付けてネットワーク100を介してPCへ送信する。
PCは、損傷候補画像を損傷抽出サーバ20から受信すると、当該受信した損傷候補画像を自機内に格納した撮影画像上に重畳して合成画像(抽出結果画像)を生成し、表示する。
作業員は、PCを操作して損傷点数の閾値を入力することにより、上記撮影画像上に表示される損傷候補画像をその閾値以上のものに限定させることもできる。
この損傷点数の閾値は、例えば1から100の100段階からいずれかを選択することができる。閾値未満の損傷候補画像は撮影画像上に重畳されないため、設定される閾値が低ければ低いほど、多くの損傷候補画像が表示されることとなる。
ユーザ端末10は、例えば、無線通信機能を利用してネットワーク100に接続可能なカメラにより構成される。なお、この場合、カメラは通信機能を備えているが、画像合成機能を備えていないものとする。
この場合、作業員は、カメラを用いて構造物の撮影を行い、カメラ本体のメモリ又はカメラに挿入されたSDカード等の情報記録媒体にその撮影画像を記録する。
その後、作業員は、そのカメラを無線通信機能を用いてネットワーク100に接続し、ネットワーク100を介して損傷抽出サーバ20へ撮影画像を送信する。
損傷抽出サーバ20は、その撮影画像に基づいて損傷候補画像を抽出し、その損傷候補画像を撮影画像上に重畳して合成した抽出結果画像を生成し、ネットワーク100を介してカメラへ送信する。
カメラは、抽出結果画像を損傷抽出サーバ20から受信すると、自機内に格納するとともに、画面上に表示を行う。
このように、ユーザ端末10が情報処理能力が低かったり、画像合成機能を備えていなかったりするカメラの場合には、PCのように損傷候補画像だけ受信しても撮影画像と重ね合わせた損傷抽出結果の画像を表示することができないため、損傷抽出サーバ20が画像の合成処理を行う。
ユーザ端末10は、例えば、インターネット等のネットワーク100に接続可能なスマートフォンやタブレット端末等の携帯端末により構成される。なお、この携帯端末は、画像合成機能を有しているが、上記PCと比べて情報処理能力はやや低く、通信環境はやや劣る場合がある。
この場合、作業員は、携帯端末に備えられている撮影機能を用いて構造物の撮影を行い、携帯端末本体のメモリ又は携帯端末に挿入されたSDカード等の情報記録媒体にその撮影画像を格納する。
その後、携帯端末はネットワーク100を介して損傷抽出サーバ20へ撮影画像を送信する。
損傷抽出サーバ20は、その撮影画像に基づいて損傷候補画像を抽出し、その損傷候補画像をその損傷位置を表す位置情報に対応付けてネットワーク100を介して携帯端末へ送信する。
携帯端末は、損傷候補画像を損傷抽出サーバ20から受信すると、当該受信した損傷候補画像を自機内に格納した撮影画像上に重畳して抽出結果画像を生成し、表示する。
例えば、1〜10を1、11〜20を2、・・・91〜100を10というように、損傷点数10ごとに1段階とし、計10段階の損傷点数をそれぞれ各損傷候補画像に設定して携帯端末へ送信することもできる。
携帯端末は上記10段階のいずれかの損傷点数が設定された損傷候補画像を受信すると、閾値を1から10のいずれかを設定し、撮影画像上に重畳される損傷候補画像を損傷点数に基づいて任意に選択することができるようになる。
このように、例えば携帯端末のように画像合成は可能であるが、情報処理能力が低いユーザ端末10で抽出結果画像を表示する際には、損傷点数の段階数を減らして損傷候補画像を携帯端末へ送信することにより、携帯端末における情報処理の負荷を軽減させることができる。
損傷抽出サーバ20は、作業員が所属する道路管理事業者等により管理される情報処理装置であって、上述したユーザ端末10から受信する構造物の撮影画像上の特徴点に基づいて、構造物に生じているひび割れ等の損傷であると推定される画像である損傷候補画像を生成し、その損傷候補画像等をユーザ端末10へ送信する。
損傷抽出サーバ20は、上記損傷候補画像を生成する際、まず、撮影画像を微小区間に分割する。この微小区間は、例えば、撮影画像を縦mマス×横nマスのマトリックス状に分割されて形成される(m,n:1以上の整数)。
損傷抽出サーバ20は、この微小区間ごとに、上記抽出した各損傷候補画像が実際の損傷である可能性の高さを表す点数である損傷点数を算出し、各微小区間ごとの損傷候補画像に対応付ける。
例えば、損傷点数の素点は下記の式(1)に基づいて算出される。
損傷点数の素点=aX1+bX2+cX3+・・・ ... 式(1)
上記a,b,c,・・・は任意の定数である。
例えば、X1は損傷候補画像の明度差、X2は損傷候補画像を抽出した撮影画像全体の平均明度、X3は損傷候補画像の直線性を表す指標である。
上記式において、一例として、a=−1,b=1,c=1とすると、損傷候補画像の明度X1が低ければ低いほど(暗ければ暗いほど)損傷点数は高くなり、損傷候補画像が実際の損傷を表す可能性が高くなると推定できるが、撮影画像全体の平均明度X2が高いと、その損傷候補画像だけでなく撮影画像全体の明度が低い(暗い)といえるので、損傷点数は低く算出される。
また、構造物の撮影画像には、ひび割れ等の損傷の他、型枠やその他資材の跡等の損傷ではないものが写り込む場合がある。一般に、コンクリート型枠の跡は直線性が高いので、上記損傷候補画像の直線性X3が高い場合にはその損傷候補画像は損傷ではない可能性が高い。従って、その場合は損傷点数が低く算出される。
なお、上記損傷点数の算出例は上述したようにあくまでも一例であり、算出方法はこの方法に限定されるものではない。
損傷点数は所定数の段階で表され、ユーザ端末10の機種(ユーザ端末DB221の機種情報)によっては、例えば1から100の100段階で表されたり、1から10の10段階で表されたりする。
図に示すように、損傷抽出サーバ20は、CPU等から構成され損傷抽出サーバ20全体の動作を制御する制御部21と、ユーザ端末10から受信した構造物の撮影画像及び当該撮影画像に基づき生成した各種情報等を格納する情報格納部22と、ネットワークを介して情報の送受信を行う通信部23とを有して構成される。
図に示すように、損傷抽出サーバ20の情報格納部22は、作業員が操作するユーザ端末10に係る情報を管理するユーザ端末データベース(DB)221と、損傷抽出サーバ20がユーザ端末10から受信した構造物の撮影画像を管理する撮影画像データベース(DB)222と、構造物の撮影画像に基づいて抽出した損傷候補画像を管理する損傷候補画像データベース(DB)223と、0から100で表される損傷点数を指定された段階数の損傷点数に変換する損傷点数変換テーブル(TB)226とを格納する。
情報格納部22は、上記各データベース221〜223やテーブル226の他、撮影画像、損傷候補画像及び抽出結果画像等を格納する。
ユーザ端末DB221は、損傷抽出サーバ20がユーザ端末10に送信する情報の種類や品質等の機種情報を各ユーザ端末10ごとに管理するためのデータベースである。
図に示すように、ユーザ端末DB221は、ユーザ端末10による損傷候補画像の合成が可能か否かと、ユーザ端末10で用いられる損傷点数の段階数と、損傷候補画像を実際の損傷と推定する際の基準となる損傷点数の閾値と、損傷候補画像をユーザ端末10へ送信する際の基準となる損傷点数(送信損傷点数)と、ユーザ端末10で表示される画像の解像度の上限とを、各ユーザ端末10固有のユーザ端末IDに対応付けて管理する。
撮影DB222は、損傷抽出サーバ20がユーザ端末10から受信する撮影画像に係る撮影情報を管理するためのデータベースである。
図に示すように、撮影DB222は、撮影時期と、緯度経度情報等で表される撮影位置と、撮影画像を送信したユーザ端末10のユーザ端末IDとを、各撮影画像固有の撮影画像IDに対応付けて管理する。
損傷候補DB223は、損傷抽出サーバ20がユーザ端末10から受信した撮影画像の特徴点に基づいて抽出した損傷候補画像を管理するためのデータベースである。
図に示すように、損傷候補DB223は、損傷候補画像が抽出された撮影画像の撮影画像IDと、損傷候補画像に係る損傷点数の素点と、損傷候補画像が抽出された撮影画像の撮影時期と、損傷候補画像が抽出された撮影画像において損傷候補画像が存在する上記微小区間の位置情報と、損傷候補画像が抽出された撮影画像を送信したユーザ端末10のユーザ端末IDとを、各損傷候補画像固有の損傷候補画像IDに対応付けて管理する。
損傷点数変換TB226は、損傷抽出サーバ20が算出した損傷点数の素点をユーザ端末10が要求する段階数の損傷点数に変換するためのテーブルである。
図に示すように、損傷点数変換TB226は、損傷点数の素点と、当該素点を100段階で表した場合の損傷点数と、当該素点を10段階で表した場合の損傷点数とが互いに対応付けられて記録されている。
なお、損傷点数の段階数10,100はあくまでも一例であり、これに限定されない。
(1)機種情報の登録動作
作業員は、構造物の損傷抽出を行う前に、事前にユーザ端末10の機種情報を登録しておくことで、ユーザ端末10の情報処理能力や通信環境に適した方法により抽出結果画像をユーザ端末10に表示させることができるようになる。
図9は、本発明の第1の実施の形態における登録動作の流れを示すシーケンスチャートである。
以下、本図に沿って説明を進める。
ユーザ端末10は、その入力された機種情報を情報格納部12に格納するとともに(ステップS102)、損傷抽出サーバ20へ送信する(ステップS103)。
以上で、機種情報の登録動作は終了する。
例えば、ユーザ端末10がPCとカメラとで構成されて情報処理能力及び通信能力が高い場合には、ユーザ端末10が抽出結果画像の生成処理を実行するようにし、ユーザ端末10が通信機能を備えたカメラのみのように情報処理能力及び通信能力があまり期待できない場合には、ユーザ端末10ではなく損傷抽出サーバ20が抽出結果画像の生成処理を実行するようにすることにより、抽出結果画像の生成に係るシステム全体の負担を効率よく分散することが可能となる。
図10〜13は、本発明の第1の実施の形態における損傷抽出システムによる損傷抽出動作の流れを示すシーケンスチャートである。
以下、本図に沿って、作業員が撮影した建造物の画像に基づいて当該建造物の損傷を抽出し、その建造物の損傷に係る情報を作業員側に提供する損傷抽出システムによる動作について説明を進める。
ユーザ端末10は、その撮影の際に生成された構造物の撮影画像に、当該撮影画像固有の撮影画像IDと、撮影時期と、撮影位置(緯度経度情報等)とを対応付けた撮影情報を情報格納部12に格納する(ステップS202)。
そのため、ここで、ユーザ端末10は、作業員が操作部15を操作してユーザ端末10固有のユーザ端末IDを損傷抽出サーバ20へ送信することが選択されたか否かを判断する(ステップS203)。
ユーザ端末IDを送信することが選択された場合には(ステップS203/Yes)、ユーザ端末10は、情報格納部22に格納されている自機固有のユーザ端末IDを読み出し、読み出したユーザ端末IDを上記撮影情報に対応付け(ステップS204)、そのユーザ端末IDを対応付けた撮影情報を損傷抽出サーバ20へ送信する(ステップS205)。
この場合、ユーザ端末10は、入力された機器情報を上記撮影情報に対応付け(ステップS207)、そのユーザ端末IDを対応付けた撮影情報を損傷抽出サーバ20へ送信する(ステップS205)。
ここで、ユーザ端末IDが含まれていると判断した場合には(ステップS209/Yes)、損傷抽出サーバ20は、ユーザ端末DB221を参照し、当該ユーザ端末IDに対応付けられている機器情報を抽出する(ステップS210)。
一方、上記受信した撮影情報にユーザ端末IDが含まれていないと判断された場合は(ステップS209/No)、当該撮影情報から機器情報を抽出する(ステップS211)。
この特徴点に基づく損傷候補画像の抽出処理は、例えば、周囲の明度よりも所定値以上低い(暗い)明度の画素領域の集合を損傷候補画像として抽出する等、一般的な特徴点に基づく画像抽出処理と同様であるので、その詳細な説明は省略する。
この画像の幅や長さを測定する方法についても、従来の一般的な方法と同様であるので、その説明を省略する。
ここで、機器情報の「送信情報の種類」において損傷点数をユーザ端末10へ送信すると判断された場合には(ステップS216/Yes)、損傷抽出サーバ20は、機器情報の「損傷点数の段階数」を参照して、元々の段階数(例えば100段階等)よりも小さな段階数(例えば10段階等)が損傷点数の段階数として指定されているか否かを判断する(ステップS217)。
ここで、元々の段階数よりも小さな段階数が指定されていると判断された場合には(ステップS217/Yes)、損傷抽出サーバ20は、損傷点数変換テーブル226に基づいて、損傷点数を指定された段階数に変換して(ステップS218)、損傷抽出サーバ20は、各微小区間ごとの損傷候補画像及び変換した損傷点数を損傷候補情報としてユーザ端末10へ送信する(ステップS219)。
一方、元々の段階数よりも小さな段階数が指定されていないと判断された場合には(ステップS217/No)、損傷抽出サーバ20は、そのまま損傷点数の段階数の変換を実行せず、各微小区間ごとの損傷候補画像と、その損傷候補画像を抽出した撮影画像の撮影画像IDと、当該損傷候補画像の撮影画像上での位置情報と、当該損傷候補画像の損傷点数とを損傷候補情報としてユーザ端末10へ送信する(ステップS219)。
このとき、損傷抽出サーバ20は、ユーザ端末DB221における「送信損傷点数」を参照し、送信損傷点数よりも低い損傷点数の損傷候補画像についてはユーザ端末10へ送信しない。
次に、ユーザ端末10は、情報格納部12に格納されている設定済みの機器情報から損傷点数の閾値を抽出する(ステップS232)。
そして、ユーザ端末10は、上記受信した損傷候補情報に含まれる損傷点数と、上記抽出した損傷点数の閾値とを比較し(ステップS233)、当該閾値以上の損傷点数の微小区間については(ステップS233/Yes)、損傷候補情報に含まれる位置情報に基づいて、当該微小区間の損傷候補画像を上記読み出した撮影画像上に重畳して合成する(ステップS234)。
一方、閾値より低い値の微小区間については、その損傷候補画像を撮影画像上に重畳しない。
ユーザ端末10は、これらの処理を全微小区間で繰り返して(ステップS235)、抽出結果画像を生成し(ステップS236)、表示部14上に表示する(ステップS237)。
例えば、作業員は、表示部14上の抽出結果画像において、実際の損傷個所が損傷候補画像として表示されていないと判断した場合には、機器情報として情報格納部12に登録してある損傷点数の閾値よりも低い損傷点数の閾値を入力して、表示される損傷候補画像の数を増加させて実際の建造物の損傷状況に近づける。
反対に、作業員は、抽出結果画像において、実際には損傷個所ではないものが損傷候補画像として表示されていると判断した場合には、機器情報として情報格納部12に登録してある損傷点数の閾値よりも高い損傷点数の閾値を入力して、表示される損傷候補画像の数を減少させて実際の建造物の損傷状況に近づける。
次に、損傷抽出サーバ20は、上記各微小区間の損傷点数と、上記抽出した損傷点数の閾値とを比較し(ステップS252)、当該閾値以上の損傷点数の微小区間については(ステップS252/Yes)、損傷候補画像の位置情報に基づいて、当該微小区間の損傷候補画像を上記ユーザ端末10から受信した撮影画像上に重畳して合成する(ステップS253)。
一方、当該閾値より低い値の微小区間については、その損傷候補画像を撮影画像上に重畳しない。
損傷抽出サーバ20は、これらの処理を全微小区間で繰り返して(ステップS254)、抽出結果画像を生成し(ステップS255)、ユーザ端末10へ送信する(ステップS256)。
以上で、動作を終了する。
図14〜16は、本発明の第1の実施の形態における損傷点数の閾値の変更による表示される損傷候補画像の変化の一例を示す図である。
これら図において、方形の枠内は抽出結果画像を表し、枠内の太い曲線はひび割れ、細い直線はコンクリート型枠の跡を示す。
作業員は、図14の抽出結果画像を確認し、抽出結果画像(撮影画像)上の損傷候補画像と実際の損傷個所とを比較した結果、実際の損傷ではない型枠跡が多く表示されており、これらを削除しようとする場合、現在のものよりも高い損傷点数の閾値を入力する。
この場合、図15に示すように、新たに入力された閾値よりも低い損傷点数の損傷候補画像が表示されなくなり、実際の損傷と近い状態の画像を取得することができる。
この場合、図16に示すように、前回の閾値よりも低く、かつ新たに入力された閾値以上の損傷点数の損傷候補画像が追加表示され、実際の損傷と近い状態の画像を取得することができる。
上述のように、損傷抽出サーバ20は、撮影DB222において、撮影画像に撮影時期や撮影位置等の情報を対応付けて撮影情報として格納する。
また、損傷抽出サーバ20は、損傷候補DB223において、撮影時期や位置情報等を対応付けて各損傷候補画像を、その幅や長さ、ひび割れ率とともに格納する。
作業員は、ユーザ端末10の操作部15を操作して、撮影画像ID、撮影時期、位置情報等を入力して損傷抽出サーバ20へ送信すると、損傷抽出サーバ20は、該当する撮影画像又は損傷候補画像をユーザ端末10へ送信する。このとき、損傷抽出サーバ20は、同一の位置情報の異なる撮影時期の撮影画像又は損傷候補画像をユーザ端末10へ送信することもできる。
作業員は、その表示された画像を参照することにより、構造物におけるひび割れ等の損傷の経年変化を用意に観察することが可能となる。
ユーザ端末10は、同一構造物における複数の撮影画像を含む撮影情報を損傷抽出サーバ20へ送信し、これら複数の撮影画像が連結された連結画像(パノラマ画像)を損傷抽出サーバ20から取得することができる。
図17は、本発明の第1の実施の形態における連結画像の生成動作の流れを示すシーケンスチャートである。
以下、本図に沿って説明を進める。
次に、損傷抽出サーバ20は、抽出した複数の特徴点同士を照合し、これら特徴点のうち共通の特徴点を検出する(ステップS302)。
この共通の特徴点の検出処理については、明度や色調等に基づく一般的な検出方法を用いてもよい。
この2つの画像を連結する際の拡大縮小・回転等の処理については、従来の一般的な画像処理方法と同様であるので、その詳細な説明は省略する。
図18に示すように、2つの撮影画像1,2の特徴点を抽出し、ここの撮影画像1,2が撮影した領域が重なっているため、両撮影画像1,2に共通の特徴点から抽出された場合、損傷抽出サーバ20は、図19に示すように、これら共通の特徴点を重畳するように撮影画像1の右端部分と撮影画像2の左端部分を連結する。
損傷抽出サーバ20は、このような共通の領域を有する撮影画像同士を連結し、構造物全体が表示された連結画像を生成する。
損傷抽出サーバ20は、上記のとおり、連結画像を生成すると、機種情報から解像度情報を検出し、上記生成した連結画像の解像度と、その解像度情報で指定されている解像度とが異なるか否かを判断し(ステップS304)、異なる場合には(ステップS304/Yes)、上記生成した連結画像をその解像度情報において指定されている解像度に変換し(ステップS305)、その解像度変換した連結画像をユーザ端末10へ送信する(ステップS306)。
なお、当該解像度の変換方法については、従来の一般的な画像の解像度の変換方法と同様であるので、その詳細な説明は省略する。
以上で動作が終了する。
例えば、ユーザ端末10がPC等のように情報処理能力が比較的高い機器である場合には、データサイズの大きな高解像度の連結画像をそのまま表示可能である。
一方、ユーザ端末10が通信機能を備えたカメラ等である場合には、データサイズの小さな低解像度の連結画像を表示し、構造物において撮影し忘れた領域がないかどうか確認するのに利用することができる。
上述の撮影画像から抽出した損傷候補画像は、点(画素)の集合で表されている。
この損傷候補画像をCAD図面に反映する場合には、これら点の集合を連結してベクトルデータ化する。
作業員は、CAD図面上に上記損傷候補画像を表示させる場合には、ユーザ端末10を用いて、CAD図面化を要求する撮影画像等を損傷抽出サーバ20へ送信する。
損傷抽出サーバ20は、その撮影画像を受信すると、上述の損傷抽出動作を実行して損傷候補画像を抽出し、その抽出した損傷候補画像を構成する点と点の連接関係や点の周囲の輝度情報から点同士を自動的に接続し、ベクトルデータ化し、そのベクトルデータ化した損傷候補画像をユーザ端末10へ送信する。
ユーザ端末10は、そのベクトルデータ化した損傷候補画像をCAD図面上に表示する。
このように、本実施の形態においては、損傷候補画像をCAD図面として容易に描画し利用することが可能となる。
上述のとおり、損傷抽出動作においては、損傷候補DB223により損傷候補画像が管理される。
損傷抽出サーバ20は、ユーザ端末10からの要求に応じて、その損傷候補DB223において管理されている損傷候補画像を抽出して構造物の点検報告書を自動作成することができる。
また、情報格納部22には、作業員ごとに異なる報告書項目や、同じ項目であっても異なる方法で表現されている報告書項目が各作業員ごとに設定され格納されている。
この作業員ごとに異なる項目は、作業員が、ユーザ端末10を用いて入力し、損傷抽出サーバ20へ送信することで報告書作成の前に登録されている。
このように構成されることにより、損傷抽出サーバ20は、作業員独自の報告書のテンプレートを作成し、これに損傷候補情報等を流し込むことで点検報告書を自動作成する。
また、点検報告書には、損傷候補画像を合成することもできる。この点検報告書に合成される損傷候補画像は、縮尺設定、点検報告書上の枠内へ納めるための縮尺自動設定、ひび割れ等を記載する線種や線幅などを作業員がユーザ端末10を用いて、同様に損傷抽出サーバ20に事前に登録しておくことができるようになっている。
ユーザ端末10は、上述のように、抽出結果画像を表示部14上に表示する。
作業員は、その表示された抽出結果画像を確認し、当該抽出結果画像に示されたひび割れ等の損傷候補画像と実際の損傷個所とを比較した結果、両者に相違が生じている場合、抽出結果画像の修正を行うことができる。
ユーザ端末10は、この修正を示す修正情報を一旦情報格納部12に格納した後に、損傷抽出サーバ20へ送信する。
例えば、損傷点数の素点の計算式を上述したような下記式(1)とする。
損傷点数の素点=aX1+bX2+cX3+・・・ ... 式(1)
ここで、損傷抽出サーバ20は、修正情報に示された内容の損傷候補画像に最も近付くように、上記定数a,b,cを変更する。
例えば、修正情報において、ある損傷候補画像の削除が指定されていた場合、損傷抽出サーバ20は、当該損傷候補画像の損傷が検出されないように、aの値を「−1」から「−1.2」に変更する。
以上説明したように、本発明の第1の実施の形態によれば、損傷抽出サーバ20は、ユーザ端末10の機種情報に基づいて、ユーザ端末10に対して損傷候補画像及び損傷点数を送信するか、抽出結果画像を生成してユーザ端末10へ送信するかを決定するので、コンクリート構造物又はアスファルト構造物の損傷を示す画像をユーザ端末10に表示させるための損傷抽出システム全体における負荷を効率よく分散し、当該画像をユーザ端末10において容易に表示させることが可能となる。
よって、道路管理事業者等は、コンクリート構造物又はアスファルト構造物の管理及び保全を極めて容易に行うことが可能となる。
また、上記のユーザ端末10又は損傷抽出サーバ20をソフトウェアモジュール群として構成する場合、このプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録され、上記の記録媒体からロードされるようにしてもよいし、所定のネットワークを介して接続されている外部機器からロードされるようにしてもよい。
また、ユーザ端末10の撮影部16は、上記のとおり、作業員が操作するカメラや携帯端末により構成されるようにしてもよいし、車両や船舶等に搭載してもよい。例えば、車両に撮影部16を搭載し、走行しながら路面を撮影して、路面の損傷の有無を点検するようにしてもよい。
11,21 制御部
12,22 情報格納部
13,23 通信部
14 表示部
15 操作部
16 撮影部
100 ネットワーク
221 ユーザ端末DB
222 撮影DB
223 損傷候補DB
226 損傷点数変換TB
Claims (9)
- 構造物の点検作業を行う作業員により操作されるユーザ端末と、該ユーザ端末とネットワークを介して接続され構造物に生じた損傷を抽出する損傷抽出サーバとを有して構成される損傷抽出システムであって、
前記ユーザ端末は、構造物の撮影画像を前記損傷抽出サーバへ送信し、
前記損傷抽出サーバは、前記撮影画像に基づいて、前記構造物に生じた損傷であると推定される画像を示す損傷候補画像を生成し、該生成した損傷候補画像を前記ユーザ端末へ送信し、
前記ユーザ端末へ送信する前記損傷候補画像が、前記ユーザ端末の機種情報に基づいて前記撮影画像に合成されるか否かを決定することを特徴とする損傷抽出システム。 - 前記損傷抽出サーバは、前記損傷候補画像に前記損傷候補には実際の損傷である可能性を示す損傷点数を付して前記ユーザ端末へ送信することを特徴とする請求項1記載の損傷抽出システム。
- 前記損傷抽出サーバは、前記機種情報に基づき前記損傷候補画像を前記撮影画像に合成しないで前記ユーザ端末へ送信し、
前記ユーザ端末は、前記損傷候補画像を損傷と認識する際の基準となる前記損傷点数の閾値を格納しており、前記損傷候補画像を前記損傷抽出サーバから受信すると、前記損傷点数の閾値に基づいて、表示する前記損傷候補画像を決定し、自機に格納されている前記撮影画像に前記決定した損傷候補画像を合成し表示することを特徴とする請求項2記載の損傷抽出システム。 - 前記ユーザ端末は、前記損傷点数の閾値を入力すると、該入力した損傷点数の閾値に基づいて、表示する前記損傷候補画像を決定し、自機に格納されている前記撮影画像に前記決定した損傷候補画像を合成し表示することを特徴とする請求項3記載の損傷抽出システム。
- 前記損傷抽出サーバは、前記機種情報に基づいて、前記損傷点数の段階数を減少させることを特徴とする請求項3又は4記載の損傷抽出システム。
- 前記損傷抽出サーバは、前記機種情報に基づいて、所定の前記損傷点数以上の損傷候補画像のみを前記ユーザ端末へ送信することを特徴とする請求項3から5のいずれか1項に記載の損傷抽出システム。
- 前記損傷抽出サーバは、前記損傷候補画像を損傷と認識する際の基準となる前記損傷点数の閾値を格納しており、前記損傷点数の閾値に基づいて、合成する前記損傷候補画像を決定し、前記ユーザ端末から受信した撮影画像に前記決定した損傷候補画像を合成し、該合成した画像を前記ユーザ端末へ送信することを特徴とする請求項2記載の損傷抽出システム。
- 前記ユーザ端末は、前記損傷点数の閾値を入力すると、該入力した損傷点数の閾値を前記損傷抽出サーバへ送信し、
前記損傷抽出サーバは、前記損傷点数の閾値を受信すると、該受信した損傷点数の閾値に基づいて、合成する前記損傷候補画像を決定し、前記ユーザ端末から受信した撮影画像に前記決定した損傷候補画像を合成し、該合成した画像を前記ユーザ端末へ送信することを特徴とする請求項7記載の損傷抽出システム。 - 構造物の点検作業を行う作業員により操作されるユーザ端末と、該ユーザ端末とネットワークを介して接続され構造物に生じた損傷を抽出する損傷抽出サーバとを有して構成される損傷抽出システムであって、
前記ユーザ端末は、同一構造物における複数個所の撮影画像を前記損傷抽出サーバへ送信し、
前記損傷抽出サーバは、前記ユーザ端末から受信した構造物の複数個所の撮影画像の共通画像を抽出し、該抽出した共通画像を重畳するように前記複数個所の撮影画像を互いに連結した連結画像を生成し、前記ユーザ端末の機種情報に基づいて、前記生成した連結画像の解像度を調整し、該解像度を調整した連結画像を前記ユーザ端末へ送信することを特徴とする損傷抽出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016054447A JP6534001B2 (ja) | 2016-03-17 | 2016-03-17 | 損傷抽出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016054447A JP6534001B2 (ja) | 2016-03-17 | 2016-03-17 | 損傷抽出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017167969A true JP2017167969A (ja) | 2017-09-21 |
JP6534001B2 JP6534001B2 (ja) | 2019-06-26 |
Family
ID=59913760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016054447A Active JP6534001B2 (ja) | 2016-03-17 | 2016-03-17 | 損傷抽出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6534001B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107805999A (zh) * | 2017-09-28 | 2018-03-16 | 韦彩霞 | 一种有效的路面病害检测*** |
JP2019087050A (ja) * | 2017-11-07 | 2019-06-06 | 株式会社ベイシスコンサルティング | 構造物維持管理業務支援システム |
WO2020054584A1 (ja) * | 2018-09-12 | 2020-03-19 | 富士フイルム株式会社 | 合成処理システム、合成処理装置、及び合成処理方法 |
WO2020261568A1 (ja) * | 2019-06-28 | 2020-12-30 | 日本電気株式会社 | 路面検査装置、路面検査方法、およびプログラム |
WO2021014774A1 (ja) * | 2019-07-25 | 2021-01-28 | 富士フイルム株式会社 | 補修図生成装置、補修図生成方法及びプログラム |
JP2021051597A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社イクシス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
WO2021176877A1 (ja) * | 2020-03-02 | 2021-09-10 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR102303169B1 (ko) * | 2021-02-24 | 2021-09-17 | 주식회사 아이티로 | 인공지능 콘크리트 습윤 양생 관리 시스템 |
CN113627758A (zh) * | 2021-07-30 | 2021-11-09 | 苏州美声电子有限公司 | 基于外观的功放开关筛选方法及*** |
JP7191178B1 (ja) | 2021-10-27 | 2022-12-16 | 三菱電機株式会社 | 路面劣化検出装置および路面劣化検出方法 |
JP7229432B1 (ja) * | 2022-04-08 | 2023-02-27 | 三菱電機株式会社 | 施設管理情報表示装置、施設管理情報表示システム、施設管理情報表示方法および施設管理情報表示プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102462A (ja) * | 2005-10-04 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成方法、システム、端末、および画像合成プログラム |
JP2008046065A (ja) * | 2006-08-21 | 2008-02-28 | Nagoya City | 路面画像作成方法および路面画像作成装置 |
JP2008067290A (ja) * | 2006-09-11 | 2008-03-21 | Victor Co Of Japan Ltd | 画像表示システム、クライアント端末、および画像管理サーバ装置 |
JP2012098045A (ja) * | 2010-10-29 | 2012-05-24 | Mitsubishi Electric Corp | クラック検出装置及びクラック検出プログラム |
-
2016
- 2016-03-17 JP JP2016054447A patent/JP6534001B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102462A (ja) * | 2005-10-04 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成方法、システム、端末、および画像合成プログラム |
JP2008046065A (ja) * | 2006-08-21 | 2008-02-28 | Nagoya City | 路面画像作成方法および路面画像作成装置 |
JP2008067290A (ja) * | 2006-09-11 | 2008-03-21 | Victor Co Of Japan Ltd | 画像表示システム、クライアント端末、および画像管理サーバ装置 |
JP2012098045A (ja) * | 2010-10-29 | 2012-05-24 | Mitsubishi Electric Corp | クラック検出装置及びクラック検出プログラム |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107805999A (zh) * | 2017-09-28 | 2018-03-16 | 韦彩霞 | 一种有效的路面病害检测*** |
JP2019087050A (ja) * | 2017-11-07 | 2019-06-06 | 株式会社ベイシスコンサルティング | 構造物維持管理業務支援システム |
US11315218B2 (en) | 2018-09-12 | 2022-04-26 | Fujifilm Corporation | Composition processing system, composition processing apparatus, and composition processing method |
WO2020054584A1 (ja) * | 2018-09-12 | 2020-03-19 | 富士フイルム株式会社 | 合成処理システム、合成処理装置、及び合成処理方法 |
JPWO2020054584A1 (ja) * | 2018-09-12 | 2021-08-30 | 富士フイルム株式会社 | 合成処理システム、合成処理装置、及び合成処理方法 |
JP7100144B2 (ja) | 2018-09-12 | 2022-07-12 | 富士フイルム株式会社 | 合成処理システム、合成処理装置、及び合成処理方法 |
WO2020261568A1 (ja) * | 2019-06-28 | 2020-12-30 | 日本電気株式会社 | 路面検査装置、路面検査方法、およびプログラム |
JPWO2020261568A1 (ja) * | 2019-06-28 | 2020-12-30 | ||
JP7156527B2 (ja) | 2019-06-28 | 2022-10-19 | 日本電気株式会社 | 路面検査装置、路面検査方法、およびプログラム |
US20220254169A1 (en) * | 2019-06-28 | 2022-08-11 | Nec Corporation | Road surface inspection apparatus, road surface inspection method, and program |
EP4006792A4 (en) * | 2019-07-25 | 2022-09-28 | FUJIFILM Corporation | REPAIR PATTERN CREATION DEVICE, REPAIR PATTERN CREATION METHOD AND PROGRAM |
JPWO2021014774A1 (ja) * | 2019-07-25 | 2021-01-28 | ||
WO2021014774A1 (ja) * | 2019-07-25 | 2021-01-28 | 富士フイルム株式会社 | 補修図生成装置、補修図生成方法及びプログラム |
JP7423634B2 (ja) | 2019-07-25 | 2024-01-29 | 富士フイルム株式会社 | 補修図生成装置、補修図生成方法及びプログラム |
JP2021051597A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社イクシス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP7385192B2 (ja) | 2019-09-25 | 2023-11-22 | 株式会社イクシス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
WO2021176877A1 (ja) * | 2020-03-02 | 2021-09-10 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR102303169B1 (ko) * | 2021-02-24 | 2021-09-17 | 주식회사 아이티로 | 인공지능 콘크리트 습윤 양생 관리 시스템 |
CN113627758A (zh) * | 2021-07-30 | 2021-11-09 | 苏州美声电子有限公司 | 基于外观的功放开关筛选方法及*** |
JP7191178B1 (ja) | 2021-10-27 | 2022-12-16 | 三菱電機株式会社 | 路面劣化検出装置および路面劣化検出方法 |
JP2023064793A (ja) * | 2021-10-27 | 2023-05-12 | 三菱電機株式会社 | 路面劣化検出装置および路面劣化検出方法 |
JP7229432B1 (ja) * | 2022-04-08 | 2023-02-27 | 三菱電機株式会社 | 施設管理情報表示装置、施設管理情報表示システム、施設管理情報表示方法および施設管理情報表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6534001B2 (ja) | 2019-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6534001B2 (ja) | 損傷抽出システム | |
US11189009B2 (en) | Image processing apparatus and image processing method | |
CN100428782C (zh) | 信息处理方法和设备 | |
US11182954B2 (en) | Generating three-dimensional geo-registered maps from image data | |
US7907171B2 (en) | Notebook information processor and projective transformation parameter calculating method | |
JP6874096B2 (ja) | 損傷図編集装置及びプログラム | |
CN112652015B (zh) | 基于bim的路面病害标记方法和装置 | |
US20220136979A1 (en) | Information processing apparatus, information processing method, and non- transitory computer-readable storage medium | |
JP7193728B2 (ja) | 情報処理装置および蓄積画像選択方法 | |
KR100545048B1 (ko) | 항공사진의 폐쇄영역 도화 시스템 및 방법 | |
JP2021047197A (ja) | 損傷データ編集装置、損傷データ編集方法、およびプログラム | |
WO2019021729A1 (ja) | 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体 | |
JPWO2017051735A1 (ja) | 撮像支援システム及び装置及び方法、並びに撮像端末 | |
US20220141441A1 (en) | Image display apparatus, image display method, and image display program | |
US20180039715A1 (en) | System and method for facilitating an inspection process | |
JP2019094620A (ja) | 橋梁点検支援装置、橋梁点検支援方法、プログラム、モバイル端末装置 | |
KR102388777B1 (ko) | 360도 vr 카메라를 이용한 연도변 조사 서비스 제공 시스템 | |
JPWO2019003796A1 (ja) | 画像合成方法、画像合成装置、及び記録媒体 | |
KR100903629B1 (ko) | 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템 | |
JP2018173924A (ja) | 画像出力プログラム、画像出力方法および画像出力装置 | |
US20220130030A1 (en) | Information display apparatus, information display method, and information display program | |
JP6833753B2 (ja) | 構造物検査システム、構造物検査装置及び構造物検査方法 | |
US20220005223A1 (en) | Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium | |
JP2016115082A (ja) | 画像検索システム及び画像検索方法 | |
Shawa | Guidelines for creating historical geospatial boundary data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180912 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180912 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6534001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |