JP2013167494A - 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置 - Google Patents

構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置 Download PDF

Info

Publication number
JP2013167494A
JP2013167494A JP2012029966A JP2012029966A JP2013167494A JP 2013167494 A JP2013167494 A JP 2013167494A JP 2012029966 A JP2012029966 A JP 2012029966A JP 2012029966 A JP2012029966 A JP 2012029966A JP 2013167494 A JP2013167494 A JP 2013167494A
Authority
JP
Japan
Prior art keywords
image
inspection
screen
estimated
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012029966A
Other languages
English (en)
Other versions
JP5803723B2 (ja
Inventor
Hiroki Hatayama
比路樹 畑山
Hiroaki Yokoyama
裕朗 横山
Masahiro Kawasaki
正博 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012029966A priority Critical patent/JP5803723B2/ja
Publication of JP2013167494A publication Critical patent/JP2013167494A/ja
Application granted granted Critical
Publication of JP5803723B2 publication Critical patent/JP5803723B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】橋梁の路面等を現地において点検する際の点検者の負担を軽減する。
【解決手段】動画記録部22が、橋梁の路面のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍とを撮影装置10で撮影した動画を取得し、点検対象画像特定部24が、コンサルタント端末30から動画に含まれる複数のフレームのうち推定損傷部分が撮影されている1つのフレーム(点検対象画像)を特定した指示を受け付け、マーク画像抽出部26が、特定された点検対象画像を撮影した時刻の前後に撮影されたフレームから、点検対象画像との差異が大きいフレーム(マーク画像)を抽出し、点検用画面生成部28が、マーク画像と、点検対象画像とを同時に表示する点検用画面を生成する。
【選択図】図3

Description

本件は、構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置に関する。
従来、橋梁などの構造物に関する点検業務を円滑に行うための点検支援システムが提案されている。この点検支援システムは、構造物の簡易点検、詳細点検などの種々のレベルの点検業務のうち、簡易点検を支援することを主な目的としている。具体的には、従来の点検支援システムは、撮影者(自治体職員など)が構造物を撮影した静止画や動画を、点検者(建設コンサルタントなど)にチェック依頼する処理を簡易かつ円滑に行うことを支援している。
点検対象の構造物としては、例えば橋梁の路面がある。1つの自治体が点検すべき橋梁の数は非常に多いことから、橋梁の路面の点検において上述した点検支援システムを用いることは効率的である。
なお、特許文献1には、路面を走行しながらカメラで撮影した画像から路面の損傷部分を自動的に検出する路面損傷状態点検方法について開示されている。
特開2005−43324号公報
上述した点検支援システムを用いる場合、点検者は、まず、撮影された画像(静止画又は動画)を端末上で参照し、当該画像に基づいて、現地で詳細に点検すべき損傷部分を特定する。そして、点検者は、持ち運び可能な端末上で予め特定しておいた点検すべき損傷部分を確認しながら、現地において路面の詳細点検を行う。
この場合、橋梁の路面は同色で凹凸の少ない広い平面であるため、現地において損傷部分を見つけ出すのに長時間を要する場合がある。
なお、上記特許文献1では、自動的に検出した損傷部分に最も近接するキロポストを特定し、当該キロポストの情報を損傷部分の画像とともにメモリに格納する点について記載されている。しかしながら、キロポストは、高速道路などには設置されていることが多いものの、一般道や橋梁などに設置されていることは少ないため、橋梁の路面の損傷部分の目印としてキロポストを用いることは難しい。
なお、橋梁以外の構造物(河川の土手(法面)、崖崩れ防止用の擁壁、団地やビルなどの建物の壁面)についても、同色で凹凸の少ない(又は同一パターンの)広い平面であるとともに、キロポストのような目印が設置されているケースは稀である。
そこで本件は上記の課題に鑑みてなされたものであり、現地における構造物点検の負担を軽減することが可能な構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置を提供することを目的とする。
本発明者らは、橋梁の路面などの構造物を撮影する撮影者の行動を分析した結果、撮影者は、構造物の損傷部分の位置を後で特定しやすくするために、損傷部分を肉眼で発見した後、損傷部分の撮影前後において損傷部分の周囲を撮影することが多いことに気づいた。本明細書に記載の構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置は、このような新規知見に基づくものである。
本明細書に記載の構造物点検支援方法は、点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得する取得工程と、前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付ける受け付け工程と、前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出する抽出工程と、前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する生成工程と、をコンピュータが実行する構造物点検支援方法である。
本明細書に記載の構造物点検支援プログラムは、点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得し、前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付け、前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出し、前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する、処理をコンピュータに実行させる構造物点検支援プログラムである。
本明細書に記載の構造物点検支援装置は、点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得する取得部と、前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付ける受け付け部と、前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出する抽出部と、前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する生成部と、を備えている。
本明細書に記載の構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置は、現地における構造物点検の負担を軽減することができるという効果を奏する。
一実施形態に係る橋梁点検支援システムの構成を概略的に示す図である。 サーバのハードウェア構成図である。 橋梁点検支援システムの機能ブロック図である。 地図DBを示す図である。 動画定義DBを示す図である。 図6(a)は、動画DBを示す図であり、図6(b)は、点検対象画像位置テーブルを示す図であり、図6(c)は、設定DBを示す図である。 マーク画像DBを示す図である。 動画記録部の処理を示すフローチャートである。 橋梁名入力画面の一例を示す図である。 点検対象画像特定処理を示すフローチャート(その1)である。 点検対象画像特定処理を示すフローチャート(その2)である。 一覧画面の一例を示す図である。 動画ファイル再生画面の一例を示す図である。 マーク画像抽出部の処理を示すフローチャート(その1)である。 マーク画像抽出部の処理を示すフローチャート(その2)である。 点検用画面表示処理を示すフローチャート(その1)である。 点検用画面表示処理を示すフローチャート(その2)である。 点検用画面表示処理を示すフローチャート(その3)である。 点検用画面を示す図(その1)である。 点検用画面を示す図(その2)である。 図19,図20の画面とともに表示可能な画面の一例を示す図である。
以下、一実施形態について、図1〜図21に基づいて詳細に説明する。図1には、構造物点検支援装置としてのサーバ20を含む、橋梁点検支援システム100が模式的に示されている。
図1に示すように、橋梁点検支援システム100は、撮影装置10と、サーバ20と、コンサルタント端末30と、点検用端末50と、を備える。橋梁点検支援システム100の各装置(10,20,30,50)は、インターネットなどのネットワーク40に接続されている。
撮影装置10は、例えば、動画を撮影(例えば、ハイビジョン撮影)することが可能なビデオカメラである。なお、動画は、複数のフレーム(画像)の集合体(画像群)であるといえる。撮影装置10は、図3に示すように、撮影部14と、表示部15と、入力部16と、位置取得部12と、角速度センサ17と、通信部18と、を有する。
撮影部14は、撮影者(例えば、自治体の職員)が入力部16を介して入力した指示に基づいて、点検対象の橋梁の路面を動画にて撮影する。表示部15は、液晶ディスプレイ等を含み、各種メニュー画面を表示したり、撮影中の動画(ファインダー画像)を表示したりする。入力部16は、タッチパネルや各種ボタン含み、撮影者からの指示を受け付け、当該指示を撮影部14や通信部18に対して送信する。位置取得部12は、GPSモジュールを含み、撮影装置10の位置に関する情報(緯度、経度)を取得する。角速度センサ17は、ジャイロセンサ等を含み、撮影装置10の姿勢に関する情報(ジャイロ値)を取得する。
通信部18は、撮影部14で撮影された動画ファイルや、撮影部14が動画を撮影した際のタイムスタンプ、位置取得部12が取得した位置情報、角速度センサ17が取得した姿勢に関する情報などを含む情報(以下、「撮影情報」と呼ぶ)をサーバ20に対して送信する。
ここで、本実施形態では、撮影装置10を用いて撮影する撮影者は、予め定められているマニュアルに基づいて、以下のような条件で動画の撮影を行うものとする。
(1) 撮影対象の構造物は、橋梁の路面である。
(2) 撮影者は、肉眼で路面の状態を確認しながら路面の撮影を行う。
(3) 撮影者は、損傷していると推定される部分(推定損傷部分)を肉眼で確認した場合には、当該推定損傷部分を撮影する前後において、推定損傷部分の周辺を撮影する。この場合、撮影者は、推定損傷部分の周辺にある目印となりうるもの(標識や、特徴的な形状、色彩等を有する物体、汚れなど)を撮影するように留意する。
図1に戻り、サーバ20は、撮影装置10から送信されてきた動画ファイルや撮影情報を受信して保持する。また、サーバ20は、コンサルタント端末30からの指示に応じて、撮影装置10によって撮影された動画を表示(再生)するための画面(動画ファイル再生画面(図13参照))を生成し、コンサルタント端末30に対して送信する。また、コンサルタント端末30からの指示に応じて、路面の推定損傷部分を現地において点検する際に用いる画面(点検用画面(図19、図20参照))を生成し、点検用端末50に対して送信する。
図2には、サーバ20のハードウェア構成が示されている。図2に示すように、サーバ20は、CPU90、ROM92、RAM94、記憶部(ここではHDD(Hard Disk Drive))96、ネットワークインタフェース97、及び可搬型記憶媒体用ドライブ99等を備えており、サーバ20の構成各部は、バス98に接続されている。サーバ20では、ROM92あるいはHDD96に格納されているプログラム(構造物点検支援プログラム)、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラム(構造物点検支援プログラム)をCPU90が実行することにより、図3の各部の機能が実現される。すなわち、サーバ20では、CPU90により、取得部としての動画記録部22と、受け付け部としての点検対象画像特定部24と、抽出部としてのマーク画像抽出部26と、生成部及び判定部としての点検用画面生成部28と、の機能が実現されている。なお、図3には、HDD96等に格納されている地図DB61、動画定義DB62、動画DB63、点検対象画像位置テーブル64、設定DB65、及びマーク画像DB66についても図示されている。
動画記録部22は、地図DB61を参照し、通信部18から受信した動画ファイルと撮影情報とを用いて、動画定義DB62及び動画DB63に対する記録を行う。ここで、地図DB61は、地名の位置を管理するデータベースであり、図4に示すように、「地名」を「緯度」及び「経度」にて定義している。
動画定義DB62は、撮影装置10で撮影された動画ファイルの情報を管理するデータベースであり、図5に示すように、「橋梁名」、「撮影日」、「撮影場所(撮影開始地点)」、「動画ID」、「撮影開始位置(緯度、経度)」、「撮影終了位置(緯度、経度)」、「撮影方位」の各フィールドを有する。「撮影日」、「撮影開始位置(緯度、経度)」、「撮影終了位置(緯度、経度)」の各フィールドには、撮影装置10から取得した撮影情報に含まれる各情報が格納される。「撮影場所(撮影開始地点)」のフィールドには、「撮影開始位置(緯度、経度)」のフィールドに記録された緯度、経度に対応する位置が地図DB61から抽出されて格納される。「橋梁名」のフィールドには、撮影装置10の入力部16から入力された橋梁名が格納される。「動画ID」のフィールドには、動画記録部22が動画ファイルに対して割り振る一意の文字列が格納される。「撮影方位」のフィールドには、「撮影開始位置(緯度、経度)」、「撮影終了位置(緯度、経度)」の各フィールドの内容から導き出される撮影方位(16方位を番号で示したもの)が格納される。
動画DB63は、図6(a)に示すように、「動画ID」と、「動画ファイル」の各フィールドを有する。
図3に戻り、点検対象画像特定部24は、コンサルタント端末30からの要求に応じて、動画DB63に格納されている動画を再生するための画面(動画ファイル再生画面(図13))を生成し、当該画面をコンサルタント端末30に対して送信する。また、点検対象画像特定部24は、建設コンサルタントが動画ファイル再生画面上で特定した画像(推定損傷部分が撮影されたフレーム)を点検対象画像として特定する。また、点検対象画像特定部24は、特定結果を点検対象画像位置テーブル64に格納する。ここで、点検対象画像位置テーブル64は、図6(b)に示すように、「動画ID」と、「タイムスタンプ」と、「画像スナップショット」の各フィールドを有している。「画像スナップショット」のフィールドには、点検対象画像として特定されたフレームのスナップショットが格納され、「タイムスタンプ」のフィールドには、スナップショットに対応するタイムスタンプ(動画の撮影開始時刻を0m.00s.00とする時刻)が格納される。
図3に戻り、マーク画像抽出部26は、点検用端末50からの指示に応じて、点検対象画像位置テーブル64及び設定DB65を参照して、動画ファイルからマーク画像を抽出し、当該マーク画像の情報をマーク画像DB66に格納する。ここで、マーク画像とは、上述したマニュアル(3)に基づいて撮影された推定損傷部分の周辺の画像(目印となりうるもの(標識や、特徴的な形状や色彩を有する物体、汚れなど)を撮影した画像)であるものとする。なお、マーク画像抽出部26によるマーク画像の抽出方法については、後述する。
設定DB65は、図6(c)に示すように、マーク画像を抽出する範囲を設定した設定値(図6(c)では2分)を定義する。マーク画像DB66は、図7に示すように、「動画ID」、「タイムスタンプ」、「マーク画像ファイル」、「撮影位置(緯度、経度)」、「奥行き情報」、「左右情報」の各フィールドを有する。「タイムスタンプ」のフィールドには、点検対象画像のタイムスタンプが格納され、「マーク画像ファイル」のフィールドには、マーク画像のスナップショットが格納される。また、「撮影位置(緯度、経度)」は、マーク画像の撮影位置が入力され、「奥行き情報」及び「左右情報」のフィールドには、点検対象画像の撮影位置に対するマーク画像の撮影位置の情報が格納される。
図3に戻り、点検用画面生成部28は、点検用端末50からの要求に応じて、マーク画像DB66に基づいて点検用画面(図19等)を生成する。また、点検用画面生成部28は、生成した点検用画面を、点検用端末50に対して送信する。
コンサルタント端末30は、橋梁の路面を画面上で点検するユーザ(建設コンサルタントなど)が利用する端末である。このコンサルタント端末30は、サーバ20から提供される画面(動画ファイル再生画面(図13))を表示する。なお、建設コンサルタントは、コンサルタント端末30に表示される動画ファイル再生画面(図13)を用いて、撮影された動画ファイルを閲覧し、橋梁の路面の点検を行う。また、建設コンサルタントは、必要に応じて、路面のうち損傷していると推定される部分(推定損傷部分)が撮影されているフレーム(点検対象画像)を特定するための操作をコンサルタント端末30を用いて行う。
コンサルタント端末30は、図3に示すように、制御部32と、表示部34と、入力部36とを備える。制御部32は、CPU,ROM,RAM等を有し、コンサルタント端末30の各部を統括的に制御するとともに、サーバ20との間におけるデータ等(画面や指示)の送受信を行う。表示部34は、液晶ディスプレイ等を含み、制御部32の指示の下、サーバ20から受信した画面を表示する。入力部36は、建設コンサルタントから入力された指示を受け付け、制御部32を介して、サーバ20に対して送信する。
点検用端末50は、橋梁の路面を現地で詳細確認する現地点検者(例えば、建設コンサルタント)が利用する持ち運び可能な端末である。この点検用端末50は、サーバ20から提供される画面(点検用画面(図19等))を表示する。点検用端末50は、図3に示すように、制御部52と、表示部54と、入力部56と、位置取得部58と、を備える。制御部52は、CPU,ROM,RAM等を有し、点検用端末50の各部を統括的に制御するとともに、サーバ20との間におけるデータ等(画面や指示)の送受信を行う。表示部54は、液晶ディスプレイ等を含み、制御部52の指示の下、サーバ20から受信した画面を表示する。入力部56は、現地点検者から入力された指示を受け付け、制御部52を介して、サーバ20に対して送信する。位置取得部58は、GPSモジュールを含み、点検用端末50の位置に関する情報(緯度、経度)を取得する。なお、現地点検者は、点検用画面を見ながら、推定損傷部分を見つけ出し、当該推定損傷部分の詳細点検を行う。なお、点検用端末50とコンサルタント端末30を利用する人物は、異なる人物であってもよいし、同一の人物であってもよい。
次に、本実施形態における処理((A)動画記録部22の処理、(B)点検対象画像特定処理、(C)マーク画像抽出部26の処理、(D)点検用画面表示処理)について、詳細に説明する。
(A)動画記録部22の処理
まず、動画記録部22の処理について、図8のフローチャートに沿って詳細に説明する。
図8には、サーバ20の動画記録部22の処理がフローチャートにて示されている。図8の処理は、例えば、撮影者が、撮影装置10による橋梁の路面の撮影が完了し、撮影した動画をサーバ20に対して送信する旨の指示を入力部16を介して入力した時点から開始されるものとする。
図8の処理では、まず、ステップS10において、動画記録部22が、橋梁名入力画面を、撮影装置10の表示部15上に表示する。橋梁名入力画面としては、例えば、図9に示すような画面であるものとする。なお、図9の橋梁名入力画面では、撮影者が、都道府県名で絞込んだ後に、橋梁名を選択し、選択後に送信ボタンを押すことで、橋梁名をサーバ20に対して送信することができるようになっている。この場合、サーバ20は、都道府県名と橋梁名とを格納する橋梁名DBを保持しておき、当該橋梁名DBを用いて図9の画面を生成する。ただし、これに限らず、動画記録部22は、橋梁名を直接入力可能な橋梁名入力画面などを、表示部15上に表示するようにしても良い。
次いで、ステップS12では、動画記録部22が、橋梁名を受け付けるまで待機する。すなわち、動画記録部22は、撮影装置10において撮影者が橋梁名を入力した段階(図9の送信ボタンを押した段階)で、ステップS12の判断が肯定されて、ステップS14に移行する。
ステップS14に移行すると、動画記録部22は、受け付けた橋梁名を、動画定義DB62(図4)に記録する。次いで、ステップS16では、動画記録部22が、撮影装置10から動画ファイルのダウンロードを実行する。なお、動画ファイルのダウンロードの際には、動画記録部22は、動画ファイルの撮影情報(撮影日情報や撮影開始位置、撮影終了位置、撮影装置10の向きに関する情報(ジャイロ値)などの情報)も取得する。
ステップS16における動画ファイルのダウンロードが完了すると、次のステップS18において、動画記録部22が、動画ファイルに動画IDを割り振り、ファイル名と対応づけて動画DB63に記録する。次いで、ステップS20では、動画記録部22が、動画IDを動画定義DB62に記録する。
次いで、ステップS22では、動画記録部22が、撮影情報から撮影日情報を取得し、動画定義DB62に記録する。次いで、ステップS24では、動画記録部22が、撮影情報から撮影開始位置(緯度、経度)情報を取得し、動画定義DB62の「撮影開始位置」のフィールドに記録する。次いで、ステップS26では、動画記録部22が、撮影情報から撮影終了位置(緯度、経度)情報を取得し、動画定義DB62の「撮影終了位置」のフィールドに記録する。
次いで、ステップS28では、動画記録部22が、撮影開始位置(緯度、経度)に基づいて、地図DB61から撮影開始位置の地名を取得し、動画定義DB62の「撮影場所(撮影開始地点)」のフィールドに記録する。
次いで、ステップS30では、動画記録部22が、動画定義DB62の撮影開始位置と撮影終了位置を用いて方位を算出し、動画定義DB62の「撮影方位」のフィールドに記録する。
以上の処理により、動画記録部22は、取得した動画ファイルの情報を、動画定義DB62と動画DB63のそれぞれに記録することができる。
なお、上述した説明では、動画ファイルや撮影情報を、撮影装置10からサーバ20に対してネットワーク40を介して送信する場合について説明したが、これに限られるものではない。例えば、撮影装置10で撮影された動画ファイルや撮影情報を記憶媒体(光ディスクやフラッシュメモリなど)を介して、サーバ20に対して受け渡すようにしてもよい。なお、記憶媒体を用いる場合には、撮影装置10は、通信部18を有していなくてもよい(ネットワーク40に接続されていなくてもよい)。また、撮影装置10とPCなどの端末とを接続し、当該端末からサーバ20に対して動画ファイルや撮影情報を送信するようにしてもよい。
(B)点検対象画像特定処理
次に、点検対象画像特定処理について、図10、図11のフローチャートに沿って詳細に説明する。なお、この点検対象画像特定処理は、サーバ20の点検対象画像特定部24と、コンサルタント端末30の制御部32の同時並行処理により実現される。なお、図10、図11では、サーバ20の処理タイミングとコンサルタント端末30の処理タイミングを考慮して、各処理及び判断を配置している。
図10の処理は、コンサルタント端末30を利用する建設コンサルタントが、入力部36を用いて動画再生要求を出した段階から開始される。図10の処理では、まず、ステップS200において、制御部32が、動画再生要求をサーバ20(点検対象画像特定部24)に対して送信する。
これに対し、サーバ20側では、点検対象画像特定部24が、ステップS100において、動画再生要求をコンサルタント端末30から受信するまで待機している。したがって、点検対象画像特定部24は、制御部32においてステップS200の処理が行われた段階でステップS102に移行する。そして、点検対象画像特定部24は、ステップS102において、動画定義DB62から登録されている全ての橋梁名を取得して一覧画面を作成し、コンサルタント端末30に対して送信する。なお、一覧画面は、一例として、図12のような画面であるものとする。図12の一覧画面には、橋梁名の一覧と、橋梁名の一覧の中から建設コンサルタントが1つの橋梁名を選択した後に押す送信ボタンと、が含まれているものとする。
一方、コンサルタント端末30側では、制御部32が、ステップS200以降、ステップS202においてサーバ20から一覧画面を受信するまで待機している。したがって、制御部32は、サーバ20側でステップS102の処理が行われた段階でステップS204に移行することになる。ステップS204に移行すると、制御部32は、サーバ20から受信した一覧画面(図12)を表示部34に表示する。
次いで、ステップS206では、制御部32は、橋梁名の選択を受け付けるまで待機する。制御部32は、建設コンサルタントが図12の一覧画面上で橋梁名を選択し、送信ボタンを押した段階で、ステップS208に移行する。ステップS208に移行すると、制御部32は、建設コンサルタントによって選択された橋梁名をサーバ20に送信する。
これに対し、サーバ20側では、点検対象画像特定部24が、ステップS102以降、ステップS104において橋梁名を受信するまで待機している。したがって、点検対象画像特定部24は、コンサルタント端末30側でステップS208の処理が行われた後に、ステップS106に移行する。
ステップS106に移行すると、点検対象画像特定部24は、動画定義DB62から、受信した橋梁名に対応する動画IDを取得する。次いで、ステップS108では、動画IDに対応する動画ファイルを、動画DB63から取得して、動画ファイル再生画面(図13参照)を生成し、コンサルタント端末30に対して送信する。なお、図13の動画ファイル再生画面は、再生中画面と、当該再生中画面を操作するための操作ボタン(再生ボタン、一時停止ボタン、早送りボタン、巻き戻しボタンなど)と、「点検要画面」を特定するチェックボタンと、を含んでいる。その後は、図11のステップS110に移行する。
一方、コンサルタント端末30側では、制御部32が、ステップS208以降、ステップS210において、動画ファイル再生画面をサーバ20から受信するまで待機している。したがって、制御部32は、ステップS108においてサーバ20側から動画ファイル再生画面が送信されてきた段階で、ステップS212に移行することになる。
ステップS212に移行すると、制御部32は、図13に示す動画ファイル再生画面を表示部34に表示する。
次いで、制御部32は、図11のステップS214において、動画ファイル再生画面にて、動画ファイルを再生する。
次いで、ステップS216では、制御部32が、建設コンサルタントによって、チェックボタンが押されたか否かを判断する。ここで、建設コンサルタントは、動画再生中に損傷していると推定される部分(推定損傷部分)が撮影されている画像(フレーム)を発見したときに、動画の再生を一時停止し、図13に示すチェックボタンを押す(推定損傷部分の画像を特定した指示を出す)。このように、建設コンサルタントによって推定損傷部分の画像を特定した指示が出された場合には、ステップS216の判断が肯定されて、ステップS218に移行する。一方、ステップS216の判断が否定された場合には、ステップS224に移行する。
ステップS216の判断が肯定されてステップS218に移行した場合には、制御部32は、再生中の画像イメージ(スナップショット)を取得する。次いで、ステップS220では、制御部32が、取得したスナップショットの再生開始からのタイムスタンプを取得する。次いで、ステップS222では、制御部32が、画像イメージ(スナップショット)とタイムスタンプをサーバ20に対して送信する。その後は、ステップS224に移行し、建設コンサルタントが再生を終了するまで、ステップS216〜S224の処理・判断を繰り返す。
これに対し、サーバ20側では、点検対象画像特定部24が、ステップS108以降、ステップS110において、タイムスタンプとスナップショットを受信するまで待機している。したがって、点検対象画像特定部24は、コンサルタント端末30側にてステップS222の処理が行われた後、ステップS112に移行することになる。
ステップS112に移行すると、点検対象画像特定部24は、受信したタイムスタンプを、点検対象画像位置テーブル64(図6(b))に記録する。その後は、点検対象画像特定部24は、ステップS114において、コンサルタント端末30から再生終了情報を受信したか否かを判断するが、ここでの判断が否定された場合には、ステップS110に戻る。
一方、コンサルタント端末30において、建設コンサルタントが再生終了の旨を入力すると、ステップS224の判断が肯定され、制御部32は、ステップS226に移行する。そして、制御部32は、ステップS226において、再生終了情報をサーバ20に対して送信し、図10、図11の全処理を終了する。一方、ステップS226の処理が実行されると、サーバ20(点検対象画像特定部24)側では、ステップS114の判断が肯定され、図10、図11の全処理を終了する。
以上のような処理が行われることで、建設コンサルタントが動画を用いて簡易点検した結果(建設コンサルタントによって特定された推定損傷部分の画像(点検対象画像)の情報)を、点検対象画像位置テーブル64に記録することができる。
(C)マーク画像抽出部26の処理
次に、マーク画像抽出部26の処理について、図14,図15のフローチャートに沿って詳細に説明する。
図14の処理では、まず、ステップS300において、マーク画像抽出部26が、マーク画像作成対象となる橋梁名を受け付けるまで待機する。この場合、マーク画像抽出部26は、現地点検者が点検用端末50の入力部56から現地点検をしようとしている橋梁名を入力した時点で、ステップS302に移行する。
次いで、ステップS302では、マーク画像抽出部26が、受け付けた橋梁名に対応する動画IDを、動画定義DB62から取得する。次いで、ステップS304では、マーク画像抽出部26が、取得した動画IDに対応する点検対象画像位置テーブル64を参照し、動画IDに対応するすべてのタイムスタンプを取得する。
次いで、ステップS306では、マーク画像抽出部26が、設定DB65から設定値を取得する。本実施形態では、一例として、図6(c)に示すように、設定値は2分となっている。
次いで、ステップS308では、マーク画像抽出部26が、前述したステップS112において点検対象画像特定部24が点検対象画像位置テーブル64に記録したタイムスタンプに対応する画像(点検対象画像)を起点画像とし、前後所定値(2分)分の画像を取得する。次いで、ステップS310では、マーク画像抽出部26が、起点画像と、所定値(2分)内にある前後の画像(フレーム)とを比較して、大きく異なる(差異が所定以上である)フレームのスナップショットを複数取得する。
次いで、ステップS312では、マーク画像抽出部26が、ステップS310で取得された複数のスナップショットの中から、焦点距離が前後と同じである(ズームが固定されている)スナップショットを起点画像の前後において1つずつ(計2つ)取得する。なお、このステップS312で取得される2つのスナップショットが、マーク画像となる。なお、マーク画像としては、推定損傷部分の周辺にある目印となりうるもの(標識や、特徴的な形状や色彩を有する物体、汚れなど)が撮影された画像(例えば、図19の点検用画面内に表示されている直後のマーク画像(左)や直前のマーク画像(右))が取得されると考えられる。
次いで、ステップS314では、マーク画像抽出部26が、取得したスナップショットと起点画像のタイムスタンプとをマーク画像DB66の「マーク画像ファイル」と「タイムスタンプ」のフィールドに記録する。ステップS314の後は、図15のステップS320に移行する。
図15のステップS320に移行すると、マーク画像抽出部26は、ステップS312で取得したマーク画像のタイムスタンプと起点画像のタイムスタンプとを比較し、マーク画像のタイムスタンプが起点画像のタイムスタンプよりも前であれば、マーク画像DB66の「奥行き情報」のフィールドに「手前」を記録する。また、マーク画像のタイムスタンプが起点画像のタイムスタンプよりも後であれば、マーク画像DB66の「奥行き情報」のフィールドに「奥」を記録する。
次いで、ステップS322では、マーク画像抽出部26が、撮影情報から各マーク画像を撮影したときの撮影装置10の位置情報を取得し、マーク画像DB66に記録する。次いで、ステップS324では、マーク画像抽出部26が、撮影情報から、各マーク画像を撮影したときの撮影装置10のジャイロ値を取得する。
次いで、ステップS326では、マーク画像抽出部26が、ジャイロ値により、起点画像(点検対象画像)の左右どちらにマーク画像が位置するかを判別する。次いで、ステップS328では、マーク画像抽出部26が、マーク画像DB66の「左右情報」のフィールドに、ステップS326の判別結果(「左」又は「右」)を記録する。
次いで、ステップS330では、マーク画像抽出部26が次のタイムスタンプがあるか否か(ステップS304で取得したタイムスタンプのうちステップS306〜S328の処理を行っていないタイムスタンプがあるか否か)を判断する。ここでの判断が肯定された場合には、ステップS306に戻る。一方、ステップS330の判断が否定された場合には、図14、図15の全処理を終了する。
以上のような処理を行うことで、各起点画像に対応するマーク画像の情報を、マーク画像DB66に記録することができる。
なお、図14、図15の処理は、バッチ処理にて行うことも可能である。この場合、バッチ処理とバッチ処理との間に点検対象画像位置テーブル64に新規登録されたすべての画像スナップショット(点検対象画像)に対して図14,図15の処理を行うようにすればよい。
(D)点検用画面表示処理
次に、点検用画面表示処理について、図16〜図18のフローチャートに沿って詳細に説明する。なお、図16〜図18では、サーバ20の処理タイミングと点検用端末50の処理タイミングを考慮して、各処理及び判断を配置している。図16〜図18の処理は、現地点検者が現地に到着して点検を開始する際に、現地点検者が点検用端末50の入力部56から点検用画面の表示要求を入力した段階から開始される。
まず、図16のステップS500において、制御部52が、点検用画面の表示要求をサーバ20に対して送信する。これに対し、点検用画面生成部28では、ステップS400において、点検用画面の表示要求を受信するまで待機しているので、点検用端末50においてステップS500の処理が行われた段階で、ステップS402に移行する。
ステップS402に移行すると、点検用画面生成部28は、動画定義DB62から橋梁名を取得し、一覧画面(図12と同様)を作成し、点検用端末50に送信する。一方、点検用端末50の制御部52では、ステップS502において、一覧画面を受信するまで待機している。したがって、点検用画面生成部28においてステップS402の処理が行われた段階で、制御部52は、ステップS504に移行する。ステップS504に移行すると、制御部52は、一覧画面を表示部54に表示する。
次いで、ステップS506では、制御部52は、位置取得部58より点検用端末50(すなわち、現地点検者)の位置情報を取得する。次いで、ステップS508では、制御部52が橋梁名の選択を受け付けるまで待機する。ここで、現地点検者が一覧画面の中から点検しようとしている橋梁名を選択すると、制御部52は、ステップS510に移行する。そして、ステップS510では、制御部52は、橋梁名と位置情報とをサーバ20に対して送信する。その後は、図17のステップS512に移行する。
これに対し、サーバ20側では、点検用画面生成部28がステップS402以降、ステップS404において、橋梁名と位置情報とを受信するまで待機している。したがって、点検用端末50側においてステップS510の処理が行われた段階で、点検用画面生成部28は、ステップS406に移行することになる。
ステップS406に移行すると、点検用画面生成部28は、動画定義DB62から、受信した橋梁名に対応する動画IDと、撮影開始位置、撮影終了位置を取得する。次いで、ステップS410では、点検用画面生成部28が、点検対象画像位置テーブル64より、動画IDに対応するタイムスタンプをすべて取得する。次いで、ステップS412では、点検用画面生成部28が、受信した位置情報が、撮影開始位置と、撮影終了位置のどちらに近いかを判定する。その後は、図17のステップS414に移行する。
図17のステップS414に移行すると、点検用画面生成部28は、ステップS412の判定の結果、受信した位置情報が撮影終了位置に近いか否かを判断する。すなわち、ステップS412では、点検用画面生成部28は、撮影装置10が撮影した方向と同一の方向から、現地点検者が路面を点検するのか、あるいは、撮影装置10が撮影した方向とは逆の方向から、現地点検者が路面を点検するのかを判断する。ここでの判断が否定された場合、すなわち、橋梁の路面を点検する方向が撮影方向と同一である場合には、ステップS416に移行する。ステップS416に移行すると、点検用画面生成部28は、ステップS410で取得したすべてのタイムスタンプのうち、最も早いタイムスタンプに相当するスナップショットを点検対象画像位置テーブル64から取得する。次いで、ステップS418では、点検用画面生成部28がステップS410で取得したタイムスタンプに対応するマーク画像をマーク画像DB66から取得する。その後は、点検用画面生成部28は、ステップS430において、点検用画面に、所定の奥行き図を表示し、マーク画像位置、点検画像位置、現在位置情報を埋め込み、ステップS432において、取得したスナップショット、マーク画像を点検用画面の所定位置にはめ込む。これらステップS430,S432の結果、図19に示すような点検用画面が生成されることになる。
一方、ステップS414の判断が肯定された場合、すなわち、橋梁の路面を点検する方向が撮影方向とは逆である場合には、ステップS420に移行する。ステップS420では、点検用画面生成部28が、ステップS410で取得したすべてのタイムスタンプのうち、最も遅いタイムスタンプに相当するスナップショットを点検対象画像位置テーブル64から取得する。次いで、ステップS422では、点検用画面生成部28が、取得したタイムスタンプに対応するマーク画像をマーク画像DB66から取得する。
次いで、ステップS424では、点検用画面生成部28が、各タイムスタンプを撮影終了時間からのタイムスタンプに置き換える。次いで、ステップS426では、点検用画面生成部28は、スナップショットを上下反転する。次いで、ステップS428では、点検用画面生成部28は、マーク画像の奥行き情報、左右情報を逆にする。
次いで、点検用画面生成部28は、ステップS430において、点検用画面に、所定の奥行き図を表示し、マーク画像位置、点検画像位置、現在位置情報を埋め込む。また、点検用画面生成部28は、ステップS432において、スナップショット(上下反転)、マーク画像を点検用画面の所定位置にはめ込む。これらステップS430,S432の結果、例えば、図19と同一の推定損傷部分を点検する場合であっても、撮影方向とは逆の方向から点検を行うことに起因して、図20に示すような点検用画面が生成されることになる。
図19又は図20の点検用画面が生成された後、ステップS434に移行すると、点検用画面生成部28は、点検用画面を点検用端末50に対して送信する。その後は、図18のステップS436に移行する。
一方、点検用端末50側では、制御部52は、ステップS510の処理後、ステップS512において点検用画面を受信するまで待機している。したがって、サーバ20側において、ステップS434の処理が行われた段階で、制御部52はステップS514に移行する。ステップS514に移行すると、制御部52は、点検用画面(図19又は図20)を表示部54に表示する。その後は、図18のステップS516に移行する。
図18のステップS516に移行すると、制御部52は、位置取得部58から位置情報を取得したか否かを判断する。ここでの判断が肯定された場合には、ステップS518に移行し、制御部52は、位置情報をサーバ20に対して送信し、図17のステップS512に戻る。一方、ステップS516の判断が否定された場合には、ステップS520に移行し、制御部52は、現地点検者から次の表示要求を受け付けたか否かを判断する。この場合、現地点検者が図19又は図20の点検用画面の「次へ」ボタンを押した場合に、ステップS520の判断が肯定され、ステップS522に移行する。この場合、制御部52は、ステップS522において次の表示要求をサーバに送信した後、ステップS512に戻る。一方、「次へ」ボタンが押されていない場合には、ステップS520の判断が否定され、ステップS524に移行する。
そして、ステップS524において、制御部52は、表示終了の要求を受け付けたか否かを判断するが、ここでの判断が否定された場合には、ステップS516に戻り、肯定された場合には、ステップS526に移行する。ステップS526に移行した場合には、制御部52は、表示終了要求をサーバ20に対して送信し、図16〜図18の全処理を終了する。
これに対し、サーバ20側では、図17のステップS434の後、ステップS436において、点検用画面生成部28が点検用端末50から位置情報を受信したか否かを判断する。ここでの判断が肯定された場合(点検用端末50においてステップS518の処理が行われた場合)には、ステップS438に移行し、点検用画面生成部28は、点検用画面(図19又は図20)の現在位置情報を変更し、新しい点検用画面を点検用端末50に送信する。その後は、ステップS440に移行する。なお、この場合、点検用端末50の制御部52では、図17のステップS512の判断が肯定されるので、ステップS514において新たな点検用画面が表示部54に表示されることになる。
一方、ステップS436の判断が否定された場合、又はステップS438の後には、ステップS440において、点検用画面生成部28が、点検用端末50から次の表示要求を受けたか否かを判断する。ここでの判断が肯定された場合(点検用端末50においてステップS522の処理が行われた場合)には、ステップS442において、点検用画面生成部28が次のタイムスタンプがあるか否か(ステップS410で取得したすべてのタイムスタンプに関する処理が完了していないか否か)を判断する。ここでの判断が肯定された場合には、図17のステップS414に戻る。なお、ステップS416及びステップS420が2回目以降行われる場合には、点検用画面生成部28は、次に早い(遅い)タイムスタンプに相当するスナップショットを取得する。一方、ステップS440の判断が否定された場合、又はステップS442の判断が否定された場合には、ステップS444に移行する。
ステップS444では、点検用画面生成部28が表示終了要求を受け付けたか否かを判断する。この場合、点検用端末50においてステップS526の処理が行われた場合には、ステップS444の判断が肯定されることになる。ステップS444の判断が否定されると、点検用画面生成部28は、ステップS440に戻るが、ステップS444の判断が肯定されると、点検用画面生成部28は、図16〜図18の全処理を終了する。
以上のように、図16〜図18の処理が行われることにより、現地点検者の位置や点検方向に応じて、図19や図20のような点検用画面が点検用端末50に表示され、適宜更新されることになる。したがって、現地点検者は、マーク画像を目印にしながら点検すべき部分(推定損傷部分)を簡易に探し出すことが可能となる。
なお、本実施形態では、撮影装置10が撮影しているときの位置の情報、現地点検者の位置の情報、及びマーク画像の位置の情報をGPSを用いて取得することができるので、これらを利用して、図19,図20の画面とともに、図21のような画面を表示することとしてもよい。この場合、例えば、図6(b)の点検対象画像位置テーブル64において、画像スナップショットに対応して撮影位置を管理することとすればよい。このように、図21の画面を表示することで、現地点検者はより簡易に推定損傷部分の特定を行うことが可能となる。
以上、詳細に説明したように、本実施形態によると、動画記録部22が、橋梁の路面のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍とを撮影装置10で撮影した動画を取得し、点検対象画像特定部24が、コンサルタント端末30から動画に含まれる複数のフレームのうち推定損傷部分が撮影されている1つのフレーム(点検対象画像)を特定した指示を受け付け、マーク画像抽出部26が、特定された点検対象画像を撮影した時刻の前後に撮影されたフレームから、点検対象画像との差異が大きいフレーム(マーク画像)を抽出し、点検用画面生成部28が、マーク画像と、点検対象画像とを同時に表示する点検用画面を生成する。これにより、本実施形態では、現地点検者が、点検対象画像と当該点検対象画像との差異が大きく推定損傷部分を探すのに目印になるようなマーク画像とが同時に表示された点検用画面を見ながら、現地にて推定損傷部分を探すことができる。これにより、現地点検者は、簡易に推定損傷部分の位置を特定することができ、現地点検を簡易に行うことが可能となる。
また、本実施形態では、動画記録部22が、撮影装置10から動画ファイルとともに撮影装置10の向き(ジャイロ値)を含む撮影情報を取得し、点検用画面生成部28は、マーク画像とともに、点検対象画像の撮影方向に対するマーク画像の撮影方向(左右)を表示する画面を生成する。これにより、本実施形態では、現地点検者は、マーク画像の撮影方向を参照することで、より簡易に推定損傷部分の位置を特定することが可能となる。
また、本実施形態では、点検用画面生成部28が、ステップS414において、撮影装置10が撮影した方向と同一の方向から路面を点検するか否かを判定するとともに、当該判定結果に基づいて決定されるマーク画像及び点検対象画像の表示位置及び表示方向に基づいて点検用画面を生成する。これにより、現地点検者が橋梁の起点側及び終点側のいずれから路面の点検をする場合であっても、当該点検方向に応じた点検用画面を提供することができるようになる。
なお、上記実施形態では、マーク画像を抽出する場合に、ジャイロ値を用いることとしてもよい。具体的には、図14のステップS310において起点画像と、所定値(例えば2分)内の前後の画像とを比較する場合に、前後の画像のうちジャイロ値が所定時間安定している画像と点検対象画像とを比較するようにしてもよい。このようにすることで、撮影装置10が撮影方向を変更している間の画像(ブレが大きい可能性の高い画像)を排除した状態で、マーク画像取得処理を行うことが可能となる。
なお、上記実施形態では、サーバ20を設ける場合について説明したが、これに限られるものではない。例えば、サーバ20の機能を、コンサルタント端末30又は点検用端末50が有していてもよい。また、上記実施形態では、撮影装置10の代わりに、点検用端末50が有するカメラ機能を用いることとしてもよい。
なお、上記実施形態では、動画を用いた点検を行う場合について説明したが、これに限らず、現地において多数撮影された静止画を用いた点検にも、上記実施形態を適用することが可能である。
なお、上記実施形態では、点検対象(撮影対象)の構造物が、橋梁の路面である場合について説明したが、これに限られるものではない。例えば、道路の路面、堤防、河川の土手の法面、崖崩れ防止用の擁壁、団地やビルなどの建物の壁面などが点検対象(撮影対象)の構造物であってもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
なお、以上の説明に関して更に以下の付記を開示する。
(付記1) 点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得する取得工程と、
前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付ける受け付け工程と、
前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出する抽出工程と、
前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する生成工程と、をコンピュータが実行することを特徴とする構造物点検支援方法。
(付記2) 前記取得工程では、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の向きに関する情報を取得し、
前記生成工程では、前記抽出された画像とともに、前記特定された画像の撮影方向に対する前記抽出された画像の撮影方向に関する情報を表示する画面を生成することを特徴とする付記1に記載の構造物点検支援方法。
(付記3) 前記撮影装置が撮影した方向と同一の方向から前記構造物を点検するのか、あるいは、前記撮影装置が撮影した方向とは逆の方向から前記構造物を点検するのかを判定する判定工程を前記コンピュータが実行し、
前記生成工程では、前記判定工程における判定結果に基づいて、前記抽出された画像及び前記特定された画像それぞれの表示位置及び表示方向を決定し、当該表示位置と表示方向とに基づいて前記画面を生成することを特徴とする付記1又は2に記載の構造物点検支援方法。
(付記4) 前記取得工程では、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の位置に関する情報を取得し、
前記判定工程では、前記構造物の点検する人の位置に関する情報と、前記取得工程で取得した前記撮影装置の位置に関する情報とを用いて、前記判定を行うことを特徴とする付記3に記載の構造物点検支援方法。
(付記5) 点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得し、
前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付け、
前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出し、
前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する、処理をコンピュータに実行させることを特徴とする構造物点検支援プログラム。
(付記6) 前記取得する処理では、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の向きに関する情報を取得し、
前記生成する処理では、前記抽出された画像とともに、前記特定された画像の撮影方向に対する前記抽出された画像の撮影方向に関する情報を表示する画面を生成することを特徴とする付記5に記載の構造物点検支援プログラム。
(付記7) 前記撮影装置が撮影した方向と同一の方向から前記構造物を点検するのか、あるいは、前記撮影装置が撮影した方向とは逆の方向から前記構造物を点検するのかを判定する処理を前記コンピュータが実行し、
前記生成する処理では、前記判定する処理における判定結果に基づいて、前記抽出された画像及び前記特定された画像それぞれの表示位置及び表示方向を決定し、当該表示位置と表示方向とに基づいて前記画面を生成することを特徴とする付記5又は6に記載の構造物点検支援プログラム。
(付記8) 前記取得する処理では、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の位置に関する情報を取得し、
前記判定する処理では、前記構造物の点検する人の位置に関する情報と、前記取得する処理で取得した前記撮影装置の位置に関する情報とを用いて、前記判定を行うことを特徴とする付記7に記載の構造物点検支援プログラム。
(付記9) 点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得する取得部と、
前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付ける受け付け部と、
前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出する抽出部と、
前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する生成部と、を備える構造物点検支援装置。
(付記10) 前記取得部は、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の向きに関する情報を取得し、
前記生成部は、前記抽出された画像とともに、前記特定された画像の撮影方向に対する前記抽出された画像の撮影方向に関する情報を表示する画面を生成することを特徴とする付記9に記載の構造物点検支援装置。
(付記11) 前記撮影装置が撮影した方向と同一の方向から前記構造物を点検するのか、あるいは、前記撮影装置が撮影した方向とは逆の方向から前記構造物を点検するのかを判定する判定部を備え、
前記生成部は、前記判定部の判定結果に基づいて、前記抽出された画像及び前記特定された画像それぞれの表示位置及び表示方向を決定し、当該表示位置と表示方向とに基づいて前記画面を生成することを特徴とする付記9又は10に記載の構造物点検支援装置。
(付記12) 前記取得部は、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の位置に関する情報を取得し、
前記判定部は、前記構造物の点検する人の位置に関する情報と、前記取得部が取得した前記撮影装置の位置に関する情報とを用いて、前記判定を行うことを特徴とする付記11に記載の構造物点検支援装置。
10 撮影装置
20 サーバ(構造物点検支援装置)
22 動画記録部(取得部)
24 点検対象画像特定部(受け付け部)
26 マーク画像抽出部(抽出部)
28 点検用画面生成部(生成部、判定部)

Claims (5)

  1. 点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得する取得工程と、
    前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付ける受け付け工程と、
    前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出する抽出工程と、
    前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する生成工程と、をコンピュータが実行することを特徴とする構造物点検支援方法。
  2. 前記取得工程では、前記画像群とあわせて、前記撮影装置で画像群を撮影したときの前記撮影装置の向きに関する情報を取得し、
    前記生成工程では、前記抽出された画像とともに、前記特定された画像の撮影方向に対する前記抽出された画像の撮影方向に関する情報を表示する画面を生成することを特徴とする請求項1に記載の構造物点検支援方法。
  3. 前記撮影装置が撮影した方向と同一の方向から前記構造物を点検するのか、あるいは、前記撮影装置が撮影した方向とは逆の方向から前記構造物を点検するのかを判定する判定工程を前記コンピュータが実行し、
    前記生成工程では、前記判定工程における判定結果に基づいて、前記抽出された画像及び前記特定された画像それぞれの表示位置及び表示方向を決定し、当該表示位置と表示方向とに基づいて前記画面を生成することを特徴とする請求項1又は2に記載の構造物点検支援方法。
  4. 点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得し、
    前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付け、
    前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出し、
    前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する、処理をコンピュータに実行させることを特徴とする構造物点検支援プログラム。
  5. 点検対象の構造物のうち損傷していると推定される推定損傷部分と、当該推定損傷部分の近傍と、を撮影装置で撮影した画像群を取得する取得部と、
    前記画像群に含まれる複数の画像のうち、前記推定損傷部分が撮影されている1つの画像を特定した指示を受け付ける受け付け部と、
    前記特定された画像を撮影した時刻の前後に撮影された画像から、前記特定された画像との差異が所定以上である画像を少なくとも1つ抽出する抽出部と、
    前記抽出された画像と、前記特定された画像とを同時に表示する画面を生成する生成部と、を備える構造物点検支援装置。
JP2012029966A 2012-02-14 2012-02-14 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置 Active JP5803723B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012029966A JP5803723B2 (ja) 2012-02-14 2012-02-14 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012029966A JP5803723B2 (ja) 2012-02-14 2012-02-14 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置

Publications (2)

Publication Number Publication Date
JP2013167494A true JP2013167494A (ja) 2013-08-29
JP5803723B2 JP5803723B2 (ja) 2015-11-04

Family

ID=49178007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012029966A Active JP5803723B2 (ja) 2012-02-14 2012-02-14 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置

Country Status (1)

Country Link
JP (1) JP5803723B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267043A (zh) * 2014-10-16 2015-01-07 东南大学 一种混凝土桥梁裂纹的移动检测装置
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
JP2016133320A (ja) * 2015-01-16 2016-07-25 株式会社日立システムズ 損傷状況判定システム及び損傷状況判断方法
JP2016211955A (ja) * 2015-05-08 2016-12-15 古河電気工業株式会社 橋梁点検支援装置、橋梁点検支援方法、橋梁点検支援システム、およびプログラム
JP2016217801A (ja) * 2015-05-18 2016-12-22 エヌ・ティ・ティ・アドバンステクノロジ株式会社 全方位移動型ロボットと3次元カメラシステムによる変状検知システム
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
JP2018154979A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、評価システム、情報処理方法およびプログラム
WO2019021719A1 (ja) * 2017-07-27 2019-01-31 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP2019039936A (ja) * 2015-09-10 2019-03-14 富士フイルム株式会社 損傷情報抽出装置、損傷情報抽出方法および損傷情報抽出プログラム
JPWO2022070230A1 (ja) * 2020-09-29 2022-04-07

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6449909A (en) * 1987-08-20 1989-02-27 Komatsu Mfg Co Ltd Automatic analyzing device for road surface state
JPH09196647A (ja) * 1996-01-23 1997-07-31 Mitsubishi Heavy Ind Ltd 路面性状測定装置の計測データ解析装置
JP2005043324A (ja) * 2003-07-25 2005-02-17 Matsushita Electric Ind Co Ltd 路面損傷状態点検方法及び路面損傷位置の特定方法
JP2006112127A (ja) * 2004-10-15 2006-04-27 Hitachi Ltd 道路管理システム
US20080184785A1 (en) * 2007-02-01 2008-08-07 Wee Seong-Dong Apparatus for automatically inspecting road surface pavement condition
JP2011179874A (ja) * 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd 舗装路面のクラックの抽出と損傷レベルの評価方法
JP2011246908A (ja) * 2010-05-25 2011-12-08 Takeda Design And Manufacturing Co Ltd 橋梁点検装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6449909A (en) * 1987-08-20 1989-02-27 Komatsu Mfg Co Ltd Automatic analyzing device for road surface state
JPH09196647A (ja) * 1996-01-23 1997-07-31 Mitsubishi Heavy Ind Ltd 路面性状測定装置の計測データ解析装置
JP2005043324A (ja) * 2003-07-25 2005-02-17 Matsushita Electric Ind Co Ltd 路面損傷状態点検方法及び路面損傷位置の特定方法
JP2006112127A (ja) * 2004-10-15 2006-04-27 Hitachi Ltd 道路管理システム
US20080184785A1 (en) * 2007-02-01 2008-08-07 Wee Seong-Dong Apparatus for automatically inspecting road surface pavement condition
JP2011179874A (ja) * 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd 舗装路面のクラックの抽出と損傷レベルの評価方法
JP2011246908A (ja) * 2010-05-25 2011-12-08 Takeda Design And Manufacturing Co Ltd 橋梁点検装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267043A (zh) * 2014-10-16 2015-01-07 东南大学 一种混凝土桥梁裂纹的移动检测装置
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
JP2016133320A (ja) * 2015-01-16 2016-07-25 株式会社日立システムズ 損傷状況判定システム及び損傷状況判断方法
JP2016211955A (ja) * 2015-05-08 2016-12-15 古河電気工業株式会社 橋梁点検支援装置、橋梁点検支援方法、橋梁点検支援システム、およびプログラム
JP2016217801A (ja) * 2015-05-18 2016-12-22 エヌ・ティ・ティ・アドバンステクノロジ株式会社 全方位移動型ロボットと3次元カメラシステムによる変状検知システム
JP2019039936A (ja) * 2015-09-10 2019-03-14 富士フイルム株式会社 損傷情報抽出装置、損傷情報抽出方法および損傷情報抽出プログラム
JPWO2017221706A1 (ja) * 2016-06-24 2019-02-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
JP2020030855A (ja) * 2016-06-24 2020-02-27 富士フイルム株式会社 損傷図編集装置及びプログラム
JP2021114320A (ja) * 2016-06-24 2021-08-05 富士フイルム株式会社 サーバ装置、画像処理方法、及びプログラム
JP7146013B2 (ja) 2016-06-24 2022-10-03 富士フイルム株式会社 サーバ装置、画像処理方法、及びプログラム
JP2018154979A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、評価システム、情報処理方法およびプログラム
WO2019021719A1 (ja) * 2017-07-27 2019-01-31 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
JPWO2019021719A1 (ja) * 2017-07-27 2020-04-16 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
JPWO2022070230A1 (ja) * 2020-09-29 2022-04-07
WO2022070230A1 (ja) * 2020-09-29 2022-04-07 日本電気株式会社 路面管理装置、路面管理方法、端末装置、及び、記録媒体
JP7364093B2 (ja) 2020-09-29 2023-10-18 日本電気株式会社 路面管理装置、路面管理システム、端末装置、路面管理方法、及び、プログラム

Also Published As

Publication number Publication date
JP5803723B2 (ja) 2015-11-04

Similar Documents

Publication Publication Date Title
JP5803723B2 (ja) 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置
JP4333599B2 (ja) 情報処理装置、情報処理方法
US9058501B2 (en) Method, apparatus, and computer program product for determining media item privacy settings
JP2010277442A (ja) 建設検査システム、携帯端末、建設検査方法およびプログラム
JP2013502666A (ja) デジタル画像ファイルに関連する地理的な位置情報の処理
JP6180647B2 (ja) クラウドポイントを利用した屋内地図構築装置および方法
JP2011170540A (ja) 検査システム及び方法、管理サーバ、携帯端末、プログラム、並びに記憶媒体
JP2003158655A (ja) 撮像装置
KR20090019184A (ko) 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체.
JP2008513852A (ja) 写真中の対象体を識別する方法及びシステム,並びにそのシステムを実現するためのプログラム,記録媒体,端末及びサーバ
CN108028881A (zh) 摄像辅助***、装置及方法、以及摄像终端
JP2013164786A (ja) 構造物撮影支援方法、構造物撮影支援プログラム及び構造物撮影支援装置
TW200806027A (en) Imaging/reproducing device
JP4866396B2 (ja) タグ情報付加装置、タグ情報付加方法及びコンピュータプログラム
JP2011188171A (ja) デジタル写真データ処理装置、デジタル写真データサーバ、デジタル写真データ処理システムおよびデジタル写真データ処理方法
JP2009134333A (ja) デジタル写真共有システム装置
JP2006332789A (ja) 映像撮影方法及び装置及びプログラム及びプログラムを格納した記憶媒体
JP2011119832A (ja) 画像表示装置および画像表示方法
KR100642987B1 (ko) 영상단말기의 파일 정렬 방법 및 장치
JP6269024B2 (ja) 情報処理装置及び情報処理プログラム
JP2008242682A (ja) メタ情報自動付与システム、メタ情報自動付与方法、及びメタ情報自動付与プログラム
JP2009177611A (ja) デジタルカメラ
JP2016100730A (ja) 動画撮影装置、動画再生装置及び位置情報編集装置
JP2004242288A (ja) 映像再生装置および映像記録再生装置
JP5838844B2 (ja) 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5803723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150