JP2017227595A - 損傷図作成支援システム及び損傷図作成支援方法 - Google Patents
損傷図作成支援システム及び損傷図作成支援方法 Download PDFInfo
- Publication number
- JP2017227595A JP2017227595A JP2016125534A JP2016125534A JP2017227595A JP 2017227595 A JP2017227595 A JP 2017227595A JP 2016125534 A JP2016125534 A JP 2016125534A JP 2016125534 A JP2016125534 A JP 2016125534A JP 2017227595 A JP2017227595 A JP 2017227595A
- Authority
- JP
- Japan
- Prior art keywords
- damage
- unit
- drawing data
- coordinate system
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Image Processing (AREA)
Abstract
【課題】本発明は、損傷図を迅速かつ容易に作成できる損傷図作成支援システム及び損傷図作成支援方法を提供することを目的とする。【解決手段】本発明の一の態様に係る損傷図作成支援システムでは、損傷を局所座標系(カメラ座標系)からグローバル座標系(橋梁座標系)に変換して図面データにマッピングするので、ユーザが画像と図面データとを対応付けする必要がなく、またマッピングされた損傷に関する損傷情報を図面データに入力できるので、損傷図を効率的に作成することができる。さらに、ステレオ画像、図面データ、損傷、及び損傷情報が関連づけて表示されるので、これらの対応関係を容易に把握することができる。このようにして、本発明の一の態様に係る損傷図作成支援システムでは損傷図を迅速かつ容易に作成することができる。【選択図】 図7
Description
本発明は構造物の損傷図の作成を支援するシステム及び方法に関し、特に構造物のステレオ画像に基づいて損傷図の作成を支援するシステム及び方法に関するものである。
橋梁などの構造物は時間とともに劣化するため、定期的に検査をして劣化の状況を把握する必要がある。そして従来の検査では、構造物について野帳を事前に作成しておき、現場では損傷の測定、損傷の画像取得、及び野帳への記入等を行い、野帳に記入した事項を執務室で図面に記入して最終的に損傷図を作成する、といった作業が行われてきた。しかしながらこのような方法では、作業員の作業負荷が高く、また取得したデータ及び画像の管理が困難であるという問題があった。
このため、構造物の点検及び損傷図の作成を支援する技術が提案されている。例えば、特許文献1に記載の技術では、構造物の画像とCAD(Computer-Aided Design)図面とを対応付け、画像上でトレースした変状(損傷)がCAD図面に写像されるようにしている。
しかしながら、上述した特許文献1ではユーザが構造物の画像をCAD図面にドラッグ及びドロップすることにより対応付けを行っており、また画像中の特徴点と、CAD図面において特徴点に対応すると点をユーザが指定することにより写像関係を求めているため、画像の数が多いとユーザの作業負荷が高くなるという問題があった。また損傷図には各種の損傷情報を入力する必要があるが、特許文献1では取り扱う情報が少数の計測結果に限られており、損傷図の作成には十分ではなかった。
このように、従来の技術は損傷図を迅速かつ容易に作成できるものではなかった。
本発明はこのような事情に鑑みてなされたもので、損傷図を迅速かつ容易に作成できる損傷図作成支援システム及び損傷図作成支援方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る損傷図作成支援システムは、ロボットに搭載され、構造物を撮影してステレオ画像を取得するステレオカメラと、ロボットを構造物を基準とした座標系に従って移動させるロボット移動部と、ステレオカメラの姿勢を制御する姿勢制御部と、構造物のサイズ情報を示す線図情報を含む図面データを入力する図面データ入力部と、取得したステレオ画像において損傷を指定する損傷指定部と、ステレオカメラを基準とした局所座標系における損傷の局所座標を算出する局所座標算出部と、損傷の局所座標を、ロボットを移動させる際の基準となる座標系であって、図面データを規定する座標系であるグローバル座標系におけるグローバル座標に変換する座標変換部と、グローバル座標により表された損傷を図面データにマッピングするマッピング部と、図面データにマッピングされた損傷に関する損傷情報を図面データに入力する損傷情報入力部と、取得したステレオ画像、入力した図面データ、マッピングされた損傷、及び入力した損傷情報を関連づけて表示する表示部と、を備える。
第1の態様に係る損傷図作成支援システムでは、局所座標系における損傷を、図面データを規定する座標系であるグローバル座標系に変換して図面データにマッピングするので、ユーザが画像と図面データとを対応付けする必要がなく、またマッピングされた損傷に関する損傷情報を図面データに入力できるので、損傷図を効率的に作成することができる。さらに、ステレオ画像、図面データ、損傷、及び損傷情報が関連づけて表示されるので、これらの対応関係を容易に把握することができる。このようにして、第1の態様に係る損傷図作成支援システムでは損傷図を迅速かつ容易に作成することができる。
第1の態様において、ステレオカメラが搭載されるロボットとしては構造物の延伸方向及びその直交方向(水平方向及び垂直方向)に移動するロボットを用いることができ、ステレオカメラの姿勢制御はパン(pan)及びチルト(tilt)により行うことができる。また第1の態様において、損傷図に関する時系列のデータ(例えばステレオ画像、損傷情報、及び損傷がマッピングされ損傷情報が入力された図面データ)を記録部に記録しておき、ユーザの要求に応じて表示部に表示してもよい。また、図面データはCAD(Computer-Aided Design)図面データでもよい。
なお第1の態様において、構造物の例としては橋梁及びトンネルのようなコンクリート構造物を挙げることができる。
第2の態様に係る損傷図作成支援システムは第1の態様において、図面データは構造物をステレオ画像の撮影方向と反対側から見た状態を示す図面データである。第2の態様によれば、図面データが構造物をステレオ画像の撮影方向と反対側から見た状態を示す状況において、撮影したステレオ画像における損傷の局所座標を、図面データを規定するグローバル座標に変換してマッピングするので、ユーザは損傷を図面データの座標系に合わせて入力する(撮影方向と反対側から見た状態に直して入力する)必要がなく、損傷図を迅速かつ容易に作成することができる。なお「図面データが構造物をステレオ画像の撮影方向と反対側から見た状態を示す状況」としては、例えば橋梁の下方から床版等の部材を撮影し、またはトンネル内からトンネルの壁面を撮影するのに対して、図面データは構造物を上方から見下ろす座標系で規定される、という状況を挙げることができる。
第3の態様に係る損傷図作成支援システムは第1または第2の態様において、指定された損傷を計測する計測部をさらに備え、損傷情報入力部は計測部による計測結果を損傷情報として入力する。第3の態様によれば、計測部による計測結果が入力されるので、損傷図を迅速かつ容易に作成することができる。なお計測及び入力の項目としては、例えば損傷の位置、形状、寸法、及び面積を挙げることができるが、これらに限定されるものではない。
第4の態様に係る損傷図作成支援システムは第1から第3の態様のいずれか1つにおいて、損傷指定部は図面データにマッピングされた損傷の指定を受け付け、損傷情報入力部は、指定を受け付けた損傷について構造物の部材名、損傷の種類、及び損傷の程度を含む損傷情報を図面データに入力する。
第5の態様に係る損傷図作成支援システムは第1から第4の態様のいずれか1つにおいて、損傷指定部は図面データにマッピングされた損傷の指定を受け付け、表示部は、指定を受け付けた損傷が撮影されたステレオ画像を表示する。第5の態様によれば、図面データにマッピングされた損傷に対応するステレオ画像を容易に確認することができる。なお第5の態様において、図面データに合わせてステレオ画像をグローバル座標系に座標変換し、図面データに合わせた形式で表示してもよい。これにより画像と図面データの対応を容易に確認することができる。
第6の態様に係る損傷図作成支援システムは第1から第5の態様のいずれか1つにおいて、座標変換部は、ステレオカメラがステレオ画像を取得した際の局所座標系とグローバル座標系との関係を取得し、取得した関係に基づいて変換を行う。第6の態様は座標変換の具体的処理を規定するもので、「局所座標系とグローバル座標系との関係」の例としては、一方の座標系における他方の座標系の原点の位置及び座標軸の方向を挙げることができる。これらの情報は、ロボット移動部によるロボットの移動方向及び移動量、及び姿勢制御部によるステレオカメラの姿勢(例えば、パン角度及びチルト角度)から算出することができる。なお、このようにして取得した座標系同士の関係に基づいてステレオ画像と図面データの対応付け(ステレオ画像で撮影された箇所が図面データのどの部分に対応しているかを判断すること)を行うことができる。
第7の態様に係る損傷図作成支援システムは第1から第6の態様のいずれか1つにおいて、損傷指定部はステレオ画像において選択された領域に含まれる損傷、ステレオ画像において選択された点を含む損傷、及びステレオ画像においてトレースされた損傷をマッピングの対象として指定する。第7の態様は図面データにマッピングする損傷の具体的な選択手法を示すもので、例えばマウス等のポインティングデバイスを介したユーザの指示入力によりこのような選択を行うことができる。
第8の態様に係る損傷図作成支援システムは第1から第7の態様のいずれか1つにおいて、座標変換部は図面データを局所座標系に座標変換し、表示部は局所座標系に座標変換された図面データを表示する。第8の態様では図面データを局所座標系(ステレオ画像と同一の座標系)に変換して表示するので、図面データとステレオ画像との比較を容易に行うことができる。
第9の態様に係る損傷図作成支援システムは第1から第8の態様のいずれか1つにおいて、損傷情報は取得した画像の識別情報、損傷の識別情報、損傷が発生している部材の識別情報、損傷の種類、損傷の程度のうち少なくとも1つを含む。第9の態様は損傷情報の具体的内容を規定したもので、これらの情報を入力することで、構造物の点検に有用な損傷図を迅速かつ容易に作成することができる。
上述した目的を達成するため、本発明の第10の態様に係る損傷図作成支援方法は、ステレオカメラを搭載したロボットを、構造物を基準とした座標系に従って移動させるロボット移動工程と、ステレオカメラの姿勢を制御する姿勢制御工程と、ステレオカメラにより構造物を撮影してステレオ画像を取得するステレオ画像取得工程と、構造物のサイズ情報を示す線図情報を含む図面データを入力する図面データ入力工程と、取得したステレオ画像において損傷を指定する損傷指定工程と、ステレオカメラを基準とした局所座標系における損傷の局所座標を算出する局所座標算出工程と、損傷の局所座標を、ロボットを移動させる際の基準となる座標系であって、図面データを規定する座標系であるグローバル座標系におけるグローバル座標に変換する座標変換工程と、グローバル座標により表された損傷を図面データにマッピングするマッピング工程と、図面データにマッピングされた損傷に関する損傷情報を図面データに入力する損傷情報入力工程と、取得したステレオ画像、入力した図面データ、マッピングされた損傷、及び入力した損傷情報を関連づけて表示する表示工程と、を備える。
第10の態様によれば、第1の態様と同様にして損傷図を迅速かつ容易に作成することができる。
第11の態様に係る損傷図作成支援方法は第10の態様において、図面データは構造物をステレオ画像の撮影方向と反対側から見た状態を示す図面データである。第11の態様によれば、第2の態様と同様に損傷図を迅速かつ容易に作成することができる。なお第10及び第11の態様において、上述した第3から第9の態様に対応する構成をさらに備えるようにしてもよい。
本発明の損傷図作成支援システム及び損傷図作成支援方法によれば、損傷図を迅速かつ容易に作成することができる。
以下、添付図面に従って本発明に係る損傷図作成支援システム及び損傷図作成支援方法の実施形態について説明する。
[橋梁の構造]
図1は、検査対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
図1は、検査対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。
主桁2は、橋台または橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4及び横構5は、それぞれ風及び地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。
[ロボット装置の外観]
図2は、二眼カメラを含むロボット装置の外観を示す斜視図であり、橋梁1の主桁2間に設置されている状態に関して示している。また、図3は、図2に示したロボット装置の要部断面図である。
図2は、二眼カメラを含むロボット装置の外観を示す斜視図であり、橋梁1の主桁2間に設置されている状態に関して示している。また、図3は、図2に示したロボット装置の要部断面図である。
図2及び図3に示すようにロボット装置100は、撮像装置200を備え、撮像装置200の3次元空間内の位置(撮影位置)を制御するとともに、撮像装置200による撮影方向を制御し、橋梁1の点検時に、複数の部材から構成された橋梁1の任意の部材等を撮影するものである。
ロボット装置100は、後に詳しく説明するが、主フレーム102と、垂直伸延アーム104と、垂直伸延アーム104の駆動部及び各種の制御部等が配設された筐体106と、ロボット装置100全体を主桁2の長手方向(Gx軸方向)に移動させるX方向駆動部108(図5;ロボット移動部)と、筐体106を主フレーム102の長手方向(主桁2の長手方向と直交する方向)(Gy軸方向)に移動させるY方向駆動部110(図5;ロボット移動部)と、垂直伸延アーム104を垂直方向(Gz軸方向)に伸縮させるZ方向駆動部112(図5;ロボット移動部)とを備えている。なお、原点Go(CAD図面の左下)及び座標軸(Gx,Gy,Gz)から構成される座標系は、ロボット装置100を移動させる際の基準となる座標系であり、また後述するCAD図面を規定する座標系であるグローバル座標系である(図8参照)。
X方向駆動部108は、主フレーム102の両端にそれぞれ配設されたタイヤ108A,108Bと、タイヤ108A,108B内に配設されたモータ(図示せず)とから構成され、タイヤ108A,108Bをモータ駆動することによりロボット装置100全体をGx軸方向に移動させる。
Y方向駆動部110は、主フレーム102の長手方向(Gy軸方向)に配設されたボールネジ110Aと、筐体106に配設されたボールナット110Bと、ボールネジ110Aを回転させるモータ110Cとから構成され、モータ110Cによりボールネジ110Aを正転または逆転させることにより、筐体106をGy軸方向に移動させる。
なお、ロボット装置100は、主フレーム102の両端のタイヤ108A,108Bが、2箇所の主桁2の下フランジ上に載置され、かつ主桁2を挟む態様で設置される。これにより、ロボット装置100は、主桁2の下フランジに懸垂して、主桁2に沿って移動(自走)することができる。また、主フレーム102は、図示しないが、主桁2の間隔に合わせて長さが調整可能に構成されている。
垂直伸延アーム104は、ロボット装置100の筐体106に配設されており、筐体106とともにGx軸方向及びGy軸方向に移動する。また、垂直伸延アーム104は、筐体106内に設けられたZ方向駆動部112(図5)によりGz軸方向に伸縮する。
図4に示すように垂直伸延アーム104の先端には、カメラ設置部104Aが設けられており、カメラ設置部104Aには、パンチルト機構120によりパン方向(パン軸Pの周り)及びチルト方向(チルト軸Tの周り)に回転可能な二眼カメラ202(ステレオカメラ)が設置されている。
二眼カメラ202は、視差を有する2枚の画像(ステレオ画像)を撮影する第1の撮像部202A及び第2の撮像部202Bを有する。また、撮影される2つの画像のうちの少なくとも一方の画像を、点検調書に添付する「点検画像」として取得する。
また、二眼カメラ202は、パンチルト駆動部206(図5)から駆動力が加えられるパンチルト機構120により垂直伸延アーム104と同軸のパン軸Pを中心に回転し、あるいは水平方向のチルト軸Tを中心に回転する。これにより、二眼カメラ202は任意の姿勢にて撮影(任意の撮影方向の撮影)ができる。
本例の二眼カメラ202の第1の撮像部202Aの光軸L1と、第2の撮像部202Bの光軸L2とはそれぞれ平行である。また、パン軸Pは、チルト軸Tと直交している。さらに、二眼カメラ202の基線長(即ち、第1の撮像部202Aと第2の撮像部202Bとの設置間隔)は既知である。
また、二眼カメラ202を基準にしたカメラ座標系(局所座標系)は、第1の撮像部202Aと第2の撮像部202Bとの中心(パン軸Pとチルト軸Tとの交点)を原点Loとし、チルト軸Tの方向をLy軸(Y軸)、パン軸Pの方向をLz軸(Z軸)、Ly軸及びLz軸にそれぞれ直交する方向(第1の撮像部202Aの光軸L1及び第2の撮像部202Bの光軸L2に平行な方向)をLx軸(X軸)とする。また、二眼カメラ202のLy軸周りの回転角度をβとし、Lz軸周りの回転角度をγとする。回転角度βはチルト角度であり、回転角度γはパン角度である。なお二眼カメラ202は、Lx軸周りには回転しない(回転角度α=0)構造となっている。
二眼カメラ202の橋梁座標系(グローバル座標系)における位置(カメラ座標系の原点Loの位置;以下「撮影位置」という)は、全地球測位システム(GPS:Global Positioning System)(以下、「GPS装置」という)により検出することができる。また、上述したグローバル座標系の原点Goに対するロボット装置100のGx方向及びGy方向の移動量、垂直伸延アーム104のGz方向の移動量により撮影位置を検出することもできる。また、二眼カメラ202による撮影方向は、パンチルト機構のパン角度(回転角度γ)及びチルト角度(回転角度β)により検出することができ、また二眼カメラ202に搭載した方位センサ(図示せず)により検出することもできる。
<損傷図作成支援システムの構成>
図5は、本実施形態に係る損傷図作成支援システム10の実施形態を示すブロック図である。
図5は、本実施形態に係る損傷図作成支援システム10の実施形態を示すブロック図である。
図5に示すように損傷図作成支援システム10は、ロボット装置100側のロボット制御部130(ロボット移動部)、X方向駆動部108(ロボット移動部)、Y方向駆動部110(ロボット移動部)、及びZ方向駆動部112(ロボット移動部)と、撮像装置200側の二眼カメラ202、撮影制御部204、パンチルト制御部210(姿勢制御部)、及びパンチルト駆動部206(姿勢制御部)と、ロボット側通信部230と、端末装置300とから構成されている。
<ロボット装置の構成>
ロボット側通信部230は、端末側通信部310との間で双方向の無線通信を行い、端末側通信部310から送信されるロボット装置100の移動を制御する移動指令、パンチルト機構120を制御するパンチルト指令、二眼カメラ202を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。なお、端末装置300の詳細については後述する。
ロボット側通信部230は、端末側通信部310との間で双方向の無線通信を行い、端末側通信部310から送信されるロボット装置100の移動を制御する移動指令、パンチルト機構120を制御するパンチルト指令、二眼カメラ202を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。なお、端末装置300の詳細については後述する。
ロボット制御部130は、ロボット側通信部230から入力する移動指令に基づいてX方向駆動部108、Y方向駆動部110、及びZ方向駆動部112を制御し、ロボット装置100をGx軸方向及びGy軸方向に移動させるとともに、垂直伸延アーム104をGz軸方向に伸縮させる(図2参照)。
パンチルト制御部210は、ロボット側通信部230から入力するパンチルト指令に基づいてパンチルト駆動部206を介してパンチルト機構120をパン方向及びチルト方向に動作させ、二眼カメラ202を撮影方向にパンチルトさせる(図4参照)。
撮影制御部204は、ロボット側通信部230から入力する撮影指令に基づいて、二眼カメラ202の第1の撮像部202A及び第2の撮像部202Bにライブビュー画像または点検画像を撮影させる。
橋梁1の点検時に二眼カメラ202の第1の撮像部202A及び第2の撮像部202Bにより撮影された、視差を有する第1の画像IL及び第2の画像IR(ステレオ画像)を示す画像データと、撮影時における二眼カメラ202の撮影位置(橋梁座標系におけるカメラ座標系の原点Loの位置)及び撮影方向(本例では、パン角度及びチルト角度)を示す情報とは、それぞれロボット側通信部230を介して端末側通信部310に送信される。これらの情報は、座標系の関係を示す情報として、カメラ座標系(局所座標系)から橋梁座標系(グローバル座標系)への変換(図7のステップS200)の際に用いられる。なお、上述した情報と併せて、撮影日時を示す情報が画像に関連づけて(例えば、画像ファイルのヘッダ部分に撮影日時の情報を記録する)送信される。
<端末装置の構成>
端末装置300は、損傷図作成支援システム10を操作する点検者により操作されるもので、主として端末側通信部310と、端末制御部320(ロボット移動部、姿勢制御部、図面データ入力部、損傷指定部、局所座標算出部、座標変換部、マッピング部、損傷情報入力部、表示部、計測部)と、操作部330(損傷指定部、損傷情報入力部)と、表示部340(表示部)と、記録部350とから構成されており、例えば、ノート型PC(Personal Computer)及び/またはタブレット端末を用いることができる。
端末装置300は、損傷図作成支援システム10を操作する点検者により操作されるもので、主として端末側通信部310と、端末制御部320(ロボット移動部、姿勢制御部、図面データ入力部、損傷指定部、局所座標算出部、座標変換部、マッピング部、損傷情報入力部、表示部、計測部)と、操作部330(損傷指定部、損傷情報入力部)と、表示部340(表示部)と、記録部350とから構成されており、例えば、ノート型PC(Personal Computer)及び/またはタブレット端末を用いることができる。
端末側通信部310は、ロボット側通信部230との間で双方向の無線通信を行い、ロボット側通信部230が入力する各種の情報(第1の撮像部202A及び第2の撮像部202Bにより撮影されたライブビュー画像、第1の画像IL及び第2の画像IRを示す画像データ、二眼カメラ202の撮影位置及び撮影方向を示す情報)を受信するとともに、端末制御部320を介して入力する操作部330での操作に応じた各種の指令をロボット側通信部230に送信する。
端末制御部320は、端末側通信部310を介して受信したライブビュー画像を示す画像データを表示部340に出力し、表示部340の画面にライブビュー画像を表示させる。操作部330は、ロボット操作入力部、パンチルト操作入力部及び撮影操作入力部を有し、ロボット操作入力部は、ロボット装置100(二眼カメラ202)をGx軸方向、Gy軸方向、及びGz軸方向に移動させる移動指令を出力し、パンチルト操作入力部は、パンチルト機構120(二眼カメラ202)をパン方向及びチルト方向に回転させるパンチルト指令を出力し、撮影操作入力部は、二眼カメラ202による点検画像の撮影を指示する撮影指令を出力する。点検者は、表示部340に表示されるライブビュー画像を見ながら操作部330を手動操作し、操作部330は、点検者による操作に応じて二眼カメラ202のGx軸方向、Gy軸方向、及びGz軸方向の移動指令、パンチルト指令、及び撮影指令等の各種の指令を端末制御部320に出力する。端末制御部320は、操作部330から入力する各種の指令を端末側通信部310を介してロボット側通信部230に送信する。
図6は、図5に示した端末制御部320の機能を示すブロック図である。機能の端末制御部320は、二眼カメラ202を介したステレオ画像の取得を制御する画像取得部320Aと、記録部350に記録されたCAD図面データの取得を制御するCAD図面データ入力部320B(図面データ入力部)と、ロボット装置100の移動を制御する移動制御部320C(ロボット移動部)と、二眼カメラ202の撮影姿勢を制御する姿勢制御部320D(姿勢制御部)と、取得したステレオ画像において損傷を指定する損傷指定部320E(損傷指定部)と、指定した損傷の局所座標(カメラ座標系における座標)を算出する局所座標算出部320F(局所座標算出部)と、損傷の局所座標をグローバル座標(橋梁座標系における座標)に変換する座標変換部320G(座標変換部)と、座標変換された損傷をCAD図面データにマッピングするマッピング部320H(マッピング部)と、損傷情報のCAD図面データへの入力を制御する損傷情報入力部320I(損傷情報入力部)と、損傷を計測する計測部320J(計測部)と、表示部340での表示を制御する表示制御部320K(表示部)と、を備える。
上述した端末制御部320の各部の機能は、例えば一または複数のCPU(Central Processing Unit)がEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照しつつROM(Read Only Memory)に記憶されたプログラム(本発明に係る損傷図作成支援方法を実行するプログラム)を実行することによって実現することができる。プログラムの実行の際には、例えばRAM(Random Access Memory)を一時記憶領域として用いることができる。端末制御部320のこれら各部は別個の部品(CPU等)に対応していてもよいし、一部または全部が共通の部品を用いていてもよい。端末制御部320による処理の詳細については後述する。
操作部330は、キーボード及びマウス等の操作用デバイス(不図示)を備え、損傷の指定等の操作に用いられる。表示部340は液晶モニタ等の表示デバイスを備え、撮影画像及びCAD図面データ等が表示される。また、記録部350は光磁気ディスク及び/または半導体メモリなどの記録媒体を用いた記録デバイスを含んで構成され、点検計画、CAD図面データ、ステレオ画像、損傷情報、及び損傷図の時系列データ等が互いに関連づけて記録される。記録部350に記録された情報は、損傷図作成支援システム10の処理に伴って随時読み書きされる。
<損傷図作成支援方法の処理>
次に、上述した構成の損傷図作成支援システム10による損傷図作成支援方法について、図7のフローチャートを参照しつつ説明する。操作部330を介したユーザの操作により橋梁1の点検計画が入力されると(ステップS100)、端末制御部320(CAD図面データ入力部320B)は、点検計画に対応したCAD図面(点検箇所を含むCAD図面)のデータを記録部350から読み出す(ステップS110:図面データ入力工程)。
次に、上述した構成の損傷図作成支援システム10による損傷図作成支援方法について、図7のフローチャートを参照しつつ説明する。操作部330を介したユーザの操作により橋梁1の点検計画が入力されると(ステップS100)、端末制御部320(CAD図面データ入力部320B)は、点検計画に対応したCAD図面(点検箇所を含むCAD図面)のデータを記録部350から読み出す(ステップS110:図面データ入力工程)。
橋梁1のCAD図面は、橋梁1のサイズ情報を示す線図情報、具体的には橋梁1の主桁2,横桁3,横構5,及び床版6の位置及び寸法(位置情報、サイズ情報)を示す線図により構成される簡易図面であり、空(橋梁1の上方)から橋梁1の床版6(車輌等の走行面側)を見下ろす形式、即ちグローバル座標系である橋梁座標系で表現される。すなわち、CAD図面は橋梁1をステレオ画像の撮影方向と反対側から見た状態を示す。図8に示すように、橋梁座標系はCAD図面の左下を原点Goとし、主桁2の長手方向をX軸方向(Gx軸方向)、床版6から上方(天頂方向)へ向かう方向をZ軸方向(Gz軸方向)、X軸及びZ軸と右手系を成す方向をY軸方向(Gy軸方向)とする。
端末制御部320(画像取得部320A,移動制御部320C,姿勢制御部320D)は、入力した点検計画に従ってロボット装置100(二眼カメラ202)を橋梁座標系(グローバル座標系)のGx軸方向、Gy軸方向、及びGz軸方向に移動させるとともに(ステップS120:ロボット移動工程)二眼カメラ202をパン軸P及び/またはチルト軸Tの周りに回転させ(ステップS130:姿勢制御工程)、橋梁1に設定した点検箇所のステレオ画像を取得する(ステップS140:ステレオ画像取得工程)。端末制御部320は、ステップS120からステップS140までの工程を点検計画に従った撮像が終了するまで(ステップS150でNoの間)繰り返す。なお、図7では便宜上ロボット移動、姿勢制御、ステレオ画像取得の順に記載しているが、点検箇所を撮影できるのであれば、これらの制御は上述の説明と異なる順番で行ってもよいし、複数の制御を同時に行ってもよい。
ステップS140で取得した撮影画像の例を図9に示す。図9は、主桁2に損傷D1が発生した状況を示している。なお、図9以降の図において撮影画像を示す場合、ステレオ画像を構成する2枚の画像を便宜上1つの画像として示す。
<損傷の指定>
撮影が終了したら(ステップS150でYes)、端末制御部320(損傷指定部320E)は、取得した画像における損傷を指定する(ステップS160:損傷指定工程)。損傷の指定は操作部330を介したユーザの指示入力に基づいて行うことができ、指定された損傷の位置が算出されてCAD図面にマッピングされる(ステップS170〜S210)。なお、撮影画像に損傷が複数存在する場合は、各損傷を指定する。
撮影が終了したら(ステップS150でYes)、端末制御部320(損傷指定部320E)は、取得した画像における損傷を指定する(ステップS160:損傷指定工程)。損傷の指定は操作部330を介したユーザの指示入力に基づいて行うことができ、指定された損傷の位置が算出されてCAD図面にマッピングされる(ステップS170〜S210)。なお、撮影画像に損傷が複数存在する場合は、各損傷を指定する。
図10は、画像中に領域を設定することにより損傷を指定する例を示す図である。具体的には、ユーザが操作部330のポインティングデバイス(不図示)により撮影画像の主桁2の部分に領域R1を設定する(例えば、マウスでトレースする)と、領域R1内の損傷D1が指定される。図11は損傷指定の他の例を示す図であり、ユーザが操作部330のポインティングデバイスにより損傷D1の内側の代表点P1を指定(例えば、マウスでクリック)すると、代表点P1を含む損傷D1が指定される。
<局所座標算出>
端末制御部320(局所座標算出部320F)は、指定された損傷のカメラ座標系での位置(局所座標)を算出する(ステップS170:局所座標算出工程)。ステップS170では、上述したステップS160で損傷指定に用いた代表点の座標を損傷の位置として算出することができる。具体的には、図10の例では領域R1の中心点を損傷D1の位置とし、図11の例では代表点P1の位置を損傷D1の位置とすることができる。
端末制御部320(局所座標算出部320F)は、指定された損傷のカメラ座標系での位置(局所座標)を算出する(ステップS170:局所座標算出工程)。ステップS170では、上述したステップS160で損傷指定に用いた代表点の座標を損傷の位置として算出することができる。具体的には、図10の例では領域R1の中心点を損傷D1の位置とし、図11の例では代表点P1の位置を損傷D1の位置とすることができる。
ステップS170において、図10,11の例のように中心その他の1つの代表点について局所座標を算出するのではなく、損傷の経路及び/または輪郭に沿って複数の代表点を指定し、それらの代表点について局所座標を算出してもよい。大きな(面積が広い、あるいは長さが長い)損傷及び/または形状が複雑な損傷にこのような処理を適用することで、損傷の位置、形状、及び大きさを正確にマッピングすることができる。図12は、そのようにして損傷D1の中心付近及び輪郭上において複数の代表点P1〜P5を指定した例である。
また、図13における損傷D2,D3,D4を図14のようにマウス等でトレースして損傷を指定し、トレースした線分上の代表点P6〜P18(各線分の始点、終点)を指定してもよい。また、このようにしてトレースした線分をベクトル化してもよい。損傷をトレースする場合、計測精度の要求等に応じてトレースの度合い(線分の数及び代表点の数)を変えてもよい。例えば、計測精度が要求されない場合は1つの損傷を1つの線分で表し、計測精度が要求される場合は損傷を複数の短い線分に分けて表すことができる。なお損傷D2〜D4は床版6のひび割れであり、図13,14は損傷D2〜D4の撮影画像(床版6を下方から撮影)を示す。したがって、橋梁座標系を基準とするCAD図面データにマッピングした状態では、損傷D2〜D4は図13,14を反転(ミラーリングあるいは鏡映反転)した状態で表示される(図20参照)。
このようにして指定した代表点の局所座標は、ステレオ画像である撮影画像における代表点の視差(カメラ座標系における3次元座標に対応)から算出することができる。
<損傷計測>
次に、端末制御部320(計測部320J)は指定された損傷を計測する(ステップS180:計測工程)。計測項目としては例えば長さ及び面積を挙げることができるが、これらに限定されるものではない。
次に、端末制御部320(計測部320J)は指定された損傷を計測する(ステップS180:計測工程)。計測項目としては例えば長さ及び面積を挙げることができるが、これらに限定されるものではない。
損傷の長さは、代表点同士の距離またはその和として算出することができる。図13に示す損傷D2の長さを計測する場合、図14に示すようにトレースして指定された代表点P6〜P9の位置に基づき、損傷D2の長さを(代表点P6,P7の距離)と、(代表点P7,P8の距離)と、(代表点P8,P9の距離)との和として算出することができる。
損傷の面積は、代表点を通る閉曲線の面積として算出することができる。例えば、図12のように損傷D1について代表点P1〜P5を指定した場合、図15のように代表点P2〜P5を通る閉曲線C1を設定し、この閉曲線について「1画素当たりの面積×閉曲線C1内の画素数」として損傷D1の面積を算出することができる。ここで、1画素当たりの面積は、ズーム倍率及び撮影距離等から算出することができる。なお図15の例において、閉曲線C1は操作部330を介したユーザ操作に基づいて設定してもよいし、端末制御部320(計測部320J)が代表点P2〜P5の位置に基づいて自動的に設定してもよい。
また、ユーザが操作部330を介して損傷の長さあるいは大きさを示す線分を設定し、この線分に基づいて端末制御部320(計測部320J)が面積を算出してもよい。例えば、図16に示すように損傷D1に対し直交する2本の線分Q1,Q2を設定し、これら線分Q1,Q2の長さの積として損傷D1の面積を算出することができる。この場合、1本の線分が示す長さは線分の両端の点の視差から算出することができる。また、損傷の長さ及び/または大きさ(径等)を1本の線分(図16の例では、線分Q1または線分Q2のみ)により算出してもよい。
上述した態様の他に、撮像条件に応じた長さ及び/または幅の指標(例えば、線分)を有するクラックスケールの画像を撮影画像に重畳表示してユーザが目視で損傷の長さ等を測定し、操作部330を介して測定結果を示す情報を入力することで、端末制御部320(計測部320J)が計測してもよい。
<損傷情報入力>
端末制御部320(損傷情報入力部320I)は、撮影画像に損傷情報を入力する(ステップS190:損傷情報入力工程)。ステップS190の処理は、ユーザが操作部330を介して入力した情報に基づいて、端末制御部320(損傷情報入力部320I)が行うことができる。例えば図17に示すように、損傷が発生している部材の部材名(主桁)及び識別情報(Mg0201)、損傷の種類(腐食)、損傷の程度(ランクb)、損傷を撮影した画像の識別情報(写-1)、及びステップS180で得られた計測結果(損傷の大きさ:0.2m×0.2m)を吹き出しB1に入力することができる。この際、橋梁座標系における橋梁1の各部材の位置情報と各部材を示す識別情報とが関連づけられた部材テーブルを記録部350に記録しておき、端末制御部320が撮影位置及び撮影方向に基づいてこの部材テーブルを参照して、部材の識別情報を自動的に入力してもよい。図17と同様に、図13,14に示す損傷D2〜D4について吹き出しB2に損傷情報を入力した例を図18に示す。
端末制御部320(損傷情報入力部320I)は、撮影画像に損傷情報を入力する(ステップS190:損傷情報入力工程)。ステップS190の処理は、ユーザが操作部330を介して入力した情報に基づいて、端末制御部320(損傷情報入力部320I)が行うことができる。例えば図17に示すように、損傷が発生している部材の部材名(主桁)及び識別情報(Mg0201)、損傷の種類(腐食)、損傷の程度(ランクb)、損傷を撮影した画像の識別情報(写-1)、及びステップS180で得られた計測結果(損傷の大きさ:0.2m×0.2m)を吹き出しB1に入力することができる。この際、橋梁座標系における橋梁1の各部材の位置情報と各部材を示す識別情報とが関連づけられた部材テーブルを記録部350に記録しておき、端末制御部320が撮影位置及び撮影方向に基づいてこの部材テーブルを参照して、部材の識別情報を自動的に入力してもよい。図17と同様に、図13,14に示す損傷D2〜D4について吹き出しB2に損傷情報を入力した例を図18に示す。
なお、上述の損傷情報は国土交通省作成の「橋梁定期点検要領(平成26年6月)」に従って入力することが好ましい。
端末制御部320(座標変換部320G,マッピング部320H,損傷情報入力部320I,計測部320J)は、上述の処理により得られた損傷情報をリスト化し、記録部350に記録する。このような損傷情報のリストの例を図19に示す。図19の例では、図17に示す損傷D1についての損傷情報と、図18に示す損傷D2〜D4についての損傷情報とがリスト化されている。このような損傷情報のリストは、操作部330を介したユーザの指示入力により端末制御部320(損傷情報入力部320I)が編集することができ、端末制御部320(損傷情報入力部320I,表示制御部320K)は編集結果を表示部340への表示に反映する。
後述するように、本実施形態に係る損傷図作成支援システム10ではこのようにして入力した損傷情報をCAD図面データに反映(入力)するので、損傷図を迅速かつ容易に作成することができる。なお、撮影画像に対し損傷情報を入力してそれをCAD図面データに反映するのではなく、CAD図面データに直接損傷情報を入力してもよい(後述)。
<座標変換>
次に、端末制御部320(座標変換部320G)は、ステップS170で算出した損傷のカメラ座標系での座標(局所座標)を橋梁座標系(グローバル座標系)での座標に変換する(ステップS200:座標変換工程)。(α,β,γ)をそれぞれ(Lx軸,Ly軸,Lz軸)周りの回転角とし、(gx0,gy0,gz0)を橋梁座標系におけるカメラ座標系の原点Loの位置、(lx,ly,lz)をカメラ座標系における損傷の位置(代表点の位置)としたときに、橋梁座標系での座標(gx,gy,gz)への変換式は以下の式(1)で表される。
次に、端末制御部320(座標変換部320G)は、ステップS170で算出した損傷のカメラ座標系での座標(局所座標)を橋梁座標系(グローバル座標系)での座標に変換する(ステップS200:座標変換工程)。(α,β,γ)をそれぞれ(Lx軸,Ly軸,Lz軸)周りの回転角とし、(gx0,gy0,gz0)を橋梁座標系におけるカメラ座標系の原点Loの位置、(lx,ly,lz)をカメラ座標系における損傷の位置(代表点の位置)としたときに、橋梁座標系での座標(gx,gy,gz)への変換式は以下の式(1)で表される。
なお、上述したように二眼カメラ202はLx軸周りには回転しない構造となっており、回転角度α=0なので、sinα=0,cosα=1となる。したがって、式(1)は以下の式(2)のように表すことができる。
式(1)、式(2)に用いる各パラメータの値(撮影時における撮影位置及び撮影方向)は、上述したロボット装置100のGx軸,Gy軸,及びGz軸方向の駆動量と、パン角度(回転角度γ)及びチルト角度(回転角度β)から算出することができる。
<マッピング>
ステップS200で橋梁座標系への座標変換が行われると、端末制御部320(マッピング部320H)は座標変換後の損傷をCAD図面データにマッピングする(ステップS210:マッピング工程)。これにより、CAD図面データが損傷の位置情報を有することとなる。また、端末制御部320(マッピング部320H,損傷情報入力部320I)は、マッピングと合わせて、上述した損傷情報を損傷の位置に関連づけてCAD図面データに入力する(ステップS210:損傷情報入力工程)。
ステップS200で橋梁座標系への座標変換が行われると、端末制御部320(マッピング部320H)は座標変換後の損傷をCAD図面データにマッピングする(ステップS210:マッピング工程)。これにより、CAD図面データが損傷の位置情報を有することとなる。また、端末制御部320(マッピング部320H,損傷情報入力部320I)は、マッピングと合わせて、上述した損傷情報を損傷の位置に関連づけてCAD図面データに入力する(ステップS210:損傷情報入力工程)。
<マッピング結果表示>
また、端末制御部320(マッピング部320H、表示制御部320K)はマッピング結果を表示部340に表示する(ステップS220:表示工程)。図20は、損傷D1、及び損傷D2〜D4がCAD図面データにマッピングされた様子を示す図である。図20では損傷を示すマークM1〜M4、及びステップS190で入力した損傷情報が表示されている。図20ではマークM1は損傷D1の位置のみを示しているが、損傷の面積及び/または形状を反映した大きさ及び/または形状のマークにしてもよい。一方、マークM2〜M4は損傷D2〜D4の位置、長さ、及び概略形状(トレースされた形状)を示している。なおCAD図面データは橋梁座標系(グローバル座標系)を基準としているので、図20は橋梁の床版をステレオ画像の撮影方向と反対側(天頂側)から見た状態を示しており、損傷D2〜D4は座標変換(ステップS200)により撮影画像(図13参照)を反転(ミラーリングあるいは鏡映反転)した状態で表示されている。
また、端末制御部320(マッピング部320H、表示制御部320K)はマッピング結果を表示部340に表示する(ステップS220:表示工程)。図20は、損傷D1、及び損傷D2〜D4がCAD図面データにマッピングされた様子を示す図である。図20では損傷を示すマークM1〜M4、及びステップS190で入力した損傷情報が表示されている。図20ではマークM1は損傷D1の位置のみを示しているが、損傷の面積及び/または形状を反映した大きさ及び/または形状のマークにしてもよい。一方、マークM2〜M4は損傷D2〜D4の位置、長さ、及び概略形状(トレースされた形状)を示している。なおCAD図面データは橋梁座標系(グローバル座標系)を基準としているので、図20は橋梁の床版をステレオ画像の撮影方向と反対側(天頂側)から見た状態を示しており、損傷D2〜D4は座標変換(ステップS200)により撮影画像(図13参照)を反転(ミラーリングあるいは鏡映反転)した状態で表示されている。
なお、上述のように各マークに関し損傷位置と撮影画像の識別情報とが関連づけられており、各マークを選択(操作部330を介したクリック等)すると、端末制御部320(表示制御部320K)が撮影画像(図9,13参照)を表示部340に表示する。撮影画像は撮影時の状態のままカメラ座標系で表示してもよいし、座標変換部320GがCAD図面データに合わせて橋梁座標系に変換して表示してもよい。また、このようにCAD図面データと撮影画像とを表示する場合、端末制御部320(座標変換部320G、表示制御部320K)がCAD図面データを撮影画像に合わせて局所座標系に座標変換して表示してもよい。例えばマークM2が選択された場合に、損傷D2が撮影された画像(図13)の向きに合わせて、CAD図面データを図21のように座標変換して表示することができる。
<撮影位置及び方向と損傷位置の表示>
本実施形態において、端末制御部320(表示制御部320K)は、図22のように撮影画像の撮影位置及び方向と、撮影された損傷の位置とをCAD図面データに入力した状態を示す図を表示部340に表示することもできる。図22では、床版6の格間番号(4桁の数字)、撮影番号(3桁の数字)、撮影位置(黒丸印)、撮影方向(黒丸印から灰色の丸印に至る扇型の記号)、及び損傷位置(灰色の丸印)が示されている。上述の図20と同様に、図22においても、損傷位置(灰色の丸印)をクリックすることにより表示制御部320Kが撮影画像(図9,13参照)を表示部340に表示する。撮影画像は、撮影時の状態のままカメラ座標系で表示してもよいし、座標変換部320GがCAD図面データに合わせて橋梁座標系に座標変換して表示してもよい。このとき、入力した損傷情報を併せて表示してもよい。
本実施形態において、端末制御部320(表示制御部320K)は、図22のように撮影画像の撮影位置及び方向と、撮影された損傷の位置とをCAD図面データに入力した状態を示す図を表示部340に表示することもできる。図22では、床版6の格間番号(4桁の数字)、撮影番号(3桁の数字)、撮影位置(黒丸印)、撮影方向(黒丸印から灰色の丸印に至る扇型の記号)、及び損傷位置(灰色の丸印)が示されている。上述の図20と同様に、図22においても、損傷位置(灰色の丸印)をクリックすることにより表示制御部320Kが撮影画像(図9,13参照)を表示部340に表示する。撮影画像は、撮影時の状態のままカメラ座標系で表示してもよいし、座標変換部320GがCAD図面データに合わせて橋梁座標系に座標変換して表示してもよい。このとき、入力した損傷情報を併せて表示してもよい。
<CAD図面データに対する損傷情報入力>
撮影画像に対して損傷情報を入力してこれをCAD図面データに反映するのではなく、CAD図面データに損傷情報を入力してもよい。図23は損傷D1をCAD図面データにマッピングした状態(損傷位置のみが入力された状態)である。この状態で操作部330によりマークM1を指定(クリック等)すると、図24に示すように端末制御部320(損傷情報入力部320I,表示制御部320K)が損傷情報の入力を促すメッセージを表示部340に表示し、入力が可能になる。損傷情報を入力した状態が図25である。
撮影画像に対して損傷情報を入力してこれをCAD図面データに反映するのではなく、CAD図面データに損傷情報を入力してもよい。図23は損傷D1をCAD図面データにマッピングした状態(損傷位置のみが入力された状態)である。この状態で操作部330によりマークM1を指定(クリック等)すると、図24に示すように端末制御部320(損傷情報入力部320I,表示制御部320K)が損傷情報の入力を促すメッセージを表示部340に表示し、入力が可能になる。損傷情報を入力した状態が図25である。
以上説明したように、本実施形態に係る損傷図作成支援システム10及び損傷図作成支援方法によれば、撮影画像における損傷(局所座標系であるカメラ座標系)がCAD図面データの座標系(グローバル座標系である橋梁座標系)に変換されてマッピングされ、また損傷情報が図面データに入力されるので、構造物の点検におけるユーザの野帳への記入、撮影、及び計測等の負担を軽減し、迅速かつ容易に損傷図を作成することができる。
<その他>
上述した実施形態では、撮影方向が橋梁1の下方からでありCAD図面データが橋梁1を情報から見下ろす形式で規定されるため、CAD図面データは橋梁1(構造物)を撮影方向と反対側から見た状態を示しているが、点検対象及び撮影方向によっては、CAD図面データが構造物を撮影方向と同じ側から見た状態を示す場合がある。このような状況の例としては、床版6の上面(車輌等が走行する面)を点検する場合、及び橋脚の鉛直方向に延伸する面を点検する場合を挙げることができる。これらの場合、局所座標系からグローバル座標系への座標変換において座標系の反転(ミラーリングあるいは鏡映反転)は不要であり、撮影に伴うステレオカメラの移動及び撮影箇所指向に伴う撮影方向の変更を考慮した座標変換を行えばよい。
上述した実施形態では、撮影方向が橋梁1の下方からでありCAD図面データが橋梁1を情報から見下ろす形式で規定されるため、CAD図面データは橋梁1(構造物)を撮影方向と反対側から見た状態を示しているが、点検対象及び撮影方向によっては、CAD図面データが構造物を撮影方向と同じ側から見た状態を示す場合がある。このような状況の例としては、床版6の上面(車輌等が走行する面)を点検する場合、及び橋脚の鉛直方向に延伸する面を点検する場合を挙げることができる。これらの場合、局所座標系からグローバル座標系への座標変換において座標系の反転(ミラーリングあるいは鏡映反転)は不要であり、撮影に伴うステレオカメラの移動及び撮影箇所指向に伴う撮影方向の変更を考慮した座標変換を行えばよい。
また、上述した実施形態では床版6等平面平板状の部材により構成される橋梁1を点検する場合について説明しているが、半円筒状のトンネルの壁面のように曲面状の構造物を点検する場合は、点検対象面を平面に展開して展開図を作成し、この平面状の展開図に対して損傷のマッピング及び損傷情報の入力を行うことが好ましい。
以上で本発明の例に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 損傷図作成支援システム
100 ロボット装置
102 主フレーム
104 垂直伸延アーム
104A カメラ設置部
106 筐体
108 X方向駆動部
108A タイヤ
108B タイヤ
110 Y方向駆動部
110A ボールネジ
110B ボールナット
110C モータ
112 Z方向駆動部
120 パンチルト機構
130 ロボット制御部
200 撮像装置
202 二眼カメラ
202A 第1の撮像部
202B 第2の撮像部
204 撮影制御部
206 パンチルト駆動部
210 パンチルト制御部
230 ロボット側通信部
300 端末装置
310 端末側通信部
320 端末制御部
320A 画像取得部
320B CAD図面データ入力部
320C 移動制御部
320D 姿勢制御部
320E 損傷指定部
320F 局所座標算出部
320G 座標変換部
320H マッピング部
320I 損傷情報入力部
320J 計測部
320K 表示制御部
330 操作部
340 表示部
350 記録部
B1 吹き出し
B2 吹き出し
C1 閉曲線
D1〜D4 損傷
Go 原点
Lo 原点
IL 第1の画像
IR 第2の画像
L1 光軸
L2 光軸
M1〜M4 マーク
P パン軸
T チルト軸
P1〜P18 代表点
Q1 線分
Q2 線分
R1 領域
S100〜S220 損傷図作成支援方法の各ステップ
α 回転角度
β 回転角度
γ 回転角度
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 損傷図作成支援システム
100 ロボット装置
102 主フレーム
104 垂直伸延アーム
104A カメラ設置部
106 筐体
108 X方向駆動部
108A タイヤ
108B タイヤ
110 Y方向駆動部
110A ボールネジ
110B ボールナット
110C モータ
112 Z方向駆動部
120 パンチルト機構
130 ロボット制御部
200 撮像装置
202 二眼カメラ
202A 第1の撮像部
202B 第2の撮像部
204 撮影制御部
206 パンチルト駆動部
210 パンチルト制御部
230 ロボット側通信部
300 端末装置
310 端末側通信部
320 端末制御部
320A 画像取得部
320B CAD図面データ入力部
320C 移動制御部
320D 姿勢制御部
320E 損傷指定部
320F 局所座標算出部
320G 座標変換部
320H マッピング部
320I 損傷情報入力部
320J 計測部
320K 表示制御部
330 操作部
340 表示部
350 記録部
B1 吹き出し
B2 吹き出し
C1 閉曲線
D1〜D4 損傷
Go 原点
Lo 原点
IL 第1の画像
IR 第2の画像
L1 光軸
L2 光軸
M1〜M4 マーク
P パン軸
T チルト軸
P1〜P18 代表点
Q1 線分
Q2 線分
R1 領域
S100〜S220 損傷図作成支援方法の各ステップ
α 回転角度
β 回転角度
γ 回転角度
Claims (11)
- ロボットに搭載され、構造物を撮影してステレオ画像を取得するステレオカメラと、
前記ロボットを前記構造物を基準とした座標系に従って移動させるロボット移動部と、
前記ステレオカメラの姿勢を制御する姿勢制御部と、
前記構造物のサイズ情報を示す線図情報を含む図面データを入力する図面データ入力部と、
前記取得したステレオ画像において損傷を指定する損傷指定部と、
前記ステレオカメラを基準とした局所座標系における前記損傷の局所座標を算出する局所座標算出部と、
前記損傷の局所座標を、前記ロボットを移動させる際の基準となる座標系であって、前記図面データを規定する座標系であるグローバル座標系におけるグローバル座標に変換する座標変換部と、
前記グローバル座標により表された前記損傷を前記図面データにマッピングするマッピング部と、
前記図面データにマッピングされた損傷に関する損傷情報を前記図面データに入力する損傷情報入力部と、
前記取得したステレオ画像、前記入力した図面データ、前記マッピングされた損傷、及び前記入力した損傷情報を関連づけて表示する表示部と、
を備える損傷図作成支援システム。 - 前記図面データは前記構造物を前記ステレオ画像の撮影方向と反対側から見た状態を示す図面データである請求項1に記載の損傷図作成支援システム。
- 前記指定された損傷を計測する計測部をさらに備え、前記損傷情報入力部は前記計測部による計測結果を前記損傷情報として入力する請求項1または2に記載の損傷図作成支援システム。
- 前記損傷指定部は前記図面データにマッピングされた損傷の指定を受け付け、
前記損傷情報入力部は、前記指定を受け付けた損傷について前記構造物の部材名、損傷の種類、及び損傷の程度を含む前記損傷情報を前記図面データに入力する請求項1から3のいずれか1項に記載の損傷図作成支援システム。 - 前記損傷指定部は前記図面データにマッピングされた損傷の指定を受け付け、
前記表示部は、前記指定を受け付けた損傷が撮影された前記ステレオ画像を表示する請求項1から4のいずれか1項に記載の損傷図作成支援システム。 - 前記座標変換部は、前記ステレオカメラが前記ステレオ画像を取得した際の前記局所座標系と前記グローバル座標系との関係を取得し、前記取得した関係に基づいて前記変換を行う請求項1から5のいずれか1項に記載の損傷図作成支援システム。
- 前記損傷指定部は前記ステレオ画像において選択された領域に含まれる損傷、前記ステレオ画像において選択された点を含む損傷、及び前記ステレオ画像においてトレースされた損傷を前記マッピングの対象として指定する請求項1から6のいずれか1項に記載の損傷図作成支援システム。
- 前記座標変換部は前記図面データを前記局所座標系に座標変換し、
前記表示部は前記局所座標系に座標変換された前記図面データを表示する請求項1から7のいずれか1項に記載の損傷図作成支援システム。 - 前記損傷情報は前記取得した画像の識別情報、前記損傷の識別情報、前記損傷が発生している部材の識別情報、前記損傷の種類、前記損傷の程度のうち少なくとも1つを含む請求項1から8のいずれか1項に記載の損傷図作成支援システム。
- ステレオカメラを搭載したロボットを、構造物を基準とした座標系に従って移動させるロボット移動工程と、
前記ステレオカメラの姿勢を制御する姿勢制御工程と、
前記ステレオカメラにより前記構造物を撮影してステレオ画像を取得するステレオ画像取得工程と、
前記構造物のサイズ情報を示す線図情報を含む図面データを入力する図面データ入力工程と、
前記取得したステレオ画像において損傷を指定する損傷指定工程と、
前記ステレオカメラを基準とした局所座標系における前記損傷の局所座標を算出する局所座標算出工程と、
前記損傷の局所座標を、前記ロボットを移動させる際の基準となる座標系であって、前記図面データを規定する座標系であるグローバル座標系におけるグローバル座標に変換する座標変換工程と、
前記グローバル座標により表された前記損傷を前記図面データにマッピングするマッピング工程と、
前記図面データにマッピングされた損傷に関する損傷情報を前記図面データに入力する損傷情報入力工程と、
前記取得したステレオ画像、前記入力した図面データ、前記マッピングされた損傷、及び前記入力した損傷情報を関連づけて表示する表示工程と、
を備える損傷図作成支援方法。 - 前記図面データは前記構造物を前記ステレオ画像の撮影方向と反対側から見た状態を示す図面データである請求項10に記載の損傷図作成支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016125534A JP2017227595A (ja) | 2016-06-24 | 2016-06-24 | 損傷図作成支援システム及び損傷図作成支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016125534A JP2017227595A (ja) | 2016-06-24 | 2016-06-24 | 損傷図作成支援システム及び損傷図作成支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017227595A true JP2017227595A (ja) | 2017-12-28 |
Family
ID=60889189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016125534A Pending JP2017227595A (ja) | 2016-06-24 | 2016-06-24 | 損傷図作成支援システム及び損傷図作成支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017227595A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110057515A (zh) * | 2019-03-22 | 2019-07-26 | 天津大学 | 一种基于深度学习的桥梁缺陷检测***和方法 |
JP2019159929A (ja) * | 2018-03-14 | 2019-09-19 | 株式会社リコー | 入力装置、診断システム、入力方法、及びプログラム |
JP2021051022A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社イクシス | 建物構造物診断システム |
WO2021176891A1 (ja) * | 2020-03-03 | 2021-09-10 | 富士フイルム株式会社 | 3次元表示装置、方法及びプログラム |
US11915411B2 (en) | 2018-04-11 | 2024-02-27 | Fujifilm Corporation | Structure management device, structure management method, and structure management program |
-
2016
- 2016-06-24 JP JP2016125534A patent/JP2017227595A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019159929A (ja) * | 2018-03-14 | 2019-09-19 | 株式会社リコー | 入力装置、診断システム、入力方法、及びプログラム |
JP7091734B2 (ja) | 2018-03-14 | 2022-06-28 | 株式会社リコー | 入力装置、診断システム、入力方法、及びプログラム |
US11915411B2 (en) | 2018-04-11 | 2024-02-27 | Fujifilm Corporation | Structure management device, structure management method, and structure management program |
CN110057515A (zh) * | 2019-03-22 | 2019-07-26 | 天津大学 | 一种基于深度学习的桥梁缺陷检测***和方法 |
JP2021051022A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社イクシス | 建物構造物診断システム |
JP7471570B2 (ja) | 2019-09-25 | 2024-04-22 | 株式会社イクシス | 建物構造物診断システム |
WO2021176891A1 (ja) * | 2020-03-03 | 2021-09-10 | 富士フイルム株式会社 | 3次元表示装置、方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10748269B2 (en) | Structure member specification device and structure member specification method | |
Kim et al. | SLAM-driven robotic mapping and registration of 3D point clouds | |
JP2017227595A (ja) | 損傷図作成支援システム及び損傷図作成支援方法 | |
CN111459166B (zh) | 一种灾后救援环境下含受困人员位置信息的情景地图构建方法 | |
CN105992900B (zh) | 用于计算装置的取向的***和方法 | |
JP6412474B2 (ja) | クラック幅計測システム | |
Lattanzi et al. | 3D scene reconstruction for robotic bridge inspection | |
Myung et al. | Paired structured light for structural health monitoring robot system | |
US10365090B2 (en) | Imaging device and imaging method | |
CN110977985A (zh) | 一种定位的方法及装置 | |
WO2018143263A1 (ja) | 撮影制御装置、撮影制御方法及びプログラム | |
JP6576474B2 (ja) | 撮影支援装置及び撮影支援方法 | |
JPWO2017126368A1 (ja) | 撮影支援装置及び撮影支援方法 | |
Shim et al. | Remote robotic system for 3D measurement of concrete damage in tunnel with ground vehicle and manipulator | |
JPWO2016189896A1 (ja) | ロボット装置及びロボット装置の移動制御方法 | |
US8467992B1 (en) | Vision based location and measurement device and methods | |
JP2980195B2 (ja) | 鉄筋径の計測方法及び装置 | |
JP2017151026A (ja) | 三次元情報取得装置、三次元情報取得方法、及びプログラム | |
KR102083366B1 (ko) | 맵 매칭을 이용한 배관 검열 로봇 장치 및 그 제어 방법 | |
JP2021039013A (ja) | 壁面のひび割れ測定機および測定方法 | |
US20230326098A1 (en) | Generating a digital twin representation of an environment or object | |
Chatterjee et al. | Viewpoint planning and 3D image stitching algorithms for inspection of panels | |
JP7503927B2 (ja) | 建設作業管理システムおよび自動巡回移動体 | |
Zhu et al. | Comparison of civil infrastructure optical-based spatial data acquisition techniques | |
CN115176281A (zh) | 三维显示装置、方法及程序 |