JP2023002856A - Structure inspection device - Google Patents
Structure inspection device Download PDFInfo
- Publication number
- JP2023002856A JP2023002856A JP2021099369A JP2021099369A JP2023002856A JP 2023002856 A JP2023002856 A JP 2023002856A JP 2021099369 A JP2021099369 A JP 2021099369A JP 2021099369 A JP2021099369 A JP 2021099369A JP 2023002856 A JP2023002856 A JP 2023002856A
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- inspection
- area
- image
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 54
- 239000011165 3D composite Substances 0.000 claims abstract description 36
- 238000013461 design Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 11
- 230000010365 information processing Effects 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Bridges Or Land Bridges (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、構造物を複数の撮影カメラにより撮影した画像に基づいて点検を行う点検装置に関する。 The present invention relates to an inspection device that inspects a structure based on images captured by a plurality of cameras.
橋梁や建造物等の構造物は、屋外に構築されているため、経年劣化等により表面が腐食が進行するようになる。近年、過去に構築された構造物の老朽化に伴う強度劣化が問題となっており、強度劣化の程度を点検する作業が実施されている。 Since structures such as bridges and buildings are built outdoors, their surfaces are subject to corrosion due to aged deterioration and the like. In recent years, deterioration of strength due to aging of structures built in the past has become a problem, and work to check the degree of strength deterioration has been carried out.
こうした点検作業では、構造物表面における外観観察、クラックの測定や打音検査といった点検が行われている。しかしながら、小規模の橋梁等の構造物のように、桁下空間が狭い構造物では、構造物表面が肉眼で見えづらい狭隘箇所での点検作業となり、正確な点検が困難となっている。 In such inspection work, inspections such as appearance observation, crack measurement, and hammering inspection on the surface of the structure are performed. However, in structures such as small-scale bridges and the like, where the space under the girders is narrow, the inspection work is performed in a narrow space where the surface of the structure is difficult to see with the naked eye, making accurate inspection difficult.
そのため、構造物表面を撮影カメラにより撮影した画像を用いて点検を行うことが提案されている。例えば、特許文献1では、水に浮かぶフロート部上に設けられ、橋梁の表面を下方から撮影するカメラを走行装置により移動させ、インフラ構造物を撮影する構造物検査装置が記載されている。また、特許文献2では、構造物の表面を打撃して点検する点検手段の打撃位置を撮影する撮影手段を備え、撮影された画像に基づいて打撃位置のデータを取得する構造物の点検装置が記載されている。また、特許文献3では、撮影装置を搭載した床下点検ロボットを遠隔操作して撮影してクラック幅を計測する点検装置が記載されている。
Therefore, it has been proposed to inspect the surface of the structure using an image captured by a camera. For example, Patent Literature 1 describes a structure inspection device that is provided on a float that floats on water and that moves a camera that captures an image of the surface of a bridge from below using a travel device to capture an image of an infrastructure structure. Further, in
特許文献1では、複数のカメラで橋梁の下面を撮影し、取得した撮影画像を解析してひび割れやその他疲労状態を検査するようにしているが、ひび割れ等を確認することはできるものの位置やサイズといったデータを定量的に分析することは難しいため、検査の正確性の点で課題がある。 In Patent Document 1, the underside of a bridge is photographed with a plurality of cameras, and the acquired photographed images are analyzed to inspect for cracks and other fatigue states. Since it is difficult to quantitatively analyze such data, there is a problem in terms of test accuracy.
特許文献2では、1つのカメラで撮影した複数の画像に基づいてステレオマッチングの手法で構造物の3次元モデルを作成するようにしているが、撮影領域全体の3次元モデルを精度よく作成することは難しい。
In
特許文献3では、撮影対象物の撮影画像とクラックスケール画像とを重ね合わせて表示した合成画像を生成しているが、撮影画像から撮影対象物全体の点検情報を得ることは難しい。
In
そこで、本発明は、点検作業を行うことが難しい構造物の狭隘な箇所でも正確な三次元合成画像を生成して点検情報を得ることができる構造物点検装置を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a structure inspection apparatus capable of obtaining inspection information by generating an accurate three-dimensional composite image even in a narrow portion of a structure where inspection work is difficult.
本発明に係る構造物点検装置は、構造物の点検区域の天井面及び壁面を撮影して点検する構造物点検装置であって、基台を備えているとともに前記点検区域において所定の移動方向に移動する移動部と、前記移動方向と直交する左右方向に所定間隔で配列した複数の上方撮影カメラを前記天井面の撮影領域に対して正対する撮影方向で前記基台に取り付けるとともに複数の傾斜撮影カメラを前記天井面の撮影領域に対して所定角度で傾斜した撮影方向で前記基台に取り付けた天井面撮影部と、前記基台の左右両側に配列した複数の側方撮影カメラを前記壁面の撮影領域に対して正対する方向で取り付けるとともに前記基台の左右両側に複数の傾斜撮影カメラを前記壁面の撮影領域に対して所定角度で傾斜した撮影方向で取り付けた壁面撮影部と、前記天井面撮影部及び前記壁面撮影部から取得した撮影画像に基づいて前記点検区域の三次元合成画像を生成する画像処理部と、生成された前記三次元合成画像に基づいて点検情報を取得する点検処理部とを備えている。さらに、前記移動部は、前記上方撮影カメラの配列間隔と同じ間隔で設定された前記移動方向に沿う複数の撮影ラインを移動する。さらに、前記画像処理部は、前記上方撮影カメラと天井面との間の撮影距離及び前記上方撮影カメラの天井面の撮影領域におけるラップ率、前記側方撮影カメラと壁面との間の撮影距離及び前記側方撮影カメラ同士の壁面の撮影領域におけるラップ率、並びに前記移動方向に沿う複数の撮影ラインの間隔に基づいて三次元合成画像を生成する。さらに、前記点検処理部は、前記点検区域の外面を撮影して得られた三次元合成画像及び前記点検区域の三次元合成画像に基づいて点検情報を取得する。さらに、前記点検処理部は、前記点検区域の設計データに基づいて生成された三次元形状データ及び前記点検区域の三次元合成画像に基づいて点検情報を取得する。 A structure inspection device according to the present invention is a structure inspection device for photographing and inspecting a ceiling surface and a wall surface of an inspection area of a structure. A movable moving part and a plurality of upward shooting cameras arranged at predetermined intervals in a horizontal direction orthogonal to the moving direction are attached to the base in a shooting direction directly facing the shooting area of the ceiling surface, and a plurality of oblique shootings are performed. A ceiling surface photographing unit in which a camera is attached to the base in a photographing direction inclined at a predetermined angle with respect to the photographing area of the ceiling surface, and a plurality of side photographing cameras arranged on both left and right sides of the base are mounted on the wall surface. a wall surface photographing unit having a plurality of oblique photographing cameras mounted on both left and right sides of the base in a direction facing the photographing area in a photographing direction inclined at a predetermined angle with respect to the photographing area of the wall surface; An image processing unit that generates a three-dimensional synthetic image of the inspection area based on the captured images acquired from the imaging unit and the wall surface imaging unit, and an inspection processing unit that acquires inspection information based on the generated three-dimensional synthetic image. and Further, the moving unit moves a plurality of photographing lines along the movement direction set at the same intervals as the array intervals of the upward photographing cameras. Further, the image processing unit determines a photographing distance between the upward photographing camera and the ceiling surface, a wrap ratio in the photographing area of the ceiling surface of the upward photographing camera, a photographing distance between the side photographing camera and the wall surface, and A three-dimensional composite image is generated based on the overlap rate of the imaging regions of the wall surface between the side imaging cameras and the intervals of the plurality of imaging lines along the moving direction. Further, the inspection processing unit acquires inspection information based on a three-dimensional composite image obtained by photographing the outer surface of the inspection area and a three-dimensional composite image of the inspection area. Further, the inspection processing unit acquires inspection information based on the three-dimensional shape data generated based on the design data of the inspection area and the three-dimensional composite image of the inspection area.
本発明は、上記のような構成を有することで、上方撮影カメラ及び傾斜撮影カメラを備えた天井面撮影部並びに側方撮影カメラ及び傾斜撮影カメラを備えた壁面撮影部を備えているので、三次元合成画像を精度よく生成することができる。そして、上方撮影カメラの配列間隔と同じ間隔で移動方向に沿う複数の撮影ラインを設定することで、三次元合成画像を精度向上を図ることができる。また、撮影距離、ラップ率、撮影ラインの間隔を設定して画像処理を行うことで、高精度の三次元合成画像を生成することができる。 With the configuration as described above, the present invention includes a ceiling surface photographing unit including an upward photographing camera and an oblique photographing camera, and a wall surface photographing unit including a side photographing camera and an oblique photographing camera. The original composite image can be generated with high accuracy. By setting a plurality of photographing lines along the movement direction at the same intervals as the array intervals of the upward photographing cameras, it is possible to improve the accuracy of the three-dimensional composite image. Further, by performing image processing by setting the shooting distance, wrap rate, and interval of shooting lines, it is possible to generate a highly accurate three-dimensional composite image.
そして、点検区域の外面を撮影して得られた三次元合成画像との組み合わせにより、効率よくわかりやすい点検情報を得ることができる。また、点検区域の設計データに基づいて生成された三次元形状データとの比較で経年劣化等の点検情報を効率よく得ることができる。 In combination with a three-dimensional composite image obtained by photographing the outer surface of the inspection area, it is possible to efficiently obtain easy-to-understand inspection information. In addition, it is possible to efficiently obtain inspection information such as aged deterioration by comparison with the three-dimensional shape data generated based on the design data of the inspection area.
以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments according to the present invention will be described in detail. It should be noted that the embodiments described below are preferred specific examples for carrying out the present invention, and thus various technical limitations are made. Unless otherwise specified, these forms are not intended to be limiting.
図1は、本発明に係る構造物点検装置に関する概略構成図である。構造物点検装置は、撮影カメラを搭載する基台を有する移動体1と、画像処理、表示処理といった情報処理を行う情報処理装置2を備えており、構造物の点検区域の天井面及び壁面を撮影して点検するようになっている。この例では、小規模の橋梁Aの内部が点検区域となっており、作業者が点検作業を行うのが困難な狭隘な内部空間に移動体1を進入させ、内部の天井面B及び壁面Cについて点検作業を行うようになっている。
FIG. 1 is a schematic configuration diagram of a structure inspection device according to the present invention. The structure inspection device includes a mobile body 1 having a base on which a photographing camera is mounted, and an
移動体1としては、点検区域の状況に応じた移動手段を用いることができる。図1に示す例では、移動手段として基台に取り付けた車輪構造を用いているが、川のような水路の場合には、フロート等の水上移動が可能な手段を用いることができる。また、小型ドローン等の移動手段を用いることで、空中移動を行うようにしてもよい。 As the moving body 1, a moving means according to the situation of the inspection area can be used. In the example shown in FIG. 1, a wheel structure attached to a base is used as the moving means, but in the case of a waterway such as a river, a means capable of moving on water such as a float can be used. Also, by using a moving means such as a small drone, it is possible to move in the air.
情報処理装置2としては、パソコン、タブレット等の公知の情報機器を用いることができ、後述するように、撮影カメラから得られた撮影画像を処理して三次元合成画像を生成する画像処理及び生成された三次元合成画像に基づいて点検情報を取得する点検処理を行うために必要なプログラム及びデータが入力されている。情報処理装置2は、通信ケーブル等の有線通信又は無線通信により移動体1を遠隔操作が可能な機能を備えていることが好ましく、こうした機能を備えることで、作業者が直接点検できない様々な点検区域において遠隔操作により点検作業を行うことができる。
As the
図2は、移動体1に関する外観斜視図である。移動体1は、平面視矩形状の基台10及び基台10の下部に取り付けられた収納ボックス11を備えている。収納ボックス11にはバッテリ等の電源及び制御装置が収納されている。
FIG. 2 is an external perspective view of the moving body 1. FIG. The moving body 1 includes a
基台10の左右両側には棒状のフレーム部材12が取付固定されており、一対のフレーム部材12の前端部及び後端部には、それぞれ車輪14が軸支された棒状の支持部材14aが取付固定されている。基台10の前側には、フレーム部材12の前端部に取り付けた一対の支持部材14aの間に棒状のフレーム部材13が架設されており、基台10の後側にもフレーム部材12の後端部に取り付けた一対の支持部材14aの間に棒状のフレーム部材13が架設されている。
Rod-
基台10の上面には、一対の発光パネル15が左右に取り付けられており、点検区域の天井面及び壁面全体を照明するようになっている。前側のフレーム部材13には、3台の撮影カメラ16が所定間隔で配置され、いずれも撮影方向が天井面と正対するように取り付けられている。
A pair of light-
左右両側のフレーム部材12には、それぞれ1台の撮影カメラ17が取り付けられており、一対の撮影カメラ17の撮影方向は、天井面に正対する方向から所定角度内側に傾斜してそれぞれ天井面を撮影するように上向きに設定されている。
One
前側のフレーム部材13には、前方に突出するように取り付けられた支持バー18aの先端部に撮影カメラ18が固定されて配置されており、撮影カメラ18の撮影方向は、天井面に正対する方向から所定角度後側に傾斜して天井面を撮影するように上向きに設定されている。後側のフレーム部材13にも、後方に突出するように取り付けられた支持バー18aの先端部に撮影カメラ18が固定されて配置され、撮影方向が前側に所定角度傾斜して天井面を撮影するように上向きに設定されている。
A photographing
後側のフレーム部材13の左右両端部には一対の撮影カメラ19が固定されて配置されており、後側の一対の支持部材14にはそれぞれ一対の撮影カメラ19が固定されて配置されている。下側に配置されたフレーム部材13に取り付けた左右一対の撮影カメラ19は、撮影方向が壁面と正対する方向に設定されており、上側に配置された支持部材14に取り付けられた左右一対の撮影カメラ19は、撮影方向が所定角度上向きに傾斜して壁面及び天井面の境界を含む領域を撮影するように設定されている。
A pair of photographing
なお、搭載する撮影カメラの数については、点検区域の広さ、形状等の条件に応じて適宜変更することが可能で、精度が十分確保できる場合には撮影カメラの数を減らすこともできる。 The number of cameras to be installed can be changed according to conditions such as the size and shape of the inspection area, and the number of cameras can be reduced if sufficient accuracy can be secured.
図3は、撮影カメラの撮影領域の設定に関する説明図である。天井面を撮影する上方撮影カメラである3台の撮影カメラ16は、左右方向に間隔Pの距離で等間隔に配置されている。間隔Pは、各撮影カメラの画角αで撮影カメラから天井面Bまでの撮影距離Lとすると、各撮影カメラの撮影領域が隣り合う撮影領域と重複する比率であるラップ率Rが80%以上となるように設定されている。撮影距離Lが点検区域で場所によって異なる距離となる場合には、最短距離でラップ率Rが80%以上となるように間隔Pを設定すればよい。
FIG. 3 is an explanatory diagram relating to the setting of the shooting area of the shooting camera. The three
移動体1を前後方向を移動方向に設定して移動させる場合、1つの撮影ラインにおいて移動方向に間隔P毎に撮影することで、1つの撮影カメラでラップ率80%以上で撮影画像を得ることができる。また、移動方向と直交する左右方向に間隔Pだけ空けて次の撮影ラインを設定することで、隣り合う撮影ラインでの撮影領域がラップ率80%以上で設定することができる。 When the moving body 1 is moved with the front-rear direction set as the moving direction, the photographed images are obtained with one photographing camera at a wrap rate of 80% or more by photographing at intervals P in the moving direction on one photographing line. can be done. Further, by setting the next photographing line with an interval P in the horizontal direction perpendicular to the moving direction, the photographing areas of adjacent photographing lines can be set with a wrap rate of 80% or more.
壁面を撮影する側方撮影カメラである撮影カメラ19についても、上方撮影カメラである撮影カメラ16を同じようにラップ率Rが80%以上となるように設定することが好ましい。天井面の高さが両側の壁面の間の間隔よりも狭い場合には、天井面の撮影距離よりも壁面の撮影距離が長くなるため、天井面に対するラップ率を80%以上に設定することで、壁面に対してもラップ率を80%以上とすることができる。
It is preferable to similarly set the wrap ratio R of the photographing
このように移動方向及び移動方向に直交する左右方向に沿ってマトリクス状に撮影位置を設定して撮影することで、撮影画像のラップ率を確実に80%以上に設定して取得することができ、後述するように、撮影画像を用いた三次元合成画像の生成処理を高精度で行うことが可能となる。そして、撮影方向が傾斜している傾斜撮影カメラの撮影領域を上方撮影カメラ及び側方撮影カメラの撮影領域とラップ率が80%以上となるように設定することで、さらに奥行方向の精度を向上させた三次元合成画像を生成することが可能となる。 In this way, by setting the photographing positions in a matrix along the direction of movement and the horizontal direction orthogonal to the direction of movement and photographing, the overlap rate of the photographed image can be reliably set to 80% or more and acquired. As will be described later, it is possible to perform processing for generating a three-dimensional composite image using photographed images with high accuracy. Further, by setting the photographing area of the oblique photographing camera whose photographing direction is inclined so that the photographing area of the upward photographing camera and the photographing area of the side photographing camera overlap by 80% or more, the precision in the depth direction is further improved. It is possible to generate a three-dimensional composite image that has been adjusted.
また、点検区域には予め基準位置や基準長さ等の座標系を設定するための指標を取り付けておくことが好ましい。指標は平面に近い天井面に取り付けておくことが好ましい。こうした指標を撮影画像に映し込むことで、撮影された指標に基づいて座標系を設定し、座標系を基準に三次元合成画像を精度よく取り込むことが可能となる。 In addition, it is preferable to attach an index for setting a coordinate system such as a reference position and a reference length in advance to the inspection area. It is preferable to attach the index to a nearly flat ceiling surface. Projecting such an index into a photographed image makes it possible to set a coordinate system based on the photographed index and capture a three-dimensional composite image with high accuracy based on the coordinate system.
移動体1の移動手段としては、移動方向及び左右方向に沿ってマトリクス状の撮影位置を設定することが可能であればよく、特に限定されない。例えば、移動体1に押し出し棒を移動方向に沿って基台に取り付けることで、手動で移動させることができる。また、移動体1にモータ等の走行駆動機構を搭載して車輪を回転駆動し、GPS等の位置情報を検出して撮影位置を正確に設定することもできる。点検区域の移動条件に合わせて適宜移動手段を選択すればよい。 The means for moving the moving body 1 is not particularly limited as long as it is possible to set the imaging positions in a matrix along the movement direction and the left-right direction. For example, the movable body 1 can be manually moved by attaching a push rod to a base along the movement direction. Further, it is also possible to mount a travel drive mechanism such as a motor on the moving body 1 to rotate the wheels, detect position information such as GPS, and accurately set the photographing position. The transportation means may be appropriately selected according to the movement conditions of the inspection area.
図4は、構造物点検装置に関する概略ブロック構成図である。情報処理装置2には、処理部20及び入力部21、記憶部22及び表示部23を備えており、処理部20は、移動体1の収納ボックス11、天井面撮影部16~18及び壁面撮影部19からから送信された情報を処理するようになっている。なお、収納ボックス11については、撮影処理する場合の位置情報が送信されるが、移動手段が手動である場合には、位置情報は処理部20において取得するようになる。
FIG. 4 is a schematic block diagram of the structure inspection device. The
処理部20は、設定処理部201、撮影処理部202、画像処理部203及び点検処理部204を備えている。設定処理部201は、入力部21から入力された間隔P、撮影距離L、画角α、撮影方向、指標に関する基準位置及び基準長さ等の設定データを処理して、撮影情報の撮影位置等の付加情報を作成して記憶部22の設定情報DB221に登録処理を行う。撮影処理部202は、天井面撮影部及び壁面撮影部を撮影位置において一斉に撮影動作を行うように制御するとともに撮影部から送信された撮影画像を取得して必要な画質等の補正処理を行う。そして、取得した撮影画像について撮影位置との関連付けを行い、記憶部22の撮影情報DB222に保存処理を行う。
The
画像処理部203は、撮影情報DB222から必要な撮影画像を読み出し、静止している被写体を多視点から撮影した画像データに基づいて公知のSfM(Structure from Motion)処理により画像特徴点の三次元分布を推定して三次元合成画像を生成する。例えば、市販のソフトウェア(例えば、Bentley Systems社製ContextCapture)により高解像度の三角メッシュを出力して継ぎ目なく合成画像を再構築して出力することができる。そして、撮影方向及び撮影距離に基づいて被写体の位置情報を算出して被写体の位置合せを高精度で行うことが可能となる。
The
また、撮影画像に映し込んだ指標に関する画像データをSfM処理することで、座標系と関連付けて合成画像を構築することができ、高精度の三次元合成画像を生成することが可能となる。例えば、指標としてL字定規を取り付けておくことで、L字定規の端部及び中央の角部の3点をタイポイントに設定して基準となる座標系を設定できる。例えば、中央の角部とそれぞれの端部を結ぶ直交する2方向をXY方向に設定し、角部とそれぞれの端部との間の距離を設定すれば、三次元合成画像における距離、面積及び体積を正確に算出することができる。 Further, by performing SfM processing on the image data related to the index projected in the captured image, it is possible to construct a composite image in association with the coordinate system, and to generate a highly accurate three-dimensional composite image. For example, by attaching an L-shaped ruler as an index, a reference coordinate system can be set by setting three points of the L-shaped ruler, the edge and the central corner, as tie points. For example, if the two orthogonal directions connecting the center corner and each end are set in the XY directions, and the distance between the corner and each end is set, the distance, area, and Volume can be calculated accurately.
画像処理部203において生成された三次元合成画像は、画像情報DB223に保存される。
A three-dimensional composite image generated by the
点検処理部204は、画像情報DB223から点検を行う箇所の三次元合成画像を読み出して表示部23に表示し、ひび割れ、剥離等の目視での点検作業を行う。点検処理では、例えば、問題のある個所を拡大表示し、表示されたひび割れのポイントを指示することで、位置、長さ、幅等の点検情報を正確に算出することができ、表示された剥離の領域を指示することで、面積、深さ等の点検情報を正確に算出することができる。
The
また、点検区域全体を三次元で画像表示することができ、全体を俯瞰的に点検することが可能となる。例えば、天井面全体の断面形状を表示することで、全体的な剥落の状態を一目で点検することができる。 In addition, the entire inspection area can be displayed as a three-dimensional image, making it possible to inspect the entire inspection area from a bird's-eye view. For example, by displaying the cross-sectional shape of the entire ceiling surface, it is possible to check the overall peeling condition at a glance.
以上のような局所的な点検及び全体的な点検について三次元合成画像を表示処理することで、行うことができる。得られた点検情報は、記憶部22の点検情報DB224に保存する。
The above local inspection and overall inspection can be performed by performing display processing on the three-dimensional composite image. The obtained inspection information is stored in the
点検処理により得られたデータに基づいて補修の有無の判定及び補修作業に必要な設計データを算出することができる。 Based on the data obtained by the inspection process, it is possible to determine the presence or absence of repair and calculate the design data necessary for the repair work.
図5は、構造物点検装置による点検区域以外の点検区域を撮影する携帯用撮影装置に関する外観斜視図である。この例では、橋梁等の下面を構造物点検装置で撮影した場合に橋梁の上面を作業者が撮影する際に用いられる仕様となっている。携帯用撮影装置3は、電源及び通信機器等の装置を内蔵する装置本体部30、装置本体部30の両側に並行して取り付けられた一対の支持バー31、支持バー31に所定の間隔を置いて上下方向に配列された4台の撮影カメラ32~35を備えている。撮影カメラ32~35は、撮影方向が調整可能となるように上下方向に回動可能に取り付けられている。
FIG. 5 is an external perspective view of a portable photographing device for photographing an inspection area other than the inspection area by the structure inspection apparatus. In this example, the specifications are used when an operator takes an image of the upper surface of the bridge when the lower surface of the bridge or the like is imaged by the structure inspection device. The portable photographing
撮影カメラ32~35は、構造物点検装置に搭載された撮影カメラと同様に、ラップ率が80%以上となるように撮影方向を角度調整されており、この例では、撮影カメラ32の撮影方向がほぼ水平方向に設定されており、撮影カメラ32より上側の撮影カメラの撮影方向は下向きに傾斜して設定され、下側の撮影カメラの撮影方向は上向きに傾斜して設定されている。
The
なお、撮影カメラの台数、配置レイアウト及び撮影方向については、点検対象物に応じて適宜選択すればよく、特に限定されない。 Note that the number of imaging cameras, layout layout, and imaging direction may be appropriately selected according to the inspection object, and are not particularly limited.
作業者Mは、支持バー31を把持して所定の撮影位置に移動して撮影を行うようになっており、撮影位置はラップ率が80%となる間隔で設定すればよい。また、構造物点検装置の移動部に搭載された撮影カメラの撮影位置に対して、ラップ率が80%以上となるように撮影位置を設定しておけば、継ぎ目なく撮影情報を得ることができる。
The operator M grasps the
各撮影カメラから得られた撮影情報は、装置本体部30から情報処理装置2に送信されて、構造物点検装置の撮影情報と同様に画像処理及び点検処理が行うことができる。そのため、構造物全体について三次元合成画像を生成して構造物全体を俯瞰した点検処理を行うことが可能となる。
The photographing information obtained from each photographing camera is transmitted from the device
図6は、構造物点検装置の処理フローである。設定処理では、上述したように、撮影に関する設定データ及び基準となる座標系に関する設定データ等について入力部21より入力して設定処理が行われる(S100)。そして、設定された撮影に関するデータに基づいて撮影が行われて得られた撮影情報が情報処理装置2に送信される(S101)。図7は、点検対象の橋梁に対して撮影を行う様子を示す写真である。図7(a)では、移動部に搭載された撮影カメラを橋梁の下部の点検区域に移動させる様子を示しており、図7(b)では、橋梁の上部を携帯用撮影装置により撮影する様子を示している。
FIG. 6 is a processing flow of the structure inspection device. In the setting process, as described above, the setting data related to photographing and the setting data related to the reference coordinate system are input from the
得られた撮影情報は情報処理装置2において画像処理されて三次元合成画像が生成される(S102)。図8は、生成された三次元合成画像に関する画面表示例である。図8(a)では、三次元合成画像に基づいて点検対象の橋梁全体を上側から俯瞰して画面表示しており、図8(b)では、橋梁全体を下側から俯瞰して画面表示している。図8(c)では、橋梁の下部の天井面において剥離した部分を拡大して画面表示している。
The obtained photographing information is subjected to image processing in the
生成された三次元合成画像に基づいて点検処理を行う(S103)。点検処理では、図8(a)及び図8(b)に示すように、点検対象の全体を俯瞰した画面表示により全体的な損傷状態を点検することができる。また、図8(c)に示すように、剥離した部分の外周縁を囲む線を描画して、描画した領域の面積を算出することが可能となる。 Inspection processing is performed based on the generated three-dimensional composite image (S103). In the inspection process, as shown in FIGS. 8(a) and 8(b), the overall damage state can be inspected by displaying a screen that provides a bird's-eye view of the entire inspection target. Further, as shown in FIG. 8C, it is possible to draw a line surrounding the outer periphery of the peeled portion and calculate the area of the drawn region.
図9は、橋梁の点検処理の一例を示す画面表示例である。この例では、まず、点検対象の橋梁の上面全体を画面表示して損傷個所にマーキング等を描画する処理が行われる(図9(a))。そして、損傷個所の形状、サイズ等の寸法、面積といった定量的な分析を行う。次に、橋梁の断面処理が行われ、橋梁の断面形状に沿って白線を描画する処理が行われる(図9(b))。断面形状を断面に対して直交する方向から見た画面を拡大表示することで、損傷個所を一目で認識することができる(図9(c))。また、断面形状を斜め方向から見た画面を表示することで、橋梁の上面側及び下面側の画像を重ね合せて表示することができる。こうした画面表示を確認することで、上面側と下面側との間で損傷個所の関連性を容易に認識することができ、橋梁内部の損傷及び劣化の程度を把握することが可能となる、 FIG. 9 is a screen display example showing an example of bridge inspection processing. In this example, first, the entire upper surface of the bridge to be inspected is displayed on the screen, and marking or the like is drawn on the damaged portion (FIG. 9(a)). Quantitative analysis such as the shape, size, and area of the damaged portion is then performed. Next, cross-sectional processing of the bridge is performed, and processing of drawing a white line along the cross-sectional shape of the bridge is performed (FIG. 9(b)). By enlarging and displaying the cross-sectional shape viewed from the direction orthogonal to the cross-section, the damaged portion can be recognized at a glance (Fig. 9(c)). In addition, by displaying a screen in which the cross-sectional shape is viewed from an oblique direction, images of the upper surface side and the lower surface side of the bridge can be superimposed and displayed. By checking the screen display, it is possible to easily recognize the relationship between the damage points on the top side and the bottom side, and to grasp the degree of damage and deterioration inside the bridge.
このように様々な視点から点検処理を行うことで、補修処理を検討する場合の有用な情報を得ることができる。また、点検対象となる構造物の設計データに基づいて三次元形状データを予め生成して、構造物点検装置で生成された点検区域の三次元合成画像と組み合わせることで、さらに正確な点検情報を得ることができる。そして、定期的に点検情報を取得して蓄積することで、経年劣化を定量的に分析することも可能となり、より正確な点検作業を行うことができる。 By performing the inspection process from various viewpoints in this manner, it is possible to obtain useful information when considering the repair process. In addition, by generating 3D shape data in advance based on the design data of the structure to be inspected and combining it with a 3D synthetic image of the inspection area generated by the structure inspection system, more accurate inspection information can be obtained. Obtainable. By periodically acquiring and accumulating inspection information, it becomes possible to quantitatively analyze aged deterioration, and more accurate inspection work can be performed.
図10は、コンクリート試験体を用いた点検処理の試験に関する様子を示す写真である。コンクリート試験体は、縦1,860mm×横1,000mm×厚さ230mmの矩形状に切り出されたものを3種類用いた。コンクリート試験体は、いずれも多数のひび割れが形成されており、その中で395箇所についてノギスにより長さを測定して実測値を得た。 FIG. 10 is a photograph showing the state of inspection processing tests using concrete specimens. Three types of concrete specimens cut into rectangular shapes of 1,860 mm long, 1,000 mm wide, and 230 mm thick were used. Many cracks were formed in all of the concrete specimens, and the actual values were obtained by measuring the lengths of 395 cracks with vernier calipers.
コンクリート試験体は、図10に示すように、両側を支持台に設置し、下面側に移動部を移動させて、搭載された撮影カメラの撮影距離を測定し、ラップ率が80%以上となる撮影カメラ間隔を設定し、必要な設定データを入力した。そして、設定された撮影位置に移動して7台の撮影カメラ(天井面正対3台、天井面斜対2台、壁面正対2台)により撮影処理を行った。撮影された撮影画像は500枚であった。図11は、撮影画像の一例を示している。この例では、コンクリート試験体の下面側を斜め方向から見た撮影画像(図11(a))及び正対する方向から見た撮影画像(図11(b))を示している。撮影画像には、コンクリート試験体の下面に貼り付けたL字定規が映り込んでおり、基準となる座標系の方向及び寸法を設定するようになっている。 As shown in Fig. 10, both sides of the concrete test piece were placed on a support base, the moving part was moved to the lower surface side, and the photographing distance of the mounted photographing camera was measured, and the wrap rate was 80% or more. You set the shooting camera interval and entered the necessary setup data. Then, the camera was moved to the set photographing position, and photographing processing was performed with seven photographing cameras (three cameras facing the ceiling, two cameras facing obliquely to the ceiling, and two cameras facing the wall). There were 500 captured images. FIG. 11 shows an example of a captured image. In this example, a photographed image (FIG. 11(a)) of the lower surface side of the concrete test piece viewed obliquely and a photographed image (FIG. 11(b)) viewed from the opposite direction are shown. An L-shaped ruler affixed to the lower surface of the concrete specimen is reflected in the photographed image, and the direction and dimensions of the reference coordinate system are set.
取得した撮影画像は情報処理装置(Bentley Systems社製ContextCaptureをインストール済)に送信されて三次元合成画像が生成される。図12は、三次元合成画像を表示した画面表示例を示している。得られた三次元合成画像に基づいて測定されたひび割れ箇所について長さを算出し、実測値との誤差について、実測値に対する誤差の比率を誤差率(%)として求めた。誤差率の平均値は1.39%で、標準偏差は0.79%であった。全体の誤差率がほぼ3%以内であることから、定量的な点検処理に十分対応できる結果であった。 The acquired captured image is sent to an information processing device (Bentley Systems' ContextCapture is installed) to generate a three-dimensional composite image. FIG. 12 shows a screen display example displaying a three-dimensional composite image. The length of the measured crack was calculated based on the obtained three-dimensional composite image, and the ratio of the error to the measured value was determined as the error rate (%). The mean error rate was 1.39% with a standard deviation of 0.79%. Since the overall error rate was within approximately 3%, the results were sufficient for quantitative inspection processing.
1・・・移動体、2・・・情報処理装置、3・・・携帯用撮影装置、10・・・基台、11・・・収納ボックス、12・・・フレーム部材、13・・・フレーム部材、14・・・支持部材、15・・・発光パネル、16・・・上方撮影カメラ、17,18・・・傾斜撮影カメラ、19・・・側方撮影カメラ及び傾斜撮影カメラ、20・・・処理部、21・・・入力部、22・・・記憶部、23・・・表示部、30・・・装置本体、31・・・支持バー、32~35・・・撮影カメラ
DESCRIPTION OF SYMBOLS 1... Moving
本発明に係る構造物点検装置は、構造物の点検区域の天井面及び壁面を撮影して点検する構造物点検装置であって、基台を備えているとともに前記点検区域において所定の移動方向に移動する移動部と、前記移動方向と直交する左右方向に所定間隔で配列した複数の上方撮影カメラを前記天井面の撮影領域に対して正対する撮影方向で前記基台に取り付けるとともに複数の傾斜撮影カメラを前記天井面の撮影領域に対して所定角度で傾斜した撮影方向で前記基台に取り付けた天井面撮影部と、前記基台の左右両側に配列した複数の側方撮影カメラを前記壁面の撮影領域に対して正対する方向で取り付けるとともに前記基台の左右両側に複数の別の傾斜撮影カメラを前記壁面の撮影領域に対して所定角度で傾斜した撮影方向で取り付けた壁面撮影部と、前記天井面撮影部及び前記壁面撮影部から取得した撮影画像に基づいて前記点検区域の三次元合成画像を生成する画像処理部と、生成された前記三次元合成画像に基づいて点検情報を取得する点検処理部とを備えている。さらに、前記移動部は、前記上方撮影カメラの配列間隔と同じ間隔で設定された前記移動方向に沿う複数の撮影ラインを移動する。さらに、前記画像処理部は、前記上方撮影カメラと天井面との間の撮影距離及び前記上方撮影カメラの天井面の撮影領域におけるラップ率、前記側方撮影カメラと壁面との間の撮影距離及び前記側方撮影カメラ同士の壁面の撮影領域におけるラップ率、並びに前記移動方向に沿う複数の撮影ラインの間隔に基づいて三次元合成画像を生成する。さらに、前記点検処理部は、前記点検区域の外面を撮影して得られた三次元合成画像及び前記点検区域の三次元合成画像に基づいて点検情報を取得する。さらに、前記点検処理部は、前記点検区域の設計データに基づいて生成された三次元形状データ及び前記点検区域の三次元合成画像に基づいて点検情報を取得する。 A structure inspection device according to the present invention is a structure inspection device for photographing and inspecting a ceiling surface and a wall surface of an inspection area of a structure. A movable moving part and a plurality of upward shooting cameras arranged at predetermined intervals in a horizontal direction orthogonal to the moving direction are attached to the base in a shooting direction directly facing the shooting area of the ceiling surface, and a plurality of oblique shootings are performed. A ceiling surface photographing unit in which a camera is attached to the base in a photographing direction inclined at a predetermined angle with respect to the photographing area of the ceiling surface, and a plurality of side photographing cameras arranged on both left and right sides of the base are mounted on the wall surface. a wall surface photographing unit which is mounted in a direction directly facing the photographing area and has a plurality of different tilt photographing cameras mounted on both left and right sides of the base in a photographing direction inclined at a predetermined angle with respect to the photographing area of the wall surface; An image processing unit that generates a three-dimensional synthetic image of the inspection area based on the captured images acquired from the ceiling surface imaging unit and the wall surface imaging unit, and an inspection that acquires inspection information based on the generated three-dimensional synthetic image. and a processing unit. Further, the moving unit moves a plurality of photographing lines along the movement direction set at the same intervals as the array intervals of the upward photographing cameras. Further, the image processing unit calculates a photographing distance between the upward photographing camera and the ceiling surface, a wrap ratio in the photographing area of the ceiling surface of the upward photographing camera, a photographing distance between the side photographing camera and the wall surface, and A three-dimensional composite image is generated based on the overlap rate of the imaging regions of the wall surface between the side imaging cameras and the intervals of the plurality of imaging lines along the moving direction. Further, the inspection processing unit acquires inspection information based on a three-dimensional composite image obtained by photographing the outer surface of the inspection area and a three-dimensional composite image of the inspection area. Further, the inspection processing unit acquires inspection information based on the three-dimensional shape data generated based on the design data of the inspection area and the three-dimensional composite image of the inspection area.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099369A JP7197218B1 (en) | 2021-06-15 | 2021-06-15 | Structure inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099369A JP7197218B1 (en) | 2021-06-15 | 2021-06-15 | Structure inspection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7197218B1 JP7197218B1 (en) | 2022-12-27 |
JP2023002856A true JP2023002856A (en) | 2023-01-11 |
Family
ID=84687845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021099369A Active JP7197218B1 (en) | 2021-06-15 | 2021-06-15 | Structure inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7197218B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014095627A (en) * | 2012-11-09 | 2014-05-22 | West Nippon Expressway Engineering Shikoku Co Ltd | Device for examining surface of road structure |
JP2015034445A (en) * | 2013-08-09 | 2015-02-19 | ジビル調査設計株式会社 | Structure inspection device |
WO2018155590A1 (en) * | 2017-02-24 | 2018-08-30 | 国立研究開発法人理化学研究所 | Identifying device, identifying method and program for identifying position of wall surface inside tunnel appearing in photographic image |
-
2021
- 2021-06-15 JP JP2021099369A patent/JP7197218B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014095627A (en) * | 2012-11-09 | 2014-05-22 | West Nippon Expressway Engineering Shikoku Co Ltd | Device for examining surface of road structure |
JP2015034445A (en) * | 2013-08-09 | 2015-02-19 | ジビル調査設計株式会社 | Structure inspection device |
WO2018155590A1 (en) * | 2017-02-24 | 2018-08-30 | 国立研究開発法人理化学研究所 | Identifying device, identifying method and program for identifying position of wall surface inside tunnel appearing in photographic image |
Also Published As
Publication number | Publication date |
---|---|
JP7197218B1 (en) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10748269B2 (en) | Structure member specification device and structure member specification method | |
JP4799088B2 (en) | Method and apparatus for measuring work position in remote inspection | |
JP4604774B2 (en) | Calibration method for 3D measurement | |
JP2019144191A (en) | Image processing system, image processing method and program for inspecting structure such as bridge | |
KR20060127174A (en) | Method for planing an inspection path for determining areas that are to be inspected | |
US20150116481A1 (en) | Mapping damaged regions on objects | |
US10762619B2 (en) | Imaging support device and imaging support method | |
JP2005215917A (en) | Working drawing creation support method and replacement model creation method | |
JP6277468B2 (en) | Vehicle power pole position inspection device | |
CN108476282B (en) | Photographing support device and photographing support method | |
JP6653674B2 (en) | Inspection device for underside of pier upper part, inspection system for underside of pier upper part, and inspection method for underside of pier upper part | |
JP2014062433A (en) | Structure imaging method | |
JP2980195B2 (en) | Method and apparatus for measuring rebar diameter | |
RU2492477C1 (en) | Method and device for determining volume of stack of round timber located on vehicle | |
JP5365960B2 (en) | 3D two-point simple distance measuring device | |
JP2019101849A (en) | Loss price evaluation system | |
JP7197218B1 (en) | Structure inspection device | |
JP2006200957A (en) | Through hole inspection device and through hole inspection method using the same | |
US20210041543A1 (en) | Laser calibration device, calibration method therefor, and image input device including laser calibration device | |
JP6884077B2 (en) | Surface inspection equipment and surface inspection method | |
Jiang et al. | A novel network control method for photogrammetric bridge measurement | |
JP7152201B2 (en) | Seismic isolation device inspection system and inspection method | |
JP6316240B2 (en) | Measuring apparatus and measuring method | |
JP2980194B2 (en) | Method and apparatus for measuring reinforcing bar position and posture | |
Jang et al. | Structural evaluation by reverse engineering with 3D laser scanner |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220817 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7197218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |