JP2018090982A - Inspection device and inspection method - Google Patents
Inspection device and inspection method Download PDFInfo
- Publication number
- JP2018090982A JP2018090982A JP2016233108A JP2016233108A JP2018090982A JP 2018090982 A JP2018090982 A JP 2018090982A JP 2016233108 A JP2016233108 A JP 2016233108A JP 2016233108 A JP2016233108 A JP 2016233108A JP 2018090982 A JP2018090982 A JP 2018090982A
- Authority
- JP
- Japan
- Prior art keywords
- image
- adjacent
- current
- image acquisition
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000007689 inspection Methods 0.000 title claims abstract description 55
- 230000002093 peripheral effect Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 238000009434 installation Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 7
- 230000001678 irradiating effect Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Bridges Or Land Bridges (AREA)
Abstract
Description
本願発明は、対象物の点検技術に関するものであり、より具体的には、点検するための複数の画像からなる結合画像を得るに当たって、適切な重複率をもった個々の画像を取得することができる装置と方法に関するものである。 The present invention relates to an inspection technique for an object, and more specifically, when obtaining a combined image composed of a plurality of images for inspection, it is possible to acquire individual images having an appropriate overlapping rate. The present invention relates to an apparatus and method that can be used.
高度経済成長期に集中的に整備されてきた建設インフラストラクチャー（以下、「建設インフラ」という。）は、既に相当な老朽化が進んでいることが指摘されている。平成２６年には「道路の老朽化対策の本格実施に関する提言（社会資本整備審議会）」がとりまとめられ、平成２４年の笹子トンネルの例を挙げて「近い将来、橋梁の崩落など人命や社会装置に関わる致命的な事態を招くであろう」と警鐘を鳴らし、建設インフラの維持管理の重要性を強く唱えている。 It has been pointed out that the construction infrastructure (hereinafter referred to as “construction infrastructure”) that has been intensively developed during the period of high economic growth has already undergone considerable deterioration. In 2014, the “Proposal for Full Implementation of Road Aging Measures (Social Capital Development Council)” was compiled, giving examples of the Choshi Tunnel in 2012, “In the near future, human life and society such as the collapse of bridges” It will lead to a fatal situation related to the equipment, "he urged and emphasized the importance of maintaining construction infrastructure.
このような背景のもと、国は道路法施行規則の一部を改正する省令を公布し、具体的な建設インフラの点検方法、主な変状の着目箇所、判定事例写真などを示した定期点検要領を策定している。この定期点検要領では、約７０万橋に上るといわれる橋長２．０ｍ以上の橋を対象としており、供用開始後２年以内に初回点検、以降５年に１回の頻度で定期点検を行うこととしている。 Against this backdrop, the government promulgated a ministerial ordinance to revise a part of the Road Law Enforcement Regulations, and showed a specific method for inspecting construction infrastructure, points of major deformations, pictures of judgment cases, etc. The inspection procedure is formulated. This periodic inspection procedure covers bridges with a length of 2.0 m or more, which is said to be about 700,000 bridges. The first inspection is performed within 2 years after the start of service, and then the periodic inspection is performed once every 5 years thereafter. I am going to do that.
建設インフラの点検では、コンクリートのひび割れをはじめとする損傷箇所を検出し、後に確認できるようその結果を記録する。例えば、橋梁のコンクリート床版のひび割れを検出する場合、ひび割れの程度（長さや幅等）などの詳細情報だけでなく、そのひび割れがどこに発生しているかも記録しなければならない。そして従来の点検では、ひび割れを目視で検出するとともに、そのひび割れの配置を、あらかじめ用意した構造物の図面に現地で記入していくこともあった。 In the construction infrastructure inspection, damaged parts such as concrete cracks are detected, and the results are recorded for later confirmation. For example, when detecting cracks in a concrete floor slab of a bridge, it is necessary to record not only detailed information such as the degree of cracking (length, width, etc.) but also where the cracks are occurring. In the conventional inspection, cracks are visually detected, and the positions of the cracks are sometimes written on the structure drawings prepared in advance.
しかしながら、橋梁床版（特に下面）を目視で点検することは、それほど容易ではない。通常、橋梁に近づくためには足場を組み立てることになるが、著しく桁下高が高い場合は相当な規模の足場が必要となるうえ、河川を越える橋梁であれば河川内に足場を組み立てることになり、跨道橋や跨線橋であれば道路や線路上に足場を組み立てることになり、現実的には足場を構築できないケースさえある。また、ひび割れ位置を足場上で図面に記入していくことも容易ではない。現地にて、足場上の位置と図面を照らし合わせる作業は考える以上に難しく、長大橋などでは図面そのものが大きくなるため、現地に持ち込むことも、これを広げて記入することも、相当に煩雑な作業となる。 However, it is not so easy to visually inspect the bridge deck (especially the lower surface). Normally, scaffolds are assembled to get close to the bridge, but if the girder height is extremely high, a considerable scale of scaffolding is required. In the case of an overpass or overpass, a scaffold is assembled on a road or track, and in some cases, it is not possible to actually build a scaffold. Also, it is not easy to write the crack position on the scaffold on the drawing. The work of comparing the position on the scaffold with the drawings at the site is more difficult than you think, and the drawings themselves will be large on long bridges, etc., so it is quite complicated to bring in the site or to expand it and fill it in. It becomes work.
そこで近年では、画像を用いた点検作業も行われるようになった。取得した画像から損傷箇所を確認することができるため、場所や時間を限定されることなく損傷を検出できる上、点検者以外の者も判断できることからより客観的に損傷を検出できるわけである。さらに、適当な撮影範囲で画像を取得すれば、ひび割れ等の損傷位置も記録することができ、図面を用意する手間も、現地で図面に記入する手間も省くことができる。例えば特許文献１では、橋面上を移動する台車と、この台車に取り付けられたアームを利用して点検する手法を提案しており、アームの先端を橋梁下面に配置するとともに、アーム先端につながれた飛行体が橋梁下面をカメラで撮影するという技術を提案している。
Therefore, in recent years, inspection work using images has also been performed. Since the damaged part can be confirmed from the acquired image, the damage can be detected without being limited in place and time, and the person other than the inspector can also determine the damage more objectively. Furthermore, if an image is acquired in an appropriate photographing range, a damage position such as a crack can be recorded, so that the trouble of preparing the drawing and the trouble of filling in the drawing at the site can be saved. For example,
特許文献１のように橋梁下面に近接して撮影する場合に限らず、下方から望遠レンズで撮影を行う場合を含め、画像を用いた点検作業では足場を組み立てる必要がない上に、損傷箇所を現地で図面に記入する手間が省ける点で極めて好適である。ただし、画像からひび割れ等の損傷を検出するためには、相当の解像度をもった画像を取得しなければならない。ところが画像を取得したその場でその解像度を確認することは容易なことではなく、仮に後日確認した画像の解像度が十分でなければ、改めて現地に出向いて適切な解像度の画像を取得する結果となる。
In addition to the case where the image is taken close to the lower surface of the bridge as in
また、ひび割れ等の配置を記録するためには、点検対象（例えば、橋梁床版）全体の画像（いわゆる、全景写真）を得る必要があるところ、相当の解像度を得るため限られた範囲の画像を取得せざるを得ないという制約がある。したがって、個々の画像をつなぎ合わせることで全体画像を得ることが考えられるが、この場合は隣接する画像同士を相当程度に重複（ラップ）させる必要がある。ところが画像を取得したその場で重複の程度を確認することは困難であり、仮に後日確認した画像の重複が十分でなければ、改めて現地に出向いて適度に重複する画像を取得する結果となる。 In addition, in order to record the arrangement of cracks and the like, it is necessary to obtain an image (so-called panoramic view) of the entire inspection target (for example, bridge floor slab), but a limited range of images to obtain a considerable resolution. There is a restriction that it must be acquired. Therefore, it is conceivable to obtain an entire image by connecting individual images. In this case, it is necessary to overlap (wrap) adjacent images to a considerable extent. However, it is difficult to confirm the degree of overlap on the spot when the image is acquired. If there is not enough overlap between images confirmed at a later date, the result is that the user goes to the site again and acquires an appropriately overlapped image.
本願発明の課題は、画像を取得したその場で隣接する画像との重複の適否を判定し、複数の画像を結合し得る程度の適切な重複率をもった画像を取得することで、この画像をもとに点検することのできる点検装置、及び点検方法を提供することにある。 An object of the present invention is to determine whether or not to overlap with an adjacent image on the spot where an image is acquired, and to acquire an image having an appropriate overlapping rate that can combine a plurality of images. It is an object of the present invention to provide an inspection device and an inspection method that can be inspected based on the above.
本願発明は、画像を取得したその場で隣接する画像同士の重複率を算出する、という従来にはなかった発想に基づいてなされた発明である。 The invention of the present application is an invention made on the basis of an idea that has not existed in the past, in which the overlapping rate between adjacent images is calculated on the spot where the images are acquired.
本願発明の点検装置は、画像を利用して対象物の点検を行う装置であり、画像取得手段と、画像記憶手段、画像判定手段を備えたものである。このうち画像判定手段は、画像取得手段で撮影して「今回画像」を取得したときに、その今回画像の適否判定を行う手段であり、画像読出し手段と重複率算出手段を有している。画像読出し手段は、「隣接画像（今回画像の撮影範囲に隣接する範囲を取得した画像）」を画像記憶手段から読み出し、重複率算出手段は、今回画像と隣接画像に共通する複数の特徴点を抽出するとともに、この特徴点に基づいて今回画像と隣接画像の位置関係を求め、さらに今回画像と隣接画像の重複率を算出する。そして画像判定手段は、重複率算出手段で算出された重複率が、あらかじめ定めた重複率閾値を上回るときは今回画像を適合と判定し、重複率閾値を下回るときは今回画像を不適合と判定する。 The inspection apparatus according to the present invention is an apparatus for inspecting an object using an image, and includes an image acquisition unit, an image storage unit, and an image determination unit. Among these, the image determination means is a means for determining the suitability of the current image when the “image this time” is acquired by photographing with the image acquisition means, and has an image reading means and a duplication rate calculation means. The image reading means reads “adjacent image (an image obtained by acquiring a range adjacent to the shooting range of the current image)” from the image storage means, and the overlap rate calculating means calculates a plurality of feature points common to the current image and the adjacent image. At the same time, the positional relationship between the current image and the adjacent image is obtained based on the feature points, and the overlapping rate between the current image and the adjacent image is calculated. The image determination unit determines that the current image is suitable when the overlap rate calculated by the overlap rate calculation unit exceeds a predetermined overlap rate threshold, and determines that the current image is non-conforming when it falls below the overlap rate threshold. .
本願発明の点検装置は、結合画像作成手段とひび割れ抽出手段をさらに備えたものとすることもできる。結合画像作成手段は、今回画像（画像判定手段が適合と判定したもの）と隣接画像を特徴点に基づいて結合して結合画像を作成する手段であり、ひび割れ抽出手段は、結合画像から対象物のひび割れを抽出する手段である。 The inspection device according to the present invention may further include a combined image creating unit and a crack extracting unit. The combined image creating means is a means for creating a combined image by combining the current image (what the image determining means has determined to be suitable) and an adjacent image based on the feature points, and the crack extracting means is a target object from the combined image. It is a means to extract cracks.
本願発明の点検装置は、重複率算出手段が今回画像と隣接画像の重複面積に基づいて重複率を算出するものとすることもできる。 In the inspection device of the present invention, the overlap rate calculation means may calculate the overlap rate based on the overlap area of the current image and the adjacent image.
本願発明の点検装置は、重複率算出手段が隣接画像に重なる今回画像の外周線の長さ（今回画像に重なる隣接画像の外周線の長さ）に基づいて重複率を算出するものとすることもできる。 In the inspection device of the present invention, the overlap rate calculating means calculates the overlap rate based on the length of the outer peripheral line of the current image that overlaps the adjacent image (the length of the outer peripheral line of the adjacent image that overlaps the current image). You can also.
本願発明の点検装置は、重複率算出手段が今回画像と隣接画像の重複領域の図心から今回画像の外周線までの長さ（図心から隣接画像の外周線までの長さ）に基づいて重複率を算出するものとすることもできる。 In the inspection device according to the present invention, the overlap rate calculating means determines the overlap rate based on the length from the centroid of the overlap region of the current image and the adjacent image to the outer peripheral line of the current image (the length from the centroid to the outer peripheral line of the adjacent image). Can also be calculated.
本願発明の点検装置は、測距手段と、姿勢測定手段、解像度推定手段、画像取得判定手段をさらに備えたものとすることもできる。測距手段は、画像取得手段から対象物までの距離を測定するもので、姿勢測定手段は、画像取得手段の姿勢を測定するものである。また解像度推定手段は、「画像取得手段から対象物までの距離」と「画像取得手段の姿勢」に基づいて、取得される画像の解像度を推定するもので、画像取得判定手段は、解像度推定手段が推定した解像度が解像度閾値を上回るときは画像取得を肯定し、解像度閾値を下回るときは画像取得を否定するものである。この場合、画像判定手段は、画像取得判定手段が肯定して取得した今回画像に対して適否判定を行う。 The inspection device according to the present invention may further include a distance measuring unit, an attitude measuring unit, a resolution estimating unit, and an image acquisition determining unit. The distance measuring means measures the distance from the image acquiring means to the object, and the attitude measuring means measures the attitude of the image acquiring means. Further, the resolution estimation means estimates the resolution of the acquired image based on the “distance from the image acquisition means to the object” and the “attitude of the image acquisition means”. When the estimated resolution exceeds the resolution threshold, image acquisition is affirmed, and when the resolution falls below the resolution threshold, image acquisition is denied. In this case, the image determination unit determines whether or not the current image acquired by the image acquisition determination unit is positive.
本願発明の点検方法は、画像取得手段によって対象物の画像を取得して、その対象物の点検を行う方法であり、画像取得工程と、重複率算出工程、画像判定工程を備えた方法である。このうち、画像取得工程では、画像取得手段で対象物を撮影して今回画像を取得する。重複率算出工程では、今回画像と隣接画像（今回画像の撮影範囲に隣接する範囲を取得した画像）に共通する複数の特徴点を抽出するとともに、この特徴点に基づいて今回画像と隣接画像の位置関係を求め、さらに今回画像と隣接画像の重複率を算出する。また画像判定工程では、重複率算出工程で算出された重複率が重複率閾値を上回るときは今回画像を適合と判定し、解像度閾値を下回るときは今回画像を不適合と判定すする。そして、今回画像（画像判定手段が適合と判定したもの）と隣接画像を特徴点に基づいて結合した結合画像によって対象物の点検を行う。 The inspection method of the present invention is a method in which an image of an object is acquired by an image acquisition means and the object is inspected. The method includes an image acquisition step, a duplication rate calculation step, and an image determination step. . Among these, in the image acquisition step, the object is captured by the image acquisition means to acquire the current image. In the overlap ratio calculating step, a plurality of feature points common to the current image and the adjacent image (an image obtained by acquiring a range adjacent to the shooting range of the current image) are extracted, and the current image and the adjacent image are extracted based on the feature points. The positional relationship is obtained, and the overlapping rate between the current image and the adjacent image is calculated. In the image determination step, the current image is determined to be suitable when the overlap rate calculated in the overlap rate calculation step exceeds the overlap rate threshold, and the current image is determined to be incompatible when it falls below the resolution threshold. Then, the target object is inspected by a combined image obtained by combining the current image (the image determined by the image determination unit) and the adjacent image based on the feature points.
本願発明の点検方法は、測距工程と、姿勢測定工程、解像度推定工程、画像取得判定工程をさらに備えた方法とすることもできる。このうち測距工程では、画像取得手段から対象物までの距離を測定し、姿勢測定工程では、画像取得手段の姿勢を測定し、解像度推定工程では、「画像取得手段から対象物までの距離」と「画像取得手段の姿勢」に基づいて取得される画像の解像度を推定する。また、画像取得判定工程では、解像度推定工程で推定した画像の解像度が解像度閾値を上回るときは画像取得を肯定し、解像度閾値を下回るときは画像取得を否定する。この場合、画像取得工程では、判定工程で画像取得が肯定されたとき、対象物の画像を取得する。 The inspection method of the present invention can be a method further comprising a distance measuring step, a posture measuring step, a resolution estimating step, and an image acquisition determining step. Of these, the distance measurement step measures the distance from the image acquisition means to the object, the posture measurement step measures the attitude of the image acquisition means, and the resolution estimation step determines "the distance from the image acquisition means to the object" And the resolution of the acquired image is estimated based on “the posture of the image acquiring unit”. In the image acquisition determination step, image acquisition is affirmed when the resolution of the image estimated in the resolution estimation step exceeds the resolution threshold, and image acquisition is denied when the resolution is lower than the resolution threshold. In this case, in the image acquisition step, when the image acquisition is affirmed in the determination step, an image of the object is acquired.
本願発明の点検装置、及び点検方法には、次のような効果がある。
（１）画像による点検作業であるから、足場を組み立てる必要がない上に、損傷箇所を現地で図面に記入する手間を省くことができる。
（２）重複率の適否を判断したうえで画像を取得するため、十分な重複率をもった画像を取得することができ、個々の画像をつなぎ合わせた全体画像を容易に作成することができる。この結果、点検対象全体のうちどこに損傷が生じているか（損傷位置）を容易に把握することができる。
The inspection device and the inspection method of the present invention have the following effects.
(1) Since the inspection work is based on an image, it is not necessary to assemble a scaffold, and it is possible to save the trouble of writing a damaged part on the site.
(2) Since an image is acquired after determining whether or not the overlapping rate is appropriate, an image having a sufficient overlapping rate can be acquired, and an entire image obtained by joining individual images can be easily created. . As a result, it is possible to easily grasp where damage (damage position) occurs in the entire inspection target.
本願発明の点検装置、及び点検方法の実施形態の一例を、図に基づいて説明する。なお本願発明の点検装置、及び点検方法は、コンクリート構造物をはじめあらゆるものを点検の対象（以下、「対象物」という。）とすることができるが、ここでは便宜上、図１に示す道路橋のコンクリート床版の下面（以下、単に「床版下面」という。）を対象物とし、さらに床版下面に生じたひび割れの状況を把握する橋梁点検の例で説明する。 An example of an embodiment of an inspection device and an inspection method of the present invention will be described with reference to the drawings. The inspection device and inspection method of the present invention can be any object including a concrete structure (hereinafter referred to as “object”), but here, for convenience, the road bridge shown in FIG. An example of a bridge inspection that uses the lower surface of a concrete floor slab (hereinafter simply referred to as “the floor slab lower surface”) as an object and grasps the state of cracks generated on the lower surface of the floor slab will be described.
床版下面の点検を行う場合、あらかじめ床版全体を複数のパネルに分割したうえで実施される。パネルは点検範囲の１単位であり、橋軸方向を横桁や対傾構などで区切り、橋軸直角方向を主桁で区切ることで設定される。例えば図２では、橋軸方向を１径間で区切り、橋軸直角方向を主桁で区切って、パネルＰＮを設定している。 When inspecting the bottom of the floor slab, the entire floor slab is divided into multiple panels in advance. The panel is one unit of the inspection range, and is set by dividing the bridge axis direction by a horizontal beam or a diagonal structure and dividing the bridge axis perpendicular direction by a main beam. For example, in FIG. 2, the panel PN is set by dividing the bridge axis direction by one diameter and dividing the direction perpendicular to the bridge axis by main digits.
図３は、１つのパネルＰＮを示す部分平面図である。長期にわたって供用されてきた道路橋のコンクリート床版（特にＲＣ床版）には、この図に示すように多数のひび割れが生じていることも珍しくなく、しかもそのひび割れが徐々に伸長しているケースも少なくない。このひび割れの発生状況、そしてひび割れの位置（分布状況）を把握することができれば、適切な時期に適切な対策を施すことができ、その結果、不測の事故を防ぐことができると同時に、橋梁の長寿命化を図ることができるわけである。 FIG. 3 is a partial plan view showing one panel PN. As shown in this figure, it is not unusual for the concrete floor slabs of road bridges that have been in service for a long time (especially RC slabs), and the cracks are gradually expanding. Not a few. If we can grasp the occurrence of this crack and the location (distribution) of the crack, we can take appropriate measures at the right time, and as a result we can prevent unexpected accidents and at the same time It is possible to extend the life.
本願発明は、対象物を撮影して取得した画像を用いて点検を行うことを１つの特徴としている。画像に基づく点検作業では、場所や時間を限定されることなく損傷を検出できる上、点検者以外の者も判断できることからより客観的に損傷を検出できるのは、既に説明したとおりである。ただし、１回の撮影で取得できる画像の範囲（以下、「画像範囲」という。）は限定的であり、そのため例えば１つのパネルＰＮの画像を得るためには、パネルＰＮ範囲を分割して複数回の撮影を行う必要がある。また、それぞれの分割領域を撮影して得られた個々の画像ではパネルＰＮ全体の状況を把握することが難しいため、通常は個々の画像を互いに結合した１つの画像（以下、「結合画像」という。）が作成される。このとき、隣接する（隣あう）２つの画像が相当程度重複（ラップ）していないと、これらの画像を結合することは難しい。そこで本願発明は、画像を取得したその場で、隣接する画像との重複の程度を適否判定することも特徴の１つとしている。 One feature of the present invention is that an inspection is performed using an image obtained by photographing an object. In the inspection work based on the image, the damage can be detected without being limited in place and time, and since the person other than the inspector can also judge, the damage can be detected more objectively as described above. However, the range of images that can be acquired by one shooting (hereinafter referred to as “image range”) is limited. Therefore, in order to obtain an image of one panel PN, for example, the panel PN range is divided into a plurality of ranges. It is necessary to shoot once. In addition, since it is difficult to grasp the entire state of the panel PN with individual images obtained by photographing the respective divided areas, usually one image (hereinafter referred to as “combined image”) obtained by combining the individual images. .) Is created. At this time, if two adjacent (adjacent) images do not overlap (wrap) to some extent, it is difficult to combine these images. In view of this, the present invention is characterized by determining whether or not the degree of overlap with an adjacent image is appropriate on the spot where the image is acquired.
以下、図４を参照しながら、本願発明の点検装置の処理の主な流れ、及び点検方法の主な工程の流れについてさらに詳しく説明する。図４は、処理や流れを示すフロー図であり、中央の列に実施する処理や工程を示し、左列にはその処理や工程に必要な入力情報を、右列にはその処理や工程から生まれる出力情報を示している。 Hereinafter, the main flow of the process of the inspection apparatus of the present invention and the flow of the main steps of the inspection method will be described in more detail with reference to FIG. FIG. 4 is a flowchart showing the process and flow. The process and process to be performed are shown in the center column, the input information necessary for the process and process is shown in the left column, and the process and process are shown in the right column. It shows the output information that is born.
はじめに、床版下面のパネルＰＮを区分した分割領域の画像を、画像取得手段１０１によって取得する（Ｓｔｅｐ１１０）。このとき取得した画像が、隣接する画像と十分重複していれば採用され、そうでなければ再度撮影することとなる。つまり、今まさに取得した画像が判定対象になるわけであり、判定対象とされるこの画像のことをここでは便宜上、「今回画像」ということとする。 First, an image of a divided region obtained by dividing the panel PN on the bottom surface of the floor slab is acquired by the image acquisition unit 101 (Step 110). If the image acquired at this time sufficiently overlaps with an adjacent image, the image is used. Otherwise, the image is taken again. That is, the image that has just been acquired is the determination target, and this image that is the determination target is referred to as a “current image” for the sake of convenience.
画像取得手段１０１は、画像を取得することができるものであり、デジタルカメラを代表的な例として挙げることができる。画像を取得する際、この画像取得手段１０１を三脚などの支持台上で固定したうえで撮影することもできるし、図５に示すように固定することなく手持ちした画像取得手段１０１で撮影することもできる。取得された今回画像は、図６に示すようにひとまず画像記憶手段１０２に記憶される。図６は、本願発明の点検装置１００の主な構成を示すブロック図である。
The
今回画像が取得できると、図６に示す画像読出し手段１０３によって画像記憶手段１０２から、今回画像と、この今回画像に隣接する画像（以下、「隣接画像」という。）を読み出す（図４：Ｓｔｅｐ１２０）。ここで、図７を参照しながら今回画像と隣接画像について説明する。図７は、床版下面のパネルＰＮを４区分した分割領域ＳＲ（第１分割領域ＳＲ１と、第２分割領域ＳＲ２、第３分割領域ＳＲ３、第４分割領域ＳＲ４）を、それぞれ順に撮影する状況を示す説明図であり、（ａ）は第１分割領域ＳＲ１を対象として第１分割画像ＰＨ１を取得する状況を、（ｂ）は第１分割画像ＰＨ１を取得した後に第２分割領域ＳＲ２を対象として第２分割画像ＰＨ２を取得する状況を、（ｃ）は第２分割画像ＰＨ２を取得した後に第３分割領域ＳＲ２を対象として第３分割画像ＰＨ３を取得する状況を、（ｄ）は第３分割画像ＰＨ３を取得した後に第４分割領域ＳＲ４を対象として第４分割画像ＰＨ４を取得する状況を示している。
When the current image can be acquired, the current image and an image adjacent to the current image (hereinafter referred to as “adjacent image”) are read from the
図７に示すように、隣接する分割画像ＰＨどうしはある程度重複しながら取得される。したがって、これから取得しようとする今回画像は、既に取得された隣接画像とある程度重複させながら取得される。例えば図７（ｂ）では、第２分割画像ＰＨ２が今回画像であり、既に取得した第１分割画像ＰＨ１が隣接画像となり、第１分割画像ＰＨ１（隣接画像）とある程度重複した状態で第２分割画像ＰＨ２（今回画像）が取得される。同様に図７（ｃ）では、第３分割画像ＰＨ３が今回画像、第１分割画像ＰＨ１が隣接画像となり、第１分割画像ＰＨ１（隣接画像）とある程度重複した状態で第３分割画像ＰＨ３（今回画像）が取得され、図７（ｄ）では、第４分割画像ＰＨ４が今回画像、第２分割画像ＰＨ２や第３分割画像ＰＨ３が隣接画像となり、第２分割画像ＰＨ２や第３分割画像ＰＨ３（隣接画像）とある程度重複した状態で第４分割画像ＰＨ４（今回画像）が取得される。このように隣接画像は、今回画像の撮影範囲に隣接する範囲を取得した画像であって、既に取得され、画像記憶手段１０２に記憶されたものである。そして、今般取得した今回画像も、後に取得された今回画像にとっては隣接画像となりうるわけである。
As shown in FIG. 7, adjacent divided images PH are acquired while overlapping to some extent. Therefore, the current image to be acquired is acquired while overlapping to some extent with the already acquired adjacent image. For example, in FIG. 7B, the second divided image PH2 is the current image, the first divided image PH1 that has already been acquired becomes an adjacent image, and the second divided image PH1 overlaps to some extent with the first divided image PH1 (adjacent image). An image PH2 (current image) is acquired. Similarly, in FIG. 7C, the third divided image PH3 is the current image, the first divided image PH1 is the adjacent image, and the third divided image PH3 (current time) is overlapped to some extent with the first divided image PH1 (adjacent image). 7D, the fourth divided image PH4 is the current image, the second divided image PH2 and the third divided image PH3 are adjacent images, and the second divided image PH2 and the third divided image PH3 ( The fourth divided image PH4 (current image) is acquired in a state where it overlaps to some extent with the adjacent image). As described above, the adjacent image is an image obtained by acquiring a range adjacent to the imaging range of the current image, and has already been acquired and stored in the
画像読出し手段１０３によって今回画像と隣接画像が読み出されると、図６に示す重複率算出手段１０４により今回画像と隣接画像の重複率が算出される（図４：Ｓｔｅｐ１３０）。ここで、図８を参照しながら重複率について説明する。図８は、今回画像と隣接画像の重複率を示すモデル図であり、（ａ）は重複面積に基づいて求める重複率を説明するモデル図、（ｂ）は外周線の長さに基づいて求める重複率を説明するモデル図、（ｃ）は図心から外周線までの長さに基づいて求める重複率を説明するモデル図である。
When the current image and the adjacent image are read by the
今回画像と隣接画像の重複率は、図８（ａ）に示すように今回画像と隣接画像が重なった重複領域の面積、つまり重複面積に基づいて求めることができる。具体的には、今回画像の面積のうち重複面積が占める割合（百分率）を重複率とするわけである。あるいは、隣接画像の面積のうち重複面積が占める割合を重複率とすることもできるし、今回画像と隣接画像の総和面積のうち重複面積が占める割合を重複率とすることもできる。 As shown in FIG. 8A, the overlapping rate of the current image and the adjacent image can be obtained based on the area of the overlapping region where the current image and the adjacent image overlap, that is, the overlapping area. Specifically, the ratio (percentage) occupied by the overlapping area in the area of the current image is set as the overlapping ratio. Alternatively, the ratio occupied by the overlapping area in the area of the adjacent image can be set as the overlapping ratio, and the ratio occupied by the overlapping area in the total area of the current image and the adjacent image can be set as the overlapping ratio.
また、今回画像と隣接画像の重複率は、図８（ｂ）に示すように外周線の長さに基づいて求めることもできる。なお、この図に示すように、今回画像や隣接画像の外周を形成する境界線が「外周線」であり、特に重複領域にある外周線のことを「重複外周線」ということとする。具体的には、今回画像の重複外周線の長さを今回画像の外周線の長さで除した値から重複率を算出する。あるいは、隣接画像の重複外周線の長さを隣接画像の外周線の長さで除した値や、今回画像と隣接画像の重複外周線の総長を今回画像と隣接画像の外周線の総長で除した値から、重複率を求めることもできる。 Further, the overlapping rate between the current image and the adjacent image can also be obtained based on the length of the outer peripheral line as shown in FIG. As shown in this figure, the boundary line forming the outer periphery of the current image and the adjacent image is the “peripheral line”, and in particular, the outer peripheral line in the overlapping region is referred to as the “overlapping outer peripheral line”. Specifically, the overlap rate is calculated from a value obtained by dividing the length of the overlapping outer peripheral line of the current image by the length of the outer peripheral line of the current image. Alternatively, the value obtained by dividing the length of the outer peripheral line of the adjacent image by the length of the outer peripheral line of the adjacent image, or the total length of the outer peripheral line of the current image and the adjacent image divided by the total length of the outer peripheral line of the current image and the adjacent image. The overlap rate can also be obtained from the obtained value.
さらに、今回画像と隣接画像の重複率は、図８（ｃ）に示すように重複領域の図心から外周線までの長さに基づいて求めることもできる。具体的には、重複領域の図心から今回画像の外周線までの長さ（以下、「縁距離」という。）を求め、この縁距離を今回画像や隣接画像の外周線の長さで除した値から重複率を算出する。縁距離は、図心から今回画像（隣接画像）の外周線のまでの最短距離としたり、短辺の外周線までの垂線の足の長さ（以下、「垂線長」という。）としたり、あるいは長辺の外周線までの垂線長とすることができ、さらに縁距離を除す長さは、今回画像（隣接画像）の短辺の外周線の長さとしたり、今回画像（隣接画像）の長辺の外周線の長さとしたり、今回画像（隣接画像）の外周線の全周長さとすることができる。 Furthermore, the overlapping rate between the current image and the adjacent image can also be obtained based on the length from the centroid to the outer circumference of the overlapping region as shown in FIG. Specifically, the length from the centroid of the overlapping area to the outer circumference of the current image (hereinafter referred to as “edge distance”) is obtained, and this edge distance is divided by the length of the outer circumference of the current image or an adjacent image. The overlap rate is calculated from the value. The edge distance is the shortest distance from the centroid to the outer circumference of the current image (adjacent image), the length of the foot of the perpendicular to the outer circumference of the short side (hereinafter referred to as “perpendicular length”), or The length of the perpendicular to the outer circumference of the long side can be taken as the length of the outer circumference of the short side of the current image (adjacent image) or the length of the current image (adjacent image). It can be the length of the outer peripheral line of the side or the entire peripheral length of the outer peripheral line of the current image (adjacent image).
ところで、今回画像と隣接画像では、その撮影位置も異なるうえ、撮影方向も異なることから、たとえ一部が重複しているとはいえ単純に両者を重ね合わせることはできない。そこで、今回画像と隣接画像に共通する複数の特徴点を抽出し、これら特徴点に基づいて今回画像と隣接画像の位置関係を求めることとなる。具体的には、今回画像を自動認識することによって特徴点を抽出するとともに、隣接画像を自動認識することによって特徴点を抽出し、両者の特徴点どうしの相関を求めることで共通の特徴点か否かを判断する。この画像認識は、画像上の輝度や色（色相、彩度、及び明度）の相違に基づいて自動判別する手法など、公知の技術を用いて行うことができる。例えば、画素間の輝度差と距離から勾配値を求め、特異な勾配値を示す画素が一定程度集合したものを特徴点として認定する。 By the way, since the shooting position and the shooting direction are different between the current image and the adjacent image, the two images cannot be simply overlapped even though they partially overlap. Therefore, a plurality of feature points common to the current image and the adjacent image are extracted, and the positional relationship between the current image and the adjacent image is obtained based on these feature points. Specifically, the feature points are extracted by automatically recognizing the current image, the feature points are extracted by automatically recognizing adjacent images, and the correlation between the two feature points is obtained to obtain a common feature point. Judge whether or not. This image recognition can be performed using a known technique such as a method of automatically discriminating based on a difference in luminance or color (hue, saturation, and brightness) on an image. For example, a gradient value is obtained from the luminance difference and distance between the pixels, and a certain set of pixels having a specific gradient value is recognized as a feature point.
今回画像と隣接画像の位置関係を明確にするには、一方の画像座標系（例えば今回画像）から他方の画像座標系（例えば隣接画像）に変換できればよい。この変換は、例えば下式に示す射影変換によって行うことができる。
さらに、式１を基に下記に示す行列式を得ることができる。
一方（例えば今回画像）の画像座標系における４つの特徴点の座標をＧ１（ｘ１，ｙ１）〜Ｇ４（ｘ４，ｙ４）とし、これに対応する他方（例えば隣接画像）の画像座標系における４つの特徴点の座標をＰ１（Ｘ１，Ｙ１，Ｚ１）〜Ｐ４（Ｘ４，Ｙ４，Ｚ４）とすると、式２を解くことで係数ｂ１〜ｂ８を求めることができる。したがって、今回画像と隣接画像に共通する特著点は少なくとも４点が必要となる。 The coordinates of four feature points in one (for example, the current image) image coordinate system are G1 (x1, y1) to G4 (x4, y4), and the corresponding four in the other (for example, the adjacent image) image coordinate system. If the coordinates of the feature points are P1 (X1, Y1, Z1) to P4 (X4, Y4, Z4), the coefficients b1 to b8 can be obtained by solving Equation 2. Therefore, at least four special points common to the current image and the adjacent image are required.
今回画像と隣接画像の位置関係が明確となり、今回画像と隣接画像の重複率が算出されると、今回画像の重複率の適否判定を行う（図４：Ｓｔｅｐ１４０）。図６に示すように、画像取得判定手段１０５が、あらかじめ定めた重複率の閾値（以下、「重複率閾値」という。）を重複率閾値記憶手段１０６から読み出すとともに、この解像度閾値と算出した重複率を照らし合わせることでその重複率の適否を判定する。具体的には、算出した重複率が重複率閾値を上回るときはその重複率を適合と判定し、算出した重複率が重複率閾値を下回るときはその重複率を不適合と判定する。ここで画像取得判定手段１０５が判定した結果（重複率の適否）は、ディスプレイや音声出力器などの出力手段１０７に出力することもできる。
When the positional relationship between the current image and the adjacent image is clarified and the overlapping rate between the current image and the adjacent image is calculated, whether the overlapping rate of the current image is appropriate is determined (FIG. 4: Step 140). As shown in FIG. 6, the image
画像取得判定手段１０５が今回画像の重複率に対して不適合と判定した場合（Ｓｔｅｐ１４０：Ｎｏ）は、前回よりも重複するように心がけて再度分割領域の画像取得し（Ｓｔｅｐ１１０）、改めて算出したうえで今回画像の重複率の適否判定を行う（Ｓｔｅｐ１４０）。なお、その重複率に対して不適合と判定された今回画像は、画像記憶手段１０２は削除しておくとよい。一方、画像取得判定手段１０５が今回画像の重複率に対して適合と判定した場合（Ｓｔｅｐ１４０：Ｙｅｓ）は、その画像を今回画像（後続の処理等では隣接画像）として画像記憶手段１０２に記憶させる（図４：Ｓｔｅｐ１５０）。
If the image
対象となる範囲、例えば図７に示すパネルＰＮの第１分割領域ＳＲ１〜第４分割領域ＳＲ４すべてについて、今回画像の取得（Ｓｔｅｐ１１０）〜今回画像の記憶（Ｓｔｅｐ１５０）の処理（工程）を繰り返し実行する（図４：Ｓｔｅｐ１６０）。そして、それぞれ第１分割領域ＳＲ１〜第４分割領域ＳＲ４に対して取得した分割画像ＰＨ（第１分割画像ＰＨ１〜第４分割画像ＰＨ４）を、図６に示す画像結合手段１０８によって結合する。具体的には、既述した共通する特徴点を利用して隣接する分割画像ＰＨを結合していき、図９に示すようにパネルＰＮ全体を表す１つの結合画像を作成する（図４：Ｓｔｅｐ１７０）。
図９は、第１分割画像ＰＨ１〜第４分割画像ＰＨ４を結合して結合画像を得る過程を示すモデル図である。なお、図９のうち破線で示す範囲は、隣接する分割画像どうしの重複領域を示している。ここで得られた結合画像は、画像記憶手段１０２に記憶される。
For the target range, for example, all of the first divided region SR1 to the fourth divided region SR4 of the panel PN shown in FIG. 7, the process (step) of acquiring the current image (Step 110) to storing the current image (Step 150) is repeatedly executed. (FIG. 4: Step 160). Then, the divided images PH (first divided image PH1 to fourth divided image PH4) acquired for the first divided region SR1 to the fourth divided region SR4 are combined by the image combining means 108 shown in FIG. Specifically, adjacent divided images PH are combined using the common feature points described above to create one combined image representing the entire panel PN as shown in FIG. 9 (FIG. 4: Step 170). ).
FIG. 9 is a model diagram illustrating a process of obtaining a combined image by combining the first divided image PH1 to the fourth divided image PH4. In addition, the range shown with a broken line in FIG. 9 has shown the overlap area | region of adjacent divided images. The combined image obtained here is stored in the
画像が取得できると、その画像からひび割れを抽出する（図４：Ｓｔｅｐ１８０）。図９では、結合画像から抽出されたひび割れを示している。このとき、人が画像から目視判読することによってひび割れを抽出してもよいし、図６に示すひび割れ抽出手段１０９によって自動的にひび割れを抽出することもできる。具体的には、画像記憶手段１０２から結合画像を読み出したひび割れ抽出手段１０９が、その画像を自動認識することによってひび割れを抽出する。この画像認識は、画像上の輝度や色（色相、彩度、及び明度）の相違に基づいて自動判別する手法など、公知の技術を用いて行うことができる。例えば、ひび割れに対してあらかじめ設定された輝度や色と近似する（又は一致する）画素を画像中から検出し、その検出された画素が所定数（閾値以上）を超えて連続する場合、これをひび割れとして抽出する。
When the image can be acquired, cracks are extracted from the image (FIG. 4: Step 180). FIG. 9 shows a crack extracted from the combined image. At this time, the crack may be extracted by a person visually reading the image, or the crack may be automatically extracted by the crack extracting means 109 shown in FIG. Specifically, the
ところで、画像からひび割れ等の損傷を検出するためには、相当の解像度をもった画像を取得しなければならないことは既に説明した。十分な重複率で分割画像ＰＨを取得し、適切に結合画像が得られたとしても、その解像度が十分でないことが後日判明すれば、改めて現地に出向いて十分な重複率と適切な解像度をもった画像を取得しなければならない。そこで本願発明の点検装置と点検方法は、分割画像ＰＨの重複率の適否を判定するとともに、その解像度の是非を判定したうえで、作成した結合画像からひび割れを抽出することもできる。より詳しくは、今回画像を取得する（図４：Ｓｔｅｐ１１０）にあたって、取得されるはずの今回画像の解像度を推定し、その推定された解像度が肯定されたときにはじめて今回画像が取得され（Ｓｔｅｐ１１０）、その今回画像に対して後続の処理等（Ｓｔｅｐ１２０〜Ｓｔｅｐ１８０）が実行される。以下、図１１を参照しながら、解像度の是非を判定する装置（以下、「解像度判定装置」という。）の処理の主な流れと、解像度の是非を判定する方法（以下、「解像度判定方法」という。）の主な工程の流れについて詳しく説明する。図１０は、処理や流れを示すフロー図であり、中央の列に実施する処理や工程を示し、左列にはその処理や工程に必要な入力情報を、右列にはその処理や工程から生まれる出力情報を示している。 As described above, in order to detect damage such as cracks from an image, it is necessary to acquire an image having a considerable resolution. Even if the divided image PH is acquired with a sufficient overlap rate and a combined image is obtained appropriately, if it is later determined that the resolution is not sufficient, we will visit the site again and have a sufficient overlap rate and appropriate resolution. Have to get the image. Therefore, the inspection device and the inspection method of the present invention can determine whether or not the overlapping rate of the divided images PH is appropriate, and can also extract cracks from the created combined image after determining whether the resolution is right or wrong. More specifically, when acquiring the current image (FIG. 4: Step 110), the resolution of the current image that should be acquired is estimated, and the current image is acquired only when the estimated resolution is affirmed (Step 110). Subsequent processing or the like (Step 120 to Step 180) is performed on the current image. Hereinafter, with reference to FIG. 11, the main flow of processing of an apparatus for determining the appropriateness of resolution (hereinafter referred to as “resolution determination apparatus”) and a method of determining the appropriateness of resolution (hereinafter, “resolution determination method”). The main process flow will be described in detail. FIG. 10 is a flowchart showing the process and flow. The process and process to be performed are shown in the center column, the input information necessary for the process and process is shown in the left column, and the process and process are shown in the right column. It shows the output information that is born.
はじめに、床版下面を見通せる位置に画像取得装置１０１を設置する（Ｓｔｅｐ２１０）。この場合、画像取得手段１０１は、図１２に示すように三脚２０２などの支持台上で固定して設置される。なお、後に説明するように、三脚１０２上に載置した可動式の雲台に画像取得装置１０１を設置することもできる。なお、この時点ではまだ画像を取得する必要はない。
First, the
画像取得手段１０１が設置できると、画像取得手段１０１から床版下面（対象物）までの距離（以下、この距離のことを「対象距離」という。）を測距手段２０３で計測し（Ｓｔｅｐ２２０）、画像取得手段１０１の姿勢（以下、「撮影姿勢」という。）を姿勢測定手段２０４で測定する（Ｓｔｅｐ２３０）。なお図１０では、対象距離を計測した後に撮影姿勢を測定するように示しているが、この場合に限らず、撮影姿勢を測定した後に対象距離を計測してもよいし、対象距離の計測と撮影姿勢の測定を並行して行ってもよい。 When the image acquisition means 101 can be installed, the distance from the image acquisition means 101 to the floor slab lower surface (object) (hereinafter, this distance is referred to as “target distance”) is measured by the distance measurement means 203 (Step 220). Then, the posture of the image acquisition unit 101 (hereinafter referred to as “photographing posture”) is measured by the posture measurement unit 204 (Step 230). In FIG. 10, the photographing posture is measured after the target distance is measured. However, the present invention is not limited to this, and the target distance may be measured after the photographing posture is measured. The measurement of the shooting posture may be performed in parallel.
対象距離を計測する測距手段２０３は、２点間の距離を測ることができるものであれば従来から使用されている種々の技術を利用することができ、例えばレーザー計測の技術を利用することができる。レーザー計測は、計測したい対象物に対して照射したレーザー光の反射信号を受けて計測するものであり、照射時刻と受信時刻の時間差から２点間の距離を測ることができる。図１１では、レーザー計測器（測距手段２０３）で対象距離を計測する状況を示しており、図中の矢印はレーザー計測器から照射されたレーザー光を示している。このとき、画像取得手段１０１のレンズ中心から床版下面までの距離を計測するとよい。実際には、図１１に示すように、レンズ中心を通る方向（視線方向）を若干量平行移動したレーザー光によって、画像取得手段１０１のレンズ中心から床版下面までの距離を近似的に計測する。 The distance measuring means 203 for measuring the target distance can use various conventional techniques as long as it can measure the distance between two points, for example, using a laser measurement technique. Can do. Laser measurement is performed by receiving a reflection signal of laser light irradiated to an object to be measured, and can measure the distance between two points from the time difference between the irradiation time and the reception time. FIG. 11 shows a situation in which the target distance is measured by the laser measuring instrument (ranging means 203), and the arrows in the figure indicate the laser light emitted from the laser measuring instrument. At this time, the distance from the lens center of the image acquisition means 101 to the lower surface of the floor slab may be measured. In practice, as shown in FIG. 11, the distance from the lens center of the image acquisition means 101 to the bottom of the floor slab is approximately measured by a laser beam that has been translated by a slight amount in the direction (line-of-sight direction) passing through the lens center. .
撮影姿勢を測定する姿勢測定手段２０４は、姿勢を測ることができるものであれば従来から使用されている種々の技術を利用することができる。なお、ここでいう姿勢とは画像取得手段１０１が向いている方向であり、対象物（この場合は、床版下面）に対する傾きのことを意味する。例えば、床版下面が水平面であれば、画像取得手段１０１の仰角（水平面となす角）や鉛直角（鉛直軸となす角）を測ることで床版下面に対する傾き、すなわち撮影姿勢を得ることができる。姿勢測定手段２０４としては、傾斜計や、地磁気センサ（電子コンパス）、加速度センサが代表的であるが、その他ジャイロセンサなどの技術、あるいはこれらを組み合わせた技術を利用することができる。電子コンパスと加速度センサの両方を内蔵した、いわゆる６軸センサ内蔵の端末器も市販されているので、この端末器を利用してもよい。
As the posture measuring means 204 for measuring the photographing posture, various techniques conventionally used can be used as long as the posture can be measured. Here, the posture is a direction in which the
また、姿勢測定手段２０４をレーザー計測器からなるものとし、つまりレーザー計測器により画像取得手段１０１の姿勢を取得することもできる。レーザー計測器と画像取得手段１０１の位置関係（光軸からの傾斜角も含む）を明確にした上で、床版下面にレーザー光を照射すると、床版下面で反射した点の座標が取得できる。この座標は、画像取得手段１０１の中心を原点とし光軸を含む３軸からなる任意の座標系を設定したとき、この座標系で表される相対的な座標となる。したがって３点以上を照射して床版下面の3点以上の座標を取得すれば、よく知られている空間上の平面の計算式を適用することで、画像取得手段１０１に対する床版下面の傾き、すなわち撮影姿勢を得ることができる。この場合のレーザー計測器は、レーザー光を照射する手段（以下、「レーザー光照射手段」という。）を３台以上の搭載したものとしてもよいし、可動する１台（又は２台）のレーザー照射手段を搭載したものとしてもよい。なお、姿勢測定手段２０４をレーザー計測器からなるものとした場合、平面の方程式から床版下面と画像取得手段との位置関係（距離を含む）を得ることができ、すなわち対象距離を得ることができることから、測距手段２０３を代用することもできる。言い換えると、３台以上のレーザー光照射手段、あるいは可動する１台（又は２台）のレーザー光照射手段を搭載したレーザー計測器を姿勢測定手段２０４とした場合、対象距離を計測する測距手段２０３、及び撮影姿勢を測定する姿勢測定手段２０４を同時に備えたことになるわけである。
Further, the
測距手段２０３で計測した対象距離と、姿勢測定手段２０４で測定した撮影姿勢は、図１２に示すように空間情報記憶手段２０５に記憶される。図１２は、解像度判定装置の主な構成を示すブロック図である。
The target distance measured by the
対象距離と撮影姿勢が得られると、解像度推定手段２０６で今回画像の解像度を推定する（図１０：Ｓｔｅｐ２４０）。ただし、この時点ではまだ実際に今回画像を取得する必要はない。すなわち、ここまでに得られた対象距離と撮影姿勢で撮影すれば取得されるはずの今回画像に対して、解像度を（あくまで）推定するわけである。具体的には、図１２に示すように、空間情報記憶手段２０５から対象距離と撮影姿勢を読み出した解像度推定手段２０６が、画像取得手段１０１の諸元（画角、画面距離など）を基に取得されるはずの今回画像の解像度を推定する。対象距離と撮影姿勢と画像取得手段１０１の諸元が得られると、図１１の破線で示すように、画像取得手段１０１が取得する床版下面の画像範囲が算出できる。画像取得手段１０１の画素数はあらかじめ分かっているため、この画素数と画像範囲との関係から画像の解像度を推定することができるわけである。
When the target distance and the photographing posture are obtained, the resolution of the current image is estimated by the resolution estimation unit 206 (FIG. 10: Step 240). However, at this time, it is not necessary to actually acquire the image this time. In other words, the resolution is (to the last) estimated for the current image that should be obtained if the subject distance and the photographing posture obtained so far are taken. Specifically, as shown in FIG. 12, the
取得される今回画像の解像度が推定されると、実際に画像取得を行ってもよいか否かの判定を行う（図１０：Ｓｔｅｐ２５０）。図１２に示すように、画像取得判定手段２０７が、あらかじめ定めた解像度の閾値（以下、「解像度閾値」という。）を解像度閾値記憶手段２０８から読み出すとともに、この解像度閾値と推定した解像度を照らし合わせることで画像取得の是非を判定する。具体的には、推定した解像度が解像度閾値を上回るときは画像取得を肯定し、推定した解像度が解像度閾値を下回るときは画像取得を否定する。なお、図１１からも分かるように、１つの画像内の解像度が一様ではないケースもある。この場合、推定した解像度のうち最も低い値と解像度閾値を比較してもよいし、平均値や中央値といった統計的に処理した値と解像度閾値を比較してもよい。ここで画像取得判定手段２０７が判定した結果（画像取得の肯定／否定）は、ディスプレイや音声出力器などの出力手段１０９に出力することもできる。
When the resolution of the acquired current image is estimated, it is determined whether or not the actual image acquisition may be performed (FIG. 10: Step 250). As shown in FIG. 12, the image
画像取得判定手段２０７が画像取得を肯定すると、実際に画像取得手段１０１で今回画像を取得する（図４：Ｓｔｅｐ１１０）。このとき、人が画像取得手段１０１を操作して今回画像を取得してもよいし、画像取得判定手段２０７の結果に応じて自動撮影することもできる。具体的には、画像取得判定手段２０７が画像取得を肯定すると、その情報を受け取った撮影制御手段（図示しない）が画像取得手段１０１に対して信号を送り、この信号を受信した画像取得手段１０１が自動的に画像を取得する。したがってこの場合、画像取得判定手段２０７と撮影制御手段、そして画像取得手段１０１は、それぞれ情報や信号を送受信することでのできる手段を有しており、さらにそれぞれは無線又は有線による通信手段で接続されている。なお、解像度推定手段２０６と画像取得判定手段２０７、撮影制御手段は、図１１に示すコンピュータＰＣによって実行させるとよい。
When the image
一方、画像取得判定手段２０７が画像取得を否定した場合、その設置状態（位置と姿勢）における画像取得手段１０１では画像を取得せずに、画像取得手段１０１の設置位置や設置姿勢を調整する（図１０：Ｓｔｅｐ２７０）。そして、あらためて対象距離を計測し（Ｓｔｅｐ２２０）、撮影姿勢を測定し（Ｓｔｅｐ２３０）、取得される画像の解像度を推定して（Ｓｔｅｐ２４０）、画像取得判定手段２０７に画像取得の是非を判定させる（Ｓｔｅｐ２５０）。
On the other hand, when the image
画像取得判定手段２０７が画像取得を否定したときに行う画像取得手段１０１の調整作業は人による手動とすることもできるし、自動的に調整することもできる。この場合、図１２に示す演算手段２０９が画像取得手段１０１の適正な設置位置や設置姿勢を算出し、この適正な設置位置と設置姿勢に基づいて調整制御手段２１０が可動式の雲台２１１に対して移動等するよう指令を送る。具体的には、画像取得判定手段２０７が画像取得を否定したという情報を受け取った演算手段２０９が、現状の対象距離と撮影姿勢、推定した解像度、解像度閾値といった情報を基に、適正な（つまり、解像度閾値を上回る解像度の画像を得ることができる）対象距離と撮影姿勢を求め、適正な設置位置と設置姿勢を算定し、さらに現状から適正な設置位置となるまでの移動量と移動方向、現状から適正な設置姿勢となるまでの移動傾斜角を算出する。この情報を受けた調整制御手段２１０が、可動式の雲台２１１に対して適正な設置位置や設置姿勢となるための調整量（移動量と移動方向、移動傾斜角）とともに調整すべき旨の指令を送り、これに応じて雲台２１１が移動し、傾斜する。したがってこの雲台２１１は、三脚２０２上で画像取得手段１０１を固定するものであって、電力などを動力とし、画像取得手段１０１を固定したまま移動し得るものであり、さらに画像取得手段１０１を固定したまま姿勢を変更（傾斜）し得るものである。またこの場合、画像取得判定手段２０７と、演算手段２０９、調整制御手段２１０、そして雲台２１１は、それぞれ情報や信号を送受信することでのできる手段を有しており、さらにそれぞれは無線又は有線による通信手段で接続されている。なお、演算手段２０９と、調整制御手段２１０、雲台２１１は、図１１に示すコンピュータＰＣによって実行させるとよい。
The adjustment operation of the
あらかじめ床版全体を複数のパネルＰＮに分割したうえで点検を行うことは既述したとおりである。したがって、橋梁床版を構成する全パネルＰＮに対して一連の処理（工程）を繰り返し行うことで当該橋梁床版の点検が完了する。 As described above, the entire floor slab is divided into a plurality of panels PN before inspection. Therefore, the inspection of the bridge deck is completed by repeatedly performing a series of processes (steps) on all the panels PN constituting the bridge deck.
本願発明の点検装置、及び点検方法は、道路橋、鉄道橋、管路橋など種々の用途の橋梁に利用でき、さらに橋梁のほか様々な建設インフラに利用することができる。本願発明によれば、供用中の建設インフラの劣化状況が把握でき、その劣化状況に応じた補修、補強対策が可能となり、ひいては建設インフラの長寿命化につながることを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。 The inspection device and the inspection method of the present invention can be used for bridges for various purposes such as road bridges, railway bridges, pipeline bridges, and can be used for various construction infrastructures besides bridges. According to the invention of the present application, it is possible to grasp the deterioration status of the construction infrastructure in service, and repair and reinforcement measures according to the deterioration status are possible. It can be said that the invention can be expected to make a great contribution not only to society.
１００ 本願発明の点検装置
１０１ 画像取得手段
１０２ 画像記憶手段
１０３ 画像読出し手段
１０４ 重複率算出手段
１０５ 画像取得判定手段
１０６ 重複率閾値記憶手段
１０７ 出力手段
１０８ 画像結合手段
１０９ ひび割れ抽出手段
２０２ 三脚
２０３ 測距手段
２０４ 姿勢測定手段
２０５ 空間情報記憶手段
２０６ 解像度推定手段
２０７ 画像取得判定手段
２０８ 解像度閾値記憶手段
２０９ 演算手段
２１０ 調整制御手段
２１１ 雲台
ＰＣ コンピュータ
ＰＨ 分割画像
ＰＨ１ 第１分割画像
ＰＨ２ 第２分割画像
ＰＨ３ 第３分割画像
ＰＨ４ 第４分割画像
ＰＮ パネル
ＳＲ 分割領域
ＳＲ１ 第１分割領域
ＳＲ２ 第２分割領域
ＳＲ３ 第３分割領域
ＳＲ４ 第４分割領域
DESCRIPTION OF
Claims (8)
前記対象物の画像を取得する画像取得手段と、
前記画像取得手段で取得した画像を記憶する画像記憶手段と、
前記画像取得手段で撮影して今回画像を取得すると、該今回画像の適否判定を行う画像判定手段と、を備え、
前記画像判定手段は、
前記今回画像の撮影範囲に隣接する範囲を取得した隣接画像を、前記画像記憶手段から読み出す画像読出し手段と、
前記今回画像と前記隣接画像に共通する複数の特徴点を抽出するとともに、該特徴点に基づいて該今回画像と該隣接画像の位置関係を求め、該今回画像と該隣接画像の重複率を算出する重複率算出手段と、を有し、
さらに前記画像判定手段は、前記重複率算出手段で算出された前記重複率が、あらかじめ定めた重複率閾値を上回るときは前記今回画像を適合と判定し、該重複率閾値を下回るときは前記今回画像を不適合と判定する、
ことを特徴とする対象物の点検装置。 In a device that inspects objects using images,
Image acquisition means for acquiring an image of the object;
Image storage means for storing the image acquired by the image acquisition means;
An image determination unit that determines whether the current image is appropriate when the current image is acquired by photographing with the image acquisition unit;
The image determination means
An image reading means for reading out an adjacent image obtained from a range adjacent to the shooting range of the current image from the image storage means;
A plurality of feature points common to the current image and the adjacent image are extracted, a positional relationship between the current image and the adjacent image is obtained based on the feature points, and a duplication rate between the current image and the adjacent image is calculated. And a duplication rate calculation means
Further, the image determination unit determines that the current image is suitable when the overlap rate calculated by the overlap rate calculation unit exceeds a predetermined overlap rate threshold, and when the overlap rate is lower than the overlap rate threshold, the current determination Determine that the image is non-conforming,
An inspection device for an object characterized by that.
前記結合画像から、前記対象物のひび割れを抽出するひび割れ抽出手段と、をさらに備えた、
ことを特徴とする請求項１記載の対象物の点検装置。 A combined image creating unit that creates a combined image obtained by combining the current image determined by the image determining unit and the adjacent image based on the feature points;
A crack extracting means for extracting cracks of the object from the combined image;
The object inspection apparatus according to claim 1, wherein:
ことを特徴とする請求項１又は請求項２記載の対象物の点検装置。 The overlapping rate calculating means calculates an overlapping rate based on the overlapping area of the current image and the adjacent image,
The inspection apparatus for an object according to claim 1 or 2, characterized in that
ことを特徴とする請求項１又は請求項２記載の対象物の点検装置。 The overlap rate calculating means calculates the overlap rate based on the length of the outer peripheral line of the current image that overlaps the adjacent image and / or the length of the outer peripheral line of the adjacent image that overlaps the current image.
The inspection apparatus for an object according to claim 1 or 2, characterized in that
ことを特徴とする請求項１又は請求項２記載の対象物の点検装置。 The overlap ratio calculating means obtains the centroid of the overlapping region of the current image and the adjacent image, and the length from the centroid to the outer peripheral line of the current image and / or the outer peripheral line of the adjacent image from the centroid. Calculate the overlap rate based on the length of
The inspection apparatus for an object according to claim 1 or 2, characterized in that
前記画像取得手段の姿勢を測定する姿勢測定手段と、
前記画像取得手段から前記対象物までの距離と、前記画像取得手段の姿勢と、に基づいて、取得される画像の解像度を推定する解像度推定手段と、
前記解像度推定手段が推定した前記解像度が、あらかじめ定めた解像度閾値を上回るときは画像取得を肯定し、該解像度閾値を下回るときは画像取得を否定する画像取得判定手段と、をさらに備え、
前記画像判定手段は、前記画像取得判定手段が肯定して取得した前記今回画像に対して適否判定を行う、
ことを特徴とする請求項１乃至請求項５のいずれかに記載の対象物の点検装置。 Ranging means for measuring the distance from the image acquisition means to the object;
Attitude measuring means for measuring the attitude of the image acquisition means;
Resolution estimation means for estimating the resolution of the acquired image based on the distance from the image acquisition means to the object and the attitude of the image acquisition means;
An image acquisition determination unit that affirms image acquisition when the resolution estimated by the resolution estimation unit exceeds a predetermined resolution threshold, and denies image acquisition when the resolution is less than the resolution threshold;
The image determination unit performs suitability determination on the current image acquired by the image acquisition determination unit in an affirmative manner.
The inspection apparatus for an object according to any one of claims 1 to 5, wherein
前記画像取得手段で前記対象物を撮影して今回画像を取得する画像取得工程と、
前記今回画像と、該今回画像の撮影範囲に隣接する範囲を取得した隣接画像と、に共通する複数の特徴点を抽出するとともに、該特徴点に基づいて該今回画像と該隣接画像の位置関係を求め、該今回画像と該隣接画像の重複率を算出する重複率算出工程と、
前記重複率算出工程で算出された前記重複率が、あらかじめ定めた重複率閾値を上回るときは前記今回画像を適合と判定し、該解像度閾値を下回るときは前記今回画像を不適合と判定する画像判定工程と、を備え、
前記画像判定工程で適合と判定された前記今回画像と、前記隣接画像と、を前記特徴点に基づいて結合した結合画像によって、前記対象物の点検を行うことを特徴とする対象物の点検方法。 In a method for acquiring an image of an object by an image acquisition means and inspecting the object,
An image acquisition step of acquiring the current image by photographing the object with the image acquisition means;
A plurality of feature points common to the current image and an adjacent image obtained by acquiring a range adjacent to the shooting range of the current image are extracted, and a positional relationship between the current image and the adjacent image based on the feature points And a duplication rate calculating step of calculating the duplication rate of the current image and the adjacent image;
Image determination in which the current image is determined to be suitable when the overlap rate calculated in the overlap rate calculation step exceeds a predetermined overlap rate threshold, and the current image is determined to be non-conforming when it falls below the resolution threshold A process,
A method for inspecting an object, wherein the object is inspected by using a combined image obtained by combining the current image determined to be suitable in the image determination step and the adjacent image based on the feature points. .
前記画像取得手段の姿勢を測定する姿勢測定工程と、
前記画像取得手段から前記対象物までの距離と、前記画像取得手段の姿勢と、に基づいて、取得される画像の解像度を推定する解像度推定工程と、
前記解像度推定工程で推定した画像の解像度が、あらかじめ定めた解像度閾値を上回るときは画像取得を肯定し、該解像度閾値を下回るときは画像取得を否定する画像取得判定工程と、をさらに備え、
前記画像取得工程では、前記画像取得判定工程で画像取得が肯定されたとき、前記対象物の画像を取得する、
ことを特徴とする請求項７記載の対象物の点検方法。 A distance measuring step of measuring a distance from the image acquisition means to the object;
An attitude measurement step for measuring the attitude of the image acquisition means;
A resolution estimation step of estimating the resolution of the acquired image based on the distance from the image acquisition means to the object and the attitude of the image acquisition means;
An image acquisition determination step of affirming image acquisition when the resolution of the image estimated in the resolution estimation step exceeds a predetermined resolution threshold, and denying image acquisition when lower than the resolution threshold;
In the image acquisition step, when image acquisition is affirmed in the image acquisition determination step, an image of the object is acquired.
The method for inspecting an object according to claim 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016233108A JP6120037B1 (en) | 2016-11-30 | 2016-11-30 | Inspection device and inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016233108A JP6120037B1 (en) | 2016-11-30 | 2016-11-30 | Inspection device and inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6120037B1 JP6120037B1 (en) | 2017-04-26 |
| JP2018090982A true JP2018090982A (en) | 2018-06-14 |
Family
ID=58666491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016233108A Active JP6120037B1 (en) | 2016-11-30 | 2016-11-30 | Inspection device and inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6120037B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020039470A1 (en) * | 2018-08-20 | 2020-02-27 | ダットジャパン株式会社 | Image processing system |
| WO2020054584A1 (en) * | 2018-09-12 | 2020-03-19 | 富士フイルム株式会社 | Composition processing system, composition processing device, and composition processing method |
| JP2020126590A (en) * | 2019-02-04 | 2020-08-20 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101926561B1 (en) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same |
| JP7034840B2 (en) * | 2018-06-08 | 2022-03-14 | アズビル株式会社 | Visual inspection equipment and methods |
| EP3820139B1 (en) | 2018-07-03 | 2023-09-13 | FUJIFILM Corporation | Image-capture plan presentation apparatus and method |
| CN111783672A (en) * | 2020-07-01 | 2020-10-16 | 哈尔滨工业大学 | Image feature identification method for improving bridge dynamic displacement precision |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993431A (en) * | 1995-09-26 | 1997-04-04 | Canon Inc | Panorama image synthesis device |
| JPH11102430A (en) * | 1997-09-25 | 1999-04-13 | Sharp Corp | Image processor |
| JP2001124522A (en) * | 1999-10-25 | 2001-05-11 | Nikon Corp | Crack evaluator using image processing |
| JP2004021578A (en) * | 2002-06-17 | 2004-01-22 | Nikon Gijutsu Kobo:Kk | Image processing method |
| JP2011065371A (en) * | 2009-09-16 | 2011-03-31 | Olympus Corp | Image generation method and image generating device |
-
2016
- 2016-11-30 JP JP2016233108A patent/JP6120037B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993431A (en) * | 1995-09-26 | 1997-04-04 | Canon Inc | Panorama image synthesis device |
| JPH11102430A (en) * | 1997-09-25 | 1999-04-13 | Sharp Corp | Image processor |
| JP2001124522A (en) * | 1999-10-25 | 2001-05-11 | Nikon Corp | Crack evaluator using image processing |
| JP2004021578A (en) * | 2002-06-17 | 2004-01-22 | Nikon Gijutsu Kobo:Kk | Image processing method |
| JP2011065371A (en) * | 2009-09-16 | 2011-03-31 | Olympus Corp | Image generation method and image generating device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020039470A1 (en) * | 2018-08-20 | 2020-02-27 | ダットジャパン株式会社 | Image processing system |
| JPWO2020039470A1 (en) * | 2018-08-20 | 2021-08-10 | ダットジャパン株式会社 | Image processing system |
| WO2020054584A1 (en) * | 2018-09-12 | 2020-03-19 | 富士フイルム株式会社 | Composition processing system, composition processing device, and composition processing method |
| JPWO2020054584A1 (en) * | 2018-09-12 | 2021-08-30 | 富士フイルム株式会社 | Synthesis system, synthesis processing device, and synthesis processing method |
| US11315218B2 (en) | 2018-09-12 | 2022-04-26 | Fujifilm Corporation | Composition processing system, composition processing apparatus, and composition processing method |
| JP2020126590A (en) * | 2019-02-04 | 2020-08-20 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP7412983B2 (en) | 2019-02-04 | 2024-01-15 | キヤノン株式会社 | Information processing device, information processing method, and program |
| US11928805B2 (en) | 2019-02-04 | 2024-03-12 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium for defect inspection and detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6120037B1 (en) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6120037B1 (en) | Inspection device and inspection method | |
| JP6472894B2 (en) | Maintenance planning support system, method and program | |
| JP6734583B2 (en) | Image processing system, image processing method and program for inspecting structures such as bridges | |
| KR101569193B1 (en) | Crack measuring device for long distance and crack measuring method using same | |
| JP6576474B2 (en) | Imaging support apparatus and imaging support method | |
| JP6412658B2 (en) | Inspection planning support system, method and program | |
| KR20170126148A (en) | Device and method for detecting road crack by using unmaned aerial vehicle | |
| JP6213754B1 (en) | Inspection device and inspection method | |
| CN112385207A (en) | Shooting plan prompting device and method | |
| CN109931889B (en) | Deviation detection system and method based on image recognition technology | |
| JP2004309491A (en) | Construction and civil engineering structure measurement/analysis system | |
| KR101306583B1 (en) | A measurement equipment and method for shape measure of curved spring | |
| JP6725675B2 (en) | Self-position estimating device, self-position estimating method, program, and image processing device | |
| JP2018063162A (en) | Image acquiring method and image acquiring device | |
| JP6354054B1 (en) | Imaging support apparatus and imaging method | |
| JP2007232684A (en) | Measuring instrument, measuring method, and measuring program | |
| JP7060934B2 (en) | Captured image correction system | |
| JP7314466B2 (en) | Unmanned aerial vehicle, imaging system, and program | |
| JP6132222B1 (en) | Image correction method and image correction apparatus | |
| JP7044331B2 (en) | Image processing systems, image processing methods and programs for efficiently inspecting structures such as bridges | |
| JP6818066B2 (en) | Captured image correction system and captured image correction method | |
| JP2021012141A (en) | Abnormality inspection system, abnormality inspection device, abnormality inspection method and abnormality inspection program | |
| JP2004309492A (en) | Construction and civil engineering structure measurement/analysis system | |
| JP6503132B1 (en) | Inspection method using image | |
| JP2020154397A (en) | Crack extracting system and crack extraction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170210 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170314 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6120037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |