JPWO2017217185A1 - Server apparatus, image processing system, and image processing method - Google Patents
Server apparatus, image processing system, and image processing method Download PDFInfo
- Publication number
- JPWO2017217185A1 JPWO2017217185A1 JP2018523607A JP2018523607A JPWO2017217185A1 JP WO2017217185 A1 JPWO2017217185 A1 JP WO2017217185A1 JP 2018523607 A JP2018523607 A JP 2018523607A JP 2018523607 A JP2018523607 A JP 2018523607A JP WO2017217185 A1 JPWO2017217185 A1 JP WO2017217185A1
- Authority
- JP
- Japan
- Prior art keywords
- crack
- image
- information
- images
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 239000002131 composite material Substances 0.000 claims abstract description 107
- 238000010191 image analysis Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims description 98
- 238000010801 machine learning Methods 0.000 claims description 42
- 238000007689 inspection Methods 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000012423 maintenance Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 103
- 238000003384 imaging method Methods 0.000 description 70
- 238000010586 diagram Methods 0.000 description 28
- 238000003702 image correction Methods 0.000 description 26
- 238000011960 computer-aided design Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000000034 method Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 14
- 238000005336 cracking Methods 0.000 description 13
- 239000000203 mixture Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 239000004567 concrete Substances 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 101150013335 img1 gene Proteins 0.000 description 5
- 101000652578 Homo sapiens Thyroid transcription factor 1-associated protein 26 Proteins 0.000 description 4
- 102100030344 Thyroid transcription factor 1-associated protein 26 Human genes 0.000 description 4
- 101150071665 img2 gene Proteins 0.000 description 4
- 102100040160 Rabankyrin-5 Human genes 0.000 description 3
- 101710086049 Rabankyrin-5 Proteins 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することを可能にするサーバ装置、画像処理システム及び画像処理方法を提供する。複数の画像と画像の位置情報とをユーザ端末から受信する受信部と、受信した複数の画像及び画像の位置情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部（２６）と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部（２８）と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部（３０）とを備える。A server device, an image processing system, and an image processing system capable of analyzing an image of a cracked portion without requiring an expensive device and presenting a composite image of the cracked portion and an image analysis result without complicating a user's operation An image processing method is provided. A reception unit that receives a plurality of images and image position information from the user terminal, and a composite image generation unit that generates a composite image indicating the surface of the structure based on the received plurality of images and image position information (26 ), A crack detection unit (28) for detecting cracks on the surface of the structure by analyzing the synthesized image or the image before synthesis, a crack image corresponding to the detected crack, and a feature amount of the detected crack And a crack information generation unit (30) for generating crack information indicating the above.
Description
本発明は、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することを可能にするサーバ装置、画像処理システム及び画像処理方法に関する。 The present invention is a server device that analyzes an image of a cracked portion without requiring an expensive device and presents a composite image of the cracked portion and an image analysis result without complicating the user's operation, The present invention relates to an image processing system and an image processing method.
社会的なインフラストラクチャーとして、橋梁、トンネルといった構造物が存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、定期的に点検を行うことが求められている。また的確な点検結果を報告することが求められている。例えば、構造物の表面に生じたひび割れの性状を的確に把握して点検結果を報告することが求められており、その報告に基づいてひび割れの進行程度に応じた適切な維持管理を行う必要がある。 There are structures such as bridges and tunnels as social infrastructure. Since these structures are damaged and the damage is progressive, it is required to periodically inspect. It is also required to report accurate inspection results. For example, it is required to accurately grasp the properties of cracks generated on the surface of the structure and report the inspection results, and it is necessary to perform appropriate maintenance management according to the progress of the cracks based on the reports. is there.
特許文献１には、コンクリート壁面をレーザ発射体付きのカメラで撮像して得られたレーザ光点付きの遠景画像及び近接画像をモバイルパソコンから送信すると、遠景画像及び近接画像をコンクリート壁面の正面から見た画像に正規化し、更に画像解析対象の近接画像を指定するために近接画像が遠景画像のどのエリアのものかを割り付ける操作をモバイルパソコンで行って解析指示を送信すると、指定の近接画像を画像解析してひび割れ幅を計測するサーバ装置が、記載されている。
In
特許文献２には、パーソナルコンピュータにおいて、点検現場での作業時に野帳に記入された撮影位置の情報に基づいてコンクリート構造物の画像をＣＡＤ（computer aided design）図面上に貼り付ける操作を行うと、その操作に応じて画像をＣＡＤ図面と関連付け、更に画像上でひび割れをトレースする操作を行うと、その操作に応じて画像上のひび割れをＣＡＤ図面に写像し、ＣＡＤ図面の情報を用いてひび割れの幅及び長さを算出することが、記載されている。
In
特許文献３には、パーソナルコンピュータにおいて、カメラからコンクリート壁面までの距離とカメラの光軸に対するコンクリート壁面の傾斜角とを計測して、複数枚の画像を接合し且つコンクリート壁面の正面から見た画像に補正し、更にコンクリート壁面のひび割れの分布状態とひび割れの幅とを求めて状態図を表示することが、記載されている。実際はひび割れであるにもかかわらず認識できていないひび割れは、マウスやペン入力装置を用いてトレースする操作により入力することができる。
In
特許文献４には、ひび割れの識別処理をサポートベクトルマシンアルゴリズムを用いて機械学習する際に、複数の領域画像のうち各領域画像の中心と各領域画像中の識別対象物（ひび割れ、汚れ、他の凹凸など）の重心とが一致する領域画像だけを学習対象のサンプルとして選択することが、記載されている。
In
特許文献１〜４には、構造物を分割撮像して得られた複数の画像と共に各画像の位置情報をユーザ端末から送信してサーバ装置で一枚の画像に合成することについて、開示が無い。
また、特許文献１に記載されたモバイルパソコン（ユーザ端末の一形態である）及びサーバ装置からなるシステムでは、レーザ発射体を設けたカメラが必要となるだけではなくて、遠景画像及び近接画像が必要であり、更には遠景画像に対して近接画像を割り付けるユーザ操作により画像解析対象の近接画像を指定する必要がある。従って、高額な装置が必要になるだけでなく、ひび割れの画像解析結果を得るまでのユーザの操作が煩雑であると言える。
In addition, in the system including the mobile personal computer (which is a form of the user terminal) and the server device described in
また、ユーザ端末でひび割れ箇所の合成画像を生成し且つひび割れの画像解析を行う場合には、高額なハードウエア又は高額なソフトウエアが必要であった。つまり、高額な装置を必要とした。 Further, when a composite image of a cracked part is generated and a crack image analysis is performed on the user terminal, expensive hardware or expensive software is required. In other words, expensive equipment was required.
特許文献２には、パーソナルコンピュータ（ユーザ端末の一形態である）において、画像をＣＡＤ図面上に貼り付ける操作と、画像上でひび割れをトレースする操作とを行うと、ひび割れの幅及び長さを算出することが記載されているにすぎない。
In
特許文献３に記載された技術では、ひび割れ情報を修正する場合にはマウスやペン入力装置を用いて一本ずつトレースする操作が必要となる。このようなトレース操作によるひび割れ情報の修正機能を用いれば、どのようなパターンのひび割れに対しても一本ずつ個別に修正できるけれども、操作が煩雑であり、作業時間が掛かってしまうため、繁忙な作業員にとって実際には行えない場合がある。
In the technique described in
特許文献４には、構造物の画像に基づいてひび割れの識別処理を学習することが記載されているにすぎない。
以上のように構造物の表面に生じるひび割れの性状を的確に把握して点検結果を報告することを支援するための各種の装置が提案又は提供されてきたが、ひび割れ箇所の画像を解析してひび割れの画像解析結果をユーザに提示するためには、高額な装置が必要になるとともに、ひび割れ箇所の複数の画像を合成するためのユーザの負荷が大きいといった問題があった。 As described above, various devices have been proposed or provided to assist in accurately grasping the properties of cracks generated on the surface of structures and reporting inspection results. In order to present the image analysis result of the crack to the user, an expensive device is required, and there is a problem that the load on the user for synthesizing a plurality of images of the cracked portion is large.
本発明は、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することを可能にするサーバ装置、画像処理システム及び画像処理方法を提供することを目的とする。 The present invention is a server device that analyzes an image of a cracked portion without requiring an expensive device and presents a composite image of the cracked portion and an image analysis result without complicating the user's operation, An object is to provide an image processing system and an image processing method.
上述した目的を達成するため、本発明の第１の態様に係るサーバ装置は、構造物の表面を示す複数の画像と、複数の画像の位置情報とを、ユーザ端末から受信する受信部と、受信された複数の画像及び位置情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部と、を備える。 In order to achieve the above-described object, a server device according to the first aspect of the present invention includes a receiving unit that receives a plurality of images indicating the surface of a structure and position information of the plurality of images from a user terminal; Based on the received multiple images and position information, a composite image generation unit that generates a composite image showing the surface of the structure and image analysis of the composite image or pre-composite image to detect cracks on the surface of the structure And a crack information generating unit that generates crack information indicating a crack image corresponding to the detected crack and a feature amount of the detected crack.
本態様によれば、ユーザ端末から構造物の表面を示す複数の画像とその複数の画像の位置情報とを送信すると、サーバ装置により複数の画像及び画像の位置情報に基づいて合成画像が生成され、且つひび割れ情報が生成されるので、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することが可能になる。また、本態様によれば、ユーザ端末から送信された画像及びその位置情報、更にはサーバ装置で生成された合成画像及びひび割れ情報を、蓄積してビッグデータ化することが可能になるので、そのビッグデータの二次利用により適切な合成画像及び適切な画像解析結果を導き出せるようにすることが可能になるとも言える。 According to this aspect, when a plurality of images indicating the surface of the structure and the position information of the plurality of images are transmitted from the user terminal, a composite image is generated based on the plurality of images and the position information of the images by the server device. In addition, since the crack information is generated, it is possible to analyze the image of the cracked portion without requiring an expensive device and present the composite image of the cracked portion and the image analysis result without complicating the user's operation. It becomes possible. Further, according to this aspect, it is possible to accumulate and convert the image transmitted from the user terminal and its position information, and further, the composite image and crack information generated by the server device into big data. It can be said that it is possible to derive an appropriate composite image and an appropriate image analysis result by secondary use of big data.
本発明の第２の態様に係るサーバ装置では、合成画像とひび割れ情報とをユーザ端末に送信してユーザ端末の画面に合成画像とひび割れ情報とを表示させる送信部を備え、受信部は、ユーザ端末でのマニュアル操作に応じたひび割れ情報の修正要求をユーザ端末から受信し、ひび割れ情報生成部は、修正要求に基づいてひび割れ情報を修正し、送信部は、修正されたひび割れ情報をユーザ端末に送信する。本態様によれば、ユーザ端末の画面に合成画像及びひび割れ情報が表示され、その表示の内容に対してユーザがマニュアル操作を行った場合、そのマニュアル操作に応じた修正要求をサーバに蓄積することが可能になる。従って、より適切な画像解析結果を導き出せるように、サーバ装置での画像解析処理を改良することが容易になる。つまり、画像処理結果の修正のための煩雑なユーザ操作を減らしつつ、より適切な画像解析結果をユーザに対して提示することが可能になる。 In the server device according to the second aspect of the present invention, the server device includes a transmission unit that transmits the composite image and the crack information to the user terminal and displays the composite image and the crack information on the screen of the user terminal. A crack information correction request according to a manual operation on the terminal is received from the user terminal, the crack information generation unit corrects the crack information based on the correction request, and the transmission unit sends the corrected crack information to the user terminal. Send. According to this aspect, when a composite image and crack information are displayed on the screen of the user terminal, and the user performs a manual operation on the content of the display, a correction request corresponding to the manual operation is stored in the server. Is possible. Therefore, it is easy to improve the image analysis processing in the server device so that a more appropriate image analysis result can be derived. That is, it is possible to present a more appropriate image analysis result to the user while reducing complicated user operations for correcting the image processing result.
本発明の第３の態様に係るサーバ装置では、受信部は、ひび割れ情報の修正内容を特徴量で示した修正要求をユーザ端末から受信し、ひび割れ情報生成部は、修正要求で示された特徴量に基づいて、ひび割れ情報を修正する。本態様によれば、ひび割れの特徴量でひび割れ情報の修正要求を示すユーザ操作が可能になる。例えばトレース操作に基づいてひび割れ情報を一本ずつ修正する場合と比較して、簡易な操作でひび割れ情報を修正することが可能になる。 In the server device according to the third aspect of the present invention, the receiving unit receives the correction request indicating the correction content of the crack information as a feature amount from the user terminal, and the crack information generating unit is the feature indicated by the correction request. Modify the crack information based on the amount. According to this aspect, it is possible to perform a user operation indicating a request for correction of crack information using a crack feature amount. For example, it is possible to correct the crack information with a simple operation as compared with the case where the crack information is corrected one by one based on the trace operation.
本発明の第４の態様に係るサーバ装置では、特徴量に対する合成画像中の線分の検出度数を示す度数分布と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダとを、ひび割れ情報に付加し、ユーザ端末でのスライダを用いたユーザ操作に応じてひび割れ情報を修正する。本態様によれば、特徴量に対する線分の検出度数を見ながらスライダを操作するという簡易な操作で、ひび割れ情報を修正することが可能になる。 In the server device according to the fourth aspect of the present invention, the frequency distribution indicating the detection frequency of the line segment in the composite image with respect to the feature amount, and the slider for instructing and inputting the correction content of the crack information by the feature amount are cracked. It is added to the information, and the crack information is corrected according to the user operation using the slider on the user terminal. According to this aspect, it is possible to correct the crack information by a simple operation of operating the slider while viewing the detection frequency of the line segment with respect to the feature amount.
本発明の第５の態様に係るサーバ装置では、ひび割れ情報生成部は、特徴量に基づいてひび割れ画像をグルーピングして、ユーザ端末でのひび割れ画像のグループを選択するマニュアル操作に応じてひび割れ情報を修正する。本態様によれば、ひび割れ画像のグループを選択するという簡易な操作で、ひび割れ情報を修正することが可能になる。 In the server device according to the fifth aspect of the present invention, the crack information generation unit groups the crack images based on the feature amount, and generates the crack information according to a manual operation for selecting a group of crack images on the user terminal. Correct it. According to this aspect, the crack information can be corrected by a simple operation of selecting a group of crack images.
本発明の第６の態様に係るサーバ装置では、ユーザ端末でのマニュアル操作に基づいて、ひび割れの検出を機械学習する機械学習部を備える。本態様によれば、ユーザ端末でのマニュアル操作に基づいてひび割れの検出が機械学習されるので、画像解析結果を修正するための煩雑なユーザ操作を着実に減少させてゆくことが可能になる。 The server device according to the sixth aspect of the present invention includes a machine learning unit that performs machine learning to detect a crack based on a manual operation on a user terminal. According to this aspect, since crack detection is machine-learned based on a manual operation on the user terminal, it is possible to steadily reduce troublesome user operations for correcting image analysis results.
本発明の第７の態様に係るサーバ装置では、特徴量は、ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度のうち少なくともいずれかを含む。 In the server device according to the seventh aspect of the present invention, the feature amount includes at least one of a crack direction, length, width, edge strength, and edge density.
本発明の第８の態様に係る画像処理方法では、合成画像生成部は、複数の画像に対して、画像位置情報、縮尺、あおり及び回転角度のうち少なくとも一つの補正を行う。 In the image processing method according to the eighth aspect of the present invention, the composite image generation unit corrects at least one of the image position information, the scale, the tilt, and the rotation angle with respect to the plurality of images.
本発明の第９の態様に係るサーバ装置では、合成画像生成部は、複数の画像に基づいて補正パラメータを導き出し、補正を行う。 In the server device according to the ninth aspect of the present invention, the composite image generation unit derives correction parameters based on a plurality of images and performs correction.
本発明の第１０の態様に係るサーバ装置では、ひび割れ情報に基づいて、ひび割れ画像によって示されるひび割れの幅をユーザ端末の画面上で測定するためのスケール画像を生成するスケール画像生成部を備え、ひび割れ情報生成部は、スケール画像をひび割れ情報に付加する。 The server device according to the tenth aspect of the present invention includes a scale image generation unit that generates a scale image for measuring the width of the crack indicated by the crack image on the screen of the user terminal based on the crack information, The crack information generation unit adds the scale image to the crack information.
本発明の第１１の態様に係るサーバ装置では、少なくともひび割れ情報に基づいて、ひび割れの程度を評価し、構造物のひび割れ程度の評価区分を判別するひび割れ評価部を備える。 The server device according to the eleventh aspect of the present invention includes a crack evaluation unit that evaluates the degree of cracking based on at least cracking information and discriminates the evaluation category of the cracking degree of the structure.
本発明の第１２の態様に係るサーバ装置では、判別された評価区分を含む構造物の点検結果を示す帳票を作成する帳票作成部を備える。 The server device according to the twelfth aspect of the present invention includes a form creation unit that creates a form indicating the inspection result of the structure including the judged evaluation category.
本発明の第１３の態様に係るサーバ装置では、合成画像とひび割れ情報とを、予め決められたデータ形式のＣＡＤデータに変換するデータ変換部を備える。 A server device according to a thirteenth aspect of the present invention includes a data conversion unit that converts a composite image and crack information into CAD data in a predetermined data format.
本発明の第１４の態様に係るサーバ装置では、構造物の構造情報、環境条件情報、使用条件情報、維持管理履歴情報、及び災害履歴情報のうち少なくともひとつの情報と、ひび割れ情報とに基づいて、ひび割れの進行を予測する予測部を備える。 In the server device according to the fourteenth aspect of the present invention, based on structure information, environmental condition information, use condition information, maintenance management history information, and disaster history information of the structure, and crack information. And a prediction unit for predicting the progress of cracks.
本発明の第１５の態様に係る画像処理システムは、ユーザ端末及びサーバ装置を含む画像処理システムであって、ユーザ端末は、構造物の表面を示す複数の画像と、複数の画像の位置情報とを入力する端末入力部と、サーバ装置に対して、複数の画像及び位置情報を送信する端末送信部と、サーバ装置から、複数の画像に対する画像処理結果を受信する端末受信部と、画像処理結果を表示する端末表示部と、を備え、サーバ装置は、ユーザ端末から、複数の画像と位置情報とを受信するサーバ受信部と、受信された複数の画像及び位置情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部と、複数の画像に対する画像処理結果として、合成画像とひび割れ情報とをユーザ端末に送信するサーバ送信部と、を備え、端末表示部は、合成画像とひび割れ情報とを表示する。 An image processing system according to a fifteenth aspect of the present invention is an image processing system including a user terminal and a server device, and the user terminal includes a plurality of images indicating the surface of a structure, position information of the plurality of images, and the like. A terminal input unit that inputs a plurality of images and position information to the server device, a terminal reception unit that receives image processing results for the plurality of images from the server device, and an image processing result A server display unit that displays a plurality of images and position information from a user terminal, and a server reception unit that receives a plurality of images and position information received from the user terminal. A composite image generation unit that generates a composite image showing the surface, a crack detection unit that detects a crack on the surface of the structure by performing image analysis on the composite image or an image before synthesis, and corresponding to the detected crack A crack information generating unit that generates crack information indicating a crack image and a feature amount of the detected crack; a server transmission unit that transmits a composite image and crack information to a user terminal as an image processing result for a plurality of images; The terminal display unit displays the composite image and the crack information.
本発明の第１６の態様に係る画像処理方法では、構造物の表面を示す複数の画像と、複数の画像の位置情報とを、ユーザ端末から受信するステップと、受信された複数の画像及び画像位置情報に基づいて、構造物の表面を示す合成画像を生成するステップと、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するステップと、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するステップと、を含む。 In the image processing method according to the sixteenth aspect of the present invention, a step of receiving, from a user terminal, a plurality of images indicating the surface of a structure and position information of the plurality of images, and the received plurality of images and images Based on the position information, generate a composite image that shows the surface of the structure, analyze the composite image or the image before composite to detect cracks on the surface of the structure, and respond to the detected cracks Generating crack information indicating a crack image to be detected and a feature amount of the detected crack.
本発明よれば、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することが可能になる。 According to the present invention, it is possible to analyze an image of a cracked portion without requiring an expensive device and present a composite image of the cracked portion and an image analysis result without complicating the user's operation.
以下、添付図面に従って、本発明に係るサーバ装置、画像処理システム及び画像処理方法を実施するための形態について説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for implementing a server device, an image processing system, and an image processing method according to the present invention will be described with reference to the accompanying drawings.
［構造物例］
図１は、本発明が適用される構造物の一例である橋梁の構造を示す斜視図である。図１に示す橋梁１は複数の主桁３を有し、主桁３同士は接合部３Ａで接合されている。主桁３の上部には、コンクリート製の部材である床版２が打設されている。橋梁１は、床版２及び主桁３の他に、図示しない横桁、対傾構、及び横構等の部材を有する。[Example of structure]
FIG. 1 is a perspective view showing a structure of a bridge as an example of a structure to which the present invention is applied. The
尚、本発明における「構造物」は、橋梁に限定されない。構造物は、トンネル、ダム、建築物などでもよい。 The “structure” in the present invention is not limited to a bridge. The structure may be a tunnel, a dam, a building, or the like.
［第１の実施形態］
図２は、第１の実施形態における画像処理システムの構成例を示すブロック図である。[First Embodiment]
FIG. 2 is a block diagram illustrating a configuration example of the image processing system according to the first embodiment.
ユーザ端末１０とサーバ装置２０とにより、クライアントサーバ型の画像処理システムが構成される。実際には複数のユーザ端末１０がネットワークＮＷに接続される。ユーザ端末１０はユーザに対するフロントエンド処理を行うコンピュータ装置によって構成され、サーバ装置２０は画像処理等のバックエンド処理を行うコンピュータ装置によって構成される。ユーザ端末１０として、例えば、パーソナルコンピュータ、タブレット、スマートフォン等のコンピュータ装置を用いることができる。サーバ装置２０は、複数のコンピュータ装置で構成してもよい。本例のサーバ装置２０は、説明の便宜上、データベース５０を含んで構成される。サーバ装置２０とデータベース５０とを異なる装置として設けてよい。
The
ユーザ端末１０は、構造物の表面を示す複数の画像と、複数の画像の位置情報を含む画像合成に必要な情報とを入力する端末入力部１１と、入力された複数の画像と画像合成に必要な情報とをサーバ装置２０に対して送信する端末送信部１２と、サーバ装置２０から複数の画像に対する画像処理結果を受信する端末受信部１３と、サーバ装置２０の画像処理結果を表示する端末表示部１４と、ユーザのマニュアル操作を受け付ける端末操作部１５と、ユーザ端末１０用のフロントエンドプログラムに従ってユーザ端末１０の各部を制御する端末制御部１６と、フロントエンドプログラムとそのフロントエンドプログラムの実行に必要な各種情報とを記憶する端末記憶部１７とを備える。
The
端末入力部１１は、例えば、無線通信又は有線通信により画像及び画像の位置情報を入力する通信デバイスにより構成することができる。メモリカード等の記憶媒体から画像を入力する記憶媒体インタフェースデバイスと、人から画像の位置情報の入力操作を受け付ける操作デバイスとを含んで、端末入力部１１を構成してもよい。端末送信部１２及び端末受信部１３は、ネットワークＮＷを介して、サーバ装置２０を含む他の装置と通信するための通信デバイスによって構成することができる。端末表示部１４は、液晶表示デバイス等の表示デバイスによって構成することができる。端末操作部１５は、キーボード、マウス、タッチパネル等の操作デバイスによって構成することができる。端末制御部１６は、例えばＣＰＵ（central processing unit）によって構成することができる。端末記憶部１７は、メモリデバイスによって構成することができる。
The terminal input unit 11 can be configured by a communication device that inputs an image and position information of the image by wireless communication or wired communication, for example. The terminal input unit 11 may be configured to include a storage medium interface device that inputs an image from a storage medium such as a memory card, and an operation device that receives an input operation of image position information from a person. The terminal transmitter 12 and the
サーバ装置２０は、ユーザ端末１０から複数の画像と複数の画像の位置情報を含む画像合成に必要な情報とを受信する受信部２２と、サーバ装置２０での画像処理結果をユーザ端末１０に対して送信する送信部２４と、複数の画像及び画像合成に必要な情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部２６と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部２８と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部３０と、ユーザ端末１０でのユーザ操作に基づいて、ひび割れの検出を機械学習する機械学習部３２と、を含んで構成される。送信部２４は、合成画像とひび割れ情報とをユーザ端末１０に送信して、ユーザ端末１０の画面に合成画像とひび割れ情報とを表示させる。受信部２２は、ユーザ端末１０でのユーザ操作に応じたひび割れ情報の修正要求をユーザ端末１０から受信する。ひび割れ情報生成部３０は、修正要求に基づいてひび割れ情報を修正する。送信部２４は、修正されたひび割れ情報をユーザ端末１０に送信する。データベース５０は、ユーザ端末１０から受信した情報（複数の画像、画像合成に必要な情報、マニュアル操作情報等）と、サーバ装置２０での画像処理結果（合成画像、ひび割れ情報等）とを関連付けて蓄積する。
The
また、サーバ装置２０は、生成されたひび割れ情報に基づいて、ひび割れ画像によって示されるひび割れの幅をユーザ端末１０の画面上で測定するためのスケール画像を生成するスケール画像生成部３４を備える。ひび割れ情報生成部３０は、生成されたスケール画像をひび割れ情報に付加する。送信部２４は、スケール画像が付加されたひび割れ情報をユーザ端末１０に送信する。
In addition, the
本例のサーバ装置２０は、少なくともひび割れ情報に基づいて、ひび割れの程度を評価し、構造物のひび割れ程度の評価区分（以下「ランク情報」ともいう）を判別するひび割れ評価部３６を備える。ひび割れ情報生成部３０は、判別されたランク情報をひび割れ情報に付加する。送信部２４は、ランク情報が付加されたひび割れ情報をユーザ端末１０に送信する。
The
更に、サーバ装置２０は、合成画像とひび割れ情報とを予め決められたデータ形式のＣＡＤ(computer aided design)データに変換することによりＣＡＤデータを取得するＣＡＤデータ取得部３８（「データ変換部」の一形態である）を備える。
Further, the
更に、サーバ装置２０は、判別されたひび割れ程度の評価区分を含む構造物の点検結果を示す帳票（以下「点検調書」ともいう）を作成する帳票作成部４０を備える。送信部２４は、作成された帳票をユーザ端末１０に送信する。
Furthermore, the
また、サーバ装置２０は、バックエンドプログラムとそのバックエンドプログラムの実行に必要な各種情報とを記憶する記憶部４２を備える。
The
受信部２２及び送信部２４は、ネットワークＮＷを介して、ユーザ端末１０を含む他の装置と通信するための通信デバイスによって構成することができる。合成画像生成部２６、ひび割れ検出部２８、ひび割れ情報生成部３０、機械学習部３２、スケール画像生成部３４、ひび割れ評価部３６、ＣＡＤデータ取得部３８、及び帳票作成部４０は、例えばＣＰＵによって構成することができる。複数のＣＰＵにより構成してもよい。記憶部４２は、メモリデバイスによって構成することができる。
The receiving
ユーザ端末１０からサーバ装置２０に送信される画像の位置情報（以下「画像位置情報」ともいう）は、構造物の表面に対する各画像の位置関係を示す場合（つまり構造物の表面における複数の被撮像領域のそれぞれの位置を示す場合）と、複数の画像同士の相対的な位置関係を示す場合とがある。
Image position information (hereinafter also referred to as “image position information”) transmitted from the
＜画像補正＞
サーバ装置２０の合成画像生成部２６は、複数の画像を画像補正後に合成する。本例の合成画像生成部２６は、複数の画像に基づいて補正パラメータを導き出し、複数の画像に対して補正を行うことができる。本例の合成画像生成部２６は、複数の画像に対して次の画像補正１〜４のうち少なくとも一つの補正を行う機能を有する。<Image correction>
The composite
画像補正１（画像位置情報補正）：複数の画像同士の相対的な位置関係を、被撮像面（例えば橋梁の床版）における複数の被撮像領域同士の相対的な位置関係にマッチングさせる画像処理である。つまり、不正確な画像位置情報をユーザ端末１０から受信したと判定した場合、その不正確な画像位置情報をより正確な画像位置情報に補正する。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、隣接する画像間を跨ぐひび割れが存在するのにそのひび割れ画像が隣接する画像間で離間していて繋がっていない場合、そのひび割れを隣接する画像間で繋がらせる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、本補正を行ってもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいて画像位置情報を補正してもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいて画像位置情報補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいて画像位置情報補正を行う機能を有する。これにより、不正確な画像位置情報を正確な画像位置情報に容易に補正することが可能である。正確な画像位置情報をユーザ端末１０から受信したと判定した場合には、本補正を行わなくてよい。
Image correction 1 (image position information correction): Image processing for matching a relative positional relationship between a plurality of images with a relative positional relationship between a plurality of imaged regions on a surface to be imaged (for example, a floor slab of a bridge) It is. That is, when it is determined that inaccurate image position information has been received from the
画像補正２（縮尺補正）：複数の画像の縮尺を一致させる画像処理（「拡縮」ともいう）である。つまり、撮像装置６０から構造物の被撮像面までの距離が不一致である複数の画像をユーザ端末１０から受信したと判定した場合、その被撮像面までの距離がより一致した複数の画像（「一定距離の画像」ともいう）に補正する。画像に距離情報が関連付けられている場合、その距離情報に基づいて拡縮すればよい。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、隣接する画像間を跨ぐ複数のひび割れが存在するのにひび割れ画像の間隔が隣接する画像間で一致していない場合、その複数のひび割れ画像の間隔を隣接する画像間で一致させる画像処理が挙げられる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、補正してもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいて縮尺補正を行ってもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいて縮尺補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいて縮尺補正を行う機能を有する。一定距離で分割撮像を行った場合には、本補正を行わなくてよい。
Image correction 2 (scale correction): Image processing for matching the scales of a plurality of images (also referred to as “enlargement / reduction”). That is, when it is determined that a plurality of images whose distances from the
画像補正３（あおり補正）：複数の画像のそれぞれのあおりを補正する画像処理である。つまり、撮像装置の撮像方向に対する構造物の被撮像面の傾き角度が不一致である複数の画像をユーザ端末１０から受信したと判定した場合、その被撮像面の傾き角度がより一致した複数の画像（「一定傾き角度の画像」ともいう）に補正する。画像に傾き角度情報が関連付けられている場合、その傾き角度情報に基づいてあおり補正を行えばよい。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、ひび割れの方向をマッチングさせる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、補正してもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいてあおり補正を行ってもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいてあおり補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいてあおり補正を行う機能を有する。一定傾き角度で分割撮像を行った場合には、本補正を行わなくてよい。
Image correction 3 (tilt correction): Image processing for correcting each tilt of a plurality of images. That is, when it is determined that a plurality of images in which the tilt angles of the imaging surface of the structure with respect to the imaging direction of the imaging device are mismatched are received from the
画像補正４（回転角度補正）：複数の画像のそれぞれの被撮像面に対する回転角度を補正する画像処理である。つまり、構造物の被撮像面に対する撮像装置の撮像方向回りの回転角度（「方位角」ともいう）が不一致である複数の画像をユーザ端末１０から受信したと判定した場合、その被撮像面に対する回転角度がより一致した複数の画像（「一定回転角度の画像」ともいう）に補正する。画像に回転角度情報が関連付けられている場合、その回転角度情報に基づいて回転を行えばよい。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、ひび割れの方向をマッチングさせる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、補正してもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいて回転角度補正を行ってもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいて回転角度補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいて回転角度補正を行う機能を有する。一定回転角度で分割撮像を行った場合には、本補正を行わなくてよい。
Image correction 4 (rotation angle correction): Image processing for correcting the rotation angle of each of a plurality of images with respect to the imaged surface. In other words, when it is determined that a plurality of images with different rotation angles (also referred to as “azimuth angles”) around the imaging direction of the imaging device with respect to the imaging surface of the structure are received from the
＜ひび割れ情報の一括修正＞
ユーザ端末１０でのユーザ操作に応じて本例のサーバ装置２０のひび割れ情報生成部３０で行うひび割れ情報の修正処理について、説明する。<Batch correction of crack information>
The crack information correction process performed by the crack
本例のサーバ装置２０のひび割れ情報生成部３０は、ユーザ端末１０でユーザが指示したひび割れの特徴量に基づいて、複数のひび割れに関して一括してひび割れ情報を修正する機能（以下「一括修正」という）を有する。サーバ装置２０の受信部２２は、ひび割れ情報の修正内容をひび割れの特徴量で示した修正要求を、ユーザ端末１０から受信する。サーバ装置２０のひび割れ情報生成部３０は、修正要求で示された特徴量に基づいて、ひび割れ情報を修正する。このような特徴量に基づいたひび割れ情報の修正（一括修正）の態様として、各種の態様が挙げられる。
The crack
第１の一括修正の態様として、ユーザ端末１０の画面に表示させたスライダを用いたマニュアル操作（以下「スライド操作」という）に応じて一括修正を行う態様が挙げられる。本態様のひび割れ情報生成部３０は、特徴量に対する合成画像中の線分（以下「線状パターン」ともいう）の検出度数を示す度数分布（「ヒストグラム」ともいう）と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダとを、ユーザ端末１０に対して送信されるひび割れ情報に付加し、ユーザ端末１０でのスライダを用いた操作に応じて、ひび割れ情報を修正する。
As a first batch correction mode, a mode in which batch correction is performed in accordance with a manual operation using a slider displayed on the screen of the user terminal 10 (hereinafter referred to as “slide operation”) can be given. The crack
図３は、度数分布及びスライダの第１の表示例を示す図である。本例では、ユーザ端末１０の画面に表示された合成画像ＩＭＧ１上に、検出されたひび割れを示すひび割れ画像ＣＲ１、ＣＲ２、ＣＲ３、ＣＲ４を表示させる。更に、合成画像ＩＭＧ１の近傍に、特徴量に対する合成画像ＩＭＧ１中の線分（ひび割れ候補である）の検出度数を示す度数分布ＨＧ１（ヒストグラム）と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダＳＬ１とを表示させる。度数分布ＨＧ１のｙ方向（画面の上下方向）がひび割れ候補である線分の特徴量を示し、度数分布ＨＧ１のｘ方向（画面の左右方向）がひび割れ候補である線分の度数を示す。スライダＳＬ１は、合成画像ＩＭＧ１中の線分がひび割れであるか否かの判定基準を調節するためのスライド式のＧＵＩ（graphical user interface）である。本例のスライダＳＬ１は一本のバーＢＲ１を有し、その一本のバーＢＲ１の表示位置を基準にして、度数分布ＨＧ１のうちのひび割れ対象領域ＡＲ１が決まる。図３の上下方向（ｘ方向）において、度数分布ＨＧ１のうち、バーＢＲ１の表示位置よりも上の領域がひび割れ対象領域ＡＲ１であり、そのひび割れ対象領域ＡＲ１内の特徴量を持つ線分が「ひび割れ」として検出される。
FIG. 3 is a diagram illustrating a first display example of the frequency distribution and the slider. In this example, crack images CR1, CR2, CR3, and CR4 indicating the detected cracks are displayed on the composite image IMG1 displayed on the screen of the
図４は、度数分布及びスライダの第２の表示例を示す図である。本例のスライダＳＬ２は二本のバーＢＲ２１、ＢＲ２２を有し、その二本のバーＢＲ２１、ＢＲ２２の表示位置を基準にしてひび割れ対象領域ＡＲ２が決まる。図４のｙ方向（画面の上下方向）において、度数分布ＨＧ１のうち二本のバーＢＲ２１、ＢＲ２２で挟まれた領域がひび割れ対象領域ＡＲ２であり、そのひび割れ対象領域ＡＲ２内の特徴量を持つ線分が「ひび割れ」として検出される。 FIG. 4 is a diagram illustrating a second display example of the frequency distribution and the slider. The slider SL2 of this example has two bars BR21 and BR22, and the crack target area AR2 is determined based on the display position of the two bars BR21 and BR22. In the y direction (up and down direction of the screen) in FIG. 4, a region between the two bars BR21 and BR22 in the frequency distribution HG1 is a crack target region AR2, and a line having a feature amount in the crack target region AR2 Minutes are detected as "cracks".
図５は、度数分布及びスライダの第３の表示例を示す図である。本例では、二つのスライダＳＬ１、ＳＬ２を表示して、複数の特徴量に基づいて、ひび割れ対象領域ＡＲ１、ＡＲ２を選択入力することができる。 FIG. 5 is a diagram illustrating a third display example of the frequency distribution and the slider. In this example, two sliders SL1 and SL2 are displayed, and the crack target areas AR1 and AR2 can be selectively input based on a plurality of feature amounts.
図６は、度数分布及びスライダの第４の表示例を示す図である。本例では、チェックボックスＢＸ１，ＢＸ２，ＢＸ３を表示して、損傷の種類を選択入力することができる。 FIG. 6 is a diagram illustrating a fourth display example of the frequency distribution and the slider. In this example, the check boxes BX1, BX2, and BX3 are displayed, and the type of damage can be selected and input.
特徴量は、ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度のうち少なくともいずれかを含む。他の特徴量でもよい。ひび割れ情報生成部３０は、度数分布（ヒストグラム）とスライダとをひび割れ情報に付加し、ユーザ端末１０でのスライダを用いたマニュアル操作に応じて、ひび割れ情報を修正する。
The feature amount includes at least one of a crack direction, length, width, edge strength, and edge density. Other feature amounts may be used. The crack
以上のように、特徴量（ひび割れ検出部２８により検出された線分の特徴量である）に対する線分の検出度数を示す度数分布と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダとを、ひび割れ情報に付加し、ユーザ端末１０でのスライダを用いたスライド操作に応じてひび割れ情報を修正することにより、簡易な操作でより精度が高いひび割れ情報に修正することが可能になる。
As described above, the frequency distribution indicating the detection frequency of the line segment with respect to the feature value (the feature value of the line segment detected by the crack detection unit 28) and the instruction for inputting the correction content of the crack information by the feature value By adding the slider to the crack information and correcting the crack information according to the slide operation using the slider in the
第２に、ユーザ端末１０の画面に表示させたひび割れ画像に対するグループ選択操作に応じて一括修正を行う態様が挙げられる。本態様のひび割れ情報生成部３０は、特徴量に基づいてひび割れ画像をグルーピングし、ユーザ端末１０でのひび割れ画像のグループを選択するマニュアル操作に応じてひび割れ情報を修正する。
Secondly, there is a mode in which collective correction is performed according to a group selection operation for a cracked image displayed on the screen of the
図７は、ひび割れ画像を方向（特徴量の一形態である）に基づいてグルーピングしてグループ毎に異なる線種で表示した例を示す。本例では、同一方向及び類似方向の複数のひび割れ画像（ひび割れ検出部２８によりひび割れとして検出された線分に対応する画像である）で一つのグループを形成した。第１のグループＧ１のひび割れ画像を実線で表示させ、第２のグループＧ２のひび割れ画像を破線で表示させ、第３のグループＧ３のひび割れ画像を一点鎖線で表示させている。尚、図示の都合上、グループ毎に異なる線種で表示させた場合を例示したが、グループ毎に異なる色で表示させてもよい。 FIG. 7 shows an example in which crack images are grouped based on a direction (which is one form of feature amount) and displayed with different line types for each group. In this example, one group is formed by a plurality of crack images in the same direction and similar directions (images corresponding to line segments detected as cracks by the crack detection unit 28). The crack image of the first group G1 is displayed with a solid line, the crack image of the second group G2 is displayed with a broken line, and the crack image of the third group G3 is displayed with a one-dot chain line. For the convenience of illustration, the case of displaying with different line types for each group is illustrated, but it may be displayed with different colors for each group.
ユーザは、ユーザ端末１０の画面の表示を見て、削除対象のグループのうち少なくとも一本のひび割れ画像を囲うタッチ操作を行う。そうすると囲まれたひび割れ画像の方向に基づいて、そのひび割れ画像が属するグループ内の全てのひび割れ画像（同一方向及び類似方向のひび割れ画像である）が一括して消去される。同時に、選択されたグループのひび割れ情報がサーバ装置２０で削除される。図７に示す例では、タッチ操作で囲われた選択領域ＡＲに含まれる同一グループのひび割れ画像が画面から消去され、かつ同一グループのひび割れ情報が削除される。
The user looks at the display on the screen of the
ひび割れ画像を囲う操作ではなくて、削除対象のグループをユーザに直接的に選択させてもよい。例えば、図７の点線表示された第２のグループＧ２のひび割れ情報を削除する場合、「点線」を選択する操作をユーザ端末１０で受け付ける。グループ毎に異なる色でひび割れ画像を表示させた場合には、色（例えば「赤」）を選択する操作を受け付ける。グループの識別情報（例えばグループ番号）を選択する操作を受け付けてもよい。
Instead of the operation of surrounding the cracked image, the user may directly select the group to be deleted. For example, when deleting the crack information of the second group G2 displayed in dotted lines in FIG. 7, an operation of selecting “dotted lines” is received at the
また、ひび割れ情報の「削除」に限らず、ひび割れ情報の「追加」、「増加」及び「減少」の操作を受け付けることが好ましい。 Further, it is preferable to accept not only “deletion” of crack information but also “addition”, “increase” and “decrease” operations of crack information.
以上のように、特徴量に基づいてひび割れ画像をグルーピングし、ユーザ端末１０でのひび割れ画像のグループを選択するユーザ操作に応じてひび割れ情報を修正することにより、簡易な操作でより精度が高いひび割れ情報に修正することが可能になる。
As described above, the crack images are grouped based on the feature amount, and the crack information is corrected according to the user operation for selecting the group of crack images on the
＜機械学習＞
サーバ装置２０の機械学習部３２は、例えば人工知能によって構成される。人工知能として、例えば人工ニューラルネットワークを用いてもよいし、他の公知の人工知能を用いてもよい。ただし、本発明は機械学習部３２として人工知能を用いない場合（例えば単なる検索手段を用いて情報を取得する場合）にも適用可能であり、また機械学習部３２を省略することも可能である。<Machine learning>
The machine learning unit 32 of the
機械学習部３２は、第１の学習として、ユーザ端末１０でのユーザ操作に基づいて、ひび割れの検出を機械学習する。本例の機械学習部３２は、少なくとも、ユーザ端末１０でのひび割れ情報の編集のためのユーザ操作の履歴と、データベース５０に記憶された画像（合成画像又は合成前の画像である）と、データベース５０に記憶されたひび割れ情報とに基づいて、ひび割れの検出を機械学習する。
As the first learning, the machine learning unit 32 performs machine learning to detect a crack based on a user operation on the
本例の機械学習部３２は、データベース５０に記憶されたひび割れ情報に関する操作履歴に基づいて、データベース５０に記憶された編集履歴（ひび割れ情報の修正の内容を示す履歴である）のうちから学習すべき編集履歴を特定し、特定された編集履歴と、その特定された編集履歴に対応する合成画像及びひび割れ情報とに基づいて、合成画像（又は合成前の画像）から検出すべきひび割れの特徴量を機械学習する。つまり、ひび割れ検出部２８のひび割れ検出で用いるモデルを更新する。
The machine learning unit 32 of this example learns from the edit history (which is a history indicating the content of the crack information correction) stored in the
尚、本例のひび割れ情報生成部３０は、前述のようにひび割れ情報の修正指示を特徴量単位で受け付ける「一括修正」の機能を有する。そこで本例の機械学習部３２は、ユーザ端末１０での特徴量単位のユーザ操作の履歴と、合成画像及びひび割れ情報との対応関係に基づいて、ひび割れ検出を機械学習する。合成前の画像を画像解析してひび割れを検出する場合には、特徴量単位の操作の履歴と合成前の画像及びひび割れ情報との対応関係に基づいて機械学習する。
Note that the crack
また、機械学習部３２は、第２の学習として、ユーザ端末１０でのユーザ操作に基づいて、画像補正を機械学習する。本例の機械学習部３２は、少なくとも、ユーザ端末１０での画像補正のためのユーザ操作の履歴と、データベース５０に記憶された画像（補正前の画像及び補正後の画像である）とに基づいて、画像補正を機械学習する。
In addition, the machine learning unit 32 performs machine learning on image correction based on a user operation on the
本例の機械学習部３２は、データベース５０に記憶された画像補正の操作履歴に基づいて、データベース５０に記憶された画像補正履歴（画像の補正の内容を示す履歴である）のうちから学習すべき画像補正履歴を特定し、特定された画像補正履歴と、その特定された画像補正履歴に対応する補正前の画像及び補正後の画像（合成画像でよい）とに基づいて、補正前の画像と画像補正の内容との対応関係を機械学習する。つまり、合成画像生成部２６の画像補正で用いるモデルを更新する。
The machine learning unit 32 of this example learns from the image correction history stored in the database 50 (which is a history indicating the contents of image correction) based on the image correction operation history stored in the
尚、本例の合成画像生成部２６は、前述のように画像位置情報補正、縮尺補正、あおり補正及び回転角度補正の機能を有する。そこで本例の機械学習部３２は、ユーザ端末１０での画像位置情報補正、縮尺補正、あおり補正又は回転角度補正のためのユーザ操作の履歴と、補正前の画像及び補正後の画像（合成画像でよい）との対応関係に基づいて、画像補正を機械学習する。
Note that the composite
人工知能技術の進歩が著しく、優秀な人の頭脳を超える画像解析を行い得る人工知能が期待されている。ただし、未学習の事象の発生時（例えば学習初期段階）には修正操作が必要になる場合がある。従って、機械学習部３２として人工知能を採用した場合でも、前述の「一括修正」のように、簡易なユーザ操作でひび割れ情報を編集する機能を、機械学習機能と併せてサーバ装置２０に実装することが好ましい。
Artificial intelligence technology has made significant progress, and artificial intelligence that can perform image analysis that exceeds the brains of excellent human beings is expected. However, a correction operation may be required when an unlearned event occurs (for example, at the initial learning stage). Therefore, even when artificial intelligence is employed as the machine learning unit 32, a function for editing crack information by a simple user operation is implemented in the
＜第１の画像処理例＞
図８は、第１実施形態における第１の画像処理例の流れを示すフローチャートである。<First Image Processing Example>
FIG. 8 is a flowchart showing the flow of the first image processing example in the first embodiment.
本図の左側のフロントエンド処理はユーザ端末１０の端末記憶部１７に記憶されたプログラム（フロントエンドプログラム）に従ってユーザ端末１０で開始される（ステップＳ２）。また、本図の右側のバックエンド処理は、サーバ装置２０の記憶部４２に記憶されたプログラム（バックエンドプログラム）に従ってサーバ装置２０で開始される（ステップＳ４）。
The front end process on the left side of the figure is started at the
本例では、図９に示すように点検現場で撮像装置６０により得られた複数の画像が事務所のユーザ端末１０に入力され（ステップＳ６）、且つ点検現場でユーザにより野帳に記入された画像位置情報が事務所のユーザ端末１０に入力される（ステップＳ８）。
In this example, as shown in FIG. 9, a plurality of images obtained by the
複数の画像は、撮像装置６０により橋梁の床版の格間を複数に分割撮像して得られる。これらの複数の画像は、例えば有線通信又は近距離無線通信を用いて、端末入力部１１により入力する。メモリカード等の記憶媒体から入力してもよい。撮像装置６０からネットワークＮＷ上の図示しない記憶デバイスに複数の画像をアップロードし、その記憶デバイスからネットワークＮＷを介して複数の画像を入力してもよい。
The plurality of images are obtained by dividing and imaging the space between the bridge floor slabs into a plurality by the
野帳には、ユーザが橋梁の床版を目視して得た情報が記入されている。図示を省略した計測器を用いて計測した情報を野帳に記入してもよい。以下の説明では、少なくとも、橋梁の床版に対する複数の画像の位置関係を示す手書きの情報（手書きの画像位置情報）が、野帳に記入されているものとする。 The field book is filled with information obtained by the user viewing the bridge deck. Information measured using a measuring instrument (not shown) may be entered in the field book. In the following description, it is assumed that at least handwritten information (handwritten image position information) indicating the positional relationship of a plurality of images with respect to a bridge floor slab is entered in the field book.
橋梁の床版を表したＣＡＤ（computer aided design）図面が作成済である場合、そのＣＡＤ図面を端末表示部１４に表示させて、その表示されたＣＡＤ図面中の床版の格間の被撮影位置に対して各画像を嵌め込むマニュアル操作を端末操作部１５により受け付ける。このようなマニュアル操作に応じて、ＣＡＤ図面中の床版の基準位置に対する各画像の位置関係を示す画像位置情報が入力される。
If a CAD (computer aided design) drawing representing a bridge slab has already been created, the CAD drawing is displayed on the
橋梁の床版を表したＣＡＤ図面が未作成である場合、図１０に示すように、端末表示部１４の画面上で複数の画像を並べるマニュアル操作を端末操作部１５により受け付ける。このようなマニュアル操作に応じて、複数の画像同士の相対的な位置関係を示す画像位置情報が入力される。この態様では、サーバ装置２０において、複数の画像同士の相対的な位置関係を、床版の基準位置に対する各画像の位置関係に変換することが、好ましい。隣接する画像同士の共通部分を重ね合わせるマニュアル操作を受け付けてもよい。
When the CAD drawing representing the bridge slab has not been created, the
また、必要に応じて、後の画像補正（ステップＳ１６）の示唆となる情報（以下「補正ヒント情報」という）が、ユーザ端末１０に入力される（ステップＳ１０）。 Further, if necessary, information (hereinafter referred to as “correction hint information”) that suggests subsequent image correction (step S16) is input to the user terminal 10 (step S10).
例えば、複数の画像の全部について床版の正面から撮像した場合には「全部正面」、複数の画像の全部について床版の非正面から撮像した場合には「全部あおり」、複数の画像のうち一部だけ床版の非正面から撮像した場合には「一部あおり」といったような、あおり補正のヒント情報を入力するマニュアル操作を、端末操作部１５により受け付ける。具体的なあおりの角度（撮像装置６０の撮像方向に対する床版の傾き角度である）の入力を受け付けてもよいが、この場合には概略の角度が入力される可能性があり、後の工程でサーバ装置２０において、概略の角度を詳細な角度に補正することが、好ましい。縮尺補正（拡縮）、回転角度補正等、他の画像補正のための補正ヒント情報の入力を受け付けてもよい。あおり補正、縮尺補正及び回転角度補正が不要である場合には、本ステップを省略してよい。
For example, when all the multiple images are captured from the front of the floor slab, “all front”, when all the multiple images are captured from the non-front of the floor slab, “all tilt”, among the multiple images When a part of the image is taken from the front of the floor slab, the
次に、ユーザ端末１０の端末制御部１６により画像処理要求情報を生成して、ユーザ端末１０の端末送信部１２により、生成された画像処理要求情報をサーバ装置２０に対して送信する（ステップＳ１２）。画像処理要求情報は、サーバ装置２０の受信部２２により受信され、データベース５０に登録される（ステップＳ１４）。
Next, the image processing request information is generated by the
画像処理要求情報には、ステップＳ６で入力された複数の画像と、ステップＳ８で入力された画像位置情報とが含まれる。ステップＳ１０で補正ヒント情報が入力された場合、その補正ヒント情報も画像処理要求情報に含まれる。 The image processing request information includes a plurality of images input in step S6 and the image position information input in step S8. When correction hint information is input in step S10, the correction hint information is also included in the image processing request information.
次に、サーバ装置２０の合成画像生成部２６により、複数の画像を補正する（ステップＳ１６）。例えば、前述の画像補正（画像位置情報補正、縮尺補正、あおり補正、及び回転角度補正）のうち、必要な補正が行われる。ステップＳ１０で補正ヒント情報が入力された場合、その補正ヒント情報に基づいて、画像補正が行われる。
Next, the composite
次に、サーバ装置２０の合成画像生成部２６により、複数の画像及び画像位置情報に基づいて、床版の格間ごとに一枚の合成画像が生成される（ステップＳ１８）。合成画像は、データベース５０に登録される。
Next, the composite
次に、サーバ装置２０の機械学習部３２により、合成画像が不適切であるか否かを判断する（ステップＳ２０）。機械学習部３２は、データベース５０に記憶された各種の情報に基づいて、合成画像が適切である事象及び不適切である事象を学習しており、その学習結果に基づいて今回の合成画像が不適切であるか否かを判断することができる。機械学習部３２は、例えば、原画像（合成前の画像）間で構造物上の模様が繋がらない等の異常を検出する機能を学習結果として持つことが可能である。合成画像が不適切であると判断された場合（ステップＳ２０でＹＥＳの場合）、画像補正及び画像合成に関するパラメータを変更してステップＳ１６に戻り、適切であると判断された場合（ステップＳ２０でＮＯの場合）、ステップＳ２２に進む。
Next, the machine learning unit 32 of the
次に、サーバ装置２０のひび割れ検出部２８により、床版の格間ごとの合成画像を画像解析して、床版のひび割れを格間ごとに検出する（ステップＳ２２）。
Next, the
次に、サーバ装置２０のひび割れ情報生成部３０により、検出されたひび割れに対応するひび割れ画像と、検出されたひび割れの特徴量とを示す、ひび割れ情報を生成する（ステップＳ２４）。特徴量には、ひび割れの幅、長さ、間隔等、床版のひび割れ程度の評価区分を判別するために必要な情報が含まれる。また、特徴量には、一括編集に必要な情報が含まれる。生成されたひび割れ情報は、データベース５０に登録される。
Next, the crack
本例は、一括編集に必要な、度数分布、スライダ、グループ情報等が、ひび割れ情報に付加される。また、スケール画像生成部３４により生成されたスケール画像がひび割れ情報に付加されてもよい。スケール画像の具体例は後述する。
In this example, the frequency distribution, slider, group information, and the like necessary for batch editing are added to the crack information. Further, the scale image generated by the scale
ひび割れ評価部３６により、少なくともひび割れ情報に基づいて、橋梁の床版におけるひび割れの程度を評価して、そのひび割れ程度の評価区分を示すランク情報を生成し、そのランク情報をひび割れ情報に付加してもよい。以下では、説明の便宜上、ランク情報がひび割れ情報に付加されなかったものとする。
The
次に、サーバ装置２０の送信部２４により、床版の格間ごとの合成画像とひび割れ情報とをユーザ端末１０に対して送信する（ステップＳ２６）。合成画像及びひび割れ情報は、ユーザ端末１０の端末受信部１３により受信され、端末表示部１４に表示される（ステップＳ２８）。
Next, the
例えば、図１１に示すように、端末表示部１４の画面に、床版の格間ごとの合成画像ＩＭＧ２と、ひび割れ画像ＣＲを含むひび割れ情報が表示される。本例では、合成画像ＩＭＧ２中のひび割れが検出された位置に、ひび割れ画像ＣＲが重ね合される。尚、図１１では、スケール画像を省略しているが、合成画像ＩＭＧ２に更にスケール画像を重ね合わせて表示してもよい。
For example, as shown in FIG. 11, crack information including a composite image IMG2 for each space between floor slabs and a crack image CR is displayed on the screen of the
次に、ユーザ端末１０の端末操作部１５によりユーザからひび割れ情報の修正操作を受け付けたか否かを判定し（ステップＳ３２）、修正操作を受け付けた場合（ステップＳ３２でＹＥＳの場合）、ユーザ端末１０の端末送信部１２により、ユーザの修正操作に対応したひび割れ情報の修正要求をサーバ装置２０に対して送信する（ステップＳ３４）。修正要求は、サーバ装置２０の受信部２２により受信され、データベース５０に登録される（ステップＳ３６）。
Next, it is determined whether or not a crack information correction operation has been received from the user by the
また、ユーザは、端末表示部１４の表示を見て、ひび割れ程度の評価区分を示すランク情報を端末操作部１５により入力することができる。
Further, the user can input rank information indicating an evaluation category of the degree of cracking through the
図１２は、ひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、ランク情報が「ＲＡＮＫ１」〜「ＲＡＮＫ５」の五段階で表される。各ランク情報とひび割れ状態との対応関係は次の通りである。 FIG. 12 is a diagram schematically illustrating an example of a crack progression model. In this progression model, the rank information is expressed in five levels “RANK1” to “RANK5”. The correspondence relationship between each rank information and the crack state is as follows.
ＲＡＮＫ１：損傷なし。 RANK1: No damage.
ＲＡＮＫ２：横方向（車輌の通行方向に直交する短手方向）に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。 RANK2: A state in which a plurality of cracks are generated in parallel along the lateral direction (short direction perpendicular to the direction of vehicle travel). This is the stage where multiple cracks due to drying shrinkage become parallel beams.
ＲＡＮＫ３：縦方向（車輌の通行方向に平行な長手方向）のひび割れ及び横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版の上下方向（床版下面に直交する垂直方向）で貫通する。 RANK3: A state in which a crack in the vertical direction (longitudinal direction parallel to the vehicle traveling direction) and a crack in the horizontal direction intersect each other. This is a stage in which a plurality of cracks are formed in a lattice shape due to a live load, and the crack density in the lattice-shaped region increases. In the second half, cracks penetrate in the vertical direction of the floor slab (vertical direction perpendicular to the floor slab lower surface).
ＲＡＮＫ４：格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版がせん断抵抗を失う段階である。 RANK4: A state in which the crack density in the lattice-like region exceeds a specified value, and the fracture surfaces of a plurality of cracks that have penetrated are smoothed. This is the stage where the slab loses shear resistance due to the polishing action.
ＲＡＮＫ５：抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。 RANK5: A state in which dropout has occurred. Dropout occurs due to wheel load exceeding the reduced punching shear strength.
次に、サーバ装置２０のひび割れ情報生成部３０により、受信された修正要求に基づいて、ひび割れ情報を修正する（ステップＳ３８）。ランク情報がユーザ端末１０で入力された場合には、そのランク情報をひび割れ情報に付加する。
Next, the crack
次に、サーバ装置２０の送信部２４により、修正後のひび割れ情報をユーザ端末１０に対して送信する（ステップＳ４０）。修正後のひび割れ情報は、ユーザ端末１０の端末受信部１３により受信され、端末表示部１４に表示される（ステップＳ４２）。
Next, the crack information after correction is transmitted to the
次に、ユーザ端末１０の端末操作部１５によりユーザから帳票作成指示の入力を受け付けたか否かを判定し（ステップＳ４４）、帳票作成指示の入力を受け付けた場合（ステップＳ４４でＹＥＳの場合）、ユーザ端末１０の端末送信部１２により、帳票要求がサーバ装置２０に対して送信される（ステップＳ４６）。帳票要求は、サーバ装置２０の受信部２２により受信される（ステップＳ４８）。
Next, it is determined whether or not an input of a form creation instruction has been received from the user by the
次に、サーバ装置２０の帳票作成部４０により、橋梁の床版の点検結果を示す帳票（点検調書）を作成する（ステップＳ５０）。帳票は、橋梁の床版におけるひび割れ程度の評価区分を示すランク情報を含む。
Next, the
次に、サーバ装置２０の送信部２４により、ユーザ端末１０に対して帳票を送信する（ステップＳ５２）。帳票は、ユーザ端末１０の端末受信部１３により受信され、端末表示部１４により帳票受信がユーザに対して報知される（ステップＳ５４）。帳票は、ユーザの操作に応じて、端末表示部１４に表示させることが可能であり、またネットワークＮＷに接続されたプリンタ（図示を省略）に印刷させることも可能である。
Next, the form is transmitted to the
図１３は、帳票としての損傷図の一例を示す図である。この損傷図は、点検対象である橋梁の床版に生じた各損傷について、格間ごとに、損傷表示（ひび割れ表示、漏水表示、遊離石灰表示等）、部材名（「床版」等）、要素番号（Ｄｓ０２０１等）、損傷の種類（「ひび割れ」、「漏水」、「遊離石灰」等）、損傷程度の評価区分（ランク情報）が記載されたものである。尚、図１３では、図１２に示した五段階の評価区分（「ＲＡＮＫ１」〜「ＲＡＮＫ５」）を、アルファベットの「ａ」〜「ｅ」で表している。 FIG. 13 is a diagram illustrating an example of a damage diagram as a form. This damage chart shows damage indications (cracking indication, water leakage indication, free lime indication, etc.), component names (“floor”, etc.) The element number (Ds0201 etc.), the type of damage (“crack”, “leakage”, “free lime”, etc.), and the evaluation category (rank information) of the degree of damage are described. In FIG. 13, the five-level evaluation categories (“RANK1” to “RANK5”) shown in FIG. 12 are represented by alphabets “a” to “e”.
＜第２の画像処理例＞
図１４は、第１実施形態における第２の画像処理例の流れを示すフローチャートである。<Second Image Processing Example>
FIG. 14 is a flowchart showing the flow of the second image processing example in the first embodiment.
本例のステップＳ２〜Ｓ１６は、図８に示した第１の画像処理例と同様である。 Steps S2 to S16 in this example are the same as those in the first image processing example shown in FIG.
本例では、合成前の各画像を画像解析してひび割れを検出し（ステップＳ２１８）、合成画像を生成する（ステップＳ２２０）。次に、機械学習部３２により、合成画像が不適切であるか否かを判断する（ステップＳ２２２）。機械学習部３２は、データベース５０に記憶された各種の情報に基づいて、合成画像が適切である事象及び合成画像が不適切である事象を学習しており、その学習結果に基づいて今回の合成画像が不適切であるか否かを判断することができる。機械学習部３２は、例えば、原画像（合成前の画像）間でひび割れ画像が繋がらない等の異常を検出する機能を学習結果として持つことが可能である。不適切であると判断された場合（ステップＳ２２２でＹＥＳの場合）、画像補正及び画像合成に関するパラメータを変更してステップＳ１６に戻り、適切であると判断された場合（ステップＳ２２２でＮＯの場合）、ステップＳ２４に進む。
In this example, each image before composition is analyzed to detect cracks (step S218), and a composite image is generated (step S220). Next, the machine learning unit 32 determines whether or not the composite image is inappropriate (step S222). The machine learning unit 32 learns an event that the composite image is appropriate and an event that the composite image is inappropriate based on various types of information stored in the
ステップＳ２４〜Ｓ５４は、図８に示した第１の画像処理例と同様である。 Steps S24 to S54 are the same as those in the first image processing example shown in FIG.
＜第３の画像処理例＞
図１５は、第１実施形態における第３の画像処理例の流れを示すフローチャートである。<Third image processing example>
FIG. 15 is a flowchart showing the flow of the third image processing example in the first embodiment.
本例では、図１６に示すように点検現場でロボット装置７０に搭載された撮像装置６２により分割撮像して得られた複数の二視点画像がユーザ端末１０により入力され（ステップＳ３０６）、且つロボット装置７０の撮像装置制御に従った撮像装置制御情報がユーザ端末１０により入力される（ステップＳ３０８）。本例の撮像装置制御情報は、画像位置情報、距離情報、傾き角度情報及び回転角度情報を含む。
In this example, as shown in FIG. 16, a plurality of two-viewpoint images obtained by division imaging with the
本例のロボット装置７０は、橋梁に懸垂した懸垂式ロボットであり、図１６ではその撮像に関する要部のみを示している。尚、懸垂式ロボットは、橋梁に懸垂する代わりに、橋梁上の走行体（車輌）に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン（無人飛行体）等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。
The
本例の撮像装置６２は、複眼式であり、二視点でそれぞれ構造物の被撮像面を撮像することにより、二視点画像（「立体視画像」ともいう）を取得する。ロボット装置７０は、二視点画像に対して画像処理を行うことにより、撮像装置６２から被撮像面内の各点までの距離を算出することができる。また、本例のロボット装置７０は、撮像装置６２の回動及び移動の制御を行う撮像装置制御機構７２を備える。撮像装置制御機構７２は、撮像装置６２を互いに直交するＸ方向、Ｙ方向及びＺ方向のそれぞれで移動可能なＸＹＺ移動機構と、撮像装置６２をパン方向Ｐ及びチルト方向Ｔのそれぞれで回動可能なパンチルト機構とを兼ねている。撮像装置制御機構７２により、構造物の被撮像面（表面）の基準点に対する撮像装置６２の位置を自在に設定することができる。つまり、複数回の分割撮像で得られる複数の画像のそれぞれの位置情報を自在に設定することができる。また、撮像装置制御機構７２により、撮像装置６２と構造物の被撮像面との距離、撮像装置６２の撮像方向と構造物の被撮像面との傾き角度、及び撮像装置６２の撮像方向と構造物の被撮像面との回転角度を、それぞれ自在に設定することができる。つまり、複数回の分割撮像で得られる複数の画像のそれぞれの距離情報、傾き角度情報、回転角度情報を自在に設定することができる。
The
ユーザ端末１０の端末入力部１１は、画像位置情報、距離情報、傾き角度情報及び回転角度情報を含む撮像装置制御情報を、複数の画像と共に、メモリカード等の記憶媒体、又はネットワークＮＷを介して、入力することができる。
The terminal input unit 11 of the
ステップＳ１２〜Ｓ５４は、図８に示した第１の画像処理例と同様である。 Steps S12 to S54 are the same as those in the first image processing example shown in FIG.
尚、画像位置情報、距離情報、傾き角度情報及び回転角度情報等の画像合成又は画像補正に必要な全ての情報が、計測により正確に取得された場合には、適切な合成画像が生成されることになるので、ステップＳ２０（合成画像が不適切か否かの判定）を省略することができる。 In addition, when all information necessary for image composition or image correction such as image position information, distance information, tilt angle information, and rotation angle information is accurately obtained by measurement, an appropriate composite image is generated. Therefore, step S20 (determination as to whether the composite image is inappropriate) can be omitted.
＜第４の画像処理例＞
図１７は、第１実施形態における第４の画像処理例の流れを示すフローチャートである。<Fourth image processing example>
FIG. 17 is a flowchart showing the flow of a fourth image processing example in the first embodiment.
本例のステップＳ２、Ｓ４、Ｓ３０６〜Ｓ３０８、及びＳ１２〜Ｓ１６は、図１５に示した第３の画像処理例と同様である。第３の画像処理例と同様に、ロボット装置７０に搭載された複眼式の撮像装置６２により分割撮像して得られた複数の二視点画像が入力され（ステップＳ３０６）、且つロボット装置７０の撮像装置制御機構７２の撮像装置制御に従った撮像装置制御情報が入力される（ステップＳ３０８）。
Steps S2, S4, S306 to S308, and S12 to S16 in this example are the same as those in the third image processing example shown in FIG. As in the third image processing example, a plurality of two-viewpoint images obtained by dividing and imaging with the compound-
ステップＳ２１８〜Ｓ２２２は、図１４に示した第２の画像処理例と同様である。つまり、ステップＳ２１８で合成前の画像を解析してひび割れを検出した後、ステップＳ２２０で合成画像の生成及び登録を行い、ステップＳ２２２で合成画像が不適切であるか否か判定する。ステップＳ２２２は、第３の画像処理例のＳ２０と同様、省略することができる。 Steps S218 to S222 are the same as those in the second image processing example shown in FIG. That is, after analyzing the pre-combination image in step S218 to detect cracks, a composite image is generated and registered in step S220, and it is determined in step S222 whether the composite image is inappropriate. Step S222 can be omitted similarly to S20 of the third image processing example.
ステップＳ２４〜Ｓ５４は、第１の画像処理例と同様である。 Steps S24 to S54 are the same as in the first image processing example.
尚、人が撮像装置を操作して構造物を撮像した場合の画像処理例（第１の画像処理例及び第２の画像処理例）と、ロボット装置７０が撮像装置を制御して構造物を撮像した場合の画像処理例（第３の画像処理例及び第４の画像処理例）とを、便宜上、別々に説明したが、本発明は、いずれか一方の場合に閉じた構成で実施される場合には限定されず、むしろ両方の場合を含むオープンな構成で実施されることが、好ましい。即ち、本例のサーバ装置２０は、人が撮像装置を操作した場合の画像、画像の合成及び補正に必要な情報（画像位置情報を含む）、操作履歴等をデータベース５０に記憶させるだけでなく、ロボット装置７０が撮像装置を制御した場合の画像、撮像装置制御情報（画像位置情報を含む）、操作履歴等をデータベース５０に記憶させて、両方の場合について機械学習を行う。これにより、人が撮像装置を操作して構造物を撮像した場合でも、ロボット装置７０が撮像装置を制御した場合の画像処理の機械学習結果に基づいて、クローズした構成よりも適切な合成画像を生成することが可能になる。
It should be noted that an image processing example (first image processing example and second image processing example) when a person operates the imaging device to image a structure, and the
［第２の実施形態］
図１８は、第２の実施形態における画像処理システムの構成例を示すブロック図である。本図のユーザ端末１０は第１実施形態と同じである。本図のサーバ装置２００は、図２に示した第１の実施形態のサーバ装置２０に対して、ひび割れの進行を予測する予測部４４を追加した構成である。[Second Embodiment]
FIG. 18 is a block diagram illustrating a configuration example of an image processing system according to the second embodiment. The
予測部４４は、データベース５０に記憶された橋梁に関する各種情報と、ひび割れ情報生成部３０によって生成されたひび割れ情報とに基づいて、橋梁のひび割れの進行を予測する。送信部２４は、ひび割れの進行の予測結果をユーザ端末１０に送信する。
The prediction unit 44 predicts the progress of cracks in the bridge based on various information related to the bridge stored in the
本例のデータベース５０は、橋梁の構造情報、橋梁の環境条件情報、橋梁の使用条件情報、橋梁の維持管理履歴情報、及び橋梁の災害履歴情報を記憶する。本例の予測部４４は、橋梁の構造情報、橋梁の環境条件情報、橋梁の使用条件情報、橋梁の維持管理履歴情報、及び橋梁の災害履歴情報のうち少なくとも一つの情報と、橋梁のひび割れ情報とに基づいて、橋梁におけるひび割れの進行を予測する。
The
ランク情報は、例えば橋梁の点検部位（例えば床版の格間）ごとの評価区分である。ランク情報は、橋梁の健全性を段階的又は数値的に表した「健全度」を含んでもよい。 The rank information is, for example, an evaluation category for each bridge inspection site (for example, a floor slab space). The rank information may include a “soundness level” that represents the soundness of the bridge stepwise or numerically.
橋梁の構造情報は、橋梁全体のうち少なくとも評価対象である床版及びその周辺の部材を含む部分の構造を示す。例えば、構造形式、構造的特徴が挙げられる。荷重と床版との関係、地震の震動と床版との関係、雨水と床版との関係、温度と床版との関係等、床版のひび割れの進行に関連する構造上の情報を含む。アルカリ骨材反応を生じ易い材料を使用しているか否か等の化学的な情報でもよい。ひび割れが発生し易い部分を直接的に表した情報でもよい。 The structural information of the bridge indicates the structure of a portion including at least the floor slab to be evaluated and its peripheral members in the entire bridge. For example, a structural form and a structural feature are mentioned. Includes structural information related to the progress of cracks in the floor slab, such as the relationship between load and floor slab, the relationship between earthquake vibration and floor slab, the relationship between rainwater and floor slab, the relationship between temperature and floor slab, etc. . Chemical information such as whether or not a material that easily causes an alkali-aggregate reaction is used may be used. Information directly representing a portion where cracks are likely to occur may be used.
橋梁の環境条件情報は、例えば塩分が飛来するか否か等の立地条件が挙げられる。 The environmental condition information of the bridge includes, for example, location conditions such as whether or not salinity flies.
橋梁の使用条件情報は、例えば、車輌の交通量、大型車混入率が挙げられる。 The usage condition information of the bridge includes, for example, the traffic volume of the vehicle and the large vehicle mixing rate.
橋梁の維持管理履歴情報は、例えば凍結防止剤の散布履歴情報が挙げられる。補修及び補強の履歴情報を含んでもよい。 The bridge maintenance management history information includes, for example, antifreezing agent spray history information. Repair and reinforcement history information may be included.
橋梁の災害履歴情報は、橋梁が受けた台風、地震等の災害の履歴情報である。 The disaster history information of the bridge is history information of disasters such as typhoons and earthquakes received by the bridge.
本例のデータベース５０は、更に、橋梁のひび割れ程度の評価区分を示すランク情報を、橋梁の合成画像及びひび割れ情報と関連付けて、記憶する。本例の予測部４４は、ひび割れ評価部３６で評価された橋梁のランク情報が未来どのように変化するかを予測するシミュレーション処理を実行する。
The
また、予測部４４により、過去から現在までどのように変化したかをシミュレーションしてもよい。ひび割れ情報生成部３０により、過去から現在までのシミュレーション結果と現在の画像（合成画像又は合成前の画像）とに基づいて、ひび割れ情報を生成することで、ひび割れ情報の精度を更に向上させることができる。
Further, the prediction unit 44 may simulate how it has changed from the past to the present. The crack
本例の機械学習部３２は、操作履歴、画像（合成画像又は合成前の画像）、及びひび割れ情報のほかに、予測部４４の予測結果にも基づいて、ひび割れ検出を機械学習することが可能である。機械学習部３２は、更に、橋梁の構造情報、橋梁の環境条件情報、橋梁の使用条件情報、橋梁の維持管理履歴情報、及び橋梁の災害履歴情報のうち少なくとも一つの情報にも基づいて、ひび割れ検出を学習することが、好ましい。 The machine learning unit 32 of this example can perform machine learning for crack detection based on the prediction result of the prediction unit 44 in addition to the operation history, the image (the synthesized image or the image before synthesis), and the crack information. It is. The machine learning unit 32 further cracks based on at least one of the bridge structure information, the bridge environmental condition information, the bridge use condition information, the bridge maintenance history information, and the bridge disaster history information. It is preferred to learn the detection.
［ベクトル化］
ひび割れ画像のベクトル化について、図１９〜図２２を用いて説明する。[Vectorization]
Vectorization of a crack image will be described with reference to FIGS.
サーバ装置２０のひび割れ情報生成部３０は、合成画像又は合成前の画像から抽出したひび割れの部分をベクトル化して、ひび割れのベクトルデータ（以下「ひび割れベクトル」又は単に「ベクトル」という）を生成する。つまり、ひび割れ情報生成部３０は、ひび割れ部分をベクトル化する。サーバ装置２０の送信部２４は、ベクトル化されたひび割れ画像であるひび割れベクトルを含むひび割れ情報を、合成画像と共に、ユーザ端末１０に送信する。ユーザ端末１０の端末表示部１４には、ベクトル化されたひび割れ画像が合成画像に重ね合されて表示される。
The crack
ひび割れ情報生成部３０は、ベクトル化に際して、検出されたひび割れを必要に応じ２値化及び／または細線化する。「ベクトル化」とは、ひび割れに対し始点及び終点で定まる線分を求めることであり、ひび割れが曲線状の場合、曲線と線分の距離が閾値以下になるようにひび割れを複数の区間に分割し、複数の区間のそれぞれについてひび割れベクトルを生成する。
The crack
ひび割れベクトルの生成に際しては、例えば床版２の特徴点を座標系の原点とし、ひび割れベクトルのグループ（ベクトルグループ）について、原点からの距離が最小になる端点を第１の始点とし、以下ひび割れベクトルの走行方向に沿って順次終点、始点を決定することができる。図１９の例では、床版２上の点Ｐ０を座標系の原点、図の右方向及び下方向をそれぞれ座標系のＸ軸方向、Ｙ軸方向としたときに、ベクトルグループＣ７の点Ｐ１３，Ｐ１４，Ｐ１５，Ｐ１６のうち点Ｐ０からの距離ｄが最も短くなる点Ｐ１３をひび割れベクトルＣ７−１の始点とし、以下、点Ｐ１４をひび割れベクトルＣ７−１の終点（かつひび割れベクトルＣ７−２，Ｃ７−３の始点）、点Ｐ１５，Ｐ１６をそれぞれひび割れベクトルＣ７−２，Ｃ７−３の終点とすることができる。
When generating a crack vector, for example, the feature point of the
しかしながら、同様の手法でベクトルグループＣ８の始点を決定すると、点Ｐ１７がひび割れベクトルＣ８−１の始点、点Ｐ１８がひび割れベクトルＣ８−２，Ｃ８−３の始点となり、ひび割れベクトルＣ８−３の走行方向（点Ｐ１８から点Ｐ２０へ向かう方向）がひび割れベクトルＣ８−１の走行方向と逆行してしまう。そこでこのような場合は、図２０に示すように点Ｐ１９をひび割れベクトルＣ８Ａ−１の始点とし、以下、点Ｐ１８をひび割れベクトルＣ８Ａ−１の終点（かつひび割れベクトルＣ８Ａ−２，Ｃ８Ａ−３の始点）、点Ｐ１７，Ｐ２０をそれぞれひび割れベクトルＣ８Ａ−２，Ｃ８Ａ−３の終点とするようにしてもよい。なおこの場合のひび割れベクトルの集合体をベクトルグループＣ８Ａと表記する。 However, when the start point of the vector group C8 is determined by the same method, the point P17 becomes the start point of the crack vector C8-1, the point P18 becomes the start point of the crack vectors C8-2 and C8-3, and the traveling direction of the crack vector C8-3. (The direction from point P18 to point P20) is opposite to the traveling direction of crack vector C8-1. Therefore, in such a case, as shown in FIG. 20, the point P19 is the start point of the crack vector C8A-1, and the point P18 is the end point of the crack vector C8A-1 (and the start points of the crack vectors C8A-2 and C8A-3). ), And points P17 and P20 may be the end points of the crack vectors C8A-2 and C8A-3, respectively. A set of crack vectors in this case is represented as a vector group C8A.
上述のようにしてひび割れベクトルを生成する場合、ひび割れが床版２の内部では連続しているが表面では分離していると、分離したひび割れベクトルとして認識されてしまう可能性がある。そこで、複数のひび割れベクトルを連結して１または複数のベクトルを生成する。
When the crack vector is generated as described above, if the crack is continuous inside the
図２１はひび割れベクトルの連結の例を示す図であり、ひび割れベクトルＣ３−１（点Ｐ２１、点Ｐ２２がそれぞれ始点、終点）を含むベクトルグループＣ３と、ひび割れベクトルＣ４−１（点Ｐ２３、点Ｐ２４がそれぞれ始点、終点）を含むベクトルグループＣ４とが抽出された状況を示している。また、ひび割れベクトルＣ３−１が点Ｐ２２及び点Ｐ２３を結ぶ線分となす角をα１とし、点Ｐ２２及び点Ｐ２３を結ぶ線分がひび割れベクトルＣ４−１となす角をα２とする。このとき、角α１及び角α２が共に閾値以下ならば、ひび割れベクトルＣ３−１及びＣ４−１を連結し、またベクトルグループＣ３及びＣ４を融合させる。具体的には、図２２に示すように新たなひび割れベクトルＣ５−２を生成してその他のひび割れベクトルＣ５−１（ひび割れベクトルＣ３−１と同一）及びＣ５−３（ひび割れベクトルＣ４−１と同一）と連結させ、これらひび割れベクトルＣ５−１，Ｃ５−２，及びＣ５−３を含む新たなベクトルグループをベクトルグループＣ５とする。このように、空間的に（床版２の表面で）分離したベクトルを適宜連結させることにより、ベクトル同士の連結関係を正確に把握することができる。 FIG. 21 is a diagram illustrating an example of concatenation of crack vectors. A vector group C3 including a crack vector C3-1 (points P21 and P22 are start points and end points, respectively) and a crack vector C4-1 (points P23 and P24). Indicates a state in which a vector group C4 including a start point and an end point is extracted. Further, the angle formed by the crack vector C3-1 and the line segment connecting the points P22 and P23 is α1, and the angle formed by the line segment connecting the point P22 and the point P23 by the crack vector C4-1 is α2. At this time, if both the angle α1 and the angle α2 are equal to or less than the threshold value, the crack vectors C3-1 and C4-1 are connected, and the vector groups C3 and C4 are merged. Specifically, as shown in FIG. 22, a new crack vector C5-2 is generated, and other crack vectors C5-1 (same as crack vector C3-1) and C5-3 (same as crack vector C4-1). And a new vector group including the crack vectors C5-1, C5-2, and C5-3 is defined as a vector group C5. In this way, by appropriately connecting the spatially separated vectors (on the surface of the floor slab 2), the connection relationship between the vectors can be accurately grasped.
尚、上述のベクトル連結は一例であり、他の方法を用いてもよい。 The above-described vector connection is an example, and other methods may be used.
また、ひび割れ情報生成部３０は、複数のベクトル同士の相対角度を算出する。つまり、一のベクトルと他のベクトルとが成す角度を算出する。
Moreover, the crack
また、ひび割れ情報生成部３０は、ひび割れベクトルの階層構造を示す階層構造情報を生成する。階層構造情報は、ベクトル同士の連結関係を階層的に表現した情報である。階層構造情報は、複数のベクトルによって構成されるベクトルグループのうちで各ベクトルがどの階層に属するかを示す階層識別情報（「所属階層情報」ともいう）を含む。階層識別情報は、例えば、数字で表現された階層番号を用いることができる。数字以外のコード（例えば英字、記号）で表現してもよい。
In addition, the crack
図２３は、ベクトルグループＣ１を示す図である。ベクトルグループＣ１は、ひび割れベクトルＣ１−１〜Ｃ１−６により構成されており、これらひび割れベクトルは点Ｐ１〜Ｐ７を始点または終点としている。このような状況において、ひび割れベクトルが分岐する（あるひび割れベクトルの終点が他の複数のひび割れベクトルの始点となっている）ごとに階層が下位になるとしている。具体的にはひび割れベクトルＣ１−１の階層を最も上位の“レベル１”として、ひび割れベクトルＣ１−１の終点である点Ｐ２を始点とするひび割れベクトルＣ１−２及びＣ１−３の階層は、ひび割れベクトルＣ１−１よりも下位である“レベル２”とする。同様に、ひび割れベクトルＣ１−３の終点である点Ｐ４を始点とするひび割れベクトルＣ１−５及びＣ１−６の階層は、ひび割れベクトルＣ１−３よりも下位である“レベル３”とする。一方、ひび割れベクトルＣ１−２の終点である点Ｐ３はひび割れベクトルＣ１−４の始点であるが、点Ｐ３を始点とするひび割れベクトルはひび割れベクトルＣ１−４だけであり分岐はないので、ひび割れベクトルＣ１−４の階層はＣ１−２と同じ“レベル２”とする。このようにして決定した各ひび割れベクトルの階層は、階層構造情報に含まれる。
FIG. 23 is a diagram showing the vector group C1. The vector group C1 is composed of crack vectors C1-1 to C1-6, and these crack vectors have points P1 to P7 as start points or end points. In such a situation, every time a crack vector branches (the end point of a certain crack vector is the start point of other crack vectors), the hierarchy becomes lower. Specifically, the hierarchy of the crack vector C1-1 is set to the highest "
図２４は、ベクトルグループＣ１（ひび割れベクトル同士の連結関係は図２３に示すものと同一）を示す図である。本例では、連結するひび割れベクトルのうち他のひび割れベクトルとなす角度が閾値以下であるもの（木構造における「幹」に相当するひび割れベクトル）は同一の階層に属するものとしている。具体的には図２４の点線内（参照符号Ｌｖ１で示す範囲）に存在するひび割れベクトルＣ１−１，Ｃ１−２，及びＣ１−４は同一の階層である“レベル１”（最上位）とする。また、それ以外のひび割れベクトルＣ１−３，Ｃ１−５，及びＣ１−６については、ひび割れベクトルが分岐するごとに階層が下位になるとしており、ひび割れベクトルＣ１−３（木構造における「枝」に相当）を“レベル２”、ひび割れベクトルＣ１−５及びＣ１−６（木構造における「葉」に相当）を“レベル３”としている。このようにして決定した各ひび割れベクトルの階層及び種別（幹、枝、あるいは葉）は、階層構造情報に含まれる。
FIG. 24 is a diagram showing a vector group C1 (the connection relationship between crack vectors is the same as that shown in FIG. 23). In this example, among the crack vectors to be connected, those having an angle with another crack vector equal to or smaller than a threshold value (crack vectors corresponding to “trunk” in the tree structure) are assumed to belong to the same hierarchy. Specifically, the crack vectors C1-1, C1-2, and C1-4 existing within the dotted line (the range indicated by the reference symbol Lv1) in FIG. 24 are set to “
尚、図２３及び図２４を用いて説明した階層構造化は例であり、変形した方法あるいは異なる方法で階層構造化してよい。 The hierarchical structure described with reference to FIGS. 23 and 24 is an example, and the hierarchical structure may be formed by a modified method or a different method.
更に、ひび割れ情報生成部３０は、ベクトルに各種の付加情報（属性情報）を付加する。例えば、各ひび割れの幅を示す情報（幅情報）を各ベクトルに付加する。
Furthermore, the crack
以上のように、サーバ装置２０のひび割れ情報生成部３０によってひび割れ画像のベクトル化及び階層構造化を行うので、生成されたひび割れベクトル及び階層構造情報を用いて各種の処理を効率良く且つ適切に行うことが可能になる。
As described above, since the crack
例えば、ひび割れベクトル及び階層構造情報を用いて、画像補正を行うことが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、合成画像が不適切であるか否かを判定することが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、機械学習を行うことが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、ひび割れ程度の評価区分を判別することが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、ひび割れの進行を予測することが可能になる。 For example, it is possible to perform image correction using a crack vector and hierarchical structure information. Further, it is possible to determine whether or not the composite image is inappropriate using the crack vector and the hierarchical structure information. In addition, machine learning can be performed using the crack vector and the hierarchical structure information. Moreover, it becomes possible to discriminate the evaluation category of the degree of cracking using the crack vector and the hierarchical structure information. Further, it is possible to predict the progress of the crack using the crack vector and the hierarchical structure information.
［スケール画像例］
スケール画像生成部３４によって生成されるスケール画像の例を説明する。スケール画像生成部３４は、ひび割れ画像によって示されるひび割れの特徴量（例えばひび割れの幅）をユーザ端末１０の画面上で測定するための各種のスケール画像を生成する。スケール画像は、ひび割れ情報に付加される。[Scale image example]
An example of the scale image generated by the scale
図２５は、スケール画像の表示例を示す図である。図示及び説明の便宜上、測定対象のひび割れを示すひび割れ画像ＣＲ１１（ＣＲ１１−１、ＣＲ１１−２、ＣＲ１１−３）を、拡大して示す。 FIG. 25 is a diagram illustrating a display example of a scale image. For convenience of illustration and explanation, a crack image CR11 (CR11-1, CR11-2, CR11-3) showing a crack to be measured is shown in an enlarged manner.
スケール画像ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４は、構造物の測定面（本例では橋梁の床版である）に生じたひび割れの測定を行うための画像である。これらのスケール画像ＣＳ１〜ＣＳ４は、サーバ装置２０のスケール画像生成部３４により生成される。本例のスケール画像生成部３４は、ひび割れの長さを測定するための目盛りが付されたスケールを示すスケール画像ＣＳ１、ＣＳ２と、ひび割れの幅を測定するための線画及び数字が付されたスケールを示すスケール画像ＣＳ３、ＣＳ４を生成する。スケール画像ＣＳ１〜ＣＳ４は、撮像装置と測定面との距離、及び撮像装置の撮像方向に対する測定面の傾き角度に応じたスケールを示す。スケール画像生成部３４は、距離及び角度に応じて、スケールの種類、形状、大きさ等を異ならせる。本例のスケール画像生成部３４は、距離及び傾き角度に応じて、長さ測定用のスケール画像ＣＳ１、ＣＳ２の目盛りを異ならせ、幅測定用のスケール画像ＣＳ３、ＣＳ４の線画及び数字を異ならせている。
The scale images CS1, CS2, CS3, and CS4 are images for measuring cracks generated on the measurement surface of the structure (in this example, a bridge slab). These scale images CS <b> 1 to CS <b> 4 are generated by the scale
サーバ装置２０のひび割れ情報生成部３０は、スケール画像ＣＳ１〜ＣＳ４をひび割れ情報に付加する。サーバ装置２０の送信部２４は、スケール画像ＣＳ１〜ＣＳ４が付加されたひび割れ情報を、構造物の合成画像と共に、ユーザ端末１０に送信する。送信されたスケール画像付きのひび割れ情報及び合成画像は、ユーザ端末１０の端末受信部１３により受信される。
The crack
ユーザ端末１０の端末表示部１４における表示領域ＤＡは、構造物の合成画像及びスケール画像を表示する画像表示領域ＩＡと、その画像表示領域ＩＡに表示可能な種類のスケール画像（つまりユーザが選択可能なスケール画像）を表示するスケール画像選択領域ＳＡとを含む。スケール画像選択領域ＳＡには、スケール画像ＣＳ１〜ＣＳ４の他に、スケール画像の選択を確定するためのＯＫボタンＢＵ１、スケール画像の選択をキャンセルするためのキャンセルボタンＢＵ２、画像表示領域ＩＡに表示されたスケール画像を消去するための消去ボタンＢＵ３が表示されている。
The display area DA in the
端末操作部１５は、スケール画像選択領域ＳＡに表示されたスケール画像ＣＳ１〜ＣＳ４に対するユーザの選択操作を受け付ける。ユーザは、ボタン、マウス等を用いて選択操作を行う。スケール画像選択領域ＳＡに表示された複数のスケール画像ＣＳ１〜ＣＳ４のうちから、ユーザの選択操作に対応したスケール画像（本例ではＣＳ２及びＣＳ３）が画像表示領域ＩＡに表示される。
The
端末表示部１４は、画像表示領域ＩＡに、合成画像とスケール画像とを重ね合わせて表示する。合成画像におけるひび割れ画像の位置及び方向に応じて、スケール画像の位置及び方向が決まる。本例のひび割れ画像ＣＲ１１は、階層構造であって、親のひび割れ画像ＣＲ１１−１と、子のひび割れ画像ＣＲ１１−２及びＣＲ１１−３とを含む。長さ測定用のスケール画像ＣＳ２は、ひび割れ画像ＣＲ１１−２の方向に沿って、且つひび割れ画像ＣＲ１１−２の近傍の位置に、表示されている。幅測定用のスケール画像ＣＳ３は、ひび割れ画像ＣＲ１１−１の方向と直交した方向に沿って、且つひび割れ画像ＣＲ１１−１の幅に最も近い幅を有する線画（本例では１．４ｍｍの線画）がひび割れ画像ＣＲ１１−１に位置合わせされて、表示されている。
The
図示を省略したが、スケール画像を移動させるための移動ボタン、スケール画像を回転するための回転ボタン、スケール画像を拡大するための拡大ボタン、スケール画像を縮小するための縮小ボタン等もスケール画像選択領域ＳＡに表示させることが好ましい。マウスの移動操作により、スケール画像の移動、回転、拡大、縮小等を指示してもよい。 Although not shown, a scale button is also available for a move button for moving the scale image, a rotate button for rotating the scale image, an enlarge button for enlarging the scale image, a reduce button for reducing the scale image, etc. It is preferable to display in the area SA. Movement, rotation, enlargement, reduction, etc. of the scale image may be instructed by a mouse movement operation.
尚、画像表示領域ＩＡに二つのスケール画像ＣＳ２、ＣＳ３を表示させた場合を例示したが、画像表示領域ＩＡに表示させるスケール画像の数は限定されない。 Although the case where two scale images CS2 and CS3 are displayed in the image display area IA is illustrated, the number of scale images displayed in the image display area IA is not limited.
以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。 As mentioned above, although the form for implementing this invention has been demonstrated, this invention is not limited to embodiment and the modification which were mentioned above, A various deformation | transformation is possible in the range which does not deviate from the main point of this invention.
１ 橋梁
２ 床版
３ 主桁
３Ａ 接合部
１０ ユーザ端末
１１ 端末入力部
１２ 端末送信部
１３ 端末受信部
１４ 端末表示部
１５ 端末操作部
１６ 端末制御部
１７ 端末記憶部
２０、２００ サーバ装置
２２ 受信部
２４ 送信部
２６ 合成画像生成部
２８ ひび割れ検出部
３０ ひび割れ情報生成部
３２ 機械学習部
３４ スケール画像生成部
３６ ひび割れ評価部
３８ ＣＡＤデータ取得部（データ変換部）
４０ 帳票作成部
４２ 記憶部
４４ 予測部
５０ データベース
６０、６２ 撮像装置
７０ ロボット装置
７２ 撮像装置制御機構
ＡＲ 選択領域
ＡＲ１、ＡＲ２ ひび割れ対象領域
ＢＲ１、ＢＲ２１、ＢＲ２２ バー
ＢＵ１ ＯＫボタン
ＢＵ２ キャンセルボタン
ＢＵ３ 消去ボタン
ＢＸ１、ＢＸ２、ＢＸ３ チェックボックス
Ｃ１、Ｃ３、Ｃ４、Ｃ５、Ｃ７、Ｃ８、Ｃ８Ａ ベクトルグループ
Ｃ１−１、Ｃ１−２、Ｃ１−３、Ｃ１−４、Ｃ１−５、Ｃ３−１、Ｃ４−１、Ｃ５−１、Ｃ５−２、Ｃ７−１、Ｃ７−２、Ｃ８−１、Ｃ８−２、Ｃ８−３、Ｃ８Ａ−１、Ｃ８Ａ−２ ベクトル
ＣＲ、ＣＲ１、ＣＲ２、ＣＲ３、ＣＲ４、ＣＲ１１、ＣＲ１１−１、ＣＲ１１−２、ＣＲ１１−３ ひび割れ画像
ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４ スケール画像
ＤＡ 表示領域
Ｇ１ 第１のグループ
Ｇ２ 第２のグループ
Ｇ３ 第３のグループ
ＨＧ１、ＨＧ２ 度数分布
ＩＡ 画像表示領域
ＩＭＧ１、ＩＭＧ２ 合成画像
ＮＷ ネットワーク
ＳＡ スケール画像選択領域
ＳＬ１、ＳＬ２ スライダ
ｄ 距離
α１、α２ 角DESCRIPTION OF
40
Claims (16)
前記受信された複数の画像及び前記位置情報に基づいて、前記構造物の表面を示す合成画像を生成する合成画像生成部と、
前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出するひび割れ検出部と、
前記検出されたひび割れに対応するひび割れ画像と前記検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部と、
を備えるサーバ装置。A receiving unit that receives a plurality of images indicating the surface of the structure and position information of the plurality of images from a user terminal;
A composite image generation unit configured to generate a composite image indicating a surface of the structure based on the plurality of received images and the position information;
A crack detection unit for detecting a crack on the surface of the structure by performing image analysis on the synthesized image or the image before synthesis;
A crack information generating unit that generates crack information indicating a crack image corresponding to the detected crack and a feature amount of the detected crack;
A server device comprising:
前記受信部は、前記ユーザ端末でのユーザ操作に応じた前記ひび割れ情報の修正要求を前記ユーザ端末から受信し、
前記ひび割れ情報生成部は、前記修正要求に基づいて前記ひび割れ情報を修正し、
前記送信部は、前記修正されたひび割れ情報を前記ユーザ端末に送信する、
請求項１に記載のサーバ装置。A transmission unit that transmits the composite image and the crack information to the user terminal and displays the composite image and the crack information on a screen of the user terminal;
The receiving unit receives a request for correction of the crack information according to a user operation on the user terminal from the user terminal,
The crack information generation unit corrects the crack information based on the correction request,
The transmitter transmits the corrected crack information to the user terminal;
The server device according to claim 1.
前記ひび割れ情報生成部は、前記修正要求で示された前記特徴量に基づいて、前記ひび割れ情報を修正する、
請求項２に記載のサーバ装置。The receiving unit receives the correction request indicating the correction content of the crack information by the feature amount from the user terminal,
The crack information generation unit corrects the crack information based on the feature amount indicated in the correction request.
The server device according to claim 2.
請求項３に記載のサーバ装置。A frequency distribution indicating the frequency of detection of a line segment in the composite image with respect to the feature quantity, and a slider for instructing and inputting a correction content of the crack information by the feature quantity, are added to the crack information, and the user terminal Correcting the crack information in response to the user operation using the slider at
The server device according to claim 3.
請求項３に記載のサーバ装置。The crack information generation unit groups the crack images based on the feature amount, and corrects the crack information according to a user operation to select the group of crack images on the user terminal.
The server device according to claim 3.
請求項２から５のうちいずれか一項に記載のサーバ装置。A machine learning unit that machine-learns the detection of the crack based on the user operation on the user terminal;
The server apparatus as described in any one of Claims 2-5.
請求項１から６のうちいずれか一項に記載のサーバ装置。The feature amount includes at least one of the direction, length, width, edge strength, and edge density of the crack.
The server apparatus as described in any one of Claims 1-6.
請求項１から７のうちいずれか一項に記載のサーバ装置。The composite image generation unit corrects at least one of the position information, scale, tilt, and rotation angle with respect to the plurality of images.
The server apparatus as described in any one of Claims 1-7.
請求項８に記載のサーバ装置。The composite image generation unit derives a correction parameter based on the plurality of images and performs the correction.
The server device according to claim 8.
前記ひび割れ情報生成部は、前記スケール画像を前記ひび割れ情報に付加する、
請求項１から９のうちいずれか一項に記載のサーバ装置。A scale image generation unit that generates a scale image for measuring the width of the crack indicated by the crack image on the screen of the user terminal based on the crack information;
The crack information generation unit adds the scale image to the crack information.
The server apparatus as described in any one of Claims 1-9.
請求項１から１０のうちいずれか一項に記載のサーバ装置。Based on at least the crack information, a crack evaluation unit that evaluates the degree of the crack and discriminates an evaluation category of the crack degree of the structure,
The server apparatus as described in any one of Claims 1-10.
請求項１１に記載のサーバ装置。Comprising a form creation unit for creating a form showing an inspection result of the structure including the determined evaluation category;
The server device according to claim 11.
請求項１から１２のうちいずれか一項に記載のサーバ装置。A data conversion unit that converts the composite image and the crack information into CAD data in a predetermined data format;
The server apparatus as described in any one of Claims 1-12.
請求項１から１３のうちいずれか一項に記載のサーバ装置。A prediction unit that predicts the progress of the crack based on at least one of the structure information, environmental condition information, use condition information, maintenance history information, and disaster history information of the structure and the crack information; Prepare
The server apparatus as described in any one of Claims 1-13.
前記ユーザ端末は、
構造物の表面を示す複数の画像と、前記複数の画像の位置情報とを入力する端末入力部と、
前記サーバ装置に対して、前記複数の画像及び前記位置情報を送信する端末送信部と、
前記サーバ装置から、前記複数の画像に対する画像処理結果を受信する端末受信部と、
前記画像処理結果を表示する端末表示部と、
を備え、
前記サーバ装置は、
前記ユーザ端末から、前記複数の画像と前記位置情報とを受信する受信部と、
前記受信された前記複数の画像及び前記位置情報に基づいて、前記構造物の表面を示す合成画像を生成する合成画像生成部と、
前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出するひび割れ検出部と、
前記検出されたひび割れに対応するひび割れ画像と前記検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部と、
前記複数の画像に対する前記画像処理結果として、前記合成画像と前記ひび割れ情報とを前記ユーザ端末に送信する送信部と、
を備え、
前記端末表示部は、前記合成画像と前記ひび割れ情報とを表示する、
画像処理システム。An image processing system including a user terminal and a server device,
The user terminal is
A terminal input unit for inputting a plurality of images showing the surface of the structure and position information of the plurality of images;
A terminal transmission unit that transmits the plurality of images and the position information to the server device;
A terminal receiver for receiving image processing results for the plurality of images from the server device;
A terminal display unit for displaying the image processing result;
With
The server device
A receiving unit that receives the plurality of images and the position information from the user terminal;
A composite image generation unit that generates a composite image indicating a surface of the structure based on the received plurality of images and the position information;
A crack detection unit for detecting a crack on the surface of the structure by performing image analysis on the synthesized image or the image before synthesis;
A crack information generating unit that generates crack information indicating a crack image corresponding to the detected crack and a feature amount of the detected crack;
As the image processing result for the plurality of images, a transmission unit that transmits the composite image and the crack information to the user terminal;
With
The terminal display unit displays the composite image and the crack information.
Image processing system.
前記受信された複数の画像及び前記位置情報に基づいて、前記構造物の表面を示す合成画像を生成するステップと、
前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出するステップと、
前記検出されたひび割れに対応するひび割れ画像と前記検出されたひび割れの特徴量とを示すひび割れ情報を生成するステップと、
を含む画像処理方法。Receiving a plurality of images showing the surface of the structure and positional information of the plurality of images from a user terminal;
Generating a composite image showing a surface of the structure based on the received plurality of images and the position information;
Analyzing the composite image or the image before synthesis to detect cracks on the surface of the structure;
Generating crack information indicating a crack image corresponding to the detected crack and a feature amount of the detected crack;
An image processing method including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019218028A JP6944506B2 (en) | 2016-06-14 | 2019-12-02 | Image processing method, image processing device, and image processing program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016117868 | 2016-06-14 | ||
| JP2016117868 | 2016-06-14 | ||
| PCT/JP2017/018917 WO2017217185A1 (en) | 2016-06-14 | 2017-05-19 | Server device, image processing system, and image processing method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019218028A Division JP6944506B2 (en) | 2016-06-14 | 2019-12-02 | Image processing method, image processing device, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017217185A1 true JPWO2017217185A1 (en) | 2019-02-28 |
| JP6626970B2 JP6626970B2 (en) | 2019-12-25 |
Family
ID=60664350
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018523607A Active JP6626970B2 (en) | 2016-06-14 | 2017-05-19 | Server device, image processing system, and image processing method |
| JP2019218028A Active JP6944506B2 (en) | 2016-06-14 | 2019-12-02 | Image processing method, image processing device, and image processing program |
| JP2021147462A Active JP7241139B2 (en) | 2016-06-14 | 2021-09-10 | Server device, image processing method, and image processing system |
| JP2023033675A Pending JP2023078205A (en) | 2016-06-14 | 2023-03-06 | Image processing device, image processing system, operation method of image processing device and image processing program |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019218028A Active JP6944506B2 (en) | 2016-06-14 | 2019-12-02 | Image processing method, image processing device, and image processing program |
| JP2021147462A Active JP7241139B2 (en) | 2016-06-14 | 2021-09-10 | Server device, image processing method, and image processing system |
| JP2023033675A Pending JP2023078205A (en) | 2016-06-14 | 2023-03-06 | Image processing device, image processing system, operation method of image processing device and image processing program |
Country Status (2)
| Country | Link |
|---|---|
| JP (4) | JP6626970B2 (en) |
| WO (1) | WO2017217185A1 (en) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6833356B2 (en) * | 2016-06-16 | 2021-02-24 | キヤノン株式会社 | Information processing equipment, information processing methods and programs |
| WO2019130391A1 (en) * | 2017-12-25 | 2019-07-04 | 富士通株式会社 | Image processing program, image processing method, and image processing device |
| WO2019163118A1 (en) * | 2018-02-26 | 2019-08-29 | 株式会社オプティム | Computer system, drone control method, and program |
| WO2020075756A1 (en) * | 2018-10-12 | 2020-04-16 | パナソニックＩｐマネジメント株式会社 | Prediction device and prediction method |
| JP7263074B2 (en) * | 2019-03-22 | 2023-04-24 | キヤノン株式会社 | Information processing device, its control method, program, and storage medium |
| JP7309227B2 (en) * | 2019-04-01 | 2023-07-18 | アイポア株式会社 | Machine learning program, method, and device for measuring transient changes in ion current accompanying passage of particles to be measured through pores by pore electrical resistance method and analyzing the pulse waveform |
| JP7316097B2 (en) * | 2019-05-24 | 2023-07-27 | 日本放送協会 | Object trajectory generator and its program |
| JP7151652B2 (en) * | 2019-07-18 | 2022-10-12 | 株式会社デンソー | Crack width measuring device |
| JP7427381B2 (en) * | 2019-07-22 | 2024-02-05 | キヤノン株式会社 | Information processing device, system, information processing method and program |
| JPWO2021200675A1 (en) | 2020-04-01 | 2021-10-07 | ||
| EP4148663A4 (en) | 2020-05-07 | 2023-10-25 | FUJIFILM Corporation | Damage evaluating device, method, and program |
| JP7453848B2 (en) * | 2020-05-21 | 2024-03-21 | 清水建設株式会社 | Face image processing device, face image processing method |
| KR102374840B1 (en) * | 2020-10-20 | 2022-03-15 | 두산중공업 주식회사 | Defect image generation method for deep learning and system therefor |
| DE112022000936T5 (en) * | 2021-04-02 | 2023-12-14 | Fujifilm Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING PROGRAM |
| JPWO2023047859A1 (en) * | 2021-09-22 | 2023-03-30 | ||
| KR102635926B1 (en) * | 2023-08-29 | 2024-02-13 | 디엘이앤씨 주식회사 | Facility Crack Measuring System |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1078305A (en) * | 1996-09-04 | 1998-03-24 | Kansai Electric Power Co Inc:The | Method and device for measuring concrete crack |
| JP2001195589A (en) * | 2000-01-14 | 2001-07-19 | Ishikawajima Harima Heavy Ind Co Ltd | Graphic processing method using elliptic area |
| JP2003185589A (en) * | 2001-12-20 | 2003-07-03 | Nishimatsu Constr Co Ltd | Investigation system and investigation method for change in surface state of concrete |
| JP2004069434A (en) * | 2002-08-05 | 2004-03-04 | Tokyo Electric Power Co Inc:The | Image processing method using image with laser light spot, mosaic processing method using the image, and normalization service system using the method |
| JP2006132973A (en) * | 2004-11-02 | 2006-05-25 | Fujimitsu Komuten:Kk | Crack inspection device and method of concrete structure |
| JP2009085785A (en) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | Crack width measuring system, operating device, crack width measuring method, and crack width measuring program |
| JP2015138467A (en) * | 2014-01-23 | 2015-07-30 | デ・ファクト・スタンダード合同会社 | concrete structure maintenance management system |
| WO2015163107A1 (en) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | Information processing device, information processing method, and computer program |
| WO2015163106A1 (en) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | Control device, imaging device, control method, imaging method, and computer program |
| JP2016065809A (en) * | 2014-09-25 | 2016-04-28 | 前田建設工業株式会社 | Concrete structure inspection support device, inspection support method and program |
| JP2016082441A (en) * | 2014-10-17 | 2016-05-16 | ソニー株式会社 | Controller, control method and computer program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06148089A (en) * | 1992-05-29 | 1994-05-27 | Shimizu Corp | Craze measuring processor |
| JP2002310920A (en) * | 2001-04-19 | 2002-10-23 | Keisoku Kensa Kk | Method for detecting crack in concrete wall and device thereof |
| JP2005062041A (en) * | 2003-08-15 | 2005-03-10 | Junichi Izumo | Soundness evaluation method, evaluation program and evaluation device |
-
2017
- 2017-05-19 WO PCT/JP2017/018917 patent/WO2017217185A1/en active Application Filing
- 2017-05-19 JP JP2018523607A patent/JP6626970B2/en active Active
-
2019
- 2019-12-02 JP JP2019218028A patent/JP6944506B2/en active Active
-
2021
- 2021-09-10 JP JP2021147462A patent/JP7241139B2/en active Active
-
2023
- 2023-03-06 JP JP2023033675A patent/JP2023078205A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1078305A (en) * | 1996-09-04 | 1998-03-24 | Kansai Electric Power Co Inc:The | Method and device for measuring concrete crack |
| JP2001195589A (en) * | 2000-01-14 | 2001-07-19 | Ishikawajima Harima Heavy Ind Co Ltd | Graphic processing method using elliptic area |
| JP2003185589A (en) * | 2001-12-20 | 2003-07-03 | Nishimatsu Constr Co Ltd | Investigation system and investigation method for change in surface state of concrete |
| JP2004069434A (en) * | 2002-08-05 | 2004-03-04 | Tokyo Electric Power Co Inc:The | Image processing method using image with laser light spot, mosaic processing method using the image, and normalization service system using the method |
| JP2006132973A (en) * | 2004-11-02 | 2006-05-25 | Fujimitsu Komuten:Kk | Crack inspection device and method of concrete structure |
| JP2009085785A (en) * | 2007-09-28 | 2009-04-23 | Sanyo Electric Co Ltd | Crack width measuring system, operating device, crack width measuring method, and crack width measuring program |
| JP2015138467A (en) * | 2014-01-23 | 2015-07-30 | デ・ファクト・スタンダード合同会社 | concrete structure maintenance management system |
| WO2015163107A1 (en) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | Information processing device, information processing method, and computer program |
| WO2015163106A1 (en) * | 2014-04-25 | 2015-10-29 | ソニー株式会社 | Control device, imaging device, control method, imaging method, and computer program |
| JP2016065809A (en) * | 2014-09-25 | 2016-04-28 | 前田建設工業株式会社 | Concrete structure inspection support device, inspection support method and program |
| JP2016082441A (en) * | 2014-10-17 | 2016-05-16 | ソニー株式会社 | Controller, control method and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022000646A (en) | 2022-01-04 |
| JP6944506B2 (en) | 2021-10-06 |
| JP2020038227A (en) | 2020-03-12 |
| JP2023078205A (en) | 2023-06-06 |
| WO2017217185A1 (en) | 2017-12-21 |
| JP7241139B2 (en) | 2023-03-16 |
| JP6626970B2 (en) | 2019-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6944506B2 (en) | Image processing method, image processing device, and image processing program | |
| CN111459166B (en) | Scene map construction method containing trapped person position information in post-disaster rescue environment | |
| JP6857218B2 (en) | Damage information processing device and damage information processing method | |
| EP3410102B1 (en) | Crack information detection device, crack information detection method, and crack information detection program | |
| WO2017110278A1 (en) | Information processing device and information processing method | |
| KR102423579B1 (en) | Integral maintenance control method and system for managing dam safety based on 3d modelling | |
| JP7146013B2 (en) | Server device, image processing method, and program | |
| US20210256679A1 (en) | System for building photogrammetry | |
| CN112241950A (en) | Detection method of tower crane crack image | |
| US11144590B2 (en) | Similar damage search device and a similar damage search method | |
| Park et al. | A framework for improving object recognition of structural components in construction site photos using deep learning approaches | |
| CN109754665A (en) | A kind of machine-building mould virtual assembly training information processing system and Training Methodology | |
| Qureshi et al. | Smart rebar progress monitoring using 3D point cloud model | |
| JP2021012141A (en) | Abnormality inspection system, abnormality inspection device, abnormality inspection method and abnormality inspection program | |
| JP7401478B2 (en) | Information processing device, information processing method, and program | |
| Saeedfar et al. | Dynamic Space Conflict Modeling for Construction Operations | |
| Lin et al. | Bridge Inspection with Aerial Robots and Computer Vision: A Japanese National Initiative | |
| JP2024066079A (en) | Measurement device, measurement system, and measurement method | |
| Karamoozian et al. | Applications of Big Data and Opportunities for the Construction Industry | |
| CN116703835A (en) | Intelligent reinforcement detection method and system based on convolutional neural network and binocular vision | |
| Zhang | Four-dimensional and vision-based framework for infrastructure maintenance management | |
| JP2023051168A (en) | Determination device for joint bolts | |
| NAZIM et al. | URBAN ANALYTICS AND GENERATIVE DEEP LEARNING FOR CONTEXT RESPONSIVE DESIGN IN DIGITAL TWINS | |
| JP2012099046A (en) | Inspection support method and device, and inspection support program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20181011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181025 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6626970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |