KR102157610B1 - System and method for automatically detecting structural damage by generating super resolution digital images - Google Patents
System and method for automatically detecting structural damage by generating super resolution digital images Download PDFInfo
- Publication number
- KR102157610B1 KR102157610B1 KR1020190135112A KR20190135112A KR102157610B1 KR 102157610 B1 KR102157610 B1 KR 102157610B1 KR 1020190135112 A KR1020190135112 A KR 1020190135112A KR 20190135112 A KR20190135112 A KR 20190135112A KR 102157610 B1 KR102157610 B1 KR 102157610B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- high resolution
- ultra
- damage detection
- damage
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 107
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 딥러닝을 통하여 초고해상도의 디지털 이미지를 생성하여 구조물의 손상을 검출하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and a method for detecting damage to a structure by generating a digital image of ultra high resolution through deep learning.
일반적으로, 비전 카메라를 활용한 이미지를 통해 구조물의 손상을 검출하는 방법은 카메라의 시야각(Field of View - FOV) 및 해상도의 한계로 인해 전체 구조물에 대한 평가가 어려워 국부 손상 검출에만 적용되는 경우가 대부분이며, 균열과 같은 미세 손상에는 근접촬영이 요구되는 어려움이 있다.In general, the method of detecting damage to a structure through an image using a vision camera is difficult to evaluate the entire structure due to the limitations of the field of view (FOV) and resolution of the camera, so it is often applied only to local damage detection. In most cases, there is a difficulty in requiring close-up photography for microscopic damage such as cracks.
또한, 카메라 렌즈에 의한 초점문제, 회절효과, 노이즈 등의 문제로 이미지의 픽셀 데이터가 소실될 수 있고, 조도, 촬영각도 및 촬영 이격거리 등의 촬영 환경에 따라 취득된 디지털 이미지의 가용성이 저하될 경우 대상 구조물의 손상 검출 결과의 신뢰도가 크게 감소하는 문제점이 있다.In addition, the pixel data of the image may be lost due to problems such as focus problem, diffraction effect, and noise caused by the camera lens, and the availability of the acquired digital image may decrease depending on the shooting environment such as illuminance, shooting angle, and shooting distance. In this case, there is a problem that the reliability of the damage detection result of the target structure is greatly reduced.
이러한 비전 카메라를 통한 구조물의 손상 검출 기법은 이미지 취득 방법에 따라 크게 3가지로 분류할 수 있다.Techniques for detecting damage to structures through such a vision camera can be classified into three types according to the image acquisition method.
먼저, 전문가 기반 데이터 취득(Data acquisition by experts) 방법은 사람이 구조물에 접근하여 비전 카메라를 활용해 이미지를 취득하는 방법이다. 이러한 방법은 사람이 접근 가능한 곳에 손상이 존재하는 경우에 한하여 적용 가능하며, 근접촬영이 어려운 경우에는 줌렌즈 확대 등의 방법을 활용하는데, 이는 시야각이 극단적으로 제한되거나 촬영각도에 따라 이미지의 픽셀 데이터가 소실될 수 있으며 많은 경우 이미지의 해상도 부족으로 인하여 인공지능 기반 구조물 손상 검출에 어려움이 따른다.First, the data acquisition by experts method is a method in which a person approaches a structure and acquires an image using a vision camera. This method can be applied only when damage exists in a place accessible to humans, and when close-up photography is difficult, a method such as zoom lens magnification is used, which is extremely limited in the viewing angle or the pixel data of the image is reduced depending on the shooting angle. It may be lost, and in many cases, it is difficult to detect damage to structures based on artificial intelligence due to insufficient resolution of the image.
다음으로, 무인 비행체 기반 데이터 취득(Data acquisition using unmanned aerial vehicles) 방법은 무인 비행체를 활용하여 사람이 접근하기 어려운 곳의 이미지를 취득하는 방법이다. 이러한 방법은 접근성이 좋지 않은 곳의 이미지를 촬영 환경의 제한 없이 취득할 수 있다는 장점이 있으나, 무인 비행체 자체의 진동이나 이동시 발생하는 모션 블러 등의 문제로 인해 이미지 데이터의 질이 나빠질 가능성이 높다. 특히, 대상 구조물과 무인 비행체 사이에 안전 이격거리를 유지해야 하므로 이로 인한 이미지의 해상도 부족문제는 인공지능 기반 손상 검출능을 저해하는 요인이 될 수 있다. Next, the method of data acquisition using unmanned aerial vehicles is a method of acquiring images of places that are difficult to access by humans using unmanned aerial vehicles. This method has the advantage of acquiring an image of a place with poor accessibility without limitation of the shooting environment, but the quality of image data is likely to deteriorate due to problems such as vibration of the unmanned aerial vehicle itself or motion blur that occurs during movement. In particular, since it is necessary to maintain a safe separation distance between the target structure and the unmanned aerial vehicle, the problem of insufficient resolution of the image may be a factor that hinders the ability to detect damage based on artificial intelligence.
마지막으로, 로봇 기반 데이터 취득(Data acquisition using robots) 방법은 비전 카메라를 부착한 클라이밍 로봇, 다굴절 로봇, 벽면 부착용 미니카 등을 활용하여 구조물의 이미지를 취득하는 방법이다. 이러한 방법은 초근접 촬영을 통해 마이크로 단위의 균열까지 평가할 수 있지만, 무인 비행체와 마찬가지로 자체의 진동이나 이동 시 나타나는 모션 블러 등의 원인으로 이미지의 질이 인공지능 기반의 자동 손상 검출에 충분하지 않은 경우가 잦다.Finally, the robot-based data acquisition using robots method is a method of acquiring an image of a structure using a climbing robot with a vision camera, a multi-refractive robot, and a minicar for wall mounting. This method can evaluate even microscopic cracks through super close-up photography, but, like unmanned aerial vehicles, if the quality of the image is not sufficient for automatic damage detection based on artificial intelligence due to its own vibration or motion blur that appears during movement. Is frequent.
본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법은 비전 카메라로 촬영한 원본 이미지를 초고해상화하고 이를 기초로 구조물의 손상을 검출하여 손상 검출 성능을 향상시키고자 한다.The structure damage detection method by the structure damage detection system according to an embodiment of the present invention is to improve damage detection performance by ultra-high resolution of an original image photographed with a vision camera and detecting damage to the structure based on this.
본 발명의 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법은 딥러닝을 이용하여 원본 이미지를 초고해상화하고, 초고해상도 디지털 이미지를 기초로 자동적으로 구조물의 손상을 검출하고자 한다.In the structure damage detection method by the structure damage detection system according to an embodiment of the present invention, the original image is ultra-high resolution using deep learning, and the damage to the structure is automatically detected based on the ultra-high resolution digital image. do.
본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 의해 수행되는 구조물 손상 검출 방법에 있어서, 비전 카메라로 촬영된 구조물의 이미지를 수신하는 단계; 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하는 단계; 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하는 단계; 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하는 단계; 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하는 단계; 및 초고해상도 디지털 이미지로부터 구조물의 손상을 검출하는 단계를 포함하는, 구조물 손상 검출 방법을 제공하고자 한다.In accordance with an embodiment of the present invention, there is provided a structure damage detection method performed by a structure damage detection system using deep learning-based ultra-high resolution digital image generation, the method comprising: receiving an image of the structure photographed by a vision camera; Extracting a shallow feature from the received image; Extracting a deep feature from the received image; Upscaling feature data of an image constructed using the extracted shallow features and deep features to an ultra-high resolution size; Generating an ultra-high resolution digital image from feature data of the upscaled image; And detecting the damage of the structure from the ultra-high resolution digital image.
본 실시예에 있어서, 딥 피쳐를 추출하는 단계는 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용하고, RIR 구조는, 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.In this embodiment, the step of extracting the deep feature uses a RIR (Residual In Residual) structure consisting of a plurality of residual groups composed of a plurality of residual blocks, and the RIR structure May provide a structure damage detection method comprising a plurality of residual groups configured as a long-skip connection, and a plurality of residual blocks configured as a short-skip connection. have.
본 실시예에 있어서, 레지듀얼 블록에서 채널 집중(Channel Attention) 메커니즘이 수행되고, 채널 집중 매커니즘은 GAP(Global Average Pooling) 레이어, 컨볼루셔널(Convolutional) 레이어, ReLU(Rectified Linear Unit) 레이어 및 시그모이드(Sigmoid) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법을 제공할 수 있다.In this embodiment, a channel attention mechanism is performed in the residual block, and the channel concentration mechanism is a GAP (Global Average Pooling) layer, a convolutional layer, a ReLU (Rectified Linear Unit) layer, and a signal. It is possible to provide a method for detecting structural damage, which is performed using a Sigmoid layer.
본 실시예에 있어서, 업스케일하는 단계는 디컨볼루셔널(Deconvolutional) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법을 제공할 수 있다.In this embodiment, the step of upscaling may provide a method for detecting damage to a structure, which is performed using a deconvolutional layer.
본 실시예에 있어서, 구조물의 손상을 검출하는 단계는, 초고해상도 디지털 이미지를 엔코딩하여 손상 검출 피쳐를 추출하는 단계; 및 추출된 손상 검출 피쳐를 업샘플링(Upsampling)하여 디코딩하는 단계를 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.In this embodiment, the detecting of damage to the structure may include extracting a damage detection feature by encoding an ultra-high resolution digital image; And it is possible to provide a structure damage detection method comprising the step of decoding the extracted damage detection feature by upsampling (Upsampling).
본 실시예에 있어서, 손상 검출 피쳐를 추출하는 단계는 에스알씨넷(SRCNet)을 이용하여 수행되고, 에스알씨넷은 엔코더와 디코더를 포함하고, 엔코더가 컨볼루셔널 레이어와 맥스-풀링(Max-Pooling) 레이어를 포함하고, 디코더가 컨볼루셔널 레이어, 업샘플링(Upsampling) 레이어 및 소프트맥스(Softmax) 레이어를 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.In this embodiment, the step of extracting the damage detection feature is performed using SRCNet, the SRCnet includes an encoder and a decoder, and the encoder is a convolutional layer and Max-Pooling. A structure damage detection method including a layer, and a decoder including a convolutional layer, an upsampling layer, and a Softmax layer may be provided.
본 실시예에 있어서, 디코딩하는 단계에서 디코더는 맥스-풀링(Max-Pooling) 레이어를 포함하는, 구조물 손상 검출 방법을 제공할 수 있다.In the present embodiment, in the decoding step, the decoder may provide a method for detecting structural damage including a Max-Pooling layer.
본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템에 있어서, 구조물의 손상 검출 방법을 제공하는 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 수행에 따라, 비전 카메라로 촬영된 구조물의 이미지를 수신하고, 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하고, 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하고, 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하고, 초고해상도 디지털 이미지로부터 구조물의 손상을 검출하는, 구조물 손상 검출 시스템을 제공하고자 한다.In an embodiment of the present invention, there is provided a system for detecting damage to a structure using deep learning-based ultra-high resolution digital image generation, comprising: a memory storing a program providing a method for detecting damage to the structure; And a processor executing a program stored in the memory, wherein the processor receives an image of a structure photographed by a vision camera according to the execution of the program, extracts a shallow feature from the received image, and Extract a deep feature from an image, upscale the feature data of an image constructed using the extracted shallow feature and deep feature to an ultra-high resolution size, and ultra-high resolution from the feature data of the upscaled image An object is to provide a structure damage detection system that generates digital images and detects damage to structures from ultra-high resolution digital images.
본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법에 따르면 비전 카메라로 촬영한 원본 이미지를 초고해상화하고 이를 기초로 구조물의 손상을 검출하므로 손상 검출 성능이 향상될 수 있다.According to the structure damage detection method by the structure damage detection system according to an embodiment of the present invention, since an original image photographed with a vision camera is super-high resolution and damage to the structure is detected based on the ultra-high resolution, damage detection performance may be improved.
본 발명의 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템에 의한 구조물 손상 검출 방법에 따르면 딥러닝을 이용하여 원본 이미지를 초고해상화하고, 초고해상도 디지털 이미지를 기초로 자동적으로 구조물의 손상을 검출하는 효과가 있다.According to the structure damage detection method by the structure damage detection system according to an embodiment of the present invention, the original image is ultra-high resolution using deep learning, and damage to the structure is automatically detected based on the ultra-high resolution digital image. There is an effect.
도 1은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템을 이용한 구조물 손상 검출 방법을 보여주는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템을 이용한 구조물 손상 검출 방법을 보여주는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템을 이용한 구조물 이미지의 초고해상화 과정 및 손상 검출 과정을 보여주는 개략도이다.
도 5는 본 발명의 비교예에 따른 원본 이미지를 통한 손상 검출 결과 및 실시예에 따른 고해상화 이미지를 통한 손상 검출 결과를 비교해서 보여주는 도면이다.
도 6은 본 발명의 비교예 및 실시예에 따른 손상 검출 결과 이미지 및 그의 부정 오류 결과 이미지를 보여주는 도면이다.1 is a view showing the configuration of a structure damage detection system according to an embodiment of the present invention.
2 is a schematic diagram showing a structure damage detection method using the structure damage detection system according to an embodiment of the present invention.
3 is a flow chart showing a method for detecting damage to a structure using the system for detecting damage to a structure according to an embodiment of the present invention.
4 is a schematic diagram showing a process of ultra-high resolution and a damage detection process of a structure image using a structure damage detection system according to an embodiment of the present invention.
5 is a view showing a comparison of a damage detection result through an original image according to a comparative example of the present invention and a damage detection result through a high-resolution image according to the embodiment.
6 is a view showing a damage detection result image and a negative error result image according to Comparative Examples and Examples of the present invention.
이하에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. Further, in the drawings, parts not related to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" with another part, this includes a case in which a part is "directly connected" and a case in which it is "electrically connected" with another element interposed therebetween. In addition, when a certain part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
이하에서는, 본 발명의 일 실시예에 따른 딥러닝 기반의초고해상도 디지털 이미지 생성을 이용한 구조물의 손상 검출 시스템(100)에 대하여 상세히 설명하기로 한다.Hereinafter, a structure
본 발명의 일 실시예에 따른 구조물의 손상 검출 시스템(100)은 딥러닝 기반의 이미지 초고해상화를 통한 구조물의 손상 검출을 자동화한 시스템에 관한 것이다.The structure
도 1은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)의 구성을 보여주는 도면이다.1 is a diagram showing the configuration of a structure
도 1을 참조하면, 본 발명의 일 실시예에 따른 구조물의 손상 검출 시스템(100)은 통신 모듈, 메모리, 프로세서를 포함할 수 있다.Referring to FIG. 1, a structure
통신 모듈(110)은 통신망과 연동하여 구조물 손상 검출 시스템(100)에 비전 카메라로 촬영된 이미지를 송수신할 수 있는 통신 인터페이스를 제공하는데, 특히 비전 카메라 기기 및 관리 서버와의 데이터를 송수신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The
메모리(120)는 구조물 손상 검출 방법을 제공하기 위한 프로그램이 기록된 것일 수 있다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
한편 구조물 손상 검출 방법을 제공하는 프로그램은 그의 실행에 따라 비전 카메라로 촬영된 구조물의 이미지를 수신하여, 그로부터 샬로우 피쳐(Shallow Feature) 및 딥 피쳐(Deep Feature)를 추출할 수 있다. 다음으로, 상기 프로그램은 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성할 수 있다 마지막으로, 상기 프로그램은 생성된 초고해상도 디지털 이미지로부터 구조물의 손상을 검출하는 기능을 수행할 수 있다. 초고해상도 디지털 이미지로부터 손상 검출 방법을 제공하는 프로그램은 그의 실행에 따라 생성된 초고해상도 디지털 이미지로부터 엔코딩 과정을 통해 손상 검출을 위한 피쳐를 추출할 수 있다. 다음으로 상기 프로그램은 디코딩 과정을 통해 추출된 손상 검출 피쳐를 업샘플링하여 입력된 초고해상도의 이미지로부터 구조물의 손상을 검출하는 기능을 수행할 수 있다. 프로그램의 실행에 따른 구조물 손상 검출 과정의 구체적인 각 단계에 대해서는 뒤에서 도 2 내지 도 4를 참조하여 설명하기로 한다.Meanwhile, a program providing a structure damage detection method may receive an image of a structure photographed with a vision camera according to its execution and extract a shallow feature and a deep feature therefrom. Next, the program upscales the feature data of an image constructed using the extracted shallow features and deep features to an ultra-high resolution size, and generates a super-resolution digital image from the feature data of the upscaled image. Lastly, the program can perform a function of detecting damage to a structure from the generated ultra-high resolution digital image. A program that provides a method for detecting damage from an ultra-high-resolution digital image can extract features for damage detection through an encoding process from an ultra-high-resolution digital image generated according to its execution. Next, the program may perform a function of up-sampling the damage detection feature extracted through the decoding process to detect damage to the structure from the input ultra-high resolution image. Each specific step of the structure damage detection process according to the execution of the program will be described later with reference to FIGS. 2 to 4.
프로세서(130)는 구조물 손상 검출 시스템(100)에서 구조물 손상 검출 방법을 제공하기 위한 프로그램이 수행하는 전체 과정을 제어할 수 있다. 여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로서, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
데이터베이스(140)는 구조물 손상 검출 방법을 수행하기 위해 공동으로 필요한 데이터를 유기적으로 결합하여 저장한 매체일 수 있다. 데이터베이스(140)은 구조물 손상과 관련된 이미지 및 학습 데이터가 저장된 것일 수 있다.The
이하에서는, 본 발명의 일 실시예에 따른 딥러닝 기반의 초고해상도 이미지 생성을 이용한 구조물의 손상 검출 시스템(100)에 의해 수행되는 구조물 손상 검출 방법에 대하여 상세히 설명하기로 한다.Hereinafter, a structure damage detection method performed by the structure
도 2는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)을 이용한 구조물 손상 검출 방법을 보여주는 개략도이다. 도 3은 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)을 이용한 구조물 손상 검출 방법을 보여주는 순서도이다. 도 4는 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)을 이용한 구조물 이미지의 초고해상화 과정 및 손상 검출 과정을 보여주는 개략도이다.2 is a schematic diagram showing a structure damage detection method using the structure
도 2 내지 도 5를 참조하면, 구조물 손상 검출 시스템(100)의 프로세서는 프로그램을 실행하여 딥러닝 네트워크를 구현할 수 있다. 딥러닝 네트워크는 저해상도 원본 입력 이미지로부터 초고해상도 출력 이미지를 생성하기 위한 샬로우 피처 추출 모듈, 딥 피처 추출 모듈, 업스케일 모듈, 복원 모듈의 4개의 모듈을 포함할 수 있다. 또한, 딥러닝 네트워크는 초고해도 출력 이미지를 이용하여 구조물 손상 검출을 위한 손상 검출 피처 추출 모듈, 업샘플링 모듈의 2개의 모듈을 포함하여 총 6개 모듈로 통합 구성될 수 있다.2 to 5, the processor of the structure
먼저, 본 발명의 일 실시예에 따른 구조물의 손상 검출 시스템(100)은 비전 카메라로 촬영된 구조물의 이미지를 수신하는 단계(S310)를 수행할 수 있다. 여기서, 비전 카메라는 무인 비행체나 클라이밍 로봇 등 구조물에 근접하여 이미지를 획득하기 위한 수단에 장착된 것일 수 있다.First, the structure
다음으로, 구조물의 손상 검출 시스템(100)이 획득한 이미지를 고해상화하고 이를 통해 손상 검출 피쳐를 추출하는 것은 에스알씨넷(SRCNet: Computer Vision-based Deep Super Resolution Crack Network)을 이용하여 수행될 수 있다. Next, high resolution of the image acquired by the
먼저, 획득한 이미지를 고해상화하기 위해 구조물의 손상 검출 시스템(100)은 수신한 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하는 단계(S320)를 수행할 수 있다. 여기서 샬로우 피쳐란 입력 이미지(Input Image)인 저해상도(Low-Resolution) 이미지에 대한 피처를 의미할 수 있다. 한편, 샬로우 피쳐를 추출하는 모듈은 단일 컨볼루셔널 레이어(Convolutional Layer)로 구성되어 있을 수 있다. 예를 들어, 컨볼루셔널 레이어는 3x3사이즈의 커널 64개로 구성되고, 스트라이드(Stride)는 1로서 저해상도 입력 이미지로부터 샬로우 피쳐 추출을 수행할 수 있다.First, the structure
다음으로, 구조물의 손상 검출 시스템(100)은 수신된 이미지로부터 딥 피쳐(Deep Feature)를 추출하는 단계(S330)를 수행할 수 있다. 여기서 딥 피쳐란 저해상도 이미지와 쌍을 이루는 초고해상도(SR: Super-Resolution)이미지에서 저해상도 이미지와 가장 큰 차이점인 선이나 엣지 등으로 구성된 고주파수 정보에 관한 피쳐일 수 있다.Next, the structure
딥 피쳐를 추출하기 위해 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용할 수 있다. 여기서 RIR 구조는 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하는 구조일 수 있다.In order to extract a deep feature, a RIR (Residual In Residual) structure composed of a plurality of residual groups composed of a plurality of residual blocks may be used. Here, the RIR structure may be a structure in which a plurality of residual groups are configured as a long-skip connection, and a plurality of residual blocks are configured as a short-skip connection.
RIR 구조는 스킵 연결을 통해 각 레지듀얼 그룹과 레지듀얼 블록의 마지막 레이어인 컨벌루셔널 레이어를 통과해 출력되는 딥 피쳐와 입력된 샬로우 피쳐를 더해주어서, 저해상도 이미지에 초고해상도 이미지의 차이점만 추가적으로 학습하게 할 수 있다. 한편, 스킵 연결을 통해 저해상도 이미지의 대부분을 구성하는 저주파 정보들을 우회하여 메인 네트워크가 좀 더 효과적인 고주파 정보를 학습하는 것을 레지듀얼 학습(Residual Learning)으로 정의할 수 있다. 이 때 각 컨벌루셔널 레이어는 샬로우 피쳐 추출 모듈에서의 단일 컨벌루셔널 레이어와 동일한 형태일 수 있다.The RIR structure adds a deep feature output through a convolutional layer, the last layer of each residual group and a residual block through skip connection, and an input shallow feature, adding only the difference between the ultra-high resolution image to the low resolution image. You can make it learn. Meanwhile, residual learning can be defined as learning more effective high-frequency information by the main network by bypassing the low-frequency information constituting most of the low-resolution images through skip connection. In this case, each convolutional layer may have the same shape as a single convolutional layer in the shallow feature extraction module.
입력 이미지의 고주파 정보를 좀 더 효율적으로 추출하기 위해서 각 레지듀얼 블록 내부에서 채널 집중(Channel Attention) 메커니즘이 수행될 수 있다. 채널 집중 메커니즘은 이미지를 구성하는 각 채널 별의 평균값을 추출하고, 이를 바탕으로 좀 더 유용한 채널에 집중한 차별 학습 능력을 향상시킬 수 있다. 도 4를 참조하면, 각 레지듀얼 블록 내부에서, 글로벌 에버리지 풀링(GAP: Global Average Pooling) 레이어, 컨벌루셔널 레이어, ReLU 레이어, 시그몬드 레이어를 통해 CA 메커니즘이 수행될 수 있다.In order to more efficiently extract high frequency information of an input image, a channel attention mechanism may be performed within each residual block. The channel concentration mechanism extracts the average value of each channel constituting an image, and based on this, it is possible to improve the discriminatory learning ability focusing on more useful channels. Referring to FIG. 4, in each residual block, a CA mechanism may be performed through a Global Average Pooling (GAP) layer, a convolutional layer, a ReLU layer, and a Sigmund layer.
구체적으로, 글로벌 에버리지 풀링 레이어를 통해 입력된 이미지에 대하여 각 채널별 피쳐맵의 단일 평균값(1 x 1 x C)을 추출하여 대표성을 부여하고, 컨벌루셔널 레이어, ReLU 레이어를 통해 콤퓨팅 코스트(Computing Cost) 감소를 위해 그 크기 (1 x 1 x C / r)를 줄여준다. 여기서 C는 채널의 수이며 r은 콤퓨팅 코스트 감소를 위한 스케일 팩터(Scale Factor)이다. 다음으로 다시 컨볼루셔널 레이어와 시그모이드 레이어를 통해 피쳐맵의 통계값에 비선형성을 부여할 수 있다. 각각의 레이어를 통해 이미지를 구성하는 전체 채널 별 평균값을 사용하여 채널별 데이터를 분류하고, 이를 통해 네트워크가 보다 유의미한 피쳐를 추출하여 선택적으로 학습을 처리하도록 할 수 있다.Specifically, for the image input through the global average pooling layer, a single average value (1 x 1 x C) of the feature map for each channel is extracted to give representativeness, and the computation cost is calculated through the convolutional layer and the ReLU layer. To reduce Computing Cost), the size (1 x 1 x C / r) is reduced. Here, C is the number of channels and r is a scale factor for reducing computing cost. Next, nonlinearity can be added to the statistical values of the feature map through the convolutional layer and the sigmoid layer. Data for each channel is classified using the average value of all channels constituting an image through each layer, and through this, the network can extract more meaningful features and selectively process learning.
다음으로, 구조물의 손상 검출 시스템(100)은 추출된 샬로우 피처와 딥 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하는 단계(S340)를 수행할 수 있다. Next, the structure
업스케일하는 단계는 업스케일 모듈의 디컨볼루셔널(Deconvolutional) 레이어를 이용하여 수행될 수 있다. 업스케일 모듈은 각 레지듀얼 블록 과 레지듀얼 그룹을 거친 이미지의 피쳐 데이터를 최종적으로 확보하고자 하는 초고해상화 사이즈로 확장하는 단계일 수 있다. 업스케일 모듈의 디컨볼루셔널 레이어는 사이즈가 3 x 3이고, 커널이 256개로 이루어져 있고, 스트라이드는 1로서 각 픽셀의 사이즈가 4배 확장될 수 있다. The upscaling step may be performed using a deconvolutional layer of the upscale module. The upscale module may be a step of expanding the feature data of an image that has passed through each residual block and residual group to an ultra-high resolution size to be finally secured. The deconvolutional layer of the upscale module has a size of 3 x 3, has 256 kernels, and has a stride of 1, so that the size of each pixel can be expanded by 4 times.
다음으로, 구조물의 손상 검출 시스템(100)의 복원 모듈은 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 디지털 이미지를 생성하는 단계(S350)를 수행할 수 있다.Next, the restoration module of the structure
복원 모듈은 단일 컨벌루셔널 레이어를 통해 초고해상도 디지털 이미지를 생성하는 단계로서, 사이즈는 3 x 3이고 커널은 3개로 이루어져 있고, 스트라이드는 1로서 손상 검출을 위한 초고해상도 디지털 이미지를 생성할 수 있다. The reconstruction module is a step of generating an ultra-high resolution digital image through a single convolutional layer. The size is 3 x 3, the kernel consists of 3, and the stride is 1, so it can generate ultra-high resolution digital images for damage detection. .
다음으로, 구조물의 손상 검출 시스템(100)은 초고해상도 이미지로부터 구조물의 손상을 검출하는 단계(S360)를 수행할 수 있다. Next, the structure
구조물의 손상을 검출하는 단계는, 초고해상도 이미지를 엔코딩하여 손상 검출 피쳐를 추출하는 단계를 포함할 수 있다. 또한, 추출된 손상 검출 피쳐를 업샘플링(Upsampling)하여 디코딩하는 단계를 포함할 수 있다.Detecting damage to the structure may include extracting a damage detection feature by encoding an ultra-high resolution image. In addition, it may include the step of upsampling the extracted damage detection feature (Upsampling) decoding.
손상 검출 피쳐를 추출하는 것은 에스알씨넷(SRCNet: Computer Vision-based Deep Super Resolution Crack Network)을 이용하여 수행되고, 에스알씨넷은 엔코더와 디코더를 포함하고, 엔코더가 컨볼루셔널 레이어와 맥스-풀링(Max-Pooling) 레이어를 포함하고, 디코더가 컨볼루셔널 레이어, 업샘플링(Upsampling) 레이어 및 소프트맥스(Softmax) 레이어를 포함할 수 있다.Extraction of the damage detection feature is performed using SRCNet (Computer Vision-based Deep Super Resolution Crack Network), SRCNet includes an encoder and a decoder, and the encoder is a convolutional layer and Max-Pulling (Max. -Pooling) layer, and the decoder may include a convolutional layer, an upsampling layer, and a softmax layer.
예를 들어, 디코딩하는 단계에서 디코더는 맥스-풀링(Max-Pooling) 레이어를 포함할 수 있다. 손상 검출 모듈은 손상 검출을 위한 손상 검출 피쳐를 추출하기 위해, 딥러닝 기반의 에스알씨넷을 손상 검출에 적합하도록 전이학습을 수행하여 손상 검출용 네트워크를 구축하였다. 에스알씨넷은 엔코더(Encoder)에 13개의 컨벌루셔널 레이어와 5개의 맥스 풀링 레이어, 그리고 디코더 (Decoder)에 13개의 컨볼루셔널 레이어와 5개의 업샘플링 레이어, 그리고 다중 분류를 위한 소프트맥스 레이어로 구성되었다. 여기서 분류를 위해 CNN 기반 네트워크인 VGG-16 네트워크를 엔코더의 컨벌루셔널 레이어로 사용할 수 있다. 균열 검출의 이진 분류를 위한 네트워크는 10개의 컨볼루셔널 레이어와 4개의 맥스 풀링 레이어, 10개의 업샘플링 레이어로 구성하였다. 이를 통해 입력 이미지를 구조물의 손상 검출 시스템(100)에 입력하면 엔코더 구조를 통해 압축되고, 엔코더의 말단의 풀리 커넥티드 레이어(Fully Connected Layer)를 1 x 1 크기의 컨볼루셔널 레이어로 간주하여 컨볼루셔널을 포함하는 네트워크를 구축할 수 있다. For example, in the decoding step, the decoder may include a Max-Pooling layer. In order to extract damage detection features for damage detection, the damage detection module built a damage detection network by performing transfer learning to suit the deep learning-based SRCNET for damage detection. SRCNET consists of 13 convolutional layers and 5 max pooling layers in an encoder, 13 convolutional layers and 5 upsampling layers in a decoder, and a softmax layer for multiple classification. Became. Here, for classification, the VGG-16 network, which is a CNN-based network, can be used as the convolutional layer of the encoder. The network for binary classification of crack detection consisted of 10 convolutional layers, 4 max pooling layers, and 10 upsampling layers. Through this, when the input image is input to the structure
이어서 업샘플링 모듈에서 디코딩 과정을 통해 컨볼루셔널 네트워크를 업샘플링 하며, 이때 엔코더에서 맥스 풀링만을 사용하므로 업샘플링 과정이 기존의 풀리 컨볼루셔널 네트워크(Fully Convolutional Network)를 사용하는 경우와 대비해 간소화되어 메모리를 효율적으로 사용하고, 위치 손실을 최소화할 수 있다.Subsequently, the upsampling module upsamples the convolutional network through the decoding process.At this time, the encoder uses only max pooling, so the upsampling process is simplified compared to the case of using the existing Fully Convolutional Network. You can use memory efficiently and minimize location loss.
이하에서는 본 발명의 일 실시예에 따른 구조물 손상 검출 방법으로 수행한 구조물 손상 검출 시스템(100)의 성능 테스트 결과에 대하여 상세히 설명하기로 한다.Hereinafter, a performance test result of the structure
먼저, 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)은 구조물 외관 손상 검출능에 보다 적합한 이미지 초고해상화 네트워크를 구축하기 위해, 이미지 초고해상화를 위한 학습 데이터셋과 손상 검출을 위한 학습 데이터셋을 각각 구성하여 학습할 수 있다. First, the structure
초고해상화를 위한 학습 데이터셋은 단일 이미지 초 고해상도(single image super-resolution) 학습에 널리 알려진 학습 데이터셋인 DIV2K 데이터셋의 학습용 이미지 800장을 동일하게 사용하고, 검증용 데이터셋으로서 실제 도시, 건축 구조물에 대한 100장의 초고해상도 사진으로 구성된 Urban100 데이터셋을 사용하였다. The training dataset for ultra-high resolution uses the same 800 training images from the DIV2K dataset, a training dataset widely known for single image super-resolution training, and as a verification dataset, the actual city, The Urban100 dataset consisting of 100 super-resolution photos of the architectural structure was used.
HD 사이즈 1,280 x 720 이상의 다양한 크기로 구성된 총 800장의 DIV2K 학습 데이터셋은 이미지 플립 및 90, 180, 270도 이미지 회전을 통해 8장으로 증강(Augmentation)시켜 전체 800장의 학습 데이터에 8배 증가한 6,400장이 학습에 사용되었다. 학습용 데이터는 총 1,000회를 반복하여 네트워크 학습에 사용되었고, 1회 학습 단계별 사용한 데이터 수로 배치 사이즈(Batch Size)는 16을 선택하였다.A total of 800 DIV2K training datasets composed of various sizes of HD size of 1,280 x 720 or more are augmented to 8 by flipping images and rotating images by 90, 180, and 270 degrees, increasing 6,400 sheets by 8 times for a total of 800 training data. Was used for learning. The training data was used for network training by repeating a total of 1,000 times, and a batch size of 16 was selected as the number of data used for each learning step.
테스트 단계에서는 셀프 앙상블(Self-ensemble[2])을 수행하는데, 다음과 같은 순서로 진행될 수 있다. 입력된 저해상도 원본 이미지에 대하여 이미지 플립(Image-Flip) 및 90, 180, 270도 이미지 회전(Image-Rotation)을 통해 7개의 이미지를 추가로 만들어 원본 이미지를 포함한 총 8개의 이미지셋을 구축한다. 이어서 원본 이미지에 대한 이미지 셋의 기하학적 변환 행렬(Geometric transform matrix)을 추정한다. 이미지 초고해상화를 이미지셋의 8개 이미지에 대해 모두 수행한 뒤, 추정된 변환 행렬을 통해 역변환을 수행한다. 역변환을 통해 모두 같은 지오메트리(Geometry)를 갖는 이미지 8개를 평균화하여 생성된 8장의 평균 이미지를 최종 초고해상도 디지털 이미지로 취득할 수 있다. In the test step, a self-ensemble [2] is performed, which can be performed in the following order. For the input low-resolution original image, 7 additional images are created through Image-Flip and Image-Rotation of 90, 180, and 270 degrees, and a total of 8 image sets including the original image are constructed. Then, a geometric transform matrix of an image set with respect to the original image is estimated. After performing image super-resolution on all 8 images of the image set, inverse transformation is performed through the estimated transformation matrix. Through the inverse transformation, the average of 8 images generated by averaging 8 images all having the same geometry can be obtained as a final ultra-high resolution digital image.
그 다음으로, 구조물 손상 검출을 위한 학습 데이터셋은 외관 손상에 관련된 데이터셋을 새롭게 구성하여 네트워크 학습을 수행할 수 있다. 일 예로, 네트워크 학습은 이지미들을 360 x 480 사이즈로 고정하여 균열 이미지 1,031장을 학습하는 것으로 수행될 수 있다. 이 때 손상 학습을 위해 폴리곤 툴을 이용하여 영역을 정의할 수 있다. 손상 학습이 완료된 네트워크를 활용하여 입력 이미지에 존재하는 손상을 자동으로 검출하여 출력 이미지인 결과 이미지를 취득할 수 있다.Next, the training dataset for detecting structural damage may perform network learning by newly configuring a dataset related to exterior damage. As an example, network training may be performed by learning 1,031 crack images by fixing images to a size of 360 x 480. In this case, for damage learning, a region can be defined using a polygon tool. Using the network on which the damage learning has been completed, damage existing in the input image can be automatically detected, and a result image, which is an output image, can be acquired.
도 5의 케이스 1, 2는 본 발명의 비교예에 따른 원본 이미지를 통한 손상 검출 결과 및 실시예에 따른 초고해상화 이미지를 통한 손상 검출 결과를 비교해서 보여주는 도면이다.Cases 1 and 2 of FIG. 5 are diagrams showing a comparison of a damage detection result through an original image according to a comparative example of the present invention and a damage detection result through an ultra-high resolution image according to the embodiment.
도 5를 참조하면 예를 들어, 비전 카메라가 탑재된 드론을 통해 30 fps로 약 2분간 구조물의 이미지를 취득한다. 드론은 탑재한 비전 카메라에 모션 진동을 일으킴으로써, 취득되는 이미지 데이터에 이로 인한 모션 블러가 생성된다. 여기서, 취득된 이미지의 사이즈는 1,920 x 1,080이다. 또한, 케이스 1(도 5의 (a), (b) 참조)과 케이스 2(도 5의 (c), (d) 참조)는 모두 동일한 실험 파라미터에서 취득된 데이터로, 취득 장소만 상이하다. 이후 적용되는 검증과정의 모든 파라미터 역시 동일하게 적용되었다. 이미지의 전체 영역 중 손상을 포함한 관심영역에 대해 1,024 x 1,024의 해상도로 이미지를 자르고, 잘린 이미지를 4배 저해상화한 256 x 256의 이미지를 원본 이미지로 정의할 수 있다. Referring to FIG. 5, an image of a structure is acquired for about 2 minutes at 30 fps through a drone equipped with a vision camera, for example. Drones generate motion vibrations on the mounted vision camera, resulting in motion blur in the acquired image data. Here, the size of the acquired image is 1,920 x 1,080. In addition, Case 1 (refer to FIGS. 5A and 5B) and Case 2 (refer to FIGS. 5C and 5D) are data acquired with the same experimental parameters, and only the locations of acquisition are different. All parameters of the verification process applied afterwards were also applied equally. Of the entire area of the image, an image of 256 x 256 in which a resolution of 1,024 x 1,024 is cut for the region of interest including damage, and the cropped image is reduced by 4 times can be defined as the original image.
그 다음으로, 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)에 본 원본 이미지를 입력 이미지로서 입력하고, 이로부터 산출된 4배 크기의 1,024 x 1,024 초고해상도 디지털 이미지를 생성할 수 있다. 그리고, 구조물 손상 검출 시스템(100)의 손상 검출 네트워크를 통해 원본 이미지와 이를 기반으로 생성된 초고해상도 디지털 이미지에 대한 손상 검출을 수행할 수 있다. 도 5의 (a), (c)는 사이즈가 256 x 256인 원본 이미지에 대한 손상 검출 결과이며, 도 5의 (b), (d)는 구축한 딥러닝 기반 초고해상도 네트워크를 활용하여 원본 이미지를 초고해상화한 뒤 생성된 사이즈가 1,024 x 1,024인 초고해상도 디지털 이미지에 대해 손상 검출을 수행한 결과이다. 이를 비교하면, 초고해상도 디지털 이미지에 대한 손상 검출 결과가 저해상도 이미지에 대한 손상 검출 결과 보다 훨씬 정확한 것을 파악할 수 있다.Next, the original image is input to the structure
도 6은 본 발명의 비교예 및 실시예에 따른 손상 검출 결과 이미지 및 그의 부정 오류 결과 이미지를 보여주는 도면이다.6 is a view showing a damage detection result image and a negative error result image according to Comparative Examples and Examples of the present invention.
도 6을 참조하면, 원본 이미지와 초고해상도 디지털 이미지의 손상 검출 성능을 평가하기 위해 비전 카메라를 탑재한 드론으로 취득한 이미지 전체 영역 중 관심영역에 대한 초고해상화 수행을 위해 사이즈 1,024 x 1,024의 이미지로 크롭(Crop)한 이미지(도 6의 (a), (d))에 대한 손상 검출 결과를 실측 자료(Ground truth)로 지정한다. 이를 기준으로 원본 이미지와 초고해상도 디지털 이미지의 손상 검출 결과를 비교해 볼 수 있다. 실제 균열임에도 불구하고 검출하지 못한 부정 오류(False Negative) 결과는 케이스 1의 경우 도 6의 (b) 와 (c)에서 볼 수 있으며, 케이스 2의 경우 도 6의 (e) 와 (f)에서 볼 수 있다. 이를 통해 두 케이스의 원본 이미지와 초고해상도 디지털 이미지의 재현율(Recall)을 계산해 정리해보면 아래의 [표 1]과 같다. 이를 통해, 인공지능 기반의 손상 검출능의 성능 지표인 재현율이 원본 이미지를 통한 검출 결과에 비해 초고해상도 디지털 이미지를 통한 검출 결과가 케이스 1의 경우 33.6 %, 케이스 2의 경우 78.9%로 향상된 것을 확인할 수 있다. Referring to FIG. 6, in order to evaluate the damage detection performance of the original image and the ultra-high-resolution digital image, an image of a size of 1,024 x 1,024 is used to perform ultra-high resolution for an area of interest out of the entire area of an image acquired by a drone equipped with a vision camera. A damage detection result for the cropped image (Fig. 6 (a), (d)) is designated as ground truth. Based on this, the damage detection results of the original image and the ultra-high resolution digital image can be compared. The false negative result that was not detected despite the actual crack can be seen in Figs. 6(b) and (c) in case 1, and in Fig. 6(e) and (f) in case 2 can see. Through this, the recall of the original image of the two cases and the ultra-high resolution digital image is calculated and summarized as shown in [Table 1] below. Through this, it was confirmed that the reproducibility, which is a performance index of artificial intelligence-based damage detection capability, improved to 33.6% in case 1 and 78.9% in case 2, compared to the detection result using the original image. I can.
이상으로 설명한 본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)에 의한 구조물 손상 검출 방법에 따르면 비전 카메라로 촬영한 원본 이미지를 초고해상화하고 이를 기초로 구조물의 손상을 검출하므로 손상 검출 성능이 향상될 수 있다.특히 케이스 1과 2의 경우 드론으로 취득한 이미지 데이터임에도 손상 검출능이 향상되었으므로, 본 발명의 일 실시예에 따른 초고해상도 디지털 이미지 생성은 카메라 이미지 취득시 발생하는 진동으로 인한 모션 블러와 같은 문제점에 대해서도 효과가 있다. According to the structure damage detection method by the structure
본 발명의 일 실시예에 따른 구조물 손상 검출 시스템(100)에 의한 구조물 손상 검출 방법에 따르면 딥러닝을 이용하여 원본 이미지를 초고해상화하고, 초고해상도 디지털 이미지를 기초로 자동적으로 구조물의 손상을 검출하는 효과가 있다.According to the structure damage detection method by the structure
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention.
따라서, 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.
100: 구조물 손상 검출 시스템
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스100: structure damage detection system
110: communication module
120: memory
130: processor
140: database
Claims (8)
비전 카메라로 촬영된 구조물의 이미지를 수신하는 단계;
상기 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하는 단계;
상기 추출된 샬로우 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하는 단계;
상기 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 이미지를 생성하는 단계; 및
상기 초고해상도 이미지로부터 상기 구조물의 손상을 검출하는 단계를 포함하고,
상기 초고해상도 이미지를 생성하는 단계는 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용하고,
상기 RIR 구조는, 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하고,
상기 레지듀얼 블록에서 채널 집중(Channel Attention) 메커니즘이 수행되고, 상기 채널 집중 매커니즘은 GAP(Global Average Pooling) 레이어, 컨볼루셔널(Convolutional) 레이어, ReLU(Rectified Linear Unit) 레이어 및 시그모이드(Sigmoid) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법.In the structure damage detection method performed by the structure damage detection system using deep learning-based ultra-high resolution digital image generation,
Receiving an image of the structure photographed by the vision camera;
Extracting a shallow feature from the received image;
Upscaling feature data of an image constructed using the extracted shallow features to an ultra-high resolution size;
Generating an ultra-high resolution image from feature data of the upscaled image; And
Including the step of detecting damage to the structure from the ultra-high resolution image,
The step of generating the ultra-high resolution image uses a RIR (Residual In Residual) structure consisting of a plurality of residual groups composed of a plurality of residual blocks,
The RIR structure includes a plurality of residual groups configured as a long-skip connection, and a plurality of residual blocks configured as a short-skip connection,
A channel concentration mechanism is performed in the residual block, and the channel concentration mechanism is a GAP (Global Average Pooling) layer, a convolutional layer, a ReLU (Rectified Linear Unit) layer, and a sigmoid. ) A method for detecting structural damage, performed using a layer.
상기 업스케일하는 단계는 디컨볼루셔널(Deconvolutional) 레이어를 이용하여 수행되는, 구조물 손상 검출 방법.The method of claim 1,
The upscaling step is performed using a deconvolutional layer.
상기 구조물의 손상을 검출하는 단계는, 상기 초고해상도 이미지를 엔코딩하여 손상 검출 피쳐를 추출하는 단계; 및
상기 추출된 손상 검출 피쳐를 업샘플링(Upsampling)하여 디코딩하는 단계를 포함하는, 구조물 손상 검출 방법. The method of claim 1,
The detecting of damage to the structure may include extracting a damage detection feature by encoding the ultra-high resolution image; And
Upsampling and decoding the extracted damage detection feature.
상기 손상 검출 피쳐를 추출하는 것은 에스알씨넷(SRCNet)을 이용하여 수행되고,
상기 에스알씨넷은 엔코더와 디코더를 포함하고,
상기 엔코더가 컨볼루셔널 레이어와 맥스-풀링(Max-Pooling) 레이어를 포함하고, 상기 디코더가 컨볼루셔널 레이어, 업샘플링(Upsampling) 레이어 및 소프트맥스(Softmax) 레이어를 포함하는, 구조물 손상 검출 방법.The method of claim 5,
Extracting the damage detection feature is performed using SRCNet,
The SRCnet includes an encoder and a decoder,
Structure damage detection method, wherein the encoder includes a convolutional layer and a Max-Pooling layer, and the decoder includes a convolutional layer, an upsampling layer, and a Softmax layer .
상기 디코딩하는 단계에서 디코더는 맥스-풀링(Max-Pooling) 레이어를 포함하는, 구조물 손상 검출 방법.The method of claim 6,
In the decoding step, the decoder includes a Max-Pooling layer.
구조물의 손상 검출 방법을 제공하는 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 프로그램의 수행에 따라,
비전 카메라로 촬영된 구조물의 이미지를 수신하고, 상기 수신된 이미지로부터 샬로우 피쳐(Shallow Feature)를 추출하고, 상기 추출된 샬로우 피처를 이용하여 구성된 이미지의 피쳐 데이터를 초고해상도 사이즈로 업스케일(Upscale)하고, 상기 업스케일된 이미지의 피쳐 데이터로부터 초고해상도 이미지를 생성하고, 상기 초고해상도 이미지로부터 상기 구조물의 손상을 검출하고,
상기 초고해상도 이미지를 생성하기 위해 복수개의 레지듀얼 블록(Residual Block)들로 구성된 복수개의 레지듀얼 그룹(Residual Group)들로 이루어진 RIR(Residual In Residual) 구조를 이용하고,
상기 RIR 구조는, 복수개의 레지듀얼 그룹들이 롱-스킵 연결(Long Skip Connection)로 구성되고, 복수개의 레지듀얼 블록들이 숏-스킵 연결(Short Skip Connection)로 구성된 것을 포함하고,
상기 레지듀얼 블록에서 채널 집중(Channel Attention) 메커니즘이 수행되고, 상기 채널 집중 매커니즘은 GAP(Global Average Pooling) 레이어, 컨볼루셔널(Convolutional) 레이어, ReLU(Rectified Linear Unit) 레이어 및 시그모이드(Sigmoid) 레이어를 이용하여 수행되는, 구조물 손상 검출 시스템.In a structure damage detection system using deep learning-based ultra-high resolution digital image generation,
A memory storing a program providing a method for detecting damage to a structure; And
Comprising a processor for executing a program stored in the memory,
According to the execution of the program, the processor,
Receives an image of a structure photographed with a vision camera, extracts a shallow feature from the received image, and upscales the feature data of an image constructed using the extracted shallow feature to an ultra-high resolution size ( Upscale), generating an ultra-high resolution image from feature data of the upscaled image, detecting damage to the structure from the ultra-high resolution image,
In order to generate the ultra-high resolution image, a RIR (Residual In Residual) structure consisting of a plurality of residual groups consisting of a plurality of residual blocks is used, and
The RIR structure includes a plurality of residual groups configured as a long-skip connection, and a plurality of residual blocks configured as a short-skip connection,
A channel concentration mechanism is performed in the residual block, and the channel concentration mechanism is a GAP (Global Average Pooling) layer, a convolutional layer, a ReLU (Rectified Linear Unit) layer, and a sigmoid. ) Structure damage detection system, performed using layers.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190135112A KR102157610B1 (en) | 2019-10-29 | 2019-10-29 | System and method for automatically detecting structural damage by generating super resolution digital images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190135112A KR102157610B1 (en) | 2019-10-29 | 2019-10-29 | System and method for automatically detecting structural damage by generating super resolution digital images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102157610B1 true KR102157610B1 (en) | 2020-09-18 |
Family
ID=72670330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190135112A KR102157610B1 (en) | 2019-10-29 | 2019-10-29 | System and method for automatically detecting structural damage by generating super resolution digital images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102157610B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297909A (en) * | 2021-04-25 | 2021-08-24 | 东南大学 | Building damage real-time identification method based on unmanned aerial vehicle vision |
| CN113658047A (en) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | Crystal image super-resolution reconstruction method |
| CN113706496A (en) * | 2021-08-23 | 2021-11-26 | 中国飞机强度研究所 | Aircraft structure crack detection method based on deep learning model |
| CN113758927A (en) * | 2021-01-31 | 2021-12-07 | 李刚 | Encoder-decoder small bridge bottom crack detection system and method based on reverse residual bottleneck |
| KR102685661B1 (en) * | 2023-04-28 | 2024-07-17 | 한전케이디엔주식회사 | A method and apparatus for recognizing metal fittings using AI-based image upscaling |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
| KR101780057B1 (en) | 2016-08-02 | 2017-09-19 | 한양대학교 에리카산학협력단 | Apparatus and method for restroing high resolution image |
| KR101792435B1 (en) * | 2016-09-13 | 2017-11-20 | 이화여자대학교 산학협력단 | Damage evaluation method for fire damaged structure |
| KR20180126362A (en) * | 2017-05-17 | 2018-11-27 | 삼성전자주식회사 | Super-resolution processing method for moving image and image processing apparatus therefor |
-
2019
- 2019-10-29 KR KR1020190135112A patent/KR102157610B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101780057B1 (en) | 2016-08-02 | 2017-09-19 | 한양대학교 에리카산학협력단 | Apparatus and method for restroing high resolution image |
| KR101792435B1 (en) * | 2016-09-13 | 2017-11-20 | 이화여자대학교 산학협력단 | Damage evaluation method for fire damaged structure |
| KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
| KR20180126362A (en) * | 2017-05-17 | 2018-11-27 | 삼성전자주식회사 | Super-resolution processing method for moving image and image processing apparatus therefor |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113758927A (en) * | 2021-01-31 | 2021-12-07 | 李刚 | Encoder-decoder small bridge bottom crack detection system and method based on reverse residual bottleneck |
| CN113758927B (en) * | 2021-01-31 | 2024-03-29 | 李刚 | Encoder-decoder small bridge bottom crack detection system and method based on reverse residual bottleneck |
| CN113297909A (en) * | 2021-04-25 | 2021-08-24 | 东南大学 | Building damage real-time identification method based on unmanned aerial vehicle vision |
| CN113297909B (en) * | 2021-04-25 | 2024-05-07 | 东南大学 | Building damage real-time identification method based on unmanned aerial vehicle vision |
| CN113658047A (en) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | Crystal image super-resolution reconstruction method |
| CN113706496A (en) * | 2021-08-23 | 2021-11-26 | 中国飞机强度研究所 | Aircraft structure crack detection method based on deep learning model |
| CN113706496B (en) * | 2021-08-23 | 2024-04-12 | 中国飞机强度研究所 | Aircraft structure crack detection method based on deep learning model |
| KR102685661B1 (en) * | 2023-04-28 | 2024-07-17 | 한전케이디엔주식회사 | A method and apparatus for recognizing metal fittings using AI-based image upscaling |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102157610B1 (en) | System and method for automatically detecting structural damage by generating super resolution digital images | |
| CN108647639B (en) | Real-time human body skeleton joint point detection method | |
| Nie et al. | Deeply learned filter response functions for hyperspectral reconstruction | |
| US20190080455A1 (en) | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation | |
| US10733697B2 (en) | Convolutional neural network for wide-angle camera images | |
| WO2020087607A1 (en) | Bi-skip-net-based image deblurring method | |
| EP3644270A1 (en) | Image processing device, imaging device, image processing method, program, and storage medium | |
| Chen et al. | Light field denoising via anisotropic parallax analysis in a CNN framework | |
| CN109712071B (en) | Unmanned aerial vehicle image splicing and positioning method based on track constraint | |
| CN114842028A (en) | Cross-video target tracking method, system, electronic equipment and storage medium | |
| US11244426B2 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
| JP2024026745A (en) | Using imager with on-purpose controlled distortion for inference or training of artificial intelligence neural network | |
| KR20210066366A (en) | Method and device for restoring image | |
| CN111985475A (en) | Ship board identification method, computing device and storage medium | |
| CN112101373A (en) | Object detection method and device based on deep learning network and electronic equipment | |
| CN114641790A (en) | Super-resolution processing method and system for infrared image | |
| CN111274936B (en) | Multispectral image ground object classification method, system, medium and terminal | |
| US9392146B2 (en) | Apparatus and method for extracting object | |
| US20230169755A1 (en) | Apparatus and method with image processing | |
| CN113436266B (en) | Image processing system, image processing method, method of training neural network, and recording medium for performing the method | |
| CN116152633A (en) | Detection method and system of target detection network based on spatial feature representation | |
| CN115861922A (en) | Sparse smoke and fire detection method and device, computer equipment and storage medium | |
| CN115731512A (en) | Light crowd positioning method under monitoring visual angle | |
| AU2020294259B2 (en) | Object association method, apparatus and system, electronic device, storage medium and computer program | |
| US11797854B2 (en) | Image processing device, image processing method and object recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |