KR20230003730A - Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone - Google Patents

Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone Download PDF

Info

Publication number
KR20230003730A
KR20230003730A KR1020210085106A KR20210085106A KR20230003730A KR 20230003730 A KR20230003730 A KR 20230003730A KR 1020210085106 A KR1020210085106 A KR 1020210085106A KR 20210085106 A KR20210085106 A KR 20210085106A KR 20230003730 A KR20230003730 A KR 20230003730A
Authority
KR
South Korea
Prior art keywords
crack
image
drone
external
unit
Prior art date
Application number
KR1020210085106A
Other languages
Korean (ko)
Inventor
이훈수
엄상원
오마트유세프
Original Assignee
주식회사 뷰메진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뷰메진 filed Critical 주식회사 뷰메진
Priority to KR1020210085106A priority Critical patent/KR20230003730A/en
Publication of KR20230003730A publication Critical patent/KR20230003730A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

The present invention relates to a method, a system and a non-transitory readable recording medium for inspecting an external crack of a structure by using a drone. In accordance with one embodiment of the present invention, the method for inspecting an external crack of a structure by using a drone, includes: an image acquisition step of acquiring an external image of a structure from an image captured by a camera mounted on a drone; an image piece creation step of creating a plurality of image pieces from the image acquired in the image acquisition step; a crack presence determination step of determining whether a crack is contained in each of the image pieces created in the image piece creation step; a crack area detection step of detecting a crack area from an image piece determined as one containing a crack in the crack presence determination step; and a crack area merging step of aligning the crack areas detected in the crack area detection step to merge the image pieces to represent the entire shape of the external crack of the structure. Therefore, the present invention is capable of easily and simply inspecting a crack on a structure which is not easy for a user to access.

Description

드론을 이용하여 구조물의 외부 균열을 검사하는 방법, 시스템 및 비일시성 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR INSPECTING EXTERNAL CRACKS IN STRUCTURES USING DRONE}Method, system and non-temporary readable recording medium for inspecting external cracks of structures using drones

본 발명은 구조물의 외부 균열을 검사하는 방법, 시스템 및 비일시성 판독 가능 기록 매체에 관한 것으로서, 보다 상세하게는 드론으로부터 획득한 영상을 이용하여 구조물의 외부에 발생되는 균열을 검사하는 방법, 시스템 및 비일시성 판독 가능 기록 매체에 관한 것이다. The present invention relates to a method, system, and non-transitory readable recording medium for inspecting external cracks of a structure, and more particularly, to a method, system, and It relates to a non-temporary readable recording medium.

구조물 외부 균열 상태를 파악하는 균열 검사는 구조물에 대한 검사에 있어서 가장 기초적이면서도 중요한 검사이다. 균열 검사를 통해 균열의 규모, 형태 및 진행 속도 등을 파악할 수 있으며, 이는 구조물의 구조적 건전성을 판단하는 핵심 지표로 활용되고 있다.Crack inspection, which identifies the external crack state of a structure, is the most basic and important inspection in the inspection of a structure. Through crack inspection, it is possible to determine the size, shape, and progress of cracks, which are used as key indicators for determining the structural integrity of a structure.

일반적으로 균열 검사는 검사 대상 구조물을 전문 기술자가 육안으로 관찰하여 균열의 발생 여부 및 형태 등을 파악하고, 균열 부위를 주기적으로 촬영하여 균열의 진행 속도를 추정하는 방식으로 수행된다.In general, crack inspection is performed by a professional technician visually observing a structure to be inspected to determine whether or not cracks have occurred and their shapes, and periodically photographing cracks to estimate the propagation speed of cracks.

하지만, 이러한 방식은 전문 기술자의 현장 답사 및 검사 대상 구조물에 대한 근거리 접근이 전제되어야 하기 때문에, 구조물이 장대하거나 대형 교각 등 근거리 접근이 어려운 경우 정확한 균열 검사에 한계가 있다. 또한, 구조물에 접근하기 위하여는 대규모의 인력 및 장비가 소요될 뿐만 아니라 그 과정에서 안전 사고의 위험이 있다. 또한, 균열 검사 과정에 측정자의 주관이 개입되기 때문에 객관성이 떨어져 미세한 균열에 대한 정확한 측정이 이루어지기 어려운 문제도 있다.However, since this method requires a site visit by a professional engineer and a short-distance approach to the structure to be inspected, there is a limit to accurate crack inspection when the structure is long or large piers, etc., where short-distance access is difficult. In addition, a large amount of manpower and equipment are required to access the structure, and there is a risk of a safety accident in the process. In addition, since the subjectivity of the measurer is involved in the crack inspection process, it is difficult to accurately measure fine cracks due to low objectivity.

이러한 문제를 보완하기 위해 최근에는 첨단 영상처리 장비를 이용해 구조물 표면의 균열을 관찰하는 방법이 사용되고 있으나, 이러한 첨단 영상처리 장비는 고가이고 운송 방법이 번거로우며 사용자의 숙련도에 따라 정확도가 달라지기 때문에 좀 더 간단하면서도 정확하고 효율적인 균열 검사 방법이 필요한 실정이다.In order to compensate for this problem, recently, a method of observing cracks on the surface of a structure using advanced image processing equipment has been used, but such advanced image processing equipment is expensive and cumbersome to transport, and its accuracy varies depending on the user's proficiency. There is a need for a simpler, more accurate and more efficient crack inspection method.

공개특허공보 제2003-0083359호(2003. 10. 30)Publication No. 2003-0083359 (2003. 10. 30)

본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 접근이 어려운 구조물의 외부 균열을 객관적으로 검사하는 방법 및 시스템을 제공하는 것에 그 목적이 있다. The present invention is to solve the problems of the prior art, and an object of the present invention is to provide a method and system for objectively inspecting external cracks of structures that are difficult to access.

또한, 본 발명은 구조물의 외부 균열을 정확하고 빠르게 검사하여 구조물의 상태를 파악할 수 있는 균열 검사 방법 및 시스템을 제공하는 것에 그 목적이 있다.In addition, an object of the present invention is to provide a crack inspection method and system capable of accurately and quickly inspecting external cracks of a structure to determine the state of the structure.

본 발명의 일 실시예에 따른 드론을 이용하여 구조물의 외부 균열을 검사하는 방법은 드론에 장착되는 카메라에 의해서 촬영되는 영상으로부터 구조물의 외부 이미지를 획득하는 이미지 획득 단계, 이미지 획득 단계에서 획득한 이미지로부터 복수의 이미지 조각을 생성하는 이미지 조각 생성 단계, 이미지 조각 생성 단계에서 생성된 각각의 이미지 조각을 대상으로 균열이 포함되어 있는지 여부를 판단하는 균열 유무 판단 단계, 균열 유무 판단 단계에서 균열이 포함된 것으로 판단된 이미지 조각에서 균열 영역을 검출하는 균열 영역 검출 단계 및 균열 영역 검출 단계에서 검출된 균열 영역을 정렬하여 구조물의 외부 균열의 전체 형태를 나타내도록 이미지 조각을 병합하는 균열 영역 병합 단계를 포함한다. A method for inspecting external cracks of a structure using a drone according to an embodiment of the present invention includes an image acquisition step of acquiring an external image of a structure from an image taken by a camera mounted on a drone, and an image acquired in the image acquisition step. An image fragment generation step of generating a plurality of image fragments from the image fragment generation step, a crack determination step of determining whether or not a crack is included in each image fragment generated in the image fragment generation step, and a crack included in the crack presence determination step. A crack region detection step of detecting crack regions in the image fragments determined to be a crack region and a crack region merging step of merging the image fragments to represent the overall shape of external cracks of the structure by aligning the crack regions detected in the crack region detection step. .

본 발명의 일 실시예에 따르면, 이미지 조각 생성 단계에서는, 일정한 폭과 높이를 가지는 직사각형 영역이 슬라이딩 되면서 중첩되는 복수의 이미지 조각을 생성할 수 있다.According to an embodiment of the present invention, in the image piece generating step, a plurality of overlapping image pieces may be created by sliding a rectangular area having a predetermined width and height.

본 발명의 일 실시예에 따르면, 균열 유무 판단 단계에서는 인공 신경망을 기반으로 복수의 이미지 조각을 균열이 포함된 이미지 조각과 균열이 포함되지 않은 이미지 조각으로 분류할 수 있다. According to an embodiment of the present invention, in the crack determination step, a plurality of image fragments may be classified into image fragments with cracks and image fragments without cracks based on an artificial neural network.

본 발명의 일 실시예에 따르면, 균열 영역 검출 단계는 인공 신경망을 기반으로 균열이 포함된 이미지 조각에 대하여 균열 영역의 분할 작업을 수행할 수 있다. According to an embodiment of the present invention, in the crack region detection step, a crack region segmentation operation may be performed on an image piece including a crack based on an artificial neural network.

본 발명의 일 실시예에 따르면, 균열 영역 검출 단계에서는 인공 신경망을 기반으로 균열이 포함된 이미지 조각에 대하여 균열 영역의 분할 작업을 수행할 수 있다. According to an embodiment of the present invention, in the crack region detection step, a crack region segmentation operation may be performed on an image piece including a crack based on an artificial neural network.

본 발명의 일 실시예에 따른 드론을 이용하여 구조물의 외부 균열을 검사하는 시스템은, 드론에 장착되는 카메라에 의해서 촬영되는 영상으로부터 구조물의 외부 이미지를 획득하는 이미지 획득부, 이미지 획득부에서 획득한 이미지로부터 복수의 이미지 조각을 생성하는 이미지 조각 생성부, 이미지 조각 생성부에서 생성된 각각의 이미지 조각에 균열이 포함되어 있는지 여부를 판단하는 균열 유무 판단부, 균열 유무 판단부에서 균열이 포함된 것으로 판단된 이미지 조각에 대하여 균열 영역을 검출하는 균열 영역 검출부 및 균열 영역 검출부에서 검출된 균열 영역을 정렬하여 구조물의 외부 균열의 전체 형태를 나타내도록 이미지 조각을 병합하는 균열 영역 병합부를 포함한다.A system for inspecting external cracks of a structure using a drone according to an embodiment of the present invention includes an image acquisition unit that acquires an external image of a structure from an image taken by a camera mounted on a drone, and an image acquisition unit obtained by the image acquisition unit. An image fragment generation unit that generates a plurality of image fragments from an image, a crack determination unit that determines whether each image fragment generated by the image fragment generation unit contains a crack, and a crack determination unit determines that a crack is included. A crack area detection unit detecting crack areas with respect to the determined image pieces and a crack area merging unit merging the image pieces so as to align the crack areas detected by the crack area detection unit to represent the overall shape of external cracks of the structure.

본 발명의 일 실시예에 따르면, 드론을 이용하여 구조물의 외관을 촬영한 영상을 분석함으로써, 사람이 접근하기 어려운 구조물에 대하여 쉽고 용이하게 균열 검사가 이루어질 수 있다.According to an embodiment of the present invention, crack inspection can be easily and easily performed on a structure that is difficult for humans to access by analyzing an image obtained by photographing the exterior of a structure using a drone.

또한, 인공 신경망을 기반으로 하는 이미지 분석을 통해 외부 균열을 검사함으로써, 정확성과 속도 측면에서 효과적으로 구조물의 외부에 발생되는 균열을 검사할 수 있다.In addition, by inspecting external cracks through image analysis based on an artificial neural network, it is possible to effectively inspect cracks occurring on the outside of a structure in terms of accuracy and speed.

도 1은 본 발명의 일 실시예에 따라 구조물의 외부 균열을 검사하기 위한 전체 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 구조물의 외부 균열 검사 시스템의 내부 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 구조물의 외부 균열 검사 방법을 순차적으로 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따라 구조물의 외부 균열 검사가 수행되는 모습을 예시적으로 나타내는 도면이다. 1 is a schematic diagram of an entire system for inspecting external cracks in a structure according to one embodiment of the present invention.
2 is a diagram schematically showing the internal configuration of the external crack inspection system of a structure according to an embodiment of the present invention.
3 is a flowchart sequentially illustrating a method for inspecting external cracks of a structure according to an embodiment of the present invention.
4 is a view illustratively showing how an external crack inspection of a structure is performed according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment of the present invention will be described in detail so that those skilled in the art can easily practice it.

본 발명을 명확하게 설명하기 위하여 본 발명과 관계없는 부분의 설명은 생략하였으며, 명세서 전체를 통하여 동일한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 사상 및 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있으며, 개별 구성요소의 위치 또는 배치도 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있는 것으로 이해되어야 한다.In order to clearly describe the present invention, descriptions of parts not related to the present invention are omitted, and the same reference numerals are given to the same components throughout the specification. In addition, specific shapes, structures, and characteristics described in the specification may be changed and implemented from one embodiment to another without departing from the spirit and scope of the present invention, and the location or arrangement of individual components may also be implemented without departing from the spirit and scope of the present invention. and can be changed without departing from its scope.

따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.Therefore, the detailed description to be described later is not performed in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims and all scopes equivalent thereto. Like reference numbers in the drawings indicate the same or similar elements throughout the various aspects.

전체 시스템full system

도 1은 본 발명의 일 실시예에 따라 구조물의 외부 균열을 검사하기 위한 전체 시스템을 개략적으로 나타내는 도면이다.1 is a schematic diagram of an entire system for inspecting external cracks in a structure according to one embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예 따르면, 구조물의 외부 균열 검사를 위한 전체 시스템은 드론(100), 구조물의 외부 균열 검사 시스템(200)(이하, '균열 검사 시스템'이라 함) 및 통신망(300)을 포함할 수 있다.As shown in FIG. 1, according to an embodiment of the present invention, the entire system for inspecting external cracks of a structure includes a drone 100 and a system for inspecting external cracks of a structure 200 (hereinafter referred to as 'crack inspection system'). ) and the communication network 300.

본 발명의 일 실시예에 따른 드론(100)은 사용자의 조작에 의해 비행하거나 자율 비행할 수 있는 무인항공기로, 카메라가 장착되어 비행 중 영상을 촬영할 수 있다. 드론(100)은 사람이 접근하기 어려운 높은 구조물 등에도 자유롭게 접근하여 구조물의 외관을 스캐닝할 수 있으며, 드론(100)을 이용하여 촬영된 영상은 후술하는 균열 검사 시스템(200)을 통해 구조물의 외부 균열을 검출하고 검사하는데 이용될 수 있다.The drone 100 according to an embodiment of the present invention is an unmanned aerial vehicle capable of flying or autonomously flying by a user's manipulation, and is equipped with a camera to capture images during flight. The drone 100 can scan the exterior of a structure by freely accessing even a tall structure that is difficult for people to access, and the image captured using the drone 100 is captured outside the structure through the crack inspection system 200 described later. It can be used to detect and inspect cracks.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)은 통신망(300)을 통해 드론(100)과 통신을 수행할 수 있으며, 드론(100)을 이용해 촬영되는 영상 데이터 등을 수신하여 분석, 처리하는 기능을 수행할 수 있다. 구체적으로, 균열 검사 시스템(200)은 드론(100)에 장착되는 카메라에 의해서 촬영되는 영상으로부터 구조물의 외관 이미지를 획득하고, 획득한 이미지를 복수의 작은 이미지 조각으로 나누어 균열의 유무에 따라서 이미지 조각을 분류하며, 균열이 포함된 이미지 조각을 대상으로 균열 영역을 검출하는 기능을 수행할 수 있다. 균열 검사 시스템의 구체적인 구성은 뒤에서 다시 설명하기로 한다.The crack inspection system 200 according to an embodiment of the present invention may communicate with the drone 100 through the communication network 300, and receive, analyze, and process image data captured using the drone 100. function can be performed. Specifically, the crack inspection system 200 acquires an external image of a structure from an image taken by a camera mounted on the drone 100, divides the acquired image into a plurality of small image pieces, and divides the image into pieces according to the presence or absence of cracks. , and can perform a function of detecting a crack area targeting an image fragment containing a crack. The specific configuration of the crack inspection system will be described later.

한편, 균열 검사 시스템(200)에 관하여는 위와 같이 설명하였으나, 이는 예시적인 것으로, 균열 검사 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 전술한 드론(100) 내에서 실현될 수도 있다.On the other hand, although the crack inspection system 200 has been described as above, this is exemplary, and at least some of the functions or components required for the crack inspection system 200 are realized within the above-described drone 100 as needed. It could be.

본 발명의 일 실시예에 따른 통신망(300)은 유선 통신이나 무선통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 예를 들면, 통신망(300)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE, Long Term Evolution) 통신, 5G 통신, 블루투스 통신(저전력 블루투스(BLE; Bluetooth Low Energy) 통신 포함), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(300)은 광 통신망으로서, 라이파이(LiFi, Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.The communication network 300 according to an embodiment of the present invention may be configured regardless of communication aspects such as wired communication or wireless communication, and may include a local area network (LAN), a metropolitan area network (MAN), It may be configured with various communication networks such as a wide area network (WAN). For example, the communication network 300 is a wireless data communication network, WiFi communication, WiFi-Direct communication, Long Term Evolution (LTE) communication, 5G communication, Bluetooth communication (low power Bluetooth (BLE) ; Bluetooth Low Energy) communication), infrared communication, ultrasonic communication, and the like may be implemented in at least a part thereof. For another example, the communication network 300 is an optical communication network, and may implement a conventional communication method such as LiFi (Light Fidelity) in at least a part thereof.

구조물의 외부 균열 검사 시스템External Crack Inspection System for Structures

도 2는 본 발명의 일 실시예에 따른 구조물의 외부 균열 검사 시스템의 내부 구성을 개략적으로 나타내는 도면으로, 이하에서는 도 2를 참조하여 균열 검사 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 상세히 설명한다.2 is a diagram schematically showing the internal configuration of an external crack inspection system for a structure according to an embodiment of the present invention. Hereinafter, with reference to FIG. 2, the internal configuration of the crack inspection system 200 and the functions of each component are described. explain in detail.

도 2를 참조하면, 본 발명의 일 실시예에 따른 균열 검사 시스템(200)은 이미지 획득부(210), 이미지 조각 생성부(220), 균열 유무 판단부(230), 균열 영역 검출부(240), 균열 영역 병합부(250), 데이터베이스부(260), 통신부(270) 및 제어부(280)를 포함하여 구성될 수 있다.Referring to FIG. 2 , the crack inspection system 200 according to an embodiment of the present invention includes an image acquisition unit 210, an image fragment generator 220, a crack determination unit 230, and a crack area detection unit 240. , It may be configured to include a crack region merging unit 250, a database unit 260, a communication unit 270, and a control unit 280.

본 발명의 일 실시예에 따르면, 이미지 획득부(210), 이미지 조각 생성부(220), 균열 유무 판단부(230), 균열 영역 검출부(240), 균열 영역 병합부(250), 데이터베이스부(260), 통신부(270) 및 제어부(280)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 균열 검사 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 균열 검사 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.According to an embodiment of the present invention, an image acquisition unit 210, an image fragment generation unit 220, a crack determination unit 230, a crack area detection unit 240, a crack area merging unit 250, a database unit ( 260), the communication unit 270, and the control unit 280, at least some of which may be program modules that communicate with an external system. These program modules may be included in the crack inspection system 200 in the form of operating systems, application modules, or other program modules, and may be physically stored in various known storage devices. Also, these program modules may be stored in a remote storage device capable of communicating with the crack inspection system 200 . Meanwhile, these program modules include routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but are not limited thereto.

한편, 균열 검사 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고 균열 검사 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하며, 앞서 설명한 바와 같이 균열 검사 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 드론(100) 내에서 실현되는 것도 가능하다.On the other hand, although the crack inspection system 200 has been described as above, this description is exemplary and at least some of the components or functions of the crack inspection system 200 are realized in an external system (not shown) or external as needed. It is obvious to those skilled in the art that it may be included in the system, and as described above, at least some of the components or functions of the crack inspection system 200 may be realized in the drone 100.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 이미지 획득부(210)는 드론(100)에 장착되는 카메라에 의해서 촬영되는 영상으로부터 이미지를 획득하는 기능을 수행한다. 드론(100)을 통해 촬영되는 영상은 동영상 또는 스틸 이미지일 수 있으며, 구조물의 외관, 예를 들어 빌딩, 교각, 댐, 도로 등의 외관이 포함될 수 있다. 또한, 구조물의 외부에 발생되는 미세 균열의 정확하고 정밀한 검사를 위해서 고해상도로 촬영된 영상일 수 있다.The image acquisition unit 210 of the crack inspection system 200 according to an embodiment of the present invention performs a function of obtaining an image from an image captured by a camera mounted on the drone 100. The video captured by the drone 100 may be a video or still image, and may include the appearance of a structure, for example, a building, a pier, a dam, or a road. In addition, it may be a high-resolution image for accurate and precise inspection of microcracks generated on the outside of a structure.

본 발명의 일 실시예에 따르면, 이미지 획득부(210)에서는 획득한 이미지에 대하여 에지 검출, 노이즈 제거, 영상 향상 등의 전처리 작업을 수행할 수 있다. 여기서, 에지는 균열과 배경 사이의 경계를 의미하며, 에지에서의 밝기 변화로 식별할 수 있다. 노이즈는 불필요한 정보 또는 원치 않는 신호값들을 의미하며, 예를 들어 빛에 의한 영향, 얼룩 등을 포함할 수 있다. 영상 향상은 대비나 경계 등의 특징을 강조하여 이미지를 변환시키는 작업을 의미한다. 전처리 작업이 수행된 이미지 데이터는 후술하는 이미지 조각 생성부(220)에 전달될 수 있다.According to an embodiment of the present invention, the image acquisition unit 210 may perform preprocessing tasks such as edge detection, noise removal, and image enhancement on the acquired image. Here, the edge means the boundary between the crack and the background, and can be identified by a change in brightness at the edge. Noise refers to unnecessary information or unwanted signal values, and may include, for example, effects of light and stains. Image enhancement refers to an operation of transforming an image by emphasizing features such as contrast or border. The image data on which the preprocessing operation has been performed may be transmitted to the image piece generator 220 to be described later.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 이미지 조각 생성부(220)는 슬라이딩 윈도우를 적용하여 이미지 획득부(210)에서 획득한 이미지로부터 복수의 이미지 조각을 생성하는 기능을 수행한다. 구체적으로, 이미지 획득부(210)에서 획득한 이미지에 일정한 폭과 높이를 가지는 직사각형 영역(윈도우)이 슬라이딩 되면서 직사각형 영역에 포함되는 영역을 잘라내는 방식으로 복수의 이미지 조각을 생성할 수 있다. 복수의 이미지 조각은 직사각형 영역의 움직임의 크기에 따라 중첩될 수 있으며, 직사각형 영역의 크기, 중첩되는 정도는 사전에 설정, 변경할 수 있다. The image fragment generator 220 of the crack inspection system 200 according to an embodiment of the present invention performs a function of generating a plurality of image fragments from the image acquired by the image acquisition unit 210 by applying a sliding window. . Specifically, a plurality of image pieces may be created by cutting out the area included in the rectangular area while sliding a rectangular area (window) having a certain width and height in the image acquired by the image acquiring unit 210 . A plurality of image pieces can be overlapped according to the movement size of the rectangular area, and the size and overlapping degree of the rectangular area can be set and changed in advance.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 균열 유무 판단부(230)는 각각의 이미지 조각에 균열이 포함되어 있는지 여부를 판단하는 기능을 수행한다. 구체적으로, 균열 유무 판단부(230)는 인공 신경망을 기반으로 복수의 이미지 조각 각각에 대하여 균열이 존재하는 여부를 판단하고, 균열이 포함된 이미지 조각과 균열이 포함되지 않은 이미지 조각으로 분류하는 작업을 수행할 수 있다. 균열 유무 판단부(230)에 의해서 균열이 포함된 것으로 분류된 이미지 조각은 균열 영역 검출부(240)에 전달될 수 있다.The crack presence determination unit 230 of the crack inspection system 200 according to an embodiment of the present invention performs a function of determining whether each image piece contains a crack. Specifically, the crack determination unit 230 determines whether a crack exists in each of a plurality of image fragments based on an artificial neural network, and classifies the image fragment into an image fragment containing a crack and an image fragment not including a crack. can be performed. The image pieces classified as having cracks by the crack determination unit 230 may be transmitted to the crack area detection unit 240 .

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 균열 영역 검출부(240)는 균열이 포함된 것으로 판단된 이미지 조각에서 균열 영역을 검출하는 기능을 수행할 수 있다. 구체적으로, 균열 영역 검출부(240)는 인공 신경망을 기반으로 입력 이미지(균열이 포함된 이미지 조각)를 픽셀 단위로 분석하고, 각각의 픽셀이 속하는 분류(예를 들어, 균열, 배경 등)에 대한 정보를 출력하는 방식으로 균열 영역의 분할 작업을 수행하고, 균열 영역을 검출할 수 있다.The crack area detection unit 240 of the crack inspection system 200 according to an embodiment of the present invention may perform a function of detecting a crack area in an image piece determined to contain a crack. Specifically, the crack area detection unit 240 analyzes an input image (an image fragment including a crack) in units of pixels based on an artificial neural network, and determines a classification (eg, crack, background, etc.) to which each pixel belongs. It is possible to divide cracked areas and detect cracked areas by outputting information.

본 발명의 일 실시예에 따르면, 균열 영역 검출부(240)에서 사용되는 인공 신경망은 예를 들어, 합성곱 신경망 알고리즘(Convolutional Neural Networks; CNN)일 수 있으나, 본 발명에서 사용될 수 있는 기술이 반드시 이에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있다.According to one embodiment of the present invention, the artificial neural network used in the crack area detection unit 240 may be, for example, Convolutional Neural Networks (CNN), but the technology that can be used in the present invention is essential for this. It is not limited and can be changed as much as possible within the scope of achieving the object of the present invention.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 균열 영역 병합부(250)는 검출된 균열 영역을 정렬하여 구조물의 외부 균열의 전체 형태를 나타내도록 이미지 조각을 병합하는 기능을 수행한다. 구체적으로, 기준 균열 영역을 중심으로 연결성과 동질성을 갖는 균열 영역 데이터를 탐색, 추적하고, 인접 균열 영역을 확장해 나가는 방식으로 균열 영역의 정렬 및 이미지 조각의 병합이 수행될 수 있으며, 이에 따라 실제 균열의 전체 형태를 파악할 수 있다. 이 때, 균열 영역 데이터의 탐색은 기준 균열 영역을 중심으로 상, 하, 좌, 우 직교 방향 및 좌상, 우상, 좌하, 우하 등 대각 방향으로 이루어질 수 있다.The crack region merging unit 250 of the crack inspection system 200 according to an embodiment of the present invention performs a function of merging image fragments to represent the overall shape of external cracks of a structure by aligning detected crack regions. Specifically, crack area alignment and merging of image fragments can be performed by searching and tracking crack area data having connectivity and homogeneity around the reference crack area, and expanding adjacent crack areas. The overall shape of the crack can be grasped. At this time, the search for crack area data may be performed in orthogonal directions such as up, down, left, and right, and in diagonal directions such as upper left, upper right, lower left, and lower right around the reference crack area.

이처럼, 고해상도의 큰 이미지를 복수의 작은 이미지 조각으로 나누고 각각의 이미지 조각에 대하여 균열 유무의 판단, 균열 영역의 검출 작업이 수행됨으로써, 균열 검사의 정확성을 향상시키면서 속도 측면에서 효율성이 증대하는 효과를 기대할 수 있다. In this way, a high-resolution large image is divided into a plurality of small image pieces, and the presence or absence of cracks and crack area detection are performed for each image piece, thereby improving the accuracy of crack inspection and increasing efficiency in terms of speed. can be expected

본 발명의 일 실시예에 따른 영상의 균열 검사 시스템(200)의 데이터베이스부(260)는 균열 검사 시스템(200)을 운영하는 데에 필요한 데이터를 저장하는 기능을 수행할 수 있다. 데이터베이스부(260)에 저장되는 데이터로는, 예를 들어 이미지 획득부(210)에 입력되는 영상, 이미지 조각 생성부(220)에서 생성되는 복수의 이미지 조각, 균열 유무 판단부(230)에서 분류된 균열을 포함하는 이미지 조각, 균열 영역 검출부(240)에서 분할된 균열 영역의 정보, 균열 영역 병합부(250)에서 병합되는 연결성을 갖는 인접 균열 영역에 관한 정보 등이 있을 수 있다.The database unit 260 of the image crack inspection system 200 according to an embodiment of the present invention may perform a function of storing data necessary for operating the crack inspection system 200 . Data stored in the database unit 260 includes, for example, an image input to the image acquisition unit 210, a plurality of image pieces generated by the image fragment generator 220, and classification by the crack determination unit 230. There may be image fragments including broken cracks, crack region information divided by the crack region detection unit 240, information on adjacent crack regions having connectivity merged by the crack region merging unit 250, and the like.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 통신부(270)는 이미지 획득부(210), 이미지 조각 생성부(220), 균열 유무 판단부(230), 균열 영역 검출부(240), 균열 영역 병합부(250) 및 데이터베이스부(260)로부터의/로의 데이터 송수신이 가능하도록 기능할 수 있다.The communication unit 270 of the crack inspection system 200 according to an embodiment of the present invention includes an image acquisition unit 210, an image fragment generation unit 220, a crack determination unit 230, a crack area detection unit 240, It may function to transmit/receive data from/to the crack region merging unit 250 and the database unit 260.

본 발명의 일 실시예에 따른 균열 검사 시스템(200)의 제어부(280)는 이미지 획득부(210), 이미지 조각 생성부(220), 균열 유무 판단부(230), 균열 영역 검출부(240), 균열 영역 병합부(250), 데이터베이스부(260) 및 통신부(270) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(280) 균열 검사 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 균열 검사 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이미지 획득부(210), 이미지 조각 생성부(220), 균열 유무 판단부(230), 균열 영역 검출부(240), 균열 영역 병합부(250), 데이터베이스부(260) 및 통신부(270)에서 각각 고유 기능을 수행하도록 제어할 수 있다.The controller 280 of the crack inspection system 200 according to an embodiment of the present invention includes an image acquisition unit 210, an image fragment generator 220, a crack determination unit 230, a crack area detection unit 240, A function of controlling the flow of data between the crack region merging unit 250, the database unit 260, and the communication unit 270 may be performed. That is, by controlling the data flow from/to the outside of the crack inspection system 200 by the control unit 280 according to the present invention or the data flow between each component of the crack inspection system 200, the image acquisition unit 210, the image Each of the fragment generator 220, the crack determination unit 230, the crack area detection unit 240, the crack area merging unit 250, the database unit 260, and the communication unit 270 can be controlled to perform unique functions. there is.

구조물의 외부 균열 검사 방법How to inspect external cracks in structures

도 3은 본 발명의 일 실시예에 따른 구조물의 외부 균열 검사 방법을 순차적으로 나타내는 순서도이고, 도 4는 본 발명의 일 실시예에 따라 구조물의 외부 균열 검사가 수행되는 모습을 예시적으로 나타내는 도면이다. 이하에서는 이를 참조하여 본 발명의 일 실시예에 따른 균열 검사 방법을 상세하게 설명한다. 3 is a flow chart sequentially illustrating a method for inspecting external cracks of a structure according to an embodiment of the present invention, and FIG. 4 is a view showing an example of external crack inspection of a structure according to an embodiment of the present invention. to be. Hereinafter, a crack inspection method according to an embodiment of the present invention will be described in detail with reference to this.

도 3을 참조하면, 본 발명의 일 실시예에 따른 구조물의 외부 균열 검사 방법은, 이미지 획득 단계(S110), 이미지 조각 생성 단계(S120), 균열 유무 판단 단계(S130), 균열 영역 검출 단계(S140) 및 균열 영역 병합 단계(S150)를 포함할 수 있다.Referring to FIG. 3 , the external crack inspection method of a structure according to an embodiment of the present invention includes an image acquisition step (S110), an image fragment generation step (S120), a crack determination step (S130), and a crack area detection step ( S140) and a crack region merging step (S150).

먼저, 균열 검사의 대상이 되는 구조물에 대한 이미지를 획득한다(S110). 이미지 획득 단계(S110)에서 획득하는 이미지는 드론(100)에 장착되는 카메라를 통해 구조물의 외부를 촬영한 영상으로부터 획득되는 이미지일 수 있으며, 이는 상술한 균열 검사 시스템(200)의 이미지 획득부(210)를 통해 수행될 수 있다. 이미지에는 구조물의 외관이 포함될 수 있으며, 획득된 이미지에서 에지 검출, 노이즈 제거, 영상 향상 등의 전처리 작업이 수행될 수 있다(도 4의 (a) 참조).First, an image of a structure to be inspected for cracks is acquired (S110). The image obtained in the image acquisition step (S110) may be an image obtained from an image taken of the outside of the structure through a camera mounted on the drone 100, which is an image acquisition unit of the above-described crack inspection system 200 ( 210) can be performed. The image may include the exterior of the structure, and preprocessing operations such as edge detection, noise removal, and image enhancement may be performed on the obtained image (see (a) of FIG. 4).

구조물의 외부 균열을 검출할 때 미세한 균열도 검사해야 하므로, 이미지 획득 단계(S110)에서 고해상도의 이미지를 얻어야 한다. 하지만, 고해상도의 큰 이미지에 대하여 균열을 검사하는 경우 속도 및 정확도 측면에서 불리하며, 이는 특히 후술하는 바와 같이 인공 신경망을 기반으로 균열 검사가 수행될 때 더욱 그러하다.When detecting external cracks in a structure, even minute cracks must be inspected, so a high-resolution image must be obtained in the image acquisition step (S110). However, it is disadvantageous in terms of speed and accuracy when inspecting cracks on a large image with high resolution, especially when crack inspection is performed based on an artificial neural network as will be described later.

이에 따라. 본 발명의 일 실시예에 따르면, 이미지 획득 단계(S110) 이후 획득한 이미지로부터 복수의 이미지 조각을 생성한다(S120). 구체적으로, 일정한 폭과 높이를 가지는 직사각형 영역이 슬라이딩 되면서, 직사각형 영역에 포함되는 영역을 잘라내는 방식으로 중첩되는 복수의 이미지 조각을 생성할 수 있다(도 4의 (b) 참조). 이는 상술한 균열 검사 시스템(200)의 이미지 조각 생성부(220)에서 수행될 수 있다.Accordingly. According to an embodiment of the present invention, a plurality of image pieces are generated from the acquired image after the image acquisition step (S110) (S120). Specifically, a plurality of overlapping image pieces may be created by cutting out the area included in the rectangular area while sliding a rectangular area having a certain width and height (see FIG. 4(b)). This may be performed in the image fragment generating unit 220 of the above-described crack inspection system 200.

다음으로, 이미지 조각 생성 단계(S120)에서 생성되는 각각의 이미지 조각을 대상으로 균열이 포함되어 있는지 여부를 판단한다(S130). 이러한 균열 유무 판단 단계(S130)는 인공 신경망을 기반으로 수행될 수 있으며, 복수의 이미지 조각을 균열이 포함된 이미지 조각과 균열이 포함되지 않은 이미지 조각으로 분류하는 작업이 수행될 수 있다(도 4의 (c) 참조).Next, it is determined whether or not cracks are included in each image fragment generated in the image fragment generation step (S120) (S130). This crack determination step (S130) may be performed based on an artificial neural network, and an operation of classifying a plurality of image fragments into image fragments containing cracks and image fragments without cracks may be performed (FIG. 4). see (c) of).

이어서, 균열 유무 판단 단계(S130)에서 균열이 포함된 것으로 판단된 이미지 조각에서 균열 영역을 검출한다(S140). 구체적으로, 균열 영역 검출 단계(S140)에서는 인공신경망을 기반으로 각각의 이미지 조각에 대하여 균열 영역의 분할을 수행함으로써, 개별 이미지 조각에서의 균열 영역을 검출할 수 있다(도 4의 (d) 참조). Next, in the crack determination step (S130), a crack region is detected in the image piece determined to contain the crack (S140). Specifically, in the crack area detection step (S140), crack areas in individual image pieces may be detected by segmenting the crack areas for each image piece based on an artificial neural network (see (d) in FIG. 4). ).

끝으로, 균열 영역 검출 단계(S140)에서 검출된 균열 영역을 정렬하여 균열의 전체 형태를 나타내도록 이미지 조각을 병합한다(S150). 균열 영역 병합 단계(S150)는 동질성과 연결성을 갖는 균열 영역 데이터를 탐색, 추적하고, 이를 포함하는 이미지 조각을 연결, 병합하는 방식으로 수행되며, 이는 상술한 균열 검사 시스템(200)의 균열 영역 병합부(250)에서 수행될 수 있다(도 4의 (e) 참조). Finally, the crack regions detected in the crack region detection step (S140) are aligned and image fragments are merged to represent the entire shape of the crack (S150). The crack area merging step (S150) is performed by searching for and tracking crack area data having homogeneity and connectivity, and connecting and merging image fragments including the crack area data, which is performed by merging the crack area of the crack inspection system 200 described above. It may be performed in unit 250 (see (e) of FIG. 4).

이처럼, 본 발명의 일 실시예에서는 구조물의 외관 이미지를, 예를 들어 드론을 통하여 획득하고, 획득한 이미지를 일정한 크기의 이미지 조각으로 나누어 각각의 이미지 조각에 대하여 인공 신경망을 기반으로 균열 검사를 수행함으로써, 균열 검사의 정확성을 향상시킬 수 있다. 특히, 고화질의 이미지를 작은 크기의 이미지 조각으로 나누어 균열 영역을 판단, 검출함으로써, 작업의 효율성을 높이는 효과를 기대할 수 있다. As such, in one embodiment of the present invention, an exterior image of a structure is acquired through, for example, a drone, and the obtained image is divided into image pieces of a certain size, and crack inspection is performed on each image piece based on an artificial neural network. By doing so, the accuracy of crack inspection can be improved. In particular, by dividing a high-resolution image into small-sized image pieces to determine and detect crack areas, the effect of increasing work efficiency can be expected.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. A computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler. A hardware device may be modified with one or more software modules to perform processing according to the present invention and vice versa.

이상 본 발명을 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예에 의해 설명하였으나, 상기 실시예는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.Although the present invention has been described above with specific details such as specific components and limited examples, the above examples are only provided to help a more general understanding of the present invention, and the present invention is not limited thereto, and the present invention is not limited thereto. Those skilled in the art can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 앞서 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments and should not be defined, and it can be said that not only the claims described below but also all modifications equivalent or equivalent to these claims belong to the scope of the spirit of the present invention. will be.

100: 드론
200: 균열 검사 시스템
210: 이미지 획득부
220: 이미지 조각 생성부
230: 균열 유무 판단부
240: 균열 영역 검출부
250: 균열 영역 병합부
260: 데이터베이스부
270: 통신부
280: 제어부
300: 통신망100: drone
200: crack inspection system
210: image acquisition unit
220: image fragment generating unit
230: crack determination unit
240: crack area detection unit
250: crack area merger
260: database unit
270: Ministry of Communications
280: control unit
300: communication network

Claims (6)

드론을 이용하여 구조물의 외부 균열을 검사하는 방법으로서,
드론에 장착되는 카메라에 의해서 촬영되는 영상으로부터 구조물의 외부 이미지를 획득하는 이미지 획득 단계,
상기 이미지 획득 단계에서 획득한 이미지로부터 복수의 이미지 조각을 생성하는 이미지 조각 생성 단계,
상기 이미지 조각 생성 단계에서 생성된 각각의 이미지 조각을 대상으로 균열이 포함되어 있는지 여부를 판단하는 균열 유무 판단 단계,
상기 균열 유무 판단 단계에서 균열이 포함된 것으로 판단된 이미지 조각에서 균열 영역을 검출하는 균열 영역 검출 단계 및
상기 균열 영역 검출 단계에서 검출된 균열 영역을 정렬하여 구조물의 외부 균열의 전체 형태를 나타내도록 이미지 조각을 병합하는 균열 영역 병합 단계를 포함하는
방법. As a method of inspecting external cracks of a structure using a drone,
An image acquisition step of obtaining an external image of a structure from an image taken by a camera mounted on a drone;
An image fragment generation step of generating a plurality of image fragments from the image obtained in the image acquisition step;
A crack presence determination step of determining whether a crack is included in each image fragment generated in the image fragment generation step;
A crack area detection step of detecting a crack area in an image piece determined to contain a crack in the crack presence determination step; and
A crack region merging step of merging image fragments to align the crack regions detected in the crack region detection step to represent the overall shape of the external crack of the structure
Way. 제1항에 있어서,
상기 이미지 조각 생성 단계에서는, 일정한 폭과 높이를 가지는 직사각형 영역이 슬라이딩 되면서 중첩되는 복수의 이미지 조각을 생성하는, 방법. According to claim 1,
In the image piece generating step, a plurality of overlapping image pieces are created by sliding a rectangular region having a constant width and height. 제1항에 있어서,
상기 균열 유무 판단 단계에서는 인공 신경망을 기반으로 상기 복수의 이미지 조각을 균열이 포함된 이미지 조각과 균열이 포함되지 않은 이미지 조각으로 분류하는,
방법. According to claim 1,
In the crack determination step, the plurality of image fragments are classified into image fragments containing cracks and image fragments without cracks based on an artificial neural network.
Way. 제3항에 있어서,
상기 균열 영역 검출 단계에서는 인공 신경망을 기반으로 상기 균열이 포함된 이미지 조각에 대하여 균열 영역의 분할 작업을 수행하는,
방법. According to claim 3,
In the crack region detection step, a crack region segmentation operation is performed on the image fragment including the crack based on an artificial neural network.
Way. 제1항 내지 제4항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.A non-temporary computer readable recording medium storing a computer program for executing the method according to claims 1 to 4. 드론을 이용하여 구조물의 외부 균열을 검사하는 시스템으로서,
드론에 장착되는 카메라에 의해서 촬영되는 영상으로부터 구조물의 외부 이미지를 획득하는 이미지 획득부,
상기 이미지 획득부에서 획득한 이미지로부터 복수의 이미지 조각을 생성하는 이미지 조각 생성부,
상기 이미지 조각 생성부에서 생성된 각각의 이미지 조각에 균열이 포함되어 있는지 여부를 판단하는 균열 유무 판단부,
상기 균열 유무 판단부에서 균열이 포함된 것으로 판단된 이미지 조각에 대하여 균열 영역을 검출하는 균열 영역 검출부 및
상기 균열 영역 검출부에서 검출된 균열 영역을 정렬하여 구조물의 외부 균열의 전체 형태를 나타내도록 이미지 조각을 병합하는 균열 영역 병합부를 포함하는
시스템.A system for inspecting external cracks of a structure using a drone,
An image acquisition unit that acquires an external image of a structure from an image taken by a camera mounted on a drone;
an image fragment generator for generating a plurality of image fragments from the images acquired by the image acquirer;
A crack presence/absence determination unit determining whether each image fragment generated by the image fragment generation unit contains a crack;
A crack area detection unit for detecting a crack area with respect to an image piece determined to contain a crack in the crack presence determination unit; and
A crack area merging unit for merging image fragments to align the crack areas detected by the crack area detection unit to indicate the overall shape of the external crack of the structure
system.
KR1020210085106A 2021-06-29 2021-06-29 Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone KR20230003730A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210085106A KR20230003730A (en) 2021-06-29 2021-06-29 Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210085106A KR20230003730A (en) 2021-06-29 2021-06-29 Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone

Publications (1)

Publication Number Publication Date
KR20230003730A true KR20230003730A (en) 2023-01-06

Family

ID=84924371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210085106A KR20230003730A (en) 2021-06-29 2021-06-29 Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone

Country Status (1)

Country Link
KR (1) KR20230003730A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102554018B1 (en) 2023-01-17 2023-07-11 주식회사 보다 Server for mediating between requester and performer of movie taken from drone and mediating method using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083359A (en) 2002-04-22 2003-10-30 (주)엠오아이 Method and Analysis Apparatus for Automatic Crack Recognition of Structure using Image Processing System

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083359A (en) 2002-04-22 2003-10-30 (주)엠오아이 Method and Analysis Apparatus for Automatic Crack Recognition of Structure using Image Processing System

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102554018B1 (en) 2023-01-17 2023-07-11 주식회사 보다 Server for mediating between requester and performer of movie taken from drone and mediating method using the same

Similar Documents

Publication Publication Date Title
Peng et al. A UAV-based machine vision method for bridge crack recognition and width quantification through hybrid feature learning
Jiang et al. Real‐time crack assessment using deep neural networks with wall‐climbing unmanned aerial system
US11893724B2 (en) Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
JP6764842B2 (en) Information processing equipment, information processing system, information processing method, and information processing program
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
Roberts et al. Detecting and classifying cranes using camera-equipped UAVs for monitoring crane-related safety hazards
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
Ersoz et al. Crack identification for rigid pavements using unmanned aerial vehicles
US11714024B2 (en) Vision-based fatigue crack detection using feature tracking
Xu et al. Bridge inspection using bridge information modeling (BrIM) and unmanned aerial system (UAS)
KR102346676B1 (en) Method for creating damage figure using the deep learning-based damage image classification of facility
KR102559586B1 (en) Structural appearance inspection system and method using artificial intelligence
Tayo et al. Portable crack width calculation of concrete road pavement using machine vision
KR20230003730A (en) Method, system and non-transitory computer-readable recording medium for inspecting external cracks in structures using drone
Liu et al. Framework for automated UAV-based inspection of external building façades
Guo et al. Surface defect detection of civil structures using images: Review from data perspective
Mukherjee et al. AI driven road maintenance inspection
KR20210053509A (en) Structure defect detecting system using drone
KR101800297B1 (en) Outside crack of concrete structures detection system utilizing flight
Kim et al. Real-time assessment of surface cracks in concrete structures using integrated deep neural networks with autonomous unmanned aerial vehicle
JP6516384B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM
Tilon et al. Infrastructure degradation and post-disaster damage detection using anomaly detecting generative adversarial networks
CN106530274B (en) A kind of localization method of girder steel crackle
Azhari et al. PointCrack3D: crack detection in unstructured environments using a 3D-point-cloud-based deep neural network
Kong et al. Toward the automatic detection of access holes in disaster rubble

Legal Events

Date Code Title Description
E601 Decision to refuse application