KR20200067072A

KR20200067072A - Facility defect inspection method and apparatus

Info

Publication number: KR20200067072A
Application number: KR1020180169543A
Authority: KR
Inventors: 백준기; 장진범; 김희광; 박종국; 신정철
Original assignee: 중앙대학교 산학협력단; 투아이시스(주)
Priority date: 2018-12-03
Filing date: 2018-12-26
Publication date: 2020-06-11
Also published as: KR102231356B1

Abstract

Disclosed are a facility defect inspection method and a device thereof. The facility defect inspection method comprises the steps of: (a) receiving two input video sets photographing a specific space including the same facility in the same section at different times; (b) matching the two input video sets; (c) inputting any one of the two matched input video sets into a classification model, and then applying a random forest to detect a detection target facility; and (d) detecting deformation of a region of the detected detection target facility with regard to two matched input videos to inspect a defect in the facility.

Description

시설물 결함 검측 방법 및 그 장치{Facility defect inspection method and apparatus}Facility defect inspection method and apparatus

본 발명은 시설물 결함 검측 방법 및 그 장치에 관한 것이다. The present invention relates to a facility defect detection method and apparatus.

영상처리는 컴퓨터의 처리 능력과 카메라 내 영상 센서의 집적 기술 향상과 더불어 발전되고 있으며, 다양한 산업 분야에서 활용되고 있다. 보안 및 감시 체계에서 영상처리는 객체 검출 및 추적 기술을 결합함으로써 오랫동안 사용되어 왔으며, 최근에는 전장 및 로봇 분야에서 컴퓨터 비전을 구현하기 위한 수단으로 활용되고 있다.Image processing has been developed with the improvement of computer processing power and the integration technology of image sensors in cameras, and is used in various industries. In security and surveillance systems, image processing has been used for a long time by combining object detection and tracking technologies, and recently it has been used as a means to implement computer vision in the field of battlefields and robots.

철도 분야에서의 시설물 유지보수를 위한 영상처리 기술은 인간이 발견하기 어려운 결함들을 검출 및 분석함으로써 신뢰성 및 안전성을 제공하는 것을 목적으로 한다. 다른 운송 수단과 달리 철도 분야는 선로 및 전기 공급 시설물 등에 의존하며, 운송 구간이 매우 길기 때문에 각종 시설물에 대한 유지보수 체계가 매우 중요하다.The image processing technology for the maintenance of facilities in the railway sector aims to provide reliability and safety by detecting and analyzing defects that are difficult to find by humans. Unlike other means of transportation, the railroad sector relies on tracks and electricity supply facilities, and because the transportation section is very long, maintenance systems for various facilities are very important.

최근 시설물의 효율적인 유지보수 및 점검을 위한 많은 연구들이 진행되고 있다. Zhang 등은 Line scan 카메라를 이용하여 촬영된 터널 영상으로부터 형태학적 기법과 기계학습 방법을 이용하여 터널 내부의 균열을 검측하는 시스템을 제안하였다. Rizvi 등은 두 카메라로부터 촬영된 영상으로부터 선로의 마모 유무를 검측하는 방법을 제안하였다. 유사하게, Tastimur 등은 차분 및 형태학적 기법 등의 영상처리 기술을 이용한 선로의 마모를 검측하는 방법에 대해 연구하였다. 국내에서도 도시철도의 안전 및 시설물의 효율적인 유지보수를 위한 많은 연구가 진행되고 있으나, 여전히 기존의 철도 시설물의 유지보수 체계는 대체로 인력에 의존하는 문제가 있다.Recently, many studies have been conducted for efficient maintenance and inspection of facilities. Zhang et al. proposed a system for detecting cracks in a tunnel using morphological techniques and machine learning methods from tunnel images taken using a line scan camera. Rizvi et al. proposed a method to detect the presence or absence of track wear from images taken from two cameras. Similarly, Tastimur et al. studied a method for detecting the wear of a track using image processing techniques such as differential and morphological techniques. In Korea, many studies have been conducted for the safety of urban railroads and efficient maintenance of facilities, but the maintenance system of existing railway facilities still has a problem that largely depends on manpower.

본 발명은 효율적인 철도 시설물 점검을 위한 영상처리 기반의 시설물 결함 검측 방법 및 그 장치를 제공하기 위한 것이다. The present invention is to provide an image processing-based facility defect detection method and apparatus for efficient railroad facility inspection.

또한, 본 발명은 도시 철도 차량 외부에 설치된 카메라 장비를 이용하여 촬영된 영상을 분석하여 시설물 변형을 검측함으로써 기술자의 효율적의 유지보수에 따른 사고 위험을 감소할 수 있는 시설물 결함 검측 방법 및 그 장치를 제공하기 위한 것이다. In addition, the present invention is a facility defect detection method and apparatus that can reduce the risk of accidents due to efficient maintenance of technicians by analyzing the captured image using camera equipment installed outside the city railroad vehicle to detect facility deformation. It is to provide.

본 발명의 일 측면에 따르면, 효율적인 철도 시설물 점검을 위한 영상처리 기반의 시설물 결함 검측 방법이 제공된다. According to an aspect of the present invention, a method for detecting a facility defect based on image processing for efficient railroad facility inspection is provided.

본 발명의 일 실시예에 따르면, (a) 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 단계; (b) 상기 두 입력 영상 셋을 정합하는 단계; (c) 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 단계; 및 (d) 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 단계를 포함하는 시설물 결함 검측 방법이 제공될 수 있다. According to an embodiment of the present invention, (a) receiving two sets of two input images of a specific space containing the same facility in the same section at different times; (b) matching the two input image sets; (c) inputting any one of the matched two input image sets into a classification model, and then applying a random forest to detect a detection target facility; And (d) detecting a defect of the facility by detecting a deformation of the detected area of the facility to be detected using the matched two input images.

상기 (b) 단계는, 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산하는 단계; 및 상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합하는 단계를 포함할 수 있다.The step (b) may include: calculating a phase correlation result of each pixel of the two input image sets; And deriving a maximum value of a phase correlation result between each pixel of the two input image sets as a displacement vector, and matching the two input images using the displacement vector.

상기 (c) 단계는, 상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 단계; 상기 추출된 특징 정보를 벡터화하는 단계; 및 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 단계를 포함할 수 있다.In the step (c), the feature information is extracted by applying a histogram of oriented gradient (HOG) algorithm to one of the two input images, respectively; Vectorizing the extracted feature information; And inputting the vectorized feature information into the classification model and applying a random forest algorithm to detect and classify the detection target facility.

상기 검출 대상 시설물을 검출 및 분류하는 단계 이전에, 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 단계를 더 포함할 수 있다.Before the step of detecting and classifying the facility to be detected, the method may further include learning the classification model by inputting the vectorized feature information into the classification model and applying a random forest algorithm.

상기 (d) 단계는, (d-1) 상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계; 및 (d-2) 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 단계를 포함할 수 있다. The step (d) may include: (d-1) matching the shape of the detected detection target facility between the two input images by deriving and matching key point feature points of the two input images; And (d-2) determining whether there is a defect using the result of the regional difference of the detection target facilities having the same shape between the two input images.

상기 (d-1) 단계는, 상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하는 단계; 및 상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계를 포함할 수 있다. The step (d-1) may include applying a SURF algorithm to the two input images to extract key point feature points, and matching key point feature points of the two extracted input images, respectively; And estimating a homography matrix using the matched pair of feature points, and then warping the input image captured at a previous time point from the two input images to determine the shape of the detected detection target facility between the two input images. And matching.

상기 (d-2) 단계는, 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출하는 단계; 및 상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단하는 단계를 포함할 수 있다.The step (d-2) may include deriving a sum of absolute difference (SAD) between facilities to be detected that have the same shape between the two input images; And if the minimum value of the derived SAD results is greater than or equal to a threshold, determining the defect of the facility to be detected.

본 발명의 다른 측면에 따르면, 효율적인 철도 시설물 점검을 위한 영상처리 기반의 시설물 결함 검측 장치가 제공된다.According to another aspect of the present invention, a facility defect detection device based on image processing for efficient railroad facility inspection is provided.

본 발명의 일 실시예에 따르면, 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 입력부; 상기 두 입력 영상 셋을 정합하는 정합부; 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 시설물 검출부; 및 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 결함 검측부를 포함하는 시설물 결함 검측 장치가 제공될 수 있다.According to an embodiment of the present invention, an input unit that receives two sets of input images photographing a specific space containing the same facility in the same section at different times; A matching unit that matches the two input image sets; A facility detection unit that detects a facility to be detected by applying a random forest after inputting one of the matched two input image sets into a classification model; And a defect detection unit configured to detect a defect in the facility by detecting a deformation of an area of the detected detection target facility, based on the matched two input images.

상기 정합부는, 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합할 수 있다.The matching unit calculates a phase correlation result of each pixel of the two input image sets, derives a maximum value of a phase correlation result between each pixel of the two input image sets as a displacement vector, and uses the displacement vector By doing so, the two input images can be matched.

상기 시설물 검출부는, 상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 특징 추출부; 상기 추출된 특징 정보를 벡터화하는 특징 재배열부; 및 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 분류기를 포함할 수 있다.The facility detection unit may include a feature extraction unit that extracts feature information by applying a histogram of oriented gradient (HOG) algorithm to either of the two input images; A feature rearranging unit that vectorizes the extracted feature information; And a classifier for detecting and classifying the facilities to be detected by applying a random forest algorithm after inputting the vectorized feature information into the classification model.

상기 시설물 검출부는, 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 학습부를 더 포함할 수 있다. The facility detection unit may further include a learning unit for inputting the vectorized feature information into the classification model and learning the classification model by applying a random forest algorithm.

상기 결함 검측부는, 상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 매칭부; 및 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 결함 분석부를 포함할 수 있다.The defect detection unit includes: a matching unit that derives and matches key point feature points of the two input images to match the shape of the detected detection target facility between the two input images; And it may include a defect analysis unit for determining whether or not the defect by using the regional difference results of the detection target facility with the same shape between the two input images.

상기 매칭부는, 상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하고, 상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시킬 수도 있다.The matching unit extracts key point feature points by applying a SURF algorithm to the two input images, matches key point feature points of the two extracted input images, and matches the matched pair of feature points. After estimating the homography matrix by using, it is also possible to match the shape of the detected detection target facility between the two input images by warping an input image captured at a previous time point among the two input images.

상기 결함 분석부는, 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출한 후 상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단할 수 있다. The defect analysis unit, after deriving a sum of absolute difference (SAD) between the detection target facilities having the same shape between the two input images, if the minimum value of the derived SAD results is greater than or equal to a threshold, it can be determined as a defect of the detection target facility. have.

본 발명의 일 실시예에 따른 시설물 결함 검측 방법 및 그 장치를 제공함으로써, 영상 처리에 기반하여 효율적인 철도 시설물 검측이 가능한 이점이 있다. By providing a method and an apparatus for detecting a facility defect according to an embodiment of the present invention, it is possible to efficiently detect a railroad facility based on image processing.

또한, 본 발명은 도시 철도 차량 외부에 설치된 카메라 장비를 이용하여 촬영된 영상을 분석하여 시설물 변형을 검측함으로써 기술자의 효율적의 유지보수에 따른 사고 위험을 감소할 수 있는 이점도 있다. In addition, the present invention also has the advantage of reducing the risk of accidents due to efficient maintenance of technicians by detecting the deformation of the facility by analyzing the captured image using the camera equipment installed outside the city rail car.

도 1은 본 발명의 일 실시예에 따른 시설물 결함 검측 장치의 내부 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 두 입력 영상을 정합한 결과를 도시한 도면.
도 3은 본 발명의 일 실시예에 다른 시설물 검출부의 세부 구성을 도시한 블록도.
도 4는 본 발명의 일 실시예에 따른 학습에 사용된 시설물 영상을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 학습된 분류기에 의해 검출된 시설물 결과를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 결함 검측부의 세부 구성을 나타낸 블록도.
도 7은 본 발명의 일 실시예에 따른 결함 검측 결과를 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 나타낸 순서도.1 is a block diagram schematically showing the internal configuration of a facility defect detection device according to an embodiment of the present invention.
2 is a diagram illustrating a result of matching two input images according to an embodiment of the present invention.
Figure 3 is a block diagram showing the detailed configuration of another facility detection unit according to an embodiment of the present invention.
4 is a diagram showing a facility image used for learning according to an embodiment of the present invention.
5 is a diagram showing facility results detected by a learned classifier according to an embodiment of the present invention.
6 is a block diagram showing the detailed configuration of a defect detection unit according to an embodiment of the present invention.
7 is a view showing a defect detection result according to an embodiment of the present invention.
8 is a flow chart showing a method for detecting defects in facilities according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, a singular expression includes a plural expression unless the context clearly indicates otherwise. In this specification, the terms "consisting of" or "comprising" should not be construed as including all of the various components, or various steps described in the specification, among which some components or some steps It may not be included, or it should be construed to further include additional components or steps. In addition, terms such as "... unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software. .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 시설물 결함 검측 장치의 내부 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 두 입력 영상을 정합한 결과를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 다른 시설물 검출부의 세부 구성을 도시한 블록도이며, 도 4는 본 발명의 일 실시예에 따른 학습에 사용된 시설물 영상을 나타내며, 도 5는 본 발명의 일 실시예에 따른 학습된 분류기에 의해 검출된 시설물 결과를 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 결함 검측부의 세부 구성을 나타낸 블록도이며, 도 7은 본 발명의 일 실시예에 따른 결함 검측 결과를 나타낸 도면이다. 1 is a block diagram schematically showing the internal configuration of a facility defect detection apparatus according to an embodiment of the present invention, and FIG. 2 is a view showing a result of matching two input images according to an embodiment of the present invention , FIG. 3 is a block diagram showing the detailed configuration of a facility detection unit according to an embodiment of the present invention, FIG. 4 shows a facility image used for learning according to an embodiment of the present invention, and FIG. 5 is a view of the present invention FIG. 6 is a block diagram showing the detailed configuration of a defect detection unit according to an embodiment of the present invention, and FIG. 7 is an embodiment of the present invention. It is a diagram showing the result of defect detection according to an example.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)는 입력부(110), 정합부(120), 시설물 검출부(130), 결함 검측부(140), 메모리(150) 및 프로세서(160)를 포함하여 구성된다. Referring to FIG. 1, the facility defect detection device 100 according to an embodiment of the present invention includes an input unit 110, a matching unit 120, a facility detection unit 130, a defect detection unit 140, and a memory 150 And a processor 160.

입력부(110)는 입력 영상 셋(set)을 입력받기 위한 수단이다. The input unit 110 is a means for receiving an input image set.

입력부(110)는 카메라에 의해 서로 다른 시간 또는 날짜에 도시 철도 터널과 같은 특정 공간을 촬영한 두 입력 영상 셋을 입력받는다. 여기서, 두 영상 셋은 동일한 구간에서 동일한 시설물이 순차적으로 촬영된 영상일 수 있다. The input unit 110 receives two sets of input images captured in a specific space, such as a city railroad tunnel, at different times or dates by a camera. Here, the two image sets may be images in which the same facilities are sequentially photographed in the same section.

예를 들어, 두 입력 영상 셋 중 제1 입력 영상은 제1 시점에 제1 구간에서 타겟 시설물이 포함된 특정 공간을 촬영한 영상이다. 또한, 두 입력 영상 셋 중 제2 입력 영상은 제2 시점에서 제1 구간에서 타겟 시설물이 포함된 특정 공간을 촬영한 영상일 수 있다. For example, the first input image of the two input image sets is an image of a specific space including a target facility in a first section at a first time point. In addition, the second input image of the two input images may be an image of a specific space including a target facility in a first section at a second time point.

본 발명의 일 실시예에서는 두 입력 영상 셋은 각기 다른 시점에 동일 시설물을 포함하는 특정 공간을 순차적으로 촬영한 영상일 수 있다. 보다 상세하게, 두 입력 영상 셋 중 어느 하나는 레퍼런스 영상으로, 영상에 포함된 시설물들에 결함이 발생되기 이전에 촬영된 영상일 수 있다.In one embodiment of the present invention, the two input image sets may be images sequentially photographing a specific space including the same facility at different times. More specifically, one of the two input image sets is a reference image, and may be an image captured before a defect is generated in facilities included in the image.

또한, 두 입력 영상 셋 중 다른 하나는 일정 시간이 경과한 후 시설물 유지 보수를 위한 결함 발생 여부를 확인하기 위해 레퍼런스 영상 촬영 이후에 촬영된 영상일 수 있다. Further, the other of the two input image sets may be an image captured after the reference image is taken to check whether a defect for facility maintenance occurs after a certain time has elapsed.

영상 정합부(120)는 두 입력 영상 셋을 정합하기 위한 수단이다. The image matching unit 120 is a means for matching two input image sets.

카메라 이동 속도 및 흔들림에 의해 동일한 구간에서 동일한 시설물을 포함하는 특정 공간을 촬영하더라도 두 입력 영상 셋 각각에 촬영된 시설물의 위치가 서로 다른 부정합 현상이 발생할 수 있다. Even if a specific space including the same facility is photographed in the same section due to camera movement speed and shaking, mismatches may occur in the locations of the facilities photographed in each of the two input image sets.

따라서, 영상 정합부(120)는 위상 상관(phase correlation)을 이용하여 두 입력 영상을 정합할 수 있다. Therefore, the image matching unit 120 may match the two input images using phase correlation.

예를 들어, 두 입력 영상을 각각

,

라고 할 때, 두 입력 영상의 위상 상관 결과(R)는 수학식 1과 같이 나타낼 수 있다. For example, each of the two input images

,

In this case, the phase correlation result (R) of the two input images may be expressed as Equation (1).

여기서,

는 푸리에 변환 함수이며,

는 요소간 곱셈을 나타내며,

는 켤레(conjugates) 신호를 나타낸다. here,

Is the Fourier transform function,

Denotes multiplication between elements,

Indicates a conjugates signal.

수학식 1에서 R은 각 화소에 대응하는 상관(correlation)의 반응을 나타내며, 반응이 가장 큰 화소가 두 영상의 이동 관계를 나타낸다. 따라서, 수학식 1에서 반응이 가장 큰 화소의 변위 벡터(

)가 계산될 수 있다. In Equation 1, R represents a response of correlation corresponding to each pixel, and a pixel having the largest response represents a moving relationship between two images. Therefore, in Equation 1, the displacement vector of the pixel with the largest response (

) Can be calculated.

이를 수학식으로 나타내면 수학식 2와 같다. This is expressed by Equation (2).

도 2는 영상 정합부(120)에 의해 촬영된 두 입력 영상을 정합한 결과를 도시한 도면이다. 2 is a view showing a result of matching two input images captured by the image matching unit 120.

도 2의 (a)는 각각 서로 다른 시점에 촬영된 입력 영상이며, 도 2의 (b)는 두 입력 영상을 정합한 결과이다. 도 2의 (a)에서 보여지는 바와 같이, 서로 다른 시점에 촬영된 입력 영상은 시설물의 위치가 서로 다른 부정합이 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)는 시설물 결함 검측을 위해 우선 두 입력 영상을 정합하는 과정을 우선 수행할 수 있다. 2(a) are input images photographed at different views, and FIG. 2(b) is a result of matching two input images. As shown in (a) of FIG. 2, mismatches may occur in input images photographed at different viewpoints at different locations of facilities. Therefore, the facility defect detection apparatus 100 according to an embodiment of the present invention may first perform a process of matching two input images for facility defect detection.

시설물 검출부(130)는 입력 영상에 포함된 시설물을 검출하기 위한 수단이다. The facility detection unit 130 is a means for detecting facilities included in the input image.

시설물 검출부(130)는 입력 영상에 포함된 시설물을 검출하고, 해당 검출된 시설물의 종류 및 위치를 파악할 수 있다. The facility detection unit 130 may detect facilities included in the input image and grasp the type and location of the detected facilities.

하기에서 설명되는 시설물 검출부(130)는 두 입력 영상 셋 중에서 레퍼런스 영상을 이용하여 시설물을 검출할 수도 있다. 또한, 레퍼런스 영상을 이용하여 시설물 검출이 완료된 이후에는 해당 과정은 생략될 수도 있음은 당연하다. The facility detection unit 130 described below may detect facilities by using a reference image among two input image sets. In addition, after the facility detection is completed using the reference image, it is natural that the process may be omitted.

도 3에는 시설물 검출부(130)의 세부 구성이 도시되어 있다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 시설물 검출부(130)는 특징 추출부(310), 특징 재배열부(320), 분류기(330) 및 학습부(340)를 포함하여 구성된다. 3, the detailed configuration of the facility detection unit 130 is shown. Referring to FIG. 3, the facility detection unit 130 according to an embodiment of the present invention includes a feature extraction unit 310, a feature rearrangement unit 320, a classifier 330, and a learning unit 340.

특징 추출부(310)는 입력 영상에서 검출 대상 객체(시설물)의 특징 정보를 추출하기 위한 수단이다. 여기서, 특징 추출부(310)는 HOG(histogram of oriented gradient) 알고리즘을 적용하여 입력 영상에서 검출 대상 시설물의 특징 정보를 각각 추출할 수 있다. The feature extraction unit 310 is a means for extracting feature information of an object (facilities) to be detected from an input image. Here, the feature extraction unit 310 may extract the feature information of the detection target facility from the input image by applying a histogram of oriented gradient (HOG) algorithm.

HOG 알고리즘 자체는 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다. 또한, 본 발명의 일 실시예에서는 특징 추출부(310)가 HOG 알고리즘을 이용하여 검출 대상 시설물의 특징 정보를 추출하는 것을 가정하고 있으나, 이외에도 영상에서의 객체의 특징 정보를 추출하는 다양한 공지된 알고리즘을 적용할 수도 있음은 당연하다. The HOG algorithm itself is obvious to those skilled in the art, so a separate description thereof will be omitted. In addition, in one embodiment of the present invention, it is assumed that the feature extraction unit 310 extracts feature information of a detection target facility using a HOG algorithm, but in addition, various known algorithms for extracting feature information of an object from an image It is natural that can be applied.

특징 재배열부(320)는 특징 추출부(310)에 의해 추출된 검출 대상 시설물의 특징 정보를 벡터화하기 위한 수단이다. The feature rearrangement unit 320 is a means for vectorizing feature information of a detection target facility extracted by the feature extraction unit 310.

예를 들어, 특징 재배열부(320)는 검출 대상 시설물의 특징 정보를 이용하여 기울기 방향(gradient orientation) 또는 기울기 크기(gradient magnitude)에 기초하여 히스토그램을 구한 후 각 히스토그램을 합하여 하나의 벡터로 만들 수 있다. For example, the feature rearrangement unit 320 may obtain a histogram based on a gradient orientation or gradient magnitude by using feature information of a detection target facility, and then sum each histogram into a single vector. have.

분류기(330)는 벡터화된 특징 정보를 이용하여 시설물을 검출하고 분류하기 위한 수단이다. The classifier 330 is a means for detecting and classifying facilities using vectorized feature information.

예를 들어, 분류기(330)는 분류 모델에 벡터화된 특징 정보를 입력한 후 랜덤 포레스트를 적용함으로써 다중 검출 대상 시설물을 검출 및 분류할 수 있다. For example, the classifier 330 may detect and classify multiple detection target facilities by inputting vectorized feature information to the classification model and applying a random forest.

또한, 분류기(330)는 랜덤 포레스트를 기반으로 다중 시설물을 검출함에 있어 두 입력 영상 셋을 모두 이용하지 않고, 어느 하나만을 이용할 수 있다. 객체 검출에 있어, 두 입력 영상을 모두 이용할 필요는 없으며, 특정 객체가 검출/분류되는 경우, 이후 과정에서 검출된 객체 영역(위치)를 기반으로 두 입력 영상에서 두 검출 대상 객체 영역(즉, 검출 대상 시설물 영역)간의 서로 다른 부분을 검출하여 결함 여부를 판단하도록 할 수 있다. In addition, the classifier 330 may use either one of the two sets of input images in detecting multiple facilities based on a random forest. In the object detection, it is not necessary to use both input images, and when a specific object is detected/classified, based on the object region (location) detected in the subsequent process, two detection target object regions (ie, detection) It is possible to determine whether there is a defect by detecting different parts between target facility areas).

본 발명의 일 실시예에서 분류기(330)가 랜덤 포레스트 알고리즘을 기반으로 다중 검출 대상 시설물을 검출하는 이유는 다중 객체 검출이 가능하고, 그에 따른 분류가 가능하기 때문이다. In one embodiment of the present invention, the reason that the classifier 330 detects a multi-detection facility based on a random forest algorithm is that multi-object detection is possible and classification accordingly.

또한, 랜덤 포레스트는 의사결정 트리를 개선한 비선형 학습 알고리즘으로, 여러 개의 의사 결정 트리를 학습하고, 객체 검출시 학습된 의사 결정 트리 중 결과가 가장 좋은 결과를 이용하여 다중 객체를 검출 및 분류할 수 있다. 이러한 랜덤 포레스트 알고리즘은 과적합 문제(overfitting problem), 탐욕 알고리즘(greedy algorithm)의 구조적 설계로 인한 학습 오차를 해결할 수 있는 이점이 있다. In addition, random forest is a non-linear learning algorithm that improves the decision tree. It can learn multiple decision trees and detect and classify multiple objects using the best result among the learned decision trees when detecting an object. have. The random forest algorithm has an advantage of solving the learning error due to the structural design of the overfitting problem and the greedy algorithm.

두 입력 영상은 영상 정합 과정을 통해 정합되었기 때문에, 두 입력 영상 중 하나의 입력 영상에 대해서만 랜덤 포레스트 알고리즘을 적용하여 검출 대상 시설물을 검출하는 과정을 수행할 수 있다. 분류기(330)를 통해 랜덤 포레스트에 의해 검출된 검출 대상 시설물 및 이에 대응하는 영역을 이에 상응하는 입력 영상 셋에 적용하여 두 입력 영상 전체 영역이 아니라 검출 대상 시설물 영역에 대해서면 결함 분석을 수행할 수 있는 이점이 있다. Since the two input images are matched through an image matching process, a process of detecting a target facility can be performed by applying a random forest algorithm to only one input image of the two input images. Through the classifier 330, the detection target facility detected by the random forest and the corresponding area can be applied to the corresponding set of input images to perform defect analysis on the detection target facility area rather than the entire two input image areas. There is an advantage.

이러한 랜덤 포레스트 알고리즘은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다. Since the random forest algorithm is obvious to those skilled in the art, a separate description thereof will be omitted.

또한, 분류기(330)는 중복된 검출 대상 시설물의 위치 및 종류를 제거할 수도 있다. 예를 들어, 분류기(330)는 non-maximum suppression을 기반으로 중복된 검출 대상 시설물의 위치 및 종류를 제거할 수 있다. In addition, the classifier 330 may remove the location and type of duplicated detection target facilities. For example, the classifier 330 may remove the location and type of duplicate detection target facilities based on non-maximum suppression.

학습부(340)는 분류기(330)를 학습하기 위한 수단이다. 학습부(340)는 랜덤 포레스트를 기반으로 분류기(330)를 학습할 수 있다. The learning unit 340 is a means for learning the classifier 330. The learning unit 340 may learn the classifier 330 based on the random forest.

도 4는 학습부에서 사용된 시설물 영상을 나타내며, 도 5는 본 발명의 일 실시예에 따른 학습된 분류기(330)에 의해 검출된 시설물 결과를 도시한 도면이다. 510은 절연체를 나타내며, 520은 지지금류(A1)을 나타내며, 530은 지지금류(A2)를 나타낸다. 또한, 실선은 검출 결과를 나타내며, 점선은 미검출된 시설물을 나타낸다. 4 shows a facility image used by the learning unit, and FIG. 5 is a view showing facility results detected by the learned classifier 330 according to an embodiment of the present invention. 510 represents an insulator, 520 represents a branch current (A1), and 530 represents a branch current (A2). In addition, the solid line indicates the detection result, and the dotted line indicates the undetected facility.

다시 도 1을 참조하면, 결함 검측부(140)는 두 입력 영상 중 검출된 검출 대상 시설물 영역에 대한 스테레오 매칭 기법에 기반하여 변형/결합 여부를 분석할 수 있다. Referring back to FIG. 1, the defect detection unit 140 may analyze deformation/combination based on a stereo matching technique for a detection target facility region among two input images.

도 6은 본 발명의 일 실시예에 따른 결함 검측부(140)의 세부 구성이 도시되어 있다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 결함 검측부(140)는 매칭부(610) 및 결함 분석부(620)를 포함하여 구성된다. 6 is a detailed configuration of the defect detection unit 140 according to an embodiment of the present invention. Referring to FIG. 6, the defect detection unit 140 according to an embodiment of the present invention includes a matching unit 610 and a defect analysis unit 620.

매칭부(610)는 두 입력 영상의 키 포인트(key point) 특징점을 도출한 후 매칭하여 두 입력 영상간 검출된 검출 대상 시설물의 모양을 일치시킨다. The matching unit 610 derives the key point feature points of the two input images and matches them to match the shape of the detection target facility between the two input images.

예를 들어, 본 발명의 일 실시예에 따른 매칭부(610)는 두 입력 영상의 결함을 분석하기 위해 스테레오 매칭 기법을 적용하여 두 입력 영상의 서로 다른 부분을 추출한다. 이를 위해, 매칭부(610)는 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출한 후 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭시킨다. 이어, 매칭부(610)는 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시킬 수 있다. For example, the matching unit 610 according to an embodiment of the present invention extracts different parts of two input images by applying a stereo matching technique to analyze defects in two input images. To this end, the matching unit 610 extracts key point feature points by applying a SURF algorithm to the two input images, and then matches key point feature points of the two extracted input images, respectively. Subsequently, the matching unit 610 estimates the homography matrix using the matched pair of feature points, and then warps the input image captured at a previous time point among the two input images and detects the detected between the two input images. You can match the shape of the target facility.

결함 분석부(620)는 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단한다. The defect analysis unit 620 determines whether there is a defect using the result of the regional difference of the detection target facilities having the same shape between the two input images.

예를 들어, 결함 분석부(620)는 두 입력 영상을 차분하여 폐색(occlusion) 후보 영역을 추출한 후 후보 영역으로부터 SAD(sum of absolute difference)를 계산한다. 이어, 결함 분석부(620)는 후보 영역의 SAD에 의해 측정된 밝기값 중 최소값이 임계치 이상인 경우 결함으로 판단한다. For example, the defect analysis unit 620 differentially extracts two input images, extracts an occlusion candidate region, and calculates a sum of absolute difference (SAD) from the candidate region. Subsequently, the defect analysis unit 620 determines that the minimum value among the brightness values measured by the SAD of the candidate region is greater than or equal to a threshold.

즉, 결함 분석부(620)는 매칭부(610)에 의해 완전히 일치된 두 검출 대상 시설물 영역으로부터 SAD를 기반으로 지역적 차분을 수행하여 두 검출 대상 시설물 영역 간의 차이를 분석할 수 있다. SAD에 의한 두 검출 대상 시설물 영역 간의 차이는 수학식 3과 같이 나타낼 수 있다. That is, the defect analysis unit 620 may analyze the difference between the two detection target facility regions by performing a regional difference based on the SAD from the two detection target facility regions completely matched by the matching unit 610. The difference between the two detection target facility areas by the SAD can be expressed as Equation 3.

여기서,

는 키 포인트 특징점 매칭을 통해 생성된 호모그래피 행렬에 의해 변환된 현재 시점의 입력 영상을 나타내며,

는 이전 시점의 입력 영상을 나타낸다. 결함 분석부(620)는 SAD 측정값이 일정한 임계치(T) 이상일 경우(

) 동일 시설물이 촬영된 두 시설물 영상내 결함으로 간주할 수 있다. here,

Denotes an input image of the current viewpoint converted by a homography matrix generated through key point feature point matching,

Indicates the input image from the previous viewpoint. When the SAD measurement value is equal to or greater than a certain threshold (T), the defect analysis unit 620 (

) It can be regarded as a defect in the image of two facilities where the same facility was photographed.

도 7은 본 발명의 일 실시예에 다른 결함 검측 결과를 나타낸 도면이다. 도 7의 (ㄱ)과 (ㄷ)은 각각 정상 영상을 나타내고, (ㄴ)과 (ㄹ)은 결함 모의 영상의 결함 검측 결과를 나타낸 것이다. 도 7에서 보여지는 바와 같이, 본 발명의 일 실시예에 따른 시설물 결함 검측 장치는 서로 다른 촬영 시점에서 발생하는 밝기 차이, 잡음, 전체 시설물의 모양 변형 등에 의해 다소 결함 검측 오차를 보이지만, 모의된 결함 부분을 정확하게 검측함을 확인할 수 있다.7 is a view showing a defect detection result according to an embodiment of the present invention. 7(a) and (c) show normal images, respectively, and (b) and (d) show defect detection results of the defect simulation image. As shown in FIG. 7, the facility defect detection device according to an embodiment of the present invention exhibits some defect detection errors due to differences in brightness, noise, and shape deformation of the entire facility, but simulated defects It can be confirmed that the part is accurately detected.

메모리(150)는 본 발명의 일 실시예에 따른 랜덤 포레스트 기반 다중 객체 검출 및 스테레오 매칭 기법을 이용한 시설물 결함 검측 방법을 수행하기 위해 필요한 프로그램 코드(명령어) 및 이 과정에서 파생되는 다양한 데이터를 저장한다. The memory 150 stores program codes (commands) required to perform a facility defect detection method using a random forest-based multi-object detection and stereo matching technique according to an embodiment of the present invention and various data derived from this process .

프로세서(160)는 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)의 내부 구성 요소들(예를 들어, 입력부(110), 정합부(120), 시설물 검출부(130), 결함 검측부(140), 메모리(150) 등)을 제어하기 위한 수단이다. The processor 160 includes internal components (for example, the input unit 110, the matching unit 120, the facility detection unit 130, and the defect detection unit) of the facility defect detection device 100 according to an embodiment of the present invention (140, memory 150, etc.).

도 8은 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 나타낸 순서도이다. 8 is a flowchart illustrating a method for detecting defects in facilities according to an embodiment of the present invention.

단계 810에서 시설물 결함 검측 장치(100)는 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는다. In step 810, the facility defect detection apparatus 100 receives two input image sets of a specific space including the same facility in the same section at different times.

단계 815에서 시설물 결함 검측 장치(100)는 두 입력 영상 셋을 정합한다. 예를 들어, 시설물 결함 검측 장치(100)는 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 변위 벡터를 이용하여 상기 두 입력 영상을 정합할 수 있다. In step 815, the facility defect detection apparatus 100 matches the two input image sets. For example, the facility defect detection apparatus 100 calculates a phase correlation result of each pixel of the two input image sets, and then derives a maximum value of a phase correlation result between each pixel of the two input image sets as a displacement vector Then, the two input images may be matched using a displacement vector.

단계 820에서 시설물 결함 검측 장치(100)는 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출한다. In step 820, the facility defect detection device 100 inputs one of the two matched input image sets into the classification model, and then applies a random forest to detect the facility to be detected.

예를 들어, 시설물 결함 검측 장치(100)는 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출한 후 이를 벡터화할 수 있다. 이어, 시설물 결함 검측 장치(100)는 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 다중 검출 대상 시설물을 검출 및 분류할 수 있다. For example, the facility defect detection device 100 may apply a histogram of oriented gradient (HOG) algorithm to any one of the two input images, extract feature information, and vectorize it. Subsequently, the facility defect detection device 100 may input and vectorize feature information into the classification model, and then apply a random forest algorithm to detect and classify multiple detection target facilities.

단계 825에서 시설물 결함 검측 장치(100)는 두 입력 영상 중 검출된 검출 대상 시설물 영역에 대한 스테레오 매칭 기법에 기반하여 변형/결합 여부를 분석한다. In step 825, the facility defect detection device 100 analyzes whether deformation/combination is performed based on a stereo matching technique for the detected target facility area among the two input images.

예를 들어, 시설물 결함 검측 장치(100)는 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 검출된 검출 대상 시설물의 모양을 일치시킬 수 있다. 이어, 시설물 결함 검측 장치(100)는 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단할 수 있다. For example, the facility defect detection device 100 may derive and match key point feature points of two input images to match the shape of the detected detection target facility between the two input images. Subsequently, the facility defect detection device 100 may determine whether the defect is based on a result of a regional difference of a detection target facility in which the shapes between two input images are matched.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The apparatus and method according to an embodiment of the present invention may be implemented in a form of program instructions that can be executed through various computer means, and may be recorded on a computer-readable medium. Computer-readable media may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for the present invention or may be known and usable by those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. Includes hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been focused on the embodiments. Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in terms of explanation, not limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range should be interpreted as being included in the present invention.

100: 시설물 결함 검측 장치
110: 입력부
120: 정합부
130: 시설물 검출부
140: 결함 검측부
150: 메모리
160: 프로세서100: facility defect detection device
110: input unit
120: registration
130: facility detection unit
140: defect detection unit
150: memory
160: processor

Claims

(a) 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 단계;
(b) 상기 두 입력 영상 셋을 정합하는 단계;
(c) 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 단계; 및
(d) 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 단계를 포함하는 시설물 결함 검측 방법.
(a) receiving two input image sets of a specific space containing the same facility in the same section at different times;
(b) matching the two input image sets;
(c) inputting any one of the matched two input image sets into a classification model, and then applying a random forest to detect a detection target facility; And
and (d) detecting a defect of the facility by detecting a deformation of the detected area of the facility to be detected using the matched two input images.

제1 항에 있어서,
상기 (b) 단계는,
두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산하는 단계; 및
상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합하는 단계를 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
According to claim 1,
Step (b) is,
Calculating a phase correlation result of each pixel of the two input image sets; And
And deriving a maximum value of a phase correlation result between each pixel of the two input image sets as a displacement vector, and matching the two input images using the displacement vector.

제1 항에 있어서,
상기 (c) 단계는,
상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 단계;
상기 추출된 특징 정보를 벡터화하는 단계; 및
상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 단계를 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
According to claim 1,
Step (c) is,
Extracting feature information from each of the two input images by applying a histogram of oriented gradient (HOG) algorithm;
Vectorizing the extracted feature information; And
And inputting the vectorized feature information into the classification model and applying a random forest algorithm to detect and classify the detection target facility.

제3 항에 있어서,
상기 검출 대상 시설물을 검출 및 분류하는 단계 이전에,
상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 단계를 더 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
According to claim 3,
Prior to the step of detecting and classifying the facility to be detected,
And inputting the vectorized feature information into the classification model, and then learning the classification model by applying a random forest algorithm.

제1 항에 있어서,
상기 (d) 단계는,
(d-1) 상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계; 및
(d-2) 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 단계를 포함하는 시설물 결함 검측 방법.
According to claim 1,
Step (d) is,
(d-1) deriving and matching key point feature points of the two input images to match the shape of the detected detection target facility between the two input images; And
(d-2) A facility defect detection method comprising determining whether there is a defect using a regional difference result of a detection target facility having a matched shape between the two input images.

제5 항에 있어서,
상기 (d-1) 단계는,
상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하는 단계; 및
상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계를 포함하는 시설물 결함 검측 방법.
The method of claim 5,
Step (d-1) is,
Extracting a key point feature point by applying a SURF algorithm to the two input images, and matching key point feature points of the two extracted input images, respectively; And
After estimating the homography matrix using the matched pair of feature points, the input image photographed at a previous time point among two input images is matched to match the shape of the detected detection target facility between the two input images. A method for detecting a defect in a facility, comprising the steps of making the defect.

제5 항에 있어서,
상기 (d-2) 단계는,
상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출하는 단계; 및
상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단하는 단계를 포함하는 시설물 결함 검측 방법.
The method of claim 5,
Step (d-2) is,
Deriving a sum of absolute difference (SAD) between the detection target facilities having a matched shape between the two input images; And
And if the minimum value of the derived SAD results is greater than or equal to a threshold, determining a defect of the facility to be detected.

제1 항 내지 제7 항 중 어느 하나의 항에 따른 방법을 수행하기 위해 필요한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
A computer-readable recording medium product that records the program code necessary to carry out the method according to claim 1.

서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 입력부;
상기 두 입력 영상 셋을 정합하는 정합부;
상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 시설물 검출부; 및
상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 결함 검측부를 포함하는 시설물 결함 검측 장치.
An input unit that receives two sets of input images photographing a specific space containing the same facilities in the same section at different times;
A matching unit that matches the two input image sets;
A facility detection unit that detects a facility to be detected by applying a random forest after inputting one of the matched two input image sets into a classification model; And
And a defect detection unit configured to detect a defect in the facility by detecting a deformation of an area of the detected detection facility using the matched two input images.

제9 항에 있어서,
상기 정합부는,
두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합하는 것을 특징으로 하는 시설물 결함 검측 장치.
The method of claim 9,
The matching portion,
After calculating the phase correlation result of each pixel of the two input image sets, the maximum value of the phase correlation result between each pixel of the two input image sets is derived as a displacement vector, and the two vectors are used by using the displacement vector Facility defect detection device characterized by matching the image.

제9 항에 있어서,
상기 시설물 검출부는,
상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 특징 추출부;
상기 추출된 특징 정보를 벡터화하는 특징 재배열부; 및
상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 분류기를 포함하는 것을 특징으로 하는 시설물 결함 검측 장치.
The method of claim 9,
The facility detection unit,
A feature extraction unit that extracts feature information by applying a histogram of oriented gradient (HOG) algorithm to any one of the two input images;
A feature rearranging unit that vectorizes the extracted feature information; And
And a classifier for detecting and classifying the facilities to be detected by applying a random forest algorithm after inputting the vectorized feature information into the classification model.

제11 항에 있어서,
상기 시설물 검출부는,
상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 학습부를 더 포함하는 시설물 결함 검측 장치.
The method of claim 11,
The facility detection unit,
A facility defect detection device further comprising a learning unit for learning the classification model by applying a random forest algorithm after inputting the vectorized feature information into the classification model.

제9 항에 있어서,
상기 결함 검측부는,
상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 매칭부; 및
상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 결함 분석부를 포함하는 것을 특징으로 하는 시설물 결함 검측 장치.
The method of claim 9,
The defect detection unit,
A matching unit that derives and matches key point feature points of the two input images to match the shape of the detected detection target facility between the two input images; And
And a defect analysis unit configured to determine whether a defect is defective by using a local difference result of a detection target facility having a shape matched between the two input images.

제13 항에 있어서,
상기 매칭부는,
상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하고, 상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 것을 특징으로 하는 시설물 결함 검측 장치.
The method of claim 13,
The matching unit,
A key point feature point is extracted by applying a SURF algorithm to the two input images, the key point feature points of the two extracted input images are matched, and homography is performed using the matched pair of feature points. After estimating the matrix, a facility defect detection device characterized by matching the shape of the detected detection target facility between the two input images by warping an input image taken at a previous time point among the two input images.

제13 항에 있어서,
상기 결함 분석부는,
상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출한 후 상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단하는 것을 특징으로 하는 시설물 결함 검측 장치.

The method of claim 13,
The defect analysis unit,
A facility defect characterized by determining a sum of absolute difference (SAD) between facilities to be detected in which the shapes between the two input images are matched, and determining that the minimum value of the derived SAD results is a defect of the facilities to be detected. Detection device.