KR101651999B1 - Apparatus and method for detecting pothole and crack - Google Patents

Apparatus and method for detecting pothole and crack Download PDF

Info

Publication number
KR101651999B1
KR101651999B1 KR1020150176949A KR20150176949A KR101651999B1 KR 101651999 B1 KR101651999 B1 KR 101651999B1 KR 1020150176949 A KR1020150176949 A KR 1020150176949A KR 20150176949 A KR20150176949 A KR 20150176949A KR 101651999 B1 KR101651999 B1 KR 101651999B1
Authority
KR
South Korea
Prior art keywords
motion
images
candidate region
image
crack
Prior art date
Application number
KR1020150176949A
Other languages
Korean (ko)
Inventor
류승기
조영태
김영로
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020150176949A priority Critical patent/KR101651999B1/en
Application granted granted Critical
Publication of KR101651999B1 publication Critical patent/KR101651999B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

According to the present invention, an apparatus for detecting a pothole and a crack comprises: an image extraction unit to extract two continuous arbitrary images from a video; a first analysis unit to select any one among the two extracted images and divide the selected image into binary images according to brightness information; a second analysis unit to select both of the two extracted images and divide the selected images into binary images according to motion information; and a determination unit to compare a pothole (or a crack) candidate area and a surrounding area according to feature point information extracted from the brightness information and the motion information to detect a pothole and a crack area. The second analysis unit performs an optical flow, high frequency filtering, standard deviation calculation, and regression analysis for the selected images to obtain binarized images. The present invention realizes the apparatus for detecting a pothole and a crack which uses the brightness information and the motion information to provide a driver with information about road danger elements in driving on a road in advance to prevent an impact and an accident imposed on the driver and a vehicle. Pothole and crack data are continuously accumulated to efficiently manage danger information of the road and increase efficiency of road management work.

Description

포트홀 및 크랙 검출 장치 및 방법 {APPARATUS AND METHOD FOR DETECTING POTHOLE AND CRACK}[0001] APPARATUS AND METHOD FOR DETECTING POTHOLE AND CRACK [0002]

본 발명은 포트홀 및 크랙 검출장치에 관한 것으로, 더욱 상세하게는 영상 정보를 이용한 포트홀 및 크랙 검출장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a porthole and crack detection apparatus, and more particularly, to a porthole and crack detection apparatus and method using image information.

포트홀(pothole)이란 아스팔트 또는 콘크리트 도로 포장시 표면에 생기는 국부적인 작은 구멍 또는 틈으로 노면홈이라고도 하며, 눈, 비, 온도, 차량 통행량 등 도로 기상과 차량 하중 그리고 포장 품질 등으로 포장층의 결합력이 약해져 발생한다. 크랙(crack)은 상기 포트홀(pothole)의 또 다른 형태로, 아스팔트 또는 콘크리트 도로가 갈라진 틈이나 부서진 형상을 의미한다. A pothole is also called a road groove by a small hole or gap formed on the surface when paving on an asphalt or concrete road. It is also called a road surface. The pothole is a bond strength of the pavement layer due to road weather, vehicle load, . The crack is another type of the pothole, which means cracks or broken shapes of the asphalt or concrete road.

포트홀(pothole)과 크랙(crack)은 기후 환경, 교통량, 차량 또는 도로포장 등의 특성에 따라 다양하게 발생되며, 특히 장마철 비가 내린 후에는 도로를 운행하는 차량에게 큰 위험요소가 되고 있다.Potholes and cracks occur in a variety of ways, depending on the climate, traffic volume, vehicle or road pavement characteristics, and are particularly dangerous for vehicles that run on the road after rainy rains have rained.

서울시의 경우, 연간 5만건 이상의 포트홀(pothole)과 크랙(crack)이 발생되는 것으로 조사됐고, 이로 인한 교통사고 또한 연간 3백여 건이 발생되는 것으로 나타났다.In Seoul, more than 50,000 potholes and cracks are reported annually, and the number of traffic accidents is estimated to reach 300,000 a year.

이렇게, 차량에 큰 위험요소가 되고 있는 포트홀(pothole)과 크랙(crack)을 검출하고 보수하기 위해서는, 이들을 도로에서 검출하여 분석할 수 있는 기술이 필요하다. 하루에도 수백 개소 이상 발생하는 포트홀 및 크랙을 신속하고 효과적으로 조사하는 과학적이고 자동화할 수 있는 방법이 필요하다. 또한, 조사한 포트홀 및 크랙의 데이터를 지속적으로 관리할 수 있는 방법이 필요하다. In order to detect and repair potholes and cracks, which are a major risk factor for a vehicle, it is necessary to develop a technique capable of detecting and analyzing them on a road. There is a need for a scientific and automated way to quickly and effectively investigate hundreds of pores and cracks per day. Also, there is a need for a method that can continuously manage the data of investigated portholes and cracks.

종래에는 레이저를 이용하거나 진동을 이용하여 도로의 포트홀을 검출하였으나, 이러한 종래 방법은 고비용과 검출의 부정확성, 그리고 검출에 많은 시간이 소요됨에 따라 효과적으로 포트홀을 검출하지 못하는 문제점이 있었다.Conventionally, a porthole of a road has been detected using a laser or a vibration. However, such a conventional method has a problem that it can not effectively detect a porthole because of high cost, inaccuracy of detection, and time required for detection.

따라서, 이들 포트홀과 크랙의 조사에 소요되는 비용을 최소화하고 신속한 조사를 수행하는 지능형 포트홀 검출 장치 및 방법이 필요하다.Therefore, there is a need for an intelligent porthole detection apparatus and method that minimizes the cost of investigating these portholes and cracks and performs rapid investigation.

본 발명의 목적은 명암과 움직임 정보를 이용하여, 포트홀과 크랙을 검출하는 지능형 포트홀 및 크랙 검출 장치 및 방법을 제공하는데 있다. It is an object of the present invention to provide an intelligent porthole and crack detection apparatus and method for detecting portholes and cracks using contrast and motion information.

본 발명의 부가적인 특성 및 이점들은 아래의 설명에 기재될 것이며, 부분적으로는 상기 설명에 의해 명백해지거나 본 발명의 실행을 통해 숙지 될 것이다. 본 발명의 목표 및 다른 이점들은 특히 아래 기재된 설명 및 부가된 도면뿐만 아니라 청구항에서 지적한 구조에 의해 구현될 것이다.Additional features and advantages of the invention will be set forth in the description which follows, and in part will be apparent from the description, or may be learned by practice of the invention. The objectives and other advantages of the present invention will be realized and attained by the structure particularly pointed out in the claims, as well as the following description and the annexed drawings.

본 발명은 동영상 정보에서 추출한 특징점들을 이용하여 적응적으로 포트홀 및 크랙을 검출할 수 있도록 하였다.The present invention can adaptively detect portholes and cracks using minutiae extracted from moving image information.

명암과 움직임 정보를 이용한 본 발명의 포트홀 및 크랙 검출장치는 운전자에게 도로 주행상의 노면 위험 요소들에 관한 정보를 미리 제공하여, 차량과 운전자에게 입히는 충격과 사고를 예방하고, 지속적으로 포트홀 및 크랙 데이터를 축적하여 도로의 위험정보를 보다 효과적으로 관리하고 도로관리 업무의 효율성을 높였다. The porthole and crack detection apparatus of the present invention using the contrast and motion information provides the driver with information on road surface risk factors in advance to prevent shocks and accidents to the vehicle and the driver, To more effectively manage the risk information on the roads and improve the efficiency of the road management work.

도1은 본 발명에 따른 포트홀 및 크랙 검출장치의 블록 구성도.
도2는 본 발명에 따른 제2분석부의 블록 구성도.
도3a는 포트홀 또는 크랙을 포함하는 영상 이미지의 예시도.
도3b는 포트홀 또는 크랙을 포함하지 않는 영상 이미지의 예시도.
도4는 본 발명에 따른 포트홀 및 크랙 검출방법의 동작 흐름도.1 is a block diagram of a porthole and crack detection apparatus according to the present invention;
2 is a block diagram of a second analysis unit according to the present invention;
Figure 3a is an illustration of an image image including a port hole or crack;
3B is an illustration of a video image that does not include a porthole or crack;
4 is a flow chart of the operation of the porthole and crack detection method according to the present invention.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 포트홀 및 크랙 검출장치는, According to an aspect of the present invention, there is provided a porthole and crack detection apparatus comprising:

동영상에서, 연속된 임의의 2개 이미지를 추출하는 이미지 추출부와, 상기 추출된 2개의 이미지 중 어느 하나를 선택하고 그 선택된 이미지를 명암정보에 따라 이진 영상으로 분할하는 제1분석부와, 상기 추출된 2개의 이미지를 모두 선택하고 그 선택된 이미지들을 움직임 정보에 따라 이진 영상으로 분할하는 제2분석부와, 명암과 움직임 정보에서 추출되는 특징점 정보에 따라 포트홀(또는 크랙) 후보 영역과 주변 영역을 비교하여 포트홀 및 크랙 영역 검출하는 판정부를 포함하여 구성되며, 상기 제2분석부는 상기 선택된 이미지들에 대해 옵티컬 플로우(Optical flow), 고역 필터링(Highpass filtering), 표준편차(Standard deviation) 산출, 회귀(Regression) 분석을 수행하여, 이진화(Binarization)된 영상을 구한다.A first analyzing unit for selecting one of the extracted two images and dividing the selected image into binary images according to the contrast information; A second analysis unit for selecting all of the extracted two images and dividing the selected images into binary images according to the motion information, and a second analyzing unit for selecting the porthole (or crack) candidate area and the surrounding area according to the minutia information extracted from the contrast and motion information. And a determination unit for detecting a port hole and a crack area by comparing the first image and the second image, wherein the second analysis unit performs an optical flow, a highpass filtering, a standard deviation calculation, Regression analysis is performed to obtain a binarized image.

바람직하게, 상기 제2분석부는 상기 선택된 이미지들간의 화소단위 움직임을 구하는 옵티컬 플로우와, 움직임의 변화가 있는 영역을 구분하는 고역 필터부와, 상기 구분된 영역의 움직임에 관한 표준편차를 구하는 표준편차 산출부와, 상기 표준편차 값을 회귀값으로 나누고, 소정의 이진화(Binarization) 방식에 따라 이진영상을 구하는 이진화부를 포함하여 구성되는 것을 특징으로 한다.Preferably, the second analyzing unit includes: a high-pass filter unit for dividing an optical flow for obtaining a pixel-by-pixel motion between the selected images and an area in which a motion is changed; a standard deviation calculating unit for obtaining a standard deviation And a binarizing unit for dividing the standard deviation value by a regression value and obtaining a binary image according to a predetermined binarization method.

이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

도1은 본 발명에 따른 포트홀 및 크랙 검출장치의 블록 구성도이다.1 is a block diagram of a porthole and crack detection apparatus according to the present invention.

도1에 도시된 바와 같이, 본 발명에 따른 포트홀 및 크랙 검출 장치는 이미지 추출부(100), 제1분석부(200), 제2분석부(300), 판정부(400)를 포함하여 구성된다.1, a porthole and crack detecting apparatus according to the present invention includes an image extracting unit 100, a first analyzing unit 200, a second analyzing unit 300, and a determining unit 400 do.

상기 이미지 추출부(100)는 동영상에서, 연속된 임의의 2개 이미지(예: #1, #2)를 추출한다. 이렇게 추출된 이미지(들)는 제1분석부(200)와 제2분석부(300)로 전달되는데, 제1분석부(200)의 경우 상기 추출된 2개의 이미지 중 선택적으로 어느 하나(예: #1 or #2)만 전달되며, 제2분석부(300)의 경우 상기 추출된 2개의 이미지(예: #1, #2) 모두 전달된다.The image extracting unit 100 extracts two consecutive arbitrary images (e.g., # 1 and # 2) from a moving image. The extracted image (s) are transferred to the first analyzing unit 200 and the second analyzing unit 300. In the case of the first analyzing unit 200, any one of the extracted two images (for example, # 1 or # 2). In the case of the second analyzing unit 300, all of the extracted two images (e.g., # 1 and # 2) are transmitted.

상기 제1분석부(200)는 상기 추출된 2개의 영상 이미지 중 시간적으로 앞선 이미지(예: #1)를 선택하고 그 선택된 영상을 명암정보에 따라 이진 영상으로 분할(Segmentation)한다. The first analysis unit 200 selects a temporally preceding image (e.g., # 1) of the extracted two image images and segments the selected image into binary images according to the contrast information.

상기 선택된 영상 이미지의 화소 최대값은 화소의 비트수에 따라 설정된다. 화소가 8비트일 경우, 255 픽셀로 설정된다. 그리고, 이진 영상의 화소 비트수는 1이고 2개의 픽셀 즉, 0 또는 1로 결정된다. 예를 들어, 8비트 화소의 원 이미지(예: #1, #2)가 이진화 절차를 거치면, 1비트 화소(예: '0' 또는 '1')의 픽셀값을 갖는 이진영상으로 변환된다.The pixel maximum value of the selected image is set according to the number of bits of the pixel. When the pixel is 8 bits, it is set to 255 pixels. Then, the number of pixel bits of the binary image is 1 and is determined as two pixels, that is, 0 or 1. For example, when an original image (for example, # 1, # 2) of an 8-bit pixel is subjected to a binarization procedure, it is converted into a binary image having a pixel value of 1 bit pixel (e.g., '0' or '1').

제1분석부(200)는 상기 선택된 영상 이미지(예: #1)의 히스토그램을 이용하여 원 영상(예: #1)의 이진영상을 생성하고, 생성된 이진영상을 경계가 있는 영역(예: 포트홀 영역 or 크랙 영역)과 주변 영역으로 분할한다. 이때 이진영상을 생성하기 위해, 제1분석부(200)는 히스토그램 임계(histogram shaped thresholding)방법, 오츠(Otsu)방법, 최대 엔트로피 (maximum entropy)방법 등을 이용할 수 있다. The first analysis unit 200 generates a binary image of an original image (e.g., # 1) using the histogram of the selected image image (e.g., # 1) Porthole area or crack area) and the surrounding area. In order to generate the binary image, the first analysis unit 200 may use a histogram shaped thresholding method, an Otsu method, a maximum entropy method, or the like.

상기 히스토그램 임계방법은 영상 안에서 픽셀들에 대한 명암 값의 분포를 나타낸 것으로, 밝은 점과 어두운 점의 분포 범위와 그 값을 표현한다. 히스토그램 임계방법은 특정정보 추출시 영상의 특징을 나눌 때 기준으로 잡는 임계값(또는 경계값)을 이용하여 물체와 배경을 분리화하고, 일정한 농도 값 이상의 픽셀들만 추출하여 영상의 전체적인 정보를 검정색과 흰색 2개의 값으로만 표현하는 기법이다.The histogram threshold method shows the distribution of light and dark values for pixels in the image, and expresses the distribution range of light points and dark points and their values. The histogram threshold method separates an object and a background by using a threshold (or a boundary value) as a reference when dividing the feature of an image in extracting specific information, extracts only pixels having a predetermined density value or more, It is a technique that expresses only two values in white.

상기 오츠 방법은 영상의 히스토그램 형태가 쌍봉형(bimodal)이라고 가정하였을 때, 계곡점(valley)을 찾아서 그 점을 임계값으로 설정하는 것을 말한다. The Otsu method refers to finding a valley and setting the point to a threshold value when the histogram form of the image is assumed to be bimodal.

상기 오츠 방법의 경우 어떤 집합을 두 클래스로 나눌 때, 상대적으로 몰려 있는 부분들은 같은 클래스로 분류될 수 있다. 오츠 방법은 또한, 통계학적인 방법을 제시하고 있다. 오츠 방법에서 전체 분산은 클래스 내 분산(within-class variance)와 클래스 간 분산(between-class variance)의 합으로 나타낼 수 있다.In the case of the Otsu method, when a certain set is divided into two classes, relatively crowded parts can be classified into the same class. The Oats method also provides a statistical method. In the Otsu method, total variance can be expressed as the sum of within-class variance and between-class variance.

상기 최대 엔트로피 방법은 이종의 정보를 분류하기 위한 일종의 프레임 웍(framework)이다. 일반적으로 미리 정의된 제한조건을 만족하고 그 이외의 값은 동일하게 하는 확률 모델을 의미한다. The maximum entropy method is a kind of framework for classifying heterogeneous information. Generally, it means a probability model that satisfies a predefined constraint and other values are equal.

최대 엔트로피를 구하기 위해서는 우선 자질을 선택해야 하고, 다음으로 가중치 변수의 값을 추정해야 한다. 상기 자질선택의 절차에서, 문서분류는 일반적으로 0과 1의 값을 출력하는 이진 함수로 표현할 수 있다. 자질함수는 어떤 문서가 어떤 클래스에 속하는지 또는 속하지 않는지를 0과 1의 값으로 표현한다.To find the maximum entropy, we first have to select the qualities, then we have to estimate the value of the weight variable. In the qualification selection procedure, the document classification can be represented by a binary function that generally outputs a value of 0 and 1. The qualification function expresses whether a document belongs to which class or not, with values of 0 and 1.

도3a의 (b)와 도3b의 (b)에 도시된 바와 같이, 상기 제1분석부(200)는 상기 선택된 영상을 이진영상으로 변환하기 위해서 하기 [수학식 1]로서 이진 영상의 화소값을 산출할 수 있다.As shown in FIGS. 3A and 3B, the first analysis unit 200 may convert the selected image into a binary image using Equation (1) Can be calculated.

[수학식 1][Equation 1]

Figure 112015121573616-pat00001
Figure 112015121573616-pat00001

여기서, 상기 Si,j 는 이진 영상의 화소값을 의미하며, 상기 Ii,j는 상기 선택된 영상을 의미하고, Th는 이진 영상을 위하여 사용하는 히스토그램의 임계값을 의미한다.Here, the S i, j Denotes a pixel value of the binary image, I i, j denotes the selected image, and T h denotes a threshold value of the histogram used for the binary image.

도3a의 (a)와 (b)는 상기 제1분석부(200)에서 포트홀 영상을 촬영한 원 영상을 이진 영상으로 변환하여 나타낸 것이고, 도3b의 (a)와 (b)는 상기 제1분석부(200)에서 포트홀이 아닌 그림자 영상을 촬영한 원 영상을 이진 영상으로 변환하여 나타낸 것이다.3A and 3B illustrate an original image obtained by capturing a porthole image in the first analysis unit 200 and converting the original image into a binary image. An original image obtained by capturing a shadow image other than a porthole in the analysis unit 200 is converted into a binary image.

상기 제2분석부(300)는 상기 추출된 2개의 이미지(예: #1, #2)를 모두 선택하고 그 선택된 이미지들을 움직임 정보에 따라 이진 영상으로 분할한다. The second analyzing unit 300 selects all of the extracted two images (e.g., # 1 and # 2) and divides the selected images into binary images according to the motion information.

제2분석부(300)는 상기 선택된 이미지들(예: #1, #2)에 대해 옵티컬 플로우(Optical flow), 고역 필터링(Highpass filtering), 표준편차(Standard deviation) 산출, 회귀(Regression) 분석을 수행하여, 도3a의 (c) 혹은 도3b의 (c)에 도시된 바와 같이, 이진화 (Binarization)된 영상을 얻는다.The second analyzing unit 300 performs an optical flow, highpass filtering, standard deviation calculation, and regression analysis on the selected images (e.g., # 1 and # 2) Thereby obtaining a binarized image, as shown in FIG. 3A or FIG. 3B (c).

이진화(Binarization)된 영상을 얻기 위해, 제2분석부(300)는 먼저, 옵티컬 플로우(optical flow) 방법을 이용하여 상기 선택된 이미지들에서 화소 단위의 움직임을 구한다. 그리고, 움직임의 변화가 있는 영역을 구분하기 위하여 고역 필터링(high pass filtering)을 한 후 표준편차(standard deviation) 값을 얻는다.In order to obtain a binarized image, the second analyzing unit 300 first obtains a pixel-by-pixel motion in the selected images by using an optical flow method. Then, high pass filtering is performed to distinguish the regions where the motion is changed, and a standard deviation value is obtained.

이때, 제2분석부(300)는 도로의 촬영각도에 따른 움직임의 크기가 다름을 조정하기 위하여 회귀분석(regression) 방법을 사용한다. 표준편차 값을 회귀(regression)값으로 나누어 얻은 값을 수정된 히스토그램 임계(modified histogram shaped thresholding)방법, 오츠(Otsu)방법, 최대 엔트로피(maximum entropy)방법 등을 이용하여 하기 [수학식 2]로서 이진 영상의 화소값을 산출할 수 있다.At this time, the second analyzing unit 300 uses a regression method to adjust the magnitude of movement according to the photographing angle of the road. The value obtained by dividing the standard deviation value by the regression value is calculated using the modified histogram shaped thresholding method, the Otsu method, the maximum entropy method, The pixel value of the binary image can be calculated.

[수학식 2]&Quot; (2) "

Figure 112015121573616-pat00002
Figure 112015121573616-pat00002

여기서, 상기

Figure 112015121573616-pat00003
는 분할된 움직임 이진영상의 화소값을 의미하며, 상기
Figure 112015121573616-pat00004
는 움직임 표준편차 결과를 상기 회귀(regression)값으로 나누어 얻은 영상을 의미하고, 상기
Figure 112015121573616-pat00005
은 이진영상을 위하여 사용하는 히스토그램 임계값을 의미한다. Here,
Figure 112015121573616-pat00003
Denotes a pixel value on a divided motion binary image,
Figure 112015121573616-pat00004
Means an image obtained by dividing a motion standard deviation result by the regression value,
Figure 112015121573616-pat00005
Means a histogram threshold used for binary images.

이후, 제2분석부(300)는 상기 생성된 이진 영상에 미디언 필터링과 형태학 연산 등을 수행하여, 이진 영상의 잡음을 제거(noise filtering)하고 영역 윤곽의 손상된 부분을 복원하고 윤곽을 훼손하는 조각 부분을 제거한다.Then, the second analyzing unit 300 performs median filtering and morphological operations on the generated binary image, noise filtering the binary image, restoring the damaged part of the area contour, and deleting the contour Remove the piece.

제2분석부(300)는 하기 [수학식 3]에 따라 미디언 필터링으로 상기 이진영상의 잡음을 제거(noise filtering)한다. 미디언 필터(또는 중간값 필터)는 비선형 디지털 필터 기술로, 이미지나 기타 신호로부터 잡음을 제거하는데 이용된다. The second analyzer 300 performs noise filtering on the binary image by median filtering according to Equation (3) below. A median filter (or median filter) is a nonlinear digital filter technique used to remove noise from an image or other signal.

[수학식 3]&Quot; (3) "

Figure 112015121573616-pat00006
Figure 112015121573616-pat00006

제2분석부(300)는 또한, 하기 [수식 4]와 같이 형태학 연산의 닫기(closing)연산을 이용하여 영역 윤곽의 손상된 부분을 복원하고, 윤곽을 훼손하는 조각 부분을 제거한다. The second analysis unit 300 also restores the damaged portion of the area contour by using the closing operation of the morphological operation as shown in Equation 4 below, and removes the piece portion that damages the contour.

[수학식 4]&Quot; (4) "

Figure 112015121573616-pat00007
Figure 112015121573616-pat00007

여기서, 상기 SE는 구조요소(structure element)를 의미하며, 상기 '·'는 닫기연산을 의미한다.Here, SE denotes a structure element, and '·' denotes a close operation.

상기 판정부(400)는 명암과 움직임 정보에서 추출되는 특징점 정보에 따라 포트홀(또는 크랙) 후보 영역과 주변 영역을 비교하여 포트홀 및 크랙 영역 검출한다.The determination unit 400 compares a porthole (or crack) candidate region with a peripheral region according to minutia information extracted from the contrast and motion information to detect a porthole and a crack region.

판정부(400)는 상기 선택된 영상 이미지(예: #1, #2)에서 명암정보와 움직임 정보 기반의 이진 영상들을 구하고, 명암정보에서 구한 특징점들과 움직임 정보에서 구한 특징점들을 이용하여 상기 이진 영상들을 비교하는 것으로 포트홀 또는 크랙 영역의 검출 여부를 판정한다.The determining unit 400 obtains the binary images based on the contrast information and the motion information in the selected image images (e.g., # 1 and # 2), and determines the binary images using the minutiae points obtained from the minutiae points and the motion information, To determine whether or not the port hole or the crack area is detected.

판정부(400)는 포트홀(및 크랙) 여부 판단을 위해, 영역의 크기, 영역간 포함 개수와 같은 특징점들을 사용한다. 특히 본 발명은 명암정보에서 구한 특징점들을 움직임 정보에서 구한 특징점들과 함께 사용함으로써, 기존 방법들이 포트홀(및 크랙)을 그림자, 얼룩, 패치 등과 구분하지 못했던 문제점을 해결할 수 있을 것으로 기대한다. The determining unit 400 uses feature points such as the size of the area and the number of the areas included in the area to determine whether or not the pattern is a porthole (and crack). Particularly, the present invention is expected to solve the problem that existing methods can not distinguish the portholes (and cracks) from shadows, smudges, patches and the like by using the feature points obtained from the lightness information together with the feature points obtained from the motion information.

상기 제2분석부(300)에서 수행되는 움직임 정보를 이용한 방법은 상기 선택된 두 영상의 화소간 움직임을 측정하여 포트홀(혹은 크랙)과 같이 주변 영역에 비하여 움직임의 변화가 있는 영역을 감지하는 것이다. 그림자나 얼룩의 경우, 명암 차는 많이 있을 수 있지만 움직임의 변화는 거의 없다. The method using the motion information performed by the second analyzing unit 300 measures a motion between pixels of the selected two images to detect a region having a motion change as compared with a surrounding region such as a porthole (or crack). In the case of shadows or speckles, there may be many differences in contrast, but there is little change in motion.

판정부(400)는 명암에서 얻은 후보 영역의 크기와 상기 명암 후보 영역이 움직임 후보 영역에 포함되는 갯수를 이용하여 하기 [수학식 5]에 따라 검출 결과를 얻는다.The determining unit 400 obtains the detection result according to Equation (5) using the size of the candidate region obtained from light and dark and the number of the light and dark candidate regions included in the motion candidate region.

[수학식 5]&Quot; (5) "

Figure 112015121573616-pat00008
Figure 112015121573616-pat00008

여기서, 상기 D는 명암 후보 영역에서 검출된 결과를 의미하고, 상기 C는 후보 영역의 화소 수를 의미하고, 상기 Tr은 검출하고자 하는 영역의 크기에 대한 임계치를 나타내고, 상기 C'는 움직임 후보 영역에 포함된 명암 후보 영역의 화소 수를 의미하고, 상기 T'r은 명암 후보 영역 화소의 전체 크기에 대한 움직임 후보 영역에 포함되어 있는 명암 후보 화소에 대한 비율의 임계치를 나타낸다.Here, D denotes a result detected in the lightness candidate region, C denotes the number of pixels in the candidate region, Tr denotes a threshold value for the size of the region to be detected, and C 'denotes a motion candidate region And T'r represents a threshold value of a ratio of a brightness candidate region pixel included in a motion candidate region to a total brightness candidate region pixel.

판정부(400)는, 후보 영역의 화소 수(C)가 상기 상기 임계치 Tr보다 크고, 그리고 상기 움직임 후보 영역에 포함된 명암 후보 영역의 화소 수(C')를 상기 후보 영역의 화소 수(C)로 나눈 값이 상기 임계치 T'r보다 큰 경우, 상기 명암 후보 영역에서 검출된 결과 값(D)에 '1'을 할당한다.The determining unit 400 determines whether the number of pixels C of the candidate region is larger than the threshold Tr and the number of pixels C 'of the light and dark candidate region included in the motion candidate region, ) Is greater than the threshold value T'r, '1' is assigned to the resultant value D detected in the light and dark candidate region.

판정부(400)는 움직임에서 얻은 후보 영역의 크기와 상기 움직임 후보 영역이 명암 후보 영역에 포함되는 갯수를 이용하여 하기 [수학식 6]에 따라 검출 결과를 얻는다.The determining unit 400 obtains the detection result according to the following Equation (6) using the size of the candidate region obtained from the motion and the number of the motion candidate regions included in the lightness candidate region.

[수학식 6]&Quot; (6) "

Figure 112015121573616-pat00009
Figure 112015121573616-pat00009

여기서, 상기 M은 움직임 후보 영역에서 검출된 결과를 의미하고, 상기 C''는 움직임 후보 영역에 포함된 명암 후보 영역의 화소 수를 의미하고, 상기 Tr은 명암 후보 영역 화소가 움직임 후보 영역에 포함되어 검출하고자 하는 포트홀 및 크랙의 크기에 대한 임계치를 나타낸다. Herein, M denotes a result detected in the motion candidate region, C 'denotes the number of pixels of the light and dark candidate region included in the motion candidate region, Tr denotes the number of pixels included in the motion candidate region And represents a threshold value for the size of a port hole and a crack to be detected.

판정부(400)는, 움직임 후보 영역에 포함된 상기 명암 후보 영역의 화소수(C'')가 상기 임계치 Tr보다 큰 경우, 상기 움직임 후보 영역에서 검출된 결과 값(M)에 '1'을 할당한다.If the number of pixels C '' of the light and dark candidate region included in the motion candidate region is larger than the threshold value Tr, the determination section 400 sets '1' to the resultant value M detected in the motion candidate region .

판정부(400)는 명암 및 움직임 정보에 따라 구분된 영역에서 특징점들을 이용하여 즉, 상기 명암 후보영역의 검출 결과와 움직임 후보영역의 검출 결과를 가지고 하기 [수학식 7]으로서, 최종 검출결과(F)를 얻는다.The determination unit 400 uses the feature points in the region divided according to the lightness and motion information, that is, the detection result of the lightness candidate region and the detection result of the motion candidate region as Equation (7) F).

[수학식 7]&Quot; (7) "

Figure 112015121573616-pat00010
Figure 112015121573616-pat00010

판정부(400)는 상기 움직임 후보 영역에서 검출된 결과 값(M)이 '1'이거나, 상기 명암 후보 영역에서 검출된 결과 값(D)이 '1'인 경우, 도3a의 (d)에 도시된 바와 같이, 상기 선택된 영상 이미지(예: #1, #2)에서 포트홀 또는 크랙 영역이 검출된 것으로 판정한다. 도3a의 (d)는 포트홀 또는 크랙을 포함하는 것으로 판정된 본 발명의 최종 검출영상 예시도이다.If the resultant value M detected in the motion candidate region is '1' or the resultant value D detected in the light and dark candidate region is '1', the determination unit 400 determines As shown in the figure, it is determined that a porthole or crack region is detected in the selected video image (e.g., # 1, # 2). Figure 3a (d) is an example of the final detection image of the present invention, which is determined to include a port hole or crack.

반면, 상기 움직임 후보 영역에서 검출된 결과 값(M)과 상기 명암 후보 영역에서 검출된 결과 값(D)이 모두 '1'이 아닌 경우, 판정부(400)는 도3b의 (d)에 도시된 바와 같이, 상기 선택된 영상 이미지(예: #1, #2)에서 포트홀 또는 크랙 영역이 검출되지 않은 것으로 판정한다. 도3b의 (d)는 포트홀 또는 크랙을 포함하지 않는 것으로 판정된 본 발명의 최종 검출영상 예시도이다. On the other hand, if both the resultant value M detected in the motion candidate region and the resultant value D detected in the light and dark candidate region are not '1', the determination unit 400 determines It is determined that no porthole or crack area is detected in the selected video image (e.g., # 1, # 2). FIG. 3 (d) is an example of the final detection image of the present invention, which is determined to not include a port hole or a crack.

도2는 본 발명에 따른 제2분석부의 블록 구성도이다.2 is a block diagram of a second analyzing unit according to the present invention.

도2에 도시된 바와 같이, 본 발명에 따른 제2분석부(300)는 옵티컬 플로우부(310), 고역 필터부(320), 표준편차 산출부(340), 이진화부(360)를 포함하여 구성된다.2, the second analyzing unit 300 includes an optical flow unit 310, a high-pass filter unit 320, a standard deviation calculating unit 340, and a binarizing unit 360 .

상기 옵티컬 플로우(310)는 상기 선택된 이미지들(예: #1, #2) 간의 화소단위 움직임을 구한다.The optical flow 310 obtains pixel-by-pixel motion between the selected images (e.g., # 1 and # 2).

상기 고역 필터부(320)는 화소단위 움직임 값을 참조하여 움직임에 변화가 있는 영역을 구분한다.The high-pass filter 320 refers to the pixel-based motion values and identifies regions having a change in motion.

상기 표준편차 산출부(340)는 상기 구분된 영역의 움직임에 관한 표준편차를 구한다. The standard deviation calculation unit 340 obtains a standard deviation of the motion of the divided region.

상기 이진화부(360)는 상기 표준편차 값을 회귀값으로 나누고, 소정의 이진화(Binarization) 방식에 따라 이진영상을 구한다. 이진화부(360)는 도로의 촬영각도에 따른 움직임의 크기가 다름을 조정하기 위하여 상기 표준편차 값을 회귀값으로 나누고, 그 나누어 얻은 값을 수정된 히스토그램 임계(modified histogram shaped thresholding)방법, 오츠(Otsu)방법, 최대 엔트로피(maximum entropy)방법 등을 이용하여 상기 [수학식 2]로서 이진 영상의 화소값을 산출한다.The binarization unit 360 divides the standard deviation value by a regression value, and obtains a binary image according to a predetermined binarization method. The binarization unit 360 divides the standard deviation value by the regression value to adjust the magnitude of the movement according to the photographing angle of the road, divides the value by a modified histogram shaped thresholding method, Otsu ) Method, a maximum entropy method, and the like, the pixel value of the binary image is calculated as Equation (2).

도4는 본 발명에 따른 포트홀 및 크랙 검출방법의 동작 흐름도이다.4 is a flowchart illustrating the operation of the porthole and crack detection method according to the present invention.

도4에 도시된 바와 같이, 본 발명에 따른 포트홀 및 크랙 검출장치는 우선, 입력된 동영상에서, 연속된 임의의 2개 이미지(예: #1, #2)를 추출하고(S10), 상기 추출된 영상 이미지 중 어느 하나(예: 시간적으로 앞선 이미지(#1))를 명암 정보에 따라 이진영상으로 분할한다. 또한, 상기 추출된 2개의 영상 이미지 모두(예: #1, #2)를 움직임 정보에 따라 이진 영상으로 분할한다.4, a porthole and crack detection apparatus according to the present invention first extracts two consecutive images (e.g., # 1 and # 2) in an input moving image (S10) (E.g., temporally ahead of the image # 1) is divided into binary images according to the contrast information. Further, the extracted two image images (e.g., # 1 and # 2) are divided into binary images according to the motion information.

본 발명은 명암 정보에 따라 상기 추출된 영상 이미지를 이진영상으로 분할(Segmentation)하기 위해 우선, 상기 추출된 2개의 이미지 중 시간적으로 앞선 이미지(예: #1)를 선택하여 상기 제1분석부(200)로 전달한다. 그리고, 움직임 정보에 따라 상기 추출된 영상 이미지를 이진영상으로 분할(Segmentation)하기 위해, 상기 추출된 2개의 이미지 모두(예: #1, #2)를 상기 제2분석부(300)로 전달한다.In order to segment the extracted image into binary images according to the contrast information, the present invention first selects a temporally preceding image (e.g., # 1) out of the two extracted images, 200). Then, in order to segment the extracted image into binary images according to the motion information, the extracted two images (e.g., # 1 and # 2) are transmitted to the second analysis unit 300 .

제1분석부(200)는 상기 선택된 영상 이미지(예: #1)의 히스토그램을 이용하여 원 영상(예: #1)의 이진영상을 생성하고, 생성된 이진영상을 경계가 있는 영역(예: 포트홀 or 크랙)과 주변 영역으로 분할한다. (S20)The first analysis unit 200 generates a binary image of an original image (e.g., # 1) using the histogram of the selected image image (e.g., # 1) Port hole or crack) and the surrounding area. (S20)

한편, 상기 제2분석부(300)는 상기 선택된 이미지들(예: #1, #2) 간의 움직임에 대해 옵티컬 플로우, 고역 필터링(Highpass filtering), 표준편차(Standard deviation) 산출, 회귀(Regression) 분석을 수행하여, 도3a의 (c) 혹은 도3b의 (c)에 도시된 바와 같이, 이진화(Binarization)된 영상을 얻는다. Meanwhile, the second analyzing unit 300 may perform an optical flow, a highpass filtering, a standard deviation calculation, a regression, and the like on the motion between the selected images (e.g., # 1 and # 2) Analysis is performed to obtain a binarized image as shown in FIG. 3A or FIG. 3B.

이진화(Binarization)된 영상을 얻기 위해, 제2분석부(300)는 먼저, 옵티컬 플로우(optical flow) 방법을 이용하여 상기 선택된 이미지들에서 화소 단위의 움직임을 구한다. 그리고, 움직임의 변화가 있는 영역을 구분하기 위하여 고역 필터링(high pass filtering)을 한 후 표준편차(standard deviation) 값을 얻는다.In order to obtain a binarized image, the second analyzing unit 300 first obtains a pixel-by-pixel motion in the selected images by using an optical flow method. Then, high pass filtering is performed to distinguish the regions where the motion is changed, and a standard deviation value is obtained.

그리고, 상기 표준편차 값을 회귀(regression)값으로 나누어 얻은 값을 수정된 히스토그램 임계(modified histogram shaped thresholding)방법, 오츠(Otsu)방법, 최대 엔트로피(maximum entropy)방법 등을 이용하여 이진화된 영상을 얻는다. (S30)The value obtained by dividing the standard deviation value by a regression value is converted into a binarized image using a modified histogram shaped thresholding method, an Otsu method, a maximum entropy method, or the like. . (S30)

제2분석부(300)는 이후, 상기 생성된 이진 영상에 미디언 필터링과 형태학 연산 등을 수행하여, 이진 영상의 잡음을 제거(noise filtering)하고 영역 윤곽의 손상된 부분을 복원하고 윤곽을 훼손하는 조각 부분을 제거한다.The second analyzer 300 then performs median filtering and morphological calculations on the generated binary image, noise filtering the binary image, restoring the damaged part of the area contour, and deleting the contour Remove the piece.

이렇게, 명암정보 기반의 이진 영상과 움직임 정보 기반의 이진 영상이 모두 생성되면, 판정부(400)는 명암정보에서 구한 특징점들과 움직임 정보에서 구한 특징점들을 이용하여 상기 명암정보와 움직임 정보 기반의 이진 영상들을 비교하는 것으로 포트홀 또는 크랙 영역의 검출 여부를 판정한다. (S40 & S50)When both of the binary image based on the contrast information and the binary image based on the motion information are generated, the determination unit 400 determines that the binarization based on the contrast information and the motion information is performed using the feature points obtained from the feature points and the motion information, By comparing images, it is determined whether or not a port hole or a crack area is detected. (S40 & S50)

상기 판정부(400)는 명암정보에서 구한 특징점들을 움직임 정보에서 구한 특징점들과 함께 사용하여, 상기 [수학식 7]으로서, 최종 검출결과(F)를 얻는다.The determining unit 400 obtains the final detection result F as Equation (7) using the minutiae points obtained from the light and dark information together with the minutiae points obtained from the motion information.

이상, 상기 이미지 추출부(100), 제1분석부(200), 제2분석부(300), 판정부(400)를 포함하여 구성된 본 발명의 포트홀 및 크랙 검출장치는 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 그리고 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. The porthole and crack detection apparatus of the present invention including the image extracting unit 100, the first analyzing unit 200, the second analyzing unit 300 and the determining unit 400 can be applied to a medium on which a program is recorded It can be implemented as computer readable code. The computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored.

상기 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 상기 컴퓨터는 본 발명의 포트홀 및 크랙 검출장치를 포함할 수도 있다.Examples of the computer-readable medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . The computer may also include the porthole and crack detection apparatus of the present invention.

본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. May be constructed by selectively or in combination. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

이상, 기술된 바와 같이, 본 발명은 동영상 정보에서 추출한 특징점들을 이용하여 적응적으로 포트홀 및 크랙을 검출할 수 있도록 하였다.As described above, according to the present invention, portholes and cracks can be adaptively detected using feature points extracted from moving image information.

명암과 움직임 정보를 이용한 본 발명의 포트홀 및 크랙 검출장치는 운전자에게 도로 주행상의 노면 위험 요소들에 관한 정보를 미리 제공하여, 차량과 운전자에게 입히는 충격과 사고를 예방하고, 지속적으로 포트홀 및 크랙 데이터를 축적하여 도로의 위험정보를 보다 효과적으로 관리하고 도로관리 업무의 효율성을 높였다.The porthole and crack detection apparatus of the present invention using the contrast and motion information provides the driver with information on road surface risk factors in advance to prevent shocks and accidents to the vehicle and the driver, To more effectively manage the risk information on the roads and to improve the efficiency of the road management work.

100: 이미지 추출부 200 : 제1분석부
300 : 제2분석부 310 : 옵티컬플로우부
320 : 고역 필터부 340 : 표준편차 산출부
360 : 이진화부 400 : 판정부100: image extracting unit 200: first analyzing unit
300: second analyzing unit 310: optical flow unit
320: High pass filter unit 340: Standard deviation calculation unit
360: binarization unit 400:

Claims (7)

동영상에서, 연속된 임의의 2개 이미지를 추출하는 이미지 추출부(100)와,
상기 추출된 2개의 이미지 중 어느 하나를 선택하고 그 선택된 이미지를 명암정보에 따라 이진 영상으로 분할하는 제1분석부(200)와,
상기 추출된 2개의 이미지를 모두 선택하고 그 선택된 이미지들을 움직임 정보에 따라 이진 영상으로 분할하는 제2분석부(300)와,
명암과 움직임 정보에서 추출되는 특징점 정보에 따라 포트홀(또는 크랙) 후보 영역과 주변 영역을 비교하여 포트홀 및 크랙 영역 검출하는 판정부(400)를 포함하여 구성되며,
상기 제2분석부(300)는 상기 선택된 이미지들 간의 움직임에 대해 옵티컬 플로우, 고역 필터링, 표준편차 산출, 회귀 분석을 수행하여, 이진화된 영상을 구하고,
상기 판정부(400)는 명암에서 얻은 후보 영역의 크기와 상기 명암 후보영역이 움직임 후보 영역에 포함되는 갯수를 이용하여 하기 수학식에 따라 명암 후보영역의 검출 결과를 얻는 것을 특징으로 하는 포트홀 및 크랙 검출장치.
Figure 112016057024065-pat00023

여기서, 상기 D는 명암 후보 영역에서 검출된 결과를 의미하고, 상기 C는 후보 영역의 화소 수를 의미하고, 상기 Tr은 검출하고자 하는 영역의 크기에 대한 임계치를 나타내고, 상기 C'는 움직임 후보 영역에 포함된 명암 후보 영역의 화소 수를 의미하고, 상기 T'r은 명암 후보 영역 화소의 전체 크기에 대한 움직임 후보 영역에 포함되어 있는 명암 후보 화소에 대한 비율의 임계치를 나타낸다.
An image extracting unit (100) for extracting two consecutive arbitrary images from a moving image;
A first analyzer 200 for selecting one of the extracted two images and dividing the selected image into binary images according to the contrast information,
A second analyzer 300 for selecting all of the extracted two images and dividing the selected images into binary images according to motion information,
And a determination unit (400) for comparing the porthole (or crack) candidate region and the peripheral region according to the minutia information extracted from the contrast and motion information to detect the porthole and the crack region,
The second analyzing unit 300 performs optical flow, high-pass filtering, standard deviation calculation, and regression analysis on the motion between the selected images to obtain a binarized image,
Wherein the determination unit (400) obtains the detection result of the light and dark candidate region using the size of the candidate region obtained from light and dark and the number of the light and dark candidate regions included in the motion candidate region according to the following equation: Detection device.
Figure 112016057024065-pat00023

Here, D denotes a result detected in the lightness candidate region, C denotes the number of pixels in the candidate region, Tr denotes a threshold value for the size of the region to be detected, and C 'denotes a motion candidate region And T'r represents a threshold value of a ratio of a brightness candidate region pixel included in a motion candidate region to a total brightness candidate region pixel.
제1항에 있어서, 상기 제2분석부(300)는,
상기 선택된 이미지들 간의 화소단위 움직임을 구하는 옵티컬 플로우부(310)와,
상기 화소단위 움직임 값을 참조하여 움직임의 변화가 있는 영역을 구분하는 고역 필터부(320)와,
상기 구분된 영역의 움직임에 관한 표준편차를 구하는 표준편차 산출부(340)와,
상기 표준편차 값을 회귀값으로 나누고, 소정의 이진화 방식에 따라 이진영상을 구하는 이진화부(360)를 포함하여 구성되는 것을 특징으로 하는 포트홀 및 크랙 검출장치.
The apparatus of claim 1, wherein the second analysis unit (300)
An optical flow unit 310 for obtaining pixel-based motion between the selected images,
A high pass filter 320 for distinguishing a region having a motion change by referring to the pixel-based motion value,
A standard deviation calculating unit 340 for calculating a standard deviation of the motion of the divided region,
And a binarization unit (360) for dividing the standard deviation value by a regression value and obtaining a binary image according to a predetermined binarization method.
제2항에 있어서, 상기 이진화부(360)는
히스토그램 임계(modified histogram shaped thresholding)방법 또는 오츠(Otsu)방법 또는 최대 엔트로피(maximum entropy)방법과 같은 이진화 (Binarization) 방식에 따라 하기 수학식으로서 이진 영상의 화소값을 산출하는 것을 특징으로 하는 포트홀 및 크랙 검출장치.
Figure 112015121573616-pat00011

여기서, 상기
Figure 112015121573616-pat00012
는 분할된 움직임 이진영상의 화소값을 의미하며, 상기
Figure 112015121573616-pat00013
는 움직임 표준편차 결과를 상기 회귀(regression)값으로 나누어 얻은 영상을 의미하고, 상기
Figure 112015121573616-pat00014
은 이진영상을 위하여 사용하는 히스토그램 임계값을 의미한다.
The apparatus of claim 2, wherein the binarization unit (360)
A pixel value of a binary image is calculated according to a binarization method such as a histogram shaped thresholding method or an Otsu method or a maximum entropy method as follows: Crack detection device.
Figure 112015121573616-pat00011

Here,
Figure 112015121573616-pat00012
Denotes a pixel value on a divided motion binary image,
Figure 112015121573616-pat00013
Means an image obtained by dividing a motion standard deviation result by the regression value,
Figure 112015121573616-pat00014
Means a histogram threshold used for binary images.
삭제delete 동영상에서, 연속된 임의의 2개 이미지를 추출하는 이미지 추출부(100)와,
상기 추출된 2개의 이미지 중 어느 하나를 선택하고 그 선택된 이미지를 명암정보에 따라 이진 영상으로 분할하는 제1분석부(200)와,
상기 추출된 2개의 이미지를 모두 선택하고 그 선택된 이미지들을 움직임 정보에 따라 이진 영상으로 분할하는 제2분석부(300)와,
명암과 움직임 정보에서 추출되는 특징점 정보에 따라 포트홀(또는 크랙) 후보 영역과 주변 영역을 비교하여 포트홀 및 크랙 영역 검출하는 판정부(400)를 포함하여 구성되며,
상기 제2분석부(300)는 상기 선택된 이미지들 간의 움직임에 대해 옵티컬 플로우, 고역 필터링, 표준편차 산출, 회귀 분석을 수행하여, 이진화된 영상을 구하고,
상기 판정부(400)는 움직임에서 얻은 후보 영역의 크기와 상기 움직임 후보 영역이 명암 후보 영역에 포함되는 갯수를 이용하여 하기 수학식에 따라 움직임 후보영역의 검출 결과를 얻는 것을 특징으로 하는 포트홀 및 크랙 검출장치.
Figure 112016057024065-pat00016

여기서, 상기 M은 움직임 후보 영역에서 검출된 결과를 의미하고, 상기 C''는 움직임 후보 영역에 포함된 명암 후보 영역의 화소 수를 의미하고, 상기 Tr은 명암 후보 영역 화소가 움직임 후보 영역에 포함되어 검출하고자 하는 포트홀 및 크랙의 크기에 대한 임계치를 나타낸다.
An image extracting unit (100) for extracting two consecutive arbitrary images from a moving image;
A first analyzer 200 for selecting one of the extracted two images and dividing the selected image into binary images according to the contrast information,
A second analyzer 300 for selecting all of the extracted two images and dividing the selected images into binary images according to motion information,
And a determination unit (400) for comparing the porthole (or crack) candidate region and the peripheral region according to the minutia information extracted from the contrast and motion information to detect the porthole and the crack region,
The second analyzing unit 300 performs optical flow, high-pass filtering, standard deviation calculation, and regression analysis on the motion between the selected images to obtain a binarized image,
The determination unit 400 obtains the detection result of the motion candidate region according to the following equation using the size of the candidate region obtained from the motion and the number of the motion candidate region included in the lightness candidate region: Detection device.
Figure 112016057024065-pat00016

Herein, M denotes a result detected in the motion candidate region, C 'denotes the number of pixels of the light and dark candidate region included in the motion candidate region, Tr denotes the number of pixels included in the motion candidate region And represents a threshold value for the size of a port hole and a crack to be detected.
동영상에서, 연속된 임의의 2개 이미지를 추출하는 이미지 추출부(100)와,
상기 추출된 2개의 이미지 중 어느 하나를 선택하고 그 선택된 이미지를 명암정보에 따라 이진 영상으로 분할하는 제1분석부(200)와,
상기 추출된 2개의 이미지를 모두 선택하고 그 선택된 이미지들을 움직임 정보에 따라 이진 영상으로 분할하는 제2분석부(300)와,
명암과 움직임 정보에서 추출되는 특징점 정보에 따라 포트홀(또는 크랙) 후보 영역과 주변 영역을 비교하여 포트홀 및 크랙 영역 검출하는 판정부(400)를 포함하여 구성되며,
상기 제2분석부(300)는 상기 선택된 이미지들 간의 움직임에 대해 옵티컬 플로우, 고역 필터링, 표준편차 산출, 회귀 분석을 수행하여, 이진화된 영상을 구하고,
상기 판정부(400)는 명암 후보영역의 검출 결과(D)와 움직임 후보영역의 검출 결과(M)를 이용하여 하기 수학식으로서, 최종 검출결과(F)를 얻는 것을 특징으로 하는 포트홀 및 크랙 검출장치.
Figure 112016057024065-pat00017

An image extracting unit (100) for extracting two consecutive arbitrary images from a moving image;
A first analyzer 200 for selecting one of the extracted two images and dividing the selected image into binary images according to the contrast information,
A second analyzer 300 for selecting all of the extracted two images and dividing the selected images into binary images according to motion information,
And a determination unit (400) for comparing the porthole (or crack) candidate region and the peripheral region according to the minutia information extracted from the contrast and motion information to detect the porthole and the crack region,
The second analyzing unit 300 performs optical flow, high-pass filtering, standard deviation calculation, and regression analysis on the motion between the selected images to obtain a binarized image,
The determination unit 400 obtains the final detection result F as the following equation using the detection result D of the light and dark candidate region and the detection result M of the motion candidate region: Device.
Figure 112016057024065-pat00017

 제6항에 있어서, 상기 판정부(400)는
상기 움직임 후보 영역의 검출 결과값(M)이 '1'이거나, 상기 명암 후보 영역에서 검출된 결과 값(D)이 '1'인 경우, 상기 선택된 영상 이미지(#1, #2)에서 포트홀 또는 크랙 영역이 검출된 것으로 판정하는 것을 특징으로 하는 포트홀 및 크랙 검출장치.7. The apparatus of claim 6, wherein the determining unit (400)
If the detection result value M of the motion candidate region is 1 or the result value D detected in the light and dark candidate region is 1, And judges that a crack region has been detected.
KR1020150176949A 2015-12-11 2015-12-11 Apparatus and method for detecting pothole and crack KR101651999B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150176949A KR101651999B1 (en) 2015-12-11 2015-12-11 Apparatus and method for detecting pothole and crack

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150176949A KR101651999B1 (en) 2015-12-11 2015-12-11 Apparatus and method for detecting pothole and crack

Publications (1)

Publication Number Publication Date
KR101651999B1 true KR101651999B1 (en) 2016-08-30

Family

ID=56886177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150176949A KR101651999B1 (en) 2015-12-11 2015-12-11 Apparatus and method for detecting pothole and crack

Country Status (1)

Country Link
KR (1) KR101651999B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077502A (en) 2016-12-29 2018-07-09 전남대학교산학협력단 Apparatus for detecting pothole of road and method thereof
KR20190141322A (en) 2018-06-14 2019-12-24 위프코 주식회사 Crack detection system of road surface using neural network and detection method therefor
KR102084668B1 (en) * 2018-10-15 2020-03-04 한국건설기술연구원 System and method for providing road surface information using pot hole
KR102252369B1 (en) * 2019-11-27 2021-05-14 (주)아와소프트 CCTV linked Pothole real-time monitoring method
KR20210092086A (en) * 2020-01-15 2021-07-23 서강대학교산학협력단 Pavement road distress analysis system and method thereof
CN113720438A (en) * 2021-07-23 2021-11-30 鹏城实验室 Component crack information monitoring method and device, terminal equipment and storage medium
KR20230102688A (en) * 2021-12-30 2023-07-07 주식회사 세미콘네트웍스 Damage information collection and analysis system for paved roads

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125262A (en) * 2013-04-18 2014-10-28 (주)세니츠코퍼레이션 Crack measuring device
KR20150012384A (en) * 2013-07-25 2015-02-04 주식회사 솔루팜 Pothole Recognition System and Its Implementation Method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125262A (en) * 2013-04-18 2014-10-28 (주)세니츠코퍼레이션 Crack measuring device
KR20150012384A (en) * 2013-07-25 2015-02-04 주식회사 솔루팜 Pothole Recognition System and Its Implementation Method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Obstacle Detection Method using Optical Flow Estimation at the Edge Image, Proceedings of the 2007 IEEE Intelligent Vehicles Symposium(2007.06.15.)* *
아스팔트 도로의 포트홀 검출 방법, 전자공학회 논문지 제51권 제10호(2014.10.30.)* *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077502A (en) 2016-12-29 2018-07-09 전남대학교산학협력단 Apparatus for detecting pothole of road and method thereof
KR20190141322A (en) 2018-06-14 2019-12-24 위프코 주식회사 Crack detection system of road surface using neural network and detection method therefor
KR102084668B1 (en) * 2018-10-15 2020-03-04 한국건설기술연구원 System and method for providing road surface information using pot hole
KR102252369B1 (en) * 2019-11-27 2021-05-14 (주)아와소프트 CCTV linked Pothole real-time monitoring method
KR20210092086A (en) * 2020-01-15 2021-07-23 서강대학교산학협력단 Pavement road distress analysis system and method thereof
KR102302338B1 (en) * 2020-01-15 2021-09-15 서강대학교 산학협력단 Pavement road distress analysis system and method thereof
CN113720438A (en) * 2021-07-23 2021-11-30 鹏城实验室 Component crack information monitoring method and device, terminal equipment and storage medium
CN113720438B (en) * 2021-07-23 2023-06-16 鹏城实验室 Component crack information monitoring method and device, terminal equipment and storage medium
KR20230102688A (en) * 2021-12-30 2023-07-07 주식회사 세미콘네트웍스 Damage information collection and analysis system for paved roads
KR102602036B1 (en) * 2021-12-30 2023-11-14 주식회사 세미콘네트웍스 Damage information collection and analysis system for paved roads

Similar Documents

Publication Publication Date Title
KR101651999B1 (en) Apparatus and method for detecting pothole and crack
US8509486B2 (en) Vehicle license plate recognition method and system thereof
Oliveira et al. Automatic road crack segmentation using entropy and image dynamic thresholding
Dorafshan et al. Automatic surface crack detection in concrete structures using OTSU thresholding and morphological operations
US8902053B2 (en) Method and system for lane departure warning
KR101546700B1 (en) System and method for recognizing road pothole area using image
KR101279712B1 (en) Apparatus and method for providing real-time lane detection, recording medium thereof
Aggarwal et al. A robust method to authenticate car license plates using segmentation and ROI based approach
JPWO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
CN111027535A (en) License plate recognition method and related equipment
Abbas et al. Automated pavement distress detection using image processing techniques
CN113239733B (en) Multi-lane line detection method
Chen et al. Automatic pavement crack detection based on image recognition
KR101514368B1 (en) SYSTEM AND METHOD for POTHOLE DETECtion using IMAGE INFORMATION
KR102393268B1 (en) Device and Method for estimating of the probability of traffic accidents by road shape analysis
Crognale et al. Damage detection with image processing: A comparative study
CN110852236A (en) Target event determination method and device, storage medium and electronic device
Muslim et al. Detection and counting potholes using morphological method from road video
Powell et al. Automated road distress detection
KR102071708B1 (en) Method and apparatus for extracting feature to classify the weather of image
Sai Ganesh Naik et al. Detecting potholes using image processing techniques and real-world footage
Danilescu et al. Road anomalies detection using basic morphological algorithms
Chen et al. A novel method for license plate localization
Sawalakhe et al. Development of roads pothole detection system using image processing
KR102585146B1 (en) Pothole detection device and method based on deep learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 4