KR20210143465A - Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same - Google Patents

Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same Download PDF

Info

Publication number
KR20210143465A
KR20210143465A KR1020200060263A KR20200060263A KR20210143465A KR 20210143465 A KR20210143465 A KR 20210143465A KR 1020200060263 A KR1020200060263 A KR 1020200060263A KR 20200060263 A KR20200060263 A KR 20200060263A KR 20210143465 A KR20210143465 A KR 20210143465A
Authority
KR
South Korea
Prior art keywords
image
road
extracted
location information
crack detection
Prior art date
Application number
KR1020200060263A
Other languages
Korean (ko)
Other versions
KR102334709B9 (en
KR102334709B1 (en
Inventor
김형관
박소민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200060263A priority Critical patent/KR102334709B1/en
Publication of KR20210143465A publication Critical patent/KR20210143465A/en
Application granted granted Critical
Publication of KR102334709B1 publication Critical patent/KR102334709B1/en
Publication of KR102334709B9 publication Critical patent/KR102334709B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00791—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a deep learning based road crack detection apparatus and road crack detection method using a black box image for a vehicle. A road crack detection apparatus according to an embodiment of the present invention comprises: a data collection unit collecting a plurality of image data pieces photographed by a black box for a vehicle and including location information; an image extraction unit extracting a plurality of reference images based on movement distance information of the vehicle calculated by using the location information included in the plurality of collected image data pieces; a patch image generation unit selecting the reference images extracted from the image extraction unit in the unit of a pixel with a certain size to classify classes for each of road cracks, lanes, and undamaged roads, and generating a patch image for each of the classified classes; a model training unit performing a training such that the road cracks are extracted from each patch image generated by the patch image generation unit using a neural network model; and a crack detection unit, when a plurality of image data pieces including location information are input from an arbitrary black box for a vehicle, extracting a plurality of reference frames based on moving distance information of the vehicle calculated by using the location information included in the input plurality of image data pieces, extracting an image for a road surface from the plurality of extracted reference frames, and detecting road cracks by applying the neural network model, trained by the model training unit, to the extracted image. The present invention can save costs and time since an additional work for obtaining data is not required.

Description

블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치 및 도로 크랙 검출 방법, 이를 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 {Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same}Deep learning-based road crack detection device and road crack detection method using a black box image, and a computer program stored in a computer-readable recording medium to execute the same {Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same}

본 발명은 도로 크랙 검출 장치에 관한 것으로, 보다 구체적으로는 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하는 딥러닝 기반의 도로 크랙 검출 장치 및 도로 크랙 검출 방법에 관한 것이다.The present invention relates to a road crack detection apparatus, and more particularly, to a deep learning-based road crack detection apparatus and a road crack detection method for detecting a road crack using a vehicle black box image.

또한, 본 발명은 딥러닝 기반의 도로 크랙 검출 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.In addition, the present invention relates to a computer program stored in a computer-readable recording medium to execute a method for detecting road cracks based on deep learning.

공공 기관에서 여러 장비가 설치된 특수차량이나 수작업으로 노면 손상을 검사하고 있다. 시간과 비용이 많이 드는 기존 방법에 대한 대안으로 일반 차량에서 얻을 수 있는 블랙박스 영상을 활용하는 연구들이 제안되어 왔다. 블랙박스 영상이란 주행 차량의 전방 영상을 촬영한 영상을 말한다.Public institutions are inspecting road surface damage by hand or special vehicles with various equipment installed. As an alternative to the time-consuming and costly existing method, studies using black box images that can be obtained from general vehicles have been proposed. A black box image refers to an image of the front image of a driving vehicle.

차량용 블랙박스 영상을 이용하여 노면 손상(도로 크랙)을 분석한 종래 기술로, 연속적인 프레임을 분석해서 노면 손상 중 하나인 포트홀(pothole)을 검출하는 기술이 있다. 포트홀은 원형 모양으로 한 장의 이미지 프레임 내에 포함되는 물체인데, 이와는 달리, 도로의 노면 균열은 얇고 긴 선 모양이 때문에 블랙박스 영상에 있는 노면 위에 외부 환경에 의해 보이지 않는 경우도 있으며, 단일 프레임에 전부 담기는 물체가 아니기 때문에 영상 분석에 어려움이 있다.As a conventional technique for analyzing road surface damage (road cracks) using a vehicle black box image, there is a technique for detecting a pothole, which is one of road surface damage, by analyzing successive frames. A porthole is an object included in a single image frame in a circular shape. On the other hand, a road crack in the road is in the shape of a thin and long line, so it may not be visible by the external environment on the road surface in the black box image. Since it is not an object to contain, there is a difficulty in image analysis.

또한, 차량용 블랙박스 영상을 이용하여 노면 손상을 분석한 종래 기술로, 단일 이미지를 활용해서 균열 검출을 수행한 연구를 기반으로, 연속적인 블랙박스 이미지들에 모자이킹 방법을 적용하여 균열 검출 결과를 통합한 방법이 있다. 하지만, 이 방법은 도로에 다른 차량이 존재하지 않아야 적용 가능하며 차량의 속도를 일정하게 유지해야 하는 단점이 있다. 블랙박스 영상에 포함된 노면은 주행 차량 주변의 차량들, 그리고 날씨에 의한 외부 환경에 따라 영향을 받기 때문에 단일 영상을 분석하는 방법은 정확한 노면 정보를 획득하는 것에 한계가 있다.In addition, based on a study that performed crack detection using a single image as a prior art that analyzed road surface damage using a vehicle black box image, a mosaicing method was applied to successive black box images to obtain the crack detection result. There is an integrated way. However, this method is applicable only when there are no other vehicles on the road, and there is a disadvantage in that the speed of the vehicle must be kept constant. Since the road surface included in the black box image is affected by vehicles around the driving vehicle and the external environment due to weather, the method of analyzing a single image has limitations in obtaining accurate road surface information.

대한민국 공개특허공보 제10-2016-0039316호Republic of Korea Patent Publication No. 10-2016-0039316 대한민국 등록특허공보 제10-1543342호Republic of Korea Patent Publication No. 10-1543342 대한민국 등록특허공보 제10-1772916호Republic of Korea Patent Publication No. 10-1772916 대한민국 등록특허공보 제10-1178772호Republic of Korea Patent Publication No. 10-1178772

본 발명은 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하는 딥러닝 기반의 도로 크랙 검출 장치 및 도로 크랙 검출 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a road crack detection apparatus and a road crack detection method based on deep learning for detecting road cracks using a vehicle black box image.

본 발명의 실시예에 따른 도로 크랙 검출 장치는,Road crack detection apparatus according to an embodiment of the present invention,

차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집부; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에서 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부; 상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출부;를 포함한다.a data collection unit that is photographed by a vehicle black box and collects a plurality of image data including location information; an image extraction unit for extracting a plurality of reference images based on the vehicle moving distance information calculated by using the location information included in the collected plurality of image data; A patch image generation unit that selects the reference image extracted from the image extraction unit in units of pixels of a certain size to classify a class for each road crack, lane, and undamaged road, and generates a patch image for each classified class ; a model training unit for training each patch image generated by the patch image generation unit to extract road cracks using a neural network model; And, when a plurality of image data including location information is input from an arbitrary vehicle black box, a plurality of reference frames are generated based on the vehicle moving distance information calculated using the location information included in the input plurality of image data. and a crack detection unit that extracts, extracts an image of a road surface from the plurality of extracted reference frames, and detects road cracks by applying a neural network model trained from the model training unit to the extracted image.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 이미지 추출부는, 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출할 수 있다.In the road crack detection apparatus according to an embodiment of the present invention, the image extracting unit calculates the accumulated moving distance of the vehicle by using the location information included in the plurality of collected image data, and the calculated accumulated moving distance is An image including location information that is a multiple of the set reference distance may be extracted as the reference image.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 이미지 추출부는, 산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함할 수 있다.In the road crack detection apparatus according to an embodiment of the present invention, the image extraction unit extracts n reference images if the calculated cumulative movement distance is n times or more (n+1) times less than the reference distance, and the n Each of the reference images may include initial location information that is a multiple of the reference distance.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 이미지 추출부는, 상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출할 수 있다.In the apparatus for detecting a road crack according to an embodiment of the present invention, the image extracting unit may include a moving distance of each of the images for images that do not include a plurality of location information, existing between the images including the location information. The reference image may be extracted using a proportional expression that is considered to be the same.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 패치 이미지 생성부는, 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하고, 상기 패치 이미지 생성부는, 상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성할 수 있다.In the road crack detection apparatus according to an embodiment of the present invention, the patch image generating unit generates a patch image for each of a road crack, a lane, and an undamaged road in a patch unit having a size of 40 × 40 pixels, and the patch image The generator may extract the image extracted from the image extractor as an image of a predetermined size to limit a crack detection area, and may generate the patch image in the limited crack detection area.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 모델 훈련부는, 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며, 상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출할 수 있다.In the apparatus for detecting a road crack according to an embodiment of the present invention, the model training unit calculates and outputs a probability for detecting a road crack by training a patch image for each of a road crack, a lane, and an undamaged road, and the As for the image of the road surface, the image of the road surface may be extracted by excluding a non-road surface image and an image of the front part of the vehicle from the extracted frame.

본 발명의 실시예에 따른 도로 크랙 검출 방법은,A road crack detection method according to an embodiment of the present invention,

차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계; 상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계; 상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 포함한다.A data collection step of collecting a plurality of image data captured by a vehicle black box and including location information; an image extraction step of extracting a plurality of reference images based on the moving distance information of the vehicle calculated by using the location information included in the collected plurality of image data; a patch image generation step of selecting the extracted reference image in units of pixels of a certain size, classifying a class for each of road cracks, lanes, and undamaged roads, and generating a patch image for each of the classified classes; a model training step of training each of the generated patch images to extract road cracks using a neural network model; And, when a plurality of image data including location information is input from an arbitrary vehicle black box, a plurality of reference frames are generated based on the vehicle moving distance information calculated using the location information included in the input plurality of image data. and a crack detection step of extracting, extracting an image of a road surface from the plurality of extracted reference frames, and detecting a road crack by applying a neural network model trained from the model training unit to the extracted image.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 이미지 추출단계는, 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출할 수 있다.In the method of detecting a road crack according to an embodiment of the present invention, the image extraction step includes calculating the accumulated moving distance of the vehicle by using the location information included in the plurality of collected image data, and the calculated accumulated moving distance is An image including location information that is a multiple of a preset reference distance may be extracted as a reference image.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 이미지 추출단계는, 산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함할 수 있다.In the road crack detection method according to an embodiment of the present invention, the image extraction step extracts n reference images if the calculated cumulative moving distance is n times or more and less than (n+1) times the reference distance, Each of the n reference images may include initial location information that is a multiple of the reference distance.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 이미지 추출단계는, 상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출할 수 있다.In the method of detecting a road crack according to an embodiment of the present invention, the image extraction step includes moving each of the images for images that do not include a plurality of location information, existing between the images including the location information. The reference image may be extracted using a proportional expression that considers that the distances are the same.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 패치 이미지 생성단계는, 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하고, 상기 이미지 추출단계로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성할 수 있다.In the method of detecting a road crack according to an embodiment of the present invention, the step of generating the patch image includes generating a patch image for each of a road crack, a lane, and an undamaged road in a patch unit having a size of 40 × 40 pixels, and the image The image extracted from the extraction step may be extracted as an image of a certain size to limit the crack detection area, and the patch image may be generated in the limited crack detection area.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 모델 훈련단계는, 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며, 상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출할 수 있다.In the road crack detection method according to an embodiment of the present invention, the model training step calculates and outputs a probability for detecting a road crack by training a patch image for each road crack, lane, and undamaged road, As for the image of the road surface, an image of the road surface may be extracted by excluding a portion other than the road surface and an image of the front portion of the vehicle from the extracted frame.

본 발명의 실시예에 따른 도로 크랙 검출 방법은, 컴퓨터에 의해 실행되며, 차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계; 상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계; 상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능한 기록 매체에 의해 실행될 수 있다.A road crack detection method according to an embodiment of the present invention includes: a data collection step of collecting a plurality of image data executed by a computer, photographed by a vehicle black box, and including location information; an image extraction step of extracting a plurality of reference images based on the moving distance information of the vehicle calculated by using the location information included in the collected plurality of image data; a patch image generation step of selecting the extracted reference image in units of pixels of a certain size, classifying a class for each of road cracks, lanes, and undamaged roads, and generating a patch image for each of the classified classes; a model training step of training each of the generated patch images to extract road cracks using a neural network model; And, when a plurality of image data including location information is input from an arbitrary vehicle black box, a plurality of reference frames are generated based on the vehicle moving distance information calculated using the location information included in the input plurality of image data. A crack detection step of extracting, extracting an image of a road surface from a plurality of extracted reference frames, and detecting a road crack by applying a neural network model trained from the model training unit to the extracted image; recorded a program for executing It can be executed by a computer-readable recording medium.

기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.Other details of implementations according to various aspects of the invention are included in the detailed description below.

본 발명의 실시 형태에 따르면, 차량이 일정한 거리를 이동할 때마다, 한 장의 이미지 프레임을 추출하여 효율적으로 데이터를 처리하고, 누락된 도록 구간을 최소화할 수 있다. According to the embodiment of the present invention, whenever the vehicle moves a certain distance, it is possible to efficiently process data by extracting one image frame, and to minimize the missing catalog section.

또한, 차량용 블랙박스의 영상을 이용하여 도로 크랙을 검출함으로써, 블랙박스 영상의 해상도가 넓은 면적을 포함한 도로 표면의 촬영이 가능하며, 데이터 획득이 용이하고, 데이터를 획득하기 위한 추가적인 작업이 필요하지 않아 비용 및 시간 절약이 가능하다.In addition, by detecting road cracks using the image of the vehicle black box, it is possible to photograph the road surface including a large area with a high resolution of the black box image, and data acquisition is easy, and no additional work is required to acquire data This can save cost and time.

또한, 차량용 블랙박스 영상으로부터 패치 단위로 도로 크랙을 검출하여 정확한 도로 크랙 검출이 가능하다.In addition, it is possible to accurately detect road cracks by detecting road cracks in a patch unit from an image of a vehicle black box.

또한, 빠른 시간 내에 원하는 도로 구간의 정보를 다량의 영상 데이터로부터 획득하는 것이 가능하여 신속하게 도로 상태를 파악할 수 있다.In addition, it is possible to acquire information of a desired road section from a large amount of image data within a short time, so that it is possible to quickly grasp the road condition.

도 1은 본 발명의 실시예에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치가 도시된 블록도이다.
도 2는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 시간 정보 및 위치 정보를 개념적으로 예시한 표이다.
도 3은 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 차량의 이동 거리를 보여주는 그래프이다.
도 4는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 산출된 이동 거리 및 누적 이동 거리가 예시된 표이다.
도 5는 산출된 누적 이동 거리를 기반으로 도로 크랙 검출을 위한 프레임을 추출하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 신경망 모델 구조가 도시된 도면이다.
도 7은 동일한 경로로 주행했을 때 기록된 3개의 블랙박스 영상에서 도로 크랙을 검출한 결과가 도시된 도면이다.
도 8은 2개의 차량용 블랙박스에서 수집된 영상 데이터에 포함된 GPS 신호의 플롯(plot)이 도시된 도면이다.
도 9는 본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 방법이 도시된 순서도이다.
도 10은 도 9에 도시된 신경망 모델 훈련 루틴이 도시된 순서도이다.
도 11은 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 기준 이미지를 보여주는 사진이다.
도 12는 본 발명의 실시예에 따른 도로 표면 추출 상태를 보여주는 도면이다.
도 13은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면이다.
도 14는 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.
도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 1 is a block diagram illustrating an apparatus for detecting a road crack based on deep learning using a black box image according to an embodiment of the present invention.
2 is a table conceptually illustrating time information and location information included in image data captured by a vehicle black box.
3 is a graph showing a moving distance of a vehicle based on location information included in image data captured by a vehicle black box.
4 is a table exemplifying movement distances and cumulative movement distances calculated based on location information included in image data captured by a vehicle black box.
5 is a diagram for explaining a process of extracting a frame for detecting a road crack based on a calculated cumulative moving distance.
6 is a diagram illustrating a neural network model structure according to an embodiment of the present invention.
7 is a diagram illustrating a result of detecting a road crack in three black box images recorded when driving on the same route.
8 is a diagram illustrating a plot of a GPS signal included in image data collected from two vehicle black boxes.
9 is a flowchart illustrating a deep learning-based road crack detection method using a black box image according to the present invention.
FIG. 10 is a flowchart illustrating a neural network model training routine shown in FIG. 9 .
11 is a photograph showing a reference image extracted from a black box image according to an embodiment of the present invention.
12 is a view showing a road surface extraction state according to an embodiment of the present invention.
13 is a diagram illustrating a crack region division state according to an embodiment of the present invention.
14 is a view showing a road crack detection state according to an embodiment of the present invention.
15 is a diagram illustrating a computing device according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치 및 도로 크랙 검출 방법을 설명한다.The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present invention, terms such as 'comprising' or 'having' are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. Hereinafter, a deep learning-based road crack detection apparatus and a road crack detection method using a black box image according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치(이하, “도로 크랙 검출 장치”라 함)가 도시된 블록도이다.1 is a block diagram illustrating a deep learning-based road crack detection apparatus (hereinafter, referred to as “road crack detection apparatus”) using a black box image according to the present invention.

도 1을 참조하면, 본 발명의 도로 크랙 검출 장치(100)는 도로 표면의 크랙을 검출하기 위하여, 차량용 블랙박스(10)의 영상을 이용하여 일정 크기의 패치(patch) 단위로 딥러닝 기반의 모델을 훈련하고, 블랙박스 영상의 이미지로부터 훈련된 모델을 적용하여 픽셀 단위의 도로 크랙을 검출한다.Referring to FIG. 1 , the road crack detection apparatus 100 of the present invention uses an image of a vehicle black box 10 to detect a crack on the road surface in a patch unit of a predetermined size based on deep learning. A model is trained and a road crack is detected in units of pixels by applying the trained model from the image of the black box image.

이를 위해, 본 발명의 도로 크랙 검출 장치(100)는 복수 개의 차량용 블랙박스(10)로부터 영상 데이터를 수집하고, 수집된 영상 데이터 각각에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리를 기반으로 복수개의 이미지를 추출하고, 각각의 추출된 이미지에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류하고, 분류된 각각의 클래스에 따른 이미지를 패치 단위로 딥러닝 기반의 모델에 적용하여 훈련하도록 처리한다. To this end, the road crack detection apparatus 100 of the present invention collects image data from a plurality of vehicle black boxes 10, and based on the moving distance of the vehicle calculated using location information included in each of the collected image data. to extract a plurality of images, classify the classes into road cracks, lanes, and undamaged roads from each extracted image, and apply the images according to each classified class to the deep learning-based model in patch units for training. handle

또한, 본 발명의 도로 크랙 검출 장치(100)는 블랙박스(10)의 영상으로부터 위치 정보를 이용하여 산출된 차량의 이동 거리를 기반으로 복수개의 이미지를 추출하고 추출된 이미지에 훈련된 모델을 적용하여 패치 단위로 도로 크랙을 검출한다.In addition, the road crack detection apparatus 100 of the present invention extracts a plurality of images based on the moving distance of the vehicle calculated using location information from the image of the black box 10 and applies the trained model to the extracted images. to detect road cracks in units of patches.

구체적으로, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 도로 크랙 검출 장치(100)는, 데이터 수집부(110)와, 이미지 추출부(120)와, 패치 이미지 생성부(130)와, 모델 훈련부(140)와, 크랙 검출부(150)를 포함한다. 도 1에서 블랙박스(10a)는 모델을 훈련시키기 위한 학습 데이터를 수집하는 블랙박스이며, 블랙박스(10b)는 학습된 모델(모델 훈련부(140))에 크랙을 검출하기 위한 영상 데이터를 입력하기 위한 블랙박스일 수 있다.Specifically, as shown in FIG. 1 , the road crack detection apparatus 100 according to an embodiment of the present invention includes a data collection unit 110 , an image extraction unit 120 , and a patch image generation unit 130 . ), a model training unit 140 , and a crack detection unit 150 . In FIG. 1 , the black box 10a is a black box that collects learning data for training the model, and the black box 10b is used to input image data for detecting cracks into the learned model (model training unit 140 ). It may be a black box for

데이터 수집부(110)는 복수 개의 차량용 블랙박스(10a)들 각각으로부터 촬영된 전방 도로 표면에 대한 영상 데이터를 수집한다. 데이터 수집부(110)는 예를 들어, 유선 또는 무선 통신망을 통해 실시간으로 블랙박스(10a)와 연결되어 동영상 데이터를 수집하거나, 블랙박스(10a)의 영상을 저장하는 데이터 저장 매체를 통해 영상 데이터를 수집한다. The data collection unit 110 collects image data for the front road surface photographed from each of the plurality of vehicle black boxes 10a. The data collection unit 110 is, for example, connected to the black box 10a in real time through a wired or wireless communication network to collect video data or image data through a data storage medium that stores the image of the black box 10a. to collect

이미지 추출부(120)는 데이터 수집부(110)로부터 수집된 영상 데이터를 수신하여 도로 크랙을 검출하기 위한 복수 개의 기준 이미지를 추출한다. 이미지 추출부(120)는 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 이동 거리 및 누적 이동 거리를 산출하고, 산출된 차량의 이동 거리 및 누적 이동 거리를 기반으로 복수개의 기준 이미지를 추출한다. 여기서, 추출된 기준 이미지는 보다 정확히는 이미지 프레임이나, 설명의 편의를 위해 이미지로 칭하기도 한다. 예를 들어, 블랙박스(10a)의 영상 데이터로부터 차량의 이동 거리 및 누적 이동 거리를 기반으로 수십 ~ 수천 개의 이미지 프레임이 추출될 수 있고, 추출된 이미지 프레임은 딥러닝 기반의 CNN 모델을 훈련시키기 위해 활용된다. 이미지 추출부(120)에서의 도로 크랙 검출을 위한 기준 이미지 추출 과정에 대해서 도 2 내지 도 5를 참조하여 설명한다.The image extraction unit 120 receives the image data collected from the data collection unit 110 and extracts a plurality of reference images for detecting road cracks. The image extractor 120 calculates the moving distance and the accumulated moving distance of the vehicle by using the location information included in the plurality of collected image data, and a plurality of reference images based on the calculated moving distance and the accumulated moving distance of the vehicle. to extract Here, the extracted reference image is more precisely an image frame, but is also referred to as an image for convenience of description. For example, tens to thousands of image frames can be extracted from the image data of the black box 10a based on the vehicle's moving distance and the accumulated moving distance, and the extracted image frames are used to train a deep learning-based CNN model. is used for A reference image extraction process for road crack detection in the image extraction unit 120 will be described with reference to FIGS. 2 to 5 .

도 2는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 시간 정보 및 위치 정보를 개념적으로 예시한 표이고, 도 3은 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 차량의 이동 거리를 보여주는 그래프이며, 도 4는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 산출된 누적 이동 거리가 예시된 표이고, 도 5는 산출된 누적 이동 거리를 기반으로 도로 크랙 검출을 위한 프레임을 추출하는 과정을 설명하기 위한 도면이다.2 is a table conceptually illustrating time information and location information included in image data photographed by a vehicle black box, and FIG. 3 is a vehicle based on location information included in image data photographed by a vehicle black box. It is a graph showing the moving distance, and FIG. 4 is a table exemplifying the accumulated moving distance calculated based on location information included in the image data captured by the vehicle black box, and FIG. 5 is a road based on the calculated accumulated moving distance. It is a diagram for explaining a process of extracting a frame for crack detection.

데이터 수집부(110)에서 수집된 영상 데이터는, 도 2에 예시된 바와 같은 시간 정보(TimeLocal)와 위치 정보(Latitude, Longtitude)를 포함할 수 있다. 예를 들어, 블랙박스로 촬영된 영상 데이터는 초당 30개의 이미지 프레임으로 구성될 수 있으며, 위치 정보는 1초에 한번씩 기록될 수 있다. 즉, 예를 들어 30개의 이미지 프레임 마다 1개의 위치 정보가 기록될 수 있다. 도 2는 수집된 영상 데이터에 포함된 일부 이미지 프레임의 시간 정보와 위치 정보를 예시하고 있다. 물론, 초당 이미지 프레임의 갯수와, 위치 정보가 기록되는 시간 간격이 이에 한정되지는 않는다. The image data collected by the data collection unit 110 may include time information (TimeLocal) and location information (Latitude, Longtitude) as illustrated in FIG. 2 . For example, image data photographed with a black box may consist of 30 image frames per second, and location information may be recorded once per second. That is, for example, one piece of location information may be recorded for every 30 image frames. 2 illustrates time information and location information of some image frames included in the collected image data. Of course, the number of image frames per second and the time interval at which the location information is recorded are not limited thereto.

통상, 도로 사정을 고려하면, 차량의 이동 속도는 일정하지 않다. 이러한 상황에서 모든 이미지 프레임을 이용하여 도로의 크랙을 검출하는 것은 효율적인 데이터 처리를 방해하게 된다. 예를 들어, 교통 체증시의 영상 데이터는 수초 ~ 수십초 단위로 동일하거나 유사한 영상일 수 있는데, 이때의 매초마다 영상 데이터를 활용하는 것은 매우 비효율적이다. 또한, 예를 들어, 고속 도로나, 교통이 원할한 시간 동안에는 1초에 수십 미터를 운행할 수 있으므로, 1초 단위의 이미지를 활용할 경우, 일부 도로 구간은 누락될 수 있다.In general, in consideration of road conditions, the moving speed of the vehicle is not constant. In this situation, detecting road cracks using all image frames hinders efficient data processing. For example, the image data in case of a traffic jam may be the same or similar image in units of several seconds to several tens of seconds. In this case, it is very inefficient to utilize the image data every second. In addition, for example, since several tens of meters per second can be driven on a highway or during a time when traffic is smooth, some road sections may be omitted when using an image in units of one second.

이에, 본 발명의 이미지 추출부(120)는 일정한 거리를 이동할 때마다, 한 장의 이미지 프레임을 추출하여 효율적으로 데이터를 처리하고, 누락된 도록 구간을 최소화한다.Accordingly, the image extraction unit 120 of the present invention extracts a single image frame whenever moving a certain distance, efficiently processes data, and minimizes the missing catalog section.

구체적으로 이미지 추출부(120)는 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지 프레임을 기준 이미지로 추출한다. Specifically, the image extractor 120 calculates the cumulative moving distance of the vehicle by using the location information included in the plurality of collected image data, and includes location information in which the calculated cumulative moving distance is a multiple of a preset reference distance. image frame is extracted as a reference image.

이미지 추출부(120)는 이미지 프레임에 포함된 위치 정보를 이용하여 매초당 차량의 이동 거리를 산출할 수 있다. 즉, 도 3에 예시된 바와 같이, 각각의 이미지 프레임의 위치 정보는 (x, y) 좌표쌍으로 표시될 수 있으며, 인접한 두 좌표쌍 간의 거리를 구하여 차량의 이동 거리를 산출할 수 있다. 또한, 각 시간대별 이동 거리를 누적 합산하여 누적 이동 거리(cumulative distance)로 산출할 수 있다. 도 4에, 이와 같이 산출된 차량의 누적 이동 거리가 예시되어 있다.The image extractor 120 may calculate the moving distance of the vehicle per second by using the location information included in the image frame. That is, as illustrated in FIG. 3 , the location information of each image frame may be displayed as a (x, y) coordinate pair, and a distance between two adjacent coordinate pairs may be obtained to calculate the moving distance of the vehicle. In addition, by accumulating the moving distances for each time period, it may be calculated as a cumulative distance. 4 , the accumulated moving distance of the vehicle calculated as described above is exemplified.

이미지 추출부(120)는 기준 시간(예를 들어, 1초) 동안 산출된 차량의 이동 거리가 기설정된 기준 거리가 될 때마다, 해당 이미지 프레임을 기준 이미지로 추출한다. 물론, 기준 시간 동안 산출된 차량의 이동 거리가 기설정된 기준 거리 미만이면, 기준 이미지를 추출하지 않을 수 있다. 이미지 추출부(120)는 기준 시간 동안 산출된 차량의 이동 거리가 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 이미지 프레임을 기준 이미지로 추출한다. 예를 들어, 기준 거리가 5m이고, 특정 시간의 1초당 산출된 이동 거리가 7m이면, 해당 시간의 30개 프레임 중에서 어느 하나를 추출하고, 이동 거리가 11m이면, 2개의 프레임을 추출하고, 이동 거리가 17m이면 3개의 프레임을 추출한다. The image extractor 120 extracts a corresponding image frame as a reference image whenever the moving distance of the vehicle calculated for a reference time (eg, 1 second) becomes a preset reference distance. Of course, if the moving distance of the vehicle calculated during the reference time is less than the preset reference distance, the reference image may not be extracted. The image extractor 120 extracts n image frames as a reference image when the moving distance of the vehicle calculated during the reference time is n times or more (n+1) times the reference distance. For example, if the reference distance is 5 m and the movement distance calculated per second of a specific time is 7 m, any one of 30 frames of the time is extracted, and if the movement distance is 11 m, two frames are extracted and moved If the distance is 17m, 3 frames are extracted.

이때, 이미지 추출부(120)는 복수개의 프레임 중에서 기준 거리 이상이며 기준 거리와 가장 가까운 이동 거리에 해당하는 프레임을 추출하는데, 모든 프레임에 위치 정보가 포함된 것은 아니므로, 위치 정보가 포함된 프레임 간의 비례식을 이용하여 프레임을 추출한다. 즉, 특정 기준 시간 1초 동안의 30개 프레임에 대해 각 프레임 간의 이동 거리는 동일한 것으로 간주하는 비례식을 적용하여 기준 거리인 5m와 가장 가까운 이미지 프레임을 기준 이미지로 추출한다.At this time, the image extraction unit 120 extracts a frame corresponding to a movement distance that is equal to or greater than the reference distance and closest to the reference distance from among the plurality of frames. Frames are extracted using the proportional expression between That is, the image frame closest to the reference distance of 5 m is extracted as the reference image by applying a proportional expression that considers the moving distance between each frame to be the same for 30 frames during a specific reference time of 1 second.

예를 들어, 도 5의 (a)에서 A 구간을 참조하면, 11시 59분 9초에 해당하는 프레임이 영상에서 2245번째이고 누적 이동 거리는 2.09m이며, 11시 59분 10초에 해당하는 프레임이 영상에서 2275번째이고 누적 이동 거리는 5.38m이다. 이 경우, 이미지 추출부(120)는 도 5의 (b)와 같이 각 프레임 당 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 2245번째 프레임과 2275번째 프레임 사이의 프레임 중에서 기준 거리인 5m와 가장 가까운 프레임을 계산한 후 추출한다. For example, referring to section A in FIG. 5A , the frame corresponding to 11:59:09 is the 2245th in the image, the cumulative moving distance is 2.09m, and the frame corresponding to 11:59:10 It is the 2275th in this video and the cumulative travel distance is 5.38m. In this case, the image extraction unit 120 uses a proportional expression that considers the movement distance for each frame to be the same as shown in FIG. After calculating the frame, it is extracted.

한편, 데이터 처리를 더욱 효과적으로 하기 위해 이미지 추출부(120)는 매초당 이동 거리를 산출하지 않고, 수초 간격으로 이동 거리를 산출할 수 있다. Meanwhile, in order to more effectively process the data, the image extractor 120 may calculate the moving distance at intervals of several seconds instead of calculating the moving distance per second.

예를 들어, 도 5의 (a)에서 B 구간을 참조하면, 11시 59분 17초(2485번째 프레임)까지의 누적 이동 거리는 62.24m이고, 11시 59분 20초(2575번째 프레임)까지의 이동거리는 99.01m이다. 이 경우, 이미지 추출부(120)는 도 5의 (c)와 같이 2485번째 프레임과 2575번째 프레임 사이의 프레임 중에서 누적 이동 거리가 기준 거리인 5m의 배수가 되는 7장의 프레임을 계산한 후 추출한다. 여기서, “기준 거리의 배수가 되는 이미지 프레임”은 반드시 기준 거리의 배수인 것을 의미하는 것이 아니라, 기준 거리의 배수와 가장 가까운 이동 거리를 나타내는 프레임 프레임을 포함할 수 있다.For example, referring to section B in (a) of FIG. 5, the cumulative moving distance up to 11:59:17 (2485th frame) is 62.24m, and up to 11:59:20 (2575th frame) The travel distance is 99.01 m. In this case, the image extraction unit 120 calculates and extracts 7 frames in which the cumulative moving distance is a multiple of 5 m, which is the reference distance, among the frames between the 2485th frame and the 2575th frame, as shown in FIG. 5(c). . Here, the “image frame that is a multiple of the reference distance” does not necessarily mean that it is a multiple of the reference distance, but may include a frame frame indicating a movement distance closest to the multiple of the reference distance.

패치 이미지 생성부(130)는 패치 단위로 크랙을 검출하기 위하여, 이미지 추출부(120)로부터 추출된 기준 이미지에서 오퍼레이터에 의해 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다.The patch image generating unit 130 detects cracks in units of patches, and when a desired point is selected by the operator from the reference image extracted from the image extraction unit 120, an image of a certain size with the selected point as the center, that is, Create a patch image.

예를 들어, 패치 이미지는 40 × 40 픽셀 크기를 가질 수 있다. 패치 이미지는 3 가지의 클래스(class)에 대해 각각 생성될 수 있다. 즉, 패치 이미지들은 크랙, 차선 및 손상되지 않은 도로에 대한 데이터로 각각 생성될 수 있다.For example, a patch image may have a size of 40 x 40 pixels. The patch image may be generated for each of the three classes. That is, the patch images may be generated as data for cracks, lanes, and undamaged roads, respectively.

모델 훈련부(140)는 패치 이미지 생성부(130)에서 생성된 각각의 패치 이미지를 딥러닝 기반의 모델을 이용하여 훈련하도록 처리한다. 모델 훈련부(140)는 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련하여 도로 크랙을 검출하기 위한 확률을 계산하여 출력한다.The model training unit 140 processes each patch image generated by the patch image generation unit 130 to be trained using a deep learning-based model. The model training unit 140 calculates and outputs a probability for detecting a road crack by training a patch image for each crack, lane, and undamaged road.

또한, 모델 훈련부(140)는 실제로 블랙박스 영상(10b)을 입력받아서 패치 단위로 도로 크랙을 검출하기 위해 크랙, 차선 및 손상되지 않은 도로에 대해 훈련된 모델을 적용하도록 처리할 수 있다.Also, the model training unit 140 may actually receive the black box image 10b and process it to apply the trained model to cracks, lanes, and undamaged roads in order to detect road cracks in units of patches.

예를 들어, 모델 훈련부(140)는 신경망(CNN) 모델을 포함할 수 있다. 신경망(CNN) 모델은, 컨볼루션 레이어(Conovolutional layer, 이하 Conv층), 풀링 레이어(Pooling layer, 이하 Pool층) 그리고 풀리 커넥티드 레이어(Fully-connected layer, 이하 FC층) 등 크게 3개의 층들로 구성될 수 있다.For example, the model training unit 140 may include a neural network (CNN) model. The neural network (CNN) model consists of three main layers: a convolutional layer (Conv layer), a pooling layer (hereinafter referred to as a pool layer), and a fully-connected layer (FC layer). can be configured.

Conv층을 구성하는 필터(filter)는 이전 층의 결과값과 합성곱(convolution) 연산이 수행되며 이는 다음 층의 입력값이 된다. Pool층은 이전 층의 결과값을 작은 크기로 축소(downsampling)하는 역할을 한다. FC층은 이전층의 모든 노드(node)와 연결되어 있으며 주로 CNN 모델의 뒷부분을 구성한다. CNN 모델의 최종 출력값은 FC층으로 구성되며, 각 클래스(class)에 속하는 확률을 계산하는 역할을 한다. CNN 모델이 이미지 분류기로 활용될 때 최종 출력값 중 가장 높은 확률을 갖는 클래스를 입력 이미지에 대한 클래스로 예측한다.The filter constituting the conv layer performs a convolution operation with the result value of the previous layer, which becomes the input value of the next layer. The pool layer plays a role in downsampling the results of the previous layer to a small size. The FC layer is connected to all the nodes of the previous layer and mainly constitutes the rear part of the CNN model. The final output value of the CNN model is composed of FC layers, and serves to calculate the probability of belonging to each class. When the CNN model is used as an image classifier, the class with the highest probability among the final output values is predicted as the class for the input image.

본 발명의 실시예에서 CNN 모델은 도 6에 예시된 바와 같은 구조로 설계될 수 있다. 도 6의 신경망(CNN) 모델은 각 클래스에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 최종적으로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다. 이미지는 세 클래스 중 가장 높은 확률값을 가지는 클래스에 속한다. 크랙일 확률이 가장 높을 경우, 크랙으로 판단한다.In an embodiment of the present invention, the CNN model may be designed with a structure as illustrated in FIG. 6 . The neural network (CNN) model of Figure 6 determines the weights for the layers for each class, applies them to model training, and determines the layers while gradually reducing the size of the patch image to finally determine the layers for each of the cracks, lanes, and undamaged roads. Calculate and output the probability. The image belongs to the class with the highest probability value among the three classes. If the probability of a crack is highest, it is judged as a crack.

크랙 검출부(150)는 블랙박스로부터 영상(10b)이 입력되면, 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 도로 크랙을 검출한다. 크랙 검출부(150)는 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 각 패치 이미지 마다 클래스를 구분하여 예측값을 계산하고, 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단한다.When the image 10b is input from the black box, the crack detection unit 150 detects a road crack by applying the model trained by the model training unit 140 . The crack detection unit 150 applies the model trained by the model training unit 140 to classify a class for each patch image, calculates a predicted value, and if the probability of a crack is the highest among the three classes, it is determined as a crack.

따라서 본 발명의 도로 크랙 검출 장치(100)는 차량용 블랙박스의 영상 데이터(10a)에서 일정한 거리 단위로 기준 이미지를 추출하고, 추출된 기준 이미지에서 다시 패치 단위로 이미지를 추출하여 딥러닝 기반의 모델에 훈련시키고, 훈련된 모델을 블랙박스 영상(10b)에 적용하여 패치 단위로 도로 크랙을 검출할 수 있다.Therefore, the road crack detection apparatus 100 of the present invention extracts a reference image in a unit of a predetermined distance from the image data 10a of the vehicle black box, and extracts the image again in units of a patch from the extracted reference image to obtain a model based on deep learning. , and the trained model is applied to the black box image 10b to detect road cracks in units of patches.

한편, 동일한 경로를 주행한 복수 개의 차량으로부터 수집된 블랙박스 영상 데이터를 이용할 때, 도로 크랙을 추출하는 모델 훈련부(140)의 훈련 결과의 정확성은 더욱 향상될 수 있다.Meanwhile, when using black box image data collected from a plurality of vehicles traveling on the same path, the accuracy of the training result of the model training unit 140 for extracting road cracks may be further improved.

도 7은 동일한 경로로 주행했을 때 기록된 3개의 블랙박스 영상에서 도로 크랙을 검출한 결과를 보여준다. 3개의 그래프는 각각 기준 거리 5m를 기준으로 기준 이미지(프레임)를 추출하였고, 크랙 검출의 대상인 부분 구간을 50m, 100m, 그리고 150m로 정하였을 때 크랙 검출 결과를 보여 주며, 하나의 그래프 내에 3개 영상으로부터의 균열 검출 결과가 함께 표시되어 있다. 여러 영상으로부터 부분 구간의 길이를 일정하게 설정한 크랙 검출의 평균 결과는 단일 영상에서 제공되는 결과보다 더 높은 신뢰도를 가질 수 있다.7 shows a result of detecting a road crack in three black box images recorded when driving on the same route. Each of the three graphs shows the crack detection results when the reference image (frame) is extracted based on the reference distance of 5 m, and the partial sections that are the target of crack detection are set to 50 m, 100 m, and 150 m. Crack detection results from the image are also shown. An average result of crack detection in which the length of a partial section is set constant from multiple images may have higher reliability than a result provided from a single image.

도 8은 2개의 차량용 블랙박스에서 수집된 영상 데이터에 포함된 GPS 신호의 플롯(plot)을 보여 준다. 도 8에서 어느 하나의 GPS 좌표는 빨간색 사각형으로, 나머지 하나의 GPS 좌표는 초록색 원형으로 표시하였다. 두 차량은 동일한 구간을 주행하였지만 기록된 GPS 좌표는 다를 수 있다. 검정색 실선과 점선은 실제 동일한 위치를 나타내는 장면과 함께 그 시간에 기록된 GPS좌표를 대응시킨 것이다.8 shows a plot of a GPS signal included in image data collected from two vehicle black boxes. In FIG. 8 , one GPS coordinate is indicated by a red square, and the other GPS coordinate is indicated by a green circle. The two vehicles traveled the same section, but the recorded GPS coordinates may be different. The black solid line and the dotted line correspond to the GPS coordinates recorded at that time with the scene showing the same actual location.

다음, 도 9 및 도 10을 참조하여 본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 방법(이하, “도로 크랙 검출 방법”)을 설명한다. 도 9는 본 발명에 따른 도로 크랙 검출 방법이 도시된 순서도이고, 도 10은 도 9에 도시된 신경망 모델 훈련 루틴이 도시된 순서도이다. 본 발명에 따른 도로 크랙 검출 방법은 전술한 도로 크랙 검출 장치(100)를 이용하여 수행될 수 있다.Next, a deep learning-based road crack detection method (hereinafter, “road crack detection method”) using a black box image according to the present invention will be described with reference to FIGS. 9 and 10 . 9 is a flowchart illustrating a road crack detection method according to the present invention, and FIG. 10 is a flowchart illustrating a neural network model training routine shown in FIG. The road crack detection method according to the present invention may be performed using the above-described road crack detection apparatus 100 .

단계 S160에서, 데이터 수집부(110)가 복수 개의 블랙박스로부터 영상 데이터를 수집한다. In step S160, the data collection unit 110 collects image data from a plurality of black boxes.

단계 S162에서, 이미지 추출부(120)가 데이터 수집부(110)로부터 수집된 영상 데이터를 수신하여 도로 크랙을 검출하기 위한 복수 개의 프레임(기준 이미지)을 추출한다. 이미지 추출부(120)는 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 이동 거리 및 누적 이동 거리를 산출하고, 산출된 차량의 이동 거리 및 누적 이동 거리를 기반으로 복수개의 기준 이미지를 추출한다. 이미지 추출부(120)에서의 기준 이미지 추출 과정은 전술한 도 2 내지 도 5를 참조하여 설명한 바와 동일하므로 반복 설명은 생략한다.In step S162 , the image extraction unit 120 receives the image data collected from the data collection unit 110 and extracts a plurality of frames (reference images) for detecting road cracks. The image extractor 120 calculates the moving distance and the accumulated moving distance of the vehicle by using the location information included in the plurality of collected image data, and a plurality of reference images based on the calculated moving distance and the accumulated moving distance of the vehicle. to extract Since the process of extracting the reference image in the image extraction unit 120 is the same as that described with reference to FIGS. 2 to 5 , a repeated description will be omitted.

추출된 프레임을 신경망 모델을 이용하여 훈련하는 경우, 단계 S164에서, 패치 이미지 생성부(130)는 패치 단위로 크랙을 검출하기 위하여, 이미지 추출부(120)로부터 추출된 기준 이미지로부터 원하는 지점을 선택하고, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다. 예를 들어, 패치 이미지는 40 × 40 픽셀 크기를 갖는다. 패치 이미지는 3 가지의 클래스 즉, 크랙, 차선 및 손상되지 않은 도로에 대해 각각 생성된다.When the extracted frame is trained using the neural network model, in step S164 , the patch image generator 130 selects a desired point from the reference image extracted from the image extractor 120 in order to detect cracks in units of patches. Then, an image of a certain size, that is, a patch image, is generated with the selected point as the center. For example, a patch image has a size of 40 x 40 pixels. Patch images are generated for each of three classes: cracks, lanes, and undamaged roads.

단계 S166에서, 모델 훈련부(140)는 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시킨다. 구체적으로 신경망(CNN) 모델 훈련 루틴(S166)은 도 10에 도시된 바와 같이, 단계 S190에서 클래스를 구분하고, 단계 S192에서 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력한다. 단계 S194에서 확률이 일정 크기 이상이면, 크랙으로 판단한다. 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.In step S166, the model training unit 140 trains the patch image for each crack, lane, and undamaged road using the neural network model. Specifically, the neural network (CNN) model training routine (S166), as shown in FIG. 10, classifies the class in step S190, and calculates the model prediction value for each class divided in step S192. Probability for determining whether it is a road crack. Calculate and print If the probability is greater than or equal to a certain level in step S194, it is determined as a crack. If the probability of being a crack is the highest among the three classes, it is judged to be a crack.

이렇게 훈련된 모델은 추후 블랙박스 영상이 입력되면, 크랙 검출부(150)가 도로 크랙을 검출하는데 적용된다. 즉, 다시 도 9을 참조하면, 단계 S170에서 블랙박스 영상으로부터 도로 크랙을 검출하기 위한 프레임이 추출되면, 추출된 프레임에서 도로 표면에 대한 이미지를 추출한다. 이때, 단계 S162에서 설명된 방식과 동일한 방식으로 프레임이 추출된다. 추출된 프레임에는 도로 표면, 도로 표면이 아닌 부분, 그리고 차량의 앞부분(즉, 보닛)이 함께 추출되는데, 도로 표면이 아닌 부분에 대한 이미지와 차량의 앞부분 이미지를 제외시킨다.The trained model is then applied to the crack detection unit 150 to detect road cracks when a black box image is input later. That is, referring again to FIG. 9 , when a frame for detecting a road crack is extracted from the black box image in step S170, an image of the road surface is extracted from the extracted frame. At this time, the frame is extracted in the same manner as described in step S162. In the extracted frame, the road surface, the non-road surface, and the front part of the vehicle (that is, the bonnet) are extracted together, but the image of the non-road surface and the front part of the vehicle are excluded.

단계 S172에서, 도로 표면 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시킨다. 이 실시예에서 도로 표면 이미지는 720 × 240 픽셀 크기로 추출된다. 이 도로 표면 이미지에는 도로 크랙, 차선 및 손상되지 않은 도로에 따른 영역이 포함된다.In step S172, the crack detection area is limited by extracting the road surface image as an image of a certain size. In this embodiment, the road surface image is extracted with a size of 720 x 240 pixels. This road surface image includes road cracks, lanes, and areas along the undamaged road.

단계 S174에서 도로 표면 이미지를 일정 크기의 패치 단위로 영역을 분할한다. 단계 S176에서 패치 단위로 분할된 도로 표면 이미지에 훈련된 신경망 모델을 적용하고, 단계 S178에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류한다. 이어서 단계 S180에서 분류된 클래스를 이용하여 도로 크랙을 검출한다.In step S174, the area of the road surface image is divided into patches of a predetermined size. In step S176, the trained neural network model is applied to the road surface image segmented into patches, and in step S178, classes are classified into road cracks, lanes, and undamaged roads. Next, a road crack is detected using the class classified in step S180.

도 11는 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 이미지를 나타내는 도면이다.11 is a diagram illustrating an image extracted from a black box image according to an embodiment of the present invention.

도 11를 참조하면, 본 발명의 실시예에서는 추출된 도로 표면에 대하여 40 × 40 픽셀 크기의 패치 단위로 크랙을 검출하는 딥러닝 모델을 훈련시키기 위해 3 가지 클래스에 대한 데이터를 만든다. 블랙박스 영상으로부터 데이터를 추출할 이미지(200)를 예컨대, 100 여장 선정한 후, 파이선 코딩을 통해 이미지(200)를 화면에 띄우고 원하는 지점을 선택한다. 선택한 지점을 중앙으로 하는 40 × 40 픽셀 크기의 이미지가 생성된다. 이러한 방식으로 도로 크랙, 차선 그리고 손상되지 않은 도로 3 가지 클래스에 대한 데이터를 생성한다. 도 11에서 크랙 부분에 빨간색으로 표시된 부분(202)들이 각각 선택된 지점이다.Referring to FIG. 11 , in an embodiment of the present invention, data for three classes is created in order to train a deep learning model that detects cracks in patches with a size of 40 × 40 pixels on the extracted road surface. After selecting, for example, about 100 images 200 from which data is to be extracted from the black box image, the image 200 is displayed on the screen through python coding and a desired point is selected. An image of size 40 × 40 pixels is created with the selected point as the center. In this way, we generate data for three classes of road cracks, lanes and undamaged roads. In FIG. 11 , portions 202 marked in red in the crack portions are selected points, respectively.

도 12은 본 발명의 실시예에 따른 도로 표면 추출 상태를 보여주는 도면이고, 도 13은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면이며, 도 14는 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.12 is a view showing a road surface extraction state according to an embodiment of the present invention, FIG. 13 is a view showing a crack region division state according to an embodiment of the present invention, and FIG. 14 is a road crack according to an embodiment of the present invention It is a figure which shows a detection state.

도 12 내지 도 14를 참조하면, 본 발명의 실시예에서 블랙박스 영상에서 추출된 프레임(기준 이미지)에는 도로 표면과, 도로 표면이 아닌 부분 및 차량의 앞부분(보닛)이 함께 추출된다. 따라서 도로 표면 이미지(220)는 도로 표면이 아닌 부분(204)과 차량의 보닛 부분(206)을 제외시킨다.12 to 14 , in an embodiment of the present invention, the road surface, the non-road surface, and the front part (bonnet) of the vehicle are extracted from the frame (reference image) extracted from the black box image in the embodiment of the present invention. Thus, the road surface image 220 excludes the non-road surface portion 204 and the bonnet portion 206 of the vehicle.

신경망 모델을 이용하여 훈련시키기 위하여, 도로 표면 이미지(220)를 도 13에 도시된 바와 같이, 도로 표면 영역에 대한 패치 이미지(230)를 생성한다. 이 때, 패치 이미지(230)는 720 × 240 픽셀 크기의 패치 이미지(232)로 크랙 검출 영역을 제한한다.In order to train using the neural network model, as shown in FIG. 13 , a road surface image 220 is generated as a patch image 230 for a road surface region. In this case, the patch image 230 limits the crack detection area to the patch image 232 having a size of 720 × 240 pixels.

설계된 CNN 모델(210)은 720 × 240 픽셀 크기의 패치 이미지(232) 내에서 40 × 40 픽셀 크기의 패치를 선택하여 도로 크랙, 차선 그리고 손상되지 않은 도로 표면의 클래스로 구분한다. 크랙의 경우, 패치 이미지(232)의 가장자리에 있으면 검출이 되지 않을 수 있으므로, 패치 이미지(232)에서 가장자리에 있는 크랙 부분도 검출할 수 있도록 설계한다.The designed CNN model 210 selects a patch with a size of 40 × 40 pixels from the patch image 232 with a size of 720 × 240 pixels and classifies it into classes of road cracks, lanes, and undamaged road surfaces. In the case of a crack, if it is located at the edge of the patch image 232 , it may not be detected, so it is designed to detect a crack part at the edge of the patch image 232 .

이를 위해 40 × 40 픽셀 크기의 패치가 원래 위치로부터 상하 좌우 방향 각각으로 20 픽셀씩 떨어진 곳에 위치한 사각형 이미지(234) 또한 테스트 이미지로 활용되도록 데이터를 구축한다. 즉, 사각형 이미지(232)는 패치 이미지(232)에서 상하 좌우 방향으로 20 픽셀씩 떨어져 생성된 패치 이미지이다. 따라서 도로 표면에 대한 패치 이미지(232)와 사각형 이미지(234)를 중첩시켜서 중첩 패치 이미지(236, 238)을 생성한다.To this end, data is constructed so that a square image 234 in which a patch having a size of 40 × 40 pixels is located 20 pixels apart in each of the vertical and horizontal directions from the original position is also used as a test image. That is, the rectangular image 232 is a patch image generated 20 pixels apart from the patch image 232 in the vertical, horizontal, and vertical directions. Accordingly, the patch image 232 and the square image 234 for the road surface are superimposed to generate overlapping patch images 236 and 238 .

40 × 40 픽셀 크기의 패치에 대해 CNN 모델을 적용한 결과, 도 14에 도시된 바와 같이, 도로 크랙으로 검출(240)된다. 여기서 도로 크랙으로 분류된 패치(242)는 붉은 색 테두리로 나타낸다.As a result of applying the CNN model to a patch having a size of 40 × 40 pixels, as shown in FIG. 14 , it is detected as a road crack ( 240 ). Here, the patch 242 classified as a road crack is indicated by a red border.

도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 15의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 도로 크랙 검출 장치 일 수 있다. 15 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 15 may be the road crack detection device described herein.

도 15의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 15 , the computing device TN100 may include at least one processor TN110 , a transceiver device TN120 , and a memory TN130 . In addition, the computing device TN100 may further include a storage device TN140 , an input interface device TN150 , an output interface device TN160 , and the like. Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed. The processor TN110 may be configured to implement procedures, functions, methods, and the like described in connection with an embodiment of the present invention. The processor TN110 may control each component of the computing device TN100 .

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110 . Each of the memory TN130 and the storage device TN140 may be configured as at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory TN130 may include at least one of a read only memory (ROM) and a random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transceiver TN120 may transmit or receive a wired signal or a wireless signal. The transceiver TN120 may be connected to a network to perform communication.

한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 본 발명은 하드웨어와 결합되어, 본 발명에 따른 도로 크랙 검출 방법을 실행시키기 위하여, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.Meanwhile, the present invention may be implemented as a computer program. The present invention may be implemented as a computer program stored in a computer-readable recording medium in order to execute the road crack detection method according to the present invention in combination with hardware.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. The methods according to the embodiment of the present invention may be implemented in the form of a program readable by various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination.

기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CDROMs and DVDs, and magneto-optical media such as floppy disks. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. Examples of program instructions may include not only machine language such as generated by a compiler, but also a high-level language that can be executed by a computer using an interpreter or the like.

이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiment of the present invention has been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also presented. It belongs to the scope of the invention.

10a, 10b : 블랙박스 100 : 도로 크랙 검출 장치
110 : 데이터 수집부 120 : 이미지 추출부
130 : 패치 이미지 생성부 140 : 모델 훈련부
150 : 크랙 검출부10a, 10b: black box 100: road crack detection device
110: data collection unit 120: image extraction unit
130: patch image generation unit 140: model training unit
150: crack detection unit

Claims (13)

차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집부;
상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출부;
상기 이미지 추출부에서 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부;
상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및,
임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출부;를 포함하는 도로 크랙 검출 장치.a data collection unit that is photographed by a vehicle black box and collects a plurality of image data including location information;
an image extracting unit for extracting a plurality of reference images based on the moving distance information of the vehicle calculated by using the location information included in the collected plurality of image data;
A patch image generation unit that selects the reference image extracted from the image extraction unit in units of pixels of a certain size to classify a class for each road crack, lane, and undamaged road, and generates a patch image for each classified class ;
a model training unit for training each patch image generated by the patch image generation unit to extract road cracks using a neural network model; and,
When a plurality of image data including location information is input from an arbitrary vehicle black box, a plurality of reference frames are extracted based on the moving distance information of the vehicle calculated using the location information included in the plurality of input image data, and , A crack detection unit that extracts an image of a road surface from the plurality of extracted reference frames, and detects a road crack by applying a neural network model trained from the model training unit to the extracted image. 청구항 1에 있어서, 상기 이미지 추출부는,
상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출하는 도로 크랙 검출 장치.The method according to claim 1, The image extraction unit,
The accumulated moving distance of the vehicle is calculated using the location information included in the plurality of collected image data, and an image including location information in which the calculated accumulated moving distance is a multiple of a preset reference distance is extracted as a reference image road crack detection device. 청구항 2에 있어서, 상기 이미지 추출부는,
산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함하는 도로 크랙 검출 장치.The method according to claim 2, The image extraction unit,
When the calculated cumulative moving distance is n times or more (n+1) times the reference distance, n reference images are extracted, and each of the n reference images includes initial position information that is a multiple of the reference distance road crack detection device. 청구항 2에 있어서, 상기 이미지 추출부는,
상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출하는 도로 크랙 검출 장치.The method according to claim 2, The image extraction unit,
A road crack detection apparatus for extracting the reference image by using a proportional expression that considers that the moving distance of each of the images is the same for a plurality of images that do not include the location information existing between the images including the location information . 청구항 1에 있어서,
상기 패치 이미지 생성부는, 상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성하는, 도로 크랙 검출 장치.The method according to claim 1,
The patch image generating unit extracts the image extracted from the image extracting unit as an image of a predetermined size to limit a crack detection area, and generates the patch image in the limited crack detection area. 청구항 1에 있어서, 상기 모델 훈련부는,
도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며,
상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 도로 크랙 검출 장치.The method according to claim 1, The model training unit,
Calculate and output the probability for detecting road cracks by training patch images for each road crack, lane, and undamaged road,
The image of the road surface is a road crack detection apparatus for extracting an image of the road surface by excluding a portion other than the road surface and an image of the front portion of the vehicle from the extracted frame. 차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계;
상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계;
상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계;
상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및,
임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 포함하는 도로 크랙 검출 방법.A data collection step of collecting a plurality of image data captured by a vehicle black box and including location information;
an image extraction step of extracting a plurality of reference images based on the moving distance information of the vehicle calculated using the location information included in the collected plurality of image data;
a patch image generation step of selecting the extracted reference image in units of pixels of a certain size, classifying a class for each of road cracks, lanes, and undamaged roads, and generating a patch image for each of the classified classes;
a model training step of training each of the generated patch images to extract road cracks using a neural network model; and,
When a plurality of image data including location information is input from an arbitrary vehicle black box, a plurality of reference frames are extracted based on the moving distance information of the vehicle calculated using the location information included in the plurality of input image data, and , A crack detection step of extracting an image of a road surface from the plurality of extracted reference frames, and detecting a road crack by applying a neural network model trained from the model training unit to the extracted image. 청구항 7에 있어서, 상기 이미지 추출단계는,
상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출하는 도로 크랙 검출 방법.The method according to claim 7, wherein the image extraction step,
The accumulated moving distance of the vehicle is calculated using the location information included in the plurality of collected image data, and an image including location information in which the calculated accumulated moving distance is a multiple of a preset reference distance is extracted as a reference image How to detect road cracks. 청구항 8에 있어서, 상기 이미지 추출단계는,
산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함하는 도로 크랙 검출 방법.The method according to claim 8, wherein the image extraction step,
When the calculated cumulative moving distance is n times or more (n+1) times the reference distance, n reference images are extracted, and each of the n reference images includes initial position information that is a multiple of the reference distance How to detect road cracks. 청구항 8에 있어서, 상기 이미지 추출단계는,
상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출하는 도로 크랙 검출 방법.The method according to claim 8, wherein the image extraction step,
A road crack detection method for extracting the reference image by using a proportional expression in which the moving distance of each of the images is considered to be the same for a plurality of images that do not include the location information existing between the images including the location information . 청구항 7에 있어서,
상기 패치 이미지 생성부는, 상기 이미지 추출단계로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성하는, 도로 크랙 검출 방법.8. The method of claim 7,
The patch image generating unit extracts the image extracted from the image extraction step as an image of a predetermined size to limit a crack detection area, and generates the patch image in the limited crack detection area. 청구항 7에 있어서, 상기 모델 훈련단계는,
도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며,
상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 도로 크랙 검출 방법.The method according to claim 7, wherein the model training step,
Calculate and output the probability for detecting road cracks by training patch images for each road crack, lane, and undamaged road,
The image of the road surface is a road crack detection method for extracting an image of the road surface by excluding a portion other than the road surface and an image of the front portion of the vehicle from the extracted frame. 컴퓨터에 의해 실행되며,
차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계;
상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계;
상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계;
상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및,
임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능한 기록 매체.run by the computer,
A data collection step of collecting a plurality of image data captured by a vehicle black box and including location information;
an image extraction step of extracting a plurality of reference images based on the moving distance information of the vehicle calculated using the location information included in the collected plurality of image data;
a patch image generation step of selecting the extracted reference image in units of pixels of a certain size, classifying a class for each of road cracks, lanes, and undamaged roads, and generating a patch image for each of the classified classes;
a model training step of training each of the generated patch images to extract road cracks using a neural network model; and,
When a plurality of image data including location information is input from an arbitrary vehicle black box, a plurality of reference frames are extracted based on the moving distance information of the vehicle calculated using the location information included in the plurality of input image data, and , a crack detection step of extracting an image of a road surface from a plurality of extracted reference frames, and detecting a road crack by applying a neural network model trained from the model training unit to the extracted image; possible recording media.
KR1020200060263A 2020-05-20 2020-05-20 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same KR102334709B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200060263A KR102334709B1 (en) 2020-05-20 2020-05-20 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200060263A KR102334709B1 (en) 2020-05-20 2020-05-20 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same

Publications (3)

Publication Number Publication Date
KR20210143465A true KR20210143465A (en) 2021-11-29
KR102334709B1 KR102334709B1 (en) 2021-12-02
KR102334709B9 KR102334709B9 (en) 2022-04-11

Family

ID=78697951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200060263A KR102334709B1 (en) 2020-05-20 2020-05-20 Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same

Country Status (1)

Country Link
KR (1) KR102334709B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090053623A (en) * 2007-11-23 2009-05-27 (주)엠앤소프트 Method and apparatus for acquiring road image information
KR101178772B1 (en) 2009-09-22 2012-09-07 휴앤에스(주) system and methode for road managing
KR101543342B1 (en) 2015-02-23 2015-08-11 한국건설기술연구원 System for processing pot-hole data of road pavement using vehicle communication network, and method for the same
KR20160039316A (en) 2014-10-01 2016-04-11 한국도로공사 Crack measurement system for a paved road and method thereof
KR101772916B1 (en) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure
KR101926561B1 (en) * 2018-03-13 2018-12-07 연세대학교 산학협력단 Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090053623A (en) * 2007-11-23 2009-05-27 (주)엠앤소프트 Method and apparatus for acquiring road image information
KR101178772B1 (en) 2009-09-22 2012-09-07 휴앤에스(주) system and methode for road managing
KR20160039316A (en) 2014-10-01 2016-04-11 한국도로공사 Crack measurement system for a paved road and method thereof
KR101543342B1 (en) 2015-02-23 2015-08-11 한국건설기술연구원 System for processing pot-hole data of road pavement using vehicle communication network, and method for the same
KR101772916B1 (en) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure
KR101926561B1 (en) * 2018-03-13 2018-12-07 연세대학교 산학협력단 Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same

Also Published As

Publication number Publication date
KR102334709B9 (en) 2022-04-11
KR102334709B1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
KR101926561B1 (en) Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same
US20210374437A1 (en) Structured prediction crosswalk generation
CN106570446B (en) The method and apparatus of lane line drawing
CN108364466B (en) Traffic flow statistical method based on unmanned aerial vehicle traffic video
CN107633516A (en) A kind of method and apparatus for identifying surface deformation class disease
CN111325788B (en) Building height determination method based on street view picture
JP2018018461A (en) Information processing apparatus, display device, information processing method, and program
CN104463903A (en) Pedestrian image real-time detection method based on target behavior analysis
CN104239867A (en) License plate locating method and system
CN113781537B (en) Rail elastic strip fastener defect identification method and device and computer equipment
Kortmann et al. Detecting various road damage types in global countries utilizing faster r-cnn
Arjapure et al. Deep learning model for pothole detection and area computation
JP2015064752A (en) Vehicle monitoring device and vehicle monitoring method
CN107808524A (en) A kind of intersection vehicle checking method based on unmanned plane
Kotha et al. Potsense: Pothole detection on Indian roads using smartphone sensors
Wei et al. Damage inspection for road markings based on images with hierarchical semantic segmentation strategy and dynamic homography estimation
Guerrieri et al. Flexible and stone pavements distress detection and measurement by deep learning and low-cost detection devices
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
Mukherjee et al. AI driven road maintenance inspection
Hassan et al. Detecting patches on road pavement images acquired with 3D laser sensors using object detection and deep learning
CN112598743B (en) Pose estimation method and related device for monocular vision image
CN113744291A (en) Mine rockfall detection method and device based on deep learning
KR102334709B1 (en) Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same
EP4250245A1 (en) System and method for determining a viewpoint of a traffic camera
CN110210324B (en) Road target rapid detection early warning method and system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]