KR20220075999A - Pothole detection device and method based on deep learning - Google Patents
Pothole detection device and method based on deep learning Download PDFInfo
- Publication number
- KR20220075999A KR20220075999A KR1020200164731A KR20200164731A KR20220075999A KR 20220075999 A KR20220075999 A KR 20220075999A KR 1020200164731 A KR1020200164731 A KR 1020200164731A KR 20200164731 A KR20200164731 A KR 20200164731A KR 20220075999 A KR20220075999 A KR 20220075999A
- Authority
- KR
- South Korea
- Prior art keywords
- porthole
- image
- road damage
- deep learning
- detecting
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥러닝 기반의 도로손상 탐지 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 딥러닝 기반의 도로손상 탐지 장치는 다양한 모양과 크기를 가지는 포트홀의 특징을 추출하여 포트홀을 용이하게 탐지할 수 있다. The present invention relates to an apparatus and method for detecting road damage based on deep learning. According to an embodiment of the present invention, a deep learning-based road damage detection apparatus can easily detect a porthole by extracting features of a porthole having various shapes and sizes.
Description
본 발명은 도로손상 탐지 기술에 관한 것으로, 더욱 상세하게는 딥러닝을 이용하여 도로손상 이미지에서 포트홀을 탐지하는 장치 및 방법에 관한 것이다.The present invention relates to a road damage detection technology, and more particularly, to an apparatus and method for detecting a porthole in a road damage image using deep learning.
도로는 기후 변화, 도로 노후 등의 다양한 요인으로 인해 흠집, 포트 홀 등이 발생한다. 도로 손상에서 포트홀은 차량의 손상과 교통사고를 유발하는 주요 원인으로, 교통 안전과 사고 발생을 대비하기 위해 실시간으로 도로의 유지 보수 및 관리가 이루어진다. 도로손상을 탐지하기 위한 방법으로 센서, 레이저 등을 이용하고 있으며, 실시간 영상에서 포트홀이나 크랙을 탐지하는 컴퓨터 비전, 딥러닝에 대한 연구가 활발하게 진행되고 있다. Roads are prone to scratches and potholes due to various factors such as climate change and road aging. In road damage, potholes are a major cause of vehicle damage and traffic accidents, and road maintenance and management are performed in real time to prepare for traffic safety and accidents. Sensors and lasers are used as methods to detect road damage, and research on computer vision and deep learning that detects potholes or cracks in real-time images is being actively conducted.
그러나, 센서, 레이저를 이용한 도로손상 탐지에는 비용문제가 발생하며, 딥러닝을 이용한 도로손상 탐지에는 효과적으로 도로손상을 예측할 수 있는 알고리즘의 개발이 미약하다. 또한, 도로 손상과 관련된 이미지에는 포트 홀, 크랙, 그림자, 차선 등의 객체가 포함되어 있기 때문에 특정 객체를 탐지하기 어려운 문제점이 있다. However, there is a cost problem in detecting road damage using sensors and lasers, and development of an algorithm that can effectively predict road damage is weak in detecting road damage using deep learning. In addition, since the image related to road damage includes objects such as potholes, cracks, shadows, and lanes, there is a problem in that it is difficult to detect a specific object.
본 발명의 배경기술은 대한민국 등록특허 제 10-1969758호에 게시되어 있다. Background art of the present invention is disclosed in Korean Patent Registration No. 10-1969758.
본 발명은 에지 검출을 통해 포트홀의 윤곽선을 추출하는 딥러닝 기반의 도로손상 탐지 장치를 제공하는 것이다.The present invention provides an apparatus for detecting road damage based on deep learning that extracts the contour of a porthole through edge detection.
본 발명은 딥러닝을 이용하여 포트홀을 탐지하고 분류하는 딥러닝 기반의 도로손상 탐지 장치를 제공하는 것이다.The present invention is to provide a deep learning-based road damage detection apparatus for detecting and classifying a porthole using deep learning.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. There will be.
본 발명의 일 측면에 따르면, 딥러닝 기반의 도로손상 탐지 장치가 제공된다.According to one aspect of the present invention, there is provided an apparatus for detecting road damage based on deep learning.
본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치는 도로손상 이미지에 대한 전처리를 수행하는 전처리부, 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하는 윤곽추출부 및 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 인식하는 포트홀분류부를 포함할 수 있다.A road damage detection device based on deep learning according to an embodiment of the present invention includes a preprocessor for performing preprocessing on a road damage image, a contour extractor for detecting a porthole in the preprocessed road damage image and extracting an outline of the porthole, and a porthole It may include a porthole classification unit for recognizing the characteristics of the porthole in the road damage image from which the contour is extracted.
본 발명의 다른 일 측면에 따르면, 딥러닝 기반의 도로손상 탐지 방법이 제공된다.According to another aspect of the present invention, a deep learning-based road damage detection method is provided.
본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 방법은 도로손상 이미지에 대한 전처리를 수행하는 단계, 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하는 단계 및 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 인식하는 단계를 포함할 수 있다.A deep learning-based road damage detection method according to an embodiment of the present invention includes the steps of performing pre-processing on a road damage image, detecting a porthole in the preprocessed road damage image and extracting the outline of the porthole, and the outline of the porthole is extracted It may include the step of recognizing the characteristics of the porthole in the damaged road image.
본 발명의 실시예에 따르면, 딥러닝 기반의 도로손상 탐지 장치는 에지 검출을 통해 포트홀의 윤곽선을 추출할 수 있다.According to an embodiment of the present invention, the device for detecting road damage based on deep learning may extract the outline of the porthole through edge detection.
본 발명의 실시예에 따르면, 딥러닝 기반의 도로손상 탐지 장치는 딥러닝을 이용하여 포트홀을 탐지하고 분류할 수 있다.According to an embodiment of the present invention, an apparatus for detecting road damage based on deep learning may detect and classify a porthole using deep learning.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, but it should be understood to include all effects that can be inferred from the configuration of the invention described in the description or claims of the present invention.
도 1 내지 도 7은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치를 설명하기 위한 도면들.
도 8 내지 도 16은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 성능을 예시한 도면들.
도 17은 본 발명의 일 실시 예에 따른 분류된 포트홀 이미지와 기존 탐지 기법으로 분류된 포트홀 이미지를 비교하기 위한 또다른 예시 도면.
도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 방법을 설명하기 위한 도면.1 to 7 are diagrams for explaining an apparatus for detecting road damage based on deep learning according to an embodiment of the present invention.
8 to 16 are diagrams illustrating the performance of an apparatus for detecting road damage based on deep learning according to an embodiment of the present invention.
17 is another exemplary diagram for comparing a classified porthole image with a porthole image classified by an existing detection technique according to an embodiment of the present invention.
18 is a diagram for explaining a method for detecting road damage based on deep learning according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Also, the expressions "a" and "a", "a" and "a", as used in this specification and claims, should generally be construed to mean "one or more" unless stated otherwise.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with
도 1 내지 도 7은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치를 설명하기 위한 도면들이다.1 to 7 are diagrams for explaining an apparatus for detecting road damage based on deep learning according to an embodiment of the present invention.
도 1을 참조하면, 딥러닝 기반의 도로손상 탐지 장치(100)는 전처리부(110), 윤곽추출부(130) 및 포트홀분류부(150)를 포함한다.Referring to FIG. 1 , the deep learning-based road damage detection apparatus 100 includes a
전처리부(110)는 입력 받은 도로손상 이미지에 대한 전처리를 수행한다. 구체적으로, 전처리부(110)는 도로손상 이미지에서 포트홀 영역을 제외한 객체를 탐지하여 제거하는 전처리 과정을 수행한다. 일반적으로, 도로손상 이미지는 사람, 자동차, 나무, 가로등, 건물 등의 많은 객체들이 포함되어 있으며, 이러한 객체들이 포트홀로 오인식되어 탐지 정확도를 낮출 수 있다. 전처리부(110)는 포트홀 영역을 제외한 객체들을 전처리 과정을 통해 제거함으로써 포트홀 탐지 정확도를 높일 수 있다.The
도 2를 참조하면, 전처리부(110)는 이미지변환부(111), 객체탐지부(113) 및 객체제거부(115)를 포함한다. Referring to FIG. 2 , the
이미지변환부(111)는 다채널의 도로손상 이미지를 입력 받아 단일 채널의 이미지로 변환한다. 예를 들어, 이미지변환부(111)는 다채널의 RGB 도로손상 이미지를 입력 받아 단일 채널의 그레이스케일 이미지(Grayscale Image)로 변환한다. 이미지변환부(111)는 이미지 변환을 통해 이미지의 형상에 손상을 주지 않고 데이터 양을 감소시킬 수 있다. 이미지변환부(111)는 컴퓨터 비전과 머신러닝에 관련된 다양한 알고리즘을 제공하는 OpenCV 라이브러리를 이용하여 다채널의 도로손상 이미지를 단일 채널의 그레이스케일 이미지로 변환할 수 있으며, 변환된 그레이스케일 이미지를 픽셀에 따라 수치화하여 행렬로 구성할 수 있다. The
객체탐지부(113)는 단일 채널 이미지에서 객체 탐지를 수행한다. 구체적으로, 객체탐지부(113)는 기학습된 YOLO(You Only Look Once) 신경망을 이용하여 도로손상 영역을 제외한 객체를 탐지한다. The
도 3을 참조하면, YOLO 신경망은 이미지 내에서 특정 대상을 인식하는 객체 탐지 모델로, 컨볼루션 레이어(Convolution Layer) 및 특징맵(Feature Map)을 거쳐 입력된 이미지(Input Image)에서의 객체 종류와 위치를 예측한다. YOLO 신경망은 하나의 네트워크를 사용하여 이미지 데이터에 대한 특징을 추출하고, 경계박스를 생성하여 클래스(class)를 분류한다. Referring to FIG. 3 , the YOLO neural network is an object detection model that recognizes a specific object in an image, and the type of object in the input image through the convolution layer and the feature map predict the location YOLO neural network uses one network to extract features from image data, and classifies classes by creating bounding boxes.
다시 도 2를 참조하면, 객체제거부(115)는 YOLO 신경망을 통해 생성된 경계박스의 픽셀값을 255로 대체하여 객체를 제거한다. 여기서, 객체제거부(115)는 경계박스의 픽셀값을 255로 대체하여 흰 배경을 생성함으로써 포트홀의 특징과 구별되도록 한다.Referring back to FIG. 2 , the
다시 도 1을 참조하면, 윤곽추출부(130)는 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출한다. 구체적으로, 윤곽추출부(130)는 도 4와 같이 포트홀의 윤곽선을 추출하기 위해 에지 검출(edge detection)을 수행한다. 에지 검출은 윤곽선(edge)에 해당하는 픽셀을 추출하는 것으로, 편미분 연산을 통해 기울기를 구하고, 일차 미분을 이용하여 이미지 내 윤곽선의 존재를 확인한 후, 이차 미분을 이용하여 윤곽선 픽셀의 밝고 어두운 부분의 위치를 확인하는 과정을 거쳐 포트홀의 윤곽선을 추출한다. 도로손상 이미지에서 포트홀은 주변보다 어두운 특징을 지니고 있으므로, 에지 검출을 통한 포트홀 윤곽선 추출이 가능하다.Referring back to FIG. 1 , the
윤곽추출부(130)는 라플라시안(Laplacian) 마스크를 이용하여 에지 검출을 수행한다. 여기서, 마스크는 영상 처리에서 잡음 제거, 예리화, 에지 검출 시에 사용되는 필터이다. 마스크는 미분 연산자와 동일한 효과를 가지며, 마스크 내의 모든 픽셀의 합이 0을 가지는 특징이 있다. 라플라시안 마스크는 날카로운 특징을 가진 필터로, 연산속도가 빠르며 모든 방향의 윤곽선을 검출할 수 있다. 윤곽추출부(130)는3x3 크기의 라플라시안 마스크를 이용하여 에지 검출을 수행할 수 있다. The
다시 도 1을 참조하면, 포트홀분류부(150)는 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지한다. 구체적으로, 포트홀분류부(150)는 기학습된 YOLO 신경망을 이용하여 포트홀의 특징을 탐지한다. 포트홀분류부(150)는 도 5와 같이 YOLO 신경망 내에 CNN(Convolution Neural Network) 방식을 추가로 사용하여 포트홀의 특징을 탐지한다. YOLO 신경망은 24개의 컨볼루션 레이어와 2개의 풀리 커넥티드(Fully Connected) 레이어로 구성되며, 아래의 수학식 1을 손실 함수로 이용한다. Referring back to FIG. 1 , the
[수학식 1] [Equation 1]
여기서, S는 그리드 셀의 크기를 나타내며, 전체 그리드 셀의 개수는 S2로 나타낸다. CS는 신뢰도 점수(Confidence Score)이고, 
수학식 1에서, 객체가 존재하는 그리드 셀의 프레딕터 바운딩 박스(predictor bounding box)에 대한 k와 l의 로스(loss)값을 연산한다. 이후, 객체가 존재하는 i번째 그리드 셀의 j번째 프레딕터 바운딩 박스에 대해 h의 로스값을 연산한다. 큰 박스에 대해서는 제곱근을 적용한 후 오차 제곱의 합(sum squared error)을 계산한다. 다음으로, 객체가 존재하는 i번째 그리드 셀의 j번째 프레딕터 바운딩 박스에 대해 신뢰도 점수의 로스값을 계산한다. 이후, 객체가 존재하지 않는 i번째 그리드 셀의 j번째 프레딕터 바운딩 박스에 대해 신뢰도 점수의 로스값을 계산한다. 마지막으로, 객체가 존재하는 그리드 셀에 대해서 조건부 클래스 확률의 로스값을 계산한다. In
포트홀분류부(150)는 손실 함수를 통해 생성된 모델에서 포트홀의 특징을 탐지한다. 예를 들어, 포트홀분류부(150)는 추출된 바운딩 박스의 후보영역과 주변 영역의 크기를 비교하고, 바운딩 박스의 좌표를 통해 포트홀의 크기를 탐지할 수 있다. 또한, 포트홀분류부(150)는 포트홀의 길이, 높이 및 면적 등을 탐지할 수 있다. The
이후, 포트홀분류부(150)는 아래의 수학식 2을 통해 탐지된 포트홀의 특징에 따라 포트홀을 분류한다. Thereafter, the
[수학식 2][Equation 2]
여기서, w는 길이, h는 높이, a는 면적의 임계값을 나타낸다. Here, w is the length, h is the height, and a is the threshold of the area.
포트홀분류부(150)는 탐지된 포트홀의 길이, 높이 및 면적이 기설정된 임계값보다 클 경우 포트홀이라고 판단하여 분류 결과를 1로 출력하고, 그렇지 않은 경우 포트홀이 아님으로 판단하여 분류 결과를 0으로 출력한다.If the length, height, and area of the detected pothole are larger than the preset threshold value, the
도 6을 참조하면, 포트홀분류부(150)는 화면을 통해 포트홀 분류 결과를 포함한 정보를 출력할 수 있다. 포트홀분류부(150)는 현재 시간 및 날짜를 출력할 수 있다. 또한, 포트홀분류부(150)는 서울특별시, 인천광역시, 경기도, 전라 남·북도, 충청 남·북도, 경상남·북도 및 제주도 단위로 도로의 포트홀 발생 여부를 파악한 결과를 출력할 수 있다. 포트홀분류부(150)는 특정 지역에서의 포트홀 발생 결과를 출력함으로써 유지보수, 도로 이용 여부 등에 대한 정보를 제공할 수 있다. Referring to FIG. 6 , the
도 7을 참조하면, 딥러닝 기반의 도로손상 탐지 장치(100)는 포트홀 분류를 위한 명령어를 구성한다. 명령어는 도로손상 이미지 데이터 전처리 단계, 포트홀 윤곽선 추출 단계 및 포트홀 분류 단계를 포함한다. Referring to FIG. 7 , the deep learning-based road damage detection apparatus 100 configures commands for porthole classification. The instructions include a road damage image data preprocessing step, a pothole contour extraction step, and a pothole classification step.
도 8 내지 도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 포트홀 분류 성능을 예시한 도면들이다. 8 to 18 are diagrams illustrating porthole classification performance of an apparatus for detecting road damage based on deep learning according to an embodiment of the present invention.
도 8을 참조하면, 포트홀 분류 이미지의 왜곡률 및 복원율 성능평가 결과, MSE(Mean Square Error)는 최소 0.2에서 최대 0.44까지 측정되었으며, PSNR(Peak Signal-to-Noise Ratio)는 50db 이상의 값이 측정되었다. 여기서, MSE는 평균 제곱 오차를 의미하며, PSNR(Peak Signal-to-Noise Ratio)는 최대신호대 잡음비를 의미한다. 또한, 압축 및 변환에 의해 발생하는 왜곡에 대해 원본 데이터에 대한 유사도를 측정하는 구조적 유사 지수를 나타내는 SSIM(Structural similarity Index Map)은 0.71~0.82이 측정되었다. 이를 통해, 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 포트홀 분류 성능이 우수함을 확인할 수 있다. Referring to FIG. 8 , as a result of performance evaluation of the distortion rate and restoration rate of the porthole classification image, the mean square error (MSE) was measured from a minimum of 0.2 to a maximum of 0.44, and a peak signal-to-noise ratio (PSNR) of 50 db or more was measured. . Here, MSE means the mean squared error, and PSNR (Peak Signal-to-Noise Ratio) means the maximum signal-to-noise ratio. In addition, the Structural Similarity Index Map (SSIM), which measures the similarity to the original data for distortion caused by compression and transformation, was 0.71 to 0.82. Through this, it can be confirmed that the porthole classification performance of the device for detecting road damage based on deep learning according to an embodiment of the present invention is excellent.
도 9 및 도 10을 참조하면, 본 발명의 일 실시 예에 따른 포트홀 분류 이미지의 정확도 평가 결과, 최소 58.9%에서 최대 96.2%까지 포트홀 유무를 예측하는 것으로 측정되었다. 또한, 같은 구역의 도로에 포트홀이 복수 개 존재하거나 포트홀과 크랙이 모두 존재하는 등 포트홀과 다른 도로 손상의 결과가 동시에 포함된 이미지로 포트홀 분류를 진행한 결과, 평균 74%의 정확도가 측정되었으며, 6개의 이미지 데이터 모두 65% 이상의 정확도가 측정되었다. 여기서, Complex_1은 라인과 포트홀, 크랙이 포함된 이미지, Complex_2는 포트홀이 여러 개 존재하는 이미지, Complex_3은 자동차, 오토바이, 포트홀이 포함된 이미지, Complex_4는 라인과 포트홀이 포함된 이미지, Complex_5는 야간의 포트홀과 라인이 포함된 이미지이며, Complex_6은 크랙, 라인, 자동차가 포함된 이미지이다. 9 and 10 , as a result of evaluating the accuracy of the porthole classification image according to an embodiment of the present invention, it was measured to predict the presence or absence of a porthole from a minimum of 58.9% to a maximum of 96.2%. In addition, as a result of classifying a pothole with an image that contains the results of both the pothole and other road damage, such as multiple potholes or both potholes and cracks on the road in the same area, an average of 74% accuracy was measured, More than 65% accuracy was measured for all six image data. Here, Complex_1 is an image with lines, potholes and cracks, Complex_2 is an image with multiple potholes, Complex_3 is an image with cars, motorcycles, and potholes, Complex_4 is an image with lines and potholes, Complex_5 is a nighttime image It is an image that includes potholes and lines, and Complex_6 is an image that includes cracks, lines, and cars.
도 11 및 도 12를 참조하면, 오차 행렬(confusion matrix)을 이용한 본 발명의 일 실시 예에 따른 10개의 단일 포트홀 분류 이미지의 평가 결과, TP (True Positive)는 5, FN (False Negative)는 2, FP (False Positive)는 1, TN (True Negative)는 2로 측정되었으며, 정밀도로 환산한 값은 약 83%이다. 여기서, FN은 실제 포트홀일 때 결과가 포트홀이 아니라고 판단한 경우, FP는 실제 포트홀이 아니지만 예측 결과가 포트홀이라고 판단한 경우, TN은 실제 포트홀이 아닐 때 예측 결과가 포트홀이 아니라고 예측한 경우를 의미한다. 또한, AUC(Area Uner Curve)를 이용한 10개의 단일 포트홀 분류 이미지의 평가 결과, AUC의 면적은 0.9로 측정되었다. 여기서, 가로축은 FPR(False Positive Rate)를 나타내며, 세로축은 TPR(True Positive Rate)을 나타낸다. 11 and 12 , as a result of evaluation of 10 single porthole classification images according to an embodiment of the present invention using a confusion matrix, TP (True Positive) is 5, FN (False Negative) is 2 , FP (False Positive) was measured as 1, TN (True Negative) was measured as 2, and the value converted to precision is about 83%. Here, when FN is an actual porthole, when it is determined that the result is not a porthole, FP is not an actual porthole, but when it is determined that the predicted result is a porthole, TN means a case where the predicted result is not a porthole when it is not an actual porthole. In addition, as a result of evaluation of 10 single porthole classification images using Area Uner Curve (AUC), the area of AUC was measured to be 0.9. Here, the horizontal axis indicates false positive rate (FPR), and the vertical axis indicates true positive rate (TPR).
도 13 및 도 14를 참조하면, 오차 행렬(confusion matrix)을 이용한 6개의 복합적인 환경의 포트홀 분류 이미지 평가 결과, TP (True Positive)는 3, FN (False Negative)는 2, FP (False Positive)는 1, TN (True Negative)는 0으로 측정되었으며, 정밀도로 환산한 값은 약 75%이다. 또한, AUC(Area Uner Curve)를 이용한 6개의 복합적인 환경의 포트홀 분류 이미지 평가 결과, AUC의 면적은 0.733으로 측정되었다. 이를 통해, 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 장치의 포트홀 분류 성능이 우수함을 확인할 수 있다. 13 and 14, the results of evaluation of the porthole classification image of six complex environments using the confusion matrix, TP (True Positive) is 3, FN (False Negative) is 2, FP (False Positive) is measured as 1 and TN (True Negative) is 0, and the value converted to precision is about 75%. In addition, as a result of evaluating the porthole classification image of six complex environments using the Area Uner Curve (AUC), the area of the AUC was measured to be 0.733. Through this, it can be confirmed that the porthole classification performance of the device for detecting road damage based on deep learning according to an embodiment of the present invention is excellent.
도 15를 참조하면, 라플라시안 마스크를 이용하여 분류한 포트홀 이미지는 기존의 마스크를 이용하여 분류한 포트홀 이미지보다 더 효과적인 분류 성능을 나타낸다. 각각의 마스크를 이용하여 분류한 4개의 포트홀 이미지의 PSNR(Peak Signal to Noise Ratio)를 평가한 결과, 소벨(Sobel) 마스크의 경우 49.672, 프르윗(Prewitt) 마스크의 경우 50.156, 로버트(Robert) 마스크의 경우 46.852, 라플라시안(Laplacian) 마스크의 경우 54.859, 캐니(Canny) 마스크의 경우 52.020로 측정되었으며, 라플라시안 마스크를 사용했을 경우 PSNR의 값이 가장 높게 측정된 것을 확인할 수 있다. Referring to FIG. 15 , a porthole image classified using a Laplacian mask exhibits more effective classification performance than a porthole image classified using a conventional mask. As a result of evaluating the PSNR (Peak Signal to Noise Ratio) of the four porthole images classified using each mask, 49.672 for Sobel mask, 50.156 for Prewitt mask, and Robert mask 46.852 for the Laplacian mask, 54.859 for the Laplacian mask, and 52.020 for the Canny mask.
도 16을 참조하면, 라플라시안 마스크를 이용하여 분류한 포트홀 이미지는 3x3 크기의 라플라시안 마스크를 이용했을 때 가장 높은 정확도 수치인 0.88이 측정된다는 것을 확인할 수 있다. Referring to FIG. 16 , it can be seen that, in the porthole image classified using the Laplacian mask, 0.88, the highest accuracy value, is measured when the 3x3 size Laplacian mask is used.
도 17은 본 발명의 일 실시 예에 따른 분류된 포트홀 이미지와 기존 탐지 기법으로 분류된 포트홀 이미지를 비교하기 위한 또다른 예시이다. 본 발명의 일 실시 예에 따른 분류된 포트홀 이미지(Ours)는 기존 기법을 통해 분류된 포트홀 이미지보다 정밀도(Precision) 및 정확도(Accuracy) 측면에서 더 효과적인 분류 성능을 나타낸다. Aparna et al. 기법의 경우 포트홀만 존재하는 이미지 데이터를 사용하므로 다른 객체가 존재하는 이미지에서는 포트홀을 정확히 탐지하지 못하기 때문에 성능이 낮게 측정된다. 또한, M. H. Yousaf et al. 기법의 경우 아스팔트의 도로 이미지만 사용 가능하여 제한적이며, 포트홀의 모양이 유사할 경우에만 탐지가 가능하다.17 is another example for comparing the classified porthole image with the porthole image classified by the existing detection technique according to an embodiment of the present invention. The classified porthole image (Ours) according to an embodiment of the present invention exhibits more effective classification performance in terms of precision and accuracy than the porthole image classified through the existing technique. Aparna et al. In the case of the technique, since it uses image data in which only a porthole exists, it cannot accurately detect a porthole in an image in which other objects exist, so the performance is measured low. See also M. H. Yousaf et al. In the case of the technique, it is limited as only road images of asphalt can be used, and detection is possible only when the shape of the pothole is similar.
도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반의 도로손상 탐지 방법을 설명하기 위한 도면이다.18 is a diagram for explaining a method for detecting road damage based on deep learning according to an embodiment of the present invention.
도 18을 참조하면, 단계 S1801에서 딥러닝 기반의 도로손상 탐지 장치(100)는 다채널의 도로손상 이미지를 입력 받아 단일 채널의 이미지로 변환한다. 예를 들어, 딥러닝 기반의 도로손상 탐지 장치(100)는 다채널의 RGB 도로손상 이미지를 입력 받아 단일 채널의 그레이스케일 이미지로 변환한다. 딥러닝 기반의 도로손상 탐지 장치(100)는 이미지 변환을 통해 이미지의 형상에 손상을 주지 않고 데이터 양을 감소시킬 수 있다. 딥러닝 기반의 도로손상 탐지 장치(100)는 컴퓨터 비전과 머신러닝에 관련된 다양한 알고리즘을 제공하는 OpenCV 라이브러리를 이용하여 다채널의 도로손상 이미지를 단일 채널의 그레이스케일 이미지(Grayscale Image)로 변환할 수 있으며, 변환된 그레이스케일 이미지를 픽셀에 따라 수치화하여 행렬로 구성할 수 있다.Referring to FIG. 18 , in step S1801, the deep learning-based road damage detection apparatus 100 receives a multi-channel road damage image and converts it into a single channel image. For example, the deep learning-based road damage detection apparatus 100 receives a multi-channel RGB road damage image and converts it into a single-channel grayscale image. The deep learning-based road damage detection apparatus 100 may reduce the amount of data through image conversion without damaging the shape of the image. The deep learning-based road damage detection device 100 can convert multi-channel road damage images into single-channel grayscale images using OpenCV libraries that provide various algorithms related to computer vision and machine learning. In addition, the converted grayscale image can be digitized according to pixels to form a matrix.
단계 S1803에서 딥러닝 기반의 도로손상 탐지 장치(100)는 단일 채널 이미지에서 객체 탐지를 수행한다. 구체적으로, 딥러닝 기반의 도로손상 탐지 장치(100)는 기학습된 YOLO(You Only Look Once) 신경망을 이용하여 도로손상 영역을 제외한 객체를 탐지한다. In step S1803, the deep learning-based road damage detection apparatus 100 performs object detection in a single channel image. Specifically, the deep learning-based road damage detection apparatus 100 detects an object except for a road damage area using a pre-learned You Only Look Once (YOLO) neural network.
단계 S1805에서 딥러닝 기반의 도로손상 탐지 장치(100)는 YOLO 신경망을 통해 생성된 경계박스의 픽셀값을 255로 대체하여 객체를 제거한다. 여기서, 딥러닝 기반의 도로손상 탐지 장치(100)는 경계박스의 픽셀값을 255로 대체하여 흰 배경을 생성함으로써 포트홀의 특징과 구별되도록 한다.In step S1805, the deep learning-based road damage detection apparatus 100 replaces the pixel value of the bounding box generated through the YOLO neural network with 255 to remove the object. Here, the deep learning-based road damage detection apparatus 100 replaces the pixel value of the bounding box with 255 to generate a white background to distinguish it from the characteristics of the porthole.
단계 S1807에서 딥러닝 기반의 도로손상 탐지 장치(100)는 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출한다. 구체적으로, 딥러닝 기반의 도로손상 탐지 장치(100)는 도 4와 같이 포트홀의 윤곽선을 추출하기 위해 에지 검출(edge detection)을 수행한다. 에지 검출은 윤곽선(edge)에 해당하는 픽셀을 추출하는 것으로, 편미분 연산을 통해 기울기를 구하고, 일차 미분을 이용하여 이미지 내 윤곽선의 존재를 확인한 후, 이차 미분을 이용하여 윤곽선 픽셀의 밝고 어두운 부분의 위치를 확인하는 과정을 거쳐 포트홀의 윤곽선을 추출한다. 도로손상 이미지에서 포트홀은 주변보다 어두운 특징을 지니고 있으므로, 에지 검출을 통한 포트홀 윤곽선 추출이 가능하다.In step S1807, the deep learning-based road damage detection apparatus 100 detects a porthole in the preprocessed road damage image and extracts the outline of the porthole. Specifically, the deep learning-based road damage detection apparatus 100 performs edge detection to extract the contour of the porthole as shown in FIG. 4 . Edge detection extracts pixels corresponding to an edge, obtains the slope through partial differential operation, checks the existence of an outline in the image using the first derivative, and then uses the second differentiation to determine the light and dark areas of the outline pixel. Through the process of confirming the location, the outline of the porthole is extracted. Since the porthole in the road damage image has a darker feature than the surrounding, it is possible to extract the porthole outline through edge detection.
딥러닝 기반의 도로손상 탐지 장치(100)는 라플라시안(Laplacian) 마스크를 이용하여 에지 검출을 수행한다. 여기서, 마스크는 영상 처리에서 잡음 제거, 예리화, 에지 검출 시에 사용되는 필터이다. 마스크는 미분 연산자와 동일한 효과를 가지며, 마스크 내의 모든 픽셀의 합이 0을 가지는 특징이 있다. 라플라시안 마스크는 날카로운 특징을 가진 필터로, 연산속도가 빠르며 모든 방향의 윤곽선을 검출할 수 있다. 윤곽추출부(130)는3x3 크기의 라플라시안 마스크를 이용하여 에지 검출을 수행할 수 있다. The deep learning-based road damage detection apparatus 100 performs edge detection using a Laplacian mask. Here, the mask is a filter used for noise removal, sharpening, and edge detection in image processing. The mask has the same effect as the differential operator, and the sum of all pixels in the mask is 0. The Laplacian mask is a filter with sharp features, has a fast operation speed, and can detect contour lines in all directions. The
단계 S1809에서 딥러닝 기반의 도로손상 탐지 장치(100)는 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지한다. 구체적으로, 딥러닝 기반의 도로손상 탐지 장치(100)는 기학습된 YOLO 신경망을 이용하여 포트홀의 특징을 탐지한다. In step S1809, the deep learning-based road damage detection apparatus 100 detects the characteristics of the porthole from the road damage image from which the porthole outline is extracted. Specifically, the deep learning-based road damage detection apparatus 100 detects a feature of a porthole using a pre-learned YOLO neural network.
또한, 딥러닝 기반의 도로손상 탐지 장치(100)는 손실 함수를 통해 생성된 모델에서 포트홀의 특징을 탐지한다. 예를 들어, 딥러닝 기반의 도로손상 탐지 장치(100)는 추출된 바운딩 박스의 후보영역과 주변 영역의 크기를 비교하고, 바운딩 박스의 좌표를 통해 포트홀의 크기를 탐지할 수 있다. 또한, 포트홀분류부(150)는 포트홀의 길이, 높이 및 면적 등을 탐지할 수 있다. In addition, the deep learning-based road damage detection apparatus 100 detects a feature of a porthole in a model generated through a loss function. For example, the deep learning-based road damage detection apparatus 100 may compare the size of the extracted candidate area and the surrounding area of the bounding box, and detect the size of the porthole through the coordinates of the bounding box. In addition, the
단계 S1811에서 딥러닝 기반의 도로손상 탐지 장치(100)는 아래의 수학식 2을 통해 탐지된 포트홀의 특징에 따라 포트홀을 분류한다. In step S1811, the deep learning-based road damage detection apparatus 100 classifies the porthole according to the characteristics of the detected porthole through
딥러닝 기반의 도로손상 탐지 장치(100)는 탐지된 포트홀의 길이, 높이 및 면적이 기설정된 임계값보다 클 경우 포트홀이라고 판단하여 분류 결과를 1로 출력하고, 그렇지 않은 경우 포트홀이 아님으로 판단하여 분류 결과를 0으로 출력한다. 또한, 딥러닝 기반의 도로손상 탐지 장치(100)는 화면을 통해 포트홀 분류 결과를 포함한 정보를 출력할 수 있다. 딥러닝 기반의 도로손상 탐지 장치(100)는 현재 시간 및 날짜를 출력할 수 있다. 또한, 딥러닝 기반의 도로손상 탐지 장치(100)는 서울특별시, 인천광역시, 경기도, 전라 남·북도, 충청 남·북도, 경상남·북도 및 제주도 단위로 도로의 포트홀 발생 여부를 파악한 결과를 출력할 수 있다. 딥러닝 기반의 도로손상 탐지 장치(100)는 특정 지역에서의 포트홀 발생 결과를 출력함으로써 유지보수, 도로 이용 여부 등에 대한 정보를 제공할 수 있다. The deep learning-based road damage detection device 100 determines that it is a porthole if the length, height, and area of the detected porthole are larger than a preset threshold and outputs the classification result as 1, otherwise it is determined that it is not a porthole. The classification result is output as 0. In addition, the deep learning-based road damage detection apparatus 100 may output information including a porthole classification result through a screen. The deep learning-based road damage detection apparatus 100 may output the current time and date. In addition, the deep learning-based road damage detection device 100 outputs the result of determining whether or not a porthole has occurred on the road in units of Seoul, Incheon, Gyeonggi, Jeolla, South and North Chungcheong, Gyeongsangnam and North and Jeju. can The deep learning-based road damage detection apparatus 100 may provide information on maintenance, road use, etc. by outputting a result of the occurrence of a porthole in a specific area.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention.
Claims (4)
도로손상 이미지에 대한 전처리를 수행하는 전처리부;
전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하는 윤곽추출부; 및
상기 포트홀의 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지하고 분류하는 포트홀분류부를 포함하는 딥러닝 기반의 도로손상 탐지 장치.
In the deep learning-based road damage detection device,
a pre-processing unit for pre-processing the road damage image;
a contour extraction unit for detecting a porthole in the preprocessed road damage image and extracting the contour of the porthole; and
A deep learning-based road damage detection device comprising a pothole classification unit for detecting and classifying the characteristics of a porthole from the road damage image from which the contour of the porthole is extracted.
상기 전처리부는 다채널의 도로손상 이미지를 입력 받아 단일 채널의 이미지로 변환하는 이미지변환부;
상기 단일 채널 이미지에서 객체 탐지를 수행하는 객체탐지부; 및
상기 객체 탐지를 통해 생성된 경계박스의 픽셀값을 255로 대체하여 객체를 제거하는 객체제거부를 포함하는 딥러닝 기반의 도로손상 탐지 장치.
The method of claim 1,
The pre-processing unit includes: an image conversion unit that receives a multi-channel road damage image and converts it into a single-channel image;
an object detection unit that detects objects in the single channel image; and
A deep learning-based road damage detection device comprising an object removal unit that removes an object by replacing the pixel value of the bounding box generated through the object detection with 255.
도로손상 이미지에 대한 전처리를 수행하는 단계;
상기 전처리된 도로손상 이미지에서 포트홀을 탐지하여 포트홀의 윤곽선을 추출하는 단계; 및
상기 포트홀 윤곽선이 추출된 도로손상 이미지에서 포트홀의 특징을 탐지하고 분류하는 단계를 포함하는 딥러닝 기반의 도로손상 탐지 방법.
In the deep learning-based road damage detection method,
performing pre-processing on the road damage image;
detecting a porthole in the pre-processed road damage image and extracting an outline of the porthole; and
Deep learning-based road damage detection method comprising the step of detecting and classifying the characteristics of the porthole in the road damage image from which the porthole contour is extracted.
상기 도로손상 이미지에 대한 전처리를 수행하는 단계는
다채널의 도로손상 이미지를 입력 받아 단일 채널의 이미지로 변환하는 단계;
상기 단일 채널 이미지에서 객체 탐지를 수행하는 단계; 및
상기 객체 탐지를 통해 생성된 경계박스의 픽셀값을 255로 대체하여 객체를 제거하는 단계를 포함하는 딥러닝 기반의 도로손상 탐지 방법.
4. The method of claim 3,
The step of performing pre-processing on the road damage image is
receiving a multi-channel road damage image and converting it into a single channel image;
performing object detection on the single channel image; and
and removing the object by replacing the pixel value of the bounding box generated through the object detection with 255.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164731A KR102585146B1 (en) | 2020-11-30 | 2020-11-30 | Pothole detection device and method based on deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164731A KR102585146B1 (en) | 2020-11-30 | 2020-11-30 | Pothole detection device and method based on deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220075999A true KR20220075999A (en) | 2022-06-08 |
| KR102585146B1 KR102585146B1 (en) | 2023-10-05 |
Family
ID=81980925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200164731A KR102585146B1 (en) | 2020-11-30 | 2020-11-30 | Pothole detection device and method based on deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102585146B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117037105A (en) * | 2023-09-28 | 2023-11-10 | 四川蜀道新能源科技发展有限公司 | Pavement crack filling detection method, system, terminal and medium based on deep learning |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190094005A (en) * | 2018-02-02 | 2019-08-12 | 한국도로공사 | Apparatus and method of image processing and deep learning image classification for detecting road surface damage |
| JP2019139316A (en) * | 2018-02-06 | 2019-08-22 | 国立大学法人 東京大学 | Discrimination system, discrimination device, discrimination method, and discrimination program |
-
2020
- 2020-11-30 KR KR1020200164731A patent/KR102585146B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190094005A (en) * | 2018-02-02 | 2019-08-12 | 한국도로공사 | Apparatus and method of image processing and deep learning image classification for detecting road surface damage |
| JP2019139316A (en) * | 2018-02-06 | 2019-08-22 | 国立大学法人 東京大学 | Discrimination system, discrimination device, discrimination method, and discrimination program |
Non-Patent Citations (2)
| Title |
|---|
| 도로 노면 파손 인식을 위한 Multi-scale 학습 방식의 암호화 형식 의미론적 분할 알고리즘, 한국ITS학회, 2020.04. * |
| 엣지 컴퓨팅 환경에서 객체탐지 기법을 활용한 도로 균열 탐지 시스템 개발, 부경대 석사학위 논문, 2020.02. * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117037105A (en) * | 2023-09-28 | 2023-11-10 | 四川蜀道新能源科技发展有限公司 | Pavement crack filling detection method, system, terminal and medium based on deep learning |
| CN117037105B (en) * | 2023-09-28 | 2024-01-12 | 四川蜀道新能源科技发展有限公司 | Pavement crack filling detection method, system, terminal and medium based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102585146B1 (en) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434695B (en) | Upper pull rod fault detection method based on deep learning | |
| CN109753890B (en) | Intelligent recognition and sensing method for road surface garbage and implementation device thereof | |
| CN104392224B (en) | A kind of highway pavement crack detecting method | |
| KR101403876B1 (en) | Method and Apparatus for Vehicle License Plate Recognition | |
| CN110211101A (en) | A kind of rail surface defect rapid detection system and method | |
| JP5223675B2 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
| CN110866430B (en) | License plate recognition method and device | |
| CN109255350B (en) | New energy license plate detection method based on video monitoring | |
| CN109489724B (en) | Tunnel train safe operation environment comprehensive detection device and detection method | |
| CN111814686A (en) | Vision-based power transmission line identification and foreign matter invasion online detection method | |
| CN110659649A (en) | Image processing and character recognition algorithm based on near infrared light imaging | |
| CN110751619A (en) | Insulator defect detection method | |
| Zhao et al. | Image-based comprehensive maintenance and inspection method for bridges using deep learning | |
| CN109543498B (en) | Lane line detection method based on multitask network | |
| CN113537211A (en) | Deep learning license plate frame positioning method based on asymmetric IOU | |
| CN111814773A (en) | Lineation parking space identification method and system | |
| CN115841633A (en) | Power tower and power line associated correction power tower and power line detection method | |
| CN110348307B (en) | Path edge identification method and system for crane metal structure climbing robot | |
| CN113673614B (en) | Metro tunnel foreign matter intrusion detection device and method based on machine vision | |
| CN111524121A (en) | Road and bridge fault automatic detection method based on machine vision technology | |
| KR102585146B1 (en) | Pothole detection device and method based on deep learning | |
| CN113158954A (en) | Automatic traffic off-site zebra crossing area detection method based on AI technology | |
| Gao et al. | Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection | |
| CN107507140A (en) | The outdoor scene vehicle shadow disturbance restraining method of highway of feature based fusion | |
| CN113066041A (en) | Pavement crack detection method based on stack sparse self-coding deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |