KR102624378B1 - Crack detection system for road - Google Patents
Crack detection system for road Download PDFInfo
- Publication number
- KR102624378B1 KR102624378B1 KR1020210114643A KR20210114643A KR102624378B1 KR 102624378 B1 KR102624378 B1 KR 102624378B1 KR 1020210114643 A KR1020210114643 A KR 1020210114643A KR 20210114643 A KR20210114643 A KR 20210114643A KR 102624378 B1 KR102624378 B1 KR 102624378B1
- Authority
- KR
- South Korea
- Prior art keywords
- crack
- road
- unit
- patch
- image
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 230000008439 repair process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/02—Details
- G01N3/04—Chucks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/08—Investigating strength properties of solid materials by application of mechanical stress by applying steady tensile or compressive forces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Tourism & Hospitality (AREA)
- Chemical & Material Sciences (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Mechanical Engineering (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명에 따른 도로의 균열 검출 시스템은 차량과 드론 중 적어도 하나에 설치되어 도로를 촬영하고, 상기 도로에 대한 영상 정보와 위치 정보를 수집하는 촬영부; 상기 영상을 기설정된 패치(Patch) 사이즈로 분할한 후, 검출영역(ROI: Region Of Interest)을 설정하여 상기 검출영역에 포함된 복수의 패치영상을 추출하는 전처리부; 인공신경망을 이용하여 상기 추출된 패치영상들 중에서 도로에 균열이 있는 패치영상을 분류하는 균열 패치영상 검출부; 상기 분류된 균열 패치영상에 포함된 균열 정보를 기설정된 색상으로 변환하는 변환부; 및 상기 기설정된 색상으로 변환된 부위의 픽셀 수를 측정하여 상기 균열 패치영상에서 도로의 균열률을 측정한 후, 상기 균열 패치영상에 포함된 위치 정보 및 균열률 정보를 데이터화하여 저장하는 균열률 측정부;를 포함할 수 있다.A road crack detection system according to the present invention includes a photographing unit installed in at least one of a vehicle and a drone to photograph a road and collect image information and location information about the road; A preprocessor that divides the image into preset patch sizes, sets a detection region (ROI: Region Of Interest), and extracts a plurality of patch images included in the detection region; a crack patch image detection unit that classifies patch images containing cracks in the road among the extracted patch images using an artificial neural network; a conversion unit that converts crack information included in the classified crack patch image into a preset color; and measuring the crack rate of the road in the crack patch image by measuring the number of pixels in the area converted to the preset color, and then converting the location information and crack rate information included in the crack patch image into data and storing the crack rate measurement. may include;
Description
본 발명은 도로의 균열 검출 시스템에 관한 것으로, 보다 상세하게는 차량과 드론 중 적어도 하나에 설치된 촬영부를 이용하여 도로를 촬영한 후, 인공신경망을 이용하여 촬영된 영상에서 도로의 균열률을 신속하면서도 정확하게 측정할 수 있는 도로의 균열 검출 시스템에 관한 것이다. The present invention relates to a crack detection system for roads. More specifically, the present invention relates to a system for detecting cracks in roads. More specifically, the road is photographed using a photography unit installed in at least one of a vehicle or a drone, and then the crack rate of the road is quickly and easily determined from the captured images using an artificial neural network. It is about a road crack detection system that can accurately measure cracks.
산업의 발달과 더불어 사회간접 자본인 도로의 건설이 광범위하게 이루어지고 있다. 광범위한 도로의 건설로 인하여 그 유지 관리 비용과 시간의 소요도 국가 운영에 상당한 영향을 미치고 있으며, 이로 인하여 다양한 원인에 의해 파손이 일어날 수 있는 포장 도로 보수의 효율적인 관리의 필요성이 요구되고 있다.Along with the development of industry, the construction of roads, which are social overhead capital, is being carried out extensively. Due to the construction of extensive roads, maintenance costs and time requirements have a significant impact on national operations, and as a result, there is a need for efficient management of pavement repairs, which can be damaged by various causes.
종래에는 도로에 균열이나 파손 등이 발생하면 균열, 파손된 부분을 육안으로 확인하거나, 단순히 해당 현장에 설치된 카메라 또는 관리 요원이 답사하여 촬영한 영상을 이용해 데이터를 만들고 보수를 진행하였다. Previously, when cracks or damage occurred on the road, the cracks or damaged parts were checked with the naked eye, or data was created and repairs were simply performed using cameras installed at the site or images taken during inspections by management personnel.
그러나 답사 촬영 또는 육안 조사를 통한 조사 시 도로의 손상을 신속하고 정확하게 파악하기가 어려울 뿐만 아니라, 최적의 보수방안을 도출하려면 확인된 도로면을 다시 엔지니어가 방문해서 재차 확인해야 하므로 시간적 경제적으로 효율성이 떨어지는 문제점이 있었다. However, not only is it difficult to quickly and accurately determine the damage to the road when conducting an inspection through field trip photography or visual inspection, but it is also time- and economically efficient because the engineer must visit the confirmed road surface again to derive the optimal repair plan and re-check it. There was a problem with falling.
본 발명의 과제는 차량과 드론 중 적어도 하나에 설치된 촬영부를 이용하여 도로를 촬영한 후, 인공신경망을 이용하여 촬영된 영상에서 도로의 균열을 검출할 수 있는 도로의 균열 검출 시스템을 제공함에 있다.The object of the present invention is to provide a road crack detection system that can photograph a road using a photography unit installed in at least one of a vehicle or a drone, and then detect cracks in the road in the captured image using an artificial neural network.
상기의 과제를 달성하기 위한 본 발명에 따른 도로의 균열 검출 시스템은 차량과 드론 중 적어도 하나에 설치되어 도로를 촬영하고, 상기 도로에 대한 영상 정보와 위치 정보를 수집하는 촬영부; 상기 영상을 기설정된 패치(Patch) 사이즈로 분할한 후, 검출영역(ROI: Region Of Interest)을 설정하여 상기 검출영역에 포함된 복수의 패치영상을 추출하는 전처리부; 인공신경망을 이용하여 상기 추출된 패치영상들 중에서 도로에 균열이 있는 패치영상을 분류하는 균열 패치영상 검출부; 상기 분류된 균열 패치영상에 포함된 균열 정보를 기설정된 색상으로 변환하는 변환부; 및 상기 기설정된 색상으로 변환된 부위의 픽셀 수를 측정하여 상기 균열 패치영상에서 도로의 균열률을 측정한 후, 상기 균열 패치영상에 포함된 위치 정보 및 균열률 정보를 데이터화하여 저장하는 균열률 측정부;를 포함할 수 있다. A road crack detection system according to the present invention for achieving the above problem includes a photographing unit installed on at least one of a vehicle and a drone to photograph a road and collect image information and location information about the road; A preprocessor that divides the image into preset patch sizes, sets a detection region (ROI: Region Of Interest), and extracts a plurality of patch images included in the detection region; a crack patch image detection unit that classifies patch images containing cracks in the road among the extracted patch images using an artificial neural network; a conversion unit that converts crack information included in the classified crack patch image into a preset color; and measuring the crack rate of the road in the crack patch image by measuring the number of pixels in the area converted to the preset color, and then converting the location information and crack rate information included in the crack patch image into data and storing the crack rate measurement. may include;
또한, 상기 촬영부는 MMS(Mobile Mapping System) 모듈을 포함할 수 있다. Additionally, the imaging unit may include a Mobile Mapping System (MMS) module.
또한, 상기 차량에 설치된 촬영부는 시내에 위치한 도로를 촬영하고, 상기 드론에 설치된 촬영부는 시외에 위치한 도로를 촬영할 수 있다. Additionally, the photographing unit installed in the vehicle can photograph roads located within the city, and the photographing unit installed in the drone can photograph roads located outside the city.
또한, 상기 균열률 측정부는 상기 검출영역에 포함된 도로에 대한 총 면적 대비 총 균열양을 백분율(%)로 산출하여 데이터로 저장할 수 있다. In addition, the crack rate measuring unit may calculate the total amount of cracks as a percentage (%) relative to the total area of the road included in the detection area and store it as data.
또한, 상기 인공신경망은 상기 전처리된 복수의 패치영상을 학습데이터로 활용하여 균열 부위의 특징을 추출하는 특징 추출부와, 상기 패치영상으로부터 상기 특징이 검출되는 경우, 상기 특징이 포함된 패치영상을 균열 패치영상으로 분류하는 균열 패치영상 분류부를 포함할 수 있다. In addition, the artificial neural network includes a feature extraction unit that extracts features of the crack area by using the plurality of preprocessed patch images as learning data, and when the feature is detected from the patch image, a patch image containing the feature is generated. It may include a crack patch image classification unit that classifies crack patch images.
또한, 상기 인공신경망은 상기 균열 패치영상을 이진화 데이터로 정량화하여 학습을 수행할 수 있다. Additionally, the artificial neural network can perform learning by quantifying the crack patch image into binarized data.
또한, 상기 촬영부는 상기 차량에 설치되고, 상기 전처리부는 상기 촬영부에 의해 수집된 영상 정보에 가상의 그리드를 생성한 후, 검출영역을 설정하는 검출영역 설정부와, 상기 검출영역에 포함된 영상을 크롭(Crop)하여 2차원 데이터로 투영변환을 진행하는 투영변환부와, 상기 2차원 데이터로 저장된 영상을 기초로 상기 그리드 기반 영역 분할을 수행하여 복수의 패치영상을 획득하는 패치영상 제공부를 포함할 수 있다. In addition, the photographing unit is installed in the vehicle, the preprocessing unit creates a virtual grid in the image information collected by the photographing unit, and then sets a detection area, and the image included in the detection area. It includes a projection conversion unit that crops and performs projection conversion into two-dimensional data, and a patch image providing unit that obtains a plurality of patch images by performing grid-based region division based on the image stored as two-dimensional data. can do.
또한, 상기 촬영부는 상기 드론에 설치되고, 상기 전처리부는 상기 촬영부에 의해 수집된 영상 정보에 가상의 그리드를 생성한 후, 검출영역을 설정하는 검출영역 설정부와, 상기 그리드 기반 영역 분할을 수행하여 복수의 패치영상을 획득하는 패치영상 제공부를 포함할 수 있다. In addition, the photographing unit is installed in the drone, the pre-processing unit creates a virtual grid in the image information collected by the photographing unit, and then a detection area setting unit sets a detection area, and performs grid-based area segmentation. Thus, it may include a patch image providing unit that acquires a plurality of patch images.
또한, 상기 균열률 정보에 따라 도로포장 상태등급을 분류하고, 상기 상태등급을 지리 정보 시스템(GIS: Geographic Information System)에 적용하여 표시할 수 있다.
또한, 차량과 드론에 설치되어 도로를 촬영하고, 상기 도로에 대한 영상 정보와 위치 정보를 수집하는 촬영부; 상기 영상을 기설정된 패치(Patch) 사이즈로 분할한 후, 검출영역(ROI: Region Of Interest)을 설정하여 상기 검출영역에 포함된 복수의 패치영상을 추출하는 전처리부; 인공신경망을 이용하여 상기 추출된 패치영상들 중에서 도로에 균열이 있는 패치영상을 분류하는 균열 패치영상 검출부; 상기 분류된 균열 패치영상에 포함된 균열 정보를 기설정된 색상으로 변환하는 변환부; 및 상기 기설정된 색상으로 변환된 부위의 픽셀 수를 측정하여 상기 균열 패치영상에서 도로의 균열률을 측정한 후, 상기 균열 패치영상에 포함된 위치 정보 및 균열률 정보를 데이터화하여 저장하는 균열률 측정부;를 포함하고, 상기 차량에 설치된 촬영부는 시내에 위치한 도로를 촬영하고, 상기 드론에 설치된 촬영부는 시외에 위치한 도로를 촬영하고, 상기 전처리부는 상기 촬영부에 의해 수집된 영상 정보에 가상의 그리드를 생성한 후, 검출영역을 설정하는 검출영역 설정부와, 상기 검출영역에 포함된 영상을 크롭(Crop)하여 2차원 데이터로 투영변환을 진행하는 투영변환부와, 상기 2차원 데이터로 저장된 영상을 기초로 상기 그리드 기반 영역 분할을 수행하여 복수의 패치영상을 획득하는 패치영상 제공부를 포함하고, 차량에 설치된 촬영부를 통해 수집된 영상 정보를 이용한 패치영상 획득은 검출영역 설정부와, 투영변환부와, 패치영상 제공부를 통해 이루어지되, 드론에 설치된 촬영부를 통해 수집된 영상 정보를 이용한 패치영상 획득은 검출영역 설정부와 패치영상 제공부를 통해 이루어 지고, 균열 패치영상 검출부의 패치영상 분류에 MobileNetV2 알고리즘을 사용하고, 상기 균열률 정보에 따라 도로포장 상태등급을 분류하고, 상기 상태등급을 지리 정보 시스템(GIS: Geographic Information System)에 적용하여 표시하되, 도로포장 상태등급에 따라 표시되는 색상이 녹색, 노란색, 붉은색 중 어느 하나로 결정되는 것;을 특징으로 한다.In addition, the road pavement condition grade can be classified according to the crack rate information, and the condition grade can be applied and displayed in a geographic information system (GIS).
In addition, a photographing unit installed on vehicles and drones to photograph roads and collect image information and location information about the roads; A preprocessor that divides the image into preset patch sizes, sets a detection region (ROI: Region Of Interest), and extracts a plurality of patch images included in the detection region; a crack patch image detection unit that classifies patch images containing cracks in the road among the extracted patch images using an artificial neural network; a conversion unit that converts crack information included in the classified crack patch image into a preset color; and measuring the crack rate of the road in the crack patch image by measuring the number of pixels in the area converted to the preset color, and then converting the location information and crack rate information included in the crack patch image into data and storing the crack rate measurement. a unit; wherein the photographing unit installed in the vehicle photographs a road located in the city, the photographing unit installed in the drone photographs a road located outside the city, and the preprocessor converts the image information collected by the photographing unit into a virtual grid. After generating, a detection area setting unit that sets a detection area, a projection conversion unit that crops the image included in the detection area and performs projection conversion into two-dimensional data, and an image stored as two-dimensional data. It includes a patch image providing unit that performs the grid-based area division to obtain a plurality of patch images, and the patch image acquisition using the image information collected through the imaging unit installed in the vehicle includes a detection area setting unit and a projection conversion unit. Wow, patch image acquisition is done through the patch image provision unit, and patch image acquisition using image information collected through the recording unit installed on the drone is done through the detection area setting unit and patch image provision unit, and the MobileNetV2 algorithm is used to classify patch images in the crack patch image detection unit. is used, and the road pavement condition grade is classified according to the crack rate information, and the condition grade is applied to a geographic information system (GIS) and displayed, and the color displayed according to the road pavement condition grade is green, It is characterized by being determined by either yellow or red.
본 발명에 따르면, 차량과 드론 중 적어도 하나에 설치된 촬영부를 이용하여 도로를 촬영한 후, 인공신경망을 이용하여 촬영된 영상에서 도로의 균열양을 측정하기 때문에 보다 신속하면서도 정확하게 도로의 균열률을 검출할 수 있다. According to the present invention, the road is photographed using a photography unit installed on at least one of a vehicle and a drone, and then the amount of cracks in the road is measured in the captured image using an artificial neural network, thereby detecting the crack rate of the road more quickly and accurately. can do.
또한, 시내는 차량을 이용하여 촬영하고 시외는 드론을 이용하여 촬영해 줌으로써 모든 도로를 촬영할 수 있다. In addition, all roads can be filmed by taking pictures within the city using a vehicle and outside the city using a drone.
아울러, 검출된 균열률 정보에 따라 도로포장 상태등급을 분류하고, 분류된 상태등급을 지리 정보 시스템(GIS: Geographic Information System)에 적용함으로써 도로포장 상태등급 시스템을 구축할 수 있게 된다.In addition, it is possible to construct a road pavement condition grade system by classifying the road pavement condition grade according to the detected crack rate information and applying the classified condition grade to a geographic information system (GIS).
도 1은 본 발명의 일 실시예에 따른 도로의 균열 검출 시스템의 구성도이다.
도 2는 차량에 설치된 MMS를 도시한 도면이다.
도 3은 도 2의 MMS에 의해 촬영된 도로의 영상 정보를 이용하여 균열률을 검출하는 과정을 나타낸 도면이다.
도 4는 드론에 설치된 카메라 모듈을 도시한 도면이다.
도 5는 도 4의 드론에 의해 촬영된 도로의 영상 정보를 이용하여 균열률을 검출하는 과정을 나타낸 도면이다.
도 6은 도 1의 전처리부를 이용하여 도로의 영상을 복수의 패치영상으로 분할하여 제공하는 과정을 나타낸 도면이다.
도 7은 도 1의 인공신경망의 구성을 개략적으로 도시한 도면이다.
도 8은 도 1의 변환부를 이용하여 균열 패치 영상에 포함된 균열 정보를 기 설정된 색상으로 변환하는 과정을 나타낸 도면이다.
도 9는 도 1의 도로의 균열 검출 시스템을 이용하여 검출된 도로의 균열률에 따른 도로포장 상태등급을 나타낸 도면이다. 1 is a configuration diagram of a road crack detection system according to an embodiment of the present invention.
Figure 2 is a diagram showing the MMS installed in a vehicle.
Figure 3 is a diagram showing the process of detecting the crack rate using image information of the road captured by the MMS of Figure 2.
Figure 4 is a diagram showing a camera module installed on a drone.
Figure 5 is a diagram showing the process of detecting the crack rate using image information of the road captured by the drone of Figure 4.
FIG. 6 is a diagram illustrating the process of dividing and providing a road image into a plurality of patch images using the preprocessor of FIG. 1.
FIG. 7 is a diagram schematically showing the configuration of the artificial neural network of FIG. 1.
FIG. 8 is a diagram illustrating a process of converting crack information included in a crack patch image into a preset color using the conversion unit of FIG. 1.
Figure 9 is a diagram showing the road pavement condition grade according to the crack rate of the road detected using the road crack detection system of Figure 1.
이하 첨부된 도면을 참조하여, 바람직한 실시예에 따른 도로의 균열 검출 시스템에 대해 상세히 설명하면 다음과 같다. 여기서, 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 발명의 실시형태는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. Hereinafter, with reference to the attached drawings, a detailed description of a road crack detection system according to a preferred embodiment is as follows. Here, the same symbols are used for the same components, and repetitive descriptions and detailed descriptions of known functions and configurations that may unnecessarily obscure the gist of the invention are omitted. Embodiments of the invention are provided to more completely explain the invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.
도 1은 본 발명의 일 실시예에 따른 도로의 균열 검출 시스템의 구성도이고, 도 2는 차량에 설치된 MMS를 도시한 도면이고, 도 3은 도 2의 MMS에 의해 촬영된 도로의 영상 정보를 이용하여 균열률을 검출하는 과정을 나타낸 도면이고, 도 4는 드론에 설치된 카메라 모듈을 도시한 도면이고, 도 5는 도 4의 드론에 의해 촬영된 도로의 영상 정보를 이용하여 균열률을 검출하는 과정을 나타낸 도면이며, 도 6은 도 1의 전처리부를 이용하여 도로의 영상을 복수의 패치영상으로 분할하여 제공하는 과정을 나타낸 도면이다. Figure 1 is a configuration diagram of a road crack detection system according to an embodiment of the present invention, Figure 2 is a diagram showing the MMS installed in a vehicle, and Figure 3 is a diagram showing image information of the road captured by the MMS of Figure 2. This is a diagram showing the process of detecting the crack rate using, Figure 4 is a diagram showing the camera module installed on the drone, and Figure 5 is a diagram showing the process of detecting the crack rate using the image information of the road captured by the drone of Figure 4. This is a diagram illustrating the process, and FIG. 6 is a diagram illustrating the process of dividing and providing a road image into a plurality of patch images using the preprocessor of FIG. 1.
도 1 내지 도 6을 참조하면, 도로의 균열 검출 시스템(100)은 촬영부(110)와, 전처리부(120)와, 검출부(130)와, 변환부(140), 및 균열률 측정부(150)를 포함할 수 있다. 1 to 6, the road crack detection system 100 includes an imaging unit 110, a preprocessing unit 120, a detection unit 130, a conversion unit 140, and a crack rate measurement unit ( 150) may be included.
촬영부(110)는 차량(10)과 드론(20) 중 적어도 하나에 설치되어 도로를 촬영하고, 도로에 대한 영상 정보와 위치 정보를 수집할 수 있다. 예를 들어, 차량(10)에 설치된 촬영부(110)는 시내에 위치한 도로를 촬영하고, 드론(20)에 설치된 촬영부(110)는 시외에 위치한 도로를 촬영할 수 있다. 이는 드론(20)으로 촬영을 수행하는 경우 보다 넓은 면적을 확보할 수 있어 효율적일 수 있으나, 시내의 경우 건물이나 기타 장애물들이 많고 교통이 혼잡하기 때문에 드론(20)을 이용하여 도로를 촬영하기 쉽지 않기 때문이다. 따라서, 장애물이 많지 않고 교통량이 적은 시외에서는 드론(20)에 설치된 촬영부(110)를 이용하여 도로를 촬영하고, 시내에서는 차량(10)에 설치된 촬영부(110)를 이용하여 도로를 촬영할 수 있다. 이때, 차량(10)에 설치된 촬영부(110)는 차량(10)의 본넷에 설치될 수 있으며, 앞에 위치한 차량(10)의 거리를 적절히 조절하는 방법으로 도로를 촬영할 수 있다. The photographing unit 110 may be installed in at least one of the vehicle 10 and the drone 20 to photograph the road and collect image information and location information about the road. For example, the photographing unit 110 installed in the vehicle 10 can photograph roads located within the city, and the photographing unit 110 installed in the drone 20 can photograph roads located outside the city. This can be efficient because a larger area can be secured when filming with a drone (20), but in the city, it is not easy to film roads using a drone (20) because there are many buildings and other obstacles and traffic is congested. Because. Therefore, in the outskirts of the city where there are few obstacles and little traffic, the road can be photographed using the photographing unit 110 installed on the drone 20, and in the city, the road can be photographed using the photographing unit 110 installed on the vehicle 10. there is. At this time, the photographing unit 110 installed in the vehicle 10 can be installed on the bonnet of the vehicle 10, and can photograph the road by appropriately adjusting the distance to the vehicle 10 located in front.
촬영부(110)는 MMS(Mobile Mapping System) 모듈을 포함할 수 있다. MMS는 디지털카메라, 라이다, GPS, INS, DMI 등과 같은 다양한 센서들을 조합한 이동형 측량시스템으로, 이동체인 차량(10) 또는 드론(20)에 설치되어 GPS가 측정한 위치 정보와, 디지털카메라가 촬영한 도로의 영상 정보과, 라이다 센서가 측정한 거리값을 데이터로 저장할 수 있다. 여기서, 영상 정보는 현재 위치 값과 링크되어 해당 수집영상 이미지의 촬영 위치를 확인할 수 있다. The imaging unit 110 may include a Mobile Mapping System (MMS) module. MMS is a mobile surveying system that combines various sensors such as digital cameras, LiDAR, GPS, INS, DMI, etc., and is installed on a mobile vehicle (10) or drone (20) to collect location information measured by GPS and a digital camera. The image information of the captured road and the distance value measured by the LiDAR sensor can be saved as data. Here, the video information is linked to the current location value to confirm the shooting location of the collected video image.
이 밖에도 촬영부(110)는 GPS와 이미지 센서를 포함하는 카메라 모듈을 포함할 수도 있다. 이러한 MMS나 카메라 모듈을 포함하는 촬영부(110)의 구성은 한정되지 않으나, 본 발명에 따르면 차량(10)에 설치되는 촬영부(110)는 MMS로 구성되고, 드론(20)에 설치되는 촬영부(110)는 카메라 모듈로 구성될 수 있다. In addition, the photographing unit 110 may include a camera module including GPS and an image sensor. The configuration of the photographing unit 110 including such an MMS or camera module is not limited, but according to the present invention, the photographing unit 110 installed in the vehicle 10 is composed of an MMS, and the photographing unit 110 installed in the drone 20 is configured. Unit 110 may be composed of a camera module.
전처리부(120)는 영상 정보를 기반으로 인공신경망 알고리즘에 입력하기 위한 학습 데이터를 생성하고, 생성된 학습 데이터를 인공신경망 알고리즘에 적용하여 학습 결과인 판단기준 모델을 생성하기 위한 것으로서, 촬영부(110)에서 촬영된 영상을 기설정된 패치(Patch) 사이즈로 분할한 후, 검출영역(ROI: Region Of Interest)을 설정하여 검출영역에 포함된 복수의 패치영상을 추출할 수 있다. The pre-processing unit 120 generates learning data to be input into the artificial neural network algorithm based on image information, and applies the generated learning data to the artificial neural network algorithm to generate a judgment standard model that is a learning result. The imaging unit ( After dividing the captured image into preset patch sizes (110), a detection region (ROI: Region Of Interest) can be set to extract a plurality of patch images included in the detection region.
예를 들어, 촬영부(110)가 차량(10)의 본넷에 설치된 경우에는 전처리부(120)는 검출영역 설정부(121)와, 투영변환부(122)와, 패치영상 제공부(123)를 포함할 수 있다. For example, when the photographing unit 110 is installed on the bonnet of the vehicle 10, the preprocessing unit 120 includes a detection area setting unit 121, a projection conversion unit 122, and a patch image providing unit 123. may include.
검출영역 설정부(121)는 촬영부(110)에 의해 수집된 영상 정보에 가상의 그리드(Grid)를 생성한 후, 검출영역을 설정할 수 있다. 예를 들어, 영상 정보에 20cm×20cm의 크기를 갖는 복수의 그리드를 생성한 후, 가로 16칸 세로 9칸의 그리드(320cm ×180cm)를 갖는 검출영역(ROI)을 설정할 수 있다(도 6(a) 및 도 6(b) 참조). The detection area setting unit 121 may create a virtual grid in the image information collected by the photographing unit 110 and then set the detection area. For example, after creating a plurality of grids with a size of 20cm a) and Figure 6(b)).
투영변환부(122)는 검출영역에 포함된 영상을 크롭(Crop)하여 2차원 데이터로 투영변환을 진행할 수 있다. 이는 차량(10)의 본넷에 설치된 촬영부(110)에 의해 획득한 영상 정보는 도 6(a)에 도시된 바와 같이 전방에서 후방으로 갈수록 폭이 좁게 나타나는 3차원 데이터로 획득되기 때문이다. 따라서, 이를 평면화하기 위하여 검출영역에 포함된 그리드의 모서리부위 4개의 점(좌상, 좌하, 우상, 우하)의 좌표를 크롭하여 2차원 데이터로 투영변환을 진행할 수 있다. 이렇게 투영변환된 2차원 영상은 도 6(c)에 도시된 바와 같다. The projection conversion unit 122 may crop the image included in the detection area and perform projection conversion into two-dimensional data. This is because the image information acquired by the imaging unit 110 installed on the bonnet of the vehicle 10 is acquired as three-dimensional data whose width appears narrower from the front to the back, as shown in FIG. 6(a). Therefore, in order to flatten this, the coordinates of four corner points (top left, bottom left, top right, bottom right) of the grid included in the detection area can be cropped and projection conversion can be performed into two-dimensional data. The two-dimensional image projected in this way is as shown in FIG. 6(c).
패치영상 제공부(123)는 도 6(d)에 도시된 바와 같이, 2차원 데이터로 저장된 영상을 기초로 그리드 기반 영역 분할을 수행하여 복수의 패치영상을 획득할 수 있다. 즉, 검출영역에 포함된 그리드의 개수가 가로 16칸 세로 9칸으로 이루어진 경우, 패치영상은 총 144개로 이루어질 수 있다. As shown in FIG. 6(d), the patch image provider 123 may obtain a plurality of patch images by performing grid-based region division based on the image stored as two-dimensional data. That is, if the number of grids included in the detection area is 16 horizontal and 9 vertical, a total of 144 patch images can be created.
한편, 촬영부(110)가 드론(20)에 설치된 경우에는 전처리부(120)는 투영변환부(122)의 삭제가 가능하다. 즉, 전처리부(120)는 검출영역 설정부(121)와, 패치영상 제공부(123)를 포함할 수 있다. 이는 드론(20)에서 촬영된 영상의 경우 처음부터 2차원 평면 영상으로 획득되기 때문에 투영변환부(122)의 제거가 가능해지는 것이다. Meanwhile, when the photographing unit 110 is installed in the drone 20, the preprocessing unit 120 can delete the projection conversion unit 122. That is, the pre-processing unit 120 may include a detection area setting unit 121 and a patch image providing unit 123. This makes it possible to remove the projection conversion unit 122 because the image captured by the drone 20 is acquired as a two-dimensional flat image from the beginning.
균열 패치영상 검출부(130)는 인공신경망을 이용하여 추출된 패치영상들 중에서 도로에 균열이 있는 패치영상을 분류할 수 있다. 예를 들어, 인공신경망은 Depthwise Separable Convolution 개념을 도입하여 연산량을 매우 줄인 알고리즘이지만, Inverted Residual 구조를 차용하여 새로운 Convolution 망을 만들지 않고 과거에 만들어진 망을 그대로 가져와 재사용하는 알고리즘인 MobileNetV2가 적용될 수 있다. 이는 아래의 표와 같이, CNN 등과 같은 기타 알고리즘 보다 MobileNetV2의 정확도(accuracy)가 높게 산출되기 때문이다. The crack patch image detection unit 130 can classify patch images containing cracks in the road among patch images extracted using an artificial neural network. For example, artificial neural network is an algorithm that greatly reduces the amount of calculation by introducing the concept of Depthwise Separable Convolution, but MobileNetV2, an algorithm that borrows the Inverted Residual structure and reuses a previously created network without creating a new convolution network, can be applied. This is because, as shown in the table below, the accuracy of MobileNetV2 is calculated to be higher than that of other algorithms such as CNN.
도 7은 도 1의 인공신경망의 구성을 개략적으로 도시한 도면으로, 도 7을 참조하면 인공신경망은 특징 추출부(131)와, 균열 패치영상 분류부(132)를 포함할 수 있다. FIG. 7 is a diagram schematically showing the configuration of the artificial neural network of FIG. 1. Referring to FIG. 7, the artificial neural network may include a feature extraction unit 131 and a crack patch image classification unit 132.
특징 추출부(131)는 전처리된 복수의 패치영상을 학습데이터로 활용하여 균열 부위의 특징을 추출할 수 있다. 예를 들어, 패치영상에 포함된 균열 부위의 색상, 모양, 크기 등을 특징으로 하여 추출할 수 있다. The feature extraction unit 131 can extract features of the crack area by using a plurality of preprocessed patch images as learning data. For example, the color, shape, and size of the crack included in the patch image can be extracted as characteristics.
균열 패치영상 분류부(132)는 패치영상으로부터 균열 부위의 특징이 검출되는 경우, 균열 부위의 특징이 포함된 패치영상을 균열 패치영상으로 분류할 수 있다. 예를 들어, 패치영상에 균열 정보를 포함하는 특징이 검출되는 경우, 이를 균열 패치영상으로 분류하고 나머지는 노이즈 패치영상으로 분류할 수 있다. 여기서, 노이즈 패치영상에는 균열이 없는 패치영상, 차량(10)이나 기타 구조물 등과 같이 도로가 아닌 다른 부재가 촬영된 패치영상 등을 포함할 수 있다. When characteristics of a cracked area are detected from the patch image, the cracked patch image classification unit 132 may classify the patch image including the characteristics of the cracked area as a cracked patch image. For example, if a feature including crack information is detected in a patch image, it can be classified as a crack patch image and the rest can be classified as a noise patch image. Here, the noise patch image may include a patch image without cracks, a patch image in which members other than the road, such as the vehicle 10 or other structures, are photographed.
변환부(140)는 분류된 균열 패치영상에 포함된 균열 정보를 기설정된 색상으로 변환할 수 있다. The conversion unit 140 may convert crack information included in the classified crack patch image into a preset color.
도 8은 도 1의 변환부를 이용하여 균열 패치영상에 포함된 균열 정보를 기설정된 색상으로 변환하는 과정을 나타낸 도면이다. 예를 들어, 균열 패치영상에 포함된 균열 정보에 대하여 RGB 값을 (255, 0, 0)으로 매핑하는 방법으로 도 8에 도시된 바와 같이 변환할 수 있다. 이때, 균열 패치영상은 투영변환을 활용하여 데이터의 용량이 매우 큰 상태이기 때문에 RGB의 3채널의 데이터를 0, 1의 이진 데이터로 변환할 수 있다. 즉, 패치 영상에서 균열 정보는 1로, 이외의 정보는 0으로 분류할 수 있다. 이렇게 이진화 진행된 데이터로 정량화된 균열 패치영상은 후술되는 균열률 측정부(150)에서 계산될 수 있다. 즉, 인공신경망으로 제공된 결과 데이터로 활용할 수 있다. Figure 8 is a diagram showing the process of converting crack information included in a crack patch image into a preset color using the conversion unit of Figure 1. For example, the crack information included in the crack patch image can be converted as shown in FIG. 8 by mapping RGB values to (255, 0, 0). At this time, because the crack patch image has a very large data capacity by using projection transformation, the three channels of RGB data can be converted to binary data of 0 and 1. That is, in the patch image, crack information can be classified as 1, and other information can be classified as 0. The crack patch image quantified using this binarized data can be calculated in the crack rate measurement unit 150, which will be described later. In other words, it can be used as result data provided by an artificial neural network.
균열률 측정부(150)는 변환부(140)에 의해 기설정된 색상으로 변환된 부위의 픽셀 수를 측정하여 균열 패치영상에서 도로의 균열량을 측정한 후, 균열 패치영상에 포함된 위치 정보 및 균열률 정보를 데이터화하여 저장할 수 있다. 예를 들어, 균열률 측정부(150)는 검출영역에 포함된 도로에 대한 총 면적 대비 총 균열양을 백분율(%)로 산출하여 위치 정보와 함께 데이터로 저장할 수 있다. The crack rate measurement unit 150 measures the amount of cracks in the road in the crack patch image by measuring the number of pixels in the area converted to the color preset by the conversion unit 140, and then measures the amount of cracks in the road and the location information included in the crack patch image. Crack rate information can be converted into data and stored. For example, the crack rate measuring unit 150 may calculate the total amount of cracks as a percentage (%) relative to the total area of the road included in the detection area and store it as data along with location information.
이렇게 데이터화된 위치 정보 및 균열률 정보는 도로의 포장관리시스템에 적용되어 포장 주기에 대한 프로세스를 취득할 수 있으며, 도 9에 도시된 바와 같이 균열률 정보에 따라 도로포장 상태등급을 분류하고, 분류된 상태등급을 지리 정보 시스템(GIS: Geographic Information System)에 적용하여 색상 등으로 표시할 수 있다. 예를 들어, 균열률이 0.5% 미만인 경우 상 등급을 나타내는 녹색으로, 균열률이 0.5 ~ 1.0%인 경우 중 등급을 나타내는 노란색으로, 균열률이 1.0 ~ 100%인 경우 하 등급을 나타내는 붉은색으로 표시할 수 있다. This dataized location information and crack rate information can be applied to the road pavement management system to obtain a process for the pavement cycle. As shown in Figure 9, the road pavement condition grade is classified and classified according to the crack rate information. The status grade can be applied to the Geographic Information System (GIS) and displayed in color, etc. For example, if the crack rate is less than 0.5%, green indicates a high grade, if the crack rate is 0.5 to 1.0%, yellow indicates a medium grade, and if the crack rate is 1.0 to 100%, red indicates a low grade. It can be displayed.
전술한 바와 같이, 도로의 균열 검출 시스템(100)은 차량(10)과 드론(20) 중 적어도 하나에 설치된 촬영부(110)를 이용하여 도로를 촬영한 후, 인공신경망을 이용하여 촬영된 영상에서 도로의 균열률을 측정하기 때문에 보다 신속하면서도 정확하게 균열률을 검출할 수 있다. As described above, the road crack detection system 100 photographs the road using the photographing unit 110 installed in at least one of the vehicle 10 and the drone 20, and then images captured using an artificial neural network. Since the crack rate of the road is measured, the crack rate can be detected more quickly and accurately.
또한, 시내는 차량(10)을 이용하여 촬영하고 시외는 드론(20)을 이용하여 촬영해 줌으로써 모든 도로를 촬영할 수 있다. In addition, all roads can be photographed by taking pictures in the city using a vehicle 10 and taking pictures outside the city using a drone 20.
아울러, 검출된 균열률 정보에 따라 도로포장 상태등급을 분류하고, 분류된 상태등급을 지리 정보 시스템(GIS: Geographic Information System)에 적용해 줌으로써 도로포장 상태등급 시스템을 구축할 수 있게 된다.In addition, it is possible to construct a road pavement condition grade system by classifying the road pavement condition grade according to the detected crack rate information and applying the classified condition grade to the Geographic Information System (GIS).
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다. The present invention has been described with reference to an embodiment shown in the attached drawings, but this is merely illustrative, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. You will be able to. Accordingly, the true scope of protection of the present invention should be determined only by the appended claims.
110: 촬영부
120: 전처리부
121: 검출영역 설정부
122: 투영변환부
123: 패치영상 제공부
130: 균열 패치영상 검출부
140: 변환부
150: 균열률 측정부 110: Filming Department
120: Preprocessing unit
121: Detection area setting unit
122: Projection conversion unit
123: Patch video provision department
130: Crack patch image detection unit
140: conversion unit
150: Crack rate measurement unit
Claims (9)
상기 영상을 기설정된 패치(Patch) 사이즈로 분할한 후, 검출영역(ROI: Region Of Interest)을 설정하여 상기 검출영역에 포함된 복수의 패치영상을 추출하는 전처리부;
인공신경망을 이용하여 상기 추출된 패치영상들 중에서 도로에 균열이 있는 패치영상을 분류하는 균열 패치영상 검출부;
상기 분류된 균열 패치영상에 포함된 균열 정보를 기설정된 색상으로 변환하는 변환부; 및
상기 기설정된 색상으로 변환된 부위의 픽셀 수를 측정하여 상기 균열 패치영상에서 도로의 균열률을 측정한 후, 상기 균열 패치영상에 포함된 위치 정보 및 균열률 정보를 데이터화하여 저장하는 균열률 측정부;를 포함하고,
상기 차량에 설치된 촬영부는 시내에 위치한 도로를 촬영하고, 상기 드론에 설치된 촬영부는 시외에 위치한 도로를 촬영하고,
상기 전처리부는 상기 촬영부에 의해 수집된 영상 정보에 가상의 그리드를 생성한 후, 검출영역을 설정하는 검출영역 설정부와, 상기 검출영역에 포함된 영상을 크롭(Crop)하여 2차원 데이터로 투영변환을 진행하는 투영변환부와, 상기 2차원 데이터로 저장된 영상을 기초로 상기 그리드 기반 영역 분할을 수행하여 복수의 패치영상을 획득하는 패치영상 제공부를 포함하고,
차량에 설치된 촬영부를 통해 수집된 영상 정보를 이용한 패치영상 획득은 검출영역 설정부와, 투영변환부와, 패치영상 제공부를 통해 이루어지되, 드론에 설치된 촬영부를 통해 수집된 영상 정보를 이용한 패치영상 획득은 검출영역 설정부와 패치영상 제공부를 통해 이루어 지고,
균열 패치영상 검출부의 패치영상 분류에 MobileNetV2 알고리즘을 사용하고,
상기 균열률 정보에 따라 도로포장 상태등급을 분류하고, 상기 상태등급을 지리 정보 시스템(GIS: Geographic Information System)에 적용하여 표시하되, 도로포장 상태등급에 따라 표시되는 색상이 녹색, 노란색, 붉은색 중 어느 하나로 결정되는 것;을 특징으로 하는, 도로의 균열 검출 시스템.
A photographing unit installed on vehicles and drones to photograph roads and collect image information and location information about the roads;
A preprocessor that divides the image into preset patch sizes, sets a detection region (ROI: Region Of Interest), and extracts a plurality of patch images included in the detection region;
a crack patch image detection unit that classifies patch images containing cracks in the road among the extracted patch images using an artificial neural network;
a conversion unit that converts crack information included in the classified crack patch image into a preset color; and
A crack rate measurement unit that measures the crack rate of the road in the crack patch image by measuring the number of pixels in the area converted to the preset color, and then converts and stores the location information and crack rate information included in the crack patch image into data. Contains ;,
The photography unit installed in the vehicle photographs roads located within the city, and the photography unit installed in the drone photographs roads located outside the city,
The pre-processing unit generates a virtual grid in the image information collected by the photographing unit, and then includes a detection area setting unit that sets a detection area, and crops the image included in the detection area to project it as two-dimensional data. It includes a projection conversion unit that performs conversion, and a patch image providing unit that obtains a plurality of patch images by performing the grid-based region division based on the image stored as the two-dimensional data,
Patch image acquisition using image information collected through the camera unit installed in the vehicle is accomplished through the detection area setting unit, projection conversion unit, and patch image provision unit, and patch image acquisition using image information collected through the camera unit installed in the drone. This is done through the detection area setting section and the patch image providing section,
The MobileNetV2 algorithm is used to classify patch images in the crack patch image detection section,
The road pavement condition grade is classified according to the crack rate information, and the condition grade is applied to the Geographic Information System (GIS) and displayed, and the colors displayed according to the road pavement condition grade are green, yellow, and red. A road crack detection system characterized in that it is determined by one of the following.
상기 촬영부는 MMS(Mobile Mapping System) 모듈을 포함하는 도로의 균열 검출 시스템.According to paragraph 1,
The photographing unit is a road crack detection system including a Mobile Mapping System (MMS) module.
상기 균열률 측정부는 상기 검출영역에 포함된 도로에 대한 총 면적 대비 총 균열양을 백분율(%)로 산출하여 데이터로 저장하는 도로의 균열 검출 시스템.
According to paragraph 1,
A road crack detection system in which the crack rate measuring unit calculates the total amount of cracks as a percentage (%) compared to the total area of the road included in the detection area and stores it as data.
상기 인공신경망은,
상기 전처리된 복수의 패치영상을 학습데이터로 활용하여 균열 부위의 특징을 추출하는 특징 추출부와,
상기 패치영상으로부터 상기 특징이 검출되는 경우, 상기 특징이 포함된 패치영상을 균열 패치영상으로 분류하는 균열 패치영상 분류부를 포함하는 도로의 균열 검출 시스템.
According to paragraph 1,
The artificial neural network is,
A feature extraction unit that extracts features of the crack area by using the plurality of preprocessed patch images as learning data,
A crack detection system for a road including a crack patch image classification unit that classifies the patch image containing the feature as a crack patch image when the feature is detected from the patch image.
상기 인공신경망은 상기 균열 패치영상을 이진화 데이터로 정량화하여 학습을 수행하는 도로의 균열 검출 시스템.
According to clause 5,
The artificial neural network is a road crack detection system that performs learning by quantifying the crack patch image into binarized data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210114643A KR102624378B1 (en) | 2021-08-30 | 2021-08-30 | Crack detection system for road |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210114643A KR102624378B1 (en) | 2021-08-30 | 2021-08-30 | Crack detection system for road |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230032150A KR20230032150A (en) | 2023-03-07 |
| KR102624378B1 true KR102624378B1 (en) | 2024-01-12 |
Family
ID=85513335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210114643A KR102624378B1 (en) | 2021-08-30 | 2021-08-30 | Crack detection system for road |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102624378B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5066219B2 (en) * | 2010-05-11 | 2012-11-07 | 株式会社補修技術設計 | Concrete plate deterioration inspection system |
| JP2018018461A (en) * | 2016-07-29 | 2018-02-01 | エヌ・ティ・ティ・コムウェア株式会社 | Information processing apparatus, display device, information processing method, and program |
| JP6713505B2 (en) * | 2018-05-11 | 2020-06-24 | 西日本電信電話株式会社 | Pavement information collection and inspection system, pavement information collection and inspection method, and program |
| KR102202572B1 (en) * | 2019-11-25 | 2021-01-12 | 서울시립대학교 산학협력단 | road crack assessment method and system using drone image and artificial intelligent algorithm |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102094341B1 (en) | 2018-10-02 | 2020-03-27 | 한국건설기술연구원 | System for analyzing pot hole data of road pavement using AI and for the same |
-
2021
- 2021-08-30 KR KR1020210114643A patent/KR102624378B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5066219B2 (en) * | 2010-05-11 | 2012-11-07 | 株式会社補修技術設計 | Concrete plate deterioration inspection system |
| JP2018018461A (en) * | 2016-07-29 | 2018-02-01 | エヌ・ティ・ティ・コムウェア株式会社 | Information processing apparatus, display device, information processing method, and program |
| JP6713505B2 (en) * | 2018-05-11 | 2020-06-24 | 西日本電信電話株式会社 | Pavement information collection and inspection system, pavement information collection and inspection method, and program |
| KR102202572B1 (en) * | 2019-11-25 | 2021-01-12 | 서울시립대학교 산학협력단 | road crack assessment method and system using drone image and artificial intelligent algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230032150A (en) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qin et al. | 3D change detection at street level using mobile laser scanning point clouds and terrestrial images | |
| CN109598794B (en) | Construction method of three-dimensional GIS dynamic model | |
| CN104091369B (en) | Unmanned aerial vehicle remote-sensing image building three-dimensional damage detection method | |
| JP6408434B2 (en) | Road marking body deterioration detection method | |
| KR101787542B1 (en) | Estimation system and method of slope stability using 3d model and soil classification | |
| CN104091168A (en) | Method for automatically extracting and locating power line based on unmanned aerial vehicle image | |
| CN113724259B (en) | Well lid abnormity detection method and device and application thereof | |
| CN112819895A (en) | Camera calibration method and device | |
| JP2006195032A (en) | Topographical map creating method and topographical map creating system | |
| CN115345945A (en) | Automatic inspection method and system for reconstructing expressway by using multi-view vision of unmanned aerial vehicle | |
| CN114972177A (en) | Road disease identification management method and device and intelligent terminal | |
| Parmehr et al. | Mapping urban tree canopy cover using fused airborne lidar and satellite imagery data | |
| CN111783690A (en) | Urban travelable area CIM information processing method based on vehicle density perception | |
| CN115019208A (en) | Road surface three-dimensional reconstruction method and system for dynamic traffic scene | |
| Li et al. | 3D map system for tree monitoring in hong kong using *** street view imagery and deep learning | |
| Dhiman et al. | A multi-frame stereo vision-based road profiling technique for distress analysis | |
| JP2020160840A (en) | Road surface defect detecting apparatus, road surface defect detecting method, road surface defect detecting program | |
| Gonçalves et al. | Pole photogrammetry with an action camera for fast and accurate surface mapping | |
| KR102624378B1 (en) | Crack detection system for road | |
| CN110852208B (en) | Crowd density estimation method and readable storage medium | |
| CN115880643B (en) | Social distance monitoring method and device based on target detection algorithm | |
| US20220148216A1 (en) | Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system | |
| CN109242900B (en) | Focal plane positioning method, processing device, focal plane positioning system and storage medium | |
| Mori et al. | Classification of pole-like objects using point clouds and images captured by mobile mapping systems | |
| Luo et al. | The texture extraction and mapping of buildings with occlusion detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |