KR102281100B1 - System and method for providing heat transporting pipe status information - Google Patents
System and method for providing heat transporting pipe status information Download PDFInfo
- Publication number
- KR102281100B1 KR102281100B1 KR1020200179743A KR20200179743A KR102281100B1 KR 102281100 B1 KR102281100 B1 KR 102281100B1 KR 1020200179743 A KR1020200179743 A KR 1020200179743A KR 20200179743 A KR20200179743 A KR 20200179743A KR 102281100 B1 KR102281100 B1 KR 102281100B1
- Authority
- KR
- South Korea
- Prior art keywords
- buried pipe
- underground buried
- road surface
- underground
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/3233—
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
Description
본 발명은 지하 매설관 이상 탐지 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 도로 노면의 열화상을 분석하여 지하 매설관의 이상 여부를 탐지하고 상태를 판단할 수 있는 지하 매설관 이상 탐지 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting an anomaly in an underground buried pipe, and more particularly, an underground buried pipe anomaly detection system capable of analyzing a thermal image of a road surface to detect an abnormality in an underground buried pipe and determine the condition; it's about how
열수송관은 열병합발전소 등 열 생산 시설에서 생산되는 열을 주택·기업 등으로 내보내는 관으로, 열수송관의 일반적으로 40년의 내구연한을 가지고 있으나, 다양한 이유로 조기 파손의 가능성이 높다. A heat transport pipe is a pipe that discharges heat produced in a heat production facility such as a combined heat and power plant to houses and corporations. Although a heat transport pipe has a lifespan of 40 years in general, there is a high possibility of premature damage for various reasons.
특히, 지하 매설 열수송관은 노후화에 따라 사고가 증가하고 있으며, 설계수명 30년의 난방관은 특성상, 배관의 노후화에 따른 사고는 설계 수명에 가까워짐에 따라 비례하는 것이 일반적이지만 10~15년 운영 중인 배관에서 전체 사고의 45%를 차지하는 것으로 나타나고 있다. In particular, accidents due to aging of underground heat transport pipes are increasing, and due to the characteristics of heating pipes with a design life of 30 years, accidents due to aging of pipes are generally proportional as the design life approaches, but 10 to 15 years of operation Piping accounts for 45% of all accidents.
열수송관 결함의 주요 원인은 불완전한 시공, 구조적 결함, 노후화 등을 들수 있으므로, 적기의 배관 모니터링과 이상 상태를 보완, 교체하는 활동이 적기에 이루어져야 한다.Since the main causes of defects in heat transport pipes are incomplete construction, structural defects, and aging, timely monitoring of piping and activities to supplement and replace abnormal conditions should be carried out in a timely manner.
따라서, 지하 매설 열수송관의 이상 탐지를 위하여, 기존에는 접촉식 센서인 감지선을 이용하여 열수송관의 이상 여부를 탐지하고 있으나, 이는 실시간 진단 및 관리가 어렵다.Therefore, in order to detect an abnormality in an underground heat transport pipe, conventionally, an abnormality in the heat transport pipe is detected by using a sensing wire, which is a contact sensor, but it is difficult to diagnose and manage in real time.
또한, 지하 매설 열수송관은 이중관 특성에 따른 부식과 파손 위험이 존재하고, 현장 용접에 대한 품질관리, 그리고, 동절기 지반과 배관의 온도 차이를 실시간으로 모니터링하는 기법에 대한 신뢰도 저하 등이 문제로 지적되고 있다.In addition, there is a risk of corrosion and damage due to the characteristics of the underground heat transport pipe, and the quality control for on-site welding, and the decrease in reliability of the technique for monitoring the temperature difference between the ground and the pipe in real time in winter are pointed out as problems. is becoming
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 도로 노면의 열화상을 인공지능모델에 통과시켜 지하에 매설된 열수송관의 이상 여부를 판단할 수 있는 지하 매설관 이상 탐지 시스템 및 방법을 제시하는 데 있다.The technical problem to be achieved by the present invention in order to solve the above-described problems is a system and method for detecting abnormalities in underground pipes that can determine whether there is an abnormality in a heat transport pipe buried underground by passing a thermal image of a road surface through an artificial intelligence model is to present
또한 본 발명이 이루고자 하는 기술적 과제는 차량에 구비된 경량화된 모델을 이용하여 신속하게 지하 매설관의 불량 여부를 판단하고, 이후 서버에 설치된 고성능의 모델을 이용하여 보다 정밀한 이상 여부를 판단할 수 있는 지하 매설관 이상 탐지 시스템 및 방법을 제시하는 데 있다. In addition, the technical task to be achieved by the present invention is to quickly determine whether the underground buried pipe is defective using a lightweight model provided in the vehicle, and then use the high-performance model installed in the server to determine whether there is an abnormality more precisely. An object of the present invention is to present a system and method for detecting an anomaly in an underground buried pipe.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 상기 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하는 지하 매설관 정보 수집 장치; 및 상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 지하 매설관 정보 제공 서버;를 포함한다.As a means for solving the above-mentioned technical problem, according to an embodiment of the present invention, the first analysis of the road surface image obtained by photographing the surroundings of a vehicle in motion to predict whether an underground underground pipe located under the road is abnormal and, when it is predicted that there is an abnormality, an underground buried pipe information collecting device that collects the road surface image and location information of a point where the road surface image is captured as underground buried pipe abnormal information; and an underground buried pipe information providing server that finally determines whether the underground buried pipe is abnormal by secondary analysis of a road surface image among the underground buried pipe abnormality information received from the underground buried pipe information collecting device.
상기 지하 매설관 정보 수집 장치는, 상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 촬영부; 상기 차량의 위치 정보를 제공하는 위치 센서; 인공지능 기반으로 사전에 학습된 지하 매설관 상태 예측 모델이 저장되는 장치 메모리; 상기 촬영부로부터 실시간으로 입력되는 도로 노면 열화상을 상기 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 장치 제어부; 및 상기 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 장치 통신부;를 포함한다.The underground buried pipe information collecting device captures the road surface on which the underground buried pipe is located among the surroundings of the driving vehicle to obtain an RGB image (hereinafter referred to as a 'road surface RGB image') and a thermal image (hereinafter referred to as 'road surface RGB image') as a road surface image. , a photographing unit that acquires a 'road thermal image'); a location sensor providing location information of the vehicle; a device memory in which a pre-trained underground state prediction model based on artificial intelligence is stored; The road surface thermal image input from the photographing unit in real time is input to the underground buried pipe condition prediction model to first predict the condition of the underground buried pipe, and when it is predicted that there is an abnormality in the underground buried pipe, the road surface heat a device control unit that matches the image, the RGB image of the road surface obtained by photographing the same point as the thermal image of the road, and the location information at which the thermal image of the road is taken, and collects it as information about abnormalities in the underground buried pipe; and a device communication unit for transmitting the collected information on the abnormality of the underground buried pipe to the underground buried pipe information providing server.
상기 지하 매설관 정보 수집 장치는, 상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 전처리부;를 더 포함한다.The apparatus for collecting underground buried pipe information may further include a pre-processing unit configured to crop and set a region of interest in which an underground buried pipe is expected to be located among the RGB image of the road and the thermal image of the road.
상기 전처리부는, 상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정한다.The pre-processing unit, when the road surface RGB image and the road surface thermal image are taken to include a right road, a right shoulder, and a sidewalk based on the driving direction of the vehicle, the road surface RGB image and the road surface thermal image in a horizontal direction The lower region among the regions divided into three equal parts by n is divided vertically into n, and the region of interest is set to include the region including the shoulder among the n-divided regions.
상기 지하 매설관 정보 제공 서버는, 상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 서버 통신부; 인공지능 기반으로 사전에 학습된 지하 매설관 상태 판단 모델이 저장되는 서버 메모리; 및 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 상기 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보를 이용하여 상기 지하 매설관의 이상 여부 진단 결과를 시각화처리하는 서버 제어부;를 포함한다.The underground buried pipe information providing server may include: a server communication unit configured to receive underground buried pipe abnormality information from the underground buried pipe information collecting device; a server memory in which a pre-learned underground state judgment model based on artificial intelligence is stored; and inputting a road surface thermal image of the received underground underground pipe abnormality information into the underground buried pipe condition determination model to determine the state of the underground buried pipe secondarily, and as a result of the second determination, it is determined that there is an abnormality in the underground buried pipe When it is determined, the server control unit for visualizing the diagnosis result of the abnormality of the underground buried pipe by using the received underground buried pipe abnormality information; includes.
상기 서버 제어부는, 상기 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측한다.When it is determined that there is an abnormality in the underground buried pipe as a result of the second determination, the server control unit predicts the abnormal signs of the underground buried pipe early based on the temperature change of the thermal image of the road among the received underground buried pipe abnormality information .
한편, 본 발명의 실시 예에 따르면, (A) 지하 매설관 정보 수집 장치가, 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 상기 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하는 단계; 및 (B) 지하 매설관 정보 제공 서버가, 상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 단계;를 포함한다.On the other hand, according to an embodiment of the present invention, (A) whether the underground buried pipe information collecting device is abnormal in the underground buried pipe located under the road by first analyzing the road surface image obtained by photographing the surroundings of the driving vehicle predicting and collecting the road surface image and location information of a point at which the road surface image is photographed as abnormality information of an underground buried pipe if it is predicted that there is an abnormality; and (B) finally determining, by the underground buried pipe information providing server, whether the underground buried pipe is abnormal by secondary analysis of the road surface image among the underground buried pipe abnormal information received from the underground buried pipe information collecting device; includes
상기 (A) 단계는, (A1) 상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 단계; (A2) 상기 차량의 위치 정보를 센싱하는 단계; (A3) 상기 (A1) 단계로부터 실시간으로 입력되는 도로 노면 열화상을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 단계; 및 (A4) 상기 (A3) 단계에서 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 단계;를 포함한다.In the step (A), (A1) photographing the road surface on which the underground buried pipe is located among the surroundings of the driving vehicle, and as a road surface image, an RGB image (hereinafter referred to as 'road surface RGB image') and a thermal image ( hereinafter referred to as a 'road thermal image'); (A2) sensing the location information of the vehicle; (A3) Input the road surface thermal image input in real time from step (A1) into the underground buried pipe condition prediction model to predict the condition of the underground buried pipe first, and if it is predicted that there is an abnormality in the underground buried pipe, collecting the road surface thermal image, the road surface RGB image photographed at the same point as the road surface thermal image, and location information at which the road surface thermal image is captured, and collecting the information as information about abnormalities in the underground buried pipe; and (A4) transmitting the underground buried pipe abnormality information collected in the step (A3) to the underground buried pipe information providing server.
상기 (A) 단계는, (A3) 상기 (A2) 단계 이후, 상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 단계;를 더 포함한다.In the step (A), (A3) after the step (A2), cropping by setting a region of interest in which an underground buried pipe is expected to be located among the road surface RGB image and the road surface thermal image and cropping; include more
상기 (A3) 단계는, 상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정한다.In step (A3), when the road surface RGB image and the road surface thermal image are taken to include the right road, the right shoulder, and the sidewalk based on the driving direction of the vehicle, the road surface RGB image and the road surface thermal image Among the horizontally divided regions, the lower region is vertically divided into n equal parts, and the region of interest is set to include the region including the shoulder among the n divided regions.
상기 (B) 단계는, (B1) 상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 단계; (B2) 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보를 이용하여 상기 지하 매설관의 이상 여부 진단 결과를 시각화처리하는 단계;를 포함한다.The step (B) comprises the steps of: (B1) receiving information on abnormality of the underground buried pipe from the underground buried pipe information collecting device; (B2) of the received underground underground pipe abnormality information, the thermal image of the road surface is input to the underground buried pipe condition determination model to determine the condition of the underground buried pipe secondarily, and as a result of the second determination, there is an abnormality in the underground buried pipe and visualizing a diagnosis result of whether the underground buried pipe is abnormal by using the received underground buried pipe abnormality information.
(B3) 상기 (B2) 단계에서 상기 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측하는 단계;를 더 포함한다.(B3) If it is determined that there is an abnormality in the underground buried pipe as a result of the second determination in step (B2), abnormal signs of the underground buried pipe based on the temperature change of the road surface thermal image among the received underground buried pipe abnormal information It further includes a step of predicting early.
본 발명에 따르면, 도로 노면을 촬영한 열화상에서 지하 매설관에 이상이 있는 것으로 판단되는 이상 지점을 인공지능 기술로 자동으로 추출함으로써 기존의 인력 조사에 의존하던 방식을 개선하고, 촬영한 열화상에서 자동으로 추출된 이상변화를 관리기관에 통보함으로써 지하 시설물의 안전에 기여할 수 있다. According to the present invention, the method that relied on the existing manpower investigation is improved by automatically extracting an abnormal point that is judged to have an abnormality in the underground buried pipe from the thermal image taken of the road surface with artificial intelligence technology, and automatically from the photographed thermal image It can contribute to the safety of underground facilities by notifying the management agency of abnormal changes extracted by
또한, 본 발명에 따르면, 지하 열수송관의 건전성을 기존 정기점검방식인 이력 데이터, 등급화 등으로는 실시간 진단 및 관리가 어려운 점을 개선하여, 지상에서 촬영한 영상으로 지하 매설관의 온도변화를 학습하여 비정상 이미지를 추출하고, 위험도를 예측한 후 서비스로 제공할 수 있다. In addition, according to the present invention, the real-time diagnosis and management of the soundness of the underground heat transport pipe, such as historical data and grading, which are the existing regular inspection methods, is improved, and the temperature change of the underground pipe is detected with the image taken from the ground. It can learn to extract abnormal images, predict the level of risk, and then provide it as a service.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버를 도시한 블록도,
도 2는 관심영역 추출, 레이블링 및 학습용 이미지 데이터셋을 작성하는 동작을 보여주는 도면,
도 3은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지 시스템을 도시한 도면,
도 4는 서버 제어부를 도시한 블록도,
도 5는 도로 노면 열화상을 온도-주파수 그래프로 변환한 예시도,
도 6은 상술한 지하 매설관 이상 탐지 시스템의 일련의 동작을 보여주는 도면,
도 7은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버의 모델 생성 방법을 설명하기 위한 흐름도, 그리고,
도 8은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도이다.1 is a block diagram illustrating a model generation server for detecting abnormalities in an underground buried pipe according to an embodiment of the present invention;
2 is a view showing the operation of creating an image dataset for extraction, labeling, and training of a region of interest;
3 is a view showing an underground underground pipe abnormality detection system according to an embodiment of the present invention;
4 is a block diagram showing a server control unit;
5 is an example of converting a road surface thermal image into a temperature-frequency graph;
6 is a view showing a series of operations of the above-described underground buried pipe abnormality detection system;
7 is a flowchart for explaining a model generation method of a model generation server for detecting anomalies in an underground buried pipe according to an embodiment of the present invention;
8 is a flowchart schematically illustrating a method for collecting and providing road condition information of a system for collecting road condition information according to an embodiment of the present invention.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.Additional objects, features and advantages of the present invention may be more clearly understood from the following detailed description and accompanying drawings.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는 바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Prior to the detailed description of the present invention, the present invention can make various changes and can have various embodiments, and the examples described below and shown in the drawings are not intended to limit the present invention to specific embodiments. No, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It should be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다.In addition, terms such as "...unit", "...unit", and "...module" described in the specification may mean a unit that processes at least one function or operation.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)를 도시한 블록도이다.1 is a block diagram illustrating a
도 1에 도시된 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)는 다수의 도로 노면 영상들을 딥러닝 알고리즘에 적용하여 실제 도로상에서 지하 매설관의 이상 여부를 예측할 수 있는 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 학습 및 생성할 수 있다.The
이를 위해, 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)는 모델 UI부(110), 모델 데이터베이스(DB, 120), 모델 전처리부(130), 모델 메모리(140) 및 모델 제어부(150)를 포함할 수 있다.To this end, the
모델 UI부(110)는 사용자와 서버(100) 간의 인터페이싱을 위한 장치로서, 사용자 명령을 입력받아 모델 제어부(150)에게 전달하거나, 모델 제어부(150)에 의해 처리된 결과를 화면에 표시할 수 있다.The model UI unit 110 is a device for interfacing between the user and the
모델 DB(120)는 주행 중인 다수의 차량들에서 차량의 주변을 촬영한 도로 노면 영상들과 모델 전처리부(130)에서 전처리된 학습용 이미지 데이터셋을 저장한다. 도로 노면 영상은 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 포함한다. 도로 노면 RGB 영상과 도로 노면 열화상은 동일한 지점을 동시에 촬영한 영상이다.The model DB 120 stores road image data obtained by photographing the surroundings of a vehicle in a plurality of driving vehicles and a training image dataset preprocessed by the
도로 노면 영상은 예를 들어, 차량의 전방 30미터 이내의 구간을 촬영한 영상으로서, 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영된 영상일 수 있다. 도로 노면 영상을 획득하는 촬영 장비의 해상도와 인식 성능에 따라 30미터라는 거리는 가감될 수 있다.The road surface image is, for example, an image of a section within 30 meters in front of the vehicle, and may be an image captured to include a right road, a right shoulder, and a sidewalk based on the driving direction of the vehicle. The distance of 30 meters may be increased or decreased depending on the resolution and recognition performance of the photographing equipment that acquires the road image.
모델 전처리부(130)는 다수의 도로 노면 영상들에 대해 전처리를 수행하여 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 생성하는데 필요한 학습용 이미지 데이터셋을 작성할 수 있다.The
이를 위하여, 먼저, 모델 전처리부(130)는 수집된 도로 노면 영상들로부터 도로 노면 RGB 영상들과 도로 노면 열화상들에서 관심 영역을 추출할 수 있다.To this end, first, the
도로 노면 영상이 차량의 주행 방향을 기준으로 최우측 도로, 우측 갓길 및 인도를 포함하도록 촬영된 영상인 경우, 모델 전처리부(130)는 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분하고, 아래 최하단 영역을 추출한 후, 최하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 갓길을 포함하는 영역을 추출하여 관심 영역으로 설정할 수 있다. n=2인 경우, 모델 전처리부(130)는 2등분된 최하단 영역 중 갓길이 포함되어 있을 가능성이 더 높은 우측 영역을 관심 영역으로서 추출할 수 있다.When the road surface image is an image captured to include the rightmost road, right shoulder, and sidewalk based on the driving direction of the vehicle, the
모델 전처리부(130)는 도로 노면 열화상들에서 추출된 관심 영역들로부터 지하 매설관 중 이상이 발생한 영역에 해당하는 특이 픽셀 영역을 구분 표시(즉, 레이블링)하여 학습용 이미지 데이터셋을 작성할 수 있다. 이상이 발생한 영역은 지하 매설관의 열화상의 주변색에 비하여 다른 색온도를 갖거나 다른 모양을 갖는 등의 특징을 가질 수 있다.The
도 2는 관심영역 추출, 레이블링 및 학습용 이미지 데이터셋을 작성하는 동작을 보여주는 도면이다.2 is a diagram illustrating an operation of extracting a region of interest, labeling, and creating an image dataset for training.
도 2를 참조하면, 모델 전처리부(130)는 추출된 관심 영역에 이상이 발생한 부분이 있는 경우, 이상이 발생한 부분의 특징을 색상 또는 별도의 표식으로 표시하는 레이블링 작업을 자동으로 수행하거나 관리자로 하여금 수행하도록 하여 레이블링 데이터를 생성할 수 있다. 추출된 특징은 특징의 종류 또는 크기에 따라 다른 색상으로 레이블링될 수도 있다. 이 때, 모델 전처리부(130)는 열화상을 흑백 이미지로 변환한 후 관심 영역을 추출하거나, 관심 영역을 추출한 후 흑백 이미지로 변환할 수도 있다.Referring to FIG. 2 , when there is an abnormality in the extracted region of interest, the
모델 전처리부(130)는 관심 영역 중 레이블링된 영역은 예를 들어 흰색 픽셀로 표기하고, 나머지 영역은 검은색 픽셀로 표기하여 레이블링 관심 영역(즉, 이상 변화 이미지)들을 생성할 수 있다. 따라서, 이상 변화 이미지는 열화상 이미지에서 비정상 구간의 온도 특성을 보이는 이미지일 수 있다. 또한, 레이블링되지 않은 관심 영역(즉, 정상 이미지)들도 검은색 픽셀로 표기할 수 있다. 흰색, 검은색은 일 예로서 변경가능하다.The
그리고, 모델 전처리부(130)는 레이블링 관심 영역들(이상 변화 이미지)과 레이블링되지 않은 관심 영역들(정상 이미지)을 혼합하여 학습용 이미지 데이터셋을 작성할 수 있다. 지하 매설관의 열화상에 특징적인 표식을 한 학습용 이미지 데이터 셋이 충분할수록 AI 학습 결과의 성능은 높아진다.In addition, the
모델 메모리(140)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 모델 메모리(140)에는 지하 매설관 상태 예측 모델(1차 딥러닝 AI)과 지하 매설관 상태 판단 모델(2차 딥러닝 AI)을 구현하기 위한 프로그램이 저장될 수 있다. The model memory 140 may include volatile memory and/or non-volatile memory. The model memory 140 may store a program for implementing the underground buried pipe state prediction model (first deep learning AI) and the underground buried pipe state determination model (second deep learning AI).
지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델은 도로 노면 영상을 학습 알고리즘에 적용하여 도로 노면 아래에 매설된 지하 매설관에 이상이 발생하였는지 예측하거나 보다 정밀하게 판단하며, 이상이 있는 것으로 판단된 영역을 레이블링할 수 있다. 학습 알고리즘은 인공지능 알고리즘, 구체적으로는 딥러닝 알고리즘(예를 들어, DNN, RNN, CNN, SVM 등 다수)일 수 있다. The underground buried pipe condition prediction model and the underground buried pipe condition determination model apply the road surface image to the learning algorithm to predict or more precisely determine whether an abnormality has occurred in the underground buried pipe buried under the road surface, and determine that there is an abnormality area can be labeled. The learning algorithm may be an artificial intelligence algorithm, specifically, a deep learning algorithm (eg, DNN, RNN, CNN, SVM, etc.).
모델 제어부(150)는 모델 메모리(140)에 저장된 하나 이상의 프로그램을 실행하여 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 학습 및 생성할 수 있다.The
자세히 설명하면, 모델 제어부(150)는 모델 전처리부(130)에서 전처리된 학습용 이미지 데이터 셋을 입력받아 다수의 심층신경망 모형들을 구성하고, 다수의 심층신경망 모형들의 학습 결과를 검토하여 최적의 인식 성능을 출력하는 모형을 추론모델로서 정한다. 다수의 심층신경망 모형들은 히든층, 노드수, 연산자 등을 바꾸어가며 구성된다. In detail, the
즉, 모델 제어부(150)는 학습용 이미지 데이터 셋을 인공지능 학습모델을 거쳐 학습이 완료된 추론모델, 즉, 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 제작한다. 본 발명에서, 모델 제어부(150)는 2단계의 인공지능모델을 연동하여 수행하도록, 1차 필터링과 2차 필터링의 인공지능 모델을 다르게 구성하는 계층형 인공지능 모델을 제작할 수 있다.That is, the
모델 제어부(150)는 지하 매설관 상태 판단 모델 대비 빠르게 지하 매설관의 이상 여부를 판단할 수 있는 지하 매설관 상태 예측 모델을 제작한다. The
그리고, 모델 제어부(150)는 모델 DB(120)에 저장된 학습용 이미지 데이터셋에서 이상 변화 이미지와 정상 이미지의 구성 비율을 N 종으로 바꾸면서 모델을 학습하고, 이 모델을 N*N 매트릭스 형태를 갖도록 앙상블 구조의 지하 매설관 상태 판단 모델을 제작할 수 있다. 지하 매설관 상태 예측 모델에 사용되는 학습용 이미지 데이터셋의 구성 비율은 N 종보다 적다. Then, the
상술한 방식으로 제작된 지하 매설관 상태 판단 모델은 지하 매설관 상태 예측 모델로부터 발생하는 FP(False Positive)값을 낮추도록 학습 및 모델링되어 지하 매설관 상태 예측 모델 대비 신뢰도가 높고, 지하 매설관 상태 예측 모델은 지하 매설관 상태 판단 모델 대비 경량화된 모델이다. The underground buried pipe condition determination model produced in the above way is trained and modeled to lower the FP (False Positive) value generated from the underground buried pipe condition prediction model, so it has higher reliability than the underground buried pipe condition prediction model, and the condition of the underground buried pipe condition The predictive model is a lightweight model compared to the underground buried pipe condition judgment model.
따라서, 지하 매설관 상태 예측 모델을 지하 매설관 정보 수집 장치(100)와 같은 단말기에 적용할 경우 단말기의 하드웨어 부담을 줄이면서 빠른 처리속도를 유지할 수 있다. 이후, 지하 매설관 상태 예측 모델보다 정확도와 처리 속도가 높은 지하 매설관 상태 판단 모델을 지하 매설관 정보 수집 장치(100)보다 고성능의 하드웨어를 구비한 지하 매설관 정보 제공 서버(300)에 적용하여, 보다 빠르면서 정확하게 노면의 이상 여부를 판단할 수 있다.Therefore, when the underground buried pipe state prediction model is applied to a terminal such as the underground buried pipe
도 3은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지 시스템을 도시한 도면이다.3 is a view showing an underground underground pipe abnormality detection system according to an embodiment of the present invention.
도 3을 참조하면, 지하 매설관 이상 탐지 시스템은 지하 매설관 정보 수집 장치(200) 및 지하 매설관 정보 제공 서버(300)를 포함할 수 있다.Referring to FIG. 3 , the underground buried pipe abnormality detection system may include an underground buried pipe
지하 매설관 정보 수집 장치(200)는 차량에 장착가능하며 휴대가능한 전자기기 형태를 가지며, 촬영부(210)를 포함하거나 또는 차량에 장착된 카메라와 연동할 수 있다.The underground buried pipe
지하 매설관 정보 수집 장치(200)는 주행 중인 차량의 주변을 촬영하여 생성되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 지하 매설관에 이상이 있는 것으로 예측되면 도로 노면 영상과 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집할 수 있다.The underground buried pipe
지하 매설관 정보 제공 서버(300)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 지하 매설관의 이상 여부를 최종적으로 판단할 수 있다.The underground buried pipe
먼저, 본 발명의 실시 예에 따른 지하 매설관 정보 수집 장치(200)는 촬영부(210), 위치 센서(220), 장치 전처리부(230), 장치 메모리(240), 장치 통신부(250) 및 장치 제어부(260)를 포함할 수 있다. First, the underground buried pipe
촬영부(210)는 차량에 장착되어 주행 중인 차량의 주변에 해당하는 도로 노면을 촬영하여 도로 노면 영상을 생성한다. 도로 노면 영상은 휘도데이터와 RGB 데이터를 포함하는 동영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 포함할 수 있다. 따라서, 촬영부(210)는 일반 카메라와 열화상 카메라를 포함할 수 있다. The photographing unit 210 generates a road surface image by photographing a road surface corresponding to the periphery of the vehicle mounted on the vehicle and driving. The road surface image may include a moving image including luminance data and RGB data (hereinafter, referred to as a 'road surface RGB image') and a thermal image (hereinafter referred to as a 'road surface thermal image'). Accordingly, the photographing unit 210 may include a general camera and a thermal imager.
촬영부(210)는 차량의 주행 방향을 기준으로 최우측 도로, 우측 갓길 및 인도 중 적어도 하나를 포함하도록 촬영할 수 있으며, 촬영부(210)에서 예를 들어 30미터 앞에 위치하는 도로 노면을 포함하여 촬영하도록 설치 및 설정될 수 있다. 30미터라는 거리는 촬영부(210)의 해상도와 인식 성능에 따라 변경가능함은 물론이다.The photographing unit 210 may photograph to include at least one of the rightmost road, the right shoulder, and the sidewalk based on the driving direction of the vehicle, and the photographing unit 210 includes, for example, a road surface located 30 meters in front of it. It can be installed and set up to shoot. Of course, the distance of 30 meters can be changed according to the resolution and recognition performance of the photographing unit 210 .
위치 센서(220)는 주행 중인 차량의 위치 정보를 센싱하여 센싱 시간과 함께 장치 제어부(260)에게 전달할 수 있다. 위치 센서(220)는 GPS(Global Positioning System) 장치일 수 있다.The position sensor 220 may sense the position information of the driving vehicle and transmit it to the
한편, 촬영부(210)로부터 입력되는 도로 노면 영상을 전체 프레임 단위로 영상 처리하는 경우 프레임 처리 시간이 오래 소요되므로, 프레임 처리시간을 단축하기 위해 프레임에서 특정 영역만을 추출하여 처리할 수 있다.Meanwhile, since the frame processing time is long when the road image input from the photographing unit 210 is processed in units of entire frames, only a specific region may be extracted and processed from the frame in order to shorten the frame processing time.
이를 위하여, 장치 전처리부(230)는 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역(ROI: Region Of Interest)으로 설정하여 크롭할 수 있다. 장치 전처리부(230)는 도로 노면 RGB 영상과 도로 노면 열화상을 흑백 영상으로 변환한 후 관심 영역을 추출하거나, 추출된 관심 영역을 흑백 영상으로 변환할 수 있다.To this end, the
촬영부(210)는 지하 매설관 위치를 따라 촬영하며, 관심 영역은 도로 노면 열화상에서 지하 매설관과 지하 매설관 주변의 열화상 온도 차이를 육안으로 확인할 수 있는 수준으로 설정할 수 있다. 촬영부(210)에서 관심 영역에 해당하는 실제 노면까지의 거리는 수m에서 30m이내로 하되, 촬영부(210)의 해상도가 높아지거나 촬영 성능이 높아지면 더 먼거리까지 촬영할 수도 있다. 여기서 거리를 30m 이내로 설정한 것은 지하 매설관의 온도변화를 관측하기 위해서는 30m 이상의 거리 측정으로는 주변과의 온도차이를 신뢰할 수 없기 때문이다. 즉, 관심 영역에는 지하 매설관과 주변 도로의 열화상 이미지가 동시에 포함되어, 지하 매설관과 주변의 온도 차이 변화를 육안으로 알 수 있도록 추출될 수 있다.The photographing unit 210 may photograph along the location of the underground buried pipe, and the region of interest may be set to a level at which the temperature difference between the underground buried pipe and the underground buried pipe can be visually confirmed in the thermal image of the road surface. The distance from the photographing unit 210 to the actual road surface corresponding to the region of interest is within a few m to 30 m. However, when the resolution of the photographing unit 210 increases or the photographing performance increases, it is possible to photograph a longer distance. The reason why the distance is set to less than 30m here is that, in order to observe the temperature change of the underground pipe, it is not reliable to measure the temperature difference with the surroundings by measuring a distance of 30m or more. That is, the region of interest includes the thermal image of the underground buried pipe and the surrounding road at the same time, and may be extracted so that the change in temperature difference between the underground buried pipe and the surrounding road can be visually recognized.
또한, 장치 전처리부(230)는 도로 노면 RGB 영상과 도로 노면 열화상이 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 도로 노면 영상에 해당하는 1개의 전체 프레임을 3분할하고, 이 중 하나의 영역, 예를 들어, 최하단 영역을 추출한 후, 최하단 영역을 다시 수직 방향으로 n등분하고, n등분된 영역들 중 갓길을 포함하는 영역을 관심 영역으로서 추출할 수 있다. n=2인 경우, 장치 전처리부(230)는 2등분된 최하단 영역 중 갓길이 포함되어 있을 가능성이 더 높은 우측 영역을 관심 영역으로서 추출한다. n은 차선 폭, 차량 높이, 촬영부(210)의 촬영 화각 등에 따라 변경될 수 있다.In addition, when the road surface RGB image and the road surface thermal image are captured to include the right road, the right shoulder, and the sidewalk based on the driving direction of the vehicle, the
장치 메모리(240)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 장치 메모리(240)에는 예를 들어, 지하 매설관 정보 수집 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(210~160)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
예를 들어, 장치 메모리(240)에는 지하 매설관 상태 예측 모델이 저장될 수 있다. 지하 매설관 상태 예측 모델은 도 1을 참조하여 설명한 모델 생성 장치(100)에서 인공지능 학습을 기반으로 생성된 모델로서, 도로 노면 영상을 분석하여 지하 매설관에 이상 지점이 발생하였는지 예측할 수 있다. 지하 매설관의 이상 지점은 지하 매설관이 노후되어 부식되었거나 열전달이 제대로 이루어지지 않는 등 열수송과 관련되어 비정상적인 지점을 포함한다.For example, the
지하 매설관 상태 예측 모델은 도로 노면 영상 또는 도로 노면 열화상에서 추출된 관심 영역을 분석하여 이상 지점이 있음을 예측한다. 이로써, 이상 지점이 발생한 것으로 예측된 도로 노면 영상은 서버(300)로 전송되고, 정상 상태인 것으로 예측된 도로 노면 영상은 전송되지 않음으로써 장치(200)는 1차 필터링을 수행할 수 있다.The underground buried pipe condition prediction model predicts the presence of an abnormal point by analyzing the region of interest extracted from the road surface image or the road surface thermal image. Accordingly, the image of the road surface predicted to have an abnormal point is transmitted to the
또한, 장치 메모리(240)는 촬영부(210)에서 생성되는 도로 노면 RGB 영상, 도로 노면 열화상, 도로 노면 RGB 영상에서 추출되는 관심 영역, 도로 노면 열화상에서 추출되는 관심영역, 도로 노면 영상이 센싱된 위치 정보와 시간 정보, 장치 제어부(260)에서 생성되는 지하 매설관 이상 정보 등 장치(200)를 구동하는 동안 발생하는 다양한 데이터를 저장할 수도 있다.In addition, the
장치 제어부(260)는 장치 메모리(240)에 저장된 하나 이상의 프로그램을 실행하여 장치(200)의 전반적인 동작을 제어한다.The
장치 제어부(260)는 촬영부(210)로부터 실시간으로 입력되는 도로 노면 열화상을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측한다. 지하 매설관에 이상이 있는 것으로 예측되면, 장치 제어부(260)는 이상이 예측된 지하 매설관을 포함하는 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집할 수 있다.The
영상 처리 속도 향상을 위해, 장치 제어부(260)는 도로 노면 영상의 전체 프레임이 아니라 장치 전처리부(230)에서 추출된 관심영역을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 비정상 여부를 예측할 수도 있다. In order to improve the image processing speed, the
그리고, 장치 제어부(260)는 지하 매설관의 이상 정보를 실시간으로 지하 매설관 정보 제공 서버(300)로 전송하도록 장치 통신부(250)를 제어할 수 있다. 지하 매설관 이상 정보는 무선 통신을 통해 지하 매설관 정보 제공 서버(300)로 직접 전송되거나, 도로 주변의 노변 장치인 RSE(Road Side Equipment)를 통해 지하 매설관 정보 제공 서버(300)로 전송될 수도 있다.In addition, the
한편, 도 3을 참조하면, 본 발명의 실시 예에 따른 지하 매설관 정보 제공 서버(300)는 서버 통신부(310), 서버 DB(320), 서버 메모리(330), 서버 표시부(340) 및 서버 제어부(350)를 포함할 수 있다.Meanwhile, referring to FIG. 3 , the underground buried pipe
서버 통신부(310)는 다수의 도로 상태 정보 수집 장치들(200) 또는 RSE들(미도시)과 통신하여, 지하 매설관의 이상 정보를 수신한다. 이하에서는 지하 매설관 정보 수집 장치(200)로부터 수신되는 경우를 예로 들어 설명한다.The
서버 DB(320)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보를 저장한다.The
서버 메모리(330)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 서버 메모리(330)에는 예를 들어, 지하 매설관 정보 제공 서버(300)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(310~240)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The
서버 메모리(330)에 저장되는 프로그램은 지하 매설관 상태 판단 모델을 이용하여 도로 상태를 판단하는 프로그램을 포함할 수 있다. 지하 매설관 상태 판단 모델은 상술한 모델 생성 장치(100)에서 인공지능 학습을 기반으로 생성된 모델로서, 도로 노면 영상을 정밀 분석하여 지하 매설관이 비정상인지 판단할 수 있다.The program stored in the
서버 제어부(350)는 서버 메모리(330)에 저장된 하나 이상의 프로그램을 실행하여 서버(300)의 전반적인 동작을 제어한다.The
예를 들어, 서버 제어부(350)는 수신된 지하 매설관 이상 정보 중 도로 노면 열화상(또는 관심영역)을 지하 매설관 상태 판단 모델에 입력하여 지하 매설관의 상태를 2차로 판단한다. For example, the
또한, 서버 제어부(350)는 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측할 수 있다.In addition, when it is determined that there is an abnormality in the underground buried pipe as a result of the second determination, the
이를 위하여, 서버 제어부(350)는 도 4에 도시된 것처럼 지하 매설관 상태 판단부(352) 및 이상 징후 예측부(354)를 포함한다.To this end, the
지하 매설관 상태 판단부(352)는 수신되는 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 지하 매설관의 이상 여부를 2차 판단한다. 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 관리자는 이상이 판단된 지하 매설관을 포함하는 도로 노면 영상을 주기적으로 또는 실시간으로 촬영하여 수집할 수 있다.The underground buried pipe
이상 징후 예측부(354)는 지하 매설관 상태 판단부(352)에서 이상이 있는 것으로 판단된 지점의 지하 매설관에 해당하는 도로 노면 열화상을 온도-주파수 그래프로 변환하여 서버 DB(320)에 누적 저장한다. 이상이 판단된 지점의 도로 노면 영상은 관리자에 의해 주기적으로 또는 실시간으로 수집되므로, 이상 징후 예측부(354)는 해당 도로 노면의 열화상을 온도-주파수 그래프로 변환하여 누적 저장할 수 있다. The abnormal
열화상 이미지 별로 누적 저장된 온도-주파수 그래프는 동일 구간이 누적된 것으로서, 이상 징후 예측부(354)는 동일 구간을 시간대 별로 분석하여 온도의 이상 변화를 감지할 수 있고, 이상 변화의 범위를 정의하여 데이터매트릭스를 설정하여 이상 여부를 레벨 별로 판단함으로써 조기 이상 징후를 예측할 수 있다.The temperature-frequency graph accumulated and stored for each thermal image is the same section accumulated, and the
도 5는 도로 노면 열화상을 온도-주파수 그래프로 변환한 예시도이다.5 is an exemplary diagram in which a thermal image of a road surface is converted into a temperature-frequency graph.
도 5를 참조하면, 이상 징후 예측부(354)는 온도와 주파수대의 최대값, 최소값, 평균값을 추출하여, 기준 범위와 온도 변화를 비교하면서 이상 여부를 조기 인지할 수 있다.Referring to FIG. 5 , the
이상 징후 예측부(354)는 도 5와 같은 온도-주파수 그래프의 온도-주파수 변환 데이터를 기반으로 데이터매트릭스를 생성한다. 이상 징후 예측부(354)는 데이터매트릭스에서 온도 변화값이 기준 범위 내이면 해당 지하 매설관이 정상이고, 기준 범위를 벗어나면 비정상 상태임을 일차적으로 판단하고, 다음으로 기준범위를 벗어난 데이터의 온도-주파수 그래프 분석을 통해 심각단계부터 주의 관심단계로 구분하여 이상 징후를 예측할 수 있다. 온도 변화값은 최대 온도값과 최저 온도값의 차이이다. 데이터매트릭스는 FFT temp different diagram으로서 고속퓨리에변환 분석으로 온도 변화를 측정한다.The
그리고, 서버 제어부(350)는 수신된 지하 매설관 이상 정보와 조기 예측된 이상 징후를 이용하여 이상 여부 진단 결과를 생성하고 이상 여부 진단 결과에 포함된 위치 정보에 기반하여 이상이 있는 것으로 진단된 지하 매설관의 위치를 서버 표시부(340) 또는 다른 서비스 수신 단말기에 표시되는 지도에 표시할 수 있다.Then, the
예를 들어, 서버 제어부(350)는 이상 징후 예측부(354)의 이상 징후 예측 결과로부터 지하 매설관의 관망상태를 삼색(녹색, 황색, 적색)으로 가시화하여, 이상 변화의 징후를 관리자가 가시적으로 파악하도록 한다.For example, the
녹색은 지하 매설관의 온도변화가 정상 범위에 있음을 의미하고, 황색은 온도변화가 비정상 상태로 넘어가는 경계 부근에 분포하여 주의를 기울여야 하는 것을 의미하고, 적색은 지하 매설관의 사고로 이어질 가능성이 높아 정밀점검 등 관련 조치를 필요로 함을 의미한다. 따라서, 서버 제어부(350)는 시계열로 저장된 공간상의 정보를 토대로 온도 변화를 예측하여 위험상황을 사전에 안내하는 예측예보시스템으로 활용할 수 있다.Green means that the temperature change of the underground pipe is within the normal range, yellow means that the temperature change is distributed near the boundary where the temperature change goes into an abnormal state, so attention should be paid, and red means that it may lead to an accident in the underground pipe This means that it is necessary to take relevant measures such as a detailed inspection. Therefore, the
도 6은 상술한 지하 매설관 이상 탐지 시스템의 일련의 동작을 보여주는 도면이다.6 is a view showing a series of operations of the above-described underground buried pipe abnormality detection system.
도 6을 참조하면, 먼저 모델 생성 서버(100)는 다수의 차량들이 주행하는 동안 GPS값을 취득하면서 다수의 도로 노면 영상들을 생성한다. 이와 동시에 지하 매설관 정보 수집 장치(200)는 도로 노면 영상들을 전처리하여 관심영역을 획득한 후 지하 매설관의 상태, 이상 여부에 따라 특징을 추출하여 레이블링한 후 신경망 모형 학습을 통해 다수의 추론 엔진들(다수의 지하 매설관 상태 예측 모델들, 다수의 지하 매설관 상태 판단 모델들)을 생성한다. 이후, 모델 생성 서버(100)는 생성된 추론 엔진들에 시험용 데이터셋을 입력하여 최적의 성능을 제공하는 추론 엔진(지하 매설관 상태 예측 모델들, 지하 매설관 상태 판단 모델)을 결정한다.Referring to FIG. 6 , first, the
지하 매설관 정보 수집 장치(200)는 실제 도로를 주행하면서 도로 노면 영상을 획득하고 지하 매설관 상태 예측 모델에 입력하여 1차 딥러닝 AI 분석을 수행한다. 1차 딥러닝 AI 분석 결과 관심영역에 이상이 있는 것으로 예측되면, 지하 매설관 정보 수집 장치(200)는 지하 매설관 이상 정보를 생성하여 지하 매설관 정보 제공 서버(300)에게 전송한다.The underground buried pipe
지하 매설관 정보 제공 서버(300)는 수신된 지하 매설관 이상 정보 중 도로 노면 영상을 지하 매설관 상태 판단 모델에 입력하여 2차 딥러닝 AI 분석을 수행한다. 수행 결과 지하 매설관에 이상이 있는 것으로 판단되면, 지하 매설관 정보 제공 서버(300)는 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측하고, 예측 결과에 따라 이상 지점을 추출한 후 시각화하여 모빌리티 서비스로 제공할 수 있다.The underground buried pipe
도 7은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)의 모델 생성 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a model generation method of the
도 7의 모델 생성 서버(100)는 도 1 및 도 2를 참조하여 설명한 서버(100)이므로 구체적인 설명은 생략한다.Since the
모델 생성 서버(100)는 주행 중인 다수의 차량들에서 차량들의 주변을 촬영한 도로 노면 영상들에 대해 전처리를 수행하여 관심 영역을 추출한다(S710).The
모델 생성 서버(100)는 추출된 관심 영역들을 흑백 이미지로 변환한 후 이상이 있는 부분을 추출하여 레이블링 처리한다(S720). 이로써 레이블링된 관심 영역과 레이블링되지 않은 관심 영역이 생성될 수 있다. S710단계에서 이상이 있는 부분이 예를 들어, 흰색으로 레이블링되면, 관심 영역의 나머지 부분과 이상 영역이 추출되지 않은 관심 영역은 모두 검은색으로 처리될 수 있다.The
모델 생성 서버(100)는 레이블링된 관심 영역들과 레이블링되지 않은 관심 영역들을 합쳐서 학습용 이미지 데이터셋을 작성한다(S730).The
모델 생성 서버(100)는 S710단계에서 입력된 다수의 도로 노면 영상들과, 도로 노면 영상들의 위치 정보와, S730단계에서 작성되는 학습용 이미지 데이터셋을 저장한다(S740).The
모델 생성 서버(100)는 S740단게에서 저장된 학습용 이미지 데이터셋을 학습하여 지하 매설관의 이상 여부를 판단하기 위한 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 생성한다(S750).The
도 8은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도이다.8 is a flowchart schematically illustrating a method for collecting and providing road condition information in a system for collecting road condition information according to an embodiment of the present invention.
도 8에 도시된 지하 매설관 정보 수집 장치(200)와 지하 매설관 정보 제공 서버(300)는 도 3 내지 도 6을 참조하여 설명하였으므로 자세한 설명은 생략한다.Since the underground buried pipe
도 8을 참조하면, 지하 매설관 정보 수집 장치(200)는 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 도로 노면 영상과 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집할 수 있다(S800). Referring to FIG. 8 , the underground buried pipe
S800단계를 자세히 설명하면, 지하 매설관 정보 수집 장치(200)는 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 도로 노면 RGB 영상과 도로 노면 열화상을 획득한다(S810).When step S800 is described in detail, the underground buried pipe
지하 매설관 정보 수집 장치(200)는 차량의 위치 정보를 센싱하여 획득한다(S820).The underground buried pipe
지하 매설관 정보 수집 장치(200)는 도로 노면 RGB 영상과 도로 노면 열화상을 전처리하여 동일한 지점에 해당하는 관심 영역을 추출한다(S830).The underground buried pipe
지하 매설관 정보 수집 장치(200)는 도로 노면 열화상에서 추출된 관심 영역을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측한다(S840).The underground buried pipe
S840단계에서 지하 매설관에 이상이 있는 것으로 예측되면, 지하 매설관 정보 수집 장치(200)는 도로 노면 열화상과, 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집한다(S850).If it is predicted that there is an abnormality in the underground buried pipe in step S840, the underground buried pipe
지하 매설관 정보 수집 장치(200)는 S850단계에서 수집된 지하 매설관 이상 정보를 지하 매설관 정보 제공 서버(300)로 전송한다.The underground buried pipe
지하 매설관 정보 제공 서버(300)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 지하 매설관의 이상 여부를 최종적으로 판단할 수 있다(S900).The underground buried pipe
S900단계를 자세히 설명하면, 지하 매설관 정보 제공 서버(300)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보를 저장한다(S910).In the detailed description of step S900 , the underground buried pipe
지하 매설관 정보 제공 서버(300)는 저장된 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 지하 매설관의 상태를 2차로 판단한다(S920).The underground buried pipe
지하 매설관 정보 제공 서버(300)는 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 해당 지하 매설관의 도로 노면 열화상을 지속적으로 수집 및 저장할 수 있다(S930).When it is determined that there is an abnormality in the underground buried pipe as a result of the second determination, the underground buried pipe
지하 매설관 정보 제공 서버(300)는 S930단계에서 해당 지하 매설관의 도로 노면 열화상이 수신될 때마다 또는 정기적으로 도로 노면 열화상을 온도-주파수 그래프로 변환한 후, 기설정된 기준 범위에 따라 지하 매설관의 이상 징후를 조기 예측할 수 있다(S940).The underground buried pipe
지하 매설관 정보 제공 서버(300)는 S940단계의 이상 징후 조기 예측 결과에 따라 해당 지하 매설관의 관망 상태를 삼색등으로 표시하여 가시화할 수 있다(S950).The underground buried pipe
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.On the other hand, although described and illustrated in relation to a preferred embodiment for illustrating the technical idea of the present invention as described above, the present invention is not limited to the configuration and operation as shown and described as such, and deviates from the scope of the technical idea. It will be apparent to those skilled in the art that many changes and modifications to the present invention are possible without such limitation. Accordingly, all such suitable alterations and modifications and equivalents are to be considered as falling within the scope of the present invention. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
100: 모델 생성 서버 110: 모델 UI부
120: 모델 데이터베이스 130: 모델 전처리부
140: 모델 메모리 150: 모델 제어부
200: 지하 매설관 정보 수집 장치 210: 촬영부
220: 위치 센서 230: 장치 전처리부
240: 장치 메모리 250: 장치 통신부
260: 장치 제어부
300: 지하 매설관 정보 제공 서버 310: 서버 통신부
320: 서버 DB 330: 서버 메모리
340: 서버 제어부100: model generation server 110: model UI unit
120: model database 130: model preprocessor
140: model memory 150: model control unit
200: underground buried pipe information collection device 210: filming unit
220: position sensor 230: device preprocessor
240: device memory 250: device communication unit
260: device control
300: underground buried pipe information providing server 310: server communication unit
320: server DB 330: server memory
340: server control unit
Claims (12)
상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 지하 매설관 정보 제공 서버;를 포함하고,
상기 지하 매설관 정보 제공 서버는,
상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 서버 통신부;
인공지능 기반으로 사전에 학습된 지하 매설관 상태 판단 모델이 저장되는 서버 메모리; 및
상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 상기 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보를 이용하여 상기 지하 매설관의 이상 여부 진단 결과를 시각화처리하는 서버 제어부;를 포함하고,
상기 서버 제어부는,
상기 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측하고, 상기 조기 예측된 이상 징후에 기반하여 지하 매설관의 이상 여부 진단 결과를 생성한 후 시각화처리하는 지하 매설관 이상 탐지 시스템.The first analysis of the road surface image obtained by photographing the surroundings of the vehicle in motion predicts whether there is an abnormality in the underground buried pipe located under the road, and if it is predicted that there is an abnormality, the road surface image and the road surface image are taken an underground buried pipe information collecting device that collects the location information of the old points as underground buried pipe abnormal information; and
Including a; underground buried pipe information providing server that finally determines whether the underground buried pipe is abnormal by secondary analysis of the road surface image among the underground buried pipe abnormal information received from the underground buried pipe information collecting device;
The underground buried pipe information providing server,
a server communication unit for receiving information on abnormalities in the underground buried pipe from the underground buried pipe information collecting device;
a server memory in which a pre-learned underground state judgment model based on artificial intelligence is stored; and
Among the received underground underground pipe abnormality information, the road surface thermal image is input to the underground buried pipe condition determination model to determine the condition of the underground buried pipe as a second time, and as a result of the second determination, it is determined that there is an abnormality in the underground buried pipe When it is, the server control unit for visualizing the diagnosis result of the abnormality of the underground buried pipe by using the received underground buried pipe abnormality information;
The server control unit,
If it is determined that there is an abnormality in the underground buried pipe as a result of the second determination, early prediction of abnormal signs of the underground buried pipe is performed based on the temperature change of the road surface thermal image among the received underground buried pipe abnormal information, and the early predicted An underground underground pipe anomaly detection system that generates and visualizes an abnormality diagnosis result based on anomalies.
상기 지하 매설관 정보 수집 장치는,
상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 촬영부;
상기 차량의 위치 정보를 제공하는 위치 센서;
인공지능 기반으로 사전에 학습된 지하 매설관 상태 예측 모델이 저장되는 장치 메모리;
상기 촬영부로부터 실시간으로 입력되는 도로 노면 열화상을 상기 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 장치 제어부; 및
상기 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 장치 통신부;
를 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 시스템.According to claim 1,
The underground buried pipe information collection device,
An RGB image (hereinafter referred to as a 'road surface RGB image') and a thermal image (hereinafter referred to as a 'road surface thermal image') as a road surface image by photographing the road surface on which an underground buried pipe is located among the surroundings of the driving vehicle. ) to obtain a photographing unit;
a location sensor providing location information of the vehicle;
a device memory in which a pre-trained underground state prediction model based on artificial intelligence is stored;
The road surface thermal image input from the photographing unit in real time is input to the underground buried pipe condition prediction model to first predict the condition of the underground buried pipe, and when it is predicted that there is an abnormality in the underground buried pipe, the road surface heat a device control unit that matches the image, the RGB image of the road surface obtained by photographing the same point as the thermal image of the road, and the location information at which the thermal image of the road is taken, and collects it as information about abnormalities in the underground buried pipe; and
a device communication unit for transmitting the collected underground underground pipe abnormality information to the underground buried pipe information providing server;
Underground buried pipe anomaly detection system comprising a.
상기 지하 매설관 정보 수집 장치는,
상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 전처리부;
를 더 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 시스템.3. The method of claim 2,
The underground buried pipe information collection device,
a pre-processing unit for cropping by setting a portion of the road surface RGB image and the road surface thermal image in which an underground buried pipe is expected to be located as a region of interest;
Underground buried pipe anomaly detection system, characterized in that it further comprises.
상기 전처리부는,
상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정하는 것을 특징으로 하는 지하 매설관 이상 탐지 시스템.4. The method of claim 3,
The preprocessor is
When the road surface RGB image and the road surface thermal image are taken to include the right road, the right shoulder, and the sidewalk based on the driving direction of the vehicle, the road surface RGB image and the road surface thermal image are divided into thirds in the horizontal direction An underground underground pipe anomaly detection system, characterized in that the lower region of the region is vertically divided into n, and the region of interest is set to include the region including the shoulder among the n divided regions.
(B) 지하 매설관 정보 제공 서버가, 상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 단계;를 포함하고,
상기 (B) 단계는,
(B1) 상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 단계; 및
(B2) 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 상기 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 상기 지하 매설관의 이상 징후를 조기 예측하고, 상기 조기 예측된 이상 징후에 기반하여 지하 매설관의 이상 여부 진단 결과를 생성한 후 시각화처리하는 단계;를 포함하는 지하 매설관 이상 탐지 방법.(A) The underground buried pipe information collection device first analyzes the road surface image obtained by photographing the surroundings of the vehicle in motion to predict whether there is an abnormality in the underground buried pipe located under the road, and if it is predicted that there is an abnormality collecting the road surface image and location information of a point at which the road surface image is taken as information about anomalies in the underground buried pipe; and
(B) the step of the underground buried pipe information providing server, the secondary analysis of the road surface image among the underground buried pipe abnormal information received from the underground buried pipe information collecting device to finally determine whether the underground buried pipe is abnormal; including,
The step (B) is,
(B1) receiving information on abnormality of the underground buried pipe from the underground buried pipe information collecting device; and
(B2) of the received underground underground pipe abnormality information, the thermal image of the road surface is input to the underground buried pipe condition determination model to determine the condition of the underground buried pipe secondarily, and as a result of the second determination, there is an abnormality in the underground buried pipe If it is determined that there is, early prediction of abnormal signs of the underground buried pipe based on the temperature change of the road surface thermal image among the received underground buried pipe abnormality information, and diagnosis of abnormalities in the underground buried pipe based on the early predicted abnormal signs A method of detecting anomaly in an underground buried pipe, including; generating a result and then visualizing it.
상기 (A) 단계는,
(A1) 상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 단계;
(A2) 상기 차량의 위치 정보를 센싱하는 단계;
(A3) 상기 (A1) 단계로부터 실시간으로 입력되는 도로 노면 열화상을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 단계; 및
(A4) 상기 (A3) 단계에서 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 단계;
를 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 방법.8. The method of claim 7,
The step (A) is,
(A1) RGB image (hereinafter referred to as 'road surface RGB image') and thermal image (hereinafter referred to as 'road surface thermal image') as a road surface image by photographing the road surface on which the underground buried pipe is located among the surroundings of the driving vehicle. ') to obtain;
(A2) sensing the location information of the vehicle;
(A3) Input the road surface thermal image input in real time from step (A1) into the underground buried pipe condition prediction model to predict the condition of the underground buried pipe first, and if it is predicted that there is an abnormality in the underground buried pipe, collecting the thermal image of the road surface, the road surface RGB image obtained by photographing the same point as the thermal image of the road surface, and the location information at which the thermal image of the road surface is photographed, and collecting the information as information about abnormalities in the underground buried pipe; and
(A4) transmitting the underground buried pipe abnormality information collected in the step (A3) to the underground buried pipe information providing server;
An underground buried pipe abnormality detection method comprising a.
상기 (A) 단계는,
(A3) 상기 (A2) 단계 이후, 상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 단계;
를 더 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 방법.9. The method of claim 8,
The step (A) is,
(A3) after step (A2), cropping by setting a portion of the road surface RGB image and the road surface thermal image in which the underground buried pipe is expected to be located as a region of interest;
Underground buried pipe abnormality detection method, characterized in that it further comprises.
상기 (A3) 단계는,
상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정하는 것을 특징으로 하는 지하 매설관 이상 탐지 방법.10. The method of claim 9,
The step (A3) is,
When the road surface RGB image and the road surface thermal image are taken to include the right road, the right shoulder, and the sidewalk based on the driving direction of the vehicle, the road surface RGB image and the road surface thermal image are divided into thirds in the horizontal direction A method for detecting an anomaly in an underground buried pipe, characterized in that the lower region of the region is divided into n in the vertical direction, and the region of interest is set to include the region including the shoulder among the n divided regions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200179743A KR102281100B1 (en) | 2020-12-21 | 2020-12-21 | System and method for providing heat transporting pipe status information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200179743A KR102281100B1 (en) | 2020-12-21 | 2020-12-21 | System and method for providing heat transporting pipe status information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102281100B1 true KR102281100B1 (en) | 2021-07-23 |
Family
ID=77155166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200179743A KR102281100B1 (en) | 2020-12-21 | 2020-12-21 | System and method for providing heat transporting pipe status information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102281100B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401297A (en) * | 2021-12-03 | 2022-04-26 | 青海绿能数据有限公司 | Factory pipeline connection state monitoring system and monitoring method thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102167291B1 (en) * | 2020-04-24 | 2020-10-20 | 한국건설기술연구원 | System and method for providing road status information |
| KR102187098B1 (en) | 2020-05-08 | 2020-12-04 | 재단법인 서울특별시 서울기술연구원 | System and method for detecting damage of heat transfer pipe using TDR cable |
-
2020
- 2020-12-21 KR KR1020200179743A patent/KR102281100B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102167291B1 (en) * | 2020-04-24 | 2020-10-20 | 한국건설기술연구원 | System and method for providing road status information |
| KR102187098B1 (en) | 2020-05-08 | 2020-12-04 | 재단법인 서울특별시 서울기술연구원 | System and method for detecting damage of heat transfer pipe using TDR cable |
Non-Patent Citations (1)
| Title |
|---|
| '한국지역난방공사, 차량탑재형 열화상카메라 등을 활용 열수송관 안전점검', 중부일보, 2018.03.13, (http://www.joongboo.com/news/articleView.html?idxno=1235310)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401297A (en) * | 2021-12-03 | 2022-04-26 | 青海绿能数据有限公司 | Factory pipeline connection state monitoring system and monitoring method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108037133B (en) | Intelligent electric power equipment defect identification method and system based on unmanned aerial vehicle inspection image | |
| KR102167291B1 (en) | System and method for providing road status information | |
| KR102166654B1 (en) | System and method for managing safety of blade for wind power generator | |
| KR102026685B1 (en) | Apparatus and server for providing dangerous road information using image data and vibration | |
| KR101926561B1 (en) | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same | |
| CN111339905B (en) | CIM well lid state visual detection system based on deep learning and multiple visual angles | |
| Hadjidemetriou et al. | Automated detection of pavement patches utilizing support vector machine classification | |
| JP2019196680A (en) | Pavement information gathering inspection system, pavement information gathering inspection method, and program | |
| KR102167292B1 (en) | Apparatus and method for providing road status information | |
| CN104535356A (en) | Method and system for monitoring rope arrangement faults of drum steel wire rope on basis of machine vision | |
| WO2021224893A1 (en) | Systems and methods for artificial intelligence powered inspections and predictive analyses | |
| CN109448365A (en) | Across the scale space base land regions road traffic system integrated supervision method of one kind | |
| CN111881970A (en) | Intelligent outer broken image identification method based on deep learning | |
| CN111178424A (en) | Petrochemical production site safety compliance real-time detection system and method | |
| US20230152150A1 (en) | Road surface conditions detection by distributed optic fiber system | |
| KR102281100B1 (en) | System and method for providing heat transporting pipe status information | |
| CN105976398A (en) | Daylight fire disaster video detection method | |
| CN115600124A (en) | Subway tunnel inspection system and inspection method | |
| KR102281101B1 (en) | AI model generating server for predicting heat transporting pipe status and method tereof | |
| CN112508911A (en) | Rail joint touch net suspension support component crack detection system based on inspection robot and detection method thereof | |
| CN104268548B (en) | A kind of accumulated snow detection method based on road image | |
| CN111553500B (en) | Railway traffic contact net inspection method based on attention mechanism full convolution network | |
| KR101542134B1 (en) | The apparatus and method of surveillance a rock fall based on smart video analytic | |
| KR20230070843A (en) | Nuclear power plant safety diagnosis system using thermal image deep learning auotomatic object tracking and operating method thereof | |
| KR102178202B1 (en) | Method and apparatus for detecting traffic light |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |