KR102281100B1 - 지하 매설관 이상 탐지 시스템 및 방법 - Google Patents

지하 매설관 이상 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR102281100B1
KR102281100B1 KR1020200179743A KR20200179743A KR102281100B1 KR 102281100 B1 KR102281100 B1 KR 102281100B1 KR 1020200179743 A KR1020200179743 A KR 1020200179743A KR 20200179743 A KR20200179743 A KR 20200179743A KR 102281100 B1 KR102281100 B1 KR 102281100B1
Authority
KR
South Korea
Prior art keywords
buried pipe
underground buried
road surface
underground
information
Prior art date
Application number
KR1020200179743A
Other languages
English (en)
Inventor
김영석
윤여환
전찬준
류승기
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020200179743A priority Critical patent/KR102281100B1/ko
Application granted granted Critical
Publication of KR102281100B1 publication Critical patent/KR102281100B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/3233—
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Water Supply & Treatment (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

지하 매설관 이상 탐지 시스템 및 방법이 제공된다. 지하 매설관 정보 수집 장치는 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하고, 지하 매설관 정보 제공 서버는 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단한다.

Description

지하 매설관 이상 탐지 시스템 및 방법{System and method for providing heat transporting pipe status information}
본 발명은 지하 매설관 이상 탐지 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 도로 노면의 열화상을 분석하여 지하 매설관의 이상 여부를 탐지하고 상태를 판단할 수 있는 지하 매설관 이상 탐지 시스템 및 방법에 관한 것이다.
열수송관은 열병합발전소 등 열 생산 시설에서 생산되는 열을 주택·기업 등으로 내보내는 관으로, 열수송관의 일반적으로 40년의 내구연한을 가지고 있으나, 다양한 이유로 조기 파손의 가능성이 높다.
특히, 지하 매설 열수송관은 노후화에 따라 사고가 증가하고 있으며, 설계수명 30년의 난방관은 특성상, 배관의 노후화에 따른 사고는 설계 수명에 가까워짐에 따라 비례하는 것이 일반적이지만 10~15년 운영 중인 배관에서 전체 사고의 45%를 차지하는 것으로 나타나고 있다.
열수송관 결함의 주요 원인은 불완전한 시공, 구조적 결함, 노후화 등을 들수 있으므로, 적기의 배관 모니터링과 이상 상태를 보완, 교체하는 활동이 적기에 이루어져야 한다.
따라서, 지하 매설 열수송관의 이상 탐지를 위하여, 기존에는 접촉식 센서인 감지선을 이용하여 열수송관의 이상 여부를 탐지하고 있으나, 이는 실시간 진단 및 관리가 어렵다.
또한, 지하 매설 열수송관은 이중관 특성에 따른 부식과 파손 위험이 존재하고, 현장 용접에 대한 품질관리, 그리고, 동절기 지반과 배관의 온도 차이를 실시간으로 모니터링하는 기법에 대한 신뢰도 저하 등이 문제로 지적되고 있다.
국내 등록특허 제10-2187098 (3020.11.30)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 도로 노면의 열화상을 인공지능모델에 통과시켜 지하에 매설된 열수송관의 이상 여부를 판단할 수 있는 지하 매설관 이상 탐지 시스템 및 방법을 제시하는 데 있다.
또한 본 발명이 이루고자 하는 기술적 과제는 차량에 구비된 경량화된 모델을 이용하여 신속하게 지하 매설관의 불량 여부를 판단하고, 이후 서버에 설치된 고성능의 모델을 이용하여 보다 정밀한 이상 여부를 판단할 수 있는 지하 매설관 이상 탐지 시스템 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 상기 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하는 지하 매설관 정보 수집 장치; 및 상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 지하 매설관 정보 제공 서버;를 포함한다.
상기 지하 매설관 정보 수집 장치는, 상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 촬영부; 상기 차량의 위치 정보를 제공하는 위치 센서; 인공지능 기반으로 사전에 학습된 지하 매설관 상태 예측 모델이 저장되는 장치 메모리; 상기 촬영부로부터 실시간으로 입력되는 도로 노면 열화상을 상기 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 장치 제어부; 및 상기 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 장치 통신부;를 포함한다.
상기 지하 매설관 정보 수집 장치는, 상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 전처리부;를 더 포함한다.
상기 전처리부는, 상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정한다.
상기 지하 매설관 정보 제공 서버는, 상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 서버 통신부; 인공지능 기반으로 사전에 학습된 지하 매설관 상태 판단 모델이 저장되는 서버 메모리; 및 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 상기 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보를 이용하여 상기 지하 매설관의 이상 여부 진단 결과를 시각화처리하는 서버 제어부;를 포함한다.
상기 서버 제어부는, 상기 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측한다.
한편, 본 발명의 실시 예에 따르면, (A) 지하 매설관 정보 수집 장치가, 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 상기 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하는 단계; 및 (B) 지하 매설관 정보 제공 서버가, 상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 단계;를 포함한다.
상기 (A) 단계는, (A1) 상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 단계; (A2) 상기 차량의 위치 정보를 센싱하는 단계; (A3) 상기 (A1) 단계로부터 실시간으로 입력되는 도로 노면 열화상을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 단계; 및 (A4) 상기 (A3) 단계에서 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 단계;를 포함한다.
상기 (A) 단계는, (A3) 상기 (A2) 단계 이후, 상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 단계;를 더 포함한다.
상기 (A3) 단계는, 상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정한다.
상기 (B) 단계는, (B1) 상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 단계; (B2) 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보를 이용하여 상기 지하 매설관의 이상 여부 진단 결과를 시각화처리하는 단계;를 포함한다.
(B3) 상기 (B2) 단계에서 상기 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측하는 단계;를 더 포함한다.
본 발명에 따르면, 도로 노면을 촬영한 열화상에서 지하 매설관에 이상이 있는 것으로 판단되는 이상 지점을 인공지능 기술로 자동으로 추출함으로써 기존의 인력 조사에 의존하던 방식을 개선하고, 촬영한 열화상에서 자동으로 추출된 이상변화를 관리기관에 통보함으로써 지하 시설물의 안전에 기여할 수 있다.
또한, 본 발명에 따르면, 지하 열수송관의 건전성을 기존 정기점검방식인 이력 데이터, 등급화 등으로는 실시간 진단 및 관리가 어려운 점을 개선하여, 지상에서 촬영한 영상으로 지하 매설관의 온도변화를 학습하여 비정상 이미지를 추출하고, 위험도를 예측한 후 서비스로 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버를 도시한 블록도,
도 2는 관심영역 추출, 레이블링 및 학습용 이미지 데이터셋을 작성하는 동작을 보여주는 도면,
도 3은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지 시스템을 도시한 도면,
도 4는 서버 제어부를 도시한 블록도,
도 5는 도로 노면 열화상을 온도-주파수 그래프로 변환한 예시도,
도 6은 상술한 지하 매설관 이상 탐지 시스템의 일련의 동작을 보여주는 도면,
도 7은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버의 모델 생성 방법을 설명하기 위한 흐름도, 그리고,
도 8은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도이다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는 바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)를 도시한 블록도이다.
도 1에 도시된 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)는 다수의 도로 노면 영상들을 딥러닝 알고리즘에 적용하여 실제 도로상에서 지하 매설관의 이상 여부를 예측할 수 있는 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 학습 및 생성할 수 있다.
이를 위해, 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)는 모델 UI부(110), 모델 데이터베이스(DB, 120), 모델 전처리부(130), 모델 메모리(140) 및 모델 제어부(150)를 포함할 수 있다.
모델 UI부(110)는 사용자와 서버(100) 간의 인터페이싱을 위한 장치로서, 사용자 명령을 입력받아 모델 제어부(150)에게 전달하거나, 모델 제어부(150)에 의해 처리된 결과를 화면에 표시할 수 있다.
모델 DB(120)는 주행 중인 다수의 차량들에서 차량의 주변을 촬영한 도로 노면 영상들과 모델 전처리부(130)에서 전처리된 학습용 이미지 데이터셋을 저장한다. 도로 노면 영상은 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 포함한다. 도로 노면 RGB 영상과 도로 노면 열화상은 동일한 지점을 동시에 촬영한 영상이다.
도로 노면 영상은 예를 들어, 차량의 전방 30미터 이내의 구간을 촬영한 영상으로서, 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영된 영상일 수 있다. 도로 노면 영상을 획득하는 촬영 장비의 해상도와 인식 성능에 따라 30미터라는 거리는 가감될 수 있다.
모델 전처리부(130)는 다수의 도로 노면 영상들에 대해 전처리를 수행하여 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 생성하는데 필요한 학습용 이미지 데이터셋을 작성할 수 있다.
이를 위하여, 먼저, 모델 전처리부(130)는 수집된 도로 노면 영상들로부터 도로 노면 RGB 영상들과 도로 노면 열화상들에서 관심 영역을 추출할 수 있다.
도로 노면 영상이 차량의 주행 방향을 기준으로 최우측 도로, 우측 갓길 및 인도를 포함하도록 촬영된 영상인 경우, 모델 전처리부(130)는 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분하고, 아래 최하단 영역을 추출한 후, 최하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 갓길을 포함하는 영역을 추출하여 관심 영역으로 설정할 수 있다. n=2인 경우, 모델 전처리부(130)는 2등분된 최하단 영역 중 갓길이 포함되어 있을 가능성이 더 높은 우측 영역을 관심 영역으로서 추출할 수 있다.
모델 전처리부(130)는 도로 노면 열화상들에서 추출된 관심 영역들로부터 지하 매설관 중 이상이 발생한 영역에 해당하는 특이 픽셀 영역을 구분 표시(즉, 레이블링)하여 학습용 이미지 데이터셋을 작성할 수 있다. 이상이 발생한 영역은 지하 매설관의 열화상의 주변색에 비하여 다른 색온도를 갖거나 다른 모양을 갖는 등의 특징을 가질 수 있다.
도 2는 관심영역 추출, 레이블링 및 학습용 이미지 데이터셋을 작성하는 동작을 보여주는 도면이다.
도 2를 참조하면, 모델 전처리부(130)는 추출된 관심 영역에 이상이 발생한 부분이 있는 경우, 이상이 발생한 부분의 특징을 색상 또는 별도의 표식으로 표시하는 레이블링 작업을 자동으로 수행하거나 관리자로 하여금 수행하도록 하여 레이블링 데이터를 생성할 수 있다. 추출된 특징은 특징의 종류 또는 크기에 따라 다른 색상으로 레이블링될 수도 있다. 이 때, 모델 전처리부(130)는 열화상을 흑백 이미지로 변환한 후 관심 영역을 추출하거나, 관심 영역을 추출한 후 흑백 이미지로 변환할 수도 있다.
모델 전처리부(130)는 관심 영역 중 레이블링된 영역은 예를 들어 흰색 픽셀로 표기하고, 나머지 영역은 검은색 픽셀로 표기하여 레이블링 관심 영역(즉, 이상 변화 이미지)들을 생성할 수 있다. 따라서, 이상 변화 이미지는 열화상 이미지에서 비정상 구간의 온도 특성을 보이는 이미지일 수 있다. 또한, 레이블링되지 않은 관심 영역(즉, 정상 이미지)들도 검은색 픽셀로 표기할 수 있다. 흰색, 검은색은 일 예로서 변경가능하다.
그리고, 모델 전처리부(130)는 레이블링 관심 영역들(이상 변화 이미지)과 레이블링되지 않은 관심 영역들(정상 이미지)을 혼합하여 학습용 이미지 데이터셋을 작성할 수 있다. 지하 매설관의 열화상에 특징적인 표식을 한 학습용 이미지 데이터 셋이 충분할수록 AI 학습 결과의 성능은 높아진다.
모델 메모리(140)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 모델 메모리(140)에는 지하 매설관 상태 예측 모델(1차 딥러닝 AI)과 지하 매설관 상태 판단 모델(2차 딥러닝 AI)을 구현하기 위한 프로그램이 저장될 수 있다.
지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델은 도로 노면 영상을 학습 알고리즘에 적용하여 도로 노면 아래에 매설된 지하 매설관에 이상이 발생하였는지 예측하거나 보다 정밀하게 판단하며, 이상이 있는 것으로 판단된 영역을 레이블링할 수 있다. 학습 알고리즘은 인공지능 알고리즘, 구체적으로는 딥러닝 알고리즘(예를 들어, DNN, RNN, CNN, SVM 등 다수)일 수 있다.
모델 제어부(150)는 모델 메모리(140)에 저장된 하나 이상의 프로그램을 실행하여 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 학습 및 생성할 수 있다.
자세히 설명하면, 모델 제어부(150)는 모델 전처리부(130)에서 전처리된 학습용 이미지 데이터 셋을 입력받아 다수의 심층신경망 모형들을 구성하고, 다수의 심층신경망 모형들의 학습 결과를 검토하여 최적의 인식 성능을 출력하는 모형을 추론모델로서 정한다. 다수의 심층신경망 모형들은 히든층, 노드수, 연산자 등을 바꾸어가며 구성된다.
즉, 모델 제어부(150)는 학습용 이미지 데이터 셋을 인공지능 학습모델을 거쳐 학습이 완료된 추론모델, 즉, 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 제작한다. 본 발명에서, 모델 제어부(150)는 2단계의 인공지능모델을 연동하여 수행하도록, 1차 필터링과 2차 필터링의 인공지능 모델을 다르게 구성하는 계층형 인공지능 모델을 제작할 수 있다.
모델 제어부(150)는 지하 매설관 상태 판단 모델 대비 빠르게 지하 매설관의 이상 여부를 판단할 수 있는 지하 매설관 상태 예측 모델을 제작한다.
그리고, 모델 제어부(150)는 모델 DB(120)에 저장된 학습용 이미지 데이터셋에서 이상 변화 이미지와 정상 이미지의 구성 비율을 N 종으로 바꾸면서 모델을 학습하고, 이 모델을 N*N 매트릭스 형태를 갖도록 앙상블 구조의 지하 매설관 상태 판단 모델을 제작할 수 있다. 지하 매설관 상태 예측 모델에 사용되는 학습용 이미지 데이터셋의 구성 비율은 N 종보다 적다.
상술한 방식으로 제작된 지하 매설관 상태 판단 모델은 지하 매설관 상태 예측 모델로부터 발생하는 FP(False Positive)값을 낮추도록 학습 및 모델링되어 지하 매설관 상태 예측 모델 대비 신뢰도가 높고, 지하 매설관 상태 예측 모델은 지하 매설관 상태 판단 모델 대비 경량화된 모델이다.
따라서, 지하 매설관 상태 예측 모델을 지하 매설관 정보 수집 장치(100)와 같은 단말기에 적용할 경우 단말기의 하드웨어 부담을 줄이면서 빠른 처리속도를 유지할 수 있다. 이후, 지하 매설관 상태 예측 모델보다 정확도와 처리 속도가 높은 지하 매설관 상태 판단 모델을 지하 매설관 정보 수집 장치(100)보다 고성능의 하드웨어를 구비한 지하 매설관 정보 제공 서버(300)에 적용하여, 보다 빠르면서 정확하게 노면의 이상 여부를 판단할 수 있다.
도 3은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지 시스템을 도시한 도면이다.
도 3을 참조하면, 지하 매설관 이상 탐지 시스템은 지하 매설관 정보 수집 장치(200) 및 지하 매설관 정보 제공 서버(300)를 포함할 수 있다.
지하 매설관 정보 수집 장치(200)는 차량에 장착가능하며 휴대가능한 전자기기 형태를 가지며, 촬영부(210)를 포함하거나 또는 차량에 장착된 카메라와 연동할 수 있다.
지하 매설관 정보 수집 장치(200)는 주행 중인 차량의 주변을 촬영하여 생성되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 지하 매설관에 이상이 있는 것으로 예측되면 도로 노면 영상과 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집할 수 있다.
지하 매설관 정보 제공 서버(300)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 지하 매설관의 이상 여부를 최종적으로 판단할 수 있다.
먼저, 본 발명의 실시 예에 따른 지하 매설관 정보 수집 장치(200)는 촬영부(210), 위치 센서(220), 장치 전처리부(230), 장치 메모리(240), 장치 통신부(250) 및 장치 제어부(260)를 포함할 수 있다.
촬영부(210)는 차량에 장착되어 주행 중인 차량의 주변에 해당하는 도로 노면을 촬영하여 도로 노면 영상을 생성한다. 도로 노면 영상은 휘도데이터와 RGB 데이터를 포함하는 동영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 포함할 수 있다. 따라서, 촬영부(210)는 일반 카메라와 열화상 카메라를 포함할 수 있다.
촬영부(210)는 차량의 주행 방향을 기준으로 최우측 도로, 우측 갓길 및 인도 중 적어도 하나를 포함하도록 촬영할 수 있으며, 촬영부(210)에서 예를 들어 30미터 앞에 위치하는 도로 노면을 포함하여 촬영하도록 설치 및 설정될 수 있다. 30미터라는 거리는 촬영부(210)의 해상도와 인식 성능에 따라 변경가능함은 물론이다.
위치 센서(220)는 주행 중인 차량의 위치 정보를 센싱하여 센싱 시간과 함께 장치 제어부(260)에게 전달할 수 있다. 위치 센서(220)는 GPS(Global Positioning System) 장치일 수 있다.
한편, 촬영부(210)로부터 입력되는 도로 노면 영상을 전체 프레임 단위로 영상 처리하는 경우 프레임 처리 시간이 오래 소요되므로, 프레임 처리시간을 단축하기 위해 프레임에서 특정 영역만을 추출하여 처리할 수 있다.
이를 위하여, 장치 전처리부(230)는 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역(ROI: Region Of Interest)으로 설정하여 크롭할 수 있다. 장치 전처리부(230)는 도로 노면 RGB 영상과 도로 노면 열화상을 흑백 영상으로 변환한 후 관심 영역을 추출하거나, 추출된 관심 영역을 흑백 영상으로 변환할 수 있다.
촬영부(210)는 지하 매설관 위치를 따라 촬영하며, 관심 영역은 도로 노면 열화상에서 지하 매설관과 지하 매설관 주변의 열화상 온도 차이를 육안으로 확인할 수 있는 수준으로 설정할 수 있다. 촬영부(210)에서 관심 영역에 해당하는 실제 노면까지의 거리는 수m에서 30m이내로 하되, 촬영부(210)의 해상도가 높아지거나 촬영 성능이 높아지면 더 먼거리까지 촬영할 수도 있다. 여기서 거리를 30m 이내로 설정한 것은 지하 매설관의 온도변화를 관측하기 위해서는 30m 이상의 거리 측정으로는 주변과의 온도차이를 신뢰할 수 없기 때문이다. 즉, 관심 영역에는 지하 매설관과 주변 도로의 열화상 이미지가 동시에 포함되어, 지하 매설관과 주변의 온도 차이 변화를 육안으로 알 수 있도록 추출될 수 있다.
또한, 장치 전처리부(230)는 도로 노면 RGB 영상과 도로 노면 열화상이 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 도로 노면 영상에 해당하는 1개의 전체 프레임을 3분할하고, 이 중 하나의 영역, 예를 들어, 최하단 영역을 추출한 후, 최하단 영역을 다시 수직 방향으로 n등분하고, n등분된 영역들 중 갓길을 포함하는 영역을 관심 영역으로서 추출할 수 있다. n=2인 경우, 장치 전처리부(230)는 2등분된 최하단 영역 중 갓길이 포함되어 있을 가능성이 더 높은 우측 영역을 관심 영역으로서 추출한다. n은 차선 폭, 차량 높이, 촬영부(210)의 촬영 화각 등에 따라 변경될 수 있다.
장치 메모리(240)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 장치 메모리(240)에는 예를 들어, 지하 매설관 정보 수집 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(210~160)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
예를 들어, 장치 메모리(240)에는 지하 매설관 상태 예측 모델이 저장될 수 있다. 지하 매설관 상태 예측 모델은 도 1을 참조하여 설명한 모델 생성 장치(100)에서 인공지능 학습을 기반으로 생성된 모델로서, 도로 노면 영상을 분석하여 지하 매설관에 이상 지점이 발생하였는지 예측할 수 있다. 지하 매설관의 이상 지점은 지하 매설관이 노후되어 부식되었거나 열전달이 제대로 이루어지지 않는 등 열수송과 관련되어 비정상적인 지점을 포함한다.
지하 매설관 상태 예측 모델은 도로 노면 영상 또는 도로 노면 열화상에서 추출된 관심 영역을 분석하여 이상 지점이 있음을 예측한다. 이로써, 이상 지점이 발생한 것으로 예측된 도로 노면 영상은 서버(300)로 전송되고, 정상 상태인 것으로 예측된 도로 노면 영상은 전송되지 않음으로써 장치(200)는 1차 필터링을 수행할 수 있다.
또한, 장치 메모리(240)는 촬영부(210)에서 생성되는 도로 노면 RGB 영상, 도로 노면 열화상, 도로 노면 RGB 영상에서 추출되는 관심 영역, 도로 노면 열화상에서 추출되는 관심영역, 도로 노면 영상이 센싱된 위치 정보와 시간 정보, 장치 제어부(260)에서 생성되는 지하 매설관 이상 정보 등 장치(200)를 구동하는 동안 발생하는 다양한 데이터를 저장할 수도 있다.
장치 제어부(260)는 장치 메모리(240)에 저장된 하나 이상의 프로그램을 실행하여 장치(200)의 전반적인 동작을 제어한다.
장치 제어부(260)는 촬영부(210)로부터 실시간으로 입력되는 도로 노면 열화상을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측한다. 지하 매설관에 이상이 있는 것으로 예측되면, 장치 제어부(260)는 이상이 예측된 지하 매설관을 포함하는 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집할 수 있다.
영상 처리 속도 향상을 위해, 장치 제어부(260)는 도로 노면 영상의 전체 프레임이 아니라 장치 전처리부(230)에서 추출된 관심영역을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 비정상 여부를 예측할 수도 있다.
그리고, 장치 제어부(260)는 지하 매설관의 이상 정보를 실시간으로 지하 매설관 정보 제공 서버(300)로 전송하도록 장치 통신부(250)를 제어할 수 있다. 지하 매설관 이상 정보는 무선 통신을 통해 지하 매설관 정보 제공 서버(300)로 직접 전송되거나, 도로 주변의 노변 장치인 RSE(Road Side Equipment)를 통해 지하 매설관 정보 제공 서버(300)로 전송될 수도 있다.
한편, 도 3을 참조하면, 본 발명의 실시 예에 따른 지하 매설관 정보 제공 서버(300)는 서버 통신부(310), 서버 DB(320), 서버 메모리(330), 서버 표시부(340) 및 서버 제어부(350)를 포함할 수 있다.
서버 통신부(310)는 다수의 도로 상태 정보 수집 장치들(200) 또는 RSE들(미도시)과 통신하여, 지하 매설관의 이상 정보를 수신한다. 이하에서는 지하 매설관 정보 수집 장치(200)로부터 수신되는 경우를 예로 들어 설명한다.
서버 DB(320)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보를 저장한다.
서버 메모리(330)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 서버 메모리(330)에는 예를 들어, 지하 매설관 정보 제공 서버(300)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(310~240)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
서버 메모리(330)에 저장되는 프로그램은 지하 매설관 상태 판단 모델을 이용하여 도로 상태를 판단하는 프로그램을 포함할 수 있다. 지하 매설관 상태 판단 모델은 상술한 모델 생성 장치(100)에서 인공지능 학습을 기반으로 생성된 모델로서, 도로 노면 영상을 정밀 분석하여 지하 매설관이 비정상인지 판단할 수 있다.
서버 제어부(350)는 서버 메모리(330)에 저장된 하나 이상의 프로그램을 실행하여 서버(300)의 전반적인 동작을 제어한다.
예를 들어, 서버 제어부(350)는 수신된 지하 매설관 이상 정보 중 도로 노면 열화상(또는 관심영역)을 지하 매설관 상태 판단 모델에 입력하여 지하 매설관의 상태를 2차로 판단한다.
또한, 서버 제어부(350)는 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측할 수 있다.
이를 위하여, 서버 제어부(350)는 도 4에 도시된 것처럼 지하 매설관 상태 판단부(352) 및 이상 징후 예측부(354)를 포함한다.
지하 매설관 상태 판단부(352)는 수신되는 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 지하 매설관의 이상 여부를 2차 판단한다. 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 관리자는 이상이 판단된 지하 매설관을 포함하는 도로 노면 영상을 주기적으로 또는 실시간으로 촬영하여 수집할 수 있다.
이상 징후 예측부(354)는 지하 매설관 상태 판단부(352)에서 이상이 있는 것으로 판단된 지점의 지하 매설관에 해당하는 도로 노면 열화상을 온도-주파수 그래프로 변환하여 서버 DB(320)에 누적 저장한다. 이상이 판단된 지점의 도로 노면 영상은 관리자에 의해 주기적으로 또는 실시간으로 수집되므로, 이상 징후 예측부(354)는 해당 도로 노면의 열화상을 온도-주파수 그래프로 변환하여 누적 저장할 수 있다.
열화상 이미지 별로 누적 저장된 온도-주파수 그래프는 동일 구간이 누적된 것으로서, 이상 징후 예측부(354)는 동일 구간을 시간대 별로 분석하여 온도의 이상 변화를 감지할 수 있고, 이상 변화의 범위를 정의하여 데이터매트릭스를 설정하여 이상 여부를 레벨 별로 판단함으로써 조기 이상 징후를 예측할 수 있다.
도 5는 도로 노면 열화상을 온도-주파수 그래프로 변환한 예시도이다.
도 5를 참조하면, 이상 징후 예측부(354)는 온도와 주파수대의 최대값, 최소값, 평균값을 추출하여, 기준 범위와 온도 변화를 비교하면서 이상 여부를 조기 인지할 수 있다.
이상 징후 예측부(354)는 도 5와 같은 온도-주파수 그래프의 온도-주파수 변환 데이터를 기반으로 데이터매트릭스를 생성한다. 이상 징후 예측부(354)는 데이터매트릭스에서 온도 변화값이 기준 범위 내이면 해당 지하 매설관이 정상이고, 기준 범위를 벗어나면 비정상 상태임을 일차적으로 판단하고, 다음으로 기준범위를 벗어난 데이터의 온도-주파수 그래프 분석을 통해 심각단계부터 주의 관심단계로 구분하여 이상 징후를 예측할 수 있다. 온도 변화값은 최대 온도값과 최저 온도값의 차이이다. 데이터매트릭스는 FFT temp different diagram으로서 고속퓨리에변환 분석으로 온도 변화를 측정한다.
그리고, 서버 제어부(350)는 수신된 지하 매설관 이상 정보와 조기 예측된 이상 징후를 이용하여 이상 여부 진단 결과를 생성하고 이상 여부 진단 결과에 포함된 위치 정보에 기반하여 이상이 있는 것으로 진단된 지하 매설관의 위치를 서버 표시부(340) 또는 다른 서비스 수신 단말기에 표시되는 지도에 표시할 수 있다.
예를 들어, 서버 제어부(350)는 이상 징후 예측부(354)의 이상 징후 예측 결과로부터 지하 매설관의 관망상태를 삼색(녹색, 황색, 적색)으로 가시화하여, 이상 변화의 징후를 관리자가 가시적으로 파악하도록 한다.
녹색은 지하 매설관의 온도변화가 정상 범위에 있음을 의미하고, 황색은 온도변화가 비정상 상태로 넘어가는 경계 부근에 분포하여 주의를 기울여야 하는 것을 의미하고, 적색은 지하 매설관의 사고로 이어질 가능성이 높아 정밀점검 등 관련 조치를 필요로 함을 의미한다. 따라서, 서버 제어부(350)는 시계열로 저장된 공간상의 정보를 토대로 온도 변화를 예측하여 위험상황을 사전에 안내하는 예측예보시스템으로 활용할 수 있다.
도 6은 상술한 지하 매설관 이상 탐지 시스템의 일련의 동작을 보여주는 도면이다.
도 6을 참조하면, 먼저 모델 생성 서버(100)는 다수의 차량들이 주행하는 동안 GPS값을 취득하면서 다수의 도로 노면 영상들을 생성한다. 이와 동시에 지하 매설관 정보 수집 장치(200)는 도로 노면 영상들을 전처리하여 관심영역을 획득한 후 지하 매설관의 상태, 이상 여부에 따라 특징을 추출하여 레이블링한 후 신경망 모형 학습을 통해 다수의 추론 엔진들(다수의 지하 매설관 상태 예측 모델들, 다수의 지하 매설관 상태 판단 모델들)을 생성한다. 이후, 모델 생성 서버(100)는 생성된 추론 엔진들에 시험용 데이터셋을 입력하여 최적의 성능을 제공하는 추론 엔진(지하 매설관 상태 예측 모델들, 지하 매설관 상태 판단 모델)을 결정한다.
지하 매설관 정보 수집 장치(200)는 실제 도로를 주행하면서 도로 노면 영상을 획득하고 지하 매설관 상태 예측 모델에 입력하여 1차 딥러닝 AI 분석을 수행한다. 1차 딥러닝 AI 분석 결과 관심영역에 이상이 있는 것으로 예측되면, 지하 매설관 정보 수집 장치(200)는 지하 매설관 이상 정보를 생성하여 지하 매설관 정보 제공 서버(300)에게 전송한다.
지하 매설관 정보 제공 서버(300)는 수신된 지하 매설관 이상 정보 중 도로 노면 영상을 지하 매설관 상태 판단 모델에 입력하여 2차 딥러닝 AI 분석을 수행한다. 수행 결과 지하 매설관에 이상이 있는 것으로 판단되면, 지하 매설관 정보 제공 서버(300)는 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측하고, 예측 결과에 따라 이상 지점을 추출한 후 시각화하여 모빌리티 서비스로 제공할 수 있다.
도 7은 본 발명의 실시 예에 따른 지하 매설관 이상 탐지를 위한 모델 생성 서버(100)의 모델 생성 방법을 설명하기 위한 흐름도이다.
도 7의 모델 생성 서버(100)는 도 1 및 도 2를 참조하여 설명한 서버(100)이므로 구체적인 설명은 생략한다.
모델 생성 서버(100)는 주행 중인 다수의 차량들에서 차량들의 주변을 촬영한 도로 노면 영상들에 대해 전처리를 수행하여 관심 영역을 추출한다(S710).
모델 생성 서버(100)는 추출된 관심 영역들을 흑백 이미지로 변환한 후 이상이 있는 부분을 추출하여 레이블링 처리한다(S720). 이로써 레이블링된 관심 영역과 레이블링되지 않은 관심 영역이 생성될 수 있다. S710단계에서 이상이 있는 부분이 예를 들어, 흰색으로 레이블링되면, 관심 영역의 나머지 부분과 이상 영역이 추출되지 않은 관심 영역은 모두 검은색으로 처리될 수 있다.
모델 생성 서버(100)는 레이블링된 관심 영역들과 레이블링되지 않은 관심 영역들을 합쳐서 학습용 이미지 데이터셋을 작성한다(S730).
모델 생성 서버(100)는 S710단계에서 입력된 다수의 도로 노면 영상들과, 도로 노면 영상들의 위치 정보와, S730단계에서 작성되는 학습용 이미지 데이터셋을 저장한다(S740).
모델 생성 서버(100)는 S740단게에서 저장된 학습용 이미지 데이터셋을 학습하여 지하 매설관의 이상 여부를 판단하기 위한 지하 매설관 상태 예측 모델과 지하 매설관 상태 판단 모델을 생성한다(S750).
도 8은 본 발명의 실시 예에 따른 도로 상태 정보 수집 시스템의 도로 상태 정보 수집 및 제공 방법을 개략적으로 도시한 흐름도이다.
도 8에 도시된 지하 매설관 정보 수집 장치(200)와 지하 매설관 정보 제공 서버(300)는 도 3 내지 도 6을 참조하여 설명하였으므로 자세한 설명은 생략한다.
도 8을 참조하면, 지하 매설관 정보 수집 장치(200)는 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 도로 노면 영상과 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집할 수 있다(S800).
S800단계를 자세히 설명하면, 지하 매설관 정보 수집 장치(200)는 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 도로 노면 RGB 영상과 도로 노면 열화상을 획득한다(S810).
지하 매설관 정보 수집 장치(200)는 차량의 위치 정보를 센싱하여 획득한다(S820).
지하 매설관 정보 수집 장치(200)는 도로 노면 RGB 영상과 도로 노면 열화상을 전처리하여 동일한 지점에 해당하는 관심 영역을 추출한다(S830).
지하 매설관 정보 수집 장치(200)는 도로 노면 열화상에서 추출된 관심 영역을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측한다(S840).
S840단계에서 지하 매설관에 이상이 있는 것으로 예측되면, 지하 매설관 정보 수집 장치(200)는 도로 노면 열화상과, 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집한다(S850).
지하 매설관 정보 수집 장치(200)는 S850단계에서 수집된 지하 매설관 이상 정보를 지하 매설관 정보 제공 서버(300)로 전송한다.
지하 매설관 정보 제공 서버(300)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 지하 매설관의 이상 여부를 최종적으로 판단할 수 있다(S900).
S900단계를 자세히 설명하면, 지하 매설관 정보 제공 서버(300)는 지하 매설관 정보 수집 장치(200)로부터 수신되는 지하 매설관 이상 정보를 저장한다(S910).
지하 매설관 정보 제공 서버(300)는 저장된 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 지하 매설관의 상태를 2차로 판단한다(S920).
지하 매설관 정보 제공 서버(300)는 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 해당 지하 매설관의 도로 노면 열화상을 지속적으로 수집 및 저장할 수 있다(S930).
지하 매설관 정보 제공 서버(300)는 S930단계에서 해당 지하 매설관의 도로 노면 열화상이 수신될 때마다 또는 정기적으로 도로 노면 열화상을 온도-주파수 그래프로 변환한 후, 기설정된 기준 범위에 따라 지하 매설관의 이상 징후를 조기 예측할 수 있다(S940).
지하 매설관 정보 제공 서버(300)는 S940단계의 이상 징후 조기 예측 결과에 따라 해당 지하 매설관의 관망 상태를 삼색등으로 표시하여 가시화할 수 있다(S950).
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 모델 생성 서버 110: 모델 UI부
120: 모델 데이터베이스 130: 모델 전처리부
140: 모델 메모리 150: 모델 제어부
200: 지하 매설관 정보 수집 장치 210: 촬영부
220: 위치 센서 230: 장치 전처리부
240: 장치 메모리 250: 장치 통신부
260: 장치 제어부
300: 지하 매설관 정보 제공 서버 310: 서버 통신부
320: 서버 DB 330: 서버 메모리
340: 서버 제어부

Claims (12)

  1. 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 상기 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하는 지하 매설관 정보 수집 장치; 및
    상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 지하 매설관 정보 제공 서버;를 포함하고,
    상기 지하 매설관 정보 제공 서버는,
    상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 서버 통신부;
    인공지능 기반으로 사전에 학습된 지하 매설관 상태 판단 모델이 저장되는 서버 메모리; 및
    상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 상기 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보를 이용하여 상기 지하 매설관의 이상 여부 진단 결과를 시각화처리하는 서버 제어부;를 포함하고,
    상기 서버 제어부는,
    상기 2차 판단 결과 상기 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 지하 매설관의 이상 징후를 조기 예측하고, 상기 조기 예측된 이상 징후에 기반하여 지하 매설관의 이상 여부 진단 결과를 생성한 후 시각화처리하는 지하 매설관 이상 탐지 시스템.
  2. 제1항에 있어서,
    상기 지하 매설관 정보 수집 장치는,
    상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 촬영부;
    상기 차량의 위치 정보를 제공하는 위치 센서;
    인공지능 기반으로 사전에 학습된 지하 매설관 상태 예측 모델이 저장되는 장치 메모리;
    상기 촬영부로부터 실시간으로 입력되는 도로 노면 열화상을 상기 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 장치 제어부; 및
    상기 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 장치 통신부;
    를 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 시스템.
  3. 제2항에 있어서,
    상기 지하 매설관 정보 수집 장치는,
    상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 전처리부;
    를 더 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 시스템.
  4. 제3항에 있어서,
    상기 전처리부는,
    상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정하는 것을 특징으로 하는 지하 매설관 이상 탐지 시스템.
  5. 삭제
  6. 삭제
  7. (A) 지하 매설관 정보 수집 장치가, 주행 중인 차량의 주변을 촬영하여 획득되는 도로 노면 영상을 1차 분석하여 도로 아래에 위치하는 지하 매설관의 이상 여부를 예측하고, 이상이 있는 것으로 예측되면 상기 도로 노면 영상과 상기 도로 노면 영상이 촬영된 지점의 위치 정보를 지하 매설관 이상 정보로서 수집하는 단계; 및
    (B) 지하 매설관 정보 제공 서버가, 상기 지하 매설관 정보 수집 장치로부터 수신되는 지하 매설관 이상 정보 중 도로 노면 영상을 2차 분석하여 상기 지하 매설관의 이상 여부를 최종적으로 판단하는 단계;를 포함하고,
    상기 (B) 단계는,
    (B1) 상기 지하 매설관 정보 수집 장치로부터 지하 매설관 이상 정보를 수신하는 단계; 및
    (B2) 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상을 지하 매설관 상태 판단 모델에 입력하여 상기 지하 매설관의 상태를 2차로 판단하고, 상기 2차 판단 결과 지하 매설관에 이상이 있는 것으로 판단되면, 상기 수신된 지하 매설관 이상 정보 중 도로 노면 열화상의 온도 변화를 기반으로 상기 지하 매설관의 이상 징후를 조기 예측하고, 상기 조기 예측된 이상 징후에 기반하여 지하 매설관의 이상 여부 진단 결과를 생성한 후 시각화처리하는 단계;를 포함하는 지하 매설관 이상 탐지 방법.
  8. 제7항에 있어서,
    상기 (A) 단계는,
    (A1) 상기 주행 중인 차량의 주변 중 지하 매설관이 위치하는 도로 노면을 촬영하여 도로 노면 영상으로서 RGB 영상(이하, '도로 노면 RGB 영상'이라 한다)과 열화상(이하, '도로 노면 열화상'이라 한다)을 획득하는 단계;
    (A2) 상기 차량의 위치 정보를 센싱하는 단계;
    (A3) 상기 (A1) 단계로부터 실시간으로 입력되는 도로 노면 열화상을 지하 매설관 상태 예측 모델에 입력하여 지하 매설관의 상태를 1차로 예측하고, 상기 지하 매설관에 이상이 있는 것으로 예측되면, 상기 도로 노면 열화상과, 상기 도로 노면 열화상과 동일한 지점을 촬영한 도로 노면 RGB 영상과, 상기 도로 노면 열화상이 촬영된 위치 정보를 매칭하여 지하 매설관 이상 정보로서 수집하는 단계; 및
    (A4) 상기 (A3) 단계에서 수집된 지하 매설관 이상 정보를 상기 지하 매설관 정보 제공 서버로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 방법.
  9. 제8항에 있어서,
    상기 (A) 단계는,
    (A3) 상기 (A2) 단계 이후, 상기 도로 노면 RGB 영상과 도로 노면 열화상 중 지하 매설관이 위치할 것으로 예측되는 일부 영역을 관심 영역으로 설정하여 크롭하는 단계;
    를 더 포함하는 것을 특징으로 하는 지하 매설관 이상 탐지 방법.
  10. 제9항에 있어서,
    상기 (A3) 단계는,
    상기 도로 노면 RGB 영상과 도로 노면 열화상이 상기 차량의 주행 방향을 기준으로 우측 도로, 우측 갓길 및 인도를 포함하도록 촬영되는 경우, 상기 도로 노면 RGB 영상과 도로 노면 열화상을 수평방향으로 3등분한 영역 중 하단 영역을 수직 방향으로 n등분하고, n등분된 영역들 중 상기 갓길을 포함하는 영역을 포함하도록 관심 영역을 설정하는 것을 특징으로 하는 지하 매설관 이상 탐지 방법.
  11. 삭제
  12. 삭제
KR1020200179743A 2020-12-21 2020-12-21 지하 매설관 이상 탐지 시스템 및 방법 KR102281100B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200179743A KR102281100B1 (ko) 2020-12-21 2020-12-21 지하 매설관 이상 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200179743A KR102281100B1 (ko) 2020-12-21 2020-12-21 지하 매설관 이상 탐지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102281100B1 true KR102281100B1 (ko) 2021-07-23

Family

ID=77155166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179743A KR102281100B1 (ko) 2020-12-21 2020-12-21 지하 매설관 이상 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102281100B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401297A (zh) * 2021-12-03 2022-04-26 青海绿能数据有限公司 一种厂区管道连接状态监控***及其监控方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167291B1 (ko) * 2020-04-24 2020-10-20 한국건설기술연구원 도로 상태 정보 수집 시스템 및 방법
KR102187098B1 (ko) 2020-05-08 2020-12-04 재단법인 서울특별시 서울기술연구원 Tdr 계측선을 이용한 열수송관 손상 감지 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167291B1 (ko) * 2020-04-24 2020-10-20 한국건설기술연구원 도로 상태 정보 수집 시스템 및 방법
KR102187098B1 (ko) 2020-05-08 2020-12-04 재단법인 서울특별시 서울기술연구원 Tdr 계측선을 이용한 열수송관 손상 감지 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
'한국지역난방공사, 차량탑재형 열화상카메라 등을 활용 열수송관 안전점검', 중부일보, 2018.03.13, (http://www.joongboo.com/news/articleView.html?idxno=1235310)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401297A (zh) * 2021-12-03 2022-04-26 青海绿能数据有限公司 一种厂区管道连接状态监控***及其监控方法

Similar Documents

Publication Publication Date Title
CN108037133B (zh) 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其***
KR102167291B1 (ko) 도로 상태 정보 수집 시스템 및 방법
KR102166654B1 (ko) 안전점검 기준표와 분류별 결함 데이터를 활용한 풍력 발전기 블레이드 안전 관리 시스템 및 방법
KR102026685B1 (ko) 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버
CN111339905B (zh) 基于深度学习及多视角的cim井盖状态视觉检测***
US20240210330A1 (en) Systems and methods for artificial intelligence powered inspections and predictive analyses
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
KR102167292B1 (ko) 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
JP2019196680A (ja) 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
CN104535356A (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及***
CN109448365A (zh) 一种跨尺度空基平台区域道路交通***综合监视方法
US20230152150A1 (en) Road surface conditions detection by distributed optic fiber system
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测***及方法
CN115600124A (zh) 地铁隧道巡检***及巡检方法
KR102281100B1 (ko) 지하 매설관 이상 탐지 시스템 및 방법
CN116231504A (zh) 一种升压站远程智能巡检方法、装置及***
KR102281101B1 (ko) 지하 매설관 이상 탐지를 위한 모델 생성 서버 및 방법
CN113569956A (zh) 一种基于ai算法的山火灾害勘查识别方法
CN114326741B (zh) 基于四足机器人的海水淡化监视控制***
CN117152617A (zh) 一种城市洪涝识别方法及***
CN117768610A (zh) 基于多目标识别的高速铁路周界入侵风险监测方法及***
CN111553500B (zh) 基于注意力机制全卷积网络的铁路交通接触网巡检方法
Leduc et al. Road visualization for smart city: Solution review with road quality qualification
KR20230070843A (ko) 열화상 심층학습 객체 자동 추적 기반 원전 안전 진단 시스템 및 이의 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant