KR20240059426A - 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법 - Google Patents

이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법 Download PDF

Info

Publication number
KR20240059426A
KR20240059426A KR1020220140661A KR20220140661A KR20240059426A KR 20240059426 A KR20240059426 A KR 20240059426A KR 1020220140661 A KR1020220140661 A KR 1020220140661A KR 20220140661 A KR20220140661 A KR 20220140661A KR 20240059426 A KR20240059426 A KR 20240059426A
Authority
KR
South Korea
Prior art keywords
image
learning
illuminance
images
object detection
Prior art date
Application number
KR1020220140661A
Other languages
English (en)
Inventor
우성제
우덕제
이규빈
신성호
김태리
맹제모
이주순
Original Assignee
한전케이디엔주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한전케이디엔주식회사, 광주과학기술원 filed Critical 한전케이디엔주식회사
Priority to KR1020220140661A priority Critical patent/KR20240059426A/ko
Publication of KR20240059426A publication Critical patent/KR20240059426A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치는 제1 대상에 대한 저조도의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성하는 이미지조도개선부; 상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도(高照度)이미지의 객체표현을 저조도(低照度)이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습하는 객체검출모델학습부; 및 지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출하는 객체검출부를 포함함으로써, 저조도의 학습이미지와 상기 학습이미지에 대해 조도가 개선된 유사이미지를 패치단위로 대조하여 학습함으로써, 밝은 이미지 속 객체의 표현을 어두운 이미지에서도 동일하게 찾을 수 있도록 하고, 이로 인해 조도가 낮은 지하시설물 이미지로부터 지하시설물을 용이하게 검출하고 그 위치를 추적할 수 있는 장점이 있다.

Description

이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법{APPARATUS AND METHOD FOR MONITORING AND DIAGNOSING UNDERGROUND FACILITIES BASED ON IMAGE ILLUMINANCE IMPROVEMENT TECHNOLOGY}
본 발명은 지하시설물 감시/진단장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법에 관한 것이다.
전력구, 공동구 등 지하의 국가기간시설 내에는 상/하수도관, 전력선, 통신선, 가스관 같이 도시 기능에 필수적인 수많은 지하시설물들이 매설되어 있다. 이러한 지하시설물을 안전하게 관리하기 위해 지하시설물들을 검출하고 그 위치를 추적하는 감시/진단 기술이 중요시되고 있다.
그런데, 조도가 낮은 지하의 특성상 상기 지하시설물들을 자동으로 진단하기 어려운 문제가 있다. 즉, 상기 지하시설물을 진단하기 위해 촬영된 이미지의 조도가 낮아 지하시설물의 검출이 어려운 문제가 있었다.
한국공개특허 제 10-2017-0024287 호에는, 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치가 개시되어 있다. 상기 특허에 의하면, 저조도 영상을 개선함으로써 영상 처리 결과의 정확도 및 신뢰성을 향상시킬 수 있는 효과가 있다. 또한, 상기 특허에 의하면, 조도 개선을 위한 영상 처리로 얻은 결과 영상에서 부분적으로 픽셀값이 포화되어 물체 식별이 불가능하게 되는 현상을 방지할 수 있다.
하지만, 상기와 같은 종래의 기술들은 이미지의 조도를 개선하고, 그 개선된 이미지로부터 객체를 검출하기 위한 기술이 개시되어 있을 뿐, 초기 이미지로부터 객체를 검출하기 위한 기술이 개시되지 않아 객체 검출의 정확도가 떨어질 수 있으며, 저조도 영상에 대응한 별도의 밝은 영상(즉, 낮 시간대에 촬영한 이미지)가 함께 존재해야 한다. 즉, 종래에는 저조도 이미지의 조도를 개선한 후 객체를 검출하기 위해, 동일한 대상에 대하여 저조도 이미지-밝은 이미지 쌍이 필요하다.
상기와 같은 종래의 기술은, 저조도의 이미지 단독으로 객체 검출률을 향상시킬 수 없으므로, 상시 조도가 낮은 지하의 국가기간시설 내에 설치된 지하시설물 자동 진단에 적용할 수 없는 문제가 있다.
이로 인해, 야간 및 조명 시설이 없는 지하의 구간에서 촬영된 저조도의 이미지만으로도 객체 검출률을 향상시킬 수 있는 기술이 필요하다.
한국공개특허 제 10-2017-0024287 호
따라서 본 발명은, 저조도(低照度)의 학습이미지와 상기 학습이미지에 대해 조도가 개선된 유사이미지를 패치단위로 대조하여 학습함으로써, 밝은 이미지 속 객체의 표현을 어두운 이미지에서도 동일하게 찾을 수 있도록 하고, 이로 인해 조도가 낮은 지하시설물 이미지로부터 지하시설물을 용이하게 검출하고 그 위치를 추적할 수 있도록 하는 지하시설물 감시/진단장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 야간 및 조명시설이 없는 구간의 시인성을 향상시킴으로써, 어두운 조도의 지하시설물 내 설비진단시 성능저하 없는 객체 검출률에 도달할 수 있도록 하는 지하시설물 감시/진단장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 이미지 조도 개선을 위해 동일한 대상에 대하여 저조도 이미지-밝은 이미지 쌍을 필요로 하지 않음으로써, 복잡한 절차 없이 간단하게 이미지의 조도를 개선하고, 그 결과를 지하시설물 감시/진단에 활용함으로써, 성능을 향상시킬 수 있는 지하시설물 감시/진단장치 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해 본 발명에서 제공하는 지하시설물 감시/진단장치는 제1 대상에 대한 저조도의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성하는 이미지조도개선부; 상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도(高照度)이미지의 객체표현을 저조도(低照度)이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습하는 객체검출모델학습부; 및 지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출하는 객체검출부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 이미지조도개선부는 상기 제1 대상과는 다른 임의의 제2 대상에 대한 고조도이미지를 미리 저장하고, 상기 고조도이미지를 기반으로 임의의 저조도이미지의 조도를 개선하기 위한 생성모델을 학습하는 생성모델학습부; 및 상기 학습이미지를 상기 생성모델에 입력하여 조도가 개선된 유사이미지를 생성하는 조도개선실행부를 포함할 수 있다.
바람직하게, 상기 객체검출모델학습부는 이미지 저장을 위한 적어도 하나의 계층을 포함하는 백본네트워크에 상기 학습이미지 및 상기 유사이미지를 저장하는 이미지전송부; 상기 백본네트워크의 각 계층에 분산 저장된 상기 학습이미지 및 상기 유사이미지들 각각으로부터 적어도 하나의 패치들을 랜덤하게 추출하는 패치추출부; 상기 패치들의 위치를 기반으로, 상기 학습이미지에서 추출된 학습패치들과 상기 유사이미지에서 추출된 유사패치들 각각을 대조학습하는 대조학습부; 및 상기 대조학습결과로 객체검출모델을 생성하는 객체검출모델생성부를 포함할 수 있다.
바람직하게, 상기 지하시설물 감시/진단장치는 상기 지하시설물이 설치된 지하공간을 이동하면서 상기 지하시설물에 대한 저조도의 원본이미지를 수집하는 이미지수집부를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위해 본 발명에서 제공하는 지하시설물 감시/진단방법은 제1 대상에 대한 저조도의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성하는 이미지조도개선단계; 상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도(高照度)이미지의 객체표현을 저조도(低照度)이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습하는 객체검출모델학습단계; 및 지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출하는 객체검출단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 이미지조도개선단계는 상기 제1 대상과는 다른 임의의 제2 대상에 대한 고조도이미지를 미리 저장하고, 상기 고조도이미지를 기반으로 임의의 저조도이미지의 조도를 개선하기 위한 생성모델을 학습하는 생성모델학습단계; 및 상기 학습이미지를 상기 생성모델에 입력하여 조도가 개선된 유사이미지를 생성하는 조도개선실행단계를 포함할 수 있다.
바람직하게, 상기 객체검출모델학습단계는 이미지 저장을 위한 적어도 하나의 계층을 포함하는 백본네트워크에 상기 학습이미지 및 상기 유사이미지를 저장하는 이미지전송단계; 상기 백본네트워크의 각 계층에 분산 저장된 상기 학습이미지 및 상기 유사이미지들 각각으로부터 적어도 하나의 패치들을 랜덤하게 추출하는 패치추출단계; 상기 패치들의 위치를 기반으로, 상기 학습이미지에서 추출된 학습패치들과 상기 유사이미지에서 추출된 유사패치들 각각을 대조학습하는 대조학습단계; 및 상기 대조학습결과로 객체검출모델을 생성하는 객체검출모델생성단계를 포함할 수 있다.
바람직하게, 상기 지하시설물 감시/진단방법은 상기 지하시설물이 설치된 지하공간을 이동하면서 상기 지하시설물에 대한 저조도의 원본이미지를 수집하는 이미지수집단계를 더 포함할 수 있다.
상기한 바와 같이, 본 발명에서 제공하는 지하시설물 감시/진단장치 및 그 방법은 저조도의 학습이미지와 상기 학습이미지에 대해 조도가 개선된 유사이미지를 패치단위로 대조하여 학습함으로써, 밝은 이미지 속 객체의 표현을 어두운 이미지에서도 동일하게 찾을 수 있도록 하고, 이로 인해 조도가 낮은 지하시설물 이미지로부터 지하시설물을 용이하게 검출하고 그 위치를 추적할 수 있는 장점이 있다.
또한, 본 발명에서 제공하는 지하시설물 감시/진단장치 및 그 방법은 야간 및 조명시설이 없는 구간의 시인성을 향상시킴으로써, 어두운 조도의 지하시설물 내 설비진단시 성능저하 없는 객체 검출률에 도달할 수 있도록 하는 장점이 있다.
또한, 본 발명에서 제공하는 지하시설물 감시/진단장치 및 그 방법은 이미지 조도 개선을 위해 동일한 대상에 대하여 저조도 이미지-밝은 이미지 쌍을 필요로 하지 않음으로써, 복잡한 절차 없이 간단하게 이미지의 조도를 개선하고, 그 결과를 지하시설물 감시/진단에 활용함으로써, 성능을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 지하시설물 감시/진단장치에 대한 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 이미지조도개선부에 대한 개략적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 객체검출모델학습부에 대한 개략적인 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 지하시설물 감시/진단방법에 대한 처리 흐름도들이다.
도 7은 본 발명의 일 실시 예에 따라 지하시설물 감시/진단을 위한 객체를 검출하는 과정을 도식화하여 설명한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 지하시설물 감시/진단장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 지하시설물 감시/진단장치(100)는 이미지조도개선부(110), 객체검출모델학습부(120), 이미지수집부(130), 및 객체검출부(140)를 포함한다.
이미지조도개선부(110)는 입력된 저조도이미지에 대한 조도를 개선한다. 즉, 이미지조도개선부(110)는 임의의 제1 대상에 대한 저조도(低照度)의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성한다. 이 때, 상기 제1 대상은, 특정 피사체 또는 촬영대상이 되는 공간이거나, 해당 이미지에 포함된 모든 객체를 포함할 수 있다.
한편, 상기 저조도(低照度)이미지란 조도가 낮은 이미지를 의미하는 것으로서, 저조도는 조도의 범위가 10LUX 이하인 경우를 말할 수 있다(이하 동일).
이를 위한 이미지조도개선부(110)의 구성이 도 2에 예시되어 있다. 도 2는 본 발명의 일 실시 예에 따른 이미지조도개선부에 대한 개략적인 블록도로서, 도 2를 참조하면, 이미지조도개선부(110)는 생성모델학습부(111), 및 조도개선실행부(112)를 포함한다.
생성모델학습부(110)는 이미지조도개선을 위한 생성모델을 학습한다. 이 때, 생성모델이란 입력되는 학습데이터의 분포를 따르는 유사한 데이터를 생성하는 모델을 말하는데, 생성모델학습부(110)에서는 상기 제1 대상과는 다른 임의의 제2 대상에 대한 고조도이미지를 기반으로 임의의 저조도이미지의 조도를 개선하기 위한 생성모델을 학습한다. 생성모델을 학습하기 위한 처리 과정은 일반적인 학습과정을 이용할 수 있다.
이를 위해, 생성모델학습부(110)는 상기 제2 대상에 대한 고조도(高照度)이미지를 미리 저장하거나 필요에 따라 실시간으로 수집하여 사용할 수 있다. 이 때, 상기 제2 대상은, 상기 제1 대상과는 다른 임의의 피사체 또는 촬영대상이 되는 공간이거나, 해당 이미지에 포함된 모든 객체를 포함할 수 있다.
한편, 상기 고조도(高照度)이미지란 조도가 높은 이미지를 의미하는 것으로서, 고조도는 조도의 범위가 50 LUX이상인 경우를 말할 수 있다(이하 동일).
조도개선실행부(112)는 상기 학습이미지를 상기 생성모델에 입력하여 조도가 개선된 유사이미지를 생성한다. 이를 위해, 조도개선실행부(112)는 상기 학습이미지를 미리 저장하거나 필요에 따라 실시간으로 수집한 후, 상기 학습이미지를 상기 생성모델에 적용할 수 있다.
객체검출모델학습부(120)는 상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도이미지의 객체표현을 저조도이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습한다. 이 때, 패치란 임의의 이미지로부터 추출된 이미지의 일부영역을 말하는 것으로서, 상기 학습이미지 및 상기 유사이미지 각각으로부터 추출될 수 있다.
이를 위한 객체검출모델학습부(120)의 구성이 도 3에 예시되어 있다. 도 3은 본 발명의 일 실시 예에 따른 객체검출모델학습부에 대한 개략적인 블록도로서, 도 3을 참조하면, 객체검출모델학습부(120)는 이미지전송부(121), 패치추출부(122), 대조학습부(123), 객체검출모델생성부(124)를 포함한다.
이미지전송부(121)는 이미지 저장을 위한 적어도 하나의 계층을 포함하는 백본네트워크(백본네트워크(A)(10), 및 백본네트워크(B)(20))에 상기 학습이미지 및 상기 유사이미지를 저장한다.
일반적으로, 백본네트워크란 딥러닝 모델에서 입력 이미지를 특징맵으로 변형시켜주는 구조를 말하며, 상기 백본네트워크를 통과한 이미지는 각 특징이 표현된 이미지 형태로 저장된다. 본 발명에서는, 상기 학습이미지와 상기 유사이미지의 특징뱁을 추출한 후, 각 특징맵의 패치들을 대조하여 학습하기 위해 상기 백본네트워크를 적용하였다.
이를 위해, 이미지전송부(121)는 상기 학습이미지와 상기 유사이미지 각각의 특징맵을 추출할 수 있도록 백본네트워크(백본네트워크(A)(10), 및 백본네트워크(B)(20))에 상기 학습이미지와 상기 유사이미지를 전송할 수 있다. 한편, 도 3의 예에서는, 설명의 편의상 백본네트워크를 분리하여 도시하였지만, 상기 학습이미지와 상기 유사이미지는 하나의 백본네트워크에 저장된다. 즉, 이미지전송부(121)는 상기 학습이미지와 상기 유사이미지를 동일한 백본네트워크에 저장하는 것이다.
패치추출부(122)는 백본네트워크(백본네트워크(A)(10), 및 백본네트워크(B) (20))의 각 계층에 분산 저장된 상기 학습이미지 및 상기 유사이미지들 각각으로부터 적어도 하나의 패치들을 랜덤하게 추출한다. 이 때, 패치추출부(122)는 상기 학습이미지 및 상기 유사이미지들 각각에 대한 특징맵으로부터 적어도 하나의 패치들을 랜덤하게 추출할 수 있으며, 상기 패치를 추출하기 위한 방법은 공지의 기술을 이용할 수 있다.
대조학습부(123)는 상기 패치들의 위치를 기반으로, 상기 학습이미지에서 추출된 학습패치들과 상기 유사이미지에서 추출된 유사패치들 각각을 대조학습한다. 이 때, 상기 패치들의 위치란 상기 학습이미지 또는 상기 유사이미지 내에서의 위치를 말한다. 따라서 대조학습부(123)는 패치추출부(122)로부터 패치정보를 획득할 때, 패치들 각각의 위치정보를 함께 획득할 수 있다. 또한, 대조학습부(123)는 상기 패치들의 위치를 기반으로 동일한 위치는 가깝도록, 먼 위치는 멀게 하도록 학습할 수 있다. 이 때, 동일한 위치 또는 먼 위치란, 상기 백본네트워크 상에서의 패치의 위치를 말하는 것으로서, 상기 학습이미지로부터 추출된 임의의 제1 패치와 상기 유사이미지로부터 추출된 임의의 제2 패치간의 거리를 말한다. 따라서 동일한 위치의 패치는 서로 같은 객체의 표현을 담고 있게 되는데, 이로 이해, 상기와 같이 대조학습부(123)가 동일한 위치를 가깝도록 학습함으로써 어두운 이미지의 패치가 밝은 이미지의 패치 정보를 학습하여 어두운 이미지에서도 밝은 객체의 정보를 미리 알수 있도록 하는 효과가 있다. 또한, 대조학습부(123)가 먼 위치는 멀게 하도록 학습함으로써, 다른 위치의 패치는 멀게 하여 서로 다른 객체의 표현은 모델이 잘 구분할 수 있도록 하는 효과가 있다.
객체검출모델생성부(124)는 상기 대조학습결과로 객체검출모델을 생성한다. 이 때, 객체검출모델은 임의의 제1 저조도이미지로부터 그 이미지에 포함된 객체들을 검출하되, 상기 제1 저조도이미지의 조도가 개선된 제2 고조도이미지로부터 객체들을 검출하는 것과 동일한 객체검출률에 도달하도록 딥러닝 기반으로 학습된 모델이다.
이미지수집부(130)는 상기 지하시설물이 설치된 지하공간을 이동하면서 상기 지하시설물에 대한 저조도의 원본이미지를 수집한다. 이를 위해, 이미지수집부(130)는 카메라를 구비하고, 상기 지하공간에 설치된 이동경로(예컨대, 레일 등)를 자동으로 이동하면서, 미리 설정된 이미지수집조건(예컨대, 수집주기, 수집대상, 수집위치 등)에 따라 상기 지하시설물에 대한 이미지를 수집할 수 있다. 또는, 이미지수집부(130)는 상기 지하공간을 이동하는 작업자가 소지하고, 작업자의 조작에 의해 상기 지하시설물에 대한 이미지를 수집하거나, 상기 지하공간을 이동하는 작업차량에 탑재되어 상기 이미지수집조건에 따라 상기 지하시설물에 대한 이미지를 수집할 수 있다. 이 때, 이미지수집부(130)는 별도의 조도개선을 위한 노력없이 단지 이미지수집만을 수행한다.
객체검출부(140)는 지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출한다. 이를 위해, 객체검출부(140)는 이미지수집부(130)에서 수집한 상기 지하시설물에 대한 원본이미지를 상기 객체검출모델에 적용할 수 있다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 지하시설물 감시/진단방법에 대한 처리 흐름도들로서, 도 1 내지 도 6을 참조하여 본 발명의 일 실시 예에 따른 지하시설물 감시/진단방법을 설명하면 다음과 같다.
먼저, 단계 S110에서는, 이미지조도개선부(110)가, 제1 대상에 대한 저조도의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성한다. 이를 위해, 이미지조도개선부(110)는, 단계 S111에서, 상기 제1 대상과는 다른 임의의 제2 대상에 대한 고조도이미지를 미리 저장하고, 상기 고조도이미지를 기반으로 임의의 저조도이미지의 조도를 개선하기 위한 생성모델을 학습하고, 단계 S112에서, 상기 학습이미지를 상기 생성모델에 입력하여 조도가 개선된 유사이미지를 생성한다.
단계 S120에서는, 객체검출모덱학습부(120)가, 상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도이미지의 객체표현을 저조도이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습한다. 이를 위해, 객체검출모델학습부(120)는, 단계 S121에서, 이미지 저장을 위한 적어도 하나의 계층을 포함하는 백본네트워크에 상기 학습이미지 및 상기 유사이미지를 저장하고, 단계 S122에서, 상기 백본네트워크의 각 계층에 분산 저장된 상기 학습이미지 및 상기 유사이미지들 각각으로부터 적어도 하나의 패치들을 랜덤하게 추출하고, 단계 S123에서, 상기 패치들의 위치를 기반으로, 상기 학습이미지에서 추출된 학습패치들과 상기 유사이미지에서 추출된 유사패치들 각각을 대조학습하고, 단계 S124에서, 상기 대조학습결과로 객체검출모델을 생성한다.
단계 S130에서는, 이미지수집부(130)가, 상기 지하시설물이 설치된 지하공간을 이동하면서 상기 지하시설물에 대한 저조도의 원본이미지를 수집한다.
마지막으로, 단계 S140에서는, 객체검출부(140)가, 지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출한다.
도 4 내지 도 6의 설명에 있어서, 이미지조도개선부(110), 객체검출모델학습부(120), 이미지수집부(130), 및 객체검출부(140) 각각의 구체적인 동작에 대하여는, 도 1 내지 도 3을 참조한 설명에서 설명하였으므로, 중복설명을 생략하였다.
도 7은 본 발명의 일 실시 예에 따라 지하시설물 감시/진단을 위한 객체를 검출하는 과정을 도식화하여 설명한 도면으로서, 본 발명의 방법을 이미지 조도개선/객체검출모델학습/객체검출로 분류하여 도식화하였다.
도 7을 참조하면, 이미지 조도개선과정에서는, 원본 어두운 이미지(X)가 원본 밝은 이미지(Y)의 스타일과 유사한 이미지(즉, Y 스타일로 조도 개선된 이미지(X'))를 생성하도록 생성모델(G)을 학습시키고, 원본 어두운 이미지(X)를 생성모델(GX,Y)에 적용하여 상기 유사이미지(X') 를 생성한다.
객체검출모델학습과정에서는, 상기 원본 어두운 이미지(X)와 이미지조도개선과정에서 생성된 유사이미지(X')를 백본네트워크(Backbone Network)(A)에 각각 입력하고, 백본네트워크(Backbone Network)(A)의 각 레이어에서 랜덤하게 패치를 추출한 후, 추출된 패치의 위치를 기반으로 동일한 위치는 가깝도록, 먼 위치는 멀게 하도록 백본네트워크(Backbone Network)(A)를 학습하여, 객체검출모델(N)을 생성한다.
객체검출과정에서는, 어두운이미지(X)를 객체검출모델(N)에 입력하여 추론된 객체집합(O)과 위치좌표(B)를 산출한다. 객체검출모델(N)로부터 추론된 객체집합(O)과 위치좌표(B)를 산출하는 과정은 공지의 기술을 이용할 수 있다.
이와 같이, 본 발명은 저조도의 학습이미지와 상기 학습이미지에 대해 조도가 개선된 유사이미지를 패치단위로 대조하여 학습함으로써, 밝은 이미지 속 객체의 표현을 어두운 이미지에서도 동일하게 찾을 수 있도록 하고, 이로 인해 조도가 낮은 지하시설물 이미지로부터 지하시설물을 용이하게 검출하고 그 위치를 추적할 수 있는 특징이 있다.
또한, 본 발명은 야간 및 조명시설이 없는 구간의 시인성을 향상시킴으로써, 어두운 조도의 지하시설물 내 설비진단시 성능저하 없는 객체 검출률에 도달할 수 있도록 하는 특징이 있다.
또한, 본 발명은 이미지 조도 개선을 위해 동일한 대상에 대하여 저조도 이미지-밝은 이미지 쌍을 필요로 하지 않음으로써, 복잡한 절차 없이 간단하게 이미지의 조도를 개선하고, 그 결과를 지하시설물 감시/진단에 활용함으로써, 성능을 향상시킬 수 있는 특징이 있다.
이상에서는 본 발명의 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시 예로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
10, 20: 백본네트워크 100: 지하시설물 감시/진단장치
110: 이미지조도개선부 111: 생성모델학습부
112: 조도개선실행부 120: 객체검출모델학습부
121: 이미지전송부 122: 패치추출부
123: 대조학습부 124: 객체검출모델생성부
130: 이미지수집부 140: 객체검출부

Claims (8)

  1. 제1 대상에 대한 저조도의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성하는 이미지조도개선부;
    상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도(高照度)이미지의 객체표현을 저조도(低照度)이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습하는 객체검출모델학습부; 및
    지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출하는 객체검출부를 포함하는 것을 특징으로 하는 지하시설물 감시/진단장치.
  2. 제1항에 있어서, 상기 이미지조도개선부는
    상기 제1 대상과는 다른 임의의 제2 대상에 대한 고조도이미지를 미리 저장하고, 상기 고조도이미지를 기반으로 임의의 저조도이미지의 조도를 개선하기 위한 생성모델을 학습하는 생성모델학습부; 및
    상기 학습이미지를 상기 생성모델에 입력하여 조도가 개선된 유사이미지를 생성하는 조도개선실행부를 포함하는 것을 특징으로 하는 지하시설물 감시/진단장치.
  3. 제2항에 있어서, 상기 객체검출모델학습부는
    이미지 저장을 위한 적어도 하나의 계층을 포함하는 백본네트워크에 상기 학습이미지 및 상기 유사이미지를 저장하는 이미지전송부;
    상기 백본네트워크의 각 계층에 분산 저장된 상기 학습이미지 및 상기 유사이미지들 각각으로부터 적어도 하나의 패치들을 랜덤하게 추출하는 패치추출부;
    상기 패치들의 위치를 기반으로, 상기 학습이미지에서 추출된 학습패치들과 상기 유사이미지에서 추출된 유사패치들 각각을 대조학습하는 대조학습부; 및
    상기 대조학습결과로 객체검출모델을 생성하는 객체검출모델생성부를 포함하는 것을 특징으로 하는 지하시설물 감시/진단장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 지하시설물이 설치된 지하공간을 이동하면서 상기 지하시설물에 대한 저조도의 원본이미지를 수집하는 이미지수집부를 더 포함하는 것을 특징으로 하는 지하시설물 감시/진단장치.
  5. 제1 대상에 대한 저조도의 학습이미지에 대한 조도를 개선하여 유사이미지를 생성하는 이미지조도개선단계;
    상기 학습이미지와 상기 유사이미지를 패치단위로 대조학습하여 고조도(高照度)이미지의 객체표현을 저조도(低照度)이미지에서도 동일하게 검출할 수 있는 객체검출모델을 학습하는 객체검출모델학습단계; 및
    지하시설물에 대한 저조도의 원본이미지를 상기 객체검출모델에 적용하여 상기 지하시설물이미지에 포함된 적어도 하나의 지하시설물을 검출하는 객체검출단계를 포함하는 것을 특징으로 하는 지하시설물 감시/진단방법.
  6. 제5항에 있어서, 상기 이미지조도개선단계는
    상기 제1 대상과는 다른 임의의 제2 대상에 대한 고조도이미지를 미리 저장하고, 상기 고조도이미지를 기반으로 임의의 저조도이미지의 조도를 개선하기 위한 생성모델을 학습하는 생성모델학습단계; 및
    상기 학습이미지를 상기 생성모델에 입력하여 조도가 개선된 유사이미지를 생성하는 조도개선실행단계를 포함하는 것을 특징으로 하는 지하시설물 감시/진단방법.
  7. 제6항에 있어서, 상기 객체검출모델학습단계는
    이미지 저장을 위한 적어도 하나의 계층을 포함하는 백본네트워크에 상기 학습이미지 및 상기 유사이미지를 저장하는 이미지전송단계;
    상기 백본네트워크의 각 계층에 분산 저장된 상기 학습이미지 및 상기 유사이미지들 각각으로부터 적어도 하나의 패치들을 랜덤하게 추출하는 패치추출단계;
    상기 패치들의 위치를 기반으로, 상기 학습이미지에서 추출된 학습패치들과 상기 유사이미지에서 추출된 유사패치들 각각을 대조학습하는 대조학습단계; 및
    상기 대조학습결과로 객체검출모델을 생성하는 객체검출모델생성단계를 포함하는 것을 특징으로 하는 지하시설물 감시/진단방법.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 지하시설물이 설치된 지하공간을 이동하면서 상기 지하시설물에 대한 저조도의 원본이미지를 수집하는 이미지수집단계를 더 포함하는 것을 특징으로 하는 지하시설물 감시/진단방법.
KR1020220140661A 2022-10-27 2022-10-27 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법 KR20240059426A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220140661A KR20240059426A (ko) 2022-10-27 2022-10-27 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220140661A KR20240059426A (ko) 2022-10-27 2022-10-27 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20240059426A true KR20240059426A (ko) 2024-05-07

Family

ID=91078052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220140661A KR20240059426A (ko) 2022-10-27 2022-10-27 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20240059426A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170024287A (ko) 2015-08-25 2017-03-07 경북대학교 산학협력단 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170024287A (ko) 2015-08-25 2017-03-07 경북대학교 산학협력단 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치

Similar Documents

Publication Publication Date Title
CN109977921B (zh) 一种输电线路隐患检测方法
CN103366569B (zh) 实时抓拍交通违章车辆的方法及***
CN103512762B (zh) 图像处理方法、装置及列车故障检测***
CN101893686B (zh) 基于摄影数字化的断路器动作特性在线检测装置和方法
CN101784887A (zh) 受电弓损坏和磨损监视***
CN105809679A (zh) 一种基于视觉分析的山区铁路边坡落石检测方法
CN111383429A (zh) 建筑工地工人着装检测方法、***、装置、存储介质
CN110145692B (zh) 污水管道cctv检测***及方法
CN105741291A (zh) 一种高速铁路接触网悬挂装置等电位线故障检测方法
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN111062971B (zh) 一种基于深度学习多模态的跨摄像头泥头车追踪方法
CN112365480B (zh) 制动夹钳装置闸片丢失故障识别方法
CN109738041B (zh) 一种城市地下综合管廊智能液位监测方法及***
CN113221688B (zh) 一种刀闸状态识别方法、装置和存储介质
Huang et al. Rapid surface damage detection equipment for subway tunnels based on machine vision system
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN115981219B (zh) 高速隧道智能监控***
CN104301630A (zh) 一种视频图像拼接方法及装置
CN114941807A (zh) 一种基于无人机的热力管道泄漏快速监测与定位方法
KR20240059426A (ko) 이미지 조도 개선 기술을 기반으로 한 지하시설물 감시/진단장치 및 그 방법
CN108119726B (zh) 用于检测地下大型管道漏水的***
CN111325708B (zh) 一种输电线路检测方法和服务器
CN102866158B (zh) 面向隧道巡检的输配电线缆检测方法
US20220101509A1 (en) Deterioration diagnostic device, deterioration diagnostic system, deterioration diagnostic method, and recording medium
CN107194923B (zh) 一种用于接触网电力设备缺陷巡检的紫外图像诊断方法