KR20210037199A - 자동 분할 태깅 장치 및 이를 이용하여 학습된 손상영역 검출 장치 - Google Patents

Abstract

본 발명은 설비의 손상 영역 검출 및 진단을 위한 학습 데이터를 구축함에 있어, 수집된 설비 손상 영상을 기초로 자동 분할 태깅 기술을 이용하여 효과적인 학습 데이터 생성하고, 나아가 손상영역을 검출하는 장치의 신뢰성 있는 딥러닝 학습 모델을 생성하는 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 자동 분할 태깅 장치가 학습 데이터를 생성하는 방법은, 손상영역에 관한 정보가 포함된 영상을 수신하는 단계; 손상영역의 외곽선을 추출하는 단계; 외곽선 상에서 복수의 코너를 추출하는 단계; 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하는 단계; 영상을 복수의 그리드로 분할하는 분할 단계; 복수의 그리드 중 코너 선과 닿는 하나 이상의 그리드를 태깅하는 태깅 단계; 및 태깅된 그리드를 이용하여 학습 데이터를 생성하는 단계;를 포함할 수 있다.

Description

자동 분할 태깅 장치 및 이를 이용하여 학습된 손상영역 검출 장치{APPARATUS FOR DIVIDING, TAGGING AN IMAGE AND FOR DETECTING DEFECT OF FACILITIES USING THE SAME}

본 발명은 설비의 손상영역 검출 및 진단을 위한 학습 데이터를 구축함에 있어, 수집된 설비 손상 영상을 기초로 자동 분할 태깅 기술을 이용하여 효과적인 학습 데이터 생성하고, 나아가 손상영역을 검출하는 장치의 신뢰성 있는 딥러닝 학습 모델을 생성하는 장치 및 방법에 관한 것이다.

최근 드론을 활용한 업무 영역은 방송 등과 같은 엔터테인먼트 사업에서부터 군부대 또는 토목 분야와 같은 산업현장까지 다양하게 확산되고 있다. 주로 드론 활용은 드론에 부착된 카메라의 영상을 활용하는 목적으로 출발했지만, 최근에는 촬영된 영상을 분석하는 인공지능 기술을 접목하여 산업현장에 업무 수행 목적으로 활용되고 있다.

이러한 기술개발 경향과 더불어, 한전에서도 드론을 활용한 송배전설비 진단 기술개발을 진행 중에 있으며, 그 개발 범위는 '상용드론을 활용한 송전설비 촬영 및 진단', '촬영 영상을 이용한 설비 인식 및 설비의 이상유무 판단', '비가시권 전력설비의 모니터링 및 상태 분석' 등을 목표로 하고 있다.

특히, 드론 촬영 영상을 활용하여 설비를 진단하는 업무를 프로그램화 할 경우 가장 중요한 기술은 인공지능 딥러닝 기술을 활용하여 촬영된 영상속에서 진단 대상이 되는 전력설비를 정확하게 인식하는 기술과 인식된 설비의 상태(정상, 비정상)를 진단하는 기술이 요구된다.

전력설비를 실시간 인식하는 기술은 드론으로 송전 선로 진단시 학습된 설비를 인식하고 설비를 확대하여 촬영하거나, 동영상으로 확보된 영상에서 설비가 포함된 영상을 분석 전문가에게 제공하여 설비의 이상유무를 판단할 수 있도록 제공하거나, 자동으로 설비의 고장이나 이상유무를 판단하는 자동 진단시스템으로 활용할 수 있다. 도 1은 드론 영상을 활용한 송전설비 진단 업무의 개요를 나타낸 도면이다.

그러나 설비의 이상유무를 판단하는 자동 진단시스템을 위한 딥러닝 알고리즘 개발은 일반적으로 비정상 설비의 영상이 정상인 설비의 영상보다 많지 않다는 이유로 학습에 어려움이 있는 상황이다. 딥러닝 모델을 학습시키는 데에 있어서 데이터셋의 양은 매우 중요하기 때문이다. 학습 데이터셋이 적을 경우 정확도가 낮게 학습되거나, 과대적합(overfitting) 현상, 즉, 모델이 학습 데이터에 과도하게 특화되어 학습됨으로써 학습에 사용된 데이터에 대해서는 성능이 좋지만 실제 응용에서의 새로운 데이터에 대해서는 오히려 성능이 떨어지는 현상이 발생할 수 있다.

그래서 충분한 학습 영상을 확보하지 못하는 이유 때문에 학습의 정확도가 낮게되는 결과를 가져올 수밖에 없는 상황이다. 물론 지속적으로 업무를 진행하면서 축적되는 장애 설비 영상을 확보할 수도 있지만, 현 시점에서는 자료의 부족이 설비 학습 정확도 향상 문제 중에 하나라고 볼 수 있다. 따라서 제한된 사례별 영상 내에서 학습 데이터를 더 많이 확보하고, 학습에 활용하여 종래의 문제를 해결할 필요가 있다.

현재, 일반적으로 구현하는 장애 진단을 위한 딥러닝 학습 방식에 있어서 영상 내 학습 대상을 선정하는 방법은 '설비 내 불량 영역 전체를 하나로 저장하는 형식'으로 학습 데이터를 빨리 생성할 수 있는 장점이 있지만, 상기 상황처럼 불량 설비 사례별 영상이 충분하지 않고 학습 대상 선정 영상이 다양한 특징을 포함하고 있는 경우, 형태적 특징을 도출하기에는 부족한 딥러닝 학습결과를 초래 한다.

도 2는 상기 방식, 즉 설비 내 불량 영역 전체를 하나로 저장하는 방식을 이용함에 따라 충분하지 않은 설비의 불량 사례별 영상을 영상 학습 대상으로 태깅하여 학습한 결과 그래프이다. 태깅 방식은 설비 내 불량 영역 전체를 하나로 저장하는 형식을 사용하였으며, 본 발명에서 사용된 딥러닝 학습부에 의해 도출되었다.

태깅(Tagging)이란 영상 또는 영상의 일부를 관련 주제나 카테고리의 형태로 분류 또는 키워드 처리해주는 것이다. 예를 들면, 설비가 손상된 영상에 대한 태깅이라 함은, 수신된 영상 중, 손상설비가 포함된 영상에 대하여 '손상설비 영상'로 지정하는 것 등이 될 수 있다.

학습을 진행하면서 '평균 학습 손실율'을 이용하여 해당 학습의 건전성을 평가하고, 'mAP(mean Average Precision : 평균 정밀도) 지수'를 도출하여 학습의 평가를 수행할 수 있다. 아래 그래프의 청색 선은 학습 진행간 반복 학습 수행에 있어 학습 수행시 발생하는 학습의 손실율을 평균으로 표현하였으며, 이 값은 0에 수렴할수록 학습 데이터가 모델에 손실없이 반영된다. 또한 적색 라인은 학습의 성능 확인을 위해 적용한 Valid(검증영상) 데이터의 mAP 지수를 나타낸다. 본 발명의 일 실시예에서 이용될 수 있는 Darknet-YOLOv3 알고리즘의 표준 성능은 COCO Dataset 에서 mAP 57.9%로 게재되어 있다. 딥러닝 평가에 사용되는 표준 일반 오브젝트는 http://cocodataset.org 에서 이용이 가능하다.

도 2는 기존 방식대로 '설비 내 불량 영역 전체를 하나로 저장하는 형식'의 학습 결과를 나타낸 그래프로, 학습은 전체 불량 설비 시료 데이터 셋 중 90%를 사용하며, 검증은 시료 중 학습에 사용되지 않은 10%를 활용하여 검증을 진행하였다. 그 결과 상단 도 2의 그래프에서 학습 손실율을 나타내는 청색 라인은 70%대 이상으로 유지되어 학습 모델에 데이터가 정상적으로 적층 되지 않는 것으로 확인할 수 있다. 평균 정밀도를 나타내는 적색 라인은 mAP최대값이 30%대의 낮은 수치를 나타내는 것을 확인할 수 있다. 표 1은 전체 영역 태깅 방식의 학습결과를 나타낸 것이다. 설비 내 불량 영역 전체를 하나로 저장하는 형식에 의한 최종 학습 종료 결과 하단의 표 1과 같이 평균정밀도 mAP는 39.2%의 낮은 결과를 나타냈다.

학습 데이터	검증 데이터	mAP (%)
90%	10%	39.2 %

도 3은 종래의 설비내 불량 영역 전체를 하나로 저장한 학습 데이터의 예를 나타낸 도면이다. 학습 데이터는 손상영역(310) 전체를 포함하므로, 학습되는 장치는 손상영역 전체를 기준으로 손상영역 검출을 학습하게 된다.

도 4는 도 3의 학습 데이터에 의하여 학습된 장치를 이용하여 손상영역 검출을 수행한 결과를 나타낸 도면이다. 검출된 손상검출영역(410)은 큰 영역으로 탐지되는 등, 영상 내 불량 부분의 크기가 일정치 않거나 신뢰도가 낮게 형성된 것을 확인할 수 있다.

이처럼 손상 영상 영상 학습 시료가 많지 않은 환경에서, 설비의 손상 부분을 작은 Cell 형식으로 분할 태깅하고 학습하는 방식으로 수행하여, 학습 데이터의 증대 및 진단 정확도를 높이는 방식을 수행할 수 있다. 그러나 이 분할 태깅 방식도 종래에는 자동화되지 못했으므로, 사용자에 의해 수동으로 진행하게 되면 분할의 정확도 및 일관성 등을 확보할 수 없으며, 작은 크기의 분할을 위해 학습자의 과도한 시간이 요구되어 학습 자료 DB 구축이 크게 개선되지 못했다.

한국공개특허 10-2015-0079064(명칭 : 자동태깅 시스템 및 그 방법)에서는 배경에서 오브젝트 태깅 영역을 추출하는 방법에 대해서 기술하고 있지만, 진단을 목적으로 하는 태깅의 영역 및 진단 효율을 높이기 위한 분할 태깅에 대한 방법 및 진단 검증 단계에 대한 기술은 서술되지 않는다.

한국공개특허 10-2017-0083419(명칭 : 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템)에서는 레이블링 되지 않은 대상을 학습하는 방법에 대해 기술하고 있으나, 본 목적에 맞는 손상 영역 태깅 및 그 영역의 분할 태깅하는 형태의 기술 및 진단 검증 및 학습 레벨 평가 방법에 대한 기술은 포함되어 있지 않다.

한국공개특허 10-2019-0044814(명칭 : 딥러닝 학습을 위한 데이터 구축 방법)에서는 동영상을 활용한 데이터 생성 및 학습을 수행하는 단계에 대해서 기술되어 있으나, 학습을 위한 태깅 기법 및 진단 대상 학습 분할 태깅, 시뮬레이션을 통한 검증 단계에 대해 서술되어 있지 않다.

한국공개특허 10-2017-0096298(명칭 : 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법)에서는 본 연구에 사용된 컨볼루션 신경망을 사용한 것은 동일하나 진단을 위한 학습 데이터를 구축하는 방법 및 태깅하는 기법, 그것을 검증하는 기법에 대해서는 기술되어 있지 않다.

한국공개특허 10-2015-0079064 한국공개특허 10-2017-0083419 한국공개특허 10-2019-0044814 한국공개특허 10-2017-0096298

본 발명은 이러한 종래기술의 문제점을 해결하기 위하여 설비 손상 영상을 자동으로 분할 태깅하여 학습 데이터를 증가시키고, 이를 통하여 손상영역 검출 장치를 학습함으로써 설비의 진단 정확도를 향상 시킬 수 있는 장치 및 방법을 제공함을 목적으로 한다.

본 발명의 일 실시예에 따른 자동 분할 태깅 장치가 학습 데이터를 생성하는 방법은, 손상영역에 관한 정보가 포함된 영상을 수신하는 단계; 손상영역의 외곽선을 추출하는 단계; 외곽선 상에서 복수의 코너를 추출하는 단계; 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하는 단계; 영상을 복수의 그리드로 분할하는 분할 단계; 복수의 그리드 중 코너 선과 닿는 하나 이상의 그리드를 태깅하는 태깅 단계; 및 태깅된 그리드를 이용하여 학습 데이터를 생성하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 따른 자동 분할 태깅을 이용하여 학습 데이터를 생성하는 장치는, 손상영역에 관한 정보가 포함된 영상을 수신하도록 구성된 입출력부; 영상을 기초로 태깅된 그리드를 생성하도록 구성된 프로세서; 및 영상 및 태깅된 그리드 중 적어도 하나를 저장하도록 구성된 저장부;를 포함하고, 프로세서는, 손상영역의 외곽선을 추출하고, 외곽선 상에서 복수의 코너를 추출하고, 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하고, 영상을 복수의 그리드로 분할하고, 복수의 그리드 중 코너 선과 닿는 하나 이상의 그리드를 태깅하여 태깅된 그리드를 생성하도록 구성될 수 있다.

본 발명의 다양한 실시예에 따르면, 하나의 설비 손상 영상으로부터 영역을 분할하여 학습함으로써, 기존 1개의 영상에 1개의 학습 오브젝트인 방식과 달리, 1개의 영상을 기초로 다수의 학습 데이터를 확보할 수 있다. 그 결과 영상의 수가 적더라도, 많은 학습 데이터 셋을 구축하여 딥러닝 모델을 신뢰성 있게 학습시킬 수 있다.

또한 손상된 영역의 다양한 부분 특징을 학습하여 비정형으로 손상되는 형태 검출에도 효과적으로 대응할 수 있는 학습 모델을 생성할 수 있다.

나아가, 수동으로 분할 태깅 되는 방식에 비하여 다양하고, 일관성 있고, 다수인 학습 데이터를 구축할 수 있으며, 이는 결국 학습 성공률 및 설비손상 검출율 증대라는 결과에 이르게 할 수 있다.

도 1은 드론 영상을 활용한 송전설비 진단 업무의 개요를 나타낸 도면이다.
도 2는 종래 기술에 따라 학습한 결과 그래프를 나타낸 도면이다.
도 3은 종래의 설비내 불량 영역 전체를 하나로 저장한 학습 데이터를 나타낸 도면이다.
도 4는 종래 설비내 불량 영역 전체를 하나로 저장한 학습 데이터를 이용하여 학습된 장치가 수행한 검출 결과를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 자동 분할 태깅을 활용한 딥러닝 학습 및 성능 시뮬레이션 프로세스를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 자동 분할 태깅을 이용한 손상영역 검출 시스템의 구성을 나타내는 도면이다.
도 7a 내지 7e는 본 발명의 일 실시예에 따른 프로세서가 영상을 기초로 코너 선 및 코어 선을 생성하는 단계를 각각 나타낸 도면이다.
도 8a 및 8b는 본 발명의 일 실시예에 따른 프로세서가 생성한 코너 선 및 코어 선과 분할된 그리드를 매칭하고 태깅하여 태깅한 그리드를 생성하는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 자동 분할 태깅 장치의 동작 흐름을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 손상영역 검출 장치가 손상영역 검출 학습, 시뮬레이션 및 실제 진단을 수행하는 모습을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 자동 분할 태깅 장치를 이용하여 손상영역 검출 장치가 학습한 결과 그래프를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 손상영역 검출 장치가 수행한 검출 결과를 나타낸 도면이다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서, 손상설비는 손상된 설비를 말할 수도 있으나, 영상 내에서 손상설비라 함은, 영상에서 손상설비가 위치하는 영역으로서 손상영역과 동일한 의미를 가질 수 있다. 즉 손상설비 검출이라 함은, 영상 내에서 손상영역 및/또는 손상영역 유무를 검출하는 것을 의미할 수 있다.

도 5는 자동 분할 태깅을 활용한 딥러닝 학습 및 성능 시뮬레이션 프로세스를 나타내는 도면이다. 본 발명의 일 실시예에 따른 프로세스는 전처리 단계, 자동 분할 태깅 단계, 학습 단계 및 진단 적용 단계를 포함할 수 있다.

더욱 구체적으로는, 학습자가 설비 손상 영상에 손상영역을 지정하는 전처리 단계, 지정된 손상영역에 기초하여 설비 손상 영상을 자동으로 분할 및 태깅하는 자동 분할 태깅 단계, 자동 분할 태깅한 데이터를 기초로 딥러닝 학습을 수행하는 학습 단계 및 학습된 장치를 이용하여 진단 시뮬레이션을 통해 설비 검출과 진단 정확도를 검증하는 진단 적용단계를 포함할 수 있다.

본 발명은 손상 영역 검출 형태의 진단 학습 데이터를 구축함에 있어, 수집된 설비 손상 영상에서 효과적인 학습 데이터 생성을 목적으로, 학습자가 손상 영역을 설정 한 설비 손상 영상을 수신하고, 이를 기초로, 자동 분할 태깅 장치가 전체 태깅 영역을 자동 분할 태깅하고, 이를 이용하여 딥러닝 학습 데이터의 양을 기하급수적으로 증가시키고, 이러한 데이터 셋을 통해 장치를 학습시키고, 학습된 장치를 이용하는 방법 및 장치를 개시한다.

일 실시예에 따른 전처리 단계는, 학습자가 설비 손상 영상을 입력 받아, 손상영역에 관한 정보를 생성하는 단계를 포함할 수 있다. 수집된 손상 부위가 포함된 송전설비 영상을 수신한 학습자는 설비의 손상 영역 위치 지정을 수행하고 해당 손상 영역 식별 및 종류를 분류할 수 있다. 예를 들면, 마우스 끌기 형태의 영역지정, 영역 지정 후 식별을 위한 태깅 업무를 수행할 수 있다. 위에서 손상영역에 관한 정보란 지정된 영상 내의 손상 영역의 위치를 나타내는 정보 및 태깅 정보일 수 있다. 즉, 전처리 단계를 통하여, 손상 부위가 포함된 영상은, 손상영역 위치 지정 및 태깅을 포함하는 손상영역에 관한 정보를 포함할 수 있다.

도 6은 본 발명의 일 실시예에 따른 자동 분할 태깅을 이용한 손상영역 검출 시스템을 나타내는 도면이다. 일 실시예에 따른 자동 분할 태깅을 이용한 손상영역 검출 시스템(600)은 자동 분할 태깅 장치(620) 및 손상영역 검출 장치(630)를 포함할 수 있다. 도면에서 자동 분할 태깅 장치(620)와 손상영역 검출 장치(630)가 분리되어 도시되었으나, 다른 실시예에 따르면, 물리적으로 하나의 장치일 수 있으며, 하나의 장치에서 각 장치의 기능이 수행되도록 구성될 수도 있다.

일 실시예에 따른 자동 분할 태깅 장치(620)는, 손상영역에 관한 정보가 포함된 영상을 수신하도록 구성된 입출력부(622); 영상을 기초로 태깅된 그리드를 생성하도록 구성된 프로세서(624); 영상 및 태깅된 그리드 중 적어도 하나를 저장하도록 구성된 저장부(626);를 포함하고, 프로세서는, 손상영역의 외곽선을 추출하고, 외곽선 상에서 복수의 코너를 추출하고, 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하고, 영상을 복수의 그리드로 분할하고, 복수의 그리드 중 코너 선과 닿는 하나 이상의 그리드를 태깅하여 태깅된 그리드를 생성할 수 있다.

일 실시예에 따른 자동 분할 태깅 장치(620)가 학습 데이터를 생성하는 방법은, 손상영역에 관한 정보가 포함된 영상을 수신하는 단계; 손상영역의 외곽선을 추출하는 단계; 외곽선 상에서 복수의 코너를 추출하는 단계; 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하는 단계; 영상을 복수의 그리드로 분할하는 분할 단계; 복수의 그리드 중 코너 선과 닿는 하나 이상의 그리드를 태깅하는 태깅 단계; 및 태깅된 그리드를 이용하여 학습 데이터를 생성하는 단계;를 포함할 수 있다.

다른 실시예에 따르면, 수신된 설비 영상으로부터 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 구성된, 손상영역 검출 장치(630)를 더 포함하여 자동 분할 태깅을 이용한 손상영역 검출 시스템(600)을 구성하고, 손상영역 검출 장치(630)는, 학습 데이터를 포함한 학습 데이터 셋을 수신하고, 학습 데이터 셋을 기초로, 딥러닝 알고리즘을 이용하여, 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 학습될 수 있다.

일 실시예에 따른 자동 분할 태깅 장치에 의하여 분할된 분할영역은 학습자가 지정한 태깅 및/또는 Label과 동일한 태깅 및/또는 Label로 지정될 수 있고, 이를 기초로 학습 데이터가 생성되고 나아가, 학습 수행에 이용될 수 있다. 여기서 Label은, 예를 들면, 이미지 또는 이미지 내의 영역에 대하여 손상의 종류로서 이탈, 훼손, 노후 등으로 지정하는 것일 수 있다.

위와 같이 하나의 설비 손상 영상 영역을 분할하여 학습함으로써, 기존 방식에서는 1개의 영상에 1개의 학습 오브젝트인데 반해, 본 발명의 방법에 의하면 1개의 영상을 기초로 다수의 학습 데이터가 구축될 수 있다. 입력된 1개 영상의 손상영역 크기가 크고, 영상 해상도가 좋을수록 더 많은 학습 데이터를 생성할 수 있다.

또한 손상된 영역의 다양한 부분 특징을 학습하여 비정형으로 손상되는 형태 검출에도 효과적으로 대응할 수 있는 학습 모델을 생성할 수 있다. 예를 들면, 수많은 굴곡을 가진 영역 전체를 일체로서 손상영역으로 학습하게 하는 대신, 굴곡 하나 또는 굴곡의 일부를 기초로 손상영역을 검출하도록 학습시킬 수 있는 것이다.

나아가, 이러한 분할이 학습자에 의해 수동으로 이루어지는 경우 일관성 없는 형태로 분할 태깅되는 것에 비하여 다양하고, 일관성 있고, 다수로 구성될 수 있으며, 이는 결국 학습 성공률 및 설비손상 검출율 증대라는 결과에 이르게 할 수 있다.

일 실시예에서, 입출력부(622)는 손상영역에 관한 정보가 포함된 영상을 수신하도록 구성될 수 있다. 학습자에 의하여 전처리 완료되어 손상영역에 관한 정보가 포함된 영상을 수신하여 저장부(626)에 저장하거나, 프로세서(624)로 제공하여 영상을 처리하도록 할 수 있다. 예를 들면, 입출력부는 I/O로서 USB, PS/2 등이거나 유/무선 통신장치 등일 수 있다.

일 실시예에서, 프로세서(624)는 영상을 기초로 태깅된 그리드를 생성하도록 구성될 수 있다. 영상으로부터 손상 영역 분석을 수행하도록 구성될 수 있다. 예를 들면, 프로세서는 정보를 처리할 수 있는 장치로서 CPU, AP, GPU 등일 수 있다.

구체적으로, 프로세서(624)는 영상에 포함된 손상영역의 외곽선을 추출하고, 외곽선 상에서 복수의 코너를 추출하고, 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하고, 영상을 복수의 그리드로 분할하고, 복수의 그리드 중 코너 선과 닿는 하나 이상의 그리드를 태깅하여 태깅된 그리드를 생성하도록 구성될 수 있다.

일 실시예에서, 프로세서는 복수의 코너를 포함하는 영역을 통과하는 코어 선을 생성하고, 복수의 그리드 중 상기 코어 선과 닿는 하나 이상의 그리드를 태깅하여 태깅된 그리드를 생성하도록 더 구성될 수 있다.

또한, 프로세서는 태깅된 그리드 중 인접한 복수의 그리드를 이용하여 학습 데이터를 생성하도록 더 구성될 수도 있다.

도 7a 내지 도 7e는 프로세서가 영상을 기초로 코너 선 및 코어 선을 생성하는 단계를 각각 나타낸 도면이다.

먼저 도 7a에 일 실시예에 따라, 입출력부(622)가 수신하고 프로세서(624)로 제공된, 손상영역에 관한 정보가 포함된 영상(710)을 나타낸 것이다. 애자가 파손되어 발생한 손상영역(715)이 표시되어 있다. 이는 학습자가 전처리 단계에서 포함시킨 것일 수 있다.

도 7b는 일 실시예에 따라, 손상 영역 분석으로 영역 내 외곽선을 검출한 모습을 나타낸 도면이다. 파손된 애자의 불규칙한 외곽선이 검출된 모습을 볼 수 있다. 여기서, 외곽선의 검출은 인공지능에 의한 학습에 의하여 이루어질 수 있다.

도 7c는 일 실시예에 따라, 검출된 외곽선으로부터 외곽선 상의 코너를 추출하는 모습을 나타내는 도면이다. 도 7c에서 표시된 빨간 점이 추출된 코너를 나타낸다. 외곽선 상에서 코너는 뾰족하거나 움푹한 부분에 위치함을 볼 수 있다. 여기서 코너는 외곽선이 크게 변하거나 꺾이는 점으로서, 수학적으로는 주변의 점 중에서 접선 기울기가 가장 크게 변하는 점으로 정의될 수 있다. 즉, 코너 주변에서의 접선 기울기의 크기 변화는, 코너에 인접한 다른 점들 주변에서의 접선 기울기의 크기 변화보다 큰 점일 수 있다. 이는 곡률과 관련될 수 있다. 예를 들면, 도 7c에서와 같이 윤곽선 내에서 뾰족한 점이나 움푹 패인 점 등이 코너가 될 수 있다. 외곽선을 검출하는 단계는 인공지능에 의한 학습에 의하여 이루어질 수 있다.

도 7d는 일 실시예에 따라, 추출된 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선(742)을 생성하는 모습을 나타내는 도면이다. 도 7c에서 추출된 코너들이 각각 연결된 모습을 볼 수 있다. 복수의 코너 중 인접한 코너를 연결하여 코너 선을 생성하는 단계는 인공지능에 의한 학습에 의하여 이루어질 수 있다.

도 7e는, 일 실시예에 따라, 상기 복수의 코너를 포함하는 영역을 통과하는 코어 선(752)을 생성하는 모습을 나타내는 도면이다. 외곽선상의 코너를 연결한 코너 선만을 이용하여 손상된 영역을 도출하는 경우, 손상된 영역 전부가 포함되지 않고 일부가 누락되는 경우가 발생할 수 있다. 이러한 점을 보완하여 복수의 코너를 포함하는 영역을 통과하는 코어 선을 추가하는 경우, 누락되는 영역이 없이 손상된 영역 전부를 태깅할 수 있게 된다. 이에 관하여는 태깅된 그리드를 생성하는 단계에서 도면과 함께 더 설명한다.

일 실시예에서, 코어 선(752)은 코너 점들을 대표할 수 있는 선이다. 예를 들면, 코너 점들을 모두 포함하는 최적의 직사각형 내에서 임의의 선분(직선), 또는 임의의 평행한 선분(직선)일 수 있다. 대표적인 예로서, 코너 점들을 모두 포함하는 최적의 직사각형의 중심을 지나는 평행한 선분일 수 있는데, 이에 한정되지 않고, 코너 점을 대표할 수 있는 선을 코어 선으로 삼을 수 있다.

이러한 과정을 통하여 검출된 선들은 이어 설명되는 바와 같이 그리드 영역과 매칭하여 겹치는 영역에 대해 태깅되는 데에 활용될 수 있다.

도 8a 및 도 8b는 도출한 선과 분할된 그리드를 매칭하고 태깅하여 태깅된 그리드를 생성하는 모습을 나타낸 도면이다.

일 실시예에 따른 프로세서는, 영상의 손상영역(810)을 다수의 그리드(Grid)로 분할하여 분할된 영상(820_a)을 생성할 수 있다. 바람직하게는, 각각의 그리드가 일정한 픽셀의 박스 사이즈를 갖도록 분할할 수 있다. 예를 들면, 16 pixel x 16 pixel Box Size를 갖도록 영상을 분할할 수 있다. 딥러닝 모델 Darknet에서 가이드하는 학습 적층의 경우, 적합한 영상 최소 해상도가 16 Pixel x 16 pixel 이므로, 16 pixel을 적용하는 것이 적합할 수 있다. 그리드란 영상의 분할된 하나의 영역을 말한다.

위 방식으로 생성된 그리드와 손상 영역 분석결과 생성된 코너 선(742) 및 코어 선(752)을 매칭하여 매칭 영상(830_a)을 생성한 후, 코너 선 또는 코어 선과 닿는 그리드 영역들을 선정하고, 해당 영역들에 대해 태깅을 수행할 수 있다. 여기서 닿는다고 함은 지나가거나, 겹치거나, 접하는 등 선의 픽셀의 좌표가 적어도 하나가 그리드 영역에 포함되는 것을 말한다. 매칭 영상(830_a)에서 선과 닿은 그리드 영역들이 태깅된 것을 붉은 영역으로 나타낸, 일부가 태깅된 영상(840_a)을 나타내었다. 흰색 선 영역은 분할 영역으로 생성된 복수의 그리드들이며, 적색 Box 영역은 자동으로 태깅된 그리드(845_a) 영역을 나타낸다.

도면의 매칭 영상(830_a)에서 손상된 영역, 즉 깨진 애자의 단면 굴곡 중에서 코너 선(742)이 닿지 않는 영역들이 존재한다. 이러한 영역들은 이후 태깅되지 않고, 결국에는 학습 데이터로 활용되지 못할 수 있다. 하지만 코어 선(752)과 닿은 영역까지 포함하여 태깅하는 경우, 누락되는 영역을 현저히 줄일 수 있어 유효한 그리드가 태깅되지 않아 학습 데이터로 활용되지 못하는 것을 방지할 수 있다.

각각의 태깅된 그리드 각각은 손상된 영역의 일부를 담고 있으므로, 학습 데이터로 활용될 수 있다. 도 8a의 예에서는 깨진 애자의 단면 굴곡의 일부들이 학습 데이터로 활용될 수 있다. 태깅된 그리드 각각을 학습 데이터로 삼아 학습하게 되면, 하나의 영상으로부터 매우 많은 학습 데이터를 생성할 수 있고, 학습의 정확도도 높일 수 있다. 상세하게는, 애자의 깨진 모습 전체를 기반으로 학습할 경우, 깨진 단면의 굴곡 모습 전체가 일치해야 손상설비로 검출할 수 있는데 반해, 태깅된 그리드, 즉 손상영역의 일부를 기반으로 학습할 경우, 수 많은 손상영역의 굴곡 중 일부와 일치하는 경우에도 손상설비로 검출해낼 수 있는 것이다. 설비의 손상 결과 다양한 굴곡 단면이 발생하여도 검출이 가능할 수 있게 된다.

일 실시예에 따른 프로세서(624)는, 태깅된 그리드 중 인접한 복수의 그리드를 이용하여 학습 데이터를 생성하도록 더 구성될 수 있다. 태깅된 그리드를 기초로 학습 데이터를 형성함에 있어서, 태깅된 그리드 각각이 학습 데이터가 되도록 구성할 수도 있고, 또는 복수의 태깅된 그리드 중 인접한 그리드를 하나의 학습 데이터가 되도록 형성할 수 있다. 예를 들면, 1x1, 2x2, 2x4, 3x3 등의 그리드를 학습 데이터로서 이용할 수 있는 것이다. 도 8a를 예로 들면, 일부가 태깅된 영상(840_a)에서 태깅된 그리드 2x2 영역을 하나의 학습 데이터로 삼을 수 있다. 또는 2x4영역 등 다양하게 학습 데이터를 생성할 수 있다. 이로서, 태깅된 그리드가 동일한 상황에서도 그들의 조합을 통하여 더 많은 학습 데이터를 생성할 수 있다.

또한, 일 실시예에 따른 프로세서(624)는 영상을 복수의 그리드로 재분할하되, 단일 그리드의 크기가 분할 단계에서의 단일 그리드의 크기보다 크도록 재분할하고, 재분할된 복수의 그리드 중 코너 선 또는 코어 선과 닿는 하나 이상의 그리드를 태깅하여 태깅된 그리드를 생성하도록 더 구성될 수 있다. 영상을 다양하게 분할하여 절차를 반복할 경우, 다양한 태깅된 그리드를 생성할 수 있다. 다양하게 분할하는 절차를 반복하는 바람직한 방법은, 단일 그리드의 크기를 점점 크거나 작도록 분할을 반복하여 이루어질 수 있다. 예를 들어, 16 pixel x 16 pixel 사이즈를 시작으로 그리드 사이즈가 10%씩 증가하도록 분할할 수 있다. 그리고 이후 재분할된 복수의 그리드 중 코너 선 또는 코어 선과 닿는 하나 이상의 그리드를 태깅하여 태깅된 그리드를 생성할 수 있다. 그리드의 크기를 다양하게 하여 태깅된 그리드를 생성할 경우, 동일한 코너 또는 코너 선 또는 코어 선이 지나는 그리드 영역이라도, 해당 영역에서의 변화, 즉 도 8b를 예로 들면 깨진 애자의 굴곡이 다양하게 형성되므로, 서로 다른 유의미한 학습 데이터가 될 수 있는 것이다. 도 8b의 일부가 태깅된 영상(840_b)에서의 태깅된 그리드(845_b) 각각이 가지는 굴곡의 모습들은 도8a에서의 그것과 각기 다름을 확인할 수 있다.

앞서 설명한 바와 같이 인접한 태깅된 그리드들의 조합으로 다양한 비율 및 Size를 갖는 학습 데이터를 생성할 수 있고, 더불어, 그리드의 사이즈를 달리함으로써 더 많은 학습 데이터를 생성 가능하다. 이러한 자동 분할 태깅 기술을 통하여 적은 학습 데이터 영상 시료로부터 기하급수적으로 많아진 학습 데이터를 추출하고, 이를 통해 학습 수행의 정확도를 올릴 수 있는 효과가 있다.

일 실시예에서, 저장부(626)는 영상 및 상기 태깅된 그리드 중 적어도 하나를 저장하도록 구성될 수 있다. 저장부는, 영상을 관리하여 자동 분할 태깅에 활용할 영상 및 영상의 손상영역 정보를 저장하는 영상 데이터베이스와 분할 태깅된 정보를 저장하고 학습 시 해당 정보를 제공하는 태깅 데이터베이스를 포함하도록 구성될 수도 있다. 예를 들어, 저장부는 HDD, SSD, 등의 저장장치일 수 있다.

도 9는 일 실시예에 따른 자동 분할 태깅 장치의 동작 흐름을 나타낸 도면이다.

먼저 손상영역 정보가 포함된 영상으로부터 손상영역의 외곽선을 검출할 수 있다(S910). 여기서, 자동 태깅 시스템에 의해 최적의 외곽선 검출을 위한 반복을 수행하고(S915) 및 레벨차가 충분할 경우 해당 영역에서 다음 단계를 수행하도록 더 구성될 수도 있다.

다음으로, 외곽선 위에서 코너를 검출하고(S920), 검출된 코너를 연결하여 코너 선을 생성한다(S930). 여기서, 코어 선을 생성하는 단계(S940)를 더 수행할 수도 있다.

손상 설비 영상을 분할하여 그리드를 생성할 수 있다(S950). 이 단계는 외곽선을 검출하여 코너 선 및 코어 선을 생성하는 프로세스와 독립적으로 진행될 수 있다.

다음, 분할된 영상에 코너 선 및/또는 코어 선을 매칭하고(S960), 서로 닿는 부분에 태깅을 생성할 수 있다(S970).

태깅된 그리드를 기초로 학습 데이터를 생성하는데(S980), 이 과정에서 태깅된 그리드 각각을 학습 데이터로 삼을 수도 있고, 인접한 복수개의 태깅된 그리드를 하나의 학습 데이터로 삼을 수도 있다.

일 실시예에 따른 자동 분할 태깅 장치(620)는, 수신된 설비 영상으로부터 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 구성된, 손상영역 검출 장치(630)를 더 포함하여, 자동 분할 태깅을 이용한 손상영역 검출 시스템(600)을 구성하고, 손상영역 검출 장치는, 학습 데이터를 포함한 학습 데이터 셋을 수신하고, 학습 데이터 셋을 기초로, 딥러닝 알고리즘을 이용하여, 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 학습될 수 있다.

일 실시에에 따른 손상영역 검출 장치(630)는 도 6과 같이 학습 프로세서(632) 및 학습모델 저장부(634)를 포함할 수 있다.

도 10은 손상영역 검출 장치가 손상영역 검출 학습, 시뮬레이션 및 실제 진단을 수행하는 모습을 나타낸 도면이다. 학습 프로세서가 자동 분할 태깅의 결과 생성된 학습 데이터를 활용하여 학습을 수행하고, 그 결과를 시뮬레이션을 통해 학습 모델을 검증할 수 있다. 그리고 학습한 결과를 저장하는 학습모델 저장부가 구성될 수 있다. 최종적으로 검증 완료된 학습 모델을 이용하여 실제 진단을 수행할 수 있다.

일 실시예에 따른 프로세서는, 손상영역 검출 장치가 설비 영상을 입력 벡터로 하고, 설비손상영역 및 손상영역 존재 여부 중 적어도 하나의 정보를 포함하는 영상을 출력 벡터로 하는 인공지능 학습을 수행하게 할 수 있다. 학습결과 학습 모델이 생성되면, 이를 학습모델 저장부에 저장할 수 있고, 학습모델이 올바른 진단을 수행할 수 있는지 시뮬레이션 또는 테스트를 수행할 수 있다.

딥러닝 학습 과정에서, Darknet에서 제공하는 학습 수행의 모니터링을 생성하고, 모니터링 정보 위에 학습 데이터가 정상적으로 적층되는지를 확인할 수 있도록 학습 손실율 모니터링을 수행할 수 있다. 반복 학습 수행간 손실율 그래프와 함께 검출 성능을 지속적으로 확인하기 위한 학습 성능 모니터링으로 학습의 정량적 성공률을 미리 확인할 수 있다.

일 실시예에 따른 시뮬레이션은 학습된 모델에 대한 검증을 수행하고, 영상의 정밀도, 예를 들면 mAP의 산출을 수행할 수 있다. 학습 완료된 모델을 학습 모델 저장부(634)에 저장하고, 모델의 세부 파라메터를 조정한 후 검증 영상을 통해 정상 탐지, 오탐지, 미탐지 결과로 분류할 수 있으며, 딥러닝 성능 지표로 널리 사용되는 mAP를 도출하고 결과를 확인할 수 있다.

학습 및 시뮬레이션이 완료된 학습모델을 이용하여, 손상영역 검출 장치는 실제 설비 영상을 수신하고, 이를 기초로 설비 영상 내의 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 진단을 수행할 수 있다.

도 11은 일 실시예에 따른 자동 분할 태깅 장치(620)를 이용하여 손상영역 검출 장치(630)를 학습한 결과 그래프를 나타내는 모습이다. 이때 서두에서 기술한 학습 방법의 검증에 사용된 영상과 동일한 원본 영상을 사용하였으며, 본 발명의 자동 분할 태깅 방식에 의하여 학습 데이터량만을 대폭 증가한 결과를 나타내는 것이다.

또한, 학습은 기존의 학습과 같이, 즉 원본의 90%를 자동 분할 태깅하여 사용하였고, 검증은 동일하게 10%의 영상으로 수행하였다. 도 11의 그래프에서 보여지는 바와 같이 학습 손실율을 나타내는 청색 라인이 20% 수준의 양호한 학습 손실율을 나타내었다. 평균 정밀도를 나타내는 적색 라인도, mAP의 최대값이 기존의 학습, 즉 손상 영역 전체를 기초로 학습한 알고리즘과 비교할 때, 2배 이상(39.2% => 81.2%) 수준으로 상승된 것을 확인할 수 있다. 자동 분할 태깅 방식에 의한 학습결과를 정리하면 표 2와 같다.

학습 데이터	검증 데이터	mAP (%)
90%	10%	81.1 %

반복 학습 횟수 역시 기존의 학습과 유사하게 6만회 정도 수행한 결과이다. 마지막 학습된 결과를 보면 손실율은 하향 곡선을 그리고 있으며, mAP 지수 또한 상향곡선으로 진행된 상태이다. 추가적인 반복학습을 통해 보다 나은 성능의 가능성도 열어두고 있다. 즉, 동일한 손상 영상을 활용하더라도, 태깅 방식 변경만으로 성능이 크게 향상되는 효과가 있음을 명확하게 확인할 수 있다.

도 12는 일 실시예에 따라 학습된 장치를 이용하여 손상 설비 검출 시뮬레이션을 수행한 결과를 나타낸 도면이다. 일 실시예에서, 도 3과 동일한 영상을 기초로 학습하더라도, 손상영역은 전체로서 학습되지 않고 분할된 손상영역(1212)으로서 학습된다. 기존 학습결과에서 손상되지 않은 애자까지 포함하여 커다란 영역을 검출한 것과 달리, 손상검출영역(1222, 1232)이 필요한 영역만 정확하게 검출되어, 신뢰도가 높은 것을 확인할 수 있다.

본 발명의 자동 분할 태깅 및 이를 이용한 기술은, 비단, 송전뿐만 아니라 배전분야 그리고 발전소의 전력설비 모든 분야에서 고장이나 장애 영상을 충분히 확보하기 어려운 부분에 적용하여 더욱 정확한 자동 설비 진단을 가능하게 할 수 있다. 또한 본 기술을 활용하여 도로나 교량 그리고 철도 등과 같은 설비의 드론을 활용한 원격 자동진단에도 동일한 방법으로 객체에 대한 학습이 가능하여 설비진단의 자동화와 정확성을 기할 수 있다.

본 발명의 다양한 실시예에 따른 자동 분할 태깅 기술을 이용하면, 사람에 의해 학습 대상 분류 및 학습을 수행하는 것 보다, 시스템에 의해 학습 영역을 지정하는 것이 일관성 있게 적용될 수 있으며, 분할 학습처럼 작은 사이즈의 영역 수행은 사람보다 시스템이 더 정교하게 수행할 수 있어 손상 인식의 정확도를 확보할 수 있다.

또한 한 손상 영역 내 다양한 형태로 분할 태깅 함으로써, 손상 이미지 부족으로 인한 학습 시료 부족을 상대적으로 완화할 수 있어, 일정량 이상의 영상 확보시 인식 정확도 증대에 큰 도움이 될 수 있다.

나아가, 경제·산업적 측면에서는, 동영상이나 확보된 영상 이미지 자료를 활용하여 더욱 많은 학습데이터를 확보할 수 있기 때문에 인공지능을 이용한 설비 진단 자동화 사업의 활성화를 기할 수 있다. 본 발명에서 개시하는 자동 분할 태깅 방식은 기존 태깅 방식을 유지하며 분할 영역 태깅을 수행하도록 구성될 수 있으므로, 사람에 의한 학습 시료 생성 시간이 줄어들고, 영상 학습을 위한 자료 확보 비용이 추가적으로 투입되지 않는 장점이 있다. 또한, 드론 활용 진단 고도화로 송전 고장을 사전에 방지하고 고장에 따른 정전비용을 회피할 수 있으며, 점검 자동화를 통한 유지보수 비용 절감이 가능하다. 그리고, 전력산업에 적용된 설비 장애 진단 기술의 고도화로 정전을 줄이고 전력계통의 안정화를 도모하여, 궁극적으로 국내 산업의 발전을 기대 할 수 있다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

310 : 손상영역
410, 1222, 1232 : 손상검출영역
600 : 자동 분할 태깅을 이용한 손상영역 검출 시스템
610 : 영상 데이터 저장장치 620 : 자동 분할 태깅 장치
622 : 입출력부 624 : 프로세서
626 : 저장부 630 : 손상영역 검출 장치
632 : 학습 프로세서 634 : 학습모델 저장부
742 : 코너 선 752 : 코어 선
845_a, 845_b : 태깅된 그리드
1212 : 분할된 손상영역

Claims (10)

1. 자동 분할 태깅 장치가 학습 데이터를 생성하는 방법에 있어서,
   손상영역에 관한 정보가 포함된 영상을 수신하는 단계;
   상기 손상영역의 외곽선을 추출하는 단계;
   상기 외곽선 상에서 복수의 코너를 추출하는 단계;
   상기 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하는 단계;
   상기 영상을 복수의 그리드로 분할하는 분할 단계;
   상기 복수의 그리드 중 상기 코너 선과 닿는 하나 이상의 그리드를 태깅하는 태깅 단계; 및
   상기 태깅된 그리드를 이용하여 학습 데이터를 생성하는 단계;를 포함하는, 방법.
   
2. 제1항에 있어서,
   상기 복수의 코너를 포함하는 영역을 통과하는 코어 선을 생성하는 단계; 및
   상기 복수의 그리드 중 상기 코어 선과 닿는 하나 이상의 그리드를 태깅하는 단계;를 더 포함하는, 방법.
   
3. 제2항에 있어서,
   상기 영상을 복수의 그리드로 재분할하되, 단일 그리드의 크기가 분할 단계에서의 단일 그리드 크기와 서로 다르도록 재분할하는 재분할 단계;
   상기 재분할된 복수의 그리드 중 상기 코너 선 또는 코어 선과 닿는 하나 이상의 그리드를 태깅하는 재태깅 단계; 및
   상기 재태깅 단계에서 태깅된 그리드를 이용하여 학습 데이터를 생성하는 단계; 를 더 포함하는, 방법.
   
4. 제2항에 있어서,
   상기 학습 데이터를 생성하는 단계는,
   상기 태깅된 그리드 중 인접한 복수의 그리드를 이용하여 학습 데이터를 생성하는 단계를 더 포함하는, 방법
   
5. 손상영역을 검출하기 위한 방법에 있어서,
   상기 방법은,
   제4항의 방법으로 생성된 상기 학습 데이터를 포함하는 학습 데이터 셋을 기초로, 딥러닝 알고리즘을 이용하여, 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 손상영역 검출 장치를 학습시키는 학습 단계; 를 포함하는,
   손상영역 검출 방법.
   
6. 제5항에 있어서,
   상기 학습 단계에 따라 학습된 손상영역 검출 장치를 이용하여, 수신된 설비 영상으로부터 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하는 단계를 더 포함하는,
   손상영역 검출 방법.
   
7. 자동 분할 태깅을 이용하여 학습 데이터를 생성하는 학습 데이터 생성 장치에 있어서,
   손상영역에 관한 정보가 포함된 영상을 수신하도록 구성된 입출력부;
   상기 영상을 기초로 태깅된 그리드를 생성하도록 구성된 프로세서; 및
   상기 영상 및 상기 태깅된 그리드 중 적어도 하나를 저장하도록 구성된 저장부;를 포함하고,
   상기 프로세서는,
   상기 손상영역의 외곽선을 추출하고,
   상기 외곽선 상에서 복수의 코너를 추출하고,
   상기 복수의 코너 중 인접한 코너가 차례대로 연결된 코너 선을 생성하고,
   상기 영상을 복수의 그리드로 분할하고,
   상기 복수의 그리드 중 상기 코너 선과 닿는 하나 이상의 그리드를 태깅하고,
   상기 태깅된 그리드를 이용하여 학습 데이터를 생성하도록 구성되는,
   학습 데이터 생성 장치.
   
8. 제7항에 있어서,
   상기 프로세서는,
   상기 복수의 코너를 포함하는 영역을 통과하는 코어 선을 생성하고,
   상기 복수의 그리드 중 상기 코어 선과 닿는 하나 이상의 그리드를 태깅하도록 더 구성되는,
   학습 데이터 생성 장치.
   
9. 제8항에 있어서,
   상기 프로세서는, 상기 태깅된 그리드 중 인접한 복수의 그리드를 이용하여 학습 데이터를 생성하도록 더 구성되는,
   학습 데이터 생성 장치.
   
10. 자동 분할 태깅을 이용한 손상영역 검출 시스템에 있어서,
    상기 시스템은,
    제9항의 학습 데이터 생성 장치를 포함하고,
    수신된 설비 영상으로부터 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 구성된, 손상영역 검출 장치를 더 포함하고,
    상기 손상영역 검출 장치는,
    상기 학습 데이터를 포함하는 학습 데이터 셋을 수신하고,
    상기 학습 데이터 셋을 기초로, 딥러닝 알고리즘을 이용하여, 설비손상영역 및 손상영역 존재 여부 중 적어도 하나를 검출하도록 학습되는 것을 특징으로 하는,
    자동 분할 태깅을 이용한 손상영역 검출 시스템
    

Images