KR20220073242A - Apparatus for constructing learning data for machine learning of power facilities and metho thereof - Google Patents
Apparatus for constructing learning data for machine learning of power facilities and metho thereof Download PDFInfo
- Publication number
- KR20220073242A KR20220073242A KR1020200161144A KR20200161144A KR20220073242A KR 20220073242 A KR20220073242 A KR 20220073242A KR 1020200161144 A KR1020200161144 A KR 1020200161144A KR 20200161144 A KR20200161144 A KR 20200161144A KR 20220073242 A KR20220073242 A KR 20220073242A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- learning
- unit
- learning data
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 59
- 238000010276 construction Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 28
- 238000013480 data collection Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 11
- 239000002131 composite material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012876 topography Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009193 crawling Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000012212 insulator Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940039227 diagnostic agent Drugs 0.000 description 1
- 239000000032 diagnostic agent Substances 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법이 개시된다. 본 발명의 전력설비의 기계학습을 위한 학습 데이터 구축장치는, 이미지 플랫폼과 동영상 플랫폼으로부터 인공신경망 학습에 필요한 전력설비 이미지를 수집하는 이미지 수집부; 이미지 수집부로부터 수집된 이미지를 기반으로 합성 및 가상 3D 모델을 만들어 딥러닝의 정확도를 높이기 위한 전력설비의 학습데이터를 생성하는 학습 데이터 구축부; 및 학습 데이터 구축부에서 구축된 학습데이터에 대해 사전 학습을 수행하는 인공지능 학습부;를 포함하는 것을 특징으로 한다. The present invention discloses an apparatus and method for constructing learning data for machine learning of power equipment. The apparatus for constructing learning data for machine learning of electric power equipment of the present invention includes: an image collecting unit for collecting images of electric power equipment required for artificial neural network learning from an image platform and a video platform; a learning data construction unit that creates a synthetic and virtual 3D model based on the images collected from the image collection unit to generate learning data of power equipment to increase the accuracy of deep learning; and an artificial intelligence learning unit that performs pre-learning on the learning data built in the learning data construction unit.
Description
본 발명은 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법에 관한 것으로서, 보다 상세하게는 기계학습을 통해 다양한 전력설비를 자동인식하고 검출하기 위해 필요한 학습 데이터를 이미지의 합성 및 가상 3D 모델들을 활용하여 자동으로 구축하는 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for constructing learning data for machine learning of electric power equipment, and more particularly, image synthesis and virtual 3D model of learning data necessary for automatically recognizing and detecting various electric power equipment through machine learning. It relates to a learning data construction apparatus and method for machine learning of electric power facilities that are automatically constructed using
일반적으로, 배전설비는 과거에 육안에 의한 진단이 이루어졌으나, 최근에 초음파 진단기에 의한 진단, 적외선 열화상 카메라, 광학 쌍안경 및 광학 카메라들을 활용하여 활선 상태에 의한 진단이 시행되고 있다.In general, the diagnosis of power distribution facilities was performed with the naked eye in the past, but in recent years, diagnosis using an ultrasonic diagnostic device, an infrared thermal imaging camera, optical binoculars, and an optical camera is used to diagnose a live wire condition.
더욱이, 진단 요원에 의해 수동으로 영상을 취득하는 방식들은 여러 진단 장비를 차량에 탑재하여 더욱 편리하고 정확도가 높은 자동 진단 방식의 기술개발 시도가 이루어지고 있다. 즉, 최근에는 광학카메라 기반으로 폴리머 현수애자를 대상으로 하는 진단시스템을 개발하는 연구를 시행되고 있으며, 진단 범위도 폴리머 현수 애자 뿐만 아니라 자기재 LP애자, COS(Cut Out Switch)까지 확대되고 있다. Moreover, in the methods of manually acquiring images by a diagnostic agent, attempts are being made to develop a technology of an automatic diagnostic method that is more convenient and highly accurate by mounting various diagnostic equipment in a vehicle. In other words, recently, research is being conducted to develop a diagnostic system targeting polymer suspension insulators based on an optical camera, and the scope of diagnosis is expanding not only to polymer suspension insulators, but also to magnetic material LP insulators and COS (Cut Out Switch).
본 발명의 배경기술은 대한민국 공개특허공보 제10-2019-0036185호(2019.04.04. 공개, 배전설비의 영상 기계학습을 위한 영상 취득 장치)에 개시되어 있다. The background technology of the present invention is disclosed in Republic of Korea Patent Publication No. 10-2019-0036185 (published on April 4, 2019, an image acquisition device for image machine learning of power distribution facilities).
한편, 최근 급속도로 발전하는 인공지능, 딥러닝 기술로 설비감시 및 점검의 효율을 높이는 방법이 많이 연구되고 있다. Meanwhile, a lot of research is being done on how to increase the efficiency of facility monitoring and inspection by using artificial intelligence and deep learning technologies that are rapidly developing in recent years.
일반적으로 딥러닝에 활용되는 학습데이터 수량은 수만에서 수백만 개에 이르며 좋은 학습데이터를 많이 확보할수록 딥러닝의 정확도를 높일 수 있다. In general, the amount of training data used for deep learning ranges from tens to millions, and the more good training data is secured, the higher the accuracy of deep learning.
사람, 차량 등의 검출은 기존에 많은 연구가 이루어진 덕분에 질 좋고 양 많은 공개된 공인 데이터셋이 많아서 높은 정확도를 보이지만, 그 외 대부분은 학습데이터를 쉽게 구할 수 없으므로 직접 데이터를 확보하기 위하여 다양한 방법들을 활용하고 있다. The detection of people and vehicles shows high accuracy because there are many publicly available publicly available data sets of good quality and quantity thanks to a lot of research done in the past. are using them
대부분은 영상 취득 시스템을 직접 구축하거나 웹 크롤러(Web Crawler) 등을 통하여 인터넷에서 자료를 수집하고 있다. 또한, 영상에서 검출하고자 하는 객체 영역을 지정하는 레이블링 단계를 사람이 하나하나 직접 해야 하는 실정이다. Most of them build an image acquisition system or collect data from the Internet through a web crawler. In addition, it is a situation in which a person has to manually perform the labeling step of designating an object region to be detected in the image one by one.
최근 송전선로, 송전철탑, 변전소, 발전소 등 전력 설비 감시 및 점검의 효율을 높이기 위하여 인공지능, 딥러닝 기술을 사용고 있지만, 전력설비의 특징상 설비가 크고 복잡하며, 특히 철탑, 발전소 높은 곳에 설치되어 감시하는 카메라의 경우, 넓은 영역을 감시하기 때문에 감시 대상은 전체 영상 이미지 크기 대비 2~7% 정도의 크기를 가지게 된다. Recently, artificial intelligence and deep learning technologies are being used to increase the efficiency of monitoring and inspection of power facilities such as transmission lines, transmission towers, substations, and power plants. In the case of a camera that monitors a large area, the monitoring target has a size of about 2 to 7% of the total video image size because it monitors a large area.
일반적인 딥러닝 객체 검출 알고리즘에서 사용되는 데이터셋과 입력 영상의 해상도는 400~600px 사이의 값을 사용하고 있다. 이 해상도 영상에서 2% 정도 사이즈의 객체는 8~12px로 이는 객체 검출에 적합하지 않고 검출 정확도가 현저하게 낮다. The resolution of the dataset and input image used in a general deep learning object detection algorithm uses a value between 400 and 600px. In this resolution image, an object with a size of about 2% is 8 to 12px, which is not suitable for object detection and the detection accuracy is remarkably low.
따라서 기존에 알려진 알고리즘과 이에 사용되는 학습 데이터셋은 전력설비 감시에 적합하지 않은 문제점이 있다. Therefore, there is a problem that the known algorithms and the training dataset used therefor are not suitable for monitoring power facilities.
즉, 일반적으로 딥러닝 모델을 만들기 위해서는 대규모 학습용 데이터셋이 필요하다. 따라서, 대부분은 학계 또는 상용에서 활용하는 공인 데이터셋인 Stanford car dataset, MS COCO, PASCAL VOC, LISA, Medusa, KITTI, LabelMe, MSRC, ADE20K 등을 사용하고 있으나, 이러한 공인 데이터셋은 사람, 동물, 차량 등 일반적인 객체에 대한 학습데이터가 많고, 전력설비와 같은 특정 객체에 대한 공인 데이터셋은 존재하지 않는다. In other words, in general, a large-scale training dataset is required to create a deep learning model. Therefore, most of them use the Stanford car dataset, MS COCO, PASCAL VOC, LISA, Medusa, KITTI, LabelMe, MSRC, ADE20K, etc. There is a lot of learning data for general objects such as vehicles, and there is no official data set for specific objects such as power equipment.
이와 같이 많은 전력설비를 보유하고 있는 한국전력공사는 최근 딥러닝 기술을 활용하는 연구가 늘어나고 있지만, 질 좋은 학습데이터 확보 및 레이블링 작업에는 여전히 어려움이 있어 효율적으로 학습데이터를 수집하고 객체 영역을 자동으로 지정하는 방법이 필요한 설정이다. Korea Electric Power Corporation, which owns such a large number of power facilities, has recently been increasing research using deep learning technology, but there are still difficulties in securing high-quality learning data and labeling. It is a setting that requires a method to be specified.
또한 많은 딥러닝 연구가 딥러닝을 활용하는 방법과 분야에 초점을 두고 있으며, 정확도를 높일 수 있는 질 좋은 학습 데이터에 대하여는 고려하지 못하고 있는 문제점이 있다. In addition, many deep learning studies focus on methods and fields that utilize deep learning, and there is a problem that high-quality learning data that can improve accuracy is not considered.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 기계학습을 통해 다양한 전력설비를 자동인식하고 검출하기 위해 필요한 학습 데이터를 이미지의 합성 및 가상 3D 모델들을 활용하여 자동으로 구축하는 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법을 제공하는 것이다. The present invention has been devised to improve the above problems, and an object of the present invention according to one aspect is to synthesize images and virtual 3D models using learning data necessary to automatically recognize and detect various power facilities through machine learning. It is to provide a learning data construction apparatus and method for machine learning of electric power facilities that are automatically constructed by utilizing them.
본 발명의 일 측면에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치는, 이미지 플랫폼과 동영상 플랫폼으로부터 인공신경망 학습에 필요한 전력설비 이미지를 수집하는 이미지 수집부; 이미지 수집부로부터 수집된 이미지를 기반으로 합성 및 가상 3D 모델을 만들어 딥러닝의 정확도를 높이기 위한 전력설비의 학습데이터를 생성하는 학습 데이터 구축부; 및 학습 데이터 구축부에서 구축된 학습데이터에 대해 사전 학습을 수행하는 인공지능 학습부;를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided an apparatus for constructing learning data for machine learning of electric power equipment, comprising: an image collecting unit for collecting images of electric power equipment required for artificial neural network learning from an image platform and a video platform; a learning data construction unit that creates a synthetic and virtual 3D model based on the images collected from the image collection unit to generate learning data of power equipment to increase the accuracy of deep learning; and an artificial intelligence learning unit that performs pre-learning on the learning data built in the learning data construction unit.
본 발명에서 이미지 수집부는, 이미지 플랫폼인 공인 데이터셋에서 웹 크롤러 방식으로 전력설비 이미지를 수집하는 이미지 데이터 수집부; 및 동영상 플랫폼에서 제공하는 동영상으로부터 이미지 데이터를 추출하는 동영상 데이터 수집부;를 포함하는 것을 특징으로 한다. In the present invention, the image collecting unit includes: an image data collecting unit that collects power equipment images in a web crawler method from a public data set that is an image platform; and a video data collection unit for extracting image data from a video provided by a video platform.
본 발명에서 동영상 데이터 수집부는, 동영상으로부터 초당 한 장의 프레임을 추출하여 이미지 데이터를 추출하는 것을 특징으로 한다. In the present invention, the moving image data collection unit extracts one frame per second from the moving image to extract image data.
본 발명에서 학습 데이터 구축부는, 이미지 수집부로부터 수집된 이미지에 기초하여 크기를 변화시키고 흐림 효과를 적용한 이미지에 레이블링하여 학습데이터를 생성하는 기존 데이터 활용부; 이미지의 윤곽정보에 기초하여 객체를 추출하고 다수의 배경과 합성한 이미지에 레이블링하여 학습데이터를 생성하는 합성 데이터 생성부; 및 객체의 가상 3D 모델을 구성하여 각도, 높이, 조명 및 크기 중 어느 하나 이상을 조절하여 생성된 이미지와 다수의 배경을 합성한 이미지에 레이블링하여 학습데이터를 생성하는 가상 3D 데이터 생성부;를 포함하는 것을 특징으로 한다. In the present invention, the learning data building unit includes: an existing data utilization unit for generating learning data by changing the size based on the image collected from the image collecting unit and labeling the image to which the blur effect is applied; a synthesized data generating unit that extracts an object based on the contour information of the image and generates learning data by labeling a plurality of backgrounds and synthesized images; and a virtual 3D data generation unit for generating learning data by labeling an image created by composing a virtual 3D model of an object and adjusting any one or more of angle, height, lighting, and size and synthesizing a plurality of backgrounds; characterized in that
본 발명에서 기존 데이터 활용부는, 객체의 영역 좌표가 존재하지 않고, 영상의 크기가 큰 이미지를 분류하는 기존 데이터 이미지 분류기; 및 기존 데이터 이미지 분류기로부터 전달된 이미지를 기존 데이터 활용 알고리즘을 이용하여 레이블링하여 학습데이터를 생성하는 기존 데이터 활용 모듈;을 포함하는 것을 특징으로 한다. In the present invention, the existing data utilization unit includes: an existing data image classifier for classifying an image having a large image size without existing coordinates of a region of an object; and an existing data utilization module for generating learning data by labeling the image transmitted from the existing data image classifier using the existing data utilization algorithm.
본 발명에서 기존 데이터 활용 모듈은, 원본 이미지에 대해 과한 흐림 효과를 적용한 배경 이미지와, 원본 이미지의 크기를 조절한 이미지를 합성하여 학습데이터를 생성하는 것을 특징으로 한다. In the present invention, the existing data utilization module generates learning data by synthesizing a background image to which an excessive blur effect is applied to the original image and an image in which the size of the original image is adjusted.
본 발명에서 합성 데이터 생성부는, 레이블링된 공인 데이터셋과 레이블링되지 않은 이미지를 분류하는 합성 데이터 이미지 분류기; 및 합성 데이터 이미지 분류기에서 분류된 레이블링된 이미지로부터 객체 윤곽정보에 기초하여 객체만 추출된 패치를 획득한 후 배경 이미지에 패치를 오버레이하여 학습데이터를 생성하는 합성 데이터 생성 모듈;을 포함하는 것을 특징으로 한다. In the present invention, the synthetic data generating unit includes: a synthetic data image classifier for classifying labeled official datasets and unlabeled images; and a synthetic data generating module that generates training data by overlaying the patch on a background image after obtaining a patch from which only an object is extracted based on object contour information from the labeled image classified in the synthetic data image classifier do.
본 발명에서 합성 데이터 생성 모듈은, 배경 이미지에 패치를 오버레이할 때 배경 이미지를 영역 분할한 후 관심영역을 설정하여 패치를 오버레이하는 것을 특징으로 한다. In the present invention, when overlaying a patch on a background image, the synthetic data generation module divides the background image into regions and then sets the region of interest to overlay the patch.
본 발명에서 가상 3D 데이터 생성부는, 전력설비 3D 모델을 수집하는 3D 모델 데이터 수집부; 3D 모델 데이터 수집부에서 수집한 3D 모델을 분류하는 3D 모델 분류기; 및 3D 모델을 통해 객체의 패치를 획득한 후 배경 이미지에 패치를 오버레이하여 학습데이터를 생성하는 가상 데이터 생성 모듈;을 포함하는 것을 특징으로 한다. In the present invention, the virtual 3D data generation unit includes: a 3D model data collection unit for collecting 3D models of power facilities; a 3D model classifier for classifying the 3D model collected by the 3D model data collection unit; and a virtual data generation module that generates training data by overlaying the patch on the background image after obtaining the patch of the object through the 3D model.
본 발명에서 가상 데이터 생성 모듈은, 배경 이미지에 패치를 오버레이할 때 배경 이미지를 영역 분할한 후 관심영역을 설정하여 패치를 오버레이하는 것을 특징으로 한다. In the present invention, the virtual data generation module is characterized in that when overlaying a patch on a background image, the background image is divided into regions, and then the region of interest is set to overlay the patch.
본 발명에서 인공지능 학습부, YOLOv3, Spatial Pyramid Pooling 및 TridentNet 구조를 기반으로 하는 인공 신경망 모델 학습부를 포함하는 것을 특징으로 한다. In the present invention, it is characterized in that it includes an artificial neural network model learning unit based on an artificial intelligence learning unit, YOLOv3, Spatial Pyramid Pooling, and a TridentNet structure.
본 발명의 일 측면에 따른 전력설비의 기계학습을 위한 학습 데이터 구축방법은, 이미지 수집부가 이미지 플랫폼과 동영상 플랫폼으로부터 인공신경망 학습에 필요한 전력설비 이미지를 수집하는 단계; 학습 데이터 구축부가 이미지 수집부로부터 수집된 이미지에 기초하여 크기를 변화시키고 흐림 효과를 적용하여 합성한 기존 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계; 학습 데이터 구축부가 이미지의 윤곽정보에 기초하여 객체를 추출하고 다수의 배경과 합성한 합성 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계; 학습 데이터 구축부가 객체의 가상 3D 모델을 구성하여 각도, 높이, 조명 및 크기 중 어느 하나 이상을 조절하여 생성된 객체 이미지와 다수의 배경을 합성한 가상 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계; 및 인공지능 학습부가 학습 데이터 구축부에서 구축된 학습데이터에 대해 인공 신경망 모델을 기반으로 사전 학습을 수행하는 단계;를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided a learning data construction method for machine learning of electric power equipment, the method comprising: collecting, by an image collecting unit, an image of electric power equipment required for artificial neural network learning from an image platform and a video platform; generating learning data by labeling, by the learning data building unit, the existing data image synthesized by changing the size and applying a blur effect based on the image collected from the image collecting unit; generating learning data by a learning data construction unit extracting an object based on the contour information of the image and labeling the synthesized data image synthesized with a plurality of backgrounds; generating learning data by labeling the virtual data image synthesized with the object image and a plurality of backgrounds generated by adjusting any one or more of angle, height, lighting, and size by configuring a virtual 3D model of the object by the learning data construction unit; and performing, by the artificial intelligence learning unit, prior learning based on the artificial neural network model on the learning data built by the learning data construction unit.
본 발명에서 합성 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계는, 학습데이터 구축부가 배경을 영역 분할한 후 관심영역을 설정하여 추출한 객체를 오버레이하여 합성하는 것을 특징으로 한다. In the present invention, the step of generating the learning data by labeling the synthesized data image is characterized in that the learning data construction unit divides the background into regions, sets the region of interest, and overlays the extracted object to synthesize it.
본 발명에서 가상 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계는, 학습데이터 구축부가 배경을 영역 분할한 후 관심영역을 설정하여 3D 모델로 획득한 객체 이미지를 오버레이하여 합성하는 것을 특징으로 한다. In the present invention, the step of generating learning data by labeling the virtual data image is characterized in that the learning data construction unit divides the background into regions, sets the region of interest, and overlays and synthesizes the object image obtained as a 3D model.
본 발명에서 사전 학습을 수행하는 단계는, 인공지능 학습부가 YOLOv3, Spatial Pyramid Pooling 및 TridentNet 구조를 기반으로 학습하는 것을 특징으로 한다. The step of performing prior learning in the present invention is characterized in that the AI learning unit learns based on YOLOv3, Spatial Pyramid Pooling, and TridentNet structure.
본 발명의 일 측면에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법은 기계학습을 통해 다양한 전력설비를 자동인식하고 검출하기 위해 필요한 학습 데이터를 이미지의 합성 및 가상 3D 모델들을 활용하여 자동으로 구축할 수 있어, 전력설비 딥러닝 기반의 학습데이터를 손쉽게 확보할 수 있어 분석, 진단, 모니터링 인력에 대한 시간 및 비용을 감소시킬 수 있고 정확도를 증가시킬 수 있으며, 휴먼 에러로 발생되는 경제적 손실을 절감할 수 있다. Learning data construction apparatus and method for machine learning of electric power equipment according to an aspect of the present invention, by using image synthesis and virtual 3D models for learning data necessary to automatically recognize and detect various electric power equipment through machine learning Since it can be built automatically, it is possible to easily obtain learning data based on deep learning of power facilities, which can reduce time and cost for analysis, diagnosis, and monitoring personnel, increase accuracy, and economical caused by human error. loss can be reduced.
또한, 본 발명은 전력산업에서의 인식, 검출, 감시 기술의 경쟁력을 확보하고 시장을 선점할 수 있고, 전력설비의 고장을 적기에 발견하여 전기품질 향상과 안정적인 전력계통의 운영에 기여할 수 있다. In addition, the present invention can secure the competitiveness of recognition, detection, and monitoring technology in the electric power industry and preempt the market, and can contribute to the improvement of electric quality and stable operation of the electric power system by detecting failures of electric power facilities in a timely manner.
도 1은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 기존 데이터 활용부를 나타낸 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 기존 데이터 활용부에 의한 학습데이터 생성과정을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 합성 데이터 생성부를 나타낸 블록 구성도이다.
도 5는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 합성 데이터 생성부에 의한 학습데이터의 생성과정을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 DeepLabV3+ 네트워크 구조를 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 합성 데이터 생성부에 의해 생성된 학습데이터를 나타낸 예시도이다.
도 8은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 가상 3D 데이터 생성부를 나타낸 블록 구성도이다.
도 9는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 3D 모델 데이터의 획득 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 3D 모델 데이터와 배경 이미지의 합성이미지를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 인공 신경망 모델 학습부를 나타낸 블록 구성도이다.
도 12는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 YOLO V3 네트워크 구조를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 Spatial Pyramid Pooling 알고리즘을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 TridentNet 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 인공신경망 구조를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축방법을 설명하기 위한 흐름도이다. 1 is a block diagram illustrating an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
2 is a block diagram illustrating an existing data utilization unit in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a learning data generation process by an existing data utilization unit in the learning data building apparatus for machine learning of power equipment according to an embodiment of the present invention.
4 is a block diagram illustrating a synthesized data generating unit in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a process of generating learning data by a synthetic data generating unit in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
6 is an exemplary diagram illustrating a DeepLabV3+ network structure in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
7 is an exemplary diagram illustrating learning data generated by a synthetic data generating unit in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention.
8 is a block diagram illustrating a virtual 3D data generation unit in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
9 is a view for explaining a process of acquiring 3D model data in the apparatus for constructing learning data for machine learning of power equipment according to an embodiment of the present invention.
10 is a view showing a composite image of 3D model data and a background image in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention.
11 is a block diagram illustrating an artificial neural network model learning unit in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
12 is a diagram illustrating a YOLO V3 network structure in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
13 is a diagram illustrating a Spatial Pyramid Pooling algorithm in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
14 is a view showing the structure of TridentNet in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention.
15 is a diagram illustrating an artificial neural network structure in an apparatus for constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
16 is a flowchart illustrating a method of constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an apparatus and method for constructing learning data for machine learning of an electric power facility according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.
도 1은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 기존 데이터 활용부를 나타낸 블록 구성도이며, 도 3은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 기존 데이터 활용부에 의한 학습데이터 생성과정을 나타낸 예시도이고, 도 4는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 합성 데이터 생성부를 나타낸 블록 구성도이며, 도 5는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 합성 데이터 생성부에 의한 학습데이터의 생성과정을 나타낸 예시도이고, 도 6은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 DeepLabV3+ 네트워크 구조를 나타낸 예시도이며, 도 7은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 합성 데이터 생성부에 의해 생성된 학습데이터를 나타낸 예시도이고, 도 8은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 가상 3D 데이터 생성부를 나타낸 블록 구성도이며, 도 9는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 3D 모델 데이터의 획득 과정을 설명하기 위한 도면이고, 도 10은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 3D 모델 데이터와 배경 이미지의 합성이미지를 나타낸 도면이며, 도 11은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 인공 신경망 모델 학습부를 나타낸 블록 구성도이고, 도 12는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 YOLO V3 네트워크 구조를 나타낸 도면이며, 도 13은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 Spatial Pyramid Pooling 알고리즘을 나타낸 도면이고, 도 14는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 TridentNet 구조를 나타낸 도면이며, 도 15는 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치에서 인공신경망 구조를 나타낸 도면이다. 1 is a block diagram illustrating an apparatus for constructing learning data for machine learning of power equipment according to an embodiment of the present invention, and FIG. 2 is a block diagram illustrating learning data construction for machine learning of power equipment according to an embodiment of the present invention. It is a block diagram showing the existing data utilization unit in the device, and FIG. 3 is an exemplary diagram showing the learning data generation process by the existing data utilization unit in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention. , FIG. 4 is a block diagram showing a synthetic data generation unit in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention, and FIG. It is an exemplary diagram showing a process of generating learning data by a synthetic data generator in a learning data construction apparatus for 7 is an exemplary view showing the learning data generated by the synthetic data generating unit in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention, and FIG. 8 is the present invention is a block diagram showing a virtual 3D data generation unit in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention, and FIG. It is a view for explaining a process of obtaining 3D model data in an apparatus, and FIG. 10 is a view showing a composite image of 3D model data and a background image in the apparatus for constructing learning data for machine learning of power equipment according to an embodiment of the present invention 11 is a block diagram showing an artificial neural network model learning unit in an apparatus for building learning data for machine learning of a power facility according to an embodiment of the present invention, and FIG. 12 is a power facility according to an embodiment of the present invention. It is a view showing the YOLO V3 network structure in the learning data building apparatus for machine learning, and FIG. 13 is a diagram showing machine learning of power equipment according to an embodiment of the present invention. It is a diagram showing the Spatial Pyramid Pooling algorithm in the learning data construction apparatus for A diagram showing the structure of an artificial neural network in the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축장치는, 이미지 수집부(10), 학습 데이터 구축부(20) 및 인공지능 학습부(30)를 포함할 수 있다. As shown in FIG. 1 , the learning data construction apparatus for machine learning of power equipment according to an embodiment of the present invention includes an
이미지 수집부(10)는 이미지 플랫폼과 동영상 플랫폼으로부터 인공신경망 학습에 필요한 전력설비 이미지를 수집할 수 있다. The
여기서, 이미지 수집부(10)는 이미지 데이터 수집부(110) 및 동영상 데이터 수집부(120)를 포함할 수 있다. Here, the
이미지 데이터 수집부(110)는 이미지 플랫폼인 공인 데이터셋에서 웹 크롤러 방식으로 전력설비 이미지를 수집할 수 있다. The image
예를 들어, Google Image(www.***.com/imghp)에서 웹 크롤러 방식으로 다양한 키워드를 넣어 통한 전력설비 및 주변 객체의 이미지를 다량 수집할 수 있다. For example, in Google Image (www.***.com/imghp), a large amount of images of power facilities and surrounding objects can be collected through various keywords in a web crawler method.
구체적으로, 전력설비에 접근하는 포크레인을 검출하기 위한 학습 데이터 수집에는 포크레인 키워드 외에도 excavator, backhoe, 굴삭기, 포크레인, 
또한, Stanford car dataset, MS COCO, PASCAL VOC, LISA, Medusa, KITTI, LabelMe, MSRC, ADE20K 와 이미 알려진 공인 데이터셋을 가지고 있는 웹사이트에서도 웹 크롤러를 구현하여 이미지를 수집할 수 있다. In addition, Stanford car dataset, MS COCO, PASCAL VOC, LISA, Medusa, KITTI, LabelMe, MSRC, ADE20K, and websites with known public datasets can also implement a web crawler to collect images.
공인 데이터셋은 객체 검출(Object Detection)을 위한 메타 데이터가 있는 경우 x, y, w, h, label 데이터만 일괄된 규약에 맞게 정리해주고, 영역 검출(Intance Segmentation)을 위한 데이터의 경우 객체 영역의 Bounding Box를 Tagged area로 정의하여 정리하여 제공한다. If there is metadata for object detection, only x, y, w, h, and label data are organized according to the standardized data set, and in the case of data for instance segmentation, the data of the object area is The Bounding Box is defined as a tagged area and organized and provided.
또한 이미지를 수집할 때 사람과 컴퓨터를 구별하기 위한 기술인 "CAPTCHA(Completely Automated Public Turing test to tell Computers and Humans Apart)" 에 걸리지 않기 위하여 시간 간격을 두는 방식으로 웹 크롤러를 구현할 수 있고, 썸네일의 크기가 크다면 썸네일 만을 받아올 수도 있다. In addition, when collecting images, a web crawler can be implemented in a way that sets a time interval so as not to be caught in "CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart)", a technology for distinguishing between humans and computers, and the size of the thumbnail If is large, you can receive only thumbnails.
이미지 데이터 수집부(110)는 수집된 이미지 데이터들을 실사진과 투명배경/단색배경 사진으로 분류할 수 있다. 즉, 실제 사진은 사람이 레이블링을 추가로 해줘야 하지만, 투명 또는 단색 배경의 사진은 배경을 자동으로 검출하고 투명하게 제거함으로써 레이블링을 자동으로 할 수 있다. 단조로운 배경의 사진은 학습에 바로 사용하지 않고 배경을 투명하게 바꾸어서 향후 다양한 학습 데이터를 생성하는데 사용할 수 있다. The image
동영상 데이터 수집부(120)는 동영상 플랫폼에서 제공하는 동영상으로부터 이미지 데이터를 추출할 수 있다. The video
예를 들어, 동영상 데이터 수집부(120)는 대표적인 동영상 플랫폼인 YouTube(www.youtube.com)를 이용하여 데이터를 수집할 수 있고, videvo(www.videvo.net), pixabay, Videezy(www.videezy.com) 등의 플랫폼에서도 동영상 데이터를 수집할 수 있다. For example, the video
또한, 수집된 동영상 데이터는 보통 1초에 20~30프레임으로 구성되어 있지만, 많은 프레임을 추출하게 되면 딥러닝 네트워크 구성시 오버피팅(Overfitting) 될 확률이 존재하므로 동영상 데이터 수집부(120)는 1초에 한 장씩 프레임을 추출하여 이미지로 자동으로 저장하여 이미지 데이터를 추출할 수 있다. In addition, the collected video data is usually composed of 20 to 30 frames per second, but if many frames are extracted, there is a possibility of overfitting when configuring the deep learning network, so the video
학습 데이터 구축부(20)는 이미지 수집부(10)로부터 수집된 이미지를 기반으로 합성 및 가상 3D 모델을 만들어 딥러닝의 정확도를 높이기 위한 전력설비의 학습 데이터를 생성할 수 있다. The learning
여기서, 학습 데이터 구축부(20)는 기존 데이터 활용부(210), 합성 데이터 생성부(220) 및 가상 3D 데이터 생성부(230)를 포함할 수 있다. Here, the learning
이를 보다 구체적으로 설명하면, 기존 데이터 활용부(210)는 이미지 수집부로부터 수집된 이미지에 기초하여 크기를 변화시키고 흐림 효과를 적용한 이미지에 레이블링하여 학습데이터를 생성할 수 있다. More specifically, the existing
일반적으로 구글, 네이버 등 웹에 공개된 영상 데이터 또는 공인 데이터셋을 크롤링하여 딥러닝 학습 데이터셋으로 활용하지만 웹 크롤링을 통해 획득된 영상은 두 가지 문제를 지니고 있다. In general, image data or public data sets published on the web such as Google and Naver are crawled and used as a deep learning learning dataset, but images acquired through web crawling have two problems.
첫 번째는, 3D 모델처럼 객체의 영역만을 추출할 수 없 수 없기 때문에 객체와 다양한 배경이미지 합성이 불가하고, 객체의 영역을 추출하기 위해선 상당한 작업시간이 소요된다. 두 번째는 웹 크롤링을 통해 획득한 객체의 크기는 매우 커서 전력설비 학습 영상에 적절하지 않기 때문에 이를 해결하기 위하여 객체의 크기를 적절히 줄이고 배경의 다양성을 확보하여야 한다. First, since it is impossible to extract only the area of an object like a 3D model, it is impossible to synthesize an object and various background images, and it takes a considerable amount of time to extract the area of an object. Second, because the size of the object obtained through web crawling is very large and is not suitable for the power facility learning image, in order to solve this problem, the size of the object must be appropriately reduced and the diversity of the background must be secured.
이를 위해 기존 데이터 활용부(210)는 도 2에 도시된 바와 같이 기존 데이터 이미지 분류기(212) 및 기존 데이터 활용 모듈(214)을 포함하여 학습데이터를 생성할 수 있다. To this end, the existing
기존 데이터 이미지 분류기(212)는 객체의 영역 좌표가 별도로 존재하지 않고, 영상의 크기가 커서 학습에 적절하지 않는 이미지를 분류하여 기존 데이터 활용 모듈(214)로 전송한다. The existing
기존 데이터 활용 모듈(214)는 기존 데이터 이미지 분류기(310)으로부터 전달된 이미지를 기존 데이터 활용 알고리즘(ODCA : Original Data Constructing Algorithm)을 이용하여 최종적으로 레이블링하여 학습데이터를 생성할 수 있다. The existing
전력설비는 공인 데이터셋에 정보가 없고 웹에서 배경이 투명한 이미지도 많지 않아서 데이터의 다양성을 확보하기 위해 일반적인 이미지도 추가하여 사용하지만 웹 크롤러를 통해 수집한 데이터는 객체의 크기가 매우 커서 학습에 적합하지 않은 데이터일 수 있다. There is no information in the official dataset and there are not many images with transparent backgrounds on the web, so general images are added to secure data diversity, but the data collected through web crawler is suitable for learning because the size of the object is very large It may be data that has not been
따라서 이미지의 크기를 조절하고 배경의 다양성을 위하여 과한 흐림효과(Over blurred)를 적용하여 이미지를 덧붙이는 방법(overlay)을 사용할 수 있다. Therefore, it is possible to use an overlay method by adjusting the size of the image and applying an over blurred effect for background diversity.
보다 구체적으로, 기존 데이터 활용 모듈(214)는 이미지 크기를 16:9 비율(전력설비 감시 영상 비율)을 유지하며 조절한다. 이후 도 3에 도시된 바와 같이 객체의 배경 다양성을 유지하기 위해 원본 이미지(a)에 대해 과한 흐림(blur) 효과를 적용한 배경 이미지(b)를 생성하고, 이렇게 생성된 배경 이미지와 크기를 조절한 이미지를 합성한 합성 이미지(c)를 생성할 수 있다. More specifically, the existing
따라서, 이미지 종횡비가 16:9가 아닌 이미지의 경우에도 16:9의 종횡비를 갖는 학습데이터를 생성할 수 있어 학습 시 letterbox나 resize 연산을 통해 이미지의 종횡비가 깨지거나 패딩이 들어가는 것을 방지할 수 있다. Therefore, even in the case of an image with an image aspect ratio other than 16:9, training data having an aspect ratio of 16:9 can be generated, so that it is possible to prevent breaking of the image aspect ratio or padding through letterbox or resize operation during training. .
합성 데이터 생성부는 이미지의 윤곽정보에 기초하여 객체를 추출하고 다수의 배경과 합성한 이미지에 레이블링하여 학습데이터를 생성할 수 있다. The synthesized data generator may generate learning data by extracting an object based on the contour information of the image and labeling a plurality of backgrounds and the synthesized image.
이를 위해 합성 데이터 생성부(220)는 도 4에 도시된 바와 같이 합성 데이터 이미지 분류기(222) 및 합성 데이터 생성 모듈(224)을 포함하여 학습데이터를 생성할 수 있다. To this end, the synthesized
합성 데이터 이미지 분류기(222)는 레이블링된 공인 데이터셋과 레이블링되지 않은 이미지를 분류할 수 있다. The synthetic
공인 데이터셋은 객체 검출 정보 또는 객체 윤곽정보를 가지고 있으므로, 그대로 학습해도 큰 문제는 없지만 공인 데이터셋의 레이블링의 신뢰성이 높지 않아 이를 그대로 학습할 경우 신뢰성이 저하될 수 있다. 또한 실제로 공인 데이터셋은 레이블링이 되어 있지 않은 객체가 종종 등장하게 될 뿐만 아니라 여러 개의 객체를 하나로 묶어 레이블링한 경우도 있다. 따라서 이러한 객체를 모두 찾아 레이블링 하기에는 시간과 인력 비용이 너무나 크기 때문에 공인 데이터셋에서 윤곽정보가 있는 객체만을 분류하여 합성 데이터를 생성하여 신뢰성을 높일 수 있다. Since the certified dataset has object detection information or object contour information, there is no big problem in learning as it is, but the reliability of the labeling of the certified dataset is not high. Also, in reality, unlabeled objects often appear in public data sets, and there are also cases where several objects are grouped together and labeled. Therefore, since time and manpower costs are too high to find and label all these objects, it is possible to increase reliability by classifying only objects with contour information in the public data set to generate synthetic data.
여기서, 레이블이 되지 않은 건 딥러닝 학습 시 loss의 저하를 방해하는 요인이 되며, 레이블링이 빠진 데이터로 학습한다면 높은 정확도를 얻는 건 불가능하다. 따라서 불필요한 데이터셋을 유의미한 데이터로 만드는 패치 결합 합성데이터를 생성하여 학습데이터를 생성하는 것이 바람직하다. Here, the unlabeled is a factor that prevents the loss of loss during deep learning learning, and it is impossible to obtain high accuracy if learning with data without labeling. Therefore, it is desirable to generate training data by generating patch-combined synthetic data that makes unnecessary datasets meaningful data.
합성 데이터 생성 모듈(224)은 합성 데이터 이미지 분류기(222)에서 분류된 레이블링된 이미지로부터 객체 윤곽정보에 기초하여 객체만 추출된 패치를 획득한 후 배경 이미지에 패치를 오버레이하는 합성 데이터 생성 알고리즘(SDCA : Synthetic Data Constructing Algorithm)을 이용하여 합성한 이미지에 레이블링하여 학습데이터를 생성할 수 있다. The synthetic
즉, 도 5에 도시된 바와 같이 객체의 윤곽정보를 통해 객체 정보만 남기고 투명한 배경의 패치를 획득한 후 배경 이미지에 패치를 합성시켜 합성 데이터를 생성할 수 있다. That is, as shown in FIG. 5 , after obtaining a patch with a transparent background while leaving only object information through the outline information of the object, the patch may be synthesized with the background image to generate composite data.
여기서 (a) 레이블링이 하나만 되어 있는 이미지 (b) 객체 윤곽 정보 (c) 객체의 영역만 추출 (d) 합성에 사용할 배경 데이터 (e) 최종 합성 데이터를 나타낸다. Here, (a) an image with only one labeling (b) object outline information (c) extracting only the area of the object (d) background data to be used for synthesis (e) final composite data.
또한, Google Image Search 등에서 웹 크롤링(Web Crawling)을 통하여 키워드를 통하여 수집한 이미지의 메타 데이터를 생성할 수 있다. 이때 다만, 이렇게 수집된 데이터 중 배경이 단색이거나 투명인 경우는 태깅(Tagging)을 해도 학습시 효과가 거의 없기 때문에 배경 이미지를 추가하여 합성 데이터를 만드는데 사용할 수 있다. 배경 이미지의 추출 시 다른 객체가 존재하면 False positive로 인식하여 학습 시 손실률의 저하를 방해하므로 가능하면 아무 객체도 없는 배경 이미지를 사용하는 것이 바람직하다. In addition, metadata of images collected through keywords through web crawling in Google Image Search or the like can be generated. At this time, however, if the background of the collected data is solid or transparent, tagging has little effect during learning, so it can be used to create synthetic data by adding a background image. When extracting the background image, if there is another object, it is recognized as a false positive and prevents the decrease of the loss rate during learning, so it is preferable to use a background image without any object if possible.
이와 같이 합성 데이터 생성할 경우, 모든 객체에 레이블링을 할 수 있다는 장점과 사람이 레이블링을 할 필요가 없다는 장점이 있고, 객체의 크기를 원하는 대로 조절할 수 있다는 장점이 있다. In this way, when synthetic data is created, there are advantages in that all objects can be labeled, there is no need for human labeling, and the size of objects can be adjusted as desired.
즉, 송전 철탑, 발전소와 같은 높은 곳에 감시 카메라가 위치하여 작은 데이터를 검출해야 하는 상황에서 가장 먼저 고려해야 할 방법으로 작은 객체가 많은 학습 데이터셋을 구축하는 것이다. In other words, the first method to consider in a situation where a surveillance camera is located at a high place such as a transmission pylon or a power plant to detect small data is to build a learning dataset with many small objects.
합성 데이터 생성 모듈(224)은 다양한 종류의 패치를 획득 후 배경 데이터에 패치를 오버레이 할 때 테스트 데이터와의 차이를 줄이기 위하여 Semantic Segmentation 기술을 이용하여 배경 이미지에서 영역을 분할하고 관심영역에 패치를 배치하여 이미지를 합성할 수 있다. The synthetic
즉, 배경 이미지에서 육지와 하늘 영역으로 분할하여 패러글라이더와 비행기는 하늘영역에 주로 배치하고 나머지는 육지 영역에 배치할 수 있다. That is, by dividing the background image into land and sky areas, paragliders and airplanes can be mainly placed in the sky area, and the rest can be placed in the land area.
여기서, 영역 분할은 도 6에 도시된 바와 같이 DeepLabV3+ 아키텍처를 사용할 수 있다. DeepLabV3+는 Semantic segmentation 신경망으로 V1, V2, V3, V3+까지 총 4개의 버전으로 구성되어 있다. Here, the region division may use the DeepLabV3+ architecture as shown in FIG. 6 . DeepLabV3+ is a semantic segmentation neural network and consists of 4 versions: V1, V2, V3, and V3+.
V1에서는 딥러닝 알고리즘의 핵심 연산 중 하나인 합성 곱(Convolution)에 대한 한계점을 파악하고 Atrous Convolution 연산을 적극 활용하여 모델의 성능을 높이고, V2에서는 이미지 검출에서 주요 문제점 중 하나인 다중 크기 문제를 해결하기 위해 ASPP(Atrous Spatial Pyramid Pooling) 기법을 적용하며, V3는 Atrous Convolution을 활용해 Feature map의 구조를 밀도 있게 구성하고, 최종적으로 V3+는 Feature map의 채널과 깊이를 고려하여 Separable Convolution과 Atrous Convolution을 혼용함으로써, PASCALVOC 2012 데이터 셋에서 mAP(Mean Average Precision)가 89.0로 높은 성능을 나타낸다. In V1, we identify the limitations of convolution, one of the core operations of deep learning algorithms, and actively utilize the atrous convolution operation to improve the model performance. In V2, we solve the multi-size problem, one of the main problems in image detection. ASPP (Atrous Spatial Pyramid Pooling) technique is applied to this By mixing, mAP (Mean Average Precision) is 89.0 in the PASCALVOC 2012 data set, indicating high performance.
즉, 도 7에 도시된 바와 같이 배경 이미지(a)에 대해 영역을 분할하여 하늘과 육지로 영역을 분할한 이미지(b)를 생성하고, 관심영역에 다양한 객체를 합성한 합성 이미지(c)를 나타낸다. 이때 배경 이미지 1장당 5~13개의 학습 이미지를 생성하고, 1x, 2x, 4x 등 카메라 줌(Zoom) 기능에 대응되는 학습 이미지를 함께 생성할 수 있다. That is, as shown in FIG. 7, an image (b) in which the area is divided into the sky and land is generated by dividing the area with respect to the background image (a), and a composite image (c) obtained by synthesizing various objects in the area of interest indicates. In this case, 5 to 13 training images may be generated for each background image, and training images corresponding to the camera zoom function such as 1x, 2x, 4x may be generated together.
가상 3D 데이터 생성부(230)는 객체의 가상 3D 모델을 구성하여 각도, 높이, 조명 및 크기 중 어느 하나 이상을 조절하여 생성된 이미지와 다수의 배경을 합성한 이미지에 레이블링하여 학습데이터를 생성할 수 있다. The virtual 3D
공인 데이터셋을 사용할 경우 객체의 윤곽정보를 사용하여 배경이 투명한 패치를 생성하고 합성 데이터를 만들 수 있다. 그러나 공인 데이터셋에 없는 전력설비, 굴삭기 및 화재 같은 데이터에 대해 가상 3D 데이터 생성부(230)를 통해 3D 모델을 이용하여 배경이 투명한 패치를 생성할 수 있다. When using a public data set, it is possible to create a patch with a transparent background using the contour information of the object and create synthetic data. However, it is possible to generate a patch with a transparent background by using the 3D model through the virtual 3D
3D 모델은 학습에 필요한 객체의 다양성을 확보하기 위한 보조 데이터로 다양한 각도에서 촬영한 패치를 이용하여 배경 이미지에 합성하여 최종 학습 데이터를 획득할 수 있다. 이러한 합성 데이터는 실제 데이터를 획득하는데 비용이 많이 발생할 때 좋은 대안이 될 뿐만 아니라 다양한 각도에서 정확한 검출 영역을 획득할 수 있는 3D 모델 합성 방식은 때에 따라 실제 사진 데이터보다 더 높은 검출 결과를 나타낼 수 있다. The 3D model is auxiliary data for securing the diversity of objects required for learning, and it is possible to obtain final learning data by synthesizing it with a background image using patches taken from various angles. Such synthesized data is not only a good alternative when it is expensive to acquire real data, but also a 3D model synthesis method that can acquire accurate detection areas from various angles can sometimes show higher detection results than actual photographic data. .
이를 위해 가상 3D 데이터 생성부(230)는 도 8에 도시된 바와 같이 3D 모델 데이터 수집부(232), 3D 모델 분류기(234) 및 가상 데이터 생성 모듈(236)을 포함하여 학습데이터를 생성할 수 있다. To this end, the virtual 3D
3D 모델 데이터 수집부(232)는 전력설비 3D 모델을 수집한다. The 3D model
3D 모델 분류기(234)는 3D 모델 데이터 수집부(232)에서 수집한 3D 모델을 분류한다. The
가상 데이터 생성 모듈(236)은 3D 모델을 통해 객체의 패치를 획득한 후 배경 이미지에 패치를 오버레이하여 학습데이터를 생성할 수 있다. The virtual
가상 데이터 생성 모듈(236)은 가상 데이터 생성 알고리즘(VDCA : Virtual Data Constructing Algorithm)을 기반으로, 3D 엔진 툴을 이용하여 3D 모델을 로딩한 후, 배경이 투명한 3D 물체의 모든 패치를 카메라를 회전시켜 각도, 높이 및 조명을 조절하여 패치를 획득할 수 있다. The virtual
예를 들어, 가상환경에서 카메라는 도 9에 도시된 바와 같이 3D 모델을 중심으로 1°씩 전방향 회전하며 촬영하고, 카메라의 높이 좌표를 22.5°씩 이동시켜 모델 당 1440장의 패치 이미지를 생성할 수 있고, 모델의 모양이 변형되는 경우 즉, 굴삭기 모델의 경우 팔이 움직이므로 다양한 형태의 패치 이미지를 획득할 수 있다. For example, in a virtual environment, the camera rotates forward by 1° around the 3D model as shown in FIG. 9, and moves the height coordinate of the camera by 22.5° to generate 1440 patch images per model. If the shape of the model is changed, that is, in the case of the excavator model, the arm moves, so that various types of patch images can be obtained.
가상 데이터 생성 모듈(236)은 다양한 종류의 가상의 패치를 획득 후 배경 데이터에 패치를 오버레이 할 때 테스트 데이터와의 차이를 줄이기 위하여 Semantic Segmentation 기술을 이용하여 배경 이미지에서 영역을 분할하고 관심영역에 패치를 배치하여 가상 이미지를 합성할 수 있다. The virtual
이와 같이 3D 모델을 이용하면 크기, 포즈, 조도 등 전력설비의 다양성을 확보할 수 있고, 가상 환경에서 다양한 각도로 촬영된 설비 영상을 획득하여 배경 이미지에 합성하여 학습데이터를 생성할 수 있다. In this way, by using the 3D model, it is possible to secure diversity of power equipment such as size, pose, and illumination, and it is possible to generate learning data by acquiring equipment images taken at various angles in a virtual environment and synthesizing them with a background image.
예들 들어, 화재 이미지의 경우 그 형태가 정해져 있지 않고 매우 다양한 색이 존재하여 연기와 화염 모두를 합쳐 화재로 정의하고, 유니티와 같은 3D 엔진 툴을 이용하여 가상의 화재를 시뮬레이션하고 촬영하여 배경이 투명한 화재 패치를 획득할 수 있다. For example, in the case of a fire image, the shape is not fixed and there are many different colors, so both smoke and flame are combined to define a fire. You can get a fire patch.
이렇게 획득한 3D 모델은 크기, 위치를 변경하여 배경 이미지에 합성할 수 있고, 배경영역은 일상에서 나타날 수 있는 도로지형, 산악지형, 하천지형, 해안지형 등을 합성하여 데이터의 사실성을 높일 수 있다. The 3D model obtained in this way can be synthesized into a background image by changing its size and location, and the background area can be used to synthesize road topography, mountain topography, river topography, and coastal topography that can appear in daily life, thereby increasing the realism of the data. .
도 10에 도시된 바와 같이 좌측은 굴삭기 모델을 공사장 지형에 합성한 것이고, 우측은 화재 이벤트를 도로 지형에 합성한 예시도이다. As shown in FIG. 10 , the left side shows an excavator model synthesized on the construction site terrain, and the right side shows an exemplary view in which a fire event is synthesized on the road topography.
이때 배경 이미지에는 다른 객체가 포함되지 않도록 하는 것이 바람직하다. 즉, 다른 객체에 메타 데이터가 삽입되지 않은 경우 학습 시 손실률(Loss)이 하락하지 않는 문제가 발생할 수 있다. In this case, it is preferable not to include other objects in the background image. That is, if metadata is not inserted into other objects, there may be a problem that the loss rate does not decrease during training.
인공지능 학습부(30)는 학습 데이터 구축부(20)에서 구축된 학습 데이터에 대해 사전 학습을 수행할 수 있다. The artificial
여기서, 인공지능 학습부(30)는 YOLOv3, Spatial Pyramid Pooling, TridentNet 구조를 기반으로 하는 인공 신경망 모델 학습부(310)를 포함할 수 있다. Here, the artificial
YOLOv3 SPP(You Only Look Once v3 with Spatial Pyramid Pooling) 구조는 기존의 YOLOv2 방식의 한계를 극복하기 위하여 제안되었으며, 기존의 YOLOv2 단점인 작은 물체의 검출률 하락과 Poor Localization 문제를 소폭 개선하였다. The YOLOv3 SPP (You Only Look Once v3 with Spatial Pyramid Pooling) structure was proposed to overcome the limitations of the existing YOLOv2 method, and it slightly improved the existing YOLOv2 weakness of the detection rate of small objects and poor localization.
YOLOv3는 Backbone network로 C/CUDA 기반의 검출 레이어 비용이 가장 낮은 딥러닝 오픈소스인 Darknet-53을 사용한다. 이는 기존 YOLOv2의 Backbone인 Darknet-19보다 3배가량 많은 Layer를 사용한다. 좋은 분류기로 알려진 Resnet은 residual block, skip connectinos 등을 사용하여 성능을 높였는데, Darknet-53 역시 이러한 기능을 추가하여 빠르고 높은 정확도를 얻을 수 있다. YOLOv3 uses Darknet-53, a deep learning open source with the lowest C/CUDA-based detection layer cost as a backbone network. It uses three times more layers than Darknet-19, the backbone of the existing YOLOv2. Resnet, known as a good classifier, improved its performance by using residual blocks and skip connectinos, and Darknet-53 also adds these functions to obtain fast and high accuracy.
도 12에 도시된 바와 같이 YOLOv3는 다양한 스케일에서 객체 검출을 시도할 수 있다. 이는 다양한 크기의 객체를 더 잘 검출하게 하며 더 많은 Bounding boxes를 추론할 수 있다. YOLOv2의 경우 416x416의 입력 이미지에 대하여 845개의 Bounding boxes만을 추론하지만, YOLOv3의 경우 10,647개의 Bounding boxes를 추론할 수 있다. 12 , YOLOv3 may attempt object detection at various scales. This makes it better to detect objects of different sizes and can infer more bounding boxes. In the case of YOLOv2, only 845 bounding boxes are inferred for a 416x416 input image, but in the case of YOLOv3, 10,647 bounding boxes can be inferred.
인공 신경망 모델 학습부(310)는 이러한 다양한 기능을 가진 YOLOv3에 도 13에 도시된 바와 같이 Spatial Pyramid Pooling(SPP) 구조를 추가할 수 있다. SPP는 이미지의 크기에 상관없이 고정된 길이의 Feature를 출력하는데 이는 다양한 크기의 객체에 더욱 견고한 특성을 가질 수 있다. The artificial neural network
또한, 인공 신경망 모델 학습부(310)는 도 14에 도시된 바와 같이 TridentNet 구조의 Trident-block을 사용하여 다양한 크기의 객체를 높은 성능으로 검출 가능하게 구성할 수 있다. TridentNet 구조는 각기 다른 dilation을 가진 검출 레이어들이 같은 가중치를 공유하면서 최종 검출 박스를 예측할 수 있다. In addition, as shown in FIG. 14 , the artificial neural network
인공지능 학습부(30)는 이러한 구조들을 결합하여 도 15에 도시된 바와 같이 인공신경망을 설계할 수 있다. 크기가 다른 객체들을 일반화하여 검출하는 Trident-block 과 함께 정해진 Anchor값과 가까운 크기만을 검출하는 레이어를 모두 사용할 수 있다. The artificial
상술한 바와 같이, 본 발명의 실시예에 의한 전력설비의 기계학습을 위한 학습 데이터 구축장치에 따르면, 기계학습을 통해 다양한 전력설비를 자동인식하고 검출하기 위해 필요한 학습 데이터를 이미지의 합성 및 가상 3D 모델들을 활용하여 자동으로 구축할 수 있어, 전력설비 딥러닝 기반의 학습데이터를 손쉽게 확보할 수 있어 분석, 진단, 모니터링 인력에 대한 시간 및 비용을 감소시킬 수 있고 정확도를 증가시킬 수 있으며, 휴먼 에러로 발생되는 경제적 손실을 절감할 수 있다. As described above, according to the learning data construction apparatus for machine learning of electric power equipment according to an embodiment of the present invention, image synthesis and virtual 3D learning data necessary to automatically recognize and detect various electric power equipment through machine learning It can be built automatically using models, so it is possible to easily obtain training data based on deep learning of power facilities, which can reduce time and cost for analysis, diagnosis, and monitoring personnel, increase accuracy, and increase human error. can reduce the economic loss caused by
또한, 전력산업에서의 인식, 검출, 감시 기술의 경쟁력을 확보하고 시장을 선점할 수 있고, 전력설비의 고장을 적기에 발견하여 전기품질 향상과 안정적인 전력계통의 운영에 기여할 수 있다. In addition, it is possible to secure competitiveness in recognition, detection, and monitoring technology in the power industry and to preoccupy the market, and to detect power facility failures in a timely manner, contributing to the improvement of electricity quality and stable operation of the power system.
도 16은 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축방법을 설명하기 위한 흐름도이다. 16 is a flowchart illustrating a method of constructing learning data for machine learning of a power facility according to an embodiment of the present invention.
도 16에 도시된 바와 같이 본 발명의 일 실시예에 따른 전력설비의 기계학습을 위한 학습 데이터 구축방법에서는 먼저, 이미지 수집부(10)가 이미지 플랫폼과 동영상 플랫폼으로부터 인공신경망 학습에 필요한 전력설비 이미지를 수집한다(S10). As shown in FIG. 16 , in the method for constructing learning data for machine learning of power equipment according to an embodiment of the present invention, first, the
이미지 수집부(10)는 이미지 플랫폼인 공인 데이터셋에서 웹 크롤러 방식으로 전력설비 이미지를 수집할 수 있다. The
예를 들어, Google Image(www.***.com/imghp)에서 웹 크롤러 방식으로 다양한 키워드를 넣어 통한 전력설비 및 주변 객체의 이미지를 다량 수집할 수 있다. For example, in Google Image (www.***.com/imghp), a large amount of images of power facilities and surrounding objects can be collected through various keywords in a web crawler method.
또한, 대표적인 동영상 플랫폼인 YouTube(www.youtube.com)를 이용하여 데이터를 수집할 수 있고, videvo(www.videvo.net), pixabay, Videezy(www.videezy.com) 등의 플랫폼에서도 동영상 데이터를 수집할 수 있다. In addition, data can be collected using YouTube (www.youtube.com), a representative video platform, and video data can also be collected from platforms such as videvo (www.videvo.net), pixabay, and Videezy (www.videezy.com). can be collected
S10 단계에서 인공신경망 학습에 필요한 전력설비 이미지를 수집한 후 학습 데이터 구축부(20)는 이미지 수집부(10)로부터 수집된 이미지에 기초하여 크기를 변화시키고 흐림 효과를 적용하여 합성한 기존 데이터 이미지에 레이블링하여 학습데이터를 생성한다(S20). After collecting the image of power equipment required for artificial neural network learning in step S10, the learning
또한, 학습 데이터 구축부(20)는 이미지의 윤곽정보에 기초하여 객체를 추출하고 다수의 배경과 합성한 합성 데이터 이미지에 레이블링하여 학습데이터를 생성한다(S30). In addition, the learning
레이블링된 이미지로부터 객체 윤곽정보에 기초하여 객체만 추출된 패치를 획득한 후 배경 이미지에 패치를 오버레이하는 합성 데이터 생성 알고리즘(SDCA : Synthetic Data Constructing Algorithm)을 이용하여 합성한 이미지에 레이블링하여 학습데이터를 생성할 수 있다. After obtaining a patch from which only the object is extracted based on the object contour information from the labeled image, the synthetic data generation algorithm (SDCA: Synthetic Data Constructing Algorithm) that overlays the patch on the background image is used to label the synthesized image to generate training data. can create
즉, 도 5에 도시된 바와 같이 객체의 윤곽정보를 통해 객체 정보만 남기고 투명한 배경의 패치를 획득한 후 배경 이미지에 패치를 합성시켜 합성 데이터를 생성할 수 있다. That is, as shown in FIG. 5 , after obtaining a patch with a transparent background while leaving only object information through the outline information of the object, the patch can be synthesized with the background image to generate composite data.
학습 데이터 구축부(20)는 다양한 종류의 패치를 획득 후 배경 데이터에 패치를 오버레이 할 때 테스트 데이터와의 차이를 줄이기 위하여 Semantic Segmentation 기술을 이용하여 배경 이미지에서 영역을 분할하고 관심영역에 패치를 배치하여 이미지를 합성할 수 있다. The training
즉, 배경 이미지에서 육지와 하늘 영역으로 분할하여 패러글라이더와 비행기는 하늘영역에 주로 배치하고 나머지는 육지 영역에 배치할 수 있다. That is, by dividing the background image into land and sky areas, paragliders and airplanes can be mainly placed in the sky area, and the rest can be placed in the land area.
또한, 학습 데이터 구축부(20)는 가상 데이터 생성 알고리즘(VDCA : Virtual Data Constructing Algorithm)을 기반으로 객체의 가상 3D 모델을 구성하여 각도, 높이, 조명 및 크기 중 어느 하나 이상을 조절하여 생성된 이미지와 다수의 배경을 합성한 가상 데이터 이미지에 레이블링하여 학습데이터를 생성한다(S40). In addition, the learning
이와 같이 3D 모델은 학습에 필요한 객체의 다양성을 확보하기 위한 보조 데이터로 다양한 각도에서 촬영한 패치를 이용하여 배경 이미지에 합성하여 최종 학습 데이터를 획득할 수 있다. As described above, the 3D model is auxiliary data for securing the diversity of objects required for learning, and the final learning data can be obtained by synthesizing the patch with the background image using patches taken from various angles.
학습 데이터 구축부(20)는 다양한 종류의 가상의 패치를 획득 후 배경 데이터에 패치를 오버레이 할 때 테스트 데이터와의 차이를 줄이기 위하여 Semantic Segmentation 기술을 이용하여 배경 이미지에서 영역을 분할하고 관심영역에 패치를 배치하여 이미지를 합성할 수 있다. The learning
인공지능 학습부(30)는 학습 데이터 구축부(20)에서 구축된 학습데이터에 대해 인공 신경망 모델을 기반으로 사전 학습을 수행한다(S50). The artificial
여기서, 인공지능 학습부(30)는 YOLOv3, Spatial Pyramid Pooling 및 TridentNet 구조를 기반으로 학습할 수 있다. Here, the artificial
상술한 바와 같이, 본 발명의 실시예에 의한 전력설비의 기계학습을 위한 학습 데이터 구축방법에 따르면, 기계학습을 통해 다양한 전력설비를 자동인식하고 검출하기 위해 필요한 학습 데이터를 이미지의 합성 및 가상 3D 모델들을 활용하여 자동으로 구축할 수 있어, 전력설비 딥러닝 기반의 학습데이터를 손쉽게 확보할 수 있어 분석, 진단, 모니터링 인력에 대한 시간 및 비용을 감소시킬 수 있고 정확도를 증가시킬 수 있으며, 휴먼 에러로 발생되는 경제적 손실을 절감할 수 있다. As described above, according to the learning data construction method for machine learning of electric power equipment according to an embodiment of the present invention, image synthesis and virtual 3D learning data necessary to automatically recognize and detect various electric power equipment through machine learning It can be built automatically using models, so it is possible to easily obtain training data based on deep learning of power facilities, which can reduce time and cost for analysis, diagnosis, and monitoring personnel, increase accuracy, and reduce human error. can reduce the economic loss caused by
또한, 전력산업에서의 인식, 검출, 감시 기술의 경쟁력을 확보하고 시장을 선점할 수 있고, 전력설비의 고장을 적기에 발견하여 전기품질 향상과 안정적인 전력계통의 운영에 기여할 수 있다. In addition, it is possible to secure competitiveness in recognition, detection, and monitoring technology in the power industry and to preoccupy the market, and to detect power facility failures in a timely manner, contributing to the improvement of electricity quality and stable operation of the power system.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the discussed features may also be implemented in other forms (eg, as an apparatus or program). The apparatus may be implemented in suitable hardware, software and firmware, and the like. A method may be implemented in an apparatus such as, for example, a processor, which generally refers to a computer, a microprocessor, a processing device, including an integrated circuit or programmable logic device, and the like. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDA”) and other devices that facilitate communication of information between end-users.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and it is understood that various modifications and equivalent other embodiments are possible by those of ordinary skill in the art. will understand
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Accordingly, the true technical protection scope of the present invention should be defined by the following claims.
10 : 이미지 수집부 20 : 학습데이터 구축부
30 : 인공지능 학습부 110 : 이미지 데이터 수집부
120 : 동영상 데이터 수집부 210 : 기존 데이터 활용부
212 : 기존 데이터 이미지 분류기
214 : 기존 데이터 활용 모듈 220 : 합성 데이터 생성부
222 : 합성 데이터 이미지 분류기
224 : 합성 데이터 생성 모듈 230 : 가상 3D 데이터 생성부
232 : 3D 모델 데이터 수지부 234 : 3D 모델 분류기
236 : 가상 데이터 생성 모듈 310 : 인공 신경망 모델 학습부
312 : YOLO v3 알고리즘 314 : Spatial Pyramid Pooling 알고리즘
316 : TridentNet 구조10: image collection unit 20: learning data construction unit
30: artificial intelligence learning unit 110: image data collection unit
120: video data collection unit 210: existing data utilization unit
212: conventional data image classifier
214: Existing data utilization module 220: Synthetic data generation unit
222: synthetic data image classifier
224: synthetic data generating module 230: virtual 3D data generating unit
232: 3D model data resin unit 234: 3D model classifier
236: virtual data generation module 310: artificial neural network model learning unit
312: YOLO v3 Algorithm 314: Spatial Pyramid Pooling Algorithm
316: TridentNet structure
Claims (15)
상기 이미지 수집부로부터 수집된 이미지를 기반으로 합성 및 가상 3D 모델을 만들어 딥러닝의 정확도를 높이기 위한 전력설비의 학습데이터를 생성하는 학습 데이터 구축부; 및
상기 학습 데이터 구축부에서 구축된 상기 학습데이터에 대해 사전 학습을 수행하는 인공지능 학습부;를 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축장치.
an image collecting unit that collects images of power equipment required for artificial neural network learning from an image platform and a video platform;
a learning data construction unit for generating learning data of power equipment to increase the accuracy of deep learning by creating a synthetic and virtual 3D model based on the images collected from the image collecting unit; and
Learning data construction apparatus for machine learning of power equipment comprising a; an artificial intelligence learning unit that performs prior learning on the learning data built in the learning data construction unit.
이미지 플랫폼인 공인 데이터셋에서 웹 크롤러 방식으로 전력설비 이미지를 수집하는 이미지 데이터 수집부; 및
동영상 플랫폼에서 제공하는 동영상으로부터 이미지 데이터를 추출하는 동영상 데이터 수집부;를 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축장치.
According to claim 1, wherein the image collection unit,
an image data collection unit that collects images of power facilities in a web crawler method from a public data set that is an image platform; and
A learning data construction apparatus for machine learning of power equipment comprising a; a moving image data collection unit for extracting image data from a moving image provided by a moving image platform.
The apparatus of claim 2, wherein the moving image data collection unit extracts image data by extracting one frame per second from the moving image.
상기 이미지 수집부로부터 수집된 이미지에 기초하여 크기를 변화시키고 흐림 효과를 적용한 이미지에 레이블링하여 학습데이터를 생성하는 기존 데이터 활용부;
이미지의 윤곽정보에 기초하여 객체를 추출하고 다수의 배경과 합성한 이미지에 레이블링하여 학습데이터를 생성하는 합성 데이터 생성부; 및
객체의 가상 3D 모델을 구성하여 각도, 높이, 조명 및 크기 중 어느 하나 이상을 조절하여 생성된 이미지와 다수의 배경을 합성한 이미지에 레이블링하여 학습데이터를 생성하는 가상 3D 데이터 생성부;를 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축장치.
According to claim 1, wherein the learning data construction unit,
an existing data utilization unit for generating learning data by changing the size based on the image collected from the image collecting unit and labeling the image to which a blur effect is applied;
a synthesized data generating unit that extracts an object based on the contour information of the image and generates learning data by labeling a plurality of backgrounds and synthesized images; and
Constructing a virtual 3D model of an object and adjusting any one or more of angle, height, lighting, and size, a virtual 3D data generating unit that labels an image generated by synthesizing a plurality of backgrounds and a virtual 3D data generator to generate learning data; including Learning data construction device for machine learning of power equipment, characterized in that.
객체의 영역 좌표가 존재하지 않고, 영상의 크기가 큰 이미지를 분류하는 기존 데이터 이미지 분류기; 및
상기 기존 데이터 이미지 분류기로부터 전달된 이미지를 기존 데이터 활용 알고리즘을 이용하여 레이블링하여 학습데이터를 생성하는 기존 데이터 활용 모듈;을 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축장치.
The method of claim 4, wherein the existing data utilization unit,
an existing data image classifier that classifies an image having a large image size without having an object's region coordinates; and
and an existing data utilization module for generating learning data by labeling the image transmitted from the existing data image classifier using an existing data utilization algorithm.
The power facility according to claim 5, wherein the existing data utilization module generates learning data by synthesizing a background image to which an excessive blur effect is applied to the original image and an image in which the size of the original image is adjusted. Learning data construction device for machine learning.
레이블링된 공인 데이터셋과 레이블링되지 않은 이미지를 분류하는 합성 데이터 이미지 분류기; 및
상기 합성 데이터 이미지 분류기에서 분류된 레이블링된 이미지로부터 객체 윤곽정보에 기초하여 객체만 추출된 패치를 획득한 후 배경 이미지에 상기 패치를 오버레이하여 학습데이터를 생성하는 합성 데이터 생성 모듈;을 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축장치.
5. The method of claim 4, wherein the synthesized data generating unit comprises:
a synthetic data image classifier that classifies labeled and unlabeled data sets; and
and a synthetic data generating module that generates training data by overlaid the patch on a background image after obtaining a patch from which only an object is extracted based on object contour information from the labeled image classified by the synthetic data image classifier. Learning data construction device for machine learning of electric power equipment.
The machine learning of power equipment according to claim 7, wherein the synthetic data generating module, when overlaying the patch on the background image, divides the background image into regions and then sets a region of interest to overlay the patch. Learning data building device for
전력설비 3D 모델을 수집하는 3D 모델 데이터 수집부;
상기 3D 모델 데이터 수집부에서 수집한 상기 3D 모델을 분류하는 3D 모델 분류기; 및
상기 3D 모델을 통해 객체의 패치를 획득한 후 배경 이미지에 상기 패치를 오버레이하여 학습데이터를 생성하는 가상 데이터 생성 모듈;을 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축장치.
5. The method of claim 4, wherein the virtual 3D data generation unit,
3D model data collection unit for collecting 3D models of power facilities;
a 3D model classifier for classifying the 3D model collected by the 3D model data collection unit; and
After acquiring the patch of the object through the 3D model, a virtual data generation module for generating training data by overlaying the patch on a background image;
10. The machine learning of claim 9, wherein the virtual data generation module, when overlaying the patch on the background image, divides the background image into regions and then sets a region of interest to overlay the patch. Learning data building device for
According to claim 1, wherein the artificial intelligence learning unit, YOLOv3, Spatial Pyramid Pooling and an artificial neural network model learning unit based on the TridentNet structure, characterized in that it comprises a learning data construction apparatus for machine learning of power equipment.
학습 데이터 구축부가 상기 이미지 수집부로부터 수집된 이미지에 기초하여 크기를 변화시키고 흐림 효과를 적용하여 합성한 기존 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계;
상기 학습 데이터 구축부가 이미지의 윤곽정보에 기초하여 객체를 추출하고 다수의 배경과 합성한 합성 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계;
상기 학습 데이터 구축부가 객체의 가상 3D 모델을 구성하여 각도, 높이, 조명 및 크기 중 어느 하나 이상을 조절하여 생성된 객체 이미지와 다수의 배경을 합성한 가상 데이터 이미지에 레이블링하여 학습데이터를 생성하는 단계; 및
인공지능 학습부가 상기 학습 데이터 구축부에서 구축된 학습데이터에 대해 인공 신경망 모델을 기반으로 사전 학습을 수행하는 단계;를 포함하는 것을 특징으로 하는 전력설비의 기계학습을 위한 학습 데이터 구축방법.
collecting, by an image collecting unit, images of power equipment required for artificial neural network learning from the image platform and the video platform;
generating learning data by labeling, by a learning data building unit, an existing data image synthesized by changing the size based on the image collected from the image collecting unit and applying a blur effect;
generating learning data by the learning data construction unit extracting an object based on the contour information of the image and labeling the synthesized data image synthesized with a plurality of backgrounds;
Creating learning data by labeling the virtual data image synthesized with the object image and a plurality of backgrounds generated by the learning data building unit configuring a virtual 3D model of the object and adjusting any one or more of angle, height, lighting, and size ; and
A method of constructing learning data for machine learning of electric power equipment comprising: an artificial intelligence learning unit performing prior learning based on an artificial neural network model on the learning data built by the learning data building unit.
13. The power according to claim 12, wherein the generating of training data by labeling the synthesized data image comprises synthesizing by overlaying the object extracted by setting a region of interest after the training data construction unit divides the background into regions. Learning data construction method for machine learning of equipment.
13. The method of claim 12, wherein the generating of the training data by labeling the virtual data image comprises: overlaying and synthesizing the object image obtained as a 3D model by setting a region of interest after the learning data construction unit divides the background into regions Learning data construction method for machine learning of power equipment, characterized in that.
[13] The method of claim 12, wherein in the performing of the prior learning, the artificial intelligence learning unit learns based on YOLOv3, Spatial Pyramid Pooling, and TridentNet structures.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200161144A KR102485033B1 (en) | 2020-11-26 | 2020-11-26 | Apparatus for constructing learning data for machine learning of power facilities and metho thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200161144A KR102485033B1 (en) | 2020-11-26 | 2020-11-26 | Apparatus for constructing learning data for machine learning of power facilities and metho thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220073242A true KR20220073242A (en) | 2022-06-03 |
| KR102485033B1 KR102485033B1 (en) | 2023-01-06 |
Family
ID=81983144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200161144A KR102485033B1 (en) | 2020-11-26 | 2020-11-26 | Apparatus for constructing learning data for machine learning of power facilities and metho thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102485033B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102504562B1 (en) | 2022-10-06 | 2023-02-28 | 대한민국 | A system for integrated management of disaster safety knowledge by AI |
| KR102577134B1 (en) * | 2023-03-02 | 2023-09-12 | (주) 씨이랩 | System for providing domain-specific data generating service for image analysis |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101967641B1 (en) * | 2018-09-13 | 2019-04-10 | 임강민 | Apparatus For Making A Predictive Diagnosis Of Nuclear Power Plant By Machine Learning And Augmented Reality |
| KR20190054782A (en) * | 2017-11-14 | 2019-05-22 | 국방과학연구소 | Apparatus and method for enhancing learning capacility for machine learning |
| KR20190088094A (en) * | 2017-12-29 | 2019-07-26 | 주식회사 아임클라우드 | Model learning system and method by automatic learning and data generation |
| KR20200001206A (en) * | 2018-06-27 | 2020-01-06 | 한국전력공사 | Apparatus and method for learning facilities using video file |
| KR20200039050A (en) * | 2018-10-02 | 2020-04-16 | 경북대학교 산학협력단 | Method for providing digital drawing and digital drawing providing device |
| KR20200052416A (en) * | 2018-10-25 | 2020-05-15 | 카페24 주식회사 | An apparatus for generating training set for artificial neural network performing object area extraction |
| KR20200108609A (en) * | 2019-03-11 | 2020-09-21 | 연세대학교 산학협력단 | Learning-data enhancement device for machine learning model and method for learning-data enhancement |
-
2020
- 2020-11-26 KR KR1020200161144A patent/KR102485033B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190054782A (en) * | 2017-11-14 | 2019-05-22 | 국방과학연구소 | Apparatus and method for enhancing learning capacility for machine learning |
| KR20190088094A (en) * | 2017-12-29 | 2019-07-26 | 주식회사 아임클라우드 | Model learning system and method by automatic learning and data generation |
| KR20200001206A (en) * | 2018-06-27 | 2020-01-06 | 한국전력공사 | Apparatus and method for learning facilities using video file |
| KR101967641B1 (en) * | 2018-09-13 | 2019-04-10 | 임강민 | Apparatus For Making A Predictive Diagnosis Of Nuclear Power Plant By Machine Learning And Augmented Reality |
| KR20200039050A (en) * | 2018-10-02 | 2020-04-16 | 경북대학교 산학협력단 | Method for providing digital drawing and digital drawing providing device |
| KR20200052416A (en) * | 2018-10-25 | 2020-05-15 | 카페24 주식회사 | An apparatus for generating training set for artificial neural network performing object area extraction |
| KR20200108609A (en) * | 2019-03-11 | 2020-09-21 | 연세대학교 산학협력단 | Learning-data enhancement device for machine learning model and method for learning-data enhancement |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102504562B1 (en) | 2022-10-06 | 2023-02-28 | 대한민국 | A system for integrated management of disaster safety knowledge by AI |
| KR102577134B1 (en) * | 2023-03-02 | 2023-09-12 | (주) 씨이랩 | System for providing domain-specific data generating service for image analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102485033B1 (en) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112216049B (en) | Construction warning area monitoring and early warning system and method based on image recognition | |
| Luo et al. | Traffic sign recognition using a multi-task convolutional neural network | |
| Wang et al. | Detection and localization of image forgeries using improved mask regional convolutional neural network | |
| CN105069746B (en) | Video real-time face replacement method and its system based on local affine invariant and color transfer technology | |
| CN110246141A (en) | It is a kind of based on joint angle point pond vehicles in complex traffic scene under vehicle image partition method | |
| CN107133569A (en) | The many granularity mask methods of monitor video based on extensive Multi-label learning | |
| KR102485033B1 (en) | Apparatus for constructing learning data for machine learning of power facilities and metho thereof | |
| CN108648194A (en) | Based on the segmentation of CAD model Three-dimensional target recognition and pose measuring method and device | |
| CN110110755A (en) | Based on the pedestrian of PTGAN Regional disparity and multiple branches weight recognition detection algorithm and device | |
| CN105574545B (en) | The semantic cutting method of street environment image various visual angles and device | |
| Siu et al. | A framework for synthetic image generation and augmentation for improving automatic sewer pipe defect detection | |
| CN115661932A (en) | Fishing behavior detection method | |
| Lipson | Context and configuration based scene classification | |
| Manninen et al. | Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images | |
| KR102388777B1 (en) | System for providing adjacent building pre-survey service usign 360 degree virtual reality camera | |
| CN110443179A (en) | It leaves the post detection method, device and storage medium | |
| JP6976731B2 (en) | Information processing equipment, information processing methods, and programs | |
| CN113205028A (en) | Pedestrian detection method and system based on improved YOLOv3 model | |
| Heipke et al. | Image analysis for GIS data acquisition | |
| CN103903269B (en) | The description method and system of ball machine monitor video | |
| CN116681930A (en) | Remote sensing image change detection and model training method, device and storage medium thereof | |
| CN113361520B (en) | Transmission line equipment defect detection method based on sample offset network | |
| CN109242015A (en) | Water surface area detection method and device based on space base platform visual surveillance | |
| CN108364256A (en) | A kind of image mosaic detection method based on quaternion wavelet transformation | |
| CN110910496B (en) | VR natural environment automatic construction method based on big data and AI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |