KR102281682B1 - Method and Apparatus for Generating of Image Data for Training - Google Patents

Method and Apparatus for Generating of Image Data for Training Download PDF

Info

Publication number
KR102281682B1
KR102281682B1 KR1020190093753A KR20190093753A KR102281682B1 KR 102281682 B1 KR102281682 B1 KR 102281682B1 KR 1020190093753 A KR1020190093753 A KR 1020190093753A KR 20190093753 A KR20190093753 A KR 20190093753A KR 102281682 B1 KR102281682 B1 KR 102281682B1
Authority
KR
South Korea
Prior art keywords
image data
neural network
generating
heat map
learning
Prior art date
Application number
KR1020190093753A
Other languages
Korean (ko)
Other versions
KR20210015225A (en
Inventor
고재필
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020190093753A priority Critical patent/KR102281682B1/en
Publication of KR20210015225A publication Critical patent/KR20210015225A/en
Application granted granted Critical
Publication of KR102281682B1 publication Critical patent/KR102281682B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 학습을 위한 영상데이터 생성방법 및 장치에 관한 것으로, 전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계, 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하는 단계, 적어도 하나의 제2 영상데이터를 기반으로 제3 영상데이터를 생성하는 단계 및 제3 영상데이터를 신경망에 적용하여 학습하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.The present invention relates to a method and apparatus for generating image data for learning, comprising the steps of: selecting, by an electronic device, first image data to be learned when receiving a signal for learning image data including at least one object; generating at least one second image data based on the image data, generating third image data based on the at least one second image data, and applying the third image data to a neural network to learn and can be applied to other embodiments.

Description

학습을 위한 영상데이터 생성방법 및 장치{Method and Apparatus for Generating of Image Data for Training}Image data generation method and apparatus for learning {Method and Apparatus for Generating of Image Data for Training}

본 발명은 학습을 위한 영상데이터 생성방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for generating image data for learning.

최근 다양한 종류와 방대한 양의 영상데이터들이 생성되고, 이러한 영상데이터의 자동화 처리를 위해 다양한 기술들이 개발되고 있다. 특히, 인공신경망(neural network)기술이 발전하면서, 이를 이용하여 자동으로 영상데이터를 학습하고 분류하는 기술이 산업계에 적용되고 있다. Recently, various types and vast amounts of image data are generated, and various technologies are being developed for automated processing of such image data. In particular, as neural network technology develops, a technology for automatically learning and classifying image data using this technology is being applied to the industry.

여러 개의 계층(layer)들로 구성된 구조를 갖는 인공신경망은 특히, 영상데이터를 입력하여 영상데이터의 학습을 통해 영상데이터에 포함된 객체를 검출하는데 사용된다. 이와 같이, 영상데이터를 학습하기 위해서 전자장치는 학습하고자 하는 영상데이터를 회전이동, 평행이동, 밝기조절, 확대 및 축소 등과 같이 다양한 방식으로 가공한다. 즉, 전자장치는 영상데이터를 어그멘테이션(augmentation)한 후, 인공신경망에 영상데이터 및 가공된 영상데이터들을 입력하고, 입력된 영상데이터들의 학습을 통해 영상데이터에 포함된 객체를 검출한다. In particular, an artificial neural network having a structure composed of several layers is used to input image data and detect an object included in the image data through learning of the image data. In this way, in order to learn the image data, the electronic device processes the image data to be learned in various ways such as rotational movement, parallel movement, brightness adjustment, enlargement and reduction, and the like. That is, after augmenting the image data, the electronic device inputs the image data and the processed image data to the artificial neural network, and detects an object included in the image data through learning of the input image data.

이와 같이 인공신경망을 이용하여 영상데이터에서 검출된 객체의 검출 정확도를 향상하기 위해서는 영상데이터의 어그멘테이션을 다양하게 수행해야 해므로 학습 속도가 저하되는 문제점이 발생하고, 영상데이터를 학습할 인공신경망의 계층을 많이 형성하여야 하므로 메모리의 소비가 많아지는 문제점이 발생한다. As described above, in order to improve the detection accuracy of an object detected from image data using an artificial neural network, aggregation of image data must be performed in various ways, which causes a problem in that the learning speed is lowered, and an artificial neural network to learn image data There is a problem in that memory consumption increases because many layers of

이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 학습하고자 하는 제1 영상데이터 및 제1 영상데이터의 가공으로 인해 생성된 제2 영상데이터의 결합을 통해 생성된 객체를 포함하는 영역이 강조된 제3 영상데이터를 신경망에 입력하여 강조된 영역을 집중적으로 학습하도록 할 수 있는 영상데이터 생성방법 및 장치를 제공하는 것이다. Embodiments of the present invention for solving this conventional problem are the first image data to be learned and the second image data in which the region including the object created through the combination of the second image data generated due to the processing of the first image data is emphasized. 3 It is to provide a method and apparatus for generating image data that can input image data into a neural network to intensively learn an emphasized area.

또한, 본 발명의 실시 예들은 학습하고자 하는 제1 영상데이터 및 제1 영상데이터의 가공으로부터 생성된 객체를 포함하는 영역이 강조된 제2 영상데이터를 제3 영상데이터로 신경망에 함께 입력하여 객체를 포함하는 영역을 집중적으로 학습하도록 할 수 있는 영상데이터 생성방법 및 장치를 제공하는 것이다.In addition, embodiments of the present invention include the object by inputting the first image data to be learned and the second image data emphasizing the region including the object generated from the processing of the first image data into the neural network as the third image data. An object of the present invention is to provide a method and apparatus for generating image data capable of intensively learning an area to be used.

본 발명의 실시 예에 따른 학습을 위한 영상데이터 생성방법은, 전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계, 상기 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하는 단계, 상기 적어도 하나의 제2 영상데이터를 기반으로 제3 영상데이터를 생성하는 단계 및 상기 제3 영상데이터를 신경망에 적용하여 학습하는 단계를 포함하는 것을 특징으로 한다.The method for generating image data for learning according to an embodiment of the present invention includes the steps of, when an electronic device receives a signal for learning image data including at least one object, selecting first image data to be learned; Generating at least one second image data based on one image data, generating third image data based on the at least one second image data, and applying the third image data to a neural network to learn It is characterized in that it comprises a step.

또한, 적어도 하나의 제2 영상데이터를 생성하는 단계 이전에, 상기 제3 영상데이터의 생성방법을 확인하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include, before generating at least one second image data, confirming a method of generating the third image data.

또한, 적어도 하나의 제2 영상데이터를 생성하는 단계는, 상기 제1 영상데이터를 기반으로 하는 히트맵 영상데이터의 이진화를 수행하는 단계 및 상기 이진화가 수행된 적어도 하나의 히트맵 영상데이터에 모폴로지 연산을 수행하여 상기 적어도 하나의 제2 영상데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.In addition, the generating of the at least one second image data may include performing binarization of the heat map image data based on the first image data and morphological calculation on the at least one heat map image data on which the binarization is performed. and generating the at least one second image data by performing .

또한, 생성방법을 확인하는 단계 이후에, 상기 생성방법에 따라 상기 이진화 및 상기 모폴로지 연산 각각에 대한 가중치 적용여부를 확인하는 단계를 더 포함하는 것을 특징으로 한다.In addition, after the step of confirming the generation method, it characterized in that it further comprises the step of checking whether a weight is applied to each of the binarization and the morphology operation according to the generation method.

또한, 제3 영상데이터를 신경망에 적용하여 학습하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 결합(merging)하여 생성된 상기 제3 영상데이터를 상기 신경망에 적용하여 학습하는 단계인 것을 특징으로 한다.In addition, the step of learning by applying the third image data to the neural network may include combining the third image data generated by merging the first image data and the at least one second image data according to the generating method. It is characterized in that it is a step of learning by applying it to a neural network.

또한, 제3 영상데이터를 신경망에 적용하여 학습하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터 및 상기 적어도 하나의 제2 영상데이터를 콘케트네이션(concatenation)하여 생성된 상기 제3 영상데이터를 상기 신경망에 적용하여 학습하는 단계인 것을 특징으로 한다.In addition, the learning by applying the third image data to the neural network includes the third image data generated by concatenating the first image data and the at least one second image data according to the generating method. It is characterized in that it is a step of learning by applying to the neural network.

또한, 적어도 하나의 제2 영상데이터를 생성하는 단계는, 히트맵 영상데이터를 생성하기 위한 신경망에 상기 제1 영상데이터를 적용하여 상기 신경망을 구성하는 계층 각각에 대응되는 상기 히트맵 영상데이터를 생성하는 단계 및 상기 생성된 히트맵 영상데이터 중에서 적어도 하나의 히트맵 영상데이터를 선택하는 단계를 포함하는 것을 특징으로 한다. In addition, the generating of the at least one second image data includes applying the first image data to a neural network for generating the heat map image data to generate the heat map image data corresponding to each layer constituting the neural network. and selecting at least one heat map image data from among the generated heat map image data.

아울러, 본 발명의 실시 예에 따른 학습을 위해 영상데이터를 생성하는 전자장치는, 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 학습신호를 입력하는 입력부 및 학습할 제1 영상데이터를 선택하여 상기 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하고, 상기 적어도 하나의 제2 영상데이터를 기반으로 제3 영상데이터를 생성한 후 상기 제3 영상데이터를 신경망에 적용하여 학습하는 제어부를 포함하는 것을 특징으로 한다.In addition, the electronic device for generating image data for learning according to an embodiment of the present invention selects an input unit for inputting a learning signal for learning image data including at least one object and first image data to be learned. generating at least one second image data based on the first image data, generating third image data based on the at least one second image data, and applying the third image data to a neural network to learn It is characterized in that it includes a control unit.

상술한 바와 같이 본 발명에 따른 학습을 위한 영상데이터 생성방법 및 장치는, 학습하고자 하는 제1 영상데이터 및 제1 영상데이터의 가공으로 인해 생성된 제2 영상데이터의 결합을 통해 생성된 객체를 포함하는 영역이 강조된 제3 영상데이터를 신경망에 입력하여 강조된 영역을 집중적으로 학습하도록 함으로써 영상데이터 학습을 위한 신경망의 계층을 감소시킬 수 있고, 영상데이터에 대한 어그멘테이션의 최소화를 통해 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다.As described above, the method and apparatus for generating image data for learning according to the present invention includes an object created by combining the first image data to be learned and the second image data generated by processing the first image data. The layer of the neural network for image data learning can be reduced by inputting the third image data with the highlighted region into the neural network to intensively learn the highlighted region, and image data can be learned by minimizing the aggregation of the image data. It has the effect of improving speed.

또한, 본 발명에 따른 학습을 위한 영상데이터 생성방법 및 장치는, 학습하고자 하는 제1 영상데이터 및 제1 영상데이터의 가공으로부터 생성된 객체를 포함하는 영역이 강조된 제2 영상데이터를 제3 영상데이터로 신경망에 함께 입력하여 객체가 강조된 영역을 집중적으로 학습하도록 함으로써 영상데이터 학습을 위한 신경망의 계층을 감소시킬 수 있고, 영상데이터에 대한 어그멘테이션의 최소화를 통해 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다.In addition, the method and apparatus for generating image data for learning according to the present invention provide first image data to be learned and second image data in which an area including an object generated from processing of the first image data is emphasized to the third image data. It is possible to reduce the layer of the neural network for image data learning by inputting them together into the neural network to intensively learn the area where the object is emphasized, and to improve the learning speed of image data by minimizing the aggregation of the image data. there is an effect

도 1은 본 발명의 실시 예에 따른 학습을 위한 영상데이터를 생성하는 전자장치의 주요구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 다른 학습을 위한 영상데이터를 생성하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 제2 영상데이터를 생성하는 방법을 설명하기 위한 상세순서도이다.
도 4 내지 도 6는 본 발명의 실시 예에 따른 학습을 위한 제3 영상데이터 생성 방법을 설명하기 위한 화면예시도이다.1 is a diagram showing the main configuration of an electronic device for generating image data for learning according to an embodiment of the present invention.
2 is a flowchart illustrating a method of generating image data for learning according to an embodiment of the present invention.
3 is a detailed flowchart for explaining a method of generating second image data according to an embodiment of the present invention.
4 to 6 are exemplary screen views for explaining a method of generating third image data for learning according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. In order to clearly explain the present invention in the drawings, parts irrelevant to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.

본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may indicate one of the words listed together, or a combination of two or more. For example, “A or B” or “at least one of A and B” may include only one of A or B, or both A and B.

도 1은 본 발명의 실시 예에 따른 학습을 위한 영상데이터를 생성하는 전자장치의 주요구성을 나타낸 도면이다.1 is a diagram showing the main configuration of an electronic device for generating image data for learning according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 전자장치(100)는 통신부(110), 입력부(120), 카메라부(130), 표시부(140), 메모리(150) 및 제어부(160)를 포함한다. Referring to FIG. 1 , an electronic device 100 according to the present invention includes a communication unit 110 , an input unit 120 , a camera unit 130 , a display unit 140 , a memory 150 , and a control unit 160 .

전자장치(100)의 외부에 구비된 카메라(미도시), 서버(미도시) 등의 외부장치와 통신을 수행한다. 이를 위해, 통신부(110)는 유선 또는 무선 통신 중 적어도 하나를 수행할 수 있다. 통신부(110)는 5G(5th generation mobile telecommunication), LTE(long term evolution), Wi-Fi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 등의 무선 통신을 수행할 수 있다. 통신부(110)는 외부장치와의 통신을 통해 객체를 검출하고자 하는 영상데이터를 수신하여 제어부(160)로 제공한다. Communication is performed with an external device such as a camera (not shown) and a server (not shown) provided outside the electronic device 100 . To this end, the communication unit 110 may perform at least one of wired or wireless communication. The communication unit 110 may perform wireless communication such as 5G (5 th generation mobile telecommunication) , LTE (long term evolution), Wi-Fi (wireless fidelity), Bluetooth (bluetooth), BLE (bluetooth low energy). The communication unit 110 receives image data for detecting an object through communication with an external device and provides it to the control unit 160 .

입력부(120)는 전자장치(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 입력부(120)는 적어도 하나의 입력수단을 포함한다. 이러한 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 키보드(keyboard), 마우스(mouse), 터치 키(touch key) 중 적어도 하나를 포함한다. The input unit 120 generates input data in response to a user input of the electronic device 100 . The input unit 120 includes at least one input means. The input unit 120 includes at least one of a keypad, a dome switch, a touch panel, a keyboard, a mouse, and a touch key.

카메라부(130)는 전자장치(100)의 특정 위치에 배치되거나, 전자장치(100)의 외부에서 전자장치(100)와 연결되어 영상데이터를 획득한다. 이를 위해, 카메라부(130)는 광학적 신호를 수신하여 영상데이터를 발생시킨다. 카메라부(130)는 카메라 센서와 신호변환부를 구비할 수 있다. 카메라 센서는 광학적 신호를 전기적 영상신호로 변환한다. 신호변환부는 아날로그 영상신호를 디지털 영상데이터로 변환한다. The camera unit 130 is disposed at a specific location of the electronic device 100 or is connected to the electronic device 100 from the outside of the electronic device 100 to obtain image data. To this end, the camera unit 130 receives the optical signal to generate image data. The camera unit 130 may include a camera sensor and a signal conversion unit. The camera sensor converts an optical signal into an electrical image signal. The signal converter converts the analog image signal into digital image data.

표시부(140)는 표시데이터를 출력한다. 예를 들면, 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등을 포함할 수 있다. 표시부(140)는 입력부(120)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다. The display unit 140 outputs display data. For example, it may include a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and the like. The display unit 140 may be combined with the input unit 120 to be implemented as a touch screen.

메모리(150)는 전자장치(100)의 동작 프로그램들을 저장할 수 있다. 메모리(150)는 영상데이터 내에 포함된 적어도 하나의 객체를 검출하기 위해 영상데이터를 학습할 수 있는 분류신경망(classification neural network, 이하, 신경망이라 함)을 저장한다. 또한, 메모리(150)는 학습하고자 하는 영상데이터를 이용하여 히트맵 영상데이터를 생성할 수 있는 Grad-Cam신경망 또는 인코더-디코더 신경망을 저장한다. The memory 150 may store operation programs of the electronic device 100 . The memory 150 stores a classification neural network (hereinafter, referred to as a neural network) capable of learning image data in order to detect at least one object included in the image data. In addition, the memory 150 stores a Grad-Cam neural network or an encoder-decoder neural network capable of generating heat map image data using image data to be learned.

제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호가 수신되면 메모리(150)에 저장된 신경망에 적용하여 학습시킬 제1 영상데이터를 선택한다. 이때, 제어부(160)는 입력부(120)의 입력에 따라 카메라부(130)에서 획득된 영상데이터, 전자장치(100)의 외부에 구비된 외부장치로부터 수신된 영상데이터 및 메모리(150)에 기저장된 영상데이터 중 어느 하나의 영상데이터를 제1 영상데이터로 선택할 수 있다.When a learning signal for learning image data including at least one object is received from the input unit 120 , the controller 160 selects first image data to be learned by applying it to the neural network stored in the memory 150 . In this case, the controller 160 writes the image data obtained from the camera unit 130 according to the input of the input unit 120 , image data received from an external device provided outside the electronic device 100 , and the memory 150 . Any one of the stored image data may be selected as the first image data.

제어부(160)는 제3 영상데이터의 생성방법을 확인한다. 이때, 제어부(160)는 입력부(120)로부터 수신된 제3 영상데이터의 생성방법을 기반으로 확인할 수 있고, 기저장된 제3 영상데이터의 생성방법을 확인할 수 있다. 제3 영상데이터의 생성방법은 제1 영상데이터와 하나의 제2 영상데이터를 결합(merging)하여 하나의 제3 영상데이터를 생성하는 제1 생성방법과, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 컨케트네이션(concatenation)하여 제3 영상데이터로 생성하는 제2 생성방법을 포함할 수 있다.The controller 160 confirms a method of generating the third image data. In this case, the control unit 160 may check based on the method of generating the third image data received from the input unit 120 , and may check the method of generating the pre-stored third image data. The third image data generating method includes a first generating method of generating one third image data by merging the first image data and one second image data, and the first image data and at least one second image data. The method may include a second generation method of generating third image data by concatenating the image data.

제어부(160)는 제1 영상데이터를 기반으로 제2 영상데이터를 생성한다. 보다 구체적으로, 제어부(160)는 제1 영상데이터를 기반으로 히트맵 영상데이터를 생성한다. 이를 위해, 제어부(160)는 Grad-Cam신경망 또는 인코더-디코더 신경망 중 어느 하나의 신경망에 제1 영상데이터를 입력하여 히트맵 영상데이터를 생성한다. 제어부(160)는 는 Grad-Cam신경망 또는 인코더-디코더 신경망 중 어느 하나의 신경망에 의해 생성된 히트맵 영상데이터에 이진화 및 모폴로지 연산을 순차적으로 적용하여 제2 영상데이터를 생성한다. 이때, 제어부(160)는 제3 영상데이터의 생성방법이 제1 생성방법인 것으로 확인되면, 이진화 및 모폴로지 연산 시에 적용할 가중치를 확인할 수 있다. The controller 160 generates second image data based on the first image data. More specifically, the controller 160 generates heat map image data based on the first image data. To this end, the controller 160 generates heat map image data by inputting the first image data into any one of the Grad-Cam neural network and the encoder-decoder neural network. The controller 160 generates second image data by sequentially applying binarization and morphological operations to the heat map image data generated by any one of the Grad-Cam neural network or the encoder-decoder neural network. In this case, when it is confirmed that the third image data generating method is the first generating method, the controller 160 may determine a weight to be applied during binarization and morphology calculation.

제어부(160)는 제2 영상데이터가 생성되면, 확인된 생성방법에 의해 제3 영상데이터를 생성하고, 생성된 제3 영상데이터를 신경망에 적용한다. 보다 구체적으로, 제어부(160)는 제3 영상데이터의 생성방법이 제1 생성방법이면, 제1 영상데이터와 제2 영상데이터를 결합하여 하나의 제3 영상데이터를 생성하고, 생성된 제3 영상데이터를 신경망에 적용한다. 예컨대, 제어부(160)는 복수의 계층으로 구성된 Grad-Cam신경망에 의해 생성된 복수의 히트맵 영상데이터 중에서 선택된 어느 하나의 히트맵 영상데이터 또는 인코더-디코더 신경망에 의해 생성된 히트맵 영상데이터를 기반으로 생성된 제2 영상데이터와 제1 영상데이터를 결합하여 하나의 제3 영상데이터를 생성할 수 있다. When the second image data is generated, the controller 160 generates the third image data according to the confirmed generation method, and applies the generated third image data to the neural network. More specifically, if the generating method of the third image data is the first generating method, the controller 160 generates one third image data by combining the first image data and the second image data, and the generated third image Apply the data to the neural network. For example, the controller 160 is based on any one heat map image data selected from among a plurality of heat map image data generated by the Grad-Cam neural network composed of a plurality of layers or the heat map image data generated by the encoder-decoder neural network. One third image data may be generated by combining the second image data and the first image data generated by .

또한, 제어부(160)는 제3 영상데이터의 생성방법이 제2 생성방법이면, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 콘케트네이션(concatenation)하여 제3 영상데이터를 생성하고, 생성된 제3 영상데이터를 신경망에 적용한다. 예컨대, 제2 영상데이터가 복수의 계층으로 구성된 Grad-Cam신경망에 의해 생성된 복수의 히트맵 영상데이터를 기반으로 생성된 복수의 제2 영상데이터이면, 제어부(160)는 복수의 제2 영상데이터와 제1 영상데이터를 콘케트네이션하여 생성된 제3 영상데이터를 신경망에 적용할 수 있다. 또한, 제2 영상데이터가 인코더-디코더 신경망에 의해 생성된 히트맵 영상데이터이거나, 복수의 히트맵 영상데이터 중에서 선택된 어느 하나의 히트맵 영상데이터를 기반으로 생성된 상태이면, 제어부(160)는 제1 영상데이터와 제2 영상데이터를 콘케트네이션하여 생성된 제3 영상데이터를 신경망에 적용할 수 있다. 이때, 제어부(160)는 제3 영상데이터를 신경망에 적용할 때, 복수의 채널을 이용하여 신경망에 적용시킬 수 있다.In addition, if the method of generating the third image data is the second generating method, the controller 160 generates the third image data by concatenating the first image data and the at least one second image data, and generates the third image data. The obtained third image data is applied to the neural network. For example, if the second image data is a plurality of second image data generated based on a plurality of heat map image data generated by a Grad-Cam neural network composed of a plurality of layers, the controller 160 may control the plurality of second image data And the third image data generated by concatenating the first image data may be applied to the neural network. In addition, if the second image data is heat map image data generated by the encoder-decoder neural network or is generated based on any one heat map image data selected from among a plurality of heat map image data, the controller 160 may The third image data generated by concatenating the first image data and the second image data may be applied to the neural network. In this case, when applying the third image data to the neural network, the controller 160 may apply the third image data to the neural network using a plurality of channels.

제어부(160)는 신경망에 적용된 제3 영상데이터에 대한 학습이 완료되면, 학습결과로 검출된 제1 영상데이터에 포함된 객체를 메모리(150)에 저장한다.When the learning of the third image data applied to the neural network is completed, the controller 160 stores the object included in the first image data detected as a learning result in the memory 150 .

도 2는 본 발명의 실시 예에 다른 학습을 위한 영상데이터를 생성하는 방법을 설명하기 위한 순서도이다. 2 is a flowchart illustrating a method of generating image data for learning according to an embodiment of the present invention.

도 2를 참조하면, 201단계에서 제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호의 수신여부를 확인한다. 201단계에서 학습신호가 수신된 것으로 확인되면 제어부(160)는 203단계를 수행하고, 학습신호가 수신되지 않으면 제어부(160)는 201단계로 회귀하여 학습신호의 수신을 대기한다.Referring to FIG. 2 , in step 201 , the controller 160 checks whether a learning signal for learning image data including at least one object is received from the input unit 120 . If it is confirmed in step 201 that the learning signal has been received, the control unit 160 performs step 203. If the learning signal is not received, the control unit 160 returns to step 201 and waits for the reception of the learning signal.

203단계에서 제어부(160)는 메모리(150)에 저장된 분류신경망(classification neural network, 이하 신경망이라 함)에 적용하여 학습시킬 제1 영상데이터를 선택한다. 이때, 제어부(160)는 입력부(120)의 입력에 따라 카메라부(130)에서 획득된 영상데이터, 전자장치(100)의 외부에 구비된 외부장치로부터 수신된 영상데이터 및 메모리(150)에 기저장된 영상데이터 중 어느 하나의 영상데이터를 제1 영상데이터로 선택할 수 있다.In step 203 , the controller 160 selects first image data to be learned by applying it to a classification neural network (hereinafter referred to as a neural network) stored in the memory 150 . In this case, the controller 160 writes the image data obtained from the camera unit 130 according to the input of the input unit 120 , image data received from an external device provided outside the electronic device 100 , and the memory 150 . Any one of the stored image data may be selected as the first image data.

205단계에서 제어부(160)는 제3 영상데이터의 생성방법을 확인한다. 이때, 제어부(160)는 입력부(120)로부터 수신된 제3 영상데이터의 생성방법을 기반으로 확인할 수 있고, 기저장된 제3 영상데이터의 생성방법을 확인할 수 있다. 제3 영상데이터의 생성방법은 제1 영상데이터와 하나의 제2 영상데이터를 결합하여 제3 영상데이터를 생성하는 제1 생성방법과, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 컨케트네이션(concatenation)하여 제3 영상데이터로 생성하는 제2 생성방법을 포함할 수 있다. In step 205, the controller 160 checks the method of generating the third image data. In this case, the control unit 160 may check based on the method of generating the third image data received from the input unit 120 , and may check the method of generating the pre-stored third image data. The third image data generating method includes a first generating method of generating third image data by combining the first image data and one second image data, and a concatenation of the first image data and at least one second image data. A second generation method of generating the third image data by concatenation may be included.

207단계에서 제어부(160)는 제1 영상데이터를 기반으로 제2 영상데이터를 생성한다. 이때, 제2 영상데이터를 생성하는 방법은 하기의 도 3을 이용하여 상세히 설명하기로 한다. 도 3은 본 발명의 실시 예에 따른 제2 영상데이터를 생성하는 방법을 설명하기 위한 상세순서도이다. In step 207, the controller 160 generates second image data based on the first image data. In this case, a method of generating the second image data will be described in detail with reference to FIG. 3 below. 3 is a detailed flowchart for explaining a method of generating second image data according to an embodiment of the present invention.

도 3을 참조하면, 301단계에서 제어부(160)는 제1 영상데이터를 기반으로 히트맵 영상데이터를 생성한다. 이때, 제어부(160)는 Grad-Cam신경망 또는 인코더-디코더 신경망 중 어느 하나의 신경망에 제1 영상데이터를 입력하여 히트맵 영상데이터를 생성한다. 보다 구체적으로, 제어부(160)는 특정 영상데이터에서 학습할 객체가 포함된 제1 영상데이터와 학습할 객체가 포함되어 있지 않은 영상데이터를 추출하고, 추출된 영상데이터를 Grad-Cam신경망에 입력할 수 있다. 추출된 영상데이터는 Grad-Cam신경망을 구성하는 복수의 계층에 의해 복수의 히트맵 영상데이터로 생성된다. 이때, 히트맵 영상데이터는, 제1 영상데이터에 포함된 객체와 관련된 픽셀이 강조된 영상데이터일 수 있다.Referring to FIG. 3 , in step 301 , the controller 160 generates heat map image data based on the first image data. At this time, the controller 160 generates heat map image data by inputting the first image data into any one of the Grad-Cam neural network and the encoder-decoder neural network. More specifically, the controller 160 extracts the first image data including the object to be learned from the specific image data and the image data not including the object to be learned, and inputs the extracted image data to the Grad-Cam neural network. can The extracted image data is generated as a plurality of heat map image data by a plurality of layers constituting the Grad-Cam neural network. In this case, the heat map image data may be image data in which pixels related to an object included in the first image data are emphasized.

또한, 제어부(160)는 특정 영상데이터에서 학습할 객체가 포함된 제1 영상데이터를 인코더-디코더 신경망에 입력할 수 있다. 인코더-디코더 신경망에 입력된 제1 영상데이터는 제1 영상데이터 중에서 객체를 포함한 영역이 강조된 히트맵 영상데이터로 생성된다. 이때, 인코더-디코더 신경망은 U-Net, Pix2Pix GAN 신경망 등일 수 있다. Also, the controller 160 may input first image data including an object to be learned from specific image data into the encoder-decoder neural network. The first image data input to the encoder-decoder neural network is generated as heat map image data in which a region including an object is emphasized among the first image data. In this case, the encoder-decoder neural network may be a U-Net, Pix2Pix GAN neural network, or the like.

303단계에서 제어부(160)는 입력부(120)로부터 제2 영상데이터를 생성하기 위해 히트맵 영상데이터에 대한 선택신호가 수신되면 305단계를 수행하고, 선택신호가 수신되지 않으면 307단계를 수행한다. 305단계에서 제어부(160)는 301단계에서 Grad-Cam신경망을 구성하는 복수의 계층에 의해 생성된 복수의 히트맵 영상데이터 중에서 객체와 관련된 픽셀이 가장 많은 어느 하나의 히트맵 영상데이터를 선택하고 307단계를 수행한다. In step 303 , the controller 160 performs step 305 when a selection signal for heat map image data is received to generate second image data from the input unit 120 , and performs step 307 when the selection signal is not received. In step 305, the controller 160 selects any one heat map image data having the most pixels related to the object from among the plurality of heat map image data generated by the plurality of layers constituting the Grad-Cam neural network in step 301, and 307 Follow the steps.

307단계에서 제어부(160)는 301단계에서 Grad-Cam신경망에 의해 생성된 복수의 히트맵 영상데이터, 301단계에서 인코더-디코더 신경망에 의해 생성된 히트맵 영상데이터 및 305단계에서 선택된 히트맵 영상데이터 중 어느 하나를 제2 영상데이터로 생성하기 위해 가중치를 적용해야 하는 것으로 확인되면 309단계를 수행한다. 반대로, 제어부(160)는 히트맵 영상데이터에 가중치를 적용하지 않아도 되는 것으로 확인되면 311단계를 수행한다. 즉, 제어부(160)는 205단계에서 확인된 생성방법이 제1 생성방법이면 309단계를 수행하고, 205단계에서 확인된 생성방법이 제2 생성방법이면 311단계를 수행한다. In step 307, the control unit 160 controls the plurality of heat map image data generated by the Grad-Cam neural network in step 301, the heat map image data generated by the encoder-decoder neural network in step 301, and the heat map image data selected in step 305 If it is determined that a weight needs to be applied to generate any one of the second image data as the second image data, step 309 is performed. Conversely, if it is determined that the weight does not need to be applied to the heat map image data, the controller 160 performs step 311 . That is, if the generating method checked in step 205 is the first generating method, the controller 160 performs step 309, and if the generating method checked in step 205 is the second generating method, step 311 is performed.

311단계에서 제어부(160)는 히트맵 영상데이터의 이진화를 수행하고, 313단계에서 제어부(160)는 이진화된 히트맵 영상데이터에 모폴로지 연산을 수행한다. 이어서 315단계에서 제어부(160)는 모폴로지 연산된 히트맵 영상데이터를 제2 영상데이터로 생성하고 도 2의 209단계로 리턴한다. 이때, 제어부(160)는 히트맵 영상데이터가 복수개이면, 복수개의 히트맵 영상데이터 각각에 대하여 이진화 및 모폴로지 연산을 수행할 수 있다. In step 311, the controller 160 binarizes the heat map image data, and in step 313, the controller 160 performs a morphological operation on the binarized heat map image data. Subsequently, in step 315 , the controller 160 generates the morphologically calculated heat map image data as second image data and returns to step 209 of FIG. 2 . In this case, if there are a plurality of heat map image data, the controller 160 may perform binarization and morphological operation on each of the plurality of heat map image data.

반대로, 309단계에서 제어부(160)는 히트맵 영상데이터에 적용해야 하는 가중치를 확인한다. 이때, 가중치는 이진화 및 모폴로지 연산 수행 시에 각각 적용하는 가중치에 관한 것으로 입력부(120)로부터 입력될 수 있고, 기설정될 수 있다. 311단계에서 제어부(160)는 309단계에서 확인된 가중치 중에서 이진화 수행 시에 적용할 가중치를 적용하여 히트맵 영상데이터의 이진화를 수행한다. 313단계에서 제어부(160)는 모폴로지 연산 수행 시에 적용할 가중치를 적용하여 이진화된 히트맵 영상데이터에 모폴로지 연산을 수행한다. 이어서 315단계에서 제어부(160)는 모폴로지 연산된 히트맵 영상데이터를 제2 영상데이터로 생성하고 도 2의 209단계로 리턴한다. Conversely, in step 309, the controller 160 checks the weight to be applied to the heat map image data. In this case, the weight relates to a weight applied to each of the binarization and morphological operations, and may be input from the input unit 120 or may be preset. In step 311 , the controller 160 binarizes the heat map image data by applying a weight to be applied when performing binarization among the weights checked in step 309 . In step 313 , the controller 160 performs a morphology operation on the binarized heat map image data by applying a weight to be applied when performing the morphology operation. Subsequently, in step 315 , the controller 160 generates the morphologically calculated heat map image data as second image data and returns to step 209 of FIG. 2 .

209단계에서 제어부(160)는 205단계에서 확인된 생성방법에 의해 생성된 제3 영상데이터를 신경망에 적용한다. 제어부(160)는 205단계에서 확인된 생성방법이 제1 생성방법이면, 제1 영상데이터와 제2 영상데이터를 결합하여 생성된 제3 영상데이터를 신경망에 적용한다. 예컨대, 제어부(160)는 인코더-디코더 신경망에 의해 생성된 히트맵 영상데이터를 기반으로 생성된 제2 영상데이터 또는 복수의 히트맵 영상데이터 중에서 선택된 어느 하나의 히트맵 영상데이터를 기반으로 생성된 제2 영상데이터 중 어느 하나의 영상데이터와 제1 영상데이터를 결합하여 하나의 제3 영상데이터를 생성할 수 있다. In step 209, the controller 160 applies the third image data generated by the generation method confirmed in step 205 to the neural network. If the generating method confirmed in step 205 is the first generating method, the controller 160 applies the third image data generated by combining the first image data and the second image data to the neural network. For example, the controller 160 may control second image data generated based on the heat map image data generated by the encoder-decoder neural network or the second image data generated based on any one heat map image data selected from among a plurality of heat map image data. One third image data may be generated by combining any one of the two image data and the first image data.

또한, 제어부(160)는 205단계에서 확인된 생성방법이 제2 생성방법이면, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 콘케트네이션(concatenation)하여 생성된 제3 영상데이터를 신경망에 적용하여 학습을 수행한다. 예컨대, 제2 영상데이터가 Grad-Cam신경망에 의해 생성된 복수의 히트맵 영상데이터 각각을 기반으로 생성된 상태이면, 제어부(160)는 제1 영상데이터와 복수의 제2 영상데이터를 콘케트네이션하여 생성된 제3 영상데이터를 신경망에 적용할 수 있다. 또한, 제2 영상데이터가 인코더-디코더 신경망에 의해 생성된 히트맵 영상데이터이거나, 복수의 히트맵 영상데이터 중에서 선택된 어느 하나의 히트맵 영상데이터를 기반으로 생성된 상태이면, 제어부(160)는 제1 영상데이터와 제2 영상데이터를 콘케트네이션하여 생성된 제3 영상데이터를 신경망에 적용할 수 있다. 이때, 제어부(160)는 제3 영상데이터를 신경망에 적용할 때, 복수의 채널을 이용하여 신경망에 적용시킬 수 있다.In addition, if the generating method confirmed in step 205 is the second generating method, the controller 160 transmits the third image data generated by concatenating the first image data and at least one second image data to the neural network. Apply and learn. For example, if the second image data is generated based on each of the plurality of heat map image data generated by the Grad-Cam neural network, the controller 160 concatenates the first image data and the plurality of second image data. The generated third image data can be applied to the neural network. In addition, if the second image data is heat map image data generated by the encoder-decoder neural network or is generated based on any one heat map image data selected from among a plurality of heat map image data, the controller 160 may The third image data generated by concatenating the first image data and the second image data may be applied to the neural network. In this case, when applying the third image data to the neural network, the controller 160 may apply the third image data to the neural network using a plurality of channels.

211단계에서 제어부(160)는 학습이 완료되면 213단계를 수행하고, 학습이 완료되지 않으면 학습완료를 대기한다. 213단계에서 제어부(160)는 학습완료의 결과로 검출된 제1 영상데이터에 포함된 객체를 메모리(150)에 저장한다. In step 211, the controller 160 performs step 213 when the learning is completed, and waits for the completion of the learning if the learning is not completed. In step 213 , the controller 160 stores the object included in the first image data detected as a result of learning completion in the memory 150 .

도 4는 내지 도 6는 본 발명의 실시 예에 따른 학습을 위한 제3 영상데이터 생성 방법을 설명하기 위한 화면예시도이다. 4 to 6 are exemplary screen views for explaining a method of generating third image data for learning according to an embodiment of the present invention.

도 4 내지 도 6을 참조하면, 제어부(160)는 도 4의 (a)와 같이 학습하고자 하는 객체(411)가 포함된 제1 영상데이터(410)를 선택하고, 제3 영상데이터의 생성방법을 확인한다. 제어부(160)의 확인결과 제1 생성방법으로 확인되면, 제어부(160)는 제1 영상데이터(410)를 Grad-Cam신경망 또는 인코더-디코더 신경망 중 어느 하나의 신경망에 입력하여 객체를 포함한 영역이 강조된 히트맵 영상데이터를 생성한다. 이때, 제어부(160)는 복수의 계층으로 구성된 Grad-Cam신경망에 제1 영상데이터를 입력하여 학습한 결과로 각 계층에 대응되는 복수의 히트맵 영상데이터가 생성되면 복수의 히트맵 영상데이터 중에서 하나의 히트맵 영상데이터를 선택할 수 있다. 4 to 6 , the controller 160 selects the first image data 410 including the object 411 to be learned as shown in FIG. 4A , and generates the third image data. check If the confirmation result of the controller 160 is confirmed as the first generation method, the controller 160 inputs the first image data 410 into any one of the Grad-Cam neural network or the encoder-decoder neural network, so that the region including the object is Generates highlighted heat map image data. At this time, when a plurality of heat map image data corresponding to each layer is generated as a result of inputting and learning the first image data to the Grad-Cam neural network composed of a plurality of layers, the controller 160 selects one of the plurality of heat map image data. of heat map image data can be selected.

제어부(160)는 생성된 히트맵 영상데이터를 이진화 및 모폴로지 연산을 순차적으로 수행하여 도 4의 (b)와 같이 객체(421)가 강조된 제2 영상데이터(420)를 생성한다. 이때, 제어부(160)는 이진화 및 모폴로지 연산 시에 확인된 가중치를 각각 적용할 수 있다. 이어서, 제어부(160)는 도 4의 (a)와 (b)에 도시된 제1 영상데이터(410) 및 제2 영상데이터(420)를 결합하여 도 4의 (c)와 같이 객체의 주변영역(431)이 하이라이팅된 제3 영상데이터(430)를 생성하고, 하나의 채널을 이용하여 제3 영상데이터(430)를 신경망에 입력한다. 이와 같이, 제어부(160)는 이진화 및 모폴로지 연산 시에 적용되는 가중치에 따라 주변영역(431)의 범위를 조절할 수 있다. 아울러, 본 발명은 객체의 주변영역(431)이 하이라이팅된 제3 영상데이터(430)를 신경망에 입력하여 주변영역(431)을 집중적으로 학습할 수 있도록 하여 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다. The controller 160 generates second image data 420 in which the object 421 is emphasized as shown in FIG. 4B by sequentially performing binarization and morphological operation on the generated heat map image data. In this case, the controller 160 may apply the weights checked during binarization and morphology calculation, respectively. Next, the controller 160 combines the first image data 410 and the second image data 420 shown in FIGS. 4A and 4B to combine the peripheral area of the object as shown in FIG. 4C . 431 generates the highlighted third image data 430 and inputs the third image data 430 to the neural network using one channel. As such, the controller 160 may adjust the range of the peripheral region 431 according to a weight applied during binarization and morphology calculation. In addition, the present invention can improve the learning speed of image data by inputting the third image data 430 in which the peripheral region 431 of the object is highlighted to the neural network so that the peripheral region 431 can be intensively learned. It works.

제어부(160)는 도 5의 (a)와 같이 학습하고자 하는 객체(511)가 포함된 제1 영상데이터(510)를 선택하고, 제3 영상데이터의 생성방법을 확인한다. 제어부(160)의 확인결과 제2 생성방법으로 확인되면, 제어부(160)는 제1 영상데이터(510)를 Grad-Cam신경망 또는 인코더-디코더 신경망 중 어느 하나의 신경망에 입력하여 객체를 포함한 영역이 강조된 히트맵 영상데이터를 생성한다. 만약, 제1 영상데이터(510)가 복수의 계층으로 구성된 Grad-Cam신경망에 적용되어 학습한 결과로 각 계층에 대응되는 복수의 히트맵 영상데이터가 생성되면 제어부(160)는 복수의 히트맵 영상데이터 중에서 하나의 히트맵 영상데이터를 선택할 수 있다. The controller 160 selects the first image data 510 including the object 511 to be learned as shown in FIG. 5A , and confirms a method of generating the third image data. If it is confirmed as the second generation method as a result of the confirmation of the controller 160, the controller 160 inputs the first image data 510 to any one of the Grad-Cam neural network or the encoder-decoder neural network to determine the area including the object. Generates highlighted heat map image data. If the first image data 510 is applied to the Grad-Cam neural network composed of a plurality of layers to generate a plurality of heat map image data corresponding to each layer as a result of learning, the controller 160 controls the plurality of heat map images One heat map image data may be selected from among the data.

제어부(160)는 생성된 히트맵 영상데이터를 이진화 및 모폴로지 연산을 순차적으로 수행하여 도 5의 (b)와 같이 객체(521)가 강조된 제2 영상데이터(520)를 생성한다. 이때, 제3 영상데이터의 생성방법이 제2 생성방법이므로 제어부(160)는 이진화 및 모폴로지 연산 수행 시에 별도의 가중치를 적용하지 않을 수 있다. 이어서, 제어부(160)는 도 5의 (a)와 (b)에 도시된 제1 영상데이터(510)와 제2 영상데이터(520)를 콘케트네이션(concatenation)하여 제3 영상데이터(530)를 생성하고, 두 개의 채널을 이용하여 제3 영상데이터(530)를 신경망에 입력한다. 이와 같이, 본 발명은 제1 영상데이터(510)와 제2 영상데이터(520)에 포함된 객체(511, 521)와 관련된 픽셀을 집중적으로 학습할 수 있도록 하여 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다.The controller 160 generates second image data 520 in which the object 521 is emphasized as shown in FIG. 5B by sequentially performing binarization and morphological operation on the generated heat map image data. In this case, since the third image data generation method is the second generation method, the controller 160 may not apply a separate weight when performing binarization and morphology operations. Next, the controller 160 concatenates the first image data 510 and the second image data 520 shown in FIGS. 5A and 5B to perform a concatenation of the third image data 530 . , and input the third image data 530 to the neural network using two channels. As described above, according to the present invention, the learning speed of image data can be improved by intensively learning the pixels related to the objects 511 and 521 included in the first image data 510 and the second image data 520 . there is an effect

또한, 제어부(160)는 도 6의 (a)와 같이 학습하고자 하는 객체(611)가 포함된 제1 영상데이터(610)를 선택하고, 제3 영상데이터의 생성방법을 확인한다. 제어부(160)의 확인결과 제2 생성방법으로 확인되면, 제어부(160)는 제1 영상데이터(610)를 Grad-Cam신경망에 입력하여 Grad-Cam신경망을 구성하는 계층 예컨대, 두 개의 계층에 의해 생성된 두 개의 히트맵 영상데이터를 생성한다. 제어부(160)는 생성된 두 개의 히트맵 영상데이터 각각에 이진화 및 모폴로지 연산을 순차적으로 수행하여 도 6의 (b) 및 (c)와 같이 객체(621, 622)가 강조된 제2 영상데이터(620a, 620b)를 생성한다. 이때, 제3 영상데이터의 생성방법이 제2 생성방법이므로 제어부(160)는 이진화 및 모폴로지 연산 수행 시에 별도의 가중치를 적용하지 않을 수 있다. In addition, the controller 160 selects the first image data 610 including the object 611 to be learned as shown in FIG. 6A , and confirms a method of generating the third image data. If it is confirmed as the second generation method as a result of the verification of the control unit 160, the control unit 160 inputs the first image data 610 to the Grad-Cam neural network and uses the layers constituting the Grad-Cam neural network, for example, by two layers. Generate two generated heat map image data. The control unit 160 sequentially performs binarization and morphological operations on each of the two generated heat map image data, and as shown in (b) and (c) of FIG. 6 , the second image data 620a in which the objects 621 and 622 are emphasized. , 620b). In this case, since the third image data generation method is the second generation method, the controller 160 may not apply a separate weight when performing binarization and morphology operations.

이어서, 제어부(160)는 도 6의 (a) 내지 (c)에 도시된 제1 영상데이터(610)와 제2 영상데이터(620a, 620b)를 콘케트네이션하여 제3 영상데이터(630)를 생성하고, 세 개의 채널을 이용하여 제3 영상데이터(630)를 신경망에 입력한다. 이와 같이, 본 발명은 제1 영상데이터(610)와 제2 영상데이터(620a, 620b)에 포함된 객체(611, 621, 622)와 관련된 픽셀을 집중적으로 학습할 수 있도록 하여 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다.Next, the controller 160 concatenates the first image data 610 and the second image data 620a and 620b shown in FIGS. 6A to 6C to generate the third image data 630 . and input the third image data 630 to the neural network using three channels. As described above, the present invention enables intensive learning of pixels related to the objects 611, 621, and 622 included in the first image data 610 and the second image data 620a, 620b, so that the learning speed of the image data has the effect of improving

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples in order to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modifications derived based on the technical spirit of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.

Claims (8)

전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계;
상기 제1 영상데이터를 Grad-cam신경망에 입력하여 상기 Grad-cam신경망을 구성하는 복수의 계층 각각에 대응되는 복수의 히트맵 영상데이터를 생성하거나, 상기 제1 영상데이터를 인코더-디코더 신경망에 입력하여 하나의 히트맵 영상데이터를 생성하는 단계;
상기 Grad-cam신경망에 의해 생성된 복수의 히트맵 영상데이터 또는 상기 인코더-디코더 신경망에 의해 생성된 하나의 히트맵 영상데이터에 이진화 및 모폴로지 연산을 순차적으로 적용하여 적어도 하나의 제2 영상데이터를 생성하는 단계;
상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 결합(merging)하는 제1 생성방법 또는 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 콘케트네이션(concatenation)하는 제2 생성방법을 이용하여 제3 영상데이터를 생성하는 단계; 및
상기 제3 영상데이터를 신경망에 적용하고 학습하여 상기 적어도 하나의 객체를 학습결과로 검출하는 단계;
를 포함하는 것을 특징으로 하는 영상데이터 생성방법.selecting first image data to be learned when the electronic device receives a signal for learning image data including at least one object;
The first image data is input to the Grad-cam neural network to generate a plurality of heat map image data corresponding to each of a plurality of layers constituting the Grad-cam neural network, or the first image data is input to the encoder-decoder neural network. to generate one heat map image data;
At least one second image data is generated by sequentially applying binarization and morphological operation to a plurality of heat map image data generated by the Grad-cam neural network or one heat map image data generated by the encoder-decoder neural network. to do;
A first generating method of merging the first image data and the at least one second image data, or a second generating method of concatenating the first image data and the at least one second image data generating third image data using the method; and
detecting the at least one object as a learning result by applying and learning the third image data to a neural network;
Image data generating method comprising a. 제1항에 있어서,
상기 적어도 하나의 제2 영상데이터를 생성하는 단계 이전에,
상기 제3 영상데이터의 생성방법을 확인하는 단계;
를 더 포함하는 것을 특징으로 하는 영상데이터 생성방법. According to claim 1,
Before generating the at least one second image data,
confirming the method of generating the third image data;
Image data generating method, characterized in that it further comprises. 삭제delete 제2항에 있어서,
상기 생성방법을 확인하는 단계 이후에,
상기 생성방법에 따라 상기 이진화 및 상기 모폴로지 연산 각각에 대한 가중치 적용여부를 확인하는 단계;
를 더 포함하는 것을 특징으로 하는 영상데이터 생성방법. 3. The method of claim 2,
After confirming the production method,
checking whether a weight is applied to each of the binarization and the morphology operation according to the generation method;
Image data generating method, characterized in that it further comprises. 삭제delete 삭제delete 삭제delete 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 학습신호를 입력하는 입력부; 및
학습할 제1 영상데이터를 선택하고, 상기 제1 영상데이터를 Grad-cam신경망에 입력하여 상기 Grad-cam신경망을 구성하는 복수의 계층 각각에 대응되는 복수의 히트맵 영상데이터를 생성하거나, 상기 제1 영상데이터를 인코더-디코더 신경망에 입력하여 하나의 히트맵 영상데이터를 생성하고,
상기 Grad-cam신경망에 의해 생성된 복수의 히트맵 영상데이터 또는 상기 인코더-디코더 신경망에 의해 생성된 하나의 히트맵 영상데이터에 이진화 및 모폴로지 연산을 순차적으로 적용하여 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 이용하여 제3 영상데이터를 생성한 후 상기 제3 영상데이터를 신경망에 적용하고 학습하여 상기 적어도 하나의 객체를 학습결과로 검출하는 제어부;
를 포함하고,
상기 제어부는,
상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 결합(merging)하는 제1 생성방법 또는 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 콘케트네이션(concatenation)하는 제2 생성방법을 이용하여 상기 제3 영상데이터를 생성하는 것을 특징으로 하는 영상데이터를 생성하는 전자장치.an input unit for inputting a learning signal for learning image data including at least one object; and
Select the first image data to be learned, and input the first image data to the Grad-cam neural network to generate a plurality of heat map image data corresponding to each of a plurality of layers constituting the Grad-cam neural network, or 1 Input image data to encoder-decoder neural network to generate one heat map image data,
At least one second image data is generated by sequentially applying binarization and morphological operation to a plurality of heat map image data generated by the Grad-cam neural network or one heat map image data generated by the encoder-decoder neural network. and, after generating third image data using the first image data and the at least one second image data, applying the third image data to a neural network and learning to detect the at least one object as a learning result control unit;
including,
The control unit is
A first generating method of merging the first image data and the at least one second image data, or a second generating method of concatenating the first image data and the at least one second image data An electronic device for generating image data, characterized in that the third image data is generated using a method.
KR1020190093753A 2019-08-01 2019-08-01 Method and Apparatus for Generating of Image Data for Training KR102281682B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190093753A KR102281682B1 (en) 2019-08-01 2019-08-01 Method and Apparatus for Generating of Image Data for Training

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190093753A KR102281682B1 (en) 2019-08-01 2019-08-01 Method and Apparatus for Generating of Image Data for Training

Publications (2)

Publication Number Publication Date
KR20210015225A KR20210015225A (en) 2021-02-10
KR102281682B1 true KR102281682B1 (en) 2021-07-23

Family

ID=74561013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093753A KR102281682B1 (en) 2019-08-01 2019-08-01 Method and Apparatus for Generating of Image Data for Training

Country Status (1)

Country Link
KR (1) KR102281682B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191501A (en) * 2016-04-14 2017-10-19 キヤノン株式会社 Information processing apparatus, information processing method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191501A (en) * 2016-04-14 2017-10-19 キヤノン株式会社 Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
KR20210015225A (en) 2021-02-10

Similar Documents

Publication Publication Date Title
US10459687B2 (en) Method and system for controlling an internet of things device using multi-modal gesture commands
CN101558416B (en) Text detection on mobile communications devices
CN103076877B (en) Posture is used to interact with the mobile device in vehicle
CN111986178A (en) Product defect detection method and device, electronic equipment and storage medium
US20140056475A1 (en) Apparatus and method for recognizing a character in terminal equipment
KR20190092995A (en) Terminal and image processing method thereof
CN105474303A (en) Information processing device, information processing method, and program
US20150234461A1 (en) Display control device, display control method and recording medium
US20160189592A1 (en) Display system, information processing device, and display method
KR20230069892A (en) Method and apparatus for identifying object representing abnormal temperatures
Costa et al. Empowering humans in a cyber-physical production system: human-in-the-loop perspective
KR102344227B1 (en) Moving body detecting device, moving body detecting method, and moving body detecting program
CN108351979A (en) Electronic equipment and its operating method
KR102281682B1 (en) Method and Apparatus for Generating of Image Data for Training
KR20150078229A (en) Display apparatus and channel map manage method thereof
CN112084959B (en) Crowd image processing method and device
US20120163674A1 (en) Motion detection module, electronic device applying the motion detection module, and motion detection method
CN104978171A (en) Output method and device of recognizable identifier
CN110992328A (en) Dark spot detection method and device
KR102224276B1 (en) Method and Apparatus for Training of Image Data
KR102449724B1 (en) Hidden camera detection system, method and computing device for performing the same
US9952883B2 (en) Dynamic determination of hardware
JP6884734B2 (en) Verification server, verification method, verification program, and placement
US20190141412A1 (en) Display apparatus, control system for the same, and method for controlling the same
US11675496B2 (en) Apparatus, display system, and display control method

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant