KR102224276B1 - Method and Apparatus for Training of Image Data - Google Patents

Method and Apparatus for Training of Image Data Download PDF

Info

Publication number
KR102224276B1
KR102224276B1 KR1020190089405A KR20190089405A KR102224276B1 KR 102224276 B1 KR102224276 B1 KR 102224276B1 KR 1020190089405 A KR1020190089405 A KR 1020190089405A KR 20190089405 A KR20190089405 A KR 20190089405A KR 102224276 B1 KR102224276 B1 KR 102224276B1
Authority
KR
South Korea
Prior art keywords
image data
learning
generating
neural network
lbp
Prior art date
Application number
KR1020190089405A
Other languages
Korean (ko)
Other versions
KR20210012173A (en
Inventor
고재필
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020190089405A priority Critical patent/KR102224276B1/en
Publication of KR20210012173A publication Critical patent/KR20210012173A/en
Application granted granted Critical
Publication of KR102224276B1 publication Critical patent/KR102224276B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상데이터의 학습방법 및 장치에 관한 것으로, 전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계, 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계, 확인된 생성방법을 기반으로 적어도 하나의 제2 영상데이터를 생성하는 단계 및 제1 영상데이터와 적어도 하나의 제2 영상데이터를 신경망에 적용하여 학습하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.The present invention relates to a method and apparatus for learning image data, wherein when an electronic device receives a signal for learning image data including at least one object, selecting first image data to be learned, first image data Checking a method of generating at least one second image data to be learned by being applied to a neural network together, generating at least one second image data based on the identified generation method, and the first image data and at least one It includes the step of learning by applying the second image data to a neural network, and can be applied to other embodiments.

Description

영상데이터의 학습방법 및 장치{Method and Apparatus for Training of Image Data}Method and Apparatus for Training of Image Data {Method and Apparatus for Training of Image Data}

본 발명은 영상데이터의 학습방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for learning image data.

최근 다양한 종류와 방대한 양의 영상데이터들이 생성되고, 이러한 영상데이터의 자동화 처리를 위해 다양한 기술들이 개발되고 있다. 특히, 인공신경망(neural network)기술이 발전하면서, 이를 이용하여 자동으로 영상데이터를 학습하고 분류하는 기술이 산업계에 적용되고 있다. Recently, various types and vast amounts of image data are generated, and various technologies are being developed for the automated processing of such image data. In particular, with the development of artificial neural network technology, a technology for automatically learning and classifying image data using this technology is being applied in the industry.

이러한 인공신경망 기술 중에서는 합성곱 신경망(CNN; convolutional neural network)이 비교적 널리 사용된다. 합성곱 신경망은 여러 개의 계층(layer)들로 구성된 구조를 갖는다. 특히, 합성곱 신경망은 2차원 데이터의 학습에 적합한 구조를 가진 것으로 알려져 있으며, 영상데이터 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 모델이다. Among these artificial neural network technologies, a convolutional neural network (CNN) is relatively widely used. A convolutional neural network has a structure composed of several layers. In particular, the convolutional neural network is known to have a structure suitable for learning 2D data, and is a model widely used in various application fields such as object classification and object detection in image data.

일반적으로, 합성곱 신경망을 이용하여 영상데이터를 학습하기 위해서 전자장치는 학습하고자 하는 영상데이터를 회전이동, 평행이동, 밝기조절, 확대 및 축소 등과 같이 다양한 방식으로 가공한다. 즉, 영상데이터를 어그멘테이션(augmentation)하여 합성곱 신경망을 이용하여 학습시키고자 하는 영상데이터로 가공하고, 영상데이터 및 가공된 영상데이터들을 합성곱 신경망에 입력한다. 합성곱 신경망에 영상데이터들이 입력되면 영상데이터의 입력과 가까운 계층에서 영상데이터에 대한 지역특징이 추출되고, 출력에 가까운 계층에서 영상데이터에 대한 전역특징이 추출된다. 영상데이터의 학습을 통해 검출된 객체의 정확도를 향상하기 위해서는 영상데이터에서 전역특징을 많이 추출해야 하고, 전역특징을 추출하기 위해서는 합성곱 신경망의 계층이 많이 형성되어야 한다. 그러나, 계층이 많이 형성될수록 합성곱 신경망의 용량이 커지기 때문에 메모리의 소비가 많아지는 문제점이 발생한다. 또한, 영상데이터의 학습을 통해 검출된 객체의 정확도를 향상하기 위해서는 영상데이터를 보다 많이 어그멘테이션해야 하기 때문에 영상데이터의 학습 속도가 저하되는 문제점이 발생한다.In general, in order to learn image data using a convolutional neural network, an electronic device processes image data to be learned in various ways such as rotational movement, parallel movement, brightness adjustment, enlargement and reduction. That is, the image data is augmented and processed into image data to be learned using a convolutional neural network, and the image data and the processed image data are input to the convolutional neural network. When image data is input to the convolutional neural network, local features of the image data are extracted from a layer close to the input of the image data, and global features of the image data are extracted from a layer close to the output. In order to improve the accuracy of an object detected through learning of image data, many global features must be extracted from image data, and many layers of convolutional neural networks must be formed in order to extract global features. However, as the number of layers is formed, the capacity of the convolutional neural network increases, and thus memory consumption increases. In addition, in order to improve the accuracy of the object detected through the learning of the image data, the image data needs to be aggregated more, which causes a problem in that the learning speed of the image data decreases.

이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 학습시키고자 하는 영상데이터인 제1 영상데이터 및 제1 영상데이터를 기반으로 생성된 적어도 하나의 제2 영상데이터를 학습하여 영상데이터에서 객체를 검출할 수 있는 영상데이터의 학습방법 및 장치를 제공하는 것이다. Embodiments of the present invention for solving such a conventional problem are to learn first image data, which is image data to be learned, and at least one second image data generated based on the first image data, to determine an object from the image data. It is to provide a method and apparatus for learning detectable image data.

본 발명의 실시 예에 따른 영상데이터의 학습방법은, 전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계, 상기 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계, 상기 확인된 생성방법을 기반으로 상기 적어도 하나의 제2 영상데이터를 생성하는 단계 및 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 단계를 포함하는 것을 특징으로 한다. In the method of learning image data according to an embodiment of the present invention, when an electronic device receives a signal for learning image data including at least one object, selecting first image data to be learned, the first image Confirming a method of generating at least one second image data to be learned by being applied to a neural network together with data, generating the at least one second image data based on the identified generation method, and the first image data And learning by applying the at least one second image data to the neural network.

또한, 제2 영상데이터의 생성하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다. In addition, the generating of the second image data is characterized in that the step of generating the frequency domain image data of the first image data as the second image data according to the generation method.

또한, 제2 영상데이터의 생성하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다.In addition, the step of generating the second image data is a step of generating LBP image data obtained by applying a local binary pattern (LBP) to the first image data as the second image data according to the generation method. It is characterized.

또한, 제2 영상데이터를 생성하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴을 적용한 LBP영상데이터 및 상기 LBP영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다. In addition, generating the second image data may include frequency domain image data for the first image data, LBP image data obtained by applying a local binary pattern to the first image data, and the LBP image data according to the generation method. And generating frequency domain image data as the second image data.

또한, 제2 영상데이터를 생성하는 단계는, 상기 생성방법에 따라 생성된 상기 제1 영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 상기 제1 영상데이터에 대한 지역특징을 갖는 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터를 생성하는 단계인 것을 특징으로 한다.In addition, the step of generating the second image data may include the frequency domain image data for the first image data generated according to the generation method and the pixel values for pixels constituting the first image data. And generating the second image data from back-projected image data using a histogram having a regional characteristic of the first image data.

또한, 제2 영상데이터를 생성하는 단계는, 상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터, 상기 LBP영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다. In addition, the step of generating the second image data includes the frequency domain image data for the first image data and LBP in which a local binary pattern (LBP) is applied to the first image data according to the identified generation method. Generating back-projection image data using image data, frequency domain image data for the LBP image data, and a histogram generated based on pixel values for pixels constituting the first image data as the second image data It is characterized by being.

또한, 신경망에 적용하여 학습하는 단계 이후에, 상기 신경망에 적용된 학습결과로 상기 제1 영상데이터에 포함된 적어도 하나의 객체를 검출하는 단계를 더 포함하는 것을 특징으로 한다. Further, after the learning by applying to the neural network, detecting at least one object included in the first image data as a result of learning applied to the neural network.

아울러, 본 발명의 실시 예에 따른 영상데이터의 학습을 위한 전자장치는, 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 학습신호를 입력하는 입력부 및 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하여 상기 생성방법에 따라 상기 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 제어부를 포함하는 것을 특징으로 한다.In addition, the electronic device for learning image data according to an embodiment of the present invention is applied to a neural network together with an input unit for inputting a learning signal for learning image data including at least one object and the first image data for learning. Identify a method of generating at least one second image data to be performed, generate the at least one second image data according to the generation method, and apply the first image data and the at least one second image data to the neural network It characterized in that it comprises a control unit for learning.

상술한 바와 같이 본 발명에 따른 영상데이터의 학습방법 및 장치는, 학습시키고자 하는 영상데이터인 제1 영상데이터 및 제1 영상데이터를 기반으로 생성된 적어도 하나의 제2 영상데이터를 학습하여 영상데이터에서 객체를 검출함으로써, 신경망의 계층을 감소시킬 수 있고, 영상데이터에 대한 어그멘테이션의 최소화를 통해 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다. As described above, in the method and apparatus for learning image data according to the present invention, the first image data, which is the image data to be learned, and at least one second image data generated based on the first image data are learned to learn the image data. By detecting the object in, the layer of the neural network can be reduced, and the learning speed of the video data can be improved by minimizing the aggregation of the video data.

도 1은 본 발명의 실시 예에 따른 영상데이터를 학습하기 위한 전자장치의 주요 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 영상데이터의 학습을 통해 영상데이터에 포함된 객체를 검출하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 백프로젝션 영상데이터를 제2 영상데이터로 생성하는 방법을 설명하기 위한 도면이다. 1 is a diagram showing a main configuration of an electronic device for learning image data according to an embodiment of the present invention.
2 is a flowchart illustrating a method of detecting an object included in image data through learning of image data according to an embodiment of the present invention.
3 is a diagram illustrating a method of generating back-projection image data as second image data according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE INVENTION The detailed description to be disclosed below together with the accompanying drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. In the drawings, parts irrelevant to the description may be omitted in order to clearly describe the present invention, and the same reference numerals may be used for the same or similar components throughout the specification.

본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may represent one of words listed together, or a combination of two or more. For example, “A or B” and “at least one of A and B” may include only one of A or B, and may include both A and B.

도 1은 본 발명의 실시 예에 따른 영상데이터를 학습하기 위한 전자장치의 주요 구성을 나타낸 도면이다. 1 is a diagram showing a main configuration of an electronic device for learning image data according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 전자장치(100)는 통신부(110), 입력부(120), 카메라부(130), 표시부(140), 메모리(150) 및 제어부(160)를 포함한다. Referring to FIG. 1, an electronic device 100 according to the present invention includes a communication unit 110, an input unit 120, a camera unit 130, a display unit 140, a memory 150, and a control unit 160.

통신부(110)는 전자장치(100)의 외부에 구비된 카메라(미도시), 서버(미도시) 등의 외부장치와 통신을 수행한다. 이를 위해, 통신부(110)는 유선 또는 무선 통신 중 적어도 하나를 수행할 수 있다. 통신부(110)는 5G(5th generation mobile telecommunication), LTE(long term evolution), Wi-Fi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 등의 무선 통신을 수행할 수 있다. 통신부(110)는 외부장치와의 통신을 통해 객체를 검출하고자 하는 영상데이터를 수신하여 제어부(160)로 제공한다. The communication unit 110 communicates with an external device such as a camera (not shown) and a server (not shown) provided outside the electronic device 100. To this end, the communication unit 110 may perform at least one of wired or wireless communication. The communication unit 110 may perform wireless communication such as 5G (5 th generation mobile telecommunication) , LTE (long term evolution), Wi-Fi (wireless fidelity), Bluetooth (bluetooth), BLE (bluetooth low energy). The communication unit 110 receives image data for detecting an object through communication with an external device and provides it to the control unit 160.

입력부(120)는 전자장치(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 입력부(120)는 적어도 하나의 입력수단을 포함한다. 이러한 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 키보드(keyboard), 마우스(mouse), 터치 키(touch key) 중 적어도 하나를 포함한다. The input unit 120 generates input data in response to a user input of the electronic device 100. The input unit 120 includes at least one input means. The input unit 120 includes at least one of a keypad, a dome switch, a touch panel, a keyboard, a mouse, and a touch key.

카메라부(130)는 전자장치(100)의 특정 위치에 배치되거나, 전자장치(100)의 외부에서 전자장치(100)와 연결되어 영상데이터를 획득한다. 이를 위해, 카메라부(130)는 광학적 신호를 수신하여 영상데이터를 발생시킨다. 카메라부(130)는 카메라 센서와 신호변환부를 구비할 수 있다. 카메라 센서는 광학적 신호를 전기적 영상신호로 변환한다. 신호변환부는 아날로그 영상신호를 디지털 영상데이터로 변환한다. The camera unit 130 is disposed at a specific position of the electronic device 100 or is connected to the electronic device 100 outside of the electronic device 100 to obtain image data. To this end, the camera unit 130 generates image data by receiving an optical signal. The camera unit 130 may include a camera sensor and a signal conversion unit. The camera sensor converts an optical signal into an electrical image signal. The signal conversion unit converts an analog video signal into digital video data.

표시부(140)는 표시데이터를 출력한다. 예를 들면, 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등을 포함할 수 있다. 표시부(140)는 입력부(120)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다. The display unit 140 outputs display data. For example, it may include a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and the like. The display unit 140 may be combined with the input unit 120 to be implemented as a touch screen.

메모리(150)는 전자장치(100)의 동작 프로그램들을 저장할 수 있다. 메모리(150)는 영상데이터 내에 포함된 적어도 하나의 객체를 검출하기 위해 영상데이터를 학습할 수 있는 합성곱 신경망(CNN; convolutional neural network, 이하, 신경망이라 함)을 저장한다. 메모리(150)는 제어부(160)에 의해 선택된 제1 영상데이터를 이용하여 적어도 하나의 제2 영상데이터를 생성하기 위한 다양한 알고리즘을 저장할 수 있다. The memory 150 may store operation programs of the electronic device 100. The memory 150 stores a convolutional neural network (CNN, hereinafter referred to as a neural network) capable of learning image data to detect at least one object included in the image data. The memory 150 may store various algorithms for generating at least one second image data by using the first image data selected by the controller 160.

제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호를 수신한다. 제어부(160)는 학습신호에 대응되는 제1 영상데이터를 확인하고, 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인한다. 제어부(160)는 확인된 생성방법에 따라 적어도 하나의 제2 영상데이터를 생성하고, 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 신경망에 적용한다. 제어부(160)는 신경망에 적용되어 학습된 결과로 제1 영상데이터에 포함된 적어도 하나의 객체를 검출하여 메모리(150)에 저장한다. The control unit 160 receives a learning signal for learning image data including at least one object from the input unit 120. The controller 160 checks the first image data corresponding to the learning signal, and checks a method of generating at least one second image data to be learned by being applied to the neural network together with the first image data. The controller 160 generates at least one second image data according to the identified generation method, and applies the first image data and the at least one second image data to the neural network. The controller 160 detects at least one object included in the first image data as a result of being learned by being applied to the neural network and stores it in the memory 150.

보다 구체적으로, 제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호가 수신되면, 학습신호에 따라 메모리(150)에 저장된 신경망에 적용하여 학습시킬 제1 영상데이터를 선택한다. 이때, 제어부(160)는 입력부(120)의 입력에 따라 카메라부(130)에서 획득된 영상데이터, 전자장치(100)의 외부에 구비된 외부장치로부터 수신된 영상데이터 및 메모리(150)에 기저장된 영상데이터 중 어느 하나의 영상데이터를 제1 영상데이터로 선택할 수 있다.More specifically, when a learning signal for learning image data including at least one object is received from the input unit 120, the controller 160 applies the learning signal to the neural network stored in the memory 150 to learn. Select video data. At this time, the control unit 160 is stored in the image data obtained from the camera unit 130 according to the input of the input unit 120, the image data received from an external device provided outside the electronic device 100, and the memory 150. Any one of the stored image data may be selected as the first image data.

제어부(160)는 선택된 제1 영상데이터를 이용하여 적어도 하나의 제2 영상데이터를 생성하기 위한 생성방법을 확인한다. 이때, 생성방법은 전자장치(100)의 사용자에 의해 기설정된 상태일 수 있고, 입력부(120)를 통해 수신된 설정신호를 기반으로 확인할 수 있다. 제어부(160)는 확인된 생성방법을 이용하여 적어도 하나의 제2 영상데이터를 생성한다. The controller 160 checks a generation method for generating at least one second image data by using the selected first image data. In this case, the generation method may be in a state preset by the user of the electronic device 100, and may be checked based on a setting signal received through the input unit 120. The control unit 160 generates at least one second image data using the identified generation method.

이와 관련하여, 제어부(160)는 제1 영상데이터에 FFT(fast fourier transform)를 적용하여 제1 영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용하여 LBP영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터, LBP영상데이터 및 LBP영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터 및 백프로젝션(back projection) 영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터를 구성하는 픽셀들 중에서 특정 픽셀이 가진 픽셀 값을 확인하고, 확인된 특정 픽셀을 중심으로 일정 영역을 설정하여 설정된 일정 영역에 포함된 픽셀들의 픽셀 값을 기반으로 히스토그램을 생성한다. 이때, 제어부(160)는 제1 영상데이터를 복수의 일정 영역으로 분할하고, 분할된 일정 영역에 포함된 픽셀들의 픽셀 값을 기반으로 히스토그램을 생성할 수도 있다. 제어부(160)는 생성된 히스토그램을 이용하여 백프로젝션 영상데이터를 생성할 수 있다. 또한, 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터, LBP영상데이터, LBP영상데이터에 대한 주파수도메인 영상데이터 및 백프로젝션 영상데이터를 제2 영상데이터로 생성할 수 있고, 필요에 따라 LBP영상데이터에 대한 주파수도메인 영상데이터를 제외하여 제2 영상데이터를 생성할 수 있다. In this regard, the controller 160 may generate frequency domain image data for the first image data as second image data by applying a fast fourier transform (FFT) to the first image data. The controller 160 may generate LBP image data as second image data by applying a local binary pattern (LBP) to the first image data. The controller 160 may generate frequency domain image data for the first image data, LBP image data, and frequency domain image data for LBP image data as second image data. The controller 160 may generate frequency domain image data and back projection image data for the first image data as second image data. The controller 160 checks a pixel value of a specific pixel among pixels constituting the first image data, sets a certain area around the identified specific pixel, and sets a certain area based on the pixel values of the pixels included in the set certain area. Generate a histogram. In this case, the controller 160 may divide the first image data into a plurality of predetermined regions and generate a histogram based on pixel values of pixels included in the divided predetermined regions. The controller 160 may generate back-projection image data using the generated histogram. In addition, the controller 160 may generate frequency domain image data for the first image data, LBP image data, frequency domain image data for LBP image data, and back-projection image data as second image data. The second image data may be generated by excluding the frequency domain image data for the LBP image data.

제어부(160)는 제1 영상데이터 및 적어도 하나의 제2 영상데이터를 복수의 채널을 통해 신경망에 적용하여 학습시킨다. 제어부(160)는 학습결과로 객체의 검출이 완료되면 검출된 객체를 메모리(150)에 저장한다. 이와 같이, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하고, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 신경망에 적용하여 신경망으로의 입력 채널 개수를 증가시킴으로써, 제1 영상데이터에 포함된 객체를 추출하기 위해 사용하는 신경망의 계층을 축소시킬 수 있는 효과가 있다. 또한, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하기 때문에 제1 영상데이터에 대한 어그멘테이션을 최소화할 수 있으며, 이로 인해 학습속도를 단축시킬 수 있는 효과가 있다. The controller 160 applies the first image data and at least one second image data to a neural network through a plurality of channels to learn. When the detection of the object is completed as a result of the learning, the controller 160 stores the detected object in the memory 150. As described above, the present invention generates at least one second image data based on the first image data, and increases the number of input channels to the neural network by applying the first image data and at least one second image data to the neural network. , There is an effect of reducing a layer of a neural network used to extract an object included in the first image data. In addition, since the present invention generates at least one second image data based on the first image data, it is possible to minimize aggregation of the first image data, thereby reducing the learning speed. .

도 2는 본 발명의 실시 예에 따른 영상데이터의 학습을 통해 영상데이터에 포함된 객체를 검출하는 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a method of detecting an object included in image data through learning of image data according to an embodiment of the present invention.

도 2를 참조하면, 201단계에서 제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호의 수신여부를 확인한다. 201단계에서 학습신호가 수신된 것으로 확인되면 제어부(160)는 203단계를 수행하고, 학습신호가 수신되지 않으면 제어부(160)는 201단계로 회귀하여 학습신호의 수신을 대기한다. Referring to FIG. 2, in step 201, the control unit 160 checks whether or not a learning signal for learning image data including at least one object is received from the input unit 120. When it is confirmed that the learning signal has been received in step 201, the control unit 160 performs step 203, and if the learning signal is not received, the control unit 160 returns to step 201 and waits for reception of the learning signal.

203단계에서 제어부(160)는 메모리(150)에 저장된 합성곱 신경망(CNN; convolutional neural network, 이하, 신경망이라 함)에 적용하여 학습시킬 제1 영상데이터를 선택한다. 이때, 제어부(160)는 입력부(120)의 입력에 따라 카메라부(130)에서 획득된 영상데이터, 전자장치(100)의 외부에 구비된 외부장치로부터 수신된 영상데이터 및 메모리(150)에 기저장된 영상데이터 중 어느 하나의 영상데이터를 제1 영상데이터로 선택할 수 있다. In step 203, the controller 160 selects first image data to be trained by applying it to a convolutional neural network (CNN, hereinafter referred to as a neural network) stored in the memory 150. At this time, the control unit 160 is stored in the image data obtained from the camera unit 130 according to the input of the input unit 120, the image data received from an external device provided outside the electronic device 100, and the memory 150. Any one of the stored image data may be selected as the first image data.

205단계에서 제어부(160)는 선택된 제1 영상데이터를 이용하여 적어도 하나의 제2 영상데이터를 생성하기 위한 생성방법을 확인한다. 이때, 생성방법은 전자장치(100)의 사용자에 의해 기설정된 상태일 수 있고, 입력부(120)를 통해 수신된 설정신호를 기반으로 확인할 수 있다. 207단계에서 제어부(160)는 확인된 생성방법을 이용하여 적어도 하나의 제2 영상데이터를 생성한다. In step 205, the controller 160 checks a generation method for generating at least one second image data by using the selected first image data. In this case, the generation method may be in a state preset by the user of the electronic device 100, and may be checked based on a setting signal received through the input unit 120. In step 207, the controller 160 generates at least one second image data using the identified generation method.

보다 구체적으로, 제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제1 생성방법이면, 제어부(160)는 제1 영상데이터에 FFT(fast fourier transform)를 적용하여 제1 영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성한다. 주파수도메인 영상데이터는 전역특징을 나타낼 수 있는 영상데이터로 제1 영상데이터에 비해 지형적 변환에 강인하여 신경망이 학습하기에 좋은 영상데이터이다. 아울러, 제어부(160)는 제1 영상데이터가 그레이스케일의 영상데이터이면 밝기 값에 대한 주파수도메인 영상데이터를 생성할 수 있다. 또한, 제어부(160)는 제1 영상데이터가 컬러스케일의 영상데이터이면 제1 영상데이터를 R(red), G(green), B(blue) 값을 갖는 세 개의 제1 영상데이터로 생성할 수 있다. 제1 영상데이터가 컬러스케일의 영상데이터일 경우, 제어부(160)는 제1 영상데이터의 밝기 값에 대한 주파수도메인 영상데이터를 생성하거나, R(red), G(green), B(blue)값을 갖는 세 개의 제1 영상데이터 각각에 대한 주파수도메인 영상데이터를 생성할 수 있다. 이와 같이, 본 발명은 제1 영상데이터를 기반으로 전역특징을 나타낼 수 있는 제2 영상데이터를 생성하기 때문에, 신경망의 계층을 최소화하여 제1 영상데이터에 포함된 객체를 보다 정확하게 추출할 수 있는 효과가 있다. More specifically, if the generation method for generating the second image data is the first generation method, the control unit 160 applies a fast fourier transform (FFT) to the first image data to be applied to the first image data. The frequency domain image data for the second image data is generated. The frequency domain image data is image data capable of representing global features, and is more robust to terrain transformation than the first image data, and is therefore good image data for a neural network to learn. In addition, if the first image data is grayscale image data, the controller 160 may generate frequency domain image data for a brightness value. In addition, if the first image data is color-scale image data, the controller 160 may generate the first image data as three first image data having R(red), G(green), and B(blue) values. have. When the first image data is color-scale image data, the controller 160 generates frequency domain image data for the brightness value of the first image data, or R(red), G(green), and B(blue) values. It is possible to generate frequency domain image data for each of the three first image data having a. As described above, since the present invention generates second image data capable of representing global features based on the first image data, it is possible to more accurately extract the object included in the first image data by minimizing the layer of the neural network. There is.

제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제2 생성방법이면, 제어부(160)는 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용하여 LBP영상데이터를 제2 영상데이터로 생성한다. 이때, LBP영상데이터는 광학적 변화에 대한 강인한 영상데이터로 지역특징을 나타낼 수 있는 영상데이터이다. If the generation method for generating the second image data is the second generation method, the controller 160 applies a local binary pattern (LBP) to the first image data to generate the LBP image data. 2 It is created as image data. At this time, the LBP image data is image data capable of representing regional characteristics as robust image data against optical changes.

제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제3 생성방법이면, 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터, LBP영상데이터 및 LBP영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성한다. 제어부(160)는 LBP영상데이터에 FFT를 적용하여 LBP영상데이터에 대한 주파수도메인 영상데이터를 생성할 수 있다. 이를 통해, 제어부(160)는 지형적 변환에 강인한 전역특징을 나타내는 제1 영상데이터에 대한 주파수도메인 영상데이터, 밝기 변환에 강인한 지역특징을 나타내는 LBP영상데이터 및 지역특징에 대한 전역특징을 나타내는 LBP영상데이터에 대한 주파수도메인 영상데이터를 모두 제2 영상데이터로 이용하여 제1 영상데이터의 지역 및 전역에 걸친 특징을 모두 확인할 수 있다. If the generation method for generating the second image data is a third generation method, the control unit 160 controls the frequency domain image data for the first image data, the LBP image data, and the frequency domain image for the LBP image data. Data is generated as second image data. The controller 160 may generate frequency domain image data for the LBP image data by applying FFT to the LBP image data. Through this, the control unit 160 is the frequency domain image data for the first image data that represents the global feature robust to the geographic transformation, the LBP image data representing the regional feature robust to the brightness conversion, and the LBP image data representing the global feature for the regional feature All of the frequency domain image data of is used as the second image data to check all of the features of the first image data over the region and the entire region.

제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제4 생성방법이면, 제어부(160)는 제1 영상데이터에 FFT를 적용하여 제1 영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성한다. 또한, 제어부(160)는 제1 영상데이터를 구성하는 픽셀들의 픽셀 값을 기반으로 제1 영상데이터에 대한 지역특징을 갖는 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 백프로젝션(back projection) 영상데이터를 제2 영상데이터로 생성한다. 보다 구체적으로, 제어부(160)는 제1 영상데이터를 구성하는 픽셀들 중에서 특정 픽셀이 가진 픽셀 값(예컨대, 0-255사이의 값)을 확인할 수 있다. 제어부(160)는 확인된 특정 픽셀을 중심으로 일정 영역을 설정하고, 설정된 일정 영역에 포함된 픽셀들의 픽셀 값을 확인하여 히스토그램을 생성할 수 있다. 또한, 제어부(160)는 제1 영상데이터를 복수의 일정 영역으로 분할하고, 분할된 일정 영역에 포함된 픽셀들의 픽셀 값을 기반으로 히스토그램을 생성할 수도 있다. 이때, 제어부(160)는 일정 영역에서 확인된 픽셀 값을 x축으로, 픽셀 값을 갖는 픽셀의 개수를 y축으로 설정하여 히스토그램을 생성하여 백프로젝션 영상데이터를 생성할 수 있다. 이는 하기의 도 3을 이용하여 설명하기로 한다. If the generation method for generating the second image data is the fourth generation method, the controller 160 applies the FFT to the first image data to convert the frequency domain image data for the first image data into a second image. It is created with data. In addition, the control unit 160 generates a histogram having regional characteristics for the first image data based on pixel values of pixels constituting the first image data, and uses the generated histogram to perform back projection image data. Is generated as second image data. More specifically, the controller 160 may check a pixel value (eg, a value between 0-255) of a specific pixel among pixels constituting the first image data. The controller 160 may set a certain area around the identified specific pixel, and may generate a histogram by checking pixel values of pixels included in the set certain area. Also, the controller 160 may divide the first image data into a plurality of predetermined regions and generate a histogram based on pixel values of pixels included in the divided predetermined regions. In this case, the controller 160 may generate a histogram by setting a pixel value identified in a certain area as an x-axis and a number of pixels having a pixel value as a y-axis to generate back-projection image data. This will be described with reference to FIG. 3 below.

도 3은 본 발명의 실시 예에 따른 백프로젝션 영상데이터를 제2 영상데이터로 생성하는 방법을 설명하기 위한 도면이다.3 is a diagram illustrating a method of generating back-projection image data as second image data according to an embodiment of the present invention.

도 3을 참조하면, 도 3의 (a)와 같이 제1 영상데이터(310)를 총 16개의 일정 영역으로 분할할 수 있다. 제어부(160)는 각 일정 영역에서 제12 영역(311)에 포함된 픽셀 중 제1 픽셀(P1), 제16 영역(312)에 포함된 제2 픽셀(P2)의 픽셀 값을 확인할 수 있다. 제어부(160)는 도 3의 (b) 및 (c)와 같이 제12 영역(311)과 제16 영역(312)에 포함된 픽셀들의 픽셀 값을 이용하여 히스토그램을 생성할 수 있다. 제어부(160)는 도 3의 (b)와 같이 제12 영역(311)에 대한 히스토그램에서 제12 영역(311)을 구성하는 픽셀들 중에서 제1 픽셀(P1)의 픽셀 값(V1)과 동일한 픽셀 값을 갖는 픽셀들의 개수(321)를 확인한다. 또한, 제어부(160)는 도 3의 (c)와 같이 제16 영역(312)에 대한 히스토그램에서 제16 영역(312)을 구성하는 픽셀들 중에서 제2 픽셀(P2)의 픽셀 값(V2)과 동일한 픽셀 값을 갖는 픽셀들의 개수(323)를 확인한다. 이와 같이 제어부(160)는 제1 영상데이터(310)에서 분할되어 생성된 복수의 일정 영역 각각에 대한 히스토그램을 생성할 수 있다.Referring to FIG. 3, as shown in FIG. 3A, the first image data 310 may be divided into a total of 16 predetermined regions. The controller 160 may check pixel values of the first pixel P1 and the second pixel P2 included in the sixteenth area 312 among pixels included in the twelfth area 311 in each predetermined area. The controller 160 may generate a histogram using pixel values of pixels included in the twelfth region 311 and the sixteenth region 312 as shown in FIGS. 3B and 3C. In the histogram of the twelfth region 311 as shown in FIG. 3B, the control unit 160 includes a pixel equal to the pixel value V1 of the first pixel P1 among the pixels constituting the twelfth region 311. The number 321 of pixels having a value is checked. In addition, the control unit 160 includes the pixel value V2 of the second pixel P2 among the pixels constituting the sixteenth region 312 in the histogram of the sixteenth region 312 as shown in FIG. 3C. The number 323 of pixels having the same pixel value is checked. In this way, the control unit 160 may generate a histogram for each of a plurality of predetermined regions generated by being divided from the first image data 310.

제어부(160)는 도 3의 (d)와 같이 도 3의 (b)와 (c)에서 확인된 픽셀들의 개수(321, 323)을 이용하여 백프로젝션 영상데이터를 제2 영상데이터로 생성한다. 즉, 제어부(160)는 제1 픽셀(P1)과 동일한 위치의 픽셀(P1')에 대한 픽셀 값을 제1 픽셀(P1)의 픽셀 값(V1)과 동일한 픽셀 값을 갖는 픽셀들의 개수(321)로 치환할 수 있다. 또한, 제어부(160)는 제2 픽셀(P2)과 동일한 위치의 픽셀(P2')에 대한 픽셀 값을 제2 픽셀(P2)의 픽셀 값(V2)과 동일한 픽셀 값을 갖는 픽셀들의 개수(323)로 치환할 수 있다. 이와 같이, 제어부(160)는 제1 영상데이터에 포함된 모든 픽셀들에 대하여 상기와 같은 방법을 적용하여 제2 영상데이터(330)를 생성할 수 있다. As shown in (d) of FIG. 3, the controller 160 generates the back-projected image data as second image data using the number of pixels 321 and 323 identified in (b) and (c) of FIG. 3. That is, the control unit 160 determines the number of pixels having the same pixel value as the pixel value V1 of the first pixel P1 and the pixel value for the pixel P1' at the same position as the first pixel P1 (321). ) Can be substituted. Further, the controller 160 determines the number of pixels having the same pixel value as the pixel value V2 of the second pixel P2 and the pixel value of the pixel P2' at the same position as the second pixel P2 (323). ) Can be substituted. In this way, the controller 160 may generate the second image data 330 by applying the same method to all pixels included in the first image data.

제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제5 생성방법이면, 제어부(160)는 상기의 제1 생성방법 내지 제4 생성방법을 모두 이용하여 복수의 제2 영상데이터를 생성할 수 있다. 아울러, 제어부(160)는 필요에 따라 LBP영상데이터에 대한 주파수도메인 영상데이터는 사용하지 않을 수 있다. If the generation method for generating the second image data is a fifth generation method, the control unit 160 generates a plurality of second image data using all of the first to fourth generation methods. can do. In addition, the control unit 160 may not use the frequency domain image data for the LBP image data if necessary.

209단계에서 제어부(160)는 제1 영상데이터와 207단계에서 생성된 적어도 하나의 제2 영상데이터를 복수의 채널을 통해 신경망에 적용하여 학습시킨다. 예컨대, 제어부(160)는 제1 채널을 통해 제1 영상데이터를 신경망에 적용하고, 제2 영상데이터가 복수개일 경우 각각의 제2 영상데이터마다 채널을 할당하여 복수의 채널을 통해 제2 영상데이터를 신경망에 적용할 수 있다. In step 209, the controller 160 applies the first image data and at least one second image data generated in step 207 to the neural network through a plurality of channels to learn. For example, the control unit 160 applies the first image data to the neural network through a first channel, and when there are a plurality of second image data, the control unit 160 allocates a channel for each second image data to provide the second image data through the plurality of channels. Can be applied to neural networks.

211단계에서 제어부(160)는 제1 영상데이터 및 적어도 하나의 제2 영상데이터의 학습이 완료되면 즉, 제1 영상데이터 및 적어도 하나의 제2 영상데이터의 학습에 따라 제1 영상데이터에 포함된 객체의 검출이 완료되면 213단계를 수행하고, 학습이 완료되지 않으면 객체의 검출완료를 대기한다. 213단계에서 제어부(160)는 학습에 따라 검출된 객체를 메모리(150)에 저장한다. 이와 같이, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하고, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 신경망에 적용하여 학습시킴으로써, 제1 영상데이터에 포함된 객체를 추출하기 위해 사용하는 신경망의 계층을 축소시킬 수 있는 효과가 있다. 또한, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하기 때문에 제1 영상데이터에 대한 어그멘테이션을 최소화할 수 있으며, 이로 인해 학습속도를 단축시킬 수 있는 효과가 있다.In step 211, when learning of the first image data and at least one second image data is completed, that is, the first image data and at least one second image data are learned. When the detection of the object is completed, step 213 is performed. If the learning is not completed, the detection of the object is awaited. In step 213, the controller 160 stores the object detected according to the learning in the memory 150. As described above, the present invention generates at least one second image data based on the first image data, and applies the first image data and at least one second image data to a neural network to learn, thereby including in the first image data. There is an effect of reducing the layer of the neural network used to extract the created object. In addition, since the present invention generates at least one second image data based on the first image data, it is possible to minimize aggregation of the first image data, thereby reducing the learning speed. .

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in the present specification and drawings are only provided for specific examples to easily explain the technical content of the present invention and to aid understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed that all changes or modified forms derived based on the technical idea of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.

Claims (8)

전자장치에 의해 수행되는 영상데이터의 학습방법으로서,
적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계;
상기 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계;
상기 확인된 생성방법을 기반으로 상기 적어도 하나의 제2 영상데이터를 생성하는 단계; 및
상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 단계;
를 포함하며,
상기 제2 영상데이터를 생성하는 단계는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터 및 상기 LBP영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 단계를 포함하는 것을 특징으로 하는 영상데이터의 학습방법.A method of learning image data performed by an electronic device, comprising:
Selecting first image data to be learned upon receiving a signal for learning image data including at least one object;
Confirming a method of generating at least one second image data to be learned by being applied to a neural network together with the first image data;
Generating the at least one second image data based on the identified generation method; And
Learning by applying the first image data and the at least one second image data to the neural network;
Including,
Generating the second image data,
According to the identified generation method, frequency domain image data for the first image data, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. And generating data as the second image data. 전자장치에 의해 수행되는 영상데이터의 학습방법으로서,
적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계;
상기 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계;
상기 확인된 생성방법을 기반으로 상기 적어도 하나의 제2 영상데이터를 생성하는 단계; 및
상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 단계;
를 포함하며,
상기 제2 영상데이터를 생성하는 단계는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터, 상기 LBP영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터로 생성하는 단계를 포함하는 것을 특징으로 하는 영상데이터의 학습방법.A method of learning image data performed by an electronic device, comprising:
Selecting first image data to be learned upon receiving a signal for learning image data including at least one object;
Confirming a method of generating at least one second image data to be learned by being applied to a neural network together with the first image data;
Generating the at least one second image data based on the identified generation method; And
Learning by applying the first image data and the at least one second image data to the neural network;
Including,
Generating the second image data,
Frequency domain image data for the first image data according to the identified generation method, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. And generating back-projection image data using a histogram generated based on data and pixel values of pixels constituting the first image data as the second image data. . 삭제delete 삭제delete 제1항에 있어서,
상기 제2 영상데이터를 생성하는 단계는,
상기 생성방법에 따라 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 상기 제1 영상데이터에 대한 지역특징을 갖는 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 영상데이터의 학습방법The method of claim 1,
Generating the second image data,
The second image data is generated from back-projected image data using a histogram having regional characteristics of the first image data generated based on pixel values of pixels constituting the first image data according to the generation method. Learning method of image data comprising the step of 제1항 또는 제2항에 있어서,
상기 신경망에 적용하여 학습하는 단계 이후에,
상기 신경망에 적용된 학습결과로 상기 제1 영상데이터에 포함된 적어도 하나의 객체를 검출하는 단계;
를 더 포함하는 것을 특징으로 하는 영상데이터의 학습방법.The method according to claim 1 or 2,
After the step of learning by applying to the neural network,
Detecting at least one object included in the first image data as a result of learning applied to the neural network;
Learning method of image data, characterized in that it further comprises. 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 학습신호를 입력하는 입력부; 및
제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하여 상기 생성방법에 따라 상기 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 제어부;
를 포함하며,
상기 제어부는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터 및 상기 LBP영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 것을 특징으로 하는 영상데이터의 학습을 위한 전자장치.An input unit for inputting a learning signal for learning image data including at least one object; And
A method of generating at least one second image data to be learned by being applied to a neural network together with the first image data is identified to generate the at least one second image data according to the generation method, and the first image data and the at least A control unit for learning by applying one second image data to the neural network;
Including,
The control unit,
According to the identified generation method, frequency domain image data for the first image data, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. An electronic device for learning image data, characterized in that generating data as the second image data. 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 학습신호를 입력하는 입력부; 및
제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하여 상기 생성방법에 따라 상기 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 제어부;
를 포함하며,
상기 제어부는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터, 상기 LBP영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터로 생성하는 것을 특징으로 하는 영상데이터의 학습을 위한 전자장치.An input unit for inputting a learning signal for learning image data including at least one object; And
A method of generating at least one second image data to be learned by being applied to a neural network together with the first image data is identified to generate the at least one second image data according to the generation method, and the first image data and the at least A control unit for learning by applying one second image data to the neural network;
Including,
The control unit,
Frequency domain image data for the first image data according to the identified generation method, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. An electronic device for learning image data, comprising generating back-projected image data using data and a histogram generated based on pixel values of pixels constituting the first image data as the second image data.
KR1020190089405A 2019-07-24 2019-07-24 Method and Apparatus for Training of Image Data KR102224276B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190089405A KR102224276B1 (en) 2019-07-24 2019-07-24 Method and Apparatus for Training of Image Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190089405A KR102224276B1 (en) 2019-07-24 2019-07-24 Method and Apparatus for Training of Image Data

Publications (2)

Publication Number Publication Date
KR20210012173A KR20210012173A (en) 2021-02-03
KR102224276B1 true KR102224276B1 (en) 2021-03-05

Family

ID=74571992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190089405A KR102224276B1 (en) 2019-07-24 2019-07-24 Method and Apparatus for Training of Image Data

Country Status (1)

Country Link
KR (1) KR102224276B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032801A1 (en) 2016-07-27 2018-02-01 International Business Machines Corporation Inferring body position in a scan
US20180307911A1 (en) 2017-04-21 2018-10-25 Delphi Technologies, Llc Method for the semantic segmentation of an image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580254B1 (en) * 2012-03-14 2015-12-24 삼성전자 주식회사 Apparatus and method for diagnosis of medical image in a frequency domain
US10152654B2 (en) * 2014-02-20 2018-12-11 Kla-Tencor Corporation Signal response metrology for image based overlay measurements
KR101961177B1 (en) * 2016-07-22 2019-03-22 한국과학기술원 Method and apparatus for processing image based on neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032801A1 (en) 2016-07-27 2018-02-01 International Business Machines Corporation Inferring body position in a scan
US20180307911A1 (en) 2017-04-21 2018-10-25 Delphi Technologies, Llc Method for the semantic segmentation of an image

Also Published As

Publication number Publication date
KR20210012173A (en) 2021-02-03

Similar Documents

Publication Publication Date Title
US10529300B1 (en) Adaptive image display based on colorspace conversions
US9563825B2 (en) Convolutional neural network using a binarized convolution layer
US10614635B1 (en) Augmented reality system with color-based fiducial marker
US9418319B2 (en) Object detection using cascaded convolutional neural networks
CN111476780A (en) Image detection method and device, electronic equipment and storage medium
KR20190092995A (en) Terminal and image processing method thereof
US9478037B2 (en) Techniques for efficient stereo block matching for gesture recognition
CN110443171B (en) Video file classification method and device, storage medium and terminal
US20130148899A1 (en) Method and apparatus for recognizing a character based on a photographed image
JP2014527210A (en) Content adaptive system, method and apparatus for determining optical flow
CN107292817B (en) Image processing method, device, storage medium and terminal
KR102508860B1 (en) Method, device, electronic equipment and medium for identifying key point positions in images
US10043098B2 (en) Method of detecting color object by using noise and system for detecting light emitting apparatus by using noise
US20160142702A1 (en) 3d enhanced image correction
CN113838134B (en) Image key point detection method, device, terminal and storage medium
KR102562052B1 (en) Electronic apparatus and contorl method thereof
CN112084959B (en) Crowd image processing method and device
KR102224276B1 (en) Method and Apparatus for Training of Image Data
CN113469869A (en) Image management method and device
CN111222558A (en) Image processing method and storage medium
US9430095B2 (en) Global and local light detection in optical sensor systems
US11687782B2 (en) Systems and methods for recognition of user-provided images
US11947631B2 (en) Reverse image search based on deep neural network (DNN) model and image-feature detection model
KR102281682B1 (en) Method and Apparatus for Generating of Image Data for Training
US11217203B2 (en) Display apparatus and method of controlling the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant