KR102224276B1 - Method and Apparatus for Training of Image Data - Google Patents
Method and Apparatus for Training of Image Data Download PDFInfo
- Publication number
- KR102224276B1 KR102224276B1 KR1020190089405A KR20190089405A KR102224276B1 KR 102224276 B1 KR102224276 B1 KR 102224276B1 KR 1020190089405 A KR1020190089405 A KR 1020190089405A KR 20190089405 A KR20190089405 A KR 20190089405A KR 102224276 B1 KR102224276 B1 KR 102224276B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- learning
- generating
- neural network
- lbp
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 영상데이터의 학습방법 및 장치에 관한 것으로, 전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계, 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계, 확인된 생성방법을 기반으로 적어도 하나의 제2 영상데이터를 생성하는 단계 및 제1 영상데이터와 적어도 하나의 제2 영상데이터를 신경망에 적용하여 학습하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.The present invention relates to a method and apparatus for learning image data, wherein when an electronic device receives a signal for learning image data including at least one object, selecting first image data to be learned, first image data Checking a method of generating at least one second image data to be learned by being applied to a neural network together, generating at least one second image data based on the identified generation method, and the first image data and at least one It includes the step of learning by applying the second image data to a neural network, and can be applied to other embodiments.
Description
본 발명은 영상데이터의 학습방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for learning image data.
최근 다양한 종류와 방대한 양의 영상데이터들이 생성되고, 이러한 영상데이터의 자동화 처리를 위해 다양한 기술들이 개발되고 있다. 특히, 인공신경망(neural network)기술이 발전하면서, 이를 이용하여 자동으로 영상데이터를 학습하고 분류하는 기술이 산업계에 적용되고 있다. Recently, various types and vast amounts of image data are generated, and various technologies are being developed for the automated processing of such image data. In particular, with the development of artificial neural network technology, a technology for automatically learning and classifying image data using this technology is being applied in the industry.
이러한 인공신경망 기술 중에서는 합성곱 신경망(CNN; convolutional neural network)이 비교적 널리 사용된다. 합성곱 신경망은 여러 개의 계층(layer)들로 구성된 구조를 갖는다. 특히, 합성곱 신경망은 2차원 데이터의 학습에 적합한 구조를 가진 것으로 알려져 있으며, 영상데이터 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 모델이다. Among these artificial neural network technologies, a convolutional neural network (CNN) is relatively widely used. A convolutional neural network has a structure composed of several layers. In particular, the convolutional neural network is known to have a structure suitable for learning 2D data, and is a model widely used in various application fields such as object classification and object detection in image data.
일반적으로, 합성곱 신경망을 이용하여 영상데이터를 학습하기 위해서 전자장치는 학습하고자 하는 영상데이터를 회전이동, 평행이동, 밝기조절, 확대 및 축소 등과 같이 다양한 방식으로 가공한다. 즉, 영상데이터를 어그멘테이션(augmentation)하여 합성곱 신경망을 이용하여 학습시키고자 하는 영상데이터로 가공하고, 영상데이터 및 가공된 영상데이터들을 합성곱 신경망에 입력한다. 합성곱 신경망에 영상데이터들이 입력되면 영상데이터의 입력과 가까운 계층에서 영상데이터에 대한 지역특징이 추출되고, 출력에 가까운 계층에서 영상데이터에 대한 전역특징이 추출된다. 영상데이터의 학습을 통해 검출된 객체의 정확도를 향상하기 위해서는 영상데이터에서 전역특징을 많이 추출해야 하고, 전역특징을 추출하기 위해서는 합성곱 신경망의 계층이 많이 형성되어야 한다. 그러나, 계층이 많이 형성될수록 합성곱 신경망의 용량이 커지기 때문에 메모리의 소비가 많아지는 문제점이 발생한다. 또한, 영상데이터의 학습을 통해 검출된 객체의 정확도를 향상하기 위해서는 영상데이터를 보다 많이 어그멘테이션해야 하기 때문에 영상데이터의 학습 속도가 저하되는 문제점이 발생한다.In general, in order to learn image data using a convolutional neural network, an electronic device processes image data to be learned in various ways such as rotational movement, parallel movement, brightness adjustment, enlargement and reduction. That is, the image data is augmented and processed into image data to be learned using a convolutional neural network, and the image data and the processed image data are input to the convolutional neural network. When image data is input to the convolutional neural network, local features of the image data are extracted from a layer close to the input of the image data, and global features of the image data are extracted from a layer close to the output. In order to improve the accuracy of an object detected through learning of image data, many global features must be extracted from image data, and many layers of convolutional neural networks must be formed in order to extract global features. However, as the number of layers is formed, the capacity of the convolutional neural network increases, and thus memory consumption increases. In addition, in order to improve the accuracy of the object detected through the learning of the image data, the image data needs to be aggregated more, which causes a problem in that the learning speed of the image data decreases.
이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 학습시키고자 하는 영상데이터인 제1 영상데이터 및 제1 영상데이터를 기반으로 생성된 적어도 하나의 제2 영상데이터를 학습하여 영상데이터에서 객체를 검출할 수 있는 영상데이터의 학습방법 및 장치를 제공하는 것이다. Embodiments of the present invention for solving such a conventional problem are to learn first image data, which is image data to be learned, and at least one second image data generated based on the first image data, to determine an object from the image data. It is to provide a method and apparatus for learning detectable image data.
본 발명의 실시 예에 따른 영상데이터의 학습방법은, 전자장치가 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계, 상기 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계, 상기 확인된 생성방법을 기반으로 상기 적어도 하나의 제2 영상데이터를 생성하는 단계 및 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 단계를 포함하는 것을 특징으로 한다. In the method of learning image data according to an embodiment of the present invention, when an electronic device receives a signal for learning image data including at least one object, selecting first image data to be learned, the first image Confirming a method of generating at least one second image data to be learned by being applied to a neural network together with data, generating the at least one second image data based on the identified generation method, and the first image data And learning by applying the at least one second image data to the neural network.
또한, 제2 영상데이터의 생성하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다. In addition, the generating of the second image data is characterized in that the step of generating the frequency domain image data of the first image data as the second image data according to the generation method.
또한, 제2 영상데이터의 생성하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다.In addition, the step of generating the second image data is a step of generating LBP image data obtained by applying a local binary pattern (LBP) to the first image data as the second image data according to the generation method. It is characterized.
또한, 제2 영상데이터를 생성하는 단계는, 상기 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴을 적용한 LBP영상데이터 및 상기 LBP영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다. In addition, generating the second image data may include frequency domain image data for the first image data, LBP image data obtained by applying a local binary pattern to the first image data, and the LBP image data according to the generation method. And generating frequency domain image data as the second image data.
또한, 제2 영상데이터를 생성하는 단계는, 상기 생성방법에 따라 생성된 상기 제1 영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 상기 제1 영상데이터에 대한 지역특징을 갖는 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터를 생성하는 단계인 것을 특징으로 한다.In addition, the step of generating the second image data may include the frequency domain image data for the first image data generated according to the generation method and the pixel values for pixels constituting the first image data. And generating the second image data from back-projected image data using a histogram having a regional characteristic of the first image data.
또한, 제2 영상데이터를 생성하는 단계는, 상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터, 상기 LBP영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터로 생성하는 단계인 것을 특징으로 한다. In addition, the step of generating the second image data includes the frequency domain image data for the first image data and LBP in which a local binary pattern (LBP) is applied to the first image data according to the identified generation method. Generating back-projection image data using image data, frequency domain image data for the LBP image data, and a histogram generated based on pixel values for pixels constituting the first image data as the second image data It is characterized by being.
또한, 신경망에 적용하여 학습하는 단계 이후에, 상기 신경망에 적용된 학습결과로 상기 제1 영상데이터에 포함된 적어도 하나의 객체를 검출하는 단계를 더 포함하는 것을 특징으로 한다. Further, after the learning by applying to the neural network, detecting at least one object included in the first image data as a result of learning applied to the neural network.
아울러, 본 발명의 실시 예에 따른 영상데이터의 학습을 위한 전자장치는, 적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 학습신호를 입력하는 입력부 및 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하여 상기 생성방법에 따라 상기 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 제어부를 포함하는 것을 특징으로 한다.In addition, the electronic device for learning image data according to an embodiment of the present invention is applied to a neural network together with an input unit for inputting a learning signal for learning image data including at least one object and the first image data for learning. Identify a method of generating at least one second image data to be performed, generate the at least one second image data according to the generation method, and apply the first image data and the at least one second image data to the neural network It characterized in that it comprises a control unit for learning.
상술한 바와 같이 본 발명에 따른 영상데이터의 학습방법 및 장치는, 학습시키고자 하는 영상데이터인 제1 영상데이터 및 제1 영상데이터를 기반으로 생성된 적어도 하나의 제2 영상데이터를 학습하여 영상데이터에서 객체를 검출함으로써, 신경망의 계층을 감소시킬 수 있고, 영상데이터에 대한 어그멘테이션의 최소화를 통해 영상데이터의 학습속도를 향상시킬 수 있는 효과가 있다. As described above, in the method and apparatus for learning image data according to the present invention, the first image data, which is the image data to be learned, and at least one second image data generated based on the first image data are learned to learn the image data. By detecting the object in, the layer of the neural network can be reduced, and the learning speed of the video data can be improved by minimizing the aggregation of the video data.
도 1은 본 발명의 실시 예에 따른 영상데이터를 학습하기 위한 전자장치의 주요 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 영상데이터의 학습을 통해 영상데이터에 포함된 객체를 검출하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 백프로젝션 영상데이터를 제2 영상데이터로 생성하는 방법을 설명하기 위한 도면이다. 1 is a diagram showing a main configuration of an electronic device for learning image data according to an embodiment of the present invention.
2 is a flowchart illustrating a method of detecting an object included in image data through learning of image data according to an embodiment of the present invention.
3 is a diagram illustrating a method of generating back-projection image data as second image data according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE INVENTION The detailed description to be disclosed below together with the accompanying drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. In the drawings, parts irrelevant to the description may be omitted in order to clearly describe the present invention, and the same reference numerals may be used for the same or similar components throughout the specification.
본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may represent one of words listed together, or a combination of two or more. For example, “A or B” and “at least one of A and B” may include only one of A or B, and may include both A and B.
도 1은 본 발명의 실시 예에 따른 영상데이터를 학습하기 위한 전자장치의 주요 구성을 나타낸 도면이다. 1 is a diagram showing a main configuration of an electronic device for learning image data according to an embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 전자장치(100)는 통신부(110), 입력부(120), 카메라부(130), 표시부(140), 메모리(150) 및 제어부(160)를 포함한다. Referring to FIG. 1, an
통신부(110)는 전자장치(100)의 외부에 구비된 카메라(미도시), 서버(미도시) 등의 외부장치와 통신을 수행한다. 이를 위해, 통신부(110)는 유선 또는 무선 통신 중 적어도 하나를 수행할 수 있다. 통신부(110)는 5G(5th generation mobile telecommunication), LTE(long term evolution), Wi-Fi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 등의 무선 통신을 수행할 수 있다. 통신부(110)는 외부장치와의 통신을 통해 객체를 검출하고자 하는 영상데이터를 수신하여 제어부(160)로 제공한다. The
입력부(120)는 전자장치(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 입력부(120)는 적어도 하나의 입력수단을 포함한다. 이러한 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 키보드(keyboard), 마우스(mouse), 터치 키(touch key) 중 적어도 하나를 포함한다. The
카메라부(130)는 전자장치(100)의 특정 위치에 배치되거나, 전자장치(100)의 외부에서 전자장치(100)와 연결되어 영상데이터를 획득한다. 이를 위해, 카메라부(130)는 광학적 신호를 수신하여 영상데이터를 발생시킨다. 카메라부(130)는 카메라 센서와 신호변환부를 구비할 수 있다. 카메라 센서는 광학적 신호를 전기적 영상신호로 변환한다. 신호변환부는 아날로그 영상신호를 디지털 영상데이터로 변환한다. The
표시부(140)는 표시데이터를 출력한다. 예를 들면, 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등을 포함할 수 있다. 표시부(140)는 입력부(120)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다. The
메모리(150)는 전자장치(100)의 동작 프로그램들을 저장할 수 있다. 메모리(150)는 영상데이터 내에 포함된 적어도 하나의 객체를 검출하기 위해 영상데이터를 학습할 수 있는 합성곱 신경망(CNN; convolutional neural network, 이하, 신경망이라 함)을 저장한다. 메모리(150)는 제어부(160)에 의해 선택된 제1 영상데이터를 이용하여 적어도 하나의 제2 영상데이터를 생성하기 위한 다양한 알고리즘을 저장할 수 있다. The
제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호를 수신한다. 제어부(160)는 학습신호에 대응되는 제1 영상데이터를 확인하고, 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인한다. 제어부(160)는 확인된 생성방법에 따라 적어도 하나의 제2 영상데이터를 생성하고, 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 신경망에 적용한다. 제어부(160)는 신경망에 적용되어 학습된 결과로 제1 영상데이터에 포함된 적어도 하나의 객체를 검출하여 메모리(150)에 저장한다. The
보다 구체적으로, 제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호가 수신되면, 학습신호에 따라 메모리(150)에 저장된 신경망에 적용하여 학습시킬 제1 영상데이터를 선택한다. 이때, 제어부(160)는 입력부(120)의 입력에 따라 카메라부(130)에서 획득된 영상데이터, 전자장치(100)의 외부에 구비된 외부장치로부터 수신된 영상데이터 및 메모리(150)에 기저장된 영상데이터 중 어느 하나의 영상데이터를 제1 영상데이터로 선택할 수 있다.More specifically, when a learning signal for learning image data including at least one object is received from the
제어부(160)는 선택된 제1 영상데이터를 이용하여 적어도 하나의 제2 영상데이터를 생성하기 위한 생성방법을 확인한다. 이때, 생성방법은 전자장치(100)의 사용자에 의해 기설정된 상태일 수 있고, 입력부(120)를 통해 수신된 설정신호를 기반으로 확인할 수 있다. 제어부(160)는 확인된 생성방법을 이용하여 적어도 하나의 제2 영상데이터를 생성한다. The
이와 관련하여, 제어부(160)는 제1 영상데이터에 FFT(fast fourier transform)를 적용하여 제1 영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용하여 LBP영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터, LBP영상데이터 및 LBP영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터 및 백프로젝션(back projection) 영상데이터를 제2 영상데이터로 생성할 수 있다. 제어부(160)는 제1 영상데이터를 구성하는 픽셀들 중에서 특정 픽셀이 가진 픽셀 값을 확인하고, 확인된 특정 픽셀을 중심으로 일정 영역을 설정하여 설정된 일정 영역에 포함된 픽셀들의 픽셀 값을 기반으로 히스토그램을 생성한다. 이때, 제어부(160)는 제1 영상데이터를 복수의 일정 영역으로 분할하고, 분할된 일정 영역에 포함된 픽셀들의 픽셀 값을 기반으로 히스토그램을 생성할 수도 있다. 제어부(160)는 생성된 히스토그램을 이용하여 백프로젝션 영상데이터를 생성할 수 있다. 또한, 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터, LBP영상데이터, LBP영상데이터에 대한 주파수도메인 영상데이터 및 백프로젝션 영상데이터를 제2 영상데이터로 생성할 수 있고, 필요에 따라 LBP영상데이터에 대한 주파수도메인 영상데이터를 제외하여 제2 영상데이터를 생성할 수 있다. In this regard, the
제어부(160)는 제1 영상데이터 및 적어도 하나의 제2 영상데이터를 복수의 채널을 통해 신경망에 적용하여 학습시킨다. 제어부(160)는 학습결과로 객체의 검출이 완료되면 검출된 객체를 메모리(150)에 저장한다. 이와 같이, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하고, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 신경망에 적용하여 신경망으로의 입력 채널 개수를 증가시킴으로써, 제1 영상데이터에 포함된 객체를 추출하기 위해 사용하는 신경망의 계층을 축소시킬 수 있는 효과가 있다. 또한, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하기 때문에 제1 영상데이터에 대한 어그멘테이션을 최소화할 수 있으며, 이로 인해 학습속도를 단축시킬 수 있는 효과가 있다. The
도 2는 본 발명의 실시 예에 따른 영상데이터의 학습을 통해 영상데이터에 포함된 객체를 검출하는 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a method of detecting an object included in image data through learning of image data according to an embodiment of the present invention.
도 2를 참조하면, 201단계에서 제어부(160)는 입력부(120)로부터 적어도 하나의 객체를 포함한 영상데이터를 학습하기 위한 학습신호의 수신여부를 확인한다. 201단계에서 학습신호가 수신된 것으로 확인되면 제어부(160)는 203단계를 수행하고, 학습신호가 수신되지 않으면 제어부(160)는 201단계로 회귀하여 학습신호의 수신을 대기한다. Referring to FIG. 2, in
203단계에서 제어부(160)는 메모리(150)에 저장된 합성곱 신경망(CNN; convolutional neural network, 이하, 신경망이라 함)에 적용하여 학습시킬 제1 영상데이터를 선택한다. 이때, 제어부(160)는 입력부(120)의 입력에 따라 카메라부(130)에서 획득된 영상데이터, 전자장치(100)의 외부에 구비된 외부장치로부터 수신된 영상데이터 및 메모리(150)에 기저장된 영상데이터 중 어느 하나의 영상데이터를 제1 영상데이터로 선택할 수 있다. In
205단계에서 제어부(160)는 선택된 제1 영상데이터를 이용하여 적어도 하나의 제2 영상데이터를 생성하기 위한 생성방법을 확인한다. 이때, 생성방법은 전자장치(100)의 사용자에 의해 기설정된 상태일 수 있고, 입력부(120)를 통해 수신된 설정신호를 기반으로 확인할 수 있다. 207단계에서 제어부(160)는 확인된 생성방법을 이용하여 적어도 하나의 제2 영상데이터를 생성한다. In
보다 구체적으로, 제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제1 생성방법이면, 제어부(160)는 제1 영상데이터에 FFT(fast fourier transform)를 적용하여 제1 영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성한다. 주파수도메인 영상데이터는 전역특징을 나타낼 수 있는 영상데이터로 제1 영상데이터에 비해 지형적 변환에 강인하여 신경망이 학습하기에 좋은 영상데이터이다. 아울러, 제어부(160)는 제1 영상데이터가 그레이스케일의 영상데이터이면 밝기 값에 대한 주파수도메인 영상데이터를 생성할 수 있다. 또한, 제어부(160)는 제1 영상데이터가 컬러스케일의 영상데이터이면 제1 영상데이터를 R(red), G(green), B(blue) 값을 갖는 세 개의 제1 영상데이터로 생성할 수 있다. 제1 영상데이터가 컬러스케일의 영상데이터일 경우, 제어부(160)는 제1 영상데이터의 밝기 값에 대한 주파수도메인 영상데이터를 생성하거나, R(red), G(green), B(blue)값을 갖는 세 개의 제1 영상데이터 각각에 대한 주파수도메인 영상데이터를 생성할 수 있다. 이와 같이, 본 발명은 제1 영상데이터를 기반으로 전역특징을 나타낼 수 있는 제2 영상데이터를 생성하기 때문에, 신경망의 계층을 최소화하여 제1 영상데이터에 포함된 객체를 보다 정확하게 추출할 수 있는 효과가 있다. More specifically, if the generation method for generating the second image data is the first generation method, the
제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제2 생성방법이면, 제어부(160)는 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용하여 LBP영상데이터를 제2 영상데이터로 생성한다. 이때, LBP영상데이터는 광학적 변화에 대한 강인한 영상데이터로 지역특징을 나타낼 수 있는 영상데이터이다. If the generation method for generating the second image data is the second generation method, the
제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제3 생성방법이면, 제어부(160)는 제1 영상데이터에 대한 주파수도메인 영상데이터, LBP영상데이터 및 LBP영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성한다. 제어부(160)는 LBP영상데이터에 FFT를 적용하여 LBP영상데이터에 대한 주파수도메인 영상데이터를 생성할 수 있다. 이를 통해, 제어부(160)는 지형적 변환에 강인한 전역특징을 나타내는 제1 영상데이터에 대한 주파수도메인 영상데이터, 밝기 변환에 강인한 지역특징을 나타내는 LBP영상데이터 및 지역특징에 대한 전역특징을 나타내는 LBP영상데이터에 대한 주파수도메인 영상데이터를 모두 제2 영상데이터로 이용하여 제1 영상데이터의 지역 및 전역에 걸친 특징을 모두 확인할 수 있다. If the generation method for generating the second image data is a third generation method, the
제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제4 생성방법이면, 제어부(160)는 제1 영상데이터에 FFT를 적용하여 제1 영상데이터에 대한 주파수도메인 영상데이터를 제2 영상데이터로 생성한다. 또한, 제어부(160)는 제1 영상데이터를 구성하는 픽셀들의 픽셀 값을 기반으로 제1 영상데이터에 대한 지역특징을 갖는 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 백프로젝션(back projection) 영상데이터를 제2 영상데이터로 생성한다. 보다 구체적으로, 제어부(160)는 제1 영상데이터를 구성하는 픽셀들 중에서 특정 픽셀이 가진 픽셀 값(예컨대, 0-255사이의 값)을 확인할 수 있다. 제어부(160)는 확인된 특정 픽셀을 중심으로 일정 영역을 설정하고, 설정된 일정 영역에 포함된 픽셀들의 픽셀 값을 확인하여 히스토그램을 생성할 수 있다. 또한, 제어부(160)는 제1 영상데이터를 복수의 일정 영역으로 분할하고, 분할된 일정 영역에 포함된 픽셀들의 픽셀 값을 기반으로 히스토그램을 생성할 수도 있다. 이때, 제어부(160)는 일정 영역에서 확인된 픽셀 값을 x축으로, 픽셀 값을 갖는 픽셀의 개수를 y축으로 설정하여 히스토그램을 생성하여 백프로젝션 영상데이터를 생성할 수 있다. 이는 하기의 도 3을 이용하여 설명하기로 한다. If the generation method for generating the second image data is the fourth generation method, the
도 3은 본 발명의 실시 예에 따른 백프로젝션 영상데이터를 제2 영상데이터로 생성하는 방법을 설명하기 위한 도면이다.3 is a diagram illustrating a method of generating back-projection image data as second image data according to an embodiment of the present invention.
도 3을 참조하면, 도 3의 (a)와 같이 제1 영상데이터(310)를 총 16개의 일정 영역으로 분할할 수 있다. 제어부(160)는 각 일정 영역에서 제12 영역(311)에 포함된 픽셀 중 제1 픽셀(P1), 제16 영역(312)에 포함된 제2 픽셀(P2)의 픽셀 값을 확인할 수 있다. 제어부(160)는 도 3의 (b) 및 (c)와 같이 제12 영역(311)과 제16 영역(312)에 포함된 픽셀들의 픽셀 값을 이용하여 히스토그램을 생성할 수 있다. 제어부(160)는 도 3의 (b)와 같이 제12 영역(311)에 대한 히스토그램에서 제12 영역(311)을 구성하는 픽셀들 중에서 제1 픽셀(P1)의 픽셀 값(V1)과 동일한 픽셀 값을 갖는 픽셀들의 개수(321)를 확인한다. 또한, 제어부(160)는 도 3의 (c)와 같이 제16 영역(312)에 대한 히스토그램에서 제16 영역(312)을 구성하는 픽셀들 중에서 제2 픽셀(P2)의 픽셀 값(V2)과 동일한 픽셀 값을 갖는 픽셀들의 개수(323)를 확인한다. 이와 같이 제어부(160)는 제1 영상데이터(310)에서 분할되어 생성된 복수의 일정 영역 각각에 대한 히스토그램을 생성할 수 있다.Referring to FIG. 3, as shown in FIG. 3A, the
제어부(160)는 도 3의 (d)와 같이 도 3의 (b)와 (c)에서 확인된 픽셀들의 개수(321, 323)을 이용하여 백프로젝션 영상데이터를 제2 영상데이터로 생성한다. 즉, 제어부(160)는 제1 픽셀(P1)과 동일한 위치의 픽셀(P1')에 대한 픽셀 값을 제1 픽셀(P1)의 픽셀 값(V1)과 동일한 픽셀 값을 갖는 픽셀들의 개수(321)로 치환할 수 있다. 또한, 제어부(160)는 제2 픽셀(P2)과 동일한 위치의 픽셀(P2')에 대한 픽셀 값을 제2 픽셀(P2)의 픽셀 값(V2)과 동일한 픽셀 값을 갖는 픽셀들의 개수(323)로 치환할 수 있다. 이와 같이, 제어부(160)는 제1 영상데이터에 포함된 모든 픽셀들에 대하여 상기와 같은 방법을 적용하여 제2 영상데이터(330)를 생성할 수 있다. As shown in (d) of FIG. 3, the
제어부(160)는 제2 영상데이터를 생성하기 위한 생성방법이 제5 생성방법이면, 제어부(160)는 상기의 제1 생성방법 내지 제4 생성방법을 모두 이용하여 복수의 제2 영상데이터를 생성할 수 있다. 아울러, 제어부(160)는 필요에 따라 LBP영상데이터에 대한 주파수도메인 영상데이터는 사용하지 않을 수 있다. If the generation method for generating the second image data is a fifth generation method, the
209단계에서 제어부(160)는 제1 영상데이터와 207단계에서 생성된 적어도 하나의 제2 영상데이터를 복수의 채널을 통해 신경망에 적용하여 학습시킨다. 예컨대, 제어부(160)는 제1 채널을 통해 제1 영상데이터를 신경망에 적용하고, 제2 영상데이터가 복수개일 경우 각각의 제2 영상데이터마다 채널을 할당하여 복수의 채널을 통해 제2 영상데이터를 신경망에 적용할 수 있다. In
211단계에서 제어부(160)는 제1 영상데이터 및 적어도 하나의 제2 영상데이터의 학습이 완료되면 즉, 제1 영상데이터 및 적어도 하나의 제2 영상데이터의 학습에 따라 제1 영상데이터에 포함된 객체의 검출이 완료되면 213단계를 수행하고, 학습이 완료되지 않으면 객체의 검출완료를 대기한다. 213단계에서 제어부(160)는 학습에 따라 검출된 객체를 메모리(150)에 저장한다. 이와 같이, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하고, 제1 영상데이터와 적어도 하나의 제2 영상데이터를 신경망에 적용하여 학습시킴으로써, 제1 영상데이터에 포함된 객체를 추출하기 위해 사용하는 신경망의 계층을 축소시킬 수 있는 효과가 있다. 또한, 본 발명은 제1 영상데이터를 기반으로 적어도 하나의 제2 영상데이터를 생성하기 때문에 제1 영상데이터에 대한 어그멘테이션을 최소화할 수 있으며, 이로 인해 학습속도를 단축시킬 수 있는 효과가 있다.In
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in the present specification and drawings are only provided for specific examples to easily explain the technical content of the present invention and to aid understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed that all changes or modified forms derived based on the technical idea of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.
Claims (8)
적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계;
상기 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계;
상기 확인된 생성방법을 기반으로 상기 적어도 하나의 제2 영상데이터를 생성하는 단계; 및
상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 단계;
를 포함하며,
상기 제2 영상데이터를 생성하는 단계는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터 및 상기 LBP영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 단계를 포함하는 것을 특징으로 하는 영상데이터의 학습방법.A method of learning image data performed by an electronic device, comprising:
Selecting first image data to be learned upon receiving a signal for learning image data including at least one object;
Confirming a method of generating at least one second image data to be learned by being applied to a neural network together with the first image data;
Generating the at least one second image data based on the identified generation method; And
Learning by applying the first image data and the at least one second image data to the neural network;
Including,
Generating the second image data,
According to the identified generation method, frequency domain image data for the first image data, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. And generating data as the second image data.
적어도 하나의 객체를 포함하는 영상데이터를 학습하기 위한 신호를 수신하면, 학습할 제1 영상데이터를 선택하는 단계;
상기 제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하는 단계;
상기 확인된 생성방법을 기반으로 상기 적어도 하나의 제2 영상데이터를 생성하는 단계; 및
상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 단계;
를 포함하며,
상기 제2 영상데이터를 생성하는 단계는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터, 상기 LBP영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터로 생성하는 단계를 포함하는 것을 특징으로 하는 영상데이터의 학습방법.A method of learning image data performed by an electronic device, comprising:
Selecting first image data to be learned upon receiving a signal for learning image data including at least one object;
Confirming a method of generating at least one second image data to be learned by being applied to a neural network together with the first image data;
Generating the at least one second image data based on the identified generation method; And
Learning by applying the first image data and the at least one second image data to the neural network;
Including,
Generating the second image data,
Frequency domain image data for the first image data according to the identified generation method, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. And generating back-projection image data using a histogram generated based on data and pixel values of pixels constituting the first image data as the second image data. .
상기 제2 영상데이터를 생성하는 단계는,
상기 생성방법에 따라 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 상기 제1 영상데이터에 대한 지역특징을 갖는 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 영상데이터의 학습방법The method of claim 1,
Generating the second image data,
The second image data is generated from back-projected image data using a histogram having regional characteristics of the first image data generated based on pixel values of pixels constituting the first image data according to the generation method. Learning method of image data comprising the step of
상기 신경망에 적용하여 학습하는 단계 이후에,
상기 신경망에 적용된 학습결과로 상기 제1 영상데이터에 포함된 적어도 하나의 객체를 검출하는 단계;
를 더 포함하는 것을 특징으로 하는 영상데이터의 학습방법.The method according to claim 1 or 2,
After the step of learning by applying to the neural network,
Detecting at least one object included in the first image data as a result of learning applied to the neural network;
Learning method of image data, characterized in that it further comprises.
제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하여 상기 생성방법에 따라 상기 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 제어부;
를 포함하며,
상기 제어부는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터 및 상기 LBP영상데이터에 대한 주파수도메인 영상데이터를 상기 제2 영상데이터로 생성하는 것을 특징으로 하는 영상데이터의 학습을 위한 전자장치.An input unit for inputting a learning signal for learning image data including at least one object; And
A method of generating at least one second image data to be learned by being applied to a neural network together with the first image data is identified to generate the at least one second image data according to the generation method, and the first image data and the at least A control unit for learning by applying one second image data to the neural network;
Including,
The control unit,
According to the identified generation method, frequency domain image data for the first image data, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. An electronic device for learning image data, characterized in that generating data as the second image data.
제1 영상데이터와 함께 신경망에 적용되어 학습할 적어도 하나의 제2 영상데이터의 생성방법을 확인하여 상기 생성방법에 따라 상기 적어도 하나의 제2 영상데이터를 생성하고, 상기 제1 영상데이터와 상기 적어도 하나의 제2 영상데이터를 상기 신경망에 적용하여 학습하는 제어부;
를 포함하며,
상기 제어부는,
상기 확인된 생성방법에 따라 상기 제1 영상데이터에 대한 주파수도메인 영상데이터, 상기 제1 영상데이터에 로컬 바이너리 패턴(LBP; local binary pattern)을 적용한 LBP영상데이터, 상기 LBP영상데이터에 대한 주파수도메인 영상데이터 및 상기 제1 영상데이터를 구성하는 픽셀들에 대한 픽셀 값을 기반으로 생성된 히스토그램을 이용한 백프로젝션 영상데이터를 상기 제2 영상데이터로 생성하는 것을 특징으로 하는 영상데이터의 학습을 위한 전자장치.An input unit for inputting a learning signal for learning image data including at least one object; And
A method of generating at least one second image data to be learned by being applied to a neural network together with the first image data is identified to generate the at least one second image data according to the generation method, and the first image data and the at least A control unit for learning by applying one second image data to the neural network;
Including,
The control unit,
Frequency domain image data for the first image data according to the identified generation method, LBP image data to which a local binary pattern (LBP) is applied to the first image data, and a frequency domain image for the LBP image data. An electronic device for learning image data, comprising generating back-projected image data using data and a histogram generated based on pixel values of pixels constituting the first image data as the second image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190089405A KR102224276B1 (en) | 2019-07-24 | 2019-07-24 | Method and Apparatus for Training of Image Data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190089405A KR102224276B1 (en) | 2019-07-24 | 2019-07-24 | Method and Apparatus for Training of Image Data |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210012173A KR20210012173A (en) | 2021-02-03 |
KR102224276B1 true KR102224276B1 (en) | 2021-03-05 |
Family
ID=74571992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190089405A KR102224276B1 (en) | 2019-07-24 | 2019-07-24 | Method and Apparatus for Training of Image Data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102224276B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180032801A1 (en) | 2016-07-27 | 2018-02-01 | International Business Machines Corporation | Inferring body position in a scan |
US20180307911A1 (en) | 2017-04-21 | 2018-10-25 | Delphi Technologies, Llc | Method for the semantic segmentation of an image |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101580254B1 (en) * | 2012-03-14 | 2015-12-24 | 삼성전자 주식회사 | Apparatus and method for diagnosis of medical image in a frequency domain |
US10152654B2 (en) * | 2014-02-20 | 2018-12-11 | Kla-Tencor Corporation | Signal response metrology for image based overlay measurements |
KR101961177B1 (en) * | 2016-07-22 | 2019-03-22 | 한국과학기술원 | Method and apparatus for processing image based on neural network |
-
2019
- 2019-07-24 KR KR1020190089405A patent/KR102224276B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180032801A1 (en) | 2016-07-27 | 2018-02-01 | International Business Machines Corporation | Inferring body position in a scan |
US20180307911A1 (en) | 2017-04-21 | 2018-10-25 | Delphi Technologies, Llc | Method for the semantic segmentation of an image |
Also Published As
Publication number | Publication date |
---|---|
KR20210012173A (en) | 2021-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10529300B1 (en) | Adaptive image display based on colorspace conversions | |
US9563825B2 (en) | Convolutional neural network using a binarized convolution layer | |
US10614635B1 (en) | Augmented reality system with color-based fiducial marker | |
US9418319B2 (en) | Object detection using cascaded convolutional neural networks | |
CN111476780A (en) | Image detection method and device, electronic equipment and storage medium | |
KR20190092995A (en) | Terminal and image processing method thereof | |
US9478037B2 (en) | Techniques for efficient stereo block matching for gesture recognition | |
CN110443171B (en) | Video file classification method and device, storage medium and terminal | |
US20130148899A1 (en) | Method and apparatus for recognizing a character based on a photographed image | |
JP2014527210A (en) | Content adaptive system, method and apparatus for determining optical flow | |
CN107292817B (en) | Image processing method, device, storage medium and terminal | |
KR102508860B1 (en) | Method, device, electronic equipment and medium for identifying key point positions in images | |
US10043098B2 (en) | Method of detecting color object by using noise and system for detecting light emitting apparatus by using noise | |
US20160142702A1 (en) | 3d enhanced image correction | |
CN113838134B (en) | Image key point detection method, device, terminal and storage medium | |
KR102562052B1 (en) | Electronic apparatus and contorl method thereof | |
CN112084959B (en) | Crowd image processing method and device | |
KR102224276B1 (en) | Method and Apparatus for Training of Image Data | |
CN113469869A (en) | Image management method and device | |
CN111222558A (en) | Image processing method and storage medium | |
US9430095B2 (en) | Global and local light detection in optical sensor systems | |
US11687782B2 (en) | Systems and methods for recognition of user-provided images | |
US11947631B2 (en) | Reverse image search based on deep neural network (DNN) model and image-feature detection model | |
KR102281682B1 (en) | Method and Apparatus for Generating of Image Data for Training | |
US11217203B2 (en) | Display apparatus and method of controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |