KR20190048279A - Image processing method and apparatus using convolution neural network - Google Patents
Image processing method and apparatus using convolution neural network Download PDFInfo
- Publication number
- KR20190048279A KR20190048279A KR1020170143093A KR20170143093A KR20190048279A KR 20190048279 A KR20190048279 A KR 20190048279A KR 1020170143093 A KR1020170143093 A KR 1020170143093A KR 20170143093 A KR20170143093 A KR 20170143093A KR 20190048279 A KR20190048279 A KR 20190048279A
- Authority
- KR
- South Korea
- Prior art keywords
- layer
- input
- convolution
- result
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 인간 뇌의 신피질 기능을 반영하여 새롭게 구성한 합성곱 신경망에 기반하여 영상을 처리하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for processing an image based on a newly constructed articulated neural network reflecting the neocortical function of the human brain.
최근 다양한 종류와 방대한 양의 영상 데이터들이 생성되고 있고, 이러한 영상 데이터를 자동화하여 처리하기 위한 다양한 기술들이 개발되고 있다. 특히 인공 신경망(Neural network) 기술이 발전하면서, 이를 이용하여 자동으로 영상 데이터를 학습하고 분류하는 처리등이 산업계에 적용되고 있다.Recently, various kinds of image data and vast amount of image data have been generated, and various techniques for automating and processing the image data have been developed. Especially, as the neural network technology is developed, the processing of automatically learning and classifying the image data by using it is applied to the industry.
이러한 인공 신경망 기술중 비교적 널리 사용되고 있는 합성곱 신경망(Convoltuional Neural Network, CNN) 기술의 경우, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 풀링 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 구조를 가지며, 특히 2차원 데이터의 학습에 적합한 구조를 가지고 있는 것으로 알려져 있다. 역전달(Backpropagation algorithm)을 통해 훈련될 수 있으며, 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 모델이다.In the case of Convoltuional Neural Network (CNN) technology, one or several convolutional and pooling layers, a fully connected layer ), And is known to have a structure suitable for learning of two-dimensional data. It can be trained through backpropagation algorithm, and it is a widely used model for various application fields such as object classification and object detection in image.
다만, 하지만 이러한 합성곱 신경망 구조들은 인간의 뇌를 모방하여 적용한다는 딥러닝의 근본적인 목표를 충분히 이행하고 있지 못하고 있다. 입력 정보를 축소시키고, 뇌의 뉴런들 사이에 가중치를 설정하는 인간 뇌의 기능을 콘볼루션 계층과 풀링 계층을 이용하여 구현하고 있지만, 인간의 뇌는 데이터 양을 줄이고 뉴런 사이의 가중치를 재설정하는 기능 외에도 입력된 정보를 바탕으로 다음 정보를 예측하고 예측과 관련된 뉴런들의 가중치를 상승시켜 더욱 활성화 시키는 역할을 수행한다. 이와 더불어 인간의 감각기관 중 시각은 동일한 객체에 대해 각기 다른 양상의 9개 영상으로 분리하여 뇌로 전달함으로써, 단일 정보도 그 양상을 다양화하여 처리한다. 이러한 뇌의 기능은 현재의 합성곱 신경망 구조에 구체적으로 구현되어 있지 않다. 따라서, 이러한 현재의 합성곱 신경망 구조의 한계점을 극복하고 인간의 시각 피질 기능을 구현한 새로운 형태의 합성곱 신경망 구조를 제안하고자 한다. However, these synthetic neural network structures do not fully fulfill the fundamental goal of deep learning to imitate human brain. Although the human brain function to reduce the input information and set the weight between neurons in the brain is implemented using the convolution layer and the pooling layer, the human brain is capable of reducing the amount of data and resetting the weight between neurons In addition, it predicts the next information based on the input information and increases the weight of the neurons related to the prediction, thereby further activating the neuron. In addition, the human visual senses are divided into nine different images of the same object and transmitted to the brain. These brain functions are not specifically implemented in the current composite neural network structure. Therefore, we propose a new type of articulated neural network structure that overcomes the limitations of the current articulated neural network structure and implements human visual cortex function.
본 발명의 일 실시예는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인간의 뇌에서 시각 기능을 담당하는 신피질의 기능을 모사한 합성곱 신경망에 기반하여 영상 정보를 처리하는 장치 및 방법을 제공하고자 한다.According to an aspect of the present invention, there is provided an apparatus and method for processing image information based on a composite neural network simulating a function of a cortex that is responsible for a visual function in a human brain I want to.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 영상 처리 장치는 뇌의 신피질 기능을 모사한 합성곱 신경망 기반의 영상 처리 장치로서, 영상 처리 프로그램이 저장된 메모리, 데이터 입출력을 수행하는 데이터 입출력 모듈 및 프로세서를 포함하되, 상기 영상 처리 프로그램은 상기 프로세서에 의하여 구동되어, 상기 데이터 입출력 모듈을 통해 입력된 영상 데이터에 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 과정, 상기 합성곱 연산 처리가 수행된 영상 데이터에 대하여 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 과정, 상기 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 상기 산출된 각 풀링 결과를 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 과정, 상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 과정, 상기 제 2 합성곱 연산의 결과를 출력 레이어로 출력하는 과정 및 상기 제 2 합성곱 연산의 결과에 대하여 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하고 이를 상기 입력 합성곱 레이어로 전달하여 입력 영상 데이터와 함께 입력시키는 과정을 수행하는 것이다. According to one aspect of the present invention, there is provided an image processing apparatus based on a composite neural network that simulates the neocortex function of the brain. The image processing apparatus includes a memory storing an image processing program, a data input / The image processing program is driven by the processor and performs a first convolution operation on the image data input through the data input / output module through an input convolution layer Performing average summing and maximum summing in parallel on the image data on which the composite product arithmetic processing has been performed through the average and maximum pooling layers; Each of the calculated pooling results Performing a concatenation operation through the first concatenation operation, performing a second concurrency addition operation on the result of performing the concatenation operation, and outputting the result of the second concurrency operation to an output layer And a result of the second convolution operation is performed through a completely connected layer through a completely connected layer and is transmitted to the input convolution layer and input together with input image data.
본 발명의 다른 측면에 따른 영상 처리 방법은 뇌의 신피질 기능을 모사한 합성곱 신경망 기반의 영상 처리 장치를 이용한 것으로서, 영상 처리 장치를 입력된 영상 데이터에 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 단계; 상기 합성곱 연산 처리가 수행된 영상 데이터에 대하여 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 단계; 상기 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 상기 산출된 각 풀링 결과를 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 단계; 상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 단계; 상기 제 2 합성곱 연산의 결과를 출력 레이어로 출력하는 단계 및 상기 제 2 합성곱 연산의 결과에 대하여 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하고 이를 상기 입력 합성곱 레이어로 전달하여 입력 영상 데이터와 함께 입력시키는 단계를 수행하는 것이다.According to another aspect of the present invention, there is provided an image processing method using an artificial neural network-based image processing apparatus that simulates the neocortex function of the brain. The image processing apparatus includes a first synthesis product Convolution) operation; Performing average pooling and maximum pooling in parallel on the image data on which the product-multiply processing has been performed through an average pooling layer and an average pooling layer; Performing an operation of concatenating each of the calculated pulling results through the connection layer through the far-end pooling layer and the max-pooling layer; Performing a second synthesizing operation on the result of performing the concatenation operation to learn; Outputting the result of the second product multiply operation to an output layer, and performing a full connection operation process on the result of the second product multiply operation through a layer not completely connected to the input synthesized product layer, And inputting the data together with the data.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 인간의 뇌에서 시각 기능을 담당하는 신피질의 기능을 모사한 합성곱 신경망에 기반하여 영상 정보를 처리함으로써, 영상으로부터 보다 다양한 특징 도출이 가능해지고 영상 처리의 정확도를 향상시킬 수 있다.According to any one of the above-mentioned objects of the present invention, it is possible to derive a variety of features from an image by processing image information based on a composite neural network that simulates the function of the cortex that is responsible for the visual function in the human brain The accuracy of the image processing can be improved.
도 1은 인간의 뇌의 시각 정보 처리와 관련한 뇌의 해부학적 구조를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 뇌의 신피질 기능을 모사한 합성곱 신경망 기반의 영상 처리 프로그램의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 에버리지 풀링 레이어(320)와 맥스 풀링 레이어(330)에서 수행되는 맥스 풀링과 에버리지 풀링을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 연결 연산 처리 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 수행되는 배치 노멀라이제이션(batch normalization) 미 적용시 발생하는 문제점을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 수행되는 배치 노멀라이제이션(batch normalization) 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 적용되는 ReLU 함수를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 완전 연결 히든 레이어의 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 다른 실시예에 영상 처리 장치의 구성을 설명하기 위한 도면이다.1 is a diagram showing an anatomical structure of the brain related to visual information processing of the human brain.
2 is a diagram illustrating an image processing apparatus according to an embodiment of the present invention.
FIG. 3 is a view for explaining the operation of a composite neural network-based image processing program simulating brain cortical functions according to an embodiment of the present invention.
FIG. 4 is a view for explaining the max pooling and the average pooling performed in the
5 is a diagram for explaining a connection calculation process according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining a problem that occurs when batch normalization is not performed in accordance with an embodiment of the present invention.
7 is a diagram for explaining a batch normalization process performed according to an embodiment of the present invention.
8 is a diagram for explaining the ReLU function applied to an embodiment of the present invention.
9 is a view for explaining the operation of the fully connected hidden layer according to an embodiment of the present invention.
10 is a diagram for explaining the configuration of an image processing apparatus according to another embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description in the drawings are omitted, and like parts are denoted by similar reference numerals throughout the specification. In the following description with reference to the drawings, the same reference numerals will be used to designate the same names, and the reference numerals are merely for convenience of description, and the concepts, features, and functions Or the effect is not limited to interpretation.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when a component is referred to as " comprising ", it is understood that it may include other components as well as other components, But do not preclude the presence or addition of a feature, a number, a step, an operation, an element, a component, or a combination thereof.
본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.Herein, the term " part " or " module " means a unit realized by hardware or software, a unit realized by using both, and a unit realized by using two or more hardware Or two or more units may be realized by one hardware.
도 1은 인간의 뇌의 시각 정보 처리와 관련한 뇌의 해부학적 구조를 도시한 도면이다. 1 is a diagram showing an anatomical structure of the brain related to visual information processing of the human brain.
시각 정보는 망막(retina), 외측슬상체 (Lateral geniculate Nucleus, LGN), 신피질(V1, V2, V3, V4), 후두피질 (Later Occipital Cortex, LOC), 하부측부(Inferior Temporal, IT)순으로 인간 뇌에 입력된다. 인간 뇌에서 시각 정보를 처리하는 시각 피질의 구성요소들은 각기 다른 역할을 수행한다. The visual information consists of retina, lateral geniculate nucleus (LGN), neocortex (V1, V2, V3, V4), Later Occipital Cortex (LOC), and Inferior Temporal It is input to the human brain. The components of the visual cortex that process visual information in the human brain play different roles.
외측슬상체(LGN)는 양안으로 들어온 정보를 각각 배타적으로 처리하며 전체적인 영상을 압축하고 양안 정보를 취합하여 1차 시각 피질(V1)에 전달한다. 시각피질은 외측슬상체(LGN)으로부터 받은 정보를 바탕으로 모서리 등과 같은 대략적 형태를 처리하고 이를 바탕으로 형태를 구분하며, 총 4개의 시각 피질(V1, V2, V3, V4)로 구성되어 있고, 이전 단계의 피질을 통과할 때마다 정보가 취합되어 추상화 된다. 후두피질(LOC)은 시각 피질이 제공한 정보를 바탕으로 물체의 전체적인 형상과 색을 인지한다. 마지막으로 하부측부(IT)에서는 후두피질의 정보를 바탕으로 추상화 하여 대상의 정답을 추론 한다. The outer slit (LGN) exclusively processes the information entered into the binocular, compresses the whole image, collects binocular information, and transmits it to the first visual cortex (V1). The visual cortex consists of four visual cortices (V1, V2, V3, V4), which are roughly shaped like corners based on the information received from the outer slab (LGN) Every time the cortex of the previous step passes, information is gathered and abstracted. Laryngeal cortex (LOC) recognizes the overall shape and color of an object based on information provided by the visual cortex. Finally, the lower side (IT) abstracts the information based on the information of the laryngeal cortex to deduce the correct answer of the subject.
위와 같이, 시각 피질은 하위레벨 패턴인식기와 상위레벨 패턴인식기로 구성되어 있으며 여러 개의 하위레벨 패턴인식기를 조합하여 한 차원 높은 정보를 그 다음 상위레벨 패턴인식기에 전달한다. 예를 들면, 시각 피질과 외측슬상체(LGN)와의 관계를 살펴보면, 시각 피질은 외측슬상체에 비하여 상위레벨 패턴인식기로서 그 기능을 수행하며, 후두 피질은 시각 피질에 비하여 상위레벨 패턴인식기로서 그 기능을 수행한다. 상기 추론과 관련된 뉴런들을 활성화여 해당 물체를 더 빠르게 인식할 수 있도록 한다. 즉, 인간의 시각 피질은 상위레벨 패턴인식기가 하위레벨 패턴인식기에 그 결과를 전달하는 피드백(feedback) 기능 역시 수행한다. As described above, the visual cortex is composed of a low-level pattern recognizer and a high-level pattern recognizer, and combines a plurality of low-level pattern recognizers to transmit one-dimensional information to the next high-level pattern recognizer. For example, the relationship between the visual cortex and the lateral sagittal (LGN) is that the visual cortex performs its function as a higher-level pattern recognizer as compared to the lateral sagittal body, and the laryngeal cortex functions as a higher- Function. Activates the neurons associated with the inference and allows the object to be recognized faster. That is, the human visual cortex also performs a feedback function in which the upper level pattern recognizer transmits the result to the lower level pattern recognizer.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 도면이다.2 is a diagram illustrating an image processing apparatus according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 영상 처리 장치(100)는 데이터 입출력모듈(110), 메모리(120), 프로세서(130)를 포함한다. As shown in FIG. 2, the
데이터 입출력모듈(110)은 통신 모듈을 통해 데이터를 수신 또는 송신하는 기능을 수행할 수 있다. 데이터 입출력 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The data input /
메모리(120)에는 뇌의 신피질 기능을 모사한 합성곱 신경망 기반의 영상 처리 프로그램이 저장된다. 해당 프로그램은 프로세서에 의하여 구동되어, 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 과정, 합성곱 연산 처리가 수행된 영상 데이터에 대하여 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 과정, 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 상기 산출된 각 풀링 결과를 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 과정, 상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 과정, 제 2 합성곱 연산의 결과를 출력 레이어로 출력하는 과정 및 제 2 합성곱 연산의 결과에 대하여 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하고 이를 입력 합성곱 레이어로 전달하여 입력 영상 데이터와 함께 입력시키는 과정을 수행한다.The
이러한 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 또는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다..This
프로세서(130)는 데이터메모리(120)에 저장된 합성곱 신경망 기반의 영상 처리 프로그램을 수행한다.The
도 3은 본 발명의 일 실시예에 따른 뇌의 신피질 기능을 모사한 합성곱 신경망 기반의 영상 처리 프로그램의 동작을 설명하기 위한 도면이다.FIG. 3 is a view for explaining the operation of a composite neural network-based image processing program simulating brain cortical functions according to an embodiment of the present invention.
먼저, 데이터 입출력 모듈(110)을 통해 입력된 영상 데이터에 입력 합성곱 레이어(310)를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 과정이 수행된다. 입력 합성곱 레이어(310)는 망막에서 처리되는 동작을 모사하고 있으며, 입력 레이어를 통해 입력되는 영상 데이터에 대하여 합성곱 연산, 정규화 연산 및 활성화 함수 적용등을 수행한다.First, a process of performing a first convolution operation through the
정규화 연산의 처리와 관련해서는 도 6과 도 7을 참조하여 설명하면 다음과 같다.The processing of the normalization operation will be described with reference to FIGS. 6 and 7. FIG.
도 6과 도 7은 본 발명의 일 실시예에 따라 수행되는 배치 노멀라이제이션(batch normalization) 과정을 설명하기 위한 도면이다.FIGS. 6 and 7 are diagrams for explaining a batch normalization process performed according to an embodiment of the present invention.
먼저 도 6을 살펴보면, 딥러닝(Deep learning)에서 학습하는 도중 이전 레이어(layer)의 파라미터(parameter) 변화로 인해 현재 레이어의 입력 분포가 바뀌는 공분산 현상(Covariate shift)이 자주 발생하게 된다. 도시된 바와 같이, 공분산 현상은 조건에 따라 그 분포 양상이 달리질 수 있으며 이러한 현상은 딥러닝 성능 감소에 큰 영향을 끼친다. 이러한 문제점을 해결하기 위해 현재 학습 대상인 레이어의 평균(γ)과 분산(β)을 구한 후 이를 이용하여 입력 정보를 정규화 한다. 두 파라미터는 다음 레이어를 학습할 때에도 적용되어 뉴런들의 학습 공간을 일정하게 유지하도록 한다. 배치 노멀라이제이션 레이어는 활성화 함수 앞쪽에 배치가 되며 이는 역전파(back-propagation)를 통해서도 역시 학습이 가능함을 의미한다. 학습시에 저장한 평균(γ)과 분산(β)을 이용하여 테스트 시에는 평균(γ)의 평균을 이용한다. 반면, 분산(β)의 평균에 배치 사이즈인(batch size)인 m/(m-1)을 곱한 값을 분산으로 사용한다. 이에 대한 상세한 내용은 아래의 의사코드에서 각각 확인 가능하다. Referring to FIG. 6, during learning in deep learning, a covariate shift occurs in which the input distribution of the current layer is changed due to a parameter change of a previous layer. As shown, the covariance phenomenon may vary in its distribution depending on the conditions, and this phenomenon has a great influence on the reduction of the deep running performance. In order to solve this problem, the average (γ) and variance (β) of the current learning target layer are obtained, and then the input information is normalized using the obtained average. Both parameters are also applied when learning the next layer so that the learning space of the neurons remains constant. The batch normalization layer is placed in front of the activation function, which means that learning is also possible through back propagation. The mean (γ) is used at the time of testing by using the mean (γ) and variance (β) stored at the time of learning. On the other hand, a value obtained by multiplying the average of the variance (β) by the batch size m / (m-1) is used as the variance. Details can be found in the pseudocode below.
도 7은 합성곱 레이어에 배치 노멀라이제이션을 적용하는 과정에 대한 예시도이다. 기존 합성곱 레이어에 배치 노멀라이제이션 레이어를 추가하여 평균(γ)과 분산(β)을 학습할 수 있도록 한다. 7 is an exemplary diagram illustrating a process of applying batch normalization to a composite product layer. Place a placement normalization layer on the existing composite product layer to learn the mean (γ) and variance (β).
이와 같은 정규화 연산 처리는 추후 설명할 에버리지 풀링 레이어(320), 맥스 풀링 레이어(330) 및 연결 레이어(350)에도 추가될 수 있다. Such a normalization operation process may be added to the far-
한편, 활성화 함수로는 도 8에 도시된 ReLU(Rectified Linear Unit) 함수가 사용될 수 있으나, 이는 예시에 해당하는 것으로 사용자의 선택에 따라 변경될 수 있다. 활성화 함수란 뉴런들의 신호 세기를 재조정 하기 위해 필요한 것으로서, 활성화 함수 방법 중 하나인 ReLU는 다음의 수학식 1과 같이 뉴런의 신호 세기를 재조정한다. Meanwhile, the ReLU (Rectified Linear Unit) function shown in FIG. 8 may be used as the activation function, but this corresponds to an example and can be changed according to the user's selection. The activation function is necessary to readjust the signal intensity of the neurons. ReLU, one of the activation function methods, re-adjusts the signal intensity of the neurons as shown in Equation (1).
[수학식 1][Equation 1]
이와 같은 활성화 함수는 추후 설명할 에버리지 풀링 레이어(320), 맥스 풀링 레이어(330) 및 연결 레이어(350)에도 사용될 수 있다.Such an activation function may also be used in the following description of the far-
다음으로, 다시 도 3을 참조하면, 합성곱 연산 처리가 수행된 영상 데이터에 대하여 에버리지 풀링 레이어(320)와 맥스 풀링 레이어(330)를 통해 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행한다. 이때, 에버리지 풀링 레이어(320) 및 맥스 풀링 레이어(330)의 수행 동작과 이후 설명할 연결 레이어(350)의 수행 동작은 양안으로 입력되는 정보를 압축 전달하는 외측슬상체(Lateral Geniculate Nucleus, LGN)를 모사한 것이다.Referring again to FIG. 3, average weighting and maximum weighting are performed in parallel on the image data on which the composite product arithmetic operation has been performed through the
도 4는 본 발명의 일 실시예에 따른 에버리지 풀링 레이어(320)와 맥스 풀링 레이어(330)에서 수행되는 맥스 풀링과 에버리지 풀링을 설명하기 위한 도면이다.FIG. 4 is a view for explaining the max pooling and the average pooling performed in the
일반적으로 합성곱 신경망에서 많이 사용되는 맥스 풀링(Max pooling)은 입력 레이어의 각 픽셀에 일정한 크기의 마스크(mask)를 적용하여 해당 마스크 내의 값 중 가장 큰 값을 결과값으로 지정한다. 반면, 에버리지 풀링(Average pooling)은 해당 마스크 내의 픽셀 값들의 평균을 결과값으로 설정한다. 도시된 바와 같이, 풀링의 방법에 따라 풀링 레이어의 결과는 다르다. 예를 들어, 크기가 2x2인 마스크(mask)에 대응하는 입력 이미지의 (0, 0), (0, 1), (1, 0), (1, 1)에 맥스 풀링을 적용할 경우 20이 출력되는 반면, 에버리지 풀링을 적용할 경우 13이 출력됨을 확인할 수 있다.Max pooling, which is commonly used in articulated neural networks, applies a mask of a certain size to each pixel of the input layer, and designates the largest value among the values in the corresponding mask as a result value. On the other hand, average pooling sets the average of the pixel values in the mask as the resultant value. As shown, the results of the pooling layer are different depending on the method of pooling. For example, if max pooling is applied to (0, 0), (0, 1), (1, 0), (1, 1) of an input image corresponding to a mask of size 2x2, , And 13 is outputted when the Averaged pulling is applied.
이와 같이, 에버리지 풀링과 맥스 풀링을 각각 거친 데이터들에 대하여 합성곱 연산과 배치 노멀라이제이션, 활성화 함수(ReLU) 적용 등을 순차적으로 처리한다. As described above, the averaging and batch normalization are performed sequentially on the data subjected to the Averaging pull-down and the Max pulling, and the application of the ReRU is performed sequentially.
이후 각각의 결과물에 대하여 아이덴티티(Identity) 레이어(340)의 출력값을 합산한다. 이를 통해 피질 모듈에게 정답을 알려줌으로써 적절한 학습 방향을 제시할 수 있다.The output values of the
다음으로, 다시 도 3을 참조하면, 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 산출된 각 풀링 결과를 연결 레이어(350)를 통해 연결(Concatenatin)하는 연산을 수행한다. 이를 통해, 서로 분리된 레이어의 출력 데이터를 하나의 단일 레이어를 통해 취합하게 된다. Referring again to FIG. 3, an operation of concatenating each pooling result calculated through the overhead pooling layer and the maximum pooling layer through the
도 5는 본 발명의 일 실시예에 따른 연결 연산 처리 과정을 설명하기 위한 도면이다.5 is a diagram for explaining a connection calculation process according to an embodiment of the present invention.
연결(concatenation) 연산은 독립적인 두 개의 차원을 하나의 차원으로 합쳐 확장하는 것이다. 도시된 바와 같이, 에버리지 풀링 레이어(320)와 맥스 풀링 레이어(330)에서 출력된 동일한 크기의 피쳐맵(feature map) 두 개(510, 520)를 높이축 방향으로 연결 연산을 진행하면 결과 피쳐맵(530)이 생성된다. 이와 같은 과정을 통해 서로 독립적이었던 두 개 차원의 피쳐맵을 단일 차원으로 취합할 수 있다. A concatenation operation is the expansion of two independent dimensions into a single dimension. As shown in the figure, if two pairs of feature maps (510, 520) of the same size outputted from the average pulling
연결 연산 이후에는 연결 연산의 결과물에 대해서는 활성화 함수 적용 이후, 합성곱 연산, 배치 노멀라이제이션, 활성화 함수 적용등이 순차적으로 진행될 수 있다.After the concatenation operation, the result of the concatenation operation may be sequentially applied after the activation function is applied, by performing the convolution operation, the batch normalization, and the activation function.
이와 같이 연결 레이어(350) 통해 처리된 결과물은 출력 레이어(360)를 통해 출력될 수 있다. 또한, 완전 연결 히든 레이어(370, fully connected hidden layer)를 통해 완전 연결 연산 처리를 수행하고, 이를 입력 합성곱 레이어(310)로 전달하여 입력 영상 데이터와 함께 입력시키는 과정을 수행할 수 있다.The result processed through the
도 9는 본 발명의 일 실시예에 따른 완전 연결 히든 레이어의 동작을 설명하기 위한 도면이다.9 is a view for explaining the operation of the fully connected hidden layer according to an embodiment of the present invention.
완전 연결 히든 레이어(370)의 수행 동작은 하부측부(Inferior Temporal)를 모사한 것이다. 완전 연결 히든 레이어(370)는 연결 레이어(350)의 출력 결과물(910)에 대하여, 에버리지 풀링(average-pooling)을 적용하여 1x1 크기(920)로 축소한다. 축소된 영상을 2차원으로 전환한 후, 완전 연결 연산을 적용하여 피쳐맵끼리의 긴밀성을 부여한다(930). 그리고 다시 3차원으로 변경한 후(940), 스케일링을 통해 1x1 크기의 영상은 원래 영상 크기로 확대된다(950). 확대되는 과정에서 1x1 데이터가 가로, 세로 방향으로 복사된다. 예를 들어, 16x16 크기의 8개의 피쳐맵(featuremap)이 입력된 경우, 1x1x8 크기로 영상이 축소되고, 1x8과 같이 2차원으로 변경된 후 완전 연결 연산이 적용된다. 완전 연결 연산 적용 후, 다시 1x1x8과 같이 3차원으로 전환되어 1x1 정보는 가로, 세로 방향으로 원래 입력 영상의 크기 만큼 즉, 16x16으로 복사 및 확대된다. 본 발명에서는 이러한 수행 과정을 완전곱 연산이라 정의한다.The operation of the completely
도 10은 본 발명의 다른 실시예에 영상 처리 장치의 구성을 설명하기 위한 도면이다. 10 is a diagram for explaining the configuration of an image processing apparatus according to another embodiment of the present invention.
도시된 바와 같이 각각의 피질 모듈이 순차적으로 접속된 구조를 가지며, 각 피질 모듈은 상세하게는 도 3의 구성을 가진 모듈의 형태로 구현된다. 따라서, 복수의 피질 모듈을 통해 영상 처리 과정을 진행하게 되며, 각 피질 모듈의 접속노드에서 완전 연결 히든 레이어의 출력 결과물이 산출될 수 있다. 이와 같은 구조를 통해 예를 들어, 총 깊이가 33인 합성곱 신경망 네트워크를 구현할 수 있다. As shown, each cortical module is sequentially connected, and each cortical module is implemented in the form of a module having the configuration of FIG. 3 in detail. Therefore, the image processing process is performed through the plurality of cortical modules, and the output result of the layer completely connected at the connection node of each cortical module can be calculated. With this structure, for example, a composite neural network with a total depth of 33 can be implemented.
이상에서 설명한 본 발명의 실시예에 따른 뇌의 신피질 기능을 모사한 합성곱 신경망 기반의 영상 처리 장치 및 이를 통한 영상 처리 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The image processing apparatus based on the composite neural network simulating brain cortical functions according to the embodiment of the present invention described above and the image processing method using the same include instructions executable by a computer such as a program module executed by a computer The present invention may be embodied in the form of a recording medium. Such a recording medium includes a computer-readable medium, which may be any available medium that can be accessed by a computer, and includes both volatile and non-volatile media, both removable and non-removable media. The computer-readable medium may also include computer storage media, which may be volatile and non-volatile, implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data , Both removable and non-removable media.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 조사 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.Furthermore, while the methods and systems of the present invention have been described in terms of specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .
100: 영상 보정 장치
110: 영상 입출력 모듈
120: 메모리
130: 프로세서100: Image correction device 110: Video input / output module
120: memory 130: processor
Claims (12)
영상 처리 프로그램이 저장된 메모리,
데이터 입출력을 수행하는 데이터 입출력 모듈 및
프로세서를 포함하되,
상기 영상 처리 프로그램은 상기 프로세서에 의하여 구동되어, 상기 데이터 입출력 모듈을 통해 입력된 영상 데이터에 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 과정, 상기 합성곱 연산 처리가 수행된 영상 데이터에 대하여 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 과정, 상기 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 상기 산출된 각 풀링 결과를 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 과정, 상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 과정, 상기 제 2 합성곱 연산의 결과를 출력 레이어로 출력하는 과정 및 상기 제 2 합성곱 연산의 결과에 대하여 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하고 이를 상기 입력 합성곱 레이어로 전달하여 입력 영상 데이터와 함께 입력시키는 과정을 수행하는 것인 영상 처리 장치.An image processing apparatus based on a composite neural network simulating the neocortex function of the brain,
A memory in which the image processing program is stored,
A data input / output module for performing data input / output and
≪ / RTI >
Wherein the image processing program is driven by the processor and performs a first convolution operation on the image data input through the data input / output module through an input convolution layer, Performing average summing and maximum summing in parallel on the performed image data through an average weighting layer and an average weighting layer in parallel; Performing a concatenation operation on the result of performing the concatenation operation, performing a second concurrency addition operation on the result of performing the concatenation operation, outputting the result of the second convolution operation to an output layer, The result of the second product multiply operation is transmitted through a completely connected layer And performing a full connection operation process and transferring the result to the input composite layer and inputting the combined input data together with the input image data.
상기 에버리지 풀링 레이어 및 맥스 풀링 레이어의 수행 동작과 상기 연결 레이어의 수행 동작은 양안으로 입력되는 정보를 압축 전달하는 외측슬상체(Lateral Geniculate Nucleus, LGN)를 모사한 것이고,
상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 과정은 시각피질(V1, V2, V3, V4)을 모사한 것이고,
상기 완전 연결 히든 레이어의 수행 동작은 하부측부(Inferior Temporal)를 모사한 것인 영상 처리 장치.The method according to claim 1,
The performing operations of the above-mentioned ab- over-pulling layer and the max-pulling layer and the performing of the connection layer simulate a lateral geniculate nucleus (LGN) for compressing and transmitting information input in both eyes,
The process of further performing the second synthesis multiplication operation on the result of performing the concatenation operation is a simulation of the visual cortex (V1, V2, V3, V4)
Wherein the operation of the completely connected layer simulates a lower side portion (Inferior Temporal).
상기 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 과정은 제 1 합성곱 연산 이후 배치 노멀라이제이션 처리를 수행하는 과정과 활성화 함수를 적용하는 과정을 추가적으로 수행하는 것인 영상 처리 장치.The method according to claim 1,
The process of performing a first convolution operation through the input convolution layer may further include a process of performing a batch normalization process and a process of applying an activation function after the first convolution process Image processing apparatus.
상기 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 과정은 에버리지 풀링 결과물에 대하여 합성곱 연산, 배치 노멀라이제이션 처리를 수행하는 과정 및 활성화 함수를 적용하는 과정을 순차적으로 진행함과 동시에, 맥스 풀링 결과물에 대하여 합성곱 연산, 배치 노멀라이제이션 처리를 수행하는 과정 및 활성화 함수를 적용하는 과정을 순차적으로 진행하는 것인 영상 처리 장치.The method according to claim 1,
The process of performing the above-described average pooling and parallel pooling together sequentially performs a process of performing a product multiply operation, a batch normalization process, and a process of applying an activation function to the result of the above- And a process of performing a product multiply operation, a batch normalization process, and a process of applying an activation function to the resultant.
상기 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 과정은 활성화 함수를 적용하는 과정, 상기 제 2 합성곱 연산, 배치 노멀라이제이션 처리를 수행하는 과정 및 활성화 함수를 적용하는 과정을 순차적으로 진행하는 것인 영상 처리 장치.The method according to claim 1,
The process of concatenating through the connection layer may include sequentially applying an activation function, performing a second synthesis product operation, a batch normalization process, and applying an activation function in sequence The image processing device.
상기 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하는 과정은
에버리지 풀링을 적용하여 축소시키는 과정, 축소된 영상을 2차원으로 전환한 후, 완전 연결 연산을 적용하는 과정 및 완전 연결 연산의 적용 후 3차원으로 재배열하여 입력 영상 데이터의 크기로 확대한 후 입력 영상 데이터와 합산하는 과정을 순차적으로 진행하는 것인 영상 처리 장치. The method according to claim 1,
The process of performing a full connection operation process through the completely connected layer
After applying the full connection operation after switching the reduced image to 2-dimensional and rearranging it to 3-dimension after applying the full connection operation, the enlarged image is enlarged to the size of the input image data, And a step of summing the image data with the image data sequentially.
상기 영상 처리 장치를 입력된 영상 데이터에 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 단계;
상기 합성곱 연산 처리가 수행된 영상 데이터에 대하여 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 단계;
상기 에버리지 풀링 레이어와 맥스 풀링 레이어를 통해 상기 산출된 각 풀링 결과를 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 단계;
상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 단계;
상기 제 2 합성곱 연산의 결과를 출력 레이어로 출력하는 단계; 및
상기 제 2 합성곱 연산의 결과에 대하여 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하고 이를 상기 입력 합성곱 레이어로 전달하여 입력 영상 데이터와 함께 입력시키는 단계;를 수행하는 것인 영상 처리 방법.An image processing method using an image processing apparatus based on a composite neural network simulating brain cortical functions,
Performing a first convolution operation on the input image data through an input convolution layer to learn the convolution operation;
Performing average pooling and maximum pooling in parallel on the image data on which the product-multiply processing has been performed through an average pooling layer and an average pooling layer;
Performing an operation of concatenating each of the calculated pulling results through the connection layer through the far-end pooling layer and the max-pooling layer;
Performing a second synthesizing operation on the result of performing the concatenation operation to learn;
Outputting the result of the second product multiply operation to an output layer; And
Performing a full connection operation process on a result of the second convolution operation through a completely connected layer and transmitting the result to the input convolution layer and inputting the result together with input image data.
상기 에버리지 풀링 레이어 및 맥스 풀링 레이어의 수행 동작과 상기 연결 레이어의 수행 동작은 양안으로 입력되는 정보를 압축 전달하는 외측슬상체(Lateral Geniculate Nucleus, LGN)를 모사한 것이고,
상기 연결 연산을 수행한 결과물에 대하여 제 2 합성곱 연산을 추가로 수행하여 학습 하는 과정은 시각피질(V1, V2, V3, V4)을 모사한 것이고,
상기 완전 연결 히든 레이어의 수행 동작은 하부측부(Inferior Temporal)를 모사한 것인 영상 처리 방법.8. The method of claim 7,
The performing operations of the above-mentioned ab- over-pulling layer and the max-pulling layer and the performing of the connection layer simulate a lateral geniculate nucleus (LGN) for compressing and transmitting information input in both eyes,
The process of further performing the second synthesis multiplication operation on the result of performing the concatenation operation is a simulation of the visual cortex (V1, V2, V3, V4)
Wherein the performing operation of the completely connected layer is a simulation of a lower side portion (Inferior Temporal).
상기 입력 합성곱 레이어를 통해 제 1 합성곱(Convolution) 연산을 수행하여 학습 하는 과정은 제 1 합성곱 연산 이후 배치 노멀라이제이션 처리를 수행하는 과정과 활성화 함수를 적용하는 과정을 추가적으로 수행하는 것인 영상 처리 방법.8. The method of claim 7,
The process of performing a first convolution operation through the input convolution layer may further include a process of performing a batch normalization process and a process of applying an activation function after the first convolution process Image processing method.
상기 에버리지 풀링과 맥스 풀링을 병렬적으로 함께 수행하는 과정은 에버리지 풀링 결과물에 대하여 합성곱 연산, 배치 노멀라이제이션 처리를 수행하는 과정 및 활성화 함수를 적용하는 과정을 순차적으로 진행함과 동시에, 맥스 풀링 결과물에 대하여 합성곱 연산, 배치 노멀라이제이션 처리를 수행하는 과정 및 활성화 함수를 적용하는 과정을 순차적으로 진행하는 것인 영상 처리 방법.8. The method of claim 7,
The process of performing the above-described average pooling and parallel pooling together sequentially performs a process of performing a product multiply operation, a batch normalization process, and a process of applying an activation function to the result of the above- A process of performing a product multiply operation, a batch normalization process, and a process of applying an activation function to the resultant are sequentially performed.
상기 연결 레이어를 통해 연결(Concatenatin)하는 연산을 수행하는 과정은 활성화 함수를 적용하는 과정, 상기 제 2 합성곱 연산, 배치 노멀라이제이션 처리를 수행하는 과정 및 활성화 함수를 적용하는 과정을 순차적으로 진행하는 것인 영상 처리 방법.8. The method of claim 7,
The process of concatenating through the connection layer may include sequentially applying an activation function, performing a second synthesis product operation, a batch normalization process, and applying an activation function in sequence The image processing method.
상기 완전 연결 히든 레이어를 통해 완전 연결 연산 처리를 수행하는 과정은
에버리지 풀링을 적용하여 축소시키는 과정, 축소된 영상을 2차원으로 전환한 후, 완전 연결 연산을 적용하는 과정 및 완전 연결 연산의 적용 후 3차원으로 재배열하여 입력 영상 데이터의 크기로 확대한 후 입력 영상 데이터와 합산하는 과정을 순차적으로 진행하는 것인 영상 처리 방법.8. The method of claim 7,
The process of performing a full connection operation process through the completely connected layer
After applying the full connection operation after switching the reduced image to 2-dimensional and rearranging it to 3-dimension after applying the full connection operation, the enlarged image is enlarged to the size of the input image data, And a step of summing the image data with the image data sequentially.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170143093A KR20190048279A (en) | 2017-10-31 | 2017-10-31 | Image processing method and apparatus using convolution neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170143093A KR20190048279A (en) | 2017-10-31 | 2017-10-31 | Image processing method and apparatus using convolution neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190048279A true KR20190048279A (en) | 2019-05-09 |
Family
ID=66545300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170143093A KR20190048279A (en) | 2017-10-31 | 2017-10-31 | Image processing method and apparatus using convolution neural network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190048279A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111258839A (en) * | 2020-02-16 | 2020-06-09 | 苏州浪潮智能科技有限公司 | AI accelerator card simulation test system based on ResNet50 network and working method thereof |
| KR20210054614A (en) * | 2019-11-05 | 2021-05-14 | 가천대학교 산학협력단 | Korean food recognizing system, method and computer-readable medium having a program recorded therein for executing the same |
| WO2022086257A1 (en) | 2020-10-22 | 2022-04-28 | 주식회사 파이안바이오테크놀로지 | Mitochondria comprising anticancer drug and use thereof |
| KR20230127577A (en) * | 2022-02-25 | 2023-09-01 | 성균관대학교산학협력단 | Method and device for prediction of ventricular arrhythmias using convolutional neural network |
| US11823056B2 (en) | 2019-10-28 | 2023-11-21 | Lunit Inc. | Method for training neural network and device thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101563569B1 (en) | 2014-05-28 | 2015-10-28 | 한국과학기술원 | Learnable Dynamic Visual Image Pattern Recognition System and Method |
-
2017
- 2017-10-31 KR KR1020170143093A patent/KR20190048279A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101563569B1 (en) | 2014-05-28 | 2015-10-28 | 한국과학기술원 | Learnable Dynamic Visual Image Pattern Recognition System and Method |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11823056B2 (en) | 2019-10-28 | 2023-11-21 | Lunit Inc. | Method for training neural network and device thereof |
| KR20210054614A (en) * | 2019-11-05 | 2021-05-14 | 가천대학교 산학협력단 | Korean food recognizing system, method and computer-readable medium having a program recorded therein for executing the same |
| CN111258839A (en) * | 2020-02-16 | 2020-06-09 | 苏州浪潮智能科技有限公司 | AI accelerator card simulation test system based on ResNet50 network and working method thereof |
| CN111258839B (en) * | 2020-02-16 | 2022-11-29 | 苏州浪潮智能科技有限公司 | AI accelerator card simulation test system based on ResNet50 network and working method thereof |
| WO2022086257A1 (en) | 2020-10-22 | 2022-04-28 | 주식회사 파이안바이오테크놀로지 | Mitochondria comprising anticancer drug and use thereof |
| KR20230127577A (en) * | 2022-02-25 | 2023-09-01 | 성균관대학교산학협력단 | Method and device for prediction of ventricular arrhythmias using convolutional neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190048279A (en) | Image processing method and apparatus using convolution neural network | |
| JP7289918B2 (en) | Object recognition method and device | |
| US20210365717A1 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| KR20200087780A (en) | Meta-learning for multi-task learning on neural networks | |
| CN110074813B (en) | Ultrasonic image reconstruction method and system | |
| US10691971B2 (en) | Method and apparatus for recognizing object | |
| DE69217047T2 (en) | IMPROVEMENTS IN NEURONAL NETWORKS | |
| KR100347622B1 (en) | Optimization adjustment method and optimization adjustment device | |
| KR20200078531A (en) | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks | |
| CN110070107A (en) | Object identification method and device | |
| CN111317468A (en) | Electroencephalogram signal classification method and device, computer equipment and storage medium | |
| CN111401517B (en) | Method and device for searching perceived network structure | |
| US9412041B1 (en) | Retinal apparatus and methods | |
| CN112163601B (en) | Image classification method, system, computer device and storage medium | |
| CN110363296B (en) | Task model obtaining method and device, storage medium and electronic device | |
| CN115311186B (en) | Cross-scale attention confrontation fusion method and terminal for infrared and visible light images | |
| WO2022111387A1 (en) | Data processing method and related apparatus | |
| CN112084934A (en) | Behavior identification method based on two-channel depth separable convolution of skeletal data | |
| CN113712573A (en) | Electroencephalogram signal classification method, device, equipment and storage medium | |
| CN115018039A (en) | Neural network distillation method, target detection method and device | |
| CN112597986A (en) | Physiological electric signal classification processing method and device, computer equipment and storage medium | |
| KR20200059129A (en) | Apparatus and method for generating a space-frequency feature map for deep-running based brain-computer interface | |
| CN115115724A (en) | Image processing method, image processing device, computer equipment and storage medium | |
| CN113158970B (en) | Action identification method and system based on fast and slow dual-flow graph convolutional neural network | |
| KR20200132305A (en) | Method for performing convolution operation at predetermined layer within the neural network by electronic device, and electronic device thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |