KR102170547B1 - Device and method for reconstructing high resolution image based on super-resolution convolutional neural network - Google Patents

Device and method for reconstructing high resolution image based on super-resolution convolutional neural network Download PDF

Info

Publication number
KR102170547B1
KR102170547B1 KR1020190010945A KR20190010945A KR102170547B1 KR 102170547 B1 KR102170547 B1 KR 102170547B1 KR 1020190010945 A KR1020190010945 A KR 1020190010945A KR 20190010945 A KR20190010945 A KR 20190010945A KR 102170547 B1 KR102170547 B1 KR 102170547B1
Authority
KR
South Korea
Prior art keywords
layer
convolution operation
value
super
activation function
Prior art date
Application number
KR1020190010945A
Other languages
Korean (ko)
Other versions
KR20200101493A (en
Inventor
임창훈
안현겸
정병진
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020190010945A priority Critical patent/KR102170547B1/en
Publication of KR20200101493A publication Critical patent/KR20200101493A/en
Application granted granted Critical
Publication of KR102170547B1 publication Critical patent/KR102170547B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치는 고해상도 이미지 복원 대상의 입력 데이터를 수신하는 입력 수신부, 초해상도 신경망에 입력된 상기 입력 데이터를 연산하여 패치를 추출하는 제1레이어, 상기 제1레이어로부터 추출된 패치를 입력으로 하는 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수 또는 양방향 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행하는 제2레이어 및 상기 제2레이어의 출력값을 입력으로 하는 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원하는 제3레이어를 포함할 수 있다.Disclosed is an apparatus and method for reconstructing a high-resolution image based on a super-resolution neural network, wherein the apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present invention includes an input receiving unit for receiving input data to be restored to a high-resolution image, and the input to the super-resolution neural network. Nonlinear mapping is performed by performing an operation on a first layer that calculates input data to extract a patch, a modified activation function that uses a convolution operation result value as an input, or a bidirectional activation function that uses the patch extracted from the first layer as an input. It may include a second layer to be performed and a third layer for restoring a high-resolution image based on a result of a convolution operation using an output value of the second layer as an input.

Description

초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법{DEVICE AND METHOD FOR RECONSTRUCTING HIGH RESOLUTION IMAGE BASED ON SUPER-RESOLUTION CONVOLUTIONAL NEURAL NETWORK}Device and method for high resolution image restoration based on super-resolution neural networks {DEVICE AND METHOD FOR RECONSTRUCTING HIGH RESOLUTION IMAGE BASED ON SUPER-RESOLUTION CONVOLUTIONAL NEURAL NETWORK}

본원은 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법에 관한 것이다.The present application relates to an apparatus and method for reconstructing a high-resolution image based on a super-resolution neural network.

이미지의 해상도 향상을 위한 영상 복원 기술은 영상 처리 분야에 있어 중요한 연구분야이다. 저해상도 이미지에서 고해상도 이미지를 재구성하는 단일 영상 초해상도(SISR: Single image super-resolution) 등 보간 기법에 기반한 초해상도 이미지를 복원하기 위한 연구들이 수행되고 있으며, 특히 최근에는 딥러닝을 통해 초해상도 이미지를 복원하려는 연구가 이루어지고 있다.Image restoration technology for improving image resolution is an important research field in the field of image processing. Researches are being conducted to restore super-resolution images based on interpolation techniques, such as single image super-resolution (SISR), which reconstructs high-resolution images from low-resolution images. Research to restore is being conducted.

초해상도 신경망(SRCNN: super-resolution convolutional neural network)은 저해상도 이미지를 고해상도 이미지로 재구성하는 딥러닝 신경망 중 하나이다. 도 1은 초해상도 신경망의 구성을 도시한 도면이다. 도 1을 참조하면, 초해상도 신경망은 세개의 레이어를 포함하며, 각 레이어는 패치 추출, 비선형 매핑 및 고해상도 이미지 복원을 수행한다. 초해상도 신경망의 활성화 함수 중 하나인 시그모이드(sigmoid) 함수는 입력 값이 커져서 입력 값의 특성을 변경할 수 있는 경우 기울기가 0으로 포화 된다는 문제가 있다. 이에 시그모이드 함수에 비해 학습 성능이 상대적으로 우수한 정류 선형 함수(ReLU: Rectified Linear Unit)가 활성화 함수로 활용되고 있다. 그러나, 정류 선형 함수는 초해상도 신경망에 의한 컨벌루션 연산 결과값이 양수이면 컨벌루션 연산 결과값을 활성화하고, 0미만인 경우, 컨벌루션 연산 결과값을 0으로 변환하여 해당 컨벌루션 연산 결과값을 활성화 하지 않는다. 컨벌루션 연산 결과값은 다수의 음수값을 포함하는 정류 선형 함수의 특성상 다수의 데이터가 손실될 수 있으므로, 학습 성능이 효율적이지 못하는 문제점이 존재한다.A super-resolution convolutional neural network (SRCNN) is one of deep learning neural networks that reconstruct low-resolution images into high-resolution images. 1 is a diagram showing the configuration of a super-resolution neural network. Referring to FIG. 1, a super-resolution neural network includes three layers, and each layer performs patch extraction, nonlinear mapping, and high-resolution image restoration. The sigmoid function, which is one of the activation functions of a super-resolution neural network, has a problem that the slope is saturated to zero when the input value increases and the characteristics of the input value can be changed. Accordingly, a rectified linear unit (ReLU), which has relatively superior learning performance compared to the sigmoid function, is used as an activation function. However, the rectified linear function activates the convolution operation result value if the convolution operation result value by the super-resolution neural network is positive, and does not activate the convolution operation result value by converting the convolution operation result value to 0 when it is less than 0. As a result of the convolution operation, a large number of data may be lost due to the characteristic of a rectified linear function including a large number of negative values, and thus, there is a problem that the learning performance is not efficient.

본원의 배경이 되는 기술은 한국등록특허공보 제10-1791573호에 개시되어 있다.The technology behind the present application is disclosed in Korean Patent Publication No. 10-1791573.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기존의 활성화 함수로 사용되는 정류 선형 함수의 한계점을 개선할 수 있는 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present application is to provide an apparatus and method for reconstructing a high-resolution image based on a super-resolution neural network capable of improving the limitations of a rectified linear function used as an existing activation function.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 변형된 활성화 함수 및 양방향 활성화 함수를 통해 컨벌루션 연산 결과값의 활성화 범위를 확장할 수 있는 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법을 제공하는 것을 목적으로 한다.The present application is to solve the problems of the prior art described above, and to provide a super-resolution neural network-based high-resolution image restoration apparatus and method capable of extending an activation range of a result of a convolution operation through a modified activation function and a bidirectional activation function. The purpose.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the embodiments of the present application are not limited to the technical problems as described above, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 방법은, 초해상도 신경망의 제1레이어에 입력된 고해상도 이미지 복원 대상의 입력 데이터를 연산하여 패치를 추출하는 단계, 상기 제1레이어로부터 추출된 패치를 입력으로 하는 제2레이어의 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수 또는 양방향 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행하는 단계 및 상기 제2레이어의 출력값을 입력으로 하는 제3레이어의 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원하는 단계를 포함할 수 있다.As a technical means for achieving the above-described technical problem, the super-resolution neural network-based high-resolution image restoration method according to an embodiment of the present application includes a patch by calculating input data of a high-resolution image restoration object input to the first layer of the super-resolution neural network. Extracting, performing a nonlinear mapping by performing an operation on a modified activation function or a bidirectional activation function that takes a convolution operation result value of the second layer as an input, the patch extracted from the first layer, and And restoring a high-resolution image based on a result of a convolution operation of a third layer using an output value of the second layer as an input.

본원의 일 실시예에 따르면, 상기 패치를 추출하는 단계는, 상기 입력 데이터의 컨벌루션 연산을 수행하고, 상기 컨벌루션 연산의 결과값을 입력으로 하는 활성화 함수에 대한 연산으로부터 상기 패치를 추출할 수 있다.According to an exemplary embodiment of the present disclosure, in the step of extracting the patch, the patch may be extracted from an operation for an activation function that performs a convolution operation on the input data and takes a result of the convolution operation as an input.

본원의 일 실시예에 따르면, 상기 변형된 활성화 함수는, 미리 설정된 최소값과 상기 제2레이어의 컨벌루션 연산 결과값 중 큰 값을 활성화 하고, 상기 미리 설정된 최소값은 음수일 수 있다.According to an embodiment of the present disclosure, the modified activation function activates a larger value among a preset minimum value and a convolution operation result value of the second layer, and the preset minimum value may be a negative number.

본원의 일 실시예에 따르면, 상기 양방향 활성화 함수는, 미리 설정된 최소값과 상기 제2레이어의 컨벌루션 연산 결과값 중 큰 값과 미리 설정된 최대값 중 작은 값을 활성화 하고, 상기 미리 설정된 최소값은 음수이고, 상기 미리 설정된 최대값은 양수일 수 있다.According to an embodiment of the present application, the bidirectional activation function activates a larger value among a preset minimum value and a convolution operation result value of the second layer and a smaller value among a preset maximum value, and the preset minimum value is a negative number, The preset maximum value may be a positive number.

본원의 일 실시예에 따르면, 상기 미리 설정된 최소값 및 상기 미리 설정된 최대값은 상기 제2레이어의 컨벌루션 연산 결과값에 기초하여 설정될 수 있다.According to an exemplary embodiment of the present disclosure, the preset minimum value and the preset maximum value may be set based on a result of a convolution operation of the second layer.

본원의 일 실시예에 따르면, 상기 비선형 맵핑을 수행하는 단계는, 상기 변형된 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 확장하여 상기 입력 데이터에 의한 기계학습의 영향력이 향상될 수 있다.According to an embodiment of the present application, the performing of the nonlinear mapping may include expanding the activation range of the result of the convolution operation of the second layer through the modified activation function, thereby enhancing the influence of machine learning by the input data. Can be.

본원의 일 실시예에 따르면, 상기 비선형 맵핑을 수행하는 단계는, 상기 양방향 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 제한하여 상기 제2레이어의 양방향 활성화 함수의 연산 결과값의 분포를 평준화할 수 있다.According to an embodiment of the present application, the performing of the nonlinear mapping may include limiting an activation range of a result of the convolution operation of the second layer through the bidirectional activation function, and a result of the operation of the bidirectional activation function of the second layer. The distribution of can be leveled.

본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치는, 고해상도 이미지 복원 대상의 입력 데이터를 수신하는 입력 수신부, 초해상도 신경망에 입력된 상기 입력 데이터를 연산하여 패치를 추출하는 제1레이어, 상기 제1레이어로부터 추출된 패치를 입력으로 하는 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수 또는 양방향 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행하는 제2레이어 및 상기 제2레이어의 출력값을 입력으로 하는 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원하는 제3레이어를 포함할 수 있다.The apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present disclosure includes an input receiving unit receiving input data of a high-resolution image restoration target, a first layer calculating the input data input to the super-resolution neural network to extract a patch, The second layer and the output value of the second layer performing nonlinear mapping by performing an operation on a modified activation function or a bidirectional activation function that takes a convolution operation result value as an input using the patch extracted from the first layer as an input. It may include a third layer for reconstructing a high-resolution image based on a result of the convolution operation as an input.

본원의 일 실시예에 따르면, 상기 제1레이어는, 상기 입력 데이터의 컨벌루션 연산을 수행하고, 상기 컨벌루션 연산의 결과값을 입력으로 하는 활성화 함수에 대한 연산으로부터 상기 패치를 추출할 수 있다.According to an exemplary embodiment of the present disclosure, the first layer may perform a convolution operation on the input data, and extract the patch from an operation on an activation function using a result of the convolution operation as an input.

본원의 일 실시예에 따르면, 상기 변형된 활성화 함수는, 미리 설정된 최소값과 상기 제2레이어의 컨벌루션 연산 결과값 중 큰 값을 활성화 하고, 상기 미리 설정된 최소값은 음수일 수 있다.According to an embodiment of the present disclosure, the modified activation function activates a larger value among a preset minimum value and a convolution operation result value of the second layer, and the preset minimum value may be a negative number.

본원의 일 실시예에 따르면, 상기 양방향 활성화 함수는, 미리 설정된 최소값과 상기 제2레이어의 컨벌루션 연산 결과값 중 큰 값과 미리 설정된 최대값 중 작은 값을 활성화 하고, 상기 미리 설정된 최소값은 음수이고, 상기 미리 설정된 최대값은 양수일 수 있다.According to an embodiment of the present application, the bidirectional activation function activates a larger value among a preset minimum value and a convolution operation result value of the second layer and a smaller value among a preset maximum value, and the preset minimum value is a negative number, The preset maximum value may be a positive number.

본원의 일 실시예에 따르면, 상기 미리 설정된 최소값 및 상기 미리 설정된 최대값은 상기 제2레이어의 컨벌루션 연산 결과값에 기초하여 설정될 수 있다.According to an exemplary embodiment of the present disclosure, the preset minimum value and the preset maximum value may be set based on a result of a convolution operation of the second layer.

본원의 일 실시예에 따르면, 상기 제2레이어는, 상기 변형된 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 확장하여 상기 입력 데이터에 의한 기계학습의 영향력이 향상될 수 있다.According to an exemplary embodiment of the present disclosure, the second layer may increase the influence of machine learning by the input data by extending the activation range of the result value of the convolution operation of the second layer through the modified activation function. .

본원의 일 실시예에 따르면, 상기 제2레이어는, 상기 양방향 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 제한하여 상기 제2레이어의 양방향 활성화 함수의 연산 결과값의 분포를 평준화할 수 있다.According to an embodiment of the present application, the second layer limits the activation range of the result value of the convolution operation of the second layer through the two-way activation function, so that the distribution of the operation result value of the two-way activation function of the second layer is It can be leveled.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present application. In addition to the above-described exemplary embodiments, additional embodiments may exist in the drawings and detailed description of the invention.

전술한 본원의 과제 해결 수단에 의하면, 기존의 활성화 함수로 사용되는 정류 선형 함수의 한계점을 개선할 수 있는 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법을 제공할 수 있다.According to the above-described problem solving means of the present application, it is possible to provide an apparatus and method for reconstructing a high-resolution image based on a super-resolution neural network capable of improving the limitations of a rectified linear function used as an existing activation function.

전술한 본원의 과제 해결 수단에 의하면, 변형된 활성화 함수 및 양방향 활성화 함수를 통해 컨벌루션 연산 결과값의 활성화 범위를 확장할 수 있는 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법을 제공할 수 있다.According to the above-described problem solving means of the present application, it is possible to provide a super-resolution neural network-based high-resolution image restoration apparatus and method capable of extending an activation range of a result of a convolution operation through a modified activation function and a bidirectional activation function.

도 1은 초해상도 신경망의 구성을 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 구성을 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 변형된 활성화 함수를 적용한 초해상도 신경망의 구조를 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 변형된 활성화 함수의 그래프를 도시한 도면이다.
도 5 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 양방향 활성화 함수를 적용한 초해상도 신경망의 구조를 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 양방향 활성화 함수의 그래프를 도시한 도면이다.
도 7은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 제1레이어 및 제2레이어의 컨벌루션 연산 결과값의 그래프를 도시한 도면이다.
도 8은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치에 의해 복원된 고해상도 이미지를 도시한 도면이다.
도 9는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 방법의 흐름을 도시한 도면이다.1 is a diagram showing the configuration of a super-resolution neural network.
2 is a diagram illustrating a configuration of an apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.
3 is a diagram illustrating a structure of a super-resolution neural network to which a modified activation function is applied of the apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.
FIG. 4 is a diagram illustrating a graph of a modified activation function of a high-resolution image reconstruction apparatus based on a super-resolution neural network according to an embodiment of the present application.
5 is a diagram illustrating a structure of a super-resolution neural network to which a bidirectional activation function is applied of a high-resolution image restoration apparatus based on a super-resolution neural network according to an embodiment of the present application.
6 is a diagram illustrating a graph of a bidirectional activation function of a high-resolution image restoration apparatus based on a super-resolution neural network according to an embodiment of the present application.
7 is a diagram illustrating a graph of a result of a convolution operation of a first layer and a second layer of the apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.
8 is a diagram illustrating a high-resolution image reconstructed by a high-resolution image reconstruction apparatus based on a super-resolution neural network according to an embodiment of the present application.
9 is a diagram illustrating a flow of a method for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present application will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present application. However, the present application may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in the drawings, parts not related to the description are omitted in order to clearly describe the present application, and similar reference numerals are attached to similar parts throughout the specification.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is said to be "connected" with another part, this includes not only the case that it is "directly connected", but also the case that it is "electrically connected" with another element interposed therebetween. do.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is positioned "on", "upper", "upper", "under", "lower", and "lower" of another member, this means that a member is located on another member. It includes not only the case where they are in contact but also the case where another member exists between the two members.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification of the present application, when a certain part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 2는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 구성을 도시한 도면이다.2 is a diagram illustrating a configuration of an apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.

도 2를 참조하면, 초해상도 신경망 기반 고해상도 이미지 복원 장치(100)는 입력 수신부(110), 제1레이어(120), 제2레이어(130) 및 제3레이어(140)를 포함할 수 있다. 입력 수신부(110)는 고해상도 이미지 복원 대상의 입력 데이터를 수신할 수 있다. 상기 입력 데이터는 초해상도 신경망 기반 고해상도 이미지 복원 장치(100)를 통해 고해상도로 복원될 이미지를 의미하며, 다양한 해상도를 가질 수 있다. 입력 수신부(110)는 사용자에 의해 입력된 상기 입력 데이터를 수신할 수 있다. 예를 들어, 입력 데이터는 복원이 필요한 이미지의 각 픽셀의 특성(RGB 값 등), 픽셀의 위치 등의 정보를 포함할 수 있다. Referring to FIG. 2, the apparatus 100 for reconstructing a high-resolution image based on a super-resolution neural network may include an input receiver 110, a first layer 120, a second layer 130, and a third layer 140. The input receiving unit 110 may receive input data of a high resolution image restoration target. The input data refers to an image to be reconstructed in high resolution through the super-resolution neural network-based high-resolution image restoration apparatus 100, and may have various resolutions. The input receiving unit 110 may receive the input data input by a user. For example, the input data may include information such as a characteristic (such as an RGB value) of each pixel of an image that needs to be reconstructed and a location of a pixel.

상기 입력 데이터는 초해상도 신경망에 입력되어 초해상도 신경망에 포함되는 복수의 레이어 각각에 대해, 컨벌루션 연산, 활성화 함수에 대한 연산이 수행될 수 있다. 컨벌루션 연산은 입력 데이터와 복수의 필터간의 연산이며 각 필터의 파라미터들은 학습을 통해 획득될 수 있다. 초해상도 신경망의 학습은 고해상도 원본 이미지를 통해 수행될 수 있다. 학습 과정에 대해 구체적으로 살펴보면, 먼저 고해상도 원본 이미지 및 바이큐빅(Bicubic) 보간으로부터 서브 샘플링을 적용하여 학습을 위한 학습 데이터가 생성될 수 있다. 바이큐빅은 이미지 크기 변환에 따른 처리방식 중 하나로, 당 분야에서 알려진 보간 기법을 의미한다. 초해상도 신경망은 학습 데이터를 반복 학습하여 저해상도 이미지로부터 고해상도 이미지를 복원하기 위한 최적의 신경망 필터 커널을 산출할 수 있다. 전술한 바와 같은 일련의 학습 과정을 통해 초해상도 신경망이 구축될 수 있다. 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치(100)는 위 학습 과정을 통해 구축된 초해상도 신경망을 이용하여 이미지 복원을 실시한다.The input data may be input to a super-resolution neural network, and a convolution operation and an operation for an activation function may be performed for each of a plurality of layers included in the super-resolution neural network. The convolution operation is an operation between input data and a plurality of filters, and parameters of each filter may be obtained through learning. Learning of super-resolution neural networks can be performed through high-resolution original images. Looking at the learning process in detail, first, learning data for learning may be generated by applying sub-sampling from a high-resolution original image and bicubic interpolation. Bicubic is one of the processing methods according to image size conversion, and refers to an interpolation technique known in the art. The super-resolution neural network can iteratively learn training data to calculate an optimal neural network filter kernel for reconstructing a high-resolution image from a low-resolution image. A super-resolution neural network can be constructed through a series of learning processes as described above. The apparatus 100 for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application performs image restoration by using a super-resolution neural network constructed through the above learning process.

제1레이어(120)는 초해상도 신경망에 입력된 입력 데이터를 연산하여 패치를 추출할 수 있다. 구체적으로, 제1레이어(120)는 입력 데이터의 컨벌루션 연산을 수행하고(합성곱 계층), 상기 컨벌루션 연산의 결과값을 입력으로 하는 활성화 함수(활성화 계층)에 대한 연산으로부터 패치를 추출할 수 있다. 패치는 복원 대상 이미지 전체 중 이미지 복원이 필요한 영역(예를 들어, 손상 영역, 손실 영역 등)을 포함하는 미리 설정된 크기의 영역을 의미할 수 있다. 활성화 함수에 대한 연산은 비선형 함수를 이용한 연산을 의미하며, 활성화 함수에는 예를 들어, 시그모이드(sigmoid) 함수나 정류 선형 함수(ReLU: Rectified Linear Unit) 등이 있다. The first layer 120 may extract a patch by calculating input data input to the super-resolution neural network. Specifically, the first layer 120 may perform a convolution operation on input data (convolutional layer), and extract a patch from an operation on an activation function (activation layer) using a result of the convolution operation as an input. . The patch may mean an area of a preset size including an area (eg, a damaged area, a loss area, etc.) that needs image restoration among the entire restoration target image. An operation on an activation function means an operation using a nonlinear function, and the activation function includes, for example, a sigmoid function or a rectified linear unit (ReLU).

제2레이어(130)는 제1레이어(120)로부터 추출된 패치를 입력으로 하는 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수(Modified ReLU) 또는 양방향 활성화 함수(Bilateral ReLU)에 대한 연산을 수행하여 비선형 맵핑을 수행할 수 있다. 전술한 바와 같이, 활성화 함수는 활성화 함수의 입력값인 컨벌루션 연산 결과값이 0 미만 즉 음수이면, 0의 값을 출력한다. 일반적으로 컨벌루션 연산 결과값은 다수의 음수값을 포함한다. 따라서, 활성화 함수에 의해 모든 음수값이 0으로 대체되면, 많은 데이터가 소실되므로, 초해상도 신경망의 학습에 영향을 미치지 못하며, 결과적으로 초해상도 신경망에 의한 고해상도 이미지 복원의 효율이 효과적이지 못한 한계점이 존재한다. 이에 초해상도 신경망 기반 고해상도 이미지 복원 장치(100)는 종래의 활성화 함수인 정류 선형 함수(ReLU)보다 학습 성능이 향상된 변형된 활성화 함수와 양방향 활성화 함수를 통해 초해상도 신경망에 의한 고해상도 이미지 복원의 효율을 향상시키고자 한다.The second layer 130 performs an operation on a modified activation function (Modified ReLU) or a bilateral activation function (Bilateral ReLU) using a convolution operation result value as an input of the patch extracted from the first layer 120 Thus, nonlinear mapping can be performed. As described above, the activation function outputs a value of 0 when the result of the convolution operation, which is an input value of the activation function, is less than 0, that is, a negative number. In general, the result of the convolution operation includes a number of negative values. Therefore, if all negative values are replaced by 0 by the activation function, a lot of data is lost, so it does not affect the learning of the super-resolution neural network, and as a result, the efficiency of high-resolution image restoration by the super-resolution neural network is not effective. exist. Accordingly, the super-resolution neural network-based high-resolution image restoration apparatus 100 improves the efficiency of high-resolution image restoration by the super-resolution neural network through a modified activation function and a bidirectional activation function, which have improved learning performance compared to the conventional activation function ReLU. I want to improve.

도 3은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 변형된 활성화 함수를 적용한 초해상도 신경망의 구조를 도시한 도면이고, 도 4는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 변형된 활성화 함수의 그래프를 도시한 도면이다.3 is a diagram showing the structure of a super-resolution neural network to which a modified activation function of the super-resolution neural network-based high-resolution image restoration apparatus according to an embodiment of the present application is applied, and FIG. 4 is a super-resolution neural network based super-resolution neural network according to an embodiment of the present application It is a diagram showing a graph of the modified activation function of the high-resolution image restoration apparatus.

도 3을 참조하면, 제2레이어(130)는 제1레이어(120)로부터 추출된 패치를 입력으로 하는 제2레이어의 컨벌루션 연산 결과값을 변형된 활성화 함수에 입력할 수 있다. 본원의 일 실시예에 따른 변형된 활성화 함수는 수학식 1과 같이 나타낼 수 있다.Referring to FIG. 3, the second layer 130 may input a result of a convolution operation of the second layer using the patch extracted from the first layer 120 as an input into a modified activation function. A modified activation function according to an embodiment of the present application may be expressed as Equation 1.

[수학식 1][Equation 1]

f(y)=max(tmin,y)f(y)=max(t min ,y)

여기서, f(y)는 변형된 활성화 함수를 통해 연산된(활성화된) 결과값을 나타내고, tmin은 변형된 활성화 함수의 미리 설정된 최소값이고, y는 제2레이어(130)의 컨벌루션 연산 결과값을 나타낸다. 상기 미리 설정된 최소값은 음수일 수 있다. 제2레이어(130)는 제2레이어(130)의 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행할 수 있다.Here, f(y) represents the result value calculated (activated) through the modified activation function, t min is the preset minimum value of the modified activation function, and y is the result of the convolution operation of the second layer 130 Represents. The preset minimum value may be a negative number. The second layer 130 may perform nonlinear mapping by performing an operation on a modified activation function that receives a result of the convolution operation of the second layer 130 as an input.

변형된 활성화 함수는 미리 설정된 최소값과 제2레이어(130)의 컨벌루션 연산 결과값 중 큰 값을 활성화할 수 있다. 구체적으로, 도 4를 참조하면, 음수의 최소값을 설정함으로써, 최소값 이상의 음수인 컨벌루션 연산 결과값 또한 그대로 활성화 함수가 출력하여 활성화 할 수 있다. 또한, 최소값 미만의 컨벌루션 연산 결과값은 최소값으로 변환되어 활성화 함수에 의해 출력되어 활성화 될 수 있다.The modified activation function may activate a larger value among a preset minimum value and a convolution operation result value of the second layer 130. Specifically, referring to FIG. 4, by setting a minimum value of a negative number, an activation function may output and activate a convolution operation result value that is a negative number equal to or greater than the minimum value. In addition, a result of the convolution operation less than the minimum value may be converted to a minimum value and output by an activation function to be activated.

변형된 활성화 함수의 미리 설정된 최소값은 제2레이어(130)의 컨벌루션 연산 결과값에 기초하여 설정될 수 있다. 예를 들어, 상기 미리 설정된 최소값은 제2레이어(130)의 컨벌루션 연산의 히스토그램 밸류가 미리 설정된 값을 초과하도록 설정될 수 있다. 예시적으로, 미리 설정된 최소값은 -0.125 내지 -0.5 중 어느 하나의 값으로 설정될 수 있다. 제2레이어(130)의 컨벌루션 연산 결과값의 그래프를 나타내는 도 7의 (b)를 참조하면, 변형된 활성화 함수의 미리 설정된 최소값은 제2레이어(130)의 컨벌루션 연산 결과값(히스토그램 밸류)의 음수 영역의 분포를 참조하여 사용자에 의해 설정될 수 있다. 이는 후술하는 양방향 활성화 함수의 미리 설정된 최소값에도 동일하게 적용될 수 있다. 또한, 양방향 활성화 함수의 미리 설정된 최대값은 상기 도 7의 (b)의 그래프를 통해 확인할 수 있는 제2레이어(130)의 컨벌루션 연산 결과값의 양수 영역의 분포를 참조하여 사용자에 의해 설정될 수 있다. 특히, 상기 미리 설정된 최대값은 1 이상으로 설정될 수 있다.The preset minimum value of the modified activation function may be set based on a result of the convolution operation of the second layer 130. For example, the preset minimum value may be set such that the histogram value of the convolution operation of the second layer 130 exceeds a preset value. For example, the preset minimum value may be set to any one of -0.125 to -0.5. Referring to FIG. 7(b) showing a graph of the convolution operation result value of the second layer 130, the preset minimum value of the modified activation function is the convolution operation result value (histogram value) of the second layer 130. It can be set by the user by referring to the distribution of the negative region. This may equally be applied to a preset minimum value of a bidirectional activation function to be described later. In addition, the preset maximum value of the bidirectional activation function can be set by the user by referring to the distribution of the positive region of the convolution operation result value of the second layer 130, which can be checked through the graph of FIG. 7B. have. In particular, the preset maximum value may be set to 1 or more.

변형된 활성화 함수는 기존의 활성화 함수에 비해 음수의 컨벌루션 연산 결과값 또한 활성화할 수 있으므로, 기존의 활성화 함수보다 활성화하는 값의 범위가 넓다. 따라서, 상대적으로 많은 데이터가 초해상도 신경망에 의한 학습에 영향을 미칠 수 있다.Since the modified activation function can also activate a negative convolution operation result value compared to the existing activation function, the range of activation values is wider than that of the existing activation function. Therefore, a relatively large amount of data can affect learning by a super-resolution neural network.

도 5는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 양방향 활성화 함수를 적용한 초해상도 신경망의 구조를 도시한 도면이고, 도 6은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 양방향 활성화 함수의 그래프를 도시한 도면이다.FIG. 5 is a diagram showing the structure of a super-resolution neural network to which a bidirectional activation function of a super-resolution neural network-based high-resolution image restoration apparatus according to an embodiment of the present application is applied, and FIG. 6 is a super-resolution neural network-based high-resolution image according to an embodiment of the present application. A diagram showing a graph of a bidirectional activation function of an image restoration device.

도 5를 참조하면, 제2레이어(130)는 제1레이어(120)로부터 추출된 패치를 입력으로 하는 제2레이어의 컨벌루션 연산 결과값을 양방향 활성화 함수에 입력할 수 있다. 양방향 활성화 함수는 수학식 2와 같이 나타낼 수 있다.Referring to FIG. 5, the second layer 130 may input a result of a convolution operation of the second layer, which uses a patch extracted from the first layer 120 as an input, into a bidirectional activation function. The bidirectional activation function can be expressed as in Equation 2.

[수학식 2][Equation 2]

f(y)=min(tmax, max(tmin,y))f(y)=min(t max , max(t min ,y))

여기서, f(y)는 양방향 활성화 함수를 통해 연산된(활성화된) 결과값을 나타내고, tmin은 양방향 활성화 함수의 미리 설정된 최소값이고, tmax는 양방향 활성화 함수의 미리 설정된 최대값이다. y는 제2레이어(130)의 컨벌루션 연산 결과값을 나타낸다. 상기 미리 설정된 최소값은 음수일 수 있고, 예를 들어, 미리 설정된 최대값은 1보다 클 수 있다. 제2레이어(130)는 제2레이어(130)의 컨벌루션 연산 결과값을 입력으로 하는 양방향 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행할 수 있다.Here, f(y) represents a result value calculated (activated) through the bidirectional activation function, t min is a preset minimum value of the bidirectional activation function, and t max is a preset maximum value of the bidirectional activation function. y denotes a result of the convolution operation of the second layer 130. The preset minimum value may be a negative number, and for example, the preset maximum value may be greater than 1. The second layer 130 may perform nonlinear mapping by performing an operation on a bidirectional activation function that receives a result of the convolution operation of the second layer 130 as an input.

양방향 활성화 함수는, 미리 설정된 최소값과 제2레이어의 컨벌루션 연산 결과값 중 큰 값과 미리 설정된 최대값 중 작은 값을 활성화할 수 있다. 구체적으로, 도 6을 참조하면, 음수의 최소값과 1 이상의 최대값을 설정함으로써, 최소값 이상의 음수인 컨벌루션 연산 결과값 및 최대값 미만 양수의 컨벌루션 연산 결과값이 활성화 함수의 연산 대상이 될 수 있다. 따라서, 제2레이어(130)는 양방향 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 제한하여 상기 제2레이어의 양방향 활성화 함수의 연산 결과값의 분포를 평준화할 수 있다. 다시 말해, 양방향 활성화 함수를 사용함으로써, 기존의 활성화 함수보다 상대적으로 많은 데이터가 초해상도 신경망에 의한 학습에 영향을 미칠 수 있고, 활성화되는 데이터가 고른 분포를 가질 수 있다.The bidirectional activation function may activate a larger value among a preset minimum value and a result of a convolution operation of the second layer and a smaller value among a preset maximum value. Specifically, referring to FIG. 6, by setting a minimum value of a negative number and a maximum value of 1 or more, a convolution operation result value that is a negative number equal to or greater than the minimum value and a convolution operation result value that is a positive number less than the maximum value may be an operation target of the activation function. Accordingly, the second layer 130 may limit the activation range of the result value of the convolution operation of the second layer through the bidirectional activation function, thereby leveling the distribution of the result value of the operation result of the bidirectional activation function of the second layer. In other words, by using the bidirectional activation function, relatively more data than the existing activation function can affect learning by the super-resolution neural network, and activated data can have an even distribution.

제3레이어(140)는 제2레이어(130)의 출력값을 입력으로 하는 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원할 수 있다.The third layer 140 may restore a high-resolution image based on a result of a convolution operation using an output value of the second layer 130 as an input.

도 7은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치의 제1레이어 및 제2레이어의 컨벌루션 연산 결과값의 그래프를 도시한 도면이다.7 is a diagram illustrating a graph of a result of a convolution operation of a first layer and a second layer of the apparatus for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.

도 7의 (a)는 제1레이어(120)의 컨벌루션 연산 결과값을 그래프로 도시하고, 도 7의 (b)는 제2레이어(130)의 컨벌루션 연산 결과값을 그래프로 도시한다. 또한, 도 7의 그래프는 활성화 함수에 대한 연산을 수행하기 이전의 컨벌루션 연산 결과값을 나타낸다. 일반적으로, 초해상도 신경망의 제1레이어(120) 및 제2레이어(130)는 각각 컨벌루션 연산을 통해 64종 및 32종의 특징맵을 생성한다. 컨벌루션 연산에 의한 특징맵은 고역 통화 필터 유형 및 저역 통과 필터 유형을 포함할 수 있다. 저역 통과 필터 유형의 수는 고역 통과 필터 유형보다 적으며, 고역 통과 필터 유형의 컨벌루션 연산 결과값에는 다수의 음수값이 포함될 수 있다. 따라서, 기존의 활성화 함수를 이용한 음수값의 손실은 초해상도 신경망에 비효율적인 영향을 미치게 되므로, 변형된 활성화 함수 또는 양방향 활성화 함수를 통해 초해상도 신경망의 학습 효율을 향상시킬 수 있다. 예시적으로 반복 학습이 2,000,00번인 제2레이어(130)의 컨벌루션 연산 결과값에서 기존의 활성화 함수를 사용하는 초해상도 신경망은 59%의 활성노드를 제공하는 반면, 변형된 활성화 함수를 사용하는 초해상도 신경망은 98%의 활성노드를 제공한다. FIG. 7A shows the result of the convolution operation of the first layer 120 as a graph, and FIG. 7B shows the result of the convolutional operation of the second layer 130 as a graph. In addition, the graph of FIG. 7 shows a result of a convolution operation before performing an operation on an activation function. In general, the first layer 120 and the second layer 130 of the super-resolution neural network generate 64 types and 32 types of feature maps through convolution operations, respectively. The feature map according to the convolution operation may include a high pass call filter type and a low pass filter type. The number of low-pass filter types is less than that of the high-pass filter type, and the result of the convolution operation of the high-pass filter type may include a number of negative values. Therefore, since the loss of negative values using the existing activation function has an inefficient effect on the super-resolution neural network, it is possible to improve the learning efficiency of the super-resolution neural network through a modified activation function or a bidirectional activation function. As an example, the super-resolution neural network using the existing activation function from the convolution operation result of the second layer 130, which has 2,000,00 iterations of learning, provides 59% of the active nodes, while the modified activation function is used. Super-resolution neural networks provide 98% of active nodes.

도 8은 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 장치에 의해 복원된 고해상도 이미지를 도시한 도면이다.8 is a diagram illustrating a high-resolution image reconstructed by a high-resolution image reconstruction apparatus based on a super-resolution neural network according to an embodiment of the present application.

초해상도 신경망 기반 고해상도 이미지 복원 장치(100)의 유효성을 평가하기 위한 실험을 도 8을 참조하여 설명한다. 도 8의 (a)는 입력 데이터에 대응하는 이미지에 양면 보간법을 적용한 결과이고, 도 8의 (b)는 기존의 활성화 함수를 사용한 초해상도 신경망을 통해 복원된 이미지를 나타낸다. 도 8의 (c)는 변형된 활성화 함수(최소값: -0.125)를 사용한 초해상도 신경망을 통해 복원된 이미지를 나타내고, 도 8의 (d)는 양방향 활성화 함수(최소값: -0.25, 최대값: 2.0)를 사용한 초해상도 신경망을 통해 복원된 이미지를 나타낸다. 변형된 활성화 함수를 사용한 초해상도 신경망은 기존의 활성화 함수를 사용한 초해상도 신경망에 비해 최대 신호대 잡음비(Peak Signal-to-noise ratio, PSNR)가 0.19db 증가하고, 양방향 활성화 함수를 사용한 초해상도 신경망은 기존의 활성화 함수를 사용한 초해상도 신경망에 비해 최대 신호대 잡음비가 0.18db 증가하였다.An experiment for evaluating the effectiveness of the super-resolution neural network-based high-resolution image reconstruction apparatus 100 will be described with reference to FIG. 8. FIG. 8A is a result of applying the double-sided interpolation method to an image corresponding to input data, and FIG. 8B shows an image reconstructed through a super-resolution neural network using an existing activation function. FIG. 8(c) shows an image restored through a super-resolution neural network using a modified activation function (minimum value: -0.125), and FIG. 8(d) shows a bidirectional activation function (minimum value: -0.25, maximum value: 2.0 Shows an image reconstructed through a super-resolution neural network using ). The super-resolution neural network using the modified activation function increases the peak signal-to-noise ratio (PSNR) by 0.19db compared to the super-resolution neural network using the existing activation function, and the super-resolution neural network using the bidirectional activation function Compared to the super-resolution neural network using the existing activation function, the maximum signal-to-noise ratio is increased by 0.18db.

아래의 표 1은 입력 데이터에 대한 기존의 활성화 함수, 변형된 활성화 함수 및 양방향 활성화 함수를 각각 사용한 제2레이어(130)의 최대 신호대 잡음비 값을 비교한 것이다.Table 1 below compares the maximum signal-to-noise ratio values of the second layer 130 using an existing activation function, a modified activation function, and a bidirectional activation function for input data, respectively.

[표 1][Table 1]

Figure 112019010235285-pat00001
Figure 112019010235285-pat00001

표 1에 따르면, 변형된 활성화 함수를 사용하는 경우, 기존의 활성화 함수에 비해 최대 신호대 잡음비가 0.04~0.16db 만큼 개선되고, 양방향 활성화 함수를 사용하는 경우, 기존의 활성화 함수에 비해 최대 신호대 잡음비가 0.05~0.16db 만큼 개선됨을 확인할 수 있다. 즉, 변형된 활성화 함수 또는 양방향 활성화 함수를 이용한 초해상도 신경망을 통해 기존의 활성화 함수에 비해 보다 개선된 고해상도의 이미지를 복원할 수 있다.According to Table 1, when the modified activation function is used, the maximum signal-to-noise ratio is improved by 0.04 to 0.16db compared to the conventional activation function, and when the bidirectional activation function is used, the maximum signal-to-noise ratio is improved compared to the existing activation function. It can be seen that the improvement is improved by 0.05~0.16db. That is, through a super-resolution neural network using a modified activation function or a bidirectional activation function, an image of higher resolution, which is improved compared to the existing activation function, can be restored.

도 9는 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 방법의 흐름을 도시한 도면이다.9 is a diagram illustrating a flow of a method for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application.

도 9에 도시된 본원의 일 실시예에 따른 초해상도 신경망 기반 고해상도 이미지 복원 방법은 앞선 도 1 내지 도 8을 통해 초해상도 신경망 기반 고해상도 이미지 복원 장치에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도 1 내지 도 8을 통해 초해상도 신경망 기반 고해상도 이미지 복원 장치에 대하여 설명된 내용은 도 9에도 동일하게 적용될 수 있다.The method for reconstructing a high-resolution image based on a super-resolution neural network according to an embodiment of the present application illustrated in FIG. 9 may be performed by an apparatus for reconstructing a high-resolution image based on a super-resolution neural network through FIGS. 1 to 8 above. Therefore, even if omitted below, the description of the apparatus for reconstructing a high-resolution image based on a super-resolution neural network through FIGS. 1 to 8 may be equally applied to FIG. 9.

도 9를 참조하면, 단계 S910에서 입력 수신부(110)는 고해상도 이미지 복원 대상의 입력 데이터를 수신할 수 있다. 상기 입력 데이터는 초해상도 신경망 기반 고해상도 이미지 복원 장치(100)를 통해 고해상도로 복원될 이미지를 의미하며, 다양한 해상도를 가질 수 있다. 입력 수신부(110)는 사용자에 의해 입력된 상기 입력 데이터를 수신할 수 있다.Referring to FIG. 9, in step S910, the input receiver 110 may receive input data of a high resolution image restoration target. The input data refers to an image to be reconstructed in high resolution through the super-resolution neural network-based high-resolution image restoration apparatus 100, and may have various resolutions. The input receiving unit 110 may receive the input data input by a user.

단계 S920에서 제1레이어(120)는 초해상도 신경망에 입력된 입력 데이터를 연산하여 패치를 추출할 수 있다. 구체적으로, 제1레이어(120)는 입력 데이터의 컨벌루션 연산을 수행하고, 상기 컨벌루션 연산의 결과값을 입력으로 하는 활성화 함수에 대한 연산으로부터 패치를 추출할 수 있다.In step S920, the first layer 120 may extract a patch by calculating input data input to the super-resolution neural network. Specifically, the first layer 120 may perform a convolution operation on input data, and extract a patch from an operation for an activation function using a result value of the convolution operation as an input.

단계 S930에서 제2레이어(130)는 제1레이어(120)로부터 추출된 패치를 입력으로 하는 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수(Modified ReLU) 또는 양방향 활성화 함수(Bilateral ReLU)에 대한 연산을 수행하여 비선형 맵핑을 수행할 수 있다.In step S930, the second layer 130 provides a modified activation function (Modified ReLU) or a bilateral activation function (Bilateral ReLU) that inputs a convolution operation result value using the patch extracted from the first layer 120 as an input. Nonlinear mapping can be performed by performing an operation.

단계 S940에서 제3레이어(140)는 제2레이어(130)의 출력값을 입력으로 하는 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원할 수 있다.In operation S940, the third layer 140 may restore a high-resolution image based on a result of a convolution operation using an output value of the second layer 130 as an input.

본원의 일 실시 예에 따른, 초해상도 신경망 기반 고해상도 이미지 복원 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.A method of reconstructing a high-resolution image based on a super-resolution neural network according to an exemplary embodiment of the present disclosure may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The above-described hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present application is for illustrative purposes only, and those of ordinary skill in the art to which the present application pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present application. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present application.

100: 초해상도 신경망 기반 고해상도 이미지 복원 장치
110: 입력 수신부
120: 제1레이어
130: 제2레이어
140: 제3레이어100: Super-resolution neural network-based high-resolution image restoration device
110: input receiver
120: first layer
130: second layer
140: third layer

Claims (15)

초해상도 신경망 기반 고해상도 이미지 복원 방법에 있어서,
초해상도 신경망의 제1레이어에 입력된 고해상도 이미지 복원 대상의 입력 데이터를 연산하여 패치를 추출하는 단계;
상기 제1레이어로부터 추출된 패치를 입력으로 하는 제2레이어의 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수 또는 양방향 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행하는 단계; 및
상기 제2레이어의 출력값을 입력으로 하는 제3레이어의 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원하는 단계,
를 포함하되,
상기 변형된 활성화 함수는,
미리 설정된 최소값과 상기 제2레이어의 컨벌루션 연산 결과값 중 큰 값을 활성화 하고,
상기 제2레이어의 컨벌루션 연산의 히스토그램 밸류가 미리 설정된 값을 초과하도록 상기 미리 설정된 최소값을 설정하되, 상기 제2레이어의 컨벌루션 연산 결과값의 음수 영역 분포를 참조하여 설정되고,
상기 양방향 활성화 함수는,
미리 설정된 최소값과 제2레이어의 컨벌루션 연산 결과값 중 큰 값과 미리 설정된 최대값 중 작은 값을 활성화하여,
상기 미리 설정된 최소값 이상의 음수인 컨벌루션 연산 결과값 내지 상기 미리 설정된 최대값 미만 양수의 컨벌루션 연산 결과값을 제2레이어의 컨벌루션 연산 결과값의 활성화 범위로 제한하여 컨벌루션 연산 결과값의 분포를 평준화 하는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 방법.In a super-resolution neural network-based high-resolution image restoration method,
Extracting a patch by calculating input data of a target for reconstruction of a high-resolution image input to a first layer of a super-resolution neural network;
Performing a nonlinear mapping by performing an operation on a modified activation function or a bidirectional activation function using a convolution operation result value of a second layer as an input using the patch extracted from the first layer; And
Restoring a high-resolution image based on a result of a convolution operation of a third layer using an output value of the second layer as an input,
Including,
The modified activation function,
Activate the larger of the preset minimum value and the result of the convolution operation of the second layer,
The preset minimum value is set so that the histogram value of the convolution operation of the second layer exceeds a preset value, but is set by referring to the negative region distribution of the result of the convolution operation of the second layer,
The bidirectional activation function,
By activating the larger value of the preset minimum value and the result of the convolution operation of the second layer and the smaller value of the preset maximum value,
To equalize the distribution of the convolution operation result values by limiting the convolution operation result value that is a negative number equal to or greater than the preset minimum value to the positive convolution operation result value less than the preset maximum value to the activation range of the convolution operation result value of the second layer. , Super-resolution neural network-based high-resolution image restoration method. 제1항에 있어서,
상기 패치를 추출하는 단계는,
상기 입력 데이터의 컨벌루션 연산을 수행하고, 상기 컨벌루션 연산의 결과값을 입력으로 하는 활성화 함수에 대한 연산으로부터 상기 패치를 추출하는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 방법.The method of claim 1,
The step of extracting the patch,
A method for reconstructing a high-resolution image based on a super-resolution neural network, which performs a convolution operation on the input data and extracts the patch from an operation for an activation function that takes a result of the convolution operation as an input. 제1항에 있어서,
상기 변형된 활성화 함수는,
상기 미리 설정된 최소값은 음수인 것인, 초해상도 신경망 기반 고해상도 이미지 복원 방법.The method of claim 1,
The modified activation function,
The preset minimum value is a negative number, super-resolution neural network-based high-resolution image restoration method. 제1항에 있어서,
상기 양방향 활성화 함수는,
상기 미리 설정된 최소값은 음수이고, 상기 미리 설정된 최대값은 양수인 것인, 초해상도 신경망 기반 고해상도 이미지 복원 방법The method of claim 1,
The bidirectional activation function,
The preset minimum value is a negative number, the preset maximum value is a positive number, super-resolution neural network-based high-resolution image restoration method 제4항에 있어서,
상기 미리 설정된 최소값 및 상기 미리 설정된 최대값은 상기 제2레이어의 컨벌루션 연산 결과값에 기초하여 설정되는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 방법.The method of claim 4,
The preset minimum value and the preset maximum value are set based on a result of a convolution operation of the second layer. 제3항에 있어서,
상기 비선형 맵핑을 수행하는 단계는,
상기 변형된 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 확장하여 상기 입력 데이터에 의한 기계학습의 영향력이 향상되는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 방법.The method of claim 3,
The step of performing the nonlinear mapping,
The method of reconstructing a high-resolution image based on a super-resolution neural network, wherein the influence of machine learning by the input data is increased by extending an activation range of a result of the convolution operation of the second layer through the modified activation function. 삭제delete 초해상도 신경망 기반 고해상도 이미지 복원 장치에 있어서,
고해상도 이미지 복원 대상의 입력 데이터를 수신하는 입력 수신부;
초해상도 신경망에 입력된 상기 입력 데이터를 연산하여 패치를 추출하는 제1레이어;
상기 제1레이어로부터 추출된 패치를 입력으로 하는 컨벌루션 연산 결과값을 입력으로 하는 변형된 활성화 함수 또는 양방향 활성화 함수에 대한 연산을 수행하여 비선형 맵핑을 수행하는 제2레이어; 및
상기 제2레이어의 출력값을 입력으로 하는 컨벌루션 연산 결과값에 기초하여 고해상도 이미지를 복원하는 제3레이어,
를 포함하되,
상기 변형된 활성화 함수는,
미리 설정된 최소값과 상기 제2레이어의 컨벌루션 연산 결과값 중 큰 값을 활성화 하고,
상기 제2레이어의 컨벌루션 연산의 히스토그램 밸류가 미리 설정된 값을 초과하도록 상기 미리 설정된 최소값을 설정하되, 상기 제2레이어의 컨벌루션 연산 결과값의 음수 영역 분포를 참조하여 설정되고,
상기 양방향 활성화 함수는,
미리 설정된 최소값과 제2레이어의 컨벌루션 연산 결과값 중 큰 값과 미리 설정된 최대값 중 작은 값을 활성화하여,
상기 미리 설정된 최소값 이상의 음수인 컨벌루션 연산 결과값 내지 상기 미리 설정된 최대값 미만 양수의 컨벌루션 연산 결과값을 제2레이어의 컨벌루션 연산 결과값의 활성화 범위로 제한하여 컨벌루션 연산 결과값의 분포를 평준화 하는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 장치.In the super-resolution neural network-based high-resolution image restoration apparatus,
An input receiving unit for receiving input data to be reconstructed from a high-resolution image;
A first layer for extracting a patch by calculating the input data input to the super-resolution neural network;
A second layer for performing nonlinear mapping by performing an operation on a modified activation function or a bidirectional activation function that receives a convolutional operation result value of the patch extracted from the first layer as an input; And
A third layer for restoring a high-resolution image based on a result of a convolution operation taking an output value of the second layer as an input,
Including,
The modified activation function,
Activate the larger of the preset minimum value and the result of the convolution operation of the second layer,
The preset minimum value is set so that the histogram value of the convolution operation of the second layer exceeds a preset value, but is set by referring to the negative region distribution of the result of the convolution operation of the second layer,
The bidirectional activation function,
By activating the larger value of the preset minimum value and the result of the convolution operation of the second layer and the smaller value of the preset maximum value,
To equalize the distribution of the convolution operation result values by limiting the convolution operation result value that is a negative number equal to or greater than the preset minimum value to the positive convolution operation result value less than the preset maximum value to the activation range of the convolution operation result value of the second layer. , Super-resolution neural network-based high-resolution image restoration device. 제8항에 있어서,
상기 제1레이어는,
상기 입력 데이터의 컨벌루션 연산을 수행하고, 상기 컨벌루션 연산의 결과값을 입력으로 하는 활성화 함수에 대한 연산으로부터 상기 패치를 추출하는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 장치.The method of claim 8,
The first layer,
A high-resolution image reconstruction apparatus based on a super-resolution neural network, which performs a convolution operation of the input data and extracts the patch from an operation for an activation function that receives a result of the convolution operation as an input. 제8항에 있어서,
상기 변형된 활성화 함수는,
상기 미리 설정된 최소값은 음수인 것인, 초해상도 신경망 기반 고해상도 이미지 복원 장치.The method of claim 8,
The modified activation function,
The preset minimum value is a negative number, super-resolution neural network based high-resolution image restoration apparatus. 제8항에 있어서,
상기 양방향 활성화 함수는,
상기 미리 설정된 최소값은 음수이고, 상기 미리 설정된 최대값은 양수인 것인, 초해상도 신경망 기반 고해상도 이미지 복원 장치.The method of claim 8,
The bidirectional activation function,
The preset minimum value is a negative number, and the preset maximum value is a positive number. 제11항에 있어서,
상기 미리 설정된 최소값 및 상기 미리 설정된 최대값은 상기 제2레이어의 컨벌루션 연산 결과값에 기초하여 설정되는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 장치.The method of claim 11,
The preset minimum value and the preset maximum value are set based on a result of a convolution operation of the second layer. 제10항에 있어서,
상기 제2레이어는,
상기 변형된 활성화 함수를 통해 상기 제2레이어의 컨벌루션 연산 결과값의 활성화 범위를 확장하여 상기 입력 데이터에 의한 기계학습의 영향력이 향상되는 것인, 초해상도 신경망 기반 고해상도 이미지 복원 장치.The method of claim 10,
The second layer,
The apparatus for reconstructing a high-resolution image based on a super-resolution neural network, wherein the influence of machine learning by the input data is improved by extending an activation range of a result of the convolution operation of the second layer through the modified activation function. 삭제delete 제1항 내지 제6항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.A computer-readable recording medium recording a program for executing the method of claim 1 on a computer.
KR1020190010945A 2019-01-29 2019-01-29 Device and method for reconstructing high resolution image based on super-resolution convolutional neural network KR102170547B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190010945A KR102170547B1 (en) 2019-01-29 2019-01-29 Device and method for reconstructing high resolution image based on super-resolution convolutional neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010945A KR102170547B1 (en) 2019-01-29 2019-01-29 Device and method for reconstructing high resolution image based on super-resolution convolutional neural network

Publications (2)

Publication Number Publication Date
KR20200101493A KR20200101493A (en) 2020-08-28
KR102170547B1 true KR102170547B1 (en) 2020-10-27

Family

ID=72265937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010945A KR102170547B1 (en) 2019-01-29 2019-01-29 Device and method for reconstructing high resolution image based on super-resolution convolutional neural network

Country Status (1)

Country Link
KR (1) KR102170547B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373274B1 (en) 2021-03-17 2022-06-28 Si Analytics Co., Ltd. Method for super resolution imaging based on deep learning
US11976975B2 (en) 2021-01-08 2024-05-07 Electronics And Telecommunications Research Institute Hyperspectral imaging system using neural network

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550688B1 (en) * 2021-05-10 2023-07-03 주식회사 씨앤에이아이 Device and Method for Generating Super Resolution Medical Image
KR102368074B1 (en) * 2021-05-26 2022-02-25 오픈엣지테크놀로지 주식회사 Method for enhancing resolution of integer-type data and device adapting the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938945B1 (en) * 2016-11-07 2019-01-15 한국과학기술원 Method and system for dehazing image using convolutional neural network
KR20180073118A (en) * 2016-12-22 2018-07-02 삼성전자주식회사 Convolutional neural network processing method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bolun Cai ET AL:"Learning Reduced-Resolution and Super-Resolution Networks in Synch", CS_Computer Vision and Pattern Recognition(arXiv:1712.00926v1), 4 Dec. 2017(2017.12.04.) 1부.*
Chao Dong ET AL:"Image Super-Resolution Using Deep Convolutional Networks", CS_Computer Vision and Pattern Recognition(arXiv:1501.00092v3), 31 July 2015(2015.07.31.) 1부.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11976975B2 (en) 2021-01-08 2024-05-07 Electronics And Telecommunications Research Institute Hyperspectral imaging system using neural network
US11373274B1 (en) 2021-03-17 2022-06-28 Si Analytics Co., Ltd. Method for super resolution imaging based on deep learning

Also Published As

Publication number Publication date
KR20200101493A (en) 2020-08-28

Similar Documents

Publication Publication Date Title
KR102170547B1 (en) Device and method for reconstructing high resolution image based on super-resolution convolutional neural network
Liu et al. Wavelet-based dual-branch network for image demoiréing
KR101996730B1 (en) Method and apparatus for reconstructing single image super-resolution based on artificial neural network
Liu et al. Cross-SRN: Structure-preserving super-resolution network with cross convolution
Xin et al. Wavelet-based dual recursive network for image super-resolution
KR102192211B1 (en) Efficient Generative Adversarial Networks using Depthwise Separable and Channel Attention for Image to Image Translation
KR102192392B1 (en) Residual Network system for correcting low resolution image
CN113014927A (en) Image compression method and image compression device
CN107103585B (en) Image super-resolution system
CN111553861B (en) Image super-resolution reconstruction method, device, equipment and readable storage medium
Huang et al. SRHRF+: Self-example enhanced single image super-resolution using hierarchical random forests
He et al. Deep dual-domain semi-blind network for compressed image quality enhancement
KR20200126881A (en) Method for processing microscopy image using artificial neural network with point spread function layer and apparatus therefore
Ahn et al. Super-resolution convolutional neural networks using modified and bilateral ReLU
Xiao et al. Joint convolutional neural pyramid for depth map super-resolution
Li et al. Neighborhood regression for edge-preserving image super-resolution
Hongbo et al. Single image fast deblurring algorithm based on hyper‐Laplacian model
Wen et al. Progressive representation recalibration for lightweight super-resolution
KR102206792B1 (en) Method for image denoising using parallel feature pyramid network, recording medium and device for performing the method
An et al. Blur invariant kernel-adaptive network for single image blind deblurring
Kokkinos et al. Pixel adaptive filtering units
Xiao et al. Joint residual pyramid for depth map super-resolution
Ye et al. Single-image defocus deblurring by integration of defocus map prediction tracing the inverse problem computation
Wang et al. Image super-resolution via deep aggregation network
Maiseli Diffusion‐steered super‐resolution method based on the Papoulis–Gerchberg algorithm

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant