KR20220005846A - Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network - Google Patents
Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network Download PDFInfo
- Publication number
- KR20220005846A KR20220005846A KR1020200083513A KR20200083513A KR20220005846A KR 20220005846 A KR20220005846 A KR 20220005846A KR 1020200083513 A KR1020200083513 A KR 1020200083513A KR 20200083513 A KR20200083513 A KR 20200083513A KR 20220005846 A KR20220005846 A KR 20220005846A
- Authority
- KR
- South Korea
- Prior art keywords
- low
- image
- level
- resolution
- rdb
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002708 enhancing effect Effects 0.000 title abstract description 3
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007670 refining Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 확대 및 해상도 향상 장치에 관한 것으로서, 더욱 상세하게는 이전 시간 단계에서 피드백 연결되어 수신된 이미지의 하이 레벨 특징을 이용하여 이미지의 로우 레벨 특징을 정제하고, 정제된 로우 레벨 특징을 학습하여 하이 레벨 특징을 개선하며, 이에 따라 초고해상도 이미지를 재구성하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치 및 방법에 관한 것이다.The present invention relates to an apparatus for magnifying an image and improving resolution, and more particularly, to refine low-level features of an image using high-level features of an image received through feedback connection at a previous time step, and learn the refined low-level features The present invention relates to an apparatus and method for image magnification and resolution enhancement using a multi-feedback network that improves high-level features by doing so and reconstructs an ultra-high-resolution image accordingly.
최근 SR(Super Resolution)의 진보는 더 나은 재구성 성능을 달성하기 위해서 딥 러닝의 힘을 탐구했다. 그러나 인간 시각 시스템에 일반적으로 존재하는 피드백 메커니즘은 기존의 딥 러닝 기반 이미지 SR 방법에서 완전히 활용되지 않고 있다.Recent advances in Super Resolution (SR) have explored the power of deep learning to achieve better reconstruction performance. However, the feedback mechanism normally present in the human visual system has not been fully utilized in the existing deep learning-based image SR methods.
SR(Super Resolution)은 저해상도(LR) 이미지에서 고해상도(HR) 이미지를 재구성하는 것을 목표로 하는 저수준 컴퓨터 비전 작업이다.Super Resolution (SR) is a low-level computer vision task that aims to reconstruct high-resolution (HR) images from low-resolution (LR) images.
SR은 여러 개의 HR 이미지가 동일한 LR 이미지를 생성 할 수 있기 때문에 에러 문제가 발생할 수 있는데, 이러한 문제를 해결하기 위해서 보간 기반 방법, 재구성 기반 방법 및 학습 기반 방법을 포함한 수많은 이미지 SR 방법이 제안되었다.SR can cause error problems because multiple HR images can generate the same LR image. To solve this problem, numerous image SR methods, including interpolation-based methods, reconstruction-based methods, and learning-based methods, have been proposed.
SR에 적용되는 딥 러닝은 이미지 SR을 포함한 다양한 컴퓨터 비전 작업에서 탁월한 성능을 보여주었고, 네트워크가 깊어질 때마다 최적화의 어려움을 극복하기 위해서 스킵 연결(Skip Connection)이 사용되었다.Deep learning applied to SR showed excellent performance in various computer vision tasks including image SR, and skip connection was used to overcome the difficulty of optimization whenever the network deepened.
최근 연구에 따르면, 이미지 SR을 현저하게 개선하기 위해 다양한 종류의 스킵 연결을 채택한다. 이러한 네트워크 아키텍처의 건너 뛰기 연결은 상향식으로 계층 구조 기능을 사용하거나 결합한다. 따라서, 하위 레벨 기능은 작은 수용 필드의 제한으로 인해 충분한 컨텍스트 정보가 없는 이전 계층의 정보만 수신할 수 있다. According to a recent study, we adopt various kinds of skip linking to significantly improve image SR. Skip connections in these network architectures use or combine hierarchical functions in a bottom-up manner. Therefore, lower-level functions can only receive information from the previous layer without sufficient context information due to the limitation of the small receptive field.
이러한 하위 수준 기능은 다음 계층에서 재사용되므로 네트워크의 재구성 능력을 더욱 제한하는 문제점을 발생한다.Since these lower-level functions are reused in the next layer, there is a problem that further limits the reconfiguration ability of the network.
그러나 이러한 종래의 SR에 적용된 방법들은 연결 건너 뛰기를 통해 신경망이 더 깊어지고, 이에 따라 매개 변수가 더 증가하며, 대용량 네트워크의 경우, 거대한 스토리지 리소스를 차지하여 오버피팅(Overfitting) 문제로 어려움을 겪게 된다.However, the methods applied to these conventional SRs make the neural network deeper through connection skipping, thus increasing parameters, and in the case of a large-capacity network, it takes up huge storage resources and suffers from overfitting problems. do.
이와 같은 문제점을 해결하기 위하여, 본 발명은 이전 시간 단계에서 피드백 연결되어 수신된 이미지의 하이 레벨 특징을 이용하여 이미지의 로우 레벨 특징을 정제하고, 정제된 로우 레벨 특징을 학습하여 하이 레벨 특징을 개선하며, 이에 따라 초고해상도 이미지를 재구성하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치 및 방법을 제공하는데 그 목적이 있다.In order to solve this problem, the present invention refines the low-level features of the image using the high-level features of the image received through feedback connection in the previous time step, and improves the high-level features by learning the refined low-level features Accordingly, an object of the present invention is to provide an apparatus and method for image enlargement and resolution enhancement using a multi-feedback network for reconstructing an ultra-high-resolution image.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치는,Image enlargement and resolution improvement apparatus using a multi-feedback network according to a feature of the present invention for achieving the above object,
각 시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하는 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)과, 잔여 밀도 블록(Residual Dense Block, RDB)으로 서로 번갈아 가면서 순차적으로 연결하는 게이트 다중 피드백 네트워크이고,At each time step, a gated feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image, and a Residual Dense Block (RDB) are sequentially connected to each other in turn. ,
상기 각각의 GFM은 이전 시간 단계에서 상기 각각의 RDB의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 상기 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 상기 각각의 RDB은 상기 GFM으로부터 상기 정제된 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 하이 레벨 특징을 출력하는 것을 특징으로 한다.Each of the GFMs is feedback-connected to the output of each RDB at a previous time step to receive a plurality of high-level features, use the high-level features to refine the low-level features of the input image, and each The RDB receives the refined low-level features from the GFM, learns hierarchical features, and outputs high-level features.
본 발명의 특징에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법은,An image enlargement and resolution improvement method using a multiple feedback network according to a feature of the present invention,
t시간 단계와 T시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하는 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)과, 잔여 밀도 블록(Residual Dense Block, RDB)으로 서로 번갈아 가면서 순차적으로 연결하는 게이트 다중 피드백 네트워크이고,Gate feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image for each t time step and T time step, and a gate that sequentially connects each other alternately with a residual density block (RDB) It is a multi-feedback network,
t시간 단계에서, 이전 시간 단계의 각각의 제1 RDB의 출력을 피드백 연결된 제1 GFM은 상기 복수의 제1 하이 레벨 특징을 수신하고, 상기 제1 하이 레벨 특징을 이용하여 입력되는 제1 입력 이미지의 제1 로우 레벨 특징을 정제하는 단계;At a time step t, a first GFM feedback-connected to the output of each first RDB of the previous time step receives the plurality of first high-level features, and a first input image input using the first high-level features refining a first low-level feature of ;
제1 RDB는 상기 정제된 제1 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 제1 하이 레벨 특징을 출력하는 단계; 및receiving, by the first RDB, the refined first low-level feature, learning the hierarchical feature, and outputting a first high-level feature; and
상기 제1 하이 레벨 특징을 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지()를 결합하여 제1 초고해상도 이미지 를 재구성하여 출력하는 단계를 포함하는 것을 특징으로 한다.A first image passing the first high-level feature through a deconvolutional layer and a convolutional layer, and an interpolated low-resolution image ( ) to combine the first super-resolution image It characterized in that it comprises the step of reconstructing and outputting.
전술한 구성에 의하여, 본 발명은 저해상도 이미지의 정제하여 저해상도 이미지의 손상을 회복하며, 이에 따라 초고해상도 이미지의 해상도를 향상할 수 있는 효과가 있다.According to the above-described configuration, the present invention recovers the damage of the low-resolution image by refining the low-resolution image, and thus has the effect of improving the resolution of the ultra-high-resolution image.
도 1은 본 발명의 실시예에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 게이트 피드백 모듈의 내부 구성을 간략하게 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 잔여 밀도 블록의 내부 구성을 간략하게 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 재구성 블록의 내부 구성을 간략하게 나타낸 도면이다.1 is a diagram showing the configuration of an image enlargement and resolution enhancement apparatus using a multiple feedback network according to an embodiment of the present invention.
2 is a diagram schematically illustrating an internal configuration of a gate feedback module according to an embodiment of the present invention.
3 is a diagram schematically illustrating an internal configuration of a residual density block according to an embodiment of the present invention.
4 is a diagram schematically illustrating an internal configuration of a reconstruction block according to an embodiment of the present invention.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
피드백 시스템은 반복적인 방식으로 출력을 입력으로 전파하는 것이다.A feedback system is one that propagates the output to the input in an iterative manner.
본 발명의 게이트 다중 피드백 네트워크(Gated Mutiple Feedback Network for Image SR)는 언롤링(Unrolling) T 시간 단계의 컨볼루션 반복 신경망 네트워크로 설계되고, 각 시간 단계에서 서브 네트워크는 독립적인 컨볼루션 신경망으로 간주되어 원본 LR 이미지를 SR(Super Resolution) 이미지로 재구성하는 것을 목적으로 한다.The gated multiple feedback network (Gated Multiple Feedback Network for Image SR) of the present invention is designed as a convolutional iterative neural network network of unrolling T time steps, and the subnetworks at each time step are considered as independent convolutional neural networks. It aims to reconstruct the original LR image into an SR (Super Resolution) image.
본 발명은 정교하게 설계된 게이트 피드백 모듈에서 하이 레벨 특징 중 중복 정보를 제거하고, 선택한 하이 레벨 정보로 로우 레벨 특징을 정제할 수 있다.The present invention can remove redundant information among high-level features in a precisely designed gate feedback module and refine low-level features with selected high-level information.
도 1은 본 발명의 실시예에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 게이트 피드백 모듈의 내부 구성을 간략하게 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 잔여 밀도 블록의 내부 구성을 간략하게 나타낸 도면이며, 도 4는 본 발명의 실시예에 따른 재구성 블록의 내부 구성을 간략하게 나타낸 도면이다.1 is a diagram showing the configuration of an image enlargement and resolution enhancing apparatus using a multiple feedback network according to an embodiment of the present invention, and FIG. 2 is a diagram schematically showing the internal configuration of a gate feedback module according to an embodiment of the present invention. , FIG. 3 is a diagram schematically illustrating the internal configuration of a residual density block according to an embodiment of the present invention, and FIG. 4 is a diagram schematically illustrating the internal configuration of a reconstruction block according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치(100)는 주로 4개의 부분으로 구성되고, 4개의 부분은 로우 레벨 특징 추출 블록(110), 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)(120), 잔여 밀도 블록(Residual Dense Blocks, RDB)(130) 및 재구성 블록(Reconstruction Block, RB)(140)을 포함한다.As shown in FIG. 1 , the
이러한 4 부분의 매개 변수는 시간이 지남에 따라 공유된다. 인접한 시간 단계에서 서브 네트워크 사이의 통신은 다수의 피드백 연결 그룹에 의해 달성된다.These four-part parameters are shared over time. Communication between sub-networks in adjacent time steps is achieved by multiple feedback connection groups.
초기 시간 단계, t시간 단계, T시간 단계마다 확대 및 해상도 향상 장치(100)가 각각 구성된다.The magnification and
초기 시간 단계에서는 로우 레벨 특징 추출 블록(110)과, 잔여 밀도 블록(130)가 순차적으로 복수개 연결하고, 재구성 블록(140)으로 이루어져 있다.In the initial time step, a plurality of low-level
t시간 단계에서는 로우 레벨 특징 추출 블록(110)과, 게이트 피드백 모듈(120) 및 잔여 밀도 블록(130)으로 서로 번갈아 가면서 순차적으로 연결하며, 재구성 블록(140)으로 이루어져 있다.In the t-time step, the low-level
T시간 단계에서는 로우 레벨 특징 추출 블록(110)과, 게이트 피드백 모듈(120) 및 잔여 밀도 블록(130)으로 서로 번갈아 가면서 순차적으로 연결하며, 재구성 블록(140)으로 이루어져 있다.In the T time step, the low-level
본 발명은 각 시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하며, 각 시간 단계마다 초고해상도 이미지의 화질이 점차 개선된다. The present invention reconstructs the original low-resolution image into an ultra-high-resolution image at each time step, and the image quality of the ultra-high-resolution image is gradually improved at each time step.
각각의 GFM(120)은 이전 시간 단계에서 각각의 RDB(130)의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제한다.Each GFM 120 is feedback-connected to the output of each
t번째 시간 단계에서 게이트 다중 피드백 네트워크(GMFN)의 입력 이미지로서 이 주어지면, 로우 레벨 특징 추출 블록(110)은 초기 로우 레벨 특징()을 추출하기 위해서 2개의 컨볼루션 레이어를 적용한다. 제1 레이어와 제2 레이어는 3×3 크기와 1×1 크기의 컨볼루션 커널들을 각각 보유한다. 초기 로우 레벨 특징()은 하기의 수학식 1에 의해 추출된다.As the input image of the gated multiple feedback network (GMFN) at the t-th time step Given this, the low-level
여기서, 는 초기 로우 레벨 특징 추출 블록의 함수를 나타낸다.here, denotes a function of the initial low-level feature extraction block.
이후에, 추출된 초기 로우 레벨 특징()은 복수의 잔여 밀도 블록(RDBs)에 공급되어 계층적 특징을 학습한다.Afterwards, the extracted initial low-level features ( ) is fed to a plurality of residual density blocks (RDBs) to learn hierarchical features.
더 많은 다중 잔여 밀도 블록(RDB)(130)을 쌓으면 서브 네트워크에서 보다 다양한 수준의 수용 필드를 제공하여 추출된 특징의 더 나은 계층 구조를 형성한다.Stacking more multiple residual density blocks (RDBs) 130 provides a more varied level of receptive field in the subnetwork to form a better hierarchy of extracted features.
이러한 풍부한 계층적 특징은 로우 레벨 특징을 개선하는데 도움이 된다. 각 개량된 프로세스는 하나의 피드백 연결 그룹이 있는 하나의 RDB(130) 앞에 배치된 GFM(1200에 의해 수행된다.This rich hierarchical feature helps to improve the low-level feature. Each advanced process is performed by a GFM 1200 placed in front of one
잔여 밀도 블록(130)은 각 시간 단계에서 B RDB(130)를 순차적으로 연결되면, LR 공간에서의 최종 하이 레벨 특징()은 하기의 수학식 2에 의해 얻어질 수 있다.
여기서, 은 B RDB와 M GFM의 연산을 결합한 함수를 나타낸다. 특히, 이전 시간 단계에서 제공한 높은 수준의 정보가 없기 때문에 첫 번째 단계에서 RDB 앞에 GFM가 없다(도 1 참조).here, represents a function that combines the operations of B RDB and M GFM. In particular, there is no GFM in front of the RDB in the first step because there is no high-level information provided by the previous time step (see Fig. 1).
각각의 RDB(130)는 복수의 콘볼루셔널 레이어를 구성하여 정제된 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 하이 레벨 특징을 출력한다.Each
재구성 블록(140)은 마지막의 RDB(130)의 출력인 하이 레벨 특징()을 입력받아 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지()를 결합하여 초고해상도 이미지 를 재구성하여 출력한다.The
재구성 블록(140)에서 추출된 하이 레벨 특징()은 디컨볼루셔널 레이어(Deconvolutional Layer)에 의해 업스케일된다.The high-level features extracted from the reconstruction block 140 ( ) is upscaled by a deconvolutional layer.
그런 다음 3×3 크기의 컨볼루셔널 레이어는 업스케일된 특징을 사용하여 잔여 이미지(Residual Image)를 복구한다.Then, the 3×3 convolutional layer uses the upscaled features to recover the residual image.
마지막으로, 복구된 잔여 이미지는 보간된 LR 이미지와 결합되어 t번째 시간 단계에서 SR 이미지인 을 재구성한다. 재구성 블록(140)의 수학적 공식은 다음의 수학식 3과 같이 표현될 수 있다.Finally, the recovered residual image is combined with the interpolated LR image to be the SR image at the t-th time step. to reconstruct The mathematical formula of the
여기서, 는 각각 재구성 블록, 디컨볼루션 레이어 및 컨볼루셔널 레이어, 보간된 커널의 함수를 각각 나타낸다.here, denotes a function of a reconstruction block, a deconvolutional layer, a convolutional layer, and an interpolated kernel, respectively.
본 발명에서 제안된 GMFN에서 T 시간 단계가 전개되면, T SR 이미지를 완전히 획득한다.When the T time step is deployed in the GMFN proposed in the present invention, the T SR image is completely acquired.
마찬가지로 각 서브 네트워크의 재구성 대상으로 T HR 이미지가 있다. 본 발명은 GMFN을 최적화하기 위해서 L1 손실 함수를 채택한다.Similarly, there is a T HR image as a reconstruction target of each subnetwork. The present invention adopts the L1 loss function to optimize the GMFN.
손실 기능은 다음의 수학식 4와 같이 공식화 할 수 있다.The loss function can be formulated as Equation 4 below.
여기서, 는 GMFN의 파라미터 세트, 는 t번째 시간 단계에서 타겟 HR 이미지를 나타낸다.here, is the parameter set of GMFN, denotes the target HR image at the t-th time step.
각각의 게이트 피드백 모듈(Gated Feedback Moudle, GFM)(120)은 이전 시간 단계로부터 새로운 루트로 보내진 복수의 하이 레벨 특징들을 이용하여 얕은 레이어들로부터 추출된 로우 레벨 특징을 정제하는데 사용된다.Each Gated Feedback Module (GFM) 120 is used to refine the low-level features extracted from the shallow layers using a plurality of high-level features sent to the new route from the previous time step.
도 2에 도시된 바와 같이, 하나의 게이트 피드백 모듈(120)은 게이트 유닛(Gate Unit)(121) 및 리파인먼트 유닛(Refinement Unit)(122)으로 구성된다.As shown in FIG. 2 , one
게이트 유닛(121)은 복수의 하이 레벨 특징들로부터 유용한 하이 레벨 정보를 적응적으로 선택한다.The
게이트 유닛(121)은 이전 시간 단계에서 각각의 RDB(130)의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 수신한 복수의 하이 레벨 특징로부터 하이 레벨 정보를 적응적으로 선택한다.The
리파인먼트 유닛(122)은 게이트 유닛(122)에서 선택된 하이 레벨 정보를 사용하여 로우 레벨 특징들을 정제하고, 정제된 로우 레벨 특징을 RDB(130)로 전송한다.The
리파인먼트 유닛(122)은 각각의 RDB(130)로부터 하이 레벨 특징을 입력받고, 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 정제된 로우 레벨 특징을 RDB(130)로 전송한다.The
GFM(120)의 배치는 정제할 특징들의 수준에 따라 결정된다. 다중 캐스케이드(Cascaded)된 RDBs 간의 상대적 계층 관계에 따르면, 로우 레벨 특징을 정제할 필요가 있을 때, 다중 얕은(Shallow) RDB(130)의 입력을 선택하고, 새로운 루트로 보내지는 하이 레벨 특징들로서 다중 딥(Deep) RDBs의 출력을 선택한다.The placement of the
가장 깊은 RDBs는 LR 공간에서 가장 대표적인 정보를 추출할 수 있기 때문에 초기 로우 레벨 특징의 개선 프로세스를 용이하게 한다. 본 발명은 복수의 그룹의 피드백 연결을 사용하여 가장 깊은 RDBs로부터 가장 얕은 RDBs까지 다중 하이 레벨 특징을 전달한다. 각 피드백 연결 그룹은 하나의 GFM(120)에 의해 처리된다.The deepest RDBs facilitate the refinement process of initial low-level features because they can extract the most representative information from the LR space. The present invention transfers multiple high-level features from the deepest RDBs to the shallowest RDBs using multiple groups of feedback connections. Each feedback connection group is handled by one GFM (120).
는 가장 얕은 M RDB의 선택된 인덱스 세트로 설정되고, 이의 입력은 로우 레벨 특징들로 간주된다. is set to the selected index set of the shallowest M RDB, and its input is considered low-level features.
는 가장 깊은 B - N + 1 RDBs의 선택된 인덱스 세트로 사용된다. is used as the selected index set of the deepest B - N + 1 RDBs.
t번째 시간 단계에서, b번째 RDB 의 출력은 하기의 수학식 5를 통해 얻을 수 있다.At t time step, b th RDB The output of can be obtained through Equation 5 below.
여기서, 는 각각 b번째 GFM에서 b번째 RDB 및 리파인먼트 유닛의 함수들을 나타낸다.here, denotes the functions of the b-th RDB and the refinement unit in the b-th GFM, respectively.
는 의 연결을 나타낸다. Is indicates the connection of
는 b번째 GFM으로 전달되는 다중 하이 레벨 특징들로부터 선택된 하이 레벨 정보를 나타낸다. denotes high-level information selected from multiple high-level features delivered to the b-th GFM.
이러한 하이 레벨 특징은 가장 깊은 RDBs로부터 추출되고, 하나의 피드백 연결 그룹에 의해 전달된다. 따라서, 선택된 하이 레벨 정보()는 하기의 수학식 6에 의해 획득될 수 있다.These high-level features are extracted from the deepest RDBs and delivered by one feedback linkage group. Therefore, the selected high-level information ( ) can be obtained by Equation 6 below.
여기서, 는 b 번째 GFM에서 게이트 유닛의 함수를 나타낸다. 다중 캐스케이드(Cascaded)된 RDBs 간의 상대 계층 관계를 기반으로 하고, 수학식 6은 b번째 GFM이 이전 시간 단계로부터 인덱스가 b보다 크거나 같은 RDB의 출력을 수신함을 나타낸다.here, denotes the function of the gate unit in the b-th GFM. Based on the relative hierarchical relationship between multiple cascaded RDBs, Equation 6 indicates that the b-th GFM receives the output of an RDB whose index is greater than or equal to b from the previous time step.
매개 변수 및 계산 효율을 위해서, 본 발명은 b번째 GFM(120)에서 게이트 유닛(121)과 리파인먼트 유닛(122)으로 두 개의 1×1 크기의 컨볼루션 레이어들을 사용한다.For parameter and computational efficiency, the present invention uses two 1×1 convolutional layers as the
수학식 5와 수학식 6에 따르면, 각 시간 단계(제1 시간 단계를 제외함)에서의 GFM의 수 및 인접한 시간 단계들 사이의 피드백 연결 그룹의 수는 M과 동일하고, 각 그룹의 피드백 연결의 그룹들 수는 N의 값에 의해 결정된다.According to Equations (5) and (6), the number of GFMs in each time step (except the first time step) and the number of feedback linkage groups between adjacent time steps are equal to M, and the feedback linkage of each group The number of groups in is determined by the value of N.
따라서, 본 발명은 선택된 인덱스 세트들인 SM 및 DN에서의 m 및 n 값을 조정하여 개선해야 하는 로우 레벨 특징들이 얼마나 많은지, 새로운 루트로 보내져야 하는 하이 레벨 특징들이 얼마나 많은지 각각 제어할 수 있다.Accordingly, the present invention can control how many low-level features to be improved and how many high-level features to be sent to a new route by adjusting the m and n values in the selected index sets SM and DN, respectively.
전술한 피드백 연결들은 피드백 구성에서 특별한 경우이다. 더 상세하게 살펴보면, 본 발명은 N = B를 쉽게 설정하여 단일 대 단일(M = 1) 또는 단일 대 다중(M ≠ 1) 피드백 연결을 달성 할 수 있으며, 최상위 레벨 기능을 가장 얕은 RDB로 다시 라우팅한다.The feedback connections described above are a special case in feedback configuration. More specifically, the present invention can easily set N = B to achieve single-to-single (M = 1) or single-to-multiple (M ≠ 1) feedback connections, re-routing the top-level functions to the shallowest RDB. do.
그러나 본 발명은 서로 다른 수용 필드에서 캡처된 모든 하이 레벨 정보가 SR 이미지를 재구성하는데 중요하다고 주장한다.However, the present invention asserts that all high-level information captured in different receptive fields is important for reconstructing the SR image.
본 발명은 N ≠ B를 설정하여 다중 대 단일(M = 1) 및 다중 대 다중(M ≠ 1)피드백 방식을 달성한다. 피드백 방식은 하이 레벨 특징들을 활용하여 로우 레벨 특징을 개선한다.The present invention achieves multiple-to-single (M = 1) and multiple-to-multiple (M ≠ 1) feedback schemes by setting N ≠ B. The feedback scheme utilizes high-level features to improve low-level features.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.In the above, the embodiment of the present invention is not implemented only through the apparatus and/or method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. And, such an implementation can be easily implemented by an expert in the technical field to which the present invention belongs from the description of the above-described embodiment.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. is within the scope of the right.
100: 영상 확대 및 해상도 향상 장치
110: 로우 레벨 특징 추출 블록
120: 게이트 피드백 모듈
121: 게이트 유닛
122: 리파인먼트 유닛
130: 잔여 밀도 블록
140: 재구성 블록100: image enlargement and resolution enhancement device
110: low-level feature extraction block
120: gate feedback module
121: gate unit
122: refinement unit
130: residual density block
140: rebuild block
Claims (9)
상기 각각의 GFM은 이전 시간 단계에서 상기 각각의 RDB의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 상기 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 상기 각각의 RDB은 상기 GFM으로부터 상기 정제된 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 하이 레벨 특징을 출력하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.At each time step, a gated feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image, and a Residual Dense Block (RDB) are sequentially connected to each other in turn. ,
Each of the GFMs is feedback-connected to the output of each RDB at a previous time step to receive a plurality of high-level features, use the high-level features to refine the low-level features of the input image, and each RDB receives the refined low-level features from the GFM, learns hierarchical features, and outputs high-level features.
상기 최초의 GFM은 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징()을 추출하는 로우 레벨 특징 추출 블록의 출력단에 연결되는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.According to claim 1,
The first GFM is a low-level feature ( .
상기 마지막의 RDB의 출력인 하이 레벨 특징()을 입력받아 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지()를 결합하여 초고해상도 이미지 를 재구성하여 출력하는 재구성 블록에 연결되는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.According to claim 1,
The high-level feature that is the output of the last RDB ( ), the first image passed through the deconvolutional layer and the convolutional layer, and the interpolated low-resolution image ( ) to combine the super high-resolution image Image enlargement and resolution enhancement apparatus using a multi-feedback network, characterized in that it is connected to a reconstruction block that reconstructs and outputs.
상기 각각의 GFM은 이전 시간 단계에서 상기 각각의 RDB의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 상기 수신한 복수의 하이 레벨 특징로부터 하이 레벨 정보를 적응적으로 선택하는 게이트 유닛; 및
상기 각각의 RDB로부터 하이 레벨 특징을 입력받고, 상기 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 상기 정제된 로우 레벨 특징을 상기 RDB로 전송하는 리파인먼트 유닛을 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.The method of claim 1,
each GFM feedback-connected an output of the respective RDB in a previous time step to receive a plurality of high-level features, and a gate unit for adaptively selecting high-level information from the plurality of high-level features; and
a refinement unit that receives high-level features from the respective RDBs, refines low-level features of the input image using the high-level features, and transmits the refined low-level features to the RDB Image enlargement and resolution enhancement device using a multi-feedback network.
초기 시간 단계에서는 상기 최초의 GFM에 연결되어 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징()을 추출하는 로우 레벨 특징 추출 블록과, 순차적으로 복수개 연결된 각각의 RDB와, 상기 재구성 블록으로 이루어져 있고,
상기 초기 시간 단계 이후의 t시간 단계에서는 상기 로우 레벨 특징 추출 블록, 서로 번갈아 가면서 순차적으로 연결하는 상기 GFM과 상기 RDB, 상기 재구성 블록으로 이루어져 있는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.4. The method of claim 3,
In the initial time step, one or more convolutional layers are applied to the input image connected to the first GFM to obtain low-level features ( ) consists of a low-level feature extraction block for extracting, each RDB sequentially connected to a plurality, and the reconstruction block,
In the t time step after the initial time step, the image enlargement and resolution improvement using a multi-feedback network, characterized in that it consists of the low-level feature extraction block, the GFM and the RDB, and the reconstruction block that are alternately and sequentially connected to each other Device.
t시간 단계에서, 이전 시간 단계의 각각의 제1 RDB의 출력을 피드백 연결된 제1 GFM은 상기 복수의 제1 하이 레벨 특징을 수신하고, 상기 제1 하이 레벨 특징을 이용하여 입력되는 제1 입력 이미지의 제1 로우 레벨 특징을 정제하는 단계;
제1 RDB는 상기 정제된 제1 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 제1 하이 레벨 특징을 출력하는 단계; 및
상기 제1 하이 레벨 특징을 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지()를 결합하여 제1 초고해상도 이미지 를 재구성하여 출력하는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.Gate feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image for each t time step and T time step, and a gate that sequentially connects each other alternately with a residual density block (RDB) It is a multi-feedback network,
At a time step t, a first GFM feedback-connected to the output of each first RDB of the previous time step receives the plurality of first high-level features, and a first input image input using the first high-level features refining a first low-level feature of ;
receiving, by the first RDB, the refined first low-level feature, learning the hierarchical feature, and outputting a first high-level feature; and
A first image passing the first high-level feature through a deconvolutional layer and a convolutional layer, and an interpolated low-resolution image ( ) to combine the first super-resolution image Image enlargement and resolution improvement method using a multi-feedback network, characterized in that it comprises the step of reconstructing and outputting.
T시간 단계에서, 상기 t시간 단계의 각각의 제2 RDB의 출력을 피드백 연결된 제2 GFM은 복수의 제2 하이 레벨 특징을 수신하고, 상기 제2 하이 레벨 특징을 이용하여 입력되는 제2 입력 이미지의 제2 로우 레벨 특징을 정제하는 단계;
제2 RDB는 상기 정제된 제2 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 제2 하이 레벨 특징을 출력하는 단계; 및
상기 제2 하이 레벨 특징을 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제2 이미지와, 보간된 저해상도 이미지()를 결합하여 제2 초고해상도 이미지 를 재구성하여 출력하는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.7. The method of claim 6,
In the time t step, a second GFM feedback-connected to the output of each second RDB in the time t step receives a plurality of second high level features, and a second input image input using the second high level features refining a second low-level feature of
receiving, by the second RDB, the refined second low-level feature, learning the hierarchical feature, and outputting a second high-level feature; and
A second image passing the second high-level feature through a deconvolutional layer and a convolutional layer, and an interpolated low-resolution image ( ) to combine the second super-resolution image Image enlargement and resolution improvement method using a multiple feedback network, characterized in that it comprises the step of reconstructing and outputting.
상기 제1 로우 레벨 특징을 정제하는 단계는,
상기 최초의 제1 GFM은 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징()을 입력받는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.7. The method of claim 6,
The step of refining the first low-level feature comprises:
The first GFM is a low-level feature ( ) image enlargement and resolution improvement method using a multi-feedback network, characterized in that it comprises the step of receiving an input.
상기 제2 로우 레벨 특징을 정제하는 단계는,
상기 최초의 제2 GFM은 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징()을 입력받는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.8. The method of claim 7,
Refining the second low-level feature includes:
The first second GFM is a low-level feature ( ) image enlargement and resolution improvement method using a multi-feedback network, characterized in that it comprises the step of receiving an input.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200083513A KR20220005846A (en) | 2020-07-07 | 2020-07-07 | Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200083513A KR20220005846A (en) | 2020-07-07 | 2020-07-07 | Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220005846A true KR20220005846A (en) | 2022-01-14 |
Family
ID=79342981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200083513A KR20220005846A (en) | 2020-07-07 | 2020-07-07 | Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220005846A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190039958A (en) | 2016-08-24 | 2019-04-16 | 퀄컴 인코포레이티드 | Color space adaptation by feedback channel |
-
2020
- 2020-07-07 KR KR1020200083513A patent/KR20220005846A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190039958A (en) | 2016-08-24 | 2019-04-16 | 퀄컴 인코포레이티드 | Color space adaptation by feedback channel |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fang et al. | A hybrid network of cnn and transformer for lightweight image super-resolution | |
CN109903228B (en) | Image super-resolution reconstruction method based on convolutional neural network | |
CN111161150B (en) | Image super-resolution reconstruction method based on multi-scale attention cascade network | |
CN111062892B (en) | Single image rain removing method based on composite residual error network and deep supervision | |
Li et al. | Modified integral imaging reconstruction and encryption using an improved SR reconstruction algorithm | |
CN112862688B (en) | Image super-resolution reconstruction system and method based on cross-scale attention network | |
CN115222601A (en) | Image super-resolution reconstruction model and method based on residual mixed attention network | |
JP2020187721A (en) | Image segmentation method and apparatus, and computer program | |
CN112767253B (en) | Multi-scale feature fusion binocular image super-resolution reconstruction method | |
CN112508794B (en) | Medical image super-resolution reconstruction method and system | |
US11908037B2 (en) | Method and system for large-capacity image steganography and recovery based on invertible neural networks | |
CN113887645B (en) | Remote sensing image fusion classification method based on joint attention twin network | |
CN112365403A (en) | Video super-resolution recovery method based on deep learning and adjacent frames | |
CN110852948A (en) | Image super-resolution method based on feature correlation, storage medium and terminal equipment | |
CN113746619B (en) | Image encryption method, decryption method and system for predefined time synchronization control | |
CN111768340A (en) | Super-resolution image reconstruction method and system based on dense multi-path network | |
CN114418850A (en) | Super-resolution reconstruction method with reference image and fusion image convolution | |
CN112017116A (en) | Image super-resolution reconstruction network based on asymmetric convolution and construction method thereof | |
CN114926343A (en) | Image super-resolution method based on pyramid fusion attention network | |
CN113947531A (en) | Iterative collaborative video super-resolution reconstruction method and system | |
Zhou et al. | Image super-resolution based on dense convolutional auto-encoder blocks | |
Nathan et al. | Light weight residual dense attention net for spectral reconstruction from RGB images | |
CN112734645B (en) | Lightweight image super-resolution reconstruction method based on feature distillation multiplexing | |
CN111553861A (en) | Image super-resolution reconstruction method, device and equipment and readable storage medium | |
KR20220005846A (en) | Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |