KR20220005846A - Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network - Google Patents

Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network Download PDF

Info

Publication number
KR20220005846A
KR20220005846A KR1020200083513A KR20200083513A KR20220005846A KR 20220005846 A KR20220005846 A KR 20220005846A KR 1020200083513 A KR1020200083513 A KR 1020200083513A KR 20200083513 A KR20200083513 A KR 20200083513A KR 20220005846 A KR20220005846 A KR 20220005846A
Authority
KR
South Korea
Prior art keywords
low
image
level
resolution
rdb
Prior art date
Application number
KR1020200083513A
Other languages
Korean (ko)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020200083513A priority Critical patent/KR20220005846A/en
Publication of KR20220005846A publication Critical patent/KR20220005846A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

Provided are a device and a method for magnifying an image and enhancing the image resolution using a multi-feedback network, which refines low-level features of an image by using high-level features of a received image with feedback connection from the previous time step, learns the refined low-level features to improve high-level features, and reconstructs the super-high-resolution image according to the same, thereby improving the resolution of the super-high-resolution image by recovering the damage to a low-resolution image.

Description

다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치 및 방법{Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network}Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network

본 발명은 영상 확대 및 해상도 향상 장치에 관한 것으로서, 더욱 상세하게는 이전 시간 단계에서 피드백 연결되어 수신된 이미지의 하이 레벨 특징을 이용하여 이미지의 로우 레벨 특징을 정제하고, 정제된 로우 레벨 특징을 학습하여 하이 레벨 특징을 개선하며, 이에 따라 초고해상도 이미지를 재구성하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치 및 방법에 관한 것이다.The present invention relates to an apparatus for magnifying an image and improving resolution, and more particularly, to refine low-level features of an image using high-level features of an image received through feedback connection at a previous time step, and learn the refined low-level features The present invention relates to an apparatus and method for image magnification and resolution enhancement using a multi-feedback network that improves high-level features by doing so and reconstructs an ultra-high-resolution image accordingly.

최근 SR(Super Resolution)의 진보는 더 나은 재구성 성능을 달성하기 위해서 딥 러닝의 힘을 탐구했다. 그러나 인간 시각 시스템에 일반적으로 존재하는 피드백 메커니즘은 기존의 딥 러닝 기반 이미지 SR 방법에서 완전히 활용되지 않고 있다.Recent advances in Super Resolution (SR) have explored the power of deep learning to achieve better reconstruction performance. However, the feedback mechanism normally present in the human visual system has not been fully utilized in the existing deep learning-based image SR methods.

SR(Super Resolution)은 저해상도(LR) 이미지에서 고해상도(HR) 이미지를 재구성하는 것을 목표로 하는 저수준 컴퓨터 비전 작업이다.Super Resolution (SR) is a low-level computer vision task that aims to reconstruct high-resolution (HR) images from low-resolution (LR) images.

SR은 여러 개의 HR 이미지가 동일한 LR 이미지를 생성 할 수 있기 때문에 에러 문제가 발생할 수 있는데, 이러한 문제를 해결하기 위해서 보간 기반 방법, 재구성 기반 방법 및 학습 기반 방법을 포함한 수많은 이미지 SR 방법이 제안되었다.SR can cause error problems because multiple HR images can generate the same LR image. To solve this problem, numerous image SR methods, including interpolation-based methods, reconstruction-based methods, and learning-based methods, have been proposed.

SR에 적용되는 딥 러닝은 이미지 SR을 포함한 다양한 컴퓨터 비전 작업에서 탁월한 성능을 보여주었고, 네트워크가 깊어질 때마다 최적화의 어려움을 극복하기 위해서 스킵 연결(Skip Connection)이 사용되었다.Deep learning applied to SR showed excellent performance in various computer vision tasks including image SR, and skip connection was used to overcome the difficulty of optimization whenever the network deepened.

최근 연구에 따르면, 이미지 SR을 현저하게 개선하기 위해 다양한 종류의 스킵 연결을 채택한다. 이러한 네트워크 아키텍처의 건너 뛰기 연결은 상향식으로 계층 구조 기능을 사용하거나 결합한다. 따라서, 하위 레벨 기능은 작은 수용 필드의 제한으로 인해 충분한 컨텍스트 정보가 없는 이전 계층의 정보만 수신할 수 있다. According to a recent study, we adopt various kinds of skip linking to significantly improve image SR. Skip connections in these network architectures use or combine hierarchical functions in a bottom-up manner. Therefore, lower-level functions can only receive information from the previous layer without sufficient context information due to the limitation of the small receptive field.

이러한 하위 수준 기능은 다음 계층에서 재사용되므로 네트워크의 재구성 능력을 더욱 제한하는 문제점을 발생한다.Since these lower-level functions are reused in the next layer, there is a problem that further limits the reconfiguration ability of the network.

그러나 이러한 종래의 SR에 적용된 방법들은 연결 건너 뛰기를 통해 신경망이 더 깊어지고, 이에 따라 매개 변수가 더 증가하며, 대용량 네트워크의 경우, 거대한 스토리지 리소스를 차지하여 오버피팅(Overfitting) 문제로 어려움을 겪게 된다.However, the methods applied to these conventional SRs make the neural network deeper through connection skipping, thus increasing parameters, and in the case of a large-capacity network, it takes up huge storage resources and suffers from overfitting problems. do.

한국 공개특허번호 제10-2019-0039958호Korean Patent Publication No. 10-2019-0039958

이와 같은 문제점을 해결하기 위하여, 본 발명은 이전 시간 단계에서 피드백 연결되어 수신된 이미지의 하이 레벨 특징을 이용하여 이미지의 로우 레벨 특징을 정제하고, 정제된 로우 레벨 특징을 학습하여 하이 레벨 특징을 개선하며, 이에 따라 초고해상도 이미지를 재구성하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치 및 방법을 제공하는데 그 목적이 있다.In order to solve this problem, the present invention refines the low-level features of the image using the high-level features of the image received through feedback connection in the previous time step, and improves the high-level features by learning the refined low-level features Accordingly, an object of the present invention is to provide an apparatus and method for image enlargement and resolution enhancement using a multi-feedback network for reconstructing an ultra-high-resolution image.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치는,Image enlargement and resolution improvement apparatus using a multi-feedback network according to a feature of the present invention for achieving the above object,

각 시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하는 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)과, 잔여 밀도 블록(Residual Dense Block, RDB)으로 서로 번갈아 가면서 순차적으로 연결하는 게이트 다중 피드백 네트워크이고,At each time step, a gated feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image, and a Residual Dense Block (RDB) are sequentially connected to each other in turn. ,

상기 각각의 GFM은 이전 시간 단계에서 상기 각각의 RDB의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 상기 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 상기 각각의 RDB은 상기 GFM으로부터 상기 정제된 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 하이 레벨 특징을 출력하는 것을 특징으로 한다.Each of the GFMs is feedback-connected to the output of each RDB at a previous time step to receive a plurality of high-level features, use the high-level features to refine the low-level features of the input image, and each The RDB receives the refined low-level features from the GFM, learns hierarchical features, and outputs high-level features.

본 발명의 특징에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법은,An image enlargement and resolution improvement method using a multiple feedback network according to a feature of the present invention,

t시간 단계와 T시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하는 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)과, 잔여 밀도 블록(Residual Dense Block, RDB)으로 서로 번갈아 가면서 순차적으로 연결하는 게이트 다중 피드백 네트워크이고,Gate feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image for each t time step and T time step, and a gate that sequentially connects each other alternately with a residual density block (RDB) It is a multi-feedback network,

t시간 단계에서, 이전 시간 단계의 각각의 제1 RDB의 출력을 피드백 연결된 제1 GFM은 상기 복수의 제1 하이 레벨 특징을 수신하고, 상기 제1 하이 레벨 특징을 이용하여 입력되는 제1 입력 이미지의 제1 로우 레벨 특징을 정제하는 단계;At a time step t, a first GFM feedback-connected to the output of each first RDB of the previous time step receives the plurality of first high-level features, and a first input image input using the first high-level features refining a first low-level feature of ;

제1 RDB는 상기 정제된 제1 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 제1 하이 레벨 특징을 출력하는 단계; 및receiving, by the first RDB, the refined first low-level feature, learning the hierarchical feature, and outputting a first high-level feature; and

상기 제1 하이 레벨 특징을 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지(

Figure pat00001
)를 결합하여 제1 초고해상도 이미지
Figure pat00002
를 재구성하여 출력하는 단계를 포함하는 것을 특징으로 한다.A first image passing the first high-level feature through a deconvolutional layer and a convolutional layer, and an interpolated low-resolution image (
Figure pat00001
) to combine the first super-resolution image
Figure pat00002
It characterized in that it comprises the step of reconstructing and outputting.

전술한 구성에 의하여, 본 발명은 저해상도 이미지의 정제하여 저해상도 이미지의 손상을 회복하며, 이에 따라 초고해상도 이미지의 해상도를 향상할 수 있는 효과가 있다.According to the above-described configuration, the present invention recovers the damage of the low-resolution image by refining the low-resolution image, and thus has the effect of improving the resolution of the ultra-high-resolution image.

도 1은 본 발명의 실시예에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 게이트 피드백 모듈의 내부 구성을 간략하게 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 잔여 밀도 블록의 내부 구성을 간략하게 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 재구성 블록의 내부 구성을 간략하게 나타낸 도면이다.1 is a diagram showing the configuration of an image enlargement and resolution enhancement apparatus using a multiple feedback network according to an embodiment of the present invention.
2 is a diagram schematically illustrating an internal configuration of a gate feedback module according to an embodiment of the present invention.
3 is a diagram schematically illustrating an internal configuration of a residual density block according to an embodiment of the present invention.
4 is a diagram schematically illustrating an internal configuration of a reconstruction block according to an embodiment of the present invention.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

피드백 시스템은 반복적인 방식으로 출력을 입력으로 전파하는 것이다.A feedback system is one that propagates the output to the input in an iterative manner.

본 발명의 게이트 다중 피드백 네트워크(Gated Mutiple Feedback Network for Image SR)는 언롤링(Unrolling) T 시간 단계의 컨볼루션 반복 신경망 네트워크로 설계되고, 각 시간 단계에서 서브 네트워크는 독립적인 컨볼루션 신경망으로 간주되어 원본 LR 이미지를 SR(Super Resolution) 이미지로 재구성하는 것을 목적으로 한다.The gated multiple feedback network (Gated Multiple Feedback Network for Image SR) of the present invention is designed as a convolutional iterative neural network network of unrolling T time steps, and the subnetworks at each time step are considered as independent convolutional neural networks. It aims to reconstruct the original LR image into an SR (Super Resolution) image.

본 발명은 정교하게 설계된 게이트 피드백 모듈에서 하이 레벨 특징 중 중복 정보를 제거하고, 선택한 하이 레벨 정보로 로우 레벨 특징을 정제할 수 있다.The present invention can remove redundant information among high-level features in a precisely designed gate feedback module and refine low-level features with selected high-level information.

도 1은 본 발명의 실시예에 따른 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 게이트 피드백 모듈의 내부 구성을 간략하게 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 잔여 밀도 블록의 내부 구성을 간략하게 나타낸 도면이며, 도 4는 본 발명의 실시예에 따른 재구성 블록의 내부 구성을 간략하게 나타낸 도면이다.1 is a diagram showing the configuration of an image enlargement and resolution enhancing apparatus using a multiple feedback network according to an embodiment of the present invention, and FIG. 2 is a diagram schematically showing the internal configuration of a gate feedback module according to an embodiment of the present invention. , FIG. 3 is a diagram schematically illustrating the internal configuration of a residual density block according to an embodiment of the present invention, and FIG. 4 is a diagram schematically illustrating the internal configuration of a reconstruction block according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치(100)는 주로 4개의 부분으로 구성되고, 4개의 부분은 로우 레벨 특징 추출 블록(110), 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)(120), 잔여 밀도 블록(Residual Dense Blocks, RDB)(130) 및 재구성 블록(Reconstruction Block, RB)(140)을 포함한다.As shown in FIG. 1 , the apparatus 100 for image enlargement and resolution enhancement using a multiple feedback network mainly consists of four parts, and the four parts include a low-level feature extraction block 110 and a gate feedback module (Multiple Gated). It includes a Feedback Moudle, GFM) 120 , a Residual Dense Blocks (RDB) 130 , and a Reconstruction Block (RB) 140 .

이러한 4 부분의 매개 변수는 시간이 지남에 따라 공유된다. 인접한 시간 단계에서 서브 네트워크 사이의 통신은 다수의 피드백 연결 그룹에 의해 달성된다.These four-part parameters are shared over time. Communication between sub-networks in adjacent time steps is achieved by multiple feedback connection groups.

초기 시간 단계, t시간 단계, T시간 단계마다 확대 및 해상도 향상 장치(100)가 각각 구성된다.The magnification and resolution enhancement apparatus 100 is configured for each initial time step, t time step, and T time step, respectively.

초기 시간 단계에서는 로우 레벨 특징 추출 블록(110)과, 잔여 밀도 블록(130)가 순차적으로 복수개 연결하고, 재구성 블록(140)으로 이루어져 있다.In the initial time step, a plurality of low-level feature extraction blocks 110 and residual density blocks 130 are sequentially connected, and the reconstruction block 140 is formed.

t시간 단계에서는 로우 레벨 특징 추출 블록(110)과, 게이트 피드백 모듈(120) 및 잔여 밀도 블록(130)으로 서로 번갈아 가면서 순차적으로 연결하며, 재구성 블록(140)으로 이루어져 있다.In the t-time step, the low-level feature extraction block 110 , the gate feedback module 120 , and the residual density block 130 are sequentially connected to each other in turn, and consists of a reconstruction block 140 .

T시간 단계에서는 로우 레벨 특징 추출 블록(110)과, 게이트 피드백 모듈(120) 및 잔여 밀도 블록(130)으로 서로 번갈아 가면서 순차적으로 연결하며, 재구성 블록(140)으로 이루어져 있다.In the T time step, the low-level feature extraction block 110 , the gate feedback module 120 , and the residual density block 130 are sequentially connected to each other in turn, and consists of a reconstruction block 140 .

본 발명은 각 시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하며, 각 시간 단계마다 초고해상도 이미지의 화질이 점차 개선된다. The present invention reconstructs the original low-resolution image into an ultra-high-resolution image at each time step, and the image quality of the ultra-high-resolution image is gradually improved at each time step.

각각의 GFM(120)은 이전 시간 단계에서 각각의 RDB(130)의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제한다.Each GFM 120 is feedback-connected to the output of each RDB 130 in a previous time step to receive a plurality of high-level features, and refine the low-level features of the input image by using the high-level features.

t번째 시간 단계에서 게이트 다중 피드백 네트워크(GMFN)의 입력 이미지로서

Figure pat00003
이 주어지면, 로우 레벨 특징 추출 블록(110)은 초기 로우 레벨 특징(
Figure pat00004
)을 추출하기 위해서 2개의 컨볼루션 레이어를 적용한다. 제1 레이어와 제2 레이어는 3×3 크기와 1×1 크기의 컨볼루션 커널들을 각각 보유한다. 초기 로우 레벨 특징(
Figure pat00005
)은 하기의 수학식 1에 의해 추출된다.As the input image of the gated multiple feedback network (GMFN) at the t-th time step
Figure pat00003
Given this, the low-level feature extraction block 110 generates an initial low-level feature (
Figure pat00004
), two convolutional layers are applied. The first layer and the second layer have 3×3 and 1×1 convolutional kernels, respectively. Initial low-level features (
Figure pat00005
) is extracted by Equation 1 below.

Figure pat00006
Figure pat00006

여기서,

Figure pat00007
는 초기 로우 레벨 특징 추출 블록의 함수를 나타낸다.here,
Figure pat00007
denotes a function of the initial low-level feature extraction block.

이후에, 추출된 초기 로우 레벨 특징(

Figure pat00008
)은 복수의 잔여 밀도 블록(RDBs)에 공급되어 계층적 특징을 학습한다.Afterwards, the extracted initial low-level features (
Figure pat00008
) is fed to a plurality of residual density blocks (RDBs) to learn hierarchical features.

더 많은 다중 잔여 밀도 블록(RDB)(130)을 쌓으면 서브 네트워크에서 보다 다양한 수준의 수용 필드를 제공하여 추출된 특징의 더 나은 계층 구조를 형성한다.Stacking more multiple residual density blocks (RDBs) 130 provides a more varied level of receptive field in the subnetwork to form a better hierarchy of extracted features.

이러한 풍부한 계층적 특징은 로우 레벨 특징을 개선하는데 도움이 된다. 각 개량된 프로세스는 하나의 피드백 연결 그룹이 있는 하나의 RDB(130) 앞에 배치된 GFM(1200에 의해 수행된다.This rich hierarchical feature helps to improve the low-level feature. Each advanced process is performed by a GFM 1200 placed in front of one RDB 130 with one feedback connection group.

잔여 밀도 블록(130)은 각 시간 단계에서 B RDB(130)를 순차적으로 연결되면, LR 공간에서의 최종 하이 레벨 특징(

Figure pat00009
)은 하기의 수학식 2에 의해 얻어질 수 있다.Residual density block 130 sequentially connects B RDB 130 at each time step, the final high level feature in LR space (
Figure pat00009
) can be obtained by Equation 2 below.

Figure pat00010
Figure pat00010

여기서,

Figure pat00011
은 B RDB와 M GFM의 연산을 결합한 함수를 나타낸다. 특히, 이전 시간 단계에서 제공한 높은 수준의 정보가 없기 때문에 첫 번째 단계에서 RDB 앞에 GFM가 없다(도 1 참조).here,
Figure pat00011
represents a function that combines the operations of B RDB and M GFM. In particular, there is no GFM in front of the RDB in the first step because there is no high-level information provided by the previous time step (see Fig. 1).

각각의 RDB(130)는 복수의 콘볼루셔널 레이어를 구성하여 정제된 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 하이 레벨 특징을 출력한다.Each RDB 130 configures a plurality of convolutional layers, receives refined low-level features, learns hierarchical features, and outputs high-level features.

재구성 블록(140)은 마지막의 RDB(130)의 출력인 하이 레벨 특징(

Figure pat00012
)을 입력받아 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지(
Figure pat00013
)를 결합하여 초고해상도 이미지
Figure pat00014
를 재구성하여 출력한다.The reconstruction block 140 is the output of the last RDB 130, the high-level feature (
Figure pat00012
), the first image passed through the deconvolutional layer and the convolutional layer, and the interpolated low-resolution image (
Figure pat00013
) to combine the super high-resolution image
Figure pat00014
is reconstructed and output.

재구성 블록(140)에서 추출된 하이 레벨 특징(

Figure pat00015
)은 디컨볼루셔널 레이어(Deconvolutional Layer)에 의해 업스케일된다.The high-level features extracted from the reconstruction block 140 (
Figure pat00015
) is upscaled by a deconvolutional layer.

그런 다음 3×3 크기의 컨볼루셔널 레이어는 업스케일된 특징을 사용하여 잔여 이미지(Residual Image)를 복구한다.Then, the 3×3 convolutional layer uses the upscaled features to recover the residual image.

마지막으로, 복구된 잔여 이미지는 보간된 LR 이미지와 결합되어 t번째 시간 단계에서 SR 이미지인

Figure pat00016
을 재구성한다. 재구성 블록(140)의 수학적 공식은 다음의 수학식 3과 같이 표현될 수 있다.Finally, the recovered residual image is combined with the interpolated LR image to be the SR image at the t-th time step.
Figure pat00016
to reconstruct The mathematical formula of the reconstruction block 140 may be expressed as Equation 3 below.

Figure pat00017
Figure pat00017

여기서,

Figure pat00018
는 각각 재구성 블록, 디컨볼루션 레이어 및 컨볼루셔널 레이어, 보간된 커널의 함수를 각각 나타낸다.here,
Figure pat00018
denotes a function of a reconstruction block, a deconvolutional layer, a convolutional layer, and an interpolated kernel, respectively.

본 발명에서 제안된 GMFN에서 T 시간 단계가 전개되면, T SR 이미지를 완전히 획득한다.When the T time step is deployed in the GMFN proposed in the present invention, the T SR image is completely acquired.

마찬가지로 각 서브 네트워크의 재구성 대상으로 T HR 이미지가 있다. 본 발명은 GMFN을 최적화하기 위해서 L1 손실 함수를 채택한다.Similarly, there is a T HR image as a reconstruction target of each subnetwork. The present invention adopts the L1 loss function to optimize the GMFN.

손실 기능은 다음의 수학식 4와 같이 공식화 할 수 있다.The loss function can be formulated as Equation 4 below.

Figure pat00019
Figure pat00019

여기서,

Figure pat00020
는 GMFN의 파라미터 세트,
Figure pat00021
는 t번째 시간 단계에서 타겟 HR 이미지를 나타낸다.here,
Figure pat00020
is the parameter set of GMFN,
Figure pat00021
denotes the target HR image at the t-th time step.

각각의 게이트 피드백 모듈(Gated Feedback Moudle, GFM)(120)은 이전 시간 단계로부터 새로운 루트로 보내진 복수의 하이 레벨 특징들을 이용하여 얕은 레이어들로부터 추출된 로우 레벨 특징을 정제하는데 사용된다.Each Gated Feedback Module (GFM) 120 is used to refine the low-level features extracted from the shallow layers using a plurality of high-level features sent to the new route from the previous time step.

도 2에 도시된 바와 같이, 하나의 게이트 피드백 모듈(120)은 게이트 유닛(Gate Unit)(121) 및 리파인먼트 유닛(Refinement Unit)(122)으로 구성된다.As shown in FIG. 2 , one gate feedback module 120 includes a gate unit 121 and a refinement unit 122 .

게이트 유닛(121)은 복수의 하이 레벨 특징들로부터 유용한 하이 레벨 정보를 적응적으로 선택한다.The gate unit 121 adaptively selects useful high-level information from a plurality of high-level features.

게이트 유닛(121)은 이전 시간 단계에서 각각의 RDB(130)의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 수신한 복수의 하이 레벨 특징로부터 하이 레벨 정보를 적응적으로 선택한다.The gate unit 121 is feedback-connected to the output of each RDB 130 at a previous time step to receive a plurality of high-level features, and adaptively select high-level information from the received plurality of high-level features.

리파인먼트 유닛(122)은 게이트 유닛(122)에서 선택된 하이 레벨 정보를 사용하여 로우 레벨 특징들을 정제하고, 정제된 로우 레벨 특징을 RDB(130)로 전송한다.The refinement unit 122 refines the low-level features using the high-level information selected by the gate unit 122 , and transmits the refined low-level features to the RDB 130 .

리파인먼트 유닛(122)은 각각의 RDB(130)로부터 하이 레벨 특징을 입력받고, 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 정제된 로우 레벨 특징을 RDB(130)로 전송한다.The refinement unit 122 receives the high-level features from each RDB 130 , refines the low-level features of the input image using the high-level features, and converts the refined low-level features to the RDB 130 . send.

GFM(120)의 배치는 정제할 특징들의 수준에 따라 결정된다. 다중 캐스케이드(Cascaded)된 RDBs 간의 상대적 계층 관계에 따르면, 로우 레벨 특징을 정제할 필요가 있을 때, 다중 얕은(Shallow) RDB(130)의 입력을 선택하고, 새로운 루트로 보내지는 하이 레벨 특징들로서 다중 딥(Deep) RDBs의 출력을 선택한다.The placement of the GFM 120 is determined according to the level of features to be refined. According to the relative hierarchical relationship between multiple cascaded RDBs, when it is necessary to refine low-level features, it selects the input of multiple shallow RDBs 130 and multiplies them as high-level features that are sent to a new route. Select the output of Deep RDBs.

가장 깊은 RDBs는 LR 공간에서 가장 대표적인 정보를 추출할 수 있기 때문에 초기 로우 레벨 특징의 개선 프로세스를 용이하게 한다. 본 발명은 복수의 그룹의 피드백 연결을 사용하여 가장 깊은 RDBs로부터 가장 얕은 RDBs까지 다중 하이 레벨 특징을 전달한다. 각 피드백 연결 그룹은 하나의 GFM(120)에 의해 처리된다.The deepest RDBs facilitate the refinement process of initial low-level features because they can extract the most representative information from the LR space. The present invention transfers multiple high-level features from the deepest RDBs to the shallowest RDBs using multiple groups of feedback connections. Each feedback connection group is handled by one GFM (120).

Figure pat00022
는 가장 얕은 M RDB의 선택된 인덱스 세트로 설정되고, 이의 입력은 로우 레벨 특징들로 간주된다.
Figure pat00022
is set to the selected index set of the shallowest M RDB, and its input is considered low-level features.

Figure pat00023
는 가장 깊은 B - N + 1 RDBs의 선택된 인덱스 세트로 사용된다.
Figure pat00023
is used as the selected index set of the deepest B - N + 1 RDBs.

t번째 시간 단계에서, b번째 RDB

Figure pat00024
의 출력은 하기의 수학식 5를 통해 얻을 수 있다.At t time step, b th RDB
Figure pat00024
The output of can be obtained through Equation 5 below.

Figure pat00025
Figure pat00025

여기서,

Figure pat00026
는 각각 b번째 GFM에서 b번째 RDB 및 리파인먼트 유닛의 함수들을 나타낸다.here,
Figure pat00026
denotes the functions of the b-th RDB and the refinement unit in the b-th GFM, respectively.

Figure pat00027
는
Figure pat00028
의 연결을 나타낸다.
Figure pat00027
Is
Figure pat00028
indicates the connection of

Figure pat00029
는 b번째 GFM으로 전달되는 다중 하이 레벨 특징들로부터 선택된 하이 레벨 정보를 나타낸다.
Figure pat00029
denotes high-level information selected from multiple high-level features delivered to the b-th GFM.

이러한 하이 레벨 특징은 가장 깊은 RDBs로부터 추출되고, 하나의 피드백 연결 그룹에 의해 전달된다. 따라서, 선택된 하이 레벨 정보(

Figure pat00030
)는 하기의 수학식 6에 의해 획득될 수 있다.These high-level features are extracted from the deepest RDBs and delivered by one feedback linkage group. Therefore, the selected high-level information (
Figure pat00030
) can be obtained by Equation 6 below.

Figure pat00031
Figure pat00031

여기서,

Figure pat00032
는 b 번째 GFM에서 게이트 유닛의 함수를 나타낸다. 다중 캐스케이드(Cascaded)된 RDBs 간의 상대 계층 관계를 기반으로 하고, 수학식 6은 b번째 GFM이 이전 시간 단계로부터 인덱스가 b보다 크거나 같은 RDB의 출력을 수신함을 나타낸다.here,
Figure pat00032
denotes the function of the gate unit in the b-th GFM. Based on the relative hierarchical relationship between multiple cascaded RDBs, Equation 6 indicates that the b-th GFM receives the output of an RDB whose index is greater than or equal to b from the previous time step.

매개 변수 및 계산 효율을 위해서, 본 발명은 b번째 GFM(120)에서 게이트 유닛(121)과 리파인먼트 유닛(122)으로 두 개의 1×1 크기의 컨볼루션 레이어들을 사용한다.For parameter and computational efficiency, the present invention uses two 1×1 convolutional layers as the gate unit 121 and the refinement unit 122 in the b-th GFM 120 .

수학식 5와 수학식 6에 따르면, 각 시간 단계(제1 시간 단계를 제외함)에서의 GFM의 수 및 인접한 시간 단계들 사이의 피드백 연결 그룹의 수는 M과 동일하고, 각 그룹의 피드백 연결의 그룹들 수는 N의 값에 의해 결정된다.According to Equations (5) and (6), the number of GFMs in each time step (except the first time step) and the number of feedback linkage groups between adjacent time steps are equal to M, and the feedback linkage of each group The number of groups in is determined by the value of N.

따라서, 본 발명은 선택된 인덱스 세트들인 SM 및 DN에서의 m 및 n 값을 조정하여 개선해야 하는 로우 레벨 특징들이 얼마나 많은지, 새로운 루트로 보내져야 하는 하이 레벨 특징들이 얼마나 많은지 각각 제어할 수 있다.Accordingly, the present invention can control how many low-level features to be improved and how many high-level features to be sent to a new route by adjusting the m and n values in the selected index sets SM and DN, respectively.

전술한 피드백 연결들은 피드백 구성에서 특별한 경우이다. 더 상세하게 살펴보면, 본 발명은 N = B를 쉽게 설정하여 단일 대 단일(M = 1) 또는 단일 대 다중(M ≠ 1) 피드백 연결을 달성 할 수 있으며, 최상위 레벨 기능을 가장 얕은 RDB로 다시 라우팅한다.The feedback connections described above are a special case in feedback configuration. More specifically, the present invention can easily set N = B to achieve single-to-single (M = 1) or single-to-multiple (M ≠ 1) feedback connections, re-routing the top-level functions to the shallowest RDB. do.

그러나 본 발명은 서로 다른 수용 필드에서 캡처된 모든 하이 레벨 정보가 SR 이미지를 재구성하는데 중요하다고 주장한다.However, the present invention asserts that all high-level information captured in different receptive fields is important for reconstructing the SR image.

본 발명은 N ≠ B를 설정하여 다중 대 단일(M = 1) 및 다중 대 다중(M ≠ 1)피드백 방식을 달성한다. 피드백 방식은 하이 레벨 특징들을 활용하여 로우 레벨 특징을 개선한다.The present invention achieves multiple-to-single (M = 1) and multiple-to-multiple (M ≠ 1) feedback schemes by setting N ≠ B. The feedback scheme utilizes high-level features to improve low-level features.

이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.In the above, the embodiment of the present invention is not implemented only through the apparatus and/or method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. And, such an implementation can be easily implemented by an expert in the technical field to which the present invention belongs from the description of the above-described embodiment.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. is within the scope of the right.

100: 영상 확대 및 해상도 향상 장치
110: 로우 레벨 특징 추출 블록
120: 게이트 피드백 모듈
121: 게이트 유닛
122: 리파인먼트 유닛
130: 잔여 밀도 블록
140: 재구성 블록100: image enlargement and resolution enhancement device
110: low-level feature extraction block
120: gate feedback module
121: gate unit
122: refinement unit
130: residual density block
140: rebuild block

Claims (9)

각 시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하는 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)과, 잔여 밀도 블록(Residual Dense Block, RDB)으로 서로 번갈아 가면서 순차적으로 연결하는 게이트 다중 피드백 네트워크이고,
상기 각각의 GFM은 이전 시간 단계에서 상기 각각의 RDB의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 상기 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 상기 각각의 RDB은 상기 GFM으로부터 상기 정제된 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 하이 레벨 특징을 출력하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.At each time step, a gated feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image, and a Residual Dense Block (RDB) are sequentially connected to each other in turn. ,
Each of the GFMs is feedback-connected to the output of each RDB at a previous time step to receive a plurality of high-level features, use the high-level features to refine the low-level features of the input image, and each RDB receives the refined low-level features from the GFM, learns hierarchical features, and outputs high-level features. 제1항에 있어서,
상기 최초의 GFM은 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징(
Figure pat00033
)을 추출하는 로우 레벨 특징 추출 블록의 출력단에 연결되는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.According to claim 1,
The first GFM is a low-level feature (
Figure pat00033
. 제1항에 있어서,
상기 마지막의 RDB의 출력인 하이 레벨 특징(
Figure pat00034
)을 입력받아 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지(
Figure pat00035
)를 결합하여 초고해상도 이미지
Figure pat00036
를 재구성하여 출력하는 재구성 블록에 연결되는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.According to claim 1,
The high-level feature that is the output of the last RDB (
Figure pat00034
), the first image passed through the deconvolutional layer and the convolutional layer, and the interpolated low-resolution image (
Figure pat00035
) to combine the super high-resolution image
Figure pat00036
Image enlargement and resolution enhancement apparatus using a multi-feedback network, characterized in that it is connected to a reconstruction block that reconstructs and outputs. 제1항에 있어서,
상기 각각의 GFM은 이전 시간 단계에서 상기 각각의 RDB의 출력을 피드백 연결되어 복수의 하이 레벨 특징을 수신하고, 상기 수신한 복수의 하이 레벨 특징로부터 하이 레벨 정보를 적응적으로 선택하는 게이트 유닛; 및
상기 각각의 RDB로부터 하이 레벨 특징을 입력받고, 상기 하이 레벨 특징을 이용하여 입력되는 입력 이미지의 로우 레벨 특징을 정제하고, 상기 정제된 로우 레벨 특징을 상기 RDB로 전송하는 리파인먼트 유닛을 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.The method of claim 1,
each GFM feedback-connected an output of the respective RDB in a previous time step to receive a plurality of high-level features, and a gate unit for adaptively selecting high-level information from the plurality of high-level features; and
a refinement unit that receives high-level features from the respective RDBs, refines low-level features of the input image using the high-level features, and transmits the refined low-level features to the RDB Image enlargement and resolution enhancement device using a multi-feedback network. 제3항에 있어서,
초기 시간 단계에서는 상기 최초의 GFM에 연결되어 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징(
Figure pat00037
)을 추출하는 로우 레벨 특징 추출 블록과, 순차적으로 복수개 연결된 각각의 RDB와, 상기 재구성 블록으로 이루어져 있고,
상기 초기 시간 단계 이후의 t시간 단계에서는 상기 로우 레벨 특징 추출 블록, 서로 번갈아 가면서 순차적으로 연결하는 상기 GFM과 상기 RDB, 상기 재구성 블록으로 이루어져 있는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 장치.4. The method of claim 3,
In the initial time step, one or more convolutional layers are applied to the input image connected to the first GFM to obtain low-level features (
Figure pat00037
) consists of a low-level feature extraction block for extracting, each RDB sequentially connected to a plurality, and the reconstruction block,
In the t time step after the initial time step, the image enlargement and resolution improvement using a multi-feedback network, characterized in that it consists of the low-level feature extraction block, the GFM and the RDB, and the reconstruction block that are alternately and sequentially connected to each other Device. t시간 단계와 T시간 단계마다 원본 저해상도 이미지를 초고해상도 이미지로 재구성하는 게이트 피드백 모듈(Multiple Gated Feedback Moudle, GFM)과, 잔여 밀도 블록(Residual Dense Block, RDB)으로 서로 번갈아 가면서 순차적으로 연결하는 게이트 다중 피드백 네트워크이고,
t시간 단계에서, 이전 시간 단계의 각각의 제1 RDB의 출력을 피드백 연결된 제1 GFM은 상기 복수의 제1 하이 레벨 특징을 수신하고, 상기 제1 하이 레벨 특징을 이용하여 입력되는 제1 입력 이미지의 제1 로우 레벨 특징을 정제하는 단계;
제1 RDB는 상기 정제된 제1 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 제1 하이 레벨 특징을 출력하는 단계; 및
상기 제1 하이 레벨 특징을 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제1 이미지와, 보간된 저해상도 이미지(
Figure pat00038
)를 결합하여 제1 초고해상도 이미지
Figure pat00039
를 재구성하여 출력하는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.Gate feedback module (Multiple Gated Feedback Module, GFM) that reconstructs the original low-resolution image into an ultra-high-resolution image for each t time step and T time step, and a gate that sequentially connects each other alternately with a residual density block (RDB) It is a multi-feedback network,
At a time step t, a first GFM feedback-connected to the output of each first RDB of the previous time step receives the plurality of first high-level features, and a first input image input using the first high-level features refining a first low-level feature of ;
receiving, by the first RDB, the refined first low-level feature, learning the hierarchical feature, and outputting a first high-level feature; and
A first image passing the first high-level feature through a deconvolutional layer and a convolutional layer, and an interpolated low-resolution image (
Figure pat00038
) to combine the first super-resolution image
Figure pat00039
Image enlargement and resolution improvement method using a multi-feedback network, characterized in that it comprises the step of reconstructing and outputting. 제6항에 있어서,
T시간 단계에서, 상기 t시간 단계의 각각의 제2 RDB의 출력을 피드백 연결된 제2 GFM은 복수의 제2 하이 레벨 특징을 수신하고, 상기 제2 하이 레벨 특징을 이용하여 입력되는 제2 입력 이미지의 제2 로우 레벨 특징을 정제하는 단계;
제2 RDB는 상기 정제된 제2 로우 레벨 특징을 입력받아 계층적 특징을 학습하여 제2 하이 레벨 특징을 출력하는 단계; 및
상기 제2 하이 레벨 특징을 디컨볼루셔널 레이어(Deconvolutional Layer)와 컨볼루셔널 레이어(Convolutional Layer)를 통과한 제2 이미지와, 보간된 저해상도 이미지(
Figure pat00040
)를 결합하여 제2 초고해상도 이미지
Figure pat00041
를 재구성하여 출력하는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.7. The method of claim 6,
In the time t step, a second GFM feedback-connected to the output of each second RDB in the time t step receives a plurality of second high level features, and a second input image input using the second high level features refining a second low-level feature of
receiving, by the second RDB, the refined second low-level feature, learning the hierarchical feature, and outputting a second high-level feature; and
A second image passing the second high-level feature through a deconvolutional layer and a convolutional layer, and an interpolated low-resolution image (
Figure pat00040
) to combine the second super-resolution image
Figure pat00041
Image enlargement and resolution improvement method using a multiple feedback network, characterized in that it comprises the step of reconstructing and outputting. 제6항에 있어서,
상기 제1 로우 레벨 특징을 정제하는 단계는,
상기 최초의 제1 GFM은 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징(
Figure pat00042
)을 입력받는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.7. The method of claim 6,
The step of refining the first low-level feature comprises:
The first GFM is a low-level feature (
Figure pat00042
) image enlargement and resolution improvement method using a multi-feedback network, characterized in that it comprises the step of receiving an input. 제7항에 있어서,
상기 제2 로우 레벨 특징을 정제하는 단계는,
상기 최초의 제2 GFM은 입력 이미지에 대하여 하나 이상의 컨볼루션 레이어를 적용하여 로우 레벨 특징(
Figure pat00043
)을 입력받는 단계를 포함하는 것을 특징으로 하는 다중 피드백 네트워크를 이용한 영상 확대 및 해상도 향상 방법.8. The method of claim 7,
Refining the second low-level feature includes:
The first second GFM is a low-level feature (
Figure pat00043
) image enlargement and resolution improvement method using a multi-feedback network, characterized in that it comprises the step of receiving an input.
KR1020200083513A 2020-07-07 2020-07-07 Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network KR20220005846A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200083513A KR20220005846A (en) 2020-07-07 2020-07-07 Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200083513A KR20220005846A (en) 2020-07-07 2020-07-07 Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network

Publications (1)

Publication Number Publication Date
KR20220005846A true KR20220005846A (en) 2022-01-14

Family

ID=79342981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083513A KR20220005846A (en) 2020-07-07 2020-07-07 Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network

Country Status (1)

Country Link
KR (1) KR20220005846A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190039958A (en) 2016-08-24 2019-04-16 퀄컴 인코포레이티드 Color space adaptation by feedback channel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190039958A (en) 2016-08-24 2019-04-16 퀄컴 인코포레이티드 Color space adaptation by feedback channel

Similar Documents

Publication Publication Date Title
Fang et al. A hybrid network of cnn and transformer for lightweight image super-resolution
CN109903228B (en) Image super-resolution reconstruction method based on convolutional neural network
CN111161150B (en) Image super-resolution reconstruction method based on multi-scale attention cascade network
CN111062892B (en) Single image rain removing method based on composite residual error network and deep supervision
Li et al. Modified integral imaging reconstruction and encryption using an improved SR reconstruction algorithm
CN112862688B (en) Image super-resolution reconstruction system and method based on cross-scale attention network
CN115222601A (en) Image super-resolution reconstruction model and method based on residual mixed attention network
JP2020187721A (en) Image segmentation method and apparatus, and computer program
CN112767253B (en) Multi-scale feature fusion binocular image super-resolution reconstruction method
CN112508794B (en) Medical image super-resolution reconstruction method and system
US11908037B2 (en) Method and system for large-capacity image steganography and recovery based on invertible neural networks
CN113887645B (en) Remote sensing image fusion classification method based on joint attention twin network
CN112365403A (en) Video super-resolution recovery method based on deep learning and adjacent frames
CN110852948A (en) Image super-resolution method based on feature correlation, storage medium and terminal equipment
CN113746619B (en) Image encryption method, decryption method and system for predefined time synchronization control
CN111768340A (en) Super-resolution image reconstruction method and system based on dense multi-path network
CN114418850A (en) Super-resolution reconstruction method with reference image and fusion image convolution
CN112017116A (en) Image super-resolution reconstruction network based on asymmetric convolution and construction method thereof
CN114926343A (en) Image super-resolution method based on pyramid fusion attention network
CN113947531A (en) Iterative collaborative video super-resolution reconstruction method and system
Zhou et al. Image super-resolution based on dense convolutional auto-encoder blocks
Nathan et al. Light weight residual dense attention net for spectral reconstruction from RGB images
CN112734645B (en) Lightweight image super-resolution reconstruction method based on feature distillation multiplexing
CN111553861A (en) Image super-resolution reconstruction method, device and equipment and readable storage medium
KR20220005846A (en) Apparatus and Method for Magnifying Image and Enhancing Iamge Resolution Using Multiple Feedback Network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application