KR20210018668A - Downsampling image processing system and mehod using deep learning neural network and image streaming server system - Google Patents

Downsampling image processing system and mehod using deep learning neural network and image streaming server system Download PDF

Info

Publication number
KR20210018668A
KR20210018668A KR1020190096687A KR20190096687A KR20210018668A KR 20210018668 A KR20210018668 A KR 20210018668A KR 1020190096687 A KR1020190096687 A KR 1020190096687A KR 20190096687 A KR20190096687 A KR 20190096687A KR 20210018668 A KR20210018668 A KR 20210018668A
Authority
KR
South Korea
Prior art keywords
downsampling
network
image
compression
learning
Prior art date
Application number
KR1020190096687A
Other languages
Korean (ko)
Inventor
정승원
정재련
김동욱
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190096687A priority Critical patent/KR20210018668A/en
Publication of KR20210018668A publication Critical patent/KR20210018668A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

According to an embodiment of the present invention, an image processing system can include a downsampling network, an image compression part, and an image restoration part. The downsampling network may receive a high-resolution original image and perform downsampling of the original image using a deep learning-based network. The image compression part can compress the downsampled image created by the downsampling network, at a specific compression rate. The image restoration part can restore the image compressed by the image compression part. The downsampling network can be designed as a convolutional neural network (CNN). Therefore, the present invention is capable of downsampling an image such that an image having the best quality can be created.

Description

딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템{DOWNSAMPLING IMAGE PROCESSING SYSTEM AND MEHOD USING DEEP LEARNING NEURAL NETWORK AND IMAGE STREAMING SERVER SYSTEM}An image processing system and method that performs downsampling using a deep learning neural network, an image streaming server system {DOWNSAMPLING IMAGE PROCESSING SYSTEM AND MEHOD USING DEEP LEARNING NEURAL NETWORK AND IMAGE STREAMING SERVER SYSTEM}

본 발명은 다운샘플링, 압축 및 영상복원을 수행하는 이미지 처리 시스템 및 방법에 관한 것으로써, 보다 구체적으로는 컨벌루셔널 신경 네트워크를 이용하여 사전 학습된 다운샘플링 네트워크를 적용하여 다운샘플링을 수행하고, 압축 및 영상복원을 수행하는 이미지 처리 시스템 및 방법에 관한 것이다. The present invention relates to an image processing system and method for performing downsampling, compression, and image restoration. More specifically, downsampling is performed by applying a pre-learned downsampling network using a convolutional neural network, It relates to an image processing system and method for performing compression and image restoration.

JPEG, JPEG2000 등의 정지 영상압축 표준과 H.264/AVC, HEVC 등의 동영상압축 표준이 널리 사용되고 있다. 이러한 압축 표준에서는 quantization table, quantization parameter등의 파라미터를 조절하여 다양한 압축률로 영상을 압축하는 기능을 제공한다.Still image compression standards such as JPEG and JPEG2000 and video compression standards such as H.264/AVC and HEVC are widely used. This compression standard provides a function of compressing an image at various compression rates by adjusting parameters such as quantization table and quantization parameter.

최근 UHD 4k, 8k 등의 고해상도 영상에 대한 수요가 늘어나고 있다. 네트워크 대역폭이 충분하지 않은 경우, 고해상도 영상을 원본 화질 (spatial resolution)로 압축하여 전송하는데 어려움이 있을 수 있다. 이 경우 원본 영상에 다운샘플링 (image downsampling)을 적용하여 저해상도 영상을 생성하고, 저해상도 영상을 압축하여 보내는 기술이 널리 사용되고 있다. 수신단에서는 저해상도 압축 영상을 디코딩하며, 필요에 따라 압축 노이즈 제거 (compression artifact reduction) 및 고해상도 복원 (image super-resolution)을 적용하여 원본 해상도의 영상을 생성할 수 있다. Recently, the demand for high-resolution images such as UHD 4k and 8k is increasing. If the network bandwidth is insufficient, it may be difficult to compress and transmit a high-resolution image to the original quality (spatial resolution). In this case, a technique for generating a low-resolution image by applying image downsampling to the original image and compressing and sending the low-resolution image is widely used. The receiving end decodes the low-resolution compressed image, and if necessary, compression artifact reduction and image super-resolution may be applied to generate an image of the original resolution.

그러나, 다운샘플링, 압축, 압축 노이즈 제거 및 고해상도 복원 단계들 중 적어도 하나가 딥러닝 네트워크 방식으로 설계되지 않는다. However, at least one of the steps of downsampling, compression, compression noise removal and high resolution reconstruction is not designed in a deep learning network method.

본 발명은 상술한 문제점을 개선하기 위한 것으로써, 원본 영상에 대한 다운샘플링 및 복호화 영상을 시뮬레이션하고 미리 계산하여, 원본 영상에 대해 최적화된 다운샘플링을 할 수 있는 딥러닝 신경 네트워크를 사용하여 다운샘플링, 압축 및 복호화를 수행하는 이미지 처리 장치를 제공한다.The present invention is to improve the above-described problem, and downsampling using a deep learning neural network capable of performing optimized downsampling for the original image by simulating and pre-calculating downsampling and decoded images for the original image. , It provides an image processing apparatus that performs compression and decoding.

또한, 다운샘플링, 영상 복호화 시뮬레이션 및 고화질?고해상도 영상복원을 수행하는 시스템이 각각 독립된 딥러닝 기반의 신경 네트워크로 구성됨과 동시에 각각의 신경 네트워크가 앤드투앤드(end-to-end) 방식으로 연결되어 전체적으로 하나의 신경 네트워크를 구성할 수 있는 딥러닝 신경 네트워크를 사용하여 다운샘플링 네트워크를 사전학습하는 방법과 시스템을 제공한다. In addition, systems that perform downsampling, image decoding simulation, and high-definition and high-resolution image restoration are each composed of independent deep learning-based neural networks, and each neural network is connected in an end-to-end manner. We provide a method and system for pre-training a downsampling network using a deep learning neural network that can form a single neural network as a whole.

본 발명의 실시예에 따른 영상 처리 시스템은 다운 샘플링 네트워크, 영상압축부, 영상복원부를 포함할 수 있다. 상기 다운샘플링 네트워크는 고해상도의 원본 영상을 입력 받아 딥러닝 기반의 네트워크를 이용하여 상기 원본 영상을 다운샘플링(downsampling)할 수 있다. 상기 영상압축부는 상기 다운샘플링 네트워크에서 생성된 다운샘플링된 영상을 특정한 압축률로 압축할 수 있다. 상기 영상복원부는 상기 영상압축부에서 압축된 영상을 복원할 수 있다. 상기 다운샘플링 네트워크는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계될 수 있다.An image processing system according to an exemplary embodiment of the present invention may include a down-sampling network, an image compression unit, and an image restoration unit. The downsampling network may receive a high-resolution original image and downsample the original image using a deep learning-based network. The image compression unit may compress the downsampled image generated by the downsampling network at a specific compression rate. The image restoration unit may restore an image compressed by the image compression unit. The downsampling network may be designed as a convolutional neural network (CNN).

상기 다운샘플링 네트워크는 다운샘플링 과정에서 상기 원본 영상의 고주파 성분을 저주파 성분에 비해 더 많이 제거할 수 있다. The downsampling network may remove more high frequency components of the original image compared to low frequency components during downsampling.

상기 영상압축부 및 상기 영상복원부는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계될 수 있다. The image compression unit and the image restoration unit may be designed as a convolutional neural network (CNN).

상기 신경 컨벌루셔널 신경 네트워크는, 입력된 영상에 대한 특징을 추출하는 복수의 컨벌루션층들; 및 상기 컨벌루션층들을 통해 추출된 특징을 선별하는 풀링층들을 포함할 수 있다.The neural convolutional neural network includes: a plurality of convolutional layers for extracting features of an input image; And pooling layers for selecting features extracted through the convolutional layers.

본 발명의 실시예에 따른 이미지 처리 방법은, 다운샘플링 네트워크를 설계하는 단계; 및 상기 학습된 다운샘플링 네트워크를 적용하는 단계를 포함할 수 있다. An image processing method according to an embodiment of the present invention includes: designing a downsampling network; And applying the learned downsampling network.

상기 다운샘플링 네트워크를 설계하는 단계는, 딥러닝 기반의 네트워크로 설계된 영상압축 네트워크를 사전 학습하는 단계; 딥러닝 기반의 네트워크로 설계된 영상복원 네트워크를 사전 학습하는 단계; 딥러닝 기반의 네트워크로 설계된 다운샘플링 네트워크, 상기 영상압축 네트워크, 및 상기 영상복원 네트워크를 하나의 네트워크로 연결하는 단계; 및 상기 다운샘플링 네트워크를 사전 학습하는 단계를 포함할 수 있다.The designing of the downsampling network may include pre-learning an image compression network designed as a deep learning-based network; Pre-learning an image restoration network designed as a deep learning-based network; Connecting a downsampling network designed as a deep learning-based network, the image compression network, and the image restoration network into one network; And pre-learning the downsampling network.

상기 다운샘플링 네트워크, 상기 영상압축 네트워크, 및 상기 영상복원 네트워크는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계될 수 있다. The downsampling network, the image compression network, and the image restoration network may be designed as a convolutional neural network (CNN).

상기 다운샘플링 네트워크를 사전 학습하는 단계는, 상기 제1 다운샘플링 비율에 대응하는 제1 다운샘플링 네트워크를 사전 학습하는 단계; 및 상기 제2 다운샘플링 비율에 대응하는 제2 다운샘플링 네트워크를 사전 학습하는 단계를 포함할 수 있다. 상기 다운샘플링 네트워크를 설계하는 단계는, 상기 제1 및 제2 다운샘플링 네트워크들을 보간 또는 외삽하여 목표 다운샘플링 네트워크를 생성하는 단계를 더 포함할 수 있다.The pre-learning of the downsampling network may include pre-learning a first downsampling network corresponding to the first downsampling ratio; And pre-learning a second downsampling network corresponding to the second downsampling ratio. Designing the downsampling network may further include generating a target downsampling network by interpolating or extrapolating the first and second downsampling networks.

상기 다운샘플링 네트워크를 사전 학습하는 단계는, 복수의 다운샘플링 비율들과 복수의 압축 제어 파라미터들의 조합들 각각에 대응하는 복수의 다운샘플링 네트워크들을 사전 학습하고, 상기 다운샘플링 네트워크를 설계하는 단계는, 4 이상의 학습된 상기 다운샘플링 네트워크들을 2번 이상 보간 또는 외삽하여 목표 다운샘플링 네트워크를 생성하는 단계를 더 포함할 수 있다.The pre-learning of the downsampling network includes pre-learning a plurality of downsampling networks corresponding to each of combinations of a plurality of downsampling ratios and a plurality of compression control parameters, and designing the downsampling network, The step of generating a target downsampling network by interpolating or extrapolating at least four learned downsampling networks twice or more may be further included.

본 발명의 실시예에 따른 영상 스트리밍 서버 시스템은, 원본 영상을 수신하고, 상기 원본 영상의 특성 및 네트워크 대역폭에 따라 다운샘플림 비율 및 압축률을 결정하는 다운샘플링 네트워크 제어부; 서로 다른 다운샘플링 비율 및 압축률에 따라 학습된 n개의 다운샘플링 네트워크들을 포함하고, n은 자연수인 다운샘플링 데이터베이스; 및 상기 다운샘플링 네트워크들 중 하나를 통해 다운샘플링된 영상을 특정한 압축률로 압축하는 영상압축부를 포함할 수 있다. 상기 다운샘플링 네트워크 제어부는 상기 결정된 다운샘플링 비율 및 압축률에 따라 상기 n개의 다운샘플링 네트워크들 중 어느 하나를 선택할 수 있다. 상기 다운샘플링 네트워크는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계될 수 있다. An image streaming server system according to an embodiment of the present invention includes: a downsampling network controller configured to receive an original image and determine a downsampling ratio and a compression rate according to a characteristic of the original image and a network bandwidth; A downsampling database including n downsampling networks learned according to different downsampling rates and compression rates, n being a natural number; And an image compression unit for compressing an image downsampled through one of the downsampling networks at a specific compression rate. The downsampling network controller may select any one of the n downsampling networks according to the determined downsampling ratio and compression rate. The downsampling network may be designed as a convolutional neural network (CNN).

상기 다운샘플링 네트워크들은 다운샘플링 과정에서 상기 원본 영상의 고주파 성분을 저주파 성분에 비해 더 많이 제거할 수 있다. The downsampling networks may remove more high frequency components of the original image compared to low frequency components during downsampling.

본 발명에 따른 딥러닝 신경 네트워크를 사용하여 다운샘플링 비율과 압축률 파라미터 값에 적합한 사전 학습된 다운샘플링 네트워크를 이용하여 영상을 다운샘플링할 수 있다.Using the deep learning neural network according to the present invention, an image can be downsampled using a pre-trained downsampling network suitable for a downsampling ratio and a compression ratio parameter value.

본 발명에 의하면, 사전 학습된 데이터를 기반으로 영상압축 및 영상복원을 거친후 최상의 화질을 갖는 영상을 생성할 수 있도록 영상의 다운샘플링을 수행할 수 있다.According to the present invention, image downsampling can be performed to generate an image having the best quality after image compression and image restoration based on pre-learned data.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다운샘플링 네트워크 학습용 이미지 처리 시스템을 도시한 블록도이다.
도 3은 다운샘플링 네트워크를 생성하는 단계를 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 학습된 다운샘플링 네트워크를 적용한 이미지 처리 방법을 도시한 순서도이다.
도 5는 본 발명의 실시예에 따른 신경 네트워크의 구성을 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 다운샘플링 네트워크를 생성하는 방법을 도시한 순서도이다.
도 7은 본 발명의 실시예에 따른 이미지 처리 시스템의 효과를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 다운샘플링 네트워크를 적용한 영상 스트리밍 서버 시스템을 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 다운샘플링 네트워크를 적용한 영상 스트리밍 서버 시스템을 도시한 도면이다.1 is a block diagram showing an image processing system according to an embodiment of the present invention.
2 is a block diagram showing an image processing system for training a downsampling network according to an embodiment of the present invention.
3 is a flow chart showing the steps of creating a downsampling network.
4 is a flowchart illustrating an image processing method using a learned downsampling network according to an embodiment of the present invention.
5 is a diagram showing the configuration of a neural network according to an embodiment of the present invention.
6 is a flowchart illustrating a method of creating a downsampling network according to another embodiment of the present invention.
7 is a view for explaining the effect of the image processing system according to an embodiment of the present invention.
8 is a diagram illustrating a video streaming server system to which a downsampling network is applied according to an embodiment of the present invention.
9 is a diagram illustrating a video streaming server system to which a downsampling network is applied according to another embodiment of the present invention.

이하에서 설명되는 모든 실시 예들은 본 발명의 이해를 돕기 위해 예시적으로 나타낸 것이며, 여기에 설명된 실시 예들과 다르게 변형되어 다양한 실시 형태로 실시될 수 있다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 공지 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명은 생략하도록 한다.All the embodiments described below are illustratively shown to aid understanding of the present invention, and may be modified differently from the embodiments described herein and implemented in various embodiments. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or known component may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

첨부된 도면은 발명의 이해를 돕기 위해서 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있으며, 각 구성요소들에 참조번호를 기재할 때, 동일한 구성요소들에 대해서는 다른 도면에 표시되더라도 가능한 한 동일한 부호로 표시하였다.The accompanying drawings are not drawn to scale to aid understanding of the invention, but dimensions of some components may be shown exaggeratedly, and when reference numerals are given for each component, other drawings for the same components Even if it is indicated in, it is indicated with the same symbol as possible.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다.In addition, terms such as first, second, A, B, (a), and (b) may be used in describing the constituent elements of the embodiment of the present invention. These terms are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the term. When a component is described as being'connected','coupled' or'connected' to another component, the component may be directly connected, coupled or connected to the other component, but that component and its other components It will be understood that another component may be'connected','coupled' or'connected' between elements.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 발명에 대한 다양한 변형 실시 예들이 있을 수 있다. Accordingly, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, so there may be various modified embodiments of the present invention. .

그리고, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.In addition, terms or words used in the present specification and claims should not be limited to conventional or dictionary meanings, and that the inventor can appropriately define the concept of terms in order to describe his own invention in the best way. Based on the principle, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention.

또한, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.In addition, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have it, and the invention is only defined by the scope of the claims.

또한, 본 출원에서 사용된 단수의 표현은 문맥상 명백히 다른 것을 뜻하지 않는 한, 복수의 표현을 포함한다.In addition, the singular expression used in the present application includes a plural expression unless the context clearly indicates otherwise.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 도시한 블록도이다. 1 is a block diagram showing an image processing system according to an embodiment of the present invention.

이미지 처리 시스템(100)은 다운샘플링 네트워크(1100), 영상압축부(1200), 및 영상복원부(1300)를 포함할 수 있다. The image processing system 100 may include a downsampling network 1100, an image compression unit 1200, and an image restoration unit 1300.

다운샘플링 네트워크(1100), 영상압축부(1200), 및 영상복원부(1300)는 순차적으로 연결되어 하나의 네트워크를 구성할 수 있다.The downsampling network 1100, the image compression unit 1200, and the image restoration unit 1300 may be sequentially connected to form one network.

다운샘플링 네트워크(1100)는 제1 영상(IMG1)을 입력받아 다운샘플링된 제2 영상(IMG2)를 출력할 수 있다. 다운샘플링 네트워크(1100)는 딥러닝 신경 네트워크 기반으로 설계될 수 있다. 자세한 내용은 후술된다.The downsampling network 1100 may receive the first image IMG1 and output the downsampled second image IMG2. The downsampling network 1100 may be designed based on a deep learning neural network. Details will be described later.

영상압축부(1200)는 제2 영상(IMG2)을 입력받아 특정한 압축률로 압축된 제3 영상(IMG3)을 출력할 수 있다. 영상압축부(1200)는 딥러닝 네트워크 기반으로 설계될 수 있다. 또한, 영상압축부(1200)는 JPEG, MPEG 등의 압축 표준을 통하여 제2 영상(IMG2)을 압축할 수 있다. 영상압축부(1200)는 quality factor, target bitrate, quantization parameter 등의 설정에 따라 제2 영상(IMG2)을 다양한 압축률 및 다양한 화질로 압축할 수 있다.The image compression unit 1200 may receive the second image IMG2 and output a third image IMG3 compressed at a specific compression rate. The image compression unit 1200 may be designed based on a deep learning network. In addition, the image compression unit 1200 may compress the second image IMG2 through compression standards such as JPEG and MPEG. The image compression unit 1200 may compress the second image IMG2 at various compression rates and quality levels according to settings such as a quality factor, a target bitrate, and a quantization parameter.

영상복원부(1300)는 제3 영상(IMG3)을 입력받고, 제1 영상(IMG1)에 가깝게 복원하여 제4 영상(IMG4)을 출력할 수 있다. 영상복원부(1300)는 제3 영상(IMG3)의 압축 노이즈 제거(compression artifact reduction) 및 고해상도 복원(image super-resolution)을 적용하여 제4 영상(IMG4)을 생성할 수 있다. 영상복원부(1300)는 딥러닝 네트워크 기반으로 설계될 수 있으나, 이에 제한되는 것은 아니다. The image restoration unit 1300 may receive the third image IMG3, restore it close to the first image IMG1, and output a fourth image IMG4. The image reconstructor 1300 may generate a fourth image IMG4 by applying compression artifact reduction and image super-resolution of the third image IMG3. The image restoration unit 1300 may be designed based on a deep learning network, but is not limited thereto.

다운샘플링 네트워크(1100)는 딥러닝 신경 네트워크 기반으로 설계되고, 사전 학습된 데이터를 기반으로 영상압축부(1200) 및 영상복원부(1300)를 거친후 최상의 화질을 갖는 영상을 생성할 수 있도록 다운샘플링을 수행할 수 있다. 다운샘플링 네트워크(1100)는 기존의 bicubic, Lanczos 등의 다운샘플링 표준 기법을 대체할 수 있다.The downsampling network 1100 is designed based on a deep learning neural network, and is downloaded to generate an image with the best quality after passing through the image compression unit 1200 and the image restoration unit 1300 based on pre-learned data. Sampling can be performed. The downsampling network 1100 may replace conventional downsampling standard techniques such as bicubic and Lanczos.

다운샘플링 네트워크(1100) 및 영상압축부(1200)의 동작은 제1 장치를 통해 수행될 수 있고, 영상복원부(1300)의 동작은 제2 장치를 통해 수행될 수 있다. 제1 장치 및 제2 장치는 컴퓨터, 카메라, 스마트폰, 태블릿, 텔레비전 등 다양한 장치일 수 있다. The operation of the downsampling network 1100 and the image compression unit 1200 may be performed through a first device, and the operation of the image restoration unit 1300 may be performed through a second device. The first device and the second device may be various devices such as a computer, a camera, a smart phone, a tablet, and a television.

이하, 다운샘플링 네트워크(1100)를 사전 학습하는 방법을 설명한다. Hereinafter, a method of pre-training the downsampling network 1100 will be described.

도 2는 본 발명의 일 실시예에 따른 다운샘플링 네트워크 학습용 이미지 처리 시스템을 도시한 블록도이고, 도 3은 다운샘플링 네트워크를 생성하는 단계를 도시한 순서도이다. FIG. 2 is a block diagram showing an image processing system for training a downsampling network according to an embodiment of the present invention, and FIG. 3 is a flow chart showing steps of generating a downsampling network.

도 2에 도시된 다운샘플링 네트워크 학습용 이미지 처리 시스템(200)의 다운샘플링 네트워크(2100), 영상압축 네트워크(2200), 및 영상복원 네트워크(2300)는 학습되지 않은 상황임을 전제한다.It is assumed that the downsampling network 2100, the image compression network 2200, and the image restoration network 2300 of the image processing system 200 for training the downsampling network shown in FIG. 2 are not trained.

도 2 및 도 3을 참조하면, 영상압축 네트워크를 사전 학습한다(S10).2 and 3, an image compression network is pre-trained (S10).

영상압축 네트워크(2200)는 신경 네트워크 형태로 구성될 수 있다. 구체적으로, 영상압축 네트워크(2200)는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)인 것을 예시로 하여 설명한다. The image compression network 2200 may be configured in the form of a neural network. Specifically, the image compression network 2200 will be described as an example of a convolutional neural network (CNN).

하지만, 본 실시 예에 따른 신경 네트워크는 반드시 CNN으로 구성되어야 하는 것은 아니며, RNN(Recurrent Neural Network), RBM(Restricted Boltzman Machine) 또는 DBN(Deep Belief Network)으로 구성될 수도 있다.However, the neural network according to the present embodiment is not necessarily composed of a CNN, and may be composed of a Recurrent Neural Network (RNN), a Restricted Boltzman Machine (RBM), or a Deep Belief Network (DBN).

본 발명의 비교예에서, 영상압축 네트워크는 JPEG, H.264/AVC, HEVC 등의 압축 표준을 이용하여 압축을 수행할 수 있으나, 딥러닝 네트워크 방식으로 설계가 되지 않아, 다운샘플링 네트워크, 영상압축 네트워크, 영상복원부 네트워크를 하나의 네트워크로 연결하는 것이 불가능하다.In a comparative example of the present invention, the image compression network can perform compression using compression standards such as JPEG, H.264/AVC, HEVC, etc., but it is not designed in a deep learning network method, so a downsampling network, image compression It is impossible to connect the network and the image restoration unit network to one network.

본 발명의 실시예에 따른 영상압축 네트워크(2200)는 신경 네트워크로 이루어져 압축 노이즈를 가상으로 생성할 수 있다. 구체적으로, 영상압축 네트워크(2200)는 CNN 학습을 통해 압축 표준을 통해 생성된 영상과 비슷한 영상을 만들어낼 수 있다. 학습 DB의 입력은 원본 영상이고, 출력은 복호화 영상일 수 있다. The image compression network 2200 according to an embodiment of the present invention may be composed of a neural network to virtually generate compression noise. Specifically, the image compression network 2200 may generate an image similar to an image generated through a compression standard through CNN learning. The input of the training DB may be an original image, and an output may be a decoded image.

영상복원 네트워크를 사전 학습한다(S20).The image restoration network is pre-trained (S20).

영상복원 네트워크(2300)는 신경 네트워크 형태로 구성될 수 있다. 구체적으로, 영상복원 네트워크(2300)는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)인 것을 예시로 하여 설명한다. The image restoration network 2300 may be configured in the form of a neural network. Specifically, the image restoration network 2300 will be described as an example of a convolutional neural network (CNN).

하지만, 본 실시 예에 따른 신경 네트워크는 반드시 CNN으로 구성되어야 하는 것은 아니며, RNN(Recurrent Neural Network), RBM(Restricted Boltzman Machine) 또는 DBN(Deep Belief Network)으로 구성될 수도 있다.However, the neural network according to the present embodiment is not necessarily composed of a CNN, and may be composed of a Recurrent Neural Network (RNN), a Restricted Boltzman Machine (RBM), or a Deep Belief Network (DBN).

영상복원 네트워크(2300)의 사전 학습 DB의 입력은 저해상도 복호화 영상이고, 출력은 고해상도 원본 영상일 수 있다. The input of the pre-learning DB of the image restoration network 2300 may be a low-resolution decoded image, and an output may be a high-resolution original image.

S10 단계와 S20 단계의 순서는 서로 바뀔 수 있고, 동시에 수행될 수 도 있다. The order of steps S10 and S20 may be interchanged, and may be performed simultaneously.

이후, 다운샘플링 네트워크(2100), 영상압축 네트워크(2200), 및 영상복원 네트워크(2300)를 순서대로 하나의 네트워크로 연결한다(S30). Thereafter, the downsampling network 2100, the image compression network 2200, and the image restoration network 2300 are sequentially connected to one network (S30).

다운샘플링 네트워크(2100)는 신경 네트워크로 형태로 구성될 수 있다. 구체적으로, 다운샘플링 네트워크(2100)는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)인 것을 예시로 하여 설명한다. The downsampling network 2100 may be configured as a neural network. Specifically, the downsampling network 2100 will be described as an example of a convolutional neural network (CNN).

하지만, 본 실시 예에 따른 신경 네트워크는 반드시 CNN으로 구성되어야 하는 것은 아니며, RNN(Recurrent Neural Network), RBM(Restricted Boltzman Machine) 또는 DBN(Deep Belief Network)으로 구성될 수도 있다.However, the neural network according to the present embodiment is not necessarily composed of a CNN, and may be composed of a Recurrent Neural Network (RNN), a Restricted Boltzman Machine (RBM), or a Deep Belief Network (DBN).

다운샘플링 네트워크(2100), 영상압축 네트워크(2200), 및 영상복원 네트워크(2300)는 ent-to-end로 구성된 하나의 네트워크를 이룰 수 있다. 다운샘플링 네트워크(2100), 영상압축 네트워크(2200), 및 영상복원 네트워크(2300)가 연결된 네트워크를 이용하여 다운샘플링 네트워크(2100)를 사전 학습한다(S40). The downsampling network 2100, the image compression network 2200, and the image restoration network 2300 may form one network composed of ent-to-end. The downsampling network 2100 is pre-trained using the network to which the downsampling network 2100, the image compression network 2200, and the image restoration network 2300 are connected (S40).

학습이 완료된 다운샘플링 네트워크(2100)는 도 1을 참조하여 설명한 영상압축부(1200) 및 영상복원부(1300)를 거친후 최상의 화질을 갖는 영상을 생성할 수 있도록 입력된 영상의 다운샘플링을 수행할 수 있다. 다운샘플링 네트워크(2100)는 기존의 bicubic, Lanczos 등의 다운샘플링 표준 기법을 대체할 수 있다.The downsampling network 2100 on which the training has been completed performs downsampling of the input image to generate an image with the best quality after passing through the image compression unit 1200 and the image restoration unit 1300 described with reference to FIG. 1. can do. The downsampling network 2100 may replace conventional downsampling standard techniques such as bicubic and Lanczos.

도 4는 본 발명의 일 실시예에 따른 학습된 다운샘플링 네트워크를 적용한 이미지 처리 방법을 도시한 순서도이다. 4 is a flowchart illustrating an image processing method using a learned downsampling network according to an embodiment of the present invention.

도 4에 도시된 S11, S21, S31, S41 단계는 도 3을 참조하여 설명한, S10, S20, S30, S40 단계와 실질적으로 동일하므로 구체적인 설명을 생략한다. Steps S11, S21, S31, and S41 shown in FIG. 4 are substantially the same as steps S10, S20, S30, and S40 described with reference to FIG. 3, so a detailed description thereof will be omitted.

도 4를 참조하면, S41 단계 이후, 학습된 다운샘플링 네트워크를 이미지 처리 시스템에 적용한다(S50).4, after step S41, the learned downsampling network is applied to the image processing system (S50).

도 1을 참조하여 설명한 다운샘플링 네트워크(1100)는 도 4의 S50 단계를 통해 적용될 수 있다. The downsampling network 1100 described with reference to FIG. 1 may be applied through step S50 of FIG. 4.

도 1을 참조하여 설명한 본 발명의 실시예에 따른 다운샘플링 네트워크(1100)는 다운샘플링 비율 및 압축률 제어 파라미터에 따라 적응적으로 설계가 되었기 때문에 범용적으로 설계된 다운샘플링 기법보다 효율적으로 동작할 수 있다. Since the downsampling network 1100 according to the embodiment of the present invention described with reference to FIG. 1 is adaptively designed according to the downsampling ratio and compression rate control parameters, it can operate more efficiently than a generally designed downsampling technique. .

예를 들어, 저화질 압축을 수행할 경우, 영상압축부(1200)에서 대부분의 영상의 고주파 정보가 손실되게 된다. 본 발명의 실시예에 따른 다운샘플링 네트워크(1100)는 불필요한 고주파 성분을 미리 제거할 수 있고, 이를 통해 압축률을 높일 수 있다. 또한, 일반적인 압축 상황에서도 압축에 의해 발생되는 노이즈와 복호화 후 영상복원부(1300)를 통해 적용되는 후처리 기술의 특성을 미리 학습하였기 때문에 더 좋은 최종 결과 영상을 만들어 낼 수 있도록 다운샘플링을 수행할 수 있다. For example, when performing low-quality compression, high-frequency information of most images is lost in the image compression unit 1200. The downsampling network 1100 according to an embodiment of the present invention can remove unnecessary high-frequency components in advance, thereby increasing a compression rate. In addition, even in a general compression situation, downsampling is performed to produce a better final result image because noise generated by compression and the characteristics of post-processing technology applied through the image restoration unit 1300 after decoding have been learned in advance. I can.

도 5는 본 발명의 실시예에 따른 신경 네트워크의 구성을 도시한 도면이다. 5 is a diagram showing the configuration of a neural network according to an embodiment of the present invention.

도 2를 참조하여 설명한, 다운샘플링 네트워크(2100), 영상압축 네트워크(2200), 및 영상복원 네트워크(2300)는 신경 네트워크로 설계될 수 있고, 도 5는 하나의 신경 네트워크를 예시적으로 도시하였다. The downsampling network 2100, the image compression network 2200, and the image restoration network 2300 described with reference to FIG. 2 may be designed as a neural network, and FIG. 5 exemplarily shows one neural network. .

도 5를 참조하면, 복수의 컨벌루션층들(Convolution Layers)(1110) 및 풀링층들(Pooling Layers)(1120)들은 입력 받은 이미지 또는 영상에 대한 특징(Feature)를 추출한다.Referring to FIG. 5, a plurality of convolution layers 1110 and pooling layers 1120 extract a feature of an input image or image.

이 때, 복수의 컨벌루션층들(1110) 및 풀링층들(1120)은 복층 형태로 구성될 수 있으며, 컨벌루션층들(1110) 및 풀링층들(1120)이 서로 번갈아 가면서 배치된다. 이 때, 최초의 층은 컨벌루션층(1110)으로 이루어져야 한다.In this case, the plurality of convolutional layers 1110 and the pooling layers 1120 may be configured in a multilayer form, and the convolutional layers 1110 and the pooling layers 1120 are alternately disposed with each other. In this case, the first layer should be made of the convolutional layer 1110.

한편, 컨벌루션층들(1110)은 입력 받은 이미지 또는 영상에 대한 특징을 추출하기 위해, 필터(1111)와 필터의 값을 비선형 값으로 바꾸어주는 활성화 함수 모듈(activation function, 1112)을 포함한다.Meanwhile, the convolutional layers 1110 include a filter 1111 and an activation function module 1112 that converts a filter value into a nonlinear value in order to extract a feature of an input image or image.

이 때, 활성화 함수 모듈(1112)로는 ReLu 함수가 사용될 수 있다.In this case, a ReLu function may be used as the activation function module 1112.

컨벌루션층들(1110)을 통해 추출된 특징은 풀링층들(1120)을 통과하면서 인위적으로 선별되며, 도 5에 도시된 바와 같이, 풀링층(1120)은 max pooling(1121), average pooling(1122), L2-norm pooling(1123) 모듈 중 적어도 어느 하나의 모듈을 포함한다. Features extracted through the convolutional layers 1110 are artificially selected while passing through the pooling layers 1120, and as shown in FIG. 5, the pooling layer 1120 has max pooling (1121) and average pooling (1122). ), L2-norm pooling (1123) includes at least one module of the module.

다시 도 1 및 도 2를 참조하면, 다운샘플링 네트워크(1100)는 다운샘플링 비율, 압축률 제어 파라미터에 따라 복수개로 설계될 수 있다. 즉, 도 2를 참조하여 설명한 다운샘플링 네트워크 학습용 이미지 처리 시스템(200)은 다운샘플링 비율, 압축률 제어 파라미터(quality factor, quantization parameter 등) 마다 개별적으로 설계될 수 있다. 예를 들어, 다운샘플링 비율이 1/2와 1/4이고, 양자화 파라미터가 22, 27, 32, 37일 경우, 8개 (2 x 4)의 다운샘플링 네트워크 학습용 이미지 처리 시스템(200)이 설계될 수 있다. Referring back to FIGS. 1 and 2, a plurality of downsampling networks 1100 may be designed according to a downsampling ratio and a compression rate control parameter. That is, the image processing system 200 for training a downsampling network described with reference to FIG. 2 may be individually designed for each downsampling ratio and compression rate control parameters (quality factor, quantization parameter, etc.). For example, if the downsampling ratio is 1/2 and 1/4, and the quantization parameters are 22, 27, 32, 37, the image processing system 200 for training 8 (2 x 4) downsampling networks is designed. Can be.

도 6은 본 발명의 다른 실시예에 따른 다운샘플링 네트워크를 생성하는 방법을 도시한 순서도이다. 6 is a flowchart illustrating a method of creating a downsampling network according to another embodiment of the present invention.

다운샘플링 네트워크는 도 2의 다운샘플링 네트워크 학습용 이미지 처리 시스템(200)을 통해 학습될 수 있으나, 사전 학습된 다운샘플링 네트워크들을 활용하여 생성될 수 있다. The downsampling network may be learned through the image processing system 200 for training the downsampling network of FIG. 2, but may be generated using pre-trained downsampling networks.

사전 학습되지 않은 다운샘플링 비율 또는 압축률 제어 파라미터에 대응하는 다운샘플링 네트워크는 사전 학습된 복수의 다운샘플링 네트워크들을 보간 (interpolation) 또는 외삽(extrapolation)하여 생성될 수 있다. A downsampling network corresponding to a downsampling rate or compression rate control parameter that is not pre-trained may be generated by interpolating or extrapolating a plurality of pre-trained downsampling networks.

예를 들어, 목표 다운샘플링 비율이 1/3이고 양자화 파라미터가 22인 경우를 설명한다. For example, a case where the target downsampling ratio is 1/3 and the quantization parameter is 22 will be described.

제1 다운샘플링 네트워크를 학습한다(S12). 제1 다운샘플링 네트워크는 다운샘플링 비율 1/2 및 양자화 파라미터 22인 경우로 학습될 수 있다. The first downsampling network is learned (S12). The first downsampling network may be learned in the case of a downsampling ratio of 1/2 and a quantization parameter of 22.

이후, 제2 다운샘플링 네트워크를 학습한다(S22). 제2 다운샘플링 네트워크는 다운샘플링 비율 1/4 및 양자화 파라미터 22인 경우로 학습될 수 있다. Thereafter, the second downsampling network is learned (S22). The second downsampling network may be learned in the case of a downsampling ratio of 1/4 and a quantization parameter of 22.

S12 단계와 S22 단계의 순서는 변경될 수 있고, 동시에 진행될 수도 있다. The order of steps S12 and S22 may be changed or may be performed simultaneously.

이후, 제1 및 제2 다운샘플링 네트워크들을 평균하여 목표 다운샘플링 네트워크를 생성할 수 있다. Thereafter, a target downsampling network may be generated by averaging the first and second downsampling networks.

사전 학습되지 않은 양자화 파라미터를 목표 양자화 파라미터 값으로 결정하고자 할때에도 마찬가지로 사전 학습된 다운샘플링 네트워크의 양자화 파라미터들을 보간 또는 외삽하여 다운샘플링 네트워크를 생성할 수 있다. When a quantization parameter that is not pre-trained is determined as a target quantization parameter value, a downsampling network may be generated by interpolating or extrapolating the quantization parameters of the pre-trained downsampling network.

또한, 목표하는 다운샘플링 비율과 양자화 파라미터 값이 모두 사전 학습되지 않은 경우에는, 4 이상의 학습된 다운샘플링 네트워크들을 2번 이상 보간 또는 외삽하여 목표 다운샘플링 네트워크를 생성할 수 있다. 예를 들어, 다운샘플링 비율이 1/3이고 양자화 파라미터가 24인 경우 다운샘플링 네트워크를 생성하는 과정을 설명한다. 먼저, 다운샘플링 비율 1/2이고 양자화 파라미터가 22인 다운샘플링 네트워크와 다운샘플링 비율 1/2이고 양자화 파라미터 27인 다운샘플링 네트워크를 보간하여 다운샘플링 비율 1/2 및 양자화 파라미터 24인 다운샘플링 네트워크(네트워크 A)를 생성할 수 있다. 이후, 다운샘플링 비율 1/4이고 양자화 파라미터가 27인 다운샘플링 네트워크와 다운샘플링 비율 1/4이고 양자화 파라미터가 22인 다운샘플링 네트워크를 보간하여 다운샘플링 비율 1/4 및 양자화 파라미터 24인 다운샘플링 네트워크(네트워크 B)를 생성할 수 있다. 이후, 네트워크 A 및 네트워크 B를 보간하여 다운샘플링 비율 1/3 및 양자화 파라미터 24인 다운샘플링 네트워크를 생성할 수 있다. In addition, when neither the target downsampling ratio nor the quantization parameter values are pre-trained, a target downsampling network may be generated by interpolating or extrapolating four or more learned downsampling networks two or more times. For example, when the downsampling ratio is 1/3 and the quantization parameter is 24, a process of generating a downsampling network will be described. First, by interpolating a downsampling network with a downsampling ratio of 1/2 and a quantization parameter of 22 and a downsampling network with a downsampling ratio of 1/2 and a quantization parameter of 27, a downsampling network with a downsampling ratio of 1/2 and a quantization parameter of 24 ( Network A) can be created. Thereafter, a downsampling network with a downsampling ratio of 1/4 and a quantization parameter of 27 and a downsampling network with a downsampling ratio of 1/4 and a quantization parameter of 22 are interpolated to have a downsampling ratio of 1/4 and a quantization parameter of 24. (Network B) can be created. Thereafter, networks A and B are interpolated to generate a downsampling network having a downsampling ratio of 1/3 and a quantization parameter of 24.

도 7은 본 발명의 실시예에 따른 이미지 처리 시스템의 효과를 설명하기 위한 도면이다. 7 is a view for explaining the effect of the image processing system according to an embodiment of the present invention.

도 7을 참조하면, 이미지 처리 시스템(300)의 본 발명의 다운샘플링 네트워크(3100)는 다운샘플링 비율 및 압축률에 따라 맞춤형으로 다운샘플링을 수행한다. 예를 들어, 원본 영상을 특정 다운샘플링 비율(예를 들어, 1/2 비율) 및 특정 압축률 (예를 들어, JPEG의 quality factor=50)로 처리할 경우, 원본 해상도의 특정 고주파 성분이 최종 결과 영상에서 복원이 되지 않을 수 있다. 본 발명의 실시예에 따른 다운샘플링 네트워크(3100)에 의하면, 복원이 불가능한 고주파 성분을 사전에 파악하여 다운샘플링 과정에서 고주파 성분을 미리 제거할 수 있다. 따라서, 영상압축부(3200)는 다운샘플링된 영상을 더 높은 압축률로 압축할 수 있고, 디코딩된 영상의 비트 스트림 크기를 줄일 수 있다. 또한, 영상복원부(3300)를 거친 복원 영상의 화질은 원본 영상과 동일한 수준으로 만들어 낼 수 있다. Referring to FIG. 7, the downsampling network 3100 of the present invention of the image processing system 300 performs customized downsampling according to the downsampling ratio and compression rate. For example, if the original image is processed with a specific downsampling ratio (e.g., 1/2 ratio) and a specific compression ratio (e.g., quality factor of JPEG = 50), then a specific high frequency component of the original resolution will be The image may not be restored. According to the downsampling network 3100 according to an embodiment of the present invention, a high frequency component that cannot be reconstructed can be identified in advance and the high frequency component can be removed in advance during the downsampling process. Accordingly, the image compression unit 3200 may compress the downsampled image at a higher compression rate, and may reduce the bit stream size of the decoded image. In addition, the image quality of the reconstructed image that has passed through the image restoration unit 3300 may be produced at the same level as the original image.

도 8은 본 발명의 일 실시예에 따른 다운샘플링 네트워크를 적용한 영상 스트리밍 서버 시스템을 도시한 도면이다. 8 is a diagram illustrating a video streaming server system to which a downsampling network is applied according to an embodiment of the present invention.

도 8을 참조하면, 영상 스트리밍 서버 시스템(400)은 다운샘플링 네트워크 제어부(4100), 다운샘플링 네트워크 데이터베이스(4200), 및 영상압축부(4300)를 포함할 수 있다. Referring to FIG. 8, an image streaming server system 400 may include a downsampling network controller 4100, a downsampling network database 4200, and an image compression unit 4300.

다운샘플링 데이터베이스(4200)는 제1 내지 제n 다운샘플링 네트워크들(4201, 4202, 420n)를 포함할 수 있다. N은 자연수일 수 있다. 제1 내지 제n 다운샘플링 네트워크들(4201, 4202, 420n)은 서로 다른 다운샘플링 비율 및 압축률에 맞게 학습될 수 있다. The downsampling database 4200 may include first to nth downsampling networks 4201, 4202, and 420n. N can be a natural number. The first to nth downsampling networks 4201, 4202, and 420n may be trained according to different downsampling rates and compression rates.

다운샘플링 네트워크 제어부(4100)는 원본 영상(IMGA)을 수신하고, 원본 영상(IMGA)의 특성 및 네트워크 대역폭에 따라 다운샘플링 비율 및 압축률을 결정한다. 다운샘플링 네트워크 제어부(4100)는 결정된 다운샘플링 비율 및 압축률에 따라 제1 내지 제n 다운샘플링 네트워크들(4201, 4202, 420n) 중 어느 하나를 선택한다. 원본 영상(IMGA)은 제1 내지 제n 다운 샘플링 네트워크들(4201, 4202, 420n) 중 어느 하나를 통해 다운샘플링된다. 영상압축부(4300)는 다운샘플링된 영상을 압축하여 압축 영상(IMGB)으로 전송할 수 있다. The downsampling network controller 4100 receives the original image IMGA, and determines a downsampling ratio and a compression rate according to the characteristics of the original image IMGA and a network bandwidth. The downsampling network controller 4100 selects any one of the first to nth downsampling networks 4201, 4202, and 420n according to the determined downsampling ratio and compression rate. The original image IMGA is downsampled through any one of the first to nth downsampling networks 4201, 4202, and 420n. The image compression unit 4300 may compress the down-sampled image and transmit it as a compressed image (IMGB).

도 8의 실시예에 의하면, 본 발명의 다운샘플링 네트워크가 적용됨으로써, 영상압축부(4300)를 거친후 최상을 화질을 갖는 영상을 생성할 수 있도록 입력된 영상의 다운샘플링을 수행하거나, 기존의 다운샘플링 표준 방식에 비해 동일한 화질을 영상을 생성하면서도 압축 영상(IMGB)의 크기를 감소시킬 수 있다. According to the embodiment of FIG. 8, by applying the downsampling network of the present invention, after passing through the image compression unit 4300, downsampling of the input image is performed to generate an image having the highest quality, or Compared to the downsampling standard method, it is possible to reduce the size of a compressed image (IMGB) while generating an image having the same image quality.

도 9는 본 발명의 다른 실시예에 따른 다운샘플링 네트워크를 적용한 영상 스트리밍 서버 시스템을 도시한 도면이다. 9 is a diagram illustrating a video streaming server system to which a downsampling network is applied according to another embodiment of the present invention.

도 9를 참조하면, 영상 스트리밍 서버 시스템(500)은 다운샘플링 네트워크 제어부(5100), 다운샘플링 네트워크(5200), 및 영상압축부(5300)를 포함할 수 있다. Referring to FIG. 9, an image streaming server system 500 may include a downsampling network controller 5100, a downsampling network 5200, and an image compression unit 5300.

다운샘플링 네트워크 제어부(5100)는 원본 영상(IMGA)을 수신하고, 원본 영상(IMGA)의 특성 및 네트워크 대역폭에 따라 다운샘플링 비율 및 압축률을 결정한다.The downsampling network controller 5100 receives the original image IMGA, and determines a downsampling ratio and a compression rate according to the characteristics of the original image IMGA and a network bandwidth.

다운샘플링 네트워크(5200)는 원본 영상(IMGA)을 수신하고, 다운샘플링 네트워크 제어부(5100)에서 결정된 다운샘플링 비율 및 압축률에 적합한 다운샘플링 영상을 생성할 수 있다. 다운샘플링 네트워크(5200)는 하나의 다운샘플링 네트워크를 통해 다양한 다운샘플링 비율 및 압출률에 적합한 다운샘플링 영상을 생성하도록 딥러닝 신경 네트워크 구조를 설계할 수 있다. The downsampling network 5200 may receive the original image IMGA and generate a downsampling image suitable for the downsampling ratio and compression rate determined by the downsampling network controller 5100. The downsampling network 5200 may design a deep learning neural network structure to generate downsampling images suitable for various downsampling rates and extrusion rates through one downsampling network.

영상압축부(5300)는 다운샘플링된 영상을 압축하여 압축 영상(IMGB)으로 전송할 수 있다. The image compression unit 5300 may compress the downsampled image and transmit the compressed image IMGB.

도 9의 실시예에 의하면, 본 발명의 다운샘플링 네트워크가 적용됨으로써, 영상압축부(5300)를 거친후 최상을 화질을 갖는 영상을 생성할 수 있도록 입력된 영상의 다운샘플링을 수행하거나, 기존의 다운샘플링 표준 방식에 비해 동일한 화질을 영상을 생성하면서도 압축 영상(IMGB)의 크기를 감소시킬 수 있다.According to the embodiment of FIG. 9, by applying the downsampling network of the present invention, after passing through the image compression unit 5300, downsampling of the input image is performed to generate an image having the highest quality, or Compared to the downsampling standard method, it is possible to reduce the size of a compressed image (IMGB) while generating an image having the same quality.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made without departing from the spirit of the present invention.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

100: 이미지 처리 장치
1100: 다운샘플링부
1200: 영상압축부
1300: 영상복원부100: image processing unit
1100: downsampling unit
1200: image compression unit
1300: image restoration unit

Claims (11)

고해상도의 원본 영상을 입력 받아 딥러닝 기반의 네트워크를 이용하여 상기 원본 영상을 다운샘플링(downsampling) 하는 다운샘플링 네트워크;
상기 다운샘플링 네트워크에서 생성된 다운샘플링된 영상을 특정한 압축률로 압축하는 영상압축부; 및
상기 영상압축부에서 압축된 영상을 복원하는 영상복원부를 포함하고,
상기 다운샘플링 네트워크는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계된 영상 처리 시스템.A downsampling network for receiving a high-resolution original image and downsampling the original image using a deep learning-based network;
An image compression unit compressing the downsampled image generated in the downsampling network at a specific compression rate; And
Including an image restoration unit for restoring the image compressed by the image compression unit,
The downsampling network is an image processing system designed as a convolutional neural network (CNN). 청구항 1에 있어서,
상기 다운샘플링 네트워크는 다운샘플링 과정에서 상기 원본 영상의 고주파 성분을 저주파 성분에 비해 더 많이 제거하는 영상 처리 시스템.The method according to claim 1,
The downsampling network is an image processing system that removes more high-frequency components of the original image compared to low-frequency components during downsampling. 청구항 1에 있어서,
상기 영상압축부 및 상기 영상복원부는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계된 영상 처리 시스템.The method according to claim 1,
An image processing system designed as a convolutional neural network (CNN) for the image compression unit and the image restoration unit. 청구항 1에 있어서,
상기 신경 컨벌루셔널 신경 네트워크는,
입력된 영상에 대한 특징을 추출하는 복수의 컨벌루션층들; 및
상기 컨벌루션층들을 통해 추출된 특징을 선별하는 풀링층들을 포함하는 영상 처리 시스템.The method according to claim 1,
The neural convolutional neural network,
A plurality of convolutional layers for extracting features of the input image; And
An image processing system including pooling layers for selecting features extracted through the convolutional layers. 다운샘플링 네트워크를 설계하는 단계; 및
상기 학습된 다운샘플링 네트워크를 적용하는 단계를 포함하고,
상기 다운샘플링 네트워크를 설계하는 단계는,
딥러닝 기반의 네트워크로 설계된 영상압축 네트워크를 사전 학습하는 단계;
딥러닝 기반의 네트워크로 설계된 영상복원 네트워크를 사전 학습하는 단계;
딥러닝 기반의 네트워크로 설계된 다운샘플링 네트워크, 상기 영상압축 네트워크, 및 상기 영상복원 네트워크를 하나의 네트워크로 연결하는 단계; 및
상기 다운샘플링 네트워크를 사전 학습하는 단계를 포함하는 이미지 처리 방법.Designing a downsampling network; And
Including the step of applying the learned downsampling network,
The step of designing the downsampling network,
Pre-learning an image compression network designed as a deep learning-based network;
Pre-learning an image restoration network designed as a deep learning-based network;
Connecting a downsampling network designed as a deep learning-based network, the image compression network, and the image restoration network into one network; And
And pre-training the downsampling network. 청구항 5에 있어서,
상기 다운샘플링 네트워크, 상기 영상압축 네트워크, 및 상기 영상복원 네트워크는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계된 이미지 처리 방법.The method of claim 5,
The downsampling network, the image compression network, and the image restoration network are designed as a convolutional neural network (CNN). 청구항 5에 있어서,
상기 다운샘플링 네트워크를 사전 학습하는 단계는,
상기 제1 다운샘플링 비율에 대응하는 제1 다운샘플링 네트워크를 사전 학습하는 단계; 및
상기 제2 다운샘플링 비율에 대응하는 제2 다운샘플링 네트워크를 사전 학습하는 단계를 포함하고,
상기 다운샘플링 네트워크를 설계하는 단계는, 상기 제1 및 제2 다운샘플링 네트워크들을 보간 또는 외삽하여 목표 다운샘플링 네트워크를 생성하는 단계를 더 포함하는 이미지 처리 방법.The method of claim 5,
Pre-learning the downsampling network,
Pre-learning a first downsampling network corresponding to the first downsampling ratio; And
Pre-learning a second downsampling network corresponding to the second downsampling ratio,
The step of designing the downsampling network further comprises generating a target downsampling network by interpolating or extrapolating the first and second downsampling networks. 청구항 5에 있어서,
상기 다운샘플링 네트워크를 사전 학습하는 단계는,
복수의 다운샘플링 비율들과 복수의 압축 제어 파라미터들의 조합들 각각에 대응하는 복수의 다운샘플링 네트워크들을 사전 학습하고,
상기 다운샘플링 네트워크를 설계하는 단계는, 4 이상의 학습된 상기 다운샘플링 네트워크들을 2번 이상 보간 또는 외삽하여 목표 다운샘플링 네트워크를 생성하는 단계를 더 포함하는 이미지 처리 방법.The method of claim 5,
Pre-learning the downsampling network,
Pre-learning a plurality of downsampling networks corresponding to each of combinations of a plurality of downsampling ratios and a plurality of compression control parameters,
The step of designing the downsampling network further comprises generating a target downsampling network by interpolating or extrapolating at least four learned downsampling networks twice or more. 원본 영상을 수신하고, 상기 원본 영상의 특성 및 네트워크 대역폭에 따라 다운샘플림 비율 및 압축률을 결정하는 다운샘플링 네트워크 제어부;
서로 다른 다운샘플링 비율 및 압축률에 따라 학습된 n개의 다운샘플링 네트워크들을 포함하고, n은 자연수인 다운샘플링 데이터베이스; 및
상기 다운샘플링 네트워크들 중 하나를 통해 다운샘플링된 영상을 특정한 압축률로 압축하는 영상압축부를 포함하고,
상기 다운샘플링 네트워크 제어부는 상기 결정된 다운샘플링 비율 및 압축률에 따라 상기 n개의 다운샘플링 네트워크들 중 어느 하나를 선택하고,
상기 다운샘플링 네트워크는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계된 영상 스트리밍 서버 시스템.A downsampling network controller configured to receive an original image and determine a downsampling ratio and a compression rate according to a characteristic of the original image and a network bandwidth;
A downsampling database including n downsampling networks learned according to different downsampling rates and compression rates, n being a natural number; And
An image compression unit for compressing an image downsampled through one of the downsampling networks at a specific compression rate,
The downsampling network controller selects any one of the n downsampling networks according to the determined downsampling ratio and compression rate,
The downsampling network is a video streaming server system designed as a convolutional neural network (CNN). 청구항 9에 있어서,
상기 다운샘플링 네트워크들은 다운샘플링 과정에서 상기 원본 영상의 고주파 성분을 저주파 성분에 비해 더 많이 제거하는 영상 스트리밍 서버 시스템.The method of claim 9,
The downsampling networks remove more high-frequency components of the original image compared to low-frequency components during downsampling. 청구항 9에 있어서,
상기 영상압축부는 컨벌루셔널 신경 네트워크(Convolutional Neural Network, CNN)로 설계된 영상 처리 시스템.
The method of claim 9,
The image compression unit is an image processing system designed with a convolutional neural network (CNN).
KR1020190096687A 2019-08-08 2019-08-08 Downsampling image processing system and mehod using deep learning neural network and image streaming server system KR20210018668A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190096687A KR20210018668A (en) 2019-08-08 2019-08-08 Downsampling image processing system and mehod using deep learning neural network and image streaming server system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190096687A KR20210018668A (en) 2019-08-08 2019-08-08 Downsampling image processing system and mehod using deep learning neural network and image streaming server system

Publications (1)

Publication Number Publication Date
KR20210018668A true KR20210018668A (en) 2021-02-18

Family

ID=74688620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190096687A KR20210018668A (en) 2019-08-08 2019-08-08 Downsampling image processing system and mehod using deep learning neural network and image streaming server system

Country Status (1)

Country Link
KR (1) KR20210018668A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406287B1 (en) * 2021-12-31 2022-06-08 주식회사 에스아이에이 super resolution imaging method using collaborative learning
CN114866782A (en) * 2022-03-21 2022-08-05 上海工程技术大学 Video image processing method based on depth dimension-variable code rate control
KR102441675B1 (en) * 2022-02-23 2022-09-08 (주)나라스페이스테크놀로지 Method and system for synthesising satellite images
WO2022211249A1 (en) * 2021-04-02 2022-10-06 삼성전자 주식회사 Machine learning-based electronic device for supporting image processing
KR20230153863A (en) * 2022-04-29 2023-11-07 한국과학기술원 Apparatus of conjugate-gradient acceleration using band matrix encoding in depth fusion application
CN117058002A (en) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 Video frame super-resolution reconstruction method and device and computer equipment
US11954833B2 (en) 2021-04-02 2024-04-09 Samsung Electronics Co., Ltd Electronic device for supporting machine learning-based image processing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211249A1 (en) * 2021-04-02 2022-10-06 삼성전자 주식회사 Machine learning-based electronic device for supporting image processing
US11954833B2 (en) 2021-04-02 2024-04-09 Samsung Electronics Co., Ltd Electronic device for supporting machine learning-based image processing
KR102406287B1 (en) * 2021-12-31 2022-06-08 주식회사 에스아이에이 super resolution imaging method using collaborative learning
WO2023128349A1 (en) * 2021-12-31 2023-07-06 주식회사 에스아이에이 Super-resolution imaging method using cooperative learning
KR102441675B1 (en) * 2022-02-23 2022-09-08 (주)나라스페이스테크놀로지 Method and system for synthesising satellite images
CN114866782A (en) * 2022-03-21 2022-08-05 上海工程技术大学 Video image processing method based on depth dimension-variable code rate control
CN114866782B (en) * 2022-03-21 2024-05-31 上海工程技术大学 Video image processing method based on depth dimension-variable code rate control
KR20230153863A (en) * 2022-04-29 2023-11-07 한국과학기술원 Apparatus of conjugate-gradient acceleration using band matrix encoding in depth fusion application
CN117058002A (en) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 Video frame super-resolution reconstruction method and device and computer equipment
CN117058002B (en) * 2023-10-12 2024-02-02 深圳云天畅想信息科技有限公司 Video frame super-resolution reconstruction method and device and computer equipment

Similar Documents

Publication Publication Date Title
KR20210018668A (en) Downsampling image processing system and mehod using deep learning neural network and image streaming server system
US11223833B2 (en) Preprocessing image data
KR102287947B1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
KR102165155B1 (en) Adaptive interpolation for spatially scalable video coding
EP3637781A1 (en) Video processing method and apparatus
US11610283B2 (en) Apparatus and method for performing scalable video decoding
JP7123169B2 (en) Video compression processing method and apparatus, electronic equipment and storage medium
EP3799431B1 (en) Preprocessing image data
KR102500761B1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
Kim et al. AGARNet: Adaptively gated JPEG compression artifacts removal network for a wide range quality factor
KR20150068402A (en) Video compression method
CN111510739B (en) Video transmission method and device
CN111711817B (en) HEVC intra-frame coding compression performance optimization method combined with convolutional neural network
EP4365820A1 (en) Video super-resolution network, and video super-resolution, encoding and decoding processing method and device
WO2023246923A1 (en) Video encoding method, video decoding method, and electronic device and storage medium
Ayzik et al. Deep image compression using decoder side information
CN115409716B (en) Video processing method, device, storage medium and equipment
CN116547969A (en) Processing method of chroma subsampling format in image decoding based on machine learning
Bourtsoulatze et al. Deep video precoding
JP2005039837A (en) Method and apparatus for video image noise removal
Galteri et al. Fast video quality enhancement using gans
US20240040160A1 (en) Video encoding using pre-processing
CN113747242B (en) Image processing method, image processing device, electronic equipment and storage medium
Agarwal et al. Compressing video calls using synthetic talking heads
CN106664387B9 (en) Computer device and method for post-processing video image frame and computer readable medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application