KR20210113057A - Method, apparatus and recording medium for using padding/trimming in compressive neural network - Google Patents

Abstract

An encoder extracts features of an image indicated by data by applying a plurality of paddings and a plurality of downscales to the image, and transmits feature information indicating the features to a decoder. The plurality of paddings and the plurality of downscales are applied to the image in a sequence in which one padding is applied and then one downscale corresponding to the same padding is applied. The decoder receives the feature information from the encoder, and generates a rebuilt image by applying a plurality of upscales and a plurality of trimmings to the image indicated by the feature information. The plurality of upscales and the plurality of trimmings are applied to the image in a sequence in which one upscale is applied and then one trimming corresponding to the same upscale is applied. Therefore, paddings/trimmings can be used in a compressive neural network.

Description

압축 신경망 내에서의 패딩/트리밍을 사용하는 방법, 장치 및 기록 매체{METHOD, APPARATUS AND RECORDING MEDIUM FOR USING PADDING/TRIMMING IN COMPRESSIVE NEURAL NETWORK}METHOD, APPARATUS AND RECORDING MEDIUM FOR USING PADDING/TRIMMING IN COMPRESSIVE NEURAL NETWORK

본 발명은 이미지에 대한 부호화/복호화를 위해 압축 신경망을 사용하는 방법, 장치 및 기록 매체에 관한 것이다. 구체적으로, 본 발명은 압축 신경망의 패딩/트리밍을 수행하는 방법, 장치 및 기록 매체를 개시한다.The present invention relates to a method, an apparatus and a recording medium using a compressed neural network for encoding/decoding an image. Specifically, the present invention discloses a method, apparatus and recording medium for performing padding/trimming of a compressed neural network.

최근에는 학습된 이미지 압축 방법들이 활발하게 연구되고 있다. 이러한 학습된 이미지 압축 방법들 중 엔트로피-최소화(entropy-minimization) 기반의 접근방법(approach)들은 BPG 및 JPEG2000과 같은 통상적인 이미지 코덱들에 비해 우월한 결과들을 달성하였다.Recently, learned image compression methods are being actively studied. Among these learned image compression methods, entropy-minimization-based approaches achieved superior results compared to conventional image codecs such as BPG and JPEG2000.

최근, 인공 신경 네트워크들(Artificial Neural Networks; ANNs)은 다양한 영역들에 도달하였고, 그들의 탁월한 최적화 및 학습 성능에 기인하여 많은 혁신들(breakthroughs)이 달성되었다.Recently, Artificial Neural Networks (ANNs) have reached various fields, and many breakthroughs have been achieved due to their excellent optimization and learning performance.

이미지 압축 분야에서도 신경망을 이용한 이미지/비디오 데이터 압축 네트워크들이 개발되고 있다. 이러한 데이터 압축 네트워크는 주로 컨볼루셔널 레이어를 포함한다.In the image compression field, image/video data compression networks using neural networks are being developed. These data compression networks mainly include a convolutional layer.

대부분의 데이터 압축 네트워크는 압축(compression)의 과정에서는 입력 데이터 및 피쳐(feature) 데이터에 대한 다운스케일링을 수행하며, 재구축(reconstruction) 의 과정에서는 업스케일링을 수행한다.Most data compression networks perform downscaling on input data and feature data in the process of compression, and upscaling in the process of reconstruction.

종래의 데이터 압축 네트워크는 다양한 크기의 입력 데이터에 대응하기 위해 주로 입력 데이터에 대한 패딩을 수행한다. 또한, 종래의 데이터 압축 네트워크는 데이터 압축 네트워크에 의한 다운스케일링 및 업스케일링에 의해 압축 데이터가 유실되거나 압축 과정 상에 비효율이 발생하지 않도록 특정된 처리를 수행할 수 있다.A conventional data compression network mainly performs padding on input data in order to correspond to input data of various sizes. In addition, the conventional data compression network can perform specified processing so that compressed data is not lost or inefficiency occurs in the compression process due to downscaling and upscaling by the data compression network.

그러나, 종래의 방식은 데이터 압축 네트워크 전체의 더 다운스케일링/업스케일링 비율이 커질 수록 입력 데이터의 패딩 면적이 더 증가하는 문제가 발생하며, 이는 압축 효율성을 저해한다.However, in the conventional method, as the downscaling/upscaling ratio of the entire data compression network increases, the padding area of the input data further increases, which impairs the compression efficiency.

일 실시예는 압축 신경망 내에서의 패딩/트리밍을 사용하는 방법, 장치 및 기록 매체를 제공할 수 있다.One embodiment may provide a method, apparatus and recording medium for using padding/trimming within a compressed neural network.

일 측에 있어서, 부호화 장치에 의해 수행되는, 데이터가 나타내는 이미지에 복수의 패딩들 및 복수의 다운스케일링들을 적용함으로써 이미지의 피쳐를 추출하는 단계; 및 상기 피쳐를 나타내는 피쳐 정보를 복호화 장치로 전송하는 단계를 포함하는 부호화 방법이 제공된다.In one aspect, the method comprising: extracting a feature of an image by applying a plurality of paddings and a plurality of downscalings to an image represented by data, performed by an encoding device; and transmitting feature information indicating the feature to a decoding apparatus.

상기 복수의 패딩들 및 상기 복수의 다운스케일링들은 하나의 패딩이 적용된 후 상기 패딩에 대응하는 하나의 다운스케일링이 적용되는 순서로 상기 이미지에 적용될 수 있다.The plurality of paddings and the plurality of downscalings may be applied to the image in an order in which one downscaling corresponding to the padding is applied after one padding is applied.

상기 복수의 다운스케일링들의 각 다운스케일링은 상기 이미지를 수평 방향으로 1/n의 크기로 줄일 수 있고, 수직 방향으로 1/n의 크기로 줄일 수 있다.Each downscaling of the plurality of downscalings may reduce the image to a size of 1/n in a horizontal direction and may reduce the image to a size of 1/n in a vertical direction.

n은 2 이상의 정수일 수 있다.n may be an integer of 2 or more.

상기 복수의 패딩들 및 상기 복수의 다운스케일링들의 각 패딩 및 각 다운스케일링에 있어서, 상기 각 패딩은 이미지의 크기를 2의 배수로 조정할 수 있다.In each padding and each downscaling of the plurality of paddings and the plurality of downscalings, each padding may adjust the size of an image by a multiple of two.

상기 각 패딩에 대응하는 다운스케일링의 비율은 1/2일 수 있다.A ratio of downscaling corresponding to each padding may be 1/2.

상기 복수의 다운스케일링들의 각 다운스케일링들은 컨볼루셔널(convolutional) 레이어(layer) 또는 비-선형(non-linear)에 의한 상기 이미지에 대한 처리를 포함할 수 있다.Each of the downscalings of the plurality of downscalings may include processing the image by a convolutional layer or non-linear.

상기 복수의 다운스케일링들의 비율들은 서로 다를 수 있다.The ratios of the plurality of downscalings may be different from each other.

상기 복수의 패딩들에 의해 추가될 수 있는 하나 이상의 라인들의 범위들은 서로 다를 수 있다.Ranges of one or more lines that may be added by the plurality of paddings may be different from each other.

상기 이미지의 원 크기 정보가 상기 복호화 장치로 전송될 수 있다.The original size information of the image may be transmitted to the decoding device.

상기 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 나타내는 라인 개수 정보가 상기 복호화 장치로 전송될 수 있다.Line number information indicating the number of one or more lines added in the plurality of paddings may be transmitted to the decoding apparatus.

다른 일 측에 있어서, 복호화 장치에 의해 수행되는, 부호화 장치로부터 피쳐 정보를 수신하는 단계; 및 상기 피쳐 정보가 나타내는 이미지에 복수의 업스케일링들 및 복수의 트리밍들을 적용함으로써 재구축된 이미지를 생성하는 단계를 포함하는 복호화 방법이 제공된다.In the other side, the method is performed by the decoding device, the method comprising: receiving feature information from an encoding device; and generating a reconstructed image by applying a plurality of upscalings and a plurality of trimmings to the image indicated by the feature information.

상기 복수의 업스케일링들 및 상기 복수의 트리밍들은 하나의 업스케일링이 적용된 후 상기 업스케일링에 대응하는 하나의 트리밍이 적용되는 순서로 상기 이미지에 적용될 수 있다.The plurality of upscalings and the plurality of trimmings may be applied to the image in an order in which one upscaling is applied and then one trimming corresponding to the upscaling is applied.

상기 복수의 업스케일링들 및 상기 복수의 트리밍들의 쌍의 개수는 상기 부호화 장치에서 수행된 복수의 패딩들 및 복수의 다운스케일링들의 쌍의 개수와 동일할 수 있다.The number of pairs of the plurality of upscalings and the plurality of trimmings may be the same as the number of pairs of the plurality of paddings and the plurality of downscaling performed by the encoding apparatus.

상기 복수의 업스케일링들의 각 업스케일링은 상기 이미지의 크기를 n 배로 조정하는 것일 수 있다.Each upscaling of the plurality of upscalings may be to adjust the size of the image by n times.

n은 2 이상의 정수일 수 있다.n may be an integer of 2 or more.

상기 복수의 업스케일링들의 각 업스케일링은 상기 이미지의 크기를 n 배로 늘리는 것일 수 있다.Each upscaling of the plurality of upscalings may increase the size of the image by n times.

상기 복수의 트리밍들의 각 트리밍은 상기 부호화 장치에서 수행된 패딩에 의해 추가된 하나 이상의 라인들의 개수만큼 업스케일링이 적용된 이미지에서 하나 이상의 라인들을 제거하는 것일 수 있다.Each of the plurality of trimmings may be to remove one or more lines from an image to which upscaling is applied by the number of one or more lines added by padding performed by the encoding apparatus.

n은 2 이상의 정수일 수 있다.n may be an integer of 2 or more.

상기 부호화 장치로부터 상기 이미지의 원 크기 정보가 수신될 수 있다.Original size information of the image may be received from the encoding device.

상기 부호화 장치로부터 상기 부호화 장치에서의 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수를 나타내는 라인 개수 정보를 수신하는 복호화 방법.A decoding method for receiving, from the encoding apparatus, line number information indicating the number of one or more lines added in a plurality of paddings in the encoding apparatus.

상기 부호화 장치로부터 비율 정보가 수신될 수 있다.Rate information may be received from the encoding device.

상기 비율 정보는 상기 부호화 장치에서 수행된 복수의 다운스케일링들의 비율들 또는 상기 부호화 장치에서 수행된 상기 복수의 다운스케일링들의 상기 비율들의 역수들을 포함할 수 있다.The ratio information may include ratios of the plurality of downscalings performed by the encoding apparatus or reciprocals of the ratios of the plurality of downscalings performed by the encoding apparatus.

상기 복수의 업스케일링들의 제k 업스케일링은 상기 이미지의 크기를 S_k 배로 조정하는 것일 수 있다.The kth upscaling of the plurality of upscalings may be to adjust _{the size of the image by S k times.}

상기 k는 1 이상 m 이하의 정수일 수 있다.The k may be an integer of 1 or more and m or less.

상기 m은 상기 복수의 다운스케일링들의 개수일 수 있다.The m may be the number of the plurality of downscalings.

상기 비율 정보에 의해 상기 S_k가 결정될 수 있다. _{The S k} may be determined based on the ratio information.

상기 복수의 트리밍들 중 상기 이미지에 대한 제k 트리밍은 상기 부호화 장치에 의해 수행된 복수의 패딩들 중 상기 제k 트리밍에 대응하는 제k 패딩에서 추가된 라인의 개수만큼 상기 이미지에서 라인을 제거하는 것일 수 있다.The k-th trimming of the image among the plurality of trimmings removes lines from the image by the number of lines added in the k-th padding corresponding to the k-th trimming among the plurality of paddings performed by the encoding apparatus. it could be

상기 k는 1 이상 m 이하의 정수일수 있다.The k may be an integer of 1 or more and m or less.

상기 m은 상기 복수의 다운스케일링들의 개수일 수 있다.The m may be the number of the plurality of downscalings.

상기 부호화 장치에서 수행된 m 회의 패딩들 중 k 번째로 수행된 패딩은 상기 복호화 장치에서 수행되는 m 회의 트리밍들 중 m - k + 1 번째로 수행되는 트리밍에 대응할 수 있다.The k-th padding performed among the m paddings performed by the encoding apparatus may correspond to the m - k+1-th trimming performed among the m trimmings performed by the decoding apparatus.

상기 k는 1 이상 m 이하의 정수일 수 있다.The k may be an integer of 1 or more and m or less.

상기 m은 상기 복수의 다운스케일링들의 개수일 수 있다.The m may be the number of the plurality of downscalings.

또 다른 일 측에 있어서, 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 비트스트림은, 피쳐 정보를 포함할 수 있다.In another aspect, in a computer-readable recording medium storing a bitstream, the bitstream may include feature information.

상기 피쳐 정보가 나타내는 이미지에 복수의 업스케일링들 및 복수의 트리밍들을 적용함으로써 재구축된 이미지가 생성될 수 있다.A reconstructed image may be generated by applying a plurality of upscalings and a plurality of trimmings to the image indicated by the feature information.

압축 신경망 내에서의 패딩/트리밍을 사용하는 방법, 장치 및 기록 매체가 제공된다.A method, apparatus and recording medium using padding/trimming in a compressed neural network are provided.

도 1은 일 실시예에 따른 부호화 장치의 구조도이다.
도 2는 일 실시예에 따른 복호화 장치의 구조도이다.
도 3은 일 실시예에 따른 패딩을 사용하는 부호화 방법의 흐름도이다.
도 4는 일 실시예에 따른 트리밍을 사용하는 복호화 방법의 흐름도이다.
도 5은 일 실시예에 따른 복수의 패딩들 및 복수의 다운스케일링들을 사용하는 부호화 방법의 흐름도이다.
도 6은 일 실시예에 따른 복수의 업스케일링들 및 복수의 트리밍들을 사용하는 복호화 방법의 흐름도이다.
도 7은 일 실시예에 따른 복수의 패딩들 및 복수의 다운스케일링들을 사용하는 부호화 방법의 흐름도이다.
도 8은 일 실시예에 따른 복수의 업스케일링들 및 복수의 트리밍들을 사용하는 복호화 방법의 흐름도이다.1 is a structural diagram of an encoding apparatus according to an embodiment.
2 is a structural diagram of a decoding apparatus according to an embodiment.
3 is a flowchart of an encoding method using padding according to an embodiment.
4 is a flowchart of a decoding method using trimming according to an embodiment.
5 is a flowchart of an encoding method using a plurality of paddings and a plurality of downscalings according to an embodiment.
6 is a flowchart of a decoding method using a plurality of upscalings and a plurality of trimmings according to an embodiment.
7 is a flowchart of an encoding method using a plurality of paddings and a plurality of downscalings according to an embodiment.
8 is a flowchart of a decoding method using a plurality of upscalings and a plurality of trimmings according to an embodiment.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들면, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which illustrate specific embodiments by way of example. These embodiments are described in sufficient detail to enable those skilled in the art to practice the embodiments. It should be understood that various embodiments are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be embodied in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the embodiment. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of exemplary embodiments, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed.

도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects. Shapes and sizes of elements in the drawings may be exaggerated for clearer description.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함할 수 있다.In the present invention, terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term “and/or” may include a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(component)가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, the two components may be directly connected or connected to each other, but in the above 2 It should be understood that other components may exist in the middle of the components. On the other hand, when it is mentioned that a component is "directly connected" or "directly connected" to another component, it should be understood that no other component is present in the middle of the two components. something to do.

본 발명의 실시예에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수 개의 구성요소로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.The components shown in the embodiment of the present invention are shown independently to represent different characteristic functions, and it does not mean that each component is composed of separate hardware or a single software component. That is, each component is included by listing as each component for convenience of description, and at least two components of each component are combined to form one component, or one component is divided into a plurality of components to provide a function. As long as it can be carried out and integrated embodiments and separate embodiments of each of these components do not depart from the essence of the present invention, they are included in the scope of the present invention.

또한, 예시적 실시예들에서 특정 구성을 "포함"한다고 기술하는 내용은 상기의 특정 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다.In addition, the description of "including" a specific configuration in the exemplary embodiments does not exclude the configuration other than the above specific configuration, and the additional configuration is the implementation of the exemplary embodiments or the technical spirit of the exemplary embodiments. It means that it can be included in the scope.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성 또한 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present invention, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. That is, the description of "including" a specific configuration in the present invention does not exclude configurations other than the corresponding configuration, and it means that additional configurations may also be included in the practice of the present invention or the scope of the technical spirit of the present invention.

본 발명의 일부의 구성요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성요소일 수 있다. 본 발명은, 단지 성능 향상을 위해 사용되는 구성요소가 제외된, 본 발명의 본질을 구현함에 있어 필수적인 구성요소만을 포함하여 구현될 수 있다. 단지 성능 향상을 위해 사용되는 선택적인 구성요소가 제외된 필수적인 구성요소만을 포함하는 구조도 본 발명의 권리범위에 포함된다.Some components of the present invention are not essential components for performing essential functions in the present invention, but may be optional components for improving performance. The present invention may be implemented by including only essential components for implementing the essence of the present invention, except for components used for improving performance. A structure including only essential components excluding optional components used for performance improvement is also included in the scope of the present invention.

이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시 형태에 대하여 구체적으로 설명한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 동일한 구성요소에 대한 중복된 설명은 생략한다.Hereinafter, in order to enable those of ordinary skill in the art to easily implement the embodiments, embodiments will be described in detail with reference to the accompanying drawings. In describing the embodiments, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present specification, the detailed description thereof will be omitted. In addition, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

도 1은 일 실시예에 따른 부호화 장치의 구조도이다.1 is a structural diagram of an encoding apparatus according to an embodiment.

부호화 장치(100)는 버스(190)를 통하여 서로 통신하는 처리부(110), 메모리(130), 사용자 인터페이스(User Interface; UI) 입력 디바이스(150), UI 출력 디바이스(160) 및 저장소(storage)(140)를 포함할 수 있다. 또한, 부호화 장치(100)는 네트워크(199)에 연결되는 통신부(120)를 더 포함할 수 있다.The encoding apparatus 100 includes a processing unit 110 that communicates with each other through a bus 190 , a memory 130 , a user interface (UI) input device 150 , a UI output device 160 , and storage. (140). Also, the encoding apparatus 100 may further include a communication unit 120 connected to the network 199 .

처리부(110)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(130) 또는 저장소(140)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(110)는 적어도 하나의 하드웨어 프로세서일 수 있다.The processing unit 110 may be a semiconductor device that executes processing instructions stored in a central processing unit (CPU), the memory 130 , or the storage 140 . The processing unit 110 may be at least one hardware processor.

처리부(110)는 부호화 장치(100)로 입력되거나, 부호화 장치(100)에서 출력되거나, 부호화 장치(100)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(110)에 의해 수행될 수 있다.The processing unit 110 may generate and process a signal, data, or information input to the encoding apparatus 100 , output from the encoding apparatus 100 , or used inside the encoding apparatus 100 , the signal, Inspection, comparison, and judgment related to data or information may be performed. That is, in the embodiment, generation and processing of data or information, and inspection, comparison, and judgment related to data or information may be performed by the processing unit 110 .

프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 부호화 장치(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.Program modules may be physically stored on various known storage devices. Also, at least some of these program modules may be stored in a remote storage device capable of communicating with the encoding device 100 .

프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.Program modules include routines, subroutines, programs, objects, components, and data that perform functions or operations according to an embodiment or implement abstract data types according to an embodiment. It may include, but is not limited to, a data structure and the like.

처리부(110)에 의해 수행되는 각 단계들은 프로그램 모듈에 대응할 수 있다. 프로그램 모듈들은 부호화 장치(100)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.Each step performed by the processing unit 110 may correspond to a program module. The program modules may include instructions or codes that are executed by at least one processor of the encoding apparatus 100 .

저장부는 메모리(130) 및/또는 저장소(140)를 나타낼 수 있다. 메모리(130) 및 저장소(140)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(130)는 롬(ROM)(131) 및 램(RAM)(132) 중 적어도 하나를 포함할 수 있다.Storage may represent memory 130 and/or storage 140 . The memory 130 and the storage 140 may be various types of volatile or non-volatile storage media. For example, the memory 130 may include at least one of a ROM 131 and a RAM 132 .

저장부는 부호화 장치(100)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 부호화 장치(100)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.The storage unit may store data or information used for the operation of the encoding apparatus 100 . In an embodiment, data or information included in the encoding apparatus 100 may be stored in a storage unit.

예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.For example, the storage unit may store pictures, blocks, lists, motion information, inter prediction information, and bitstreams.

부호화 장치(100)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.The encoding apparatus 100 may be implemented in a computer system including a recording medium that can be read by a computer.

기록 매체는 부호화 장치(100)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(130)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(110)에 의하여 실행되도록 구성될 수 있다.The recording medium may store at least one module required for the encoding apparatus 100 to operate. The memory 130 may store at least one module, and the at least one module may be configured to be executed by the processing unit 110 .

부호화 장치(100)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(120)를 통해 수행될 수 있다.A function related to communication of data or information of the encoding apparatus 100 may be performed through the communication unit 120 .

예를 들면, 통신부(120)는 비트스트림을 후술될 복호화 장치(200)로 전송할 수 있다.For example, the communication unit 120 may transmit the bitstream to the decoding apparatus 200 to be described later.

도 2은 일 실시예에 따른 복호화 장치의 구조도이다.2 is a structural diagram of a decoding apparatus according to an embodiment.

복호화 장치(200)는 버스(290)를 통하여 서로 통신하는 처리부(210), 메모리(230), 사용자 인터페이스(User Interface; UI) 입력 디바이스(250), UI 출력 디바이스(260) 및 저장소(storage)(240)를 포함할 수 있다. 또한, 복호화 장치(200)는 네트워크(299)에 연결되는 통신부(220)를 더 포함할 수 있다.The decryption apparatus 200 includes a processing unit 210 that communicates with each other through a bus 290 , a memory 230 , a user interface (UI) input device 250 , a UI output device 260 , and storage. (240). Also, the decryption apparatus 200 may further include a communication unit 220 connected to the network 299 .

처리부(210)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(230) 또는 저장소(240)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(210)는 적어도 하나의 하드웨어 프로세서일 수 있다.The processing unit 210 may be a semiconductor device that executes processing instructions stored in a central processing unit (CPU), the memory 230 , or the storage 240 . The processing unit 210 may be at least one hardware processor.

처리부(210)는 복호화 장치(200)로 입력되거나, 복호화 장치(200)에서 출력되거나, 복호화 장치(200)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(210)에 의해 수행될 수 있다.The processing unit 210 may generate and process a signal, data, or information input to the decoding device 200, output from the decoding device 200, or used inside the decoding device 200, the signal, Inspection, comparison, and judgment related to data or information may be performed. In other words, in the embodiment, generation and processing of data or information, and inspection, comparison, and judgment related to data or information may be performed by the processing unit 210 .

처리부(210)에 의해 수행되는 각 단계들은 프로그램 모듈에 대응할 수 있다. 프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 복호화 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.Each step performed by the processing unit 210 may correspond to a program module. Program modules may be physically stored on various known storage devices. Also, at least some of these program modules may be stored in a remote storage device capable of communicating with the decryption device 200 .

프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.Program modules include routines, subroutines, programs, objects, components, and data that perform functions or operations according to an embodiment or implement abstract data types according to an embodiment. It may include, but is not limited to, a data structure and the like.

프로그램 모듈들은 복호화 장치(200)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.The program modules may include instructions or codes that are executed by at least one processor of the decoding apparatus 200 .

저장부는 메모리(230) 및/또는 저장소(240)를 나타낼 수 있다. 메모리(230) 및 저장소(240)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(230)는 롬(ROM)(231) 및 램(RAM)(232) 중 적어도 하나를 포함할 수 있다.Storage may represent memory 230 and/or storage 240 . Memory 230 and storage 240 may be various types of volatile or non-volatile storage media. For example, the memory 230 may include at least one of a ROM 231 and a RAM 232 .

저장부는 복호화 장치(200)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 복호화 장치(200)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.The storage unit may store data or information used for the operation of the decryption apparatus 200 . In an embodiment, data or information included in the decryption apparatus 200 may be stored in the storage unit.

예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.For example, the storage unit may store pictures, blocks, lists, motion information, inter prediction information, and bitstreams.

복호화 장치(200)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.The decryption apparatus 200 may be implemented in a computer system including a recording medium that can be read by a computer.

기록 매체는 복호화 장치(200)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(230)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(210)에 의하여 실행되도록 구성될 수 있다.The recording medium may store at least one module required for the decryption apparatus 200 to operate. The memory 230 may store at least one module, and the at least one module may be configured to be executed by the processing unit 210 .

복호화 장치(200)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(220)를 통해 수행될 수 있다.A function related to communication of data or information of the decryption apparatus 200 may be performed through the communication unit 220 .

예를 들면, 통신부(220)는 부호화 장치(100)로부터 비트스트림을 수신할 수 있다.For example, the communication unit 220 may receive a bitstream from the encoding apparatus 100 .

이하에서, 용어 "인코더(encoder)"는 부호화 장치(100)를 나타낼 수 있다. 용어 "디코더(decoder)"는 복호화 장치(200)를 나타낼 수 있다.Hereinafter, the term “encoder” may refer to the encoding apparatus 100 . The term “decoder” may refer to the decoding apparatus 200 .

인코더 네트워크 및 디코더 네트워크를 사용하는 이미지 및 비디오의 압축Compression of images and videos using encoder networks and decoder networks

이미지 및 비디오에 대한 압축 기술을 중심으로, 최근 신경망(neural network)을 이용하는 데이터 압축 기술이 개발되고 있다.With a focus on image and video compression techniques, data compression techniques using a neural network have recently been developed.

이러한 기술들은 주로 입력된 데이터의 피쳐(feature)를 추출(extract)하는 인코더 네트워크(말하자면, 피쳐 추출 네트워크) 및 추출된 피쳐로부터 데이터를 재구축(reconstruction)하는 디코더 네트워크(말하자면, 재구축 네트워크)를 포함할 수 있다.These techniques mainly include encoder networks that extract features of input data (say, feature extraction networks) and decoder networks that reconstruct data from the extracted features (say, reconstruction networks). may include

압축 네트워크는 인코더 네트워크 및 디코더 네트워크를 포함할 수 있다. 전술된 것과 같이, 인코더 네트워크는 부호화 장치(100)일 수 있다. 디코더 네트워크는 복호화 장치(200)일 수 있다. 압축 네트워크의 부호화 장치(100) 및 복호화 장치(200)는 (물리적으로) 하나의 장치일 수도 있다. 부호화 장치(100) 및 복호화 장치(200)의 동일한 명칭을 갖는 구성요소(component)들은 하나의 장치의 하나의 구성요소일 수 있다. The compression network may include an encoder network and a decoder network. As described above, the encoder network may be the encoding apparatus 100 . The decoder network may be the decoding device 200 . The encoding apparatus 100 and the decoding apparatus 200 of the compression network may be (physically) one apparatus. Components having the same name of the encoding apparatus 100 and the decoding apparatus 200 may be one component of one apparatus.

인코더 네트워크는 대부분 공간적인 간소화의 작업을 위해 다운스케일링의 과정을 포함할 수 있다. 다운스케일링은 컨볼루션 레이어를 통해 이루어질 수 있다. 또는, 다운스케일링은 서브-샘플링 및 맥스-풀링(max-pooling)과 같은 별도의 방식을 통해 이루어질 수 있다.Encoder networks can mostly include a process of downscaling for spatial simplification. Downscaling can be done through a convolutional layer. Alternatively, the downscaling may be performed through separate methods such as sub-sampling and max-pooling.

디코더 네트워크는 추출된 피쳐에 대한 데이터로부터 원래의 크기의 이미지를 복원하기 위해 업스케일링을 수행할 수 있다. 업스케일링의 과정은 컨볼루션 레이어를 통해 이루어질 수 있다. 또는, 업스케일링의 과정은 별도의 업스케일링 방식을 통해 이루어질 수 있다.The decoder network may perform upscaling to reconstruct an image of an original size from the data for the extracted features. The upscaling process may be performed through a convolutional layer. Alternatively, the upscaling process may be performed through a separate upscaling method.

기존의 압축 네트워크는, 다양한 크기들의 이미지들을 나타내는 데이터를 처리하기 위해, 압축 네트워크 내부의 다운스케일링 및 업스케일링의 비율들에 따라 이미지에 패딩을 적용함으로써 이미지를 적절한 크기로 변환할 수 있다. 여기에서, 데이터는 이미지를 나타낼 수 있다. 또는, 데이터는 복수의 이미지들을 포함하는 비디오일 수 있다.An existing compression network can transform an image to an appropriate size by applying padding to the image according to the ratios of downscaling and upscaling inside the compression network, in order to process data representing images of various sizes. Here, the data may represent an image. Alternatively, the data may be a video including a plurality of images.

예시적인 실시예들에서, 데이터는 움직임 정보 및 잔차 정보를 포함할 수 있다. 또는, 실시예들의 이미지는 움직임 정보 및 잔차 정보를 포함할 수 있다. 또는, 실시예들의 이미지는 움직임 정보 및/또는 잔차 정보로 대체될 수 있다. 말하자면, 압축의 대상은 움직임 정보 및/또는 잔차 정보일 수 있다.In example embodiments, the data may include motion information and residual information. Alternatively, the image of the embodiments may include motion information and residual information. Alternatively, the image of the embodiments may be replaced with motion information and/or residual information. In other words, the target of compression may be motion information and/or residual information.

도 3은 일 실시예에 따른 패딩을 사용하는 부호화 방법의 흐름도이다.3 is a flowchart of an encoding method using padding according to an embodiment.

단계(310)에서, 부호화 장치(100)의 통신부(120)는 데이터를 수신할 수 있다. 데이터는 이미지를 나타낼 수 있다. 데이터의 수신을 통해 부호화 장치(100)는 입력된 데이터를 획득할 수 있다.In operation 310 , the communication unit 120 of the encoding apparatus 100 may receive data. The data may represent an image. Through the reception of data, the encoding apparatus 100 may acquire input data.

단계(320)에서, 부호화 장치(100)의 처리부(110)는 데이터에 대한 패딩을 수행할 수 있다.In operation 320 , the processing unit 110 of the encoding apparatus 100 may perform padding on data.

일 실시예에서, 패딩은 데이터가 나타내는 이미지의 크기를 2ⁿ의 배수로 조정하는 것일 수 있다.In one embodiment, the padding may be to adjust the size of the image represented by the data by a ^{multiple of 2 n.}

일 실시예에서, 패딩은 이미지의 크기가 2ⁿ이 되도록 이미지에 특정된 값들을 삽입하는 것일 수 있다. 패딩은 데이터가 나타내는 이미지의 크기를 2ⁿ으로 조정하고, 패딩에 의해 추가된 영역에 특정된 값들을 삽입하는 것일 수 있다. 특정된 값은 0일 수 있다.In one embodiment, the padding may be to insert values specific to the image so that the size of the image is 2 ^n. The padding may be to adjust the size of the image represented by the data to 2 ⁿ , and to insert specific values into the area added by the padding. The specified value may be zero.

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

일 실시예에서, n은 1 이상의 정수일 수 있다. 실시예에서는, n이 4인 경우에 대해서 설명될 수 있다. 예를 들면, 패딩은 데이터가 나타내는 이미지의 크기를 16의 배수로 조정하는 것일 수 있다.In one embodiment, n may be an integer of 1 or more. In the embodiment, a case where n is 4 may be described. For example, the padding may be to adjust the size of the image represented by the data by a multiple of 16.

단계들(330 및 380)에서, 처리부(110)는 패딩된 이미지에 복수의 다운스케일링들을 적용함으로써, 이미지의 피쳐를 추출할 수 있다.In steps 330 and 380 , the processing unit 110 may extract a feature of the image by applying a plurality of downscalings to the padded image.

단계(330)에서, 처리부(110)는 패딩된 이미지에 복수의 다운스케일링들을 적용함으로써 다운스케일된 이미지를 생성할 수 있다.In operation 330 , the processing unit 110 may generate a downscaled image by applying a plurality of downscalings to the padded image.

일 실시예에서, 복수의 다운스케일링들은 4 회의 다운스케일링들일 수 있다.In one embodiment, the plurality of downscalings may be 4 downscalings.

일 실시예에서, 복수의 다운스케일링들의 각 다운스케일링은 이미지를 수평 방향으로 1/2의 크기로 줄이고, 수직 방향으로 1/2의 크기로 줄일 수 있다.In an embodiment, each downscaling of the plurality of downscalings may reduce the image to 1/2 the size in the horizontal direction and 1/2 the size in the vertical direction.

예를 들면, 4 회의 다운스케일링들은 패딩된 이미지를 수평 방향으로 1/16의 크기로 줄이고, 수직 방향으로 1/16의 크기로 줄일 수 있다.For example, 4 downscalings can reduce the padded image to a size of 1/16 in the horizontal direction and 1/16 in the vertical direction.

실시예에서는 압축 신경망의 다른 요소가 생략될 수 있다. 압축 기술에 따라, 복수의 다운스케일링들의 각 다운스케일링들은 이미지에 대한 다운스케일링 외에도 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.In an embodiment, other elements of the compressed neural network may be omitted. Depending on the compression technique, each downscaling of the plurality of downscalings may include processing of the image by a convolutional layer and/or non-linear in addition to the downscaling of the image. can

아래에서는, 4 회의 다운스케일링들이 수행되는 경우의 실시예가 예시적으로 설명된다.In the following, an embodiment in which 4 downscalings are performed is exemplarily described.

단계(330)는 단계들(340, 350, 360 및 370)을 포함할 수 있다.Step 330 may include steps 340 , 350 , 360 and 370 .

단계(340)에서, 처리부(110)는 패딩된 이미지에 대한 1/2의 다운스케일링을 수행할 수 있다.In operation 340, the processing unit 110 may perform 1/2 downscaling on the padded image.

예를 들면, 다운스케일링은 이미지의 폭을 1/2로 줄이고, 이미지의 높이를 1/2로 줄일 수 있다.For example, downscaling can reduce the width of the image by half and the height of the image by half.

단계(340)의 다운스케일링은 간략하게 도시된 것일 수 있다. 단계(340)의 다운스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 패딩된 이미지에 대한 처리를 포함할 수 있다.The downscaling in step 340 may be simplified. The downscaling in step 340 may include processing the padded image by a convolutional layer and/or non-linear.

단계(350)에서, 처리부(110)는 패딩된 이미지에 대한 다운스케일링을 수행할 수 있다. 단계(340)에 대하여 설명된 내용은 단계(350)에도 적용될 수 있다. 중복되는 설명은 생략된다.In operation 350, the processing unit 110 may perform downscaling on the padded image. What has been described with respect to step 340 may also be applied to step 350 . A duplicate description is omitted.

단계(360)에서, 처리부(110)는 패딩된 이미지에 대한 다운스케일링을 수행할 수 있다. 단계(340)에 대하여 설명된 내용은 단계(360)에도 적용될 수 있다. 중복되는 설명은 생략된다.In operation 360, the processing unit 110 may perform downscaling on the padded image. What has been described with respect to step 340 may also be applied to step 360 . A duplicate description is omitted.

단계(370)에서, 처리부(110)는 패딩된 이미지에 대한 다운스케일링을 수행할 수 있다. 단계(340)에 대하여 설명된 내용은 단계(370)에도 적용될 수 있다. 중복되는 설명은 생략된다.In operation 370 , the processing unit 110 may perform downscaling on the padded image. What has been described with respect to step 340 may also be applied to step 370 . A duplicate description is omitted.

단계(380)에서, 처리부(110)는 다운스케일된 이미지로부터 피쳐(feature)를 추출할 수 있다.In step 380, the processing unit 110 may extract a feature (feature) from the downscaled image.

단계(390)에서, 통신부(120)는 추출된 피쳐를 나타내는 피쳐 정보를 복호화 장치(200)로 전송할 수 있다.In operation 390 , the communication unit 120 may transmit feature information indicating the extracted feature to the decoding apparatus 200 .

피쳐 정보는 이미지의 원(original) 크기 정보를 포함할 수 있다. 원 크기 정보는 이미지의 패딩 전 원래의 크기를 나타낼 수 있다.The feature information may include original size information of the image. The original size information may indicate the original size before padding of the image.

또는, 단계(390)에서, 통신부(120)는 피쳐 정보와 함께 원 크기 정보를 복호화 장치(200)로 전송할 수 있다.Alternatively, in step 390 , the communication unit 120 may transmit the original size information together with the feature information to the decoding apparatus 200 .

도 4는 일 실시예에 따른 트리밍을 사용하는 복호화 방법의 흐름도이다.4 is a flowchart of a decoding method using trimming according to an embodiment.

단계(410)에서, 복호화 장치(200)의 통신부(220)는 부호화 장치(100)로부터 패딩된 이미지에 대한 피쳐 정보를 수신할 수 있다.In operation 410 , the communication unit 220 of the decoding apparatus 200 may receive feature information about the padded image from the encoding apparatus 100 .

피쳐 정보는 이미지의 원 크기 정보를 포함할 수 있다. 원 크기 정보는 이미지의 부호화 장치(100)에 의해 수행된 패딩의 전의 원래의 크기를 나타낼 수 있다.The feature information may include original size information of the image. The original size information may indicate an original size before padding performed by the image encoding apparatus 100 .

또는, 단계(410)에서, 통신부(220)는 피쳐 정보와 함께 원 크기 정보를 부호화 장치(100)로부터 수신할 수 있다.Alternatively, in step 410 , the communication unit 220 may receive original size information along with the feature information from the encoding apparatus 100 .

단계들(420 및 470)에서, 복호화 장치(200)의 처리부(210)는 피쳐 정보가 나타내는 다운스케일된 이미지에 복수의 업스케일링들을 적용함으로써 재구축된 이미지를 생성할 수 있다.In steps 420 and 470 , the processing unit 210 of the decoding apparatus 200 may generate a reconstructed image by applying a plurality of upscalings to the downscaled image indicated by the feature information.

단계(420)에서, 처리부(210)는 다운스케일된 이미지에 복수의 업스케일링들을 적용함으로써 업스케일된 이미지를 생성할 수 있다.In operation 420 , the processing unit 210 may generate an upscaled image by applying a plurality of upscalings to the downscaled image.

일 실시예에서, 복수의 업스케일링들은 4 회의 업스케일링들일 수 있다.In one embodiment, the plurality of upscalings may be 4 upscalings.

일 실시예에서, 복수의 업스케일링들의 각 업스케일링은 이미지를 수평 방향으로 2 배의 크기로 증가시키고, 수직 방향으로 2 배의 크기로 증가시킬 수 있다.In one embodiment, each upscaling of the plurality of upscalings may increase the image by a factor of two in the horizontal direction and by a factor of two in the vertical direction.

예를 들면, 4 회의 업스케일링들은 다운스케일된 이미지를 수평 방향으로 16 배의 크기로 늘리고, 수직 방향으로 16 배로 늘릴 수 있다.For example, 4 upscalings can stretch the downscaled image by a factor of 16 in the horizontal direction and 16 times in the vertical direction.

실시예에서는 압축 신경망의 다른 요소가 생략될 수 있다. 압축 기술에 따라, 복수의 업스케일링들의 각 업스케일링은 이미지에 대한 업스케일링 외에도 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.In an embodiment, other elements of the compressed neural network may be omitted. Depending on the compression technique, each upscaling of the plurality of upscalings may include processing of the image by a convolutional layer and/or non-linear in addition to the upscaling of the image. can

아래에서는, 4 회의 업스케일링들이 수행되는 경우의 실시예가 예시적으로 설명된다.In the following, an embodiment in a case where 4 times of upscaling is performed is exemplarily described.

단계(420)는 단계들(430, 440, 450 및 460)을 포함할 수 있다.Step 420 may include steps 430 , 440 , 450 and 460 .

단계(430)에서, 처리부(210)는 다운스케일된 이미지에 대한 업스케일링을 수행할 수 있다.In step 430 , the processing unit 210 may perform upscaling on the downscaled image.

예를 들면, 업스케일링은 이미지를 수평 방향으로 2 배의 크기로 늘리고, 수직방향으로 2 배의 크기로 늘릴 수 있다.For example, upscaling can double the size in the horizontal direction and double the size in the vertical direction.

단계(430)의 업스케일링은 간략하게 도시된 것일 수 있다. 단계(430)의 업스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 다운스케일된 이미지에 대한 처리를 포함할 수 있다.The upscaling of step 430 may be a simplified illustration. Upscaling in step 430 may include processing the downscaled image by a convolutional layer and/or non-linear.

단계(440)에서, 처리부(210)는 다운스케일된 이미지에 대한 업스케일링을 수행할 수 있다. 단계(430)에 대하여 설명된 내용은 단계(440)에도 적용될 수 있다. 중복되는 설명은 생략된다.In operation 440 , the processing unit 210 may perform upscaling on the downscaled image. What has been described with respect to step 430 may also be applied to step 440 . A duplicate description is omitted.

단계(450)에서, 처리부(210)는 다운스케일된 이미지에 대한 업스케일링을 수행할 수 있다. 단계(430)에 대하여 설명된 내용은 단계(450)에도 적용될 수 있다. 중복되는 설명은 생략된다.In operation 450 , the processing unit 210 may perform upscaling on the downscaled image. What has been described with respect to step 430 may also be applied to step 450 . A duplicate description is omitted.

단계(460)에서, 처리부(210)는 다운스케일된 이미지에 대한 업스케일링을 수행할 수 있다. 단계(430)에 대하여 설명된 내용은 단계(460)에도 적용될 수 있다. 중복되는 설명은 생략된다.In operation 460, the processing unit 210 may perform upscaling on the downscaled image. What has been described with respect to step 430 may also be applied to step 460 . A duplicate description is omitted.

단계(470)에서, 처리부(210)는 업스케일된 이미지 대한 트리밍(trimming)을 수행함으로써 원 크기의 이미지를 생성할 수 있다.In operation 470 , the processing unit 210 may generate an image of the original size by performing trimming on the upscaled image.

일 실시예에서, 트리밍은 단계(320)에서 2ⁿ의 배수의 크기로 조정된 업스케일된 이미지의 크기를 패딩 이전의 원래의 크기로 변환하는 것일 수 있다.In one embodiment, the trimming may be to convert the size of the upscaled image scaled to a multiple of ^{2 n in step 320 to its original size before padding.}

일 실시예에서, 트리밍은 이미지의 크기가 원래의 크기가 되도록 단계(320)에서 삽입된 특정된 값들을 제거하는 것일 수 있다. 트리밍은 단계(320)에서의 패딩에 의해 추가된 영역에 삽입되었던 특정된 값들을 제거하고, 2ⁿ의 크기를 갖는 업스케일된 이미지를 단계(320)에서의 패딩 이전의 원래의 크기로 조정하는 것일 수 있다. 특정된 값은 0일 수 있다.In one embodiment, the trimming may be to remove the specified values inserted in step 320 so that the size of the image is the original size. Trimming removes the specified values that have been inserted into the area added by padding in step 320 , and adjusts the upscaled image having a size of ^{2 n to its original size before padding in step 320 .} it could be The specified value may be zero.

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

일 실시예에서, n은 1 이상의 정수일 수 있다. 실시예에서는, n이 4인 경우에 대해서 설명될 수 있다. 예를 들면, 트리밍은 16의 배수의 크기를 갖는 이미지를 원래의 크기로 조정하는 것일 수 있다.In one embodiment, n may be an integer of 1 or more. In the embodiment, a case where n is 4 may be described. For example, trimming may be resizing an image having a size of a multiple of 16 to its original size.

단계(480)에서, 처리부(210)는 전술된 복수의 업스케일링들 및 트리밍에 의해 재구축된 이미지를 저장 또는 제공할 수 있다.In operation 480 , the processing unit 210 may store or provide an image reconstructed by the plurality of upscalings and trimmings described above.

도 3 및 도 4를 참조하여 전술된 압축 네트워크에서는, 기정의된 다운스케일링 및 업스케일링의 비율에 따라, 부호화 장치(100)는 입력된 데이터가 나타내는 이미지에 대한 패딩을 수행할 수 있고, 복호화 장치(200)는 업스케일된 이미지로부터 패딩된 영역을 제거함으로써 원래의 크기의 이미지에 해당하는 데이터를 추출할 수 있다.In the compression network described above with reference to FIGS. 3 and 4 , the encoding apparatus 100 may perform padding on an image represented by input data according to a predefined ratio of downscaling and upscaling, and the decoding apparatus 200 may extract data corresponding to the image of the original size by removing the padded area from the upscaled image.

예를 들면, 도 3 및 도 4의 실시예들에서, 부호화 장치(100)에서는 입력된 데이터가 나타내는 이미지에 대해 16의 배수의 크기를 갖도록 패딩이 적용될 수 있으며, 복호화 장치(200)에서는 상기의 패딩에 의해 생성된 영역이 제거될 수 있다. 이 때, 이미지의 원래의 크기는 부가 데이터의 형태로 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다.For example, in the embodiments of FIGS. 3 and 4 , in the encoding apparatus 100 , padding may be applied to an image represented by input data to have a size of a multiple of 16, and in the decoding apparatus 200 , the above An area created by padding may be removed. In this case, the original size of the image may be transmitted from the encoding apparatus 100 to the decoding apparatus 200 in the form of additional data.

이러한 패딩 및 트리밍의 방식은 부호화 장치(100)에서의 다운스케일링의 비율이 증가할수록 패딩의 영역 또한 비례하여 증가하는 문제를 유발할 수 있다.This padding and trimming method may cause a problem in that as the downscaling rate in the encoding apparatus 100 increases, the padding area also increases proportionally.

아래에서는, 데이터가 나타내는 이미지에 대한 패딩의 영역을 감소시키는 방법이 설명된다.In the following, a method for reducing the area of padding for an image represented by data is described.

도 5은 일 실시예에 따른 복수의 패딩들 및 복수의 다운스케일링들을 사용하는 부호화 방법의 흐름도이다.5 is a flowchart of an encoding method using a plurality of paddings and a plurality of downscalings according to an embodiment.

단계(510)에서, 부호화 장치(100)의 통신부(120)는 데이터를 수신할 수 있다. 데이터는 이미지를 나타낼 수 있다. 데이터의 수신을 통해 부호화 장치(100)는 입력된 데이터를 획득할 수 있다.In operation 510 , the communication unit 120 of the encoding apparatus 100 may receive data. The data may represent an image. Through the reception of data, the encoding apparatus 100 may acquire input data.

단계들(520 및 570)에서, 처리부(110)는 데이터가 나타내는 이미지에 복수의 패딩들 및 복수의 다운스케일링들을 적용함으로써, 이미지의 피쳐를 추출할 수 있다.In steps 520 and 570 , the processing unit 110 may extract a feature of the image by applying a plurality of paddings and a plurality of downscaling to the image represented by the data.

단계(520)에서, 처리부(110)는 데이터가 나타내는 이미지에 패딩 및 다운스케일링을 2 회 이상 적용할 수 있다.In operation 520 , the processing unit 110 may apply padding and downscaling to the image represented by the data twice or more.

처리부(110)는 이미지에 패딩을 적용한 후, 이미지에 다운스케일링을 적용할 수 있다. 말하자면, 복수의 패딩들 및 복수의 다운스케일링들은 하나의 패딩이 적용된 후 패딩에 대응하는 하나의 다운스케일링이 적용되는 순서로 이미지에 적용될 수 있다. After applying the padding to the image, the processing unit 110 may apply downscaling to the image. In other words, a plurality of paddings and a plurality of downscaling may be applied to the image in the order in which one padding is applied and then one downscaling corresponding to the padding is applied.

복수의 패딩들 및 복수의 다운스케일링들은 패딩 및 다운스케일링의 쌍(pair)들이 복수 회 수행됨을 의미할 수 있다.The plurality of paddings and the plurality of downscaling may mean that pairs of padding and downscaling are performed a plurality of times.

이미지에 대한 m 번의 패딩들 및 m 번의 다운스케일링들은 서로 교대하여 수행될 수 있다. m은 2 이상의 정수일 수 있다.m paddings and m downscalings for the image may be performed alternately. m may be an integer of 2 or more.

m 번의 패딩들 및 다운스케일링들 중 k 번째의 패딩 및 다운스케일링은 서로 간에 대응할 수 있다. 다운스케일링의 비율에 따라 패딩이 적용된 이미지의 크기 및 이미지에서 패딩이 적용되는 영역이 결정될 수 있다.The k-th padding and downscaling of the m paddings and downscaling may correspond to each other. The size of the image to which the padding is applied and the area to which the padding is applied in the image may be determined according to the downscaling ratio.

일 실시예에서, 복수의 패딩들 및 복수의 다운스케일링들의 각 패딩 및 각 다운스케일링에 있어서, 이미지에 대한 각 패딩은 이미지의 크기를 n의 배수로 조정하는 것일 수 있고, 상기의 패딩에 대응하는 다운스케일링의 비율은 1/n일 수 있다.In one embodiment, in each padding and each downscaling of the plurality of paddings and the plurality of downscalings, each padding for the image may be to adjust the size of the image to a multiple of n, and a down corresponding to the padding. The scaling ratio may be 1/n.

각 다운스케일링의 비율에 따라, 다운스케일링에 대응하는 패딩에 의해 추가되는 영역이 결정될 수 있다.According to the ratio of each downscaling, an area added by padding corresponding to the downscaling may be determined.

예를 들면, 각 다운스케일링의 비율은 1/2일 수 있고, 이러한 다운스케일링의 비율에 따라, 이미지에 대한 패딩은 이미지의 폭 및 높이가 2의 배수가 되도록 조정하는 것일 수 있다.For example, the ratio of each downscaling may be 1/2, and according to this ratio of downscaling, the padding for the image may be to adjust the width and height of the image to be a multiple of two.

이미지에 대한 각 패딩은 이미지의 크기를 n의 배수들 중 현재의 이미지의 크기의 이상인 가장 작은 수로 조정하는 것일 수 있다.Each padding for the image may be to adjust the size of the image to the smallest number greater than or equal to the size of the current image among multiples of n.

예를 들면, 복수의 패딩들의 각 패딩에 의해 이미지에 추가되는 하나 이상의 라인들의 개수는 0의 이상이며, n-1의 이하일 수 있다.For example, the number of one or more lines added to the image by each padding of the plurality of paddings may be greater than or equal to 0 and less than or equal to n-1.

또는, 이미지에 대한 각 패딩은 이미지의 크기를 2의 배수로 조정하는 것일 수 있고, 상기의 패딩에 대응하는 다운스케일링의 비율은 1/2일 수 있다.Alternatively, each padding for the image may be to adjust the size of the image by a multiple of 2, and the ratio of downscaling corresponding to the padding may be 1/2.

예를 들면, 첫 번째의 다운스케일링의 비율은 1/2일 수 있다. 이러한 첫 번째의 다운스케일링의 비율에 따라, 이미지의 폭 및 높이가 2의 배수가 되도록 첫 번째의 패딩이 수행될 수 있다.For example, the ratio of the first downscaling may be 1/2. According to the ratio of the first downscaling, the first padding may be performed so that the width and height of the image are multiples of two.

각 패딩은 이미지의 크기가 n의 배수가 되도록 이미지에 특정된 값들을 삽입하는 것일 수 있다. 각 패딩은 데이터가 나타내는 이미지의 크기를 n의 배수로 조정하고, 각 패딩에 의해 추가된 영역에 특정된 값들을 삽입하는 것일 수 있다. 특정된 값은 0일 수 있다.Each padding may be to insert values specific to the image so that the size of the image is a multiple of n. Each padding may be to adjust the size of an image represented by data by a multiple of n, and to insert specific values into an area added by each padding. The specified value may be zero.

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

일 실시예에서, n은 2 이상의 정수일 수 있다. 실시예에서는, n이 2인 경우에 대해서 설명될 수 있다. 예를 들면, 각 패딩은 데이터가 나타내는 이미지의 크기를 2의 배수로 조정하는 것일 수 있다.In one embodiment, n may be an integer of 2 or more. In the embodiment, the case where n is 2 may be described. For example, each padding may be to adjust the size of the image represented by the data by a multiple of 2.

단계(520)에서, 처리부(110)는 이미지에 복수의 패딩들 및 복수의 다운스케일링들을 적용함으로써 다운스케일된 이미지를 생성할 수 있다.In operation 520 , the processing unit 110 may generate a downscaled image by applying a plurality of paddings and a plurality of downscalings to the image.

일 실시예에서, 복수의 패딩들 및 복수의 다운스케일링들은 4 회의 패딩 및 다운스케일링의 쌍(pair)들일 수 있다.In one embodiment, the plurality of paddings and plurality of downscalings may be pairs of four times of padding and downscaling.

일 실시예에서, 복수의 패딩들의 각 패딩은 이미지의 크기를 n의 배수로 늘릴 수 있다. 처리부(110)는 이미지의 크기가 n의 배수인지 여부를 판단할 수 있다, 만약, 이미지의 크기가 이미 n의 배수인 경우 처리부(110)는 이미지에 패딩을 적용하지 않을 수 있다.In one embodiment, each padding of the plurality of paddings may increase the size of the image by a multiple of n. The processing unit 110 may determine whether the size of the image is a multiple of n. If the size of the image is already a multiple of n, the processing unit 110 may not apply padding to the image.

일 실시예에서, 복수의 다운스케일링들의 각 다운스케일링은 이미지를 수평 방향으로 1/n의 크기로 줄일 수 있고, 수직 방향으로 1/n의 크기로 줄일 수 있다.In an embodiment, each downscaling of the plurality of downscalings may reduce the image to a size of 1/n in a horizontal direction and may reduce an image to a size of 1/n in a vertical direction.

예를 들면, 복수의 패딩들의 각 패딩은 이미지의 크기를 2의 배수로 늘릴 수 있다. 만약, 이미지의 크기가 이미 2의 배수인 경우 패딩이 적용되지 않을 수 있다. 복수의 다운스케일링들의 각 다운스케일링은 이미지를 수평 방향으로 1/2의 크기로 줄일 수 있고, 수직 방향으로 1/2의 크기로 줄일 수 있다.For example, each padding of the plurality of paddings may increase the size of the image by a factor of two. If the size of the image is already a multiple of 2, padding may not be applied. Each downscaling of the plurality of downscalings may reduce the image to 1/2 the size in the horizontal direction, and may reduce the image to 1/2 the size in the vertical direction.

실시예에서는 압축 신경망의 다른 요소가 생략될 수 있다. 압축 기술에 따라, 복수의 다운스케일링들의 각 다운스케일링들은 이미지에 대한 다운스케일링 외에도 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.In an embodiment, other elements of the compressed neural network may be omitted. Depending on the compression technique, each downscaling of the plurality of downscalings may include processing of the image by a convolutional layer and/or non-linear in addition to the downscaling of the image. can

아래에서는, n이 2이고, 패딩 및 다운스케일링의 쌍이 4 회 수행되는 경우의 실시예가 예시적으로 설명된다.Below, an embodiment in which n is 2 and a pair of padding and downscaling is performed 4 times is exemplarily described.

단계(520)는 단계들(530, 535, 540, 545, 550, 555, 560 및 565)을 포함할 수 있다.Step 520 may include steps 530 , 535 , 540 , 545 , 550 , 555 , 560 and 565 .

단계(530)에서, 처리부(110)는 이미지에 대한 제1 패딩을 수행하여, 이미지의 크기를 2의 배수로 조정할 수 있다.In operation 530 , the processing unit 110 may perform first padding on the image to adjust the size of the image to a multiple of two.

예를 들면, 이미지의 크기가 이미 2의 배수인 경우, 처리부(110)는 이미지에 대한 제1 패딩을 생략할 수 있다. 이미지의 크기가 2의 배수가 아닌 경우, 처리부(110)는 이미지에 하나의 라인을 추가하는 제1 패딩을 수행할 수 있다.For example, when the size of the image is already a multiple of 2, the processing unit 110 may omit the first padding for the image. When the size of the image is not a multiple of 2, the processing unit 110 may perform first padding for adding one line to the image.

단계(535)에서, 처리부(110)는 제1 패딩이 적용된 이미지에 대한 1/2의 제1 다운스케일링을 수행할 수 있다.In operation 535 , the processing unit 110 may perform a first downscaling of 1/2 on the image to which the first padding is applied.

예를 들면, 제1 다운스케일링은 이미지의 폭을 1/2로 줄이고, 이미지의 높이를 1/2로 줄일 수 있다.For example, the first downscaling may reduce the width of the image by half and reduce the height of the image by half.

단계(535)의 제1 다운스케일링은 간략하게 도시된 것일 수 있다. 단계(535)의 제1 다운스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.The first downscaling in step 535 may be a simplified illustration. The first downscaling in step 535 may include processing the image by a convolutional layer and/or non-linear.

단계(540)에서, 처리부(110)는 이미지에 대한 제2 패딩을 수행하여, 이미지의 크기를 조정할 수 있다.In operation 540 , the processing unit 110 may perform second padding on the image to adjust the size of the image.

단계(545)에서, 처리부(110)는 제2 패딩이 적용된 이미지에 대한 제2 다운스케일링을 수행할 수 있다.In operation 545 , the processor 110 may perform second downscaling on the image to which the second padding is applied.

단계들(530 및 535)에 대하여 설명된 내용은 단계들(540 및 545)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 530 and 535 may also apply to steps 540 and 545 . A duplicate description is omitted.

단계(550)에서, 처리부(110)는 이미지에 대한 제3 패딩을 수행하여, 이미지의 크기를 조정할 수 있다.In operation 550 , the processing unit 110 may adjust the size of the image by performing third padding on the image.

단계(555)에서, 처리부(110)는 제3 패딩이 적용된 이미지에 대한 제3 다운스케일링을 수행할 수 있다.In operation 555 , the processing unit 110 may perform third downscaling on the image to which the third padding is applied.

단계들(530 및 535)에 대하여 설명된 내용은 단계들(550 및 555)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 530 and 535 may also apply to steps 550 and 555 . A duplicate description is omitted.

단계(560)에서, 처리부(110)는 이미지에 대한 제4 패딩을 수행하여, 이미지의 크기를 조정할 수 있다.In operation 560 , the processing unit 110 may adjust the size of the image by performing fourth padding on the image.

단계(565)에서, 처리부(110)는 제4 패딩이 적용된 이미지에 대한 제4 다운스케일링을 수행할 수 있다.In operation 565 , the processor 110 may perform fourth downscaling on the image to which the fourth padding is applied.

단계들(530 및 535)에 대하여 설명된 내용은 단계들(560 및 565)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 530 and 535 may also apply to steps 560 and 565 . A duplicate description is omitted.

단계(570)에서, 처리부(110)는 복수의 패딩들 및 복수의 다운스케일링들이 적용된 이미지로부터 피쳐(feature)를 추출할 수 있다.In operation 570 , the processing unit 110 may extract a feature from an image to which a plurality of paddings and a plurality of downscaling are applied.

단계(580)에서, 통신부(120)는 추출된 피쳐를 나타내는 피쳐 정보를 복호화 장치(200)로 전송할 수 있다.In operation 580 , the communication unit 120 may transmit feature information indicating the extracted feature to the decoding apparatus 200 .

피쳐 정보는 이미지의 원(original) 크기 정보를 포함할 수 있다. 원 크기 정보는 이미지의 패딩 전 원래의 크기를 나타낼 수 있다.The feature information may include original size information of the image. The original size information may indicate the original size before padding of the image.

또는, 단계(580)에서, 통신부(120)는 피쳐 정보와 함께 원 크기 정보를 복호화 장치(200)로 전송할 수 있다.Alternatively, in step 580 , the communication unit 120 may transmit the original size information together with the feature information to the decoding apparatus 200 .

피쳐 정보는 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 나타내는 라인 개수 정보를 포함할 수 있다. 말하자면, 라인 개수 정보는 복수의 패딩들의 각 패딩에서 얼만큼의 라인(들)이 추가되었는가를 나타낼 수 있다.The feature information may include line number information indicating the number of one or more lines added in the plurality of paddings. That is, the line number information may indicate how many line(s) are added in each padding of the plurality of paddings.

또는, 단계(580)에서, 통신부(120)는 피쳐 정보와 함께 라인 개수 정보를 복호화 장치(200)로 전송할 수 있다.Alternatively, in step 580 , the communication unit 120 may transmit line number information together with the feature information to the decoding apparatus 200 .

도 6은 일 실시예에 따른 복수의 업스케일링들 및 복수의 트리밍들을 사용하는 복호화 방법의 흐름도이다.6 is a flowchart of a decoding method using a plurality of upscalings and a plurality of trimmings according to an embodiment.

단계(610)에서, 복호화 장치(200)의 통신부(220)는 부호화 장치(100)로부터 이미지에 대한 피쳐 정보를 수신할 수 있다.In operation 610 , the communication unit 220 of the decoding apparatus 200 may receive feature information about an image from the encoding apparatus 100 .

피쳐 정보가 나타내는 이미지는 복수의 패딩들 및 복수의 다운스케일링들이 적용된 이미지일 수 있다.The image indicated by the feature information may be an image to which a plurality of paddings and a plurality of downscaling are applied.

피쳐 정보는 이미지의 원 크기 정보를 포함할 수 있다. 원 크기 정보는 이미지의 부호화 장치(100)에 의해 수행된 복수의 패딩들 및 복수의 다운스케일링들의 전의 원래의 크기를 나타낼 수 있다.The feature information may include original size information of the image. The original size information may indicate an original size before a plurality of paddings and a plurality of downscaling performed by the image encoding apparatus 100 .

또는, 단계(610)에서, 통신부(220)는 피쳐 정보와 함께 원 크기 정보를 부호화 장치(100)로부터 수신할 수 있다.Alternatively, in step 610 , the communication unit 220 may receive the original size information along with the feature information from the encoding apparatus 100 .

피쳐 정보는 부호화 장치(100)에서의 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수를 나타내는 라인 개수 정보를 포함할 수 있다.The feature information may include line number information indicating the number of one or more lines added in a plurality of paddings in the encoding apparatus 100 .

또는, 단계(610)에서, 통신부(220)는 피쳐 정보와 함께 라인 개수 정보를 부호화 장치(100)로부터 수신할 수 있다.Alternatively, in step 610 , the communication unit 220 may receive line number information from the encoding apparatus 100 together with the feature information.

단계(620)에서, 복호화 장치(200)의 처리부(210)는 피쳐 정보가 나타내는 이미지에 복수의 업스케일링들 및 복수의 트리밍들을 적용함으로써 업스케일된 이미지를 생성할 수 있다. 업스케일된 이미지는 재구축된 이미지일 수 있다.In operation 620 , the processing unit 210 of the decoding apparatus 200 may generate an upscaled image by applying a plurality of upscalings and a plurality of trimmings to the image indicated by the feature information. The upscaled image may be a reconstructed image.

단계(620)에서, 처리부(210)는 피쳐 정보가 나타내는 이미지에 업스케일링 및 트리밍을 2 회 이상 적용할 수 있다.In operation 620 , the processing unit 210 may apply upscaling and trimming to the image indicated by the feature information twice or more.

처리부(210)는 이미지에 업스케일링을 적용한 후, 이미지에 트리밍을 적용할 수 있다. 말하자면, 복수의 업스케일링들 및 복수의 트리밍들은 하나의 업스케일링이 적용된 후 업스케일링에 대응하는 하나의 트리밍이 적용되는 순서로 이미지에 적용될 수 있다.After applying upscaling to the image, the processing unit 210 may apply trimming to the image. In other words, a plurality of upscalings and a plurality of trimmings may be applied to the image in an order in which one upscaling is applied and then one trimming corresponding to the upscaling is applied.

복수의 업스케일링들 및 복수의 트리밍들은 업스케일링 및 트리밍의 쌍(pair)들이 복수 회 수행됨을 의미할 수 있다.A plurality of upscalings and a plurality of trimmings may mean that pairs of upscaling and trimming are performed a plurality of times.

여기에서, 복수의 업스케일링들 및 복수의 트리밍들의 쌍의 개수는 부호화 장치(100)에서 수행된 복수의 패딩들 및 복수의 다운스케일링들의 쌍의 개수와 동일할 수 있다.Here, the number of pairs of the plurality of upscalings and the plurality of trimmings may be the same as the number of pairs of the plurality of paddings and the plurality of downscalings performed by the encoding apparatus 100 .

이미지에 대한 m 번의 업스케일링들 및 m 번의 트리밍들은 서로 교대하여 수행될 수 있다. m은 2 이상의 정수일 수 있다.The m upscalings and m trimmings on the image may be performed alternately. m may be an integer of 2 or more.

복수의 업스케일링들의 각 업스케일링은 이미지의 크기를 n 배로 조정하는 것일 수 있다.Each upscaling of the plurality of upscalings may be to adjust the size of the image by n times.

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

이미지에 대한 트리밍은 부호화 장치(100)에 의해 수행된 복수의 패딩들 중 트리밍에 대응하는 패딩에서 추가된 라인의 개수만큼 이미지에서 라인을 제거하는 것일 수 있다.Trimming the image may be removing lines from the image by the number of lines added in the padding corresponding to the trimming among a plurality of paddings performed by the encoding apparatus 100 .

일 실시예에서, 복수의 업스케일링들 및 복수의 트리밍들의 각 업스케일링 및 각 트리밍에 있어서, 이미지에 대한 각 업스케일링은 이미지의 크기를 n 배로 늘리는 것일 수 있고, 상기의 업스케일링에 대응하는 트리밍은 부호화 장치(100)에서 수행된 패딩에 의해 추가된 하나 이상의 라인들의 개수만큼 업스케일링이 적용된 이미지에서 하나 이상의 라인들을 제거하는 것일 수 있다.In one embodiment, in each upscaling and each trimming of the plurality of upscalings and the plurality of trimmings, each upscaling for the image may be to increase the size of the image by n times, the trimming corresponding to the upscaling may be to remove one or more lines from an image to which upscaling is applied by the number of one or more lines added by padding performed by the encoding apparatus 100 .

부호화 장치(100)에서 수행된 복수의 패딩들 및 복호화 장치(200)에서 수행되는 복수의 트리밍들은 서로 대응할 수 있다.A plurality of paddings performed by the encoding apparatus 100 and a plurality of trimmings performed by the decoding apparatus 200 may correspond to each other.

부호화 장치(100)에서는 m 회의 패딩들이 수행될 수 있고, 이러한 패딩들에 대응하여 복호화 장치(200)에서는 m 회의 트리밍들이 수행될 수 있다. m 회의 패딩들 중 k 번째로 수행되는 패딩은 m 회의 트리밍들 중 m - k + 1 번째로 수행되는 트리밍에 대응할 수 있다. 여기에서, k는 1의 이상이며, m의 이하일 수 있다. 제k 패딩은 k 번째로 수행되는 패딩을 나타낼 수 있고, 제k 트리밍은 m - k + 1 번째로 수행되는 트리밍을 나타낼 수 있다.The encoding apparatus 100 may perform m paddings, and the decoding apparatus 200 may perform m trimmings in response to these paddings. The k-th padding performed among the m paddings may correspond to the m - k+1-th trimming performed among the m trimmings. Here, k is greater than or equal to 1, and may be less than or equal to m. The k-th padding may represent the k-th padding, and the k-th trimming may represent the m - k+1-th trimming.

서로 대응하는 제k 패딩 및 제k 트리밍에 있어서, 제k 패딩에 의해 추가되는 하나 이상의 라인들의 개수 및 제k 트리밍에 의해 제거되는 하나 이상의 라인들의 개수는 동일할 수 있다.In the k-th padding and k-th trimming corresponding to each other, the number of one or more lines added by the k-th padding and the number of one or more lines removed by the k-th trimming may be the same.

예를 들면, 복호화 장치(200)는 라인 개수 정보가 나타내는 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 역순으로 사용하여 복수의 트리밍들에서 제거되는 하나 이상의 라인들의 개수들을 결정할 수 있다.For example, the decoding apparatus 200 may determine the number of one or more lines removed in the plurality of trimmings by using the number of one or more lines added in the plurality of paddings indicated by the line number information in a reverse order.

말하자면, 부호화 장치(100)는 복수의 패딩들 중 k 번째의 패딩에서 추가된 하나 이상의 라인들의 개수들을 나타내는 라인 개수 정보를 복호화 장치(200)로 전송할 수 있고, 복호화 장치(200)는 라인 개수 정보를 사용하여 k 번째의 패딩에 대응하는 m - k + 1 번째의 트리밍에서 제거될 하나 이상의 라인들의 개수를 결정할 수 있다.That is, the encoding apparatus 100 may transmit line number information indicating the number of one or more lines added in the k-th padding among the plurality of paddings to the decoding apparatus 200 , and the decoding apparatus 200 may transmit line number information may be used to determine the number of one or more lines to be removed in the m - k + 1st trimming corresponding to the k-th padding.

예를 들면, 복수의 트리밍들의 각 트리밍에 의해 이미지로부터 제거되는 라인(들)의 개수는 0의 이상이며, n-1의 이하일 수 있다.For example, the number of line(s) removed from the image by each trimming of the plurality of trimmings may be greater than or equal to zero and less than or equal to n-1.

예를 들면, 이미지에 대한 각 트리밍은 이미지의 크기를 2의 배수로 조정하는 것일 수 있다.For example, each trimming of the image may be to resize the image by a multiple of two.

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

일 실시예에서, n은 2 이상의 정수일 수 있다. 실시예에서는, n이 2인 경우에 대해서 설명될 수 있다. 예를 들면, 각 업스케일링은 데이터가 나타내는 이미지의 크기를 2 배로 늘리는 것일 수 있다.In one embodiment, n may be an integer of 2 or more. In the embodiment, the case where n is 2 may be described. For example, each upscaling may be to double the size of the image represented by the data.

아래에서는, n이 2이고, 업스케일링 및 트리밍의 쌍이 4 회 수행되는 경우의 실시예가 예시적으로 설명된다.In the following, an embodiment in the case where n is 2 and a pair of upscaling and trimming is performed 4 times is exemplarily described.

단계(620)는 단계들(630, 635, 640, 645, 650, 655, 660 및 665)을 포함할 수 있다.Step 620 may include steps 630 , 635 , 640 , 645 , 650 , 655 , 660 and 665 .

단계(630)에서, 처리부(210)는 이미지에 대한 제4 업스케일링을 수행하여, 이미지의 크기를 2 배로 늘릴 수 있다. 제4 업스케일링은 부호화 장치(100)에서의 제4 다운스케일링에 대응할 수 있다.In operation 630 , the processing unit 210 may double the size of the image by performing a fourth upscaling on the image. The fourth upscaling may correspond to the fourth downscaling in the encoding apparatus 100 .

단계(635)에서, 처리부(210)는 제4 업스케일링이 적용된 이미지에 대한 제4 트리밍을 수행할 수 있다.In operation 635 , the processing unit 210 may perform fourth trimming on the image to which the fourth upscaling is applied.

여기에서, 제4 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제4 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the fourth trimming may be the same as the number of one or more lines inserted in the fourth padding in the encoding apparatus 100 .

말하자면, 부호화 장치(100)에서는 m 회의 패딩들이 수행될 수 있고, 이러한 패딩들에 대응하여 복호화 장치(200)에서는 m 회의 트리밍들이 수행될 수 있다. 부호화 장치(100)에서의 제k 패딩에서 추가된 하나 이상의 라인들은 복호화 장치(200)에서의 제k 트리밍에 의해 제거될 수 있다.That is, the encoding apparatus 100 may perform m paddings, and the decoding apparatus 200 may perform m trimmings in response to these paddings. One or more lines added in the k-th padding in the encoding apparatus 100 may be removed by k-th trimming in the decoding apparatus 200 .

여기에서, 부호화 장치(100)에서의 제k 패딩은 부호화 장치(100)에서의 복수의 패딩들 중 k 번째로 수행된 패딩을 의미할 수 있다. 복호화 장치(200)에서의 제k 트리밍은 복호화 장치(200)에서 수행된 복수의 트리밍들 중 m - k + 1 번째로 수행된 트리밍을 의미할 수 있다. 즉, 부호화 장치(100)에서의 복수의 패딩들 및 복호화 장치(200)에서의 복수의 트리밍들은 역순으로 서로 대응할 수 있다.Here, the k-th padding in the encoding apparatus 100 may mean the k-th padding performed among a plurality of paddings in the encoding apparatus 100 . The k-th trimming in the decoding apparatus 200 may mean a trimming performed m - k + 1st among a plurality of trimmings performed in the decoding apparatus 200 . That is, the plurality of paddings in the encoding apparatus 100 and the plurality of trimmings in the decoding apparatus 200 may correspond to each other in the reverse order.

처리부(210)는 라인 개수 정보를 사용하여 제k 트리밍에 의해 제거될 하나 이상의 라인들의 개수를 결정할 수 있다.The processing unit 210 may determine the number of one or more lines to be removed by k-th trimming using the line number information.

단계(640)에서, 처리부(210)는 이미지에 대한 제3 업스케일링을 수행하여, 이미지의 크기를 2 배로 늘릴 수 있다. 제3 업스케일링은 부호화 장치(100)에서의 제3 다운스케일링에 대응할 수 있다.In operation 640 , the processing unit 210 may double the size of the image by performing third upscaling on the image. The third upscaling may correspond to the third downscaling in the encoding apparatus 100 .

단계(645)에서, 처리부(210)는 제3 업스케일링이 적용된 이미지에 대한 제3 트리밍을 수행할 수 있다.In operation 645 , the processing unit 210 may perform third trimming on the image to which the third upscaling is applied.

여기에서, 제3 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제3 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the third trimming may be the same as the number of one or more lines inserted in the third padding in the encoding apparatus 100 .

단계들(630 및 635)에 대하여 설명된 내용은 단계들(640 및 645)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 630 and 635 may also apply to steps 640 and 645 . A duplicate description is omitted.

단계(650)에서, 처리부(210)는 이미지에 대한 제2 업스케일링을 수행하여, 이미지의 크기를 2 배로 늘릴 수 있다. 제2 업스케일링은 부호화 장치(100)에서의 제2 다운스케일링에 대응할 수 있다.In operation 650 , the processing unit 210 may double the size of the image by performing second upscaling on the image. The second upscaling may correspond to the second downscaling in the encoding apparatus 100 .

단계(655)에서, 처리부(210)는 제2 업스케일링이 적용된 이미지에 대한 제2 트리밍을 수행할 수 있다.In operation 655 , the processing unit 210 may perform second trimming on the image to which the second upscaling is applied.

여기에서, 제2 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제2 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the second trimming may be the same as the number of one or more lines inserted in the second padding in the encoding apparatus 100 .

단계들(630 및 635)에 대하여 설명된 내용은 단계들(650 및 655)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 630 and 635 may also apply to steps 650 and 655 . A duplicate description is omitted.

단계(660)에서, 처리부(210)는 이미지에 대한 제1 업스케일링을 수행하여, 이미지의 크기를 2 배로 늘릴 수 있다. 제1 업스케일링은 부호화 장치(100)에서의 제1 다운스케일링에 대응할 수 있다.In operation 660 , the processing unit 210 may double the size of the image by performing the first upscaling on the image. The first upscaling may correspond to the first downscaling in the encoding apparatus 100 .

단계(655)에서, 처리부(210)는 제1 업스케일링이 적용된 이미지에 대한 제1 트리밍을 수행할 수 있다.In operation 655 , the processing unit 210 may perform first trimming on the image to which the first upscaling is applied.

여기에서, 제1 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제1 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the first trimming may be the same as the number of one or more lines inserted in the first padding in the encoding apparatus 100 .

단계들(630 및 635)에 대하여 설명된 내용은 단계들(660 및 665)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 630 and 635 may also apply to steps 660 and 665 . A duplicate description is omitted.

단계(670)에서, 처리부(210)는 전술된 복수의 업스케일링들 및 복수의 트리밍들에 의해 재구축된 이미지를 저장 또는 제공할 수 있다.In operation 670 , the processing unit 210 may store or provide the image reconstructed by the plurality of upscalings and the plurality of trimmings described above.

도 5 및 도 6을 참조하여 전술된 방법들에 따라서 입력된 데이터가 나타내는 이미지에 대한 패딩들 및 트리밍들이 수행되는 경우, 복수의 패딩들에 의해 추가되는 영역이 감소될 수 있다.When paddings and trimmings are performed on an image represented by input data according to the methods described above with reference to FIGS. 5 and 6 , an area added by a plurality of paddings may be reduced.

전술된 것과 같이, 다운스케일링의 비율은 1/2일 수 있고, 다운스케일링의 비율에 따라, 이미지의 폭 및 높이가 2의 배수가 되도록 다운스케일링에 대한 패딩이 수행될 수 있다.As described above, the ratio of downscaling may be 1/2, and according to the ratio of downscaling, padding for downscaling may be performed so that the width and height of the image are multiples of two.

이러한 패딩에 따라, 수평 축에 대한 최대의 패딩 영역은 1 라인일 수 있고, 수직 축에 대한 최대의 패딩 영역은 1 라인일 수 있다. 도 3을 참조하여 전술된 실시예에서는 수평 축에 대한 최대의 패딩 영역은 15 라인들일 수 있고, 수직 축에 대한 최대의 패딩 영역은 15 라인들일 수 있다. 이러한 도 3을 참조하여 전술된 실시예를 고려하면, 도 5를 참조하여 전술된 실시예에서는 패딩 영역이 크게 감소될 수 있다.According to this padding, the maximum padding area for the horizontal axis may be 1 line, and the maximum padding area for the vertical axis may be 1 line. In the embodiment described above with reference to FIG. 3 , the maximum padding area on the horizontal axis may be 15 lines, and the maximum padding area on the vertical axis may be 15 lines. Considering the embodiment described above with reference to FIG. 3 , the padding area may be greatly reduced in the embodiment described above with reference to FIG. 5 .

구체적으로, 도 3을 참조하여 전술된 실시예에서는, 부호화 장치(100)에서 수행되는 전체의 다운스케일링들의 비율들의 곱을 고려하여 이미지에 대한 패딩이 수행되었으나, 도 5를 참조하는 실시예에서는 복수의 다운스케일링들의 각 다운스케일링의 비율에 따라 각 다운스케일링에 대응하는 패딩이 수행될 수 있다.Specifically, in the embodiment described above with reference to FIG. 3 , padding was performed on the image in consideration of the product of the ratios of all downscaling performed by the encoding apparatus 100 , but in the embodiment with reference to FIG. 5 , a plurality of Padding corresponding to each downscaling may be performed according to a ratio of each downscaling of the downscalings.

일 실시예에서, 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 전송하는 대신, 복호화 장치(200)의 처리부(210)는 특정된 방식으로 복수의 트리밍들에서 제거되는 하나 이상의 라인들의 개수들을 결정할 수 있다.In an embodiment, instead of transmitting the number of one or more lines added in the plurality of paddings, the processing unit 210 of the decoding apparatus 200 calculates the number of one or more lines removed from the plurality of trimmings in a specified manner. can decide

예를 들면, 복수의 트리밍들에서 제거되는 하나 이상의 라인들의 개수들은 아래의 수식 1, 수식 2, 수식 3 및 수식 4 에 의해 결정될 수 있다.For example, the number of one or more lines to be removed in the plurality of trimmings may be determined by Equation 1, Equation 2, Equation 3, and Equation 4 below.

[수식 1][Formula 1]

input_size₁ = 입력된 데이터가 나타내는 이미지의 크기input_size ₁ = size of image represented by input data

input_size₁은 단계(530)의 제1 패딩으로 입력되는 이미지의 크기일 수 있다.input_size ₁ may be the size of an image input as the first padding in step 530 .

[수식 2][Formula 2]

(when k > 1) input_size_k = padded_size_(k-1) / 2(when k > 1) input_size _k = padded_size _(k-1) / 2

input_size_k는 제k 패딩으로 입력되는 이미지의 크기일 수 있다.input_size _k may be the size of an image input as the kth padding.

padded_size_k는 제k 패딩이 적용된 이미지의 크기일 수 있다.padded_size _k may be the size of the image to which the k-th padding is applied.

[수식 3][Equation 3]

padded_size_k = ceil(input_size_k / 2) * 2padded_size _k = ceil(input_size _k / 2) * 2

ceil(x)는 x 이상의 정수들 중 최소 값일 수 있다.ceil(x) may be a minimum value among integers greater than or equal to x.

[수식 4][Equation 4]

pad_size_k = padded_size_k - input_size_k pad_size _k = padded_size _k - input_size _k

pad_size_k는 제k 패딩에서 추가된 영역의 크기를 나타낼 수 있다. 제k 패딩 대응하는 제k 트리밍에서는 제k 패딩에서의 크기만큼의 제거가 수행될 수 있다.pad_size _k may indicate the size of the area added in the k-th padding. In the k-th trimming corresponding to the k-th padding, removal by the size of the k-th padding may be performed.

도 5 및 도 6을 참조하여 전술된 실시예들은 다양한 다운스케일링들 및 업스케일링들의 비율들을 갖도록 확장될 수 있다.The embodiments described above with reference to FIGS. 5 and 6 can be extended to have various ratios of downscalings and upscalings.

아래에서는, 복수의 패딩들에서 추가되는 하나 이상의 라인들의 개수들이 서로 다른 방법이 설명된다.Hereinafter, a method in which the number of one or more lines added in a plurality of paddings is different is described.

도 7은 일 실시예에 따른 복수의 패딩들 및 복수의 다운스케일링들을 사용하는 부호화 방법의 흐름도이다.7 is a flowchart of an encoding method using a plurality of paddings and a plurality of downscalings according to an embodiment.

단계(710)에서, 부호화 장치(100)의 통신부(120)는 데이터를 수신할 수 있다. 데이터는 이미지를 나타낼 수 있다. 데이터의 수신을 통해 부호화 장치(100)는 입력된 데이터를 획득할 수 있다.In operation 710 , the communication unit 120 of the encoding apparatus 100 may receive data. The data may represent an image. Through the reception of data, the encoding apparatus 100 may acquire input data.

단계들(720 및 770)에서, 처리부(110)는 데이터가 나타내는 이미지에 복수의 패딩들 및 복수의 다운스케일링들을 적용함으로써, 이미지의 피쳐를 추출할 수 있다.In steps 720 and 770 , the processing unit 110 may extract a feature of the image by applying a plurality of paddings and a plurality of downscaling to the image represented by the data.

복수의 다운스케일링들의 비율들은 서로 다를 수 있고, 이에 따라 복수의 패딩들에 의해 추가될 수 있는 하나 이상의 라인들의 범위들은 서로 다를 수 있다.The ratios of the plurality of downscalings may be different, and thus the ranges of one or more lines that may be added by the plurality of paddings may be different.

단계(720)에서, 처리부(110)는 데이터가 나타내는 이미지에 패딩 및 다운스케일링을 2 회 이상 적용할 수 있다.In operation 720 , the processing unit 110 may apply padding and downscaling to the image represented by the data twice or more.

처리부(110)는 이미지에 패딩을 적용한 후, 이미지에 다운스케일링을 적용할 수 있다. 말하자면, 복수의 패딩들 및 복수의 다운스케일링들은 하나의 패딩이 적용된 후 패딩에 대응하는 하나의 다운스케일링이 적용되는 순서로 이미지에 적용될 수 있다. After applying the padding to the image, the processing unit 110 may apply downscaling to the image. That is, a plurality of paddings and a plurality of downscalings may be applied to the image in the order in which one downscaling corresponding to the padding is applied after one padding is applied.

복수의 패딩들 및 복수의 다운스케일링들은 패딩 및 다운스케일링의 쌍(pair)들이 복수 회 수행됨을 의미할 수 있다.A plurality of paddings and a plurality of downscaling may mean that pairs of padding and downscaling are performed a plurality of times.

이미지에 대한 m 번의 패딩들 및 m 번의 다운스케일링들은 서로 교대하여 수행될 수 있다. m은 2 이상의 정수일 수 있다.m paddings and m downscalings for the image may be performed alternately. m may be an integer of 2 or more.

m 번의 패딩들 및 다운스케일링들 중 k 번째의 패딩 및 다운스케일링은 서로 간에 대응할 수 있다. 다운스케일링의 비율에 따라 패딩이 적용된 이미지의 크기 및 이미지에서 패딩이 적용되는 영역이 결정될 수 있다. k는 1 이상 m 이하의 정수일 수 있다.The k-th padding and downscaling of the m paddings and downscaling may correspond to each other. The size of the image to which the padding is applied and the area to which the padding is applied in the image may be determined according to the downscaling ratio. k may be an integer of 1 or more and m or less.

일 실시예에서, 복수의 패딩들 및 복수의 다운스케일링들의 각 패딩 및 각 다운스케일링에 있어서, 이미지에 대한 제k 패딩은 이미지의 크기를 S_k의 배수로 조정하는 것일 수 있고, 상기의 제k 패딩에 대응하는 제k 다운스케일링의 비율은 1/S_k일 수 있다.In an embodiment, in each padding and each downscaling of the plurality of paddings and the plurality of downscalings, the kth padding for the image _{may be to adjust the size of the image to a multiple of S k} , wherein the kth padding A ratio of kth downscaling corresponding to may be _{1/S k.}

제k 다운스케일링의 비율에 따라, 제k 다운스케일링에 대응하는 제k 패딩에 의해 추가되는 영역이 결정될 수 있다.According to the ratio of the k-th downscaling, an area added by the k-th padding corresponding to the k-th downscaling may be determined.

예를 들면, 제k 다운스케일링의 비율은 1/S_k일 수 있고, 이러한 제k 다운스케일링의 비율에 따라, 이미지에 대한 제k 패딩은 이미지의 폭 및 높이가 S_k의 배수가 되도록 조정하는 것일 수 있다.For example, the ratio of the kth downscaling _{may be 1/S k} , and according to this ratio of the kth downscaling, the kth padding for the image is adjusted so that _{the width and height of the image are multiples of S k .} it could be

이러한 제k 패딩에 의해, 이미지에는 최소 0 개, 최대 S_k-1 개의 라인들이 추가될 수 있다. 말하자면, 제k 패딩에 의해 이미지에 추가되는 최대의 라인들의 개수가 S_k-1로 감소될 수 있다.By this k-th padding, a minimum of 0 and a maximum of S _k −1 lines may be added to the image. That is, the maximum number of lines added to the image by the kth padding may be reduced to _{S k −1 .}

이미지에 대한 제k 패딩은 이미지의 크기를 S_k의 배수들 중 현재의 이미지의 크기의 이상인 가장 작은 수로 조정하는 것일 수 있다.The kth padding for the image may be to adjust the size of the image to the smallest number greater than or equal to the size of the current image among multiples of _{S k .}

예를 들면, 복수의 패딩들의 제k 패딩에 의해 이미지에 추가되는 하나 이상의 라인들의 개수는 0의 이상이며, S_k-1의 이하일 수 있다.For example, the number of one or more lines added to the image by the kth padding of the plurality of paddings may be greater than or equal to 0 and less than or equal to _{S k −1 .}

또는, 이미지에 대한 제k 패딩은 이미지의 크기를 S_k의 배수로 조정하는 것일 수 있고, 상기의 제k 패딩에 대응하는 제k 다운스케일링의 비율은 1/S_k일 수 있다.Alternatively, the kth padding for the image _{may be to adjust the size of the image by a multiple of S k} , and the kth downscaling ratio corresponding to the kth padding may be _{1/S k .}

제k 패딩은 이미지의 크기가 n의 배수가 되도록 이미지에 특정된 값들을 삽입하는 것일 수 있다. 제k 패딩은 데이터가 나타내는 이미지의 크기를 S_k의 배수로 조정하고, 제k 패딩에 의해 추가된 영역에 특정된 값들을 삽입하는 것일 수 있다. 특정된 값은 0일 수 있다.The kth padding may be to insert values specific to the image so that the size of the image is a multiple of n. The k-th padding may be to adjust the size of an image represented by data by a _{multiple of S k} and insert values specified in the area added by the k-th padding. The specified value may be zero.

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

단계(720)에서, 처리부(110)는 이미지에 복수의 패딩들 및 복수의 다운스케일링들을 적용함으로써 다운스케일된 이미지를 생성할 수 있다.In operation 720 , the processing unit 110 may generate a downscaled image by applying a plurality of paddings and a plurality of downscalings to the image.

일 실시예에서, 복수의 패딩들 및 복수의 다운스케일링들은 4 회의 패딩 및 다운스케일링의 쌍(pair)들일 수 있다.In one embodiment, the plurality of paddings and plurality of downscalings may be pairs of four times of padding and downscaling.

일 실시예에서, 복수의 패딩들의 제k 패딩은 이미지의 크기를 S_k의 배수로 늘릴 수 있다. 처리부(110)는 이미지의 크기가 S_k의 배수인지 여부를 판단할 수 있다. 만약, 이미지의 크기가 이미 S_k의 배수인 경우 처리부(110)는 이미지에 제k 패딩을 적용하지 않을 수 있다.In an embodiment, the kth padding of the plurality of paddings may increase _{the size of the image by a multiple of S k .} The processing unit 110 may determine whether the size of the image is _{a multiple of S k .} If the size of the image is already _{a multiple of S k} , the processing unit 110 may not apply the k-th padding to the image.

일 실시예에서, 복수의 다운스케일링들의 제k 다운스케일링은 이미지를 수평 방향으로 1/S_k의 크기로 줄일 수 있고, 수직 방향으로 1/S_k의 크기로 줄일 수 있다.In one embodiment, the down-scaling of a plurality k of the down-scaling may be an image in the horizontal direction to reduce the size of the 1 / S _k, can be reduced in the vertical direction to a size of 1 / _k S.

실시예에서는 압축 신경망의 다른 요소가 생략될 수 있다. 압축 기술에 따라, 복수의 다운스케일링들의 각 다운스케일링들은 이미지에 대한 다운스케일링 외에도 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.In an embodiment, other elements of the compressed neural network may be omitted. Depending on the compression technique, each downscaling of the plurality of downscalings may include processing of the image by a convolutional layer and/or non-linear in addition to the downscaling of the image. can

아래에서는, 패딩 및 다운스케일링의 쌍이 4 회 수행되는 경우의 실시예가 예시적으로 설명된다.In the following, an embodiment in the case where a pair of padding and downscaling is performed 4 times is exemplarily described.

단계(720)는 단계들(730, 735, 740, 745, 750, 755, 760 및 765)을 포함할 수 있다.Step 720 may include steps 730 , 735 , 740 , 745 , 750 , 755 , 760 and 765 .

단계(730)에서, 처리부(110)는 이미지에 대한 제1 패딩을 수행하여, 이미지의 크기를 S₁의 배수로 조정할 수 있다.In operation 730 , the processor 110 may perform first padding on the image to adjust the size of the image to a multiple _{of S 1 .}

예를 들면, 이미지의 크기가 이미 S₁의 배수인 경우, 처리부(110)는 이미지에 대한 제1 패딩을 생략할 수 있다. 이미지의 크기가 S₁의 배수가 아닌 경우, 처리부(110)는 이미지에 하나 이상의 라인들을 추가하는 제1 패딩을 수행함으로써 이미지의 크기를 S₁의 배수로 조정할 수 있다.For example, when the size of the image is already _{a multiple of S 1} , the processing unit 110 may omit the first padding for the image. When the size of the image _{is not a multiple of S 1} , the processing unit 110 may adjust the size of the image to a multiple _{of S 1} by performing first padding for adding one or more lines to the image.

단계(735)에서, 처리부(110)는 제1 패딩이 적용된 이미지에 대한 1/S₁의 제1 다운스케일링을 수행할 수 있다.In operation 735 , the processor 110 may perform the first downscaling of _{1/S 1} on the image to which the first padding is applied.

예를 들면, 제1 다운스케일링은 이미지의 폭을 1/S₁로 줄이고, 이미지의 높이를 1/S₁로 줄일 수 있다.For example, the first downscaling may reduce the width of the image by 1/S ₁ and reduce the height of the image by 1/S ₁ .

단계(735)의 제1 다운스케일링은 간략하게 도시된 것일 수 있다. 단계(735)의 제1 다운스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.The first downscaling in step 735 may be a simplified illustration. The first downscaling in step 735 may include processing the image by a convolutional layer and/or non-linear.

단계(740)에서, 처리부(110)는 이미지에 대한 제2 패딩을 수행하여, 이미지의 크기를 S₂의 배수로 조정할 수 있다.In operation 740 , the processor 110 may perform second padding on the image to adjust the size of the image to a multiple _{of S 2 .}

예를 들면, 이미지의 크기가 이미 S₂의 배수인 경우, 처리부(110)는 이미지에 대한 제2 패딩을 생략할 수 있다. 이미지의 크기가 S₂의 배수가 아닌 경우, 처리부(110)는 이미지에 하나 이상의 라인들을 추가하는 제2 패딩을 수행함으로써 이미지의 크기를 S₂의 배수로 조정할 수 있다.For example, when the size of the image is already _{a multiple of S 2} , the processing unit 110 may omit the second padding for the image. When the size of the image _{is not a multiple of S 2} , the processing unit 110 may adjust the size of the image to a multiple _{of S 2} by performing second padding for adding one or more lines to the image.

단계(745)에서, 처리부(110)는 제2 패딩이 적용된 이미지에 대한 1/S₂의 제2 다운스케일링을 수행할 수 있다.In operation 745 , the processor 110 may perform a second downscaling of _{1/S 2} on the image to which the second padding is applied.

예를 들면, 제2 다운스케일링은 이미지의 폭을 1/S₂로 줄이고, 이미지의 높이를 1/S₂로 줄일 수 있다.For example, the second downscaling may reduce the width of the image by 1/S ₂ and reduce the height of the image by 1/S ₂ .

단계(745)의 제2 다운스케일링은 간략하게 도시된 것일 수 있다. 단계(745)의 제2 다운스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.The second downscaling in step 745 may be a simplified illustration. The second downscaling in step 745 may include processing the image by a convolutional layer and/or non-linear.

단계(750)에서, 처리부(110)는 이미지에 대한 제3 패딩을 수행하여, 이미지의 크기를 S₃의 배수로 조정할 수 있다.In operation 750 , the processing unit 110 may adjust the size of the image to a multiple _{of S 3 by performing third padding on the image.}

예를 들면, 이미지의 크기가 이미 S₃의 배수인 경우, 처리부(110)는 이미지에 대한 제3 패딩을 생략할 수 있다. 이미지의 크기가 S₃의 배수가 아닌 경우, 처리부(110)는 이미지에 하나 이상의 라인들을 추가하는 제3 패딩을 수행함으로써 이미지의 크기를 S₃의 배수로 조정할 수 있다.For example, when the size of the image is already _{a multiple of S 3} , the processing unit 110 may omit the third padding for the image. When the size of the image _{is not a multiple of S 3} , the processing unit 110 may adjust the size of the image to a multiple _{of S 3} by performing third padding for adding one or more lines to the image.

단계(755)에서, 처리부(110)는 제3 패딩이 적용된 이미지에 대한 1/S₃의 제3 다운스케일링을 수행할 수 있다.In operation 755 , the processing unit 110 may perform a third downscaling of _{1/S 3} on the image to which the third padding is applied.

예를 들면, 제3 다운스케일링은 이미지의 폭을 1/S₃로 줄이고, 이미지의 높이를 1/S₃로 줄일 수 있다.For example, the third downscaling may reduce the width of the image to 1/S ₃ and reduce the height of the image to 1/S ₃ .

단계(755)의 제3 다운스케일링은 간략하게 도시된 것일 수 있다. 단계(755)의 제3 다운스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.The third downscaling in step 755 may be a simplified illustration. The third downscaling in step 755 may include processing the image by a convolutional layer and/or non-linear.

단계(760)에서, 처리부(110)는 이미지에 대한 제4 패딩을 수행하여, 이미지의 크기를 S₄의 배수로 조정할 수 있다.In operation 760 , the processing unit 110 may adjust the size of the image to a multiple _{of S 4 by performing fourth padding on the image.}

예를 들면, 이미지의 크기가 이미 S₄의 배수인 경우, 처리부(110)는 이미지에 대한 제4 패딩을 생략할 수 있다. 이미지의 크기가 S₄의 배수가 아닌 경우, 처리부(110)는 이미지에 하나 이상의 라인들을 추가하는 제4 패딩을 수행함으로써 이미지의 크기를 S₄의 배수로 조정할 수 있다.For example, when the size of the image is already _{a multiple of S 4} , the processing unit 110 may omit the fourth padding for the image. When the size of the image _{is not a multiple of S 4} , the processing unit 110 may adjust the size of the image to a multiple _{of S 4} by performing fourth padding for adding one or more lines to the image.

단계(765)에서, 처리부(110)는 제4 패딩이 적용된 이미지에 대한 1/S₄의 제4 다운스케일링을 수행할 수 있다.In operation 765 , the processor 110 may perform a fourth downscaling of _{1/S 4} on the image to which the fourth padding is applied.

예를 들면, 제4 다운스케일링은 이미지의 폭을 1/S₄로 줄이고, 이미지의 높이를 1/S₄로 줄일 수 있다.For example, the fourth downscaling may reduce the width of the image to 1/S ₄ and reduce the height of the image to 1/S ₄ .

단계(765)의 제4 다운스케일링은 간략하게 도시된 것일 수 있다. 단계(765)의 제4 다운스케일링은 컨볼루셔널(convolutional) 레이어(layer) 및/또는 비-선형(non-linear)에 의한 이미지에 대한 처리를 포함할 수 있다.The fourth downscaling in step 765 may be a simplified illustration. The fourth downscaling in step 765 may include processing the image by a convolutional layer and/or non-linear.

단계(770)에서, 처리부(110)는 복수의 패딩들 및 복수의 다운스케일링들이 적용된 이미지로부터 피쳐(feature)를 추출할 수 있다.In operation 770 , the processing unit 110 may extract a feature from an image to which a plurality of paddings and a plurality of downscaling are applied.

단계(780)에서, 통신부(120)는 추출된 피쳐를 나타내는 피쳐 정보를 복호화 장치(200)로 전송할 수 있다.In operation 780 , the communication unit 120 may transmit feature information indicating the extracted feature to the decoding apparatus 200 .

피쳐 정보는 이미지의 원(original) 크기 정보를 포함할 수 있다. 원 크기 정보는 이미지의 패딩 전 원래의 크기를 나타낼 수 있다.The feature information may include original size information of the image. The original size information may indicate the original size before padding of the image.

또는, 단계(780)에서, 통신부(120)는 피쳐 정보와 함께 원 크기 정보를 복호화 장치(200)로 전송할 수 있다.Alternatively, in step 780 , the communication unit 120 may transmit the original size information together with the feature information to the decoding apparatus 200 .

피쳐 정보는 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 나타내는 라인 개수 정보를 포함할 수 있다. 말하자면, 라인 개수 정보는 복수의 패딩들의 각 패딩에서 얼만큼의 라인(들)이 추가되었는가를 나타낼 수 있다.The feature information may include line number information indicating the number of one or more lines added in the plurality of paddings. That is, the line number information may indicate how many line(s) are added in each padding of the plurality of paddings.

또는, 단계(780)에서, 통신부(120)는 피쳐 정보와 함께 라인 개수 정보를 복호화 장치(200)로 전송할 수 있다.Alternatively, in step 780 , the communication unit 120 may transmit line number information together with the feature information to the decoding apparatus 200 .

피쳐 정보는 비율 정보를 포함할 수 있다. 피쳐 정보는 복수의 다운스케일링들의 비율들을 포함할 수 있다. 또는, 피쳐 정보는 복수의 다운스케일링들의 비율들의 역수들을 포함할 수 있다.The feature information may include ratio information. The feature information may include ratios of a plurality of downscalings. Alternatively, the feature information may include reciprocals of ratios of a plurality of downscalings.

예를 들면, 비율 정보는 S₁ 내지 S_m을 포함할 수 있다. 또는, 비율 정보는 1/S₁ 내지 1/S_m을 포함할 수 있다.For example, the ratio information may include S ₁ to S _m . Alternatively, the ratio information may include 1/S ₁ to 1/S _m .

또는, 단계(780)에서, 통신부(120)는 피쳐 정보와 함께 비율 정보를 복호화 장치(200)로 전송할 수 있다.Alternatively, in step 780 , the communication unit 120 may transmit the ratio information together with the feature information to the decoding apparatus 200 .

도 8은 일 실시예에 따른 복수의 업스케일링들 및 복수의 트리밍들을 사용하는 복호화 방법의 흐름도이다.8 is a flowchart of a decoding method using a plurality of upscalings and a plurality of trimmings according to an embodiment.

단계(810)에서, 복호화 장치(200)의 통신부(220)는 부호화 장치(100)로부터 패딩된 이미지에 대한 피쳐 정보를 수신할 수 있다.In operation 810 , the communication unit 220 of the decoding apparatus 200 may receive feature information about the padded image from the encoding apparatus 100 .

피쳐 정보가 나타내는 이미지는 복수의 패딩들 및 복수의 다운스케일링들이 적용된 이미지일 수 있다.The image indicated by the feature information may be an image to which a plurality of paddings and a plurality of downscaling are applied.

피쳐 정보는 이미지의 원 크기 정보를 포함할 수 있다. 원 크기 정보는 이미지의 부호화 장치(100)에 의해 수행된 복수의 패딩들 및 복수의 다운스케일링들의 전의 원래의 크기를 나타낼 수 있다.The feature information may include original size information of the image. The original size information may indicate an original size before a plurality of paddings and a plurality of downscaling performed by the image encoding apparatus 100 .

또는, 단계(810)에서, 통신부(220)는 피쳐 정보와 함께 원 크기 정보를 부호화 장치(100)로부터 수신할 수 있다.Alternatively, in step 810 , the communication unit 220 may receive original size information along with the feature information from the encoding apparatus 100 .

피쳐 정보는 부호화 장치(100)에서의 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수를 나타내는 라인 개수 정보를 포함할 수 있다.The feature information may include line number information indicating the number of one or more lines added in a plurality of paddings in the encoding apparatus 100 .

또는, 단계(810)에서, 통신부(220)는 피쳐 정보와 함께 라인 개수 정보를 부호화 장치(100)로부터 수신할 수 있다.Alternatively, in operation 810 , the communication unit 220 may receive line number information from the encoding apparatus 100 together with the feature information.

피쳐 정보는 비율 정보를 포함할 수 있다. 비율 정보는 부호화 장치(100)에서 수행된 복수의 다운스케일링들의 비율들을 포함할 수 있다. 또는, 비율 정보는 부호화 장치(100)에서 수행된 복수의 다운스케일링들의 비율들의 역수들을 포함할 수 있다.The feature information may include ratio information. The ratio information may include ratios of a plurality of downscaling performed by the encoding apparatus 100 . Alternatively, the ratio information may include reciprocals of ratios of a plurality of downscaling performed by the encoding apparatus 100 .

예를 들면, 비율 정보는 S₁ 내지 S_m을 포함할 수 있다. 또는, 비율 정보는 1/S₁ 내지 1/S_m을 포함할 수 있다.For example, the ratio information may include S ₁ to S _m . Alternatively, the ratio information may include 1/S ₁ to 1/S _m .

m은 복수의 다운스케일링들의 개수일 수 있다.m may be the number of a plurality of downscalings.

또는, 단계(810)에서, 통신부(220)는 피쳐 정보와 함께 비율 정보를 부호화 장치(100)로부터 수신할 수 있다.Alternatively, in step 810 , the communication unit 220 may receive the ratio information along with the feature information from the encoding apparatus 100 .

단계(820)에서, 복호화 장치(200)의 처리부(210)는 피쳐 정보가 나타내는 이미지에 복수의 업스케일링들 및 복수의 트리밍들을 적용함으로써 업스케일된 이미지를 생성할 수 있다. 업스케일된 이미지는 재구축된 이미지일 수 있다.In operation 820 , the processing unit 210 of the decoding apparatus 200 may generate an upscaled image by applying a plurality of upscalings and a plurality of trimmings to the image indicated by the feature information. The upscaled image may be a reconstructed image.

단계(820)에서, 처리부(210)는 피쳐 정보가 나타내는 이미지에 업스케일링 및 트리밍을 2 회 이상 적용할 수 있다.In operation 820 , the processing unit 210 may apply upscaling and trimming to the image indicated by the feature information twice or more.

처리부(210)는 이미지에 업스케일링을 적용한 후, 이미지에 트리밍을 적용할 수 있다. 말하자면, 복수의 업스케일링들 및 복수의 트리밍들은 하나의 업스케일링이 적용된 후 업스케일링에 대응하는 하나의 트리밍이 적용되는 순서로 이미지에 적용될 수 있다.After applying upscaling to the image, the processing unit 210 may apply trimming to the image. In other words, a plurality of upscalings and a plurality of trimmings may be applied to the image in an order in which one upscaling is applied and then one trimming corresponding to the upscaling is applied.

복수의 업스케일링들 및 복수의 트리밍들은 업스케일링 및 트리밍의 쌍(pair)들이 복수 회 수행됨을 의미할 수 있다.A plurality of upscalings and a plurality of trimmings may mean that pairs of upscaling and trimming are performed a plurality of times.

여기에서, 복수의 업스케일링들 및 복수의 트리밍들의 쌍의 개수는 부호화 장치(100)에서 수행된 복수의 패딩들 및 복수의 다운스케일링들의 쌍의 개수와 동일할 수 있다.Here, the number of pairs of the plurality of upscalings and the plurality of trimmings may be the same as the number of pairs of the plurality of paddings and the plurality of downscalings performed by the encoding apparatus 100 .

이미지에 대한 m 번의 업스케일링들 및 m 번의 트리밍들은 서로 교대하여 수행될 수 있다. m은 2 이상의 정수일 수 있다.The m upscalings and m trimmings on the image may be performed alternately. m may be an integer of 2 or more.

복수의 업스케일링들의 제k 업스케일링은 이미지의 크기를 S_k 배로 조정하는 것일 수 있다. k는 1 이상 m 이하의 정수일 수 있다.The kth upscaling of the plurality of upscalings may be to adjust _{the size of the image by S k times.} k may be an integer of 1 or more and m or less.

처리부(210)는 비율 정보를 사용하여 S_k를 결정할 수 있다.The processing unit 210 may determine _{S k using the ratio information.}

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

복수의 트리밍들 중 이미지에 대한 제k 트리밍은 부호화 장치(100)에 의해 수행된 복수의 패딩들 중 제k 트리밍에 대응하는 제k 패딩에서 추가된 라인의 개수만큼 이미지에서 라인을 제거하는 것일 수 있다.Among the plurality of trimmings, the kth trimming for the image may be removing lines from the image by the number of lines added in the kth padding corresponding to the kth trimming among the plurality of paddings performed by the encoding apparatus 100 . have.

일 실시예에서, 복수의 업스케일링들 및 복수의 트리밍들의 각 업스케일링 및 각 트리밍에 있어서, 이미지에 대한 제k 업스케일링은 이미지의 크기를 S_k 배로 늘리는 것일 수 있고, 상기의 제k 업스케일링에 대응하는 제k 트리밍은 부호화 장치(100)에서 수행된 제k 패딩에 의해 추가된 하나 이상의 라인들의 개수만큼 제k 업스케일링이 적용된 이미지에서 하나 이상의 라인들을 제거하는 것일 수 있다.In an embodiment, in each upscaling and each trimming of the plurality of upscalings and the plurality of trims, the kth upscaling for the image _{may be to increase the size of the image by S k} times, the kth upscaling The k-th trimming corresponding to may remove one or more lines from the image to which the k-th upscaling is applied as much as the number of one or more lines added by the k-th padding performed by the encoding apparatus 100 .

부호화 장치(100)에서 수행된 복수의 패딩들 및 복호화 장치(200)에서 수행되는 복수의 트리밍들은 서로 대응할 수 있다.A plurality of paddings performed by the encoding apparatus 100 and a plurality of trimmings performed by the decoding apparatus 200 may correspond to each other.

부호화 장치(100)에서는 m 회의 패딩들이 수행될 수 있고, 이러한 패딩들에 대응하여 복호화 장치(200)에서는 m 회의 트리밍들이 수행될 수 있다. m 회의 패딩들 중 k 번째로 수행된 패딩은 m 회의 트리밍들 중 m - k + 1 번째로 수행되는 트리밍에 대응할 수 있다. 여기에서, k는 1의 이상이며, m의 이하일 수 있다. 제k 패딩은 k 번째로 수행되는 패딩을 나타낼 수 있고, 제k 트리밍은 m - k + 1 번째로 수행되는 트리밍을 나타낼 수 있다.The encoding apparatus 100 may perform m paddings, and the decoding apparatus 200 may perform m trimmings in response to these paddings. The k-th padding performed among the m paddings may correspond to the m - k+1-th trimming performed among the m trimmings. Here, k is greater than or equal to 1, and may be less than or equal to m. The k-th padding may represent the k-th padding, and the k-th trimming may represent the m - k+1-th trimming.

서로 대응하는 제k 패딩 및 제k 트리밍에 있어서, 제k 패딩에 의해 추가되는 하나 이상의 라인들의 개수 및 제k 트리밍에 의해 제거되는 하나 이상의 라인들의 개수는 동일할 수 있다.In the k-th padding and k-th trimming corresponding to each other, the number of one or more lines added by the k-th padding and the number of one or more lines removed by the k-th trimming may be the same.

예를 들면, 복호화 장치(200)는 라인 개수 정보가 나타내는 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 역순으로 사용하여 복수의 트리밍들에서 제거되는 하나 이상의 라인들의 개수들을 결정할 수 있다.For example, the decoding apparatus 200 may determine the number of one or more lines removed in the plurality of trimmings by using the number of one or more lines added in the plurality of paddings indicated by the line number information in a reverse order.

말하자면, 부호화 장치(100)는 복수의 패딩들 중 k 번째의 패딩에서 추가된 하나 이상의 라인들의 개수들을 나타내는 라인 개수 정보를 복호화 장치(200)로 전송할 수 있고, 복호화 장치(200)는 라인 개수 정보를 사용하여 k 번째의 패딩에 대응하는 m - k + 1 번째의 트리밍에서 제거될 하나 이상의 라인들의 개수를 결정할 수 있다.That is, the encoding apparatus 100 may transmit line number information indicating the number of one or more lines added in the k-th padding among the plurality of paddings to the decoding apparatus 200 , and the decoding apparatus 200 may transmit line number information may be used to determine the number of one or more lines to be removed in the m - k + 1st trimming corresponding to the k-th padding.

예를 들면, 복수의 트리밍들의 제k 트리밍에 의해 이미지로부터 제거되는 라인(들)의 개수는 0의 이상이며, S_k-1의 이하일 수 있다.For example, the number of line(s) removed from the image by the kth trimming of the plurality of trimmings may be greater than or equal to 0 and less than or equal to _{S k −1 .}

예를 들면, 이미지에 대한 제k 트리밍은 이미지의 크기를 S_k의 배수로 조정하는 것일 수 있다.For example, the kth trimming of the image may be to adjust _{the size of the image by a multiple of S k .}

일 실시예에서, 이미지의 크기는 이미지의 폭 및/또는 높이를 의미할 수 있다. 폭 및 높이는 서로 다를 수 있다.In an embodiment, the size of the image may refer to the width and/or height of the image. The width and height may be different.

일 실시예에서, S_k는 2 이상의 정수일 수 있다.In an embodiment, S _k may be an integer of 2 or more.

아래에서는, 업스케일링 및 트리밍의 쌍이 4 회 수행되는 경우의 실시예가 예시적으로 설명된다.Below, an embodiment in which a pair of upscaling and trimming is performed 4 times is exemplarily described.

단계(820)는 단계들(830, 835, 840, 845, 850, 855, 860 및 865)을 포함할 수 있다.Step 820 may include steps 830 , 835 , 840 , 845 , 850 , 855 , 860 and 865 .

단계(830)에서, 처리부(210)는 이미지에 대한 제4 업스케일링을 수행하여, 이미지의 크기를 S₄ 배로 늘릴 수 있다. 제4 업스케일링은 부호화 장치(100)에서의 제4 다운스케일링에 대응할 수 있다.In operation 830 , the processing unit 210 may perform a fourth upscaling on the image to increase _{the size of the image by S 4 times.} The fourth upscaling may correspond to the fourth downscaling in the encoding apparatus 100 .

단계(835)에서, 처리부(210)는 제4 업스케일링이 적용된 이미지에 대한 제4 트리밍을 수행할 수 있다.In operation 835 , the processing unit 210 may perform fourth trimming on the image to which the fourth upscaling is applied.

여기에서, 제4 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제4 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the fourth trimming may be the same as the number of one or more lines inserted in the fourth padding in the encoding apparatus 100 .

말하자면, 부호화 장치(100)에서는 m 회의 패딩들이 수행될 수 있고, 이러한 패딩들에 대응하여 복호화 장치(200)에서는 m 회의 트리밍들이 수행될 수 있다. 부호화 장치(100)에서의 제k 패딩에서 추가된 하나 이상의 라인들은 복호화 장치(200)에서의 제k 트리밍에 의해 제거될 수 있다.That is, the encoding apparatus 100 may perform m paddings, and the decoding apparatus 200 may perform m trimmings in response to these paddings. One or more lines added in the k-th padding in the encoding apparatus 100 may be removed by k-th trimming in the decoding apparatus 200 .

여기에서, 부호화 장치(100)에서의 제k 패딩은 부호화 장치(100)에서의 복수의 패딩들 중 k 번째로 수행된 패딩을 의미할 수 있다. 복호화 장치(200)에서의 제k 트리밍은 복호화 장치(200)에서 수행된 복수의 트리밍들 중 m - k + 1 번째로 수행된 트리밍을 의미할 수 있다. 즉, 부호화 장치(100)에서의 복수의 패딩들 및 복호화 장치(200)에서의 복수의 트리밍들은 역순으로 서로 대응할 수 있다.Here, the k-th padding in the encoding apparatus 100 may mean the k-th padding performed among a plurality of paddings in the encoding apparatus 100 . The k-th trimming in the decoding apparatus 200 may mean a trimming performed m - k + 1st among a plurality of trimmings performed in the decoding apparatus 200 . That is, the plurality of paddings in the encoding apparatus 100 and the plurality of trimmings in the decoding apparatus 200 may correspond to each other in the reverse order.

처리부(210)는 라인 개수 정보를 사용하여 제k 트리밍에 의해 제거될 하나 이상의 라인들의 개수를 결정할 수 있다.The processing unit 210 may determine the number of one or more lines to be removed by k-th trimming using the line number information.

단계(840)에서, 처리부(210)는 이미지에 대한 제3 업스케일링을 수행하여, 이미지의 크기를 S₃ 배로 늘릴 수 있다. 제3 업스케일링은 부호화 장치(100)에서의 제3 다운스케일링에 대응할 수 있다.In operation 840 , the processing unit 210 may perform a third upscaling on the image to increase _{the size of the image by three times S.} The third upscaling may correspond to the third downscaling in the encoding apparatus 100 .

단계(845)에서, 처리부(210)는 제3 업스케일링이 적용된 이미지에 대한 제3 트리밍을 수행할 수 있다.In operation 845 , the processing unit 210 may perform third trimming on the image to which the third upscaling is applied.

여기에서, 제3 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제3 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the third trimming may be the same as the number of one or more lines inserted in the third padding in the encoding apparatus 100 .

단계들(830 및 835)에 대하여 설명된 내용은 단계들(840 및 845)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 830 and 835 may also apply to steps 840 and 845 . A duplicate description is omitted.

단계(850)에서, 처리부(210)는 이미지에 대한 제2 업스케일링을 수행하여, 이미지의 크기를 S₂ 배로 늘릴 수 있다. 제2 업스케일링은 부호화 장치(100)에서의 제2 다운스케일링에 대응할 수 있다.In step 850, processor 210 may perform a second up-scaling of the image, it is possible to increase the size of the image S _2-fold. The second upscaling may correspond to the second downscaling in the encoding apparatus 100 .

단계(855)에서, 처리부(210)는 제2 업스케일링이 적용된 이미지에 대한 제2 트리밍을 수행할 수 있다.In operation 855 , the processing unit 210 may perform second trimming on the image to which the second upscaling is applied.

여기에서, 제2 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제2 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the second trimming may be the same as the number of one or more lines inserted in the second padding in the encoding apparatus 100 .

단계들(830 및 835)에 대하여 설명된 내용은 단계들(850 및 855)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 830 and 835 may also apply to steps 850 and 855 . A duplicate description is omitted.

단계(860)에서, 처리부(210)는 이미지에 대한 제1 업스케일링을 수행하여, 이미지의 크기를 S₁ 배로 늘릴 수 있다. 제1 업스케일링은 부호화 장치(100)에서의 제1 다운스케일링에 대응할 수 있다.In step 860, processor 210 may perform a first up-scaling of the image, it is possible to increase the size of the image S ₁ times. The first upscaling may correspond to the first downscaling in the encoding apparatus 100 .

단계(855)에서, 처리부(210)는 제1 업스케일링이 적용된 이미지에 대한 제1 트리밍을 수행할 수 있다.In operation 855 , the processing unit 210 may perform first trimming on the image to which the first upscaling is applied.

여기에서, 제1 트리밍에서 제거되는 하나 이상의 라인들의 개수는 부호화 장치(100)에서의 제1 패딩에서 삽입된 하나 이상의 라인들의 개수와 동일할 수 있다.Here, the number of one or more lines removed in the first trimming may be the same as the number of one or more lines inserted in the first padding in the encoding apparatus 100 .

단계들(830 및 835)에 대하여 설명된 내용은 단계들(860 및 865)에도 적용될 수 있다. 중복되는 설명은 생략된다.What has been described with respect to steps 830 and 835 may also apply to steps 860 and 865 . A duplicate description is omitted.

단계(870)에서, 처리부(210)는 전술된 복수의 업스케일링들 및 복수의 트리밍들에 의해 재구축된 이미지를 저장 또는 제공할 수 있다.In operation 870 , the processing unit 210 may store or provide the image reconstructed by the plurality of upscalings and the plurality of trimmings described above.

도 7 및 도 8을 참조하여 전술된 방법들에 따라서 입력된 데이터가 나타내는 이미지에 대한 패딩들 및 트리밍들이 수행되는 경우, 복수의 패딩들에 의해 추가되는 영역이 감소될 수 있다.When paddings and trimmings are performed on an image represented by input data according to the methods described above with reference to FIGS. 7 and 8 , an area added by a plurality of paddings may be reduced.

전술된 것과 같이, 복수의 다운스케일링들의 비율들은 서로 다를 수 있고, 다운스케일링의 비율에 따라, 다운스케일링에 대한 패딩이 수행될 수 있다.As described above, the ratios of a plurality of downscaling may be different from each other, and according to the ratio of the downscaling, padding for the downscaling may be performed.

이러한 제k 패딩에 따라, 수평 축에 대한 최대의 패딩 영역은 S_k 라인(들)일 수 있고, 수직 축에 대한 최대의 패딩 영역은 S_k 라인(들)일 수 있다. 도 3을 참조하여 전술된 실시예에서는 수평 축에 대한 최대의 패딩 영역은 15 라인들일 수 있고, 수직 축에 대한 최대의 패딩 영역은 15 라인들일 수 있다. 이러한 도 3을 참조하여 전술된 실시예를 고려하면, 도 7을 참조하여 전술된 실시예에서는 패딩 영역이 크게 감소될 수 있다.According to this k-th padding, the maximum padding area on the horizontal axis may be S _k line(s), and the maximum padding area on the vertical axis may be S _k line(s). In the embodiment described above with reference to FIG. 3 , the maximum padding area on the horizontal axis may be 15 lines, and the maximum padding area on the vertical axis may be 15 lines. Considering the embodiment described above with reference to FIG. 3 , in the embodiment described above with reference to FIG. 7 , the padding area can be greatly reduced.

구체적으로, 도 3을 참조하여 전술된 실시예에서는, 부호화 장치(100)에서 수행되는 전체의 다운스케일링들의 비율들의 곱을 고려하여 이미지에 대한 패딩이 수행되었으나, 도 7를 참조하는 실시예에서는 복수의 다운스케일링들의 각 다운스케일링의 비율에 따라 각 다운스케일링에 대응하는 패딩이 수행될 수 있다.Specifically, in the embodiment described above with reference to FIG. 3 , padding was performed on the image in consideration of the product of the ratios of all downscaling performed by the encoding apparatus 100 , but in the embodiment with reference to FIG. 7 , a plurality of Padding corresponding to each downscaling may be performed according to a ratio of each downscaling of the downscalings.

일 실시예에서, 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 전송하는 대신, 복호화 장치(200)의 처리부(210)는 특정된 방식으로 복수의 트리밍들에서 제거되는 하나 이상의 라인들의 개수들을 결정할 수 있다.In an embodiment, instead of transmitting the number of one or more lines added in the plurality of paddings, the processing unit 210 of the decoding apparatus 200 calculates the number of one or more lines removed from the plurality of trimmings in a specified manner. can decide

예를 들면, 복수의 트리밍들에서 제거되는 하나 이상의 라인들의 개수들은 아래의 수식 5, 수식 6, 수식 7 및 수식 8 에 의해 결정될 수 있다.For example, the number of one or more lines to be removed in the plurality of trimmings may be determined by Equation 5, Equation 6, Equation 7, and Equation 8 below.

[수식 5][Equation 5]

input_size₁ = 입력된 데이터가 나타내는 이미지의 크기input_size ₁ = size of image represented by input data

input_size₁은 단계(730)의 제1 패딩으로 입력되는 이미지의 크기일 수 있다.input_size ₁ may be the size of an image input as the first padding in step 730 .

[수식 6][Equation 6]

(when k > 1) input_size_k = padded_size_(k-1) / S_k-1 (when k > 1) input_size _k = padded_size _(k-1) / S _k-1

input_size_k는 제k 패딩으로 입력되는 이미지의 크기일 수 있다.input_size _k may be the size of an image input as the kth padding.

padded_size_k는 제k 패딩이 적용된 이미지의 크기일 수 있다.padded_size _k may be the size of the image to which the k-th padding is applied.

[수식 7][Equation 7]

padded_size_k = ceil(input_size_k / S_k-1) * S_k-1 padded_size _k = ceil(input_size _k / S _k-1 ) * S _k-1

ceil(x)는 x 이상의 정수들 중 최소 값일 수 있다.ceil(x) may be a minimum value among integers greater than or equal to x.

[수식 8][Equation 8]

pad_size_k = padded_size_k - input_size_k pad_size _k = padded_size _k - input_size _k

pad_size_k는 제k 패딩에서 추가된 영역의 크기를 나타낼 수 있다. 제k 패딩 대응하는 제k 트리밍에서는 제k 패딩에서의 크기만큼의 제거가 수행될 수 있다.pad_size _k may indicate the size of the area added in the k-th padding. In the k-th trimming corresponding to the k-th padding, removal by the size of the k-th padding may be performed.

전술된 실시예에서는 설명에서의 편의를 위해 4 회의 다운스케일링들 및 4 회의 업스케일링들이 수행되는 경우가 예시되었으나, 부호화 장치(100) 및 복호화 장치(200)의 구현에 따라 다양한 횟수의 다운스케일링들 및 업스케일링들이 수행될 수 있다.In the above embodiment, for convenience of description, a case in which four times of downscaling and four times of upscaling are performed. and upscalings may be performed.

실시예들의 패딩의 구체적인 모드는 다양할 수 있다. 예를 들면, 제로-패딩(zero-padding), 미러-패딩(mirror-padding) 및 에지-패딩(edge-padding) 등과 같은 다양한 패딩의 방식이 실시예에 사용될 수 있다.The specific mode of padding of embodiments may vary. For example, various methods of padding, such as zero-padding, mirror-padding, and edge-padding, may be used in the embodiment.

실시예들의 패딩 및 트리밍은 데이터가 나타내는 이미지의 좌/우, 상/하 또는 그 외의 어느 위치에도 적용될 수 있다. 패딩 및 트리밍이 적용되는 위치들은 특정되지 않을 수 있으며, 한정되지 않을 수 있다. 말하자면, 실시예의 패딩 및 트리밍이 적용되는 영역들은 구현 및 응용에 따라 다양할 수 있다.The padding and trimming of the embodiments may be applied to the left/right, top/bottom, or any other position of the image represented by the data. Positions to which padding and trimming are applied may not be specified and may not be limited. In other words, regions to which padding and trimming of the embodiment are applied may vary according to implementations and applications.

일반적으로는 부호화 장치(100)에서 패딩이 이루어진 영역과 동일한 영역에 대해서 복호화 장치(200)에 의한 트리밍이 적용될 수 있다. 이러한 대응하는 패딩 및 트리밍이 성능의 측면에서 효율적일 수 있다.In general, trimming by the decoding apparatus 200 may be applied to the same area as the padded area in the encoding apparatus 100 . This corresponding padding and trimming may be efficient in terms of performance.

예를 들면, 부호화 장치(100)의 제k 패딩이 이미지의 하단 영역 및 우측 영역을 추가한 경우, 복호화 장치(200)의 제k 트리밍 또한 이미지의 하단 영역 및 우측 영역을 제거할 수 있다. 이러한 추가 및 제거가 성능의 측면에서 더 이로울 수 있다.For example, when the k-th padding of the encoding apparatus 100 adds the lower region and the right region of the image, the k-th trimming of the decoding apparatus 200 may also remove the lower region and the right region of the image. These additions and removals may be more beneficial in terms of performance.

실시예에서는, 간소한 설명을 위해, 이미지의 폭 및 높이를 구분하지 않고 설명될 수 있다. 실시예의 패딩, 다운스케일링, 업스케일링 및 트리밍은 이미지의 폭 및 높이의 각각에 대해 별도로 적용될 수 있다.In the embodiment, for the sake of brevity, description may be made without dividing the width and height of the image. The padding, downscaling, upscaling and trimming of the embodiment may be applied separately for each of the width and height of the image.

여기에서, 이미지의 수평 축(또는. 이미지의 폭) 및 이미지의 수직 축(또는, 이미지의 높이)에 대하여 패딩 및/또는 트리밍이 이루어지는 순서는 패딩 및/또는 트리밍에 의해 생성되는 이미지의 크기에 영향을 주지 않을 수 있다. 따라서, 이미지의 수평 축(또는. 이미지의 폭) 및 이미지의 수직 축(또는, 이미지의 높이)에 대한 패딩 및/또는 트리밍이 이루어지는 순서는 구현에 따라서 다양할 수 있다.Here, the order in which padding and/or trimming is performed with respect to the horizontal axis of the image (or the width of the image) and the vertical axis of the image (or the height of the image) depends on the size of the image created by the padding and/or trimming. may not affect Accordingly, the order in which padding and/or trimming is performed on the horizontal axis of the image (or the width of the image) and the vertical axis of the image (or the height of the image) may vary depending on implementation.

실시예에서는, 패딩 및 트리밍의 방식을 설명하기 위해, 이미지에 대한 실제의 압축 방식에 대해서는 간소하게 설명하였다.In the embodiment, in order to describe a method of padding and trimming, an actual compression method for an image has been briefly described.

기존의 신경망에 기반하는 데이터 압축 기술들은 대부분 컨볼루셔널 오토-인코더 기반의 구조에 기반할 수 있으며, 이러한 구조에 대해서는 실시예들이 모두 적용될 수 있다.Most of the data compression techniques based on the existing neural network may be based on a convolutional auto-encoder-based structure, and all embodiments may be applied to this structure.

또한, 최근의 엔트로피 최소화 기반의 데이터 압축 기술들 또한 대부분 인코더 네트워크 및 디코더 네트워크를 이용하며, 코드 레이어가 입력 레이어에 비해 공간적으로 더 작은 크기를 더 가지기 때문에 실시예들이 적용될 수 있다.In addition, most recent entropy minimization-based data compression techniques also use an encoder network and a decoder network, and since the code layer has a smaller spatial size than the input layer, embodiments may be applied.

실시예들은 데이터 압축의 관점에서 패딩 및 트리밍의 영역들을 최소화하는 절차로서 기술되었으나, 실시예들은 네트워크 구동의 측면에서 메모리 및 연산 량을 감소시키는 효과를 제공할 있다. 따라서, 실시예들은 데이터 압축 외에도 다양한 분야들에서 활용될 수 있다.Although the embodiments have been described as procedures for minimizing areas of padding and trimming from the viewpoint of data compression, the embodiments may provide an effect of reducing the amount of memory and computation in terms of network operation. Accordingly, the embodiments may be utilized in various fields other than data compression.

예를 들면, 비전 분야에서 널리 이용되는 유-넷(U-Net)은 일련의 다운스케일링들의 과정 이후 일련의 업스케일링들의 과정이 이루어지는 구조를 가질 수 있다. 이러한 유-넷의 구조를 이용하는 네트워크에 대해서, 다양한 크기들의 입력들을 더 효율적으로 처리하기 위해 실시예들에서 설명된 패딩의 방식이 이용될 수 있다.For example, U-Net widely used in the vision field may have a structure in which a series of upscaling processes are performed after a series of downscaling processes. For a network using such a structure of U-Net, the method of padding described in the embodiments may be used to more efficiently process inputs of various sizes.

상기의 실시예들은 부호화 장치(100) 및 복호화 장치(200)에서 동일한 방법 및/또는 상응하는 방법으로 수행될 수 있다. 또한, 이미지의 부호화 및/또는 복호화에 있어서 상기의 실시예들 중 하나 이상의 조합이 사용될 수 있다.The above embodiments may be performed by the same method and/or a corresponding method in the encoding apparatus 100 and the decoding apparatus 200 . Also, a combination of one or more of the above embodiments may be used in encoding and/or decoding an image.

상기의 실시예들이 적용되는 순서는 부호화 장치(100) 및 복호화 장치(200)에서 서로 상이할 수 있다. 또는, 상기의 실시예들이 적용되는 순서는 부호화 장치(100) 및 복호화 장치(200)에서 (적어도 부분적으로) 동일할 수 있다.The order in which the above embodiments are applied may be different from each other in the encoding apparatus 100 and the decoding apparatus 200 . Alternatively, the order in which the above embodiments are applied may be (at least partially) the same in the encoding apparatus 100 and the decoding apparatus 200 .

상기 실시예를 적용하는 순서는 부호화 장치(100) 및 복호화 장치(200) 에서 상이할 수 있고, 상기 실시예를 적용하는 순서는 부호화 장치(100) 및 복호화 장치(200) 에서 동일할 수 있다.The order of applying the embodiment may be different in the encoding apparatus 100 and the decoding apparatus 200 , and the order of applying the embodiment may be the same in the encoding apparatus 100 and the decoding apparatus 200 .

상기의 실시예들은 루마 신호 및 크로마 신호의 각각에 대하여 수행될 수 있다. 루마 신호 및 크로마 신호에 대하여 상기의 실시예들이 동일하게 수행할 수 있다.The above embodiments may be performed for each of the luma signal and the chroma signal. The above embodiments may be performed in the same manner with respect to the luma signal and the chroma signal.

상술된 실시예들에서, 특정된 대상에 특정된 처리를 적용함에 있어서, 특정된 조건이 요구될 수 있으며, 특정된 결정 하에 상기의 특정된 처리가 처리되는 것으로 설명된 경우, 특정된 코딩 파라미터에 기반하여 특정된 조건이 충족되는지 여부가 결정되거나, 특정된 코딩 파라미터에 기반하여 특정된 결정이 이루어지는 것으로 설명되었으면, 상기의 특정된 코딩 파라미터는 다른 코딩 파라미터로 대체될 수 있는 것으로 해석될 수 있다. 말하자면, 특정된 조건 또는 특정된 결정에 영향을 미치는 코딩 파라미터는 단지 예시적인 것으로 간주될 수 있으며, 명시된 코딩 파라미터 외에도 하나 이상의 다른 코딩 파라미터들의 결합이 상기의 명시된 코딩 파라미터의 역할을 수행하는 것으로 이해될 수 있다.In the above-described embodiments, in applying a specified processing to a specified object, a specified condition may be required, and when the specified processing is described as being processed under a specified determination, the specified coding parameter is If it has been described that whether or not a specified condition is satisfied based on it is determined, or that a specified determination is made based on a specified coding parameter, it may be construed that the specified coding parameter may be replaced with another coding parameter. In other words, it is to be understood that the specified conditions or coding parameters influencing the specified determination may only be regarded as exemplary, and that in addition to the specified coding parameters, a combination of one or more other coding parameters performs the role of the specified coding parameters. can

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described embodiments, the methods are described on the basis of a flowchart as a series of steps or units, but the present invention is not limited to the order of steps, and some steps may occur in a different order or concurrently with other steps as described above. can In addition, those of ordinary skill in the art will recognize that the steps shown in the flowchart are not exclusive, other steps may be included, or that one or more steps in the flowchart may be deleted without affecting the scope of the present invention. You will understand.

상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합이 기술될 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 명시적으로 기술된 조합 외에도 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The above-described embodiments include examples of various aspects. Although not every possible combination for representing the various aspects may be described, one of ordinary skill in the art will recognize that combinations other than those explicitly described are possible. Accordingly, it is intended that the present invention cover all other substitutions, modifications and variations falling within the scope of the following claims.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

컴퓨터 판독 가능한 기록 매체는 본 발명에 따른 실시예들에서 사용되는 정보를 포함할 수 있다. 예를 들면, 컴퓨터 판독 가능한 기록 매체는 비트스트림을 포함할 수 있고, 비트스트림은 본 발명에 따른 실시예들에서 설명된 정보를 포함할 수 있다.The computer-readable recording medium may contain information used in the embodiments according to the present invention. For example, the computer-readable recording medium may include a bitstream, and the bitstream may include the information described in the embodiments according to the present invention.

컴퓨터 판독 가능한 기록 매체는 비-일시적 컴퓨터 판독 가능한 매체(non-transitory computer-readable medium)를 포함할 수 있다.The computer-readable recording medium may include a non-transitory computer-readable medium.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM, a DVD, and a magneto-optical medium such as a floppy disk. media), and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those of ordinary skill in the art to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and not only the claims described below, but also all modifications equivalently or equivalently to the claims described below belong to the scope of the spirit of the present invention. will do it

Claims (20)

부호화 장치에 의해 수행되는,
데이터가 나타내는 이미지에 복수의 패딩들 및 복수의 다운스케일링들을 적용함으로써 이미지의 피쳐를 추출하는 단계; 및
상기 피쳐를 나타내는 피쳐 정보를 복호화 장치로 전송하는 단계
를 포함하는 부호화 방법.performed by the encoding device,
extracting a feature of the image by applying a plurality of paddings and a plurality of downscalings to the image represented by the data; and
transmitting feature information indicating the feature to a decoding device
A coding method comprising a. 제1항에 있어서,
상기 복수의 패딩들 및 상기 복수의 다운스케일링들은 하나의 패딩이 적용된 후 상기 패딩에 대응하는 하나의 다운스케일링이 적용되는 순서로 상기 이미지에 적용되는 부호화 방법.According to claim 1,
The plurality of paddings and the plurality of downscalings are applied to the image in an order in which one downscaling corresponding to the padding is applied after one padding is applied. 제1항에 있어서,
상기 복수의 다운스케일링들의 각 다운스케일링은 상기 이미지를 수평 방향으로 1/n의 크기로 줄이고, 수직 방향으로 1/n의 크기로 줄이고, n은 2 이상의 정수인 부호화 방법.According to claim 1,
Each downscaling of the plurality of downscalings reduces the image to a size of 1/n in a horizontal direction and a size of 1/n in a vertical direction, and n is an integer of 2 or more. 제1항에 있어서,
상기 복수의 패딩들 및 상기 복수의 다운스케일링들의 각 패딩 및 각 다운스케일링에 있어서, 상기 각 패딩은 이미지의 크기를 2의 배수로 조정하고, 상기 각 패딩에 대응하는 다운스케일링의 비율은 1/2인 부호화 방법.According to claim 1,
In each padding and each downscaling of the plurality of paddings and the plurality of downscaling, each padding adjusts the size of an image by a multiple of 2, and a ratio of downscaling corresponding to each padding is 1/2 encoding method. 제1항에 있어서,
상기 복수의 다운스케일링들의 각 다운스케일링들은 컨볼루셔널(convolutional) 레이어(layer) 또는 비-선형(non-linear)에 의한 상기 이미지에 대한 처리를 포함하는 부호화 방법.According to claim 1,
and wherein each downscaling of the plurality of downscalings includes processing the image by a convolutional layer or a non-linear. 제1항에 있어서,
상기 복수의 다운스케일링들의 비율들은 서로 다른 부호화 방법.According to claim 1,
and ratios of the plurality of downscalings are different from each other. 제1항에 있어서,
상기 복수의 패딩들에 의해 추가될 수 있는 하나 이상의 라인들의 범위들은 서로 다른 부호화 방법.According to claim 1,
The ranges of one or more lines that may be added by the plurality of paddings are different from each other. 제1항에 있어서,
상기 이미지의 원 크기 정보가 상기 복호화 장치로 전송되는 부호화 방법.According to claim 1,
An encoding method in which original size information of the image is transmitted to the decoding device. 제1항에 있어서,
상기 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수들을 나타내는 라인 개수 정보가 상기 복호화 장치로 전송되는 부호화 방법.According to claim 1,
An encoding method in which line number information indicating the number of one or more lines added in the plurality of paddings is transmitted to the decoding apparatus. 복호화 장치에 의해 수행되는,
부호화 장치로부터 피쳐 정보를 수신하는 단계; 및
상기 피쳐 정보가 나타내는 이미지에 복수의 업스케일링들 및 복수의 트리밍들을 적용함으로써 재구축된 이미지를 생성하는 단계
를 포함하는 복호화 방법.performed by the decryption device,
receiving feature information from an encoding device; and
generating a reconstructed image by applying a plurality of upscalings and a plurality of trimmings to the image indicated by the feature information;
A decryption method comprising 제10항에 있어서,
상기 복수의 업스케일링들 및 상기 복수의 트리밍들은 하나의 업스케일링이 적용된 후 상기 업스케일링에 대응하는 하나의 트리밍이 적용되는 순서로 상기 이미지에 적용되는 복호화 방법.11. The method of claim 10,
The plurality of upscalings and the plurality of trimmings are applied to the image in an order in which one upscaling is applied and then one trimming corresponding to the upscaling is applied. 제10항에 있어서,
상기 복수의 업스케일링들 및 상기 복수의 트리밍들의 쌍의 개수는 상기 부호화 장치에서 수행된 복수의 패딩들 및 복수의 다운스케일링들의 쌍의 개수와 동일한 복호화 방법.11. The method of claim 10,
The number of pairs of the plurality of upscalings and the plurality of trimmings is the same as the number of pairs of the plurality of paddings and the plurality of downscaling performed by the encoding apparatus. 제10항에 있어서,
상기 복수의 업스케일링들의 각 업스케일링은 상기 이미지의 크기를 n 배로 조정하는 것이고, n은 2 이상의 정수인 복호화 방법.11. The method of claim 10,
Each upscaling of the plurality of upscalings is to adjust the size of the image by n times, and n is an integer of 2 or more. 제10항에 있어서,
상기 복수의 업스케일링들의 각 업스케일링은 상기 이미지의 크기를 n 배로 늘리는 것이고,
상기 복수의 트리밍들의 각 트리밍은 상기 부호화 장치에서 수행된 패딩에 의해 추가된 하나 이상의 라인들의 개수만큼 업스케일링이 적용된 이미지에서 하나 이상의 라인들을 제거하는 것이고,
n은 2 이상의 정수인 복호화 방법.11. The method of claim 10,
Each upscaling of the plurality of upscalings increases the size of the image by n times,
Each of the trimmings of the plurality of trimmings removes one or more lines from an image to which upscaling is applied by the number of one or more lines added by padding performed in the encoding apparatus,
A decoding method in which n is an integer greater than or equal to 2; 제10항에 있어서,
상기 부호화 장치로부터 상기 부호화 장치에서의 복수의 패딩들에서 추가된 하나 이상의 라인들의 개수를 나타내는 라인 개수 정보를 수신하는 복호화 방법.11. The method of claim 10,
A decoding method for receiving, from the encoding apparatus, line number information indicating the number of one or more lines added in a plurality of paddings in the encoding apparatus. 제10항에 있어서,
상기 부호화 장치로부터 비율 정보가 수신되고,
상기 비율 정보는 상기 부호화 장치에서 수행된 복수의 다운스케일링들의 비율들 또는 상기 부호화 장치에서 수행된 상기 복수의 다운스케일링들의 상기 비율들의 역수들을 포함하는 복호화 방법.11. The method of claim 10,
Ratio information is received from the encoding device,
The ratio information includes ratios of a plurality of downscalings performed by the encoding apparatus or inverse numbers of the ratios of the plurality of downscalings performed by the encoding apparatus. 제16항에 있어서,
상기 복수의 업스케일링들의 제k 업스케일링은 상기 이미지의 크기를 S_k 배로 조정하는 것이고,
상기 k는 1 이상 m 이하의 정수이고,
상기 m은 상기 복수의 다운스케일링들의 개수이고,
상기 비율 정보에 의해 상기 S_k가 결정되는 복호화 방법.17. The method of claim 16,
The kth upscaling of the plurality of upscaling is to adjust _{the size of the image by S k times,}
Wherein k is an integer of 1 or more and m or less,
Wherein m is the number of the plurality of downscaling,
A decoding method in which _{the S k} is determined by the ratio information. 제10항에 있어서,
상기 복수의 트리밍들 중 상기 이미지에 대한 제k 트리밍은 상기 부호화 장치에 의해 수행된 복수의 패딩들 중 상기 제k 트리밍에 대응하는 제k 패딩에서 추가된 라인의 개수만큼 상기 이미지에서 라인을 제거하는 것이고,
상기 k는 1 이상 m 이하의 정수이고,
상기 m은 상기 복수의 다운스케일링들의 개수인 복호화 방법.11. The method of claim 10,
The kth trimming for the image among the plurality of trimmings removes lines from the image by the number of lines added in the kth padding corresponding to the kth trimming among the plurality of paddings performed by the encoding apparatus will,
Wherein k is an integer of 1 or more and m or less,
Wherein m is the number of the plurality of downscaling decoding method. 제18항에 있어서,
상기 부호화 장치에서 수행된 m 회의 패딩들 중 k 번째로 수행된 패딩은 상기 복호화 장치에서 수행되는 m 회의 트리밍들 중 m - k + 1 번째로 수행되는 트리밍에 대응하고,
상기 k는 1 이상 m 이하의 정수이고,
상기 m은 상기 복수의 다운스케일링들의 개수인 복호화 방법.19. The method of claim 18,
The k-th padding performed among the m paddings performed by the encoding apparatus corresponds to the m - k+1-th trimming performed among the m trimmings performed by the decoding apparatus,
Wherein k is an integer of 1 or more and m or less,
Wherein m is the number of the plurality of downscaling decoding method. 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 비트스트림은,
피쳐 정보
를 포함하고,
상기 피쳐 정보가 나타내는 이미지에 복수의 업스케일링들 및 복수의 트리밍들을 적용함으로써 재구축된 이미지가 생성되는 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium for storing a bitstream, the bitstream comprising:
Feature information
including,
A computer-readable recording medium in which a reconstructed image is generated by applying a plurality of upscalings and a plurality of trimmings to the image indicated by the feature information.

Images