KR100281883B1

KR100281883B1 - A New Multi-Dimensional Wavelet Zero-Tree Encoding Method, Encoder, and Scanning Method for Extremely Low Bitrate

Info

Publication number: KR100281883B1
Application number: KR1019980037927A
Authority: KR
Inventors: 정민섭; 송광섭
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1998-09-15
Filing date: 1998-09-15
Publication date: 2001-02-15
Also published as: KR20000019693A

Abstract

본 발명은 새로운 다차원 웨이브렛 제로트리를 이용한 부호화 방법과 부호화기와 극저 전송율을 위한 트리 스캔 방법이 개시되어 있다. 본 발명은 시간축상의 용장도를 제거하는 방법을 웨이브렛 변환 내부에서 찾고, 웨이브렛 변환의 성질중에 사람의 인지 기관의 특성과 부합되는 성질도 이용하여 채널의 전송율이 낮은 응용에서 효율적으로 데이터를 전송하기 위해서 에지와 같은 공간상의 고주파 성분과 커다란 움직임과 같은 시간축상의 고주파 성분을 더욱 강조하는 다차원 웨이브렛 제로트리를 생성함으로써 효과적인 압축이 가능해지고, 채널의 전송율이 매우 낮은 응용에서 효율적으로 데이터를 전송할 수 있다.The present invention discloses a coding method using a new multidimensional wavelet zero tree, and a tree scanning method for an encoder and a very low data rate. The present invention finds a method of eliminating redundancy on the time axis inside the wavelet transform and efficiently transmits data in applications with low data rates by using properties that match the characteristics of human cognitive organs. This allows efficient compression by creating a multidimensional wavelet zero tree that further emphasizes high frequency components in the edges such as edges and high frequency components in the timebase such as large motions, and efficiently transmits data in applications with very low channel rates. have.

Description

새로운 다차원 웨이브렛 제로트리를 이용한 부호화 방법과 부호화기 및 극저 전송율을 위한 스캔 방법A New Multi-Dimensional Wavelet Zero-Tree Encoding Method and Encoder and Scanning Method for Extremely Low Bitrate

본 발명은 디지털 데이터의 부호화 분야에 관한 것으로, 특히 새로운 다차원 웨이브렛 제로트리(new multi-dimensional wavelet zerotree)를 이용한 부호화 방법과 부호화기 및 극저 전송율을 위한 스캔 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to the field of encoding digital data, and more particularly, to an encoding method using a new multi-dimensional wavelet zerotree, an encoder, and a scanning method for an extremely low data rate.

기존의 영상 압축은 MPEG(Moving Picture Expert Group)-2와 같이 어느 정도의 일정한 전송율을 갖는 채널을 보장받는 응용이 주종을 이뤘으나 점점 낮은 비트율을 가지는 채널을 이용한 응용의 필요성이 늘어나고 있다. 예로서, 휴대용 화상 전화와 인터넷을 이용한 화상 전화 등이 있다.Conventional video compression is mainly used for applications that guarantee a channel with a certain constant rate, such as Moving Picture Expert Group (MPEG-2), but there is an increasing need for an application using a channel having a lower bit rate. Examples include portable video phones and video phones using the Internet.

또한, 이와 같은 응용에서는 채널의 전송율이 수시로 변하는 데 이러한 채널 전송율의 변화에도 효과적으로 대응할 수 있어야 한다. 이와 같은 요구를 충족해 주는 부호화 방법으로서 DWT(Discrete Wavelet Transform)를 이용한 부호화 방법이 있다. 이미 정지 영상에 대해서는 DWT와 제로트리(zerotree)를 이용하는 방법들이 다양하게 제시되고 있다. DWT와 제로트리를 이용하면 중요한 정보들을 앞서서 전송하는 삽입 부호화(embedded coding)가 가능하게 된다. 이 삽입 부호화를 이용하게 되면 채널의 전송율이 변하는 경우에도 그때그때 주어진 범위에서 가장 효과적인 데이터를 전송하게 되고, 또한 앞서서 전송하는 중요한 정보들은 덜 중요한 정보들에 비해 더욱 강하게 보호할 수 있다.In addition, in such an application, the data rate of the channel changes from time to time, and it must be able to effectively cope with such a change in the channel rate. As an encoding method that satisfies such a requirement, there is an encoding method using a discrete wavelet transform (DWT). Already, various methods using DWT and zerotree have been proposed for still images. Using DWT and zero tree enables embedded coding to transmit important information earlier. The use of this embedded encoding ensures that the most effective data in the given range is transmitted even when the data rate of the channel changes, and the important information transmitted earlier can be protected more strongly than the less important information.

한편, DWT와 제로트리를 이용하는 방법이 2차원(2-D라고 함)의 정지 영상에 대해서는 좋은 성능을 나타내는 것에 반해 3차원(3-D라고 함)의 동영상에 대해서는 만족할 만한 성능을 나타내지 못하고 있다. 그 이유는 시간축에서의 용장도(redundancy)를 효과적으로 제거하지 못하기 때문이다.On the other hand, while the DWT and zero-tree methods show good performance for two-dimensional (called 2-D) still images, they do not show satisfactory performance for three-dimensional (called 3-D) video. . The reason is that it does not effectively remove redundancy in the time base.

2-D DWT를 이용하는 기존의 부호화기는 도 1에 도시된 바와 같이 주로 2-D의 정지 영상을 효과적으로 압축하는 것을 목적으로 하는 경우가 많다. 즉, 2-D DWT 유니트(102)는 입력되는 정지 영상의 샘플에 대해 2-D DWT를 수행한 후 2-D 제로트리 생성기(104)에서 저주파수 대역으로부터 고주파수 대역으로 진행하면서 2-D DWT 유니트(102)로부터 제공되는 각 변환 계수들을 부모(parant)와 아이(child)의 관계로 묶어서 트리 구조를 만든 후 이들간의 연관 관계를 이용한 제로트리를 구성하고, 양자화기(106)는 생성된 제로트리에 근거하여 저주파수 대역에서 고주파수 대역으로 차례대로 스캔하면서 계수의 중요도가 높은 성분(주로 최상위비트)부터 부호화하는 데 이를 연속적인 접근(successive approximation)이라 한다. 산술적인 부호화기(108)에서는 양자화기(106)로부터 출력되는 심볼 스트림을 압축해서 부호화된 비트스트림을 출력한다.Existing encoders using 2-D DWT are often aimed at effectively compressing 2-D still images as shown in FIG. 1. That is, the 2-D DWT unit 102 performs the 2-D DWT on the sample of the input still image, and then proceeds from the low frequency band to the high frequency band in the 2-D zero tree generator 104, thereby performing the 2-D DWT unit. Each transform coefficients provided from 102 are grouped into a relationship between a parent and a child to form a tree structure, and then a zero tree using an association between them is formed, and the quantizer 106 generates a zero tree. Based on, the low-frequency band is scanned sequentially from the high-frequency band to encode the most important components of the coefficient (mostly the most significant bit). This is called a successive approximation. Arithmetic encoder 108 compresses a symbol stream output from quantizer 106 to output an encoded bitstream.

여기서, 단위 블록(통상, 8화소 × 8라인)의 2-D DWT된 변환 계수들의 저주파 서브밴드는 왼쪽 상단에, 고주파 서브밴드는 우측 하단에 위치하며, 단일 계수의 모든 후손들은 웨이브렛 트리를 구성하고, 제로트리의 루트가 중요하지 않으면 모든 후손(descendants)도 중요하지 않은 특성을 이용하여 부호화하게 된다.Here, the unit block (normally 8 pixels × The low-frequency subbands of the 2-D DWT transformed coefficients (8 lines) are at the top left and the high-frequency subbands are at the bottom right. All descendants of a single coefficient form a wavelet tree, and the root of the zero tree is not important. Otherwise, all descendants will be coded using insignificant features.

이러한, 2-D DWT를 이용한 기존의 부호화기의 상세한 구성과 동작은 미합중국 특허번호 제5,315,670호의 "Digital data compression system including zerotree coefficient coding"과 미합중국 특허번호 제5,321,776호의 "Data compression system including successive approximation quantizer"에 개시되어 있다.The detailed configuration and operation of the existing encoder using 2-D DWT is described in "Digital data compression system including zerotree coefficient coding" of US Patent No. 5,315,670 and "Data compression system including successive approximation quantizer" of US Patent No. 5,321,776. Is disclosed.

3-D 동영상을 3-D DWT를 이용하여 부호화하는 기존의 부호화기는 도 2에 도시된 바와 같이 영상의 입력 샘플들에 대해 전처리기(202)에서 시간축상의 용장도를 제거하기 위한 전처리를 수행하고, 2-D DWT 유니트(204)에서 전처리기(202)의 출력에 대해 2-D DWT를 수행한 후 1-D DWT 유니트(206)에서 2-D DWT된 계수들에 대하여 시간축상에서 1-D DWT를 수행한다. 1-D DWT 유니트(206)의 출력을 바탕으로 하여 3-D 제로트리 생성기(210)에서 제로트리를 생성하기 전에 시간축상의 용장도를 제거하기 위한 후처리를 수행하는 후처리기(208)를 거치게 되고, 생성된 3-D 제로트리에 따라 변환 계수들을 양자화기(212)와 산술적 부호화기(214)를 통해 부호화해서 부호화된 비트스트림을 출력한다.A conventional encoder encoding 3-D video using 3-D DWT performs preprocessing to remove redundancy on the time axis in the preprocessor 202 for input samples of the image as shown in FIG. 1-D on the time axis for coefficients 2-D DWT in 1-D DWT unit 206 after performing 2-D DWT on the output of preprocessor 202 in 2-D DWT unit 204. Perform DWT. Based on the output of the 1-D DWT unit 206, the 3-D zero tree generator 210 undergoes a post processor 208 that performs post processing to remove redundancy on the time axis before generating the zero tree. The transform coefficients are encoded by the quantizer 212 and the arithmetic encoder 214 according to the generated 3-D zero tree to output an encoded bitstream.

3-D DWT를 이용한 부호화기는 2-D DWT를 이용한 부호화기의 구성과 유사하지만 시간축상의 용장도를 제거하는 전처리기와 후처리기가 더 구성되어 있다는 점이 구별된다. 도면에는 전처리기(202)와 후처리기(208)가 모두 구성되어 있지만 전처리기(202)만 구성되어 시간축상의 용장도를 제거할 수도 하고, 후처리기(208)만 구성되어 변형된 형태의 움직임 예측(modified motion estimation)을 적용해서 시간축상의 용장도를 제거할 수도 있다.The encoder using the 3-D DWT is similar to the structure of the encoder using the 2-D DWT, but distinguishes that the preprocessor and the post processor are further configured to remove redundancy on the time axis. In the drawing, both the preprocessor 202 and the post processor 208 are configured, but only the preprocessor 202 is configured to remove redundancy on the time axis, and only the post processor 208 is configured to predict the deformed motion. You can also apply modified motion estimation to remove redundancy on the time base.

이러한 DWT와 제로트리를 이용하여 데이터를 압축하는 기술은 주로 2-D의 정지 영상에 대해 적용되었고, 최근에 3-D의 동영상에 적용하는 연구가 이루어지고 있다. 이러한 데이터 압축 기술을 3-D 동영상에 적용하기 위해서는 시간축상의 용장도를 효과적으로 제거하는 것이 중요하기 때문에 이 시간축상의 용장도를 제거하기 위해 많은 방법들이 제시되고 있지만 아직 만족할 만한 결과를 얻지 못하고 있다. 그 이유는 시간축상의 용장도를 제거하기 위해 사용되는 움직임 예측은 DCT(Discrete Cosine Transform)와 같은 블록 부호화(block coding)에는 적용하기 적당하지만 웨이브렛에는 적용하기 적당하지 않은 데도 불구하고, 웨이브렛을 움직임 예측과 연결시키려고 하고 있기 때문이다.The technique of compressing data using DWT and zero tree has been mainly applied to 2-D still images, and recently, researches applying to 3-D video have been conducted. In order to apply the data compression technique to the 3-D video, it is important to effectively remove the redundancy on the time base, but many methods have been proposed to remove the redundancy on the time base, but the results are not satisfactory. The reason is that the motion prediction used to remove the redundancy on the time axis is suitable for block coding such as DCT (Discrete Cosine Transform), but it is not suitable for wavelet. It is trying to connect with motion prediction.

따라서, 본 발명의 목적은 3-D DWT와 새로운 다차원 제로트리를 이용하여 시간축상의 용장도를 효과적으로 제거하기 위한 부호화 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an encoding method for effectively removing redundancy on a time axis using 3-D DWT and a new multidimensional zero tree.

본 발명의 다른 목적은 3-D DWT와 새로운 다차원 제로트리를 이용하여 시간축상의 용장도를 효과적으로 제거하기 위한 부호화기를 제공하는 데 있다.Another object of the present invention is to provide an encoder for effectively eliminating redundancy on the time axis using 3-D DWT and a new multidimensional zero tree.

본 발명의 또 다른 목적은 1-D DWT와 2-D DWT를 이용하는 응용에서 채널의 전송율이 매우 낮은 경우에 대응하기 위하여 고주파 성분을 강조하여 제로트리를 스캔하는 방법을 제공하는 데 있다.It is still another object of the present invention to provide a method of scanning a zero tree by emphasizing high frequency components in order to cope with a case in which the transmission rate of a channel is very low in an application using 1-D DWT and 2-D DWT.

상기의 목적들을 달성하기 위하여, 본 발명에 의한 부호화 방법은 영상의 입력 샘플을 공간상에서 2차원(2-D) 이산 웨이브렛 변환(DWT)을 수행하여 2-D DWT된 변환 계수를 출력하는 단계, 2-D DWT된 변환 계수를 다시 시간축에 대하여 1차원(1-D) DWT를 수행해서 1-D DWT된 변환 계수를 출력하는 단계, 2-D DWT된 변환 계수에 대해서는 에지와 같은 공간상의 고주파 성분을 강조하고 1-D DWT된 변환 계수에 대해서는 움직임과 같은 시간축의 고주파 성분을 강조하여 다차원 제로트리를 생성하되 전송율에 따라 생성되는 다차원 제로트리수가 결정되는 단계 및 생성된 다차원 제로트리를 이용하여 변환 계수들을 압축부호화하는 단계를 포함함을 특징으로 한다.In order to achieve the above objects, the encoding method of the present invention performs a two-dimensional (2-D) discrete wavelet transform (DWT) of an input sample of an image and outputs a 2-D DWT transform coefficient. Outputting the 1-D DWT transform coefficients by performing 2-D DWT on the 2-D DWT transform coefficients again on the time axis. Emphasizing high frequency components and generating multidimensional zero trees by emphasizing high frequency components of time axis such as motion for 1-D DWT transform coefficients, and determining the number of generated multidimensional zero trees according to the transmission rate and using the generated multidimensional zero trees. Compressing and encoding the transform coefficients.

본 발명에 의한 부호화기의 2-D DWT 유니트는 영상의 입력 샘플을 공간상에서 2차원(2-D) 이산 웨이브렛 변환(DWT)을 수행하여 2-D DWT된 변환 계수를 출력하고, 1-D DWT 유니트는 2-D DWT된 변환 계수를 다시 시간축에 대하여 1차원(1-D) DWT를 수행해서 1-D DWT된 변환 계수를 출력하고, 다차원 제로트리 생성기는 2-D DWT된 변환 계수에 대해서는 에지와 같은 공간상의 고주파 성분을 강조하고 1-D DWT된 변환 계수에 대해서는 움직임과 같은 시간축의 고주파 성분을 강조하여 다차원 제로트리를 생성하되 전송율에 따라 생성되는 다차원 제로트리수를 결정하고, 제로트리 웨이브렛 부호화기는 생성된 다차원 제로트리를 이용하여 변환 계수들을 압축부호화해서 부호화된 비트스트림을 출력함을 특징으로 한다.The 2-D DWT unit of the encoder according to the present invention outputs 2-D DWT transform coefficients by performing 2-dimensional (2-D) discrete wavelet transform (DWT) on an input sample of an image in space. The DWT unit outputs the 1-D DWT transformed coefficients by performing 2-D DWT transformed on the 2-D DWT transformed coefficients on the time axis, and the multi-dimensional zero tree generator is applied to the 2-D DWT transformed coefficients. For the 1-D DWT transform coefficients, multi-dimensional zero trees are generated by emphasizing the high-frequency components in the space such as edges, and for the 1-D DWT transform coefficients. The tree wavelet encoder is characterized by outputting a coded bitstream by compressing and encoding transform coefficients using the generated multidimensional zero tree.

본 발명에 의한 스캔 방법은 이산 웨이브렛 변환(DWT)과 제로 트리를 이용하는 응용에서 극저 비트율로 전송하기 위한 제로 트리의 스캔 방법에 있어서: 첫 번째 계수를 포함하는 첫 번째 트리의 루트 노드로부터 가장 마지막 단의 노드까지 스캔하는 단계, 스캔되지 않은 남은 부분에서 가장 큰 서브트리를 구성한 후 루트 노드로부터 가장 마지막단의 노드까지 스캔하는 단계 및 트리상의 모든 노드가 스캐닝될 때까지 위의 단계를 반복 수행하는 단계를 포함함을 특징으로 한다.The scanning method according to the present invention is a method of scanning a zero tree for transmitting at an extremely low bit rate in an application using a discrete wavelet transform (DWT) and a zero tree: the last from the root node of the first tree including the first coefficient. Scanning up to one node, configuring the largest subtree from the remaining unscanned portion, and then scanning from the root node to the last node, and repeating the above steps until all nodes on the tree are scanned. Characterized in that it comprises a step.

도 1은 기존의 2-D DWT를 이용한 부호화기의 블록도이다.1 is a block diagram of an encoder using a conventional 2-D DWT.

도 2는 기존의 3-D DWT를 이용한 부호화기의 블록도이다.2 is a block diagram of an encoder using a conventional 3-D DWT.

도 3은 본 발명에 의한 새로운 다차원 웨이브렛 제로트리를 이용한 부호화기의 일 실시예에 따른 블록도이다.3 is a block diagram according to an embodiment of an encoder using the new multidimensional wavelet zero tree according to the present invention.

도 4는 3-D DWT를 이용한 프레임내와 프레임간 변환 계수의 성질을 보인 도면이다.4 is a diagram illustrating the properties of intra-frame and inter-frame conversion coefficients using 3-D DWT.

도 5는 본 발명에 의한 새로운 다차원 제로트리의 횡단 순서를 보인 도면이다.5 is a diagram illustrating a traversal sequence of a new multidimensional zero tree according to the present invention.

도 6a 내지 도 6e는 도 5에 도시된 첫 번째 다차원 제로트리의 스캔 순서를 보인 도면이다.6A through 6E are diagrams illustrating a scanning order of the first multidimensional zero tree illustrated in FIG. 5.

도 7의 (a)는 1-D DWT를 이용한 응용에서 기존의 DWT 계수의 스캔 순서를 보인 도면이고, 도 7의 (b)는 극저 전송율을 위해 본 발명에서 제안하는 DWT 계수의 스캔 순서를 보인 도면이다.7 (a) is a view showing a scan order of the existing DWT coefficients in the application using the 1-D DWT, Figure 7 (b) shows a scan order of the DWT coefficients proposed in the present invention for very low data rate Drawing.

도 8의 (a)는 2-D DWT를 이용한 응용에서 기존의 DWT 계수의 스캔 순서를 보인 도면이고, 도 8의 (c)는 극저 전송율을 위해 본 발명에서 제안하는 DWT 계수의 스캔 순서를 보인 도면이다.FIG. 8 (a) is a diagram illustrating a scan order of existing DWT coefficients in an application using 2-D DWT, and FIG. 8 (c) illustrates a scan order of DWT coefficients proposed by the present invention for extremely low data rates. Drawing.

이하, 첨부된 도면을 참조하여 본 발명에 의한 새로운 다차원 웨이브렛 제로트리를 이용한 부호화 방법과 부호화기 및 극저 전송율을 위한 스캔 방법의 바람직한 실시예를 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described a preferred embodiment of a coding method using a new multi-dimensional wavelet zero tree according to the present invention, an encoder and a scan method for a very low data rate.

이산 웨이브렛 제로트리를 이용하여 3-D의 동영상을 압축하는 경우에 시간축상의 용장도를 제거하기 위해 많은 방법들이 제시되고 있는 데 웨이브렛을 움직임 예측과 결합시키려고 하는 것이 그중에 하나이다. 움직임 예측은 DCT와 같은 블록 부호화에는 적용하기 적당하지만 웨이브렛에는 적용하기 적당하지 않으며 실제로 만족할 만한 성능을 얻지 못하고 있다. 따라서, 본 발명에서는 웨이브렛 변환의 특성을 최대한 활용하여 3-D 웨이브렛 변환만을 이용하여 시간축상의 용장도를 제거한다.In the case of compressing 3-D video using discrete wavelet zero tree, many methods have been proposed to remove redundancy on the time axis, and one of them is to combine wavelets with motion prediction. Motion prediction is suitable for block coding such as DCT, but it is not suitable for wavelet, and it is not getting satisfactory performance. Therefore, in the present invention, the redundancy on the time axis is removed using only the 3-D wavelet transform by utilizing the characteristics of the wavelet transform to the maximum.

본 발명에 의한 새로운 다차원 웨이브렛 제로트리를 이용한 부호화기의 일 실시예에 따른 블록도인 도 3에 있어서, 2-D DWT 유니트(302)에서 영상의 입력 샘플을 일차적으로 공간상에서 2-D DWT를 수행하고 다시 시간축에 대하여 1-D DWT 유니트(304)에서 1-D DWT를 수행한다. 다차원 제로트리 생성기(306)는 1-D DWT 유니트(304)로부터 출력되는 변환계수에 대해 본 발명에서 제안하는 새로운 다차원 제로트리를 생성하고, 양자화기(308)와 산술적 부호화기(310)에 의해 생성된 다차원 제로트리에 대해 극저 비트율(very low bit-rate)로 전송하는 경우에 대응하기 위하여 에지와 같은 공간상의 고주파 성분과 커다란 움직임과 같은 시간축상의 고주파 성분을 강조하는 스캔 체계(scan schemes)를 적용하여 변환 계수를 압축부호화해서 부호화된 비트스트림을 출력한다. 여기서, 양자화기와 산술적 부호화기를 웨이브렛 제로트리 부호화기로 지칭될 수 있다.In FIG. 3, which is a block diagram of an encoder using a new multidimensional wavelet zero tree according to the present invention, a 2-D DWT unit 302 first inputs an input sample of an image in space. After that, the 1-D DWT unit 304 performs the 1-D DWT on the time axis. The multi-dimensional zero tree generator 306 generates a new multi-dimensional zero tree proposed by the present invention for the transform coefficients output from the 1-D DWT unit 304 and is generated by the quantizer 308 and the arithmetic encoder 310. Apply scan schemes that emphasize spatial high frequency components such as edges and high frequency components such as large motion to cope with the transmission of very low bit-rates to the multidimensional zero tree. The compression coefficients are compressed to output the encoded bitstream. Here, the quantizer and the arithmetic encoder may be referred to as wavelet zero tree encoders.

이때, 3-D DWT를 이용하는 프레임내와 프레임간 변환 계수의 성질은 도 4에 도시된 바와 같이 2-D DWT 유니트(302)에서 2-D DWT된 계수 중에 공간상에서 저주파 성분에 해당되는 부분은 시간축상에서 변하지 않을 가능성이 크다. 그러나, 1-D DWT 유니트(304)에서 제공되는 변환 계수의 시간축상의 변화는 주로 에지와 같이 공간상에서 고주파 성분에 해당되는 부분에서 클 가능성이 높다.At this time, the properties of the intra-frame and inter-frame conversion coefficients using the 3-D DWT is the portion corresponding to the low frequency components in space among the 2-D DWT coefficients in the 2-D DWT unit 302 as shown in FIG. It is unlikely to change on the time base. However, the change in the time axis of the conversion coefficient provided by the 1-D DWT unit 304 is likely to be large in the portion corresponding to the high frequency component in space, mainly an edge.

이런 특징은 인간의 인지 기관(perceptual organs)의 특성과도 부합된다. 인간의 인지 기관(눈,귀)은 저주파 성분에 대해서 민감한 데 반해 고주파 성분에 대해서는 덜 민감하다. 그러나, 고주파 성분은 시간적인 변화에 대해 민감하게 인지된다. 즉, 저주파 성분에 대해서는 주파수 해상도(resolution)가 높고, 고주파 성분에 대해서는 시간 해상도가 높은 특성을 이용하여 채널의 전송율이 낮은 경우에 효율적으로 데이터를 전송하기 위한 새로운 다차원 제로트리 구조를 도 5에 도시된 바와 같이 다차원 제로트리 생성기(306)에서 생성한다.This feature is consistent with the characteristics of human perceptual organs. Human cognitive organs (eyes and ears) are sensitive to low frequency components, while less sensitive to high frequency components. However, high frequency components are sensitive to time changes. That is, a new multi-dimensional zero-tree structure for efficiently transmitting data when the channel rate is low by using a high frequency resolution for low frequency components and a high time resolution for high frequency components is shown in FIG. 5. As described above, the multi-dimensional zero tree generator 306 generates the multi-dimensional zero tree generator 306.

채널의 전송율이 낮은 경우에는 고주파 성분을 강조하는 것이 효과적일 수 있다. 왜냐하면 에지와 같은 공간상의 고주파 성분과 커다란 움직임과 같은 시간축상의 고주파 성분이 중요하기 때문이다. 따라서, 채널의 전송율이 낮은 응용을 위해 트리 스캔시 기존의 방법에 비해 고주파 성분을 먼저 스캔하는 트리 스캔 방법을 제안한다.If the channel's data rate is low, it may be effective to emphasize the high frequency components. This is because high frequency components in space such as edges and high frequency components in time axis such as large movements are important. Therefore, we propose a tree scan method that scans high-frequency components first compared to the conventional method during tree scan for low channel rate applications.

따라서, 공간상의 저주파 성분들은 시간축상에서 변하지 않을 가능성이 크므로 시간축상에 뒤따르는 계수들(시간축상의 저주파 성분)은 제로가 될 가능성이 높다. 이와 같은 성질을 이용하여 도 5에 도시된 바와 같은 단위 블록(여기서는 8화소 × 8라인)에 대해 다차원 제로트리를 구성하는 데 도면에는 1, 2, 3, 4로 도시된 다차원 제로트리를 구성하고, 1과 같은 첫 번째 다차원 서브트리를 스캔하는 방법은 도 6a 내지 도 6e에 도시되어 있다.Therefore, since low frequency components in space are not likely to change on the time axis, coefficients following the time axis (low frequency components on the time axis) are likely to be zero. Using this property, the unit block as shown in FIG. 5 (here, 8 pixels) × 8, the multidimensional zerotree shown as 1, 2, 3, and 4, and the method of scanning the first multidimensional subtree such as 1 is illustrated in FIGS. 6A to 6E. Is shown.

도 6a에 도시된 첫 번째, 두 번째, 세 번째 단계에서와 같이 첫 번째 프레임만을 이용하여 가장 중요한 첫 번째 계수를 포함하여 수평방향의 2차(second order) 제로트리를 구성한 다음에 네 번째 단계에서는 두 번째 프레임으로 제로트리를 확장한다. 다섯 번째 단계에서 다시 첫 번째 프레임으로 돌아와 수평방향의 3차(third order) 제로트리를 구성하고, 여섯 번째, 일곱 번째, 여덟 번째 단계에서는 도 6b에 도시된 바와 같이, 시간 해상도가 높은 고주파 성분을 강조하기 위해서 두 번째, 세 번째, 네 번째 프레임으로 제로트리를 확장한다.As in the first, second, and third steps shown in FIG. 6A, a second order zero tree in the horizontal direction is formed by using only the first frame, including the most important first coefficient. Expand the zero tree to the second frame. The fifth step returns to the first frame to form a third order zero tree in the horizontal direction. In the sixth, seventh and eighth steps, as shown in FIG. To emphasize, expand the zero tree to the second, third, and fourth frames.

이렇게 수평방향으로의 확장이 끝났으면, 아홉 번째, 열 번째 단계에서 첫 번째 프레임으로 돌아와 수직방향의 2차 제로트리를 구성하고, 11번째 단계에서는 도 6c에 도시된 바와 같이 두 번째 프레임으로 제로트리를 확장한다. 12번째 단계에서는 첫 번째 프레임으로 돌아와 수직 방향의 3차 제로트리를 구성하고, 13번째, 14번째, 15번째 단계에서는 두 번째, 세 번째, 네 번째 프레임으로 제로트리를 확장한다.When the expansion in the horizontal direction is completed, the second frame returns to the first frame in the ninth and tenth stages to form a vertical second tree, and in the eleventh stage, the zero tree is in the second frame as shown in FIG. 6C. Expand Step 12 returns to the first frame to form a third order zero tree in the vertical direction, and steps 13, 14, and 15 extend the zero tree to the second, third, and fourth frames.

16번째, 17번째 단계에서는 도 6d에 도시된 바와 같이 첫 번째 프레임으로 돌아와서 나머지 대각선 방향의 2차 제로트리를 구성하고, 18번째 단계에서는 두 번째 프레임으로 제로트리를 확장한다. 19번째 단계에서는 첫 번째 프레임으로 돌아와 대각선 방향의 3차 제로트리를 구성하고, 20번째, 21번째, 22번째 단계에서는 도 6d와 도 6e에 도시된 바와 같이 두 번째, 세 번째, 네 번째 프레임으로 제로트리를 확장한다. 이렇게 하나의 다차원 서브트리의 구성이 끝나게 되면 멀티 해상도를 위한 플래그 정보를 삽입할 수 있다.In the 16 th and 17 th steps, the second frame returns to the first frame as shown in FIG. 6D and the second diagonal tree is constructed in the remaining diagonal directions. In the 18 th step, the zero tree is expanded to the second frame. In the 19th step, return to the first frame to form a third order zero tree in the diagonal direction, and in the 20th, 21st, and 22nd steps, as shown in FIGS. 6D and 6E, the second, third, and fourth frames are shown. Expand the zero tree. When the configuration of one multidimensional subtree is finished, flag information for multi resolution can be inserted.

더 많은 비트를 전송할 수 있는 경우에는 도 5에 도시된 2와 같이 두 번째 프레임의 첫 번째 계수부터 시작하여 두 번째 다차원 서브트리를 구성한다. 도 5의 3과 4와 같이 이와 같은 방법으로 계속 서브트리를 확장한다. 이와 같은 다차원의 입체적인 제로트리를 구성함으로써 DWT된 계수들의 연관성을 더욱 효과적으로 추출해 낼 수 있다.If more bits can be transmitted, a second multidimensional subtree is constructed starting from the first coefficient of the second frame as shown in FIG. 5. Subtrees continue to be extended in this manner as shown in 3 and 4 of FIG. 5. By constructing such a multidimensional three-dimensional zero tree, the correlation of DWT coefficients can be extracted more effectively.

도 7의 (a)는 1-D DWT를 이용한 응용에서 기존의 DWT 계수의 스캔 순서를 보인 도면으로서 지그재그 스캔 형태를 가지고, 도 7의 (b)는 본 발명에서 제안하는 극저 비트율로 전송하는 경우를 위한 DWT 계수의 스캔 순서를 보인 도면이다.FIG. 7 (a) is a diagram illustrating a scanning order of existing DWT coefficients in an application using 1-D DWT, and has a zigzag scan form. FIG. 7 (b) illustrates the case of transmitting at an extremely low bit rate proposed by the present invention. A diagram illustrating a scan order of DWT coefficients for a.

도 8의 (a)는 2-D DWT를 이용한 응용에서 기존의 DWT 계수의 스캔 순서를 보인 도면으로서, 스캔이 다음 서브밴드로 이동하기 전에 주어진 서브밴드에서 모든 계수를 스캔하고 있고, 도 8의 (b)는 본 발명에서 제안하는 극저 비트율로 전송하는 경우를 위한 DWT 계수의 스캔 순서를 보인 도면이다.FIG. 8 (a) is a diagram illustrating a scanning order of existing DWT coefficients in an application using 2-D DWT, and scanning all coefficients in a given subband before the scan moves to the next subband. (b) is a diagram showing a scanning order of DWT coefficients for the case of transmitting at the extremely low bit rate proposed in the present invention.

즉, 본 발명에서 제안하는 채널의 전송율이 낮은 응용을 위한 스캔 체계에서는 고주파 성분을 강조하기 위해 도 7의 (b) 및 도 8의 (b)에 도시된 바와 같이 트리의 루트 노드로부터 가장 마지막 단의 노드까지 스캔한 후에 스캔되지 않은 남은 부분에서 가장 큰 서브트리를 구성한 후 마찬가지로 루트 노드로부터 가장 마지막단의 노드까지 스캔한다. 트리상의 모든 노드가 스캐닝될 때까지 위와 같이 반복한다.That is, in the scan scheme for the low-rate application proposed in the present invention, the last stage from the root node of the tree as shown in FIGS. 7B and 8B to emphasize high frequency components After scanning up to the node of, we construct the largest subtree from the remaining unscanned parts and then scan from the root node to the last node. Repeat as above until all nodes in the tree have been scanned.

이와 같은 트리 스캔 방법을 이용하여 에지와 같은 공간상의 고주파 성분과 커다란 움직임과 같은 시간축상의 고주파 성분과 같이 채널의 전송율이 낮은 경우에 중요한 성분들을 효과적으로 표현할 수 있다.Using this tree scan method, important components can be effectively expressed when the channel transmission rate is low, such as a high frequency component such as an edge and a high frequency component such as a large motion.

본 발명은 시간축상의 용장도를 제거하는 방법을 웨이브렛 변환 내부에서 찾고, 웨이브렛 변환의 성질중에 사람의 인지 기관의 특성과 부합되는 성질도 이용하여 채널의 전송율이 낮은 응용에서 효율적으로 데이터를 전송할 수 있다. 특히, 채널의 전송율이 매우 낮은 경우에는 기존의 방법에 비해 에지와 같은 공간상의 고주파 성분과 커다란 움직임과 같은 시간축상의 고주파 성분을 더욱 강조함으로써 효과적인 압축이 가능해진다.The present invention finds a method of eliminating redundancy on the time base inside a wavelet transform and efficiently transmits data in applications with low data rates by using properties of the wavelet transform that match the characteristics of human cognitive organs. Can be. In particular, when the transmission rate of the channel is very low, effective compression is possible by further emphasizing high frequency components in space such as edges and high frequency components in time axis such as large movements, compared to the conventional methods.

따라서, 본 발명은 전송율이 수시로 변하는 채널을 통한 데이터를 전송하는 분야 예를 들어, 이동 화상 전화, 인터넷을 통한 화상 전화 등에 적용될 수 있으며, 또한 전송율이 낮은 채널을 통한 데이터 전송 분야와 향후 MPEG-4와 같은 동영상 압축 분야에도 적용될 수 있다.Therefore, the present invention can be applied to the field of transmitting data through a channel whose transmission rate changes frequently, for example, a mobile video telephone, a video telephone via the Internet, and also a field of data transmission through a channel having a low transmission rate and the future MPEG-4. It can also be applied to video compression fields such as.

상술한 바와 같이, 본 발명은 다차원 웨이브렛 제로트리 구조와 고주파 성분을 강조하는 트리 스캔 체계를 이용하여 채널의 전송율이 매우 낮은 응용에서 효율적으로 데이터를 전송할 수 있는 효과가 있다.As described above, the present invention has an effect of efficiently transmitting data in an application having a very low data rate by using a multi-dimensional wavelet zero tree structure and a tree scan scheme that emphasizes high frequency components.

Claims

(a) 영상의 입력 샘플을 공간상에서 2차원(2-D) 이산 웨이브렛 변환(DWT)을 수행하여 2-D DWT된 변환 계수를 출력하는 단계;(a) performing 2-dimensional (2-D) discrete wavelet transform (DWT) on an input sample of an image and outputting 2-D DWT transform coefficients;

(b) 상기 2-D DWT된 변환 계수를 다시 시간축에 대하여 1차원(1-D) DWT를 수행해서 1-D DWT된 변환 계수를 출력하는 단계;(b) outputting the 1-D DWT transformed coefficients by performing one-dimensional (1-D) DWT on the 2-D DWT transformed coefficients again on a time axis;

(c) 상기 2-D DWT된 변환 계수에 대해서는 에지와 같은 공간상의 고주파 성분을 강조하고 상기 1-D DWT된 변환 계수에 대해서는 움직임과 같은 시간축의 고주파 성분을 강조하여 다차원 제로트리를 생성하되 전송율에 따라 생성되는 다차원 제로트리수가 결정되는 단계; 및(c) The multi-dimensional zero tree is generated by emphasizing the high frequency components in the space such as the edge for the 2-D DWT transform coefficient and the high frequency components in the time axis such as the motion for the 1-D DWT transform coefficient. Determining the number of generated multidimensional zero trees according to the method; And

(d) 생성된 다차원 제로트리를 이용하여 변환 계수들을 압축부호화하는 단계를 포함하는 부호화 방법.(d) compressing and encoding transform coefficients using the generated multi-dimensional zero tree.

제1항에 있어서, 상기 (c)단계에서는,The method of claim 1, wherein in step (c),

(c1) 소정수의 영상 프레임 단위로 첫 번째 프레임만을 이용하여 첫 번째 계수와 수평 방향의 2차 제로트리를 구성한 다음에 두 번째 프레임으로 제로트리를 확장하는 단계;(c1) constructing a second zero tree in the horizontal direction and the first coefficient using only the first frame in units of a predetermined number of image frames, and then expanding the zero tree to the second frame;

(c2) 다시 첫 번째 프레임으로 돌아와 수평 방향의 3차 제로트리를 구성한 후 나머지 프레임으로 제로트리를 확장하는 단계;(c2) returning to the first frame again, constructing a third order zero tree in a horizontal direction, and then expanding the zero tree to the remaining frames;

(c3) 수평방향으로의 제로트리의 확장이 끝났으면, 첫 번째 프레임으로 돌아와 수직방향의 2차 제로트리를 구성하고, 두 번째 프레임으로 제로트리를 확장하는 단계;(c3) if the expansion of the zero tree in the horizontal direction is finished, returning to the first frame to form a vertical secondary tree, and expanding the zero tree to the second frame;

(c4) 첫 번째 프레임으로 돌아와 수직 방향의 3차 제로트리를 구성하고, 나머지 프레임으로 제로트리를 확장하는 단계;(c4) returning to the first frame to construct a third order zero tree in a vertical direction, and expanding the zero tree to the remaining frames;

(c5) 수직 방향의 제로트리의 구성이 끝나면, 첫 번째 프레임으로 돌아와서 대각선 방향의 2차 제로트리를 구성하고, 두 번째 프레임으로 제로트리를 확장하는 단계; 및(c5) when the configuration of the zero tree in the vertical direction is finished, returning to the first frame to construct a secondary zero tree in a diagonal direction, and expanding the zero tree to the second frame; And

(c6) 첫 번째 프레임으로 돌아와 대각선 방향의 3차 제로트리를 구성하고, 나머지 프레임으로 제로트리를 확장해서 하나의 다차원용 서브트리를 구성하는 단계를 포함하는 부호화 방법.(c6) returning to the first frame to form a third order zero tree in a diagonal direction, and expanding the zero tree to the remaining frames to form one multidimensional subtree.

제2항에 있어서, 상기 방법은The method of claim 2, wherein the method

(c7) 전송율에 따라 즉, 더 많은 비트를 전송할 수 있는 경우에는 두 번째 프레임의 첫 번째 계수부터 시작하여 상기 (c1) 내지 (c6) 단계를 반복하여 두 번째 다차원용 서브트리를 구성하는 단계를 더 포함하는 부호화 방법.(c7) If the number of bits can be transmitted according to the transmission rate, that is, starting from the first coefficient of the second frame and repeating the steps (c1) to (c6) to configure a second multidimensional subtree A coding method further comprising.

제3항에 있어서, 상기 방법은The method of claim 3, wherein the method

(c8) 보다 더 많은 비트를 전송할 수 있는 경우에는 나머지 프레임에 대해 상기 (c1) 내지 (c6) 단계를 반복하여 계속 서브트리를 확장해서 입체적인 다차원 서브트리를 구성하는 단계를 더 포함하는 부호화 방법.and if more bits can be transmitted than (c8), repeating steps (c1) to (c6) for the remaining frames to continuously expand the subtree to form a three-dimensional multidimensional subtree.

제4항에 있어서, 상기 방법은The method of claim 4, wherein the method

(c9) 하나의 다차원용 서브트리의 구성이 완료되면 멀티 해상도를 위한 플래그 정보를 삽입하는 단계를 더 포함하는 부호화 방법.(c9) further comprising inserting flag information for multi-resolution when the configuration of one multidimensional subtree is completed.

영상의 입력 샘플을 공간상에서 2차원(2-D) 이산 웨이브렛 변환(DWT)을 수행하여 2-D DWT된 변환 계수를 출력하는 2-D DWT 유니트;A 2-D DWT unit for performing 2-dimensional (2-D) discrete wavelet transform (DWT) on an input sample of an image and outputting 2-D DWT transform coefficients;

2-D DWT된 변환 계수를 다시 시간축에 대하여 1차원(1-D) DWT를 수행해서 1-D DWT된 변환 계수를 출력하는 1-D DWT 유니트;A 1-D DWT unit for outputting the 1-D DWT converted coefficients by performing 2-dimensional DWT on the time axis with the 2-D DWT converted coefficients;

상기 2-D DWT된 변환 계수에 대해서는 에지와 같은 공간상의 고주파 성분을 강조하고 상기 1-D DWT된 변환 계수에 대해서는 움직임과 같은 시간축의 고주파 성분을 강조하여 다차원 제로트리를 생성하되 전송율에 따라 생성되는 다차원 제로트리수를 결정하는 다차원 제로트리 생성기; 및For the 2-D DWT transformed coefficients, a high-frequency component in the space such as an edge is emphasized, and for the 1-D DWT transformed coefficients, a multi-dimensional zero tree is generated by emphasizing a high-frequency component in the same time axis as a motion, but generated according to the transmission rate. A multidimensional zero tree generator for determining a multidimensional zero tree number to be generated; And

생성된 다차원 제로트리를 이용하여 변환 계수들을 압축부호화해서 부호화된 비트스트림을 출력하는 제로트리 웨이브렛 부호화기를 포함하는 부호화기.And a zero tree wavelet encoder for compressing and encoding transform coefficients using the generated multi-dimensional zero tree to output an encoded bitstream.

제6항에 있어서, 상기 다차원 제로트리 생성기는 저주파 성분에 대해서는 주파수 해상도가 높고, 고주파 성분에 대해서는 시간 해상도가 높은 특성을 이용하여 채널의 전송율이 낮은 경우에 대응하기 위하여 고주파 성분을 먼저 스캔할 수 있도록 제로 트리를 생성하는 것을 특징으로 하는 부호화기.The method of claim 6, wherein the multi-dimensional zero tree generator scans the high frequency components first to cope with the case where the transmission rate of the channel is low by using high frequency resolution for low frequency components and high time resolution for high frequency components. Coder to generate a zero tree.

제7항에 있어서, 상기 다차원 제로트리 생성기는, 소정수의 영상 프레임 단위로 첫 번째 프레임만을 이용하여 첫 번째 계수와 수평 방향의 2차 제로트리를 구성한 다음에 두 번째 프레임으로 제로트리를 확장하고, 다시 첫 번째 프레임으로 돌아와 수평 방향의 3차 제로트리를 구성한 후 나머지 프레임으로 제로트리를 확장하고, 수평방향으로의 제로트리의 확장이 끝났으면, 첫 번째 프레임으로 돌아와 수직방향의 2차 제로트리를 구성하고, 두 번째 프레임으로 제로트리를 확장하고, 첫 번째 프레임으로 돌아와 수직 방향의 3차 제로트리를 구성하고, 나머지 프레임으로 제로트리를 확장하고, 수직 방향의 제로트리의 구성이 끝나면, 첫 번째 프레임으로 돌아와서 대각선 방향의 2차 제로트리를 구성하고, 두 번째 프레임으로 제로트리를 확장하고, 첫 번째 프레임으로 돌아와 대각선 방향의 3차 제로트리를 구성하고, 나머지 프레임으로 제로트리를 확장해서 하나의 다차원용 서브트리를 구성하고, 전송율에 따라 즉, 보다 더 많은 비트를 전송할 수 있는 경우에는 나머지 프레임에 대해 계속 서브트리를 확장해서 입체적인 다차원 서브트리를 구성하는 것을 특징으로 하는 부호화기.The method of claim 7, wherein the multi-dimensional zero tree generator comprises constructing a first zero tree in the horizontal direction and the first coefficient using only the first frame in units of a predetermined number of image frames, and then extending the zero tree to the second frame. After returning to the first frame and constructing a third-order zero tree in the horizontal direction, expand the zero tree to the remaining frames, and when the expansion of the zero tree in the horizontal direction is finished, return to the first frame and return to the second-order zero tree in the vertical direction. , Expand the zero tree to the second frame, return to the first frame to form a third order zero tree in the vertical direction, extend the zero tree to the remaining frames, and when the construction of the vertical zero tree is complete, Return to the second frame to form a diagonal second tree, expand the zero tree to the second frame, Return to the frame to form a third-order zero tree in the diagonal direction, and expand the zero tree to the remaining frames to form one multidimensional subtree, depending on the rate, that is, if more bits can be transmitted, And an extension of the subtree to form a three-dimensional multidimensional subtree.

이산 웨이브렛 변환(DWT)과 제로 트리를 이용하는 응용에서 극저 비트율로 전송하기 위한 제로 트리의 스캔 방법에 있어서:A method of scanning a zero tree for transmission at very low bit rates in applications using discrete wavelet transform (DWT) and zero tree:

(a) 첫 번째 계수를 포함하는 첫 번째 트리의 루트 노드로부터 가장 마지막 단의 노드까지 스캔하는 단계;(a) scanning from the root node of the first tree containing the first coefficient to the node of the last stage;

(b) 스캔되지 않은 남은 부분에서 가장 큰 서브트리를 구성한 후 루트 노드로부터 가장 마지막단의 노드까지 스캔하는 단계; 및(b) constructing the largest subtree from the remaining unscanned portion and then scanning from the root node to the last node; And

(c) 트리상의 모든 노드가 스캐닝될 때까지 상기 (b)단계를 반복 수행하는 단계를 포함하는 스캔 방법.(c) repeating step (b) until all nodes on the tree have been scanned.