KR20040091682A - Method and system for layered video encoding - Google Patents

Abstract

복수의 하위-층(272, 274, 276)을 포함하는 적어도 1개의 층을 가지는 계층적 인코딩 시스템에서, 대응하는 하위-층(272, 274, 276) 내에 중요하다고 결정될 적어도 1개의 영역(200, 215, 220)을 포함하는, 복수의 픽셀 블록으로 이루어지는 비디오 이미지(200)를 인코딩하기 위한 방법이 본 명세서에 기술된다. 상기 방법은 상기 적어도 1개의 중요한 영역(200) 내의 알려진 크기의 각 블록(250, 252)과 중요도 레벨을 연관시키는 단계, 상기 더 큰 블록(222, 244) 내에 포함된 알려진 크기의 블록(250, 252) 중 적어도 하나의 상기 중요도 레벨에 따라, 연속적으로 더 큰 블록(222, 244)을 중요도 레벨과 연관시키는 단계, 및 상기 연관된 중요도 레벨 각각을 매핑하는 단계를 포함한다. 본 발명의 또다른 실시예에서, 중요도 맵은 송신되고, 대응하는 이미지 층들은 상기 중요도 맵을 사용하여 재구성될 수 있다.In a hierarchical encoding system having at least one layer comprising a plurality of sub-layers 272, 274, 276, at least one region 200, which will be determined to be important within the corresponding sub-layer 272, 274, 276 Described herein is a method for encoding a video image 200 consisting of a plurality of pixel blocks, including 215, 220. The method associates an importance level with each block 250, 252 of known size in the at least one critical region 200, the known size block 250, contained within the larger blocks 222, 244. In accordance with the importance level of at least one of 252, successively associating larger blocks 222, 244 with an importance level, and mapping each of the associated importance levels. In another embodiment of the invention, the importance map is transmitted and the corresponding image layers may be reconstructed using the importance map.

Description

계층적 비디오 인코딩을 위한 방법 및 시스템{METHOD AND SYSTEM FOR LAYERED VIDEO ENCODING}Method and system for hierarchical video encoding {METHOD AND SYSTEM FOR LAYERED VIDEO ENCODING}

파인 그래뉼라 확장성(FGS)과 웨이블렛 인코딩과 같은 계층적 인코딩이 비디오 이미지 인코딩 분야에 잘 알려져 있다. 예를 들면, FGS 인코딩은 비디오 이미지들을 기본 층과 강화 층으로 인코딩한다. 기본 층은 허용 가능한 품질을 가진 네트워크를 통해 전송될 수 있는 최소 이미지를 나타낸다. 강화 층은 충분한 잔여 대역폭이 이용 가능할 때 네트워크를 통해 전송될 수 있는 추가 이미지 세부사항을 나타낸다.Hierarchical encoding such as Fine Granular Extensibility (FGS) and wavelet encoding are well known in the field of video image encoding. For example, FGS encoding encodes video images into a base layer and an enhancement layer. The base layer represents the minimum image that can be transmitted over the network with acceptable quality. The enhancement layer represents additional image details that can be transmitted over the network when sufficient residual bandwidth is available.

강화 층들은 각 강화 층 값의 최상위 비트들이 제 1 비트 평면에 저장되고, 각 강화 층 값의 각각의 연속하는 비트가 대응하는 비트 평면에 저장되는 비트-평면 포맷으로 인코딩된다. 강화 층의 전송 중에, 각 비트 평면의 값들은 이용 가능한 대역폭이 점유될 때까지 연속적으로 전송된다.The enhancement layers are encoded in a bit-plane format in which the most significant bits of each enhancement layer value are stored in the first bit plane, and each successive bit of each enhancement layer value is stored in the corresponding bit plane. During the transmission of the enhancement layer, the values of each bit plane are transmitted continuously until the available bandwidth is occupied.

단편적인 비트 평면들의 개념은 비트 평면 내의 다양한 비트들의 중요성을 구별짓고 비트 평면 내의 비트 평면 코딩의 효율을 개선하기 위해 JPEG-2000에 도입되었다. 이 개념은 FGS와 같은 다른 층 인코딩 방법들에는 존재하지 않는다. 따라서, 중요한 것이라고 확정되는 비디오 이미지의 영역들이 강화 층을 인코딩하기 전에 식별되는 인코딩 방법과 디바이스에 관한 필요성이 존재한다.The concept of fractional bit planes was introduced in JPEG-2000 to distinguish the importance of various bits in the bit plane and to improve the efficiency of bit plane coding in the bit plane. This concept does not exist in other layer encoding methods such as FGS. Thus, a need exists for an encoding method and device in which areas of a video image that are determined to be important are identified before encoding the enhancement layer.

본 발명은 비디오 이미지 인코딩에 관한 것으로, 특히 계층적 인코딩된 비디오 이미지들의 강화 층들을 단편적으로 인코딩하는 것에 관한 것이다.The present invention relates to video image encoding, and in particular to fragment encoding of enhancement layers of hierarchically encoded video images.

도 1은 본 발명의 원리에 따른 FGS 단편적인 비트 평면 인코더를 도시하는 도면.1 illustrates an FGS fractional bit plane encoder in accordance with the principles of the present invention;

도 2a 내지 도 2c는 중요도 매핑된 강화 층 비트 평면을 도시하는 도면.2A-2C illustrate importance mapped enhancement layer bit planes.

도 3a는 본 발명의 원리에 따른 이미지 내의 중요한 이미지 영역들을 식별하기 위한 예시적인 블록도의 흐름도를 도시하는 도면.FIG. 3A shows a flowchart of an exemplary block diagram for identifying important image areas within an image in accordance with the principles of the present invention. FIG.

도 3b는 본 발명의 원리에 따른 중요도 맵을 생성하는 예시적인 과정의 흐름도를 도시하는 도면.3B is a flow diagram of an exemplary process of generating a importance map in accordance with the principles of the present invention.

도 4는 본 발명의 원리에 따른 중요도 매핑된 강화 층 비트 평면들을 결정하기 위한 시스템을 도시하는 도면.4 illustrates a system for determining importance mapped enhancement layer bit planes in accordance with the principles of the present invention.

도면들은 단지 본 발명의 개념을 설명하기 위한 것이지 본 발명의 한계를 한정하는 것으로 의도되지 않았다는 것을 이해해야 한다. 도 1과 도 4에 도시되고 첨부된 상세한 설명에서 기술된 실시예들은 예시적인 실시예들로 사용될 것이고, 본 발명을 실시하는 유일한 방식으로 간주되어서는 안된다. 또한, 적절한 곳에 참조 문자들이 보충될 수 있는 동일한 참조 번호가 유사한 요소들을 식별하는데 사용되었다.It is to be understood that the drawings are only illustrative of the concept of the invention and are not intended to limit the limits of the invention. The embodiments shown in FIGS. 1 and 4 and described in the appended description will be used as exemplary embodiments and should not be considered the only way to practice the invention. Also, the same reference numerals may be used to identify similar elements where appropriate, where reference characters may be supplemented.

복수의 하위-층을 포함하는 적어도 하나의 층을 가지는 계층적 인코딩 시스템에서, 대응하는 하위-층 내에서 중요하다고 결정된 적어도 하나의 영역을 포함하는 복수의 픽셀 블록들로 이루어진 비디오 이미지를 인코딩하기 위한 방법이 본 명세서에 기술된다. 본 방법은 적어도 하나의 중요한 영역 내의 알려진 크기의 각 블록과 중요도 레벨을 연관시키는 단계, 연속적으로 더 큰 블록 내에 포함된 알려진 크기의 블록들 중 적어도 하나의 중요도 레벨에 종속적인 각각의 연속적으로 더 큰 블록과 중요도 레벨을 연관시키는 단계, 및 연관된 중요도 레벨 각각의 매핑시키는 단계를 포함한다.In a hierarchical encoding system having at least one layer comprising a plurality of sub-layers, for encoding a video image composed of a plurality of pixel blocks comprising at least one region determined to be important within the corresponding sub-layer. The method is described herein. The method includes associating an importance level with each block of known size in at least one critical region, each successively larger dependent on the importance level of at least one of the known sized blocks contained within the subsequently larger block. Associating a block with an importance level, and mapping each of the associated importance levels.

본 발명의 또다른 실시예에서, 중요도 맵은 전송되고, 대응하는 이미지 층들은 중요도 맵을 사용하여 재구성될 수 있다.In another embodiment of the invention, the importance map is transmitted and the corresponding image layers may be reconstructed using the importance map.

도 1은 본 발명의 원리에 따른 예시적인 단편 비트 평면 인코더(100)의 블록도를 도시한다. 이 도면에서, 입력 신호(110)가 합산기(115)에 인가되고, 이 신호는 추가로 논의되는 바와 같이 움직임 보상된 이미지들과 혼합된다. 그 다음, 결합된 신호는 이산 계수 변환(DCT)(120)에 인가되어 픽셀 값들을 계수들로 변환시킨다. 그 다음 DCT 계수들은 양자화를 위해 양자화기(125)에 인가된다. 양자화된 DCT 계수들은 가변 길이 코드화기(130)와 결합기(175)에 인가된다.1 shows a block diagram of an exemplary fragment bit plane encoder 100 in accordance with the principles of the present invention. In this figure, an input signal 110 is applied to summer 115, which is mixed with motion compensated images as discussed further. The combined signal is then applied to discrete coefficient transform (DCT) 120 to convert the pixel values into coefficients. DCT coefficients are then applied to quantizer 125 for quantization. The quantized DCT coefficients are applied to variable length coder 130 and combiner 175.

또한, 양자화된 DCT 계수들은 역 양자화기(135)에 인가되어 DCT 계수들을 회복시킨다. 알 수 있는 바와 같이, 회복된 DCT 계수들은 본래의 DCT 값들과 정확히 같지는 않은데, 이는 일부 정보가 양자화 과정에서 손실되기 때문이다. 그 다음,역 양자화된 계수들은 DCT 및 양자화 프로세싱 이후에 본래의 픽셀 요소를 회복하기 위해 역 DCT(140)에 인가된다. 유사하게, 본래의 픽셀 요소들과 회복된 픽셀 요소들 사이의 알려진 차이가 존재하고, 이는 일부 정보가 양자화 과정에서 손실되기 때문이다. 회복된 픽셀 요소들은 움직임 추정기/움직임 보상기(145)에 인가된다. 그 다음, 움직임 추정된/보상된 신호는 합산 디바이스(115)에 인가되어 본래의 이미지(110)와 결합된다.The quantized DCT coefficients are also applied to inverse quantizer 135 to recover the DCT coefficients. As can be seen, the recovered DCT coefficients are not exactly the same as the original DCT values because some information is lost in the quantization process. Inverse quantized coefficients are then applied to inverse DCT 140 to recover the original pixel elements after DCT and quantization processing. Similarly, there is a known difference between original pixel elements and recovered pixel elements, since some information is lost in the quantization process. The recovered pixel elements are applied to the motion estimator / motion compensator 145. The motion estimated / compensated signal is then applied to summing device 115 and combined with the original image 110.

합해진 이미지(150)는 또한 역 DCT(140)로부터의 회복된 픽셀 요소들 출력과 함께 합산 디바이스(155)에 인가된다. 합산 디바이스의 출력은 본래의 신호(110)와 회복된 기본 층 이미지 사이의 잔여 요소이다. 잔여 이미지는 강화 층 인코더(170)와 중요도 맵 인코더(165)에 동시에 인가된다. 또한, 중요도 맵 인코더(165)의 결과들은, 좀더 상세히 설명되는 바와 같이 비트 평면들을 매핑하기 위한 강화 층 인코더(170)에 인가된다.The combined image 150 is also applied to the summing device 155 with the recovered pixel elements output from the inverse DCT 140. The output of the summing device is the residual element between the original signal 110 and the recovered base layer image. The residual image is applied simultaneously to the enhancement layer encoder 170 and the importance map encoder 165. In addition, the results of the importance map encoder 165 are applied to the enhancement layer encoder 170 for mapping the bit planes as described in more detail.

강화 층 인코더(170)와 중요도 맵(165)의 출력들은 결합기(180)에 인가되고 결합된 출력은 결합기(175)에 인가된다. 그 다음, 결합기(175)의 출력(190)은 네트워크를 통해 전송되거나 이어지는 전송을 위해 저장된다.The outputs of the enhancement layer encoder 170 and the importance map 165 are applied to the combiner 180 and the combined output is applied to the combiner 175. The output 190 of the combiner 175 is then transmitted over the network or stored for subsequent transmission.

도 2a는 경계, 컬러 또는 텍스처(texture)의 변화와 같은 중요한 정보를 포함하는 이미지 프레임(200)을 설명한다. 중요한 이미지 영역들(210, 215, 220)은 알려진 방법들을 사용하여 식별될 수 있다. 이에 따라, 텍스처 상의 변화가 거의 없거나 전혀 없는 영역들은 중요하지 않은 것으로 식별될 수 있다. 따라서, 이들 영역들에 관한 정보는 거의 또는 전혀 전송될 필요가 없다. 그러므로, 본 발명의일 실시예에서 중요한 영역들의 결정은 각 픽셀 요소를 검토함으로써 행해질 수 있다. 바람직한 일 실시예에서, 중요한 영역들의 결정은 대응하는 DCT 계수들을 검토함으로써 행해질 수 있다.2A illustrates an image frame 200 that includes important information such as changes in borders, colors or textures. Critical image areas 210, 215, and 220 can be identified using known methods. Thus, areas with little or no change in texture can be identified as not important. Thus, little or no information about these areas need to be transmitted. Therefore, the determination of the regions of interest in one embodiment of the present invention can be done by examining each pixel element. In one preferred embodiment, the determination of significant areas can be done by examining the corresponding DCT coefficients.

도 2b는 본 발명의 또다른 양태를 도시하고, 210과 같은 중요한 이미지 영역은 복수의 블록, 대응하는 매크로블록, 및 대응하는 수퍼-매크로블록과 연관된다. 비록, 이미지의 특정 분할이 도시되지만, 아래에 논의되는 바와 같이 다른 표준에 따라 이미지가 분할될 수 있음을 알 수 있을 것이다. 본 예시적인 예에서, 이미지 영역(210)은 수퍼-매크로블록들(222, 224, 226, 228, 230, 및 232)로 이루어진다. 각각의 수퍼-매크로블록은 매크로블록들로 분할될 수 있다. 명확히 하기 위해, 수퍼-매크로블록(222)은 매크로블록들(240,242,244, 및 246)로 분할된 것으로 도시된다. 각각의 매크로블록(240,242,244, 및 246)은 또다시 미니-매크로블록으로 분할될 수 있다. 명확히 하기 위해, 매크로블록(240)은 미니-매크로블록들(250, 252, 254, 및 256)로 분할된 것으로 도시된다. 각각의 미니-매크로블록은 또다시 하나의 블록으로 분할될 수 있다. 명확히 하기 위해, 미니-매크로블록(250)은 블록들(260, 262, 264, 및 266)로 분할된 것으로 도시된다. 알 수 있는 바와 같이, 각각의 수퍼-매크로블록은 매크로 블록, 미니-매크로 블록, 및 블록들에 대해 유사하게 분할되고 식별되며, 연관될 수 있다.2B illustrates another aspect of the present invention, wherein an important image region, such as 210, is associated with a plurality of blocks, corresponding macroblocks, and corresponding super-macroblocks. Although a particular segmentation of the image is shown, it will be appreciated that the image may be segmented according to other standards as discussed below. In this illustrative example, image region 210 consists of super-macroblocks 222, 224, 226, 228, 230, and 232. Each super-macroblock may be divided into macroblocks. For clarity, super-macroblock 222 is shown divided into macroblocks 240, 242, 244, and 246. Each macroblock 240, 242, 244, and 246 can again be divided into mini-macroblocks. For clarity, macroblock 240 is shown as being divided into mini-macroblocks 250, 252, 254, and 256. Each mini-macroblock can again be divided into one block. For clarity, the mini-macroblock 250 is shown divided into blocks 260, 262, 264, and 266. As can be seen, each super-macroblock can be similarly divided, identified, and associated for macro blocks, mini-macro blocks, and blocks.

바람직한 실시예에서, 블록(260)은 픽셀 요소들의 8×8 구성과 연관된 정보를 포함한다. 또한, 미니-매크로블록(250)은 픽셀 요소들의 16×16 구성과 연관되고, 매크로블록(240)은 픽셀 요소들의 32×32 구성과 연관되며,수퍼-매크로블록(222)은 픽셀 요소들의 64×64 구성과 연관된다. 본 바람직한 실시예에서, 블록(260)은 픽셀 요소들의 대응하는 블록의 DCT 인코딩과 유사하다.In a preferred embodiment, block 260 includes information associated with an 8x8 configuration of pixel elements. Further, mini-macroblock 250 is associated with a 16x16 configuration of pixel elements, macroblock 240 is associated with a 32x32 configuration of pixel elements, and super-macroblock 222 is associated with 64 of the pixel elements. Associated with × 64 configuration. In the present preferred embodiment, block 260 is similar to the DCT encoding of the corresponding block of pixel elements.

도 2c는 본 발명의 바람직한 실시예에 따른 비트 평면들(272, 274, 및 246)에서의 식별된 중요한 영역(210)의 비트-평면 매핑(270)을 도시한다. 이 경우, 강화 층은 3비트 비트 평면을 사용하여 인코딩된다. 하지만, 비트-평면들의 깊이는 임의의 수가 될 수 있고, 본 명세서에 도시된 비트 평면 깊이로 비트-평면 깊이를 제한하고자 하는 의도는 없다. 본 바람직한 실시예에서, DCT 정보는 각 비트-평면으로 매핑되므로, 영역(210)과, 연관된 수퍼-매크로블록들, 매크로블록들, 미니-매크로 블록들, 및 블록들은 즉시 식별될 수 있다.2C shows the bit-plane mapping 270 of the identified significant region 210 in the bit planes 272, 274, and 246 according to a preferred embodiment of the present invention. In this case, the enhancement layer is encoded using the 3 bit bit plane. However, the depth of the bit-planes can be any number, and there is no intention to limit the bit-plane depth to the bit plane depth shown herein. In the present preferred embodiment, since the DCT information is mapped to each bit-plane, the region 210 and associated super-macroblocks, macroblocks, mini-macroblocks, and blocks can be immediately identified.

도 3a는 본 발명의 원리에 따른 중요도 매핑에 관한 예시적인 과정(300)의 흐름도를 도시한다. 본 과정에서, 중요도 매핑은 이미지나 화상과 연관된 임의의 선택된 비트 평면에서 매핑이 개시된다. 도시된 바람직한 실시예에서, 최상위 비트와 연관된 비트-평면, 즉 비트 평면 0이 블록(305)에서 선택된다. 블록(310)에서, 선택된 비트 평면과 연관된 중요도 맵이 결정된다. 블록(315)에서, 비트 평면과 연관된 중요도 맵이 코드화된다. 블록(320)에서, 중요한 것으로 식별된 블록들의 텍스처가 코드화되고, 중요도 맵의 비트 방식(bit-wise) 표현이 생성된다. 중요도 맵의 이러한 비트 방식 표현은 중요도 맵을 이해하기 위해 수신 디바이스에서 디코드될 수 있다. 블록(325)에서, 이미지와 연관된 모든 비트 평면들이 처리되었는지에 대한 결정이 이루어진다. 대답이 부정적이면, 다음/후속 비트 평면이 블록(332)에서 선택되고, 중요도 매핑 과정이 선택된 다음/후속 비트 평면에 관해서 계속된다.3A shows a flowchart of an exemplary process 300 for importance mapping in accordance with the principles of the present invention. In this process, importance mapping is initiated in the image or any selected bit plane associated with the image. In the preferred embodiment shown, the bit-plane associated with the most significant bit, that is, bit plane 0, is selected at block 305. At block 310, an importance map associated with the selected bit plane is determined. At block 315, the importance map associated with the bit plane is coded. At block 320, the texture of the blocks identified as important are coded, and a bit-wise representation of the importance map is generated. This bitwise representation of the importance map can be decoded at the receiving device to understand the importance map. At block 325, a determination is made whether all bit planes associated with the image have been processed. If the answer is negative, the next / following bit plane is selected at block 332, and the importance mapping process continues with respect to the selected next / following bit plane.

하지만, 대답이 긍정적이라면, 모든 이미지들이 처리되었는지에 대한 결정이 블록(330)에서 이루어진다. 대답이 부정적이라면, 다음/후속 이미지나 화상이 블록(334)에서 선택된다. 그 다음, 중요도 매핑 과정이 선택된 다음/후속 이미지나 화상에서 각 비트 평면에 관해서 계속된다.However, if the answer is affirmative, then a determination is made at block 330 as to whether all images have been processed. If the answer is negative, the next / following image or picture is selected at block 334. The importance mapping process then continues with respect to each bit plane in the next / following image or picture selected.

도 3b는 예시적인 중요도 매핑 과정(310)의 흐름도를 도시한다. 본 예시적인 과정에서, 초기 블록 크기와 연관된 최소 및 최대 블록 크기들은 블록(340)에서 결정된다. 이 경우, 바람직한 블록 크기와 연관된 초기 블록 크기가 표시된다. 블록(345)에서, 현재의 블록 크기가 가장 작은 블록 크기와 같은지에 대한 결정이 이루어진다. 대답이 긍정적이면, 현재 블록이 임의의 0이 아닌 계수들을 가지는 지에 대한 결정이 블록(350)에서 이루어진다. 대답이 긍정적이면, 연관된 블록이 표시되거나 블록(355)에서 중요한 것으로 식별된다.3B shows a flowchart of an example importance mapping process 310. In this example process, the minimum and maximum block sizes associated with the initial block size are determined at block 340. In this case, the initial block size associated with the desired block size is indicated. At block 345, a determination is made whether the current block size is equal to the smallest block size. If the answer is positive, a determination is made at block 350 as to whether the current block has any non-zero coefficients. If the answer is affirmative, the associated block is indicated or identified as being important at block 355.

하지만, 대답이 부정적이면, 블록(370)에서 그 블록은 중요하지 않은 것으로 표시되거나 식별된다.However, if the answer is negative, then at block 370 the block is marked or identified as not important.

블록(355)에서 현재의 블록이 중요한 것으로 식별되거나, 블록(370)에서 중요하지 않은 것으로 식별된 후, 블록(360)에서는 마지막 블록이 도달되었는지에 대한 결정이 이루어진다. 대답이 부정적이면, 비트 평면에서의 다음/후속 블록이 블록(365)에서 선택된다. 블록(345)에서 선택된 다음/후속 블록에 관해서 처리가 계속된다.After the current block is identified as important at block 355 or as not significant at block 370, a determination is made at block 360 whether the last block has been reached. If the answer is negative, the next / following block in the bit plane is selected at block 365. Processing continues with respect to the next / following block selected at block 345.

하지만, 블록(360)에서의 대답이 긍정적, 즉 현재 크기에서의 모든 블록들이 처리되었다면, 현재의 블록 크기가 최대 블록 크기보다 큰지에 대한 결정이 이루어진다. 대답이 부정적이면, 블록(380)에서 현재 블록 크기가 바람직하게는 2배로 증가된다. 블록(345)에서는 증가된 크기와 연관된 각 블록에 관해서 처리가 계속된다.However, if the answer at block 360 is affirmative, ie all blocks at the current size have been processed, then a determination is made whether the current block size is greater than the maximum block size. If the answer is negative, then at block 380 the current block size is preferably doubled. At block 345, processing continues with respect to each block associated with the increased size.

블록(345)에서의 결정으로 돌아가서, 대답이 부정적이면 블록(385)에서 더 작은 블록들, 즉 더 큰 블록 내의 자식들(children)이 중요한지에 대한 결정이 이루어진다. 대답이 긍정적이면, 블록(355)에서 더 큰 블록이 중요한 것으로 표시되거나 식별된다. 하지만, 대답이 부정적이면 블록(370)에서 더 큰 블록이 중요하지 않은 것으로 표시되거나 식별된다.Returning to the decision at block 345, if the answer is negative, a decision is made at block 385 as to whether the smaller blocks, ie children within the larger block, are important. If the answer is positive, then at block 355 the larger block is marked or identified as important. However, if the answer is negative, then at block 370 the larger block is marked or identified as not important.

그 다음, 블록 크기가 블록(375)에서 최대 블록 크기를 초과할 때까지 연속적으로 더 큰 블록의 각각에 대해서 처리가 계속된다.Processing then continues for each of the subsequently larger blocks until the block size exceeds the maximum block size at block 375.

도 4는 본 발명의 원리들을 구현하는데 사용될 수 있는 시스템(400)의 예시적인 일 실시예를 도시한다. 시스템(400)은 TV 송신기나 수신기 시스템, 데스크탑, 랩탑, 팜탑 컴퓨터, 개인 휴대 정보 단말기(PDA), 비디오카세트 레코더(VCR), 디지털 비디오 레코더(DVR), TiVO 장치 등과 같은 비디오/이미지 저장 장치와 이들과 다른 디바이스들의 일부 또는 조합들을 나타낼 수 있다. 시스템(400)은 하나 또는 그 이상의 입력/출력 디바이스(402), 프로세서(403), 및 비디오 이미지를 포함하는 하나 또는 그 이상의 소스(401)에 액세스할 수 있는 메모리(404)를 포함할 수 있다. 소스(401)는 텔레비전 수신기(SDTV 또는 HDTV), VCR, RAM, ROM, 하드디스크 드라이브, 광 디스크 드라이브 또는 기타 비디오 이미지 저장 디바이스와 같은 영구적이거나 반영구적인 매체에 저장될 수 있다. 소스(401)는, 예를 들면 인터넷, 광역 네트워크, 대도시 네트워크, 근거리 통신 네트워크, 지상파 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크 또는 전화 네트워크와, 이들 및 다른 타입의 네트워크들의 일부 또는 조합과 같은 글로벌 컴퓨터 통신 네트워크를 통해 하나의 서버 또는 서버들로부터 비디오를 수신하기 위한 하나 또는 그 이상의 네트워크 연결(410)을 통해 대안적으로 액세스되어질 수 있다.4 illustrates one exemplary embodiment of a system 400 that may be used to implement the principles of the present invention. The system 400 includes video / image storage devices such as TV transmitter or receiver systems, desktops, laptops, palmtop computers, personal digital assistants (PDAs), videocassette recorders (VCRs), digital video recorders (DVRs), TiVO devices, and the like. Some or combinations of these and other devices. System 400 may include one or more input / output devices 402, a processor 403, and a memory 404 that can access one or more sources 401, including video images. . Source 401 may be stored in a permanent or semi-permanent medium such as a television receiver (SDTV or HDTV), VCR, RAM, ROM, hard disk drive, optical disk drive or other video image storage device. Source 401 may be, for example, such as the Internet, wide area network, metropolitan network, local area network, terrestrial broadcast system, cable network, satellite network, wireless network or telephone network, and some or combinations of these and other types of networks. It may alternatively be accessed via one or more network connections 410 for receiving video from one server or servers via a global computer communication network.

입력/출력 디바이스(402), 프로세서(403), 및 메모리(404)는 통신 매체(406)을 통해 통신할 수 있다. 통신 매체(406)는 버스, 통신 네트워크, 회로의 하나 또는 그 이상의 내부 연결, 회로 카드 또는 기타 장치와, 이들 및 기타 통신 매체의 일부 또는 조합들과 같은 것을 나타낼 수 있다. 소스(401)로부터의 입력 데이터는 메모리(404)에 저장될 수 있는 하나 또는 그 이상의 소프트웨어 프로그램들에 따라 처리되고, 네트워크(420)로 단편적으로 인코딩된 비디오 이미지들을 공급하기 위해, 프로세서(403)에 의해 실행된다. 단편적으로 인코딩된 비디오 이미지들은 저장 디바이스로 송신될 수 있거나 인코딩된 비디오 이미지의 실시간 보기에 관한 디스플레이 시스템으로 송신될 수 있다.The input / output device 402, the processor 403, and the memory 404 may communicate via a communication medium 406. Communication medium 406 may represent such as a bus, a communication network, one or more internal connections of a circuit, a circuit card or other device, and some or combinations of these and other communication media. Input data from source 401 is processed in accordance with one or more software programs that may be stored in memory 404 and processor 403 for supplying fractionally encoded video images to network 420. Is executed by Fractionally encoded video images may be sent to a storage device or may be sent to a display system regarding a real-time view of the encoded video image.

프로세서(403)는 범용 또는 특별한 목적의 컴퓨팅 시스템과 같은 임의의 수단이 될 수 있거나 랩탑 컴퓨터, 데스크탑 컴퓨터, 핸드헬드 컴퓨터, 전용 논리 회로, 집적 회로, 프로그램 가능한 배열 논리(PAL), 알려진 입력들에 응답하여 알려진 출력을 제공하는 주문형 집적 회로(ASIC) 등과 같은 하드웨어 구성이 될 수 있다.The processor 403 may be any means such as a general purpose or special purpose computing system or may be used for laptop computers, desktop computers, handheld computers, dedicated logic circuits, integrated circuits, programmable array logic (PAL), known inputs. May be a hardware configuration such as an application specific integrated circuit (ASIC) that provides a known output in response.

바람직한 일 실시예에서, 본 발명에 따른 원리들을 사용하는 코딩과 디코딩은 프로세서(403)에 의해 실행된 컴퓨터 판독 가능한 코드에 의해 구현될 수 있다. 코드는 메모리(404)에 저장될 수 있거나 CD-ROM 또는 플로피 디스크(미도시)와 같은 메모리 매체로부터 판독/다운로드될 수 있다. 다른 실시예에서는, 본 발명을 구현하기 위한 소프트웨어 명령어와 조합하거나 이를 대신하여 하드웨어 회로가 사용될 수 있다. 예를 들어, 본 명세서에 예시된 요소들이 이산 하드웨어 요소들로서 구현될 수도 있다.In a preferred embodiment, the coding and decoding using the principles according to the invention may be implemented by computer readable code executed by the processor 403. The code may be stored in memory 404 or may be read / downloaded from a memory medium such as a CD-ROM or floppy disk (not shown). In other embodiments, hardware circuitry may be used in combination with or in place of software instructions for implementing the invention. For example, the elements illustrated herein may be implemented as discrete hardware elements.

본 발명의 일 양태에서, 프로세서라는 용어는 하나 또는 그 이상의 메모리 유닛들과, 적어도 하나의 처리 유닛과 전기적으로 연결되어 통신하는 주변 기기들과 같은 다른 디바이스들과의 통신하는 하나 또는 그 이상의 처리 유닛들이나 연산 유닛들을 나타낼 수 있다. 또한, 디바이스들은 ISA 버스, 마이크로채널 버스, PCI 버스, PCMCIA 버스 등과 같은 내부 버스들 또는 1개 회로, 회로 카드 또는 기타 디바이스의 하나 또는 그 이상의 내부 연결을 통해, 또한 이들과 기타 통신 매체의 부분 및 이들의 조합, 또는 인터넷과 인트라넷과 같은 외부 네트워크를 통해 하나 또는 그 이상의 처리 유닛들에 전기적으로 연결될 수 있다.In one aspect of the invention, the term processor refers to one or more processing units in communication with one or more memory units and other devices such as peripherals in electrical communication with at least one processing unit. Or computing units. In addition, the devices may be connected via internal buses, such as an ISA bus, microchannel bus, PCI bus, PCMCIA bus, etc., or through one or more internal connections of one circuit, circuit card, or other device, as well as parts of these and other communication media and A combination thereof, or may be electrically connected to one or more processing units via an external network such as the Internet and an intranet.

본 발명의 기본적인 새로운 특징들이 도시되고, 설명되었으며, 바람직한 실시예로 적용된 것으로 지적되었다. 설명된 장치와, 기재된 디바이스의 형태 및 상세부, 및 그들의 동작에서 다양한 생략과 대체, 및 변경이, 본 발명의 정신을 벗어나지 않으면서 당업자들에 의해 이루어질 수 있음이 이해되어야 한다. 예를 들어, 비록 본 발명이 FGS 인코딩에 관해 설명되었지만, 본 발명은 또한 유사하게 개발된 계층적 인코딩 시스템들에 관해서도 적절할 수 있다는 점을 이해해야 한다. 유사하게, 수퍼-매크로블록들이 64×64 배열이나 매트릭스에 관해서 논의되지만, 블록 크기를 변경시키는 것은 당업자의 지식 내에 있어야 한다. 또한, 수퍼-매크로블록의 경계가 고정된 것으로 도시되지만, 수퍼-매크로 블록의 경계는 중요한 데이터의 제 1 표시에 기초하여 동적으로 결정될 수 있다고 예상된다.The basic novel features of the invention have been shown, described and pointed out as being preferred embodiments. It is to be understood that various omissions, substitutions, and changes in the described apparatus, the form and details of the described apparatus, and their operation may be made by those skilled in the art without departing from the spirit of the present invention. For example, although the present invention has been described with respect to FGS encoding, it should be understood that the present invention may also be appropriate with respect to similarly developed hierarchical encoding systems. Similarly, while super-macroblocks are discussed in terms of a 64x64 array or matrix, changing the block size should be within the knowledge of those skilled in the art. In addition, although the boundary of the super-macroblock is shown as fixed, it is expected that the boundary of the super-macroblock can be dynamically determined based on the first representation of the important data.

또한, 동일한 결과를 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 요소들의 모든 조합들은 본 발명의 범위 내에 있는 것으로 명백히 의도된 것이다. 기술된 일 실시예에서 또다른 실시예로의 요소들의 대체는 또한 충분히 의도되고 예상된다.Moreover, all combinations of elements that perform substantially the same function in substantially the same way to achieve the same result are expressly intended to be within the scope of the present invention. Replacement of elements from one described embodiment to another embodiment is also sufficiently intended and anticipated.

본 발명은 비디오 이미지 인코딩, 특히 계층적 인코딩된 비디오 이미지들의 강화 층들을 단편적으로 인코딩하는데 이용 가능하다.The invention can be used to fragmentally encode video image encoding, in particular enhancement layers of hierarchically encoded video images.

Claims (13)

복수의 하위-층을 포함하는 적어도 1개의 층을 가지는 계층적 인코딩 시스템에서, 복수의 픽셀 블록으로 이루어지고, 대응하는 하위-층(272, 274, 276) 내에 중요한 구역(210)으로 결정된 적어도 1개의 영역을 포함하는 비디오 이미지(200)를 인코딩하는 방법으로서,In a hierarchical encoding system having at least one layer comprising a plurality of sub-layers, at least one consisting of a plurality of pixel blocks and determined as the critical zone 210 in the corresponding sub-layers 272, 274, 276. A method of encoding a video image 200 comprising two regions, a. 상기 적어도 1개의 중요한 구역(210) 내의 알려진 크기의 각 블록(250, 252)과 중요도 레벨을 연관시키는 단계;a. Associating a importance level with each block (250, 252) of known size in the at least one significant region (210); b. 연속적으로 더 큰 블록(222, 244) 내에 포함된 알려진 크기의 상기 블록(250, 252) 중 적어도 하나의 상기 중요도 레벨에 따라, 상기 적어도 1개의 연속적으로 더 큰 블록(222, 244) 각각에 중요도 레벨을 연관시키는 단계; 및b. The importance of each of the at least one successively larger block 222, 244, depending on the importance level of at least one of the blocks 250, 252 of known size contained within the subsequently larger blocks 222, 244. Associating a level; And c. 상기 연관된 중요도 레벨 각각을 매핑하는 단계를 포함하는, 비디오 이미지 인코딩 방법.c. Mapping each of said associated importance levels. 제 1항에 있어서, 상기 하위-층 각각에 관해 단계 a 내지 단계 c를 반복하는 단계를 더 포함하는, 비디오 이미지 인코딩 방법.10. The method of claim 1, further comprising repeating steps a through c for each of the sub-layers. 제 1항에 있어서, 상기 하위-층에 대응하는 상기 중요도 레벨 매핑을 송신하는 단계를 더 포함하는, 비디오 이미지 인코딩 방법.10. The method of claim 1, further comprising transmitting the importance level mapping corresponding to the sub-layer. 제 1항에 있어서, 상기 계층적 인코딩 시스템은 파인 그래뉼라 확장성(FGS) 시스템인, 비디오 이미지 인코딩 방법.The method of claim 1, wherein the hierarchical encoding system is a fine granular scalability (FGS) system. 제 4항에 있어서, 상기 하위-층은 비트-평면(272, 274, 276)인, 비디오 이미지 인코딩 방법.5. The method of claim 4, wherein the sub-layer is a bit-plane (272, 274, 276). 제 1항에 있어서, 상기 블록 크기는 미리 결정된 크기들의 세트로부터 선택되는, 비디오 이미지 인코딩 방법.The method of claim 1, wherein the block size is selected from a set of predetermined sizes. 제 1항에 있어서, 상기 연속적으로 더 큰 블록은 알려진 최대값을 가지는, 비디오 이미지 인코딩 방법.2. The method of claim 1, wherein the subsequently larger blocks have a known maximum value. 복수의 픽셀 블록으로 형성된 비디오 이미지(200)를 한개 이상의 층으로 인코딩하는 시스템(400)으로서, 층들 중 하나는 복수의 하위-층(272, 274, 276)으로 이루어지고, 상기 하위-층은 적어도 1개의 중요한 영역(210)을 포함하는 인코딩 시스템(400)으로서,A system 400 for encoding a video image 200 formed of a plurality of pixel blocks into one or more layers, one of the layers consisting of a plurality of sub-layers 272, 274, 276, wherein the sub-layers are at least An encoding system 400 comprising one significant region 210, 상기 적어도 1개의 중요한 영역(210) 내의 알려진 크기의 각 블록(250, 252)에 중요도 레벨을 연관시키는 수단(165);Means (165) for associating a importance level with each block (250, 252) of known size in said at least one significant region (210); 연속적으로 더 큰 블록(222, 244) 내에 포함된 알려진 크기의 블록(250, 252) 중 적어도 1개의 상기 중요도 레벨에 따라 적어도 1개의 상기 연속적으로 더큰 블록(222, 244) 각각의 중요도 레벨을 식별하는 수단(165); 및Identify the importance level of each of the at least one successively larger block 222, 244 according to the importance level of at least one of the blocks 250, 252 of known size contained in the subsequently larger blocks 222, 244 Means 165 to make; And 상기 중요도 레벨을 매핑시키는 수단(165)을 포함하는 인코딩 시스템.Means (165) for mapping said importance level. 제 8항에 있어서, 상기 매핑은 알려진 크기의 상기 블록과 알려진 레벨을 가지는 연속적인 블록 각각에 관한 정보를 포함하는, 인코딩 시스템.10. The encoding system of claim 8, wherein the mapping includes information about each of the blocks of known size and consecutive blocks having a known level. 제 8항에 있어서, 상기 알려진 레벨은 0이 아닌 계수를 나타내는, 인코딩 시스템.9. The encoding system of claim 8, wherein the known level represents a nonzero coefficient. 계층적 인코딩된 신호로서 송신된 이미지를 디코드하기 위한 디코딩 시스템으로서,A decoding system for decoding an image transmitted as a hierarchically encoded signal, 상기 계층적 인코딩 신호의 적어도 1개의 하위-층의 중요도 매핑에 대응하는 데이터를 수신하는 수단;Means for receiving data corresponding to importance mapping of at least one sub-layer of the hierarchical encoded signal; 상기 중요도 맵을 디코드하는 수단; 및Means for decoding the importance map; And 상기 중요도 맵으로부터 상기 하위-층을 위해 대응하는 맵을 재구성하는 수단을 포함하는, 디코딩 시스템.Means for reconstructing a corresponding map for the sub-layer from the importance map. 제 11항에 있어서, 1개의 네트워크를 통해 송신된 상기 계층적 인코딩된 신호를 수신하는 수단을 더 포함하는, 디코딩 시스템.12. The decoding system of claim 11, further comprising means for receiving the hierarchical encoded signal transmitted over one network. 제 11항에 있어서, 상기 중요도 맵은 중요한 정보를 포함하는 블록에 관한 정보를 포함하는, 디코딩 시스템.12. The decoding system of claim 11, wherein the importance map includes information about a block that contains important information.