KR980013416A - Shape Adaptive Codes and Systems Using Macro Block Merge - Google Patents

Abstract

본 발명은 MPEG-4에서 VOP를 형성한 대상물 물체의 영상의 경계가 존재하는 매크로 블록을 서브 블록으로 세분화하여 합병한 후 부호화를 수행하는 것이다.In the present invention, a macroblock having a boundary of an image of an object object forming a VOP in MPEG-4 is subdivided into subblocks and merged to perform coding.

본 발명은 영상 정보를 부호화하는데 필요한 영상 정보 부호화 비트를 감소시키면서도 영상내 정보를 최대한 유지함으로써 영상의 품질 저하를 최소화하는 결과를 얻게 되는 것으로 매크로 블록내의 또는 지리적으로 가까운 주위에 있는 물체 경계 서브 블록들 내의 영상 정보간의 상관도를 최대한 살리면서 하나의 블록으로 합병하는 것이므로 영상품질을 크게 떨어뜨리지 않고도 영상정보의 부호화비트를 감소시킴으로써 매우 높은 부호화 효율을 얻을 수 있게 된다.The object of the present invention is to minimize the degradation of the image quality by minimizing the intra-image information while reducing the number of image information encoding bits necessary for encoding the image information. The object boundary sub-blocks within the macro block or the geographically close surroundings It is possible to obtain a very high coding efficiency by reducing the coding bits of the image information without significantly degrading the image quality since the correlation between the image information in the image information is maximized and merged into one block.

Description

매크로 블록의 합병을 이용한 모양 적응 부호와 시스템Shape Adaptive Codes and Systems Using Macro Block Merge

본 발명은 MPEG(Moving Picture Experts Group)-4에서 VOP(Video Object Plane)를 형성한 대상물 물체의 영상의 경계가 존재하는 매크로 블록을 서브 블록으로 세분화하여 합병한 후 부호화를 수행하는 매크로 블록의 합병을 이용한 물체 모양 적응 부호화 시스템에 관한 것이다. 디지털 음향/영상 시스템 시장을 형성한 음향/영상 부호화 기법 및 시스템 구성에 관한 국제 표준안 즉, MPEG-1 및 MPEG-2를 개발하고, 의결한 MPEG 그룹이 현재에는 1998년 11월경에 국제 표준으로 채택할 예정인 차세대 음향/영상 부호화 기법 및 시스템 구성에 관한 국제 표준안 즉, MPEG-4를 연구ㆍ개발중에 있다. MPEG-4의 개발은 기존의 알려진 표준안으로는 지원할 수 없는 차세대 음향/영상 응용 분야를 지원할 필요성에 출발한 것으로서 MPEG-4는 음향/영상 데이터의 통신 및 접속과, 조작을 위한 새로운 방법들을 제공한다.The present invention relates to a merging of macroblocks in which a boundary of an image of an object of an object on which a VOP (Video Object Plane) is formed in MPEG (Moving Picture Experts Group) -4 is subdivided into subblocks, To an object-shaped adaptive coding system using an object-oriented adaptive coding system. The MPEG-1 and MPEG-2 international standards for audio / video coding and system configuration, which form the digital audio / video system market, have been developed and the MPEG group decided to adopt international standards as of November 1998 MPEG-4 is being studied and developed as an international standard for next-generation audio / video coding and system configuration. The development of MPEG-4 began with the need to support next-generation audio / video applications that can not be supported by existing known standards, and MPEG-4 provides new methods for communication, connection and manipulation of audio / video data .

예를 들면, 특성이 다른 네트워크를 통한 물체 중심 대화형 기능 및 접속 등의 기능을 제공한다.For example, it provides functions such as object-centric interactive functions and connections through networks with different characteristics.

또한 에러가 쉽게 발생되는 통신 환경과 저전송율의 통신환경에서도 유용하게 동작하는 특성과, 컴퓨터 그래픽 기술을 통합하여 자연 음향/영상 및 인공 음향/영상들을 함께 부호화하고 조작할 수 있는 기능들을 제공한다. 즉, MPEG-4는 예상되는 여러 응용 분야에서 요구되는 여거 가지의 기능들을 지원해야 한다.It also provides functions that can work well in a communication environment where errors are easily generated and in a communication environment with a low data rate, and can encode and manipulate natural sound / image and artificial sound / images together by integrating computer graphic technology. In other words, MPEG-4 should support some of the functions required in various applications expected.

그러므로 MPEG-4는 멀티미디어 정보의 급팽창과 기술 향상에 의해 새롭게 개발되었거나 앞으로 개발될 저가격 및 고기능의 모든 가능한 응용 분야들의 기능들에서 요구되는 기능들을 지원할 수 있도록 확장가능하고 개방적인 구조를 가지게 된다. 또한 MPEG-4에는 전송 및 저장 기능과 비용의 절감에 필요한 부호화 효과의 향상 기능(Improved Compression Efficiency)을 구비하고 있다.Therefore, MPEG-4 has a scalable and open structure to support the functions required in all possible low-cost and high-performance applications that have been newly developed or developed by rapid expansion of multimedia information and technology. In addition, MPEG-4 is equipped with Improved Compression Efficiency, which is necessary for transmission and storage functions and cost reduction.

이러한 MPEG-4는 가로 및 세로 방향으로 각기 8개씩 화소를 가지는 8x8 블록을 기반으로 영상 정보를 부호화하던 H.261, H.263, MPEG-1 및 MPEG-2 등과 같은 영상정보 부호화 기법들과는 달리 MPEG-4는 VOP(Video Object Planes)의 개념을 기초로 하고 있다. 즉, MPEG-4에서는 하나의 화면에서 다수의 대상물 물체가 존재할 경우에 배경 화면과, 이들 다수의 대상물 물체의 영상을 각기 분리하고, 분리한 배경 화면 및 각각의 물체의 영상을 각기 부호화하는 것으로서 분리한 배경 화면 및 각각의 물체의 영상 예를 들면, 제1도에 도시된 대상물 물체의 영상을 하나의 VOP로 정의하고 있다.Unlike image information encoding methods such as H.261, H.263, MPEG-1, and MPEG-2, which encode image information based on 8x8 blocks each having 8 pixels in each of the horizontal and vertical directions, MPEG- -4 is based on the concept of VOP (Video Object Planes). That is, in MPEG-4, when there are a plurality of object objects in one screen, the background screen and the images of the plurality of object objects are separated, and the separated background images and the images of the respective objects are separately encoded A background image and an image of each object, for example, an image of the object shown in FIG. 1 are defined as one VOP.

그리고 분리한 배경 화면 및 각각의 물체의 영상을 포함하는 가장 작은 크기의 사각형으로 VOP의 크기를 정의하고 있다. 이러한 VOP를 부호화할 경우에 8×8 블록과 다각형 영역에 가반을 두어 부호화한다.The size of the VOP is defined by the smallest size rectangle including the separated background image and the image of each object. When encoding such a VOP, it is coded by assigning a gain to an 8x8 block and a polygonal area.

여기서 다각형 영역이란 제3도의 도면에서 물체 경계 서브 블록내의 영상정보만으로 구성된 임의의 영역을 말한다. 그리고 앞으로 예상되는 여러 가지의 응용 분야에서 요구되는 기능들을 지원하기 위하여 사용자가 임의로 접속하고, 조작할 수 있는 비트 스트림 내의 데이터를 MPEG-4에서 VOP로 정의한다. 새로운 개념인 VOP를 부호화하기 위하여 제2도에 도시된 바와 같이 그리드를 형성하고, 형성한 그라드에 의해 구획되는 매크로 블록의 단위로 재구성된다.Here, the polygonal area refers to an arbitrary area composed only of the image information in the object boundary subblock in the drawing of FIG. In order to support the functions required in various application fields to be expected in the future, data in a bitstream that a user can arbitrarily connect and manipulate is defined as VOP in MPEG-4. In order to encode a new concept, VOP, a grid is formed as shown in FIG. 2, and reconstructed into macroblock units partitioned by the formed grad.

재구성된 VOP는 대상물 영상의 정보가 없는 영역과 대상물 영상의 정보가 있는 영역으로 구분되고, 영상 정보만 있는 매크로 블록(이하, "물체내 매크로 블록" 이라고 약칭함), 대상물 영상의 정보가 있는 영역과 정보가 없는 영역이 함께 있는 매크로 블록(이하, "물체 경계 매크로 블록" 이라고 약칭함)을 다르게 취급한다.The reconstructed VOP is divided into an area in which there is no information of the object image and an area in which the information of the object image is present. The reconstructed VOP is divided into a macroblock (hereinafter referred to as "intra macroblock" (Hereinafter abbreviated as "object boundary macroblock") in which an area having no information and an area having no information are treated differently.

그리고 물체 경계 매크로 블록은 제3도에 도시된 바와 같이 영상 정보만 있는 블록(이하, "물체내 서브 블록"이라고 약칭함), 영상 정보가 없는 블록(이하, "물체밖 서브 블록" 이라고 약칭함) 및 영상 정보가 있는 영역과 영상 정보가 없는 영역이 함께 존재하는 블록(이하, "물체 경계 서브 블록" 이라고 약칭함)을 다르게 취급한다.As shown in FIG. 3, the object boundary macroblock includes blocks having only image information (hereinafter abbreviated as "sub-blocks in the object"), blocks without image information (hereinafter abbreviated as "sub-blocks outside the object" (Hereinafter abbreviated as "object boundary subblock") in which an area in which image information exists and an area in which no image information exist together are handled differently.

대상물 물체의 영상에 대한 모양 정보를 이용하여 물체 경계 매크로 블록내에서의 물체밖 서브 블록 및 물체밖 매크로 블록은 이산 코사인 변환(Discrete Cosine Transform : 이하, 'DCT'라고 약칭함) 또는 모양 적응형 DCT(Shape Adaptive DCT : 이하, 'SADCT'라고 약칭함)를 이용하여 부호화한다.Out-of-object sub-blocks and out-of-object macroblocks in the object boundary macroblock using shape information on the image of the object are subjected to discrete cosine transform (DCT) or shape adaptive DCT (Shape Adaptive DCT: hereinafter abbreviated as 'SADCT').

물체 경계 매크로 블록내의 물체 경계 서브 블록은 대상물 물체의 모양 정보와 물체 내부의 정보만을 이용하여 SADCT하는 방법, 물체 경계 서브 블록내의 물체밖 영역을 물체내 영역의 평균값으로 채워 DCT하는 방법, 물체 경계 서브 블록내의 물체밖 영역을 '0'을 채워 DCT(Zero Padding DCT)하는 방법, 물체 경계 서브 블록내의 물체밖 영역을 물체의 경계값으로 수평과 수직방향으로 채우고 겹치는 부분은 평균값으로 채워 DCT(Repetitive Padding DCT)하는 방법 및 물체 경계 서브 블록내의 물체내 영역의 정보내의 공간 주파수 성분을 보존하기 위하여 그 영상 정보를 이용하여 수평과 수직 방향으로 물체밖 영역까지 확장시켜 보간하고 DCT(Extension Interpolation DCT)하는 방법 등이 사용되고 있다.The object boundary subblock in the object boundary macroblock includes a method of performing SADCT using only the shape information of the object and the object inside information, a method of DCT filling the object outside area in the object boundary subblock with the average value of the object inside area, (Zero Padding DCT) by filling the area outside the block with '0', filling the object outside area in the object boundary sub-block with the boundary value of the object in the horizontal and vertical directions, filling the overlapped part with the average value, and performing repetitive padding DCT), and a method of expanding and interpolating to the extrinsic region in the horizontal and vertical directions using DCT (Extension Interpolation DCT) method using the image information to preserve spatial frequency components in the information of the intra-object area in the object boundary sub-block And so on.

차세대 음향/영상 정보의 부호화 표준이 될 MPEG-4에서는 새롭게 채택한 VOP개념에 의해 영상 정보가 없는 영역과 정보가 있는 영역이 함께 존재하는 물체 경계 서브 블록의 부호화방법에 관한 여러 기술들이 제안되고 있다.In MPEG-4, which will be a standard for coding next-generation audio / video information, various techniques have been proposed on a method of encoding an object boundary sub-block in which a region having no image information and a region having information exist together due to the newly adopted VOP concept.

그러나 제안된 기술들은 물체 경계 서브 블록의 물체내 영역 정보만을 이용하거나 물체밖 영역내에 새로운 정보를 첨가해 물체 경계 서브 블록의 영상정보를 부호화함으로써 비트율의 감소 효과는 적으나 영상의 품질을 크게 개선시키거나 또는 영상의 품질을 크게 저하시키면서 비트율 감소 효과를 극대화시키는 방향으로 진행하고 있다.However, the proposed techniques use only the intra-object area information of the object boundary sub-block or add new information in the object extrinsic area to encode the image information of the object boundary sub-block so that the bit rate reduction effect is small, Or the quality of the image is largely deteriorated while maximizing the bit rate reduction effect.

따라서 본 발명의 목적은 물체 경계 서브 블록내에서 영상 정보가 있는 영역과 지리적으로 가까운 주위에 있는 물체 경계 서브 블록들의 영상정보가 있는 영역을 하나의 부호화 블록으로 합병하고, 부호화하여 부호화 효율을 향상시킬 수 있도록 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템을 제공하는 데 있다.Accordingly, an object of the present invention is to improve coding efficiency by merging and encoding an area having video information in an object boundary sub-block and a region having video information of object boundary sub- The present invention provides a shape adaptive coding system using merging of macroblocks.

이러한 목적을 달성하기 위한 본 발명의 매크로 블록의 합병을 이용한 모양적응 부호화 시스템은 물체 경계 매크로 블록을 4개의 휘도(Luminance)블록과 2개의 색채(Chrominance)블록을 구분하여 휘도 블록끼리, 색채 블록끼리, 휘도 블록만을 또는 휘도 블록과 색채 블록을 구분함이 없이 합병 조건을 적용시켜 합병 조건을 만족하는 물체 경계 서브 블록들을 하나의 부호화 블록으로 합병하고, 부호화한다.According to an aspect of the present invention, there is provided a shape adaptive coding system using merging of macroblocks, the object boundary macroblocks being divided into four luminance blocks and two chrominance blocks, , Merges the object boundary subblocks satisfying the merging condition into one encoding block by applying merge conditions without distinguishing only the luminance block or the luminance block and the chrominance block, and encodes the same.

합병된 부호화 블록을 구성하는 다수의 물체 경계 서브 블록들의 영상정보는 부호화하지 않고 무시한다.The image information of a plurality of object boundary subblocks composing the merged encoded block is ignored without coding.

이것은 합병된 부호화 블록의 내부에 영상 정보들이 모두 포함되어 있으므로 복호화할 경우에 합병할 때의 과정을 역으로 시행하여 부호화된 정보를, 합병된 부호화 블록을 구성한 물체 경계 서브 블록 내부의 영상 정보가 있는 영역에 다시 할당하기 때문이다.Since the image information is all contained in the merged encoding block, the process of merging is reversed in the case of decoding, so that the encoded information is converted into the image information in the object boundary sub-block constituting the merged encoding block Area.

그러므로 본 발명에 의하면, 영상 정보를 부호화하는데 필요한 영상 정보부호화 비트를 감소시키면서도 영상내 정보를 최대한 유지함으로써 영상의 품질 저하를 최소화하는 결과를 얻게된다.Therefore, according to the present invention, it is possible to minimize the quality degradation of the image by keeping the information in the image as much as possible while reducing the image information encoding bits necessary for encoding the image information.

이러한 본 발명은 매크로 블록내의 또는 지리적으로 가까운 주위에 있는 물체 경계 서브 블록들내의 영상 정보간의 상관도를 최대한 살리면서 하나의 블록으로 합병하는 것이므로 영상품질을 크게 떨어뜨리지 않고도 영상정보의 부호화비트를 감소시킴으로써 매우 높은 부호화 효율을 얻을 수 있게 된다.The present invention merges into a single block while maximizing the correlation between image information in object boundary subblocks in a macroblock or in a geographically close vicinity, so that the encoding bits of the image information are reduced A very high coding efficiency can be obtained.

이하, 첨부된 제4도 내지 제9도의 도면을 참조하여 본 발명의 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템을 상세히 설명한다.Hereinafter, a shape adaptive coding system using merging of macroblocks according to the present invention will be described in detail with reference to the accompanying drawings of FIGS. 4 to 9.

제4도는 국제표준 산하기구에서 1차적으로 확정한 vm 엔코더의 VOP 부호화부를 부인 상세도이다. 이에 도시된 바와 같이 VOP 형성부(10)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(Motion Estimation)(11)에 입력되어 매크로 블록의 단위로 움직임이 추정된다. 상기 움직임 추정부(11)에서 추정된 움직임 정보는 움직임 보상부(Motion Compensation)(12)에 입력되어 움직임이 보상된다. 상기 움직임 보상부(12)에서 움직임이 보상된 상기 VOP는 VOP 형성부(10)에서 형성된 VOP와 함께 가산기(13)에 입력되어 차이 값이 검출되고, 상기 가산기(13)에서 검출된 차이 값은 대상물 내부 부호화부(14)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화된다.FIG. 4 is a detailed view showing the VOP encoding unit of the vm encoder which is primarily determined by the international standards organization. As shown in the figure, a VOP for each object image formed in the VOP forming unit 10 is input to a motion estimator 11, and motion is estimated in units of macroblocks. The motion information estimated by the motion estimation unit 11 is input to a motion compensation unit 12 to compensate for motion. The motion compensated VOP of the motion compensation unit 12 is input to the adder 13 together with the VOP formed by the VOP forming unit 10 to detect a difference value and the difference value detected by the adder 13 is Object internal encoding unit 14 and the internal information of the object is encoded in units of sub-blocks of the macro-block.

예를 들면, 대상물 내부 부호화부(14)는, 매크로 블록의 X축 및 Y축을 각기 8개의 화소를 가지는 8×8의 서브 블록으로 세분화한 후 대상물의 내부정보를 부호화한다.For example, the object internal encoding unit 14 subdivides the X-axis and Y-axis of a macroblock into 8 × 8 sub-blocks each having eight pixels, and then encodes internal information of the object.

상기 움직임 보상부(12)에서 움직임이 보상된 VOP와 대상물 내부 부호화부(14)에서 부호화된 대상물의 내부 정보가 가산기(15)에 입력되어 가산되고, 상기 가산기(15)의 출력신호는 이전 VOP 검출부(Previous Reconstructed VOP)(16)에 입력되어 이전 화면의 VOP가 검출된다. 이전 VOP 검출부(16)에서 검출된 상기 이전 화면의 VOP는 움직임 추정부(11) 및 움직임 보상부(12)입력되어 움직임 추정 및 움직임 보상에 사용하도록 하고 있다.The motion compensated VOP of the motion compensation unit 12 and the inner information of the object coded by the object inner coding unit 14 are input to and added to the adder 15 and the output signal of the adder 15 is supplied to the previous VOP (Previous Reconstructed VOP) 16 and the VOP of the previous screen is detected. The VOP of the previous screen detected by the previous VOP detecting unit 16 is inputted to the motion estimating unit 11 and the motion compensating unit 12 and used for motion estimation and motion compensation.

그리고 상기 VOP 형성부(10)에서 형성된 VOP는 모양 정보 부호화부(Shape Coding)(17)에 입력되어 모양 정보가 부호화된다. 여기서, 모양 정보 부호화부(17)의 출력신호는 VOP 부호화부가 적용되는 분야에 따라 사용 여부가 결정되는 것으로 모양 정보 부호화부(17)의 출력신호를 점선으로 표시된 바와 같이 움직임 추정부(11), 움직임 보상부(12) 및 대상물 내부 부호화부(14)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화하는데 사용할 수 있다. 상기 움직임 추정부(11)에서 추정된 움직임 정보, 대상물 내부 부호화부(14)에서 부호화된 대상물의 내부 정부 및 모양 정보 부호화부(17)에서 부호화된 모양 정보는 멀티플렉서(18)에서 다중화되고, 버퍼(19)를 통해 비트 스트림으로 전송된다.The VOP formed in the VOP forming unit 10 is input to a shape information encoding unit 17 to encode shape information. The output signal of the shape information coding unit 17 is determined depending on the field to which the VOP coding unit is applied. The output signal of the shape information coding unit 17 is output to the motion estimation unit 11, The motion compensation unit 12 and the object intra-coding unit 14 so as to encode motion estimation, motion compensation, and internal information of the object. The motion information estimated by the motion estimating unit 11 and the shape information encoded by the inner shape and shape information encoding unit 17 of the object encoded by the object inner encoding unit 14 are multiplexed by the multiplexer 18, Lt; RTI ID = 0.0 > (19). ≪ / RTI >

이러한 VOP 부호화부에 있어서, 본 발명은 대상물 내부 부호화부(14)를 제5도에 도시된 바와 같이, 매크로 블록을 서브 블록 단위로 스캔하여 영상 정보를 판단하는 매크로 블록 스캔부(21)와, 상기 매크로 블록 스캔부(21)가 스캔한 서브 블록이 합병 조건을 만족할 경우에 합병하는 합병부(22)와, 상기 합병부(22)에서 합병된 블록을 부호화하는 모양 적응 부호화부(23)로 구성하였다.In this VOP coding unit, as shown in FIG. 5, the object intra coding unit 14 includes a macroblock scanning unit 21 that scans a macroblock in units of subblocks to determine image information, A merging unit 22 merging when the subblock scanned by the macroblock scanning unit 21 satisfies the merging condition and a shape adaptive encoding unit 23 encoding the merged block in the merging unit 22 Respectively.

이와 같이 구성된 본 발명의 부호화 시스템을 부호화할 매크로 블록이 입력될 경우에 매크로 블록 스캔부(21)가 스캔하여 물체 경계 매크로 블록인지를 판단한다. 스캔한 매크로 블록이 물체 경계 매크로 블록일 경우에 이를 4개의 서브 블록으로 구획하여 휘도 블록으로 구분함과 아울러 2개의 색채 블록으로 구분한다. 매크로 블록 스캔부(21)에서 구분한 4개의 휘도 블록과 2개의 색채 블록에 대하여 합병부(22)는 합병 조건을 만족하는 지를 판단하고, 합병 조건을 만족할 경우에 이를 합병하고, 부호화부(23)에서 매크로 블록의 SADCT를 수행한다.When a macroblock to be encoded is input, the macroblock scanning unit 21 scans the coding system according to the present invention to determine whether it is an object boundary macroblock. When the scanned macroblock is an object boundary macroblock, it is divided into four subblocks and divided into luminance blocks and two color blocks. The merging unit 22 determines whether the merging condition is satisfied for the four luminance blocks and the two color blocks that are separated by the macroblock scanning unit 21, merges the merged condition if the merging condition is satisfied, ) Performs the SADCT of the macroblock.

여기서, 부호화의 수행은 VOP의 매크로 블록을 좌측 상단부터 수평 및 수직방향으로 우측 하단까지 순차적으로 부호화한다.Here, encoding is performed by sequentially encoding macroblocks of the VOP from the upper left corner to the lower right corner in the horizontal and vertical directions.

이때 매크로 블록은 상술한 바와 같이 물체밖 매크로 블록, 물체내 매크로 블록, 물체 경계 매크로 블록으로 구분되는 것으로서 물체밖 매크로 블록은 부호화하지 않고, 물체내 매크로 블록은 내부의 휘도 블록과 색채 블록을 순차적으로 부호화한다.In this case, the macro block is divided into an out-of-object macroblock, an intra-object macroblock, and an object boundary macroblock, as described above, and the intra-object macroblock is not encoded. .

물체 경계 매크로 블록을 휘도 블록과 색채 블록이 물체밖 서브 블록, 물체내 서브 블록, 물체 경계 서브 블록으로 구분되는 것으로 물체밖 서브 블록을 부호화 하지 않고, 물체내 서브 블록은 그 블록을 하나의 부호화 블록으로 부호화한다.The object boundary macroblock is divided into a luminance block and a chrominance block by an out-of-object sub-block, an intra-object sub-block and an object boundary sub-block. .

그러나 물체 경계 서브 블록에 대해서는 휘도 블록은 휘도 블록끼리, 색채블록은 색채 블록끼리, 휘도블록만 또는 휘도 블록과 색채 블록을 구분함이 없이 상기한 합병부(22)에서 합병 조건을 적용하여 합병한 부호화 블록으로 형성시켜 부호화 블록만 부호화하고, 합병된 부호화 블록을 구성한 블록은 부호화하지 않는다.However, for the object boundary sub-block, the merging unit 22 merges the luminance block and the chrominance block without distinguishing the luminance block, the chrominance block, the luminance block, or the luminance block and the chrominance block Only the encoded block is formed by forming the encoded block, and the block constituting the merged encoded block is not encoded.

물체 경계 서브 블록의 합병을 이용한 부호화하는 과정을 일례로 제6도, 제7도 및 제8도의 도면과 같이 합병 조건을 부호화되지 않은 첫 번째 물체 경계 서브 블록에는 적용하지 않고, 두 번째부터 적용하여 설명한다.For example, as shown in FIG. 6, FIG. 7, and FIG. 8, the merging condition is applied to the first object boundary subblock that has not been encoded, Explain.

제6도의 도면에서 물체 경계 매크로 블록내의 4개의 휘도 블록과 2개의 색채 블록에 대하여 휘도 블록은 휘도 블록끼리, 색채 블록은 색채 블록끼리, 휘도블록에만 또는 휘도 블록과 색채 블록을 구분함이 없이 합병하여 부호화한다.In the drawing of FIG. 6, for four luminance blocks and two chromatic blocks in the object boundary macroblock, the luminance blocks are merged without interrupting the luminance blocks, the chrominance blocks between the chrominance blocks, the luminance blocks alone, or the luminance blocks and chrominance blocks .

제6도는 첫 번째 휘도 블록, 네 번째 휘도 블록, 첫 번째 색채 블록 및 두 번째 색채 블록이 물체 경계 서브 블록이다.6 shows the first luminance block, the fourth luminance block, the first chroma block, and the second chroma block are object boundary subblocks.

제6도의 도면은 휘도 블록은 휘도 블록끼리, 색채 블록은 색채 블록끼리 합병 조건을 적용한 일례이고, 제7도 서브 블록이 휘도 블록으로만 구분될 경우에 휘도 블록에만 적용되고, 휘도 블록과 색채 블록을 구분함이 없이 합병 조건을 적용한 일례이다.6 shows an example in which the merging condition is applied to the luminance blocks between the luminance blocks and the chromatic blocks, and FIG. 7 is applied to the luminance block only when the sub-blocks are divided only into the luminance blocks, The merger conditions are applied without distinguishing between the merger conditions.

상기한 두가지의 경우에 대하여 모두 합병 조건은 부호화되지 않은 물체 경계 서브 블록 중에서 두 번째 이후의 물체 경계 서브 블록에 적용한 일례이다.For both of the above cases, the merging condition is an example applied to the second object boundary subblock among the uncoded object boundary subblocks.

합병 조건이 적용된 물체 경계 서브 블록이 부호화되지 않은 첫 번째 물체 경계 서브 블록과 겹치는 화소가 하나도 없다면 부호화되지 않은 첫 번째 물체 경계 서브 블록과 합병 조건이 적용된 블록의 정보를 모아 하나의 부호화 블록을 형성시킨다.If there is no pixel that overlaps with the first object boundary sub-block to which the merging condition is applied, the information of the first uncorrelated object boundary sub-block and the merging condition is collected to form one encoding block .

즉, 제7도의 (가) 및 (나)에 도시된 바와 같이 2개의 서브 블록이 있다고 가정할 경우에 제7도의 (나)에 도시된 두 번째 서브 블록을 제7도의 (다)에 도시된 바와 같이 180° 회전시킨 후 제7도의 (가)에 도시된 서브 블록에 제7도의 (라)에 도시된 바와같이 합병하거나, 제7도의 (나)에 도시된 서브 블록을 제7도의 (마)에 도시된 바와 같이 대각선 방향으로 대칭되게 한 후 제7도의 (가)에 도시된 서브 블록에 제7도의 (바)에 도시된 바와 같이 합병한다.That is, assuming that there are two subblocks as shown in (a) and (b) of FIG. 7, the second subblock shown in (b) (A) of FIG. 7, as shown in FIG. 7 (d), or the sub-blocks shown in FIG. 7 (b) , As shown in (b) of FIG. 7, to the sub-blocks shown in (A) of FIG. 7 after being symmetrically diagonal as shown in FIG.

또한 제7도의 (사)에 도시된 바와 같이 서브 블록을 시계 방향으로 90° 회전 시키거나, 제7도의 (아)에 도시된 바와 같이 시계 반대 방향으로 회전시키거나, 제7도의 (자)에 도시된 바와 같이 수직 중심선을 기준으로 대칭되게 하거나 또는 도면에는 도시되지 않았으나, 수평 중심선을 기준으로 대칭되게 한 후 서브 블록에 각기 존재하는 모양 정보가 서로 중첩되지 않는 합병 조건을 만족할 경우에 합병할 수 있다. 그리고 제7도와는 달리 부호화되지 않은 물체 경계 서브 블록이 그 뒤에도 존재하면 다시 그 서브 블록에 합병 조건을 적용하여 이미 합병된 부호화 블록에 상기와 같은 과정을 반복한다. 이 때, 합병할 여지가 남아있지 않으면 합병을 통하여 형성된 부호와 블록을 SADCT한다. 합병된 부호화 블록을 구성하지 않고 남아있는 물체 경계 서브 블록에 상기한 과정을 재차 반복한다. 합병된 부호와 블록을 형성하면 그 부호화 블록을 부호화하고, 합병 조건을 충족하지 않아 그대로 남아있는 물체 경계 서브 블록만 하나의 부호화 블록으로 삼아 SADCT한다.As shown in FIG. 7 (d), the subblock may be rotated 90 ° clockwise or counterclockwise as shown in FIG. 7 (a) As shown in the figure, it is possible to merge the sub-blocks if they are symmetrical with respect to the vertical center line or not, but if the sub-blocks have symmetry with respect to the horizontal center line, have. If there is an object-boundary sub-block that is not encoded differently from the seventh tile, then the merging condition is applied to the sub-block, and the above process is repeated for the already merged encoding block. At this time, if there is no room for merging, the SADCT code and block formed through the merger shall be made. The above procedure is repeated for the remaining object boundary subblocks without constructing the merged encoding block. If a merged code and a block are formed, the encoded block is encoded, and SADCT is performed by using only the object boundary subblock that does not satisfy the merge condition as one encoding block.

제6도의 도면에서 합병된 부호화 블록을 구성하는 물체 경계 서브 블록들은 부호화하지 않는다.In FIG. 6, the object boundary subblocks composing the merged encoding block are not coded.

이것은 합병 조건을 적용한 그 역순으로 복호화하여 영상 정보를 복호화할 수 있기 때문으로 색채 블록에서도 동일하게 적용된다.This is also applicable to the color block because the image information can be decoded by decrypting in reverse order using the merge condition.

만약에 합병할 여지가 없다면 색채 블록내의 물체 경계 서브 블록을 각각 하나의 부호화 블록으로 삼아 SADCT를 수행함으로써 영상 정보간의 상관도를 최대한 유지하여 부호화하기 때문에 영상 정보를 부호화하는데 필요한 영상 정보부호화 비트를 감소시키면서도 영상내 정보를 최대한 유지하여 영상품질의 저하를 최소화시키는 결과를 얻게된다.If there is no room for merging, the SADCT is performed by using the object boundary subblock as a single encoding block in the chrominance block, thereby maintaining the correlation between the image information as much as possible. Therefore, the image information encoding bits necessary for coding the image information are reduced The information in the image is maintained as much as possible and the degradation of the image quality is minimized.

부호화되지 않은 첫 번째 물체 경계 서브 블록에 먼저 합병 조건을 적용한 후 다음 물체 경계 서브 블록과의 화소 겹침 여부를 점검하거나 그렇게 형성된 합병된 부호화 블록과 부호화되지 않은 물체 경계 서브 블록에 합병 조건을 적용하지 않은 채 화소 겹침 여부를 점검할 수도 있고, 물체 경계 매크로 블록내의 부호화되지 않은 물체 경계 서브 블록들의 정보만을 위, 아래, 우로 또는 좌로 이동시키고, 이동된 정보를 다시 좌, 우, 위 또는 아래로 이동시킨 후 하나의 블록 안에만 영상 정보가 존재하면 그 블록을 부호화 블록으로 삼고, 만약 하나의 블록 밖에도 화소가 존재하면 고려했던 블록중 가장 많은 또는 가장 적은 화소를 가진 물체 경계 서브 블록 또는 임의의 물체 경계 서브 블록을 제외시키고, 위의 과정을 반복하는 과정으로 응용될 수 있고, 또한 이와 아울러 180도 회전, 상, 하, 좌, 우, 대칭, 시계 방향으로 90도, 반시계 방향으로 90도 등의 합병 조건을 각각 혹은 그의 조합으로 순차적으로 적용시키는 방법에 응용될 수도 있다.The merging condition is first applied to the uncoded first object boundary subblock, then the pixel overlap with the next object boundary subblock is checked, or the merged coding block and the uncoded object boundary subblock are not applied to the merging condition It is possible to check whether the pixel is overlapped or not, to move only the information of the uncoded object boundary subblocks in the object boundary macroblock to the upper, lower, right, or left, move the moved information back to the left, right, If there is image information only within one block, the block is regarded as an encoding block. If there is a pixel outside one block, the object boundary subblock having the largest or smallest number of pixels or any object boundary subblock It can be applied as a process of repeating the above process by excluding the block , And a method of sequentially applying the merging conditions such as 180 ° rotation, up, down, left, right, symmetry, clockwise 90 ° and counterclockwise 90 ° .

제9도는 본 발명의 부호화 시스템의 다른 실시예를 보인 회로도이다. 이에 도시된 바와 같이 본 발명의 다른 실시예는 VOP를 형성하는 전체 대상물의 영상에 대하여 합병을 수행하는 전체 영상 합병부(24)와, 합병되지 않은 매크로 블록 및 상기 전체 영상 합병부(24)에서 합병된 블록을 부호화하는 모양 적응 부호화부(23)로 구성된다.FIG. 9 is a circuit diagram showing another embodiment of the encoding system of the present invention. FIG. As shown in the figure, another embodiment of the present invention includes a total image merging unit 24 for performing merging with respect to an image of the entire object forming the VOP, a merging unit 24 for merging the merged macroblock and the entire image merging unit 24 And a shape adaptive coding unit 23 for coding the merged block.

이와 같이 구성된 본 발명의 다른 실시예는 VOP를 형성한 매크로 블록 내의 블록에만 제한시키거나 혹은 제한을 두지 않고 전체의 영상에 대하여 부호화되지 않은 물체 경계 블록과 그 상, 하, 좌, 우의 4방향에 또는 상, 하, 좌, 우와 45° 방향의 8방향의 블록과의 합병 여부를 고려하여 부호화할 경우에 응용될 수 있다.In another embodiment of the present invention configured as described above, an object boundary block that is not coded for the entire image and a block in which the object boundary block is divided into the upper, lower, left, and right four directions Or a combination of blocks in eight directions of up, down, left, right and 45 占 directions.

이상에서와 같이 본 발명은 영상 정보의 상관도를 최대한 유지하면서 영상 정보를 부호화하는 비트를 감소시키기 위해 물체 경계 블록을 합병하여 부호화함으로써 영상의 품질을 유지하면서 비트의 감소율을 향상시킬 수 있다.As described above, in the present invention, the object boundary block is merged and coded to reduce the bit for coding the image information while maintaining the degree of correlation of the image information as much as possible, thereby improving the bit rate while maintaining the image quality.

제1도는 임의의 대상물 영상을 VOP로 추출한 상태를 예로 들어 보인 도면.FIG. 1 is a view showing an example in which an arbitrary object image is extracted by a VOP; FIG.

제2도는 추출한 VOP의 대상물 영상에 그리드를 형성하여 매크로 블록으로 분할한 상태를 보인 도면.FIG. 2 is a diagram showing a state in which a grid is formed on an object image of an extracted VOP and divided into macroblocks. FIG.

제3도는 하나의 매크로 블록을 서브 블록으로 세분화한 상태를 보인 도면.FIG. 3 is a view showing a state in which one macroblock is subdivided into subblocks; FIG.

제4도는 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 VOP 부호화부를 보인 상세도.FIG. 4 is a detailed view showing the VOP coding unit of the VM encoder which is primarily determined by the international standard organization.

제5도는 본 발명의 모양 적응 부호화 시스템에 의한 대상물 내부 부호화부의 일 실시예 구성을 보인 회로도.FIG. 5 is a circuit diagram illustrating a configuration of an object coder according to an embodiment of the present invention; FIG.

제6도는 본 발명에 따라 블록을 합병하는 과정을 보인 도면.FIG. 6 shows a process of merging blocks according to the present invention; FIG.

제7도의 (가)~(자)는 블록 내의 모양 정보를 조절하여 합병하는 과정을 예로 들어 보인 도면.7 (a) to 7 (c) illustrate a process of merging and adjusting shape information in a block.

제8도는 본 발명의 모양 적응 부호화 시스템의 동작을 보인 신호 흐름도.FIG. 8 is a signal flow diagram illustrating the operation of the shape adaptive coding system of the present invention. FIG.

제9도는 본 발명의 모양 적응 부호화 시스템에 의한 대상물 내부 부호화부의 다른 실시예 구성을 보인 회로도.FIG. 9 is a circuit diagram showing a configuration of another embodiment of an object internal encoding unit by the shape-adaptive encoding system of the present invention. FIG.

* 도면의 주요 부분에 대한 부호의 설명DESCRIPTION OF THE REFERENCE NUMERALS

10 : VOP 형성부, 11 : 움직임 추정부, 12 : 움직임 보상부, 13,15: 가산기, 14 : 대상물 내부 부호화부, 16 : 이전 VOP 검출부, 17 : 모양 정보 부호화부, 18 : 멀티플렉서, 19 : 버퍼, 21 : 매크로 블록 스캔부, 22 : 합병부, 23 : 모양 적응 부호화부The present invention relates to a VOP detection apparatus and method for detecting a VOP in a video signal processing apparatus and a VOP detection apparatus, Buffer, 21: macroblock scanning unit, 22: merging unit, 23: shape adaptive coding unit

Claims (18)

VOP를 그리드로 구획한 매크로 블록 중에서 대상물 물체 영상의 경계가 존재하는 매크로 블록을 서브 블록으로 세분화하고, 세분화한 서브 블록 중에서 합병 조건을 만족하는 2개 이상의 서브 블록을 합병한 후 부호화하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.A macroblock in which a boundary of an object object image exists is subdivided into subblocks among the macroblocks in which the VOP is divided into grids and two or more subblocks satisfying the merge condition are merged among the subdivided subblocks, A shape adaptive coding system using merging of macroblocks. 제1항에 있어서, 서브 블록은 4개의 휘도 블록 및 2개의 색채 블록으로 구분하고 휘도 블록 및 색채 블록을 구분하여 합병 조건을 만족하는 지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.2. The method of claim 1, wherein the sub-block is divided into four luminance blocks and two chroma blocks, and the luminance block and the chrominance block are classified to determine whether the merging condition is satisfied. system. 제1항에 있어서, 서브 블록은 4개의 휘도 블록으로 구분하고 휘도 블록 및 색채 블록을 구분하여 합병 조건을 만족하는 지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape adaptive coding system according to claim 1, wherein the subblock is divided into four luminance blocks, and the luminance block and the chrominance block are classified to determine whether the merging condition is satisfied. 제1항에 있어서, 서브 블록은 4개의 휘도 블록 및 2개의 색채 블록으로 구분하고 이들 휘도 블록 및 색채 블록을 구분하지 않고 합병 조건을 만족하는 지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.2. The method according to claim 1, wherein the subblock is divided into four luminance blocks and two chromatic blocks, and it is determined whether the merging condition is satisfied without distinguishing the luminance block and the chrominance block. Adaptive Coding System. 제1항에 있어서, 서브 블록은 2개의 색채 블록으로 구분하고 구분한 색채 블록이 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.2. The shape adaptive coding system according to claim 1, wherein the subblocks are classified into two color blocks and discriminated whether color blocks classified by the color blocks satisfy the merging condition. 제1항 내지 제5항중 어느 하나의 항에 있어서, 합병 조건은, 서브 블록을 180°회전, 시계 방향으로 90° 회전, 시계 반대 방향으로 90° 회전, 좌로, 대칭, 우로 대칭, 위로 대칭, 아래로 대칭 및 대각선으로 대칭 중에서 어느 하나 또는 2개 이상으로 조합을 이루고 합병하는 서브 블록내의 화소가 중첩되지 않는 것임을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.6. The method of any one of claims 1 to 5, wherein the merging condition is one in which the subblock is rotated 180 degrees, clockwise 90 degrees, counterclockwise 90 degrees, left, symmetrically, right symmetrically, Wherein the pixels in the sub-blocks forming the combination of at least one of symmetry and diagonal downward are merged, and pixels in the merging sub-block are not overlapped with each other. 제1항에 있어서, 부호화는 DCT를 수행하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.2. The shape adaptive coding system according to claim 1, wherein DCT is performed for coding. 제1항에 있어서, 부호화는 SADCT를 수행하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape adaptive coding system according to claim 1, wherein the coding is performed by SADCT. VOP를 그리드로 구획한 매크로 블록 중에서 대상물 물체 영상의 경계가 존재하는 매크로 블록이 그 매크로 블록의 주변에 있는 매크로 블록과 합병 조건을 만족하는지를 판단하고 합병 조건을 만족하는 2개 이상의 매크로 블록을 합병한 후 부호화하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.It is determined whether a macroblock having a boundary of the object object image among the macroblocks divided by the grid of the VOP satisfies the merging condition with the macroblocks surrounding the macroblock and merges two or more macroblocks satisfying the merging condition And then performing a post-coding on the macroblock. 제9항에 있어서, 주변에 있는 매크로 블록은 매크로 블록을 기준으로 좌, 우, 상, 하에 위치하는 매크로 블록인 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.10. The shape adaptive coding system of claim 9, wherein the neighboring macroblocks are left, right, upper, and lower macroblocks based on the macroblocks. 제9항에 있어서, 주변에 있는 매크로 블록은 매크로 블록을 기준으로 좌, 우, 상, 하에 위치하는 매크로 블록과 45° 의 각도 위치에 존재하는 매크로 블록인 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The method as claimed in claim 9, wherein the surrounding macroblock is a macroblock existing at an angular position of 45 degrees with respect to the macroblock located left, right, upper, and lower with respect to the macroblock. Shape adaptive coding system. 제9항에 있어서, 매크로 블록은 휘도 블록 및 색채 블록으로 구분하고 휘도 블록 및 색채 블록을 구분하여 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape-adaptive coding system according to claim 9, wherein the macroblock is divided into a luminance block and a chrominance block, and the luminance block and the chrominance block are classified to determine whether the merging condition is satisfied. 제9항에 있어서, 매크로 블록은 구분하 구분하여 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape-adaptive coding system according to claim 9, wherein the macroblock is divided into sub-blocks to determine whether the merging condition is satisfied. 제9항에 있어서, 매크로 블록은 휘도 블록 및 색채 블록으로 구분하고 이들 휘도 블록 및 색채 블록을 구분하지 않고 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape-adaptive coding system according to claim 9, wherein the macroblock is divided into a luminance block and a chrominance block, and it is determined whether the merging condition is satisfied without distinguishing the luminance block and the chrominance block. 제9항에 있어서, 매크로 블록은 색채블록으로 구분하여 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape-adaptive coding system according to claim 9, wherein the macroblock is divided into color blocks to determine whether the merging condition is satisfied. 제9항 내지 제15항중 어느 하나의 항에 있어서, 합병 조건은, 매크로 블록을 180° 회전, 시계 방향으로 90° 회전, 좌로 대칭, 우로 대칭, 위로 대칭, 아래로 대칭 및 대각선으로 대칭 중에서 어느 하나 또는 2개 이상으로 조합을 이루고, 합병하는 매크로 블록 내의 화소가 중첩되지 않는 것임을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The method according to any one of claims 9 to 15, wherein the merging condition is selected from the group consisting of a 180 degree rotation of the macroblock, a 90 degree clockwise rotation, a left symmetry, a right symmetry, a top symmetry, a down symmetry and a diagonal symmetry And the pixels in the merging macroblock are not overlapped with each other, and the merging of the macroblocks is performed. 제9항에 있어서, 부호화는 DCT를 수행하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.10. The shape adaptive coding system according to claim 9, wherein the DCT is performed. 제9항에 있어서, 부호화는 SADCT를 수행하는 것을 특징으로 하는 매크로 블록의 합병을 이용한 모양 적응 부호화 시스템.The shape adaptive coding system according to claim 9, wherein the coding is performed by SADCT. ※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.※ Note: It is disclosed by the contents of the first application.