WO2011016701A2 - 동영상 부호화 장치 및 그 방법 - Google Patents

동영상 부호화 장치 및 그 방법 Download PDF

Info

Publication number
WO2011016701A2
WO2011016701A2 PCT/KR2010/005186 KR2010005186W WO2011016701A2 WO 2011016701 A2 WO2011016701 A2 WO 2011016701A2 KR 2010005186 W KR2010005186 W KR 2010005186W WO 2011016701 A2 WO2011016701 A2 WO 2011016701A2
Authority
WO
WIPO (PCT)
Prior art keywords
region
area
image block
video encoding
transform
Prior art date
Application number
PCT/KR2010/005186
Other languages
English (en)
French (fr)
Other versions
WO2011016701A3 (ko
Inventor
임성창
이하현
김휘용
정세윤
조숙희
최해철
김종호
이진호
최진수
홍진우
심동규
오승준
박광훈
김문철
황능주
박시내
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
경희대학교 산학협력단
한국과학 기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090128064A external-priority patent/KR20110015356A/ko
Application filed by 한국전자통신연구원, 광운대학교 산학협력단, 경희대학교 산학협력단, 한국과학 기술원 filed Critical 한국전자통신연구원
Priority to US13/389,324 priority Critical patent/US8989262B2/en
Publication of WO2011016701A2 publication Critical patent/WO2011016701A2/ko
Publication of WO2011016701A3 publication Critical patent/WO2011016701A3/ko
Priority to US14/040,132 priority patent/US9148662B2/en
Priority to US14/821,862 priority patent/US9282342B2/en
Priority to US15/049,854 priority patent/US9432697B2/en
Priority to US15/219,487 priority patent/US9961344B2/en
Priority to US15/928,878 priority patent/US10469840B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the following embodiments are related to a video encoding apparatus and a method thereof.
  • An embodiment of the present invention provides a video encoding apparatus and method for minimizing a reduction in encoding efficiency due to a boundary area in consideration of characteristics of a differential image block representing a difference between an original image and a predicted image for the original image. .
  • an embodiment of the present invention provides a video encoding apparatus and method for improving coding efficiency by using an adaptive block partition (ABP).
  • ABSP adaptive block partition
  • an embodiment of the present invention provides a video encoding apparatus and a method for performing transform encoding on both a boundary area and a non-border area in order to increase correlation between differential image blocks.
  • the video encoding apparatus divides the differential image block into a first region and a second region based on a boundary line present in the differential image block representing a difference between the original image and the predicted image for the original image.
  • a signal separator ;
  • DCT discrete cosine transform
  • a quantizer for quantizing the output of the transform encoder in a frequency domain;
  • a spatial domain quantizer configured to quantize the second region in a spatial domain;
  • an entropy encoder that performs entropy encoding by using the output of the quantizer and the spatial domain quantizer.
  • the video encoding apparatus divides the differential image block into a first region and a second region based on a boundary line present in the differential image block representing a difference between the original image and the predicted image for the original image.
  • a signal separator An adaptive transform encoder which performs transform encoding on the first region by using a discrete cosine transform (DCT);
  • DCT discrete cosine transform
  • a quantizer for quantizing the output of the adaptive transform encoder in a frequency domain
  • a spatial domain quantizer configured to quantize the second region in a spatial domain
  • an entropy encoder that performs entropy encoding by using the output of the quantizer and the spatial domain quantizer.
  • the video encoding apparatus divides the differential image block into a first region and a second region based on a boundary line present in the differential image block representing a difference between the original image and the predicted image for the original image.
  • a signal separator configured to quantize the second region in a spatial domain;
  • a transform encoder for performing transform encoding on a second region quantized in the spatial domain and the first region by using a discrete cosine transform (DCT);
  • DCT discrete cosine transform
  • An entropy encoding unit performs entropy encoding by using the output of the quantization unit.
  • the compression efficiency (encoding efficiency) of the video may be improved by dividing the differential image block into a non-boundary region and a boundary region based on a boundary line existing in the differential image block.
  • FIG. 2 to 5 are diagrams illustrating that the video encoding apparatus illustrated in FIG. 1 divides a differential image block into a non-boundary region and a boundary region according to the shape of a boundary line present in the differential image block.
  • FIG. 6 is a block diagram illustrating a video encoding apparatus according to another embodiment of the present invention.
  • FIG. 7 to 8 illustrate a non-boundary region and a boundary region in which the video encoding apparatus illustrated in FIG. 6 uses an adaptive block partition (ABP) according to the shape of the boundary line present in the differential image block.
  • ABSP adaptive block partition
  • FIG. 10 is a diagram illustrating that the video encoding apparatus illustrated in FIG. 9 divides a differential image block into a non-boundary region and a boundary region according to a shape of a boundary line present in the differential image block.
  • FIG. 1 is a block diagram illustrating a video encoding apparatus according to an embodiment of the present invention.
  • a video encoding apparatus includes an image prediction apparatus 110, a subtractor 120, an encoder 130, an adder 140, a decoder 150, a filter 160, a reordering unit 170, and entropy.
  • the encoder 180 may be included.
  • the subtractor 120 generates a differential image block by using the original image and the predictive image.
  • the subtractor 120 may generate a differential image block by subtracting the prediction image generated by the image prediction apparatus 110 from the original image to be encoded.
  • the image predicting apparatus 110 generates a predicted image by predicting or estimating a motion in order to encode an image block having a predetermined size in a current frame F n to be encoded, and the subtractor 120 generates a predetermined image.
  • a differential image block D n is generated by subtracting the prediction image from the image block of the size.
  • the encoder 130 encodes the differential image block D n to be used by the decoder 150 corresponding to the encoder 130 to reconstruct the differential image block.
  • the encoder 130 may include a signal separator 131, a transform encoder 133, a quantizer 135, and a spatial domain quantizer 137.
  • the signal separator 131 divides the differential image block into the first region and the second region based on a boundary line present in the differential image block representing the difference between the original image and the predicted image for the original image.
  • the first region represents a region that does not include a boundary line, that is, a non-boundary region
  • the second region represents a region that includes a boundary line, that is, a boundary region
  • the boundary area is an area including a boundary of block division for motion compensation and intra prediction.
  • the signal separation information may include at least one of coordinate information indicating the positions of the non-boundary area and the boundary area, or an indicator indicating which of each of the blocks included in the non-boundary area and the boundary area belongs to the non-boundary area and the boundary area. Can be.
  • transform coding and quantization are performed on the non-boundary region, and spatial domain quantization is performed on the boundary region.
  • the signal separator 131 may divide the differential image block into a non-boundary region and a boundary region such that the number of blocks included in the boundary region is minimum.
  • the transform encoder 133 performs transform encoding on a non-boundary region using a discrete cosine transform (DCT).
  • DCT discrete cosine transform
  • the quantizer 135 quantizes the output (discrete transformed non-boundary region) of the transform encoder in the frequency domain.
  • the spatial domain quantizer 137 quantizes the boundary domain in the spatial domain.
  • the signals input to the quantizer 135 and the spatial domain quantizer 137 may have the same values as the signals output from the quantizer 135 and the spatial domain quantizer 137.
  • the quantization unit 135 and the spatial domain quantization unit 137 May be omitted.
  • Each signal that has passed through the quantization unit 135 and the spatial domain quantization unit 137 is then subjected to a reordering unit 170 and an entropy encoding unit 180.
  • the decoder 150 separates signals in the same manner as the encoder 130 using the signal separation information received from the encoder 130.
  • the decoder 150 inversely quantizes the spatial domain (boundary region), and the decoder 150 performs inverse quantization in the spatial domain, and similarly, the encoder 130 quantizes the transform encoding and the frequency domain. In the non-boundary region, the decoder 150 performs inverse transform coding after inverse quantization in the frequency domain.
  • the decoder 150 may reconstruct the original differential image block by performing inverse quantization, inverse discrete cosine transform, and spatial domain inverse quantization on the transcoded and quantized signal by the encoder 130.
  • the decoder 150 restores the differential image block by using signal separation information indicating that the differential image block is divided into a non-boundary region and a boundary region.
  • the decoder 150 may include a signal separator 151, an inverse quantizer 153, an inverse transform decoder 155, and a spatial domain inverse quantizer 157.
  • the signal separator 151 separates the signal encoded and quantized by the encoder 130 into a non-boundary region and a boundary region by using signal separation information.
  • the spatial domain dequantization unit 157 dequantizes the boundary region signal in the spatial domain.
  • the inverse quantization unit 153 dequantizes the non-boundary signal in the frequency domain.
  • the inverse transform decoding apparatus 155 performs inverse discrete cosine transform (DCT) on the inversely quantized non-boundary region signal.
  • DCT inverse discrete cosine transform
  • the reordering unit 170 may use a zigzag scanning method that is generally used for the boundary region quantized in the spatial region at the time of realignment, and starts around the boundary line starting from the boundary line (the line separating the boundary region from the non- boundary region). You can also use a spiral scan.
  • the above-described procedure in the video encoding apparatus may be applied to decoding in the video decoding apparatus corresponding thereto.
  • FIG. 2 to 5 are diagrams illustrating that the video encoding apparatus illustrated in FIG. 1 divides a differential image block into a non-boundary region and a boundary region according to the shape of a boundary line present in the differential image block.
  • the encoder 130 does not perform quantization in the spatial region for the boundary region, and performs transform encoding by the transform encoding unit 133 on all blocks in the differential image block. Quantization in the frequency domain by the quantization unit 135 is performed.
  • the boundary line 310 inside the difference image block does not coincide with the boundary line 330 of the boundary area 340.
  • the boundary 310 of the boundary region 340 is shown in the right figure. It does not coincide with the boundary line 330.
  • the boundary region 340 is quantized in the spatial domain by the spatial domain quantizer 137. In the remaining regions (non-boundary regions) other than the boundary region 340, the quantization in the frequency domain is performed by the transform encoding and quantization unit 135 by the transform encoding unit 133.
  • a boundary line in the differential image block occurs in a diagonal direction.
  • the signal separator 131 sets the boundary region such that the number of blocks included in the boundary region including the diagonal boundary line is minimized.
  • Other detailed operations refer to the description of FIG. 3.
  • a boundary line in the differential image block is generated as a curve.
  • the signal separator 131 sets the boundary region such that the number of blocks included in the boundary region including the curved boundary line is the minimum.
  • Other detailed operations refer to the description of FIG. 3.
  • the video encoding apparatus includes an ABP prediction apparatus 610, a subtractor 620, an encoder 630, an adder 640, a decoder 650, a filter 660, a reordering unit 670, and entropy.
  • the encoder 680 may be included.
  • the ABP prediction apparatus 610 When the ABP prediction apparatus 610 generates the prediction image by using the ABP motion prediction unit 611, the ABP prediction apparatus 610 should transmit the block division information including the information related to the adaptive block division to the decoder 650.
  • the block split information is determined by the ABP motion predictor 611 and the ABP motion compensator 613 of the ABP prediction apparatus 610, and may be entropy encoded through the entropy encoder 680.
  • the encoder 630 includes a signal separator 631, an adaptive transform encoder 633, a quantizer 635, and a spatial domain quantizer 637.
  • the signal separator 631 separates the differential image block into a non-boundary region and a boundary region based on a boundary line present in the differential image block representing a difference between the original image and the predicted image for the original image.
  • the signal separator 631 may set an area not including the boundary line present in the differential image block as the non-boundary area, and set an area including the boundary line as the boundary area.
  • the adaptive transform encoder 633 performs transform encoding on a non-boundary region using a discrete cosine transform (DCT).
  • DCT discrete cosine transform
  • the quantizer 635 quantizes the output of the adaptive transform encoder 633 in the frequency domain.
  • the spatial domain quantizer 637 quantizes the boundary domain in the spatial domain.
  • the decoder 650 performs signal separation information indicating that the differential image block is divided into a non-boundary region and a boundary region, and block partitioning information indicating that the non-boundary region and the boundary region are divided by an adaptive block partition (ABP).
  • ABSP adaptive block partition
  • the adaptive inverse transform decoder 653 uses the adaptive encoding information received from the encoder 630 and performs inverse quantization on the frequency domain like the inverse quantizer 153 in the frequency domain of FIG. 1 according to a corresponding encoding method. Adaptive inverse transform decoding may be performed, and inverse quantization of a spatial domain, such as the spatial domain inverse quantization unit 157, may be performed.
  • FIG. 1 For the components having the same names as in FIG. 6 in FIG. 6, the description of FIG. 1 will be referred to.
  • FIG. 7 to 8 illustrate a non-boundary region and a boundary of a differential image block using an adaptive block partition (ABP) by the video encoding apparatus shown in FIG. 6 according to the shape of a boundary line present in the differential image block. It is a figure which shows what isolate
  • ABSP adaptive block partition
  • the boundary line 720 is not included in the transform-coded region by performing transform coding adaptive to the position of the boundary line regardless of the position of the boundary line 710. Make sure you represent the characteristics of the differential signal
  • the boundary region P1 performs transform coding for N xm
  • the non-boundary region P2 is Transform encoding is performed on N x (M-m).
  • the boundary line 810 is shown in the right figure. It does not coincide with the boundary line of the boundary area P1 of the transform coding block.
  • the signal separator 631 sets the boundary area P1 to the shaded area so that the number of blocks included in the boundary area is minimum.
  • the boundary region P1 is quantized in the space region by the space region quantization unit 635.
  • the adaptive transform encoding unit 633 performs quantization in the frequency domain by the adaptive transform encoding unit and quantizer 635.
  • FIG. 9 is a block diagram illustrating a video encoding apparatus according to another embodiment of the present invention.
  • the transform encoder 933 performs transform encoding on the boundary region and the non-boundary region quantized in the spatial domain by using a discrete cosine transform (DCT).
  • DCT discrete cosine transform
  • the space domain quantization unit 937 quantizes the boundary region in the space domain.
  • the differential image block representing the difference between the original image and the predicted image for the original image is divided into two regions through the signal separator 931.
  • the encoder 930 performs spatial domain quantization by the spatial domain quantizer 937 on the boundary region to make the characteristics of the boundary region and the surrounding non-boundary region similar.
  • the spatial domain quantization unit 937 may normalize the energy to be similar to the surrounding non-boundary region through quantization in the spatial domain.
  • the number of coefficients to be encoded after quantization can be reduced by the characteristics of the discrete cosine transform, and the compression efficiency of video encoding can also be increased.
  • the dequantizer 953 dequantizes the non-boundary region in the frequency domain with respect to the received signal.
  • the inverse transform decoder 955 performs inverse discrete cosine transform (DCT- 1 ) on the boundary region and the non-boundary region inversely quantized in the frequency domain through the inverse quantization unit 953.
  • DCT- 1 inverse discrete cosine transform
  • inverse quantization is performed by the inverse quantization unit 953
  • inverse transform decoding is performed by the inverse transform decoding unit 955.
  • the non-boundary region signal and the boundary region signal are separated using the signal separation information received from the encoder 930 in the same manner as the encoder 930.
  • the spatial domain dequantization unit 957 performs inverse quantization in the spatial domain with respect to the boundary region where the encoder 950 performs the spatial domain quantization.
  • the spatial domain dequantization unit 957 dequantizes the boundary region in the spatial domain.
  • the decoder 950 includes a signal separator 951, an inverse quantizer 953, an inverse transform decoder 955, and a spatial domain inverse quantizer 957 corresponding to the encoder 930.
  • the signal separator 951 separates the signal separation information received from the encoder 930 into a boundary area signal and a non-boundary area signal.
  • the motion predictor 911 and the motion compensator 913 of the image predictor 910 may be configured as the ABP motion predictor 611 and the ABP motion compensator 613 as shown in FIG. 6.
  • Reordering unit 970, entropy encoding unit 980, and other components are described with reference to the corresponding components in FIG.
  • the above-described procedure in the video encoding apparatus may be applied to decoding in the video decoding apparatus corresponding thereto.
  • FIG. 10 is a diagram illustrating that the video encoding apparatus illustrated in FIG. 9 divides a differential image block into a non-boundary region and a boundary region according to a shape of a boundary line present in the differential image block.
  • the spatial domain quantizer 931 obtains a quantization value in the spatial domain that can normalize the energy of the boundary region to the energy of the non-boundary region, and performs the spatial domain only for the boundary region.
  • the encoder 930 may then perform transform encoding and quantization in the frequency domain on all regions in the differential image block, as shown in the right diagram of FIG. 10.
  • the encoder of the video encoding apparatus when there is a boundary in a differential image block made of a difference signal, the encoder of the video encoding apparatus performs quantization in the spatial domain with respect to the boundary region after setting the boundary region.
  • a video encoding apparatus may receive a differential image block generated using an original image and a predicted image from a subtractor (1210).
  • the video encoding apparatus divides the differential image block into a first region and a second region based on a boundary line present in the differential image block representing a difference between the original image and the predicted image for the original image (1220).
  • the first region represents a region that does not include a boundary line, that is, a non-boundary region
  • the second region represents a region that includes a boundary line, that is, a boundary region
  • the video encoding apparatus may set an area not including a boundary line present in the differential image block as a non-boundary area, and set an area including the boundary line as a boundary area.
  • the video encoding apparatus may divide the differential image block into a non-boundary region and a boundary region so that the number of blocks included in the boundary region is minimum.
  • the video encoding apparatus performs transform encoding on a non-boundary region using a discrete cosine transform (DCT) in operation 1230.
  • DCT discrete cosine transform
  • the video encoding apparatus quantizes the transform coded result in the frequency domain 1240, and then quantizes the boundary region in the spatial domain (1250).
  • the decoder of the video encoding apparatus may reconstruct the differential image block by using signal separation information indicating that the differential image block is divided into a non-boundary region and a boundary region (1270).
  • the signal separation information may include at least one of coordinate information indicating the positions of the non-boundary area and the boundary area, or an indicator indicating which of each of the blocks included in the non-boundary area and the boundary area belongs to the non-boundary area and the boundary area. Can be.
  • the methods according to the invention can be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기; 상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 변환 부호화부; 상기 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부; 상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부; 및 상기 양자화부 및 상기 공간 영역 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부를 포함하는 동영상 부호화 장치가 제공된다.

Description

동영상 부호화 장치 및 그 방법
아래의 실시예들은 동영상 부호화 장치 및 그 방법에 관한 것이다.
동영상 압축을 위한 표준화 기구인 ISO/IEC의 MPEG과 ITU-T의 VCEG의 연구에 의해서 H.261, H.263, H.264, MPEG-1, MPEG-2, MPEG-4와 같은 많은 표준안이 개발되었다. 조금씩 차이는 있으나 이 표준안들은 움직임 추정과 보상, 변환 부호화, 양자화, 엔트로피 코딩, 인루프 필터링을 포함하는 구조로 구성된다.
특히, 변환 부호화와 관련해서 각 표준안들은 다양한 블록 크기를 사용할 수 있지만, 공통적으로 이산 여현 변환(Discrete Cosine Transform; DCT) 방식을 많이 채택하여 사용하고 있다.
일반적으로 이산 여현 변환(DCT)은 차분 영상의 화소 값으로 구성된 블록을 입력으로 하며, 블록 내부의 화소 값들의 상관 관계가 높을수록 이산 여현 변환(DCT)의 성능 또한 좋게 나타나는 것으로 알려져 있다.
하지만, 종래의 동영상 압축 표준은 움직임 예측을 수행한 후에 획득한 차분 영상 블록에 대해 무조건 변환 부호화와 주파수 영역 양자화를 수행하기 때문에 차분 영상 블록의 내부에 경계 영역이 포함 될 경우, 부호화 해야 할 변환 계수들이 상당량 존재하여 압축 효율이 떨어지는 문제점이 있다.
따라서, 차분 영상 블록 내부에 경계 영역이 포함되어 있는 경우에도 압축 효율이 떨어지지 않도록 하는 새로운 부호화 방법이 요구된다.
본 발명의 일실시예는 원 영상과 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록의 특성을 고려하여 경계 영역으로 인한 부호화 효율의 감소를 최소화할 수 있는 동영상 부호화 장치 및 그 방법을 제공한다.
또한, 본 발명의 일실시예는 적응적 블록 분할(Adaptive Block Partition; ABP)을 이용하여 부호화 효율을 향상시킬 수 있는 동영상 부호화 장치 및 그 방법을 제공한다.
또한, 본 발명의 일 실시예는 차분 영상 블록 간의 상관 관계를 높이기 위하여 경계 영역 및 비경계 영역 모두에 대하여 변환 부호화를 수행하는 동영상 부호화 장치 및 그 방법을 제공한다.
본 발명의 일실시예에 따른 동영상 부호화 장치는 원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기; 상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 변환 부호화부; 상기 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부; 상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부; 및 상기 양자화부 및 상기 공간 영역 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부를 포함한다.
본 발명의 일실시예에 따른 동영상 부호화 장치는 원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기; 상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 적응적 변환 부호화부; 상기 적응적 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부; 상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부; 및 상기 양자화부 및 상기 공간 영역 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부를 포함한다.
본 발명의 일 실시예에 따른 동영상 부호화 장치는 원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기; 상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부; 상기 공간 영역에서 양자화된 제2 영역 및 상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 변환 부호화부; 상기 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부; 상기 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부를 포함한다.
본 발명의 일 실시예에 따른 동영상 부호화 방법은 원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 단계; 상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 단계; 상기 변환 부호화된 결과를 주파수 영역에서 양자화하는 단계; 상기 제2 영역을 공간 영역에서 양자화하는 단계; 및 상기 주파수 영역에서 양자화된 결과 및 상기 공간 영역에서 양자화된 결과를 이용하여 엔트로피 부호화를 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 차분 영상 블록 내에 존재하는 경계선을 기초로 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리하여 에너지 집중(energy compaction)을 증가시킴으로써 양자화 후에 부호화 해야 할 변환 계수들의 개수를 감소시킬 수 있다.
본 발명의 일 실시예에 따르면, 차분 영상 블록 내에 존재하는 경계선을 기초로 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리함으로써 동영상의 압축 효율(부호화 효율)을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 부호화 장치를 나타낸 블록도이다.
도 2 내지 도 5는 차분 영상 블록 내에 존재하는 경계선의 형태에 따라 도 1에 도시된 동영상 부호화 장치가 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리한 것을 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따른 동영상 부호화 장치를 나타낸 블록도이다.
도 7 내지 도 8은 차분 영상 블록 내에 존재하는 경계선의 형태에 따라 도 6에 도시된 동영상 부호화 장치가 적응적 블록 분할(Adaptive Block Partition; ABP)을 이용하여 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리한 것을 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 동영상 부호화 장치를 나타낸 블록도이다.
도 10은 차분 영상 블록 내에 존재하는 경계선의 형태에 따라 도 9에 도시된 동영상 부호화 장치가 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리한 것을 나타낸 도면이다.
도 11은 도 10에서 공간 영역 양자화를 수행한 경우의 양자화 결과에 대한 스캐닝 방법을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 동영상 부호화 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 동영상 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 동영상 부호화 장치는 영상 예측 장치(110), 감산기(120), 부호화기(130), 가산기(140), 복호화기(150), 필터(160), 재정렬부(170) 및 엔트로피 부호화부(180)를 포함할 수 있다.
영상 예측 장치(110)는 현재 부호화 대상이 되는 원 영상에 대한 예측 영상을 생성하며, 움직임 예측부(ME)(111), 움직임 보상부(MC)(113), 인트라 예측 선택부(115) 및 인트라 예측부(117)를 포함할 수 있다. 영상 예측 장치(110)의 각 구성 부분에 대하여는 HEVC 표준 문서를 참조하도록 한다.
감산기(120)는 원 영상 및 예측 영상을 이용하여 차분 영상 블록을 생성한다. 감산기(120)는 부호화 대상이 되는 원 영상으로부터 영상 예측 장치(110)에서 생성된 예측 영상을 감산하여 차분 영상 블록을 생성할 수 있다.
즉, 영상 예측 장치(110)는 부호화 대상이 되는 현재 프레임(Fn)에서 소정의 크기의 한 영상 블록을 부호화하기 위하여 움직임을 예측하거나 추정하여 예측 영상을 생성하고, 감산기(120)는 소정의 크기의 영상 블록으로부터 예측 영상을 감산하여 차분 영상 블록(Dn)을 생성한다.
부호화기(130)는 부호화기(130)에 대응되는 복호화기(150)에서 차분 영상 블록을 복원하는데 이용할 수 있도록 차분 영상 블록(Dn)을 부호화 한다.
부호화기(130)는 신호 분리기(131), 변환 부호화부(133), 양자화부(135) 및 공간 영역 양자화부(137)를 포함할 수 있다.
신호 분리기(131)는 원 영상과 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 차분 영상 블록을 제1 영역과 제2 영역으로 분리한다.
여기서, 제1 영역은 경계선을 포함하지 않는 영역, 즉, 비경계 영역을 나타내고, 제2 영역은 경계선을 포함하는 영역, 즉, 경계 영역을 나타낸다.
경계 영역은 움직임 보상 및 화면 내 예측을 위한 블록 분할의 경계선이 포함된 영역이다.
신호 분리기(131)는 차분 영상 블록에 존재하는 경계선을 포함하지 않는 영역을 비경계 영역으로 설정하고, 경계선을 포함하는 영역을 경계 영역으로 설정할 수 있다. 즉, 차분 영상 블록은 신호 분리기(131)를 통과하여 경계 영역과 비경계 영역의 2 가지 영역으로 나뉘게 된다. 이때, 동영상 부호화 장치는 복호화기(150)의 신호 분리기(151)에서도 부호화기(130)의 신호 분리기(131)와 동일하게 영역을 구분하도록 하기 위하여 신호 분리 정보를 복호화기에 별도로 전송해 준다.
신호 분리 정보는 비경계 영역 및 경계 영역의 위치를 나타내는 좌표 정보 또는 비경계 영역 및 경계 영역에 포함된 블록들 각각이 비경계 영역 및 경계 영역 중 어느 영역에 속하는지를 나타내는 지시자 중 적어도 하나를 포함할 수 있다.
이후에 비경계 영역에 대하여는 변환 부호화 및 양자화가 수행되고, 경계 영역에 대하여는 공간 영역 양자화가 수행된다.
또한, 신호 분리기(131)는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 차분 영상 블록을 비경계 영역과 경계 영역으로 분리할 수 있다.
변환 부호화부(133)는 비경계 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행한다.
양자화부(135)는 변환 부호화부의 출력(이산 여현 변환 된 비경계 영역)을 주파수 영역에서 양자화한다.
공간 영역 양자화부(137)는 경계 영역을 공간 영역에서 양자화한다.
한편, 양자화부(135) 및 공간 영역 양자화부(137)로 각각 입력되는 신호는 양자화부(135) 및 공간 영역 양자화부(137)로부터 출력되는 신호와 동일한 값을 가질 수 있다.
이와 같이, 양자화 부(135) 혹은 공간 영역 양자화부(137)로 입력되는 신호와 출력되는 신호가 1:1로 매핑(mapping)되는 경우에는 양자화부(135) 및 공간 영역 양자화부(137)가 생략될 수 있다.
양자화부(135) 및 공간 영역 양자화부(137)를 거친 각 신호는 이후 재정렬부(Reorder)(170) 및 엔트로피 부호화부(Entropy encode)(180)를 거치게 된다.
복호화기(150)는 부호화기(130)로부터 수신한 신호 분리 정보를 이용하여 부호화기(130)와 동일한 방법으로 신호를 구분한다.
또한, 복호화기(130)에서 공간 영역에 대하여 양자화 했던 영역(경계 영역)에 대하여는 복호화기(150)에서도 공간 영역에서 역 양자화 하도록 하고, 마찬가지로 부호화기(130)에서 변환 부호화 및 주파수 영역에서 양자화했던 영역(비경계 영역)은 복호화기(150)에서도 주파수 영역에서 역 양자화한 뒤 역 변환 부호화를 수행하도록 한다.
복호화기(150)는 부호화기(130)에 의해 변환 부호화 및 양자화된 신호에 대하여 역양자화와 역 이산 여현 변환 및 공간 영역 역양자화를 수행함으로써 원래의 차분 영상 블록을 복원할 수 있다.
복호화기(150)는 차분 영상 블록이 비경계 영역 및 경계 영역으로 분리되었음을 나타내는 신호 분리 정보를 이용하여 차분 영상 블록을 복원한다.
복호화기(150)는 신호 분리기(151), 역양자화부(153), 역변환 복호화 장치(155), 공간 영역 역양자화부(157)를 포함할 수 있다.
신호 분리기(151)는 부호화기(130)에 의해 변환 부호화 및 양자화된 신호를 신호 분리 정보를 이용하여 비경계 영역 및 경계 영역으로 분리한다.
공간 영역 역양자화부(157)는 경계 영역 신호를 공간 영역에서 역양자화 한다.
역양자화부(153)는 비경계 영역 신호를 주파수 영역에서 역양자화 한다.
역변환 복호화 장치(155)는 역양자화 된 비경계 영역 신호를 역 이산 여현 변환(DCT)한다.
재정렬부(Reorder)(170)는 양자화 및 공간 영역에서의 양자화를 거친 각 신호들을 재정렬한다.
재정렬부(170)는 재정렬 시에 공간 영역에서 양자화를 한 경계 영역에 대하여 일반적으로 많이 사용하는 지그재그 스캐닝 방법을 이용할 수도 있고, 경계선(경계 영역과 비경계 영역을 구분하는 선)을 시작으로 주변을 나선형으로 돌면서 스캐닝 하는 방법을 이용할 수도 있다.
일반적으로 영상 신호는 경계선을 중심으로 단계적(gradation)으로 변하는 특징이 있다. 그러므로, 경계선을 시작으로 주변을 나선형으로 돌면서 스캐닝을 할 경우, 비슷한 세기를 갖는 신호들끼리 모이는 형태가 되어서 영상 부호화의 효율을 높일 수 있다.
엔트로피 부호화부(Entropy encode)(180)는 양자화부(135) 및 공간 영역 양자화부(137)의 출력을 이용하여 엔트로피 부호화를 수행하거나, 재정렬부(170)의 출력을 이용하여 엔트로피 부호화를 수행할 수도 있다.
상술한 동영상 부호화 장치에서의 절차는 이와 대응되는 동영상 복호화 장치에서의 복호화에도 적용될 수 있다.
도 2 내지 도 5는 차분 영상 블록 내에 존재하는 경계선의 형태에 따라 도 1에 도시된 동영상 부호화 장치가 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리한 것을 나타낸 도면이다.
도 2의 좌측 도면에서와 같이 N x M의 크기를 갖는 차분 영상 블록 내에 경계선(210)이 있고, 그 경계선(210)이 우측 도면에 나타난 것처럼 경계 영역의 경계선(230)과 일치한다고 가정하자. 이 경우, 경계 영역에 대한 처리가 불필요하므로 부호화기(130)는 경계 영역에 대한 공간 영역에서의 양자화를 수행하지 않고, 차분 영상 블록 내의 모든 블록들에 대하여 변환 부호화부(133)에 의한 변환 부호화와 양자화부(135)에 의한 주파수 영역에서의 양자화를 수행한다.
도 3을 참조하면, 차분 영상 블록 내부의 경계선(310)이 경계 영역(340)의 경계선(330)과 일치하지 않는 것을 볼 수 있다.
도 3의 좌측 도면에서와 같이 N x M의 크기를 갖는 차분 영상 블록 내의 경계 영역(320)에 경계선(310)이 있을 경우, 그 경계선(310)이 우측 도면에 나타난 것처럼 경계 영역(340)의 경계선(330)과 일치하지 않게 된다.
따라서, 신호 분리기(131)는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 음영 처리된 영역을 경계 영역(340)으로 설정한다.
그 경계 영역(340)에 대하여는 공간 영역 양자화부(137)에 의해 공간 영역에서의 양자화가 수행한다. 그리고, 경계 영역(340)을 제외한 나머지 영역(비경계 영역)에 대해서는 변환 부호화부(133)에 의한 변환 부호화 및 양자화부(135)에 의해 주파수 영역에서의 양자화가 수행된다.
도 4를 참조하면, 차분 영상 블록 내의 경계선이 대각 방향으로 발생한 것을 볼 수 있다. 이 경우, 도 3에서 마찬가지로 신호 분리기(131)는 대각 방향의 경계선을 포함하는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 경계 영역을 설정한다. 이 밖의 세부 동작은 도 3의 설명을 참조한다.
도 5를 참조하면, 차분 영상 블록 내의 경계선이 곡선으로 발생한 것을 볼 수 있다. 이 경우, 도 3에서와 마찬가지로 신호 분리기(131)는 곡선 형태의 경계선을 포함하는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 경계 영역을 설정한다. 이 밖의 세부 동작은 도 3의 설명을 참조한다.
도 6은 본 발명의 다른 실시예에 따른 동영상 부호화 장치를 나타낸 블록도이다. 도 6은 도 1을 통해 설명한 움직임 예측부(111), 움직임 보상부(113), 변환 부호화부(133) 및 역변환 부호화부(155)에 적응적 블록 분할(ABP: Adaptive Block Partition) 기술을 결합한 동영상 부호화 장치를 나타낸다.
도 6을 참조하면, 동영상 부호화 장치는 ABP 예측 장치(610), 감산기(620), 부호화기(630), 가산기(640), 복호화기(650), 필터(660), 재정렬부(670) 및 엔트로피 부호화부(680)를 포함할 수 있다.
ABP 예측 장치(610)는 ABP 움직임 예측부(611)를 이용하여 예측 영상을 생성하면, 복호화기(650)에게 적응적 블록 분할에 관련된 정보를 포함하는 블록 분할 정보를 전송해 주어야 한다.
도 2에서 차분 영상 블록의 분할면은 경계면의 일종이기 때문에 신호 분할 정보를 대신하여 이용될 수 있다.
ABP 예측 장치(610)는 움직임 예측 시에 ABP 움직임 예측부(611)를 이용할 경우, 복호화기(650)에 블록 분할 정보를 보내 주어야 한다. 또한, 부호화기(630)는 복호화기(650)로 신호 분할 정보를 보내주어야 한다.
블록 분할 정보는 부호화 대상이며, 코덱(CODEC)에서 부호화 및 복호화의 기본 단위가 되는 매크로 블록에 대한 Nx16 혹은 16xN 형태의 파티션에 대한 정보이다.
블록 분할 정보는 ABP 예측 장치(610)의 ABP 움직임 예측부(611) 및 ABP 움직임 보상부(613)을 통해서 결정되며, 엔트로피 부호화부(680)를 거쳐 엔트로피 부호화될 수도 있다.
경우에 따라서, 복호화기(650)는 엔트로피 부호화부(680)에서 엔트로피 부호화된 블록 분할 정보를 블록 분할 정보로 수신할 수 있다.
ABP 예측 장치(610)는 도 1의 영상 예측 장치(110)에 의해 대체될 수 있다.
부호화기(630)는 신호 분리기(631), 적응적 변환 부호화부(633), 양자화부(635) 및 공간 영역 양자화부(637)를 포함한다.
신호 분리기(631)는 원 영상과 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 차분 영상 블록을 비경계 영역과 경계 영역으로 분리한다.
신호 분리기(631)는 차분 영상 블록에 존재하는 경계선을 포함하지 않는 영역을 비경계 영역으로 설정하고, 경계선을 포함하는 영역을 경계 영역으로 설정할 수 있다.
적응적 변환 부호화부(633)는 비경계 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행한다.
양자화부(635)는 적응적 변환 부호화부(633)의 출력을 주파수 영역에서 양자화한다.
공간 영역 양자화부(637)는 경계 영역을 공간 영역에서 양자화한다.
복호화기(650)는 차분 영상 블록이 비경계 영역과 경계 영역으로 분리 되었음을 나타내는 신호 분리 정보 및 비경계 영역 및 경계 영역이 적응적 블록 분할(Adaptive Block Partition; ABP)에 의해 분할 되었음을 나타내는 블록 분할 정보를 이용하여 차분 영상 블록을 복원할 수 있다.
적응적 역변환 복호화부(653)는 부호화기(630)로부터 수신한 적응적 부호화 정보를 이용하여 해당 부호화 방법에 따라 도 1의 주파수 영역에서의 역양자화부(153)와 같이 주파수 영역에 대한 역 양자화 후 적응적 역변환 복호화를 수행하고, 공간 영역 역양자화부(157)와 같은 공간 영역에 대한 역 양자화를 수행할 수 있다.
이 밖에 도 6에서 도 1과 동일한 명칭을 갖는 구성요소에 대하여는 도 1의 설명을 참조하도록 한다.
상술한 동영상 부호화 장치에서의 절차는 이와 대응되는 동영상 복호화 장치에서의 복호화에도 적용될 수 있다.
도 7 내지 도 8은 차분 영상 블록 내부에 존재하는 경계선의 형태에 따라 도 6에 도시된 동영상 부호화 장치가 적응적 블록 분할(Adaptive Block Partition; ABP)을 이용하여 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리한 것을 나타낸 도면이다.
도 7의 좌측 도면에서와 같이 N x M의 크기를 갖는 차분 영상 블록 내에 경계선(710)이 있고, 그 경계선이 우측 도면에서와 같이 경계 영역(P1)(730)의 경계선(720)와 일치한다고 가정하자.
이 경우, 동영상 부호화 장치는 경계 영역(P1)(730)에 대하여 공간 영역 양자화부(635)에 의한 공간 영역에서의 양자화를 수행하지 않으며, 차분 영상 블록 내의 모든 블록들에 대하여 적응적 변환 부호화부(633)에 의한 적응적 변환 부호화 및 양자화부(635)에 의한 주파수 영역에서의 양자화를 수행한다.
도 7을 참조하면, 본 실시예에서는 경계선(710)의 위치와 상관없이 경계선의 위치에 적응적인 변환 부호화를 수행함으로써 변환 부호화된 영역의 내부에 경계선(720)이 포함되지 않게 하고, 변환 부호화가 차분 신호의 특성을 잘 나타내도록 한다
여기서, 차분 영상 블록의 크기는 N x M이고, 경계 영역(P1)의 크기가 N x m이라고 할 때, 경계 영역(P1)은 N x m에 대하는 변환 부호화를 수행하고, 비경계 영역(P2)은 N x (M - m)에 대하여는 변환 부호화를 수행한다.
도 8을 참조하면, 차분 영상 블록 내부의 경계선이 대각 방향으로 나타난 것을 볼 수 있다.
도 8의 좌측 도면에서와 같이 N x M의 크기를 갖는 차분 영상 블록 내의 경계 영역(P1)(820)에 대각선 방향의 경계선(810)이 있을 경우, 그 경계선(810)이 우측 도면에 나타난 것처럼 변환 부호화 블록의 경계 영역(P1)의 경계선과 일치하지 않게 된다.
따라서, 신호 분리기(631)는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 음영 처리된 영역을 경계 영역(P1)을 설정한다.
경계 영역(P1)에 대하여는 공간 영역 양자화부(635)에 의해 공간 영역에서의 양자화가 수행한다. 그리고, 나머지 영역(비경계 영역)(P2)에 대해서는 적응적 변환 부호화부(633)에 의한 적응적 변환 부호화 및 양자화부(635)에 의한 주파수 영역에서의 양자화가 수행된다.
도 9는 본 발명의 또 다른 실시예에 따른 동영상 부호화 장치를 나타낸 블록도이다.
도 9를 참조하면, 동영상 부호화기(930)는 신호 분리기(931), 변환 부호화부(933), 양자화부(935) 및 공간 영역 양자화부(937)를 포함한다.
신호 분리기(931)는 원 영상과 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 차분 영상 블록을 비경계 영역과 경계 영역으로 분리한다.
변환 부호화부(933)는 공간 영역에서 양자화된 경계 영역 및 비경계 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행한다.
양자화부(935)는 변환 부호화부(933)의 출력을 주파수 영역에서 양자화한다.
공간 영역 양자화부(937)는 경계 영역을 공간 영역에서 양자화한다.
원 영상과 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록은 앞에서 설명한 바와 같이 신호 분리기(931)를 통과하여 2가지 영역으로 나뉘게 된다. 그 후, 경계 영역과 주변의 비경계 영역의 특성을 유사하게 만들어 주기 위하여 부호화기(930)는 경계 영역에 대하여 공간 영역 양자화부(937)에 의해 공간 영역 양자화를 수행하여 준다.
일반적으로 경계 영역은 비경계 영역보다 에너지가 높으므로 공간 영역 양자화부(937)는 공간 영역에서의 양자화를 통해서 주변의 비경계 영역과 에너지가 유사하도록 정규화할 수 있다.
부호화기(930)는 변환 부호화를 수행하기 전에 경계 영역에 대하여 공간 영역에서의 양자화를 수행하여 차분 영상 블록의 비경계 영역과 경계 영역 간의 상관 관계를 높여준다.
이와 같이 비경계 영역과 경계 영역 간의 상관 관계를 높여 줌으로써 이산 여현 변환의 특성에 의해 양자화 이후에 부호화 해야 할 계수의 수가 줄어 들일 수 있음을 물론, 동영상 부호화의 압축 효율 또한 높일 수 있다.
한편 복호화기(950)에서 역양자화부(953)는 수신한 신호에 대해서 비경계 영역을 주파수 영역에서 역 양자화 한다.
역변환 복호화부(955)는 역양자화부(953)를 통해 주파수 영역에서 역 양자화 된 경계 영역과 비경계 영역을 함께 역 이산 여현 변환(DCT-1)한다.
이때, 역양자화는 역양자화부(953)가 수행하고, 역변환 복호화는 역변환 복호화부(955)가 수행한다.
부호화기(930)로부터 전송 받은 신호 분리 정보를 이용해 부호화기(930)와 동일한 방법으로 비경계 영역 신호와 경계 영역 신호를 분리한다.
그 후, 공간 영역 역양자화부(957)는 부호화기(950)가 공간 영역 양자화를 수행한 경계 영역에 대해 공간 영역에서의 역 양자화를 수행한다.
공간 영역 역양자화부(957)는 경계 영역을 공간 영역에서 역 양자화 한다.
복호화기(950)는 부호화기(930)에 대응되는 신호 분리기(951), 역양자화부(953), 역변환 복호화 장치(955), 및 공간 영역 역양자화부(957)를 포함한다.
신호 분리기(951)는 부호화기(930)로부터 수신한 신호 분리 정보를 경계 영역 신호와 비경계 영역 신호로 분리한다.
영상 예측 장치(910)의 움직임 예측부(911) 및 움직임 보상부(913)는 도 6에서와 같은 ABP 움직임 예측부(611) 및 ABP 움직임 보상부(613)로 구성할 수 있다.
재정렬부(Reorder)(970), 엔트로피 부호화부(980)를 비롯한 기타의 구성 요소에 대하여는 도 1에서의 해당 구성 요소에 대한 설명을 참조한다.
상술한 동영상 부호화 장치에서의 절차는 이와 대응되는 동영상 복호화 장치에서의 복호화에도 적용될 수 있다.
도 10은 차분 영상 블록 내에 존재하는 경계선의 형태에 따라 도 9에 도시된 동영상 부호화 장치가 차분 영상 블록을 비경계 영역 및 경계 영역으로 분리한 것을 나타낸 도면이다.
도 10의 좌측 도면에서와 같이 N x M 크기의 차분 영상 블록 내의 경계 영역(1020)에 경계선(1010)이 있을 경우, 그 경계선(1010)이 우측 도면에 나타난 것처럼 경계 영역(1040)의 경계선(1030)과 일치하지 않게 된다.
따라서, 신호 분리기(931)는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 음영 처리 된 영역을 경계 영역(1040)으로 설정한다. 그리고 경계 영역에 대한 에너지와, 비경계 영역에 대한 에너지를 구할 수 있다.
공간 영역 양자화부(931)는 경계 영역에 대한 에너지를 비경계 영역에 대한 에너지로 정규화 시킬 수 있는 공간 영역에서의 양자화 값을 구해서, 경계 영역에 대해서만 공간 영역을 수행한다. 부호화기(930)는 그 다음 도 10의 우측 도면에서와 같이 차분 영상 블록 내의 모든 영역에 대하여 변환 부호화 및 주파수 영역에서의 양자화를 수행할 수 있다.
도 11은 도 10에서 공간 영역 양자화를 수행한 경우의 양자화 결과에 대한 스캐닝 방법을 나타낸 도면이다.
도 11과 같이 차분 신호로 이루어진 차분 영상 블록에 경계선이 있을 경우, 동영상 부호화 장치의 부호화기는 경계 영역을 설정한 이후 경계 영역에 대하여 공간 영역에서의 양자화를 수행한다.
그 다음 재정렬부(970)는 경계선(1110)을 중심으로 나선형으로 양자화된 계수를 스캐닝 할 수 있다. 이 경우, 일반적으로 경계선 근처에서 단계적인 변화를 보이는 영상 신호의 특성에 따라 비슷한 에너지를 갖는 신호끼리 모이는 스캐닝 결과를 얻게 된다.
도 12는 본 발명의 일 실시예에 따른 동영상 부호화 방법을 나타낸 플로우 차트이다.
도 12를 참조하면, 동영상 부호화 장치는 원 영상 및 예측 영상을 이용하여 생성된 차분 영상 블록을 감산기로부터 수신할 수 있다(1210).
동영상 부호화 장치는 원 영상과 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 차분 영상 블록을 제1 영역과 제2 영역으로 분리한다(1220).
여기서, 제1 영역은 경계선을 포함하지 않는 영역, 즉, 비경계 영역을 나타내고, 제2 영역은 경계선을 포함하는 영역, 즉, 경계 영역을 나타낸다.
1220에서 동영상 부호화 장치는 차분 영상 블록에 존재하는 경계선을 포함하지 않는 영역을 비경계 영역으로 설정하고, 경계선을 포함하는 영역을 경계 영역으로 설정할 수 있다.
또한, 1220에서 동영상 부호화 장치는 경계 영역에 포함된 블록들의 개수가 최소가 되도록 차분 영상 블록을 비경계 영역과 경계 영역으로 분리할 수 있다.
동영상 부호화 장치는 비경계 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행한다(1230).
동영상 부호화 장치는 변환 부호화된 결과를 주파수 영역에서 양자화(1240)한 후, 경계 영역을 공간 영역에서 양자화한다(1250).
동영상 부호화 장치는 주파수 영역에서 양자화된 결과 및 공간 영역에서 양자화된 결과를 이용하여 엔트로피 부호화를 수행한다(1260).
동영상 부호화 장치의 복호화기는 차분 영상 블록이 비경계 영역 및 경계 영역으로 분리되었음을 나타내는 신호 분리 정보를 이용하여 차분 영상 블록을 복원할 수 있다(1270).
신호 분리 정보는 비경계 영역 및 경계 영역의 위치를 나타내는 좌표 정보 또는 비경계 영역 및 경계 영역에 포함된 블록들 각각이 비경계 영역 및 경계 영역 중 어느 영역에 속하는지를 나타내는 지시자 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가지 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 동영상 부호화 장치에 있어서,
    원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기;
    상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 변환 부호화부;
    상기 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부;
    상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부; 및
    상기 양자화부 및 상기 공간 영역 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부
    를 포함하는 동영상 부호화 장치.
  2. 제1항에 있어서,
    상기 신호 분리기는
    상기 차분 영상 블록에 존재하는 상기 경계선을 포함하지 않는 영역을 상기 제1 영역으로 설정하고, 상기 경계선을 포함하는 영역을 상기 제2 영역으로 설정하는 동영상 부호화 장치.
  3. 제1항에 있어서,
    상기 신호 분리기는
    상기 제2 영역에 포함된 블록들의 개수가 최소가 되도록 상기 차분 영상 블록을 상기 제1 영역과 상기 제2 영역으로 분리하는 동영상 부호화 장치.
  4. 제1항에 있어서,
    상기 차분 영상 블록이 상기 제1 영역 및 상기 제2 영역으로 분리되었음을 나타내는 신호 분리 정보를 이용하여 상기 차분 영상 블록을 복원하는 복호화기
    를 더 포함하는 동영상 부호화 장치.
  5. 제4항에 있어서,
    상기 신호 분리 정보는
    상기 제1 영역 및 상기 제2 영역의 위치를 나타내는 좌표 정보 또는 상기 제1 영역 및 상기 제2 영역에 포함된 블록들 각각이 상기 제1 영역 및 상기 제2 영역 중 어느 영역에 속하는지를 나타내는 지시자 중 적어도 하나를 포함하는 동영상 부호화 장치.
  6. 제1항에 있어서,
    상기 원 영상에 대한 예측 영상을 생성하는 영상 예측 장치; 및
    상기 원 영상 및 상기 예측 영상을 이용하여 상기 차분 영상 블록을 생성하는 감산기
    를 더 포함하는 동영상 부호화 장치.
  7. 원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기;
    상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 적응적 변환 부호화부;
    상기 적응적 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부;
    상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부; 및
    상기 양자화부 및 상기 공간 영역 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부
    를 포함하는 동영상 부호화 장치.
  8. 제7항에 있어서,
    상기 신호 분리기는
    상기 차분 영상 블록에 존재하는 상기 경계선을 포함하지 않는 영역을 상기 제1 영역으로 설정하고, 상기 경계선을 포함하는 영역을 상기 제2 영역으로 설정하는 동영상 부호화 장치.
  9. 제7항에 있어서,
    상기 차분 영상 블록이 상기 제1 영역 및 상기 제2 영역으로 분리되었음을 나타내는 신호 분리 정보 및 상기 제1 영역과 제2 영역이 적응적 블록 분할(Adaptive Block Partition; ABP)에 의해 분할되었음을 나타내는 블록 분할 정보를 이용하여 상기 차분 영상 블록을 복원하는 복호화기
    를 더 포함하는 동영상 부호화 장치.
  10. 제9항에 있어서,
    상기 신호 분리 정보는
    상기 제1 영역 및 상기 제2 영역의 위치를 나타내는 좌표 정보 또는 상기 제1 영역 및 상기 제2 영역에 포함된 블록들 각각이 상기 제1 영역 및 상기 제2 영역 중 어느 영역에 속하는지를 나타내는 지시자 중 적어도 하나를 포함하는 동영상 부호화 장치.
  11. 제7항에 있어서,
    적응적 블록 분할(Adaptive Block Partition; ABP)을이용하여 상기 원 영상에 대한 예측 영상을 생성하는 적응적 블록 분할(Adaptive Block Partition; ABP) 예측 장치
    를 더 포함하는 동영상 부호화 장치.
  12. 동영상 부호화 장치에 있어서,
    원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 신호 분리기;
    상기 제2 영역을 공간 영역에서 양자화하는 공간 영역 양자화부;
    상기 공간 영역에서 양자화된 제2 영역 및 상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 변환 부호화부;
    상기 변환 부호화부의 출력을 주파수 영역에서 양자화하는 양자화부;
    상기 양자화부의 출력을 이용하여 엔트로피 부호화를 수행하는 엔트로피 부호화부
    를 포함하는 동영상 부호화 장치.
  13. 제12항에 있어서,
    상기 신호 분리기는
    상기 차분 영상 블록에 존재하는 상기 경계선을 포함하지 않는 영역을 상기 제1 영역으로 설정하고, 상기 경계선을 포함하는 영역을 상기 제2 영역으로 설정하는 동영상 부호화 장치.
  14. 제12항에 있어서,
    상기 신호 분리기는
    상기 제2 영역에 포함된 블록들의 개수가 최소가 되도록 상기 차분 영상 블록을 상기 제1 영역과 상기 제2 영역으로 분리하는 동영상 부호화 장치.
  15. 제12항에 있어서,
    상기 차분 영상 블록이 상기 제1 영역 및 상기 제2 영역으로 분리되었음을 나타내는 신호 분리 정보를 이용하여 상기 차분 영상 블록을 복원하는 복호화기
    를 더 포함하는 동영상 부호화 장치.
  16. 동영상 부호화 방법에 있어서,
    원 영상과 상기 원 영상에 대한 예측 영상 간의 차이를 나타내는 차분 영상 블록 내에 존재하는 경계선을 기초로 상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 단계;
    상기 제1 영역에 대하여 이산 여현 변환(Discrete Cosine Transform: DCT)을 이용하여 변환 부호화를 수행하는 단계;
    상기 변환 부호화된 결과를 주파수 영역에서 양자화하는 단계;
    상기 제2 영역을 공간 영역에서 양자화하는 단계; 및
    상기 주파수 영역에서 양자화된 결과 및 상기 공간 영역에서 양자화된 결과를 이용하여 엔트로피 부호화를 수행하는 단계
    를 포함하는 동영상 부호화 방법.
  17. 제16항에 있어서,
    상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 단계는
    상기 차분 영상 블록에 존재하는 상기 경계선을 포함하지 않는 영역을 상기 제1 영역으로 설정하고, 상기 경계선을 포함하는 영역을 상기 제2 영역으로 설정하는 단계
    를 더 포함하는 동영상 부호화 방법.
  18. 제16항에 있어서,
    상기 차분 영상 블록을 제1 영역과 제2 영역으로 분리하는 단계는
    상기 제2 영역에 포함된 블록들의 개수가 최소가 되도록 상기 차분 영상 블록을 상기 제1 영역과 상기 제2 영역으로 분리하는 단계인 동영상 부호화 방법.
  19. 제16항에 있어서,
    상기 차분 영상 블록이 상기 제1 영역 및 상기 제2 영역으로 분리되었음을 나타내는 신호 분리 정보를 이용하여 상기 차분 영상 블록을 복원하는 단계
    를 더 포함하는 동영상 부호화 방법.
  20. 제19항에 있어서,
    상기 신호 분리 정보는
    상기 제1 영역 및 상기 제2 영역의 위치를 나타내는 좌표 정보 또는 상기 제1 영역 및 상기 제2 영역에 포함된 블록들 각각이 상기 제1 영역 및 상기 제2 영역 중 어느 영역에 속하는지를 나타내는 지시자 중 적어도 하나를 포함하는 동영상 부호화 방법.
PCT/KR2010/005186 2009-08-07 2010-08-06 동영상 부호화 장치 및 그 방법 WO2011016701A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US13/389,324 US8989262B2 (en) 2009-08-07 2010-08-06 Motion picture encoding apparatus and method thereof
US14/040,132 US9148662B2 (en) 2009-08-07 2013-09-27 Motion picture encoding apparatus and method thereof
US14/821,862 US9282342B2 (en) 2009-08-07 2015-08-10 Motion picture encoding apparatus and method thereof
US15/049,854 US9432697B2 (en) 2009-08-07 2016-02-22 Motion picture encoding apparatus and method thereof
US15/219,487 US9961344B2 (en) 2009-08-07 2016-07-26 Motion picture encoding apparatus and method thereof
US15/928,878 US10469840B2 (en) 2009-08-07 2018-03-22 Motion picture encoding apparatus and method thereof

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20090072630 2009-08-07
KR10-2009-0072630 2009-08-07
KR1020090128064A KR20110015356A (ko) 2009-08-07 2009-12-21 차분 신호의 특성에 기반한 적응적인 변환 부호화/양자화 영역을 이용한 동영상 부호화/복호화 장치 및 그 방법
KR10-2009-0128064 2009-12-21
KR10-2010-0075931 2010-08-06
KR1020100075931A KR20110015399A (ko) 2009-08-07 2010-08-06 동영상 부호화 장치 및 그 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/389,324 A-371-Of-International US8989262B2 (en) 2009-08-07 2010-08-06 Motion picture encoding apparatus and method thereof
US14/040,132 Continuation US9148662B2 (en) 2009-08-07 2013-09-27 Motion picture encoding apparatus and method thereof

Publications (2)

Publication Number Publication Date
WO2011016701A2 true WO2011016701A2 (ko) 2011-02-10
WO2011016701A3 WO2011016701A3 (ko) 2011-06-03

Family

ID=43544808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/005186 WO2011016701A2 (ko) 2009-08-07 2010-08-06 동영상 부호화 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2011016701A2 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057618A (ko) * 2005-12-01 2007-06-07 한국전자통신연구원 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
KR100813001B1 (ko) * 2006-07-13 2008-03-13 한국전자통신연구원 차분신호의 크기와 부호의 분리를 이용한 동영상부호화/복호화 장치 및 그 방법
KR20080027190A (ko) * 2006-09-21 2008-03-26 광운대학교 산학협력단 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치
KR20080037593A (ko) * 2006-10-25 2008-04-30 한국전자통신연구원 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057618A (ko) * 2005-12-01 2007-06-07 한국전자통신연구원 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
KR100813001B1 (ko) * 2006-07-13 2008-03-13 한국전자통신연구원 차분신호의 크기와 부호의 분리를 이용한 동영상부호화/복호화 장치 및 그 방법
KR20080027190A (ko) * 2006-09-21 2008-03-26 광운대학교 산학협력단 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치
KR20080037593A (ko) * 2006-10-25 2008-04-30 한국전자통신연구원 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치

Also Published As

Publication number Publication date
WO2011016701A3 (ko) 2011-06-03

Similar Documents

Publication Publication Date Title
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2011108879A2 (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2017043766A1 (ko) 비디오 부호화, 복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2019194500A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2019059721A1 (ko) 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR20070009494A (ko) 영상 데이터 부호화/복호화 방법 및 장치
WO2014107098A1 (ko) 영상을 부호화/복호화하기 위한 파라미터 세트 생성 방법 및 장치
WO2011053054A9 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010093146A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2011025301A2 (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010147429A2 (ko) 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
WO2013157839A1 (ko) 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치
WO2019135636A1 (ko) Ycbcr간의 상관 관계를 이용한 영상 부호화/복호화 방법 및 장치
WO2019088435A1 (ko) 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806675

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10806675

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13389324

Country of ref document: US