WO2010062027A1 - 동작 추정 기반 영상 부호화／복호화 장치 및 방법 - Google Patents

동작 추정 기반 영상 부호화／복호화 장치 및 방법 Download PDF

Info

Publication number
WO2010062027A1
WO2010062027A1 PCT/KR2009/005166 KR2009005166W WO2010062027A1 WO 2010062027 A1 WO2010062027 A1 WO 2010062027A1 KR 2009005166 W KR2009005166 W KR 2009005166W WO 2010062027 A1 WO2010062027 A1 WO 2010062027A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photo
unit
encoding
transform
Prior art date
Application number
PCT/KR2009/005166
Other languages
English (en)
French (fr)
Other versions
WO2010062027A8 (ko
Inventor
배태면
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to CN200980143320.XA priority Critical patent/CN102204253B/zh
Priority to EP09829234A priority patent/EP2352294A1/en
Priority to US12/998,412 priority patent/US20110216826A1/en
Publication of WO2010062027A1 publication Critical patent/WO2010062027A1/ko
Publication of WO2010062027A8 publication Critical patent/WO2010062027A8/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to a motion estimation based image encoding / decoding apparatus and method, and more particularly, to a high performance low computation encoding, a photo core transform and a photo overlap transform at the time of encoding a video.
  • Intra-image coding is performed through a hierarchical two-stage lapped biorthogonal transform based on transform, and motion-based inter-coding that does not encode a residual image after motion estimation is performed.
  • the present invention relates to a motion estimation based image encoding / decoding apparatus and method for removing temporal and spatial redundancy of a moving image.
  • MPEG Moving Picture Experts Group
  • DCT Discrete Cosine Transform
  • VLC variable length coding
  • the data structure of MPEG consists of a block layer, a macro block layer, a slice layer, a picture layer, a GOP layer, and a sequence layer in the order of the lower layer to the upper layer.
  • the block layer consists of a DCT block, which is a unit for performing DCT processing.
  • the macro block layer is composed of a plurality of DCTs.
  • the slice layer is composed of a header portion and one or more macro blocks.
  • the picture layer is composed of a header portion and one or more slices. One picture corresponds to one screen.
  • the GOP layer includes an I (Intra-coded) picture based on a header part and intra-frame encoding, a P (Predictive-coded) picture based on predictive coding, and a B-directionally Predictive coded (B) picture. It consists of.
  • An I picture can be decoded with only its own information.
  • P and B pictures require a previous or subsequent picture as a reference picture and are not decoded alone.
  • a P picture is decoded using an I picture or P picture that is temporally ahead of itself as a reference picture.
  • the B picture is decoded using two pictures of the front and rear I picture or the P picture as its reference picture.
  • a group containing one or more I pictures and completed on its own is called a GOP (Group Of Picture), and the GOP becomes the minimum accessible unit in the stream of MPEG.
  • the mobile device when the compressed video is streamed from the server to the mobile device and played on the mobile device, the mobile device has a large computational performance, memory, and battery constraints unlike a general personal computer (PC).
  • PC personal computer
  • the most commonly used video codecs are MPEG-4, H.264, and H.263. These MPEG-based video codecs have high compression ratios, but they have a high computational capacity for watching more than one to two hours of playback on mobile devices such as mobile phones. If the battery is discharged.
  • video compression, personal broadcasting, video recording, such as video recording there is a problem that requires much more calculation amount for video playback, the battery life becomes shorter.
  • the present invention for solving the above problems is a hierarchical two-stage lapped biorthogonal transform based on Photo Core Transform and Photo Overlab Transform when encoding a video.
  • An image processing system configured to remove temporal and spatial redundancy of a video by performing intra coding and performing motion-based inter coding that does not encode a residual video after motion estimation.
  • An object of the present invention is to provide a method, a motion estimation based image encoding / decoding apparatus, and a method thereof.
  • the image processing system for achieving the above object, to remove the redundancy in the image through the hierarchical LB transform based on the photo core transform and Photo Overlab Transform (Photo Overlab Transform) for the input image,
  • An image encoding apparatus for performing a motion-based inter-coding that does not encode a residual image after motion estimation, and then encoding the variable-length code (VLC) to output a bit stream;
  • an image decoding apparatus for compensating and decoding an operation on the bit stream received from the image encoding apparatus.
  • the video encoding apparatus encodes the input video in units of blocks and outputs the result as a bit stream.
  • the image transformed through the hierarchical LB transform is encoded with a variable length code.
  • the image encoding apparatus for achieving the above object, an image input unit for inputting an image; A photo transformation unit for transforming the input image based on a hierarchical LB transform; A quantizer for quantizing the deformed image based on the photo; A variable length coder (VLC) unit for encoding the quantized image into a variable length code (VLC); An inverse quantizer for inversely quantizing the quantized image; An image storage unit for storing a previous image to be used as a reference frame in the dequantized image; An motion estimation unit for estimating motion from the stored previous image and transferring the motion to the photo transform unit; And a controller configured to control operations of the image input unit, the photo transform unit, the quantization unit, the inverse quantization unit, the image storage unit, and the motion estimation unit.
  • the image input unit may transfer the input image to the photo transform unit and simultaneously to the motion estimation unit.
  • the apparatus may further include a multiplexer which multiplexes an image output from the variable length coder and an image output from the motion estimation unit to output a bit stream.
  • the photo transform unit, the quantization unit, and the variable length coder unit operate based on JPEG XR.
  • the image decoding apparatus for achieving the above object, the variable length decoder for decoding the image received from the image encoding apparatus in a variable length method; An inverse quantizer for inversely quantizing the decoded image; A photo inverse transform unit for inversely transforming the dequantized image based on a hierarchical inverse LB transform; An image storage unit for storing an inversely transformed image based on the photo; A motion compensator configured to compensate for the motion of the inversely deformed image based on the photo; An image reproducing unit reproducing the image compensated for the operation; And a control unit for controlling operations of the variable length decoder, the inverse quantization unit, the photo inverse deformation unit, the image storage unit, the motion compensation unit, and the image reproduction unit.
  • the apparatus may further include a multiple separation unit which demultiplexes an image of the bit stream received from the image encoding apparatus and simultaneously delivers the image to the variable length decoder and the motion compensation unit.
  • step (D) inverse quantization of the quantized image; (e) storing a previous image to be used as a reference frame in the dequantized image; (f) estimating an operation on the previous image; And (g) applying the result of the motion estimation to the encoding of step (c).
  • step (c) if the difference between the immediately encoded block and the current block is smaller than a specific threshold value, the encoding is performed in a skip mode in which an image of the immediately preceding block is copied and used as it is.
  • the encoding may be performed in the zero motion mode when the skip mode cannot be encoded. do.
  • the motion estimation board which transmits only motion information is protected, and the difference between the motion-estimated image and the original image is a specific threshold. If it is larger than the value, the block is encoded by JPEG XR method which performs hierarchical LB transform.
  • the image decoding method for achieving the above object, (a) decoding the image received from the image encoding apparatus in a variable length method; (b) dequantizing the decoded image; (c) inversely transforming the dequantized image based on a photo; And (d) compensating for the motion of the inversely transformed image based on the hierarchical LB transform.
  • the step (c) includes storing an inversely transformed image based on the hierarchical LB transform.
  • the video encoding method according to the present invention can be recorded in a computer-readable medium as a program.
  • the image decoding method according to the present invention can be recorded in a computer-readable medium as a program.
  • FIG. 1 is a configuration diagram schematically illustrating a configuration of an image processing system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a configuration diagram schematically showing an internal configuration of a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a configuration diagram schematically showing an internal configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a motion estimation based video encoding method of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an image decoding method of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 1 is a configuration diagram schematically illustrating a configuration of an image processing system according to an exemplary embodiment of the present invention.
  • the image processing system 100 includes an image encoding apparatus 110, a communication network 120, and an image decoding apparatus 130.
  • the image encoding apparatus 110 may be a server that provides a video in a streaming form, or may be a mobile terminal that transmits a video to a counterpart terminal.
  • the image encoding apparatus 110 transforms the input image through a hierarchical LB transform based on Photo Core Transform and Photo Overlab Transform based on Motion Estimation.
  • the coder encodes a variable length code (VLC) and outputs it as a bit stream.
  • VLC variable length code
  • the image encoding apparatus 110 encodes the input image in units of blocks and outputs the result as a bit stream.
  • the communication network 120 may be a wireless communication network including a CDMA method, a HSDPA method, a WCDMA method, a TD-SCDMA method, or a wired communication network such as an Internet network.
  • the image decoding apparatus 130 compensates and decodes an operation on the bit stream received from the image encoding apparatus 110.
  • the video decoding apparatus 130 may also be a mobile terminal that receives and plays media content such as a video, or may be a video playback apparatus such as a DVD.
  • FIG. 2 is a configuration diagram schematically showing an internal configuration of a video encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 110 may include an image input unit 210, a photo transform unit 220, a quantization unit 230, and a variable length coder unit ( 240, an inverse quantization unit 250, an image storage unit 260, a motion estimation unit 270, a multiplexer 280, and a controller 290.
  • the image input unit 210 inputs an image such as a video.
  • the photo transform unit 220 transforms the image input through the image input unit 210 through a hierarchical LB transform based on a photo core transform and a photo overlap transform.
  • the quantization unit 230 quantizes the transformed image based on the hierarchical LB transform through the photo transform unit 220.
  • variable length coder 240 encodes an image quantized by the quantization unit 230 using a variable length code VLC.
  • the dequantizer 250 dequantizes the image quantized by the quantizer 230.
  • the image storage unit 260 stores a previous image to be used as a reference frame in the image dequantized by the dequantization unit 250.
  • the motion estimation unit 270 estimates the motion from the previous image stored in the image storage unit 260 and transmits the motion to the photo transform unit 220.
  • the multiplexer 280 multiplexes the image output from the variable length coder 240 and the image output from the motion estimation unit 270 to output a bit stream.
  • the controller 290 includes an image input unit 210, a photo transform unit 220, a quantizer 230, a variable-length coder 240, an inverse quantizer 250, an image storage unit 260, and an motion estimation unit. Control the operation of (270).
  • the image input unit 210 transmits the input image to the photo transform unit 220 and simultaneously to the motion estimation unit 270.
  • the photo deformer 220, the quantizer 230, and the variable-length coder 240 operate based on JPEG XR (eXtended Range).
  • FIG. 3 is a configuration diagram schematically showing an internal configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 130 includes an image receiver 310, a variable length decoder 320, an inverse quantization unit 330, and a photo inverse deformation unit 340. ), An image storage unit 350, a motion compensation unit 360, an image reproducing unit 370, a de-multiplexing unit 380, and a controller 390.
  • the image receiver 310 receives image data such as a video streamed or transmitted from the image encoding apparatus 110.
  • variable length decoder 320 decodes an image received from the image encoding apparatus 110 in a variable length method.
  • the inverse quantization unit 330 inversely quantizes the image decoded by the variable length decoder 320.
  • the photo inverse transform unit 340 inverses the inverse quantized image by the inverse quantization unit 330 based on a hierarchical inverse LB transform.
  • the image storage unit 350 stores the inversely transformed image based on the hierarchical inverse LB transform by the photo inverse transform unit 340.
  • the motion compensator 360 compensates for the motion of the inversely transformed image based on the hierarchical inverse LB transform.
  • the image reproducing unit 370 reproduces the image whose motion is compensated by the motion compensating unit 360.
  • the multiplexer 38 de-multiplexes the image of the bit stream received from the image encoder 110 and simultaneously transmits the demultiplexed image to the variable length decoder 320 and the motion compensator 360.
  • the controller 390 includes an image receiver 310, a variable length decoder 320, an inverse quantizer 330, a photo inverse transform unit 340, an image storage unit 350, an operation compensation unit 360, and an image.
  • the operation of the playback unit 370 is controlled.
  • FIG. 4 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.
  • the image encoding apparatus 110 transforms and encodes an input image through a hierarchical LB transform based on photo core transform (PCT) and photo overlap transform based on motion estimation. (S410).
  • PCT photo core transform
  • S410 photo overlap transform based on motion estimation.
  • the image encoding apparatus 110 encodes the transformed image into a variable length code (VLC) through a hierarchical LB transform based on a photo core transform and a photo overlap transform.
  • VLC variable length code
  • the image encoding apparatus 110 transmits the encoded image as a bit stream to the image decoding apparatus 130 through the communication network 120 (S420).
  • the image decoding apparatus 130 compensates for the operation of the bit stream received from the image encoding apparatus 110 and decodes the signal (S430).
  • the image decoding apparatus 130 plays the decoded image (S440).
  • FIG. 5 is a flowchart illustrating a motion estimation based video encoding method of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 110 when an image is input through the image input unit 210 (S502), the image encoding apparatus 110 according to the present invention first determines whether encoding is possible in a skip mode (S504) and encodes a skip mode. If possible (S506-Yes) encoding is performed in the skip mode (S508).
  • the skip mode is a mode in which the immediately preceding image block is copied as it is when the difference between the immediately encoded image block and the current image block is smaller than a specific threshold.
  • the video encoding apparatus 110 determines whether the encoding is possible in the zero motion mode (S510), and when the encoding is possible in the zero motion mode (S512-Yes). In operation S514, encoding is performed in zero motion mode.
  • the image encoding apparatus 110 compares the difference between the motion estimation image and the original image with a specific threshold value (S520), and the difference is a specific threshold value. If larger (S522-Yes), encoding is performed using the JPEG XR method (S524).
  • JPEG XR encoding refers to transforming the input image block through the photo transform unit 220.
  • the image encoding apparatus 110 quantizes the result of the photo transform unit 220 through the quantization unit 230.
  • the image encoding apparatus 110 encodes the quantized image, the motion estimation mode, and the motion information through the variable length coder 240 in a variable length manner and outputs the bitstream.
  • the video encoding apparatus 110 performs encoding in the motion estimation mode (S526).
  • the image encoding apparatus 110 performs encoding in the aforementioned skip mode (S508), performs encoding in the zero motion mode (S514), or performs encoding in the JPEG XR method (S524), and then performs the encoding. It is determined whether one image block is the last block (S530), and if the last block, the encoding operation is terminated. If the image block is not the last block (S530-No), the next image block is selected (S542) and the encoding operation is skipped. Returning to step S506 to determine whether this is possible, encoding of the image for the next block is performed.
  • the image encoding apparatus 110 quantizes the transformed image based on the hierarchical LB transform through the quantization unit 230, and then de-quantizes the quantized image. Inverse quantization is performed through 250, and the inverse quantized image is decoded through an inverse hierarchical LB transformer and stored in the image storage unit 260 as a previous image to be used as a reference frame.
  • FIG. 6 is a flowchart illustrating an image decoding method of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 130 receives the received bit stream through the variable length decoder 320.
  • the decoding is performed in units of blocks using a variable length (VLC) method (S604).
  • the image decoding apparatus 130 checks the encoding mode of the image block through the variable length decoder 320 (S606), and if the image block is encoded by the hierarchical LB transform (S608-Yes), the bitstream is determined. Inverse quantization is performed by the inverse quantization unit 330 in blocks (S610), and the inverse quantized image is inversely transformed into a hierarchical inverse LB transform through the photo inverse transformation unit 340 (S612).
  • the image block compensating the operation is generated through the motion compensation unit 360 (S614).
  • the image decoding apparatus 130 ends if the block which inversely transforms into the hierarchical inverse LB transform or generates the image block that compensates for the operation is the last block (S616-Yes), and terminates if not the last block (S616). No), the process returns to step S604 to decode the bitstream in a variable length (VLC) manner.
  • VLC variable length
  • the video encoding method according to the present invention can be recorded in a computer-readable medium as a program.
  • the image decoding method according to the present invention can be recorded in a computer-readable medium as a program.
  • a hierarchical two-stage lapped biorthogonal transform based on a Photo Core Transform and a Photo Overlab Transform when encoding a video An image processing system configured to perform intra coding and to remove temporal and spatial redundancy of a moving image by performing motion-based inter coding that does not encode a residual image after motion estimation.
  • the method, the motion estimation based video encoding / decoding apparatus, and the method can be realized.
  • the present invention can be applied to a low-performance mobile device capable of playing a video with low calculation amount, and can also be applied to an image processing apparatus capable of compressing operation and extending the use time of a battery.
  • intra coding is required through hierarchical two-stage lapped biorthogonal transform based on Photo Core Transform and Photo Overlab Transform.
  • the present invention can be applied to an image encoding apparatus requiring motion-based inter coding that does not encode a residual image after motion estimation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform) 과 포토 오버랩 트랜스폼(Photo Overlab Transform) 기반으로 동작을 추정하여 부호화를 수행하고, 동영상의 복호화 시에 동작을 보상하여 복호화를 수행함으로써, 동영상의 시간적, 공간적 중복성을 제거하도록 하는, 동작 추정 기반 영상 부호화/복호화 장치 및 방법에 관한 것이다. 본 발명에 따른 영상 처리 시스템은, 입력 영상에 대해 동작 추정 기반으로 포토 코어 트랜스폼과 포토 오버랩 트랜스폼(Photo Overlab Transform)을 통해 변형하고 가변길이코드(VLC)로 부호화하여 비트 스트림으로 출력하는 영상 부호화 장치; 및 상기 영상 부호화 장치로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화하는 영상 복호화 장치를 포함한다. 본 발명에 의하면, 낮은 성능의 모바일 디바이스에서도 낮은 연산량의 비디오 코덱을 통해 비디오 재생이나 압축 동작이 가능하고, 배터리의 사용 시간도 연장해서 사용할 수 있다.

Description

동작 추정 기반 영상 부호화／복호화 장치 및 방법
본 발명은 동작 추정 기반 영상 부호화/복호화 장치 및 방법에 관한 것으로, 더욱 상세하게는 고성능 저연산 부호화를 위해, 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform)과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼(hierarchical two-stage lapped biorthogonal transform)을 통해 영상내 부호화(intra coding)를 수행하고, 움직임 추정 후 잔여 영상을 부호화하지 않는 움직임기반 영상간 부호화(inter coding)를 수행함으로써 동영상의 시간적, 공간적 중복성을 제거하도록 하는, 동작 추정 기반 영상 부호화/복호화 장치 및 방법에 관한 것이다.
일반적으로 디지털 비디오 신호는 데이터 용량이 방대하기 때문에, 소정의 방식으로 압축 및 부호화 하여 전송하거나 기록매체에 기록된다. 최근에는 MPEG(Moving Picture Experts Group) 방식이 압축 부호화 시스템의 표준적인 방식으로 알려져 있다. MPEG에서는 DCT(Discrete Cosine Transform)와 움직임 보상을 이용해서 디지털 비디오 신호의 압축 부호화를 행하거나, 가변 길이 부호(VLC:Varibale Length Coding)를 이용해서 데이터의 압축율을 높이고 있다.
MPEG의 데이터 구조는 하위층에서 상위층의 순서로 블록층, 매크로 블록층, 슬라이스층, 픽쳐층, GOP층 및 시퀀스층으로 이루어졌다. 블록층은 DCT 처리를 행하는 단위인 DCT 블록으로 이루어진다. 매크로 블록층은 복수의 DCT로 구성된다. 슬라이스층은 헤더부와 1 이상의 매크로 블록으로 구성된다. 픽쳐층은 헤더부와 1 이상의 슬라이스로 구성된다. 1 픽쳐(Picture)는 1 화면에 대응한다.
GOP층은 헤더부와 프레임내 부호화(intra-frame encoding)에 기초하는 I(Intra-coded) 픽쳐와, 예측 부호화에 기초하는 P(Predictive-coded) 픽쳐와, B(Bi-directionally Predictive coded) 픽쳐로 구성된다. I 픽쳐는 그 자신의 정보만으로 디코딩될 수 있다. P 및 B 픽쳐는 기준화상으로서 이전 혹은 이후의 화상이 필요하게 되고 단독으로 디코딩되지 않는다. 예를 들면, P 픽쳐는 자신보다 시간적으로 앞선 I 픽쳐 또는 P 픽쳐를 기준 화상으로서 이용하여 디코딩된다. 또한, B 픽쳐는 자신의 전후의 I 픽쳐 또는 P 픽쳐의 2매의 픽쳐를 기준화상으로서 이용하여 디코딩된다. 1매 이상의 I 픽쳐를 포함하고 그 자신에서 완결된 그룹은 GOP(Group Of Picture)라 부르고, GOP는 MPEG의 스트림에 있어서 액세스 가능한 최소의 단위가 된다.
그런데, 이런 압축 영상을 서버에서 모바일 디바이스로 스트리밍하여 모바일 디바이스(Mobile Device)에서 재생할 때, 모바일 디바이스는 일반 PC(Personal Computer)와 달리 연산 성능과 메모리, 배터리의 제약이 크다.
따라서, 동영상의 재생 또는 압축을 모바일 디바이스에서 수행하는 경우, 재생 및 압축을 담당하는 비디오 코덱의 연산량(Computational Complexity)이 낮을수록 배터리의 재생 시간도 오래가고, 제한된 연산 능력을 가진 상황에서 구동이 가능해진다.
일반적으로 가장 많이 사용되고 있는 비디오 코덱은 MPEG-4, H.264, H.263으로 이러한 MPEG 기반 비디오 코덱은 높은 압축률을 보이고 있지만 높은 연산량으로 핸드폰과 같은 모바일 디바이스에서 재생 시 1~2 시간 이상 시청하는 경우 배터리가 방전되는 현상이 발생한다. 특히, 영상 통화, 개인방송, 영상녹화와 같은 기능의 비디오 압축 시, 비디오 재생에 대해 훨씬 더 많은 연산량이 필요하게 되어 배터리의 사용시간이 더더욱 짧아지게 되는 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명은 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform)과 포토 오버랩 트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼(hierarchical two-stage lapped biorthogonal transform)을 통해 영상내 부호화(intra coding)를 수행하고, 움직임 추정 후 잔여 영상을 부호화하지 않는 움직임기반 영상간 부호화(inter coding)를 수행함으로써, 동영상의 시간적, 공간적 중복성을 제거하도록 된, 영상 처리 시스템 및 그 방법, 동작 추정 기반 영상 부호화/복호화 장치 및 그 방법을 제공함에 목적이 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 영상 처리 시스템은, 입력 영상에 대해 포토 코어 트랜스폼과 포토 오버랩 트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼을 통해 영상내 중복성을 제거하고, 움직임 추정 후 잔여 영상을 부호화하지 않는 움직임기반 영상간 부호화(inter coding)를 수행한 후 가변길이코드(VLC)로 부호화하여 비트 스트림으로 출력하는 영상 부호화 장치; 및 상기 영상 부호화 장치로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화하는 영상 복호화 장치를 포함한다.
여기서, 상기 영상 부호화 장치는, 상기 입력 영상에 대해 블럭 단위로 부호화하여 비트 스트림으로 출력하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 처리 방법은, 영상 부호화 장치 및 영상 복호화 장치를 포함하는 시스템의 영상 처리 방법으로서, (a) 상기 영상 부호화 장치에서 입력 영상을 계층적 LB 트랜스폼과 잔여 영상을 부호화하지 않는 움직임 추정을 통해 변형하여 부호화하는 단계; (b) 상기 부호화된 영상을 비트 스트림으로 상기 영상 복호화 장치로 전송하는 단계; (c) 상기 영상 복호화 장치에서 상기 비트 스트림을 복호화하는 단계; 및 (d) 상기 영상 복호화 장치에서 상기 복호화된 영상을 재생하는 단계를 포함한다.
여기서, 상기 (a) 단계는, 상기 계층적 LB 트랜스폼을 통해 변형된 영상을 가변길이코드로 부호화하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 부호화 장치는, 영상을 입력하는 영상 입력부; 상기 입력된 영상을 계층적 LB 트랜스폼 기반으로 변형하는 포토 변형부; 상기 포토 기반으로 변형된 영상을 양자화하는 양자화부; 상기 양자화 된 영상을 가변길이코드(VLC)로 부호화하는 가변장 코더(VLC)부; 상기 양자화 된 영상을 역양자화하는 역양자화부; 상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 영상 저장부; 상기 저장된 이전 영상에서 동작을 추정하여 상기 포토 변형부로 전달하는 동작 추정부; 및 상기 영상 입력부와, 상기 포토 변형부, 상기 양자화부, 상기 역양자화부, 상기 영상 저장부 및 상기 동작 추정부의 동작을 제어하는 제어부를 포함한다.
또한, 상기 영상 입력부는, 상기 입력된 영상을 상기 포토 변형부로 전달함과 더불어 상기 동작 추정부로 동시에 전달하게 된다.
또한, 상기 가변장 코더부에서 출력된 영상과 상기 동작 추정부에서 출력된 영상을 멀티플렉싱하여 비트 스트림으로 출력하는 다중 결합부를 더 포함한다.
그리고, 상기 포토 변형부와 상기 양자화부 및 상기 가변장 코더부는 JPEG XR 기반으로 동작하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 복호화 장치는, 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 가변장 디코더부; 상기 디코딩된 영상을 역양자화하는 역양자화부; 상기 역양자화 된 영상을 계층적 역 LB 트랜스폼 기반으로 역변형하는 포토 역변형부; 상기 포토 기반으로 역변형된 영상을 저장하는 영상 저장부; 상기 포토 기반으로 역변형된 영상의 동작을 보상하는 동작 보상부; 상기 동작이 보상된 영상을 재생하는 영상 재생부; 및 상기 가변장 디코더부와, 상기 역양자화부, 상기 포토 역변형부, 상기 영상 저장부, 상기 동작 보상부 및 상기 영상 재생부의 동작을 제어하는 제어부를 포함한다.
그리고, 상기 영상 부호화 장치로부터 수신한 비트 스트림의 영상을 디멀티 플렉싱하여 상기 가변장 디코더부와 상기 동작 보상부로 동시에 전달하는 다중 분리부를 더 포함한다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 부호화 방법은, (a) 입력된 영상에 대해 계층적 LB 트랜스폼과 잔여 영상을 부호화하지 않는 움직임 추정기반으로 변형하는 단계; (b) 상기 포토 기반으로 변형된 영상을 양자화하는 단계; 및 (c) 상기 양자화 된 영상을 가변 길이 방식으로 부호화하는 단계를 포함한다.
또한, (d) 상기 양자화 된 영상을 역양자화하는 단계; (e) 상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 단계; (f) 상기 이전 영상에 대해 동작을 추정하는 단계; 및 (g) 상기 동작 추정한 결과를 상기 (c) 단계의 부호화에 적용하는 단계를 더 포함한다.
또한, 상기 (c) 단계는, 바로 직전에 부호화 된 블럭과 현재 블럭의 차이가 특정 임계값보다 작으면 바로 직전 블럭의 영상을 그대로 복사하여 사용하는 스킵 모드로 부호화하게 된다.
또한, 상기 (c) 단계는, 상기 스킵 모드로 부호화 할 수 없는 경우에, 이전 영상의 현재 위치의 블럭과 원영상의 현재 위치의 블록의 차이가 특정 임계값보다 작으면 제로 모션 모드로 부호화하게 된다.
그리고, 상기 동작 추정한 영상의 블럭과 원영상의 블록의 차이가 특정 임계값보다 작으면, 움직임 정보만을 전송하는 동작 추정 보드로 보호화되고, 상기 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 계층적 LB 트랜스폼을 수행하는 JPEG XR 방식으로 블록을 부호화하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 복호화 방법은, (a) 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 단계; (b) 상기 디코딩된 영상을 역양자화하는 단계; (c) 상기 역양자화 된 영상을 포토 기반으로 역변형하는 단계; 및 (d) 상기 계층적 LB트랜스폼 기반으로 역변형된 영상의 동작을 보상하는 단계를 포함한다.
또한, (e) 상기 동작이 보상된 영상을 재생하는 단계를 더 포함한다.
그리고, 상기 (c) 단계는, 상기 계층적 LB트랜스폼 기반으로 역변형된 영상을 저장하는 것을 포함한다.
한편, 본 발명에 따른 영상 부호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다. 또한, 본 발명에 따른 영상 복호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
본 발명에 의하면, 낮은 성능의 모바일 디바이스에서도 낮은 연산량의 비디오 코덱을 통해 비디오 재생이나 압축 동작이 가능하고, 배터리의 사용 시간도 연장해서 사용할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 4는 본 발명의 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 영상 부호화 장치의 동작 추정 기반 영상 부호화 방법을 설명하기 위한 동작 흐름도이다.
도 6은 본 발명의 실시예에 따른 영상 복호화 장치의 영상 복호화 방법을 설명하기 위한 동작 흐름도이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 영상 처리 시스템(100)은 영상 부호화 장치(110), 통신망(120), 영상 복호화 장치(130)를 포함한다.
영상 부호화 장치(110)는 동영상을 스트리밍 형태로 제공해 주는 서버가 될 수 있으며, 동영상을 상대방 단말기로 전송해 주는 이동 단말기도 될 수 있다.
따라서, 영상 부호화 장치(110)는 입력 영상에 대해 동작 추정(Motion Estimation) 기반으로 포토 코어 트랜스폼(Photo Core Transform) 과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼을 통해 변형하고 가변길이 코드(VLC:Variable Length Code))로 부호화하여 비트 스트림(Bit stream)으로 출력한다.
여기서, 영상 부호화 장치(110)는, 입력 영상에 대해 블럭(Block) 단위로 부호화하여 비트 스트림으로 출력하게 된다.
통신망(120)은 CDMA 방식이나 HSDPA 방식, WCDMA 방식, TD-SCDMA 방식의 이동 통신망을 포함하는 무선 통신망일 수 있고, 인터넷망 등의 유선 통신망일 수 있다.
영상 복호화 장치(130)는 영상 부호화 장치(110)로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화한다. 여기서, 영상 복호화 장치(130)도 동영상 등의 미디어 컨텐츠를 수신하여 재생하는 이동 단말기일 수 있으며, DVD 등의 영상 재생 장치일 수도 있다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 본 발명에 따른 영상 부호화 장치(110)는, 영상 입력부(210), 포토 변형부(220), 양자화부(Quantization)(230), 가변장 코더(Variable Length Coder)부(240), 역양자화부(250), 영상 저장부(260), 동작 추정(Motion Estimation)부(270), 다중 결합부(Multiplexer)(280) 및 제어부(290)를 포함한다.
영상 입력부(210)는 동영상 등의 영상을 입력한다.
포토 변형부(220)는 영상 입력부(210)를 통해 입력된 영상을 포토 코어 트랜스폼(Photo Core Transform) 과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼을 통해 변형한다.
양자화부(230)는 포토 변형부(220)를 통해 계층적 LB 트랜스폼 기반으로 변형된 영상을 양자화한다.
가변장 코더부(240)는 양자화부(230)에 의해 양자화 된 영상을 가변길이코드(VLC)로 부호화한다.
역양자화부(250)는 양자화부(230)에 의해 양자화 된 영상을 역양자화한다.
영상 저장부(260)는 역양자화부(250)에 의해 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장한다.
동작 추정부(270)는 영상 저장부(260)에 저장된 이전 영상에서 동작을 추정하여 포토 변형부(220)로 전달한다.
다중 결합부(280)는 가변장 코더부(240)에서 출력된 영상과 동작 추정부(270)에서 출력된 영상을 멀티플렉싱(Multiplexing)하여 비트 스트림으로 출력한다.
제어부(290)는 영상 입력부(210)와, 포토 변형부(220), 양자화부(230), 가변장 코더부(240), 역양자화부(250), 영상 저장부(260) 및 동작 추정부(270)의 동작을 제어한다.
또한, 영상 입력부(210)는, 입력된 영상을 포토 변형부(220)로 전달함과 더불어 동작 추정부(270)로 동시에 전달하게 된다.
그리고, 포토 변형부(220)와 양자화부(230) 및 가변장 코더부(240)는 JPEG XR(eXtended Range) 기반으로 동작하게 된다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3을 참조하면, 본 발명에 따른 영상 복호화 장치(130)는, 영상 수신부(310), 가변장 디코더부(Variable Length Decoder)(320), 역양자화부(330), 포토 역변형부(340), 영상 저장부(350), 동작 보상(Motion Compensation)부(360), 영상 재생부(370), 다중 분리(De-multiplexing)부(380) 및 제어부(390)를 포함한다.
영상 수신부(310)는 영상 부호화 장치(110)로부터 스트리밍되는 또는 전송되는 동영상 등의 영상 데이터를 수신한다.
가변장 디코더부(320)는 영상 부호화 장치(110)로부터 수신한 영상을 가변 길이 방식으로 디코딩한다.
역양자화부(330)는 가변장 디코더부(320)에 의해 디코딩된 영상을 역양자화한다.
포토 역변형부(340)는 역양자화부(330)에 의해 역양자화 된 영상을 계층적 역(inverse) LB 트랜스폼 기반으로 역변형한다.
영상 저장부(350)는 포토 역변형부(340)에 의해 계층적 역 LB 트랜스폼 기반으로 역변형된 영상을 저장한다.
동작 보상부(360)는 계층적 역 LB 트랜스폼 기반으로 역변형된 영상의 동작을 보상(Compensation)한다.
영상 재생부(370)는 동작 보상부(360)에 의해 동작이 보상된 영상을 재생한다.
다중 분리부(38)는 영상 부호화 장치(110)로부터 수신한 비트 스트림의 영상을 디멀티 플렉싱(De-multiplexing)하여 가변장 디코더부(320)와 동작 보상부(360)로 동시에 전달한다.
제어부(390)는 영상 수신부(310)와, 가변장 디코더부(320), 역양자화부(330), 포토 역변형부(340), 영상 저장부(350), 동작 보상부(360) 및 영상 재생부(370)의 동작을 제어한다.
도 4는 본 발명의 실시예에 따른 영상 처리 방법을 설명하기 위한 전체 흐름도이다.
도 4를 참조하면, 영상 부호화 장치(110)는 입력 영상을 동작 추정 기반으로 포토 코어 트랜스폼(PCT)과 포토 오버랩 트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼을 통해 변형하여 부호화한다(S410).
즉, 영상 부호화 장치(110)는 포토 코어 트랜스폼과 포토 오버랩 트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼을 통해 변형된 영상을 가변길이코드(VLC)로 부호화하게 된다.
이어, 영상 부호화 장치(110)는 부호화된 영상을 비트 스트림으로 통신망(120)을 통해 영상 복호화 장치(130)로 전송한다(S420).
이에 대해, 영상 복호화 장치(130)는 영상 부호화 장치(110)로부터 수신한 비트 스트림에 대해 동작을 보상하여 복호화한다(S430).
따라서, 영상 복호화 장치(130)는 복호화된 영상을 재생한다(S440).
도 5는 본 발명의 실시예에 따른 영상 부호화 장치의 동작 추정 기반 영상 부호화 방법을 설명하기 위한 동작 흐름도이다.
도 5를 참조하면, 본 발명에 따른 영상 부호화 장치(110)는 영상 입력부(210)를 통해 영상이 입력되면(S502), 먼저 스킵 모드로 부호화가 가능한 지를 판단하여(S504), 스킵 모드로 부호화가 가능한 경우(S506-예) 스킵 모드로 부호화를 수행한다(S508).
여기서, 스킵 모드(skip mode)는 바로 직전에 부호화 된 영상 블럭과 현재 영상 블럭의 차이가 특정 임계값보다 작을 경우에 바로 직전의 영상 블럭을 그대로 복사(copy)하여 사용하는 모드이다.
그러나, 스킵 모드로 동작할 수 없는 경우(S506-아니오), 영상 부호화 장치(110)는 제로 모션 모드로 부호화가 가능한 지를 판단하여(S510), 제로 모션 모드로 부호화가 가능한 경우(S512-예), 제로 모션 모드로 부호화를 수행한다(S514).
한편, 제로 모션 모드로도 부호화 할 수 없는 경우(S512-아니오), 영상 부호화 장치(110)는 동작 추정 영상과 원영상의 차이를 특정 임계값과 비교하고(S520), 그 차이가 특정 임계값보다 큰 경우에(S522-예), JPEG XR 방식으로 부호화를 수행한다(S524).
여기서, JPEG XR 방식의 부호화는 입력된 영상블럭을 포토 변형부(220)를 통해 변형하는 것을 말한다. 영상 부호화 장치(110)는 포토 변형부(220)의 결과를 양자화부(230)를 통해 양자화한다. 또한, 영상 부호화 장치(110)는 가변장 코더부(240)를 통해 양자화 된 영상과 움직임 추정 모드 및 움직임 정보를 가변 길이 방식으로 부호화하여 비트스트림으로 출력한다.
그러나, 그 차이가 특정 임계값보다 작은 경우(S522-아니오), 영상 부호화 장치(110)는 동작 추정 모드로 부호화를 수행한다(S526).
영상 부호화 장치(110)는 전술한 스킵 모드로 부호화를 수행하거나(S508), 제로 모션 모드로 부호화를 수행하거나(S514), JPEG XR 방식으로 부호화를 수행(S524)한 다음에, 그 부호화를 수행한 영상 블럭이 마지막 블럭인지를 판단하여(S530), 마지막 블럭이면 부호화 동작을 종료하고, 마지막 블럭이 아닌 경우에(S530-아니오), 다음의 영상 블럭을 선택하여(S542) 스킵 모드로 부호화 동작이 가능한지를 판단하는 S506 단계로 복귀하여 다음 블럭에 대한 영상의 부호화를 수행한다.
한편, 영상 부호화 장치(110)는 동작 추정 모드로 부호화 할 경우에, 계층적 LB 트랜스폼 기반으로 변형된 영상을 양자화부(230)를 통해 양자화 한 다음에, 양자화 된 일부 영상에 대해 역양자화부(250)를 통해 역양자화하고, 역양자화 된 영상을 역 계층적 LB트랜스폼을 통하여 복호화하여 기준 프레임으로 사용할 이전 영상으로 영상 저장부(260)에 저장한다.
도 6은 본 발명의 실시예에 따른 영상 복호화 장치의 영상 복호화 방법을 설명하기 위한 동작 흐름도이다.
도 6을 참조하면, 영상 복호화 장치(130)는 영상 부호화 장치(110)로부터 영상 수신부(310)를 통해 비트 스트림이 수신되면(S602), 수신된 비트 스트림을 가변장 디코더부(320)를 통해 가변 길이(VLC) 방식으로 블록 단위로 디코딩한다(S604).
이어, 영상 복호화 장치(130)는 가변장 디코더부(320)를 통해 영상블록의 코드화 모드를 확인하여(S606), 계층적 LB 트랜스폼으로 부호화된 영상블록이면(S608-예), 비트스트림을 블록 단위로 역양자화부(330)를 통해 역양자화하고(S610), 역양자화 된 영상을 포토 역변형부(340)를 통해 계층적 역 LB 트랜스폼으로 역변형한다(S612).
그러나, 영상블록의 코드화 모드가 스킵 모드, 제로 모션 모드, 움직임 추정 모드인 경우(S608-아니오), 동작 보상부(360)를 통해 동작을 보상한 영상 블럭을 생성한다(S614).
이어, 영상 복호화 장치(130)는 계층적 역 LB 트랜스폼으로 역변형하거나, 동작을 보상한 영상 블록을 생성한 블록이 마지막 블록이면(S616-예) 종료하고, 마지막 블록이 아닌 경우에(S616-아니오), S604 단계로 복귀하여 비트스트림을 가변 길이(VLC) 방식으로 디코딩하는 동작을 수행한다.
한편, 본 발명에 따른 영상 부호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다. 또한, 본 발명에 따른 영상 복호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
전술한 바와 같이 본 발명에 의하면, 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform)과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반으로 한 계층적 LB 트랜스폼(hierarchical two-stage lapped biorthogonal transform)을 통해 영상내 부호화(intra coding)를 수행하고, 움직임 추정 후 잔여 영상을 부호화하지 않는 움직임기반 영상간 부호화(inter coding)를 수행하여, 동영상의 시간적, 공간적 중복성을 제거하도록 된, 영상 처리 시스템 및 그 방법, 동작 추정 기반 영상 부호화/복호화 장치 및 그 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 낮은 연산량을 가지며 비디오를 재생할 수 있는 낮은 성능의 모바일 디바이스에 적용할 수 있으며, 또한 압축 동작이 가능하고 배터리의 사용 시간을 연장해서 사용해야 할 영상 처리 장치 등에 적용할 수 있다.
또한, 포토 코어 트랜스폼(Photo Core Transform)과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼(hierarchical two-stage lapped biorthogonal transform)을 통해 영상내 부호화(intra coding)가 필요하고, 움직임 추정 후 잔여 영상을 부호화하지 않는 움직임기반 영상간 부호화(inter coding)가 필요한 영상 부호화 장치 등에 적용할 수 있다.

Claims (17)

  1. 입력 영상에 대해 포토 코어 트랜스폼(Photo Core Transform)과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반으로 한 계층적 LB 트랜스폼(hierarchical two-stage lapped biorthogonal transform) 를 통해 영상내 부호화(intra coding) 를 수행하고, 움직임 추정 후 잔여 영상을 부호화하지 않는 움직임기반 영상간 부호화(inter coding)를 수행함으로써 동영상의 시간적, 공간적 중복성을 제거하고 가변길이코드(VLC)로 부호화하여 비트 스트림으로 출력하는 영상 부호화 장치; 및
    상기 영상 부호화 장치로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화하는 영상 복호화 장치;
    를 포함하는 영상 처리 시스템.
  2. 영상 부호화 장치 및 영상 복호화 장치를 포함하는 시스템의 영상 처리 방법으로서,
    (a) 상기 영상 부호화 장치에서 입력 영상을 동작 추정 기반으로 포토 코어 트랜스폼 과 포토 오버랩트랜스폼(Photo Overlab Transform) 기반의 계층적 LB 트랜스폼 을 통해 변형하여 부호화하는 단계;
    (b) 상기 부호화된 영상을 비트 스트림으로 상기 영상 복호화 장치로 전송하는 단계;
    (c) 상기 영상 복호화 장치에서 상기 비트 스트림에 대해 동작을 보상하여 복호화하는 단계; 및
    (d) 상기 영상 복호화 장치에서 상기 복호화된 영상을 재생하는 단계;
    를 포함하는 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 (a) 단계는, 상기 포토 코어 트랜스폼 과 포토 오버랩트랜스폼(Photo Overlab Transform) 을 통해 변형된 영상을 가변길이코드로 부호화하는 것을 특징으로 하는 영상 처리 방법.
  4. 영상을 입력하는 영상 입력부;
    상기 입력된 영상을 포토 기반으로 변형하는 포토 변형(Photo Core Transform)부;
    상기 포토 기반으로 변형된 영상을 양자화하는 양자화(quantization)부;
    상기 양자화 된 영상을 가변길이코드(VLC)로 부호화하는 가변장 코더(VLC)부;
    상기 양자화 된 영상을 역양자화하는 역양자화부;
    상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 영상 저장부;
    상기 저장된 이전 영상에서 동작을 추정하여 상기 포토 변형부로 전달하는 동작 추정부; 및
    상기 영상 입력부와, 상기 포토 변형부, 상기 양자화부, 상기 역양자화부, 상기 영상 저장부 및 상기 동작 추정부의 동작을 제어하는 제어부;
    를 포함하는 영상 부호화 장치.
  5. 제 4 항에 있어서,
    상기 영상 입력부는, 상기 입력된 영상을 상기 포토 변형부로 전달함과 더불어 상기 동작 추정부로 동시에 전달하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 4 항에 있어서,
    상기 가변장 코더부에서 출력된 영상과 상기 동작 추정부에서 출력된 영상을 멀티플렉싱(Multiplexing)하여 비트 스트림으로 출력하는 다중 결합부;
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 가변장 디코더부;
    상기 디코딩된 영상을 역양자화하는 역양자화부;
    상기 역양자화 된 영상을 포토 기반으로 역변형하는 포토 역변형부;
    상기 포토 기반으로 역변형된 영상을 저장하는 영상 저장부;
    상기 포토 기반으로 역변형된 영상의 동작을 보상하는 동작 보상부;
    상기 동작이 보상된 영상을 재생하는 영상 재생부; 및
    상기 가변장 디코더부와, 상기 역양자화부, 상기 포토 역변형부, 상기 영상 저장부, 상기 동작 보상부 및 상기 영상 재생부의 동작을 제어하는 제어부;
    를 포함하는 영상 복호화 장치.
  8. 제 7 항에 있어서,
    상기 영상 부호화 장치로부터 수신한 비트 스트림의 영상을 디멀티 플렉싱(De-multiplexing)하여 상기 가변장 디코더부와 상기 동작 보상부로 동시에 전달하는 다중 분리부;
    를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  9. (a) 입력된 영상에 대해 포토 기반으로 변형하는 단계;
    (b) 상기 포토 기반으로 변형된 영상을 양자화하는 단계; 및
    (c) 상기 양자화 된 영상을 가변 길이 방식으로 부호화하는 단계;
    를 포함하는 영상 부호화 방법.
  10. 제 9 항에 있어서,
    (d) 상기 양자화 된 영상을 역양자화하는 단계;
    (e) 상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 단계;
    (f) 상기 이전 영상에 대해 동작을 추정하는 단계; 및
    (g) 상기 동작 추정한 결과를 상기 (c) 단계의 부호화에 적용하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 9 항에 있어서,
    상기 (c) 단계는, 바로 직전에 부호화 된 블럭과 현재 블럭의 차이가 특정 임계값보다 작으면 바로 직전 블럭의 영상을 그대로 복사(Copy)하여 사용하는 스킵 모드(Skip mode)로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 11 항에 있어서,
    상기 (c) 단계는, 상기 스킵 모드로 부호화 할 수 없는 경우에, 상기 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 작으면 제로 모션(Zero motion) 모드로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 9 항에 있어서,
    상기 (c) 단계는, 상기 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 JPEG XR 방식으로 블럭 단위로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  14. (a) 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 단계;
    (b) 상기 디코딩된 영상을 역양자화하는 단계;
    (c) 상기 역양자화 된 영상을 포토 기반으로 역변형하는 단계; 및
    (d) 상기 포토 기반으로 역변형된 영상의 동작을 보상하는 단계;
    를 포함하는 영상 복호화 방법.
  15. 제 14 항에 있어서,
    (e) 상기 동작이 보상된 영상을 재생하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  16. 제 9 항 내지 제 13 항 중 어느 한 항의 영상 부호화 방법을 프로그램으로 기록한 컴퓨터로 읽을 수 있는 매체.
  17. 제 14 항 또는 제 15 항 중 어느 한 항의 영상 복호화 방법을 프로그램으로 기록한 컴퓨터로 읽을 수 있는 매체.
PCT/KR2009/005166 2008-11-25 2009-09-11 동작 추정 기반 영상 부호화／복호화 장치 및 방법 WO2010062027A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980143320.XA CN102204253B (zh) 2008-11-25 2009-09-11 基于运动估计的视频编码/解码装置和方法
EP09829234A EP2352294A1 (en) 2008-11-25 2009-09-11 Apparatus and method for motion estimation-based image encoding/decoding
US12/998,412 US20110216826A1 (en) 2008-11-25 2009-09-11 Apparatus and Method for Motion Estimation-Based Image Encoding/Decoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0117290 2008-11-25
KR1020080117290A KR101054644B1 (ko) 2008-11-25 2008-11-25 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2010062027A1 true WO2010062027A1 (ko) 2010-06-03
WO2010062027A8 WO2010062027A8 (ko) 2010-08-19

Family

ID=42225870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005166 WO2010062027A1 (ko) 2008-11-25 2009-09-11 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Country Status (5)

Country Link
US (1) US20110216826A1 (ko)
EP (1) EP2352294A1 (ko)
KR (1) KR101054644B1 (ko)
CN (1) CN102204253B (ko)
WO (1) WO2010062027A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054644B1 (ko) 2008-11-25 2011-08-08 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118953A1 (en) * 1997-12-20 2002-08-29 Kim Jae-Hyun Digital recorder and playback apparatus that is compatible with apparatuses adapting motion picture expects group (mpeg) standard,and method therefor
US20060133491A1 (en) * 2004-12-22 2006-06-22 Lg Electronics Inc. Video codec
US20070009030A1 (en) * 2005-07-08 2007-01-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0304565A (pt) * 2002-03-15 2004-12-07 Nokia Corp Método de predição de movimento compensado para uso na codificação da sequência de vìdeo digital, codificador e decodificador de vìdeo para codificar/decodificar uma sequência de vìdeo digital usando predição de movimento compensado, terminal de miltimìdia, e, codec de vìdeo
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
AU2005239628B2 (en) * 2005-01-14 2010-08-05 Microsoft Technology Licensing, Llc Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
JP4523886B2 (ja) * 2005-07-08 2010-08-11 富士通株式会社 動画像復号装置、動画像復号方法および動画像復号プログラム
CN101090504B (zh) * 2007-07-20 2010-06-23 清华大学 一种面向视频标准应用的编解码器
JP4963681B2 (ja) * 2008-03-27 2012-06-27 株式会社メガチップス 画像処理装置
US8369638B2 (en) * 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
KR101054644B1 (ko) 2008-11-25 2011-08-08 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118953A1 (en) * 1997-12-20 2002-08-29 Kim Jae-Hyun Digital recorder and playback apparatus that is compatible with apparatuses adapting motion picture expects group (mpeg) standard,and method therefor
US20060133491A1 (en) * 2004-12-22 2006-06-22 Lg Electronics Inc. Video codec
US20070009030A1 (en) * 2005-07-08 2007-01-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054644B1 (ko) 2008-11-25 2011-08-08 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Also Published As

Publication number Publication date
KR101054644B1 (ko) 2011-08-08
EP2352294A1 (en) 2011-08-03
US20110216826A1 (en) 2011-09-08
WO2010062027A8 (ko) 2010-08-19
KR20100058764A (ko) 2010-06-04
CN102204253A (zh) 2011-09-28
CN102204253B (zh) 2014-01-15

Similar Documents

Publication Publication Date Title
KR100272817B1 (ko) 동화상 복호화 장치
KR100265193B1 (ko) 화상 부호화 및 복호화 방법 또는 장치와 화상 기록 매체
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2009110741A2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
KR950035446A (ko) 비디오 데이타를 가지는 비트 스트림의 트랜스코딩 방법 및 장치
WO2009110754A2 (en) Method and apparatus for encoding and decoding image
JP2008172599A5 (ko)
JP4799547B2 (ja) それぞれマルチマクロブロックを含む予測ピクチャおよび非予測ピクチャを使用した、ピクチャシーケンスのエンコーディング方法およびエンコーディング装置
JPH09121358A (ja) 画像符号化及び復号化装置と方法
JPH09182083A (ja) ビデオ画像符号化方法及び復号化方法とその装置
EP2449785A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2005099272A1 (en) Converter-assisted video encoder
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2010107237A2 (en) Encoding device and method and multimedia apparatus including the encoding device
WO2013157814A1 (ko) 영상의 레퍼런스 픽쳐 세트를 결정하기 위한 방법 및 장치
KR20060093743A (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
CN102025982A (zh) 视频处理装置及方法
WO2009131406A2 (en) Decoding image
US6847684B1 (en) Zero-block encoding
WO2009104925A2 (ko) 영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및 장치
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2010062027A1 (ko) 동작 추정 기반 영상 부호화／복호화 장치 및 방법
KR20050112587A (ko) 동영상 인코딩, 디코딩 장치 및 그 방법
JP5472094B2 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980143320.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09829234

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12998412

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009829234

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE