WO2012141551A2 - 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법 - Google Patents

멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법 Download PDF

Info

Publication number
WO2012141551A2
WO2012141551A2 PCT/KR2012/002861 KR2012002861W WO2012141551A2 WO 2012141551 A2 WO2012141551 A2 WO 2012141551A2 KR 2012002861 W KR2012002861 W KR 2012002861W WO 2012141551 A2 WO2012141551 A2 WO 2012141551A2
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
layer
macroblock
video
mode
Prior art date
Application number
PCT/KR2012/002861
Other languages
English (en)
French (fr)
Other versions
WO2012141551A3 (ko
Inventor
배태면
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110035110A external-priority patent/KR101853744B1/ko
Priority claimed from KR1020110047638A external-priority patent/KR101594411B1/ko
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to CN201280024116.8A priority Critical patent/CN103548353B/zh
Priority to JP2014505084A priority patent/JP5557265B1/ja
Priority to US14/111,834 priority patent/US9083949B2/en
Priority to EP12771035.8A priority patent/EP2698995A4/en
Publication of WO2012141551A2 publication Critical patent/WO2012141551A2/ko
Publication of WO2012141551A3 publication Critical patent/WO2012141551A3/ko
Priority to US14/797,471 priority patent/US20150319443A1/en
Priority to US14/884,967 priority patent/US20160037169A1/en
Priority to US14/884,943 priority patent/US10750185B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems

Definitions

  • the present invention relates to an apparatus and method for fast scalable video coding using multi-track video. More particularly, the present invention relates to intra prediction or motion of a macroblock using encoding information of multi-track video.
  • adaptive video streaming technology which adjusts and transmits the amount of video data according to the user's network environment.
  • Technology to prevent users from watching videos that are cut off or broken in the middle is becoming common.
  • Current adaptive video streaming technology mainly consists of creating compressed video with various data sizes for one original video and selecting compressed video according to user's network environment. You must ingest multiple compressed video, Multi-track video, for.
  • Scalable Video Coding (SVC) method is based on H.264 by the join video technology (JVT) group of ITU and MPEG for the purpose of providing video services to various devices and network environments with one compressed video.
  • JVT join video technology
  • SVC has been standardized recently and is in the early stage of commercialization.
  • SVC prepares several files with existing coding methods such as H.264 to provide files suitable for each device and network environment. It uses a multi-track video method.
  • this re-encoding has a problem that takes a lot of time.
  • the present invention has been made to solve the above-described problem, and utilizes encoding information including an encoding mode and prediction information of a multi-track video that is compressed video compressed in various formats.
  • Fast scalable video coding using multitrack video for fast encoding macroblocks in inter-layer intra prediction mode or inter-layer / intra-layer motion prediction mode There is a technical problem in providing an apparatus and method.
  • the scalable video encoding apparatus includes a video aligner, a layer of a video aligner that arranges a multi-track video into a plurality of layers according to a set criterion.
  • a bitstream analyzer for extracting encoding information including an encoding mode and prediction information by analyzing the bitstream, a layer for performing scalable video encoding, and a layer for performing scalable video encoding
  • a scalable video coding (SVC) encoding unit is configured to determine an encoding mode by using encoding information of an upper or lower layer of and to encode the determined encoding mode.
  • the set criterion may be defined in the image quality order determined by the objective quality evaluation method, and the video alignment unit may arrange the multi-track video into a plurality of layers so that the high quality video is arranged in the upper layer according to the image quality order.
  • the video aligner aligns the multi-track video so that the high resolution video is placed at the top, and when two or more videos having the same resolution exist, the video aligner arranges the video having the high frame rate at the top, And when two or more videos having the same frame rate exist, the video having a high bit rate may be arranged in a plurality of layers so that the video having a high bit rate is disposed above.
  • the SVC encoding unit encodes each layer of the multi-track video in units of macroblocks, and sequentially performs scalable video encoding from the lowest layer to the highest layer, or the highest layer to the lowest layer among a plurality of layers.
  • the SVC encoder may up-scale the decoded texture information of each of the macroblock of the layer performing scalable video encoding and the upper layer macroblock corresponding to the macroblock to inter-layer intra prediction. calculates the encoding cost of the inter-layer intra mode and calculates the encoding cost of the encoding mode of the layer performing scalable video encoding. Compare and, if the encoding cost of the inter-layer intra mode is less than the encoding cost of the encoding mode of the layer performing scalable video encoding, encode in the inter-layer intra mode, and if greater than or equal to, the encoding cost of the layer performing scalable video encoding You can encode in encoding mode.
  • the bitstream analyzer may extract prediction information including macroblock segmentation information and motion vector information by decoding a video bitstream of an adjacent layer among a plurality of layers.
  • the SVC encoding unit encodes each layer of the multi-track video in units of macroblocks, and uses the macroblock segmentation information and motion vector information to convert the macroblocks into an inter-layer motion prediction mode and an intra mode. Intra mode) or the encoding mode of the layer performing scalable video encoding.
  • the SVC encoding unit uses a motion vector information to determine whether a macroblock of a layer that performs scalable video encoding is a motion prediction mode, and a second process of determining whether a lower layer macroblock of a macroblock is a motion prediction mode.
  • the scalable video encoding method includes (a) arranging multi-track video into a plurality of layers according to a set criterion in the scalable video encoding apparatus. (B) extracting encoding information including an encoding mode and prediction information by analyzing the bitstreams of the aligned layers at, and a layer and a higher layer that perform scalable video encoding at the encoding apparatus. Or (c) determining an encoding mode using the encoding information of the lower layer and encoding the multitrack video with the determined encoding mode.
  • the scalable video encoding method may further include generating a multi-track video by compressing an image in various formats before the step (a), or receiving a multi-track video at the encoding device.
  • step (a) the multi-track video is arranged such that the video having a higher resolution is placed on a higher layer.
  • step (a-1) two or more videos having the same resolution are present among the multi-track videos arranged according to the resolution.
  • (A-2) reordering the video having a high frame rate to be placed on a higher layer, and when two or more videos having the same frame rate exist among the rearranged multi-track videos according to the frame rate.
  • (a-3) rearranging the video having a high bit rate so as to be arranged in the upper layer.
  • inter-layer intra prediction may be performed by up-scaling encoding information of a macroblock of a layer performing scalable video encoding and an upper layer macroblock corresponding to the macroblock.
  • (c-1) performing prediction, calculating an encoding cost of an inter-layer intra mode and an encoding cost of an encoding mode of a layer performing scalable video encoding, respectively
  • (c-2) comparing the calculated encoding cost to determine an encoding mode among interlayer intra mode or encoding mode of a layer performing scalable video encoding, and (c-3) scalable video to the determined encoding mode.
  • step (c-3) if the calculated encoding cost of the interlayer intra mode is smaller than the encoding cost of the encoding mode of the layer performing scalable video encoding, the encoding mode is determined as the interlayer intra mode, and In this case, the encoding mode may be determined as an encoding mode of a layer that performs scalable video encoding.
  • the set criterion is an image quality order determined by the objective image quality evaluation method
  • the multi-track video may be arranged in a plurality of layers so that the high quality video is arranged in the upper layer according to the image quality order.
  • step (c) includes determining whether a macroblock of the layer on which the scalable video encoding is to be performed is motion prediction mode using motion vector information, and the macroblock is motion prediction. In the case of the mode, perform the step (c-3), and if the macroblock is not the motion prediction mode, encoding the macroblock in the intra mode (c-2), and the lower layer macroblock of the macroblock is moved. In step (c-3) of determining whether the prediction mode is the motion prediction mode, and if the lower layer macroblock is the motion prediction mode, performing the step (c-5) and encoding the encoding mode of the macroblock if the lower layer macroblock is not the motion prediction mode.
  • step (C-4) comparing the macroblock segmentation information of the up-scaled lower layer macroblock with the macroblock segmentation information of the macroblock (c-5) If the low block partitioning information is the same, perform step (c-7), and if the macroblock partitioning information is not the same, encoding in the encoding mode of the macroblock (c-6), the motion vector of the upscaled lower layer macroblock (C-7) comparing the motion vector of the macroblock to the macroblock. If the motion vectors are the same, the macroblock is encoded using the inter-layer motion prediction mode. Encoding (c-8) the encoding of the macroblock in steps (c-2), (c-4), (c-6) and (c-8). After this is completed, the next macroblock may be repeatedly performed from step (c-1), and may be sequentially encoded from the highest layer to the lowest macroblock.
  • the fast scalable video coding apparatus and method using the multi-track video of the present invention utilizes encoding information of the multi-track video, thereby reducing the time to encode the scalable video.
  • compression efficiency may be increased by comparing an encoding cost of an encoding mode of an existing multi-track video and an encoding cost of an inter-layer intra prediction mode to determine an encoding mode.
  • the encoding mode is determined, thereby reducing the computation time required for motion prediction and reducing the scalable video encoding time. have.
  • FIG. 1 is a block diagram showing an embodiment of a scalable video providing system according to an aspect of the present invention.
  • FIG. 2 is a block diagram illustrating a first embodiment of a scalable video encoding apparatus according to another aspect of the present invention.
  • FIG. 3 is a block diagram illustrating a second embodiment of a scalable video encoding apparatus according to another aspect of the present invention.
  • FIG. 4 is a diagram for describing a function of a multi-track video generation unit that is a component of a scalable video encoding apparatus according to a second embodiment of the present invention.
  • FIG. 5 is a diagram for describing a function of an SVC encoding unit that is a component of a scalable video encoding apparatus according to a first embodiment or a second embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a scalable video encoding method according to another aspect of the present invention.
  • FIG. 7 is a flowchart illustrating a first embodiment of a scalable video encoding method according to another aspect of the present invention.
  • FIG. 8 is a flowchart illustrating a second embodiment of a scalable video encoding method according to another aspect of the present invention.
  • FIG. 9 is a flowchart illustrating a third embodiment of a scalable video encoding method according to another aspect of the present invention.
  • FIG. 10 is a flowchart illustrating a fourth embodiment of a scalable video encoding method according to another aspect of the present invention.
  • FIG. 1 is a block diagram showing an embodiment of a scalable video providing system according to an aspect of the present invention.
  • the scalable video providing system 1000 of the present invention includes a user terminal 100, a scalable video encoding apparatus 200, and a communication network 300.
  • the user terminal 100 may receive the received scalable video, decode the display according to a specification, a network environment, or a service type of the user terminal.
  • the user terminal 100 refers to a video display device including an IPTV, a set-top box, a smart phone, and a mobile communication terminal that supports the DMB function.
  • the specification of the user terminal is information on the resolution and size of the display screen.
  • the network environment refers to a frame rate, and the service type refers to a form in which a video such as a high definition television (HDTV), a digital standard television (SDTV), or a digital multimedia broadcasting (DMB) is displayed.
  • HDMI high definition television
  • SDTV digital standard television
  • DMB digital multimedia broadcasting
  • the scalable video encoding apparatus 200 performs a function of scalable video encoding a multi-track video, and the communication network 300 uses a scalable video transmitted from the scalable video encoding apparatus 200. It provides a path for transmitting to the terminal 100, a mobile communication network such as WCDMA, HDPA, 3G, 4G, local area network such as Bluetooth, Zigbee, Wi-Fi, wired communication network such as PSTN or wired / wireless internet And the like.
  • a mobile communication network such as WCDMA, HDPA, 3G, 4G, local area network such as Bluetooth, Zigbee, Wi-Fi, wired communication network such as PSTN or wired / wireless internet And the like.
  • the scalable video encoding apparatus 200 will be described in detail with reference to FIGS. 2 to 5.
  • FIG. 2 is a configuration diagram illustrating a first embodiment of a scalable video encoding apparatus according to another aspect of the present invention
  • FIG. 3 is a configuration diagram illustrating a second embodiment of a scalable video encoding apparatus according to another aspect of the present invention
  • 4 is a diagram for describing a function of a multi-track video generation unit that is a component of a scalable video encoding apparatus according to a second embodiment of the present invention
  • FIG. 5 is a first or second embodiment of the present invention.
  • FIG. 7 illustrates a function of an SVC encoding unit that is a component of a scalable video encoding apparatus according to an example.
  • the scalable video encoding apparatus 200 arranges multi-track video into a plurality of layers according to a set criterion, extracts encoding information of the aligned plurality of layers, and extracts the extracted encoding information. It encodes multi-track video into scalable video.
  • Multi-track video refers to a plurality of compressed video having different formats of compressing the same video into various formats, and various encoding methods (eg, H. 264, etc.).
  • the scalable video encoding apparatus 200 is an apparatus for encoding multi-track video, which is an existing encoded compressed video, as scalable video.
  • the scalable video encoding apparatus 200 is scalable by utilizing encoding information of multi-track video when encoding multi-track video to scalable video. Speed up video encoding.
  • the scalable video encoding apparatus 200 determines the encoding mode according to the 'set criteria' for arranging the multitrack video and the 'encoding information' used to determine the encoding mode, thereby encoding the encoding time by encoding the multitrack video. It can be shortened.
  • the scalable video encoding apparatus 200 includes a video alignment unit 210, a bitstream analyzer 220, and an SVC encoder 230 as illustrated in FIG. 2. .
  • the scalable video encoding apparatus arranges the multi-track video into a plurality of layers according to a set criterion, so that compressed video having different formats is arranged into the plurality of layers.
  • the term 'layer' used hereinafter means compressed video.
  • the video aligning unit 210 aligns the multi-track video with any one of a first criterion composed of a resolution, a frame rate, and a bit rate of the compressed video, or a second criterion, which is an objectively evaluated image quality order. Can be selected based on the set criteria.
  • the bitstream analyzer 220 extracts encoding information including an encoding mode and prediction information by analyzing the bitstream of each layer.
  • the encoding mode refers to intra mode or inter mode, which is a method of compressing a macroblock
  • the prediction information includes a motion vector and macroblock partition information. Means information required for motion prediction.
  • bitstream analyzer 220 extracts encoding information used when encoding multi-track video.
  • the SVC encoding unit 230 uses encoding information of a layer that performs current scalable video encoding and an upper or lower layer of a layer that performs current scalable video encoding (hereinafter, referred to as a layer to be currently encoded). Determine the encoding mode and perform encoding in the determined encoding mode.
  • the SVC encoding unit 230 determines encoding modes of a layer or a macroblock to be currently encoded using encoding information of two layers or corresponding macroblocks of two layers.
  • the SVC encoding unit 230 determines the encoding mode of any one of the first encoding information consisting of the encoding cost (encoding cost) of the encoding mode, or the second encoding information including the motion vector and macroblock segmentation information. You can choose.
  • the scalable video encoding apparatus 200 may determine as follows. Encode multitrack video in the same order as
  • the video aligner 210 aligns the multi-track video into a plurality of layers according to a first criterion, that is, resolution, frame rate, and bit rate.
  • the video aligning unit 210 arranges the multi-track video so that the high resolution video is arranged at the top, and when two or more videos having the same resolution exist, the video having the high frame rate is arranged at the top. If there is more than one video having the same resolution and frame rate, the video may be arranged in a plurality of layers so that a video having a high bit rate is placed on top.
  • the bitstream analyzer 220 extracts encoding information by analyzing a bitstream of each layer, and sequentially provides encoding information of the lowest or highest layer to the SVC encoder 230.
  • the SVC encoding unit 230 encodes each layer of the multi-track video in units of macroblocks, and sequentially performs scalable video encoding from the lowest layer to the highest layer, or the highest layer to the lowest layer among a plurality of layers.
  • scalable video encoding When scalable video encoding is sequentially performed from the lowest layer, scalable video encoding of a bitstream of the lowest layer into a base layer is performed, followed by scalable video encoding of adjacent upper layers.
  • the SVC encoding unit 230 up-scales decoded texture information of each of the macroblock of the layer to be currently encoded and the upper layer macroblock corresponding to the macroblock to inter-layer intra prediction. Intra prediction) is performed.
  • the SVC encoding unit 230 calculates an encoding cost of an encoding mode of a layer to be currently encoded, calculates an encoding cost of an inter-layer intra mode through inter-layer intra prediction, and then calculates an encoding cost of the first layer. Used as encoding information.
  • the SVC encoding unit 230 compares the calculated installation cost, and if the encoding cost of the inter-layer intra mode is less than the encoding cost of the encoding mode of the layer to be currently encoded, determines the encoding mode in the inter-layer intra mode, and If it is equal to or equal to, the encoding mode is determined by the encoding mode of the layer to be currently encoded.
  • the SVC encoding unit 230 performs scalable video encoding of the multi-trap video in the determined encoding mode.
  • the scalable video encoding apparatus 200 may determine as follows. Encode multitrack video in the same order as
  • the video arranging unit 210 selects the second criterion as a set criterion, and arranges the multi-track video into a plurality of layers so that the high-definition video is placed in the upper layer according to the image quality order determined by the objective quality evaluation method.
  • the objective image quality evaluation method can be divided into a full reference method for comparing the original image and the compressed image, a reduced reference method for extracting and evaluating only the main information from the original image, and a non-standard method for evaluating the image quality without the original image.
  • the evaluation of the quality of compressed video may use the PSNR (Peak Signal to Noise Ratio) as an evaluation scale comparing the amount of loss from the original image or the amount of loss with the same loss at the same capacity.
  • PSNR Peak Signal to Noise Ratio
  • the bitstream analyzer 220 extracts prediction information including macroblock segmentation information and motion vector information as second encoding information through video bitstream decoding of an adjacent layer among a plurality of layers. And the prediction information of the uppermost layer and the layer adjacent to the SVC encoding unit 230.
  • the SVC encoding unit 230 performs an inter-layer motion prediction mode, an intra mode, or scalable video encoding on a macroblock using macroblock segmentation information and motion vector information.
  • the encoding mode of the encoding mode is determined, and each layer of the multi-track video is encoded in macroblock units.
  • the SVC encoder 230 may determine whether a macroblock of a layer to be currently encoded is a motion prediction mode by using motion vector information, and may determine whether a lower layer macroblock of the macroblock is a motion prediction mode.
  • a third process of determining whether the macroblock segmentation information of the up-scaled lower layer macroblock and the macroblock segmentation information of the macroblock are the same, and whether the motion vector of the macroblock and the lower layer macroblock is the same Determining a fourth process of determining sequentially to determine an encoding mode of a macroblock among an encoding mode of a layer performing inter-layer motion prediction mode, intra mode, or scalable video encoding Can be encoded in the determined encoding mode.
  • the SVC encoder 230 encodes the layer macroblock to be encoded in the intra mode if the layer macroblock to be currently encoded is not the motion prediction mode in the first process, and performs the second process if the motion is the motion prediction mode.
  • the SVC encoding unit 230 encodes the macroblock to be encoded in its own encoding mode, and performs the third process if it is the motion prediction mode.
  • the SVC encoding unit 230 encodes the macroblock to be encoded in its own encoding mode and performs the fourth process if it is the same.
  • the SVC encoding unit 230 encodes the macroblock to be encoded in its encoding mode, and if the motion vector of the macroblock is the same, to the inter-layer motion prediction mode. Encode the macroblock to be encoded currently.
  • the SVC encoding unit 230 performs intra prediction using texture information of the input layer and the lower layer.
  • the encoding mode is determined through the encoding mode or the motion prediction of the input layer and the lower layer.
  • the SVC encoding unit 260 processes Discrete Cosine Transform (DCT) / Quantization and Context-adaptive variable-length coding (CAVLC) / Context-adaptive binary arithmetic coding (CABAC) for SVC video according to the determined operation mode. Do this.
  • DCT Discrete Cosine Transform
  • CAVLC Context-adaptive variable-length coding
  • CABAC Context-adaptive binary arithmetic coding
  • the scalable video encoding apparatus 200 encodes the intra prediction mode on the basis of the lower layer texture information through the SVC encoding unit 230 and moves to the motion prediction mode based on the motion information of the lower layer.
  • the macroblock partitioning information of the macroblocks to be encoded are compared and the motion vectors are compared, and if the motion vectors are the same, the encoding is performed in the inter-layer motion prediction mode and the macroblock is encoded. If the partitioning information is not the same or the motion vector is not the same, encoding is performed in the encoding mode of the macroblock that performs the current encoding.
  • the scalable video encoding apparatus includes a video alignment unit 210, a bitstream analyzer 220, an SVC encoder 230, a communication unit 240, and an original video. And a storage unit 250 and a multi-track video generator 260.
  • the video alignment unit 210, the bitstream analyzer 220, and the SVC encoder 230 are the same as the scalable video encoding apparatus 200 according to the first embodiment, the communication unit 240 may be different from each other. Only the original video storage 250 and the multi-track video generator 260 will be described.
  • the communication unit 240 is a component for accessing the user terminal through a communication network.
  • the communication unit 240 forms a transmission channel of the control signal and the scalable video, and the original video storage unit 250 stores the unencoded original video.
  • the multi-track video generator 260 receives an original video stored in the original video storage 250 and generates a multi-track video.
  • the plurality of video encoders 1 to N generate original video as compressed video of different formats, and the generated compressed video of different formats means multi-track video.
  • the scalable video encoding apparatus 200 according to the second embodiment further performs the function of generating the multi-track video by encoding the original video into various formats, and the scalable video encoding apparatus according to the first embodiment. There is a difference.
  • FIGS. 7 to 10 illustrate first to fourth embodiments of the scalable video encoding method according to another aspect of the present invention. It is a flow chart.
  • multi-track video is arranged into a plurality of layers according to a set criterion.
  • encoding information including an encoding mode and prediction information is extracted by analyzing the bitstreams of the aligned layers (S620).
  • an encoding mode is determined using encoding information of a layer performing scalable video encoding and upper or lower layers (S630), and the multi-track video is encoded in the determined encoding mode (S640). ).
  • the scalable video encoding method may encode the scalable video at high speed by determining an encoding mode for encoding the multitrack video using encoding information of the existing multitrack video and the multitrack video.
  • the scalable video encoding method according to the first embodiment selects and encodes the first reference and the first encoding information. As shown in FIG. 7, the scalable video encoding method of the multitrack video is S710 to S760. It is carried out according to the process.
  • multi-track video having different formats is generated by receiving the original video (S710), and the multi-track video is sorted according to resolution, frame rate, and bit rate (S720).
  • the scalable video encoding apparatus may generate a multi-track video by compressing an image into various formats.
  • Multi-track video alignment (S720) is arranged so that high-resolution video is placed on a higher layer, and when two or more videos of the same resolution are present among the multi-track videos arranged according to the resolution, the frame rate is high. Reorder the video to be placed on the upper layer, and if there is more than one video having the same frame rate among the multi-track video rearranged according to the frame rate, it is performed by rearranging the video having the higher bit rate to be placed on the upper layer. Can be.
  • the encoding information including the encoding mode and the prediction information of each aligned layer is extracted (S730), and the encoding information of the (N-1) th layer to be currently encoded and the encoding information of the Nth layer, which is the upper layer, is SVC. Pass it to the encoding section.
  • the SVC encoding unit encodes the bitstream of the Nth layer in macroblock units by using the encoding information of the (N-1) th layer and the Nth layer (S740), and then determines whether the Nth layer is the highest layer (S750). When encoding is performed up to the highest layer, encoding is terminated, and when it is not the highest layer, scalable video encoding is performed from the lowest layer to the highest layer by repeating steps S740 to S750 by substituting N ⁇ -(N + 1).
  • the scalable video encoding method according to the second embodiment embodies the processes S740 to S760 of FIG. 7 when the first reference and the first encoding information are selected and encoded, as shown in FIG. 8.
  • multi-track video is aligned according to a first criterion (resolution, frame rate, bit rate), and the encoding information of each layer is extracted.
  • up-scaling encoding information of a macroblock of a layer performing video encoding and an upper layer macroblock corresponding to the macroblock is performed to perform inter-layer intra prediction (S810).
  • the encoding cost A of the inter-layer intra mode and the encoding cost B of the encoding mode of the layer performing scalable video encoding are respectively calculated (S820).
  • the calculated encoding cost is compared (S830).
  • the encoding mode is determined as an inter-layer intra mode, and the layer to be encoded is encoded (S840). If A is not less than B, the encoding mode is encoded into the encoding mode of the layer to be encoded. (S850).
  • Processes S810 to S850 may be repeated until video of the lowest layer to the highest layer of the multi-track video is sequentially encoded.
  • the scalable video encoding method according to the third embodiment selects and encodes the second reference and the second encoding information. As shown in FIG. 9, the scalable video encoding method of the multitrack video is S910 to S970. The process is carried out.
  • the original video is input to generate a multitrack video having a different format (S910), and the multitrack video is arranged in image quality order (S920).
  • the multi-track video alignment is determined in the image quality order determined by the objective quality evaluation method, and the multi-track video may be arranged in a plurality of layers so that the high quality video is arranged in the upper layer according to the image quality order.
  • the scalable video encoding method extracts prediction information including encoding modes, macroblock segmentation information, and motion vector information of the aligned layers as encoding information (S930).
  • the encoding mode of the macroblock of the Nth layer is determined using the macroblock segmentation information and the motion information of the Nth layer, which is the layer to be encoded, and the (N-1) th layer, which is the lower layer (S940), and the determined encoding mode is determined. Encoding is performed (S950).
  • the scalable video encoding method according to the fourth embodiment embodies the processes S940 to S970 of FIG. 9 when the second reference and the second encoding information are selected and encoded, as shown in FIG. 10.
  • the scalable video encoding method determines whether a macroblock of an N th layer, which is a layer to be currently encoded, using motion vector information is a motion prediction mode (S1010), and determines the N th layer of the N th layer. If the macroblock is not the motion prediction mode, the macroblock is encoded in the intra mode (S1020), and if the N-th layer macroblock is the motion prediction mode, the macroblock of the (N-1) th layer is the motion prediction mode. It is determined whether or not (S1030).
  • the (N-1) th layer macroblock is not the motion prediction mode, it is encoded in the encoding mode of the Nth layer macroblock (S1040), and when the (N-1) th layer macroblock is the motion prediction mode, it is up.
  • the macroblock segmentation information of the scaled (N-1) th layer macroblock and the macroblock segmentation information of the Nth macroblock are compared (S1050).
  • the macroblock segmentation information is not the same, it is encoded in the encoding mode of the Nth layer macroblock (S1040). If the macroblock segmentation information is the same, the motion vector and N of the upscaled (N-1) th layer macroblock are N. The motion vector of the first macroblock is compared (S1060).
  • the macroblock is encoded in the inter-layer motion prediction mode (S1070). If the motion vectors are not the same, the macroblock is encoded in the encoding mode of the N-th layer macroblock (S1040). ).
  • an encoding mode is rapidly performed by utilizing encoding information of the existing multi-track video. By determining this, the encoding speed can be improved.
  • the encoding mode of the multi-track video can be extracted at high speed from the encoding information of the existing multi-track video, and the motion prediction time having the highest computational amount can be increased at the time of encoding, thereby improving the conversion speed to scalable video. Can be.
  • the present invention can be applied to an encoder for encoding scalable video, an apparatus having an encoder, and a system for transmitting content using the same.
  • the present invention may be applied to a content media communication system including a content server serving a content including video and audio or a user terminal for receiving and displaying the content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법에 관한 것으로, 스케일러블 비디오 인코딩 장치는 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하는 비디오 정렬부, 각 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출하는 비트스트림 분석부, 및 스케일러블 비디오 인코딩을 수행하는 레이어와, 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고 결정된 인코딩 모드로 인코딩하는 SVC(Scalable Video Coding) 인코딩부를 포함한다. 본 발명의 스케일러블 비디오 인코딩 장치 및 방법은 기존의 멀티 트랙 비디오의 인코딩 정보를 활용함으로써 멀티 트랙 비디오를 스케일러블 비디오로 인코딩하는 속도를 향상시킬 수 있다.

Description

멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법
본 발명은 멀티 트랙 비디오를 이용한 고속 스케일러블 비디오 코딩 장치 및 방법에 관한 것으로, 보다 상세하게는 멀티 트랙 비디오(multi-track video)의 인코딩 정보를 활용하여 매크로블록을 인트라 예측(Intra prediction) 또는 모션 예측(motion prediction) 모드에서 고속으로 인코딩하기 위한 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법에 관한 것이다.
컨텐츠 제공자(CP)로부터 제공받은 비디오 및 오디오를 포함하는 컨텐츠를 사용자 단말기에 서비스 하기 위해서는 기본적인 해상도 스케일링(Resolution Scaling), 프레임율 변환(frame rate conversion), 비디오/오디오 인코딩(Vidoe/audio Encoding), 메타데이터 삽입(Metadata Insertion), 패키징(Packaging) 등의 인제스팅(Ingesting) 과정을 거친다.
이때, 컨텐츠 서버에서 인제스팅 과정을 수행할 때 오류가 발생한 비디오를 사용자 단말기에 서비스하는 경우 사용자 단말기에서 재생할 때 문제가 발생하게 된다. 이를 방지하기 위해 최종 결과물을 재생하여 사람이 직접 확인하는 과정을 마지막으로 거치게 된다.
그런데, 컨텐츠 서버에서 사용자 단말기에 제공하는 대부분의 비디오는 그 양이 많거나 방대하므로 인제스팅 하기 위해서 사용자가 일일이 확인하는 과정은 오래 걸리거나 한계가 있으므로 사람에 의한 확인 과정을 자동화하여 좀 더 빠르게 수행하는 기술이 최근에 많이 제안되고 있다.
이와 함께 온라인 비디오 서비스는 인터넷을 통해 비디오를 스트리밍하여 사용자가 비디오를 소비할 수 있도록 하는데, 이 때 사용자의 네트워크 환경에 맞게 비디오 데이터량을 조절하면서 전송하는 적응적 비디오 스트리밍(adaptive video streaming) 기술을 통해 사용자에게 중간에 끊기거나 영상이 깨진 비디오를 시청하도록 하는 일을 방지하는 기술이 일반화되고 있다. 현재의 adaptive video streaming 기술은 하나의 원본 비디오에 대해 다양한 데이터 크기를 가지는 압축비디오를 만들어 두고 사용자의 네트워크 환경에 맞는 압축비디오를 선택하는 기술이 주를 이루고 있는데, 이러한 방법은 서비스 시스템이 하나의 비디오에 대해 여러 개의 압축 비디오인 멀티 트랙 비디오(Multi-track video)를 인제스팅해야 한다.
한편, 최근에는 하나의 압축 비디오로 다양한 device와 네트워크 환경에 대해 비디오 서비스를 제공하는 것을 목적으로 Scalable Video Coding(SVC) 방법이 ITU와 MPEG의 join video technology(JVT) group에 의해 H.264를 기반으로 표준화 되었다.
그러나 SVC는 표준화가 최근에 이루어져 상용화에 있어서는 초기 단계에 있으며, 현재는 SVC 전 단계로 video를 H.264와 같은 기존의 coding방법으로 여러 개의 파일을 준비하여 각 device와 네트워크 환경에 맞는 파일을 제공하는 multi-track video 방식을 활용하고 있다. 앞으로 SVC로 전환하는 경우, 기존의 multi-track video를 SVC로 재인코딩해야 하며, 이러한 재인코딩은 시간이 많이 소요되는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 다양한 형식으로 압축된 압축비디오인 멀티 트랙 비디오의 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 활용하여 인터 레이어 인트라 예측 모드(Inter-layer Intra prediction mode) 또는 인터 레이어/인트라 레이어 모션 예측 모드(Inter-layer/Intra-layer motion prediction mode)에서 매크로블록을 고속으로 인코딩하기 위한 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법을 제공한느데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 스케일러블 비디오 인코딩 장치는 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하는 비디오 정렬부, 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출하는 비트스트림 분석부, 및 스케일러블 비디오 인코딩을 수행하는 레이어와, 스케일러블 비디오 인코딩을 수행하는 레이어의 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고 결정된 인코딩 모드로 인코딩하는 SVC(Scalable Video Coding) 인코딩부를 포함한다.
여기서, 설정된 기준은 객관적 화질 평가 방법에 의해 결정된 화질 순서로 정의될 수 있고, 비디오 정렬부는 화질 순서에 따라 고화질 비디오가 상위 레이어에 배치되도록 멀티 트랙 비디오를 다수의 레이어로 정렬할 수 있다.
또한, 비디오 정렬부는 멀티 트랙 비디오를 해상도가 높은 비디오가 상위에 배치되도록 정렬하고, 해상도가 동일한 비디오가 두 개 이상 존재하는 경우 프레임율(frame rate)이 높은 비디오가 상위에 배치되도록 정렬하고, 해상도 및 프레임율이 동일한 비디오가 두 개 이상 존재하는 경우 비트율(bit rate)이 높은 비디오가 상위에 배치되도록 다수의 레이어로 정렬할 수 있다.
또한, SVC 인코딩부는 멀티 트랙 비디오의 각 레어이를 매크로블록 단위로 인코딩하고, 다수의 레이어 중 최하위 레이어부터 최상위 레이어까지, 또는 최상위 레이어부터 최하위 레이어까지 순차적으로 스케일러블 비디오 인코딩을 수행할 수 있다.
또한, SVC 인코딩부는 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록과 매크로블록에 대응되는 상위 레이어 매크로블록 각각의 디코딩된 텍스처 정보를 업스케일링(up-scaling)하여 인터 레이어 인트라 예측(Inter-layer Intra prediction)을 수행하고, 인터 레이어 인트라 모드(Inter-layer Intra mode)의 인코딩 코스트(encoding cost)를 계산하고 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트를 계산하여 계산된 인스팅 코스트를 비교하고, 인터 레이어 인트라 모드의 인코딩 코스트가 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트보다 작으면, 인터 레이어 인트라 모드로 인코딩하고, 크거나 같으면, 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드로 인코딩할 수 있다.
또한, 비트스트림 분석부는 다수의 레이어 중 인접하는 레이어의 비디오 비트스트림 디코딩을 통해 매크로블록 분할 정보와 움직임 벡터 정보를 포함하는 예측 정보(prediction information)를 추출할 수 있다.
또한, SVC 인코딩부는 멀티 트랙 비디오의 각 레어이를 매크로블록 단위로 인코딩하고, 매크로블록 분할 정보와 움직임 벡터 정보를 이용하여 매크로블록을 인터 레이어 움직임 예측 모드(Intre-layer motion prediction mode), 인트라 모드(Intra mode) 또는 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드로 인코딩할 수 있다.
또한, SVC 인코딩부는 움직임 벡터 정보를 이용하여 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록이 움직임 예측 모드인지 판단하는 제1 과정, 매크로블록의 하위 레이어 매크로블록이 움직임 예측 모드인지 판단하는 제2 과정, 업스케일링(up-scaling)된 하위 레이어 매크로블록의 매크로블록 분할 정보와 매크로블록의 매크로블록 분할 정보가 동일한지 판단하는 제3 과정, 및 매크로블록과 하위 레이어 매크로블록의 움직임 벡터가 동일한지 판단하는 제4 과정을 순차적으로 판단하여 인터 레이어 움직임 예측 모드(Intre-layer motion prediction mode), 인트라 모드(Intra mode) 또는 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드 중 매크로블록의 인코딩 모드를 결정할 수 있다.
본 발명의 다른 측면에 따르면, 스케일러블 비디오 인코딩 방법은 스케일러블 비디오 인코딩 장치에서 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하는 (a) 단계, 인코딩 장치에서 정렬된 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출하는 (b) 단계, 및 인코딩 장치에서 스케일러블 비디오 인코딩을 수행하는 레이어와 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고 결정된 인코딩 모드로 멀티 트랙 비디오를 인코딩하는 (c) 단계를 포함한다.
또한, 스케일러블 비디오 인코딩 방법은 (a) 단계 이전에, 인코딩 장치에서 영상을 다양한 포맷으로 압축하여 멀티 트랙 비디오를 생성하거나, 또는 인코딩 장치에서 멀티 트랙 비디오를 입력받는 단계를 더 포함할 수 있다.
또한, (a) 단계는, 멀티 트랙 비디오를 해상도가 높은 비디오가 상위 레이어에 배치되도록 정렬하는 (a-1) 단계, 해상도에 따라 정렬된 멀티 트랙 비디오 중 해상도가 동일한 비디오가 두 개 이상 존재하는 경우 프레임율(frame rate)이 높은 비디오가 상위 레이어에 배치되도록 재정렬하는 (a-2) 단계, 및 프레임율에 따라 재정렬된 멀티 트랙 비디오 중 프레임율이 동일한 비디오가 두 개 이상 존재하는 경우 비트율(bit rate)이 높은 비디오가 상위 레이어에 배치되도록 재정렬하는 (a-3) 단계를 포함하여 구성될 수 있다.
또한, (c) 단계는, 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록과 매크로블록에 대응되는 상위 레이어 매크로블록의 인코딩 정보를 업스케일링(up-scaling)하여 인터 레이어 인트라 예측(Inter-layer Intra prediction)을 수행하는 (c-1) 단계, 인터 레이어 인트라 모드(Inter-layer Intra mode)의 인코딩 코스트(encoding cost)와 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트를 각각 계산하는 (c-2) 단계, 계산된 인코딩 코스트를 비교하여 인코딩 모드를 인터 레이어 인트라 모드 또는 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드 중 결정하는 (c-3) 단계, 및 결정된 인코딩 모드로 스케일러블 비디오 인코딩을 수행하는 레이어 매크로블록을 인코딩하는 (c-4) 단계를 포함하여 구성되며, (c-1) 단계 내지 (c-4) 단계는 멀티 트랙 비디오의 최하위 레이어부터 최상위 레이어의 비디오가 순차적으로 인코딩 완료될 때까지 반복될 수 있다.
또한, (c-3) 단계에서, 계산된 인터 레이어 인트라 모드의 인코딩 코스트가 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트보다 작으면, 인코딩 모드를 인터 레이어 인트라 모드로 결정하고, 크거나 같으면 인코딩 모드를 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드로 결정할 수 있다.
또한, (a) 단계에서, 설정된 기준은 객관적 화질 평가 방법에 의해 결정된 화질 순서이며, 화질 순서에 따라 고화질 비디오가 상위 레이어에 배치되도록 멀티 트랙 비디오를 다수의 레이어로 정렬할 수 있다.
또한, (c) 단계는, 움직임 벡터 정보를 이용하여 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록이 움직임 예측 모드(motion prediction mode)인지 판단하는 (c-1) 단계, 매크로블록이 움직임 예측 모드인 경우 (c-3) 단계를 수행하고, 매크로블록이 움직임 예측 모드가 아닌 경우 인트라 모드(Intra mode)로 매크로블록을 인코딩하는 (c-2) 단계, 매크로블록의 하위 레이어 매크로블록이 움직임 예측 모드인지 판단하는 (c-3) 단계, 하위 레이어 매크로블록이 움직임 예측 모드인 경우 (c-5) 단계를 수행하고, 하위 레이어 매크로블록이 움직임 예측 모드가 아닌 경우 매크로블록의 인코딩 모드로 인코딩하는 (c-4) 단계, 업스케일링(up-scaling)된 하위 레이어 매크로블록의 매크로블록 분할 정보와 매크로블록의 매크로블록 분할 정보를 비교하는 (c-5) 단계, 매크로블록 분할 정보가 동일하면 (c-7) 단계를 수행하고, 매크로블록 분할 정보가 동일하지 않으면 매크로블록의 인코딩 모드로 인코딩하는 (c-6) 단계, 업스케일링된 하위 레이어 매크로블록의 움직임 벡터와 매크로블록의 움직임 벡터를 비교하는 (c-7) 단계, 움직임 벡터가 동일하면 인터 레이어 움직임 예측 모드(Inter-layer motion prediction mode)로 매크로블록을 인코딩하고, 움직임 벡터가 동일하지 않으면 매크로블록의 인코딩 모드로 인코딩하는 (c-8) 단계를 포함하여 구성되며, (c-2) 단계, (c-4) 단계, (c-6) 단계 및 (c-8) 단계에서 상기 매크로블록의 인코딩이 완료되면, 다음 매크로블록에 대하여 (c-1) 단계부터 반복하여 수행하며, 최상위 레이어부터 최하위 레이어의 매크로블록까지 순차적으로 인코딩할 수 있다.
상술한 바와 같이, 본 발명의 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법은 멀티 트랙 비디오의 인코딩 정보를 활용하므로 스케일러블 비디오로 인코딩하는 시간을 단축시킬 수 있는 효과가 있다.
또한, 기존의 멀티 트랙 비디오의 인코딩 모드의 인코딩 코스트(Encoding cost)와 인터 레이어 인트라 예측 모드(Inter-layer Intra prediction mode)의 인코딩 코스트를 비교하여 인코딩 모드를 결정함으로써 압축 효율을 높일 수 있다.
또한, 기존의 멀티 트랙 비디오의 예측 정보(prediction information)와 스케일러블 비디오의 예측 정보를 비교하여 인코딩 모드를 결정함으로써 움직임 예측에 필요한 연산 시간을 단축시킬 수 있고, 스케일러블 비디오 인코딩 시간을 단축시킬 수 있다.
도 1은 본 발명의 일 측면에 따른 스케일러블 비디오 제공 시스템의 일 실시예를 나타내는 구성도이다.
도 2는 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 장치의 제1 실시예를 나타내는 구성도이다.
도 3은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 장치의 제2 실시예를 나타내는 구성도이다.
도 4는 본 발명의 제2 실시예에 따른 스케일러블 비디오 인코딩 장치의 구성 요소인 멀티 트랙 비디오 생성부의 기능을 설명하기 위한 도면이다.
도 5는 본 발명의 제1 실시예 또는 제2 실시예에 따른 스케일러블 비디오 인코딩 장치의 구성 요소인 SVC 인코딩부의 기능을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법을 나타내는 흐름도이다.
도 7은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법의 제1 실시예를 나타내는 흐름도이다.
도 8은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법의 제2 실시예를 나타내는 흐름도이다.
도 9는 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법의 제3 실시예를 나타내는 흐름도이다.
도 10은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법의 제4 실시예를 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 따른 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응되는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
스케일러블 비디오 제공 시스템
도 1은 본 발명의 일 측면에 따른 스케일러블 비디오 제공 시스템의 일 실시예를 나타내는 구성도이다.
본 발명의 스케일러블 비디오 제공 시스템(1000)은, 도 1에 도시한 바와 같이, 사용자 단말기(100), 스케일러블 비디오 인코딩 장치(200) 및 통신망(300)을 포함한다.
사용자 단말기(100)는 전송받은 스케일러블 비디오를 수신하여 사용자 단말기의 스펙, 네트워크 환경 또는 서비스 형태에 따라 디코딩하여 디스플레이할 수 있다.
사용자 단말기(100)는 IPTV, 셋탑박스(Settop Box), 스마트 폰, DMB 기능이 지원되는 이동통신 단말기를 포함하는 영상 디스플레이 장치를 의미하고, 사용자 단말기의 스펙은 디스플레이 화면의 해상도, 크기에 대한 정보를 의미하고, 네트워크 환경은 프레임 전송률을 의미하고, 서비스 형태는 고화질 텔레비전(HDTV), 디지털 표준 텔레비전(SDTV), 디지털 멀티미디어 방송(DMB) 등의 비디오가 디스플레이되는 형태를 의미한다.
스케일러블 비디오 인코딩 장치(200)는 멀티 트랙 비디오(multi-track vide)를 스케일러블 비디오 인코딩하는 기능을 수행하며, 통신망(300)은 스케일러블 비디오 인코딩 장치(200)로부터 전송된 스케일러블 비디오를 사용자 단말기(100)로 전송하는 통로를 제공하며, WCDMA, HDPA, 3G, 4G 등 이동 통신망, 블루투스(Bluetooth), 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망, PSTN 등 유선 통신망 또는 유무선 인터넷 등을 포함한다.
스케일러블 비디오 인코딩 장치(200)는 도 2 내지 도 5에서 상세히 설명하도록 한다.
스케일러블 비디오 인코딩 장치
도 2는 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 장치의 제1 실시예를 나타내는 구성도이고, 도 3은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 장치의 제2 실시예를 나타내는 구성도이고, 도 4는 본 발명의 제2 실시예에 따른 스케일러블 비디오 인코딩 장치의 구성 요소인 멀티 트랙 비디오 생성부의 기능을 설명하기 위한 도면이고, 도 5는 본 발명의 제1 실시예 또는 제2 실시예에 따른 스케일러블 비디오 인코딩 장치의 구성 요소인 SVC 인코딩부의 기능을 설명하기 위한 도면이다.
스케일러블 비디오 인코딩 장치(200)는 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하고, 정렬된 다수의 레이어의 인코딩 정보를 추출하고, 추출된 인코딩 정보를 이용하여 멀티 트랙 비디오를 스케일러블 비디오로 인코딩하는 기능을 수행한다.
멀티 트랙 비디오는 동일한 비디오를 다양한 포맷으로 압축한 포맷이 서로 다른 다수의 압축비디오를 의미하며, 다양한 장치와 네트워크 환경에 따라 포맷이 맞는 압축비디오를 제공하기 위하여 다양한 인코딩 방법(예를 들어, H.264 등)을 사용하여 코딩된 영상을 의미한다.
스케일러블 비디오 인코딩 장치(200)는 기존의 인코딩된 압축비디오인 멀티 트랙 비디오를 스케일러블 비디오로 인코딩하는 장치로, 멀티 트랙 비디오를 스케일러블 비디오로 인코딩시 멀티 트랙 비디오의 인코딩 정보를 활용함으로써 스케일러블 비디오 인코딩 속도를 향상시킬 수 있다.
또한, 스케일러블 비디오 인코딩 장치(200)는 멀티 트랙 비디오를 정렬하는 '설정된 기준' 및 인코딩 모드를 결정하기 위해 사용되는 '인코딩 정보'에 따라 인코딩 모드를 결정하여 멀티 트랙 비디오를 인코딩함으로써 인코딩 시간을 단축할 수 있다.
제1 실시예에 따른 스케일러블 비디오 인코딩 장치
제1 실시예에 따른 스케일러블 비디오 인코딩 장치(200)는, 도 2에 도시한 바와 같이, 비디오 정렬부(210), 비트스트림 분석부(220) 및 SVC 인코딩부(230)를 포함하여 구성된다.
비디오 정렬부(210)는 스케일러블 비디오 인코딩 장치는 멀티 트랙 비디오를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하여 포맷이 서로 다른 압축비디오가 다수의 레이어로 정렬된다.
이하 사용되는 '레이어'는 압축비디오를 의미한다.
비디오 정렬부(210)는 압축비디오의 해상도, 프레임율(frame rate), 및 비트율(bit rate)로 구성된 제1 기준 또는 객관적으로 평가된 화질 순서인 제2 기준 중 어느 하나를 멀티 트랙 비디오를 정렬하는 설정된 기준으로 선택할 수 있다.
비트스트림 분석부(220)는 각 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출한다.
여기서, 인코딩 모드는 매크로블록을 압축하는 방법인 인트라 모드(Intra mode) 또는 인터 모드(Inter mode)를 의미하며, 예측 정보는 움직임 벡터(motion vector), 매크로블록 분할(macroblock partition) 정보를 포함하는 움직임 예측에 필요한 정보를 의미한다.
즉, 비트스트림 분석부(220)는 멀티 트랙 비디오 인코딩 시 이용했던 인코딩 정보를 추출하는 기능을 수행한다.
SVC 인코딩부(230)는 현재 스케일러블 비디오 인코딩을 수행하는 레이어와, 현재 스케일러블 비디오 인코딩을 수행하는 레이어(이하, '현재 인코딩할 레이어'라고 함)의 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고 결정된 인코딩 모드로 인코딩을 수행한다.
SVC 인코딩부(230)는 두 개의 레이어 또는 두 개의 레이어의 대응되는 매크로블록의 인코딩 정보를 사용하여 현재 인코딩할 레이어 또는 매크로블록의 인코딩 모드를 결정한다.
또한, SVC 인코딩부(230)는 인코딩 모드의 인코딩 코스트(encoding cost)로 구성된 제1 인코딩 정보, 또는 움직임 벡터 및 매크로블록 분할 정보를 포함하는 제2 인코딩 정보 중 어느 하나를 인코딩 모드를 결정하기 위해 선택할 수 있다.
비디오 정렬부(210)에서 제1 기준을 선택하여 멀티 트랙 비디오를 정렬하고 SVC 인코딩부(230)에서 제1 인코딩 정보를 선택하여 인코딩 모드를 결정하는 경우, 스케일러블 비디오 인코딩 장치(200)는 다음과 같은 순서에 따라 멀티 트랙 비디오를 인코딩한다.
비디오 정렬부(210)는 멀티 트랙 비디오를 제1 기준, 즉, 해상도, 프레임율 및 비트율에 따라 다수의 레이어로 정렬한다.
구체적으로, 비디오 정렬부(210)는 멀티 트랙 비디오를 해상도가 높은 비디오가 상위에 배치되도록 정렬하고, 해상도가 동일한 비디오가 두 개 이상 존재하는 경우 프레임율(frame rate)이 높은 비디오가 상위에 배치되도록 정렬하고, 해상도 및 프레임율이 동일한 비디오가 두 개 이상 존재하는 경우 비트율(bit rate)이 높은 비디오가 상위에 배치되도록 다수의 레이어로 정렬한다.
비트스트림 분석부(220)는 각 레이어의 비트스트림을 분석하여 인코딩 정보를 추출하고, 최하위 또는 최상위 레이어의 인코딩 정보부터 순차적으로 SVC 인코딩부(230)로 제공한다.
SVC 인코딩부(230)는 멀티 트랙 비디오의 각 레어이를 매크로블록 단위로 인코딩하고, 다수의 레이어 중 최하위 레이어부터 최상위 레이어까지, 또는 최상위 레이어부터 최하위 레이어까지 순차적으로 스케일러블 비디오 인코딩을 수행한다.
최하위 레이어부터 순차적으로 스케일러블 비디오 인코딩을 수행할 때, 최하위 레이어의 비트스트림을 베이스 레이어(base layer)로 스케일러블 비디오 인코딩한 후 인접하는 상위 레이어를 순차적으로 스케일러블 비디오 인코딩한다.
구체적으로, SVC 인코딩부(230)는 현재 인코딩할 레이어의 매크로블록과 매크로블록에 대응되는 상위 레이어 매크로블록 각각의 디코딩된 텍스처 정보를 업스케일링(up-scaling)하여 인터 레이어 인트라 예측(Inter-layer Intra prediction)을 수행한다.
SVC 인코딩부(230)는 현재 인코딩할 레이어의 인코딩 모드의 인코딩 코스트를 계산하고 인터 레이어 인트라 예측을 통해, 인터 레이어 인트라 모드(Inter-layer Intra mode)의 인코딩 코스트(encoding cost)를 계산하여 제1 인코딩 정보로 사용한다.
SVC 인코딩부(230)는 계산된 인스팅 코스트를 비교하고, 인터 레이어 인트라 모드의 인코딩 코스트가 현재 인코딩할 레이어의 인코딩 모드의 인코딩 코스트보다 작으면, 인터 레이어 인트라 모드로 인코딩 모드를 결정하고, 크거나 같으면, 현재 인코딩할 레이어의 인코딩 모드로 인코딩 모드를 결정한다.
마지막으로 SVC 인코딩부(230)는 결정된 인코딩 모드로 멀티 트랩 비디오를 스케일러블 비디오 인코딩한다.
비디오 정렬부(210)에서 제2 기준을 선택하여 멀티 트랙 비디오를 정렬하고 SVC 인코딩부(230)에서 제2 인코딩 정보를 선택하여 인코딩 모드를 결정하는 경우, 스케일러블 비디오 인코딩 장치(200)는 다음과 같은 순서에 따라 멀티 트랙 비디오를 인코딩한다.
먼저, 비디오 정렬부(210)는 제2 기준을 설정된 기준으로 선택하고, 객관적 화질 평가 방법에 의해 결정된 화질 순서에 따라 고화질 비디오가 상위 레이어에 배치되도록 멀티 트랙 비디오를 다수의 레이어로 정렬한다.
객관적 화질 평가 방법은 원본 영상과 압축된 영상을 비교하는 전 기준법(Full reference), 원본 영상에서 주요 정보만 추출하여 평가하는 감소 기준법(Reduced reference) 및 원본 영상 없이 화질을 평가하는 무기준법으로 나눌 수 있고, 압축비디오의 화질 평가는 동일한 용량일 때 원본 영상으로부터 손실을 얼마나 줄이는지 또는 같은 손실로 용량을 얼마나 줄이는 지를 비교하는 압축 용량 대비 PSNR(Peak signal to noise ratio)을 평가 척도로 사용할 수 있다.
다음으로, 비트스트림 분석부(220)는 다수의 레이어 중 인접하는 레이어의 비디오 비트스트림 디코딩을 통해 매크로블록 분할 정보와 움직임 벡터 정보를 포함하는 예측 정보(prediction information)를 제2 인코딩 정보로 추출하여, 최상위 레이어와 이에 인접하는 레이어의 예측 정보부터 SVC 인코딩부(230)로 제공한다.
SVC 인코딩부(230)는 매크로블록 분할 정보와 움직임 벡터 정보를 이용하여 매크로블록을 인터 레이어 움직임 예측 모드(Intre-layer motion prediction mode), 인트라 모드(Intra mode) 또는 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드 중 인코딩 모드를 결정하여, 멀티 트랙 비디오의 각 레어이를 매크로블록 단위로 인코딩한다.
이 때, SVC 인코딩부(230)는 움직임 벡터 정보를 이용하여 현재 인코딩할 레이어의 매크로블록이 움직임 예측 모드인지 판단하는 제1 과정, 매크로블록의 하위 레이어 매크로블록이 움직임 예측 모드인지 판단하는 제2 과정, 업스케일링(up-scaling)된 하위 레이어 매크로블록의 매크로블록 분할 정보와 매크로블록의 매크로블록 분할 정보가 동일한지 판단하는 제3 과정, 및 매크로블록과 하위 레이어 매크로블록의 움직임 벡터가 동일한지 판단하는 제4 과정을 순차적으로 판단하여 인터 레이어 움직임 예측 모드(Intre-layer motion prediction mode), 인트라 모드(Intra mode) 또는 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드 중 매크로블록의 인코딩 모드를 결정할 수 있고, 결정된 인코딩 모드로 인코딩한다.
구체적으로, SVC 인코딩부(230)는 제1 과정에서 현재 인코딩할 레이어 매크로블록이 움직임 예측 모드가 아니면 현재 인코딩할 레이어 매크로블록을 인트라 모드로 인코딩하고, 움직임 예측 모드이면 제2 과정을 수행한다.
SVC 인코딩부(230)는 제2 과정에서 하위 레이어 매크로블록이 움직임 예측 모드가 아니면 현재 인코딩할 매크로블록을 자신의 인코딩 모드로 인코딩하고, 움직임 예측 모드이면 제3 과정을 수행한다.
SVC 인코딩부(230)는 제3 과정에서 매크로블록 분할 정보가 동일하지 않으면 현재 인코딩할 매크로블록을 자신의 인코딩 모드로 인코딩하고, 동일하면 제4 과정을 수행한다.
SVC 인코딩부(230)는 제4 과정에서 매크로블록의 움직임 벡터가 동일하지 않으면 현재 인코딩할 매크로블록을 자신의 인코딩 모드로 인코딩하고, 동일하면 인터 레이어 모션 예측 모드(Inter-layer motion prediction mode)로 현재 인코딩할 매크로블록을 인코딩한다.
SVC 인코딩부(230)는, 도 5에 도시한 바와 같이, 영상(멀티 트랙 비디오 중 하나의 레이어)이 입력되면, 입력된 레이어와 하위 레이어의 텍스처(texture) 정보를 이용하여 인트라 예측을 수행하여 인코당 모드를 결정하거나, 입력된 레이어와 하위 레이어의 움직임 예측을 통해 인코딩 모드를 결정한다.
SVC 인코딩부(260)는 결정된 동작 모드에 따라 SVC 비디오에 대해 DCT (Discrete Cosine Transform)/양자화(Qunatization) 과정과 CAVLC(Context-adaptive variable-length coding)/CABAC(Context-adaptive binary arithmetic coding) 과정을 수행한다.
즉, 스케일러블 비디오 인코딩 장치(200)는 SVC 인코딩부(230)를 통해 하위 레이어 텍스처 정보에 근거해 인트라 예측 모드로 인코딩하고, 하위 레이어의 움직임 정보에 근거해 움직임 예측 모드(motion prediction mode)로 인코딩을 수행할 때, 인코딩할 매크로블럭의 매크로블록 분할 정보를 비교해 동일하면 움직임 벡터를 비교하여 움직임 벡터가 동일하면 인터 레이어 움직임 예측 모드(Inter-layer motion prediction mode)로 인코딩을 수행하고, 매크로블록 분할 정보가 동일하지 않거나 움직임 벡터가 동일하지 않으면 현재 인코딩을 수행항 매크로블럭의 인코딩 모드로 인코딩을 수행한다.
제2 실시예에 따른 스케일러블 비디오 인코딩 장치
제2 실시예에 따른 스케일러블 비디오 인코딩 장치는, 도 3에 도시한 바와 같이, 비디오 정렬부(210), 비트스트림 분석부(220), SVC 인코딩부(230), 통신부(240), 원본 비디오 저장부(250) 및 멀티 트랙 비디오 생성부(260)를 포함하여 구성된다.
여기서, 비디오 정렬부(210), 비트스트림 분석부(220), 및 SVC 인코딩부(230)는 제1 실시예에 따른 스케일러블 비디오 인코딩 장치(200)와 동일하므로, 차이가 있는 통신부(240), 원본 비디오 저장부(250) 및 멀티 트랙 비디오 생성부(260)만 설명하도록 한다.
통신부(240)는 사용자 단말기와 통신망을 통해 접속하기 위한 구성 요소로, 제어 신호 및 스케일러블 비디오의 전송 채널을 형성하고, 원본 비디오 저장부(250)는 인코딩되지 않은 원본 비디오를 저장한다.
멀티 트랙 비디오 생성부(260)는, 도 4에 도시한 바와 같이, 원본 비디오 저장부(250)에 저장된 원본 비디오를 입력받아, 멀티 트랙 비디오를 생성한다.
다수의 비디오 인코더(1~N)는 원본 비디오를 서로 다른 포맷의 압축비디오로 생성하며, 생성된 다수의 서로 다른 포맷의 압축비디오은 멀티 트랙 비디오를 의미한다.
즉, 제2 실시예에 따른 스케일러블 비디오 인코딩 장치(200)는 원본 비디오를 다양한 포맷으로 인코딩하여 멀티 트랙 비디오를 생성하는 기능을 더 수행하는 점에서 제1 실시예에 따른 스케일러블 비디오 인코딩 장치와 차이가 있다.
스케일러블 비디오 인코딩 방법
도 6은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법을 나타내는 흐름도이고, 도 7 내지 도 10은 본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법의 제1 실시예 내지 제4 실시예를 나타내는 흐름도이다.
본 발명의 다른 측면에 따른 스케일러블 비디오 인코딩 방법은, 도 6에 도시한 바와 같이, 스케일러블 비디오 인코딩 장치에서 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하고(S610), 정렬된 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출한다(S620).
다음으로, 스케일러블 비디오 인코딩 방법은, 스케일러블 비디오 인코딩을 수행하는 레이어와 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고(S630), 결정된 인코딩 모드로 멀티 트랙 비디오를 인코딩한다(S640).
따라서, 스케일러블 비디오 인코딩 방법은 기존의 멀티 트랙 비디오와 멀티 트랙 비디오의 인코딩 정보를 이용하여 멀티 트랙 비디오를 인코딩할 인코딩 모드를 결정함으로써 고속으로 스케일러블 비디오로 인코딩할 수 있다.
제1 실시예에 따른 스케일러블 비디오 인코딩 방법
제1 실시예에 따른 스케일러블 비디오 인코딩 방법은, 제1 기준 및 제1 인코딩 정보를 선택하여 인코딩하는 경우로, 도 7에 도시한 바와 같이, 멀티 트랙 비디오의 스케일러블 비디오 인코딩 방법은 S710 내지 S760 과정에 따라 수행된다.
먼저, 원본 비디오를 입력받아 포맷(형식)이 서로 다른 멀티 트랙 비디오를 생성하고(S710), 멀티 트랙 비디오를 해상도, 프레임율, 비트율에 따라 정렬한다(S720).
멀티 트랙 비디오 생성은(S710), 스케일러블 비디오 인코딩 장치에서 영상을 다양한 포맷으로 압축하여 멀티 트랙 비디오를 생성할 수 있다.
멀티 트랙 비디오 정렬(S720)은, 해상도가 높은 비디오가 상위 레이어에 배치되도록 정렬하고, 해상도에 따라 정렬된 멀티 트랙 비디오 중 해상도가 동일한 비디오가 두 개 이상 존재하는 경우 프레임율(frame rate)이 높은 비디오가 상위 레이어에 배치되도록 재정렬하며, 프레임율에 따라 재정렬된 멀티 트랙 비디오 중 프레임율이 동일한 비디오가 두 개 이상 존재하는 경우 비트율(bit rate)이 높은 비디오가 상위 레이어에 배치되도록 재정렬함으로써 수행될 수 있다.
다음으로, 정렬된 각 레이어의 인코딩 모드와 예측 정보를 포함하는 인코딩 정보를 추출하고(S730), 현재 인코딩할 (N-1)번째 레이어의 인코딩 정보와 상위 레이어인 N번째 레이어의 인코딩 정보를 SVC 인코딩부로 전달한다.
SVC 인코딩부는 (N-1)번째 레이어와 N번째 레이어의 인코딩 정보를 이용하여 N번째 레이어의 비트스트림을 매크로블록 단위로 인코딩한(S740) 후, N번째 레이어가 최상위 레이어인지 판단하여(S750) 최상위 레이어까지 인코딩된 경우 인코딩을 종료하고, 최상위 레이어가 아닌 경우 N<-(N+1)을 대입하여 S740 내지 S750 과정을 반복함으로써 최하위 레이어부터 최상위 레이어까지 스케일러블 비디오 인코딩을 수행한다.
제2 실시예에 따른 스케일러블 비디오 인코딩 방법
제2 실시예에 따른 스케일러블 비디오 인코딩 방법은, 제1 기준 및 제1 인코딩 정보를 선택하여 인코딩하는 경우 도 7의 S740 내지 S760 과정을 구체화한 것으로, 도 8에 도시한 바와 같다.
제2 실시예에 따른 스케일러블 비디오 인코딩 방법은 제1 기준(해상도, 프레임율, 비트율)에 따라 멀티 트랙 비디올르 정렬하고, 각 레이어의 인코딩 정보를 추출한다.
그리고, 비디오 인코딩을 수행하는 레이어의 매크로블록과 매크로블록에 대응되는 상위 레이어 매크로블록의 인코딩 정보를 업스케일링(up-scaling)하여 인터 레이어 인트라 예측(Inter-layer Intra prediction)을 수행한다(S810).
다음으로, 인터 레이어 인트라 모드(Inter-layer Intra mode)의 인코딩 코스트(encoding cost)(A)와 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트(B)를 각각 계산하고(S820), 계산된 인코딩 코스트를 비교한다(S830).
비교 결과, A가 B보다 작으면 인코딩 모드를 인터 레이어 인트라 모드로 결정하여 현재 인코딩을 수행할 레이어를 인코딩하고(S840), A가 B보다 작지 않으면 현재 인코딩을 수행할 레이어의 인코딩 모드로 인코딩한다(S850).
멀티 트랙 비디오의 최하위 레이어부터 최상위 레이어의 비디오가 순차적으로 인코딩 완료될 때까지 S810 내지 S850 과정은 반복될 수 있다.
제3 실시예에 따른 스케일러블 비디오 인코딩 방법
제3 실시예에 따른 스케일러블 비디오 인코딩 방법은, 제2 기준 및 제2 인코딩 정보를 선택하여 인코딩하는 경우로, 도 9에 도시한 바와 같이, 멀티 트랙 비디오의 스케일러블 비디오 인코딩 방법은 S910 내지 S970 과정으로 수행된다.
제3 실시예에 따른 스케일러블 비디오 인코딩 방법은, 원본 비디오를 입력받아 형식이 서로 다른 멀티 트랙 비디오를 생성하고(S910), 멀티 트랙 비디오를 화질 순서로 정렬한다(S920).
멀티 트랙 비디오 정렬은 객관적 화질 평가 방법에 의해 결정된 화질 순서로 결정되며, 화질 순서에 따라 고화질 비디오가 상위 레이어에 배치되도록 멀티 트랙 비디오를 다수의 레이어로 정렬할 수 있다.
다음으로, 스케일러블 비디오 인코딩 방법은 정렬된 각 레이어의 인코딩 모드와 매크로블록 분할 정보, 움직임 벡터 정보를 포함하는 예측 정보를 인코딩 정보로 추출한다(S930).
현재 인코딩할 레이어인 N번째 레이어와 하위 레이어인 (N-1)번째 레이어의 매크로블록 분할 정보, 움직임 정보를 이용하여 N번째 레이어의 매크로블록의 인코딩 모드를 결정하고(S940), 결정된 인코딩 모드로 인코딩을 수행한다(S950).
N번째 레이어의 인코딩이 완료되면, (N-1)번째 레이어가 최하위 레이어인지 판단하여(S960) 최하위 레이어가 아니면 N<-(N-1)을 대입하여(S970) S940 내지 S970 과정을 반복하고, 최하위 레이어인 경우 S940 내지 S970 과정을 종료한 후, 최하위 레이어를 인코딩한다.
제4 실시예에 따른 스케일러블 비디오 인코딩 방법
제4 실시예에 따른 스케일러블 비디오 인코딩 방법은, 제2 기준 및 제2 인코딩 정보를 선택하여 인코딩하는 경우 도 9의 S940 내지 S970 과정을 구체화한 것으로, 도 10에 도시한 바와 같다.
제4 실시예에 따른 스케일러블 비디오 인코딩 방법은, 움직임 벡터 정보를 이용하여 현재 인코딩할 레이어인 N번째 레이어의 매크로블록이 움직임 예측 모드(motion prediction mode)인지 판단하여(S1010), N번째 레이어의 매크로블록이 움직임 예측 모드가 아닌 경우 인트라 모드(Intra mode)로 매크로블록을 인코딩하고(S1020), N번째 레이어 매크로블록이 움직임 예측 모드인 경우 (N-1)번째 레이어의 매크로블록이 움직임 예측 모드인지 판단한다(S1030).
판단 결과, (N-1)번째 레이어 매크로블록이 움직임 예측 모드가 아닌 경우 N번째 레이어 매크로블록의 인코딩 모드로 인코딩하고(S1040), (N-1)번째 레이어 매크로블록이 움직임 예측 모드인 경우 업스케일링(up-scaling)된 (N-1)번째 레이어 매크로블록의 매크로블록 분할 정보와 N번째 매크로블록의 매크로블록 분할 정보를 비교한다(S1050).
비교 결과, 매크로블록 분할 정보가 동일하지 않으면 N번쩨 레이어 매크로블록의 인코딩 모드로 인코딩하고(S1040), 매크로블록 분할 정보가 동일하면 업스케일링된 (N-1)번째 레이어 매크로블록의 움직임 벡터와 N번째 매크로블록의 움직임 벡터를 비교한다(S1060).
비교 결과, 움직임 벡터가 동일하면 인터 레이어 움직임 예측 모드(Inter-layer motion prediction mode)로 매크로블록을 인코딩하고(S1070), 움직임 벡터가 동일하지 않으면 N번째 레이어 매크로블록의 인코딩 모드로 인코딩한다(S1040).
N번째 레이어 매크로블록의 인코딩이 완료되면, 다음 매크로블록에 대하여 S1010 내지 S1070 과정을 반복하여 수행하며, 최상위 레이어부터 최하위 레이어의 매크로블록까지 순차적으로 인코딩한다.
전술한 바와 같이 본 발명에 의하면, 원본 비디오에 대해 다양한 포맷으로 인코딩된 멀티 트랙 비디오(multi-track video)를 스케일러블 비디오로 인코딩할 때 기존의 멀티 트랙 비디오의 인코딩 정보를 활용하여 고속으로 인코딩 모드를 결정함으로써, 인코딩 속도를 향상시킬 수 있다.
특히, 멀티 트랙 비디오의 인코딩 모드를 기존 멀티 트랙 비디오의 인코딩 정보로부터 고속으로 추출할 수 있고, 인코딩시 가장 높은 연산량을 가지는 움직임 예측 시간을 고속화할 수 있으므로, 스케일러블 비디오로의 변환 속도를 향상시킬 수 있다.
본 발명은 스케일러블 비디오를 인코딩하는 인코더와 인코더를 구비하는 장치 및 이를 이용하여 컨텐츠를 전송하는 시스템에 적용할 수 있다.
또한, 비디오와 오디오를 포함하는 컨텐츠를 통신망을 이용해 서비스하는 컨텐츠 서버 또는 컨텐츠를 수신하여 디스플레이하는 사용자 단말기를 포함하는 컨텐츠 미디어 통신 시스템에 적용할 수 있다.

Claims (15)

  1. 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하는 비디오 정렬부;
    각 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출하는 비트스트림 분석부; 및
    스케일러블 비디오 인코딩을 수행하는 레이어와, 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고 결정된 인코딩 모드로 인코딩하는 SVC(Scalable Video Coding) 인코딩부;를 포함하는 스케일러블 비디오 인코딩 장치.
  2. 제1항에 있어서,
    상기 비디오 정렬부는, 상기 멀티 트랙 비디오를 해상도가 높은 비디오가 상위에 배치되도록 정렬하고, 해상도가 동일한 비디오가 두 개 이상 존재하는 경우 프레임율(frame rate)이 높은 비디오가 상위에 배치되도록 정렬하고, 상기 해상도 및 프레임율이 동일한 비디오가 두 개 이상 존재하는 경우 비트율(bit rate)이 높은 비디오가 상위에 배치되도록 다수의 레이어로 정렬하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
  3. 제1항에 있어서,
    상기 SVC 인코딩부는, 상기 멀티 트랙 비디오의 각 레어이를 매크로블록 단위로 인코딩하고, 상기 다수의 레이어 중 최하위 레이어부터 최상위 레이어까지, 또는 최상위 레이어부터 최하위 레이어까지 순차적으로 스케일러블 비디오 인코딩을 수행하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
  4. 제1항에 있어서,
    상기 SVC 인코딩부는, 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록과 상기 매크로블록에 대응되는 상위 레이어 매크로블록 각각의 디코딩된 텍스처 정보를 업스케일링(up-scaling)하여 인터 레이어 인트라 예측(Inter-layer Intra prediction)을 수행하고, 인터 레이어 인트라 모드(Inter-layer Intra mode)의 인코딩 코스트(encoding cost)를 계산하고 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트를 계산하여 계산된 인스팅 코스트를 비교하고,
    상기 인터 레이어 인트라 모드의 인코딩 코스트가 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트보다 작으면, 상기 인터 레이어 인트라 모드로 인코딩하고, 크거나 같으면, 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드로 인코딩하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
  5. 제1항에 있어서,
    상기 설정된 기준은 객관적 화질 평가 방법에 의해 결정된 화질 순서이며, 상기 비디오 정렬부는 상기 화질 순서에 따라 고화질 비디오가 상위 레이어에 배치되도록 상기 멀티 트랙 비디오를 다수의 레이어로 정렬하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
  6. 제1항에 있어서,
    상기 비트스트림 분석부는, 상기 다수의 레이어 중 인접하는 레이어의 비디오 비트스트림 디코딩을 통해 매크로블록 분할 정보와 움직임 벡터 정보를 포함하는 예측 정보(prediction information)를 추출하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
  7. 제1항에 있어서,
    상기 SVC 인코딩부는, 상기 멀티 트랙 비디오의 각 레어이를 매크로블록 단위로 인코딩하고, 매크로블록 분할 정보와 움직임 벡터 정보를 이용하여 상기 매크로블록을 인터 레이어 움직임 예측 모드(Intre-layer motion prediction mode), 인트라 모드(Intra mode) 또는 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드로 인코딩하는 것을 특징으로하는 스케일러블 비디오 코딩 장치.
  8. 제7항에 있어서,
    상기 SVC 인코딩부는, 상기 움직임 벡터 정보를 이용하여 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록이 움직임 예측 모드인지 판단하는 제1 과정, 상기 매크로블록의 하위 레이어 매크로블록이 움직임 예측 모드인지 판단하는 제2 과정, 업스케일링(up-scaling)된 상기 하위 레이어 매크로블록의 매크로블록 분할 정보와 상기 매크로블록의 매크로블록 분할 정보가 동일한지 판단하는 제3 과정, 및 상기 매크로블록과 상기 하위 레이어 매크로블록의 움직임 벡터가 동일한지 판단하는 제4 과정을 순차적으로 판단하여 상기 인터 레이어 움직임 예측 모드(Intre-layer motion prediction mode), 상기 인트라 모드(Intra mode) 또는 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드 중 상기 매크로블록의 인코딩 모드를 결정하는 것을 특징으로하는 스케일러블 비디오 코딩 장치.
  9. (a) 스케일러블 비디오 인코딩 장치에서 멀티 트랙 비디오(multi-track video)를 설정된 기준에 따라 다수의 레이어(layer)로 정렬하는 단계;
    (b) 상기 인코딩 장치에서 정렬된 각 레이어의 비트스트림을 분석하여 인코딩 모드(encoding mode)와 예측 정보(prediction information)를 포함하는 인코딩 정보를 추출하는 단계; 및
    (c) 상기 인코딩 장치에서 스케일러블 비디오 인코딩을 수행하는 레이어와 상위 또는 하위 레이어의 인코딩 정보를 사용하여 인코딩 모드를 결정하고 결정된 인코딩 모드로 상기 멀티 트랙 비디오를 인코딩하는 단계;를 포함하는 스케일러블 비디오 인코딩 방법.
  10. 제9항에 있어서,
    상기 (a) 단계 이전에, 상기 인코딩 장치에서 영상을 다양한 포맷으로 압축하여 멀티 트랙 비디오를 생성하거나, 또는 상기 인코딩 장치에서 상기 멀티 트랙 비디오를 입력받는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  11. 제9항에 있어서,
    상기 (a) 단계는,
    (a-1) 상기 멀티 트랙 비디오를 해상도가 높은 비디오가 상위 레이어에 배치되도록 정렬하는 단계;
    (a-2) 해상도에 따라 정렬된 상기 멀티 트랙 비디오 중 해상도가 동일한 비디오가 두 개 이상 존재하는 경우 프레임율(frame rate)이 높은 비디오가 상위 레이어에 배치되도록 재정렬하는 단계; 및
    (a-3) 프레임율에 따라 재정렬된 상기 멀티 트랙 비디오 중 프레임율이 동일한 비디오가 두 개 이상 존재하는 경우 비트율(bit rate)이 높은 비디오가 상위 레이어에 배치되도록 재정렬하는 단계;를 포함하여 구성되는 스케일러블 비디오 인코딩 방법.
  12. 제9항에 있어서,
    상기 (c) 단계는,
    (c-1) 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록과 상기 매크로블록에 대응되는 상위 레이어 매크로블록의 인코딩 정보를 업스케일링(up-scaling)하여 인터 레이어 인트라 예측(Inter-layer Intra prediction)을 수행하는 단계;
    (c-2) 인터 레이어 인트라 모드(Inter-layer Intra mode)의 인코딩 코스트(encoding cost)와 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트를 각각 계산하는 단계;
    (c-3) 상기 계산된 인코딩 코스트를 비교하여 인코딩 모드를 상기 인터 레이어 인트라 모드 또는 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드 중 결정하는 단계; 및
    (c-4) 상기 결정된 인코딩 모드로 상기 스케일러블 비디오 인코딩을 수행하는 레이어 매크로블록을 인코딩하는 단계;를 포함하여 구성되며,
    상기 (c-1) 단계 내지 (c-4) 단계는 상기 멀티 트랙 비디오의 최하위 레이어부터 최상위 레이어의 비디오가 순차적으로 인코딩 완료될 때까지 반복되는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  13. 제12항에 있어서,
    상기 (c-3) 단계에서,
    상기 계산된 인터 레이어 인트라 모드의 인코딩 코스트가 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드의 인코딩 코스트보다 작으면, 상기 인코딩 모드를 인터 레이어 인트라 모드로 결정하고, 크거나 같으면 상기 인코딩 모드를 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 인코딩 모드로 결정하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  14. 제9항에 있어서,
    상기 (a) 단계에서,
    상기 설정된 기준은 객관적 화질 평가 방법에 의해 결정된 화질 순서이며, 상기 화질 순서에 따라 고화질 비디오가 상위 레이어에 배치되도록 상기 멀티 트랙 비디오를 다수의 레이어로 정렬하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  15. 제9항에 있어서,
    상기 (c) 단계는,
    (c-1) 움직임 벡터 정보를 이용하여 상기 스케일러블 비디오 인코딩을 수행하는 레이어의 매크로블록이 움직임 예측 모드(motion prediction mode)인지 판단하는 단계;
    (c-2) 상기 매크로블록이 움직임 예측 모드인 경우 (c-3) 단계를 수행하고, 상기 매크로블록이 움직임 예측 모드가 아닌 경우 인트라 모드(Intra mode)로 상기 매크로블록을 인코딩하는 단계;
    (c-3) 상기 매크로블록의 하위 레이어 매크로블록이 움직임 예측 모드인지 판단하는 단계;
    (c-4) 상기 하위 레이어 매크로블록이 움직임 예측 모드인 경우 (c-5) 단계를 수행하고, 상기 하위 레이어 매크로블록이 움직임 예측 모드가 아닌 경우 상기 매크로블록의 인코딩 모드로 인코딩하는 단계;
    (c-5) 업스케일링(up-scaling)된 상기 하위 레이어 매크로블록의 매크로블록 분할 정보와 상기 매크로블록의 매크로블록 분할 정보를 비교하는 단계;
    (c-6) 상기 매크로블록 분할 정보가 동일하면 (c-7) 단계를 수행하고, 상기 매크로블록 분할 정보가 동일하지 않으면 상기 매크로블록의 인코딩 모드로 인코딩하는 단계;
    (c-7) 업스케일링된 상기 하위 레이어 매크로블록의 움직임 벡터와 상기 매크로블록의 움직임 벡터를 비교하는 단계;
    (c-8) 상기 움직임 벡터가 동일하면 인터 레이어 움직임 예측 모드(Inter-layer motion prediction mode)로 상기 매크로블록을 인코딩하고, 상기 움직임 벡터가 동일하지 않으면 상기 매크로블록의 인코딩 모드로 인코딩하는 단계;를 포함하여 구성되며,
    상기 (c-2) 단계, (c-4) 단계, (c-6) 단계 및 (c-8) 단계에서 상기 매크로블록의 인코딩이 완료되면, 다음 매크로블록에 대하여 (c-1) 단계부터 반복하여 수행하며, 최상위 레이어부터 최하위 레이어의 매크로블록까지 순차적으로 인코딩하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
PCT/KR2012/002861 2011-04-15 2012-04-16 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법 WO2012141551A2 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201280024116.8A CN103548353B (zh) 2011-04-15 2012-04-16 使用多轨视频的高速可伸缩视频编码装置和方法
JP2014505084A JP5557265B1 (ja) 2011-04-15 2012-04-16 マルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法
US14/111,834 US9083949B2 (en) 2011-04-15 2012-04-16 High speed scalable video coding device and method using multi-track video
EP12771035.8A EP2698995A4 (en) 2011-04-15 2012-04-16 DEVICE AND METHOD FOR HIGH SPEED EVOLVING VIDEO ENCODING USING MULTIPISTE VIDEO
US14/797,471 US20150319443A1 (en) 2011-04-15 2015-07-13 High speed scalable video coding device and method using multi-track video
US14/884,967 US20160037169A1 (en) 2011-04-15 2015-10-16 High speed scalable video coding device and method using multi-track video
US14/884,943 US10750185B2 (en) 2011-04-15 2015-10-16 High speed scalable video coding device and method using multi-track video

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2011-0035110 2011-04-15
KR1020110035110A KR101853744B1 (ko) 2011-04-15 2011-04-15 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR10-2011-0047638 2011-05-20
KR1020110047638A KR101594411B1 (ko) 2011-05-20 2011-05-20 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/111,834 A-371-Of-International US9083949B2 (en) 2011-04-15 2012-04-16 High speed scalable video coding device and method using multi-track video
US14/797,471 Continuation US20150319443A1 (en) 2011-04-15 2015-07-13 High speed scalable video coding device and method using multi-track video

Publications (2)

Publication Number Publication Date
WO2012141551A2 true WO2012141551A2 (ko) 2012-10-18
WO2012141551A3 WO2012141551A3 (ko) 2013-03-07

Family

ID=47009877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/002861 WO2012141551A2 (ko) 2011-04-15 2012-04-16 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법

Country Status (5)

Country Link
US (4) US9083949B2 (ko)
EP (4) EP3021587A3 (ko)
JP (1) JP5557265B1 (ko)
CN (1) CN103548353B (ko)
WO (1) WO2012141551A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248622A (zh) * 2013-04-09 2013-08-14 中国科学院计算技术研究所 一种自动伸缩的在线视频服务质量保障方法及***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6360154B2 (ja) * 2013-04-05 2018-07-18 ヴィド スケール インコーポレイテッド 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント
US10390087B2 (en) * 2014-05-01 2019-08-20 Qualcomm Incorporated Hypothetical reference decoder parameters for partitioning schemes in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
CN1774930A (zh) 2003-04-17 2006-05-17 皇家飞利浦电子股份有限公司 视频转码
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
US20060023748A1 (en) * 2004-07-09 2006-02-02 Chandhok Ravinder P System for layering content for scheduled delivery in a data network
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
EP2372922A1 (en) * 2006-03-29 2011-10-05 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
CA2647723A1 (en) * 2006-03-29 2007-10-11 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US7907789B2 (en) * 2007-01-05 2011-03-15 Freescale Semiconductor, Inc. Reduction of block effects in spatially re-sampled image information for block-based image coding
CA2674438C (en) 2007-01-08 2013-07-09 Nokia Corporation Improved inter-layer prediction for extended spatial scalability in video coding
KR100809354B1 (ko) 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
US8121191B1 (en) 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
KR101144498B1 (ko) * 2008-04-28 2012-05-15 에스케이플래닛 주식회사 스케일러블 비디오 제공 시스템 및 스케일러블 비디오 제공방법
KR101012204B1 (ko) * 2008-04-24 2011-02-08 에스케이 텔레콤주식회사 스케일러블 비디오의 스트리밍 재생 시스템 및 스케일러블비디오의 스트리밍 재생 방법
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
IT1394245B1 (it) * 2008-09-15 2012-06-01 St Microelectronics Pvt Ltd Convertitore per video da tipo non-scalabile a tipo scalabile
KR20100072722A (ko) * 2008-12-22 2010-07-01 삼성전자주식회사 스케일러블 변조 및 복조를 위한 영상데이터를 송수신하는 장치 및 방법
US9036705B2 (en) 2009-03-13 2015-05-19 Telefonaktiebolaget L M Ericsson (Publ) Technique for bringing encoded data items into conformity with a scalable coding protocol
US9549190B2 (en) 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
WO2011081643A2 (en) * 2009-12-14 2011-07-07 Thomson Licensing Merging encoded bitstreams

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2698995A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248622A (zh) * 2013-04-09 2013-08-14 中国科学院计算技术研究所 一种自动伸缩的在线视频服务质量保障方法及***
CN103248622B (zh) * 2013-04-09 2016-02-24 中国科学院计算技术研究所 一种自动伸缩的在线视频服务质量保障方法及***

Also Published As

Publication number Publication date
EP2698995A4 (en) 2014-09-03
US20160037169A1 (en) 2016-02-04
US10750185B2 (en) 2020-08-18
US20160037168A1 (en) 2016-02-04
JP5557265B1 (ja) 2014-07-23
WO2012141551A3 (ko) 2013-03-07
US9083949B2 (en) 2015-07-14
US20140226723A1 (en) 2014-08-14
JP2014520413A (ja) 2014-08-21
CN103548353B (zh) 2015-08-19
EP3001683A3 (en) 2016-04-06
EP2698995A2 (en) 2014-02-19
EP3007445A1 (en) 2016-04-13
EP3001683A2 (en) 2016-03-30
US20150319443A1 (en) 2015-11-05
EP3021587A2 (en) 2016-05-18
EP3021587A3 (en) 2016-12-28
CN103548353A (zh) 2014-01-29

Similar Documents

Publication Publication Date Title
KR101354833B1 (ko) 디지털 비디오의 가변 해상도 인코딩 및 디코딩 기법
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
CN102918836A (zh) 用于非对称立体视频的帧封装
WO2012141551A2 (ko) 멀티 트랙 비디오를 사용한 고속 스케일러블 비디오 코딩 장치 및 방법
WO2011068332A2 (ko) 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
CN113316932B (zh) 编解码方法、装置和设备
CN101888545B (zh) 一种低码率信源压缩编码方法
KR101096802B1 (ko) 비디오 스트림 혼합장치 및 그 방법
KR101853744B1 (ko) 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법
KR101594411B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
CN101202907A (zh) 频道切换装置及方法
KR101990098B1 (ko) 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR101875853B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
WO2015102462A1 (ko) 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
KR101834531B1 (ko) 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101749613B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101626757B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101625441B1 (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR20180080167A (ko) 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
WO2020122308A1 (ko) 다시점 영상 정보의 복호화 방법 및 장치
Yuan et al. Color space compatible coding framework for YUV422 video coding
WO2016108317A1 (ko) 오류에 강인한 압축 영역에서의 영상 합성 방법, 장치 및 시스템
WO2010143858A2 (ko) 대용량의 영상을 효율적으로 전송하는 영상 부호화 장치 및 영상 복호화 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12771035

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2014505084

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14111834

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012771035

Country of ref document: EP