KR101834531B1 - Fast scalable video coding method and device using multi-track video - Google Patents

Fast scalable video coding method and device using multi-track video Download PDF

Info

Publication number
KR101834531B1
KR101834531B1 KR1020160035725A KR20160035725A KR101834531B1 KR 101834531 B1 KR101834531 B1 KR 101834531B1 KR 1020160035725 A KR1020160035725 A KR 1020160035725A KR 20160035725 A KR20160035725 A KR 20160035725A KR 101834531 B1 KR101834531 B1 KR 101834531B1
Authority
KR
South Korea
Prior art keywords
video
encoding
svc
layer
cost
Prior art date
Application number
KR1020160035725A
Other languages
Korean (ko)
Other versions
KR20160037872A (en
Inventor
배태면
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020160035725A priority Critical patent/KR101834531B1/en
Publication of KR20160037872A publication Critical patent/KR20160037872A/en
Application granted granted Critical
Publication of KR101834531B1 publication Critical patent/KR101834531B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된, 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치에 관한 것이다.
본 발명에 따른 비디오 인코딩 장치는, 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 비디오 정렬부; 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 비트스트림 분석부; 및 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 SVC 재인코딩부를 포함한다.
The present invention arranges two or more multi-track videos according to SVC encoding according to resolution, frame rate, and bit rate, and arranges each bit stream from the first video of the lowest layer among the aligned multi- The present invention relates to a method and an apparatus for encoding multitrack video into scalable video capable of generating SVC video by extracting encoding information from the encoded information and performing SVC re-encoding based on the extracted encoding information.
A video encoding apparatus according to the present invention includes: a video arranging unit that aligns two or more multi-track videos according to SVC encoding; A bitstream analyzer for analyzing each bitstream from the first video of the lowest layer to the video of the highest layer among the aligned multitrack video to extract encoding information; And an SVC re-encoding unit for performing SVC re-encoding based on the encoding information.

Description

멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치{Fast scalable video coding method and device using multi-track video}[0001] The present invention relates to a method and an apparatus for encoding multi-track video into scalable video,

본 발명은 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치에 관한 것으로서, 더욱 자세하게는 둘 이상의 멀티트랙 비디오(multi-track video)를 해상도, 프레임율, 비트율에 따라 SVC(Scalable Video Coding) 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림(bitstream)을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된 것이다.The present invention relates to a method and apparatus for encoding multitrack video into scalable video, and more particularly, to a method and apparatus for encoding two or more multi-track videos into Scalable Video Coding (SVC) according to resolution, frame rate, Extracts encoding information by analyzing bitstreams from the first video of the lowest layer among the aligned multi-track videos to the video of the highest layer, and extracts encoding information based on the extracted encoding information, Re-encoding can be performed to generate SVC video.

컨텐츠 제공자(CP)로부터 제공받은 비디오 및 오디오를 포함하는 컨텐츠를 사용자 단말기에 서비스 하기 위해서는 기본적인 해상도 스케일링(Resolution Scaling), 프레임율 변환(frame rate conversion), 비디오/오디오 인코딩(Vidoe/audio Encoding), 메타데이터 삽입(Metadata Insertion), 패키징(Packaging) 등의 인제스팅(Ingesting) 과정을 거친다. In order to service contents including video and audio received from a contents provider (CP) to a user terminal, basic resolution scaling, frame rate conversion, video / audio encoding (Vidoe / audio encoding) Metadata ingestion, packaging, and so on.

이때, 컨텐츠 서버에서 인제스팅 과정을 수행할 때 오류가 발생한 비디오를 사용자 단말기에 서비스하는 경우 사용자 단말기에서 재생할 때 문제가 발생하게 된다. 이를 방지하기 위해 최종 결과물을 재생하여 사람이 직접 확인하는 과정을 마지막으로 거치게 된다. At this time, when the user performs an inustaining process in the content server, when a video having an error is served to the user terminal, a problem occurs when the user terminal plays the video. In order to prevent this, the final result is reproduced and finally checked by the person.

그런데, 컨텐츠 서버에서 사용자 단말기에 제공하는 대부분의 비디오는 그 양이 많거나 방대하므로 인제스팅 하기 위해서 사용자가 일일이 확인하는 과정은 오래 걸리거나 한계가 있으므로 사람에 의한 확인 과정을 자동화하여 좀 더 빠르게 수행하는 기술이 최근에 많이 제안되고 있다.However, since the majority of the video provided to the user terminal by the content server is large or large, the process of confirming each user in order to perform ingesting is long and has limitations. Have been proposed recently.

이와 함께 온라인 비디오 서비스는 인터넷을 통해 비디오를 스트리밍하여 사용자가 비디오를 소비할 수 있도록 하는데, 이 때 사용자의 네트워크 환경에 맞게 비디오 데이터량을 조절하면서 전송하는 적응적 비디오 스트리밍(adaptive video streaming) 기술을 통해 사용자에게 중간에 끊기거나 영상이 깨진 비디오를 시청하도록 하는 일을 방지하는 기술이 일반화되고 있다. 현재의 adaptive video streaming 기술은 하나의 원본 비디오에 대해 다양한 데이터 크기를 가지는 압축비디오를 만들어 두고 사용자의 네트워크 환경에 맞는 압축비디오를 선택하는 기술이 주를 이루고 있는데, 이러한 방법은 서비스 시스템이 하나의 비디오에 대해 여러 개의 압축 비디오(Multi-track video)를 인제스팅해야 한다. In addition, the online video service allows users to consume video by streaming video over the Internet. At this time, adaptive video streaming technology that transmits and adjusts the amount of video data according to the user's network environment A technique for preventing a user from interrupting a video or watching a video with a broken image is becoming common. The current adaptive video streaming technology is mainly composed of a technique of creating a compressed video having various data sizes for one original video and selecting a compressed video suited to the user's network environment, You must ingest multiple compressed video (multi-track video).

한편, 최근에는 하나의 압축 비디오로 다양한 device와 네트워크 환경에 대해 비디오 서비스를 제공하는 것을 목적으로 Scalable Video Coding(SVC) 방법이 ITU와 MPEG의 join video technology(JVT) group에 의해 H.264를 기반으로 표준화 되었다. In recent years, Scalable Video Coding (SVC) method has been developed by H.264 based on joint video technology (JVT) group of ITU and MPEG with the aim of providing video service for various devices and network environment with one compressed video .

그러나 SVC는 표준화가 최근에 이루어져 상용화에 있어서는 초기 단계에 있으며, 현재는 SVC 전 단계로 video를 H.264와 같은 기존의 coding방법으로 여러 개의 파일을 준비하여 각 device와 네트워크 환경에 맞는 파일을 제공하는 multi-track video 방식을 활용하고 있다. 앞으로 SVC로 전환하는 경우, 기존의 multi-track video를 SVC로 재인코딩해야 하며, 이러한 재인코딩은 시간이 많이 소요되는 문제점이 있다.However, since SVC has been standardized recently, it is in the initial stage of commercialization. Currently, SVC prepares video files by using existing coding method such as H.264, and provides files corresponding to each device and network environment And a multi-track video system. When switching to SVC in the future, it is necessary to re-encode the existing multi-track video into the SVC, and this re-encoding is time-consuming.

전술한 문제점을 해결하기 위한 본 발명은, 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된, 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치를 제공함에 그 목적이 있다.According to an aspect of the present invention, there is provided an apparatus for sorting multitrack video according to a resolution, a frame rate, and a bit rate according to SVC encoding, A method of encoding multitrack video into scalable video capable of generating SVC video by analyzing each bit stream up to the video of a layer to extract encoding information and performing SVC re-encoding based on the extracted encoding information, and And to provide a device.

전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오에서 가장 하위 레이어(layer)의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오 내지 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 것을 특징으로 하는 비디오 인코딩 장치가 제공된다.According to one aspect of the present invention, there is provided a method of arranging two or more multi-track videos in accordance with SVC encoding according to resolution, frame rate, and bit rate, Extracting encoding information by analyzing a bitstream of the second video and the video of the highest layer of the next video and the next lower layer, and performing SVC re-encoding based on the extracted encoding information do.

한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 비디오 정렬부; 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하는 비트스트림 분석부; 및 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 SVC 재인코딩부를 포함하는 비디오 인코딩 장치가 제공된다.According to another aspect of the present invention, there is provided a video encoding apparatus including: a video arrangement unit for aligning two or more multitrack videos according to SVC encoding; A bitstream analyzer for analyzing each bitstream from the first video of the lowest layer to the video of the highest layer among the aligned multitrack video to extract encoding information; And an SVC re-encoding unit for performing SVC re-encoding based on the encoding information.

또한, 상기 비디오 정렬부는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬할 수 있다.In addition, the video aligning unit arranges video having a higher resolution for the two or more multi-track videos on a higher layer, and arranges a video having a higher frame rate in a higher layer , And can align video with a higher bitrate to a higher layer if the resolution and frame rate are the same.

또한, 상기 비트스트림 분석부는, 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출할 수 있다.In addition, the bitstream analyzing unit receives the first video of the lowest layer and the second video of the next lower layer among the aligned multitrack video, analyzes each bitstream, and encodes the encoded video data in an encoding mode, Extract encoding information including prediction information, and extract encoding information by analyzing each bit stream from the third video of the next lower layer to the Nth video of the uppermost layer.

또한, 상기 SVC 재인코딩부는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행할 수 있다.The SVC re-encoding unit may re-encode the bitstream corresponding to the upper layer on a macroblock-by-macroblock basis based on the two pieces of encoded information to be input.

그리고, 상기 SVC 재인코딩부는, 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행할 수 있다.The SVC re-encoding unit up-scales the decoded texture information of the macroblocks corresponding to the lower and upper macroblocks to obtain an iner-layer intra prediction image, Encoding is performed in the current mode if the encoding cost of the intra-layer intra-coding is larger than a value obtained by adding a specific constant value to the encoding cost of the current encoding mode; otherwise, the encoding is performed in the inter-layer intra- Encoding can be performed.

한편, 전술한 목적을 달성하기 위한 본 발명의 또다른 측면에 따르면, (a) 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계; (b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계; 및 (c) 상기 인코딩 정보를 기반으로 SVC 재인코딩을 실행하는 단계를 포함하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법이 제공된다.According to another aspect of the present invention for achieving the above object, there is provided a video encoding method comprising the steps of: (a) arranging two or more multitrack videos for SVC encoding; (b) extracting encoding information by analyzing a bitstream of the highest layer video from the first video of the lowest layer among the aligned multitrack video; And (c) performing SVC re-encoding based on the encoding information. A method for encoding multitrack video in a scalable video is provided.

또한, 상기 (a) 단계는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬할 수 있다.In the step (a), the video having a high resolution for the two or more multitrack video is arranged on a higher layer, and a video having a higher frame rate than the video having the same resolution is assigned to a higher layer , And can align video with a higher bitrate to a higher layer if the resolution and frame rate are the same.

또한, 상기 (b) 단계는, 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오로부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출할 수 있다.In the step (b), the first video of the lowest layer and the second video of the next lower layer among the aligned multitrack video signals are analyzed and analyzed for encoding mode, Extracting encoding information including prediction information, and extracting encoding information by analyzing each bit stream from the third video of the next lower layer to the Nth video of the uppermost layer.

또한, 상기 (c) 단계는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행할 수 있다.In the step (c), the bitstream corresponding to the upper layer may be re-encoded on a macroblock-by-macroblock basis based on the two pieces of encoded information to be input.

그리고, 상기 (c) 단계는, 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행할 수 있다.The step (c) may include up-scaling the decoded texture information of the macroblock corresponding to the lower and upper macroblocks to obtain an iner-layer intra prediction image, Encoding is performed in the current mode if the encoding cost of the intra-layer intra-coding is larger than a value obtained by adding a specific constant value to the encoding cost of the current encoding mode; otherwise, the encoding is performed in the inter-layer intra- Mode. ≪ / RTI >

한편, 전술한 목적을 달성하기 위한 본 발명의 또다른 측면에 따르면, (a) 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계; (b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계; (c) 상기 인코딩 정보를 기반으로 인터레이어 인트라 프리딕션을 수행하여 인터레이어 인트라 모드의 인코딩 코스트를 산출하는 단계; (d) 현재 인코딩 모드의 인코딩 코스트를 산출하는 단계; 및 (e) 상기 두 인코딩 코스트를 비교하여 그 결과에 따라 현재 인코딩 모드 또는 인터레이어 인트라 모드로 SVC 재인코딩을 실행하는 단계를 포함하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법이 제공된다.According to another aspect of the present invention for achieving the above object, there is provided a video encoding method comprising the steps of: (a) arranging two or more multitrack videos for SVC encoding; (b) extracting encoding information by analyzing a bitstream of the highest layer video from the first video of the lowest layer among the aligned multitrack video; (c) calculating an encoding cost of an interlayer intra mode by performing inter-layer intra prediction based on the encoding information; (d) calculating an encoding cost of the current encoding mode; And (e) comparing the two encoding costs and performing SVC re-encoding in a current encoding mode or in an inter-layer intra-mode according to the result, the method comprising encoding the multitrack video into scalable video / RTI >

여기서, 상기 인코딩 코스트는 를 통해 산출하고, R은 inter mode일 때 motion vector를 전송하는 데 필요한 데이터 크기를 나타내는 cost이고, λ는 Lagrange multipler로써 예측오차 cost와 움직임 정보 cost의 weight를 표현하는 상수이며 상기 Intra mode의 encoding cost의 경우에 R이 zero가 된다.Here, the encoding cost is calculated through: R is a cost indicating a data size required to transmit a motion vector when the inter mode is used, and λ is a constant representing a weight of prediction error cost and motion information cost as a Lagrange multiplier In the case of the encoding cost of the Intra mode, R becomes zero.

본 발명에 의하면, 멀티트랙 비디오를 스케일러블 비디오로의 인코딩 시간을 단축시켜 고속화를 실현할 수 있다.According to the present invention, it is possible to shorten the encoding time of multitrack video into scalable video, thereby achieving high speed.

또한, 기존의 인코딩 모드를 최대한 활용하여 멀티트랙 비디오를 스케일러블 비디오로 고속 변환이 가능하고, 스케일러블 비디오의 특징인 인터레이어 인트라 프리딕션 모드를 활용하여 압축 효율을 높일 수 있다.In addition, it is possible to perform high-speed conversion of multitrack video into scalable video using the existing encoding mode to the maximum, and to improve the compression efficiency by utilizing the interlayer intra prediction mode which is a feature of scalable video.

도 1은 본 발명의 실시예에 따른 비디오 제공 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 비디오 인코딩 장치의 내부 기능 블럭을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 실시예에 따라 원본 비디오를 N 개의 멀티트랙 비디오로 생성하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 각 매크로블럭별 SVC 재인코딩 과정을 설명하기 위한 동작 흐름도이다.
BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a block diagram schematically showing the overall configuration of a video providing system according to an embodiment of the present invention; FIG.
2 is a block diagram schematically illustrating an internal functional block of a video encoding apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of encoding multitrack video of a video encoding apparatus into scalable video according to an embodiment of the present invention.
4 is a diagram illustrating an example of generating an original video as N multitrack video according to an embodiment of the present invention.
5 is a flowchart illustrating an SVC re-encoding process for each macroblock according to an embodiment of the present invention.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 비디오 제공 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a block diagram schematically showing the overall configuration of a video providing system according to an embodiment of the present invention; FIG.

도 1을 참조하면, 본 발명에 따른 비디오 제공 시스템(100)은 비디오 인코딩 장치(110), 통신망(120) 및 사용자 단말기(130) 등을 포함한다.Referring to FIG. 1, a video providing system 100 according to the present invention includes a video encoding apparatus 110, a communication network 120, and a user terminal 130.

비디오 인코딩 장치(110)는 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오에서 가장 하위 레이어(layer)의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오 내지 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행한다.The video encoding apparatus 110 arranges two or more multitrack videos according to the SVC encoding according to the resolution, the frame rate, and the bit rate, and arranges the first video of the lowest layer and the next lower layer Extracts the encoding information by analyzing the bitstream of the second video or the video of the highest layer, and executes the SVC re-encoding based on the extracted encoding information.

이어, 비디오 인코딩 장치(110)는 재인코딩 된 SVC 비디오를 통신망(120)을 통해 사용자 단말기(130)에 전송하여 제공한다.The video encoding apparatus 110 transmits the re-encoded SVC video to the user terminal 130 via the communication network 120 and provides the re-encoded SVC video.

여기서, 비디오 인코딩 장치(110)는 원본 비디오를 인제스팅하여 하나 이상의 사용자 단말기(130)에 전송해 주는 미디어 서버 등이 될 수 있으며, 원본 비디오를 입력받아 둘 이상 다수 개의 멀티트랙 비디오로 인제스팅해서 통신망(120)을 통해 전송할 수 있는 전용 미디어 장치 등이 될 수 있다.Here, the video encoding apparatus 110 may be a media server for inputting original video and transferring the original video to one or more user terminals 130, and may input the original video and insert the same into two or more multitrack video A dedicated media device capable of transmitting through the communication network 120, and the like.

통신망(120)은 비디오 인코딩 장치(110)에서 사용자 단말기(130)로 비디오를 전송하는 전송 경로를 제공하고, 사용자 단말기(130)가 비디오 인코딩 장치(110)에 접속하기 위한 접속 경로를 제공한다. 여기서, 통신망(120)은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluetooth)와 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망과, 인터넷이나 PSTN 등 유선 통신망 등을 포함한다.The communication network 120 provides a transmission path for transmitting video from the video encoding apparatus 110 to the user terminal 130 and provides a connection path for the user terminal 130 to access the video encoding apparatus 110. Here, the communication network 120 includes a mobile communication network such as WCDMA, HDPA, 3G, and 4G, a Bluetooth, a Zigbee, a Wi-Fi, and a wired communication network such as the Internet or PSTN .

*사용자 단말기(130)는 비디오 인코딩 장치(110)로부터 인제스팅 된 SVC 비디오를 수신하여 디코딩해서 디스플레이한다.The user terminal 130 receives the SVC video from the video encoding device 110, decodes the SVC video, and displays the SVC video.

여기서, 사용자 단말기(130)는 비디오 인코딩 장치(110)로부터 비디오 데이터를 수신하여 디스플레이할 수 있는 IPTV, 셋탑박스(Settop Box) 등이 될 수 있으며, 사용자가 이동하면서 비디오 데이터를 재생하여 볼 수 있는 스마트 폰이나 이동통신 단말기 등이 될 수 있다.Here, the user terminal 130 may be an IPTV, a settop box, or the like capable of receiving video data from the video encoding apparatus 110 and displaying the video data. In addition, A smart phone or a mobile communication terminal.

*도 2는 본 발명의 실시예에 따른 비디오 인코딩 장치의 내부 기능 블럭을 개략적으로 나타낸 구성도이다.2 is a block diagram schematically illustrating an internal functional block of a video encoding apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 비디오 인코딩 장치(110)는, 통신부(210), 원본비디오 저장부(220), 멀티트랙비디오 인코더(230), 비디오 정렬부(240), 비트스트림 분석부(250) 및 SVC 재인코딩부(260) 등을 포함한다.2, a video encoding apparatus 110 according to the present invention includes a communication unit 210, an original video storage unit 220, a multi-track video encoder 230, a video arrangement unit 240, An SVC re-encoding unit 260, and the like.

통신부(210)는 사용자 단말기(130)와 통신망(120)을 통해 통신한다.The communication unit 210 communicates with the user terminal 130 through the communication network 120.

즉, 통신부(210)는 사용자 단말기(130)로부터 통신망(120)을 통해 비디오 및 오디오를 포함하는 컨텐츠의 전송 요청을 수신하거나, 사용자 단말기(130)에 인제스팅(Ingesting) 된 컨텐츠를 전송한다.That is, the communication unit 210 receives the transmission request of the contents including video and audio from the user terminal 130 through the communication network 120, or transmits the contents that are ingested to the user terminal 130.

원본비디오 저장부(220)는 오디오와 비디오를 포함하는 원본 비디오를 다양한 종류에 따라 다수 개로 저장하고 있다.The original video storage unit 220 stores a plurality of original videos including audio and video according to various types.

멀티트랙 비디오 인코더(230)는 원본 비디오를 입력받아 도 4에 도시된 바와 같이 화질이 서로 다른 둘 이상 N 개의 압축비디오를 생성한다. 도 4는 본 발명의 실시예에 따라 원본 비디오를 N 개의 압축비디오로 생성하는 예를 나타낸 도면이다.The multitrack video encoder 230 receives the original video and generates two or more N compressed videos having different image qualities as shown in FIG. 4 is a diagram illustrating an example of generating original video as N compressed video according to an embodiment of the present invention.

비디오 정렬부(240)는 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬한다.The video arranging unit 240 aligns two or more multitrack videos according to the SVC encoding.

이때, 비디오 정렬부(240)는, 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bit rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬한다.At this time, the video arranging unit 240 arranges video having a higher resolution for two or more multi-track videos on a higher layer and transmits a video having a higher frame rate to a higher layer And aligns the video with the higher bit rate to be located in a higher layer if the resolution and the frame rate are the same.

비트스트림 분석부(250)는 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출한다.The bitstream analyzing unit 250 analyzes each bit stream from the first video of the lowest layer to the video of the highest layer among the aligned multitrack video to extract the encoding information.

이때, 비트스트림 분석부(250)는, 비디오 정렬부(240)를 통해 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출하고, 이어 그 다음 하위 레이어의 3번째 비디오부터 최상위 레이어의 N번째 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출한다.At this time, the bitstream analyzing unit 250 receives the first video of the lowest layer and the second video of the next lower layer among the aligned multitrack video through the video aligning unit 240, and analyzes each bitstream Extracts encoding information including an encoding mode and prediction information, analyzes each bit stream from the third video of the next lower layer to the Nth video of the uppermost layer, .

SVC 재인코딩부(260)는 추출된 인코딩 정보를 기반으로 SVC 재인코딩을 실행한다.The SVC re-encoding unit 260 performs SVC re-encoding based on the extracted encoding information.

이때, SVC 재인코딩부(260)는, 입력되는 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 재인코딩을 수행한다. 즉, SVC 재인코딩부(260)는 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처(texture) 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션(iner-layer intra prediction) 영상을 구하고 이를 이용하여 인코딩 코스트(encoding cost)를 산출하며, 인터레이어 인트라 코딩의 인코딩 코스트가 현재 인코딩 모드(Encoding Mode)의 인코딩 코스트에 특정 상수값을 더한 값보다 크면 현재의 모드로 인코딩을 수행하고, 그렇지 않으면 인터레이어 인트라 프리딕션 모드로 재인코딩을 수행한다. At this time, the SVC re-encoding unit 260 re-encodes the bitstream corresponding to the upper layer on a macroblock-by-macroblock basis, based on the two pieces of encoded information to be input. That is, the SVC re-encoding unit 260 up-scales the decoded texture information of the macroblocks corresponding to the lower and upper macroblocks to generate an iner-layer intra prediction picture If the encoding cost of the interlayer intra coding is larger than a value obtained by adding a specific constant value to the encoding cost of the current encoding mode, the encoding is performed in the current mode , Or otherwise re-encodes in the inter-layer intra prediction mode.

여기서, 인코딩 모드는 매크로블럭을 압축하는 방법인 인트라 또는 인터 모드를 통틀어 인코딩 모드라 하고, 프리딕션 정보는 motion vector, block partion 정보 등 움직임 예측에 관련된 정보이며, 인터레이어 인트라 프리딕션은 SVC에서 레이어 간 정보를 이용하여 인트라 prediction을 수행하는 것을 의미한다. Herein, the encoding mode is referred to as an encoding mode in the intra or inter mode, which is a method of compressing a macroblock, the prediction information is information related to motion prediction such as motion vector and block partion information, Means that intra prediction is performed using inter-frame information.

또한, 인코딩 코스트(encoding cost)는 인코딩 시 필요한 비트(bit)량을 나타내며, H.264에서 일반적으로 사용되는 움직임 예측 시 오차(SAD:Sum of Absolute Difference, SSD:Sum of Square Difference, MSE: Mean Square Error)와 인코딩 시 필요한 motion vector의 bit량(R)을 Lagrange multipler ramda를 활용하여 나타내며, SVC 재인코딩부(260)는 encoding cost가 최소가 되는 motion vector를 활용한다.The encoding cost represents the amount of bits required for encoding. The encoding cost is a Sum of Absolute Difference (SSD), MSE: Mean Square Error) and a bit amount (R) of a motion vector required for encoding are represented by a Lagrange multiplier ramda. The SVC re-encoding unit 260 utilizes a motion vector that minimizes encoding cost.

도 3은 본 발명의 실시예에 따른 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법을 설명하기 위한 동작 흐름도이다.3 is a flowchart illustrating a method of encoding multitrack video of a video encoding apparatus into scalable video according to an embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 비디오 인코딩 장치(100)는 원본 비디오를 멀티트랙비디오 인코더(230)에 입력받아 도 4에 도시된 바와 같이 화질이 서로 다른 둘 이상 N 개의 멀티트랙 비디오를 생성한다(S310). 여기서, 도 4는 본 발명의 실시예에 따라 원본 비디오를 N 개의 멀티트랙 비디오로 생성하는 예를 나타낸 도면이다.3, a video encoding apparatus 100 according to an exemplary embodiment of the present invention receives an original video signal from a multitrack video encoder 230 and generates two or more N multitrack video streams having different image qualities as shown in FIG. 4 (S310). Here, FIG. 4 is a diagram illustrating an example in which original video is generated as N multitrack video according to an embodiment of the present invention.

*이어, 비디오 인코딩 장치(100)는 둘 이상의 멀티트랙 비디오를 비디오 정렬부(240)를 통해 SVC 인코딩에 맞게 정렬한다(S320).Next, the video encoding apparatus 100 arranges two or more multi-track videos according to the SVC encoding through the video arranging unit 240 (S320).

이때, 비디오 인코딩 장치(100)는 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오를 더 높은 레이어(Layer)에 정렬하고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬하며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오를 더 높은 레이어에 위치하도록 정렬한다.At this time, the video encoding apparatus 100 arranges the higher-resolution video to a higher layer for two or more multi-track videos, and transmits the higher-frame rate video to a higher layer And aligns the video with a higher bitrate to a higher layer if the resolution and frame rate are the same.

이어, 비디오 인코딩 장치(100)는 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오와 그 다음 하위 레이어의 2번째 비디오를 비트스트림 분석부(250)에 입력받아 각각의 비트스트림을 분석하여 인코딩 모드(encoding mode), 프리딕션 정보(prediction information)를 포함하는 인코딩 정보를 추출한다(S330).Then, the video encoding apparatus 100 receives the first video of the lowest layer and the second video of the next lower layer among the aligned multitrack video to the bitstream analyzer 250, analyzes each bitstream, An encoding mode, and prediction information (S330).

이어, 비디오 인코딩 장치(100)는 추출된 2 개의 인코딩 정보를 바탕으로 상위 레이어에 해당하는 비트스트림을 매크로블럭 단위로 SVC 재인코딩을 수행한다(S340).Then, the video encoding apparatus 100 performs SVC re-encoding of the bitstream corresponding to the upper layer on a macroblock-by-macroblock basis based on the extracted two pieces of encoding information (S340).

이어, 비디오 인코딩 장치(100)는 다음 비디오가 최상위 레이어의 N 번째 비디오이면(S350-예) 인코딩 동작을 종료하고, 그렇지 않으면 그 다음 하위 레이어의 3번째 비디오로부터 최상위 레이어의 N 번째 비디오까지 2 개씩 입력받아 각각의 비트스트림을 분석하여 인코딩 정보를 추출한다(S360).If the next video is the Nth video of the uppermost layer (S350-YES), the video encoding apparatus 100 ends the encoding operation. Otherwise, the video encoding apparatus 100 ends the encoding operation from the third video of the next lower layer to the Nth video of the uppermost layer And receives and analyzes the respective bitstreams to extract encoding information (S360).

그리고, 비디오 인코딩 장치(100)는 2 개의 인코딩 정보를 바탕으로 SVC 재인코딩부(260)를 통해 해당 비트스트림을 매크로블록 단위로 최상위 N 번째 비디오까지 SVC 재인코딩을 수행한다(S340).In operation S340, the video encoding apparatus 100 performs SVC re-encoding of the corresponding bit stream on the macroblock basis to the highest Nth video through the SVC re-encoding unit 260 based on the two encoding information.

여기서, SVC 재인코딩부(260)는 도 5에 도시된 흐름도와 같이 각 매크로블럭별 재인코딩을 수행한다. 도 5는 본 발명의 실시예에 따른 각 매크로블럭별 SVC 재인코딩 과정을 설명하기 위한 동작 흐름도이다.Here, the SVC re-encoding unit 260 performs re-encoding for each macroblock as shown in the flowchart of FIG. 5 is a flowchart illustrating an SVC re-encoding process for each macroblock according to an embodiment of the present invention.

SVC 재인코딩부(260)는 입력되는 2 개의 인코딩(encoding) 정보를 바탕으로 상위 layer에 해당하는 비트스트림을 매크로블럭 단위로 수행한다.The SVC re-encoding unit 260 performs a bitstream corresponding to an upper layer on a macroblock-by-macroblock basis based on two pieces of encoding information to be input.

먼저, SVC 재인코딩부(260)는 하위와 상위 매크로블럭에 대응되는 매크로블럭의 디코딩 된 텍스처 정보를 업스케일링(up-scaling)하여 인터레이어 인트라 프리딕션을 수행하고 inter-layer intra prediction 영상을 구성한다(S510).The SVC re-encoding unit 260 up-scales the decoded texture information of the macroblocks corresponding to the lower and upper macroblocks to perform inter-layer intra prediction, and generates an inter-layer intra prediction video (S510).

이어, SVC 재인코딩부(260)는 다음 수학식 1과 같이 인터레이어 인트라 모드의 인코딩 코스트(encoding cost)를 산출한다(S520). Then, the SVC re-encoding unit 260 calculates the encoding cost of the inter-layer intra-mode according to Equation 1 (S520).

Figure 112016028683435-pat00001
Figure 112016028683435-pat00001

여기서 R은 inter mode일 때 motion vector를 전송하는 데 필요한 데이터 크기를 나타내는 cost이고, λ는 Lagrange multipler로써 예측오차 cost와 움직임 정보 cost의 weight를 표현하는 상수이다. Intra mode의 encoding cost의 경우에는 R이 zero가 된다.Where R is a cost representing the data size required to transmit the motion vector when in inter mode and λ is a Lagrange multiplier that is a constant expressing the prediction error cost and the weight of the motion information cost. For the encoding cost of Intra mode, R becomes zero.

이어, SVC 재인코딩부(260)는 수학식 1에 따라 현재 인코딩 모드의 인코딩 코스트를 산출한다(S530).Then, the SVC re-encoding unit 260 calculates the encoding cost of the current encoding mode according to Equation (1) (S530).

이어, SVC 재인코딩부(260)는 인터레이어 인트라 모드의 인코딩 코스트와 현재 인코딩 모드의 인코딩 코스트를 비교하여, 인터레이어 인트라 모드의 인코딩 코스트가 현재 인코딩 모드의 인코딩 코스트에 특정 상수값(α)을 더한 값보다 작으면(S540-예), 인터레이어 인트라 모드로 SVC 재인코딩을 수행하고(S550), 그렇지 않으면(S540-아니오) 현재의 인코딩 모드로 인코딩을 수행한다(S560).Then, the SVC re-encoding unit 260 compares the encoding cost of the interlaced intra-mode and the encoding cost of the current encoding mode, and determines whether the encoding cost of the inter-layer intra mode corresponds to the encoding cost of the current encoding mode, If it is smaller than the sum (S540-YES), SVC re-encoding is performed in the interlayer intra-mode (S550). Otherwise (S540-NO), encoding is performed in the current encoding mode (S560).

*이때, 특정 상수값(α)은 inter-layer intra mode로 재인코딩시의 cost가 현재 encoding mode보다 현저히 높은 효율을 보이지 않는다면 현재 encoding mode를 유지하도록 하는 역할을 한다.At this time, the specific constant value (?) Plays a role to maintain the current encoding mode if the cost in re-encoding in inter-layer intra mode does not show a remarkably higher efficiency than the current encoding mode.

전술한 바와 같이 본 발명에 의하면, 둘 이상의 멀티트랙 비디오를 해상도, 프레임율, 비트율에 따라 SVC 인코딩에 맞게 정렬하고, 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어(layer)의 1번째 비디오로부터 최상위 레이어의 비디오까지 각각의 비트스트림을 분석하여 인코딩 정보를 추출하며, 추출한 인코딩 정보를 기반으로 SVC 재인코딩을 실행하여 SVC 비디오를 생성할 수 있도록 된, 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치를 실현할 수 있다.As described above, according to the present invention, it is possible to arrange two or more multitrack videos according to the SVC encoding according to resolution, frame rate, and bit rate, and to arrange the multi-track video from the first video in the lowest layer among the aligned multi- A method and apparatus for encoding multitrack video into scalable video capable of extracting encoding information by analyzing each bit stream to a video and generating SVC video by executing SVC re-encoding based on the extracted encoding information Can be realized.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims and their equivalents. Only. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

본 발명은 컨텐츠 서버에서 사용자 단말기로 비디오를 포함하는 컨텐츠를 전송하는 서비스 및 시스템에 적용할 수 있다.The present invention can be applied to a service and a system for transmitting content including video to a user terminal from a content server.

또한, 사용자 단말기에 컨텐츠를 전송하기 위해 인제스팅 과정을 수행하는 컨텐츠 서버에 적용할 수 있다.In addition, the present invention can be applied to a content server that performs an ingesting process to transmit content to a user terminal.

그리고, 비디오 및 오디오를 포함하는 컨텐츠를 통신망을 이용해 서비스하는 컨텐츠 서버 또는 컨텐츠를 수신하여 디스플레이하는 사용자 단말기를 포함하는 컨텐츠 미디어 통신 시스템에 적용할 수 있다.In addition, the present invention can be applied to a content media communication system including a content server for providing content including video and audio using a communication network, or a user terminal for receiving and displaying content.

100 : 비디오 제공 시스템 110 : 비디오 인코딩 장치
120 : 통신망 130 : 사용자 단말기
210 : 통신부 220 : 원본비디오 저장부
230 : 멀티트랙비디오 인코더 240 : 비디오 정렬부
250 : 비트스트림 분석부 260 : SVC 재인코딩부
100: video providing system 110: video encoding device
120: communication network 130: user terminal
210: communication unit 220: original video storage unit
230: Multitrack video encoder 240: Video alignment unit
250: Bitstream analysis unit 260: SVC re-encoding unit

Claims (4)

(a) 하나의 컨텐츠에 대한 둘 이상의 멀티트랙 비디오를 SVC 인코딩에 맞게 정렬하는 단계;
(b) 상기 정렬된 멀티트랙 비디오 중에서 가장 하위 레이어의 1번째 비디오로부터 최상위 레이어의 비디오에 대한 비트스트림을 분석하여 인코딩 정보를 추출하는 단계;
(c) 상기 인코딩 정보를 기반으로 인터레이어 인트라 프리딕션을 수행하여 인터레이어 인트라 모드의 인코딩 코스트를 산출하는 단계;
(d) 현재 인코딩 모드의 인코딩 코스트를 산출하는 단계; 및
(e) 상기 두 인코딩 코스트를 비교하여 그 결과에 따라 현재 인코딩 모드 또는 인터레이어 인트라 모드로 SVC 재인코딩을 실행하는 단계;
를 포함하고,
상기 (a) 단계는, 상기 둘 이상의 멀티트랙 비디오에 대해 해상도가 높은 비디오가 더 높은 레이어(Layer)에 정렬되고, 해상도가 동일한 비디오 중에서 프레임율(frame rate)이 높은 비디오가 더 높은 레이어에 위치하도록 정렬되며, 해상도와 프레임율이 동일한 경우에 비트율(bitrate)이 높은 비디오가 더 높은 레이어에 위치하도록 정렬되는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.
(a) arranging two or more multitrack videos for one content according to SVC encoding;
(b) extracting encoding information by analyzing a bitstream of the highest layer video from the first video of the lowest layer among the aligned multitrack video;
(c) calculating an encoding cost of an interlayer intra mode by performing inter-layer intra prediction based on the encoding information;
(d) calculating an encoding cost of the current encoding mode; And
(e) comparing the two encoding costs and performing SVC re-encoding in a current encoding mode or an inter-layer intra mode according to the result;
Lt; / RTI >
In the step (a), a video having a high resolution for the two or more multitrack video is arranged on a higher layer, and a video having a higher frame rate than the video having the same resolution is positioned on a higher layer And wherein video with a high bitrate is aligned to be located in a higher layer if the resolution and the frame rate are the same.
제1항에 있어서,
상기 인코딩 코스트는 inter mode일 때 motion vector를 전송하는 데 필요한 데이터 크기를 나타내는 cost인 R 및 Lagrange multiplier로써 예측오차 cost와 움직임 정보 cost의 weight를 표현하는 상수인 λ 에 기초하여 산출되는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.
The method according to claim 1,
The encoding cost is calculated based on a constant representing the weight of the motion information cost and the prediction error cost as R and a Lagrange multiplier which is a cost indicating a data size required to transmit a motion vector when the inter mode is used A method for encoding multitrack video of a video encoding device into scalable video.
제2항에 있어서,
상기 인터레이어 인트라 모드의 인코딩 코스트의 경우에 R이 zero가 되는 것을 특징으로 하는 비디오 인코딩 장치의 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법.




3. The method of claim 2,
Wherein R is zero in the case of the encoding cost of the interlaced intra mode. ≪ Desc / Clms Page number 20 >




삭제delete
KR1020160035725A 2016-03-25 2016-03-25 Fast scalable video coding method and device using multi-track video KR101834531B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160035725A KR101834531B1 (en) 2016-03-25 2016-03-25 Fast scalable video coding method and device using multi-track video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160035725A KR101834531B1 (en) 2016-03-25 2016-03-25 Fast scalable video coding method and device using multi-track video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110035110A Division KR101853744B1 (en) 2011-04-15 2011-04-15 Fast scalable video coding method and device using multi-track video

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180022094A Division KR101990098B1 (en) 2018-02-23 2018-02-23 Fast scalable video coding method and device using multi-track video

Publications (2)

Publication Number Publication Date
KR20160037872A KR20160037872A (en) 2016-04-06
KR101834531B1 true KR101834531B1 (en) 2018-03-06

Family

ID=55790705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160035725A KR101834531B1 (en) 2016-03-25 2016-03-25 Fast scalable video coding method and device using multi-track video

Country Status (1)

Country Link
KR (1) KR101834531B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232521A1 (en) 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232521A1 (en) 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. Schwarz, et al. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard. IEEE Trans. on CSVT. Sep. 2007, Vol.17, No.9, pp.1103-1120*
J. D. Cock, et al. Architectures for Fast Transcoding of H.264/AVC to Quality-Scalable SVC Streams. IEEE Trans. on Multimedia. Nov. 2009, Vol.11, No.7, pp.1209-1224

Also Published As

Publication number Publication date
KR20160037872A (en) 2016-04-06

Similar Documents

Publication Publication Date Title
CN104813667B (en) Interframe layer prediction method and device for scalable video
CN111277826B (en) Video data processing method and device and storage medium
CN106105209A (en) The rank definition of multi-layer video codec
US11064211B2 (en) Advanced video coding method, system, apparatus, and storage medium
KR20140034149A (en) Adaptive bit rate control based on scenes
CN107071493A (en) Picture decoding method and use its device
US10750185B2 (en) High speed scalable video coding device and method using multi-track video
KR101853744B1 (en) Fast scalable video coding method and device using multi-track video
KR101990098B1 (en) Fast scalable video coding method and device using multi-track video
CN101888545B (en) Compression coding method for signal source with low code rate
KR101834531B1 (en) Fast scalable video coding method and device using multi-track video
KR101594411B1 (en) Method and device for encoding multi-track video to scalable video using fast motion estimation
KR101875853B1 (en) Method and device for encoding multi-track video to scalable video using fast motion estimation
KR101749613B1 (en) Method and device for encoding multi-track video to scalable video using fast motion estimation
KR101625441B1 (en) Method and device for encoding multi-track video to scalable video using fast motion estimation
KR101626757B1 (en) Method and device for encoding multi-track video to scalable video using fast motion estimation
KR20180080167A (en) Method and device for encoding multi-track video to scalable video using fast motion estimation
JP2011228785A (en) Format conversion device, video distribution apparatus, multiplexer, format conversion method, video distribution method and program
Uddin et al. Optimization and Evaluation of Emerging Codecs
Thang et al. An Evaluation of Screen Content Casting over Mobile and Wireless Networks
Pradeep Kumar et al. Intra-frame Prediction Mode Decision for Efficient Compression and Signal Quality
Aubry et al. Spatial downsizing impact in the transrating tradeoff for content/context awareness in media network

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right