KR20160108342A - 계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치 - Google Patents

계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160108342A
KR20160108342A KR1020167018942A KR20167018942A KR20160108342A KR 20160108342 A KR20160108342 A KR 20160108342A KR 1020167018942 A KR1020167018942 A KR 1020167018942A KR 20167018942 A KR20167018942 A KR 20167018942A KR 20160108342 A KR20160108342 A KR 20160108342A
Authority
KR
South Korea
Prior art keywords
bitstream
content
video
base layer
processing
Prior art date
Application number
KR1020167018942A
Other languages
English (en)
Inventor
줄리앙 리까르
마리-뤽 샹펠
팽자슈 조앙 라슈
셀린 귀드
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160108342A publication Critical patent/KR20160108342A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

계층화된 코딩된 콘텐츠가 고정된 용량 네트워크 링크 상으로 송신될 경우, 비트레이트 피크들이 베이스 계층 및 인핸스먼트 계층에서의 유사한 시간 인스턴스들에서 발생할 수도 있다. 대역폭을 더 효율적으로 사용하기 위하여, 본 원리들은 베이스 계층 비트 스트림 또는 인핸스먼트 계층 비트 스트림에 지연을 부가하는 것 및 시간 윈도우에 의해 비트들의 "한계 초과" 부분을 시프트하는 것과 같은 상이한 방법들을 제안한다. 수신기 측에서, 본 원리들은 상이한 채널 변경 메커니즘들을 제공하여 사용자로 하여금 지연이 비트 스트림들에 부가되었다고 하더라도, 채널을 신속하게 변경하게 한다. 특히, 디코더는, 인핸스먼트 계층이 이용가능할 것을 대기해야 하지 않고도 베이스 계층 콘텐츠를 렌더링하기 시작할 수 있다. 일 실시형태에 있어서, 베이스 계층 콘텐츠의 디코딩은 인핸스먼트 계층 콘텐츠와 시간적으로 정렬하기 위해 감속된다.

Description

계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치{METHOD AND APPARATUS FOR MULTIPLEXING LAYERED CODED CONTENTS}
본 출원은 2014년 1월 14일자로 출원되고 이에 의해 그 전부가 참조로 통합되는 다음의 유럽 특허출원 제14305052.4호의 출원일의 이익을 주장한다.
본 발명은 멀티플렉싱을 위한 방법 및 장치에 관한 것으로서, 더 상세하게는, 계층화된 코딩된 콘텐츠에 대응하는 다중의 비트 스트림들을 멀티플렉싱하기 위한 방법 및 장치 그리고 그 다중의 비트 스트림들을 프로세싱하기 위한 방법 및 장치에 관한 것이다.
오디오 비디오 (AV) 스트림들을 전송할 경우, 하나의 일반적인 난제는 각각의 AV 서비스의 품질이 용인 임계치 초과로 남겨짐을 보장하면서 (고정된 대역폭을 갖는) 고정된 용량 네트워크 링크 내에서 가능한 많은 스트림들 (채널들) 을 전송하는 것이다.
고정 비트레이트 (CBR) 스트림들을 이용할 경우, AV 서비스들 간의 가용 대역폭을 공유하기 위해 간단한 시분할 멀티플렉싱이 종종 사용된다. 이는 각각의 서비스로의 대역폭 할당의 관점에서 간단하지만, 이는 AV 코딩의 관점에서 불행히도 비효율적이다. 실제로, CBR 코딩을 이용할 경우, 시퀀스들은 그 복잡도에 무관하게 동일한 비트레이트로 코딩된다.
가변 비트레이트 (VBR) 코딩은, 더 낮은 복잡도를 갖는 시퀀스에 대해 더 낮은 비트레이트들이 사용됨을 보장하면서 더 높은 복잡도를 갖는 시퀀스들 (예를 들어, 더 많은 상세들, 더 많은 움직임을 갖는 시퀀스들) 에 대해 더 높은 비트레이트들을 소비하는 것을 허용한다. 얼마나 많은 비트레이트가 소정의 인스턴스에서 오디오/비디오 콘텐츠의 코딩에 전용될 것인지를 결정하기 위해 오디오/비디오 콘텐츠의 복잡도가 통상 계산된다.
수개의 VBR 스트림들이 고정된 용량 네트워크 링크 내에서 전송될 수도 있다. 예를 들어, 도 1a 는, 예시적인 시퀀스들 (HDl, HD2, HD3 및 HD4) 이 점선으로 도시된 바와 같은 고정된 용량을 갖는 네트워크 링크를 통해 함께 송신됨을 도시한다. 수개의 VBR 스트림들을 고정된 용량 네트워크 링크 내에서 전송할 경우, 수개의 VBR 스트림들의 집성으로부터 기인한 스트림이 네트워크 링크 용량을 초과하지 않을 것과 전체 가용 대역폭을 가장 잘 가능하게 이용할 것을 확실히 하길 원한다. 이러한 문제에 대한 흔한 솔루션은 통계적 멀티플렉싱이다.
통계적 멀티플렉싱은, 일 스트림으로부터의 통계적으로 더 높은 복잡도의 장면들이 동일한 네트워크 링크에서의 다른 스트림으로부터 더 낮은 복잡도의 장면들과 동시에 발생할 수 있다는 가정에 기초한다. 따라서, 복잡한 장면들을 코딩하기 위해 사용되는 여분의 대역폭은 동시적인 덜 복잡한 장면들의 코딩에 대한 대역폭 절약으로부터 비롯될 수 있다. 통계적 멀티플렉싱은, 통상, 모든 AV 스트림들의 복잡도를 실시간으로 평가하고, 그 후, 모든 스트림들의 복잡도를 고려하여 스트림들 각각 중에 전체 가용 대역폭을 할당한다. 수개의 스트림들이 대역폭을 위해 경합할 경우, 대역폭 공유에 대해 결정하기 위해 간단한 우선순위들과 같은 부가적인 메커니즘들이 사용될 수도 있다.
본 발명은 종래기술의 단점들의 일부를 치유하기 위해 착수한다. 특히, 일부 실시형태들에 있어서, 본 발명은 멀티플렉싱 이후 비트레이트 피크들을 감소하게 할 수 있다. 본 원리들은 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법을 제공하고, 그 방법은 제 1 비트 스트림 및 제 2 비트 스트림에 액세스하는 단계로서, 제 1 비트 스트림은 계층화된 코딩된 콘텐츠의 베이스 계층 및 계층화된 코딩된 콘텐츠의 인핸스먼트 계층 중 하나에 대응하고, 제 2 비트 스트림은 계층화된 코딩된 콘텐츠의 베이스 계층 및 계층화된 코딩된 콘텐츠의 인핸스먼트 계층 중 다른 하나에 대응하는, 상기 제 1 비트 스트림 및 제 2 비트 스트림에 액세스하는 단계; 제 2 비트 스트림을 제 1 시간 지속기간만큼 지연시키는 단계; 및 제 1 비트 스트림 및 지연된 제 2 비트 스트림을 하기에서 설명된 바와 같이 멀티플렉싱하는 단계를 포함한다.
일 실시형태에 따르면, 그 방법은 네트워크 링크의 용량을 초과하는 멀티플렉싱된 스트림들에서의 비트들을 결정하는 단계; 및 결정된 비트들을 제 2 시간 지속기간만큼 시간 시프트하는 단계를 더 포함한다.
일 실시형태에 따르면, 그 방법은 계층화된 코딩된 콘텐츠에 대한 인코딩 파라미터들에 응답하여 제 1 시간 지속기간을 결정하는 단계를 더 포함하고, 그 인코딩 파라미터들은 픽처 그룹 (GOP) 길이 및 GOP 구조 중 적어도 하나를 포함한다. 변형예에 따르면, 제 1 시간 지속기간은 GOP들로 변한다.
일 실시형태에 따르면, 그 방법은 제 1 시간 지속기간을 나타내는 정보 및 멀티플렉싱된 스트림들을 송신하는 단계를 더 포함한다.
본 원리들은 또한 이들 단계들을 수행하기 위한 장치를 제공한다.
일 실시형태에 따르면, 그 장치는 서버 및 비디오 멀티플렉서 중 하나 내에 배치된다.
일 실시형태에 따르면, 그 장치는 송신 안테나, 송신 안테나에 대한 인터페이스, 비디오 인코더, 비디오 메모리, 비디오 서버, 비디오 카메라와의 인터페이스, 및 비디오 카메라를 포함한다.
본 원리들은 또한 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법을 제공하고, 그 방법은 제 1 비트 스트림을 프로그램 콘텐츠의 제 1 표현으로 디코딩하는 단계; 제 1 비트 스트림의 디코딩으로부터의 지연 이후 제 2 비트 스트림을 프로그램 콘텐츠의 제 2 표현으로 디코딩하는 단계로서, 제 1 비트 스트림은 계층화된 코딩된 콘텐츠의 베이스 계층 및 계층화된 코딩된 콘텐츠의 인핸스먼트 계층 중 하나에 대응하고, 제 2 비트 스트림은 계층화된 코딩된 콘텐츠의 베이스 계층 및 계층화된 코딩된 콘텐츠의 인핸스먼트 계층 중 다른 하나에 대응하는, 상기 제 2 비트 스트림을 디코딩하는 단계; 및 제 1 표현 및 제 2 표현에 대응하는 신호들을 하기에서 설명된 바와 같이 렌더링을 위해 출력하는 단계를 포함한다.
일 실시형태에 따르면, 그 방법은 제 1 표현을, 제 1 비트 스트림, 제 2 비트 스트림, 및 전송 스트림 중 적어도 하나에 명시된 속도보다 더 느린 속도로 렌더링하는 단계를 더 포함한다.
일 실시형태에 따르면, 그 방법은 제 1 표현을, 제 1 및 제 2 표현들의 렌더링이 시간적으로 정렬된 이후 명시된 속도로 렌더링하는 단계를 더 포함한다.
일 실시형태에 따르면, 그 방법은 제 1 비트 스트림, 제 2 비트 스트림, 및 전송 스트림으로부터의 지연을 나타내는 정보를 디멀티플렉싱하는 단계를 더 포함한다.
본 원리들은 또한 이들 단계들을 수행하기 위한 장치를 제공한다.
일 실시형태에 따르면, 그 장치는 안테나 또는 안테나에 대한 인터페이스, 통신 인터페이스, 비디오 디코더, 비디오 메모리, 및 디스플레이 중 하나 이상을 포함한다.
본 원리들은 또한, 상기 설명된 방법들에 따른, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 명령들이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.
도 1a 는 고정된 용량 네트워크 링크를 통해 송신되는 4개의 예시적인 시퀀스들을 도시한 도식예이고, 도 1b 는 고정된 용량 네트워크 링크를 통해 송신되는, 계층화된 코딩으로부터의 베이스 계층 비트 스트림 및 인핸스먼트 계층 비트 스트림을 도시한 도식예이다.
도 2 는 본 원리들의 일 실시형태에 따른, 베이스 계층 비트 스트림 (HD1) 에 관하여 지연 (D) 만큼 시프트된 인핸스먼트 계층 비트 스트림 (UHD1) 을 도시한 도식예이다.
도 3 은 본 원리들의 일 실시형태에 따른, 멀티플렉싱을 수행하기 위한 예시적인 방법을 도시한 플로우 다이어그램이다.
도 4 는 본 원리들의 일 실시형태에 따른, 채널 변경을 수행하기 위한 예시적인 방법을 도시한 플로우 다이어그램이다.
도 5 는 본 원리들의 일 실시형태에 따른, 채널 변경을 수행하기 위한 다른 예시적인 방법을 도시한 플로우 다이어그램이다.
도 6a 및 도 6b 는, 각각 "리플레이" 모드 및 "대기" 모드에 있어서, 도 4 에서 설명된 방법에 따라 시간에 걸쳐 무엇이 사용자에게 제시될 수 있는지를 도시한 도식예들이고, 도 6c 는 도 5 에서 설명된 방법에 따라 시간에 걸쳐 무엇이 사용자에게 제시될 수 있는지를 도시한 도식예이고, 도 6d 는 도 5 에서 설명된 방법에 따라 베이스 계층 및 인핸스먼트 계층 렌더링이 정렬될 수 있음을 도시한다.
본 원리들의 일 실시형태에 따라, 도 7a 는, 각각의 채널이 베이스 계층 및 인핸스먼트 계층을 갖는 2개의 채널들로부터의 비트 스트림들을 도시한 도식예이고, 도 7b 는 비트들의 "한계 초과 (over-the-limit)" 부분이 시간 윈도우에 의해 시프트됨을 도시한 도식예이다.
도 8 은 본 원리들의 일 실시형태에 따른, 예시적인 송신 시스템을 도시한 플로우 다이어그램이다.
도 9 는 본 원리들의 일 실시형태에 따른, 예시적인 수신 시스템을 도시한 플로우 다이어그램이다.
도 10 은 본 원리들의 일 실시형태에 따른, 다른 예시적인 수신 시스템을 도시한 플로우 다이어그램이다.
동일한 콘텐츠의 2개의 표현들을 전송할 경우, 그들 각각을 별도로 코딩하는 것보다는 계층화된 코딩을 사용하고 그들을 동일한 네트워크 링크 상으로 동시에 전송하는 것이 유리할 수도 있다. 계층화된 코딩에 있어서, 베이스 계층 (BL) 은 기본 품질을 제공하는 한편, 연속하는 인핸스먼트 계층들 (EL) 은 품질을 증분적으로 정세한다. 예를 들어, 동일 콘텐츠의 HD 및 울트라HD (UHD) 버전들 양자가 하나의 계층화된 코딩된 콘텐츠로서 전달될 수 있으며, 이 계층화된 코딩된 콘텐츠에서, 베이스 계층은 미디어의 HD 버전을 포함하고 인핸스먼트 계층은 HD 콘텐츠로부터 울트라HD 콘텐츠를 재구축하는데 필요한 여분의 정보를 포함한다.
계층화된 코딩에 있어서, 베이스 계층 및 인핸스먼트 계층들이 동일한 콘텐츠를 상이한 품질들로 표현하기 때문에, 그 코딩 복잡도 (따라서, 코딩 이후의 적당한 품질에 대한 그 비트레이트 필요성들) 는 통상 유사한 경향을 따르며, 그 비트레이트들은 유사한 시간 인스턴스들에서의 피크들 및 드롭들을 나타낸다. 그러한 비트레이트 피크들은, 상이한 스트림들로부터의 피크들 및 드롭들이 통계적으로 거의 공존하지 않을 것이라고 가정하는 통계적 멀티플렉싱에 대한 문제들을 야기할 수도 있다. 특히, 상이한 비트 스트림들로부터의 동시적인 비트레이트 피크들은 전체 대역폭 사용의 관점에서 총 피크를 생성할 수 있으며, 베이스 계층 및 인핸스먼트 계층들 양자에 대한 비트레이트 필요성은 이 서비스에 전용된 네트워크 링크 용량을 초과할 수도 있다.
예를 들어, 도 1b 에 도시된 바와 같이, 동일한 콘텐츠의 HD 및 울트라HD 버전은 계층화된 코딩을 이용하여 인코딩되고, 결과적인 BL 및 EL 비트 스트림들 (HD1 및 UHD1) 은 점선으로 도시된 바와 같은 고정된 용량을 갖는 네트워크 링크를 통해 함께 송신된다. HD1 및 UHD1 은 거의 동시에 비트레이트 피크들을 가지며, 전체 비트레이트는 비트레이트 피크 주변에서 최대 가용 대역폭을 초과한다. 대역폭 오버플로우를 회피하기 위해, 더 낮은 비트레이트 따라서 더 낮은 서비스 품질이 HD1 또는 UHD1 비트 스트림을 재생하는데 사용될 수도 있다.
본 원리들에 있어서, 계층화된 코딩 콘텐츠에 대하여 통계적 멀티플렉싱을 적응시키기 위한 상이한 방법들을 제안한다. 일 실시형태에 있어서, 상이한 계층들로부터의 비트레이트 피크들이 더 이상 동시에 발생하지 않고 총 피크의 진폭이 감소될 수 있도록 인핸스먼트 계층 비트 스트림 또는 베이스 계층 비트 스트림에 지연을 도입한다.
다음의 예들에 있어서, 계층화된 코딩에서 오직 하나의 인핸스먼트 계층이 존재하고 계층화된 코딩은 비디오 콘텐츠에 적용된다고 가정할 수도 있다. 본 원리들은, 더 많은 인핸스먼트 계층들이 존재할 경우에 적용될 수 있으며, 다른 타입의 미디어, 예를 들어, 오디오 콘텐츠에 적용될 수 있다. 본 출원에 있어서, 베이스 계층에 대응하는 오리지널 또는 디코딩된 콘텐츠를 지칭하기 위해 용어 "BL 버전" 또는 "BL 콘텐츠" 를 사용하고, 인핸스먼트 계층에 대응하는 오리지널 또는 디코딩된 콘텐츠를 지칭하기 위해 용어 "EL 버전" 또는 "EL 콘텐츠" 를 사용한다. EL 버전을 디코딩하기 위해, 베이스 계층이 통상 필요함을 유의한다.
도 2 는 인핸스먼트 계층 비트 스트림 (UHD1) 이 지연 (D) 만큼 시프트되는 예를 도시한다. 지연을 도입함으로써, 도 1b 에서 도시된 높은 피크는 이제 D 의 지속기간에 걸쳐 이격된 2개의 더 낮은 피크들로 변환된다.
도 3 은 본 원리들의 일 실시형태에 따른 멀티플렉싱을 수행하기 위한 예시적인 방법 (300) 을 도시한다. 도 3 은 단계 305 에서 시작한다. 단계 310 에서, 초기화를 수행하며, 예를 들어, 지연 (D) 의 지속기간을 결정하고 또한 베이스 계층 비트 스트림 또는 인핸스먼트 계층 비트 스트림이 지연되게 되는지 여부를 결정할 수도 있다. 단계 320 에서, 예를 들어, 계층화된 코더 또는 서버로부터, 베이스 계층 비트 스트림 및 인핸스먼트 계층 비트 스트림에 액세스한다. 단계 330 에서, 베이스 계층 비트 스트림 또는 인핸스먼트 계층 비트 스트림이 D 의 지속기간만큼 지연된다. 그 후, 가능하게는 지연된 베이스 계층 및 인핸스먼트 계층으로부터의 비트 스트림들은 단계 340 에서 멀티플렉싱된다. 방법 (300) 은 단계 399 에서 종료한다.
지연 (D) 은 고정될 수도 있으며, 예를 들어, MPEG 표준들에 따라 설명된 바와 같이 인코딩 파라미터들에 기초하여, 예를 들어, 픽처 그룹 (GOP) 길이 및 GOP 구조에 기초하여 결정될 수 있다. 일 예에 있어서, 지연 (D) 은 GOP 길이의 지속기간의 절반으로 설정될 수 있다. D 의 값을 GOP별로 변경하는 것이 또한 가능하다. 일 예에 있어서, D 는 코딩 구조 (인트라 전용, IPPPP, IBBB, 또는 랜덤 액세스) 및/또는 GOP 길이에 의존하여 GOP 로 변경할 수도 있다. 다른 예에 있어서, 인핸스먼트 계층의 품질이 매우 낮으면, 인핸스먼트 계층 비트레이트 피크들이 작을 수 있기 때문에 지연이 작을 수 있다. 지연 (D) 을 GOP별로 변경하면, 디코더는 그 버퍼 사이즈를 결정하기 위해 D 의 최대 값 (Dmax) 을 알 필요가 있으며, Dmax 는 디코더에 시그널링되어야 한다.
일부 GOP 구조, 예를 들어, I0P8B4B2blb3B6b5b7 에 있어서, 디스플레이 순서 (b1) 에서의 제 1 이미지 (I0) 와 제 2 이미지의 수신 사이에 현저한 지연이 존재한다. 데이터가 디코딩에서 소진되는 시나리오를 회피하기 위해, 본 출원에 있어서, 전체 GOP 는 GOP 를 디코딩하기 시작하기 전에 필요하다고 가정한다. 본 원리들은 또한, 디코딩이 상이한 시간에 시작할 경우에 적용될 수 있다.
종래의 MPEG 비디오 코딩에 있어서, 최대 채널 변경 시간 (잽 시간으로서 또한 공지됨) 은 통상 2 GOP 시간들이다. 계층화된 코딩에 대해, 오직 베이스 계층이 수신 및 디코딩된 이후에만 인핸스먼트 계층이 디코딩될 수 있기 때문에, 인핸스먼트 계층에 대한 채널 변경 시간은 2 최대 GOP 시간들과 동일하며, 여기서, 최대 GOP 시간은 소정의 계층을 디코딩하는데 필요한 베이스 계층 및 인핸스먼트 계층(들) 중에서 사용된 최대 GOP 시간이다. BL 및 EL들이 동일한 GOP 사이즈를 가질 경우, 채널 변경 시간은 종래의 MPEG 비디오 코딩에서와 동일한 2 GOP 시간들이다.
방법 (300) 에서 도시된 바와 같이, 지연이 인핸스먼트 계층 또는 베이스 계층에 부가될 수 있다. 지연이 인핸스먼트 계층에 관하여 베이스 계층에 부가될 경우 (즉, 베이스 계층 전에 인핸스먼트 계층이 전송됨), 베이스 계층의 제 1 전체 GOP (BL GOP) 가 수신되고 디스플레이를 위해 준비될 때, 인핸스먼트 계층의 제 1 전체 GOP (EL GOP) 가 또한 수신되었고 렌더링이 EL 버전에서 바로 시작할 수 있다. 베이스 계층에서보다 인핸스먼트 계층에서 더 긴 GOP들이 사용되면 (이는 종종있는 경우임), 제 1 EL GOP 는 제 1 전체 BL GOP 가 수신될 때 전부 수신되지 않을 수도 있으며, 그 후, 베이스 계층은 먼저 렌더링되어야 하고, 지연이 베이스 계층에 관하여 인핸스먼트 계층에 부가되는 시나리오에 대해 하기에서 설명되는 바와 같이 인핸스먼트 계층으로의 스위칭이 수행될 수 있다. 인핸스먼트 계층에 관하여 베이스 계층에 지연을 부가하는 하나의 이점은, 라이브 이벤트들을 제외하면 통상적으로 문제가 아닌, 여분의 플레이백 지연이 존재할 수도 있더라도, 인핸스먼트 계층에 대한 채널 변경 시간이 감소된다는 점이다.
지연이 베이스 계층에 관하여 인핸스먼트 계층에 부가될 경우, 인핸스먼트 계층의 채널 변경 시간은 (2 GOP 시간들 + D) 가 된다. 부가적인 지연 (D) 은 채널 변경 시간을 너무 길게 한다. 이는 또한, 소정의 콘텐츠에 대해 채널이 EL 버전 (예를 들어, 울트라HD) 보다 BL 버전 (예를 들어, HD) 에 대해 왜 훨씬 더 빠르게 변하는지를 사용자들이 이해하기 어렵게 만들 수도 있다.
채널 변경 시간을 감소하기 위해, 본 원리들은, 예를 들어, 방법들 (400 및 500) 에 있어서 하기에서 더 설명되는 바와 같이, EL 콘텐츠에 대한 상이한 채널 변경 메커니즘을 제공한다.
도 4 는 본 원리들의 일 실시형태에 따른 채널 변경을 수행하기 위한 예시적인 방법 (400) 을 도시한다. 단계 410 에서, (시간 T0 에서) 사용자가 새로운 스트림으로의 채널 변경을 요청할 경우, 새로운 스트림의 BL 및 가능하게는 EL 비트 스트림들을 수신한다. 단계 420 에서, (시간 T1 에서) 하나의 풀(full) BL GOP 가 수신될 때까지 BL (및 EL) 을 계속 버퍼링한다. 단계 430 에서, BL 콘텐츠를 디코딩하여 디스플레이로 렌더링한다. 이 지점까지 수행된 것은 BL 에 대한 통상적인 채널 변경임을 유의한다.
시간 T1 에서, EL 비트 스트림이 D 만큼 지연되기 때문에 EL 콘텐츠가 아닌 BL 콘텐츠를 디스플레이할 수 있다. 표기의 용이를 위해, 렌더링될 i번째 프레임을 표기하기 위해 Fi 를 사용한다. 단계 440 에서, (시간 T2 에서) 하나의 풀 EL GOP 가 수신될 때까지, EL 비트 스트림을 버퍼링하면서 BL 콘텐츠를 계속 디코딩 및 렌더링한다.
시간 T2 에서, 디코더는 이제 EL 콘텐츠에 대한 제 1 프레임 (F0) 을 디코딩 및 디스플레이할 준비가 되지만 BL 콘텐츠에 대한 제 1 프레임 (F0) 은, EL 이 D (D = T2 - T1) 만큼 지연되기 때문에 시간 T1 에서 이미 렌더링되었다. 2개의 계층들이 재동기화하기 위해, 2개의 모드들이 사용될 수 있다:
- "리플레이" 모드: 디스플레이는 시간 T2 에서 EL 버전으로 스위칭하고 제 1 EL 프레임은 다시 F0 일 것임. 즉, 콘텐츠는 뒤로 되돌아 가거나 짧은 기간 동안 리플레이되는 것으로 보일 수도 있음.
- "대기" 모드: 디스플레이 프레임 (Fn(BL)) 으로부터 디스플레이 프레임 (Fn+1(EL)) 로 스위칭하기 위해 디스플레이 프로세스는 시간 T2 에서 일시중지됨.
시간 T2 에서, 사용자는 EL 버전으로 스위칭하기 위해 예를 들어 팝업을 통해 옵션을 갖는다 (단계 450). 사용자가 결정하고 있는 동안 (예를 들어, 팝업이 사용자에게 제시될 경우), BL 버전은 백그라운드에서 여전히 렌더링될 수 있다. 사용자가 EL 버전으로 스위칭하지 않도록 선택하면, BL 디코딩 및 렌더링이 단계 460 에서 계속된다. 그렇지 않고 사용자가 EL 버전으로 스위칭하도록 결정하면, 디코더는, 단계 470 에서, 예를 들어, "리플레이" 모드 또는 "대기" 모드를 사용하여 EL 프레임을 디코딩 및 렌더링하기 시작한다.
방법 (400) 의 이점은 간단하다는 점이고, 사용자로 하여금 BL 버전들을 봄으로써 수개의 채널들에 걸쳐 신속히 변경하게 하고 그리고 실제로 이용가능할 경우에만 EL 버전을 관찰할 옵션이 사용자에게 제공된다는 점이다. 일 실시형태에 있어서, 디코더는, 그러한 옵션을 디스플레이할지 또는 이용가능하게 될 때 EL 버전으로 항상 자동으로 스위칭할지를 결정하도록 하는 사용자 설정을 제안할 수도 있다.
사용자가 BL 버전으로부터 EL 버전으로 스위칭할 경우, 품질이 현저히 개선되고 사용자는 품질 점프를 주목할 수도 있다. 품질 천이를 평활화하기 위해, 예를 들어, Yuriy Reznik, Eduardo Asbun, Zhifeng Chen, 및 Rahul Vanam 에 의한 "Method and apparatus for smooth stream switching in MPEG/3GPP-DASH" 의 명칭인 미국출원 제13/868,968호에 기술된 방법을 이용하여, BL 로부터 EL 로의 점진적 "업스케일링" 을 사용할 수 있다.
도 6a 는 사용자 요청식 채널 변경에 응답하여 방법 (400) 에 따라 시간에 걸쳐 무엇이 사용자에게 제시될 수 있는지를 도시하며, 여기서, 사용자는 "리플레이" 모드에서 EL 버전으로 스위칭하도록 선택한다. 시간 T0 에서, 사용자는 채널 변경을 요청한다. 시간 T1 에서, 풀 BL GOP 가 이용가능하게 되고, BL 에 대해 프레임 (F0) 으로부터 시작하는 BL 콘텐츠를 디코딩 및 렌더링한다. 시간 T2 에서, 풀 EL GOP 가 이용가능하게 되고 EL 스트림을 디코딩한다. 또한 버퍼링된 BL 콘텐츠를 이용하여, F0 의 EL 버전을 렌더링한다. 총 렌더링된 시퀀스는 F0(BL), F1(BL), F2(BL), ..., Fn(BL), F0(EL), F1(EL), F2(EL), ..., Fn(EL), Fn+1(EL), Fn + 2(EL), ... 이다. "리플레이" 모드에 있어서, 프레임들 (F0 내지 Fn) 은 2회 플레이되며, 즉, 먼저는 BL 버전에서, 그 후, EL 버전에서 플레이됨을 주목한다.
도 6a 는 사용자 요청식 채널 변경에 응답하여 방법 (400) 에 따라 시간에 걸쳐 무엇이 사용자에게 제시될 수 있는지를 도시하며, 여기서, 사용자는 "대기" 모드에서 EL 버전으로 스위칭하도록 선택한다. 시간 T0 에서, 사용자는 채널 변경을 요청한다. 시간 T1 에서, 풀 BL GOP 가 이용가능하게 되고, BL 에 대해 프레임 (F0) 으로부터 시작하는 BL 콘텐츠를 디코딩 및 렌더링한다. 시간 T2 에서, 풀 EL GOP 가 이용가능하게 되고 EL 스트림을 디코딩한다. 시간 T1 과 시간 T2 사이에서, 프레임들 (F0 내지 Fk) 이 렌더링되었다. BL 콘텐츠의 렌더링은 시간 T2 에서, 일 기간 동안, EL 콘텐츠의 (k+1)번째 프레임이 이용가능하게 될 때까지 일시중지된다. 총 렌더링된 시퀀스는 F0(BL), F1(BL), F2(BL), ..., Fk(BL), 일시중지(D), Fk +1(EL), Fk + 2(EL), ...이다. "대기" 모드에 있어서, 디스플레이된 비디오는, BL 버전이 EL 버전으로 스위칭할 경우에 일시중지를 나타낼 수도 있다.
도 5 는 본 원리들의 다른 실시형태에 따른 채널 변경을 수행하기 위한 다른 예시적인 방법 (500) 을 도시한다. 일반성을 잃지 않고, BL 및 EL 의 프레임 레이트들이 동일하다고 가정한다. 본 원리들은 프레임 레이트들이 상이할 경우에 여전히 적용될 수 있다.
단계 510 에서, 베이스 계층 비트 스트림에 액세스한다. 단계 520 에서, 풀 BL GOP 가 수신될 경우에 디코딩이 시작할 수 있을 때까지 BL 스트림을 버퍼링한다. 단계 530 에서, 인핸스먼트 계층 비트 스트림에 액세스한다. 단계 540 에서, 풀 EL GOP 가 수신될 경우에 디코딩이 시작할 수 있을 때까지 EL 스트림을 버퍼링한다. 지연 (D) 의 부가로 인해, BL 은 N 프레임들 만큼 EL 에 앞서며, 여기서,
Figure pct00001
이다.
지연 (D) 로 인해, 디코딩의 시작부에서, BL 및 EL들로부터의 디코딩된 프레임들은 정렬되지 않을 수도 있다. BL 및 EL 콘텐츠들의 렌더링을 시간적으로 정렬하기 위해, 본 실시형태들은, 그들이 정렬되기 전에, 단계 560 에서, BL 의 렌더링을 m% 만큼 감속하도록 제안한다. 비디오 콘텐츠는 통상, 비트 스트림에서의 플레이백을 위해 명시된 프레임 레이트로 렌더링됨을 유의한다. 하지만, 방법 (500) 에 있어서, BL 과 EL 을 정렬하기 위해, BL 의 렌더링은 특정 프레임 레이트보다 m% 더 느리다. 결과적으로, 어떤 시간 T3 에서, BL 및 EL 콘텐츠 양자는 정렬될 것이고 동일한 프레임을 동시에 제공할 것이다. 단계 550 에서 BL 및 EL 콘텐츠들이 정렬된다고 결정하면, 단계 570 에서, 비트스트림에서 명시된 바와 같은 정규 속도로 BL 및 EL 을 렌더링한다. 방법 (500) 을 이용하여, 디코더는 프레임 플로우를 중단하지 않고 BL 로부터 EL 로 이음매없이 스위칭할 수 있다.
시간 T3 은 다음의 공식을 이용하여 획득될 수 있다:
T3 = T1 + D * 100 / m.
m 의 선택이 중요하다. m 이 커질수록, 사용자가 감속 효과를 주목할 가능성이 더 많아지며, 따라서, m 을 낮게 유지하는 것이 중요하다. 한편, m 이 작아질수록, (시간 T3 에서) BL 및 EL 이 정렬되는데 더 긴 시간이 걸릴 것이다. 디코더에서 결정되게 되는 트레이드-오프가 존재한다. 그러한 디코더 설정은 사용자에게 제시될 수도 있거나 제시되지 않을 수도 있다.
렌더링 속도에서의 감소가 충분히 낮을 경우 (즉, 작은 값의 m), 비디오 상의 감속은 통상적으로 사용자에 의해 거의 지각불가능하다. 하지만, 오디오 스트림의 감속은 더 주목할만 하며, 그 감속을 은닉하기 위해 사운드의 피치를 변경하도록 일부 기존의 솔루션들을 사용할 수도 있다.
도 6c 는 사용자 요청식 채널 변경에 응답하여 방법 (500) 에 따라 시간에 걸쳐 무엇이 사용자에게 제시될 수 있는지를 도시한다. 시간 T0 에서, 사용자는 채널 변경을 요청한다. 시간 T1 에서, 풀 BL GOP 가 이용가능하게 되고, BL 에 대해 프레임 (F0) 으로부터 시작하는 BL 콘텐츠를 디코딩 및 렌더링한다. 시간 T2 에서, 풀 EL GOP 가 이용가능하게 되고 EL 스트림을 디코딩한다. 시간 T3 에서, BL 및 EL 콘텐츠의 디코딩은 정렬된다. 시간 T1 과 시간 T3 사이에서, BL 콘텐츠는 캐치업하기 위해 EL 에 대해 더 느린 속도로 렌더링되고, EL 스트림은 디코딩되지만 렌더링되지 않는다. 시간 T3 이후, BL 및 EL 콘텐츠 양자는 정규 속도로 렌더링된다. 도 6a 와는 상이하게, 각각의 프레임은 오직 1회 플레이되고, BL 로부터 EL 로의 스위치는 이음매없다.
예로서 10개 프레임들을 사용하여, 도 6d 는 방법 (500) 에 따라 BL 및 EL 렌더링이 어떻게 정렬되는지를 도시한다. 감속 팩터에 의존하여, 수개의 GOP들이 BL 및 EL 양자를 정렬하는데 필요할 수도 있음을 유의한다.
상기 논의된 바와 같이, 베이스 계층 또는 인핸스먼트 비트 스트림에 지연을 부가하는 것은 BL 및 EL 스트림들의 동시적인 비트레이트 피크들을 감소시키는데 도움을 주고, 따라서, 대역폭을 더 효율적으로 사용한다. 하지만, 종종, 대역폭 오버플로우를 완전히 제거하기에 충분하지 않을 수도 있다. 따라서, 지연 (D) 을 부가하는 것에 추가하여, 본 원리들은 또한 비트스트림을 송신할 경우에 시간 윈도우 (W) 를 사용하는 것을 제안한다.
시간 윈도우가 어떻게 작동하는지를 예시하기 위해, 도 7a 는 베이스 계층과 인핸스먼트 계층 간의 지연을 사용하지 않는 2개의 채널들로부터의 비트스트림들을 도시한다. 도면에서의 각각의 바는 본 출원에서의 논의의 목적으로 일 시간 단위에 대응한다. 채널 1 에 대한 콘텐츠는 2개의 계층들: HD1 및 UHD1 을 사용하여 인코딩되고, 채널 2 에 대한 콘텐츠는 또한, 2개의 계층들: HD2 및 UHD2 를 사용하여 인코딩된다. 각각의 채널은, 채널 1 에 대해 시간 = 5 주변에서 그리고 채널 2 에 대해 시간 = 12 주변에서, 하나의 피크를 갖는다. 도 7a 에 도시된 바와 같이, 집성된 비트 스트림은 최대 대역폭을 초과한다.
비트 스트림들을 고정된 대역폭으로 피팅하기 위해, 대역폭을 초과하는 비트들은 시간 윈도우 (W) 내에서 앞 또는 뒤로 시프트된다. 결과적으로, 모든 스트림들이 네트워크 링크 용량 내에서 송신될 수 있다. 표기의 용이를 위해, 대역폭을 초과하는 비트들의 부분을 "한계 초과" 부분 (UHD2') 으로서 표기한다. 시간 윈도우를 사용하는 일 예가 도 7b 에 도시되며, 도 7b 는 도 7a 에 도시된 바와 동일한 비트 스트림들에 대해 작동한다. 도 7b 에 도시된 바와 같이, t=4 로부터 t=12 까지의 한계 초과의 모든 데이터가 윈도우 (t=1 로부터 t=22 까지) 에 확산된다. 예비의 비트레이트들이 이용가능하자마자, 이 비트레이트들을 "한계 초과" 데이터에 대해 사용한다. 일 실시형태에 있어서, 시스템은, 현재 시간에 대한 시작 시간과 종료 시간을 포함하여 슬라이딩 윈도우의 파라미터들을 결정한다. 시간 윈도우는 시간별로 변할 수도 있으며, 현재 시간 주변에 중심을 둘 필요는 없다.
비트 스트림들을 멀티플렉싱하기 위해 지연 (D) 및 시간 윈도우 (W) 를 도입하여 논의하였다. 이들 2개의 메커니즘들은 별도로 또는 공동으로 사용될 수 있다. 지연 (D) 을 도입할 경우, 전체 BL 또는 EL 스트림은 시간적으로 시프트된다. 이에 반하여, 시간 윈도우 (W) 를 사용할 경우, 먼저, 모든 비트스트림들의 총 비트레이트가 최대 허용 비트레이트를 넘는지 여부를 결정하고, "한계 초과" 부분이 존재하면, "한계 초과" 부분을 재분배한다. 추가로, 전술된 바와 같이, 지연 (D) 은 인코딩 파라미터들에 기초하여 결정되거나 미리결정된 값을 취할 수도 있다. 이에 반하여, 시간 윈도우를 사용할 경우의 시간 시프트 (W) 는 비트레이트 피크들이 어디에 있는지 및 이용가능한 예비의 비트 레이트가 존재하는지 여부에 의존한다.
시간 윈도우가 비트들의 "한계 초과" 부분을 시프트하도록 사용될 경우, 지연을 사용하기 위한 전술된 채널 변경 메커니즘들 (예를 들어, 방법들 (400 및 500)) 이 여전히 적용가능하다. 특히, T3 의 값은, 시간 윈도우가 단독으로 사용될 때 (D 대신) W 로 계산되거나, 또는 지연 (D) 및 시간 윈도우 양자가 사용될 때에는 (D 대신) W + D 로 계산될 수 있다.
지연 (D) 및 시간 윈도우 양자를 사용하더라도, 집성된 비트 스트림은 여전히 네트워크 링크 용량을 초과할 수도 있다. 이 경우, 비트 스트림들을 네트워크 링크에 피팅하도록 동일한 네트워크 링크 내에서 하나 또는 수개의 스트림의 비트레이트를 감소할 수도 있거나, 또는 심지어 하나 이상의 비트 스트림을 드롭해야 할 수도 있다.
본 원리들은 대역폭을 더 효율적으로 사용하기 위하여, 베이스 계층 비트 스트림 또는 인핸스먼트 계층 비트 스트림에 지연을 부가하는 것 및 시간 윈도우 내에서 비트들의 "한계 초과" 부분을 시프트하는 것과 같은 상이한 방법들을 제안한다. 특히, 본 방법들은, 통계적 멀티플렉싱의 통상적인 가정을 만족하지 않는 계층화된 코딩된 콘텐츠를 송신하는데 잘 작동한다.
수신기 측에서, 지연이 비트 스트림들에 부가되었다고 하더라도, 본 원리들은 상이한 채널 변경 메커니즘들을 제공하여 사용자로 하여금 채널을 신속하게 변경하게 한다. 특히, 디코더는, EL 이 이용가능할 것을 대기해야 하지 않고도 BL 콘텐츠를 렌더링하기 시작할 수 있다. 유리하게, 이는 사용자로 하여금 더 긴 시간 동안 관찰하고 싶은 것을 볼 때까지 다수의 채널들 사이에서 채널을 신속하게 변경하게 한다. 본 원리들은 또한, 일 시간 기간 동안 비디오를 시청한 이후 EL 버전으로 스위칭하길 원하는지 여부를 결정하는데 사용하기 위한 옵션을 제공한다.
상기에서, 계층화된 코딩을 위해 사용될 수 있는 다양한 방법들을 논의한다. 본 원리들은 또한 스케일러블 비디오 코딩에 적용될 수 있고, 본 원리들은 표준, 예를 들어, H.264 SVC 또는 SHVC (하지만 이에 한정되지 않음) 과 호환가능하다. 멀티플렉싱 방법들 및 채널 변경 메커니즘들은 MPEG-2 전송, MMT (MPEG Media Transport) 프로토콜, 또는 ATSC (Advanced Television Systems Committee) 전송 프로토콜과 같은 임의의 전송 프로토콜과 함께 사용될 수 있다.
도 8 은 예시적인 송신 시스템 (800) 을 도시한다. 입력 데이터, 예를 들어, 오디오 및 비디오 데이터 (하지만 이에 한정되지 않음) 는 미디어 인코더 (810) 에서 인코딩된다. 입력 데이터는, 오디오 및 비디오 데이터에 액세스하는 서버로부터 수신되거나, 또는 카메라, 캠코더로부터 기인할 수 있다. 인코딩된 데이터는 멀티플렉서 (820) 에서 멀티플렉싱되고 송신기 (840) 에서 송신된다. 예를 들어, 방법 (300) 에서 도시된 바와 같이 지연을 부가하고 시간 윈도우를 사용하는 본 원리들에 따른 멀티플렉싱 메커니즘들은 멀티플렉서 (820) 에 위치된 지연 모듈 (830) 에서 이용될 수 있다. 지연 모듈 (830) 은 또한 미디어 인코더 (810) 에 위치될 수 있거나, 미디어 인코더 (810) 와 멀티플렉서 (820) 사이에 별도의 모듈로서 상주할 수 있다. 송신 시스템은, 대역폭이 고가의 리소스인 통상적인 방송 TV 환경에서 사용될 수도 있거나, 또는 시청각 서비스를 제공하는 모바일 디바이스에서 사용될 수도 있다. 특정 실시형태들에 따르면, 송신 시스템 (또는 장치) 은 서버 및 비디오 멀티플렉서 중 하나 내에 배치된다. 특정 실시형태들에 따르면, 송신 시스템 (또는 장치) 은 송신 안테나, 송신 안테나에 대한 인터페이스, 비디오 인코더, 비디오 메모리, 비디오 서버, 비디오 카메라와의 인터페이스, 및 비디오 카메라 중 하나 이상을 포함한다.
도 9 는 예시적인 수신 시스템 (900) 을 도시한다. 시스템 (900) 의 입력 데이터는 전송 비트스트림, 예를 들어, 시스템 (800) 의 출력일 수도 있다. 데이터는 수신기 (910) 에서 수신되고, 디멀티플렉서 (920) 에서 디멀티플렉싱되고, 미디어 디코더 (930) 에서 디코딩되고, 그 후, 미디어 렌더링 모듈 (940) 에서 플레이백을 위해 렌더링된다. 미디어 렌더링 모듈은 별도의 모듈들로 구현될 수 있거나, 또는 미디어 디코더 (930) 의 부분일 수 있다. 방법들 (400 및 500) 과 같은 채널 변경 메커니즘들은 디멀티플렉서 (920) 또는 미디어 디코더 (930) 에서 구현될 수도 있다.
도 10 은 휴대용 미디어 디바이스 (예를 들어, 모바일 폰), 게이밍 디바이스, 셋탑 박스, TV 세트, 태블릿, 및 컴퓨터 내에서 구현될 수도 있는 다른 예시적인 수신 시스템 (1000) 을 도시한다. 개괄적으로, 도 10 의 비디오 수신기 시스템에 있어서, 오디오, 비디오, 및 방송 프로그램 콘텐츠를 나타내는 관련 데이터를 반송하는 신호들로 변조된 방송 캐리어가 안테나 (10) 에 의해 수신되고 유닛 (13) 에 의해 프로세싱된다. 결과적인 디지털 출력 신호는 복조기 (15) 에 의해 복조된다. 유닛 (15) 으로부터의 복조된 출력은 디코더 (17) 에 의해, 트렐리스 디코딩되고, 바이트 길이 데이터 세그먼트들로 매핑되고, 디인터리빙되고, 리드-솔로몬 에러 정정된다. 유닛 (17) 으로부터의 출력 데이터는 프로그램 대표 멀티플렉싱된 오디오, 비디오 및 데이터 컴포넌트들을 포함하는 MPEG 호환가능 전송 데이터스트림, 예를 들어, MMT 전송 스트림의 형태이다. 유닛 (17) 으로부터의 전송 스트림은 유닛 (22) 에 의해 오디오, 비디오 및 데이터 컴포넌트들로 디멀티플렉싱되고, 이들은 디코더 (100) 의 다른 엘리먼트들에 의해 더 프로세싱된다.
디코더 (100) 는, 사용자가 채널 변경을 요청할 경우, 방법들 (400 및 500) 에서 설명된 것들과 같은 본 원리들에 따른 채널 변경을 수행할 수도 있다. 일 모드에 있어서, 디코더 (100) 는 유닛들 (50 및 55) 상으로 각각 디스플레이 및 오디오 재생을 위해 MPEG 디코딩된 데이터를 제공한다. 다른 모드에 있어서, 유닛 (17) 으로부터의 전송 스트림은 디코더 (100) 에 의해 프로세싱되어, 저장 디바이스 (90) 를 통해 저장 매체 (105) 상으로의 저장을 위해 MPEG 호환가능 데이터스트림을 제공한다.
사용자는 원격 제어 유닛 (70) 을 사용함으로써 프로그램 가이드와 같은 TV 채널 또는 온-스크린 메뉴를 시청하기 위해 선택한다. 프로세서 (60) 는 인터페이스 (65) 를 통해 원격 제어 유닛 (70) 으로부터 제공된 선택 정보를 사용하여, 시청을 위해 원하는 프로그램 채널을 수신하도록 도 10 의 엘리먼트들을 적절히 구성한다. 프로세서 (60) 는 프로세서 (62) 및 제어기 (64) 를 포함한다. 유닛 (62) 은 프로그램 가이드 및 시스템 정보를 포함하는 프로그램 특정 정보를 프로세싱 (즉, 파싱, 대조 및 어셈블링) 하고, 제어기 (64) 는 디코더 (100) 를 동작시키는 것에 요구된 나머지 제어 기능들을 수행한다. 유닛 (60) 의 기능들이 도 10 에 도시된 바와 같은 별도의 엘리먼트들 (62 및 64) 로서 구현될 수도 있지만, 대안적으로, 이 기능들은 단일 프로세서 내에서 구현될 수도 있다. 예를 들어, 유닛들 (62 및 64) 의 기능들은 마이크로프로세서의 프로그래밍된 명령들 내에 통합될 수도 있다. 프로세서 (60) 는 입력 신호 포맷 및 코딩 타입을 복조 및 디코딩하도록 프로세서 (13), 복조기 (15), 디코더 (17) 및 디코더 시스템 (100) 을 구성한다.
도 10 을 상세히 고려하면, 안테나 (10) 에 의해 수신된 프로그램 대표 오디오, 비디오 및 관련 데이터를 반송하는 신호들로 변조된 캐리어는 디지털 형태로 변환되고 입력 프로세서 (13) 에 의해 프로세싱된다. 프로세서 (13) 는 입력 신호를 추가 프로세싱에 적합한 더 낮은 주파수 대역으로 하향변환하기 위해, 무선 주파수 (RF) 튜너 및 중간 주파수 (IF) 믹서 및 증폭 스테이지들을 포함한다.
예시적인 목적으로, 비디오 수신기 사용자는 원격 제어 유닛 (70) 을 사용하여 시청을 위한 서브-채널 (SC) 을 선택한다고 가정된다. 프로세서 (60) 는 인터페이스 (65) 를 통해 원격 제어 유닛 (70) 으로부터 제공된 선택 정보를 사용하여, 선택된 서브-채널 (SC) 에 대응하는 물리 채널을 수신하도록 디코더 (100) 의 엘리먼트들을 적절히 구성한다.
프로세서 (22) 에 제공된 출력 데이터는, 수개의 서브-채널들을 통해 분배된 다수의 프로그램들에 대한 프로그램 채널 콘텐츠 및 프로그램 특정 정보를 포함하는 전송 데이터스트림의 형태이다.
프로세서 (22) 는 디코더 (17) 에 의해 제공된 착신 패킷들의 패킷 식별자들 (PID들) 을, 서브-채널 (SC) 상으로 전송되는 비디오, 오디오 및 서브-픽처 스트림들의 PID 값들과 매칭시킨다. 이들 PID 값들은 프로세서 (60) 에 의해 유닛 (22) 내의 제어 레지스터들에서 사전-로딩된다. 프로세서 (22) 는 서브-채널 (SC) 상으로 송신된 프로그램을 구성하는 패킷들을 포착하고, 이 패킷들을 비디오 디코더 (25), 오디오 디코더 (35) 에 각각 출력하기 위한 MPEG 호환가능 비디오, 오디오 스트림들로 형성한다. 비디오 및 오디오 스트림들은, 선택된 서브-채널 (SC) 프로그램 콘텐츠를 나타내는 압축된 비디오 및 오디오 데이터를 포함한다.
디코더 (25) 는 유닛 (22) 으로부터의 MPEG 호환가능 패킷화된 비디오 데이터를 디코딩 및 압축해제하고, 압축해제된 프로그램 대표 픽셀 데이터를 디스플레이를 위해 디바이스 (50) 에 제공한다. 유사하게, 오디오 프로세서 (35) 는 유닛 (22) 으로부터의 패킷화된 오디오 데이터를 디코딩하고, 관련 압축해제된 비디오 데이터와 동기화된 디코딩된 오디오 데이터를 오디오 재생을 위해 디바이스 (55) 에 제공한다.
도 10 의 시스템의 저장 모드에 있어서, 유닛 (17) 으로부터의 출력 데이터는 디코더 (100) 에 의해 프로세싱되어, 저장을 위한 MPEG 호환가능 데이터스트림을 제공한다. 이 모드에 있어서, 프로그램은 원격 유닛 (70) 및 인터페이스 (65) 를 통해 사용자에 의해 저장용으로 선택된다.
프로세서 (22) 와 함께 프로세서 (60) 는, 선택된 프로그램의 패킷화된 콘텐츠 데이터 및 관련 프로그램 특정 정보를 포함하는 합성 MPEG 호환가능 데이터스트림을 형성한다. 합성 데이터스트림은 저장 인터페이스 (95) 에 출력된다. 저장 인터페이스 (95) 는 합성 데이터스트림을 버퍼링하여, 데이터에서의 갭들 및 비트 레이트 변동을 감소시킨다. 결과적인 버퍼링된 데이터는 매체 (105) 상의 저장에 적합할 저장 디바이스 (90) 에 의해 프로세싱된다. 저장 디바이스 (90) 는 채널 코딩, 인터리빙 및 리드 솔로몬 인코딩과 같은 공지의 에러 인코딩 기법들을 사용하여 인터페이스 (95) 로부터의 버퍼링된 데이터스트림을 인코딩하여, 저장에 적합한 인코딩된 데이터스트림을 생성한다. 유닛 (90) 은 축약된 프로그램 특정 정보를 통합한 결과적인 인코딩된 데이터스트림을 매체 (105) 상에 저장한다.
특정 실시형태들에 따르면, 수신 시스템 (또는 장치) 은 안테나 또는 안테나에 대한 인터페이스, (예를 들어, 유선 또는 무선 링크 또는 네트워크로부터의) 통신 인터페이스, 비디오 디코더, 비디오 메모리, 및 디스플레이 중 하나 이상을 포함한다.
본 명세서에서 설명된 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수도 있다. 오직 구현의 신호 형태의 컨텍스트에서만 논의되더라도 (예를 들어, 오직 방법으로서만 논의되더라도), 논의된 특징들의 구현은 또한 다른 형태 (예를 들어, 장치 또는 프로그램) 에서 구현될 수도 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어에서 구현될 수도 있다. 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하여 일반적으로 프로세싱 디바이스들을 지칭하는 예를 들어 프로세서와 같은 예를 들어 장치에서 구현될 수도 있다. 프로세서들 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인용 디지털 보조기들 ("PDA들"), 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법의 특정 실시형태들에 따르면, 제 1 비트 스트림 및 제 2 비트 스트림은, 송신 안테나, 송신 안테나에 대한 인터페이스, 비디오 인코더, 비디오 메모리, 비디오 서버, 비디오 카메라와의 인터페이스, 및 비디오 카메라를 포함하는 세트에 속하는 소스로부터 액세스된다. 그 방법의 변형예에 따르면, 멀티플렉싱된 제 1 비트 스트림 및 제 2 비트 스트림은, 송신 안테나, 송신 안테나에 대한 인터페이스, 통신 인터페이스, 비디오 메모리, 비디오 서버 인터페이스, 및 클라이언트 디바이스를 포함하는 세트에 속하는 목적지로 전송된다.
제 1 비트 스트림 및 제 2 비트 스트림의 디코딩을 포함하는 방법의 특정 실시형태들에 따르면, 제 1 비트 스트림 및 제 2 비트 스트림은, 수신 안테나, 수신 안테나에 대한 인터페이스, 통신 인터페이스, 및 비디오 메모리를 포함하는 세트에 속하는 소스로부터 디코딩 전에 액세스된다. 그 방법의 변형예에 따르면, 렌더링을 위한 제 1 표현 및 제 2 표현에 대응하는 신호들은 비디오 디코더, 비디오 메모리 및 디스플레이를 포함하는 세트에 속하는 목적지로 출력된다.
본 원리들의 "일 실시형태" 또는 "실시형태" 또는 "일 구현" 또는 "구현" 뿐 아니라 그 다른 변형예들에 대한 참조는 실시형태와 관련하여 설명된 특정한 특징, 구조, 특성 등이 본 원리들의 적어도 하나의 실시형태에 포함됨을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 곳에서 나타나는 어구 "일 실시형태에 있어서" 또는 "실시형태에 있어서" 또는 "일 구현에 있어서" 또는 "구현에 있어서" 뿐 아니라 임의의 다른 변형예들의 출현은 동일한 실시형태를 반드시 모두 참조하는 것은 아니다.
부가적으로, 본 출원 또는 그 청구항들은 다양한 피스들의 정보를 "결정하는" 것을 참조할 수도 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 산출하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 취출하는 것 중 하나 이상을 포함할 수도 있다.
추가로, 본 출원 또는 그 청구항들은 다양한 피스들의 정보에 "액세스하는" 것을 참조할 수도 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 취출하는 것, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 삭제하는 것, 정보를 산출하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수도 있다.
부가적으로, 본 출원 또는 그 청구항들은 다양한 피스들의 정보를 "수신하는" 것을 참조할 수도 있다. 수신하는 것은, "액세스하는 것"과 함께, 넓은 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것 또는 (예를 들어, 메모리로부터) 정보를 취출하는 것 중 하나 이상을 포함할 수도 있다. 추가로, "수신하는 것"은, 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 삭제하는 것, 정보를 산출하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 통상적으로 관련된다.
당업자에게 명백할 바와 같이, 구현들은, 예를 들어, 저장되거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 구현들 중 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 설명된 실시형태의 비트스트림을 반송하기 위해 포맷팅될 수도 있다. 그러한 신호는, 예를 들어, (예컨대, 스펙트럼의 무선 주파수 부분을 사용하는) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수도 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수도 있다. 공지된 바와 같이, 신호는 다양한 서로다른 유선 또는 무선 링크들 상으로 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.

Claims (15)

  1. 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법으로서,
    상기 제 1 비트 스트림 및 상기 제 2 비트 스트림에 액세스하는 단계 (320) 로서, 상기 제 1 비트 스트림은 계층화된 코딩된 콘텐츠의 베이스 계층 및 상기 계층화된 코딩된 콘텐츠의 인핸스먼트 계층 중 하나에 대응하고, 상기 제 2 비트 스트림은 상기 계층화된 코딩된 콘텐츠의 상기 베이스 계층 및 상기 계층화된 코딩된 콘텐츠의 상기 인핸스먼트 계층 중 다른 하나에 대응하는, 상기 제 1 비트 스트림 및 상기 제 2 비트 스트림에 액세스하는 단계 (320);
    상기 제 2 비트 스트림을 제 1 시간 지속기간만큼 지연시키는 단계 (330); 및
    상기 제 1 비트 스트림 및 지연된 상기 제 2 비트 스트림을 멀티플렉싱하는 단계 (340) 를 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  2. 제 1 항에 있어서,
    네트워크 링크의 용량을 초과하는, 멀티플렉싱된 스트림들에서의 비트들을 결정하는 단계; 및
    결정된 상기 비트들을 제 2 시간 지속기간만큼 시간 시프트하는 단계를 더 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 계층화된 코딩된 콘텐츠에 대한 인코딩 파라미터들에 응답하여 상기 제 1 시간 지속기간을 결정하는 단계를 더 포함하고,
    상기 인코딩 파라미터들은 픽처 그룹 (GOP) 길이 및 GOP 구조 중 적어도 하나를 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  4. 제 3 항에 있어서,
    상기 제 1 시간 지속기간은 GOP들로 변하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 시간 지속기간을 나타내는 정보 및 멀티플렉싱된 스트림들을 송신하는 단계를 더 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  6. 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법으로서,
    상기 제 1 비트 스트림을 프로그램 콘텐츠의 제 1 표현으로 디코딩하는 단계 (430, 570);
    상기 제 1 비트 스트림의 디코딩으로부터의 지연 이후 상기 제 2 비트 스트림을 상기 프로그램 콘텐츠의 제 2 표현으로 디코딩하는 단계 (470, 570) 로서, 상기 제 1 비트 스트림은 계층화된 코딩된 콘텐츠의 베이스 계층 및 상기 계층화된 코딩된 콘텐츠의 인핸스먼트 계층 중 하나에 대응하고, 상기 제 2 비트 스트림은 상기 계층화된 코딩된 콘텐츠의 상기 베이스 계층 및 상기 계층화된 코딩된 콘텐츠의 상기 인핸스먼트 계층 중 다른 하나에 대응하는, 상기 제 2 비트 스트림을 디코딩하는 단계 (470, 570); 및
    상기 제 1 표현 및 상기 제 2 표현에 대응하는 신호들을 렌더링을 위해 출력하는 단계 (470, 570) 를 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  7. 제 6 항에 있어서,
    상기 제 1 표현을, 상기 제 1 비트 스트림, 상기 제 2 비트 스트림, 및 전송 스트림 중 적어도 하나에 명시된 속도보다 더 느린 속도로 렌더링하는 단계 (560) 를 더 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  8. 제 7 항에 있어서,
    상기 제 1 표현을, 상기 제 1 표현과 상기 제 2 표현의 렌더링이 시간적으로 정렬된 이후 상기 명시된 속도로 렌더링하는 단계 (570) 를 더 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  9. 제 6 항에 있어서,
    상기 제 1 비트 스트림, 상기 제 2 비트 스트림, 및 전송 스트림으로부터의 지연을 나타내는 정보를 디멀티플렉싱하는 단계를 더 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하는 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 따라 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 장치.
  11. 제 10 항에 있어서,
    상기 프로세싱하기 위한 장치는 서버 및 비디오 멀티플렉서 중 하나 내에 배치되는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 장치.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 프로세싱하기 위한 장치는,
    송신 안테나, 송신 안테나에 대한 인터페이스, 비디오 인코더, 비디오 메모리, 비디오 서버, 비디오 카메라와의 인터페이스, 및 비디오 카메라 중 하나 이상을 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 장치.
  13. 제 10 항에 있어서,
    상기 프로세싱하기 위한 장치는, 휴대용 미디어 디바이스, 모바일 폰, 게이밍 디바이스, 셋탑 박스, TV 세트, 태블릿, 랩탑, 및 집적회로 중 하나 내에 배치되는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 장치.
  14. 제 13 항에 있어서,
    상기 프로세싱하기 위한 장치는 안테나 또는 안테나에 대한 인터페이스, 통신 인터페이스, 비디오 디코더, 비디오 메모리, 및 디스플레이 중 하나 이상을 포함하는, 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 장치.
  15. 제 1 항 내지 제 9 항 중 어느 한 항에 따라 제 1 비트 스트림 및 제 2 비트 스트림을 프로세싱하기 위한 명령들이 저장된 컴퓨터 판독가능 저장 매체.
KR1020167018942A 2014-01-14 2015-01-13 계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치 KR20160108342A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305052.4 2014-01-14
EP14305052.4A EP2894860A1 (en) 2014-01-14 2014-01-14 Method and apparatus for multiplexing layered coded contents
PCT/IB2015/000018 WO2015107409A1 (en) 2014-01-14 2015-01-13 Method and apparatus for multiplexing layered coded contents

Publications (1)

Publication Number Publication Date
KR20160108342A true KR20160108342A (ko) 2016-09-19

Family

ID=50023503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167018942A KR20160108342A (ko) 2014-01-14 2015-01-13 계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20160337671A1 (ko)
EP (2) EP2894860A1 (ko)
JP (1) JP2017520940A (ko)
KR (1) KR20160108342A (ko)
CN (1) CN106416268A (ko)
WO (1) WO2015107409A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5951893B2 (ja) 2014-03-24 2016-07-13 株式会社東芝 多重化装置、受信装置、多重化方法及び遅延調整方法
US9689976B2 (en) 2014-12-19 2017-06-27 Xidrone Systems, Inc. Deterent for unmanned aerial systems
KR101654898B1 (ko) * 2015-04-15 2016-09-07 고려대학교 산학협력단 적응형 스트리밍 서비스를 수신하는 방법
GB2538997A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
EP3244623A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing Method and apparatus for bandwidth optimization using staggercast
JP6823540B2 (ja) * 2017-05-29 2021-02-03 日本電信電話株式会社 映像処理方法、映像処理システム及び映像送信装置
CN116155875A (zh) * 2021-11-22 2023-05-23 华为技术有限公司 一种数据传输的方法及通信装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102017A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式
JP2000261809A (ja) * 1999-03-05 2000-09-22 Kdd Corp 画像特徴に応じた画像符号化装置
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2003032689A (ja) * 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
JP2003308277A (ja) * 2002-04-17 2003-10-31 Sony Corp 端末装置、データ送信装置、データ送受信システム及びデータ送受信方法
DE602005008574D1 (de) * 2004-04-28 2008-09-11 Matsushita Electric Ind Co Ltd Hierarchische kodierungsanordnung und hierarchisches kodierungsverfahren
WO2005112465A1 (en) * 2004-05-03 2005-11-24 Thomson Research Funding Corporation Method and apparatus enabling fast channel change for dsl system
JP2006304272A (ja) * 2005-03-25 2006-11-02 Matsushita Electric Ind Co Ltd 送信装置
JP2007124155A (ja) * 2005-10-26 2007-05-17 Alpine Electronics Inc 車載動画像圧縮装置及びドライブレコーダ
JP4852146B2 (ja) * 2007-04-13 2012-01-11 パイオニア株式会社 受信装置、受信方法、受信プログラムおよびコンピュータに読み取り可能な記録媒体
US8044592B2 (en) * 2008-05-22 2011-10-25 Tony Chou Lamp heat dissipating structure
JP2009302704A (ja) * 2008-06-11 2009-12-24 Panasonic Corp デコード装置、情報処理システムおよび動画像記録再生システム
JP2010087827A (ja) * 2008-09-30 2010-04-15 Sharp Corp 送信装置、受信装置、送信方法、受信方法、プログラム、及び、記録媒体
JP5053974B2 (ja) * 2008-10-06 2012-10-24 アラクサラネットワークス株式会社 パケット中継装置
WO2010054719A1 (en) * 2008-11-12 2010-05-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Reducing a tune-in delay into a scalable encoded data stream
US20100118938A1 (en) * 2008-11-12 2010-05-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder and method for generating a stream of data
CN101909196B (zh) * 2009-06-05 2013-04-17 华为技术有限公司 一种频道切换处理方法及***以及相关设备
US9118939B2 (en) * 2010-12-20 2015-08-25 Arris Technology, Inc. SVC-to-AVC rewriter with open-loop statistical multiplexer
KR20120138319A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치
CN102629893B (zh) * 2012-03-30 2014-07-02 清华大学 多描述分层编码的信息发送方法及装置

Also Published As

Publication number Publication date
EP2894860A1 (en) 2015-07-15
WO2015107409A1 (en) 2015-07-23
JP2017520940A (ja) 2017-07-27
CN106416268A (zh) 2017-02-15
EP3095243A1 (en) 2016-11-23
US20160337671A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
KR20160108342A (ko) 계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치
KR101010881B1 (ko) 채널 전환 프레임을 이용하는 애플리케이션을 위한 시스템 및 방법
KR101011612B1 (ko) 무선장치에서 멀티―프로그램 뷰잉
EP2452481B1 (en) System and method of transmitting content from a mobile device to a wireless display
KR100913880B1 (ko) 휴대방송 시스템에서 선호 채널 관리 장치 및 방법
CA2792106C (en) Method and system for inhibiting audio-video synchronization delay
EP2297957B1 (en) Fast channel switching in tv broadcast systems
JP2017520940A5 (ja) レイヤードコード化コンテンツを多重化する方法および装置
JP2013526795A (ja) レイヤーコーディングビデオを送受信する方法及び装置
JP5592716B2 (ja) 映像送信装置
US20080288518A1 (en) Content data block processing
KR100703529B1 (ko) 디지털 멀티미디어 방송을 위한 다채널 영상 수신 장치 및방법
US8650592B2 (en) Streaming server and mobile terminal for reducing channel-changing delay, and a method therefor
CN101909063B (zh) 基于分层编码的视频流推送方法和***
KR100651566B1 (ko) 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
WO2010017836A1 (en) Subdivision of media streams for channel switching
JP6464647B2 (ja) 動画像処理方法、動画像の送信装置、動画像処理システムおよび動画像処理プログラム
RU2388171C2 (ru) Способы и устройство для получения услуги
KR20100137374A (ko) 멀티캐스트 브로드캐스트 서비스를 위한 자원 할당 방법
KR20110017817A (ko) 멀티미디어 브로드캐스트/멀티캐스트 서비스에서 채널정보 전송 방법 및 채널정보 수신 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid