JP2017175623A - ビデオデータをストリーミングするためのシーケンスデータセットを提供すること - Google Patents

ビデオデータをストリーミングするためのシーケンスデータセットを提供すること Download PDF

Info

Publication number
JP2017175623A
JP2017175623A JP2017065551A JP2017065551A JP2017175623A JP 2017175623 A JP2017175623 A JP 2017175623A JP 2017065551 A JP2017065551 A JP 2017065551A JP 2017065551 A JP2017065551 A JP 2017065551A JP 2017175623 A JP2017175623 A JP 2017175623A
Authority
JP
Japan
Prior art keywords
sequence
coded video
video pictures
sei message
sei
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017065551A
Other languages
English (en)
Other versions
JP6345827B2 (ja
Inventor
イン・チェン
Ying Chen
マルタ・カークゼウィックズ
Karczewicz Marta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017175623A publication Critical patent/JP2017175623A/ja
Application granted granted Critical
Publication of JP6345827B2 publication Critical patent/JP6345827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】デコーダがコード化ピクチャのためのデータを必要としない場合、帯域幅の浪費につながる。【解決手段】デバイスは、補足エンハンスメント情報（ＳＥＩ）メッセージによって記述されるコード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージが記憶されるように、ビデオデータをカプセル化する。例示的なデバイスは、コード化ビデオピクチャとは別個の１つまたは複数のＳＥＩメッセージを生成する制御ユニットと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力する出力インターフェースとを含む。例示的な宛先デバイスは、コード化ビデオピクチャとは別個にＳＥＩメッセージを受信し、ＳＥＩメッセージを使用してコード化ビデオピクチャをレンダリングする。【選択図】図２

Description

本開示は、符号化ビデオデータのトランスポートに関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信および受信するために、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３またはＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および／または時間的予測を実行する。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスがマクロブロックに区分され得る。各マクロブロックはさらに区分され得る。イントラコード化（Ｉ）フレームまたはスライス中のマクロブロックは、隣接マクロブロックに関する空間的予測を使用して符号化される。インターコード化（ＰまたはＢ）フレームまたはスライス中のマクロブロックは、同じフレームまたはスライス中の隣接マクロブロックに関する空間的予測、あるいは他の参照フレームに関する時間的予測を使用し得る。
[0004]ビデオデータが符号化された後、ビデオデータは送信または記憶のためにパケット化され得る。ビデオデータは、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマットなどの様々な規格と、ＡＶＣなどのそのような規格の拡張とのうちのいずれかに準拠するビデオファイルにアセンブルされ得る。
[0005]Ｈ．２６４／ＡＶＣに基づく新しいビデオコーディング規格を開発するための取り組みが行われている。１つのそのような規格は、Ｈ．２６４／ＡＶＣのスケーラブル拡張であるスケーラブルビデオコーディング（ＳＶＣ）規格である。別の規格は、Ｈ．２６４／ＡＶＣのマルチビュー拡張になったマルチビュービデオコーディング（ＭＶＣ）である。ＡＶＣ規格のバージョンは、ＪＶＴ−ＡＤ００７、「Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)」、３０ｔｈ ＪＶＴ ｍ ｅｅｔｉｎｇ、Ｇｅｎｅｖａ、ＣＨ、２００９年２月に記載されており、http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zipから入手可能である。この文書はＳＶＣとＭＶＣとをＡＶＣ仕様に組み込んでいる。
[0006]概して、本開示では、たとえば、ＨＴＴＰストリーミングに従ってビデオファイルのストリーミングをサポートするために、ビデオファイルのコード化ビデオピクチャを記述するシーケンスデータセットを与えるための技法について説明する。シーケンスデータセットは、たとえば、シーケンスパラメータセット、ピクチャパラメータセット、および、たとえば、シーケンスレベルＳＥＩメッセージなど、いくつかの補足エンハンスメント情報（ＳＥＩ：Supplemental Enhancement Information）メッセージを含み得る。これらの技法は、シーケンスデータセットによって記述されたコード化ビデオピクチャからシーケンスデータセットを分離することを含む。すなわち、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャにシーケンスレベルＳＥＩメッセージを含めるのではなく、本開示の技法は、コード化ビデオピクチャからシーケンスレベルＳＥＩメッセージを分離することを含む。したがって、シーケンスレベルＳＥＩメッセージは、コード化ビデオピクチャとは別個にソースデバイスから宛先デバイスに転送される。いくつかの例では、シーケンスレベルＳＥＩメッセージを含むシーケンスデータセットは、シーケンスデータセットが関係するコード化ビデオピクチャの転送の前に、ソースデバイスから宛先デバイスに転送される。
[0007]一例では、カプセル化されたビデオデータを出力する方法は、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通のエレメントを含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力することと、を含む。
[0008]別の例では、カプセル化されたビデオデータを出力するための装置は、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するように構成された制御ユニットと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力するように構成された出力インターフェースと、を含む。
[0009]別の例では、カプセル化されたビデオデータを出力するための装置は、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するための手段と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通のエレメントを含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力するための手段と、を含む。
[0010]別の例では、コンピュータプログラム製品は、実行されたとき、カプセル化されたビデオデータを出力するためのソースデバイスのプロセッサに、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力させる命令と、を備えるコンピュータ可読媒体を含む。
[0011]別の例では、符号化されたビデオデータを受信する方法は、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信することと、コード化ビデオピクチャのシーケンスが復号された後に、ＳＥＩメッセージに基づいてコード化ビデオピクチャのシーケンスをレンダリングすることと、を含む。
[0012]別の例では、符号化されたビデオデータを受信するための装置は、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信することと、を行うように構成された制御ユニットと、コード化ビデオピクチャのシーケンスが復号された後に、コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、を含む。
[0013]別の例では、符号化されたビデオデータを受信するための装置は、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信する手段と、コード化ビデオピクチャのシーケンスが復号された後に、ＳＥＩメッセージに基づいてコード化ビデオピクチャのシーケンスをレンダリングする手段と、を含む。
[0014]別の例では、コンピュータプログラム製品は、符号化ビデオデータを受信するための宛先デバイスのプロセッサに、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信させる命令と、コード化ビデオピクチャのシーケンスが復号された後に、ＳＥＩメッセージに基づいてコード化ビデオピクチャのシーケンスをレンダリングさせる命令と、を備えるコンピュータ可読記憶媒体を含む。
[0015]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
オーディオ／ビデオ（Ａ／Ｖ）ソースデバイスがオーディオおよびビデオデータをＡ／Ｖ宛先デバイスに転送する例示的なシステムを示すブロック図。 例示的なカプセル化ユニットの構成要素を示すブロック図。 様々なロケーションにおけるシーケンスレベルＳＥＩメッセージを含み得る例示的なビデオファイルの要素を示すブロック図。 シーケンスレベルＳＥＩメッセージを含むパラメータセットトラックを含む別の例示的なビデオファイルの要素を示すブロック図。 それぞれのプレゼンテーションのためのそれぞれのシーケンスデータセットを含むThird Generation Partnership Project（３ＧＰＰ（登録商標））ファイルを含むプレゼンテーションの例示的なセットを示すブロック図。 ビデオファイル内にシーケンスデータセットをカプセル化し、そのビデオファイルをソースデバイスから宛先デバイスに与えるための例示的な方法を示すフローチャート。 複数のシーケンスデータセットを含むビデオファイルの別の例を示すブロック図。
[0023]概して、本開示は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）ストリーミングなどのストリーミングネットワークプロトコルを使用してビデオデータの配信をサポートするための技法について説明する。特に、本開示の技法は、ビデオデータを、例えばビデオファイルの形態で送信するときに、特定のビデオサンプルから、シーケンスレベルＳＥＩメッセージのようないくつかの補足エンハンスメント情報（ＳＥＩ）メッセージを分離することを対象とする。さらに、本技法は、符号化されたビデオピクチャの復号およびレンダリングをサポートするために、宛先デバイスにおいてシーケンスレベルＳＥＩメッセージを解釈することを含む。
[0024]本開示ではまた、コーデックレベルにおいてビデオサンプルからＳＥＩメッセージを分離することについて説明するが、ＳＥＩメッセージは、たとえば、ＳＥＩメッセージがアクセスユニットに関連するときに、必ずしも特定のコード化ピクチャに関連する必要があるとは限らない。コード化ピクチャからＳＥＩメッセージが分離された場合、どの持続時間にＳＥＩメッセージが適用可能であるかを指定するタイミング情報がＳＥＩメッセージの一部としてシグナリングされ得る。
[0025]ＳＥＩメッセージは、いくつかの符号化されたビデオピクチャを復号および／または表示するようにデコーダおよび／またはレンダラを支援するために使用される情報を含むことがある。また、ＳＥＩメッセージは誤り耐性を与えるために使用され得る。いくつかのＳＥＩメッセージは、シーケンスレベルであり（たとえば、コード化ピクチャグループ（ＧＯＰ）またはコード化ビデオピクチャの他のシーケンスに関係し）、他のＳＥＩメッセージは特定のコード化ピクチャに関係し得る。ＳＥＩメッセージは、一般に、特定のコード化ピクチャとともに送信される。すなわち、ＳＥＩメッセージを検索するために、デコーダは通常、そのＳＥＩメッセージを含むコード化ピクチャを検索する必要がある。デコーダがコード化ピクチャのためのデータを必要としない場合、これは、一般に、帯域幅の浪費につながる。その上、場合によっては、様々なコード化ピクチャの２つのＳＥＩメッセージまたは２つのＧＯＰは、本質的に同じ情報を含んでいることがあり、それにより、ＳＥＩメッセージを繰り返し送信することは同様に、帯域幅の浪費を引き起こすことがある。
[0026]本開示の技法は、たとえば、ＳＥＩメッセージがコード化ビデオピクチャのシーケンスのシーケンスデータを記述する場合、コード化ビデオデータとは別個に（たとえば、独立して）ＳＥＩメッセージを送信することを含む。シーケンスデータは、コード化ビデオピクチャのシーケンスに共通であるデータに対応し得る。Ｈ．２６４／ＡＶＣ（アドバンストビデオコーディング）に関係するいくつかの例では、ＳＥＩメッセージがパンスキャン矩形（pan-scan rectangle）に関係する情報とステレオビデオ情報とを含むとき、ＳＥＩメッセージはパラメータセットエレメンタリストリームとともに送信され得る。パラメータセットエレメンタリストリームは、シーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）メッセージを含み得る。すなわち、パラメータセットエレメンタリストリームは、これらの技法に従って、１つまたは複数のＳＥＩメッセージに加えてＰＰＳおよび／またはＳＰＳメッセージを含み得る。Ｈ．２６４／ＡＶＣにおけるそのようなＳＥＩメッセージの一例は、フレームパッキング配置（frame packing arrangement）ＳＥＩであり、これは、どのように画像ペアの２つのビューが１つのフレーム中に一緒にインターリーブされるかについての情報を指定する。別の例として、スケーラブルビデオコーディング（ＳＶＣ）に関して、ＳＥＩメッセージがスケーラビリティ情報を与えるとき、ＳＥＩメッセージはパラメータセットエレメンタリストリーム中で送られ得る。さらに別の例として、マルチビュービデオコーディング（ＭＶＣ）では、ＳＥＩメッセージがビュースケーラビリティ情報、マルチビュー取得情報、および／またはマルチビューシーン情報を含むとき、ＳＥＩメッセージはパラメータセットエレメンタリストリーム中に含まれ得る。
[0027]従来のシーケンスレベルＳＥＩメッセージは、瞬時(instantaneous)デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるアクセスユニットなどのいくつかのアクセスユニットに関連付けられている。しかしながら、本開示の技法は、アクセスユニットからシーケンスレベルＳＥＩメッセージを分離することを対象とする。したがって、本開示の技法は、シーケンスレベルＳＥＩメッセージを含むアクセスユニットを検索するのではなく、クライアントデバイスが、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャとは別個にシーケンスレベルＳＥＩメッセージを検索することを可能にし得る。したがって、クライアントデバイスがコード化ビデオピクチャのシーケンスの一部分のみを復号および表示するように構成された場合、クライアントデバイスは、そうでなければＳＥＩメッセージが一緒に含まれるＩＤＲピクチャなどの他のピクチャを検索する必要なしに、シーケンスの一部分のみを検索し得る。本開示の技法によれば、クライアントデバイスは、コード化ビデオピクチャの所望される一部分とは別個にＳＥＩメッセージを検索し得る。
[0028]いくつかの例では、シーケンスレベルＳＥＩメッセージ（および／または他のシーケンスデータ）をパラメータセットトラック中に含めるのではなく、代わりに、シーケンスレベルＳＥＩメッセージはファイル中に連続的に含まれ、それにより、ＨＴＴＰ−Ｇｅｔオペレーションは、任意のポイントにおいてビデオファイルを復号および表示するために使用され得る情報を検索するためにクライアントによって使用される。すなわち、ユーザは、ビデオファイル中の任意のポイントをシークし、デコーダは、追加の不要なコード化ビデオデータ、たとえば、シーク要求に対応するビデオファイル内の時間ロケーションに先行し、シーク要求の時間ロケーションにおいて、およびそれを越えてビデオデータを復号するために使用されないコード化ビデオデータ、を検索することなしにＳＥＩメッセージを検索し得る。
[0029]ビデオ表現またはオーディオ表現は１つまたは複数のセグメントを含み得る。各表現は初期化セグメントを含むことがあるか、または表現中の各メディアセグメントは自己初期化していることがある。初期化セグメントは、対応する表現のデータ、たとえば、初期化セグメントによって記述されるメディアセグメントにアクセスするための初期化情報を含むことがある。初期化セグメントは、概して、メディアデータを含んでおらず、代わりに初期化データのみを含み得る。各メディアコンポーネントが、オーディオ、ビデオ、または時限テキスト（timed text）など、個々のメディアタイプの符号化バージョンである場合、各表現は、１つまたは複数のメディアコンポーネントを含み得る。メディアコンポーネントは、１つの表現内の連続する複数のメディアセグメントの境界にわたって時間連続であり得る。
[0030]さらに別の例として、本開示の技法は、シーケンスデータ（たとえば、ＰＰＳ、ＳＰＳ、およびシーケンスレベルＳＥＩメッセージ）、特に、コード化ビデオデータを含んでいないファイルセグメント、すなわち、ビデオサンプルを送ることを含む。ソースデバイスおよび宛先デバイスは、シーケンスデータを含むビデオサンプルのロケーションを用いて、および／またはこれらのビデオサンプルのロケーションを決定するための方法とを用いて構成される。シーケンスデータは、いくつかの例では、符号化されたビデオデータが送られる前に、サーバからクライアントに送られる。すなわち、ソースデバイスは、シーケンスデータによって参照される符号化されたビデオデータを送る前に、クライアントデバイスに、ＰＰＳ、ＳＰＳ、およびシーケンスレベルＳＥＩメッセージなど、シーケンスデータを与え得る。ファイルセグメントに基づくＨＴＴＰストリーミングでは、ＳＥＩメッセージ、たとえば、シーケンスレベルＳＥＩメッセージは、シーケンスパラメータセットおよびピクチャパラメータセットなどのパラメータセットとともに、コード化オーディオまたはビデオサンプルを含んでいない初期化セグメント中に入れられる。
[0031]本開示の技法は、ＩＳＯベースメディアファイルフォーマット、スケーラブルビデオコーディング（ＳＶＣ）ファイルフォーマット、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）ファイルフォーマット、Ｔｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ（３ＧＰＰ）ファイルフォーマット、および／またはマルチビュービデオコーディング（ＭＶＣ）ファイルフォーマットのいずれかに準拠するビデオファイルに適用され得る。ＩＳＯベースメディアファイルフォーマットは、メディアの交換、管理、編集、およびプレゼンテーションを可能にする、フレキシブルな、拡張可能なフォーマットのプレゼンテーションのための、時限メディア情報を含むように設計される。ＩＳＯベースメディアファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１２：２００４）は、時間ベースメディアファイルのための一般的な構造を定義するＭＰＥＧ−４ Ｐａｒｔ１２において規定されている。それは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣビデオ圧縮のサポートを定義したＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）、３ＧＰＰファイルフォーマット、ＳＶＣファイルフォーマット、およびＭＶＣファイルフォーマットなどのファミリー中の他のファイルフォーマットに対する基準として使用される。３ＧＰＰファイルフォーマットおよびＭＶＣファイルフォーマットはＡＶＣファイルフォーマットの拡張である。ＩＳＯベースメディアファイルフォーマットは、オーディオビジュアルプレゼンテーションなどのメディアデータの時限シーケンスのためのタイミング、構造、およびメディア情報を含む。ファイル構造はオブジェクト指向である。ファイルは、非常に単純に基本オブジェクトに分解され、オブジェクトの構造はそれらのタイプから暗示される。
[0032]ＩＳＯベースメディアファイルフォーマット（およびそれの拡張）に準拠するファイルは、「ボックス」と呼ばれる一連のオブジェクトとして形成される。ＩＳＯベースメディアファイルフォーマット中のデータはボックス中に含まれ、ファイル内のボックスの外部にデータがある必要はない。これは、特定のファイルフォーマットによって必要とされる初期シグナチャを含む。「ボックス」は、一意のタイプ識別子と長さとによって定義されるオブジェクト指向ビルディングブロックであり得る。一般に、プレゼンテーションは１つのファイル中に含まれ、メディアプレゼンテーションは独立型（self-contained）である。ムービーコンテナ（ムービーボックス）はメディアのメタデータを含み、ビデオおよびオーディオフレームは、メディアデータコンテナ中に含まれており、他のファイル中にあり得る。
[0033]プレゼンテーション（動きシーケンス）は、いくつかのファイル中に含まれていることがある。タイミングおよびフレーミング（位置およびサイズ）情報は概してＩＳＯベースメディアファイル中にあり、補助ファイルは本質的に任意のフォーマットを使用し得る。このプレゼンテーションは、プレゼンテーションを含んでいるシステムに対して「ローカル」であり得るか、あるいはネットワークまたは他のストリーム配信機構を介して与えられ得る。
[0034]ファイルは、論理構造と時間構造と物理構造とを有し得、これらの構造は結合される必要はない。ファイルの論理構造は、次に時間並列（time-parallel）トラックのセットを含む（ビデオデータとオーディオデータの両方を潜在的に含む）ムービーまたはビデオクリップであり得る。ファイルの時間構造は、トラックが時間的なサンプルのシーケンスを含み、それらのシーケンスは、オプションのエディットリストによってムービー全体のタイムラインにマッピングされ得る。ファイルの物理構造は、メディアデータサンプル自体から、論理、時間、および構造的分解のために必要とされるデータを分離し得る。この構造的情報は、ムービーボックス中に集められ、場合によってはムービーフラグメントボックスによって時間的に拡張され得る。ムービーボックスは、サンプルの論理関係およびタイミング関係をドキュメント化し、また、サンプルが配置される場所へのポインタを含む。これらのポインタは、同じファイルまたはたとえばＵＲＬによって参照される別のファイルへのものである。
[0035]各メディアストリームは、そのメディアタイプ（オーディオ、ビデオなど）に専用のトラック中に含まれ、さらにサンプルエントリによってパラメータ表示され得る。サンプルエントリは、厳密なメディアタイプ（ストリームを復号するために必要とされるデコーダのタイプ）の「名前」と、必要とされるそのデコーダのパラメータ表示を含む。名前はまた、４文字コード、たとえば、「ｍｏｏｖ」、または「ｔｒａｋ」の形態をとる。ＭＰＥＧ−４メディアについてだけでなく、このファイルフォーマットファミリーを使用する他の編成によって使用されるメディアタイプについても、定義済みのサンプルエントリフォーマットがある。
[0036]メタデータのサポートは、概して２つの形態をとる。第１に、時限メタデータが、適切なトラックに記憶され、必要に応じて、それが表しているメディアデータと同期され得る。第２に、ムービーまたは個々のトラックにアタッチされた非時限メタデータの全般的サポートがあり得る。構造的サポートは、全般的であり、メディアデータ、すなわち、コード化ビデオピクチャの記憶と同様の方法で、ファイル中の他の場所または別のファイル中でのメタデータリソースの記憶を可能にする。さらに、これらのリソースは名前付きであり、保護され得る。
[0037]ＩＳＯベースメディアファイルフォーマットでは、サンプルグルーピングは、１つのサンプルグループのメンバーであるべきトラック中のサンプルの各々の割当てである。サンプルグループ中のサンプルは連続である必要はない。たとえば、ＡＶＣファイルフォーマットにおけるＨ．２６４／ＡＶＣを提示するとき、１つの時間レベルのビデオサンプルは、１つのサンプルグループにサンプリングされ得る。サンプルグループは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス（ｓｂｄｐ）とＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスとの２つのデータ構造によって表される。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルグループへのサンプルの割当てを表す。対応するグループのプロパティについて説明するために、各サンプルグループエントリのためのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの一インスタンスがある。
[0038]オプションのメタデータトラックは、それが有する「興味深い特性」をもつ各トラックをタグ付けするために使用され、その値はグループの他のメンバー（たとえば、それのビットレート、スクリーンサイズ、または言語）とは異なり得る。トラック内のいくつかのサンプルは、特殊な特性を有するか、または個々に識別され得る。その特性の一例は、同期ポイント（しばしば、ビデオＩフレーム）である。これらのポイントは、各トラック中の特殊なテーブルによって識別され得る。より一般には、トラックサンプル間の依存性の性質は、メタデータを使用してドキュメント化されることもある。メタデータは、ちょうどビデオトラックのように、ファイルフォーマットサンプルのシーケンスとして構造化され得る。そのようなトラックはメタデータトラックと呼ばれる。各メタデータサンプルはメタデータステートメントとして構造化される。対応するファイルフォーマットサンプルまたはその構成サンプルについて質問され得る様々な質問（question）に対応する、様々な種類のステートメントがある。
[0039]メディアがストリーミングプロトコルを介して配信されるとき、メディアは、それがファイルにおいて表される形から変換される必要があり得る。これの一例は、メディアがリアルタイムプロトコル（ＲＴＰ）を介して送信されるときである。ファイルでは、たとえば、ビデオの各フレームが、ファイルフォーマットサンプルとして連続して記憶される。ＲＴＰでは、これらのフレームをＲＴＰパケット中に配置するために、使用されるコーデックに固有のパケット化ルールが順守されなければならない。ストリーミングサーバは、実行（run-time）時にそのようなパケット化を計算するように構成され得る。ただし、ストリーミングサーバの支援のためのサポートがある。ヒントトラック(hint track)と呼ばれる特殊なトラックがファイルに入れられ得る。
[0040]ヒントトラックは、特定のプロトコルのためのメディアトラックからどのようにパケットストリームを形成するかに関する、ストリーミングサーバのための一般的な命令を含む。これらの命令の形態はメディア独立型であるので、新しいコーデックが導入されたときにサーバが修正される必要がない。さらに、符号化および編集（editing）ソフトウェアはストリーミングサーバに気づいていない。ファイル上で編集が完了すると、ファイルをストリーミングサーバに置く前に、ヒントトラックをファイルに追加するために、ヒンター（hinter）と呼ばれる１個のソフトウェアが使用され得る。一例として、ＭＰＥＧ−４ファイルフォーマット規格におけるＲＴＰストリームのための定義されたヒントトラックフォーマットがある。
[0041]「プログレッシブダウンロード」という用語は、一般に、ＨＴＴＰプロトコルを使用した、サーバからクライアントへのデジタルメディアファイルの転送を説明するために使用される。コンピュータから開始されるとき、コンピュータは、ダウンロードが完了する前にメディアの再生を開始する。ストリーミングメディアとプログレッシブダウンロードとの間の１つの相違は、デジタルメディアにアクセスしているエンドユーザデバイスによるデジタルメディアデータの受信および記憶方法にある。プログレッシブダウンロード再生が可能であるメディアプレーヤは、ファイルのヘッダ中に配置されたメタデータが損なわれておらず、デジタルメディアファイルのローカルバッファがデジタルメディアファイルがウェブサーバからダウンロードされたときのままであることに依存する。指定された量のバッファデータがローカル再生デバイスに利用可能になった時点で、デバイスはメディアを再生し始め得る。この指定された量のバッファデータは、エンコーダ設定においてコンテンツの製作者によってファイルに埋め込まれ、クライアントコンピュータのメディアプレーヤによって課される追加のバッファ設定によって補強され得る。
[0042]ＡＶＣおよび３ＧＰＰはＩＳＯベースメディアファイルフォーマットの拡張であり、ＳＶＣおよびＭＶＣはＡＶＣファイルフォーマットの拡張である。したがって、本開示の技法は、ＩＳＯベースメディアファイルフォーマット、ＡＶＣファイルフォーマットおよびそれらの拡張、たとえば、ＳＶＣおよびＭＶＣ、ならびに／あるいはＴｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ（３ＧＰＰ）ファイルフォーマットに準拠するビデオファイルに対して適用され得る。本技法は、これらのフォーマットのこれらおよび他の拡張にさらに適用され得、ＳＥＩメッセージが記述するビデオデータとは別個にＳＥＩメッセージを与えるように他のファイルフォーマットを拡張するためにさらに適用され得る。したがって、例としてＡＶＣに関して一般的に説明するが、本開示の技法は概して他のファイルフォーマットに適用され得ることを理解されたい。
[0043]Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）は、ＩＳＯベースメディアファイルフォーマットの拡張としてＡＶＣファイルフォーマットを開発した。ＡＶＣファイルフォーマットでは、シーケンスパラメータセットおよびピクチャパラメータセットを含むパラメータセットは、ビデオトラック中にあるビデオエレメンタリストリームに関連付けられ得る。パラメータセットトラックと呼ばれる別のトラック中にパラメータセットを有することも可能であり、この別のトラックは、ＳＰＳまたはＰＰＳネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットであるサンプルを含んでいるパラメータセットエレメンタリストリームを含む。しかしながら、ＳＥＩメッセージを使用するピクチャより前の復号時間をもつサンプル中にこのＳＥＩメッセージが提示される限り、ＳＥＩメッセージＮＡＬユニットのロケーションはＡＶＣファイルフォーマットでは制限されない。
[0044]ＡＶＣファイルフォーマットはＳＶＣおよびＭＶＣ拡張を有し、それぞれＳＶＣおよびＭＶＣの記憶をサポートする。ＳＶＣおよびＭＶＣでは、１つのビデオトラックまたは複数のビデオトラック中に複数のレイヤ／ビューが含まれ得る。レイヤ／ビューが様々な編成で提示されるとき、オペレーションポイントを構築するために、ＳＶＣおよびＭＶＣ仕様において定義されたツールがある。
[0045]ＳＶＣのいくつかの機能はＨ．２６４／ＡＶＣから引き継がれている。前のスケーラブル規格と比較して、ＳＶＣ規格は、たとえば、階層時間スケーラビリティ、レイヤ間予測、シングルループ復号、およびフレキシブルトランスポートインターフェースなどの様々な利点を与え得る。Ｈ．２６４／ＡＶＣは、高度の時間スケーラビリティを可能にするフレキシブルな階層Ｂピクチャコーディング構造を与える。Ｈ．２６４／ＡＶＣから引き継がれたこの特徴により、ＳＶＣは、異なる解像度をもつレイヤの時間スケーラビリティをサポートする。ＳＶＣでは、ピクチャグループ（ＧＯＰ）は、いわゆるキーピクチャと、このキーピクチャと前のキーピクチャとの間に出力／表示順序で配置されたすべてのピクチャとを含む。キーピクチャは、規則的または不規則な間隔でコーディングされ得、前のキーピクチャを動き補償予測のための基準として使用してイントラコーディングされるか、またはインターコーディングされ得る。非キーピクチャは、より低い時間レベルをもつピクチャから階層的に予測され、キーピクチャは、最も低い時間レベルを有し得る。ピクチャの時間レベルは、ＮＡＬユニットヘッダＳＶＣ拡張中のシンタックス要素ｔｅｍｐｏｒａｌ＿ｉｄによって示され得る。
[0046]ＳＶＣは、テクスチャと残差と動きとに基づいて、空間スケーラビリティと信号対雑音比（ＳＮＲ）スケーラビリティとのレイヤ間予測を導入する。ＳＶＣにおける空間スケーラビリティは、２つのレイヤ間の任意の解像度比に一般化され得る。ＳＮＲスケーラビリティは、粗粒度スケーラビリティ（ＣＧＳ：Coarse Granularity Scalability）、中粒度スケーラビリティ（ＭＧＳ：Medium Granularity Scalability）、または細粒度スケーラビリティ（ＦＧＳ：Fine Grain Scalability）によって実現され得る。ＳＶＣでは、２つの空間レイヤまたはＣＧＳレイヤは、（ＮＡＬユニットヘッダ中でｄｅｐｅｎｄｅｎｃｙ＿ｉｄによって示され得る）異なる依存性レイヤに属するが、２つのＭＧＳレイヤは同じ依存性レイヤ中にあり得る。１つの依存性レイヤは、品質エンハンスメント（quality enhancement）レイヤに対応する、０からより高い値までのｑｕａｌｉｔｙ＿ｉｄをもつ品質レイヤを含み得る。ＳＶＣは、レイヤ間冗長性を低減するために利用されるレイヤ間予測方法を与える。それらは、レイヤ間テクスチャ予測、レイヤ間残差予測、およびレイヤ間動き予測として要約される。
[0047]ＳＶＣはまた、スケーラブルマルチメディアアプリケーションシステムへのコーデックのシームレスな統合を可能にする、フレキシブルなシステムおよびトランスポートインターフェース設計を提供する。圧縮およびスケーラビリティプロビジョニングとは異なり、システムおよびトランスポートインターフェースは、コーデック機能に焦点を当てており、一般的にビデオコーデックについては、インターオペラビリティおよび準拠、拡張性、ランダムアクセス、タイミング、バッファ管理、ならびに誤り耐性などであり、特にスケーラブルコーディングについては、後方互換性、スケーラビリティ情報プロビジョニング、およびスケーラビリティ適応などである。
[0048]ＳＶＣはシングルループ復号方式をさらに提供する。シングルループ復号方式では、ターゲットレイヤのみが動き補償され、完全復号される必要がある。したがって、一般に、あらゆる空間レイヤまたはＳＮＲスケーラブルレイヤに対して動き補償および完全復号が実行される、他のマルチループ復号方式と比較して、ＳＶＣのシングルループ復号方式は復号複雑度ならびにＤＰＢサイズを大幅に低減することができる。
[0049]ＳＶＣおよびＭＶＣは、たとえば、ＮＡＬユニットヘッダ、シーケンスパラメータセット、およびＳＥＩメッセージ中に、同様のハイレベルシンタックス設計を有する。ＳＶＣとＭＶＣの両方において、ビットストリーム全体の抽出は、帯域幅またはデバイス能力の適応のために、ある程度までサポートされる。抽出されたサブビットストリームは異なるオペレーションポイントに対応する。
[0050]いくつかの例では、本開示の技法は、Ｈ．２６４／ＡＶＣコーデック、または、ＳＶＣ、ＭＶＣ、またはＨ．２６４／ＡＶＣの他の拡張などのＡＶＣに基づくコーデックに適用され得る。そのようなコーデックは、ＳＥＩメッセージが１つのコード化ピクチャ、たとえば、アクセスユニットに関連するときにそのＳＥＩメッセージを認識するように構成され、ＳＥＩメッセージは、ＩＳＯベースメディアファイルフォーマットまたはＭＰＥＧ−２システムビットストリームでアクセスユニット内にカプセル化され得る。本技法はまた、ＳＥＩメッセージによって記述されるアクセスユニットとは別個にＳＥＩメッセージを搬送することを可能にするために、将来のコーディング規格、たとえば、Ｈ．２６５／ＨＥＶＣに対処する。
[0051]別の例として、３ＧＰＰに関して、ダウンロードおよびプログレッシブダウンロードのために３ＧＰファイルに対してＨＴＴＰ／ＴＣＰ／ＩＰトランスポートがサポートされる。さらに、ビデオストリーミングにＨＴＴＰを使用することはいくつかの利点を与え、ＨＴＴＰに基づくビデオストリーミングサービスが普及しつつある。ＨＴＴＰストリーミングは、ネットワーク上でビデオデータをトランスポートするための新しい技法を開発するために新たな労力が必要とされないように、既存のインターネットコンポーネントおよびプロトコルが使用されることを含むいくつかの利点を与え得る。他のトランスポートプロトコル、たとえばＲＴＰペイロードフォーマットは、メディアフォーマットおよびシグナリングコンテキストを認識するために、中間ネットワークデバイス、たとえば中間ボックスを必要とする。また、ＨＴＴＰストリーミングはクライアント主導型であり得、それにより、制御問題を回避し得る。
[0052]たとえば、最適性能を取得するための特徴を活用するために、サーバは、まだ肯定応答されていないパケットのサイズとコンテンツとを追跡する。サーバはまた、ＲＤ最適切替え／シニング（thinning）決定を行うために、ファイル構造を分析し、クライアントバッファの状態を再構成し得る。さらに、ネゴシエートされたプロファイルに準拠した状態を保つために、ビットストリーム変動に関する制約が満たされ得る。ＨＴＴＰは、ＨＴＴＰ１．１が実装されたウェブサーバにおいて、新しいハードウェアまたはソフトウェア実装を必ずしも必要とはしない。ＨＴＴＰストリーミングはまた、ＴＣＰフレンドリネス(TCP friendliness)とファイアウォールトラバーサル（firewall traversal）とを実現する。
[0053]ＨＴＴＰストリーミングでは、頻繁に使用される動作にはＧＥＴおよびパーシャルＧＥＴがある。ＧＥＴオペレーションは、所与のユニフォームリソースロケータ（ＵＲＬ）またはユニフォームリソースネーム（ＵＲＮ）に関連するファイル全体を取り出す。パーシャルＧＥＴオペレーションは、入力パラメータとしてバイト範囲を受信し、受信したバイト範囲に対応するファイルの連続するいくつかのバイトを取り出す。したがって、パーシャルＧＥＴオペレーションは１つまたは複数の個々のムービーフラグメントを得ることができるので、ＨＴＴＰストリーミングのためのムービーフラグメントが与えられ得る。ムービーフラグメントには、異なるトラックのいくつかのトラックフラグメントがあり得ることに留意されたい。ＨＴＴＰストリーミングでは、メディアプレゼンテーションは、クライアントがアクセス可能であるデータの構造化された集合であり得る。クライアントは、ストリーミングサービスをユーザに提示するために、メディアデータ情報を要求し、ダウンロードし得る。
[0054]図１は、オーディオ／ビデオ（Ａ／Ｖ）ソースデバイス２０がオーディオおよびビデオデータをＡ／Ｖ宛先デバイス４０にトランスポートする例示的なシステム１０を示すブロック図である。図１のシステム１０は、ビデオ通信会議システム、サーバ／クライアントシステム、放送事業者／受信機システム、またはＡ／Ｖソースデバイス２０などのソースデバイスからＡ／Ｖ宛先デバイス４０などの宛先デバイスにビデオデータが送られる任意の他のシステムに対応し得る。いくつかの例では、Ａ／Ｖソースデバイス２０およびＡ／Ｖ宛先デバイス４０は双方向情報交換を実行し得る。すなわち、Ａ／Ｖソースデバイス２０およびＡ／Ｖ宛先デバイス４０は、オーディオおよびビデオデータの符号化と復号（および、送信と受信）の両方が可能であり得る。いくつかの例では、オーディオエンコーダ２６は、ボコーダとも呼ばれるボイスエンコーダを備え得る。
[0055]Ａ／Ｖソースデバイス２０は、図１の例では、オーディオソース２２とビデオソース２４とを備える。オーディオソース２２は、たとえば、オーディオエンコーダ２６によって符号化されるべき、キャプチャされたオーディオデータを表す電気信号を生成するマイクロフォンを備え得る。代替的に、オーディオソース２２は、前に記録されたオーディオデータを記憶する記憶媒体、コンピュータシンセサイザなどのオーディオデータ生成器、またはオーディオデータの任意の他のソースを備え得る。ビデオソース２４は、ビデオエンコーダ２８によって符号化されるべきビデオデータを生成するビデオカメラ、前に記録されたビデオデータで符号化された記憶媒体、ビデオデータ生成ユニット、またはビデオデータの任意の他のソースを備え得る。
[0056]未加工オーディオおよびビデオデータは、アナログまたはデジタルデータを備え得る。アナログデータは、オーディオエンコーダ２６および／またはビデオエンコーダ２８によって符号化される前にデジタル化され得る。オーディオソース２２は、通話参加者が話している間、通話参加者からオーディオデータを取得し、同時に、ビデオソース２４は、通話参加者のビデオデータを取得し得る。他の例では、オーディオソース２２は、記憶されたオーディオデータを備えるコンピュータ可読記憶媒体を備え得、ビデオソース２４は、記憶されたビデオデータを備えるコンピュータ可読記憶媒体を備え得る。このようにして、本開示で説明する技法は、ライブ、ストリーミング、リアルタイムオーディオおよびビデオデータ、またはアーカイブされた、あらかじめ記録されたオーディオおよびビデオデータに適用され得る。
[0057]ビデオフレームに対応するオーディオフレームは、概して、ビデオフレーム内に含まれている、ビデオソース２４によってキャプチャされたビデオデータと同時にオーディオソース２２によってキャプチャされたオーディオデータを含んでいるオーディオフレームである。たとえば、通話参加者が概して話すことによってオーディオデータを生成する間、オーディオソース２２はオーディオデータをキャプチャし、同時に、すなわちオーディオソース２２がオーディオデータをキャプチャしている間、ビデオソース２４は通話参加者のビデオデータをキャプチャする。したがって、オーディオフレームは、１つまたは複数の特定のビデオフレームに時間的に対応し得る。したがって、ビデオフレームに対応するオーディオフレームは、概して、オーディオデータとビデオデータとが同時にキャプチャされる状況、およびオーディオフレームとビデオフレームとが、それぞれ、同時にキャプチャされたオーディオデータとビデオデータとを備える状況に対応する。
[0058]いくつかの例では、オーディオエンコーダ２６は、符号化オーディオフレームのオーディオデータが記録された時間を表す、各符号化オーディオフレームにおけるタイムスタンプを符号化し、同様に、ビデオエンコーダ２８は、符号化ビデオフレームのビデオデータが記録された時間を表す、各符号化ビデオフレームにおけるタイムスタンプを符号化し得る。そのような例では、ビデオフレームに対応するオーディオフレームは、タイムスタンプを備えるオーディオフレームと、同じタイムスタンプを備えるビデオフレームとを備え得る。Ａ／Ｖソースデバイス２０は、オーディオエンコーダ２６および／またはビデオエンコーダ２８がタイムスタンプを生成するか、あるいはオーディオソース２２およびビデオソース２４がオーディオおよびビデオデータをそれぞれタイムスタンプに関連付けるために使用し得る内部クロックを含む。
[0059]いくつかの例では、オーディオソース２２は、オーディオデータが記録された時間に対応するデータをオーディオエンコーダ２６に送り、ビデオソース２４は、ビデオデータが記録された時間に対応するデータをビデオエンコーダ２８に送る。いくつかの例では、オーディオエンコーダ２６は、符号化オーディオデータの相対的時間順序付けを示すために、符号化オーディオデータ中のシーケンス識別子を符号化するが、必ずしもオーディオデータが記録された絶対時刻を示す必要はない。同様に、ビデオエンコーダ２８も、符号化ビデオデータの相対的時間順序付けを示すためにシーケンス識別子を使用し得る。同様に、いくつかの例では、シーケンス識別子は、タイムスタンプにマッピングされるか、または場合によってはタイムスタンプと相関する。
[0060]本開示の技法は、概して、符号化マルチメディア（たとえば、オーディオおよびビデオ）データのトランスポートと、トランスポートされたマルチメディアデータの受信ならびに後続の解釈および復号とを対象とする。図１の例に示すように、ビデオソース２４はシーンの複数のビューをビデオエンコーダ２８に与える。
[0061]Ａ／Ｖソースデバイス２０は、Ａ／Ｖ宛先デバイス４０に「サービス」を提供し得る。サービスは、概して、ＭＶＣデータの利用可能なビューのサブセットに対応する。たとえば、ＭＶＣデータは、０から７まで順序付けられた８つのビューについて利用可能である。あるサービスは、２つのビューを有するステレオビデオに対応し、別のサービスは４つのビューに対応し、さらに別のサービスは８つのビューすべてに対応し得る。概して、サービスは、利用可能なビューの任意の組合せ（すなわち、任意のサブセット）に対応する。サービスはまた、利用可能なビューならびにオーディオデータの組合せに対応する。Ａ／Ｖソースデバイス２０が、Ａ／Ｖソースデバイス２０によって提供されるサービスごとにオペレーションポイント記述子をさらに与え得るように、オペレーションポイントがサービスに対応し得る。
[0062]各データストリームは（オーディオかビデオかにかかわらず）エレメンタリストリームと呼ばれる。エレメンタリストリームは、デジタル的にコーディングされた（場合によっては圧縮された）プログラムの単一の構成要素である。たとえば、プログラムのコーディングされたビデオまたはオーディオ部分はエレメンタリストリームである。エレメンタリストリームは、ビデオファイル内にカプセル化される前に、パケット化エレメンタリストリーム（ＰＥＳ：packetized elementary stream）に変換され得る。同じプログラム内では、１つのエレメンタリストリームに属するＰＥＳパケットを他のものから区別するためにストリームＩＤが使用される。エレメンタリストリームの基本データ単位はパケット化エレメンタリストリーム（ＰＥＳ）パケットである。したがって、ＭＶＣビデオデータの各ビューはそれぞれのエレメンタリストリームに対応する。同様に、オーディオデータは１つまたは複数のそれぞれのエレメンタリストリームに対応する。たとえば、シーケンスパラメータセット、ピクチャパラメータセット、およびシーケンスレベルＳＥＩメッセージを含み得るシーケンスデータセットは、本開示の技法によれば、パラメータセットトラックまたはパラメータセットエレメンタリストリーム中に含まれ得る。本開示の技法は、パケット化エレメンタリストリーム（ＰＥＳ）、プログラムストリーム（ＰＳ）、およびトランスポートストリーム（ＴＳ）、ならびにそれらのＡＶＣ拡張、ＳＶＣ拡張、およびＭＶＣ拡張を含む、ＭＰＥＧ−２システムに準拠するビデオファイルまたはビデオストリームに適用され得る。
[0063]ＭＶＣコード化ビデオシーケンスは、各々がエレメンタリストリームであるいくつかのサブビットストリームに分離され得る。各サブビットストリームは、ＭＶＣ ｖｉｅｗ＿ｉｄサブセットを使用して識別され得る。各ＭＶＣ ｖｉｅｗ＿ｉｄサブセットの概念に基づいて、ＭＶＣビデオサブビットストリームが定義される。ＭＶＣビデオサブビットストリームは、ＭＶＣ ｖｉｅｗ＿ｉｄサブセットに記載されているビューのＮＡＬユニットを含んでいる。プログラムストリームは、概して、エレメンタリストリームのものであるＮＡＬユニットのみを含んでいる。それはまた、任意の２つのエレメンタリストリームが同じビューを含むことができないように設計されている。
[0064]図１の例では、カプセル化ユニット３０は、ビデオエンコーダ２８からビデオデータを備えるエレメンタリストリームを受信し、オーディオエンコーダ２６からオーディオデータを備えるエレメンタリストリームを受信する。いくつかの例では、ビデオエンコーダ２８およびオーディオエンコーダ２６はそれぞれ、符号化データからＰＥＳパケットを形成するためのパケッタイザを含む。他の例では、ビデオエンコーダ２８およびオーディオエンコーダ２６は、それぞれ、符号化データからＰＥＳパケットを形成するため、それぞれのパケッタイザとインターフェースする。さらに他の例では、カプセル化ユニット３０は、符号化オーディオデータと符号化ビデオデータとからＰＥＳパケットを形成するためのパケッタイザを含む。
[0065]本開示で使用する「プログラム」は、オーディオデータとビデオデータとの組合せ、たとえば、Ａ／Ｖソースデバイス２０のサービスによって配信されたオーディオエレメンタリストリームと利用可能なビューのサブセットとを備え得る。各ＰＥＳパケットは、ＰＥＳパケットが属するエレメンタリストリームを識別するｓｔｒｅａｍ＿ｉｄを含む。カプセル化ユニット３０は、エレメンタリストリームをビデオファイルにアセンブルすることを担う。
[0066]カプセル化ユニット３０は、オーディオエンコーダ２６とビデオエンコーダ２８とからプログラムのエレメンタリストリームのＰＥＳパケットを受信し、ＰＥＳパケットから対応するネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを形成する。Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の例では、コード化ビデオセグメントは、ビデオテレフォニー、ストレージ、ブロードキャスト、またはストリーミングなどの適用例に対処する「ネットワークフレンドリーな」ビデオ表現を与えるＮＡＬユニットに編成される。ＮＡＬユニットは、Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとにカテゴリー分類され得る。ＶＣＬユニットは、コア圧縮エンジンを含むことがあり、ブロック、マクロブロック、および／またはスライスレベルのデータを含み得る。他のＮＡＬユニットは非ＶＣＬ ＮＡＬユニットであり得る。いくつかの例では、通常はプライマリコード化ピクチャとして提示される、１つの時間インスタンス中のコード化ピクチャは、１つまたは複数のＮＡＬユニットを含むアクセスユニット中に含まれる。
[0067]非ＶＣＬ ＮＡＬユニットは、特に、パラメータセットＮＡＬユニットとＳＥＩ
ＮＡＬユニットとを含み得る。パラメータセットは、（シーケンスパラメータセット（ＳＰＳ：sequence parameter set）中の）シーケンスレベルヘッダ情報と（ピクチャパラメータセット（ＰＰＳ：picture parameter set）中の）まれに変化するピクチャレベルヘッダ情報とを含むことがある。パラメータセット（たとえば、ＰＰＳおよびＳＰＳ）がある場合、まれに変化する情報をシーケンスごとまたはピクチャごとに繰り返す必要はなく、したがってコーディング効率が改善され得る。さらに、パラメータセットの使用は重要なヘッダ情報の帯域外送信を可能にし、誤り耐性のための冗長送信の必要を回避する。帯域外送信の例では、ＳＥＩ ＮＡＬユニットなど、他のＮＡＬユニットとは異なるチャネル上でパラメータセットＮＡＬユニットが送信され得る。
[0068]補足エンハンスメント情報（ＳＥＩ）は、ＶＣＬ ＮＡＬユニットからのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、および他の目的に関係するプロセスを支援する情報を含むことがある。ＳＥＩメッセージは、非ＶＣＬ ＮＡＬユニット中に含まれていることがある。ＳＥＩメッセージは、一部の標準規格の規範的部分であり、したがって、常に標準準拠デコーダ実装のために必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージまたはピクチャレベルのＳＥＩメッセージであり得る。ＳＶＣの例ではスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣではビュースケーラビリティ情報ＳＥＩメッセージなど、ＳＥＩメッセージ中に何らかのシーケンスレベル情報が含まれていることがある。これらの例示的なＳＥＩメッセージは、たとえば、オペレーションポイントの抽出およびそれらのオペレーションポイントの特性に関する情報を伝達する。
[0069]本開示の技法によれば、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージが、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャから分離されるようにビデオファイルのデータを構成し得る。このようにして、カプセル化ユニット３０は、コード化ビデオデータを含む特定のアクセスユニットからシーケンスレベルＳＥＩメッセージを分離し得る。たとえば、カプセル化ユニット３０は、たとえば、ＡＶＣ、またはＭＶＣおよびＳＶＣなどのその拡張に従って符号化されたビデオデータのＳＰＳデータおよびＰＰＳデータとともに、シーケンスレベルＳＥＩメッセージをパラメータセットエレメンタリストリーム中に含める。さらに、ビデオデータがＭＶＣおよび／またはＳＶＣに従って符号化される例では、カプセル化ユニット３０は、サブセットＳＰＳをパラメータセットエレメンタリストリーム中に含める。
[0070]いくつかの例では、カプセル化ユニット３０は、パラメータセットエレメンタリストリーム中にいくつかのＳＥＩメッセージのみを配置するように構成される。たとえば、Ｈ．２６４／ＡＶＣの場合、カプセル化ユニット３０は、パンスキャン矩形情報およびステレオビデオ情報を記述するＳＥＩメッセージをパラメータセットエレメンタリストリーム中に含める。別の例として、ＳＶＣの場合、カプセル化ユニット３０は、スケーラビリティ情報を記述するＳＥＩメッセージをパラメータセットエレメンタリストリーム中に含め得る。さらに別の例として、ＭＶＣの場合、カプセル化ユニット３０は、ビュースケーラビリティ情報、マルチビュー取得情報、およびマルチビューシーン情報を記述するＳＥＩメッセージを含める。
[0071]一般に、ＳＰＳおよびＰＰＳ（ならびに、たとえば、ＭＶＣおよびＳＶＣのためのサブセットＳＰＳ）は、シーケンスレベルＳＥＩメッセージとともに、「シーケンスデータセット」と総称される。上記で説明したように、シーケンスデータセットは、パラメータセットエレメンタリストリームなどの別個のトラック中に含まれ得る。いくつかの例では、別個のパラメータトラック中にシーケンスデータセットを配置するのではなく、カプセル化ユニット３０は、宛先デバイス４０がＨＴＴＰパーシャルＧＥＴ要求を使用してシーケンスデータセット全体を取り出すことができるように、シーケンスのシーケンスデータセットを連続的にファイル中に提示し得る。たとえば、シーケンスデータセットは、コード化ビデオデータ、たとえば、コード化ビデオピクチャの一部分またはコード化ビデオピクチャ全体を含んでいない専用のビデオサンプル中に含まれる。
[0072]シーケンスデータセットによって記述されたビデオデータからシーケンスデータセットを分離することによって、宛先デバイス４０は、シーケンスデータセットによって記述されたビデオデータとは別個にシーケンスデータセットを取り出し得る。このようにして、ソースデバイス２０は、シーケンスデータセットによって記述されたビデオデータを宛先デバイス４０に送信するより前に、シーケンスデータセットを宛先デバイス４０に送信し得る。したがって、ソースデバイス２０は、コード化ビデオピクチャを含むムービーフラグメントが宛先デバイス４０に送られる前に、シーケンスデータセットを宛先デバイス４０に送り得る。
[0073]いくつかの例では、たとえば、３ＧＰＰビデオファイルの使用に関して、シーケンスデータセットは、宛先デバイス４０がメディアプレゼンテーション記述子にアクセスした後に宛先デバイス４０に送られ得る別個の３ＧＰＰファイル中に含まれる。すなわち、宛先デバイス４０は、ビデオデータのシーケンスのメディアプレゼンテーション記述子を取り出し、次いで、ビデオデータのシーケンスのシーケンスデータセットを含む３ＧＰＰファイルを取り出し、次いで、ビデオデータ自体のシーケンスを取り出す。いくつかの例では、シーケンスデータセットは、メディアプレゼンテーション記述子自体の一部を形成する。いくつかの例では、シーケンスデータセットは、コード化ビデオデータを含んでいないムービーボックスの一部に含まれる。いくつかの例では、シーケンスデータセットは、ムービーボックスの後に配置されるムービーフラグメントを形成する。
[0074]カプセル化ユニット３０は、ＮＡＬが属するプログラムを識別するヘッダ、ならびに、たとえば、オーディオデータ、ビデオデータ、あるいはＮＡＬユニットが対応するトランスポートまたはプログラムストリームを記述するデータといったペイロードを備えるＮＡＬユニットを形成し得る。たとえば、Ｈ．２６４／ＡＶＣでは、ＮＡＬユニットは１バイトのヘッダと変動するサイズのペイロードとを含む。一例では、ＮＡＬユニットヘッダは、ｐｒｉｏｒｉｔｙ＿ｉｄ要素と、ｔｅｍｐｏｒａｌ＿ｉｄ要素と、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素と、ｖｉｅｗ＿ｉｄ要素と、ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素と、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素とを備える。従来のＭＶＣでは、４バイトＭＶＣ ＮＡＬユニットヘッダとＮＡＬユニットペイロードとを含む、プレフィックスＮＡＬユニットとＭＶＣコード化スライスＮＡＬユニットとを除いて、Ｈ．２６４によって定義されたＮＡＬユニットが保持される。
[0075]ＮＡＬヘッダのｐｒｉｏｒｉｔｙ＿ｉｄ要素は、単純なワンパス（one-path）ビットストリーム適合プロセスのために使用され得る。ｔｅｍｐｏｒａｌ＿ｉｄ要素は、異なる時間レベルが異なるフレームレートに対応する場合、対応するＮＡＬユニットの時間レベルを指定するために使用され得る。
[0076]ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素は、ピクチャがアンカーピクチャであるか非アンカーピクチャであるかを示す。アンカーピクチャと、出力順序（すなわち、表示順序）でそれに続くすべてのピクチャとは、復号順序（すなわち、ビットストリーム順序）で前のピクチャを復号することなしに正しく復号され、したがってランダムアクセスポイントとして使用され得る。アンカーピクチャと非アンカーピクチャとは異なる依存性を有することができ、その両方はシーケンスパラメータセット中でシグナリングされる。他のフラグについては、本章の以下のセクションで説明され、使用される。そのようなアンカーピクチャはまた、オープンＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）アクセスポイントと呼ばれることもあり、ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素が０に等しいとき、クローズＧＯＰアクセスポイントもサポートされる。ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素は、ピクチャが瞬時デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）であるかビューＩＤＲ（Ｖ−ＩＤＲ）ピクチャであるかを示す。概して、ＩＤＲピクチャと、出力順序またはビットストリーム順序でそれに続くすべてのピクチャとは、復号順序または表示順序のいずれかで前のピクチャを復号することなしに正しく復号され得る。
[0077]ｖｉｅｗ＿ｉｄ要素は、ビューを識別するために使用され得るシンタックス情報を備え、それは、ＭＶＣデコーダ内でデータ対話性のために、たとえば、ビュー間予測のために、およびデコーダ外で、たとえば、レンダリングのために使用され得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素は、対応するＮＡＬユニットが他のビューによってビュー間予測のために使用されるかどうかを指定し得る。ＡＶＣに準拠し得る、ベースビューの４バイトＮＡＬユニットヘッダ情報を搬送するために、ＭＶＣにおいてプレフィックスＮＡＬユニットが定義される。ＭＶＣのコンテキストにおいて、ベースビューアクセスユニットは、ビューの現在の時間インスタンスのＶＣＬ ＮＡＬユニット、ならびにＮＡＬユニットヘッドのみを含むプレフィックスＮＡＬユニットを含む。Ｈ．２６４／ＡＶＣデコーダはプレフィックスＮＡＬユニットを無視し得る。
[0078]そのペイロード中にビデオデータを含むＮＡＬユニットは、様々な粒度（granularity）レベルのビデオデータを備え得る。たとえば、ＮＡＬユニットは、ビデオデータのブロック、マクロブロック、複数のマクロブロック、ビデオデータのスライス、またはビデオデータのフレーム全体を備える。カプセル化ユニット３０は、ビデオエンコーダ２８から符号化ビデオデータをエレメンタリストリームのＰＥＳパケットの形態で受信し得る。カプセル化ユニット３０は、各エレメンタリストリームを対応するプログラムに関連付け得る。
[0079]カプセル化ユニット３０はまた、複数のＮＡＬユニットからアクセスユニットをアセンブルし得る。概して、アクセスユニットは、ビデオデータのフレームを表すための、ならびにそのフレームに対応するオーディオデータが利用可能であるときにそのようなオーディオデータを表すための、１つまたは複数のＮＡＬユニットを備え得る。アクセスユニットは、概して、１つの出力時間インスタンスについてすべてのＮＡＬユニット、たとえば１つの時間インスタンスについてすべてのオーディオおよびビデオデータを含む。
たとえば、各ビューが２０フレーム毎秒（ｆｐｓ）のフレームレートを有する場合、各時間インスタンスは０．０５秒の時間間隔に対応する。この時間間隔中に、同じアクセスユニット（同じ時間インスタンス）のすべてのビューについて特定のフレームが同時にレンダリングされ得る。Ｈ．２６４／ＡＶＣに対応する例では、アクセスユニットは、プライマリコード化ピクチャとして提示される、１つの時間インスタンス中のコード化ピクチャを備える。したがって、アクセスユニットは、共通の時間インスタンスのすべてのオーディオおよびビデオフレーム、たとえば、時間Ｘに対応するすべてのビューを備え得る。また、本開示では、特定のビューの符号化ピクチャを「ビューコンポーネント」と呼ぶ。すなわち、ビューコンポーネントは、特定の時間における特定のビューの符号化ピクチャ（またはフレーム）を備え得る。したがって、アクセスユニットは、共通の時間インスタンスのすべてのビューコンポーネントを備えるものと定義され得る。アクセスユニットの復号順序は、必ずしも出力または表示順序と同じである必要はない。
[0080]多くのビデオコーディング規格の場合と同様に、Ｈ．２６４／ＡＶＣは、誤りのないビットストリームのためのシンタックスと、セマンティクスと、復号プロセスとを定義し、そのいずれも特定のプロファイルまたはレベルに準拠する。Ｈ．２６４／ＡＶＣはエンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダの規格に準拠することを保証することを課される。ビデオコーディング規格のコンテキストでは、「プロファイル」は、アルゴリズム、機能、またはツールと、それらに適用される制約とのサブセットに対応する。たとえば、Ｈ．２６４規格によって定義される「プロファイル」は、Ｈ．２６４規格によって指定されたビットストリームシンタックス全体のサブセットである。「レベル」は、たとえば、ピクチャの解像度、ビットレート、およびマクロブロック（ＭＢ）処理レートに関係するデコーダメモリおよび計算など、デコーダリソース消費の制限に対応する。プロファイルはｐｒｏｆｉｌｅ＿ｉｄｃ（プロファイルインジケータ）値を用いてシグナリングされ、レベルはｌｅｖｅｌ＿ｉｄｃ（レベルインジケータ）値を用いてシグナリングされ得る。
[0081]Ｈ．２６４規格は、たとえば、与えられたプロファイルのシンタックスによって課される限界内で、復号されたピクチャの指定されたサイズのような、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダおよびデコーダのパフォーマンスにおける大きい変動が要求される可能性が依然としてあることを認識している。Ｈ．２６４規格は、さらに、多くのアプリケーションにおいて、特定のプロファイル内でシンタックスのすべての仮定的使用を処理することが可能なデコーダを実装することが現実的でも経済的でもないことを認識している。したがって、Ｈ．２６４規格は、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットとして「レベル」を定義している。これらの制約は、値に関する単純な限界であり得る。代替的に、これらの制約は、値の演算の組合せ（たとえば、ピクチャ幅×ピクチャ高さ×毎秒復号されるピクチャの数）に関する制約の形態をとり得る。Ｈ．２６４規格は、さらに、個別の実装形態が、サポートされるプロファイルごとに異なるレベルをサポートすることを規定している。
[0082]プロファイルに準拠するデコーダは、通常、プロファイル中で定義されたすべての機能をサポートする。たとえば、コーディング機能として、Ｂピクチャコーディングは、Ｈ．２６４／ＡＶＣのベースラインプロファイルではサポートされないが、Ｈ．２６４／ＡＶＣの他のプロファイルではサポートされる。１つのレベルに準拠するデコーダは、当該レベルにおいて定義された制限を超えたリソースを必要としない任意のビットストリームを復号できなければならない。プロファイルおよびレベルの定義は、説明可能性のために役立ち得る。たとえば、ビデオ送信中に、プロファイル定義とレベル定義のペアが全送信セッションについてネゴシエートされ、同意される。より詳細には、Ｈ．２６４／ＡＶＣでは、レベルは、たとえば、処理する必要があるマクロブロックの数に関する制限と、復号されたピクチャバッファ（ＤＰＢ）サイズと、コード化ピクチャバッファ（ＣＰＢ）サイズと、垂直動きベクトル範囲と、２つの連続するＭＢごとの動きベクトルの最大数と、Ｂブロックが８×８ピクセル未満のサブマクロブロックパーティションを有することができるかどうかとを定義する。このようにして、デコーダは、デコーダがビットストリームを適切に復号することができるかどうかを決定し得る。
[0083]パラメータセットは、概して、シーケンスパラメータセット（ＳＰＳ）中のシーケンスレイヤヘッダ情報とピクチャパラメータセット（ＰＰＳ）中のまれに変化するピクチャレイヤヘッダ情報とを含む。パラメータセットがある場合、このまれに変化する情報をシーケンスごとまたはピクチャごとに繰り返す必要はなく、したがってコーディング効率が改善される。さらに、パラメータセットの使用はヘッダ情報の帯域外送信を可能にし、誤り耐性を達成するための冗長送信の必要を回避できる。帯域外送信では、他のＮＡＬユニットとは異なるチャネル上でパラメータセットＮＡＬユニットが送信される。
[0084]ＳＶＣおよびＭＶＣの例は、スケーラブルビデオまたはマルチビュービデオのためのシーケンスパラメータセット（ＳＰＳ）拡張を与える。ＳＰＳ拡張情報は、他のＮＡＬユニットとは異なるＮＡＬユニットタイプを有する、サブＳＰＳ ＮＡＬユニット中に含まれ得る。サポートされるオペレーションポイントについてのプロファイルおよびレベル情報は、ＳＰＳ拡張情報を含むＮＡＬユニット中に含まれ得る。
[0085]メディアプレゼンテーションは、異なる複数の代替表現（たとえば、異なる品質をもつ複数のビデオサービス）の記述を含むメディアプレゼンテーション記述（ＭＰＤ）を含み得、記述は、たとえば、コーデック情報、プロファイル値、およびレベル値を含み得る。様々なプレゼンテーションの複数のムービーフラグメントにアクセスする方法を決定するために、宛先デバイス４０はメディアプレゼンテーションのＭＰＤを取り出す。ムービーフラグメントは、ビデオファイルのムービーフラグメントボックス（ｍｏｏｆボックス）中に配置される。
[0086]ＩＴＵ−Ｔ Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２およびＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０などのビデオ圧縮規格は、時間冗長性を低減するために動き補償時間予測を利用する。エンコーダは、動きベクトルに従って現在のコード化ピクチャを予測するために、いくつかの前の（本明細書ではフレームとも呼ぶ）符号化ピクチャからの動き補償予測を使用する。典型的なビデオコーディングには３つの主要なピクチャタイプがある。それらは、イントラコード化ピクチャ（「Ｉピクチャ」または「Ｉフレーム」）と、予測ピクチャ（「Ｐピクチャ」または「Ｐフレーム」）と、双方向予測ピクチャ（「Ｂピクチャ」または「Ｂフレーム」）と、である。Ｐピクチャは、時間順序で現在のピクチャの前の参照ピクチャのみを使用する。Ｂピクチャでは、Ｂピクチャの各ブロックは、１つまたは２つの参照ピクチャから予測され得る。これらの参照ピクチャは、時間順序で現在のピクチャの前または後に位置し得る。
[0087]Ｈ．２６４コーディング規格によれば、一例として、Ｂピクチャは、前にコーディングされた参照ピクチャの２つのリスト、すなわち、リスト０とリスト１とを使用する。これらの２つのリストは、それぞれ、過去および／または将来のコード化ピクチャを時間順序で含むことができる。Ｂピクチャ中のブロックは、いくつかの方法、すなわちリスト０参照ピクチャからの動き補償予測、リスト１参照ピクチャからの動き補償予測、またはリスト０参照ピクチャとリスト１参照ピクチャの両方の組合せからの動き補償予測のうちの１つで予測され得る。リスト０参照ピクチャとリスト１参照ピクチャの両方の組合せを得るために、２つの動き補償基準エリアが、それぞれリスト０参照ピクチャおよびリスト１参照ピクチャから取得される。それらの組合せは現在のブロックを予測するために使用される。
[0088]ＩＴＵ−Ｔ Ｈ．２６４規格は、ルーマ成分については１６×１６、８×８、または４×４、およびクロマ成分については８×８など、様々なブロックサイズのイントラ予測をサポートし、ならびにルーマ成分については１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４、およびクロマ成分については対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。本開示では、「×」と「by」は、垂直ディメンション（dimension）および水平ディメンションに関するブロックのピクセルディメンション、たとえば、１６×１６ピクセルまたは１６by１６ピクセルを指すために互換的に使用される。一般に、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、Ｎは、非負整数値を表す。ブロック中のピクセルは行と列に構成される。
[0089]１６×１６よりも小さいブロックサイズは１６×１６マクロブロックのパーティションと呼ばれることがある。ビデオブロックは、ピクセル領域中のピクセルデータのブロックを備え、あるいは、たとえば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、またはコード化ビデオブロックと予測ビデオブロックとの間のピクセル差分を表す残差ビデオブロックデータへの概念的に同様の変換などの変換を適用した後の変換領域中の変換係数のブロックを備え得る。場合によっては、ビデオブロックは、変換領域中の量子化変換係数のブロックを備え得る。
[0090]ビデオブロックは、小さいほどより良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置決めに使用され得る。一般に、マクロブロック、およびサブブロックと呼ばれることがある様々なパーティションは、ビデオブロックと見なされ得る。さらに、スライスは、マクロブロックおよび／またはサブブロックなど、複数のビデオブロックであると見なされ得る。各スライスはビデオフレームの単独で復号可能なユニットであり得る。代替的に、フレーム自体が復号可能なユニットであるか、またはフレームの他の部分が復号可能なユニットとして定義され得る。「コード化ユニット」または「コーディングユニット」という用語は、フレーム全体、フレームのスライス、シーケンスとも呼ばれるピクチャグループ（ＧＯＰ）のようなビデオフレームの単独で復号可能な任意のユニット、または、適用可能なコーディング技法に従って定義される別の単独で復号可能なユニットを指すことがある。
[0091]マクロブロックという用語は、１６×１６ピクセルを備える２次元ピクセルアレイに従ってピクチャおよび／またはビデオデータを符号化するためのデータ構造を指す。各ピクセルはクロミナンス成分と輝度成分とを備える。したがって、マクロブロックは、各々が８×８ピクセルの２次元アレイを備える４つの輝度ブロックと、各々が１６×１６ピクセルの２次元アレイを備える２つのクロミナンスブロックと、コード化ブロックパターン（ＣＢＰ）、符号化モード（たとえば、イントラ（Ｉ）またはインター（ＰまたはＢ）符号化モード）、イントラ符号化ブロックのパーティションのパーティションサイズ（たとえば、１６×１６、１６×８、８×１６、８×８、８×４、４×８、または４×４）、あるいはインター符号化マクロブロックのための１つまたは複数の動きベクトルなどのシンタックス情報を備えるヘッダと、を定義し得る。
[0092]ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、およびカプセル化解除ユニット３８は、それぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなどの様々な好適な処理回路のいずれか、またはそれらの任意の組合せとして実装され得る。ビデオエンコーダ２８およびビデオデコーダ４８の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。同様に、オーディオエンコーダ２６およびオーディオデコーダ４６の各々は１つまたは複数のエンコーダまたはデコーダ中に含められ得、そのいずれかは複合ＣＯＤＥＣの一部として統合され得る。ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、および／またはカプセル化解除ユニット３８を含む装置は、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
[0093]カプセル化ユニット３０が、受信したデータに基づいてＮＡＬユニットおよび／またはアクセスユニットをビデオファイルにアセンブルした後、カプセル化ユニット３０はビデオファイルを出力のために出力インターフェース３２に渡す。いくつかの例では、カプセル化ユニット３０は、ビデオファイルをローカルに記憶するか、またはビデオファイルを直接宛先デバイス４０に送るのではなく、出力インターフェース３２を介してビデオファイルをリモートサーバに送る。出力インターフェース３２は、たとえば、送信機、トランシーバ、たとえば、オプティカルドライブ、磁気メディアドライブ（たとえば、フロッピー（登録商標）ドライブ）など、コンピュータ可読媒体にデータを書き込むためのデバイス、ユニバーサルシリアルバス（ＵＳＢ）ポート、ネットワークインターフェース、または他の出力インターフェースを備える。出力インターフェース３２は、ビデオファイルを、たとえば、送信信号、磁気メディア、光メディア、メモリ、フラッシュドライブ、または他のコンピュータ可読媒体など、コンピュータ可読媒体３４に出力する。
[0094]最終的に、入力インターフェース３６はコンピュータ可読媒体３４からデータを取り出す。入力インターフェース３６は、たとえば、オプティカルドライブ、磁気メディアドライブ、ＵＳＢポート、受信機、トランシーバ、または他のコンピュータ可読媒体インターフェースを備える。入力インターフェース３６は、ＮＡＬユニットまたはアクセスユニットをカプセル化解除ユニット３８に与える。カプセル化解除ユニット３８は、ビデオファイルの要素を構成(constituent)ＰＥＳストリームにカプセル化解除し、符号化データを取り出すためにＰＥＳストリームをパケット化解除し、たとえば、ストリームのＰＥＳパケットヘッダによって示されるように、符号化データがオーディオの一部であるのかビデオストリームの一部であるのかに応じて、符号化データをオーディオデコーダ４６またはビデオデコーダ４８に送る。オーディオデコーダ４６は、符号化オーディオデータを復号し、復号されたオーディオデータをオーディオ出力４２に送り、ビデオデコーダ４８は、符号化ビデオデータを復号し、ストリームの複数のビューを含み得る復号されたビデオデータをビデオ出力４４に送る。
[0095]さらに、カプセル化解除ユニット３８は、ＰＰＳデータ、ＳＰＳデータ、および／またはシーケンスレベルＳＥＩメッセージを含み得る復号シーケンスデータセットをビデオ出力４４に送り得る。ビデオ出力４４は、シーンの単一のビューまたはシーンの複数のビューを使用するディスプレイ、たとえば、同時に、または高速に交互に連続してシーンの各ビューを提示するステレオスコープ（stereoscopic）ディスプレイまたはオートステレオスコープ（autostereoscopic）ディスプレイを備えることができる。ビデオ出力４４は、復号されたビデオピクチャを表示するためにシーケンスデータセットを使用し得る。シーケンスレベルＳＥＩメッセージは、復号プロセスを支援するためにも使用され得るが、ＳＥＩメッセージは、ビデオシーケンスのサンプルを適切に復号するために必要とされない。したがって、ビデオデコーダ４８は、ビデオファイルのビデオサンプルを復号するときに、シーケンスレベルＳＥＩメッセージをも使用し得る。
[0096]上記のように、ＳＥＩメッセージは様々な目的のために使用され得る。たとえば、シーケンスレベルＳＥＩメッセージは、表示されたときにビデオデータを様々なスクリーンサイズに適応するように調整するためのパンアンドスキャン情報を記述する。したがって、ビデオ出力４４（または、それの制御ユニット）は、ビデオ出力４４によって表示されるようにビデオデータを調整するために、シーケンスレベルＳＥＩメッセージを使用し得る。
[0097]別の例として、シーケンスレベルＳＥＩメッセージはステレオビデオ情報を記述し得る。すなわち、シーケンスレベルＳＥＩメッセージは、どのピクチャが３次元ビデオアプリケーションのための「左」画像であるか、または「右」画像であるかを記述し得る。したがって、ビデオ出力４４は、どのように３次元ビデオデータを提示すべきかを判断するために、シーケンスレベルＳＥＩメッセージを使用し得る。たとえば、ビデオ出力４４は、光の様々な偏光を使用して、または様々なカラーフィルタ（たとえば、赤および緑）を用いて、左画像と右画像とを表示するか、あるいは、ビデオ出力４４に関連付けられたアクティブ眼鏡が、光を通すレンズが交互に変わるように、左画像と右画像とが交互に高速に変わる。
[0098]さらに別の例として、たとえば、ビデオファイルがＳＶＣまたはＭＶＣに従って構築される例では、シーケンスレベルＳＥＩメッセージはスケーラビリティ情報を与える。したがって、ビデオデコーダ４８は、エンハンスメントレイヤ情報が受信されたかどうかを決定するために、したがって、受信したエンハンスメントレイヤデータを使用すべきかどうかを決定するために、またはベースレイヤビデオデータをアップサンプリングするために値を補間すべきかを決定するために、シーケンスレベルＳＥＩメッセージを使用し得る。
[0099]別の例として、たとえば、ビデオファイルがＭＶＣに従って構築される例では、シーケンスレベルＳＥＩメッセージは、マルチビュー取得情報またはマルチビューシーン情報を与え得る。一般に、マルチビュー取得情報ＳＥＩメッセージは、たとえば、内部および外部カメラパラメータ、ビューの数、焦点距離、主点、スキューファクタ、回転パラメータ、および／または変換パラメータなどの収集環境のパラメータを指定する。マルチビューシーン情報ＳＥＩメッセージは、複数のビューがキャプチャされるときの、それらのビュー間の最大視差を指定し得る。この情報は、３次元ビデオデータを復号および／またはレンダリングするときに、たとえば、既存の画像から追加の画像を構築するときに、ビデオデコーダ４８および／またはビデオ出力４４によって使用され得る。マルチビューシーン情報はまた、１つまたは複数のカメラの特性、または、たとえば、最高１０２４個のビューのカメラ設定によって生じる最大視差がどのくらいかなど、画像収集中の状態を記述し得る。マルチビューシーン情報はまた、カメラキャリブレーションおよび修正に関係する詳細を与え得る。
[00100]図２は、例示的なカプセル化ユニット３０の構成要素を示すブロック図である。図２の例では、カプセル化ユニット３０は、ビデオ入力インターフェース８０と、オーディオ入力インターフェース８２と、ビデオファイル作成ユニット６０と、ビデオファイル出力インターフェース８４とを含む。この例では、ビデオファイル作成ユニット６０は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットコンストラクタ６２と、ＳＥＩメッセージ抽出ユニット６４と、シーケンスデータセット作成ユニット６６とを含む。
[00101]ビデオ入力インターフェース８０およびオーディオ入力インターフェース８２は、それぞれ符号化ビデオデータおよび符号化オーディオデータを受信する。ビデオ入力インターフェース８０およびオーディオ入力インターフェース８２は、データが符号化されると、符号化ビデオデータおよび符号化オーディオデータを受信するか、または符号化ビデオデータおよび符号化オーディオデータをコンピュータ可読媒体から取り出し得る。符号化ビデオデータおよび符号化オーディオデータを受信すると、ビデオ入力インターフェース８０およびオーディオ入力インターフェース８２は、ビデオファイルにアセンブルするために符号化ビデオデータおよび符号化オーディオデータをビデオファイル作成ユニット６０に受け渡す。
[00102]ビデオファイル作成ユニット６０は、それによる機能およびプロシージャを実行するように構成されたハードウェア、ソフトウェア、および／またはファームウェアを含む制御ユニットに対応し得る。制御ユニットは、概して、カプセル化ユニット３０による機能をさらに実行し得る。ビデオファイル作成ユニット６０がソフトウェアおよび／またはファームウェアで実施される例では、カプセル化ユニット３０は、ビデオファイル作成ユニット６０のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成ユニット６０のサブユニット（この例では、ＮＡＬユニットコンストラクタ６２、ＳＥＩメッセージ抽出ユニット６４、およびシーケンスデータセット作成ユニット６６）の各々は、個々のハードウェアユニットおよび／またはソフトウェアモジュールとして実装され、機能的に統合されるか、または追加のサブユニットにさらに分離され得る。ビデオファイル作成ユニット６０は、たとえば、１つまたは複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組合せなど、任意の好適な処理ユニットまたは処理回路に対応し得る。ビデオファイル作成ユニット６０は、ＮＡＬユニットコンストラクタ６２、ＳＥＩメッセージ抽出ユニット６４、およびシーケンスデータセット作成ユニット６６のいずれかまたはすべてのための命令を記憶する非一時的コンピュータ可読媒体、ならびに命令を実行するためのプロセッサをさらに含み得る。
[00103]概して、ビデオファイル作成ユニット６０は、受信したオーディオおよびビデオデータを含むビデオファイルを作成し得る。ＮＡＬユニットコンストラクタ６２は、符号化ビデオおよびオーディオサンプルを含むＮＡＬユニットを形成し得る。ビデオファイル作成ユニット６０は、特定の時間インスタンスについてのすべてのＮＡＬユニットを含むアクセスユニットをアセンブルするようにさらに構成され得る。さらに、ビデオファイル作成ユニット６０は、シーケンスレベルＳＥＩメッセージによって記述された符号化されたビデオピクチャからシーケンスレベルＳＥＩメッセージを分離し、シーケンスレベルＳＥＩメッセージによって記述された符号化されたビデオピクチャとは別個に、シーケンスレベルＳＥＩメッセージを作成されたビデオファイルに記憶するように構成され得る。
[00104]ビデオエンコーダ２８（図１）は、ビデオデータのサンプルとともにＳＥＩメッセージを含み得る。いくつかの個々のサンプルのためのビデオエンコーダ２８から受信したＳＥＩメッセージは、場合によっては、サンプルの各々のためのＳＥＩメッセージと同じである。したがって、個々のサンプルのためのＳＥＩメッセージがサンプルの各々のためのＳＥＩメッセージと同じ（またはまったく同様）であると判断すると、ＳＥＩメッセージ抽出ユニット６４は、サンプルの各々のための同じＳＥＩメッセージを送信するのではなく、ＳＥＩメッセージによって記述されたサンプルからＳＥＩメッセージを分離し得る。２つ以上の符号化されたビデオピクチャに関係し得るそのようなＳＥＩメッセージは、シーケンスレベルＳＥＩメッセージと呼ばれることがある。
[00105]追加または代替として、ビデオファイル作成ユニット６０は、コード化ビデオピクチャのシーケンスのためのシーケンスレベルＳＥＩメッセージを生成するように構成され得る。このようにして、ビデオファイル作成ユニット６０は、シーケンスレベルＳＥＩメッセージを生成し得るか、またはビデオサンプルのうちの１つまたは複数を記述するシーケンスレベルＳＥＩメッセージを形成するためにビデオサンプルから既存のＳＥＩメッセージを分離し得る。
[00106]シーケンスデータセット作成ユニット６６は、ビデオファイル作成ユニット６０によって生成されたビデオファイルのシーケンスデータセットを作成し得る。シーケンスデータセット作成ユニット６６は、シーケンスレベルＳＥＩメッセージをシーケンスパラメータセットおよび／またはピクチャパラメータセットデータとともにグループ化し得る。たとえば、シーケンスデータセット作成ユニット６６は、ＳＰＳと、ＰＰＳと、いくつかの例では、（たとえば、ＳＶＣおよびＭＶＣに関して）サブセットＳＰＳとを含むパラメータセットエレメンタリストリーム中に、シーケンスレベルＳＥＩメッセージを含める。別の例として、シーケンスデータセット作成ユニット６６は、コード化ビデオピクチャのシーケンスのシーケンスレベルＳＥＩメッセージを、作成されたビデオファイルの連続セクション中に含める。すなわち、シーケンスデータセット作成ユニット６６は、コード化ビデオピクチャの特定のシーケンスのためのシーケンスレベルＳＥＩメッセージについてのデータが、連続する一連の１つまたは複数のバイト中に一緒にグループ化されることを保証し得る。たとえば、シーケンスデータセット作成ユニット６６は、シーケンスレベルＳＥＩメッセージとシーケンスデータセットについての他のデータとを、コード化ビデオピクチャのどの部分も含んでいない特定のビデオサンプル中にアセンブルする。
[00107]別の例として、たとえば、３ＧＰＰに関して、シーケンスデータセット作成ユニット６６は、コード化ビデオピクチャのシーケンスについてのシーケンスデータセットを、シーケンスデータセットによって記述されたコード化ビデオピクチャのシーケンスを含む１つまたは複数の３ＧＰＰファイルに先行する比較的小さい３ＧＰＰファイル中にアセンブルする。代替的に、シーケンスデータセット作成ユニット６６は、シーケンスデータセットを、１つまたは複数の３ＧＰＰファイルを含む１つまたは複数の関係するプレゼンテーションのメディアプレゼンテーション記述（ＭＰＤ）ファイル中に含め得る。
[00108]さらに別の例として、シーケンスデータセット作成ユニット６６は、ムービーボックス（ｍｏｏｖボックス）がコード化ビデオピクチャを含まないとき、ビデオファイルのムービーボックス内にシーケンスデータセットを含める。別の例として、シーケンスデータセット作成ユニット６６は、ビデオファイルのムービーボックス（ｍｏｏｖボックス）の後であるが、コード化ビデオピクチャを含む任意のムービーフラグメントボックス（ｍｏｏｆボックス）の前に発生するシーケンスデータセットをムービーフラグメントボックス内に含める。
[00109]ＳＰＳ、ＰＰＳ、シーケンスレベルＳＥＩメッセージ、および／またはサブセットＳＰＳをシーケンスデータセット中にグループ化することによって、シーケンスデータセット作成ユニット６６は、シーケンスデータを宛先デバイス４０などのクライアントデバイスに与えるタスクを簡略化し得る。このようにして、シーケンスレベルＳＥＩメッセージは、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャが宛先デバイス４０に送信される前に、宛先デバイス４０に送信され得る。
[00110]一般に、シーケンスデータセットのＳＰＳ、ＰＰＳ、およびシーケンスレベルＳＥＩメッセージは、シーケンスデータセットによって記述されたビデオサンプルのシーケンスについて一定のままであると予想される。しかしながら、場合によっては、ＳＰＳ、ＰＰＳ、および／またはシーケンスレベルＳＥＩメッセージのいくつかの部分は、個々のコード化ビデオピクチャについて、あるいはコード化ビデオピクチャのセットまたはサブシーケンスについてわずかに変動し得る。たとえば、いくつかのコード化ビデオピクチャをカプセル化するビデオファイル中には、ＳＰＳ、ＰＰＳ、またはシーケンスレベルＳＥＩメッセージの同じ情報を必ずしも共有しない１つまたは複数のシーケンスが存在する。
[00111]このとき、シーケンスデータセット作成ユニット６６は複数のパラメータセットトラックを作成し得、各トラックは、ＳＰＳ、ＰＰＳ、および／またはＳＥＩメッセージのセット、ならびにトラックのシーケンスデータセットが当てはまるときを示すタイミング情報のインジケーションを含み得る。たとえば、タイミング情報は、トラックがビデオシーケンスに当てはまり始める時間を示すビデオシーケンスの開始時間、および／またはタイミング情報を含むトラックがもはや当てはまらないビデオシーケンスの終了時間を示し得る。代替的に、各トラックについてのタイミング情報は終了時間だけを示し得、それにより、特定のパラメータセットトラックの終了時間に達すると、クライアントデバイスは、次のパラメータセットトラックにジャンプし得る。そのようなタイミング情報は、協定世界時（ＵＴＣ:coordinated universal time）に対応するか、またはパラメータセットトラックが、ファイルカプセル化フォーマットのビデオ全体のために使用される時間スケールに当てはまる（終了時間の）最後のビデオサンプルの持続時間に対応し得る。
[00112]複数のパラメータセットトラックのうちの１つは、ビデオファイルのすべてのサンプルに当てはまり得る。シーケンスデータセット作成ユニット６６は、パラメータセットトラックについてのタイミング情報を、任意のムービーサンプルまたはムービーフラグメントよりも後のＵＴＣ時間に設定することによって、ビデオファイルのすべてのサンプルに当てはまるパラメータセットトラックを示し得る。代替的に、シーケンスデータセット作成ユニット６６は、ビデオファイルのすべてのサンプルに当てはまるパラメータセットトラックについてのタイミング情報について、持続時間０を示し得る。
[00113]シーケンスデータセット作成ユニット６６が複数のパラメータセットトラックを作成する例では、シーケンスデータセット作成ユニット６６は、パラメータセットトラックの各々にそれぞれの一意の識別子を割り当て得る。宛先デバイス４０などのクライアントデバイスが、たとえば、ローカル再生によって、またはＨＴＴＰストリーミング中に、特定の時間ロケーションをシークするように要求するとき、宛先デバイス４０は、いくつかのパラメータセットトラックのうちのどのパラメータセットトラックが、シークされた時間ロケーションに当てはまるかを判断し得る。クライアントデバイスは、それぞれのパラメータセットトラックがシークされた時間ロケーションよりも後のビデオサンプルに当てはまることを示すタイミング情報を有するパラメータセットトラックの識別子を要求し得る。サーバ（たとえば、ソースデバイス２０）は、関係するパラメータセットトラックが、たとえば、ＨＴＴＰストリーミングのコンテキスト中でクライアントに配信されることを保証するために、そのような関係するパラメータセットトラックをマークするようにデータ構造を維持し得る。ローカル再生中、クライアントは、関係するパラメータセットトラックがクライアントデバイスによってパースされることを保証するために、同様のデータ構造を維持し得る。
[00114]その上、いくつかのパラメータセットトラックを含めるのではなく、シーケンスデータセット作成ユニット６６は、各々がファイル内に連続的に記憶される得るいくつかのシーケンスデータセットをビデオファイル中に含め得る。すなわち、シーケンスデータセットの各々は、シーケンスデータセットのうちの特定のシーケンスデータセットについてのすべてのデータが連続するように連続的に記憶され得るが、シーケンスデータセットは互いに連続的に記憶される必要はない。たとえば、シーケンスデータセット作成ユニット６６は、シーケンスデータセットが関係する一連のフラグメントに先行するビデオフラグメントにシーケンスデータセットを記憶し、その一連のフラグメントの後に新しいシーケンスデータセットを記憶する。新しいシーケンスデータセットは、新しいシーケンスデータセットを記憶しているフラグメントに続く他のビデオフラグメントに関係し得る。複数のシーケンスデータセットをファイルに記憶するとき、シーケンスデータセット作成ユニット６６は、シーケンスデータセットの各々についてのタイミング情報、ならびにシーケンスデータセットの各々についての一意の識別子を与え得る。
[00115]ビデオファイル作成ユニット６０が、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャから分離されたシーケンスレベルＳＥＩメッセージを含むビデオファイルを生成した後、ビデオファイル作成ユニット６０は、そのビデオファイルをビデオファイル出力インターフェース８４に渡す。ビデオファイル出力インターフェース８４は、たとえば、ソースデバイス２０の出力インターフェース３２に、ビデオファイルを出力する。いくつかの例では、ビデオファイル出力インターフェース８４は、ビデオファイルをソースデバイス２０の記憶媒体（図示せず）に出力する。ビデオファイルは、ソースデバイス２０内にローカルに記憶され、ＤＶＤ、ブルーレイ（登録商標）ディスク、フラッシュドライブ、フロッピー（登録商標）ディスクなどのポータブル記憶媒体、または他のポータブル記憶媒体に記憶され、たとえば、ＨＴＴＰストリーミングなどのストリーミングプロトコルに従って、ネットワークを介して出力され、または場合によっては、ビデオファイルが宛先デバイス４０などのクライアントデバイスによって受信され得るような方法で出力され得る。このようにして、ビデオデータ、たとえば、シーケンスレベルＳＥＩメッセージおよびシーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャの出力は、ビデオデータの記憶、転送、送信、およびブロードキャストを含み得る。
[00116]図３は、様々なロケーションにおけるシーケンスレベルＳＥＩメッセージを含み得る例示的なビデオファイル１００の要素を示すブロック図である。上記で説明したように、ＩＳＯベースメディアファイルフォーマットおよびそれの拡張によるビデオファイルは、データを「ボックス」と呼ばれる一連のオブジェクトに記憶する。図３の例では、ビデオファイル１００は、ファイルタイプ（ＦＴＹＰ）ボックス１０２と、ムービー（ＭＯＯＶ）ボックス１０４と、ムービーフラグメント（ＭＯＯＦ）ボックス１１２と、ムービーフラグメントランダムアクセス（ＭＦＲＡ）ボックス１１４とを含む。
[00117]ファイルタイプボックス１０２は、概して、ビデオファイル１００のためのファイルタイプを記述する。ファイルタイプボックス１０２は、ビデオファイル１００のための最も良い使用を記述する仕様を識別するデータを含み得る。ファイルタイプボックス１０２は、ＭＯＯＶボックス１０４、ムービーフラグメントボックス１１２、およびＭＦＲＡボックス１１４の前に配置され得る。
[00118]ＭＯＯＶボックス１０４は、図３の例では、ムービーヘッダ（ＭＶＨＤ）ボックス１０６と、トラック（ＴＲＡＫ）ボックス１０８と、１つまたは複数のムービーエクステンド（ＭＶＥＸ）ボックス１１０とを含む。概して、ＭＶＨＤボックス１０６は、ビデオファイル１００の一般的な特性を記述し得る。たとえば、ＭＶＨＤボックス１０６は、ビデオファイル１００が最初に作成されたとき、ビデオファイル１００が最後に変更されたときに記述するデータ、ビデオファイル１００のための時間スケール、ビデオファイル１００のための再生の持続時間、またはビデオファイル１００を概して記述する他のデータを含み得る。
[00119]ＴＲＡＫボックス１０８は、ビデオファイル１００のトラックのためのデータを含み得る。ＴＲＡＫボックス１０８は、ＴＲＡＫボックス１０８に対応するトラックの特性を記述するトラックヘッダ（ＴＫＨＤ）ボックスを含み得る。いくつかの例では、ＴＲＡＫボックス１０８はコード化ビデオピクチャを含むが、他の例では、トラックのコード化ビデオピクチャは、ＴＲＡＫボックス１０８のデータによって参照され得るムービーフラグメント１１２中に含まれる。
[00120]いくつかの例では、ビデオファイル１００は２つ以上のトラックを含む。したがって、ＭＯＯＶボックス１０４は、ビデオファイル１００中のトラックの数に等しいいくつかのＴＲＡＫボックスを含み得る。ＴＲＡＫボックス１０８は、ビデオファイル１００の対応するトラックの特性を記述し得る。たとえば、ＴＲＡＫボックス１０８は、対応するトラックのための時間および／または空間情報を記述し得る。ＭＯＯＶボックス１０４のＴＲＡＫボックス１０８と同様のＴＲＡＫボックスは、カプセル化ユニット３０（図１）がビデオファイル１００などのビデオファイル中のパラメータセットトラックを含むとき、パラメータセットトラックの特性を記述し得る。カプセル化ユニット３０は、パラメータセットトラックを記述しているＴＲＡＫボックス内のパラメータセットトラック中のシーケンスレベルＳＥＩメッセージの存在をシグナリングし得る。
[00121]ＭＶＥＸボックス１１０は、ビデオファイル１００が、たとえば、もしあれば、ＭＯＯＶボックス１０４内に含まれたビデオデータに加えて、ムービーフラグメント１１２を含むことをシグナリングするために、対応するムービーフラグメント１１２の特性を記述し得る。ビデオデータをストリーミングするコンテキストでは、コード化ビデオピクチャは、ＭＯＯＶボックス１０４中ではなくムービーフラグメント１１２中に含まれ得る。したがって、すべてのコード化ビデオピクチャは、ＭＯＯＶボックス１０４中ではなく、ムービーフラグメント１１２中に含まれ得る。
[00122]ＭＯＯＶボックス１０４は、ビデオファイル１００中のムービーフラグメント１１２の数に等しいいくつかのＭＶＥＸボックス１１０を含み得る。ＭＶＥＸボックス１１０の各々は、ムービーフラグメント１１２のうちの対応する１つの特性を記述し得る。
たとえば、各ＭＶＥＸボックスは、ムービーフラグメント１１２のうちの対応する１つについての持続時間を記述するムービーエクステンドヘッダ（ＭＥＨＤ）ボックスを含む。
[00123]上記のように、カプセル化ユニット３０は、実際のコード化ビデオデータを含まないビデオサンプルにシーケンスデータセットを記憶し得る。ビデオサンプルは、概して、特定の時間インスタンスにおけるコード化ピクチャの表現であるアクセスユニットに対応し得る。ＡＶＣのコンテキストでは、コード化ピクチャは、アクセスユニットおよび他の関連する非ＶＣＬ ＮＡＬユニットのすべてのピクセルを構築するためのＳＥＩメッセージなどの情報を含んでいる１つまたは複数のＶＣＬ ＮＡＬユニットを含む。したがって、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージを含み得るシーケンスデータセットをムービーフラグメント１１２のうちの１つ中に含め得る。カプセル化ユニット３０は、ムービーフラグメント１１２のうちの１つに対応するＭＶＥＸボックス１１０のうちの１つ内のムービーフラグメント１１２のうちの１つ中に存在するときの、シーケンスデータセットおよび／またはシーケンスレベルＳＥＩメッセージの存在をさらにシグナリングし得る。
[00124]ムービーフラグメント１１２は１つまたは複数のコード化ビデオピクチャを含み得る。いくつかの例では、ムービーフラグメント１１２は、各々がいくつかのコード化ビデオピクチャ、たとえば、フレームまたはピクチャを含み得る１つまたは複数のピクチャグループ（ＧＯＰ）を含む。さらに、上記で説明したように、ムービーフラグメント１１２は、いくつかの例ではシーケンスデータセットを含む。ムービーフラグメント１１２の各々は、ムービーフラグメントヘッダ（ＭＦＨＤ）ボックスを含み得る。ＭＶＨＤボックスは、ムービーフラグメントについてのシーケンス番号など、対応するムービーフラグメントの特性を記述し得る。ムービーフラグメント１１２は、ビデオファイル１００中のシーケンス番号の順に含まれ得る。
[00125]ＭＦＲＡボックス１１４は、ビデオファイル１００のムービーフラグメント１１２内のランダムアクセスポイントを記述し得る。これは、ビデオファイル１００内の特定の時間ロケーションのシークを実行するのを支援し得る。ＭＦＲＡボックス１１４は、概してオプションであり、ビデオファイル中に含まれる必要はない。同様に、宛先デバイス４０などのクライアントデバイスは、ビデオファイル１００のビデオデータを正しく復号し、表示するために必ずしもＭＦＲＡボックス１１４を参照する必要があるとは限らない。ＭＦＲＡボックス１１４は、ビデオファイル１００のトラックの数に等しいか、またはいくつかの例では、ビデオファイル１００のメディアトラック（たとえば、非ヒントトラック）の数に等しい数のトラックフラグメントランダムアクセス（ＴＦＲＡ）ボックスを含み得る。
[00126]図４は、シーケンスレベルＳＥＩメッセージ１５６を含んでいるパラメータセットトラック１４６を含む別の例示的なビデオファイル１４０の要素を示すブロック図である。特に、ビデオファイル１４０は、ＭＯＯＶボックス１４２とＭＤＡＴボックス１５０とを含む。ビデオファイル１４０は、とりわけ、ファイルタイプボックスおよび／またはＭＦＲＡボックスなどの他のボックスをさらに含み得る。
[00127]図４の例では、ＭＯＯＶボックス１４２は、ビデオデータトラック１４４と、パラメータセットトラック１４６とを含む。パラメータセットトラック１４６は、ピクチャパラメータセット（ＰＰＳ）１５２と、シーケンスパラメータセット（ＳＰＳ）１５４と、シーケンスレベル補足エンハンスメント情報（ＳＬ ＳＥＩ）メッセージ１５６とに対応する。ビデオデータトラック１４４はビデオフラグメント１６０Ａ〜１６０Ｎ（ビデオフラグメント１６０）に対応する。概して、ビデオフラグメント１６０は、各々、１つまたは複数のコード化ビデオピクチャを含み得る。
[00128]図４の例では、ＰＰＳ１５２、ＳＰＳ１５４、シーケンスレベルＳＥＩメッセージ１５６、およびビデオフラグメント１６０についてのデータがＭＤＡＴボックス１５０に記憶されている。ＰＰＳ１５２、ＳＰＳ１５４、およびシーケンスレベルＳＥＩメッセージ１５６はシーケンスパラメータセットと総称され得る。いくつかの例では、パラメータセットトラック１４６は２つ以上のピクチャパラメータセットを含む。ＰＰＳ１５２、ＳＰＳ１５４、およびシーケンスレベルＳＥＩメッセージ１５６は、概して、ビデオフラグメント１６０の特性を記述する。これらの特性は、ビデオフラグメント１６０を選択、復号および／またはレンダリングする際に、宛先デバイス４０などのクライアントデバイスを支援し得る。
[00129]一例として、ビデオファイル１４０がＡＶＣファイルフォーマットに対応するとき、シーケンスレベルＳＥＩメッセージ１５６は、パンスキャン矩形ＳＥＩメッセージ、ステレオビデオ情報ＳＥＩメッセージ、および／またはフレームパッキング配置ＳＥＩメッセージのうちの１つまたは複数を含み得る。別の例として、ビデオファイル１４０がＳＶＣファイルフォーマットに対応するとき、シーケンスレベルＳＥＩメッセージ１５６はスケーラビリティ情報ＳＥＩメッセージを含み得る。別の例として、ビデオファイル１４０がＭＶＣファイルフォーマットに対応するとき、シーケンスレベルＳＥＩメッセージ１５６は、ビュースケーラビリティ情報ＳＥＩメッセージ、マルチビュー取得情報ＳＥＩメッセージ、および／またはマルチビューシーン情報ＳＥＩメッセージのうちの１つまたは複数を含み得る。
[00130]ビデオファイルは、ビデオデータトラック１４４と同様のいくつかのメディアトラックを含み得る。ビデオデータトラックの各々は、様々な復号要件および／またはレンダリング要件に対応し得る様々な特性を有し得る。宛先デバイス４０は、特に、シーケンスデータセットによってシグナリングされるメディアトラックについてのビデオフラグメントの特性に基づいて、メディアトラックのうちの１つを選択し得る。たとえば、宛先デバイス４０は、それぞれビデオデコーダ４８およびビデオ出力４４の復号能力および／またはレンダリング能力に基づいて、トラックのうちの１つを選択し得る。宛先デバイス４０は、ＰＰＳ１５２とＳＰＳ１５４とシーケンスレベルＳＥＩメッセージ１５６とを含むパラメータセットトラック１４６に基づいて、ビデオフラグメント１６０の特性を判断し得る。
[00131]宛先デバイス４０は、シーケンスパラメータセットによって記述された任意のコード化サンプルの前に、シーケンスパラメータセット、たとえば、ＭＯＯＶボックス１０４、シーケンスパラメータセットを含むムービーフラグメント１１２のうちの１つ、シーケンスパラメータセットを含むがコード化ビデオデータを含まないビデオサンプル、またはビデオファイル１００の他の要素を取り出すように構成され得る。追加または代替として、ソースデバイス２０は、シーケンスパラメータセットによって記述された任意のコード化ビデオピクチャを宛先デバイス４０に与える前に、シーケンスパラメータセットを宛先デバイス４０に与えるように構成され得る。その上、ソースデバイス２０は、宛先デバイス４０からのムービーフラグメント１１２のうちの１つについての要求を、宛先デバイス４０がムービーフラグメント１１２のうちの要求された１つについてのシーケンスデータセットの最初に要求されたデータを持っていないときに、拒否するように構成され得る。
[00132]図５は、それぞれのプレゼンテーションのためのそれぞれのシーケンスデータセットを含む３ＧＰＰファイル１８６、１９４を含むプレゼンテーション１８２、１９０の例示的なセット１９８を示すブロック図である。すなわち、セット１９８は追加のプレゼンテーションを含み得るが、図５には例として２つのプレゼンテーション１８２、１９０が示されている。
[00133]メディアプレゼンテーション記述（ＭＰＤ）１８０は、セット１９８のプレゼンテーション、たとえば、プレゼンテーション１８２、１９０を記述するデータを含む。ＭＰＤ１８０は、たとえば、プレゼンテーションのユニフォームリソースロケータ（ＵＲＬ）および／またはユニフォームリソースネーム（ＵＲＮ）を記述し得る。ＭＰＤ１８０は、セット１９８中のプレゼンテーションの各々の特性をさらに記述し得る。たとえば、ＭＰＤ１８０は、プレゼンテーションの各々についてのシーケンスデータセットを含み得る。ＭＰＤ１８０は、プレゼンテーションの各々に記憶された３ＧＰＰビデオファイルの数も記述し得る。
[00134]図５の例では、プレゼンテーション１８２は、ヘッダデータ１８４と、シーケンスデータセットをもつ３ＧＰＰファイル１８６と、３ＧＰＰファイル１８８Ａ〜１８８Ｎ（３ＧＰＰファイル１８８）とを含む。同様に、この例では、プレゼンテーション１９０は、ヘッダデータ１９２と、シーケンスデータセットをもつ３ＧＰＰファイル１９４と、３ＧＰＰファイル１９６Ａ〜１９６Ｎ（３ＧＰＰファイル１９６）とを含む。文字「Ｎ」は、３ＧＰＰファイル１８８と３ＧＰＰファイル１９６の両方についてのカーディナリティを指定するために使用されるが、Ｎは、プレゼンテーション１８２および１９０について必ずしも同じであるとは限らない。すなわち、プレゼンテーション１８２およびプレゼンテーション１９０、ならびにセット１９８のプレゼンテーションのいずれかには、異なる数の３ＧＰＰファイルが存在し得る。
[00135]ヘッダデータ１８４は、プレゼンテーション１８２のいくつかの特性、たとえば、プレゼンテーション１８２中の３ＧＰＰファイルの数、３ＧＰＰファイル１８８の各々の始端に対応するメモリアドレス、（たとえば、バイト単位の）３ＧＰＰファイル１８８の長さ、（たとえば、秒単位、分単位などの）３ＧＰＰファイル１８８の持続時間、３ＧＰＰファイル１８８を適切に復号およびレンダリングするためのクライアントデバイスの予想される復号能力および／またはレンダリング能力、あるいは他のデータを記述し得る。プレゼンテーション１８２は、たとえば、ＩＳＯベースメディアファイルフォーマット規格、および／または３ＧＰＰ規格などのそれの拡張によって記述される追加のデータを含み得る。３ＧＰＰファイル１８８はコード化ビデオピクチャを含み得る。シーケンスデータセットをもつ３ＧＰＰファイル１８６は、たとえば、３ＧＰＰファイル１８８のうちの１つまたは複数に含まれるコード化ビデオピクチャのシーケンスのコード化ビデオピクチャを記述するシーケンスデータセットを含む。
[00136]図５の例では、セット１９８のプレゼンテーションは、ビデオデータの同じシーケンスの様々なプレゼンテーションに対応し得る。すなわち、プレゼンテーションの各々は、再生中に、たとえば、復号およびレンダリングされるときに同様であり得る。ただし、ビデオデータは、セット１９８の様々なプレゼンテーション内で別様にコーディングまたは提示され得る。たとえば、プレゼンテーション１９０のビデオサンプルは、より高いまたはより低い解像度を有し、より高いまたはより低いビットレートで符号化され、特定のデコーダバッファサイズを予定し、特定のフレームレートを有し、特定のマクロブロック復号レートを予定し、あるいは他の特性に基づいて互いに区別され得る。カプセル化ユニット３０（図１）などのカプセル化ユニットは、プレゼンテーション１８２の３ＧＰＰファイル１８６およびプレゼンテーション１９０の３ＧＰＰファイル１９４など、プレゼンテーション内の３ＧＰＰファイル中にシーケンスデータセットを配置し得る。追加または代替として、カプセル化ユニット３０は、セット１９８の１つまたは複数のプレゼンテーションについてのシーケンスデータをＭＰＤ１８０に記憶し得る。
[00137]図６は、ビデオファイル内にシーケンスデータセットをカプセル化し、そのビデオファイルをソースデバイスから宛先デバイスに与えるための例示的な方法を示すフローチャートである。例および説明のために、ソースデバイス２０および宛先デバイス４０（図１）の構成要素に関して説明するが、任意の好適なデバイスが図６の技法を実装し得ることを理解されたい。
[00138]初めに、カプセル化ユニット３０は、符号化されたビデオピクチャのシーケンスを受信する（２１０）。ビデオエンコーダ２８などのエンコーダは、コード化サンプルとともにシーケンスレベルＳＥＩメッセージを含んでいることがある。追加または代替として、カプセル化ユニット３０は、ビデオエンコーダ２８とは別個にシーケンスレベルＳＥＩメッセージを作成し得る。いずれの場合も、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャからシーケンスレベルＳＥＩメッセージを分離する（２１２）。
[00139]すなわち、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージと、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャとを含むビデオファイルを作成する（２１４）。ただし、そうする際に、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャとは別個にシーケンスレベルＳＥＩメッセージを記憶し得る。このようにすると、ＳＥＩメッセージは、コード化ビデオピクチャとは別個に送信および処理され得る。たとえば、本開示の技法によれば、カプセル化ユニット３０は、作成されたビデオファイルのパラメータセットトラックにシーケンスレベルＳＥＩメッセージを記憶し得る。別の例として、カプセル化ユニット３０は、コード化ビデオピクチャを含まないトラックフラグメント中のシーケンスレベルＳＥＩメッセージ、コード化ビデオピクチャを含まない別の３ＧＰＰファイル、およびコード化ビデオピクチャと同様であるが実際にはコード化ビデオデータを含まないデータ構造を、ビデオファイルを記述するメディアプレゼンテーション記述に記憶し、あるいは場合によってはシーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャからシーケンスレベルＳＥＩメッセージを分離し得る。
[00140]カプセル化ユニット３０は、次いでビデオファイルを出力する（２１６）。たとえば、カプセル化ユニット３０は、ソースデバイス２０に、たとえば、光ディスク、フロッピー（登録商標）ディスク、フラッシュドライブ、ハードドライブ、ソリッドステートドライブ、または他の記憶媒体などの記憶媒体に、ビデオファイルを書き込ませ得る。そのような記憶媒体は宛先デバイス４０に物理的に移送され得る。代替的に、ソースデバイス２０は、たとえば、ブロードキャスト、ネットワーク送信、または他の送信技法によって、ビデオファイルを宛先デバイス４０に送信し得る。いずれの場合も、宛先デバイス４０は、最終的にビデオファイルを受信する（２１８）。
[00141]いくつかの例では、ソースデバイス２０は、たとえば、ソースデバイス２０に対して宛先デバイス４０によって発行された１つまたは複数のＨＴＴＰ ＧｅｔまたはパーシャルＧＥＴ要求に応答して、ビデオファイルの別個の部分を宛先デバイス４０に与え得る。宛先デバイス４０は、シーケンスデータセット、たとえば、シーケンスレベルＳＥＩメッセージを含むパラメータセットトラックの全部または一部分を取り出すための第１のＨＴＴＰ ＧｅｔまたはパーシャルＧＥＴ要求と、シーケンスデータセットによって記述されたコード化ビデオピクチャを取り出すための第２の（またはそれ以上の）ＨＴＴＰ
ＧｅｔまたはパーシャルＧＥＴ要求とをソースデバイス２０に発行し得る。
[00142]ビデオファイルを受信した後に、宛先デバイス４０は、シーケンスレベルＳＥＩメッセージに基づいてビデオファイルを復号する（２２０）。すなわち、ビデオデコーダ４８は、復号プロセスを支援するためにシーケンスレベルＳＥＩメッセージのデータを使用し得る。同様に、ビデオディスプレイ４４は、復号されたビデオデータを表示するために、復号されたビデオデータのレンダリングを支援するためにシーケンスレベルＳＥＩメッセージを使用する（２２２）。たとえば、ビデオデコーダ４８および／またはビデオディスプレイ４４（あるいは、レンダリングユニットまたはそれのレンダリングエンジン）は、シーケンスレベルＳＥＩメッセージを使用して、どのようにビデオデータをビデオディスプレイ４４のネイティブ解像度に適応させるかを判断し、画像が（たとえば、ステレオビデオデータのための）左画像であるか右画像であるかを判断し、どのようにフレームがパックされるかを判断し、ビデオデータについてのスケーラビリティ情報を判断し、マルチビュー取得情報を判断し、ならびに／あるいはマルチビューシーン情報を判断する。
[00143]図７は、ビデオファイル２４０の別の例を示すブロック図である。図７の例では、ビデオファイル２４０は、ムービー（ＭＯＯＶ）ボックス２４２と、ムービーデータ（ＭＤＡＴ）ボックス２５０とを含む。ＭＯＯＶボックス２４２は、ビデオデータトラックと、いくつかのパラメータセットトラック２４６Ａ〜２４６Ｃとを含む。図７の例には３つのパラメータセットトラックが示されているが、ビデオファイルは、概して、任意の数のパラメータセットトラックを含み得ることを理解されたい。
[00144]ビデオデータトラック２４４は、各々がＭＤＡＴボックス２５０に記憶され得るいくつかの様々なビデオフラグメント２５４Ａ〜２５４Ｃに対応する。この例では、ビデオフラグメント２５４Ａ、２５４Ｂおよび２５４Ｃの各セットは、異なるシーケンスレベル情報を有し得る。たとえば、シーケンスレベル情報は、ビデオフラグメント２５４Ａと２５４Ｂと２５４Ｃとの間で変化し得る。したがって、ビデオフラグメント２５４Ａ、２５４Ｂおよび２５４Ｃの各々は、それぞれのシーケンスデータセットを有し得る。この例では、シーケンスデータセット２５２Ａはビデオフラグメント２５４Ａに関係し、シーケンスデータセット２５２Ｂはビデオフラグメント２５４Ｂに関係し、シーケンスデータセット２５２Ｃはビデオフラグメント２５４Ｃに関係する。
[00145]ビデオフラグメントの所与のセットについてシーケンスデータセットは、シーケンス中のビデオフラグメントの各々に当てはまり得る。たとえば、シーケンスデータセット２５２Ａはビデオフラグメント２５４Ａの各々に当てはまる。しかしながら、ビデオフラグメント２５４Ｂの１つまたは複数の特性はビデオフラグメント２５４Ａとは異なり得る。したがって、シーケンスデータセット２５２Ｂはビデオフラグメント２５４Ｂの特性を記述し得る。
[00146]各シーケンスデータセットはそれぞれのパラメータセットトラックに対応し得る。図７の例では、パラメータセットトラック２４６Ａはシーケンスデータセット２５２Ａに対応し、パラメータセットトラック２４６Ｂはシーケンスデータセット２５２Ｂに対応し、パラメータセットトラック２４６Ｃはシーケンスデータセット２５２Ｃに対応する。各パラメータセットトラックは、対応するシーケンスデータセットがビデオデータトラック２４４のビデオフラグメントに当てはまる時間を記述するデータを含み得る。たとえば、パラメータセットトラック２４６Ａは、ビデオフラグメント２５４Ａのうちの最後のビデオフラグメントに対応する時間の後にはシーケンスデータセット２５２Ａがもはや当てはまらないことを示すデータを含む。このタイミング情報は、ＵＴＣ時間であり得るか、または再生持続時間に対応し得る。
[00147]いくつかの例では、ビデオファイルは、ビデオフラグメント２５４Ａ〜２５４Ｃのすべてに対応する追加のパラメータセットトラックを含む。そのような例では、宛先デバイスは、すべてのビデオフラグメントに当てはまるパラメータセットトラックからのデータと、所与のビデオフラグメントに特に当てはまるパラメータセットトラックからのデータの両方を利用し得る。
[00148]例としてＭＯＯＶボックス２４２中に含まれるものとして示されるが、シーケンスデータセット２５２は、本開示で説明した他のロケーションのいずれかに含まれ得ることを理解されたい。たとえば、シーケンスデータセットは、特定のビデオフラグメント中に、特定の３ＧＰＰファイル中に、メディアプレゼンテーション記述内に、あるいはビデオファイル内のまたはそれに関連付けられた別の１つまたは複数のロケーションに含まれ得る。
[00149]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従ってある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体など、有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[00150]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
[00151]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に提供され得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。
[00152]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実施され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明したように１つまたは複数のプロセッサを含んで、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[00153]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
[00153]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１] コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力する方法であって、前記方法は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力することと、
を備える方法。
[Ｃ２] 前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成することは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離することを備える、Ｃ１に記載の方法。
[Ｃ３] 前記ＳＥＩメッセージは、Ｈ．２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈ．２６４のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）拡張、およびＨ．２６４のＭｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）拡張のうちの少なくとも１つのＳＥＩメッセージタイプとして定義される、Ｃ１に記載の方法。
[Ｃ４] 出力することは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化することを備え、
出力することは、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めることを備える、Ｃ１に記載の方法。
[Ｃ５] 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、Ｃ４に記載の方法。
[Ｃ６] メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、Ｃ４に記載の方法。
[Ｃ７] 前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成することを備える、Ｃ１に記載の方法。
[Ｃ８] 前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記方法は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成することと、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力することと、
をさらに備えるＣ１に記載の方法。
[Ｃ９] 出力することは、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化することと、
ネットワーク上で前記符号化されたビデオデータをストリーミングすることと、
を備えるＣ１に記載の方法。
[Ｃ１０] 前記ビデオデータをストリーミングすることは、少なくとも１つの伝送制御プロトコル（ＴＣＰ）接続を介して前記ビデオデータをストリーミングすることを備える、Ｃ９に記載の方法。
[Ｃ１１] 前記少なくとも１つのＴＣＰ接続はハイパーテキスト転送プロトコル（ＨＴＴＰ）接続を備える、Ｃ１０に記載の方法。
[Ｃ１２] 生成することは、コーデックレベルのビデオエンコーダによって、前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを符号化することを備える、Ｃ１に記載の方法。
[Ｃ１３] コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するように構成された制御ユニットと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力するように構成された出力インターフェースと、
を備える装置。
[Ｃ１４] 前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記制御ユニットは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離するように構成された、Ｃ１３に記載の装置。
[Ｃ１５] 前記制御ユニットは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化するように構成され、前記制御ユニットは、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めるように構成された、Ｃ１３に記載の装置。
[Ｃ１６] 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、Ｃ１５に記載の装置。
[Ｃ１７] メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、Ｃ１５に記載の装置。
[Ｃ１８] 前記制御ユニットは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成するように構成された、Ｃ１３に記載の装置。
[Ｃ１９] 前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
前記制御ユニットは、コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成するように構成され、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記出力インターフェースは、前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力するように構成された、Ｃ１３に記載の装置。
[Ｃ２０] 前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、のうちの少なくとも１つを備える、Ｃ１３に記載の装置。
[Ｃ２１] コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力する手段と、を備える装置。
[Ｃ２２] 前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成する手段は、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離する手段を備える、Ｃ２１に記載の装置。
[Ｃ２３] 前記出力する手段は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化する手段を備え、
前記出力する手段は、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含める手段をさらに備える、Ｃ２１に記載の装置。
[Ｃ２４] 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、Ｃ２３に記載の装置。
[Ｃ２５] メディア表現のための初期化セグメントが前記別個のファイルユニットを備える、Ｃ２３に記載の装置。
[Ｃ２６] 前記ＳＥＩメッセージを生成する手段は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成する手段を備える、Ｃ２１に記載の装置。
[Ｃ２７] 前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージがＳＥＩメッセージの第１のセットを備え、前記装置は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成する手段と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力する手段と、をさらに備える、Ｃ２１に記載の装置。
[Ｃ２８] 前記出力する手段は、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化する手段と、
ネットワーク上で前記符号化されたビデオデータをストリーミングする手段と、を備える、Ｃ２１に記載の装置。
[Ｃ２９] 実行されたとき、コード化ビデオデータを出力するための装置のプロセッサに、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力させる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[Ｃ３０] 前記出力させる命令は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化させる命令を備え、
前記出力させる命令は、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含ませる命令を備える、Ｃ２９に記載のコンピュータプログラム製品。
[Ｃ３１] 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、Ｃ３０に記載のコンピュータプログラム製品。
[Ｃ３２] メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、Ｃ３０に記載のコンピュータプログラム製品。
[Ｃ３３] 前記ＳＥＩメッセージを生成させる命令は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成させる命令を備える、Ｃ２９に記載のコンピュータプログラム製品。
[Ｃ３４] コード化ビデオピクチャの前記シーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成させる命令と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力させる命令と、をさらに備える、Ｃ２９に記載のコンピュータプログラム製品。
[Ｃ３５] 符号化ビデオデータを受信する方法であって、前記方法は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信することと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングすることと、を備える方法。
[Ｃ３６] 前記ＳＥＩメッセージについての第１の要求をサブミットすることと、前記ＳＥＩメッセージを受信することは、前記第１の要求に応答して前記ＳＥＩメッセージを受信することを備え、
前記ＳＥＩメッセージを受信した後にのみ、前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットすることと、前記コード化ビデオピクチャのシーケンスを受信することは、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信することを備える、
をさらに備えるＣ３５に記載の方法。
[Ｃ３７] 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記方法は、さらに、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットすることと、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信することと、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットすることと、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信することと、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングすることと、
を備えるＣ３６に記載の方法。
[Ｃ３８] パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出することをさらに備える、Ｃ３５に記載の方法。
[Ｃ３９] 前記ＳＥＩメッセージをパースし、復号することをさらに備え、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスを備えるアクセスユニットとは別個にコーディングされる、Ｃ３５に記載の方法。
[Ｃ４０] 符号化ビデオデータを受信するための装置であって、前記装置は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する
ように構成された制御ユニットと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、
を備える装置。
[Ｃ４１] 前記制御ユニットは、前記ＳＥＩメッセージについての第１の要求をサブミットし、前記第１の要求に応答して前記ＳＥＩメッセージを受信し、前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットし、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信するように構成された、Ｃ４０に記載の装置。
[Ｃ４２] 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記制御ユニットは、
前記コード化ビデオピクチャの第１のシーケンスを受信した後にＳＥＩメッセージの第２のセットについての第３の要求をサブミットし、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信し、
前記ＳＥＩメッセージの第２のセットによって記述されたコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットし、
前記ＳＥＩメッセージの第２のセットを受信した後に前記コード化ビデオピクチャの第２のシーケンスを受信するように構成され、
前記ビデオ出力は、前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングするように構成された、Ｃ４１に記載の装置。
[Ｃ４３] 前記制御ユニットは、パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出するように構成された、Ｃ４０に記載の装置。
[Ｃ４４] 前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、のうちの少なくとも１つを備える、Ｃ４０に記載の装置。
[Ｃ４５] 符号化ビデオデータを受信するための装置であって、前記装置は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する手段と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングする手段と、
を備える装置。
[Ｃ４６] 前記ＳＥＩメッセージについての第１の要求をサブミットする手段と、前記ＳＥＩメッセージを受信する手段は、前記第１の要求に応答して前記ＳＥＩメッセージを受信する手段を備え、
前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットする手段と、前記コード化ビデオピクチャのシーケンスを受信する手段は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信する手段を備える、
をさらに備える、Ｃ４５に記載の装置。
[Ｃ４７] 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記装置は、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットする手段と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信する手段と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットする手段と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信する手段と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングする手段と、
をさらに備える、Ｃ４６に記載の装置。
[Ｃ４８] パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出する手段をさらに備える、Ｃ４５に記載の装置。
[Ｃ４９] 実行されたとき、コード化ビデオデータを受信するための装置のプロセッサに、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信させる命令と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングさせる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[Ｃ５０] 前記ＳＥＩメッセージについての第１の要求をサブミットさせる命令と、前記ＳＥＩメッセージを受信させる命令は、前記第１の要求に応答して前記ＳＥＩメッセージを受信させる命令を備え、
前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットさせる命令と、前記コード化ビデオピクチャのシーケンスを受信させる命令は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信させる命令を備え、
をさらに備える、Ｃ４９に記載のコンピュータプログラム製品。
[Ｃ５１] 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットさせる命令と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信させる命令と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットさせる命令と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信させる命令と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングさせる命令と、
をさらに備える、Ｃ５０に記載のコンピュータプログラム製品。
[Ｃ５２] パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出させる命令をさらに備える、Ｃ４９に記載のコンピュータプログラム製品。

Claims (52)

  1. コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力する方法であって、前記方法は、
    前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力することと、
    を備える方法。
  2. 前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成することは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離することを備える、請求項１に記載の方法。
  3. 前記ＳＥＩメッセージは、Ｈ．２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈ．２６４のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）拡張、およびＨ．２６４のＭｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）拡張のうちの少なくとも１つのＳＥＩメッセージタイプとして定義される、請求項１に記載の方法。
  4. 出力することは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化することを備え、
    出力することは、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めることを備える、請求項１に記載の方法。
  5. 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項４に記載の方法。
  6. メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、請求項４に記載の方法。
  7. 前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成することを備える、請求項１に記載の方法。
  8. 前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記方法は、
    コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成することと、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力することと、
    をさらに備える請求項１に記載の方法。
  9. 出力することは、
    前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化することと、
    ネットワーク上で前記符号化されたビデオデータをストリーミングすることと、
    を備える請求項１に記載の方法。
  10. 前記ビデオデータをストリーミングすることは、少なくとも１つの伝送制御プロトコル（ＴＣＰ）接続を介して前記ビデオデータをストリーミングすることを備える、請求項９に記載の方法。
  11. 前記少なくとも１つのＴＣＰ接続はハイパーテキスト転送プロトコル（ＨＴＴＰ）接続を備える、請求項１０に記載の方法。
  12. 生成することは、コーデックレベルのビデオエンコーダによって、前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを符号化することを備える、請求項１に記載の方法。
  13. コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
    前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するように構成された制御ユニットと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力するように構成された出力インターフェースと、
    を備える装置。
  14. 前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記制御ユニットは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離するように構成された、請求項１３に記載の装置。
  15. 前記制御ユニットは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化するように構成され、前記制御ユニットは、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めるように構成された、請求項１３に記載の装置。
  16. 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項１５に記載の装置。
  17. メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、請求項１５に記載の装置。
  18. 前記制御ユニットは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成するように構成された、請求項１３に記載の装置。
  19. 前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
    前記制御ユニットは、コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成するように構成され、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
    前記出力インターフェースは、前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力するように構成された、請求項１３に記載の装置。
  20. 前記装置は、
    集積回路と、
    マイクロプロセッサと、
    前記制御ユニットを含むワイヤレス通信デバイスと、のうちの少なくとも１つを備える、請求項１３に記載の装置。
  21. コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
    前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力する手段と、を備える装置。
  22. 前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成する手段は、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離する手段を備える、請求項２１に記載の装置。
  23. 前記出力する手段は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化する手段を備え、
    前記出力する手段は、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含める手段をさらに備える、請求項２１に記載の装置。
  24. 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項２３に記載の装置。
  25. メディア表現のための初期化セグメントが前記別個のファイルユニットを備える、請求項２３に記載の装置。
  26. 前記ＳＥＩメッセージを生成する手段は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成する手段を備える、請求項２１に記載の装置。
  27. 前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージがＳＥＩメッセージの第１のセットを備え、前記装置は、
    コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成する手段と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力する手段と、をさらに備える、請求項２１に記載の装置。
  28. 前記出力する手段は、
    前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化する手段と、
    ネットワーク上で前記符号化されたビデオデータをストリーミングする手段と、を備える、請求項２１に記載の装置。
  29. 実行されたとき、コード化ビデオデータを出力するための装置のプロセッサに、
    前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力させる命令と、
    が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  30. 前記出力させる命令は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化させる命令を備え、
    前記出力させる命令は、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含ませる命令を備える、請求項２９に記載のコンピュータプログラム製品。
  31. 前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項３０に記載のコンピュータプログラム製品。
  32. メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、請求項３０に記載のコンピュータプログラム製品。
  33. 前記ＳＥＩメッセージを生成させる命令は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成させる命令を備える、請求項２９に記載のコンピュータプログラム製品。
  34. コード化ビデオピクチャの前記シーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
    コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成させる命令と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
    前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力させる命令と、をさらに備える、請求項２９に記載のコンピュータプログラム製品。
  35. 符号化ビデオデータを受信する方法であって、前記方法は、
    ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信することと、
    前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングすることと、を備える方法。
  36. 前記ＳＥＩメッセージについての第１の要求をサブミットすることと、前記ＳＥＩメッセージを受信することは、前記第１の要求に応答して前記ＳＥＩメッセージを受信することを備え、
    前記ＳＥＩメッセージを受信した後にのみ、前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットすることと、前記コード化ビデオピクチャのシーケンスを受信することは、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信することを備える、
    をさらに備える請求項３５に記載の方法。
  37. 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記方法は、さらに、
    前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットすることと、
    前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信することと、
    前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットすることと、
    前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信することと、
    前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングすることと、
    を備える請求項３６に記載の方法。
  38. パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出することをさらに備える、請求項３５に記載の方法。
  39. 前記ＳＥＩメッセージをパースし、復号することをさらに備え、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスを備えるアクセスユニットとは別個にコーディングされる、請求項３５に記載の方法。
  40. 符号化ビデオデータを受信するための装置であって、前記装置は、
    ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する
    ように構成された制御ユニットと、
    前記コード化ビデオピクチャのシーケンスが復号された後に、前記コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、
    を備える装置。
  41. 前記制御ユニットは、前記ＳＥＩメッセージについての第１の要求をサブミットし、前記第１の要求に応答して前記ＳＥＩメッセージを受信し、前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットし、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信するように構成された、請求項４０に記載の装置。
  42. 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記制御ユニットは、
    前記コード化ビデオピクチャの第１のシーケンスを受信した後にＳＥＩメッセージの第２のセットについての第３の要求をサブミットし、
    前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信し、
    前記ＳＥＩメッセージの第２のセットによって記述されたコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットし、
    前記ＳＥＩメッセージの第２のセットを受信した後に前記コード化ビデオピクチャの第２のシーケンスを受信するように構成され、
    前記ビデオ出力は、前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングするように構成された、請求項４１に記載の装置。
  43. 前記制御ユニットは、パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出するように構成された、請求項４０に記載の装置。
  44. 前記装置は、
    集積回路と、
    マイクロプロセッサと、
    前記制御ユニットを含むワイヤレス通信デバイスと、のうちの少なくとも１つを備える、請求項４０に記載の装置。
  45. 符号化ビデオデータを受信するための装置であって、前記装置は、
    ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する手段と、
    前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングする手段と、
    を備える装置。
  46. 前記ＳＥＩメッセージについての第１の要求をサブミットする手段と、前記ＳＥＩメッセージを受信する手段は、前記第１の要求に応答して前記ＳＥＩメッセージを受信する手段を備え、
    前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットする手段と、前記コード化ビデオピクチャのシーケンスを受信する手段は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信する手段を備える、
    をさらに備える、請求項４５に記載の装置。
  47. 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記装置は、
    前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットする手段と、
    前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信する手段と、
    前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットする手段と、
    前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信する手段と、
    前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングする手段と、
    をさらに備える、請求項４６に記載の装置。
  48. パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出する手段をさらに備える、請求項４５に記載の装置。
  49. 実行されたとき、コード化ビデオデータを受信するための装置のプロセッサに、
    ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
    前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信させる命令と、
    前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングさせる命令と、
    が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
  50. 前記ＳＥＩメッセージについての第１の要求をサブミットさせる命令と、前記ＳＥＩメッセージを受信させる命令は、前記第１の要求に応答して前記ＳＥＩメッセージを受信させる命令を備え、
    前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットさせる命令と、前記コード化ビデオピクチャのシーケンスを受信させる命令は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信させる命令を備え、
    をさらに備える、請求項４９に記載のコンピュータプログラム製品。
  51. 前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、
    前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットさせる命令と、
    前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信させる命令と、
    前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットさせる命令と、
    前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信させる命令と、
    前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングさせる命令と、
    をさらに備える、請求項５０に記載のコンピュータプログラム製品。
  52. パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出させる命令をさらに備える、請求項４９に記載のコンピュータプログラム製品。
JP2017065551A 2010-07-20 2017-03-29 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること Active JP6345827B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/840,020 2010-07-20
US12/840,020 US9131033B2 (en) 2010-07-20 2010-07-20 Providing sequence data sets for streaming video data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014212895A Division JP6121378B2 (ja) 2010-07-20 2014-10-17 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること

Publications (2)

Publication Number Publication Date
JP2017175623A true JP2017175623A (ja) 2017-09-28
JP6345827B2 JP6345827B2 (ja) 2018-06-20

Family

ID=44629255

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013520846A Withdrawn JP2013536623A (ja) 2010-07-20 2011-07-20 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP2014212895A Active JP6121378B2 (ja) 2010-07-20 2014-10-17 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP2017065551A Active JP6345827B2 (ja) 2010-07-20 2017-03-29 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013520846A Withdrawn JP2013536623A (ja) 2010-07-20 2011-07-20 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP2014212895A Active JP6121378B2 (ja) 2010-07-20 2014-10-17 ビデオデータをストリーミングするためのシーケンスデータセットを提供すること

Country Status (10)

Country Link
US (2) US9131033B2 (ja)
EP (2) EP2596632B1 (ja)
JP (3) JP2013536623A (ja)
KR (1) KR101445987B1 (ja)
CN (2) CN105744295B (ja)
BR (1) BR112013001332B1 (ja)
DK (1) DK2596632T3 (ja)
ES (2) ES2796535T3 (ja)
HU (1) HUE049145T2 (ja)
WO (1) WO2012012574A1 (ja)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
JP4546246B2 (ja) 2002-10-05 2010-09-15 デジタル ファウンテン， インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
JP2012034138A (ja) * 2010-07-29 2012-02-16 Toshiba Corp 信号処理装置及び信号処理方法
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
US9369512B2 (en) * 2010-10-06 2016-06-14 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content
KR101744355B1 (ko) 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
EP2673935B1 (en) * 2011-02-11 2019-04-24 InterDigital Patent Holdings, Inc. Method and apparatus for distribution and reception of content
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
WO2013012372A1 (en) * 2011-07-15 2013-01-24 Telefonaktiebolaget L M Ericsson (Publ) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
CN103096049A (zh) * 2011-11-02 2013-05-08 华为技术有限公司 一种视频处理方法及***、相关设备
KR20130058648A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
US20130195171A1 (en) * 2012-01-30 2013-08-01 Qualcomm Incorporated Method of coding video and storing video content
KR102175161B1 (ko) * 2012-01-30 2020-11-06 삼성전자주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
PT2842313T (pt) 2012-04-13 2016-12-22 Ge Video Compression Llc Fluxo de dados escaláveis e entidade de rede
US20130278834A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Display power reduction using extended nal unit header information
US9161004B2 (en) * 2012-04-25 2015-10-13 Qualcomm Incorporated Identifying parameter sets in video files
US9736476B2 (en) 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US20140002598A1 (en) * 2012-06-29 2014-01-02 Electronics And Telecommunications Research Institute Transport system and client system for hybrid 3d content service
EP2868103B1 (en) 2012-06-29 2016-12-07 GE Video Compression, LLC Video data stream concept
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9380289B2 (en) 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US9451256B2 (en) 2012-07-20 2016-09-20 Qualcomm Incorporated Reusing parameter sets for video coding
US9172737B2 (en) * 2012-07-30 2015-10-27 New York University Streamloading content, such as video content for example, by both downloading enhancement layers of the content and streaming a base layer of the content
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9351005B2 (en) 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9380317B2 (en) 2012-10-08 2016-06-28 Qualcomm Incorporated Identification of operation points applicable to nested SEI message in video coding
KR20140048802A (ko) * 2012-10-08 2014-04-24 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR101843328B1 (ko) * 2012-10-26 2018-03-28 인텔 코포레이션 비디오 방향 조정(cvo)를 갖는 스트리밍
EP2912850A4 (en) 2012-10-26 2016-05-25 Intel Corp MULTIMEDIA ADAPTATION BASED ON VIDEO ORIENTATION
US9936196B2 (en) 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US20140307803A1 (en) * 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
BR112015025623B1 (pt) * 2013-04-08 2023-02-07 Dolby International Ab Método e codificador para codificar uma tabela de busca de cor tridimensional associada a octantes de uma octree, e método e decodificador para decodificar uma tabela de busca de cor tridimensional de octantes
KR102241672B1 (ko) * 2013-04-30 2021-04-16 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2014203746A1 (ja) * 2013-06-20 2014-12-24 ソニー株式会社 再生装置、再生方法、および記録媒体
EP3008896B1 (en) 2013-07-15 2021-03-31 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
GB2542282B (en) * 2013-10-22 2018-08-01 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data in a server
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
EP3086559A4 (en) * 2013-12-16 2017-08-02 LG Electronics Inc. Signal transmission/reception device and signal transmission/reception method for providing trick play service
EP2890075B1 (en) * 2013-12-26 2016-12-14 Telefonica Digital España, S.L.U. A method and a system for smooth streaming of media content in a distributed content delivery network
US20150189097A1 (en) * 2013-12-31 2015-07-02 Alcatel-Lucent Usa Inc. Vectored charging data record (cdr) reconciliation
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
TWI548266B (zh) * 2014-06-24 2016-09-01 愛爾達科技股份有限公司 多媒體檔案儲存系統與相關裝置
US10298931B2 (en) 2014-09-25 2019-05-21 Microsoft Technology Licensing, Llc Coupling sample metadata with media samples
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
FR3029381A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de composition d’une representation video intermediaire
US10390047B2 (en) * 2015-01-09 2019-08-20 Sony Corporation Image processing apparatus and image processing method for controlling the granularity in trick play
US10929353B2 (en) 2015-04-29 2021-02-23 Box, Inc. File tree streaming in a virtual file system for cloud-based shared content
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信***
CN105578192A (zh) * 2015-12-16 2016-05-11 国网浙江省电力公司湖州供电公司 电力视觉元模型聚合压缩方法
US11344220B2 (en) 2016-05-13 2022-05-31 Becton, Dickinson And Company Invasive medical device cover with magnet
GB2550604A (en) * 2016-05-24 2017-11-29 Canon Kk Method, device, and computer program for encapsulating and parsing timed media data
US10652631B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
KR101863598B1 (ko) * 2016-07-29 2018-06-01 주식회사 에어브로드 스트리밍 서비스를 위한 클라이언트의 동작 방법
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
US10032552B2 (en) 2016-08-30 2018-07-24 Becton, Dickinson And Company Cover for tissue penetrating device with integrated magnets and magnetic shielding
EP3518534B1 (en) * 2016-09-26 2023-05-17 Sony Group Corporation Encoding device, encoding method, decoding device, decoding method, transmission device, and reception device
US10742999B2 (en) * 2017-01-06 2020-08-11 Mediatek Inc. Methods and apparatus for signaling viewports and regions of interest
CN110651482B (zh) * 2017-03-30 2022-02-22 联发科技股份有限公司 发信isobmff的球面区域信息的方法和装置
FR3067541A1 (fr) * 2017-06-23 2018-12-14 Orange Emission et reception d'un flux de donnees
US11470131B2 (en) 2017-07-07 2022-10-11 Box, Inc. User device processing of information from a network-accessible collaboration system
WO2019065587A1 (en) * 2017-09-29 2019-04-04 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING INFORMATION ASSOCIATED WITH A CONSTITUTIVE IMAGE
CN109274902B (zh) * 2018-09-04 2020-11-27 北京字节跳动网络技术有限公司 视频文件处理方法和装置
US11381867B2 (en) * 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
CN110401850B (zh) * 2019-07-30 2021-10-22 网宿科技股份有限公司 一种透传自定义sei的方法和装置
JP2022550320A (ja) * 2019-09-24 2022-12-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ符号化におけるｓｅｉメッセージ依存性の簡略化
EP4305841A4 (en) * 2021-04-08 2024-04-24 Beijing Bytedance Network Technology Co., Ltd. EXTENSIBILITY DIMENSION INFORMATION CONSTRAINTS

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010802A1 (en) * 2002-04-29 2004-01-15 Visharam Mohammed Zubair Generic adaptation layer for JVT video
JP2006505024A (ja) * 2002-04-29 2006-02-09 ソニー エレクトロニクス インク データ処理方法及び装置
WO2010007513A1 (en) * 2008-07-16 2010-01-21 Nokia Corporation Method and apparatus for track and track subset grouping

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7787539B2 (en) * 2002-07-17 2010-08-31 Broadcom Corporation Decoding and presentation time stamps for MPEG-4 advanced video coding
JP2004343272A (ja) 2003-05-14 2004-12-02 Hitachi Ltd デジタル放送受信復号装置および端末
EP1704720A1 (en) 2004-01-16 2006-09-27 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
WO2005120060A1 (en) 2004-06-02 2005-12-15 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture decoding apparatus
CN101057215B (zh) 2004-11-16 2012-08-22 汤姆森特许公司 用于在视频***中使用的伪随机数发生器的比特精确的种子初始化
JP2006203662A (ja) 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
CA2604203A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
EP1880549A4 (en) * 2005-05-12 2011-03-30 Kylintv Inc INTERNET PROTOCOL TELEVISION
FR2888424A1 (fr) 2005-07-07 2007-01-12 Thomson Licensing Sas Dispositif et procede de codage et de decodage de donnees video et train de donnees
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
CN101313578B (zh) 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
FR2894740A1 (fr) 2005-12-12 2007-06-15 Thomson Licensing Sa Dispositif de codage, procede de codage, systeme de decodage procede de decodage de donnees video
US20080101456A1 (en) 2006-01-11 2008-05-01 Nokia Corporation Method for insertion and overlay of media content upon an underlying visual media
CA2647823A1 (en) 2006-03-27 2007-10-04 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
EP2005607B1 (en) 2006-03-27 2016-09-07 Vidyo, Inc. System and method for management of scalability information in scalable video coding systems using control messages
US8520733B2 (en) 2006-06-30 2013-08-27 Core Wireless Licensing S.A.R.L Video coding
CN101518086B (zh) 2006-07-20 2013-10-30 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置
KR20100085070A (ko) 2007-09-24 2010-07-28 노키아 코포레이션 패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치
FR2923124A1 (fr) 2007-10-26 2009-05-01 Canon Kk Procede et dispositif de determination de la valeur d'un delai a appliquer entre l'envoi d'un premier ensemble de donnees et l'envoi d'un second ensemble de donnees
BRPI0923917B1 (pt) * 2008-12-31 2021-05-25 Apple Inc Método implementado por máquina, meio de armazenamento não transitório legível por máquina, aparelho, e sistema de processamento de dados para transmissão contínua em tempo real ou próximo ao tempo real
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
BR112012011581A2 (pt) 2009-11-04 2017-09-19 Huawei Tech Co Ltd sistema e método para streaming de conteúdo de mídia
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010802A1 (en) * 2002-04-29 2004-01-15 Visharam Mohammed Zubair Generic adaptation layer for JVT video
JP2006505024A (ja) * 2002-04-29 2006-02-09 ソニー エレクトロニクス インク データ処理方法及び装置
WO2010007513A1 (en) * 2008-07-16 2010-01-21 Nokia Corporation Method and apparatus for track and track subset grouping

Also Published As

Publication number Publication date
JP6121378B2 (ja) 2017-04-26
US9253240B2 (en) 2016-02-02
CN103069828B (zh) 2016-03-16
JP6345827B2 (ja) 2018-06-20
CN105744295A (zh) 2016-07-06
ES2895165T3 (es) 2022-02-17
KR20130056288A (ko) 2013-05-29
EP3697084B1 (en) 2021-09-22
JP2015053703A (ja) 2015-03-19
WO2012012574A1 (en) 2012-01-26
EP2596632A1 (en) 2013-05-29
CN103069828A (zh) 2013-04-24
US20120023249A1 (en) 2012-01-26
KR101445987B1 (ko) 2014-09-29
BR112013001332A2 (pt) 2016-05-17
US20130304935A1 (en) 2013-11-14
ES2796535T3 (es) 2020-11-27
EP2596632B1 (en) 2020-03-11
CN105744295B (zh) 2019-07-12
BR112013001332B1 (pt) 2021-11-09
JP2013536623A (ja) 2013-09-19
US9131033B2 (en) 2015-09-08
DK2596632T3 (da) 2020-04-27
EP3697084A1 (en) 2020-08-19
HUE049145T2 (hu) 2020-08-28

Similar Documents

Publication Publication Date Title
JP6345827B2 (ja) ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP6392115B2 (ja) ビデオ構成要素を多重化するためのデータを信号伝達すること
JP5866359B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
JP5551315B2 (ja) ビデオデータをストリーミングするためのサブトラックフラグメントの配列
JP5591932B2 (ja) ファイルフォーマットトラック選択のためのメディアエクストラクタトラック
JP2013535865A (ja) ビデオデータをストリーミングするためのランダムアクセスポイントに信号伝達すること
KR102434300B1 (ko) 샘플 엔트리들 및 랜덤 액세스
JP5628422B2 (ja) トリックモードビデオ表現のためのビデオサンプルを信号伝達すること
KR102434299B1 (ko) 샘플 엔트리들 및 랜덤 액세스
KR102117805B1 (ko) 전방향성 미디어 포맷을 이용한 미디어 데이터 프로세싱
KR101436267B1 (ko) 비디오 구성요소들을 멀티플렉싱하기 위한 데이터의 시그널링

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180523

R150 Certificate of patent or registration of utility model

Ref document number: 6345827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250