JP2005516496A - ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム - Google Patents

ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム Download PDF

Info

Publication number
JP2005516496A
JP2005516496A JP2003563225A JP2003563225A JP2005516496A JP 2005516496 A JP2005516496 A JP 2005516496A JP 2003563225 A JP2003563225 A JP 2003563225A JP 2003563225 A JP2003563225 A JP 2003563225A JP 2005516496 A JP2005516496 A JP 2005516496A
Authority
JP
Japan
Prior art keywords
picture
pictures
points
random access
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003563225A
Other languages
English (en)
Other versions
JP4503294B2 (ja
Inventor
ジェイ.サリバン ゲアリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005516496A publication Critical patent/JP2005516496A/ja
Application granted granted Critical
Publication of JP4503294B2 publication Critical patent/JP4503294B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/07Synchronising arrangements using pulse stuffing for systems with different or fluctuating information rates or bit rates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0602Systems characterised by the synchronising information used
    • H04J3/0605Special codes used as synchronising signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Communication Control (AREA)
  • Debugging And Monitoring (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Sewing Machines And Sewing (AREA)
  • Storage Device Security (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

符号化済みピクチャシーケンスのピクチャ間の複雑な依存関係を可能にするビデオ符号化規格のコンテキストで復号を容易にする手法を、様々な実施形態で提供する。いくつかの実施形態では、ランダムアクセスポイントすなわち「RAP」の概念を利用する。ランダムアクセスポイントは実質的に、ピクチャシーケンスへのランダムアクセスを容易にする情報を含む、シーケンス内の位置である。いくつかの実施形態では、ランダムアクセスポイントは、様々な種類のデータを含むことができる。このようなデータは、いくつかの実施形態では、ピクチャカウントおよび/または時間で定義することができる。いくつかの実施形態では、ランダムアクセスポイントのデータは、エントリポイントおよびリカバリポイントを1つまたは複数含むことができる。これらのポイントは実質的に、デコーダの復号動作によっていつ正確かつ適切に復号されたピクチャが得られることになるかをデコーダが確認するのに使用することのできる基準を提供する。

Description

本発明は、データを符号化および復号するための方法およびシステムに関する。
(関連出願)
本出願は、2002年1月22日に出願された米国特許仮出願第60/351142号明細書から派生し、この優先権を主張するものである。この開示を参照により本明細書に組み込む。
ディジタルデータは通常、何らかの種類の送信機から何らかの種類の受信機に送信される。送信機は通常、データを送信に向けて符号化するエンコーダを備え、受信機は通常、受信したデータを復号するデコーダを備える。ディジタルデータには、ビデオデータ、オーディオデータ、オーディオ/ビデオデータなど様々な種類がある。ディジタルデータが送信されるときは通常、何らかの種類のチャネル中で送信される。
主流となっているビデオ圧縮および伝送フォーマットは、ハイブリッドかつブロックベースの動き補償型変換ビデオコーダと呼ばれる系統からのフォーマットであり、この例としては、ITU−T VCEG(Video Coding Experts Group)およびISO/IEC MPEG(Moving Picture Experts Group)の各組織のビデオ符号化規格が挙げられ、これらの規格には、H.261、MPEG−1、H.262/MPEG−2ビデオ、H.263、MPEG−4ビジュアル、および策定中のドラフト規格であるH.264/AVCが含まれる。また、静止画、オーディオ、文書、ウェブページなどを含めたその他多くの種類の媒体に対する符号化および圧縮規格や、このような信号を共に多重化し同期させるための符号化および圧縮規格も指定されている。
最も広く使用されているビデオ符号化規格はH.262/MPEG−2ビデオであり、本明細書ではこれを参照例として用いる。一般に、MPEG−2ビデオストリームは、3つの種類のフレームまたはピクチャで構成される。この文書では、用語「ピクチャ」を用いる。MPEG−2ピクチャの3つの種類は、次のとおりである。
・イントラピクチャ(Iピクチャ)
・予測ピクチャ(Pピクチャ)
・双方向予測ピクチャ(Bピクチャ)
MPEG−2ビデオストリームまたはシーケンスは通常、GOP(Groups of Pictures)と呼ばれるセグメントで画定される。通常、GOPは、意図された速度で表示されたときに2分の1秒の持続時間となるピクチャセットで構成される。
図1に、Iピクチャ100(I)から表示順に左から右に並べられ索引付けされたピクチャのシーケンスからなるMPEG−2ビデオストリームの冒頭を示す。この例では、第1のGOPは、第1のIピクチャ100(I)で始まり、最後のPピクチャ160(P)を含めたこのPピクチャ160(P)までの後続ピクチャを含む。最後のPピクチャ160(P)は、次のIピクチャ190(I)よりも前にくる。第2のGOPは、第1のBピクチャ170(B)で開始し、第1のBピクチャ170(B)は、第2のIピクチャ190(I)よりも前にくる。この例のシーケンスにおける第1の例示的なGOPは、1つのIピクチャ、2つのPピクチャ、4つのBピクチャを含む。各GOPは、ピクチャ100(I)など、直前にBピクチャのないIピクチャで始まる1つまたは複数の連続的なピクチャを含むか、あるいは、190(I)などのIピクチャの直前にくる1つまたは複数の連続的なBピクチャのシーケンス中の170(B)などの第1のBピクチャで開始する1つまたは複数の連続的なピクチャを含む。
復号は通常、どんな先行GOPからも本質的に独立しているいずれかのGOPの第1のIピクチャを復号することによって開始する。例えば、第1のGOP中のIピクチャ100(I)や、第2のGOP中のIピクチャ190(I)で開始する。GOPに含めることのできるピクチャの数には特に制限はなく、またビデオシーケンス中にあるすべてのGOP中のピクチャ数が等しくなければならないという要件もない。
MPEG−2のIピクチャおよびPピクチャは「アンカー」ピクチャ(または「キー」ピクチャ)と呼ばれる。Iピクチャは、他のどんなピクチャからも独立して復号することができる。Iピクチャは、その画像を構築するために他のどんなピクチャからのデータにも依拠しない。ピクチャ130(P)など、MPEG−2のPピクチャは、その圧縮解除を可能にするために、前に圧縮解除された1つのアンカーピクチャ(例えばIピクチャまたはPピクチャ)からのデータを必要とする。Pピクチャは依存的だが、すでに復号された1つのアンカーピクチャに依存するだけである。
ピクチャ110(B)など、MPEG−2のBピクチャは、復号されるために、前と後にくるアンカーピクチャ(例えばIピクチャまたはPピクチャ)の両方からのデータを必要とする。すなわち、MPEG−2のBピクチャは、双方向に依存する。
図1で、矢印の端は、矢印で指されたピクチャが依存するピクチャを示す。例えば、Bピクチャ140(B)は、Pピクチャ130(P)およびPピクチャ160(P)に依存する。
次に、同じシーケンスの個々のI、B、Pピクチャの表示順序を示す図2のピクチャシーケンスを考えてみる。このシーケンスには、図1に示した最後のピクチャの後にいくつかの追加のピクチャが示されており、第3のGOPの始まりがピクチャB16から示されている。表示順序は、ピクチャが表示されることになる順序である。したがって例えば、個々のピクチャを表示する場合、Iが最初の表示ピクチャになり、その後にB、Bなどが続く。しかし、予測されるピクチャ(すなわちBピクチャ)の観点からこのシーケンスを見た場合、Bピクチャを復号するには、デコーダは、時間的にその後に続くIピクチャまたはPピクチャの復号済みの値を参照しなければならないことに留意されたい。したがってこの例では、Bを復号するには、デコーダはIとPの両方を参照することになる。すなわちデコーダは、Bを復号するにはIとPの両方を復号しなければならない。
このため、エンコーダは通常、デコーダがピクチャを受け取るにつれて復号できるように、表示順序とは異なる順序でピクチャを送信する。例えば図3に、図2のシーケンスの送信順序または復号順序を示す。デコーダは、IピクチャおよびPピクチャを、それらを参照するBピクチャよりも前に復号しなければならないので、IピクチャおよびPピクチャは、それらを参照するBピクチャよりも前に送信される。ここでは、Pが、それを参照するBおよびBよりも前に送信されることに留意されたい。したがって、デコーダがシーケンスをその送信順に受け取ると、最初にIを復号し、次いで、Iを参照するPを復号することができる。次に、IとPの両方を復号したので、今やBおよびBを復号することができる。デコーダは、十分な数のピクチャを復号すると、表示に向けてピクチャを表示順に再構成する。この例では、デコーダは、IピクチャおよびPピクチャに対するその復号プロセスがその表示プロセスよりも1アンカーピクチャだけ遅れるようにすることによって、再構成を達成することができる(IがPの復号後に表示され、Bがその復号直後に表示され、Bがその復号直後に表示され、PがPの復号直後に表示され、Bがその復号直後に表示され、Bがその復号直後に表示され、PがIの復号直後に表示され、Bがその復号直後に表示されるようにし、以下同様にする)。
次に、図3のシーケンスにランダムアクセスする状況を考えてみる。例えば、ユーザがディジタルテレビジョンで、前述のように符号化された番組を見ており、急にチャネルを別の符号化済み番組に変えると仮定する。デコーダがシーケンスのBピクチャにアクセスしようとした場合、デコーダは、このBピクチャが参照する情報、例えば時間的に前のIまたはPピクチャを持っていないので、このBピクチャを復号することができない。同様に、デコーダがシーケンスのPピクチャにランダムアクセスする場合、デコーダは、このPピクチャが参照する時間的に前のPまたはIピクチャを持っていないので、このPピクチャを復号することができない。このため前述の符号化方式では、デコーダは、Iピクチャを検出するまでシーケンス内のピクチャを正しく復号することができない。したがって通常、デコーダが行うことになるのは、Iピクチャを突き止めるまでシーケンス中で順方向走査することである。Iピクチャを突き止めると、復号を開始して、このIピクチャを正しく復号することができる。次いで、もう1つの後続アンカーピクチャを検出して復号した後、このポイントから先は、品質のよいピクチャの表示を開始することができる。というのは、復号順でこのポイントの後に続くピクチャはすべて復号可能になり、デコーダは、ピクチャを復号順から表示順に再構成するのに必要な遅れの程度を満たしているからである。
例えば図3で、デコーダがピクチャシーケンスのPにランダムアクセスすると仮定する。このポイントで、PはIに依存しており、デコーダはIを持っていないので、デコーダはPを復号することができない。この場合システムは、復号できるとわかっているIピクチャに達するまで待機する。Iピクチャに続いて、デコーダは、PおよびIに依存するBおよびBを受け取る。システムはIを持っているが、Pピクチャは持っていない。すなわち、デコーダはPピクチャを受け取ったが、このピクチャはPに依存し、PはIに依存する。デコーダはPを復号することができなかったので、P、B、Bを復号することができない。
システムが受信する次のピクチャはP12であり、これはIだけに依存する。したがって、システムはP12を復号することができる。P12を復号すると、次いでB10およびB11を受信することになり、これらを復号することができる。このため、送信順でこのポイントから先は、すべてのピクチャを適切に復号して表示することができる。
したがって、前述のように符号化されたシーケンスなどの符号化済みシーケンスにランダムアクセスする場合、すぐに復号可能かつ表示可能なピクチャが提供されるとは限らない。
ランダムアクセスを補助するためにMPEG−2が提供する機構の1つは、「クローズドGOPフラグ」と呼ばれるものである。具体的には、個々のIピクチャ上でエンコーダによってクローズドGOPフラグを提供することができ、このクローズドGOPフラグは、送信順でいずれかの後続ピクチャ(このIピクチャの後)がこのIピクチャよりも前のピクチャを参照するかどうかを示す。すなわち、クローズドGOPフラグが「真」の場合、GOPはクローズドであり、復号順でこのIピクチャの後に続くどんなBピクチャも(Bピクチャがあれば)、復号順でこのIピクチャの前にくるピクチャを参照しない。したがって、クローズドGOPは、GOPが自己完結しておりデコーダによって復号できることを意味する。このように、クローズドGOPフラグは、Bピクチャにおいて順序が前であるピクチャを参照できたとしても、符号化時にこの参照が実際には行われなかったことを示す。一方、クローズドGOPフラグが偽の場合、これは、GOPがクローズドではないことを意味し、Bピクチャがデコーダの持っていないピクチャおよびデータに依存することをデコーダに伝える。このためデコーダは、次の後続Bピクチャ(復号順で次のアンカーピクチャよりも前のいずれかの後続Bピクチャ)を復号することができないことを知る。この状況では、デコーダは、このIピクチャを復号してから、次の各BピクチャをスキップしてPピクチャを復号することになる。このポイントの後には、デコーダは回復しており、ビデオの表示と、後続のBピクチャがあればその復号とを開始することができる。図3に示す例示的なシーケンスでは、ピクチャIで開始するGOPはクローズドであり、ピクチャIおよびI18で開始するGOPは、クローズドの場合とそうでない場合がある(復号順でこれらの各Iピクチャのすぐ後のBピクチャが、そのIピクチャよりも前のピクチャからの予測を使用するかどうかによって決まる)。
ビデオ符号化および復号の規格が発展してより複雑になるのに伴い、ユーザの体験を悪化させることなくランダムアクセス能力などの機能を提供し向上させるという難題が絶えず提起されている。したがって、ディジタルデータを符号化および復号するための改良型の方法およびシステムを提供することに関連する問題から、本発明が生まれた。
符号化済みピクチャシーケンスのピクチャ間の複雑な依存関係を可能にするビデオ符号化方法のコンテキストで復号を容易にする手法を、様々な実施形態で提供する。いくつかの実施形態では、ランダムアクセスポイントすなわち「RAP」の概念を利用する。ランダムアクセスポイントは実質的に、ピクチャシーケンスへのランダムアクセスを容易にする情報を含む、シーケンス内の位置である。いくつかの実施形態では、ランダムアクセスポイントは、様々な種類のデータを含むことができる。このようなデータは、いくつかの実施形態では、ピクチャカウントおよび/または時間で定義することができる。いくつかの実施形態では、ランダムアクセスポイントのデータは、エントリポイントおよびリカバリポイントを1つまたは複数含むことができる。これらのポイントは実質的に、デコーダの復号動作によっていつ正確かつ適切に復号されたピクチャが得られることになるかをデコーダが確認するのに使用することのできる基準を提供する。
(概観)
以下に述べる実施形態は、符号化済みピクチャシーケンスのピクチャ間の複雑な依存関係を可能にするビデオ符号化規格のコンテキストで復号を容易にする手法を提供する。ランダムアクセスポイントすなわち「RAP」の概念が導入される。ランダムアクセスポイントは実質的に、ピクチャシーケンスへのランダムアクセスを容易にする情報を含む、シーケンス内の位置である。
ランダムアクセスポイントは、シーケンスにランダムアクセスしてシーケンス内のピクチャを復号することを容易にするためにデコーダが利用することのできる、1つまたは複数の種類の情報を含むことができる。ランダムアクセスポイントが含むことのできる情報の種類の1つは、エントリポイントすなわちEPと呼ばれる。ランダムアクセスポイントが含むことのできる別の種類の情報は、リカバリポイントすなわちRPと呼ばれる。ランダムアクセスポイントは、1つまたは複数の種類の情報を含むことができるので、エントリポイントとリカバリポイントの一方または両方を含むことができることになる。また、エントリポイントおよびリカバリポイントの概念については後で論じるが、この2つの種類の情報は、ピクチャシーケンスに含めることのできる特定種類の情報の例を構成するだけであることを認識および理解されたい。したがって、特許請求される本主題の趣旨および範囲を逸脱することなく、その他の種類の情報を含めることもできる。
エントリポイントおよびリカバリポイントは実質的に、デコーダの復号動作によっていつ正確かつ適切に復号されたピクチャが得られることになるかをデコーダが確認するのに使用することのできる基準を提供する。このことは、以下の記述を読むにつれてより明らかになるであろう。本明細書に述べる技法のいくつかは、例えばオーディオデータなど、ビデオ以外のデータに関して採用することも可能である。
(本発明の実施形態を共に採用することのできる例示的なビデオ符号化規格)
本発明の実施形態の態様について述べる前に、本発明の実施形態を共に使用することのできるビデオ符号化規格の1つについて論じることが有用であろう。以下に述べるビデオ符号化規格は、新しいビデオ符号化規格を策定するためのITU−T VCEG(Video Coding Experts Group)およびISO/IEC MPEG(Moving Picture Experts Group)の共同プロジェクトであるジョイントビデオチーム(JVT)規格策定プロジェクトの作業である。JVTプロジェクトは、それ以前にVCEGのITU−T H.26Lプロジェクトで進められていた作業を引き継いで、ITU−TとMPEGの両方における標準化に向けた最終設計を生み出すために、2001年12月に立ち上げられた。JVT/H.26L標準化の取組みの主な目標は、「会話」(すなわちビデオ電話)用途および「非会話」(すなわち記憶、ブロードキャスト、またはストリーミング)用途に対応する、圧縮性能の向上と「ネットワークフレンドリな」パケットベースのビデオ表現の提供を達成するために、簡単で単純なビデオ符号化設計を定義することである。したがって、JVT/H.26L設計は、ビデオピクチャ内容のコア高圧縮表現を提供するビデオ符号化レイヤ(VCL)と、様々なネットワークを介した送達のためにこの表現をパッケージングするネットワーク抽象化レイヤ(NAL)とをカバーする。VCL設計は、レート−歪み効率において大きな改善を達成し、既存の規格に対して約2分の1のビットレート節約をもたらした。NAL設計は、回路交換配線ネットワーク、MPEG−2/H.222.0トランスポートストリーム、RTPパケット化を伴うIPネットワーク、3G無線システムなど、既存のおよび将来のネットワークを介して符号化済みビデオデータを搬送するために策定中である。承認されれば、JVT規格は、ITU−T勧告H.264およびISO/IEC14496−10「アドバンスドビデオコーディング」として指定されると予想される。
これから述べるビデオ符号化規格は、やはりI、B、Pピクチャの概念を利用するが、これらを異なるより複雑な方式で定義する。ここで述べるビデオ符号化規格を理解するためのよい視点は、前述のMPEG−2の視点である。MPEG−2規格は、以下に簡単に要約する符号化/復号パラダイムを規定していたことを想起されたい。
・Iピクチャは他のどんなピクチャ(例えばPピクチャおよびBピクチャ)からも独立して復号することができ、復号順でGOP中の第1のピクチャはIピクチャである。
・Pピクチャは、その復号を可能にするために、前に圧縮解除されたちょうど1つのアンカーピクチャ(例えばIピクチャまたはPピクチャ)からのデータを必要とし、Pピクチャの復号で使用されるアンカーピクチャは、このPピクチャよりも順番が先である最後のアンカーピクチャであり、送信順と表示順の両方でこのPピクチャに先行する。
・Bピクチャは、その復号を可能にするために2つのアンカーピクチャ(例えばIピクチャまたはPピクチャ)からのデータを必要とする。これらは、送信順でBピクチャに先行する最後の2つのアンカーピクチャであり、第1のアンカーピクチャは表示順で先にくるピクチャであり、第2のアンカーピクチャは表示順で後にくるピクチャである。
ビデオ符号化および復号のためのJVTパラダイムによれば、Iピクチャはやはり、独立して復号可能なピクチャを表す。しかし、Pピクチャはいくらか異なるように定義される。Pピクチャは、以前は先行する参照ピクチャを1つだけ有していたが、この新しい規格によれば、複数の参照ピクチャを有することができる。具体的には、Pピクチャの各領域が1つの参照ピクチャを有するが、まとまりとしてはPピクチャの個々の領域が異なるピクチャを参照することができる。したがって全体的に見ると、単一のPピクチャが複数の異なるピクチャを参照することができる。例えば、図2のシーケンスを使用すると、ピクチャPがピクチャPとIの両方を参照することが今や可能である。複数のピクチャを参照することに加えて、個々のPピクチャは、表示順で未来のピクチャを参照することもできる。例えば、Pピクチャのいくつかの領域をピクチャI、P、Iから予測することができ、ピクチャIは、ピクチャPに対して表示順で未来のピクチャである。したがって、Pピクチャが依存することのできるピクチャの数、および表示順におけるこれらのピクチャの順序付けは、デコーダのピクチャ記憶容量の限度内でほぼ任意である。
さらに、Bピクチャもいくらか異なるように定義される。第1に、以前の定義では、Bピクチャは2つの参照ピクチャを有していた。この従来設計では、BなどのBピクチャの各領域を復号するプロセスは、ピクチャIやPなど、表示順でその前または後にくるアンカーピクチャの領域を参照することができ、あるいはこの両方のアンカーピクチャ中の領域を参照してこれらの間の何らかの数学的平均を形成することができた。新しいBピクチャの定義でも、この概念は維持される(すなわち各領域は、前に復号されたピクチャの特定の一領域か、このような2つの領域の平均を参照することができる)。ただしこの場合、この概念は、Bピクチャの各領域を復号するためのこれら1つまたは2つの領域を、任意の数のピクチャ(すなわち復号順でBピクチャに先行する1つまたは複数のピクチャ)から選択することができるように一般化される。したがってBピクチャは、2つのピクチャだけを参照するのではなく、任意の妥当な数のピクチャ、および/または任意の妥当な数のピクチャの数学的組合せを参照することができる。したがって例えば、図2のシーケンスを参照すると、ピクチャBはピクチャI、P、Iを参照することができ、また、この3つの参照ピクチャ間で、ピクチャBは、Bピクチャ中のいずれかの領域を復号するために、これらの参照ピクチャのうちの1つの単一の領域を参照することができ、あるいはこれらのピクチャのこのような2つの領域間の数学的平均を参照することができる。
さらに、旧規格では、Bピクチャは他のピクチャを復号するためのアンカーピクチャとしては使用されなかったが、この点でも、Bピクチャはこの場合、旧規格とは異なる。今述べている規格によれば、Bピクチャを参照として使用するために記憶することができ、他のピクチャの復号プロセスがこれらのBピクチャに依存することができる。例えば、図2のピクチャBの復号プロセスは、ピクチャB、P、B、Pの内容を参照することができる。
新規格で旧規格から維持される概念の1つは、かなり一般化された形ではあるものの、送信順序(復号順序とも呼ぶ)と表示順序との区別である。新しいドラフト規格では、他のピクチャの復号プロセスでアンカーピクチャとして使用されるピクチャはどれも、それらを参照する1つまたは複数のピクチャよりも前にデコーダに送信される。ピクチャがデータ依存関係の順に送信されるというこの制限の他は、ピクチャが参照または表示の目的で必要とされなくなるまで記憶しておくためのデコーダ容量以外に、ピクチャ送信順序に対する制限はほとんどない。したがって、ピクチャPがピクチャP、I、Iを参照する場合、ピクチャPは復号順でこれらのピクチャの後にこなければならない。ピクチャBがピクチャIおよびPを参照する場合、ピクチャBは復号順でこれらのピクチャの後にこなければならない。ピクチャBがピクチャI、P、Iを参照する場合、ピクチャBは復号順でこれらのピクチャの後にこなければならない。また、ピクチャBがピクチャB、P、B、Pを参照する場合、ピクチャBは復号順でこれらのピクチャの後にこなければならない。図4に、これらの制限に従った送信順序の1つを示す。
したがって、この新規格は、以下のように簡単に要約することができる。
・Iピクチャは独立して復号可能である。
・Iピクチャは必ずしも表示順に送信されるとは限らない。
・Pピクチャは複数のピクチャを参照することができる。すなわち、Pピクチャの異なる各領域が、異なるピクチャを参照することができる。
・Pピクチャは、表示順で過去のピクチャを参照できるだけでなく、表示順で未来のピクチャも参照することができる。ただし復号順では前のピクチャしか参照することができない。
・Bピクチャは、3つ以上の参照ピクチャを参照することができる。すなわち、Bピクチャの各領域が、復号順で前にくる複数のピクチャのうちの1つの一領域を参照することができ、あるいはこのような2つの領域の数学的平均を参照することができる。
・Bピクチャは、表示順でこのBピクチャの前にくるピクチャのセットを参照することができ、あるいは表示順でこのBピクチャの後にくるピクチャのセットを参照することができ、あるいはこのBピクチャの前にくるいくつかのピクチャと、後にくるいくつかのピクチャとを含むピクチャのセットを参照することができる。ただし復号順では前のピクチャしか参照することができない。
・Bピクチャを、他のピクチャを復号する際の参照のためのアンカーピクチャとして使用することができる。例えば、Pピクチャを予測するのに使用することができる。
次に、今述べた規格に従って符号化されたピクチャシーケンスにランダムアクセスしようとする問題について考えてみる。例えば、デコーダが図3のシーケンス(今述べた規格に従って符号化されている)にランダムアクセスしようとすると仮定する。アクセスはピクチャBで行われるものとする。MPEG−2の手法の場合と同様に進めていき、次のIピクチャまで順方向走査する場合、このピクチャはあまり有用ではないことがある。というのは、多くの後続ピクチャはやはり、デコーダの持っていないピクチャに依存するかもしれないからである。例えば仮説として、ピクチャPおよびP12が、Iピクチャに依存するのに加えてIピクチャにも依存することがある。したがってこの場合、デコーダは、先行するIピクチャを復号済みであっても、これらのPピクチャを復号できないことがある。ピクチャはまた、表示のために必要になるよりもずっと前に送信される場合もあり、このため、ランダムアクセスを用いるデコーダは、遭遇したすべてのピクチャを復号することができたとしても、表示する必要のあるすべてのピクチャを持っているという保証はない場合がある。
MPEG−2シナリオでは、クローズドGOPフラグを使用することで、状況はずっと単純であった。ここで、デコーダがClosedGOPflag=1のランダムアクセスポイントで復号を開始した場合は、次のIピクチャを復号することによって、このピクチャおよび復号順で後に続くすべてのピクチャを復号して表示できるようになることが保証されていた。ここで、デコーダがClosedGOPflag=0のランダムアクセスポイントで復号を開始した場合は、次のIピクチャを復号することによって、次のPピクチャを復号することができ、次いで、このPピクチャで開始するシーケンス中にあるすべてのピクチャタイプの残りのピクチャすべてを復号して表示できるようになることが保証されていた。このことは、すぐ前に述べた規格の場合は十分にフレキシブルではない。利用可能なものがクローズドGOPフラグだけである場合、この挙動を強いるためにこの新しいドラフト規格のフレキシブルな参照機能が損なわれることにならない限り、Iピクチャに続く後続のビデオのいずれかのPピクチャまたはBピクチャを復号できるという保証はない。デコーダは単純に、ビデオの復号および表示を開始できるかどうかを決定する方法が何もない(Iピクチャを除いて)。デコーダは、いずれかのPまたはBピクチャを復号しようとすることにさえ注意しなければならない。というのは、復号しようとしている新しいピクチャの何らかの領域に突然遭遇したとき、デコーダは、デコーダが単に持っていないピクチャを参照する必要のある何らかのビデオを復号しようとしている最中であるかもしれないからである。
したがって、オープンGOPフラグを提供する旧手法は、単純に、今述べた規格のような複雑なビデオ符号化規格に実際のランダムアクセス機能を提供するには十分な情報ではない。デコーダがいつ実際にピクチャの復号および表示を開始することができるかを示す、より完全な指示が必要である。
(ランダムアクセスポイント)
一実施形態によれば、ピクチャシーケンスに、1つまたは複数のランダムアクセスポイントすなわちRAPが提供される。ランダムアクセスポイントは実質的に、ピクチャシーケンスへのランダムアクセスを容易にする情報を含む、シーケンス内の位置である。
例として、例示的なピクチャシーケンスを500に一般に示す図5について考えてみる。このシーケンスは、1つまたは複数のランダムアクセスポイントと、シーケンスへのランダムアクセスを容易にする関連情報とを提供するエンコーダで符号化されたものである。ここでは、ランダムアクセスポイントすなわちRAP502が示されている。ランダムアクセスポイントは、エントリポイントとリカバリポイントの仕様の両方を1つまたは複数含むことができることを想起されたい。この特定の例では、ランダムアクセスポイントは、エントリポイントすなわちEP504に関連する情報、ならびにリカバリポイントすなわちRP506に関連する情報を含む。エントリポイントおよびリカバリポイントは、デコーダの復号動作によっていつ正確かつ適切に復号されたピクチャが得られることになるかをデコーダが確認するのに使用することのできる基準を提供する。
代替の一実施形態では、ビデオシーケンス中へのランダムアクセスを容易にするための情報のセットを、ピクチャシーケンス中の特定位置に密接に結び付いていないデータ中に組み入れることもできる。例えば、復号プロセスを開始するためのビデオストリーム中の開始ポイントを確立すると共に、表示可能なビデオ内容の達成が示されるビデオストリーム中の後のポイントを確立するランダムアクセス促進データを、ビデオストリーム内のピクチャシーケンス中の特定位置において表すのではなく、別個のデータファイルまたはデータ記憶域に含めることもできる。
(エントリポイント)
エントリポイントは、エントリポイントまたはエントリポイント後のどこかのポイントで適切に復号可能かつ表示可能なピクチャを有するために、ランダムアクセスポイント位置など何らかの定義済み位置に関して行うべき復号処理の開始位置または復号量に関連する基準を提供する。エントリポイントを定義することのできる方法にはいくつかある。エントリポイントを定義する方法の1つは、本明細書で「プレロールカウント(pre−roll count)」と呼ぶもので定義する方法である。プレロールカウントは、何らかの定義済みピクチャおよび後続のすべてのピクチャ(表示順、復号順、または表示順と復号順の両方で)を正しく復号できることが保証されるために、何らかの定義済みピクチャの前にいくつのピクチャに遭遇してそれらを復号すべきであったかを示す指示である。
エントリポイントの定義のための定義済みピクチャが、ランダムアクセスポイントに関連するピクチャ、言い換えれば「現在ピクチャ」である状況を考えてみる。この状況で、ランダムアクセスポイントは、現在ピクチャおよび後続のピクチャをこのポイントから順方向に正しく表示されるように復号するとするならば、現在ピクチャの前に3つのピクチャに遭遇してそれらを復号している必要があったことを示すものとすることができる。この例で、デコーダは、シーケンス500のエントリポイントの前の「ランダムアクセス」と示されているピクチャにランダムアクセスし、受け取ったすべてのピクチャを復号しようとしたと仮定する(これを「ベストエフォート」復号と呼び、後で「ベストエフォート復号」と題した章でより詳細に論じる)。この状況では、シーケンス中のランダムアクセスしたピクチャの後のピクチャに遭遇してこれらを復号しようとしたので、デコーダは、現在ピクチャおよび後続のすべてのピクチャを適切に復号して表示することができることを知る。
この例では、シーケンスは必ずしもランダムアクセスポイントの位置から離れたリカバリポイントを利用する必要はないことに留意されたい。すなわち、ランダムアクセスポイント中のエントリポイント情報は、特定の(この例ではデコーダによって復号された)ピクチャで復号が開始したならば現在ピクチャおよび後続のすべてのピクチャが正しく復号され表示されることを示していた。
エントリポイントを定義することのできる別の方法は、時間で定義する方法である。例えば、デコーダがランダムアクセスポイントよりも2分の1秒または4分の1秒だけ前に復号を開始したならば現在ピクチャおよび後続のすべてのピクチャが正しく復号され表示されることをデコーダに示すような形で、エントリポイントを定義することができる。
(リカバリポイント)
リカバリポイントは、正しく復号可能かつ表示可能なピクチャを有するために、ランダムアクセスポイント位置など何らかの定義済み位置の後で、復号処理中に遭遇すべきビデオシーケンス中の位置の基準、またはどれだけの復号を行うべきかの基準を提供する。リカバリポイントは、ピクチャカウントまたは時間で定義することができる。例えば、ランダムアクセスポイント502で、デコーダがランダムアクセスポイントで復号を開始したならばその時点から2分の1秒後にすべてのピクチャを正しく復号して表示できることを示すように、リカバリポイントを定義することができる。あるいは、リカバリポイントはピクチャカウントで定義することもできる。すなわち、ランダムアクセスポイントは、現在ピクチャから3ピクチャ離れた位置にリカバリポイントを定義することができる。したがって、デコーダが次の3つのピクチャを復号しようとした場合、それに続く後続ピクチャは正しく復号して表示することができる。
(エントリポイントとリカバリポイントの組合せ)
一実施形態によれば、ランダムアクセスポイントは、エントリポイントとリカバリポイントの両方に関連する情報を含むことができる。この状況では、ランダムアクセスポイントは、デコーダが過去のどこかの測定された位置(すなわちエントリポイント)でその復号動作を開始したならば、未来のどこかの測定された位置(すなわちリカバリポイント)ですべてのピクチャが正しく復号可能かつ表示可能になることを、デコーダに示すことができる。例えば、エントリポイント情報は、復号が2ピクチャ前に開始したならば、現在から4分の1秒後のリカバリポイントですべてのピクチャが正しく復号可能かつ表示可能になることを、示すことができる。
図6は、一実施形態による方法のステップを記述した流れ図である。述べる方法は、適切に構成されたエンコーダに従って実施することができる。
ステップ600で、ビデオシーケンスの個々のピクチャを処理して、1つまたは複数のランダムアクセスポイントを提供する。エンコーダは、個々のピクチャを符号化するときにこのステップを実施することができる。エンコーダは、個々のピクチャ間の依存関係を知ることにより、ランダムアクセスポイントを定義することができる。例えばエンコーダは、ランダムアクセスポイントに関連するピクチャを復号するのに、2つの先行ピクチャだけが必要であることがわかっている場合がある。このことを知っているので、エンコーダは、デコーダが現在ピクチャを正しく復号して表示したければ2つの先行ピクチャを復号しようとすべきだったことをデコーダに示すプレロールカウントまたはエントリポイントを定義することができる。別法としてまたは追加で、エンコーダは、デコーダが現在ピクチャで復号を開始したならば現在ピクチャから4分の1秒後にすべての後続ピクチャを正しく復号して表示できることがわかっている場合もある。
ステップ602で、1つまたは複数のランダムアクセスポイントを含む符号化済みピクチャシーケンスを、1つまたは複数のデコーダに送信する。このステップは、任意の適した伝送媒体を使用して、任意の適した方法で実施することができる。
(デコーダ動作)
一実施形態によれば、前述のランダムアクセスポイントに関してデコーダが動作することのできる方法には、2つの基本的な方法がある。第1の方法は「ベストエフォート復号」と呼ばれ、第2の方法は「保証付き復号」と呼ばれる。これらはそれぞれ、以下にその題名を別々に付した章で論じる。
(ベストエフォート復号)
デコーダがベストエフォート復号を実施するように構成されているときは、デコーダは、それが遭遇するすべてのピクチャおよびピクチャ領域を復号しようとする。デコーダの持っていないピクチャまたはピクチャ領域への参照に遭遇したときは、この不足ピクチャへの参照を、中間レベルのグレー、ブラック、または他の何らかの指定値または未指定値など、何らかの値で満たされたピクチャへの参照として扱うことができる。あるいは、ピクチャまたは領域を初期化して、中間レベルのグレー、ブラック、または他の何らかの指定値または未指定値など、何らかの値に復号されるようにすることもできる。次いでデコーダは、すべてのピクチャの復号を試みることができるが、ピクチャの内容は、ランダムアクセスポイント中で示される条件(すなわちエントリポイントおよび/またはリカバリポイントに関連する条件)が満たされた後にのみ、完全に正しいと考える。
ベストエフォート方法を使用すると、後続のピクチャをどのように符号化するかに関する最大限のフレキシビリティがエンコーダにもたらされるが(例えば各ピクチャの小部分だけをイントラ情報で更新するなど)、デコーダがビデオストリームを復号できるなら、もう実施できないことになる動作がデコーダに課されることは必ずしもない。この方法ではまた、シーケンス中のPまたはBピクチャだけを使用してランダムアクセス機能を可能にすることができる。したがって、ランダムアクセスポイントは、ランダムアクセスポイントの位置にまたはその後にIピクチャの存在を必要としなくてもよい。
(保証付き復号)
保証付き復号は、デコーダが復号できるとわかっているピクチャだけを復号する復号パラダイムを指す。例えば、デコーダがIピクチャに遭遇した場合、デコーダはそれを復号できることがわかっているので復号する。一方、デコーダがPピクチャに遭遇した場合、デコーダはそれを復号できることがわかっているとは限らないので、復号を試みない。したがって、図5のシーケンスを例にすると、デコーダはこの場合、エントリポイント504で開始し、ランダムアクセスポイント中の条件が満たされるまでIピクチャだけを復号することができる。条件が満たされた時点で、デコーダは、残りのピクチャが利用不可能データへの参照を含まないと確信して、I以外のピクチャの復号を試みる。
(例示的な復号方法)
図7は、一実施形態による方法のステップを記述した流れ図である。この流れ図は、前述の「ベストエフォート復号」と「保証付き復号」の両方のパラダイムを例示している。この方法は、適切に構成された任意のデコーダに関して実施することができる。
ステップ700で、前述の技法に従って符号化された符号化済みピクチャシーケンスを受け取る。ベストエフォート復号に従う場合は、ステップ702で、シーケンスのピクチャの復号を開始する。ここでデコーダは、上の「ベストエフォート復号」の章で述べた技法などの技法を使用して、その能力の及ぶ限り各ピクチャを復号するよう試みる。ステップ704で、ピクチャシーケンスに関連するランダムアクセスポイントに関連する条件を確認する。このステップはステップ702の後にくるように示されているが、必ずしもそうである必要はない。一実施形態では、ステップ704で確認される条件は、エントリポイント、リカバリポイント、またはこの両方で定義されたものとすることができる。ステップ706で、ピクチャまたはピクチャ領域が未知であるかどうかを決定する。ピクチャまたは領域は、デコーダの持っていない別のピクチャまたはピクチャ領域を参照している場合に、未知である可能性がある。ピクチャまたは領域が未知である場合は、ステップ708で、参照される不足のピクチャ、あるいはこのピクチャまたは領域を、所定の値に復号されるように初期化し、ステップ712に分岐して、このポイントから順方向に復号処理を継続する。所定の値の例は、先に挙げたものである。一方、ピクチャまたは領域が既知である場合は(すなわちデコーダの持っているピクチャまたは領域を参照するか、参照ピクチャを必要としない)、ステップ712で直接に復号プロセスを継続する。ステップ714で、ランダムアクセスポイント中の条件が満たされたかどうかを決定する。条件が満たされない場合は、ステップ706に戻って復号プロセスを継続することができる。一方、ランダムアクセスポイント中の条件が満たされた場合は、ステップ716で、後続のピクチャの内容が完全に正しい、またはほぼ正しいと考えることができる。
ステップ718に、前述の保証付き復号プロセスに関連するステップを記述する。したがって、ステップ718で、復号可能であるとわかっているピクチャだけ(例えばIピクチャだけ)を復号することによって、ピクチャの復号を開始する。ステップ720で、ランダムアクセスポイントに関連する条件を確認する。このステップはステップ718の後にくるように示されているが、必ずしもそうである必要はない。ステップ722で、ランダムアクセスポイント中の条件が満たされたかどうかを決定する。条件が満たされない場合は、ステップ724で、復号可能であるとわかっているピクチャだけを復号することを継続する。一方、ランダムアクセスポイント中の条件が満たされた場合は、ステップ726ですべての後続ピクチャを復号する。
(ビデオスプライシング)
前述の技法をビデオスプライシングと共に使用して、復号プロセスを容易にすることができる。この説明の補助とするために、ピクチャシーケンス800を示す図8を考えてみる。ピクチャBを含めたBまでの各ピクチャは、コマーシャルなど第1のビデオ部分に関係し、I12以後のピクチャは映画に関係すると仮定する。すなわち、コマーシャルシーケンスと映画シーケンスは、図示のスプライスポイントで共にスプライシングされている。ここでは、ビデオストリーム間で、コマーシャルに関連するストリームから映画に関連するストリームへの切換えがあった。
この場合に、I12以後のピクチャストリームがオープンGOPである場合にこれが引き起こす可能性のある問題を考えてみる。ここでピクチャB10およびB11は、スプライスポイントの前にあるピクチャPの存在を想定したものとすることができる。ピクチャPがあるものの、これは映画に関連するピクチャではない。そうではなく、これはコマーシャルに関連するピクチャである。このため、デコーダがPを使用してB10およびB11を復号した場合、これらのピクチャは正しく復号されないことになる。
MPEG−2のコンテキストでは、ブロークンリンク(broken link)フラグと呼ばれる1ビットのフラグを使用して、不完全なスプライスポイントを示していた。デコーダは、ブロークンリンクフラグに遭遇すると、このフラグを、不完全なスプライスポイントがあったことを示す指示として使用し、また、2つのBピクチャを復号すべきでないこと、あるいは復号した場合でもこれらをどんなことにも使おうとすべきでないことを示す指示として使用していた。
前述のビデオ符号化規格における複合的な参照がピクチャシーケンス中へのランダムアクセスを複雑にするのとほぼ同様にして、複合的な参照はまた、ディジタルスプライシングされたピクチャシーケンスの処理も複雑にする。すなわち、この場合、ピクチャP15がピクチャPを遡って参照することがあり、したがって、2つのBピクチャが不適切に復号されるだけでなく、このPピクチャも不適切に復号されることになる。
この状況で、正しく復号可能なピクチャをデコーダが回復するために本当に問題となるのは、エンコーダが参照に何を使用したかである。したがって、デコーダが最終的に妥当なピクチャを回復できるような形で参照が達成されるようにすることは、実にエンコーダ次第である。
したがってこの例では、エンコーダがスプライシングを行うことのできる任意のIピクチャで、エンコーダは、復号プロセスを容易にすることのできる情報を有するランダムアクセスポイントを提供することができる。具体的には、エンコーダは、エントリポイントおよびリカバリポイントを1つまたは複数提供して、デコーダがスプライスポイント付近のピクチャを正しく復号して表示するのに使用できる情報をデコーダに提供することができる。したがって例えば、ピクチャI12で、エンコーダは、スプライシング動作からの適したリカバリポイントが2分の1秒後であることを示すランダムアクセスポイントと共に、このような不完全なスプライシングが生じたことを示す指示を提供することができる。これによりデコーダは、ディジタルスプライシングされたピクチャシーケンスのコンテキストで、どこで正しいピクチャの復号および表示を開始することができるかを知ることになる。
(例示的なコンピューティング環境)
図9に、前述のシステムおよび関連する方法を実施するのに適したコンピューティング環境900の例を示す。述べる様々なコンポーネントは、適切に構成されたデコーダとエンコーダの両方を実現するのに使用することができる。
コンピューティング環境900は、適したコンピューティング環境の一例にすぎず、前述の符号化/復号システムの使用または機能の範囲についてどんな制限も意味しないことを理解されたい。またコンピューティング環境900は、この例示的なコンピューティング環境900に示すコンポーネントのいずれか1つまたは組合せに関してどんな依存や要件を有するものとも解釈すべきではない。
述べた様々な実施形態は、その他多くの汎用または専用コンピューティングシステム環境または構成でも機能することができる。この媒体処理システムと共に使用するのに適すると考えられる周知のコンピューティングシステム、環境、および/または構成の例には、限定しないがパーソナルコンピュータ、サーバコンピュータ、シンクライアント、シッククライアント、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な民生用電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータや、これらのシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれる。
いくつかの実施形態では、本システムおよび関連する方法は、プログラムモジュールなど、コンピュータによって実行されるコンピュータ実行可能命令の一般的なコンテキストで適切に述べることができる。一般にプログラムモジュールは、特定のタスクを実施するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。各実施形態は分散コンピューティング環境で実施することもでき、その場合、タスクは通信ネットワークを介してリンクされたリモート処理デバイスによって実施される。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含めたローカルとリモートの両方のコンピュータ記憶媒体に位置することができる。述べるコンピューティングシステムのコンポーネントを使用して、前述のように機能するエンコーダおよびデコーダを実現することができる。
図9に示す例示的な実施形態によれば、図示のコンピューティングシステム900は、1つまたは複数のプロセッサまたは処理ユニット902と、システムメモリ904と、システムメモリ904を含めた様々なシステムコンポーネントをプロセッサ902に結合するバス906とを備える。
バス906は、様々なバスアーキテクチャのいずれかを用いた、メモリバスまたはメモリコントローラ、周辺バス、AGP(accelerated graphics port)、プロセッサバスまたはローカルバスを含めて、いくつかの種類のバス構造のいずれか1つまたは複数を表すものとする。限定ではなく例として、このようなアーキテクチャには、ISA(Industry Standard Architecture)バス、MCA(Micro Channel Architecture)バス、EISA(Enhanced ISA)バス、VESA(Video Electronics Standards Association)ローカルバス、PCI(Peripheral Component Interconnects)バス(メザニンバスとも呼ばれる)が含まれる。
コンピュータ900は通常、様々なコンピュータ可読媒体を備える。このような媒体は、コンピュータ900からローカルおよび/またはリモートにアクセスできる任意の利用可能な媒体とすることができ、揮発性と不揮発性の媒体、取外し可能と取外し不可能の媒体の両方が含まれる。
図9では、システムメモリ904は、ランダムアクセスメモリ(RAM)910などの揮発性メモリの形、および/または読取り専用メモリ(ROM)908などの不揮発性メモリの形のコンピュータ可読媒体を含む。ROM908には通常、起動中などにコンピュータ900内の要素間で情報を転送するのを助ける基本ルーチンを含むBIOS(basic input/output system)912が記憶されている。RAM910は通常、処理ユニット902からすぐにアクセス可能な、かつ/または処理ユニット902が現在作用している、データおよび/またはプログラムモジュールを含む。
コンピュータ900はさらに、その他の取外し可能/取外し不可能、揮発性/不揮発性コンピュータ記憶媒体を備えることもできる。例にすぎないが図9には、取外し不可能な不揮発性の磁気媒体(図示していないが通常「ハードドライブ」と呼ばれる)に対して読み書きするためのハードディスクドライブ928と、取外し可能な不揮発性の磁気ディスク932(例えば「フロッピー(登録商標)ディスク」)に対して読み書きするための磁気ディスクドライブ930と、CD−ROMやDVD−ROMやその他の光媒体など取外し可能な不揮発性の光ディスク936に対して読み書きするための光ディスクドライブ934を示す。ハードディスクドライブ928、磁気ディスクドライブ930、光ディスクドライブ934はそれぞれ、1つまたは複数のインタフェース926でバス906に接続される。
各ドライブおよびそれらに関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータの不揮発性記憶域をコンピュータ900に提供する。ここで述べる例示的な環境では、ハードディスク928、取外し可能な磁気ディスク932、取外し可能な光ディスク936を採用しているが、磁気カセット、フラッシュメモリカード、ディジタルビデオディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)など、コンピュータからアクセス可能なデータを記憶することのできる他の種類のコンピュータ可読媒体をこの例示的な動作環境で利用することもできることを、当業者は理解されたい。
ハードディスク928、磁気ディスク932、光ディスク936、ROM908、またはRAM910には、いくつかのプログラムモジュールを記憶することができる。限定ではなく例として、これらには、オペレーティングシステム914、1つまたは複数のアプリケーションプログラム916(例えばマルチメディアアプリケーションプログラム924)、その他のプログラムモジュール918、プログラムデータ920が含まれる。ユーザは、キーボード938やポインティングデバイス940(「マウス」など)等の入力デバイスを介して、コンピュータ900にコマンドおよび情報を入力することができる。その他の入力デバイスには、オーディオ/ビデオ入力デバイス953、マイクロホン、ジョイスティック、ゲームパッド、衛星受信アンテナ、シリアルポート、スキャナなど(図示せず)を含めることができる。これらおよびその他の入力デバイスは、バス906に結合された入力インタフェース942を介して処理ユニット902に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス(USB)など、その他のインタフェースおよびバス構造で接続されてもよい。
モニタ956またはその他の種類の表示デバイスも、ビデオアダプタまたはビデオ/グラフィックスカード944などのインタフェースを介してバス906に接続される。モニタに加えて、パーソナルコンピュータは通常、スピーカやプリンタなどその他の周辺出力デバイス(図示せず)も備え、これらは出力周辺インタフェース946を介して接続することができる。
コンピュータ900は、リモートコンピュータ950など1つまたは複数のリモートコンピュータへの論理接続を用いて、ネットワーク化された環境で動作することができる。リモートコンピュータ950は、コンピュータに関してここで述べた要素および特徴の多くまたはすべてを備えるものとすることができる。
図9に示すように、コンピューティングシステム900は、ローカルエリアネットワーク(LAN)951および一般的なワイドエリアネットワーク(WAN)952を介してリモートデバイス(例えばリモートコンピュータ950)に通信可能に結合される。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、インターネットでよくみられる。
コンピュータ900は、LANネットワーキング環境で使用されるときは、適したネットワークインタフェースまたはアダプタ948を介してLAN951に接続される。WANネットワーキング環境で使用されるときは通常、WAN952を介した通信を確立するためのモデム954またはその他の手段を備える。モデム954は内蔵でも外付けでもよく、ユーザ入力インタフェース942またはその他の適切な機構を介してシステムバス906に接続することができる。
ネットワーク化された環境では、パーソナルコンピュータ900に関して示したプログラムモジュールまたはその一部をリモートのメモリ記憶デバイスに記憶することができる。限定ではなく例として、図9には、リモートアプリケーションプログラム916がリモートコンピュータ950のメモリデバイス上にあるものとして示す。図示および記述したネットワーク接続は例示的なものであり、コンピュータ間で通信リンクを確立するための他の手段を使用することもできることは理解されるであろう。
(結び)
以上に述べた様々な実施形態は、符号化済みピクチャシーケンスのピクチャ間の複雑な依存関係を可能にするビデオ符号化方法のコンテキストで復号を容易にする手法を提供する。いくつかの実施形態では、このような複雑なピクチャ依存関係を利用するピクチャシーケンスにランダムアクセスするコンテキストで、特別な利点を達成することができる。
本発明を構造上の特徴および/または方法上のステップに特有の言葉で述べたが、添付の特許請求の範囲に定義する本発明は、述べた特定の特徴またはステップに必ずしも限定されないことを理解されたい。そうではなく、これらの特定の特徴およびステップは、特許請求する本発明の好ましい実施の形式として開示するものである。
従来技術の符号化フォーマットの1つに従ったI、B、Pピクチャを示す図である。 I、B、Pピクチャを表示順に含むピクチャシーケンスを示す図である。 I、B、Pピクチャを送信順に含み、ランダムアクセスが試みられるピクチャシーケンスを示す図である。 I、B、Pピクチャを含み、ランダムアクセスが試みられるピクチャシーケンスを示す図である。 I、B、Pピクチャを含み、一実施形態によるデータを含むピクチャシーケンスを示す図である。 2つの実施形態による復号方法のステップを記述した流れ図である。 一実施形態による方法のステップを記述した流れ図である。 スプライスポイントを含むピクチャシーケンスであって、1つまたは複数の実施形態を採用することのできるある特定のコンテキストを理解する助けとすることのできるピクチャシーケンスを示す図である。 1つまたは複数の実施形態を関連して実施することのできるコンピューティング環境の高レベル図である。

Claims (134)

  1. ピクチャシーケンスの複数のピクチャを符号化するステップと、
    前記符号化ステップと共に、前記ピクチャシーケンス中の何らかの位置で開始する復号動作によっていつ表示用または他の用途の正しく復号されたピクチャが得られることになるかをデコーダが確認するのに使用することのできる基準を提供するデータを、前記複数のピクチャに関連付けるステップとを含むことを特徴とする方法。
  2. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項1に記載の方法。
  3. 前記基準は、ピクチャカウントで定義されたことを特徴とする請求項1に記載の方法。
  4. 前記基準は、時間で定義されたことを特徴とする請求項1に記載の方法。
  5. 前記基準は、ピクチャカウントと時間の両方で定義されたことを特徴とする請求項1に記載の方法。
  6. 前記基準は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項1に記載の方法。
  7. 請求項1に記載の方法を実施するように構成されたことを特徴とするエンコーダ。
  8. 請求項7に記載のエンコーダを組み入れたことを特徴とするコンピュータシステム。
  9. コンピュータ可読媒体に組み入れられたデータシーケンスであって、
    ピクチャシーケンスを構成する複数の符号化済みピクチャと、
    前記複数のピクチャに関連するデータであって、前記ピクチャシーケンス中の何らかの位置で開始するデコーダの復号動作によっていつ正しく復号されたピクチャが得られることになるかをデコーダが確認するのに使用することのできる基準を提供するデータとを備えることを特徴とするデータシーケンス。
  10. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項9に記載のデータシーケンス。
  11. 前記基準は、ピクチャカウントで定義されたことを特徴とする請求項9に記載のデータシーケンス。
  12. 前記基準は、時間で定義されたことを特徴とする請求項9に記載のデータシーケンス。
  13. 前記基準は、ピクチャカウントと時間の両方で定義されたことを特徴とする請求項9に記載のデータシーケンス。
  14. 前記基準は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項9に記載のデータシーケンス。
  15. 前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを特徴とする請求項14に記載のデータシーケンス。
  16. ピクチャシーケンスの複数のピクチャを符号化するステップと、
    前記符号化ステップと共に、ランダムアクセス情報の1つまたは複数のセットを前記ピクチャシーケンスに関連付けるステップとを含む方法であって、前記ランダムアクセス情報の個々のセットはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供することを特徴とする方法。
  17. 少なくともいくつかのエントリポイントはピクチャカウントで定義されたことを特徴とする請求項16に記載の方法。
  18. 少なくともいくつかのリカバリポイントはピクチャカウントで定義されたことを特徴とする請求項16に記載の方法。
  19. 少なくともいくつかのエントリポイントは時間で定義されたことを特徴とする請求項16に記載の方法。
  20. 少なくともいくつかのリカバリポイントは時間で定義されたことを特徴とする請求項16に記載の方法。
  21. 少なくとも1つのランダムアクセス情報セットはエントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項16に記載の方法。
  22. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項16に記載の方法。
  23. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項16に記載の方法。
  24. 少なくともいくつかのランダムアクセス情報セットは、前記ピクチャシーケンス中の特定位置にあるランダムアクセスポイントとして表されたことを特徴とする請求項16に記載の方法。
  25. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項24に記載の方法。
  26. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項24に記載の方法。
  27. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項24に記載の方法。
  28. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項24に記載の方法。
  29. 少なくとも1つのランダムアクセスポイントは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項24に記載の方法。
  30. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項24に記載の方法。
  31. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項24に記載の方法。
  32. 請求項16に記載の方法を実施するように構成されたことを特徴とするエンコーダ。
  33. 請求項24に記載の方法を実施するように構成されたことを特徴とするエンコーダ。
  34. 請求項32に記載のエンコーダを組み入れたことを特徴とするコンピュータシステム。
  35. 請求項33に記載のエンコーダを組み入れたことを特徴とするコンピュータシステム。
  36. コンピュータ可読媒体に組み入れられたデータシーケンスであって、
    ピクチャシーケンスを構成する複数の符号化済みピクチャと、
    前記複数のピクチャに関連するデータとを備え、前記データはランダムアクセス情報の1つまたは複数のセットを含み、前記ランダムアクセス情報の個々のセットはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供することを特徴とするデータシーケンス。
  37. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項36に記載のデータシーケンス。
  38. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項36に記載のデータシーケンス。
  39. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項36に記載のデータシーケンス。
  40. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項36に記載のデータシーケンス。
  41. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項36に記載のデータシーケンス。
  42. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項36に記載のデータシーケンス。
  43. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項36に記載のデータシーケンス。
  44. 少なくともいくつかのランダムアクセス情報セットは、前記ピクチャシーケンス中の特定位置にあるランダムアクセスポイントとして表されたことを特徴とする請求項36に記載のデータシーケンス。
  45. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項44に記載のデータシーケンス。
  46. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項44に記載のデータシーケンス。
  47. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項44に記載のデータシーケンス。
  48. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項44に記載のデータシーケンス。
  49. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項44に記載のデータシーケンス。
  50. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項44に記載のデータシーケンス。
  51. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項44に記載のデータシーケンス。
  52. ピクチャシーケンスの複数のピクチャを符号化するステップを含む方法であって、個々のピクチャは、以下を特徴とする符号化方式すなわち
    ・Iピクチャは独立して復号可能であり、
    ・Pピクチャは複数の異なるピクチャを参照することができ、
    ・Pピクチャは表示時間で未来のピクチャを参照することができ、
    ・Bピクチャは3つ以上の参照ピクチャを参照することができ、
    ・Bピクチャのいずれか特定の領域で、前記領域は1つまたは複数のピクチャを参照することができ、前記領域が複数の特定領域を参照する場合は、前記領域について前記ピクチャの何らかの数学的組合せを参照することができ、
    ・BピクチャはPピクチャまたは別のBピクチャを予測するのに使用することができる ことを特徴とする符号化方式を使用して符号化されたI、P、Bピクチャを含み、さらに、
    前記符号化ステップと共に、1つまたは複数のランダムアクセスポイントを前記ピクチャシーケンスに関連付けるステップを含み、個々のランダムアクセスポイントはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供することを特徴とする方法。
  53. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項52に記載の方法。
  54. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項52に記載の方法。
  55. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項52に記載の方法。
  56. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項52に記載の方法。
  57. 少なくとも1つのランダムアクセスポイントはエントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項52に記載の方法。
  58. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項52に記載の方法。
  59. 請求項52に記載の方法を実施するように構成されたことを特徴とするエンコーダ。
  60. 請求項59に記載のエンコーダを組み入れたことを特徴とするコンピュータシステム。
  61. コンピュータ可読媒体に組み入れられたデータシーケンスであって、
    ピクチャシーケンスの複数の符号化済みピクチャを備え、個々のピクチャは、以下を特徴とする符号化方式すなわち
    ・Iピクチャは独立して復号可能であり、
    ・Pピクチャは複数の異なるピクチャを参照することができ、
    ・Pピクチャは表示時間で未来のピクチャを参照することができ、
    ・Bピクチャは3つ以上の参照ピクチャを参照することができ、
    ・Bピクチャのいずれか特定の領域で、前記領域は1つまたは複数のピクチャを参照することができ、前記領域が複数の特定領域を参照する場合は、前記領域について前記ピクチャの何らかの数学的組合せを参照することができ、
    ・BピクチャはPピクチャまたは別のBピクチャを予測するのに使用することができる ことを特徴とする符号化方式を使用して符号化されたI、P、Bピクチャを含み、さらに、
    前記ピクチャシーケンスに関連する1つまたは複数のランダムアクセスポイントを備え、個々のランダムアクセスポイントはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供することを特徴とするデータシーケンス。
  62. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項61に記載のデータシーケンス。
  63. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項61に記載のデータシーケンス。
  64. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項61に記載のデータシーケンス。
  65. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項61に記載のデータシーケンス。
  66. 少なくとも1つのランダムアクセスポイントは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項61に記載のデータシーケンス。
  67. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項61に記載のデータシーケンス。
  68. 複数のピクチャを含む符号化済みピクチャシーケンスを受け取るステップと、
    前記ピクチャシーケンス中の何らかの位置で開始する復号動作によっていつ正しく復号されたピクチャが得られることになるかを確認するのに使用することのできる基準を提供する関連データを受け取るステップと、
    前記データを使用して前記ピクチャシーケンスの個々のピクチャを復号するステップとを含むことを特徴とする方法。
  69. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項68に記載の方法。
  70. 前記基準はピクチャカウントで定義されたことを特徴とする請求項68に記載の方法。
  71. 前記基準は時間で定義されたことを特徴とする請求項68に記載の方法。
  72. 前記基準はピクチャカウントと時間の両方で定義されたことを特徴とする請求項68に記載の方法。
  73. 前記基準は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項68に記載の方法。
  74. 請求項68に記載の方法を実施するように構成されたことを特徴とするデコーダ。
  75. 請求項74に記載のデコーダを組み入れたことを特徴とするコンピュータシステム。
  76. 関連データを受け取る前記動作は、前記ピクチャシーケンス中の特定位置にあるランダムアクセスポイントとして表された少なくともいくつかのランダムアクセス情報セットを受け取るステップを含むことを特徴とする請求項68に記載の方法。
  77. 少なくともいくつかのランダムアクセス情報セットは、ピクチャカウントで定義されたエントリポイントとして表されたことを特徴とする請求項76に記載の方法。
  78. 少なくともいくつかのランダムアクセス情報セットは、ピクチャカウントで定義されたリカバリポイントとして表されたことを特徴とする請求項76に記載の方法。
  79. 少なくともいくつかのランダムアクセス情報セットは、時間で定義されたエントリポイントとして表されたことを特徴とする請求項76に記載の方法。
  80. 少なくともいくつかのランダムアクセス情報セットは、時間で定義されたリカバリポイントとして表されたことを特徴とする請求項76に記載の方法。
  81. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項76に記載の方法。
  82. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項76に記載の方法。
  83. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項76に記載の方法。
  84. 複数のピクチャを含む符号化済みピクチャシーケンスを受け取るステップと、
    復号プロセスで使用することのできる基準を提供する関連データを受け取るステップとを含む方法であって、前記データはランダムアクセス情報の1つまたは複数のセットを含み、前記ランダムアクセス情報の個々のセットはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供し、さらに、
    前記データを使用して前記ピクチャシーケンスの個々のピクチャを復号するステップを含むことを特徴とする方法。
  85. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項84に記載の方法。
  86. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項84に記載の方法。
  87. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項84に記載の方法。
  88. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項84に記載の方法。
  89. 少なくとも1つのランダムアクセスポイントは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項84に記載の方法。
  90. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項84に記載の方法。
  91. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項84に記載の方法。
  92. 少なくともいくつかのランダムアクセス情報セットは、前記ピクチャシーケンス中の特定位置にあるランダムアクセスポイントとして表されたことを特徴とする請求項84に記載の方法。
  93. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項92に記載の方法。
  94. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項92に記載の方法。
  95. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項92に記載の方法。
  96. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項92に記載の方法。
  97. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項92に記載の方法。
  98. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項92に記載の方法。
  99. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項92に記載の方法。
  100. 請求項84に記載の方法を実施するように構成されたことを特徴とするデコーダ。
  101. 請求項92に記載の方法を実施するように構成されたことを特徴とするデコーダ。
  102. 請求項100に記載のデコーダを組み入れたことを特徴とするコンピュータシステム。
  103. 請求項101に記載のデコーダを組み入れたことを特徴とするコンピュータシステム。
  104. 複数のピクチャを含む符号化済みピクチャシーケンスを受け取るステップを含む方法であって、個々のピクチャは、以下を特徴とする符号化方式すなわち
    ・Iピクチャは独立して復号可能であり、
    ・Pピクチャは複数の異なるピクチャを参照することができ、
    ・Pピクチャは表示時間で未来のピクチャを参照することができ、
    ・Bピクチャは3つ以上の参照ピクチャを参照することができ、
    ・Bピクチャのいずれか特定の領域で、前記領域は1つまたは複数のピクチャを参照することができ、前記領域が複数の特定領域を参照する場合は、前記領域について前記ピクチャの何らかの数学的組合せを参照することができ、
    ・BピクチャはPピクチャまたは別のBピクチャを予測するのに使用することができる ことを特徴とする符号化方式を使用して符号化されたI、P、Bピクチャを含み、さらに、
    復号プロセスで使用することのできる基準を提供する関連データを受け取るステップを含み、前記データはランダムアクセス情報の1つまたは複数のセットを含み、前記ランダムアクセス情報の個々のセットはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供し、さらに、
    前記データを使用して前記ピクチャシーケンスの個々のピクチャを復号するステップを含むことを特徴とする方法。
  105. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項104に記載の方法。
  106. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項104に記載の方法。
  107. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項104に記載の方法。
  108. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項104に記載の方法。
  109. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項104に記載の方法。
  110. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項104に記載の方法。
  111. 請求項104に記載の方法を実施するように構成されたことを特徴とするデコーダ。
  112. 請求項111に記載のデコーダを組み入れたことを特徴とするコンピュータシステム。
  113. 複数のピクチャを含む符号化済みピクチャシーケンスを受け取るステップと、
    復号プロセスで使用することのできる基準を提供する関連データを受け取るステップとを含む方法であって、前記データはランダムアクセス情報の1つまたは複数のセットを含み、前記ランダムアクセス情報の個々のセットはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供し、さらに、
    前記データを使用して、前記ピクチャシーケンスの個々のピクチャをベストエフォート復号プロセスを用いて復号するステップを含み、前記ベストエフォート復号プロセスは、被参照ピクチャにアクセスできるかどうかにかかわらず前記ピクチャをすべて復号しようとし、被参照ピクチャまたはその領域にアクセスできない場合は、前記アクセス不可能な被参照ピクチャまたは領域を、あるいは復号しようとする現在ピクチャまたは領域を所定値または未指定値に初期化することによって復号領域を生成する復号プロセスとして特徴付けられたことを特徴とする方法。
  114. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項113に記載の方法。
  115. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項113に記載の方法。
  116. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項113に記載の方法。
  117. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項113に記載の方法。
  118. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項113に記載の方法。
  119. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項113に記載の方法。
  120. 前記複数のピクチャは、I、P、Bピクチャを含み、前記ピクチャは、以下を特徴とする符号化方式すなわち
    ・Iピクチャは独立して復号可能であり、
    ・Pピクチャは複数の異なるピクチャを参照することができ、
    ・Pピクチャは表示時間で未来のピクチャを参照することができ、
    ・Bピクチャは3つ以上の参照ピクチャを参照することができ、
    ・Bピクチャのいずれか特定の領域で、前記領域は1つまたは複数のピクチャを参照することができ、前記領域が複数の特定領域を参照する場合は、前記領域について前記ピクチャの何らかの数学的組合せを参照することができ、
    ・BピクチャはPピクチャまたは別のBピクチャを予測するのに使用することができる ことを特徴とする符号化方式を使用して符号化されたことを特徴とする請求項113に記載の方法。
  121. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項113に記載の方法。
  122. 請求項113に記載の方法を実施するように構成されたことを特徴とするデコーダ。
  123. 請求項122に記載のデコーダを組み入れたことを特徴とするコンピュータシステム。
  124. 複数のピクチャを含む符号化済みピクチャシーケンスを受け取るステップと、
    復号プロセスで使用することのできる基準を提供する関連データを受け取るステップとを含む方法であって、前記データはランダムアクセス情報の1つまたは複数のセットを含み、前記ランダムアクセス情報の個々のセットはエントリポイントおよびリカバリポイントを1つまたは複数含み、個々のエントリポイントおよびリカバリポイントは、表示用または他の用途の正しく復号されたピクチャを提供するために行わなければならない復号の量の基準を提供し、さらに、
    前記データを使用して、前記ピクチャシーケンスの個々のピクチャを保証付き復号プロセスを用いて復号するステップを含み、前記保証付き復号プロセスは、復号プロセスにおける使用不可能な他のピクチャを参照せずに確実に復号することのできるピクチャまたは領域だけを復号する復号プロセスとして特徴付けられたことを特徴とする方法。
  125. 少なくともいくつかのエントリポイントは、ピクチャカウントで定義されたことを特徴とする請求項124に記載の方法。
  126. 少なくともいくつかのリカバリポイントは、ピクチャカウントで定義されたことを特徴とする請求項124に記載の方法。
  127. 少なくともいくつかのエントリポイントは、時間で定義されたことを特徴とする請求項124に記載の方法。
  128. 少なくともいくつかのリカバリポイントは、時間で定義されたことを特徴とする請求項124に記載の方法。
  129. 少なくとも1つのランダムアクセス情報セットは、エントリポイントおよびリカバリポイントを含み、前記ポイントの一方はピクチャカウントで定義され、前記ポイントの他方は時間で定義されたことを特徴とする請求項124に記載の方法。
  130. 前記複数のピクチャは、I、P、Bピクチャを含むことを特徴とする請求項124に記載の方法。
  131. 前記複数のピクチャは、I、P、Bピクチャを含み、前記ピクチャは、以下を特徴とする符号化方式すなわち
    ・Iピクチャは独立して復号可能であり、
    ・Pピクチャは複数の異なるピクチャを参照することができ、
    ・Pピクチャは表示時間で未来のピクチャを参照することができ、
    ・Bピクチャは3つ以上の参照ピクチャを参照することができ、
    ・Bピクチャのいずれか特定の領域で、前記領域は1つまたは複数のピクチャを参照することができ、前記領域が複数の特定領域を参照する場合は、前記領域について前記ピクチャの何らかの数学的組合せを参照することができ、
    ・BピクチャはPピクチャまたは別のBピクチャを予測するのに使用することができる ことを特徴とする符号化方式を使用して符号化されたことを特徴とする請求項124に記載の方法。
  132. 前記ランダムアクセス情報は、前記ピクチャシーケンスの少なくとも一部がスプライシングされていることを示すことを特徴とする請求項124に記載の方法。
  133. 請求項124に記載の方法を実施するように構成されたことを特徴とするデコーダ。
  134. 請求項133に記載のデコーダを組み入れたことを特徴とするコンピュータシステム。
JP2003563225A 2002-01-22 2003-01-22 ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム Expired - Lifetime JP4503294B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35114302P 2002-01-22 2002-01-22
PCT/US2003/002138 WO2003063500A1 (en) 2002-01-22 2003-01-22 Methods and systems for encoding and decoding video data to enable random access and splicing

Publications (2)

Publication Number Publication Date
JP2005516496A true JP2005516496A (ja) 2005-06-02
JP4503294B2 JP4503294B2 (ja) 2010-07-14

Family

ID=37575975

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2003563224A Expired - Lifetime JP4703114B2 (ja) 2002-01-22 2003-01-22 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
JP2003563225A Expired - Lifetime JP4503294B2 (ja) 2002-01-22 2003-01-22 ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム
JP2009142785A Expired - Lifetime JP4918119B2 (ja) 2002-01-22 2009-06-15 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
JP2011105462A Expired - Lifetime JP5175371B2 (ja) 2002-01-22 2011-05-10 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
JP2012084329A Expired - Lifetime JP5394528B2 (ja) 2002-01-22 2012-04-02 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003563224A Expired - Lifetime JP4703114B2 (ja) 2002-01-22 2003-01-22 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2009142785A Expired - Lifetime JP4918119B2 (ja) 2002-01-22 2009-06-15 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
JP2011105462A Expired - Lifetime JP5175371B2 (ja) 2002-01-22 2011-05-10 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム
JP2012084329A Expired - Lifetime JP5394528B2 (ja) 2002-01-22 2012-04-02 開始符号エミュレーションの防止およびデータ充填のための方法およびシステム

Country Status (11)

Country Link
US (2) US7505485B2 (ja)
EP (3) EP1753244B1 (ja)
JP (5) JP4703114B2 (ja)
CN (2) CN1618235A (ja)
AT (3) ATE464748T1 (ja)
DE (3) DE60310368T2 (ja)
DK (1) DK1753244T3 (ja)
ES (1) ES2341357T3 (ja)
HK (3) HK1069701A1 (ja)
PT (1) PT1753244E (ja)
WO (2) WO2003063500A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535219A (ja) * 2011-10-31 2014-12-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60310368T2 (de) * 2002-01-22 2007-03-29 Microsoft Corp., Redmond Verfahren zur verhinderung von startkode-emulation und stopfdaten
TWI310137B (en) * 2002-04-19 2009-05-21 Microsoft Corp Methods and systems for preventing start code emulation at locations that include non-byte aligned and/or bit-shifted positions
US7436328B2 (en) * 2003-07-09 2008-10-14 Texas Instruments Incorporated Video coding with start code emulation prevention
FR2898754B1 (fr) * 2006-03-17 2008-06-13 Thales Sa Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires
JP2007312272A (ja) * 2006-05-22 2007-11-29 Victor Co Of Japan Ltd 可変長復号装置
JP4229149B2 (ja) 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
WO2008064058A2 (en) * 2006-11-21 2008-05-29 Abbott Laboratories Use of a terpolymer of tetrafluoroethylene, hexafluoropropylene, and vinylidene fluoride in drug eluting coatings
US7974307B2 (en) * 2006-11-30 2011-07-05 Vestel Elektronik Sanayi Ve Ticaret A.S. Methods and apparatus for data decoding/encoding and for searching for/inserting stuffing bytes
CN101296376B (zh) * 2007-04-24 2011-01-26 北京展讯高科通信技术有限公司 填充位丢弃电路和方法
EP1988713A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Image processing apparatus and method using padding data
WO2008146483A1 (ja) * 2007-05-28 2008-12-04 Panasonic Corporation メタデータ記録装置及びメタデータ記録方法
US9503777B2 (en) 2007-06-05 2016-11-22 Broadcom Corporation Method and system for unified start code emulation prevention bits processing for AVS
US7881342B2 (en) * 2007-09-27 2011-02-01 Chris Vaios Dynamically and on-demand selected ancillary data over compressed multimedia packets without bandwidth expansion
CN101459840B (zh) * 2007-12-13 2010-04-21 华为技术有限公司 视频图像编码和解码方法及装置和***
JP2009200595A (ja) * 2008-02-19 2009-09-03 Fujitsu Ltd 署名管理プログラム、署名管理方法及び署名管理装置
CN101534438B (zh) * 2008-03-14 2013-02-13 瑞昱半导体股份有限公司 影音位流处理方法及装置
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) * 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7925774B2 (en) 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
JP5524072B2 (ja) * 2008-10-10 2014-06-18 株式会社東芝 動画像符号化装置
FI123124B (fi) 2011-03-16 2012-11-15 Oy Langh Ship Ab Menetelmä ja järjestely irtokelojen kuljettamiseksi kehtotelinerakennelmalla sekä kehtotelinerakennelma
US10230989B2 (en) * 2011-06-21 2019-03-12 Texas Instruments Incorporated Method and apparatus for video encoding and/or decoding to prevent start code confusion
CN103369311A (zh) * 2012-04-04 2013-10-23 朱洪波 一种用于防止起始码冲突的方法
US20130279597A1 (en) * 2012-04-24 2013-10-24 Magnum Semiconductor, Inc. Apparatuses and methods for bitstream bitstuffing
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
WO2014002899A1 (ja) * 2012-06-29 2014-01-03 ソニー株式会社 符号化装置および符号化方法
CN102802023B (zh) * 2012-08-29 2014-08-27 上海国茂数字技术有限公司 一种快速防止出现伪起始码的方法及装置
EP2983363A4 (en) 2013-04-05 2016-10-19 Samsung Electronics Co Ltd MULTI-LAYER VIDEO ENCODING METHOD FOR RANDOM ACCESS AND DEVICE THEREFOR, AND MULTI-LAYER VIDEO DECODING METHOD FOR RANDOM ACCESS AND DEVICE THEREOF
CN105765978B (zh) 2013-10-11 2019-01-29 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
WO2015053525A1 (ko) * 2013-10-11 2015-04-16 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
EP3104614A4 (en) * 2014-02-03 2017-09-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method
US10032034B2 (en) * 2015-10-06 2018-07-24 Microsoft Technology Licensing, Llc MPEG transport frame synchronization
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
CN109982091B (zh) * 2019-04-26 2022-04-22 京东方科技集团股份有限公司 一种图像的处理方法及装置
KR20230020425A (ko) * 2020-06-09 2023-02-10 바이트댄스 아이엔씨 비디오 코딩에서 보충 향상 정보 메시지의 스케일러블 네스팅

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271511A (ja) * 1997-01-22 1998-10-09 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847877A (en) * 1986-11-28 1989-07-11 International Business Machines Corporation Method and apparatus for detecting a predetermined bit pattern within a serial bit stream
JP2674059B2 (ja) * 1988-02-09 1997-11-05 キヤノン株式会社 カラー画像データ伝送方法
CA2335403C (en) * 1990-06-05 2002-03-19 Koninklijke Philips Electronics N.V. Optical readable disc storing full-motion video scene
GB9012538D0 (en) * 1990-06-05 1990-07-25 Philips Nv Coding of video signals
JPH066335A (ja) * 1992-06-17 1994-01-14 Fujitsu Ltd 高能率音声伝送の擬似同期防止方法
US5842033A (en) * 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
PT732028E (pt) * 1993-11-30 2002-07-31 Gen Electric Indicador de palavra de dados num sistema para montagem de pacotes de dados de transporte
US5784110A (en) * 1993-11-30 1998-07-21 General Electric Company Data processor for assembling transport data packets
JPH0856356A (ja) * 1994-08-10 1996-02-27 Fujitsu Ltd 符号化装置および復号化装置
JP3474005B2 (ja) * 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
US5650825A (en) * 1995-03-31 1997-07-22 Matsushita Electric Corporation Of America Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream
US5757869A (en) * 1995-07-28 1998-05-26 Adtran, Inc. Apparatus and method for detecting frame synchronization pattern/word in bit-stuffed digital data frame
JP3771954B2 (ja) * 1995-08-04 2006-05-10 ソニー株式会社 画像表示制御装置および方法
JP3597647B2 (ja) 1995-09-29 2004-12-08 株式会社東芝 符号化方法及び装置
US5933535A (en) * 1995-10-05 1999-08-03 Microsoft Corporation Object-based video compression process employing arbitrarily-shaped features
JPH09182067A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 画像符号化/復号化装置
EP1755261A3 (en) 1996-03-18 2008-04-02 Kabushiki Kaisha Toshiba Coding and decoding system
US5870444A (en) * 1996-04-23 1999-02-09 Scientific-Atlanta, Inc. Method and apparatus for performing very fast message synchronization
US5661665A (en) * 1996-06-26 1997-08-26 Microsoft Corporation Multi-media synchronization
EP0864228B1 (en) * 1996-07-05 2001-04-04 Matsushita Electric Industrial Co., Ltd. Method for display time stamping and synchronization of multiple video object planes
JPH1066036A (ja) * 1996-08-15 1998-03-06 Oki Electric Ind Co Ltd Tv方式変換装置
JP2002009626A (ja) * 1996-09-06 2002-01-11 Toshiba Corp 可変長符号化/復号化装置に用いられるプログラムを記録した記録媒体
US5898897A (en) * 1996-10-18 1999-04-27 Samsung Electronics Company, Ltd. Bit stream signal feature detection in a signal processing system
US6738393B2 (en) * 1997-02-13 2004-05-18 Ntt Mobile Communications Frame synchronization circuit
US5955977A (en) * 1997-03-31 1999-09-21 Sharp Laboratories Of America, Inc. System for avoiding start code emulation and long carry-over propagation
JP4150083B2 (ja) * 1997-09-25 2008-09-17 ソニー株式会社 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法
JPH11110915A (ja) * 1997-09-30 1999-04-23 Sony Corp 信号記録再生装置及び方法
JPH11136225A (ja) * 1997-10-30 1999-05-21 Matsushita Electric Ind Co Ltd ビットストリームにおけるスタートコードを検出する方法および装置
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
JP3724203B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
GB9807208D0 (en) * 1998-04-03 1998-06-03 Nds Ltd Method and apparatus for detecting a sequence in a bitstream
AU3573099A (en) 1998-04-24 1999-11-16 Rockwell Science Center, Llc N-bit video coder and method of extending an 8-bit mpeg video coder
JP2000032393A (ja) * 1998-07-09 2000-01-28 Sony Corp 画像情報処理装置および方法、並びに提供媒体
JP2000032394A (ja) 1998-07-09 2000-01-28 Sony Corp 画像情報処理装置および方法、並びに提供媒体
JP3927713B2 (ja) * 1998-12-08 2007-06-13 キヤノン株式会社 放送受信装置およびその方法
JP4306850B2 (ja) * 1998-12-08 2009-08-05 キヤノン株式会社 放送受信装置およびその方法
EP1018840A3 (en) 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
JP4401463B2 (ja) * 1999-01-28 2010-01-20 キヤノン株式会社 放送受信装置及びその方法
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP4139983B2 (ja) * 1999-02-09 2008-08-27 ソニー株式会社 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、ストリーム出力装置、および、ストリーム出力方法
JP2000236522A (ja) * 1999-02-12 2000-08-29 Sony Corp 画像情報処理装置および方法、並びに提供媒体
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP4292654B2 (ja) 1999-03-19 2009-07-08 ソニー株式会社 記録装置および方法、再生装置および方法、並びに記録媒体
GB2363279B (en) * 1999-04-01 2003-10-22 Ravisent Technologies Inc Method for preventing dual-step half-pixel motion compensation accumulation errors in prediction-rich MPEG-2 sequences
GB2353653B (en) 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
JP2001078146A (ja) * 1999-09-03 2001-03-23 Matsushita Electric Ind Co Ltd 映像復号化方法,及びその装置
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
JP2001155437A (ja) * 1999-11-26 2001-06-08 Sony Corp 記録装置および方法
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
JP2001169243A (ja) * 1999-12-03 2001-06-22 Sony Corp 記録装置および方法、ならびに、再生装置および方法
JP3874153B2 (ja) 1999-12-06 2007-01-31 ソニー株式会社 再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
JP2001285861A (ja) * 2000-03-29 2001-10-12 Mitsubishi Electric Corp 画像信号符号化装置
US20020114388A1 (en) * 2000-04-14 2002-08-22 Mamoru Ueda Decoder and decoding method, recorded medium, and program
JP3540248B2 (ja) 2000-06-01 2004-07-07 松下電器産業株式会社 可変長符号復号装置
EP1310097B1 (en) * 2000-08-15 2019-07-31 Microsoft Technology Licensing, LLC Methods, systems and data structures for timecoding media samples
US6915078B1 (en) * 2000-08-15 2005-07-05 Alcatel Optical frame format
US7177520B2 (en) * 2000-09-15 2007-02-13 Ibm Corporation System and method of timecode repair and synchronization in MPEG streams
JP3737352B2 (ja) 2000-09-25 2006-01-18 株式会社東芝 スタートコード検索回路
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
DE60310368T2 (de) * 2002-01-22 2007-03-29 Microsoft Corp., Redmond Verfahren zur verhinderung von startkode-emulation und stopfdaten
TWI310137B (en) * 2002-04-19 2009-05-21 Microsoft Corp Methods and systems for preventing start code emulation at locations that include non-byte aligned and/or bit-shifted positions
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271511A (ja) * 1997-01-22 1998-10-09 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9998757B2 (en) 2011-09-23 2018-06-12 Velos Media, Llc Reference picture signaling and decoded picture buffer management
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US10542285B2 (en) 2011-09-23 2020-01-21 Velos Media, Llc Decoded picture buffer management
US10856007B2 (en) 2011-09-23 2020-12-01 Velos Media, Llc Decoded picture buffer management
US11490119B2 (en) 2011-09-23 2022-11-01 Qualcomm Incorporated Decoded picture buffer management
JP2014535219A (ja) * 2011-10-31 2014-12-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding

Also Published As

Publication number Publication date
PT1753244E (pt) 2010-05-06
ES2341357T3 (es) 2010-06-18
JP5394528B2 (ja) 2014-01-22
EP1468567A2 (en) 2004-10-20
US7505485B2 (en) 2009-03-17
HK1069700A1 (en) 2005-05-27
WO2003063500A1 (en) 2003-07-31
WO2003063499A2 (en) 2003-07-31
US7839895B2 (en) 2010-11-23
DE60310368T2 (de) 2007-03-29
JP2006502605A (ja) 2006-01-19
JP4503294B2 (ja) 2010-07-14
DE60311231D1 (de) 2007-03-08
EP1468566A1 (en) 2004-10-20
JP2011205665A (ja) 2011-10-13
ATE352171T1 (de) 2007-02-15
CN1618236A (zh) 2005-05-18
DE60311231T2 (de) 2007-11-15
EP1753244B1 (en) 2010-04-14
EP1753244A1 (en) 2007-02-14
CN1618235A (zh) 2005-05-18
JP4918119B2 (ja) 2012-04-18
ATE348484T1 (de) 2007-01-15
EP1468566B1 (en) 2007-01-17
JP2012182797A (ja) 2012-09-20
DE60332175D1 (de) 2010-05-27
EP1468567B1 (en) 2006-12-13
US20030146855A1 (en) 2003-08-07
HK1069701A1 (en) 2005-05-27
WO2003063499A3 (en) 2003-10-16
US20090168805A1 (en) 2009-07-02
HK1103199A1 (en) 2007-12-14
DE60310368D1 (de) 2007-01-25
ATE464748T1 (de) 2010-04-15
JP2009246995A (ja) 2009-10-22
JP5175371B2 (ja) 2013-04-03
JP4703114B2 (ja) 2011-06-15
DK1753244T3 (da) 2010-07-26

Similar Documents

Publication Publication Date Title
JP4503294B2 (ja) ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム
US7149247B2 (en) Methods and systems for encoding and decoding video data to enable random access and splicing
US10659802B2 (en) Video encoding and decoding
US8804845B2 (en) Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) Simultaneous processing of media and redundancy streams for mitigating impairments
US7400684B2 (en) Video coding
US6081551A (en) Image coding and decoding apparatus and methods thereof
US8107539B2 (en) Method for error concealment in video sequences
KR100878057B1 (ko) 비디오 부호화
US20180139469A1 (en) An Apparatus, A Method and A Computer Program for Video Coding and Decoding
US20200267388A1 (en) Quantization parameter derivation for cross-channel residual encoding and decoding
EP3158752B1 (en) Dependent random access point pictures
US7839930B2 (en) Signaling valid entry points in a video stream
US20170302949A1 (en) An apparatus, a method and a computer program for image sequence coding and decoding
KR20110033240A (ko) 스케일러블 비디오 코딩(svc)디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법
US20160219273A1 (en) Robust encoding and decoding of pictures in video
US20070154185A1 (en) Method and system for transcoding video information to enable digital video recording (DVR) trick modes
KR20040077765A (ko) 랜덤 액세스 및 스플라이싱을 가능하게 하기 위해 비디오데이터를 인코딩 및 디코딩하는 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100421

R150 Certificate of patent or registration of utility model

Ref document number: 4503294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term