JP4472347B2 - 可変の帯域を有するネットワーク上でのマルチメディアデータのストリーミング - Google Patents

可変の帯域を有するネットワーク上でのマルチメディアデータのストリーミング Download PDF

Info

Publication number
JP4472347B2
JP4472347B2 JP2003565141A JP2003565141A JP4472347B2 JP 4472347 B2 JP4472347 B2 JP 4472347B2 JP 2003565141 A JP2003565141 A JP 2003565141A JP 2003565141 A JP2003565141 A JP 2003565141A JP 4472347 B2 JP4472347 B2 JP 4472347B2
Authority
JP
Japan
Prior art keywords
parameter
group
stream
encoded
vop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003565141A
Other languages
English (en)
Other versions
JP2005516547A (ja
Inventor
ジャントリック,フィリップ
ラマンザン,イヴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NXP BV filed Critical NXP BV
Publication of JP2005516547A publication Critical patent/JP2005516547A/ja
Application granted granted Critical
Publication of JP4472347B2 publication Critical patent/JP4472347B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336Control signals issued by server directed to the network components or client directed to client directed to decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64761Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769Control signals issued by the network directed to the server or the client directed to the server for rate control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、マルチメディア伝送に関するものである。特に、本発明は、可変の帯域を有するネットワーク上でマルチメディアデータをストリーミングする方法に関するものであり、前記方法は、マルチメディア供給源から生じるデータを符号化するステップと、符号化されたマルチメディアデータを含むストリーム要素で構成された符号化ストリームのセットを供給するステップとを有し、前記符号化ストリームは、クライアントのデコーダが特定のデコードパラメータ値に関して前記ストリーム要素をデコードすることを可能にするために、クライアントアプリケーションのデコーダにサーバを介して伝送される特定のデコードパラメータに関連する多様な所定のビットレートを有する。
本発明はまた、エンコーダとサーバに関するものであり、前記エンコーダとサーバを有する送信機に関するものである。
本発明はまた、前述の方法を実行するためのコンピュータプログラム製品に関するものであり、そのコンピュータプログラムを運ぶための信号に関するものである。
本発明は、有効な瞬間帯域が時間と共に変化することがあるネットワーク上のマルチメディアストリーミングのシステムに適用される。特に、本発明は、MPEG-4オーディオビジュアル規格(Moving Picture Expert Group4)を使用した移動電話システム上での映像伝送に適用される。
GPRS(汎用パケット無線システム)又はUMTS(ユニバーサル移動電話システム)のようなモバイルネットワークと、インターネットは、一般的に補償サービス品質を提供しない。例えば輻輳、伝送エラー又はリソース共有のため、有効な瞬間帯域は時間と共に変化する。そのようなネットワーク上でのマルチメディアストリーミングの枠組みでは、一方でデータ損失を最小化し、他方でクライアントにより受信されるコンテンツの品質を最大化するために、サーバはその変化に対する適応機構を提供しなければならない。この課題の従来の方法は、“ストリーム切り替え(Stream Switching)”として知られる。メディアエンコーダにより同じコンテンツがいくつかのビットレートでいくつかのストリームに符号化される。現在利用可能な帯域に関して、適切なストリーム、すなわち利用可能な帯域に関して適切なビットレートを有するものが、メディアサーバを介してクライアントに伝送されるために選択され、そのメディアサーバが、送信される前記適切なストリームを選択するためにストリーム切り替えを動作する。
マルチメディアストリーミングの枠組みで、エンドユーザにより良いサービス品質をもたらす符号化方法を提供することが本発明の目的である。
本発明は以下の側面を考慮に入れる。メディアエンコーダは、メディアサーバを介してクライアントアプリケーションに提供される、所定のビットレートを有するストリームを符号化する。エンコーダは、コンテンツとストリームの目標ビットレートに関して選択された符号化情報を使用する。前記情報は、クライアントアプリケーションのデコーダによって伝送システムの相手方で受信されるコンテンツの品質を最適化するために選択される。前記情報は、そのコンテンツとビットレートに関して符号化ストリームを正しくデコードすることを可能にするために、デコーダが正しく構成されるように、クライアントアプリケーションのデコーダに通信されなければならない。従って、各ストリームはその独自のデコーダ構成を有する。従って、例えば供給されるストリームのビットレートをネットワークの利用可能な帯域に適応させるために、サーバが1つのストリームから他のものに切り替えると、新しく供給されるストリームに対応する新しいデコーダ構成がクライアントのデコーダに送信されなければならない。その後、デコーダは新しいデコーダ構成で再初期化される。従って、ストリーム切り替えはクライアントにシームレスではなく、エンドユーザの視点からサービス品質に影響を及ぼすことがある。
前記の欠点を改善するために、本発明は、冒頭の段落に記載したような方法を提案し、前記符号化するステップは、デコーダがストリームのグループ内の全てのストリームから全てのストリーム要素をデコードするための同じデコーダパラメータ値を使用し得るように、符号化ストリームのセット内の少なくともストリームのグループに適した少なくとも一部のデコードパラメータに共通の値を決定する予備的なステップと、共通のデコードパラメータ値が割り当てられる前記ストリームのグループを作るステップとを有する。
本発明によると、グループを構成し、同じマルチメディアコンテンツに対応するいくつかのストリームは、前記グループ内の全てのストリームが同じデコーダ構成に対応するように、いくつかのビットレートで符号化される。このことは、デコーダがそのデコードパラメータを再初期化することなく、同じグループ内で1つのストリームから他のものに切り替わることを可能にする。
以下の注釈は引用符号に関する。同様のものは、全ての図で同様の参照文字により示される。
図1は、本発明によるマルチメディアストリーミングシステムの基本的な特徴を示したものである。前記システムは、マルチメディア供給源1と、送信機2と、移動電話ネットワーク又はインターネットのようなネットワーク3と、受信機4とを有する。送信機は、メディアエンコーダ12とメディアサーバ13とを有する。メディアエンコーダ12は、マルチメディア供給源1からマルチメディアデータを受信し、前記マルチメディアデータを含む連続的なストリーム要素で構成された符号化ストリームのセット(S1とS2とS3で示される)を作る。所定のマルチメディア供給源について、{S1、S2、S3}のセット内の全ての作られた符号化ストリームは、同じマルチメディアコンテンツを有するが、それぞれR1とR2とR3で示される異なる所定のビットレートを有する。ビットレートは、システムが一式の多様なサービス品質を受信機のクライアントアプリケーションに提供することを可能にするように予め決められ、一方で伝送されるコンテンツ(特定の利用可能な帯域を必要とする各コンテンツ(音声、固定画像、映像等))の性質に関して、他方でクライアントアプリケーションのユーザ(エンドユーザ)により必要なサービス品質に関して選択される。多様な利用可能なビットレートはまた、システムが多様な利用可能な帯域に対応することを可能にするために有用であり、それはしばしば伝送されるストリームのビットレートの減少を引き起こす。事実上、ネットワークの有効の利用可能な帯域は、いくつかのパラメータに関して時間と共に変化することがある。前記パラメータは、現在のトラヒック状態と無線送信状態とを含み、それは現在利用可能な帯域に相当に影響を与えることがある。この現在利用可能な帯域と必要なサービス品質に関して、メディアサーバ13を介してストリーム切り替え手段14により、適切なストリームが受信機4に供給される。
図1は、ファイルを使用するシステムを示している。符号化される媒体はファイルに含まれており、符号化ビットストリームはファイルに保存される。それにも関わらず、その原理はまた、リアルタイムのコンテキストにも有効である。メディア供給源1は生放送の供給源(例えばカメラ)であってもよく、サーバ13はエンコーダ12の出力のうちの1つを直接放送することができる。
図2は、2つの異なる符号化ストリーム(S1とS2で示される)から図1のエンコーダ12により作られたハイブリッド符号化ストリーム(HSで示される)を示したものである。本発明によると、ハイブリッドストリームHSは、ストリーム切り替え手段14を使用して作られる。それぞれの符号化ストリームS1とS2は、特定の符号化パラメータを使用することにより符号化され、その符号化パラメータは、ビットレートを含むいくつかの要素に関して選択され、特定のデコードパラメータ値に対応する。従って、選択された符号化パラメータ値から生じたデコードパラメータ値は、受信機が適切に受信ストリームのコンテンツをデコードすることを可能にするために、受信機に伝送されなければならない。符号化ストリームは、アクセスユニット(AU)と呼ばれるストリーム要素で構成され、伝送されるストリーム内のアクセスユニットの位置を示すタイムスタンプが関連付けられる。本発明によると、共通のデコードパラメータが、符号化ストリームのセットの中から選択されたストリームのグループ内の全ての符号化ストリームに割り当てられ、受信機のデコーダがそのグループの全てのストリームについて同じ方法で初期化されることを可能にする。従って、サーバがストリームの同じグループ内でストリームS1から他のストリームS2に切り替える毎に、デコーダが再構成される必要がない。従って、切り替え機構は簡略化されており、デコーダのパラメータのいくつかの再構成を回避する。結果の新しいハイブリッドストリームHSは、ストリームS1とS2の双方からのストリーム要素又はアクセスユニットで構成される。従って、ビットレートはS1のビットレートからS2のビットレートに変化する。全てのストリーム要素のデコードパラメータが同じであるため、ストリーム切り替えはデコーダ構成に影響を与えない。
メディア供給源1の特徴(例えば映像の場合には大きさとフレームレート)とエンドユーザの設定(エンドユーザに供給されるストリームの必要ビットレート)から、デコーダ12は、異なる所定のビットレートを有し、ストリームのグループを構成するいくつかのストリームに適切な共通のデコーダ構成(デコードパラメータ)を決定する。次に、エンコーダは、共通の以前に定められたデコーダ構成を使用して、目標ビットレートで各ストリームを符号化する。
図3は、本発明による符号化方法におけるストリームの切り替えアルゴリズムを示したものであり、図2のハイブリッドストリームHSが生成されることを可能にする。前記アルゴリズムは以下のステップを有する。
−K0:クライアントの要求の受信(RX)
−K1:現在伝送されるストリームでのストリーム切り替え手段の初期化(S=Sc)と、ゼロへのインデックスtの位置(t=0)
−K2:現在のストリームに関するデコーダ構成の伝送(dec_parSc)
−K3:現在のストリームの次のアクセスユニットの伝送(next_AU(Sc,t))
−K4:変数tの増加(t++)
−K5:現在の帯域状態に関する他のシステムに切り替える必要があるか否かの検査(?)、応答がyes(Y)である場合にはK6に進み、応答がno(N)である場合にはK3に戻る
−K6:新しい帯域状態に適合する新しいストリームの決定(Sn?)
−K7:新しいストリームへの現在のストリームの更新(S=Sn)と、K3に戻る
図4は、MPEG-4映像伝送システムに適した本発明の特定の実施例の符号化方法の例を示したものである。この実施例は、データが勧告ISO/IEC14496-2:2001に従ってMPEG-4フォーマットで符号化された映像コンテンツの伝送に関するものである。
MPEG-4映像ストリームは、ビデオ画像を表すビデオ・オブジェクト・プレーン(Video Object Plane)(VOPで示される)を含むアクセスユニットの連続である。次の3種類のVOPが存在する。I又はI-VOPで示されるフレーム内と、P又はP-VOPで示される予測と、B又はB-VOPで示される双方向である。I-VOPは内蔵式のフレームである。これは、I-VOPの全ての符号化要素が現在のI-VOPフレームに含まれることを意味する。P-VOPは、以前のフレームからの情報を使用して符号化される。P-VOPのデコードは、表示順におけるストリームの以前のVOPからの情報を必要とする。B-VOPはP-VOPと類似するが、後方向と前方向の双方である。B-VOPは、表示順における以前と以降のフレーム又はプレーンからの情報を使用して符号化され、デコードされる。それぞれの種類のVOPは、特定の符号化及びデコード属性を有し、その属性は特にビットレートに影響を及ぼす。従って、それは特定のデコードパラメータを有しており、そのデコードパラメータがビデオ・オブジェクト・レイヤ・ヘッダ(Video Object Layer header)(VOLで示される)と呼ばれる所定のアクセスユニット内の新しい映像ストリームの開始時に伝送される。
デコードパラメータには、“低遅延(low_delay)”パラメータと、“時間増分解像度(time_increment_resolution)”パラメータとが含まれる。“低遅延(low_delay)”パラメータは、ストリームでのB-VOPの使用を示す。“時間増分解像度(time_increment_resolution)”パラメータは、伝送されるアクセスユニットの全てのタイムスタンプを考慮に入れ、ストリームに適した時間スケールを示す。本発明によると、ユーザの設定を含む、各ストリームに割り当てられた所定の符号化パラメータを認識するエンコーダは、共通のデコードパラメータを有することができるストリームのグループを選択し、前記共通のパラメータの値を決定する。図4に示された例において、共通の値が割り当てられた前記共通のパラメータは、“低遅延(low_delay)”パラメータと、“時間増分解像度(time_increment_resolution)”パラメータである。エンコーダは、選択されたグループ内の全てのストリームに適した共通の時間スケールを決定し、B-VOPがこのグループで使用されるべきか否かを決定する。
例えば、エンコーダは、グループの最小の時間スケールを使用して全てのストリームを符号化し、共通のデコードパラメータを有するストリームの所定のグループ内で少なくとも1つのストリームがB-VOPを使用することがある場合に、B-VOPが使用されることを示すために、“低遅延(low_delay)”パラメータ値を最大値に設定する。本発明によると、ストリームのデコードパラメータは、全ての利用可能なストリームの中の少なくともいくつかのストリームについて有効であるように制御され、伝送の連鎖の相手方でデコーダが受信ストリームをデコードできる構成を頻繁に変更しなければならないことを回避する。
このことは、有利には、エンドユーザがビットレートの変化に相当に苦しむことなく、可変ビットレートで携帯電話にて映像を見ることを可能にする。ストリーム切り替え後にデコードパラメータが更新される必要がないため、ストリーム切り替えは、デコーダが映像表示中に中断することを引き起こさない。デコードパラメータは、特に1つのストリームから他のものに有効であり続けるように選択される。例えば無線伝送又はトラヒック状態の変換による利用可能な帯域の変化は、エンドユーザに大きな障害をもたらさない。実際に、例えば携帯電話で受信するビデオ画像の品質がストリーム切り替えにより影響を受けるため、エンドユーザは場合によってはストリーム切り替えを認識するが、映像は中断しない。
図4は、本発明の簡単な実施例による符号化方法の例を示したものであり、同じ共通のデコードパラメータ値が全てのストリームに割り当てられる(グループは符号化ストリームの全てのセットに等しい)。前記方法は、以下のステップを有する。
−K0:符号化される全てのストリームのユーザの符号化パラメータを読み取る(READ)
−K1:最大のフレームレートのパラメータ値を、符号化される全てのフレームの最大ビットレートに対応する値に設定する(max_frame_rate=MAX(endocing_frame_rate))
−K2:最大フレームレートのパラメータ値がp/qに等しくなるように、整数値の最小値(pで示される)を計算し(qもまた整数値である)(max_frame_rate=p/q)、時間解像度の増分をpに設定する(time_increment_resolution=p)
−K3:少なくとも1つのストリームがB_VOPを使用するか否かを検査し(B-VOP?)、yes(Y)の場合にはステップK4に進み、no(N)の場合にはステップK5に進む
−K4:低遅延(low_delay)パラメータを0に設定する(low_delay=0)
−K5:低遅延(low_delay)パラメータを1に設定する(low_delay=1)
−K6:可変インデックスNを0に設定する
−K7:VOLヘッダの時間増分解像度(time_increment_resolution)と低遅延(low_delay)のフィールドの値をステップK2とK4とK5で設定された値にするストリームのインデックスNを符号化する(VOL)
−K8:Nを増加する(N++)
−K9:全てのストリームが符号化されたか否かを検査し(Stream?)、yes(Y)の場合にステップK10に進み、no(N)の場合にステップK7に戻る
−K10:アルゴリズムの終了
図5は、本発明の好ましい実施例による符号化ストリームの例である。所定のマルチメディアコンテンツについて、全ての別のストリームが、受信側で同じデコーダ構成のパラメータが使用され得るように符号化される。このように、1つのストリームから他のものへの変更は、クライアントの観点からシームレスにできる。この実施例は、特に映像フォーマットがMPEG-4映像である音声/映像ストリーミングに関するものである(音声フォーマットは如何なるストリーミング可能なフォーマットでもよい)。
ネットワーク状態が非常に悪くなると、利用可能な帯域は、もはや音声及び映像ストリームの双方を伝送するために十分大きくない。サービスを中断しないようにするため、容認できるフォールバック状態は、映像ストリームの伝送を中断し、音声ストリームのみを継続することにある。ストリーム切り替えは、デコードパラメータが更新されることを必ずしも引き起こさないため、サーバはストリームが変更したことを自動的に信号で通知しない。映像パケットの不在は、接続の損失又はネットワークの輻輳のようなエラー状態として、クライアントのデコーダにより解釈され得る。これは不適当な措置を講じることに導くことがある。更に、音声及び映像ストリームの双方を再度伝送可能になるほどネットワーク状態がよくなると、サーバは映像パケットが依然としてクライアントのデコーダにより期待されているという確認を必要とする。
この課題に対する解決策は、システムが容認できる映像ストリームを伝送するために利用可能な帯域が制限されると常に、期待される映像ストリームの代わりに、音声ストリームと共に所定の最小ビットレートの映像ストリーム(MBRVSで示される)を送信することである。MBRBSの解決策によると、いくつかの映像パケットは依然としてクライアントに送信されるが、最小の大きさでほとんど送信されない。従って、サーバは依然として通常の音声及び映像ストリームをストリーミングしているかのように動作するが、映像ストリームは帯域のかなりの部分をもはや必要としない。これは、符号化ストリームのセット内で最小ビットレートを有するストリームに特に当てはまる。サーバの視点からは、このビットストリーム(符号化音声データのみを実際に伝送することを意図する)と他のもの(本物の音声及び映像データの双方を含む)との違いは存在しない。
そのような最小ビットレートの映像ストリームMBRVSが、図5に示されている。それは、図4に関連して説明された通り、共通のデコードパラメータを伝送するための最初のアクセスユニットのVOLと、その後のアクセスユニットのVOPとを有する。2番目及びその後のアクセスユニットは、MPEG4勧告によるランダムアクセスポイント(RAPで示される)を有する。前記RAPは、絶対時間基準を伝送するためのビデオ・オブジェクト形式のグループのヘッダ(GOVで示される)と、それに続いてVOP-I形式のフレームとを有する。RAPは、絶対時間基準を伝送するため、1つのストリームから他のものへの切り替えを容易にする。ストリームの2番目のアクセスユニットは、例えばVOP-I形式のブラック画像又は空の固定画像を有する。この場合、ブラック画像が最も簡単な符号化映像フレームに対応する。この実施例によると、3番目及びその後のアクセスユニットのRAPのVOP-Iのフィールドは、例えば“符号化されていないVOP(VOP_not_coded)”という命令の形式で満たされ、その命令は、この場合はブラック固定画像である以前のフレームの内容をデコーダがコピーすることを引き起こす。“符号化されていないVOPVOP_not_coded)”という信号は、数ビットのみに必要となる。
実際にMPEG-4映像において、VOPはそのヘッダで“符号化されていない(not coded)”ものとして示され得る。このVOPについてストリームに符号化された更なる情報は存在せず、対応する画像がその過去の時間参照の正確な再コピーである。更新される唯一のものはVOPのタイムスタンプである。従って、MBRVSは、“符号化されていない(not coded)”VOPのみを使用して、以前に定められたデコーダ構成で作られる。このストリームへの迅速な切り替えを可能にするため、全てのVOPの符号化形式は、フレーム内モードのVOP-Iに設定され、GOVが各VOPに関連付けられる(すなわち全てのVOPがランダムアクセスポイントである)。唯一の例外は、ストリームの最初のVOPである。如何なるMPEG-4準拠のデコーダで正確なデコードを可能にするために、最初のVOPは、ブラックVOPとして符号化される。
前述の図面とその説明は、本発明を限定するのではなく、説明するものである。特許請求の範囲内にある多数の代替が存在することが明らかである。
本発明によるサーバとデコーダとを有するシステムと送信機を示したブロック図である。 本発明によるマルチメディアサーバ内のストリーム切り替えの機構を概略的に示したものである。 本発明による符号化方法を示した図である。 本発明の第1の実施例による符号化方法の例を示した図である。 本発明の好ましい実施例による符号化方法で作られた映像ストリームの例を概略的に示したものである。

Claims (5)

  1. 同じマルチメディアデータから、MPEG-4(Moving Picture Expert Group 4)規格に基づいて符号化される、可変な所定のビットレートを有する符号化ストリームのセットを生成する方法であって、
    前記符号化ストリームは、特定のデコードパラメータ値に関して前記セットのうちのそれぞれの符号化ストリームをデコードするために、クライアントアプリケーションのデコーダに伝送される特定のデコードパラメータ値に関連付けられ、
    前記方法は、
    共通のデコードパラメータを有することができるストリームのグループを選択するステップを有し、前記共通のデコードパラメータは“低遅延(low_delay)”パラメータ及び“時間増分解像度(time_increment_resolution)”パラメータであり、
    選択されたグループ内の少なくとも1つの符号化ストリームがB-VOP(双方向ビデオ・オブジェクト・プレーン(Video Object Plane))を使用する場合には、そのグループの“低遅延(low_delay)”パラメータに対し第1の値を、B-VOPを使用しない場合には、そのグループの“低遅延(low_delay)”パラメータに対し第2の値を割り当て
    選択されたグループ内で必要な最小の時間増分解像度に対応する値そのグループの“時間増分解像度(time_increment_resolution)”パラメータに割り当てるステップを有する
    ことを特徴とする方法。
  2. 請求項1に記載の方法であって
    符号化ストリームが、音声及び映像データを別々に符号化するために、映像符号化ストリームと音声符号化ストリームとを有する一対の符号化ストリームを有し、
    一対の符号化ストリーム内の少なくとも1つの映像ストリームが、アクセスユニットと呼ばれる連続的なストリーム要素で構成され、
    前記共通のデコードパラメータ値を伝送するための第1のアクセスユニットと
    レーム内形式の所定の固定画像を伝送するための第2のアクセスユニットと、
    絶対時間基準と、“符号化されていないVOP(VOP_not_coded)”という形式の情報とを伝送するためのランダムアクセスポイント情報を有する第3とその後のアクセスユニットとを有し、
    前記“符号化されていないVOP(VOP_not_coded)”は、前記クライアントアプリケーションのデコーダが以前のアクセスユニットをコピーすることを示す方法。
  3. 同じマルチメディアデータから、MPEG-4(Moving Picture Expert Group 4)規格に基づいて符号化される、可変な所定のビットレートを有する符号化ストリームのセットを供給するためのエンコーダであって、
    前記符号化ストリームは、特定のデコードパラメータ値に関して前記セットのうちのそれぞれの符号化ストリームをデコードするために、クライアントアプリケーションのデコーダに伝送される特定のデコードパラメータ値に関連付けられ、
    前記エンコーダは、
    共通のデコードパラメータを有することができるストリームのグループを選択し、前記共通のデコードパラメータは“低遅延(low_delay)”パラメータ及び“時間増分解像度(time_increment_resolution)”パラメータであり、
    選択されたグループ内の少なくとも1つの符号化ストリームがB-VOP(双方向ビデオ・オブジェクト・プレーン(Video Object Plane))を使用する場合には、そのグループの“低遅延(low_delay)”パラメータに対し第1の値を、B-VOPを使用しない場合には、そのグループの“低遅延(low_delay)”パラメータに対し第2の値を割り当て
    選択されたグループ内で必要な最小の時間増分解像度に対応する値そのグループの“時間増分解像度(time_increment_resolution)”パラメータに割り当てエンコーダ。
  4. マルチメディア供給源から生じる、MPEG-4(Moving Picture Expert Group 4)規格に基づく符号化データでメディアエンコーダによって作られた可変な所定のビットレートを有する符号化ストリームのセット内で選択された符号化ストリームをクライアントアプリケーションに供給するためのサーバであって、
    前記符号化ストリームは、特定のデコードパラメータ値に関してクライアントデコーダがストリーム要素をデコードすることを可能にするために、前記対応する選択された符号化ストリームに関して、前記サーバを介して前記クライアントアプリケーションのデコーダに伝送される特定のデコードパラメータ値に関連付けられ、
    前記メディアエンコーダが、共通のデコードパラメータを有することができるストリームのグループを選択する手段を有し、前記共通のデコードパラメータは“低遅延(low_delay)”パラメータ及び“時間増分解像度(time_increment_resolution)”パラメータであり、
    選択されたグループ内の少なくとも1つの符号化ストリームがB-VOP(双方向ビデオ・オブジェクト・プレーン(Video Object Plane))を使用する場合には、そのグループの“低遅延(low_delay)”パラメータに対し第1の値を、B-VOPを使用しない場合には、そのグループの“低遅延(low_delay)”パラメータに対し第2の値を割り当て
    選択されたグループ内で必要な最小の時間増分解像度に対応する値そのグループの“時間増分解像度(time_increment_resolution)”パラメータに割り当てサーバ。
  5. 可変の帯域を有するネットワーク上でマルチメディアデータをストリーミングするための送信機であって、
    マルチメディア供給源から生じるデータを、MPEG-4(Moving Picture Expert Group 4)規格に基づいて符号化し、符号化されたマルチメディアデータを含むストリーム要素で構成された符号化ストリームのセットを作るためのメディアエンコーダであって、前記符号化ストリームが特定のデコードパラメータ値に関してクライアントデコーダがストリーム要素をデコードすることを可能にするために、サーバを介してクライアントアプリケーションのデコーダに伝送される特定のデコードパラメータ値に関連する多様な所定のビットレートを有するメディアエンコーダと、
    前記メディアエンコーダにより作られた符号化ストリームのセット内で選択された符号化ストリームを前記クライアントアプリケーションに供給するためのメディアサーバと
    を有し、
    前記メディアエンコーダが、共通のデコードパラメータを有することができるストリームのグループを選択する手段を有し、前記共通のデコードパラメータは“低遅延(low_delay)”パラメータ及び“時間増分解像度(time_increment_resolution)”パラメータであり、
    選択されたグループ内の少なくとも1つの符号化ストリームがB-VOP(双方向ビデオ・オブジェクト・プレーン(Video Object Plane))を使用する場合には、そのグループの“低遅延(low_delay)”パラメータに対し第1の値を、B-VOPを使用しない場合には、そのグループの“低遅延(low_delay)”パラメータに対し第2の値を割り当て
    選択されたグループ内で必要な最小の時間増分解像度に対応する値そのグループの“時間増分解像度(time_increment_resolution)”パラメータに割り当て送信機。
JP2003565141A 2002-01-30 2003-01-27 可変の帯域を有するネットワーク上でのマルチメディアデータのストリーミング Expired - Lifetime JP4472347B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02290209 2002-01-30
PCT/IB2003/000259 WO2003065683A1 (en) 2002-01-30 2003-01-27 Streaming multimedia data over a network having a variable bandwidth

Publications (2)

Publication Number Publication Date
JP2005516547A JP2005516547A (ja) 2005-06-02
JP4472347B2 true JP4472347B2 (ja) 2010-06-02

Family

ID=27635894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003565141A Expired - Lifetime JP4472347B2 (ja) 2002-01-30 2003-01-27 可変の帯域を有するネットワーク上でのマルチメディアデータのストリーミング

Country Status (6)

Country Link
US (1) US7483489B2 (ja)
EP (1) EP1472847A1 (ja)
JP (1) JP4472347B2 (ja)
KR (1) KR100989222B1 (ja)
CN (1) CN1625880B (ja)
WO (1) WO2003065683A1 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
WO2004021668A1 (en) * 2002-08-28 2004-03-11 Koninklijke Philips Electronics N.V. Method of streaming multimedia data
JP4546246B2 (ja) * 2002-10-05 2010-09-15 デジタル ファウンテン, インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
WO2005025225A1 (ja) * 2003-09-04 2005-03-17 Nec Corporation 動画像データ変換方法および装置ならびにプログラム
EP2722995B1 (en) 2003-10-06 2023-04-19 QUALCOMM Incorporated Soft-Decision Decoding of Multi-Stage Chain Reaction Codes
KR101161193B1 (ko) 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
US7567565B2 (en) 2005-02-01 2009-07-28 Time Warner Cable Inc. Method and apparatus for network bandwidth conservation
WO2007011116A1 (en) * 2005-07-20 2007-01-25 Humax Co., Ltd. Encoder and decoder
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US7979885B2 (en) * 2005-08-11 2011-07-12 Harmonic Inc. Real time bit rate switching for internet protocol television
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
JP5550834B2 (ja) 2006-02-13 2014-07-16 デジタル ファウンテン, インコーポレイテッド 可変fecオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US8718100B2 (en) * 2006-02-27 2014-05-06 Time Warner Cable Enterprises Llc Methods and apparatus for selecting digital interface technology for programming and data delivery
US7916755B2 (en) 2006-02-27 2011-03-29 Time Warner Cable Inc. Methods and apparatus for selecting digital coding/decoding technology for programming and data delivery
US8458753B2 (en) * 2006-02-27 2013-06-04 Time Warner Cable Enterprises Llc Methods and apparatus for device capabilities discovery and utilization within a content-based network
US8170065B2 (en) 2006-02-27 2012-05-01 Time Warner Cable Inc. Methods and apparatus for selecting digital access technology for programming and data delivery
EP1998510B1 (en) 2006-03-17 2011-10-26 NEC Corporation Encoded stream sending device
US20070234385A1 (en) * 2006-03-31 2007-10-04 Rajendra Bopardikar Cross-layer video quality manager
AU2007243966B2 (en) * 2006-05-03 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for re-constructing media from a media representation
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
WO2008012739A2 (en) * 2006-07-28 2008-01-31 Nxp B.V. Media playback decoder tracing
US20080062322A1 (en) * 2006-08-28 2008-03-13 Ortiva Wireless Digital video content customization
US8606966B2 (en) * 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
NL1032594C2 (nl) * 2006-09-29 2008-04-01 Avinity Systems B V Werkwijze voor het streamen van parallelle gebruikerssessies, systeem en computerprogrammatuur.
JP5936805B2 (ja) * 2006-09-29 2016-06-22 アビニティ・システムズ・ベスローテン・フェンノートシャップAvinity Systems B.V. パラレルユーザセッションをストリーミングするための方法、システム、およびコンピュータソフトウェア
US7743161B2 (en) * 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
WO2008088741A2 (en) 2007-01-12 2008-07-24 Ictv, Inc. Interactive encoded content system including object models for viewing on a remote device
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US20080235746A1 (en) 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
US7941483B2 (en) * 2007-03-28 2011-05-10 Sap Ag Low latency display methods for thin client devices
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
RU2010114256A (ru) * 2007-09-12 2011-10-20 Диджитал Фаунтин, Инк. (Us) Формирование и передача исходной идентификационной информации для обеспечения надежного обмена данными
US9071859B2 (en) 2007-09-26 2015-06-30 Time Warner Cable Enterprises Llc Methods and apparatus for user-based targeted content delivery
US8561116B2 (en) 2007-09-26 2013-10-15 Charles A. Hasek Methods and apparatus for content caching in a video network
US8099757B2 (en) 2007-10-15 2012-01-17 Time Warner Cable Inc. Methods and apparatus for revenue-optimized delivery of content in a network
US8699678B2 (en) 2007-10-19 2014-04-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8145780B2 (en) * 2007-10-19 2012-03-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8706907B2 (en) 2007-10-19 2014-04-22 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8682336B2 (en) * 2007-10-19 2014-03-25 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8001261B2 (en) * 2007-10-19 2011-08-16 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8090867B2 (en) * 2007-10-19 2012-01-03 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8321581B2 (en) * 2007-10-19 2012-11-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8380874B2 (en) 2007-10-19 2013-02-19 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8391312B2 (en) 2007-10-19 2013-03-05 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8111713B2 (en) 2007-10-19 2012-02-07 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8813143B2 (en) 2008-02-26 2014-08-19 Time Warner Enterprises LLC Methods and apparatus for business-based network resource allocation
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
US8488661B2 (en) * 2008-06-13 2013-07-16 Verizon Patent And Licensing Inc. Systems and methods for data streaming
KR101065972B1 (ko) 2008-08-26 2011-09-19 에스케이 텔레콤주식회사 미디어 스트리밍을 위한 전송 대역폭 측정 시스템 및 그 방법
US20100121977A1 (en) * 2008-11-10 2010-05-13 Nokia Corporation Predictive Bit-Rate Modification of Content Delivery in a Wireless Network
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US8909806B2 (en) 2009-03-16 2014-12-09 Microsoft Corporation Delivering cacheable streaming media presentations
US9866609B2 (en) 2009-06-08 2018-01-09 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9237387B2 (en) * 2009-10-06 2016-01-12 Microsoft Technology Licensing, Llc Low latency cacheable media streaming
KR101750049B1 (ko) * 2009-11-13 2017-06-22 삼성전자주식회사 적응적인 스트리밍 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101777347B1 (ko) 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
US9521178B1 (en) * 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
US8925027B2 (en) * 2011-01-20 2014-12-30 Vidyo, Inc. Participant aware configuration for video encoder
WO2012099589A1 (en) * 2011-01-20 2012-07-26 Vidyo, Inc. Participant aware configuration for video encoder
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
EP2695388B1 (en) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US8250228B1 (en) 2011-09-27 2012-08-21 Google Inc. Pausing or terminating video portion while continuing to run audio portion of plug-in on browser
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9854280B2 (en) 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
US9131283B2 (en) 2012-12-14 2015-09-08 Time Warner Cable Enterprises Llc Apparatus and methods for multimedia coordination
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US10687115B2 (en) 2016-06-01 2020-06-16 Time Warner Cable Enterprises Llc Cloud-based digital content recorder apparatus and methods
US10911794B2 (en) 2016-11-09 2021-02-02 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US11166175B2 (en) 2018-11-30 2021-11-02 T-Mobile Usa, Inc. UAV modular redundant communications
CN113508399A (zh) * 2019-03-15 2021-10-15 杜比国际公司 用于更新神经网络的方法和装置
US11240540B2 (en) 2020-06-11 2022-02-01 Western Digital Technologies, Inc. Storage system and method for frame trimming to optimize network bandwidth

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
EP1021044A1 (en) * 1999-01-12 2000-07-19 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding or decoding audio or video frame data
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
CN1199464C (zh) * 2000-05-23 2005-04-27 皇家菲利浦电子有限公司 通信***和数据交换的方法

Also Published As

Publication number Publication date
KR100989222B1 (ko) 2010-10-20
JP2005516547A (ja) 2005-06-02
US20050135476A1 (en) 2005-06-23
WO2003065683A1 (en) 2003-08-07
EP1472847A1 (en) 2004-11-03
CN1625880B (zh) 2010-08-11
CN1625880A (zh) 2005-06-08
US7483489B2 (en) 2009-01-27
KR20040079975A (ko) 2004-09-16

Similar Documents

Publication Publication Date Title
JP4472347B2 (ja) 可変の帯域を有するネットワーク上でのマルチメディアデータのストリーミング
EP1594287B1 (en) Method, apparatus and medium for providing multimedia service considering terminal capability
CN101116308B (zh) 用于信号发送缓冲区参数的方法、通信***、终端、服务器和用于确定缓冲器状态的方法
WO2009128528A1 (ja) サーバ装置とコンテンツ配信方法とプログラム
US20070183494A1 (en) Buffering of decoded reference pictures
US20050123042A1 (en) Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal
JP2003023413A (ja) システムデコーダ装置及びパケットデータの修正方法
CN101809967A (zh) 在分层多播中的编码应用数据单元顺序恢复
EP1554812B1 (en) System and method for providing error recovery for streaming fgs encoded video over an ip network
KR20050038646A (ko) 멀티미디어 데이터를 스트리밍하는 방법
JP4934054B2 (ja) スケーラブルなデータを伝送するための方法および装置
MX2008010961A (es) Sistema dinamico de distribucion de imagenes y dispositivo de conversion.
JP2000224584A (ja) 画像符号化装置および動画像伝送システム
EP1230802B1 (en) Mpeg-4 video specific control packet for providing a customized set of coding tools
US6853650B1 (en) Communication network, method for transmitting a signal, network connecting unit and method for adjusting the bit rate of a scaled data flow
WO2014047938A1 (zh) 数字视频码流的解码方法拼接方法和装置
KR20080049701A (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
JP2003204575A (ja) マルチメディアデータ送信装置
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
KR20090132627A (ko) 콘텐츠 배신 시스템, 콘텐츠 배신 방법 및 그들에 이용하는 변환 장치
JP2005072973A (ja) マルチメディア情報中継装置
CN100474923C (zh) 用于实时流式传输服务的mpeg-4编码模式选择方法
KR101148072B1 (ko) 멀티미디어 지원 시스템 및 그 지원방법
WO2003041413A1 (en) Error control to video encoder
WO2007031924A2 (en) Video telephone system, video telephone terminal, and method for video telephoning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060124

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070313

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090303

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100303

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150