JP2007089137A - ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト - Google Patents
ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト Download PDFInfo
- Publication number
- JP2007089137A JP2007089137A JP2006216330A JP2006216330A JP2007089137A JP 2007089137 A JP2007089137 A JP 2007089137A JP 2006216330 A JP2006216330 A JP 2006216330A JP 2006216330 A JP2006216330 A JP 2006216330A JP 2007089137 A JP2007089137 A JP 2007089137A
- Authority
- JP
- Japan
- Prior art keywords
- frames
- video
- receiver
- frame rate
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003044 adaptive effect Effects 0.000 title description 15
- 230000005540 biological transmission Effects 0.000 claims description 21
- 230000006978 adaptation Effects 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 abstract 2
- 238000006243 chemical reaction Methods 0.000 description 57
- 238000000034 method Methods 0.000 description 30
- 239000000872 buffer Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】プレイアウト遅延時間を長くすることなく、プレイアウトロバストネスを高める。
【解決手段】ビデオを送信するためのシステムは、ビデオの一時的時間の間の第1の複数のフレームに基づき、前記ビデオの前記一時的時間の間、第2の複数のフレームを作成する送信機を含む。このフレームの作成は、前記第2の複数のフレームが、前記第1の複数のフレームよりも多い数のフレームを含むように実行される。前記送信機は、受信機が前記第2の複数のフレームをレンダリングするフレームレートよりも大きいフレームレートで、前記第2の複数のフレームを受信機に送信する。
【選択図】図4A
【解決手段】ビデオを送信するためのシステムは、ビデオの一時的時間の間の第1の複数のフレームに基づき、前記ビデオの前記一時的時間の間、第2の複数のフレームを作成する送信機を含む。このフレームの作成は、前記第2の複数のフレームが、前記第1の複数のフレームよりも多い数のフレームを含むように実行される。前記送信機は、受信機が前記第2の複数のフレームをレンダリングするフレームレートよりも大きいフレームレートで、前記第2の複数のフレームを受信機に送信する。
【選択図】図4A
Description
ソースデバイス、例えば、ホームサーバからネットワーク例えばローカルエリアネットワーク(LAN)を通して1以上の受信デバイス例えば家庭内のテレビセットへ、オーディオ/ビデオ(AV)ストリームの高品位でかつロバストな送信を行うことが望ましい。かかるネットワークとして、有線リンク(例えば、イーサネット)、無線リンク(例えば、IEEE802.11無線リンク)またはパワーラインリンク(例えば、ホームプラグ)に基づく相互接続を挙げることができる。アプリケーションは、記憶されたオーディオおよびビデオストリームの送信(ストリーミング)を必要とし、更にアプリケーションは、ライブのオーディオおよびビデオの送信を必要としたり、あるレベルの相互対話、例えばチャネル変更を必要とし得る。従って、エンド−エンドの最大の遅延時間は、通常、1秒または数秒に制限される。
無線ネットワーク(例えば、IEEE802.11に基づくネットワーク)およびその他のタイプのホームネットワークの利用可能なバンド幅は、制限され、時間に対して変化し、種々の理由に起因して予測できない。高品位のAVストリームは比較的広いバンド幅を連続的に必要とすること、およびAVデータの配信に対する厳密な遅延時間の制約に起因し、かかるネットワークを通して圧縮されたAVストリームを送信することは困難である。ネットワーク条件が劣化する結果、AVデータを搬送するパケットが失われたり、遅延することがある。配信デッドラインを経過後に受信機に到達した遅延パケットも失われたものと見なすことができる。失われたか、または受信機に遅れて到達したAVデータは、レンダリングされた出力における許容できない歪みを生じさせたり、レンダリングの中断を生じさせたりし得る。
パケットネットワーク(例えば、ストリームメディアシステム)を通してオーディオ/ビデオ送信するためのシステムは、受信機に設けられたバッファ、例えば、送信バッファおよび/またはデコーダバッファを利用できる。ネットワークから受信したAVデータを有するパケットは、AVデコーダに送られる前にこれらバッファに一時的に記憶される。これらバッファは、AVデータを有するパケットがネットワークを横断してトランスポートされる際に生じた遅延のばらつき(遅延ジッタ)を吸収する。このようなバッファリングは、デコーダバッファがアンダーフロー状態になる確率−すなわち、送信遅延時間の変動に起因してAVデータが受信機に遅れて到達する事象を低減する。かかる事象が生じる結果、受信機でのAVストリームの歪みまたはレンダリングの中断が生じる。従って、バッファリングはプレイアウトのロバストネスを高める。
圧縮されたオーディオ/ビデオデータをパケットネットワークを通してストリーミングするためのシステムで共通するプレイアウトの遅延を、受信機側のデータバッファリングに起因して低減することが望ましい。プレイアウトの遅延は、スタートアップ遅延またはスタートアップレイテンシーとも称される。例えば、新しいストリームをスタートするとき、またはストリームを切り換えるときに、ストリーミングメディアシステムのユーザは、この遅延時間を、AVメディアストリームを再生するためのリクエストに対する応答の遅延として経験する。例えば、インターネットを通したメディアストリーミングにおいて、オーディオ/ビデオコンテンツを再生することをリクエストしたユーザは、受信機がAVデータをバッファリングしている間、コンテンツがレンダリングされるまで何秒も(例えば、5秒または10秒)待機しなければならないことがある。しかしながら、テレビ受像機のユーザはチャネル変更のようなリクエストに即座に応答することに慣れているので、特に放送用テレビ受像機としても機能する高品位ディスプレイに、ホームネットワークを介して高品位のオーディオ/ビデオメディアをストリームするシステムには、これに対する解決案が求められている。
プレイアウトロバストネスを高めるための従来の方法は、例えば、デコーダでバッファされるデータ量を多くすることにより、プレイアウトの遅延時間を長くすることであった。しかしながら、これによりユーザのリクエストに対するシステム応答の遅延時間が長くなることによるユーザの満足度が低下するという代償が生じる。プレイアウト遅延時間を長くすることなく、プレイアウトロバストネスを高めるか、またはプレイアウトロバストネスを低下することなく、プレイアウト遅延時間を短縮するか、またはプレイアウト遅延時間を短縮すると共にプレイアウトロバストネスを高めることができることが望まれている。
受信機側でメディアを処理することにより、基本的な適応型メディアプレイアウト(AMP:Adaptive Media Playout)が実現されるが、この方法は、受信機側でのコストが大きくなるという欠点がある。更に、現存の受信機は、AMPを実施する能力を有していない。
AMPの1つの欠点は、オーディオ/ビデオデータを送信スタート前に予め符号化し、サーバに記憶するというシナリオにしか適用されないことである。従って、この方法はライブのオーディオ/ビデオ入力のシナリオには適用できない。
上記の課題を解決するために、本発明は、ビデオの一時的時間の間の第1の複数のフレームに基づき、前記ビデオの前記一時的時間の間、前記第1の複数のフレームよりも多い数のフレームを含む第2の複数のフレームを作成する送信機を含み、前記送信機は、受信機が前記第2の複数のフレームをレンダリングするフレームレートよりも大きいフレームレートで前記第2の複数のフレームを受信機に送信することを特徴としたものである。
このシステムは、適応型メディアプレイアウト(AMP)を達成するための1つの技術として理解できる。AMPでは、メディアプレイアウトレートは、受信機(クライアント)のバッファのフルネスに適合される。特に、ストリームセッションの開始時には、プレイアウトレートは一時的に通常のレート(例えば、ビデオフレームレート)よりも減少され、これによって受信機は、受信機のバッファがフル状態となり続ける間、メディアのレンダリングをスタートすることにより、スタート時のレイテンシーを低減できる。従来は、低下したレートでのビデオのプレイアウトは次の方法のうちの1つによって受信機(クライアント)側で実現されている。すなわち、(a)各ビデオフレームを表示する時間の長さを長くし、よって、ディスプレイのフレームレートを低下する方法、(b)ディスプレイのフレームレートを通常のフレームレートに維持しながら、表示すべきフィールド/フレームの数を多くする方法によって実現される。後者の方法(b)は、例えば、フィールドまたはフレームの繰り返しにより、またはフレーム補間により、可能な場合には動き補償フレーム補間により、ビデオフレームレートを変換する方法である。オーディオデータは別個に処理され、好ましくはピッチを変えることなく時間スケーリングすることができる。AMPは時間スケール変更方法とも称すことができる。
受信機(クライアント)でのAMPの実現には、オーディオおよびビデオの特別な処理が必要であるという欠点があり、これによって受信機のコストが高くなる。代表的な放送用テレビ受像機は、受像機側でAMPを実現する能力を有していないので、AMPが提供するプレイアウトのロバストネスを改善できるという利点を活用できない。
適応型プレイアウトを実現するためには、受信機(クライアント)側ではなく、送信機側(サーバ側)でフレームレート変換を実行することが好ましい。更に、フレームレートが増加した変換済みのビデオストリームを、高いフレームレートで送信する。すなわち、元の入力ビデオストリームにおけるビデオフレーム数と比較して、1秒当たりの数がより多いビデオフレームを送信する。一秒あたりの数が多いビデオフレームが送信されるので、チャネル条件を適切に検討しながら、ビデオ送信ビットレートを制御するのに、ビデオビットレート適応化法を利用できる。特に、バンド幅が制限されたチャネルの場合、一秒あたりに送信すべき数が多いビデオフレームを部分的に補償するために、ビデオビットレートを低減できる。最後に、受信機(クライアント)側では、通常のフレームレート、すなわち元の入力ビデオストリームのフレームレートでビデオを再生する。受信機(クライアント)のバッファは、バッファから検索されるよりも高いレートでチャネル(ネットワーク)からフレームを受信するので、時間と共にバッファのフルネスが増加する。時間スケール変更に関してこの結果生じる効果は、従来のAMPで得られる効果と同じである。受信機(クライアント)におけるタイムスケーリングを達成するために、送信機(サーバ)はAVストリーム内の適切なプレゼンテーションタイムスタンプを変更することができる。更に、送信機(サーバ)でもオーディオストリームのタイムスケール変更が実現される。変更されるオーディオストリームに対して必要な送信ビットレートの潜在的な増加量は小さいと予想されるので、(必要である場合、オーディオビットレート適応方法も適用できるが)更に検討を必要としない。この方法をサーバメディア処理による適応型メディアプレイアウト(AMP−SMP:Server Media Processing)と称すことができる。
AMPの従来のクライアント側の実現例と比較した、本発明の結果得られるAMP−SMPシステムの主な利点は、クライアント側からAMPを達成するための特殊な処理および関連する複雑さを取り除くことができることにある。AMP−SMPシステムでは、クライアントは基本的にはAMPを全く有しない従来のシステムにおけるクライアントと同一である。従って、受信機(クライアント)のコストを高めることなく、AMPの有利な効果を得ることができる。AMP−SMPは、受信機内の基本的なオーディオ/ビデオ処理を変更することなく、放送用受信機に基づくクライアントのためのロバストなプレイアウトの利点を提供できる。AMP−SMPシステムの別の利点は、予め符号化されたオーディオ/ビデオのストリーミングの他に、このシステムをライブのオーディオ/ビデオコーディングシナリオに適用できることにある。このことは基本的なAMPにもあてはまる。
更に、(バンド幅制限に起因し)ビットレートを適用をするAMPシステムと比較した、ビットレートを適用するAMP−SMPシステムの利点は、エンコーディング前、またはトランスコーダによりビットレート低減を実施する前に、送信機(サーバ)においてフレームレート変換を元の入力ビデオに実施できることである。エンコーダまたはトランスコーダが入力ビデオのビットレートを低下するシステムにおいて、クライアント側のフレームレート変換を実施することと比較し、サーバ側のフレーム変換を実施する結果、画質変換がより良好となるという結果を得ることができる。
変換されたAVストリーム(高いフレームレートを有する)のビットレートを、送信側(サーバ)で適応させることができ、利用できるチャネル(ネットワーク)のバンド幅だけでなく、他のシステムおよびチャネル条件に応じてビットレートを決定してもよい。チャネル条件の限界および変化を考慮することも可能である。リアルタイムのトランスコーディングの使用およびAVストリームのビットレートの適応化は、フレームレート変換と共にAVの質を最適にし、適応型メディアプレイアウトを達成できる。
更に、遅延時間が制限されたレート適応化方法を使って、AVストリームのビットレートを制御できる。この方法を利用する場合、エンド−エンドの遅延時間に対する制限を決定し、1秒あたりにトランスコードされ、送信されるビデオフレームの数が多くなり、プレイアウトの遅延時間が短縮しているケースでも、ビデオフレームが実質的に時間どおりに到達するようにAVストリームのビットレートを適応化する。遅延時間が制限されたレート適応化は、送信中のビデオフレームの予想される遅延時間を考慮してもよいし、またAVデータの送信をするために利用できる予想されるバンド幅を考慮してもよい。従って、チャネルバンド幅の限界および変動を考慮できる。遅延時間が制限されたレート適応化は、システムのステータス、例えば、システム内の種々のバッファ、例えばエンコーダバッファ、デコーダバッファおよびその他バッファのフルネスも考慮できる。適応化メディアプレイアウトを達成するために、フレームレート変換と組み合わせて遅延時間制限されたレート適応化を使用することは、本発明の別のユニークな特徴となっている。
別の態様は、送信機/サーバでのフレームレート変換プロセスおよびその後のエンコーディングまたはトランスコーディングプロセスを互いに知り、視覚的な画質を得るために共に最適化できるよう、システムを設計できることである。あるいは、フレームレート変換およびエンコーディング/トランスコーディングを1つのプロセスで共に実現することができる。すなわち、フレームレート変換をエンコーダまたはトランスコーダによって実現し、視覚的な画質を改善できる。
別の態様は、クライアントがAMPを実行できるとき、サーバおよび/またはクライアントの双方によってメディアプレイアウトを適応化できることである。サーバは、自らとクライアントとの間のAMP処理の分割を共に最適化し、クライアント側で送信するビデオフレームの数および補間するフレーム数を最適に選択できる。
始動時のレイテンシーを低減できるようにプレイアウトレートを低減することは重要な特徴であるが、AMPは、送信中のエンド−エンドの遅延時間、すなわち、レイテンシーを低減するためにプレイアウトレートを大きくすることも含む。このことは、ライブのオーディオ/ビデオ入力の場合に有効である。その理由は、ライブの事象を表示するときにレイテンシーを大きくすると顕著になるので、制限なくレイテンシーを大きくすることは望ましくないからである。AMP−SMPを用いた場合、送信機におけるフレームレートを低減することによって、受信機でのプレイアウトレートの増加を実現できる。この場合、フレームレートを変換することは、例えば、ビデオストリームからフレームまたはフィールドをドロップすることにより、フレームレートを低減することを意味する。このことは、このケースにおいて、送信機から受信機へ低減された数のフレームを送信するだけで良いことを意味する。更に、このことは、かかる時間インターバル中に、送信機により、高い品位でビットストリームを符号化できることを意味する。従って、基本的AMPと比較したAMP−SMPの別の利点は、ある時間インターバル中に、より高い画質のビデオを受信し、表示できることである。
図1は、従来のプレイアウトと比較してスタート時のより短いプレイアウト遅延時間、または同じプレイアウト遅延時間で、より高いプレイアウトのロバストネスのいずれかを得るために、どのようにAMPを使用できるかを示す。時間t0でスタートすると、図の左側の実線の曲線で示されるように、送信機/サーバで周期的にビデオフレームが符号化またはトランスコードされる。点線の曲線で示されるように、ランダムな時間インターバルの後で受信機/クライアントでパケット化されたビデオデータが受信される。プレイアウトの前において、受信機にビデオデータが一時的にバッファ化される。従来は、周期的に、すなわち通常フレームレートの固定レートでビデオフレームのプレイアウトが行われていた。図中、点線の曲線によって従来のプレイアウトスケジュールの例が示されており、1つの曲線はt1でスタートし、他方の曲線はt2でスタートしている。t1の場合、より短いプレイアウト遅延時間(スタート時のレイテンシー)が結果として生じる。しかしながら、この例では、いくつかのフレームのためのビデオデータが遅い時期に到達する。t2の場合、より長いプレイアウト遅延時間が結果として生じる。しかしながら、この例では、すべてのビデオフレームに対するすべてのデータは受信機に時間どおり到達する。実線の曲線は、AMPを使用したときの配信/プレイアウトデッドラインを示す。AMPを用いると、プレイアウトレートはスタート後、一時的に低減する。このような低減されたプレイアウトレートの初期の段階の後で、正常なレートでのプレイアウトがスタートする。t1でスタートする従来のプレイアウトスケジュールと比較すると、AMPを用いた場合のプレイアウトスケジュールの結果、スタート段階後にプレイアウトロバストネスがより良好となる。t2でスタートする従来のプレイアウトスケジュールと比較すると、AMPを用いたときのプレイアウトスケジュールの結果、スタート時のプレイアウト遅延時間は短縮される。図1では、スタート時の段階は短時間の間しか継続せず、図解のために、プレイアウトレートの低減量は比較的大きくなっていることに留意されたい。実際の実現例では、公称プレイアウトレートに対するプレイアウトレートの変化は、より小さくなり得るが、(プレイアウトレートを低減している間の)スタート段階の時間の長さはより長くなり得る。
図1に示されるように、スタート時にAMPを使用できるが、AMPはスタート段階後も使用できる。一般的なAMPは、プレイアウトレートを低減することを含むことができるが、プレイアウトレートを大きくすることもできる。現在のシステムでは、AMPは、各フレームを表示する時間の長さを長くするか、または表示すべきフレーム/フィールドの数を多くすることによって、受信機により実現される。プレイアウトレートの制御は、送信機側または受信機側のいずれかで行うことができる。
図2は、スタート時の適応型プレイアウトを実現するのに、サーバメディア処理による適応型メディアプレイアウト(AMP−SMP)をどのように使用できるかを示す。説明のために、この効果の大きさは再度強調されていることに留意されたい。AMP−SMPを用いることにより、スタート段階中に受信機(クライアント)の代わりに、送信機(サーバ)側でフレームレート変換を実現する。従って、1秒につき、符号化し送信すべきビデオフレームの数は、この段階中に増加される。送信機(サーバ)は、受信機にて所望するプレイアウトスケジュールに従うよう、現在のビデオフレームおよび新しく発生されたビデオフレームのプレゼンテーションタイムスタンプ(PTS:presentation time stamps)およびデコーディングタイムスタンプ(DTS:decoding time stamps)を変更することもできる。更に、1秒あたりの多くされた数のビデオフレームを送信しなければならないので、送信機(サーバ)は符号化されたビデオストリームのビットレート(すなわち、符号化されたフレームあたりのビット数)を変更することもできる。ビデオビットレートは、チャネル(ネットワーク)の条件(例えば、バンド幅)に適合できる。受信機は、符号化されたビデオフレームを受信し、通常のディスプレイレートで、すなわち、フレームレート変換前のビデオストリームの公称フレームレートで、ビデオフレームを再生する。フレームレート変換を受けたビデオのセグメントは、元のビデオストリームと比較して、増加した数のフレームを含む。従って、このセグメント内のフレームが通常のディスプレイレートで再生されるとき、このセグメントのプレイアウトの時間の長さは、元のビデオストリームの同じセグメントの時間の長さまで長くなる。この例から明らかなように、このシステムは、受信機で更なる処理をすることなく、受信機にて適応型プレイアウトを達成できる。実際に受信機は、適応型プレイアウトが達成されたということに気が付かないことがあり得る。適応型プレイアウトを達成するのに必要なすべてのビデオ処理は、サーバで実現できる。オーディオ成分のタイムスケーリングに必要な更なるオーディオ処理も、サーバで実現することができる。
図3Aには、AMP−SMPを有するオーディオ/ビデオ送信システムのブロック図が示されている。送信機の入力端にあるソースオーディオ/ビデオストリームは、記憶媒体で利用できる予め符号化されたストリーム、またはライブの入力ストリームのいずれかでよい。ソースストリームのオーディオおよびビデオ成分は、送信側でタイムスケーリングを受ける。このタイムスケーリングは、ビデオ成分の場合、フレームレート変換(FRC:frame rate conversion)によって実現される。更に、オーディオおよびビデオコンテンツの対応する部分が実質的に同期状態のままとなるように、送信側でオーディオ成分のタイムスケーリングが実行される。入力がデジタル式に圧縮されたビデオストリームである場合、フレームレート変換はビデオトランスコーダによって適宜実現できる。このビデオトランスコーダは、例えば、タイムスケーリングファクターおよび予想チャネル条件に適合することによって、出力ビットレートを適切に制御することもできる。入力が圧縮されていないビデオデータである場合、フレームレート変換とビデオ符号化とを別個のプロセスにすることができる。いずれのケース(圧縮または非圧縮)においても、フレームレート変換とビデオ符号化とは、ビデオの画質をできる限り最良にするように協働して最適化することができる。符号化されたオーディオ/ビデオデータは、その後チャネルまたはネットワークを横断するようなトランスポートのためのスケジュールが定められる。送信側におけるトランスポートモジュールは、更なる処理、例えばパケット化だけでなく、例えば無線送信機も示している。受信機では、符号化されたオーディオ/ビデオデータが一時的にバッファ化され、その後復号される。図3Bに示されるように、受信機はフレームレート変換(FRC)をすることも可能であるし、またはしなくてもよい。受信機におけるフレームレート変換能力は、デコーダと統合してもよいし、または別個でもよい。受信機におけるトランスポートモジュールは、別の処理、例えば逆パケット化だけでなく、例えば無線受信機も示す。
図3Aにおける送信制御モジュールは、送信側におけるオーディオ/ビデオタイムスケーリング、ビデオにいつフレームレート変換を適用するか、フレームレート量をどれだけ増減するか、どのターゲットビットレートを使用するかを制御し、更に、符号化されたオーディオ/ビデオデータを適切なレートで送信するようにスケジューラを制御する。
サーバにおけるフレームレート変換が送信すべき別のビデオフレームを発生するので、チャネル容量に応じてビットレート適応化が必要となり得ることに留意されたい。しかしながら、現在のビデオフレームから別のビデオフレームが発生されるので、サーバはかかるフレームを極めて効率的に符号化できる。
フレームレート変換なる用語は、一般的に使用されていることに留意されたい。フレームレート変換は、フレームまたはフィールド繰り返し、フレームまたはフィールド補間、動き適応補間、動き補償補間などによって実現できる。フレームレート変換は、例えばフレームまたはフィールドをドロップすることにより、フレームレートを低減することもできる。スローダウンする代わりに、プレイアウトのスピードアップを達成するのにフレームレート低減を使用できる。このような能力は、ライブのオーディオ/ビデオ入力のケースで有利である。
サーバにおけるオーディオ/ビデオデータの処理は、入力信号の性質に応じ、またビットレート適応化の必要性に応じて、いくつかの態様で実現できる。2つのメインとなるタイプの実現例を、ピクセル−ドメインフレームレート変換と、圧縮−ドメインフレームレート変換と称すことができる。
ピクセル−ドメインフレームレート変換:
フレームレート変換は通常、ピクセルドメイン内、すなわち圧縮されてないビデオフレーム上で実施される。図4には、ピクセル−ドメインフレームレート変換を行う2つのAMP−SMPアーキテクチャの例が示されている。図4Aでは、サーバへの入力は圧縮されていないビデオであるが、図4Bでは、サーバへの入力は圧縮されたビデオである。後者のケースでは、ピクセルドメイン内のフレームレート変換を実行できる前に、まず圧縮されたデータを復号しなければならない。組み合わされたデコーダと変換器とエンコーダとが、1つのビデオトランスコーダを形成している。
フレームレート変換は通常、ピクセルドメイン内、すなわち圧縮されてないビデオフレーム上で実施される。図4には、ピクセル−ドメインフレームレート変換を行う2つのAMP−SMPアーキテクチャの例が示されている。図4Aでは、サーバへの入力は圧縮されていないビデオであるが、図4Bでは、サーバへの入力は圧縮されたビデオである。後者のケースでは、ピクセルドメイン内のフレームレート変換を実行できる前に、まず圧縮されたデータを復号しなければならない。組み合わされたデコーダと変換器とエンコーダとが、1つのビデオトランスコーダを形成している。
第1のケースでは、フレームレート変換を復号化または符号化のいずれかと別個に実施できる。
第2のケースでは、エンコーダは、このエンコーダが受信したビデオフレームのうち、どれが元の入力フレームであるのか、どのフレームが補間されたフレームであるのかを知る。このケースでは、エンコーダはかかる補間されたフレームを極めて効率的に、すなわち、比較的少ないビットで符号化できる。例えば、現在のすべてのビデオ符号化規格、例えばMPEG−1、2、4、H.263、H.264などは、1つのフレームをIフレーム、PフレームまたはBフレームとして符号化するオプションを示している。このケースでは、補間されたフレームをBフレームとして符号化することが有利である。更に、有効な予測を可能にし、従って、かかるビデオフレームの高度に圧縮された符号化を可能にするこれら符号化規格には種々のオプションが存在する。
第3のケース(図4Bに示されたアーキテクチャに適用できる)では、フレームレート変換および/またはエンコーダモジュールには、デコーダによって入力ビデオストリームに関するデータを提供できる。例えば、符号化された入力ビデオストリーム内で利用できる動きベクトルは、フレームレート変換プロセスによって再使用できる。これによって、フレームレート変換器は計算上費用のかかるプロセスである動き予測を必要とすることなく、動き補償されたフレームレート変換を実施できる。このような動き補償された処理によって、画質がより良好となる。別の例は、入力ストリームの符号化の複雑性に関する情報であり、この情報はデコーダによって得ることができ、エンコーダに提供できる。これによって、改良されたビットレート制御が可能となる。
圧縮−ドメインフレームレート変換:
図5には、圧縮−ドメインフレームレート変換を行う2つのAMP−SMPアーキテクチャの例が示されている。図5Aでは、変換の結果得られるビットストリームのビットレートに適応することなくフレームレート変換が実施される。図5Bでは、フレームレート変換の後にトランスコーディングが続き、このトランスコーディングは、送信前にビットストリームのビットレートに適応する。図5Aのアーキテクチャは、チャネル/ネットワークバンド幅が常に変換されたビットストリームの送信に必要なビットレートよりも高いと予想されるときに適用できる。ここで、1秒当たりに送信すべきフレーム数は、AMP−SMPの場合、AMP−SMPを用いないケースと比較して多くなることに留意されたい。チャネル/ネットワークの条件が大幅に変化すると予想されるとき、または変換されたビットストリームのビットレートが所定の値の場合に、チャネルバンド幅が不十分であるときに図5Bのアーキテクチャはより適切となる。トランスコーダは、圧縮されたビデオのビットレートを、現在のおよび予想される条件に適応させることができる。
図5には、圧縮−ドメインフレームレート変換を行う2つのAMP−SMPアーキテクチャの例が示されている。図5Aでは、変換の結果得られるビットストリームのビットレートに適応することなくフレームレート変換が実施される。図5Bでは、フレームレート変換の後にトランスコーディングが続き、このトランスコーディングは、送信前にビットストリームのビットレートに適応する。図5Aのアーキテクチャは、チャネル/ネットワークバンド幅が常に変換されたビットストリームの送信に必要なビットレートよりも高いと予想されるときに適用できる。ここで、1秒当たりに送信すべきフレーム数は、AMP−SMPの場合、AMP−SMPを用いないケースと比較して多くなることに留意されたい。チャネル/ネットワークの条件が大幅に変化すると予想されるとき、または変換されたビットストリームのビットレートが所定の値の場合に、チャネルバンド幅が不十分であるときに図5Bのアーキテクチャはより適切となる。トランスコーダは、圧縮されたビデオのビットレートを、現在のおよび予想される条件に適応させることができる。
これまで、圧縮されたドメインではフレームレート変換は実行されていない。しかしながら、ビデオビットストリームを直接操作することによって、圧縮されたドメイン内で簡単なフレームまたはフィールド繰り返しを行うことができる。特に、GOP内のBフレームとして符号化されたフレームを繰り返すことは、少ないエクストラビットしか必要としないので有利となり得る。
サーバ側およびクライアント側のメディア処理能力を有するAMP:
例えば、フレームレート変換または他の手段により、クライアントがAMPを実現する能力を有するケースでは、サーバはフレームレート変換を起動したり、またはクライアントが自らAMPを実現させるように、適応的に決定できる。すなわち、サーバは種々の制限に基づき、次のことを選択できる。
a.クライアントによる更なる処理を必要とすることなく、サーバにおいてフレームレート変換によりAMPを実現すること;
b.AMPを実施する固有のサーバにおける処理を実行せず、クライアントに必要な処理を実行させること;
c.AMPのために送信すべきフレームの最適な数、およびクライアントにおいて補間すべきフレームの数を適応的に選択すること。
例えば、フレームレート変換または他の手段により、クライアントがAMPを実現する能力を有するケースでは、サーバはフレームレート変換を起動したり、またはクライアントが自らAMPを実現させるように、適応的に決定できる。すなわち、サーバは種々の制限に基づき、次のことを選択できる。
a.クライアントによる更なる処理を必要とすることなく、サーバにおいてフレームレート変換によりAMPを実現すること;
b.AMPを実施する固有のサーバにおける処理を実行せず、クライアントに必要な処理を実行させること;
c.AMPのために送信すべきフレームの最適な数、およびクライアントにおいて補間すべきフレームの数を適応的に選択すること。
サーバは、次のことを含む種々の要因に応じて、最適な方針を選択できる。
a.チャネル/ネットワーク条件。例えば、チャネルバンド幅が広いときに、サーバは自らフレームレート変換を実行し、クライアントと比較して、より高い品位のフレームを処理できるということを活用することを選択できる。クライアントは、圧縮を受けたフレームを処理しなければならないこと、およびあるケースでは、オーディオ/ビデオデータは送信中に失われる可能性があることに留意すべきである。他方、チャネルのバンド幅が狭いとき、サーバは送信するのに必要なフレームの数を最小に選択することができ、クライアントにAMPを行うための処理を実施させる。
b.入力オーディオ/ビデオストリームの符号化の複雑さ。例えば、入力ストリームの符号化が複雑であるとき、サーバにおいてフレームレート変換によって作成される補間されたフレームは、フレームごとのビット数に関して符号化し、送信するのに比較的費用がかかることが予想される。従って、この場合、クライアントがフレームレート変換を実行できるようにすることが好ましい。他方、入力ストリームの符号化が複雑でないとき、補間されたフレームをサーバによって効率的に符号化し、送信することができる。この場合、サーバがフレームレート変換を実行することが好ましい。
c.サーバまたはエンコーダリソース、特に、処理パワーおよびメモリ。エンコーダリソースは、時間経過と共にダイナミックに変化し得る。エンコーダリソースが低く作動しているとき、サーバはクライアントにフレームレート変換を実行させてもよい。エンコーダリソースが高いままのとき、サーバは自らフレームレート変換を実行できる。
d.ユーザの優先順位。サーバ側でフレームレート変換を実行する結果、よりスムーズな動きレンディションのビデオシーケンスが得られるが、フレーム毎の圧縮歪みは多少大きくなる。このことを好むユーザもあるが、動きレンディションが劣化することを代償に、フレーム毎の歪みを少なくすることを好むユーザもある。
a.チャネル/ネットワーク条件。例えば、チャネルバンド幅が広いときに、サーバは自らフレームレート変換を実行し、クライアントと比較して、より高い品位のフレームを処理できるということを活用することを選択できる。クライアントは、圧縮を受けたフレームを処理しなければならないこと、およびあるケースでは、オーディオ/ビデオデータは送信中に失われる可能性があることに留意すべきである。他方、チャネルのバンド幅が狭いとき、サーバは送信するのに必要なフレームの数を最小に選択することができ、クライアントにAMPを行うための処理を実施させる。
b.入力オーディオ/ビデオストリームの符号化の複雑さ。例えば、入力ストリームの符号化が複雑であるとき、サーバにおいてフレームレート変換によって作成される補間されたフレームは、フレームごとのビット数に関して符号化し、送信するのに比較的費用がかかることが予想される。従って、この場合、クライアントがフレームレート変換を実行できるようにすることが好ましい。他方、入力ストリームの符号化が複雑でないとき、補間されたフレームをサーバによって効率的に符号化し、送信することができる。この場合、サーバがフレームレート変換を実行することが好ましい。
c.サーバまたはエンコーダリソース、特に、処理パワーおよびメモリ。エンコーダリソースは、時間経過と共にダイナミックに変化し得る。エンコーダリソースが低く作動しているとき、サーバはクライアントにフレームレート変換を実行させてもよい。エンコーダリソースが高いままのとき、サーバは自らフレームレート変換を実行できる。
d.ユーザの優先順位。サーバ側でフレームレート変換を実行する結果、よりスムーズな動きレンディションのビデオシーケンスが得られるが、フレーム毎の圧縮歪みは多少大きくなる。このことを好むユーザもあるが、動きレンディションが劣化することを代償に、フレーム毎の歪みを少なくすることを好むユーザもある。
サーバがクライアントのAMPに関連した能力を知ることができるようにするためには、かかる能力の信号を送る必要がある。かかる信号送信は、実際のビデオストリーミングをスタートする前に適切なプロトコルを使って実施できる。
毎秒発生し、符号化し、送信するフレームの数の制御:
フレームレート変換プロセスの出力でビデオフレームの数を制御する1つの方法は、元の入力ビデオストリームの公称(フレーム)レートに関するこの数を適応させることである。このことは、毎秒発生し、符号化し、送信するフレームの有効数が、公称フレームレートとスケーリング関数の積であるスケーリング関数によって記述できる。
フレームレート変換プロセスの出力でビデオフレームの数を制御する1つの方法は、元の入力ビデオストリームの公称(フレーム)レートに関するこの数を適応させることである。このことは、毎秒発生し、符号化し、送信するフレームの有効数が、公称フレームレートとスケーリング関数の積であるスケーリング関数によって記述できる。
通常の(公称)フレームレートにおけるプレイアウト中、スケーリング関数は値1.0を有する。
ストリームスタート段階中、このスケーリング関数は、受信機でプレイアウトレートをスローダウンさせるために、1.0よりも大きい値を有する。このことは、1秒当たり大きい数で、すなわち公称フレームレートよりも早く、ビデオフレームが符号化され、送信されることを意味する。
所定のケースでは、フレームレートを低減することも有効である。このことは、通常の値よりも1秒当たりより少ないビデオフレームを符号化し、送信すること、すなわち、公称レートよりも低いレートで符号化し、送信することを意味する。これらケースでは、スケーリング関数は1.0よりも小さい。
適応型メディアプレイアウトを実施するために、固定された時間の間にフレームレート変換を実施できる。あるいは、例えば、所望するシステムステータスが受信されるまで、可変時間の間、フレームレート変換を実施してもよい。例えば、送信側には、デコーダのバッファが所望するフルネスに達したことを受信機によって通知してもよい。
スケーリング関数は、部分的に一定の関数としてもよいし、あるいは、スケーリング関数を時間経過に対して徐々に増減してもよい。また、スケーリング関数はエンコーダのバッファのフルネス(充満度)に応じて変えてもよいし、デコーダのバッファのフルネスに応じて変えてもよい。また、スケーリング関数は、ビデオデータストリームの特性に応じて変えてもよいし、スケーリング関数をビデオフレームの配信またはプレイアウトデッドライン時間に応じて変えてもよいし、更にエンド−エンドの遅延時間に応じて変えてもよいし、送信機によって実質的に制御してもよいし、受信機によって実質的に制御してもよいし、送信機および受信機の双方によって共に制御してもよい。
ビデオストリームのビットレートの制御:
エンコーダまたはトランスコーダの出力において、オーディオ/ビデオストリームのビットレートを制御する1つの方法は、元の入力オーディオ/ビデオメディアストリームのビットレートに対してオーディオ/ビデオストリームのビットレートを適応させることである。この方法では、AMP−SMPを実施しない通常のケースにおいて、チャネルまたはネットワークの利用可能なバンド幅が、元のストリームのビットレートに対して十分であると見なす。
エンコーダまたはトランスコーダの出力において、オーディオ/ビデオストリームのビットレートを制御する1つの方法は、元の入力オーディオ/ビデオメディアストリームのビットレートに対してオーディオ/ビデオストリームのビットレートを適応させることである。この方法では、AMP−SMPを実施しない通常のケースにおいて、チャネルまたはネットワークの利用可能なバンド幅が、元のストリームのビットレートに対して十分であると見なす。
このことは、オーディオ/ビデオストリームのビットレートに対して適用される第2スケーリング関数によって記述できる。エンコーダ出力におけるターゲットビットレートは、入力端におけるビットレートと、ビットレートスケーリング関数との積である。
ストリームのスタート段階中、AMP−SMPを実施しているときのビットレートスケーリング関数は1.0よりも小さい。従って、スタート段階中に、符号化されたビットストリームのビットレートを低減できる。ビットレートスケーリング関数は、第1スケーリング関数に応じて決めることができる。例えば、ビットレートスケーリング関数を第1のスケーリング関数の逆関数とすることができる。AMP−SMPを実施している期間中に、ビットレートスケーリング関数を一定にすることができ、あるいは、AMP−SMPを実施している期間中に、ビットレートスケーリング関数を徐々に変えてもよい。このビットレートスケーリング関数を、ビデオデータストリームの特性に応じて決めてもよい。
エンコーダの出力端におけるオーディオ/ビデオストリームのビットレートを制御する別の方法において、利用できるバンド幅またはチャネルもしくはネットワークのスループットの推定値を考慮してもよい。
エンコーダにおける出力端において、オーディオ/ビデオストリームのビットレートを制御する別の方法は、遅延時間が制限されたレート適応化方法を使用することである。遅延時間が制限されたレート適応化方法を使用することにより、1秒当たりに符号化され、送信されるビデオフレームの数が増加した場合でも、オーディオ/ビデオデータが実質的に時間どおりに到達するように、ビデオストリームのビットレートを適応化させる。遅延時間が制限されたレート適応化方法は、送信中のオーディオ/ビデオデータの予想される遅延時間を考慮したり、またはオーディオ/ビデオデータを送信するための予想される利用可能なバンド幅を考慮してもよい。従って、チャネルバンド幅の制限および変動が必然的に考慮される。遅延時間が制限されたレート適応化方法はシステムのステータス、例えば、システム内の種々のバッファ、例えばエンコーダバッファ、デコーダバッファまたはMACバッファのフルネスを考慮することもできる。
本願は、2005年9月19日に出願された米国仮特許出願第60/718,625号に基づく利益を主張するものである。
Claims (15)
- (a)ビデオの一時的時間の間の第1の複数のフレームに基づき、前記ビデオの前記一時的時間の間、前記第1の複数のフレームよりも多い数のフレームを含む第2の複数のフレームを作成する送信機を含み、
(b)前記送信機は、受信機が前記第2の複数のフレームをレンダリングするフレームレートよりも大きいフレームレートで前記第2の複数のフレームを受信機に送信することを特徴とする、ビデオを送信するためのシステム。 - 前記送信機は、前記送信機と前記受信機との間のチャネルのバンド幅に基づき、前記第2の複数のフレームを送るビットレートを調節することを特徴とする、請求項1記載のシステム。
- 前記送信機は、前記第1の複数のフレームの予想されるプレゼンテーションレート以外のプレゼンテーションレートに、前記第2の複数のフレームを、前記受信機によるプレゼンテーションのための所望プレゼンテーションレートに変更することを特徴とする、請求項1記載のシステム。
- 前記第1の複数のフレームが、ライブのビデオであることを特徴とする、請求項1記載のシステム。
- 前記第1の複数のフレームが、記憶されたビデオであることを特徴とする、請求項1記載のシステム。
- 前記ビットレートが前記チャネルの狭いバンド幅で低下されることを特徴とする、請求項2記載のシステム。
- 前記第2の複数のフレームが、前記第1の複数のフレームのフレームレートと異なるフレームレートでレンダリングされるように、前記送信が前記第2の複数のフレームに対するプレゼンテーションタイムスタンプの組を変更することを特徴とする、請求項1記載のシステム。
- 前記送信機は、前記ビデオをトランスコードすることを特徴とする、請求項1記載のシステム。
- 前記第2の複数のフレームの前記作成が、その後の送信のために前記ビデオを符号化する前に実行されることを特徴とする請求項1記載のシステム。
- 前記送信機は、遅延時間制限されたレート適応化を補間することを特徴とする、請求項1記載のシステム。
- 前記第2の複数のフレームの前記作成とその後の符号化とを共に最適化することを特徴とする、請求項1記載のシステム。
- 前記送信機と前記受信機とが共に前記作成を最適化することを特徴とする、請求項1記載のシステム。
- 前記共に最適化するステップが、補間するフレームの数を選択することを含むことを特徴とする、請求項12記載のシステム。
- 前記共に最適化するステップが、送信するフレームの数を選択することを含むことを特徴とする、請求項12記載のシステム。
- 前記第1の複数のフレームが、前記ビデオのスタートアップであることを特徴とする、請求項1記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71862505P | 2005-09-19 | 2005-09-19 | |
US11/417,693 US20070067480A1 (en) | 2005-09-19 | 2006-05-04 | Adaptive media playout by server media processing for robust streaming |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007089137A true JP2007089137A (ja) | 2007-04-05 |
Family
ID=37885532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006216330A Pending JP2007089137A (ja) | 2005-09-19 | 2006-08-09 | ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070067480A1 (ja) |
JP (1) | JP2007089137A (ja) |
WO (1) | WO2007035705A2 (ja) |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028101A1 (ja) * | 2007-08-31 | 2009-03-05 | Fujitsu Limited | 信号出力装置、信号出力方法及び信号出力プログラム |
WO2010137502A1 (ja) * | 2009-05-27 | 2010-12-02 | ソニー株式会社 | 情報処理装置および方法 |
JP2011120168A (ja) * | 2009-12-07 | 2011-06-16 | Kyocera Corp | 通信装置 |
JP2013031173A (ja) * | 2007-04-16 | 2013-02-07 | Digital Fountain Inc | 動的ストリームインターリービングおよびサブストリームベースの配信 |
JP2014103613A (ja) * | 2012-11-22 | 2014-06-05 | Jvc Kenwood Corp | 画像処理装置、画像処理方法、画像処理プログラム |
JP2014110437A (ja) * | 2012-11-30 | 2014-06-12 | Jvc Kenwood Corp | 画像再生装置、画像再生方法、画像再生プログラム |
US8806050B2 (en) | 2010-08-10 | 2014-08-12 | Qualcomm Incorporated | Manifest file updates for network streaming of coded multimedia data |
US8887020B2 (en) | 2003-10-06 | 2014-11-11 | Digital Fountain, Inc. | Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters |
US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
JP2015511783A (ja) * | 2012-02-27 | 2015-04-20 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | プレイバックレート選択を伴う改良されたdashクライアントおよび受信機 |
US9136983B2 (en) | 2006-02-13 | 2015-09-15 | Digital Fountain, Inc. | Streaming and buffering using variable FEC overhead and protection periods |
US9136878B2 (en) | 2004-05-07 | 2015-09-15 | Digital Fountain, Inc. | File download and streaming system |
US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
US9191151B2 (en) | 2006-06-09 | 2015-11-17 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US9237101B2 (en) | 2007-09-12 | 2016-01-12 | Digital Fountain, Inc. | Generating and communicating source identification information to enable reliable communications |
US9236976B2 (en) | 2001-12-21 | 2016-01-12 | Digital Fountain, Inc. | Multi stage code generator and decoder for communication systems |
US9236885B2 (en) | 2002-10-05 | 2016-01-12 | Digital Fountain, Inc. | Systematic encoding and decoding of chain reaction codes |
US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
US9264069B2 (en) | 2006-05-10 | 2016-02-16 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient uses of the communications systems |
US9270299B2 (en) | 2011-02-11 | 2016-02-23 | Qualcomm Incorporated | Encoding and decoding using elastic codes with flexible source block mapping |
US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
US9281847B2 (en) | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
US9288010B2 (en) | 2009-08-19 | 2016-03-15 | Qualcomm Incorporated | Universal file delivery methods for providing unequal error protection and bundled file delivery services |
US9294226B2 (en) | 2012-03-26 | 2016-03-22 | Qualcomm Incorporated | Universal object delivery and template-based file delivery |
US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
US9485546B2 (en) | 2010-06-29 | 2016-11-01 | Qualcomm Incorporated | Signaling video samples for trick mode video representations |
US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
US8868772B2 (en) | 2004-04-30 | 2014-10-21 | Echostar Technologies L.L.C. | Apparatus, system, and method for adaptive-rate shifting of streaming content |
US9325805B2 (en) | 2004-08-02 | 2016-04-26 | Steve J Shattil | Content delivery in wireless wide area networks |
US20110214061A1 (en) * | 2010-03-01 | 2011-09-01 | Ashley Edwardo King | User Interface for Managing Client Devices |
US8370514B2 (en) | 2005-04-28 | 2013-02-05 | DISH Digital L.L.C. | System and method of minimizing network bandwidth retrieved from an external network |
JP4887727B2 (ja) * | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
CN1852421A (zh) * | 2005-11-30 | 2006-10-25 | 华为技术有限公司 | 一种实现直播与时移播放之间切换的方法 |
EP1843587A1 (en) * | 2006-04-05 | 2007-10-10 | STMicroelectronics S.r.l. | Method for the frame-rate conversion of a digital video signal and related apparatus |
EP1860884A1 (en) * | 2006-05-26 | 2007-11-28 | BRITISH TELECOMMUNICATIONS public limited company | Video processing |
US9426522B2 (en) * | 2007-07-10 | 2016-08-23 | Qualcomm Incorporated | Early rendering for fast channel switching |
EP2291957B1 (en) * | 2008-06-16 | 2014-07-02 | Telefonaktiebolaget L M Ericsson (publ) | Media stream processing |
TWI373945B (en) * | 2008-07-18 | 2012-10-01 | Ubitus Technology Ltd | Multimedia streaming transmission system and method thereof |
US10075670B2 (en) * | 2008-09-30 | 2018-09-11 | Entropic Communications, Llc | Profile for frame rate conversion |
US11330046B2 (en) | 2010-03-01 | 2022-05-10 | Tybalt, Llc | Content delivery in wireless wide area networks |
US10419533B2 (en) | 2010-03-01 | 2019-09-17 | Genghiscomm Holdings, LLC | Edge server selection for device-specific network topologies |
GB2481576B (en) * | 2010-06-22 | 2013-04-03 | Canon Kk | Encoding of a video frame for transmission to a plurality of clients |
US9930082B2 (en) | 2012-11-20 | 2018-03-27 | Nvidia Corporation | Method and system for network driven automatic adaptive rendering impedance |
US10616086B2 (en) | 2012-12-27 | 2020-04-07 | Navidia Corporation | Network adaptive latency reduction through frame rate control |
US9819604B2 (en) | 2013-07-31 | 2017-11-14 | Nvidia Corporation | Real time network adaptive low latency transport stream muxing of audio/video streams for miracast |
CN104270649B (zh) * | 2014-10-28 | 2019-01-22 | 中磊电子(苏州)有限公司 | 影像编码装置及影像编码方法 |
US9807336B2 (en) * | 2014-11-12 | 2017-10-31 | Mediatek Inc. | Dynamic adjustment of video frame sampling rate |
US10142651B1 (en) * | 2014-12-11 | 2018-11-27 | Pixelworks, Inc. | Frame rate conversion with partial motion vector |
US20180103276A1 (en) | 2015-05-29 | 2018-04-12 | Nagravision S.A. | Method for initiating a transmission of a streaming content delivered to a client device and access point for implementing this method |
US20170244894A1 (en) * | 2016-02-22 | 2017-08-24 | Seastar Labs, Inc. | Method and Apparatus for Managing Latency of Remote Video Production |
KR102399082B1 (ko) * | 2016-03-04 | 2022-05-17 | 삼성전자주식회사 | 적응적 스트리밍 서비스에서 데이터 버퍼링 방법 및 장치 |
SE546090C2 (en) * | 2023-04-14 | 2024-05-21 | Livearena Tech Ab | Systems and methods for managing sharing of a video in a collaboration session |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164839A (en) * | 1988-12-27 | 1992-11-17 | Explore Technology, Inc. | Method for handling audio/video source information |
US5159447A (en) * | 1991-05-23 | 1992-10-27 | At&T Bell Laboratories | Buffer control for variable bit-rate channel |
US5541852A (en) * | 1994-04-14 | 1996-07-30 | Motorola, Inc. | Device, method and system for variable bit-rate packet video communications |
US5548581A (en) * | 1994-08-17 | 1996-08-20 | Bellsouth Corporation | System and method for making connection acceptance/rejection decisions in a communication system |
US5506686A (en) * | 1994-11-23 | 1996-04-09 | Motorola, Inc. | Method and device for determining bit allocation in a video compression system |
US6167253A (en) * | 1995-01-12 | 2000-12-26 | Bell Atlantic Network Services, Inc. | Mobile data/message/electronic mail download system utilizing network-centric protocol such as Java |
US5546377A (en) * | 1995-10-31 | 1996-08-13 | Digital Equipment Corporation | Efficient distributed method for computing max-min fair rates of a limited resource in ATM networks |
US6075768A (en) * | 1995-11-09 | 2000-06-13 | At&T Corporation | Fair bandwidth sharing for video traffic sources using distributed feedback control |
US5742594A (en) * | 1996-06-13 | 1998-04-21 | Motorola, Inc. | Method and apparatus for allocating shared bandwidth among a plurality of users |
US5894559A (en) * | 1996-08-15 | 1999-04-13 | Advanced Micro Devices, Inc. | System for selectively reducing capture effect in a network station by increasing delay time after a predetermined number of consecutive successful transmissions |
US5936940A (en) * | 1996-08-22 | 1999-08-10 | International Business Machines Corporation | Adaptive rate-based congestion control in packet networks |
US5982778A (en) * | 1996-08-30 | 1999-11-09 | Advanced Micro Devices, Inc. | Arrangement for regulating packet flow rate in shared-medium, point-to-point, and switched networks |
AU731873B2 (en) * | 1997-01-31 | 2001-04-05 | Silverline Power Conversion, Llc | Uninterruptible power supply |
US6275497B1 (en) * | 1997-02-10 | 2001-08-14 | Hybrid Networks, Inc. | Method and apparatus for controlling communication channels using contention and polling schemes |
US6292834B1 (en) * | 1997-03-14 | 2001-09-18 | Microsoft Corporation | Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network |
US6014694A (en) * | 1997-06-26 | 2000-01-11 | Citrix Systems, Inc. | System for adaptive video/audio transport over a network |
US6343085B1 (en) * | 1997-08-28 | 2002-01-29 | Microsoft Corporation | Adaptive bandwidth throttling for individual virtual services supported on a network server |
US6434606B1 (en) * | 1997-10-01 | 2002-08-13 | 3Com Corporation | System for real time communication buffer management |
JP3075251B2 (ja) * | 1998-03-05 | 2000-08-14 | 日本電気株式会社 | 非同期転送モード交換網における仮想パス帯域分配システム |
WO1999052282A1 (en) * | 1998-04-02 | 1999-10-14 | Sarnoff Corporation | Bursty data transmission of compressed video data |
US6363056B1 (en) * | 1998-07-15 | 2002-03-26 | International Business Machines Corporation | Low overhead continuous monitoring of network performance |
US6275531B1 (en) * | 1998-07-23 | 2001-08-14 | Optivision, Inc. | Scalable video coding method and apparatus |
US6167084A (en) * | 1998-08-27 | 2000-12-26 | Motorola, Inc. | Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals |
US6629318B1 (en) * | 1998-11-18 | 2003-09-30 | Koninklijke Philips Electronics N.V. | Decoder buffer for streaming video receiver and method of operation |
US6233226B1 (en) * | 1998-12-14 | 2001-05-15 | Verizon Laboratories Inc. | System and method for analyzing and transmitting video over a switched network |
GB9828590D0 (en) * | 1998-12-23 | 1999-02-17 | Northern Telecom Ltd | Method and apparatus for managing communications traffic |
EP1045590A3 (en) * | 1999-04-13 | 2005-03-09 | Matsushita Electric Industrial Co., Ltd. | Transcoder and transcoding method with bit rate regulation |
US6665751B1 (en) * | 1999-04-17 | 2003-12-16 | International Business Machines Corporation | Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state |
US6587875B1 (en) * | 1999-04-30 | 2003-07-01 | Microsoft Corporation | Network protocol and associated methods for optimizing use of available bandwidth |
US6263503B1 (en) * | 1999-05-26 | 2001-07-17 | Neal Margulis | Method for effectively implementing a wireless television system |
US6934759B2 (en) * | 1999-05-26 | 2005-08-23 | Enounce, Inc. | Method and apparatus for user-time-alignment for broadcast works |
US6434806B1 (en) * | 1999-07-19 | 2002-08-20 | Lms Walt, Inc. | Machine for installing flexible covers on seat cushions having sliding stanchion carriage for closely following the contour of the seat cushion |
US6700869B1 (en) * | 1999-10-01 | 2004-03-02 | Lucent Technologies Inc. | Method for controlling data flow associated with a communications node |
KR20010044860A (ko) * | 1999-11-01 | 2001-06-05 | 윤종용 | 휴대용 주문형 비디오 시스템 |
US6988144B1 (en) * | 1999-11-18 | 2006-01-17 | International Business Machines Corporation | Packet scheduling system and method for multimedia data |
US20020075857A1 (en) * | 1999-12-09 | 2002-06-20 | Leblanc Wilfrid | Jitter buffer and lost-frame-recovery interworking |
US7389356B2 (en) * | 1999-12-15 | 2008-06-17 | Microsoft Corporation | Generalized differentiation methods and arrangements for adaptive multimedia communications |
US6310495B1 (en) * | 2000-02-15 | 2001-10-30 | Hewlett Packard Company | Clock wave noise reducer |
US6747991B1 (en) * | 2000-04-26 | 2004-06-08 | Carnegie Mellon University | Filter and method for adaptively modifying the bit rate of synchronized video and audio streams to meet packet-switched network bandwidth constraints |
US7260826B2 (en) * | 2000-05-31 | 2007-08-21 | Microsoft Corporation | Resource allocation in multi-stream IP network for optimized quality of service |
US20040204041A1 (en) * | 2000-06-16 | 2004-10-14 | Fillebrown Lisa A. | Wireless tablet for a personal wireless network |
US6741565B1 (en) * | 2000-07-06 | 2004-05-25 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for estimating cell rate in an ATM network |
US6999432B2 (en) * | 2000-07-13 | 2006-02-14 | Microsoft Corporation | Channel and quality of service adaptation for multimedia over wireless networks |
US7103063B2 (en) * | 2000-08-24 | 2006-09-05 | Tellabs Reston, Inc. | Apparatus and method for facilitating data packet transportation |
US6847656B1 (en) * | 2000-09-25 | 2005-01-25 | General Instrument Corporation | Statistical remultiplexing with bandwidth allocation among different transcoding channels |
US6300665B1 (en) * | 2000-09-28 | 2001-10-09 | Xerox Corporation | Structure for an optical switch on a silicon on insulator substrate |
US7130268B2 (en) * | 2000-10-17 | 2006-10-31 | Saverio Mascolo | End-to-end bandwidth estimation for congestion control in packet switching networks |
US6351153B1 (en) * | 2000-10-30 | 2002-02-26 | Hewlett-Packard Company | Phase detector with high precision |
US7616690B2 (en) * | 2000-10-31 | 2009-11-10 | Imec | Method and apparatus for adaptive encoding framed data sequences |
CA2428325C (en) * | 2000-11-29 | 2011-08-30 | Matthew David Walker | Transmitting and receiving real-time data |
US6670963B2 (en) * | 2001-01-17 | 2003-12-30 | Tektronix, Inc. | Visual attention model |
US20020136298A1 (en) * | 2001-01-18 | 2002-09-26 | Chandrashekhara Anantharamu | System and method for adaptive streaming of predictive coded video data |
EP1227639A3 (en) * | 2001-01-30 | 2003-10-29 | AT&T Corp. | Network service for adaptive mobile applications |
US8107524B2 (en) * | 2001-03-30 | 2012-01-31 | Vixs Systems, Inc. | Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network |
US20020169880A1 (en) * | 2001-04-19 | 2002-11-14 | Koninklijke Philips Electronics N.V. | Method and device for robust real-time estimation of the bottleneck bandwidth in the internet |
US7068719B2 (en) * | 2001-06-01 | 2006-06-27 | General Instrument Corporation | Splicing of digital video transport streams |
US7012893B2 (en) * | 2001-06-12 | 2006-03-14 | Smartpackets, Inc. | Adaptive control of data packet size in networks |
US7151749B2 (en) * | 2001-06-14 | 2006-12-19 | Microsoft Corporation | Method and System for providing adaptive bandwidth control for real-time communication |
US7190476B2 (en) * | 2001-06-29 | 2007-03-13 | Hewlett-Packard Development Company, L.P. | Print by reference service communication protocol and interface |
US7274661B2 (en) * | 2001-09-17 | 2007-09-25 | Altera Corporation | Flow control method for quality streaming of audio/video/media over packet networks |
IL160981A0 (en) * | 2001-09-26 | 2004-08-31 | Interact Devices Inc | System and method for communicating media signals |
US7218610B2 (en) * | 2001-09-27 | 2007-05-15 | Eg Technology, Inc. | Communication system and techniques for transmission from source to destination |
US6691905B2 (en) * | 2001-10-15 | 2004-02-17 | Greg S. Berdan | Detachable multi-mounting compact golf accessory organizer |
US7248604B2 (en) * | 2001-10-30 | 2007-07-24 | Ipr Licensing, Inc. | Throughput in multi-rate wireless networks using variable-length packets and other techniques |
US7301965B2 (en) * | 2001-11-19 | 2007-11-27 | At&T Corp. | Packet shaping for mixed rate 802.11 wireless networks |
US7356079B2 (en) * | 2001-11-21 | 2008-04-08 | Vixs Systems Inc. | Method and system for rate control during video transcoding |
CN1233180C (zh) * | 2001-11-24 | 2005-12-21 | Lg电子株式会社 | 分组传输调度技术 |
EP1320216A1 (en) * | 2001-12-11 | 2003-06-18 | BRITISH TELECOMMUNICATIONS public limited company | Method and device for multicast transmission |
JP3900413B2 (ja) * | 2002-02-14 | 2007-04-04 | Kddi株式会社 | 映像情報伝送方式およびプログラム |
US6851008B2 (en) * | 2002-03-06 | 2005-02-01 | Broadcom Corporation | Adaptive flow control method and apparatus |
US20030189589A1 (en) * | 2002-03-15 | 2003-10-09 | Air-Grid Networks, Inc. | Systems and methods for enhancing event quality |
US20040017773A1 (en) * | 2002-07-23 | 2004-01-29 | Eyeball Networks Inc. | Method and system for controlling the rate of transmission for data packets over a computer network |
US7245608B2 (en) * | 2002-09-24 | 2007-07-17 | Accton Technology Corporation | Codec aware adaptive playout method and playout device |
US6850541B2 (en) * | 2002-09-30 | 2005-02-01 | Intel Corporation | Technique to measure network path bandwidth capacity using modal analysis |
US6813451B2 (en) * | 2002-10-30 | 2004-11-02 | Hewlett-Packard Development Company, L.P. | Duplex image registration |
US7899302B2 (en) * | 2002-12-16 | 2011-03-01 | Koninklijke Philips Electronics N.V. | System for modifying the time-base of a video signal |
US7330433B2 (en) * | 2003-02-28 | 2008-02-12 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic resource control for high-speed downlink packet access wireless channels |
US7269836B2 (en) * | 2003-03-24 | 2007-09-11 | International Business Machines Corporation | System and method for providing multiplexing and remultiplexing of MPEG-2 streams |
US7349400B2 (en) * | 2003-04-29 | 2008-03-25 | Narus, Inc. | Method and system for transport protocol reconstruction and timer synchronization for non-intrusive capturing and analysis of packets on a high-speed distributed network |
US7603689B2 (en) * | 2003-06-13 | 2009-10-13 | Microsoft Corporation | Fast start-up for digital video streams |
US7558320B2 (en) * | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
US7412376B2 (en) * | 2003-09-10 | 2008-08-12 | Microsoft Corporation | System and method for real-time detection and preservation of speech onset in a signal |
US7457282B2 (en) * | 2003-10-29 | 2008-11-25 | Nokia Corporation | Method and apparatus providing smooth adaptive management of packets containing time-ordered content at a receiving terminal |
US7333556B2 (en) * | 2004-01-12 | 2008-02-19 | Intel Corporation | System and method for selecting data rates to provide uniform bit loading of subcarriers of a multicarrier communication channel |
CN1914660A (zh) * | 2004-01-27 | 2007-02-14 | 皇家飞利浦电子股份有限公司 | 图像运动补偿装置及其方法 |
US8737219B2 (en) * | 2004-01-30 | 2014-05-27 | Hewlett-Packard Development Company, L.P. | Methods and systems that use information about data packets to determine an order for sending the data packets |
KR100526189B1 (ko) * | 2004-02-14 | 2005-11-03 | 삼성전자주식회사 | 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법 |
KR100654429B1 (ko) * | 2004-03-03 | 2006-12-06 | 삼성전자주식회사 | 무선 스테이션의 트래픽을 동적으로 제어하는 방법 및 장치 |
EP1580914A1 (en) * | 2004-03-26 | 2005-09-28 | STMicroelectronics S.r.l. | Method and system for controlling operation of a network |
US7660366B2 (en) * | 2004-08-30 | 2010-02-09 | Harmonic Inc. | Message synchronization over a stochastic network |
US20060077993A1 (en) * | 2004-10-12 | 2006-04-13 | Eaton Corporation | Method of managing communication buffers for a plurality of communication layers and node employing the same |
US7536469B2 (en) * | 2004-12-10 | 2009-05-19 | Microsoft Corporation | System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates |
KR100703399B1 (ko) * | 2004-12-13 | 2007-04-03 | 삼성전자주식회사 | 멀티미디어 컨텐츠를 연속적으로 전송하는 장치 및 방법 |
JP4228150B2 (ja) * | 2005-03-23 | 2009-02-25 | 東京エレクトロン株式会社 | 成膜装置、成膜方法及び記憶媒体 |
-
2006
- 2006-05-04 US US11/417,693 patent/US20070067480A1/en not_active Abandoned
- 2006-08-09 JP JP2006216330A patent/JP2007089137A/ja active Pending
- 2006-09-18 WO PCT/US2006/036433 patent/WO2007035705A2/en active Application Filing
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9236976B2 (en) | 2001-12-21 | 2016-01-12 | Digital Fountain, Inc. | Multi stage code generator and decoder for communication systems |
US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
US9236885B2 (en) | 2002-10-05 | 2016-01-12 | Digital Fountain, Inc. | Systematic encoding and decoding of chain reaction codes |
US8887020B2 (en) | 2003-10-06 | 2014-11-11 | Digital Fountain, Inc. | Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters |
US9236887B2 (en) | 2004-05-07 | 2016-01-12 | Digital Fountain, Inc. | File download and streaming system |
US9136878B2 (en) | 2004-05-07 | 2015-09-15 | Digital Fountain, Inc. | File download and streaming system |
US9136983B2 (en) | 2006-02-13 | 2015-09-15 | Digital Fountain, Inc. | Streaming and buffering using variable FEC overhead and protection periods |
US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
US9264069B2 (en) | 2006-05-10 | 2016-02-16 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient uses of the communications systems |
US9191151B2 (en) | 2006-06-09 | 2015-11-17 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
US11477253B2 (en) | 2006-06-09 | 2022-10-18 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
US9628536B2 (en) | 2006-06-09 | 2017-04-18 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US9178535B2 (en) | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
JP2013031173A (ja) * | 2007-04-16 | 2013-02-07 | Digital Fountain Inc | 動的ストリームインターリービングおよびサブストリームベースの配信 |
US8704954B2 (en) | 2007-08-31 | 2014-04-22 | Fujitsu Limited | Signal output device and signal output method |
JP5158085B2 (ja) * | 2007-08-31 | 2013-03-06 | 富士通株式会社 | 信号出力装置、信号出力方法及び信号出力プログラム |
WO2009028101A1 (ja) * | 2007-08-31 | 2009-03-05 | Fujitsu Limited | 信号出力装置、信号出力方法及び信号出力プログラム |
US9237101B2 (en) | 2007-09-12 | 2016-01-12 | Digital Fountain, Inc. | Generating and communicating source identification information to enable reliable communications |
US9281847B2 (en) | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
JP2010278596A (ja) * | 2009-05-27 | 2010-12-09 | Sony Corp | 情報処理装置および方法 |
WO2010137502A1 (ja) * | 2009-05-27 | 2010-12-02 | ソニー株式会社 | 情報処理装置および方法 |
US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
US9660763B2 (en) | 2009-08-19 | 2017-05-23 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
US9288010B2 (en) | 2009-08-19 | 2016-03-15 | Qualcomm Incorporated | Universal file delivery methods for providing unequal error protection and bundled file delivery services |
US9876607B2 (en) | 2009-08-19 | 2018-01-23 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
US11770432B2 (en) | 2009-09-22 | 2023-09-26 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
US11743317B2 (en) | 2009-09-22 | 2023-08-29 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
US10855736B2 (en) | 2009-09-22 | 2020-12-01 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
JP2011120168A (ja) * | 2009-12-07 | 2011-06-16 | Kyocera Corp | 通信装置 |
US9485546B2 (en) | 2010-06-29 | 2016-11-01 | Qualcomm Incorporated | Signaling video samples for trick mode video representations |
US9992555B2 (en) | 2010-06-29 | 2018-06-05 | Qualcomm Incorporated | Signaling random access points for streaming video data |
US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US9602802B2 (en) | 2010-07-21 | 2017-03-21 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US9456015B2 (en) | 2010-08-10 | 2016-09-27 | Qualcomm Incorporated | Representation groups for network streaming of coded multimedia data |
US8806050B2 (en) | 2010-08-10 | 2014-08-12 | Qualcomm Incorporated | Manifest file updates for network streaming of coded multimedia data |
US9319448B2 (en) | 2010-08-10 | 2016-04-19 | Qualcomm Incorporated | Trick modes for network streaming of coded multimedia data |
US9270299B2 (en) | 2011-02-11 | 2016-02-23 | Qualcomm Incorporated | Encoding and decoding using elastic codes with flexible source block mapping |
US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
JP2015511783A (ja) * | 2012-02-27 | 2015-04-20 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | プレイバックレート選択を伴う改良されたdashクライアントおよび受信機 |
US9294226B2 (en) | 2012-03-26 | 2016-03-22 | Qualcomm Incorporated | Universal object delivery and template-based file delivery |
JP2014103613A (ja) * | 2012-11-22 | 2014-06-05 | Jvc Kenwood Corp | 画像処理装置、画像処理方法、画像処理プログラム |
JP2014110437A (ja) * | 2012-11-30 | 2014-06-12 | Jvc Kenwood Corp | 画像再生装置、画像再生方法、画像再生プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2007035705A3 (en) | 2007-06-14 |
WO2007035705A2 (en) | 2007-03-29 |
US20070067480A1 (en) | 2007-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007089137A (ja) | ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト | |
US7652994B2 (en) | Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels | |
US7668170B2 (en) | Adaptive packet transmission with explicit deadline adjustment | |
JP4690280B2 (ja) | メディアデータをストリーミングする方法、システム及びクライアント装置 | |
US10757481B2 (en) | Class-based intelligent multiplexing over unmanaged networks | |
US7373413B1 (en) | Devices and methods for minimizing start up delay in transmission of streaming media | |
JP3900413B2 (ja) | 映像情報伝送方式およびプログラム | |
JP4347883B2 (ja) | プロアクティブなレート適合シグナリング方法及び装置 | |
US8300667B2 (en) | Buffer expansion and contraction over successive intervals for network devices | |
US8355452B2 (en) | Selective frame dropping for initial buffer delay reduction | |
US11197051B2 (en) | Systems and methods for achieving optimal network bitrate | |
EP2196033B1 (en) | Method for an early start of audio-video rendering | |
JP2006087125A (ja) | ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び/又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体 | |
van Beek et al. | Server-side playout delay management for video streaming | |
CN114902685A (zh) | 用于发送和接收视频的方法和装置 |